Страница 135 из 136«12133134135136»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
ezoland
Сообщений: 41
Репутация: 6

Сообщение # 2011 | 18:23:58
Цитата webanet ()
Host
С большой буквы? Исправил, спасибо.
Да, приходится ждать
Atlantic
Сообщений: 7
Репутация: 0

Сообщение # 2012 | 16:26:07
Удалил файл Robots.txt два месяца назад но, как вы утверждаете что он автоматов сам добавиться - этого до сих пор не произошло, в яндекс мастере постоянно ошибки некорректен тег описание почти ко всем модулям! Как быть то, еще ждать автоматического добавления фала роботс тхт?????

Конкретнее отвечайте
webanet
Личный менеджер
Сообщений: 22614
Репутация: 4838

Сообщение # 2013 | 18:24:06
Atlantic, дайте адрес сайта
Цитата
в яндекс мастере постоянно ошибки некорректен тег описание почти ко всем модулям
это к роботсу не относится
Цитата
Удалил файл Robots.txt два месяца назад но, как вы утверждаете что он автоматов сам добавиться - этого до сих пор не произошло
после удаления файла robots.txt он автоматически заменяется системным. увидеть его можно по адресу ваш сайт/robots.txt
системный файл robots.txt не показывается в файловом менеджере. в файловом менеджере файл появится только после того как вы зальете свой вариант файла и он заместит системный

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Atlantic
Сообщений: 7
Репутация: 0

Сообщение # 2014 | 02:56:10
Цитата webanet ()
после удаления файла robots.txt он автоматически заменяется системным. увидеть его можно по адресу ваш сайт/robots.txtсистемный файл robots.txt не показывается в файловом менеджере. в файловом менеджере файл появится только после того как вы зальете свой вариант файла и он заместит системный

http://i11.pixs.ru/storage/8/5/4/333jpg_7584880_22823854.jpg
Тут виден сайт и страницы которые вроде бы не должны индексироваться - а почему то индексируются в стандартном файле роботс!
webanet
Личный менеджер
Сообщений: 22614
Репутация: 4838

Сообщение # 2015 | 12:16:01
Atlantic, изображенные на картинке страницы не должны блокироваться стандарным роботсом

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Kolbasa
Сообщений: 226
Репутация: 5

Сообщение # 2016 | 23:46:39
Подскажите пожалуйста как правильно настроить файл robots.txt, чтобы нечего лишнего не запретить, а весь не нужный хлам в запрет поставить, просто с каждым годом начинает юкоз добавлять новые возможности, и из-за этого потом бывают поисковые системы индексирует не нужный бред. И на каком анализе сайта можно посмотреть что у меня в запрете не стоит и на что лучше поставить запрет.

На сайте http://cheat-csgo.ru вы найдете приватные читы для кс го. Дается бесплатно тест на 1 день.
andruk
Сообщений: 4
Репутация: 0

Сообщение # 2017 | 02:09:11
В этой теме есть решение вашей проблемы, просто пролистайте тему)
Kolbasa
Сообщений: 226
Репутация: 5

Сообщение # 2018 | 12:17:41
ага просто пролистайте тему 135 страниц, спасибо за совет.

Такой правильный robots.txt на что то серьезное нету запретов?


На сайте http://cheat-csgo.ru вы найдете приватные читы для кс го. Дается бесплатно тест на 1 день.
Сообщение отредактировал Kolbasa - Суббота, 17 Сен 2016, 12:44:27
DENIS5083
Сообщений: 16
Репутация: 0

Сообщение # 2019 | 12:34:19
Сегодня решил зайти в роботс у меня вообще так
User-agent: *
Sitemap: http://сайт/sitemap.xml
Host: сайт

это норм ? фиг знает или слетел или когда сайт создал у меня так и было но народ есть на сайте 6 к
@katy@
Сообщений: 1801
Репутация: 466
Уровень замечаний:

Сообщение # 2020 | 14:45:04
DENIS5083, О каком сайте речь идёт ?

道德經 Помощь по системе
Kolbasa
Сообщений: 226
Репутация: 5

Сообщение # 2021 | 01:15:42
Ребята, что означает данная команда? Allow: /*?ref= прочитал, про нее, так нечего и не понял... дело в то что мне на сайте убирал человек дубли, их повыкидывало слава богу. Он прописывал в шаблоне кода и прописывал в robots.txt команды, одну сегодня уже убрал Disallow: /*? так как она на блокировала в google вебмастере, 760 файлов. Вот и спрашиваю на счет Allow: /*?ref=, может ее тоже убирать. Дубли мне снова не накидает на главной и на категориях сайта?

На сайте http://cheat-csgo.ru вы найдете приватные читы для кс го. Дается бесплатно тест на 1 день.
Сообщение отредактировал Kolbasa - Пятница, 11 Ноя 2016, 01:22:40
@katy@
Сообщений: 1801
Репутация: 466
Уровень замечаний:

Сообщение # 2022 | 01:46:31
Kolbasa, У webanet на сайте расписаны строки.

道德經 Помощь по системе
Сообщение отредактировал @katy@ - Пятница, 11 Ноя 2016, 01:51:08
Kolbasa
Сообщений: 226
Репутация: 5

Сообщение # 2023 | 02:10:41
спасибо, я там и читал, я не понимаю слов "компонентов социальной регистрации" это что вообще ? wacko

у одних написано:

Allow: /*?ref= нужна для правильной переиндексации компонентов социальной регистрации

у других в интернете:

Allow: /*?ref= — разрешить доступ к страницам соц. авторизации.

наверно уберу данную строчку. У меня вопрос, дубли мне снова не накидает на главной и на категориях сайта? она на это как то влияет кто знает?

На сайте http://cheat-csgo.ru вы найдете приватные читы для кс го. Дается бесплатно тест на 1 день.
Сообщение отредактировал Kolbasa - Пятница, 11 Ноя 2016, 02:15:05
DENIS5083
Сообщений: 16
Репутация: 0

Сообщение # 2024 | 12:35:49
Цитата @katy@ ()
User-agent: *Sitemap: http://сайт/sitemap.xml
Host: сайт
сайт палить тут не хочу
@katy@
Сообщений: 1801
Репутация: 466
Уровень замечаний:

Сообщение # 2025 | 12:54:58
Цитата DENIS5083 ()
сайт палить тут не хочу

DENIS5083, а чо ? парнушка чтоль какая ? прям детский сад какой то. Ну тогда довольствуйтесь информацией , которая есть на форуме.

道德經 Помощь по системе
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 135 из 136«12133134135136»
Поиск: