Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
cotoed
Сообщений: 1
Репутация: 5

Сообщение # 871 | 20:12:41
Скажите как правильно прописать Robots.txt для Яндекса. Почему мой сайт делает тысячи страниц, которых я на сайте не делал
Почему в индексации моего сайта роботом Яндекса робот выдаёт HTTP-статус: Ресурс не найден (404) в
количестве 11183 страниц. У меня на сайте этих страниц нет и не было.
Возможно, неправильно прописанный Robots даёт такой результат. Если Вы знаете какой, ответьте мне. И как это исправить.

Вот одна из страниц

ФАЦЕТ - Все грани дизайнерского искусства
K25r5344
Сообщений: 4
Репутация: 0

Сообщение # 872 | 16:21:50
Купил [url=http://vip-prognoz.ucoz.de/panel/?a=porders&l=grview&grid=ucoz,prodpack,1]Пакет услуг "Базовый"[/url] и переехал на домен, но сайт не идексируется: Сайт не проиндексирован из-за запрета в robots.txt!
В чем проблема?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 873 | 16:47:13
K25r5344, вот и почитайте тему, в которой пишите и посмотрите на свой роботс http://www.vip-prognoz.com/robots.txt запрета нет. а то, что выдает ошибку, это вы поторопились и добавили сайт на индексирование во время карантина. или ждите 2 недели или добавьте снова http://yadd.ru/ и все равно ждите перепроверки.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
K25r5344
Сообщений: 4
Репутация: 0

Сообщение # 874 | 18:30:30
webanet, с гугл аналогичная проблема, не подскажите как исправить?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 875 | 18:32:11
K25r5344, с гуглом так //forum.ucoz.ru/forum/21-43240-1 но тут опять время надо

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
K25r5344
Сообщений: 4
Репутация: 0

Сообщение # 876 | 18:48:28
webanet, спасибо
Nexor
Сообщений: 59
Репутация: 14

Сообщение # 877 | 17:17:56
В стандартном файле robots.txt запрещены для индексации информеры (Disallow: /informer/). Но у меня на главной странице сайта, новости и файлы выводятся только через информеры, не через вид материалов!!!.
Для нормальной индексации этих материалов, нужно убрать запрет в Robots?
Сообщение отредактировал Nexor - Понедельник, 21 Янв 2013, 17:19:33
Newsmd
Репутация: 0

Сообщение # 878 | 19:24:14
Подскажите пожалуйста!
Создал сайт 31.12.2012. До 15.01.2013 занимался дизайном и контентом. 15-го числа купил премиум-пакет, и, убедившись, что карантин снят добавил сайт в google через addurl. В инструментах у меня 12 однообразных ошибок:

URL адресКод ошибкиДатаhttp://places.do.am/publ/arkhitektura/machu_pikchu/1-1-0-11URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/kreml/1-1-0-16URL restricted by robots.txt2013-01-15http://places.do.am/index/azija/0-14URL restricted by robots.txt2013-01-15http://places.do.am/index/evropa/0-13URL restricted by robots.txt2013-01-15http://places.do.am/index/severnaja_amerika/0-21URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/most_quot_zolotye_vorota_quot/1-1-0-12URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/tadzh_makhal/1-1-0-7URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/kolizej/1-1-0-5URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/ehjfeleva_bashnja/1-1-0-4URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/sidnejskaja_opera/1-1-0-6URL restricted by robots.txt2013-01-15http://places.do.am/blog/otel_tjurma_v_stokgolme/2013-01-13-5URL restricted by robots.txt2013-01-15http://places.do.am/publ/arkhitektura/piramidy_gizy/1-1-0-3URL restricted by robots.txt2013-01-15
файл robots.txt стандартный. Запрос на индексацию отправил только после снятия карантина. Подскажите пожалуйста как решить вопрос. В google под всеми страницами сайта вместо информации надпись 
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.Подробнее...
wartemw8496
Сообщений: 26
Репутация: -7
Уровень замечаний:

Сообщение # 879 | 00:28:18
Подскажите пожалуйста!
Где мне искать robots.txt?
Как запретить и разрешить индексировать отдельный модуль на сайте, к примеру: каталог сайтов.
Мой сайт: http://mobikin.ucoz.com/
Сообщение отредактировал wartemw8496 - Четверг, 24 Янв 2013, 00:28:54
o_Onix
Сообщений: 2
Репутация: 1

Сообщение # 880 | 00:59:48
Цитата (wartemw8496)
Подскажите пожалуйста! Где мне искать robots.txt?
Как запретить и разрешить индексировать отдельный модуль на сайте, к примеру: каталог сайтов.
Мой сайт: http://mobikin.ucoz.com/

Найти нельзя он системный, можно посмотреть
http://mobikin.ucoz.com/robots.txt

допишите в robots.txt:
/dir/
Всё это можно сделать только если уже закончился карантин. Эти правила полностью запретят индексацию данных страниц.

Чтобы сделать изменения в robots.txt нужно создать файл формата .txt там указать что запретить, и забросить в корень сайта
Сообщение отредактировал o_Onix - Четверг, 24 Янв 2013, 01:05:59
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 881 | 01:09:50
Newsmd, читайте //forum.ucoz.ru/forum/21-43240-1

Nexor, ставьте информеры не полученным скриптом, а кодом и тогда все будет индексироваться. информер поставленный кодом выводит результаты работы информера

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
vo9shka
Сообщений: 35
Репутация: 15

Сообщение # 882 | 18:55:50
Всем Привет удалил робот/txt свой! старый прошло 2 недели а нового все нет и нет sad как мне прописать новый вручную ? dry
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 883 | 18:58:55
vo9shka, где адрес сайта и зачем вам писать новый вручную, если после удаления роботс заменяется системным, который нормально настроен?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
vo9shka
Сообщений: 35
Репутация: 15

Сообщение # 884 | 19:08:37
я невижу его вообще в менеджере sad нету нигде весь менеджер обыскал sad

Добавлено (24 Янв 2013, 19:05:38)
---------------------------------------------
http://country-games.tk

Добавлено (24 Янв 2013, 19:08:37)
---------------------------------------------
sitemap-forum.xml

sitemap-shop.xml

sitemap.xml

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 885 | 19:16:44
vo9shka, вот ваш роботс http://country-games.tk/robots.txt в файловом менеджере появится тогда, когда вы зальете его туда
если вы не сильно в этом разбираетесь, то файл роботс изменять не стоит

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!