Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
DemaGadalov
Сообщений: 79
Репутация: 1

Сообщение # 421 | 23:06:59
Здравствуйте!
Столкнулся с такой проблемой, Яндекс-вебмастер мне пишет:
"9.08.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt.
Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней."

После этого сообщения иду в файл robots, и обнаруживаю, что собственно запрета то там и нету вроде...

Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

Sitemap: http://www.xn----jtbinblbf6ai8bv3b9a.xn--p1ai/sitemap.xml
Sitemap: http://www.xn----jtbinblbf6ai8bv3b9a.xn--p1ai/sitemap-forum.xml
Sitemap: http://www.xn----jtbinblbf6ai8bv3b9a.xn--p1ai/sitemap-shop.xml
Ну чтож... Решил и на google зайти, проверить что там. Пишет. Google не удалось получить доступ к сайту из-за ошибки DNS.
Использовал гуглбот для просмотра страниц (https://www.google.com/webmasters/tools/googlebot-fetch?siteUrl=http://xn----jtbinblbf6ai8bv3b9a.xn--p1ai/)
Там пишет, что сайт временно недоступен.
Что делать?
Вот адрес сайта: www.помощь-учителю.рф

С уважением, Гадалов Дмитрий.
Мой сайт: http://www.помощь-учителю.рф
Karlo
Репутация: 0

Сообщение # 422 | 15:05:43
Привет знатокам сразу извинюсь поиском пользовался не нашел, и вот 30 страниц читать просто жуть берет.

Сам вопрос такой, я свой сайт решил перенести на другой хостинг перекрепив главный домен и перенеся всю мне нужную информации, остался сайт на домене укоз, в дальнейшем я им буду пользоваться на другом домене.
Собственно как я понял ищя информации в сети мне нужно с старых страниц адресов настроить новые адреса через редирект 301, но вопрос в следующем:
Что делать на данный момент с доменом от укоз и сайтом на нем сохранившемся. Вся информация находится там, как я понимаю мне не нужно делать лишний редирект с доменного имени сайт.ат.уа а можно просто поставить в значение роботс.тхт вместо:
User-agent: * Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: //forum.ucoz.ru/sitemap.xml
Sitemap: //forum.ucoz.ru/sitemap-forum.xml
Sitemap: //forum.ucoz.ru/sitemap-shop.xml
поставить это:
User-agent: *Disallow: /
Я же правильно понимаю что робот придя на сайт увидит запрет и уйдет? тем самым страница не попадет под индексацию и это не повлечет за собой отрицательные последствия дублированного контента??????

Если сказать проще я хочу что бы мой сайт на укоз в данный момент ВСЕ поисковики не видели, удалять его не хочу так как не определился останусь я на новом месте или нет, то есть что сделать чтоб даже уже попавшая информация в поисковые системы по доменному имени от укоз не считалась за другой сайт, для гугла и яндекса я решил просто через вебмастера прикрепив оба сайта как зеркало, но мня проиндексировало за год море поисковиков, возможно даже таких о которых я не знаю, вот не хотелось бы всякие маил ру и рамблеры терятью
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 423 | 15:10:38
Karlo, лучшим вариантом для вас будет закрыть сайт на тех.работы. так вы быстрее восстановитесь если надумаете продолжить работу с сайтом. панель управления - настройки - общие настройки - Сайт временно отключен: - поставьте галочку - внизу сохраните. при этом роботс не трогайте

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Karlo
Репутация: 0

Сообщение # 424 | 07:16:14
webanet, спасибо за ответ! просто есть такой нюанс не все файлы и изображения перенесены на новый хост и временно линкуются на страницах на старом сайте. Я так понимаю страницы типа сайт.укоз.ру/картинкО.жпг то есть ссылка на картинку таким образом будет закрыта????
может действительно закинуть в корень файл роботс тхт с
User-agent: *Disallow: /
я же правильно понял принцип работы укоз если в корне есть фаил роботс то сайты видят его, если его удалить то будет доступен фаил роботс от укоз или есть какие хитрости в этом моменте? (ну естественно это все после снятия карантина)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 425 | 13:40:10
Karlo,
Цитата
Я так понимаю страницы типа сайт.укоз.ру/картинкО.жпг то есть ссылка на картинку таким образом будет закрыта????
нет. не будет закрыта
Цитата
User-agent: *Disallow: /
это тем более не поможет для файлов из файлового менеджера, тем более это бесполезно, если эти изображения присутствуют в коде стороннего сайта
Цитата
я же правильно понял принцип работы укоз если в корне есть фаил роботс то сайты видят его, если его удалить то будет доступен фаил роботс от укоз или есть какие хитрости в этом моменте?
вы все очень правильно поняли, но в вашем случае история с роботс бесполезна, если я вас правильно поняла. и к тому же блокировка через роботс может быть длительной и не всегда эффективной. в первую очередь вам все же надо закрыть сайт на тех.работы

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Dmbragin
Сообщений: 1
Репутация: 0

Сообщение # 426 | 18:04:19
Добрый день! Ребята подскажите как быть дальше? Не проходит индексацию, очень далёк от этого. Спасибо

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /shop/order/

Sitemap: http://buroremonta.org/sitemap.xml
Sitemap: http://buroremonta.org/sitemap-forum.xml
Sitemap: http://buroremonta.org/sitemap-shop.xml
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 427 | 18:10:17
Dmbragin, карты сайта вы прописали в своем роботсе без www, а сайт отображается с www. если вы допустили такую же путаницу при добавлении сайта в яндекс например ждать индексации вам очень долго

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Dmbragin
Сообщений: 1
Репутация: 0

Сообщение # 428 | 18:16:14
Цитата webanet ()
Dmbragin, карты сайта вы прописали в своем роботсе без www, а сайт отображается с www. если вы допустили такую же путаницу при добавлении сайта в яндекс например ждать индексации вам очень долго
Как можно исправить всю эту путаницу? Спасибо.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 429 | 18:32:34
Dmbragin, в роботсе исправить адреса карт сайта. яндексу передать адрес с www, поставить основным зеркалом с www. в роботс прописать директиву host
Host: www.buroremonta.org
и ждать индексации около месяца и больше не дергать настройку отображения сайта с www или без него

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Dmbragin
Сообщений: 1
Репутация: 0

Сообщение # 430 | 18:35:33
Цитата webanet ()
Dmbragin, в роботсе исправить адреса карт сайта. яндексу передать адрес с www, поставить основным зеркалом с www. в роботс прописать директиву hostHost: www.buroremonta.org
и ждать индексации около месяца и больше не дергать настройку отображения сайта с www или без него
Спасибо, за помощь.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 431 | 18:39:31
Dmbragin, вы как всегда сделали наоборот. убрали ww. теперь сайт без ввв, а карты сайта с ввв. обновить карты сайта. файловый менеджер. удалить sitemap.xml карты форума и магазина можно удалить. яндексу передать карту сайта снова чтобы было быстрее ТОЛЬКО ПОСЛЕ УДАЛЕНИЯ ИЗ ФАЙЛОВОГО МЕНЕДЖЕРА

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 432 | 18:40:58
Dmbragin, вы вообще понимаете что вам пишут и что вы делаете? вы поставили отображение сайта без www, а карты сайта зачем прописали с www?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Dmbragin
Сообщений: 1
Репутация: 0

Сообщение # 433 | 18:41:59
А где именно её прописать в роботе hostHost: www.buroremonta.org
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 434 | 18:45:39
Dmbragin, вам нигде. учитесь читать. сейчас ваш сайт отображается без www, а вы лепите в роботс с www будете ждать индексации ещё несколько лет
если вы отключили отображение с www, то все ссылки на карты сайта должны быть без www хост должен быть без www сайт в яндекс должен быть передан без www основное зеркало должно быть без www и удалите карту сайта из файлового менеджера чтобы она обновилась. после передадите её яндексу снова

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
DecL
Сообщений: 2
Репутация: 0

Сообщение # 435 | 21:44:40
Здравствуйте, подскажите почему не индексируется сайт в яндексе. карантин снят.
сайт

Спасибо за помощь.
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: