Модератор форума: Yuri_G  
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
pashxan010999
Сообщений: 3
Репутация: -8

Сообщение # 151 | 15:39:35
так как я в этом деле полный новичок то буду работать скринами вотhttp://luchshayarabota.ucoz.ru/Snap_2012-08-01_at_10.33.48.png

Добавлено (02-Авг-2012, 15:39:35)
---------------------------------------------
ау ответьте кто нибудь

GeR@In
Сообщений: 141
Репутация: 19

Сообщение # 152 | 09:59:10
pashxan010999, 30 дней после создания сайта прошло? если нет, то ждите минимум месяц или оплатите какую нибудь услугу.

Более 100 бесплатных, внешних ссылок на ваш сайт. подробности
pashxan010999
Сообщений: 3
Репутация: -8

Сообщение # 153 | 10:50:28
прошло более 100 дней
Drinko
Сообщений: 909
Репутация: 773

Сообщение # 154 | 10:57:22
Quote (pashxan010999)
у меня яндекс и гугл пишут что дступ к файлу robots.txt типо запрещён

Quote (pashxan010999)
http://luchshayarabota.ucoz.ru/Snap_2012-08-01_at_09.23.52.png

Quote (pashxan010999)
http://luchshayarabota.ucoz.ru/Snap_2012-08-01_at_10.33.48.png

По скриншотам видно, что доступ есть. Сам robots.txt так же правильный.

Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 155 | 11:00:37
pashxan010999,
Quote
прошло более 100 дней
А вы когда зарегистрировали сайт в поисковиках ? До окончания карантина ? Удалите сайт из web мастеров поисковиков а потом снова зарегистрируйте ..

pashxan010999
Сообщений: 3
Репутация: -8

Сообщение # 156 | 11:35:36
Miss_Esq начал его я регистрировать когда ему было пару месяцов
Drinko и в чём тогда дело
Тушканчик
Сообщений: 61
Репутация: 37

Сообщение # 157 | 17:36:30
Прдскажите пожалуйста ,как решить проблему - Pобот Googlebot не может получить доступ к вашему сайту . Раньше не было такой проблемы,ничего не изменяла .
Сегодня получила такое писмо от Google

"Pобот Googlebot не может получить доступ к вашему сайту

Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt.
Роботу Googlebot не удалось получить доступ к URL, поскольку истекло время ожидания ответа на запрос или доступ к сайту для робота Googlebot заблокирован."
Сообщение отредактировал Тушканчик - Понедельник, 06 Авг 2012, 17:37:07
Drinko
Сообщений: 909
Репутация: 773

Сообщение # 158 | 17:38:10
Тушканчик, адрес сайта? Если тот, что в профиле, то вероятно из-за того, что с субботы по вечер воскресенья сервер s22 не работал.

Сообщение отредактировал Drinko - Понедельник, 06 Авг 2012, 17:39:55
Тушканчик
Сообщений: 61
Репутация: 37

Сообщение # 159 | 17:49:40
Drinko,
Да ,тот что в профиле , CАЙТ был не доступен с субботы до вечера воскресенья (сервер s22)
подскажите пожалуйста и как решить эту проблему?
Drinko
Сообщений: 909
Репутация: 773

Сообщение # 160 | 18:06:17
Тушканчик, да не надо ничего решать - это только уведомление о возможной проблеме, при следующей проверке сайта Googl'ом все будет ок.

pashxan010999
Сообщений: 3
Репутация: -8

Сообщение # 161 | 12:52:08
а что делать мне
karslyan92
Репутация: 0

Сообщение # 162 | 12:59:34
здраствуйте как настроить сайт на поисковиках гоогл или яндех,немагу настроит?
Drinko
Сообщений: 909
Репутация: 773

Сообщение # 163 | 13:22:26
pashxan010999, смотреть, что именно вызывает ошибки. Robots.txt здесь не при чем.

karslyan92, Вам сюда //forum.ucoz.ru/forum/21-4882-1

pashxan010999
Сообщений: 3
Репутация: -8

Сообщение # 164 | 15:39:11
у меня тут чтото изменилось вот новый скрин это хорошо или есть какието проблеммы http://luchshayarabota.ucoz.ru/Snap_2012-08-07_at_14.38.21.png
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 165 | 22:44:34
pashxan010999, откройте ошибки сканирования и посмотрите какую именно страницу заблочило. и где адрес сайта?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Поиск: