Модератор форума: Yuri_G  
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 256 | 22:02:58
Vkenik,
Цитата
Что сделать Чтобы Стало Таким
нужно прочитать эту тему //forum.ucoz.ru/forum/21-38597-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Feniks3881
Сообщений: 2
Репутация: 0

Сообщение # 257 | 19:50:10
Здравствуйте уважаемые форумчане! Возник вопрос. При добавлении сайта в вебмастер Яндекса, в личном кабинете выводится вот такая ошибка:

"Внимание! Главная страница сайта исключена из индекса:HTTP-статус: Внутренняя ошибка сервера (500)."

Чтобы это могло значить?
crb8111
Репутация: 0

Сообщение # 258 | 19:50:20
Добрый день у меня такая проблема...robot.txt сначала нашел ошибку и не пропускает теперь индексацию а я заново проверяю уже нет ошибки но не чего не меняется и индексация не проходит что мне делать подскажите...
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 259 | 19:50:20
crb8111, Адрес сайта, когда его создали, когда зарегистрировали его в поисковиках Яндекс и Google ???

crb8111
Репутация: 0

Сообщение # 260 | 19:50:20
http://shel-crb.ucoz.ru сегодня месяц включила раскрутку числа 15 февраля а создала сайт 28 января.... ошибки теперь нету но все равно индексация не проходит
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 261 | 19:50:20
crb8111,
Цитата
включила раскрутку числа 15 февраля
Обычно индексация начинается в течении недели двух после регистрации сайта в поисковых системах ..

crb8111
Репутация: 0

Сообщение # 262 | 19:50:20
Цитата (Miss_Esq)
Обычно индексация начинается в течении недели двух после регистрации сайта в поисковых системах ..
Ваш сайт не был проиндексирован из-за запрета в файле robots.txt.это Яндекс написал я проверила заново но он пропустил а что дальше делать я не знаю...
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 263 | 19:50:20
crb8111,
Цитата
а что дальше делать я не знаю...
Просто ждите неделю - две ...

Цитата
не был проиндексирован из-за запрета в файле
Из за того что вы его зарегистрировали в поисковике до окончания карантина, когда robots.txt был с запретом ..

Svetlana8597
Сообщений: 4
Репутация: 0

Сообщение # 264 | 05:19:13
Срок карантина истек,но сайт не индексируется
http://greenhome.my1.ru/
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 265 | 07:18:25
Svetlana8597, У вас карантин ещё не закончился ...

http://greenhome.my1.ru/robots.txt

User-agent: *
Disallow: /

Svetlana8597
Сообщений: 4
Репутация: 0

Сообщение # 266 | 10:05:23
Miss_Esq

Почему? Сайту больше 30 дней!
Сообщение отредактировал Svetlana8597 - Четверг, 07 Мар 2013, 10:06:42
stone7399
Сообщений: 5
Репутация: 0

Сообщение # 267 | 10:05:33
Здравствуйте! Сайт вышел с карантина 14 января, прикреплен домен 2 уровня, в Яндексе еще не проиндексирован, в Исключенных страницах в веб мастере Яндекса прописано, что документ запрещен в файле robots.txt , подскажите новичку, сайт - http://elizaveta.msk.ru/ Cпасибо.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 268 | 16:11:01
stone7399, по новому домену сайт проиндексирован http://webmaster.yandex.ru/check.xml?hostname=www.elizaveta.msk.ru и никакого карантина там нет.
но если вы смотрите вебмастер по старому домену юкозовскому, то там должен быть запрет на индексирование, так как у вас не стоит настройка индексации по обоим доменам. это значит, что старый юкозовский домен закрыт от индексации и это правильно и вашего вмешательства не требует. ваша задача внести в вебмастер новый адрес сайта и смотреть индексацию уже по новому домену.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
vitaliy0770
Репутация: 0

Сообщение # 269 | 01:42:46
Здравствуйте подскажите пожалуйста, сайту уже год точно индексировался обеими поисковиками отлично,пока не прикрепил домен c 2domains
итог гугл в поиске прежний домен выдает вот это,а новый отлично
интерсный сайт делаем сами - uCozvse-proremont.ucoz.ru/Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

купил пакет на месяц домен на год ,теперь робот тхт не хочет индексировать в вебмастере гугл ни новый ни старый адрес
может карантин возник изза чегото

User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://vse-proremont.ucoz.ru/sitemap.xml
Sitemap: http://vse-proremont.ucoz.ru/sitemap-forum.xml
Sitemap: http://vse-proremont.ucoz.ru/sitemap-shop.xml
переживаю изза адсенса его робот не может просканировать сайт
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 270 | 01:52:03
vitaliy0770, по стандартному юкозовскому домену ограничения нет http://vse-proremont.ucoz.ru/robots.txt . остальное понять не удалось. к сайту прикреплен сейчас домен и какой? если да, то какой
и был ли раньше прикреплен домен к сайту?
если был прикреплен и не стояла настройка индексации по обоим доменам, то старый был закрыт от индексации. возможно сейчас идет инфо об этом

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!