Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
orel87
Сообщений: 7
Репутация: 0

Сообщение # 301 | 22:57:17
webanet, хорошо, спасибо за советы, учту на будущее.
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 302 | 21:25:54
Здравствуйте!
Помогите, пожалуйста, разобраться в чем может быть причина того, что Яндекс напрочь отказывается индексировать мой сайт?
Создала сайт http://multikpultik.at.ua/ посвященный детскому мультику "Маша и Медведь", контент на сайте полностью уникальный, все серии к мультфильму описывала сама, время карантина уже давно прошло, так как сайту уже 5 месяцев. В чем может быть проблема, ума ни приложу?
Вот robots.txt моего сайта:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://multikpultik.at.ua/sitemap.xml
Sitemap: http://multikpultik.at.ua/sitemap-forum.xml
Sitemap: http://multikpultik.at.ua/sitemap-shop.xml

Может быть с ним что-то не так?
Спасибо за ответ.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 303 | 21:43:13
akula-z,
Цитата
так как сайту уже 5 месяцев
первые материалы там появились два с половиной месяца назад. домен прикрепляли/открепляли?
вас и гугл не сильно жалует. пишите в тех.поддержку яндекса из вебмастера прямо. спрашивайте у них, что не срослось в индексации
возможно сам контент тому причина и кнопка скачать. но точно вам скажут в тех. яндекса

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 304 | 15:05:03
Нет, домен не прикрепляла, какой был изначально, такой и есть.
А что с контентом не так? Он же уникальный на 100%.
Хорошо, напишу в техподдержку Яндекса.
Спасибо.
Shyher-Maher5998
Сообщений: 6
Репутация: 0

Сообщение # 305 | 18:35:19
Доброго времени суток. Оплатила сегодня пакет услуг на месяц, чтобы с нового сайта сняли блокировку, но все равно при попытке индексации Яндекс выдает сообщение о запрете в robots.txt. В чем может быть проблема? заранее благодарю за ответ
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 306 | 18:38:41
Shyher-Maher5998, вы читаете тему в которой пишете? в первом сообщении все описано. вы добавили сайт на карантине в поиск. вот он и выдает ошибку. ждите 2 недели перепроверки

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
NZT
Сообщений: 369
Репутация: 483

Сообщение # 307 | 19:17:00
Цитата (webanet)
вы добавили сайт на карантине в поиск.

не обязательно... например гуглоботам хром неплохо передает всю информацию о посещенных страницах. но это так, чисто по гуглу...
с яндексом может быть аналогичная ситуация.
MAKARА
Сообщений: 4
Репутация: 0

Сообщение # 308 | 07:56:18
webanet, доброе время суток , у меня такая проблема помогите .
Код
Не поддерживается роботом[i][/i]Формат документа не поддерживается 5135
как сделать что бы убрать не правильный формат или исправить уже всю голову сломал за ранние спасибо !.

http://torrent-best-games.net/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 309 | 14:08:39
MAKARА, где адрес проблемного сайта и где вы получаете такую ошибку?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 310 | 13:06:09
webanet, скажите, пожалуйста, как давно был снят карантин с моего сайта? В Яндексе мне ответили, что сайт появится через 2 недели в выдаче, но проблема в том, что Гугл его не хочет индексировать. У меня точно никаких запретов не стоит на индексацию?
http://multikpultik.at.ua/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 311 | 14:35:18
akula-z, запретов нет никаких. карантин снят в конце апреля.
гугл индексирует но вяло http://www.google.ru/search?....e=UTF-8

единственное что - это ваш сайт простоял пустым почти два месяца. а добавлять материалы вы начали недавно. так что ждите

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 312 | 16:12:54
webanet, Гугл вообще индексирует непонятно что! Кучу пустых страниц, страницы secure и прочую ненужную ерунду, вместо того, чтобы индексировать нормальные страницы с мультиком, играми и прочим.
MAKARА
Сообщений: 4
Репутация: 0

Сообщение # 313 | 23:34:25
webanet, доброе время суток , у меня такая проблема помогите .

Не поддерживается роботом Формат документа не поддерживается 51351

как сделать что бы убрать не правильный формат или исправить уже всю голову сломал за ранние спасибо !.

в Вебмастер яндексе .

извините вот сайт http://torrentgamesru.ru/

http://torrent-best-games.net/
Сообщение отредактировал MAKARА - Пятница, 14 Июн 2013, 07:54:18
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 314 | 23:42:56
MAKARА, я не могу вам помочь. мне не выдали хрустальный шар, а на картах и ваших сообщениях я гадать не умею. просила у вас адрес сайта, но если это тайна, то решайте проблему сами. я не могу без адреса сайта и осмотра роботса что-то умное сказать

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
MAKARА
Сообщений: 4
Репутация: 0

Сообщение # 315 | 18:32:04
[b]MAKARА, webanet[/b], доброе время суток , у меня такая проблема помогите .
КодНе поддерживается роботом Формат документа не поддерживается 51351

как сделать что бы убрать не правильный формат или исправить уже всю голову сломал за ранние спасибо !.

в Вебмастер яндексе .

вот сайт http://torrentgamesru.ru/

извините что сразу не дал сайт .

http://torrent-best-games.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: