Страница 1 из 311233031»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
webanet
Сообщений: 22759
Сообщение # 2 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
sai6808
Сообщений: 1
Репутация: 1

Сообщение # 3 | 17:33:18
Помогите, пожалуйста!

Что это озночает? Яндекс пишет: "Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt ."

До этого сайт нормально работал месяца 3.

Сайт сам http://sidelnikoff.ucoz.ru/
site-Master
Сообщений: 3
Репутация: -5

Сообщение # 4 | 17:33:18
Cайт запрещен к индексации пишит мне яндекс, а файле роботс вот это
User-agent: *
Disallow: /
что делать? нету опыта не буду менять его

http://uc-life.ru шаблоны, скрипты для ucoz
webanet
Личный менеджер
Сообщений: 22759
Репутация: 4846

Сообщение # 5 | 17:33:18
sai6808, ваш робот по стандартному домену юкоза выглядит так
Quote
User-agent: *
Disallow: /

к вашему сайту прикреплен домен sidelnikov.su прикреплен без возможности индексации по обоим доменам, но автоматическое перенаправление со стандартного на новый не стоит.
при прикреплении домена без возможности индексации по обоим доменам старый домен закрывается от индексации роботом. так что у вас все правильно. ваша задача наблюдать в яндексе новый домен раз прикрепили, а не на старый смотреть

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Личный менеджер
Сообщений: 22759
Репутация: 4846

Сообщение # 6 | 17:33:18
farvtur, каким числом было сообщение от яндекса об блокировке главной в роботе. числа смотрите.
когда вы прикрепили домен? вы смотрите инфо по сайту с новым доменом или со старым юкозовским?
при прикреплении домена при отсутсвии настроки индексации по двум доменам, старый юкозовский адрес идет в запрет по роботу, а новый уже идет на индексацию. так что сначала разберитесь для какого адреса вы смотрите инфо. если для юкозовского адреса, то у вас все правильно. ждите индексации по прикрепленному домену. в роботе можете прописать хост на новый домен

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
farvtur
Сообщений: 4
Репутация: 3

Сообщение # 7 | 17:33:18
Добрый день. Создал первый сайт на Юкоз, и постоянно возникают проблемы. Очередная проблема такая: карантин снят тк я оплатил премиум.
Начал добавлять в вебмастер Яндекс, подтвердил права с помощью метатега, но обнаружил такую фразу:"Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt ."
Вот файл robots.txt:
Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://farvater-tur.ru/sitemap.xml
Sitemap: http://farvater-tur.ru/sitemap-forum.xml
Sitemap: http://farvater-tur.ru/sitemap-shop.xml

ПОМОГИТЕ разобраться, плиз!

Добавлено (19-Сен-2011, 15:19:00)
---------------------------------------------
Я в ШОКЕ!!! Многие пишут, что проблема не в robots.txt . Люди!!! Какие ещё могут быть варианты?

Добавлено (19-Сен-2011, 18:26:27)
---------------------------------------------
Кстати, я поставил свое меню, а стандартное удалил
Сообщение отредактировал Zard - Понедельник, 23 Июл 2012, 11:09:52
Al_Pacino
Сообщений: 21
Репутация: 0

Сообщение # 8 | 17:33:18
Ваш сайт не был проиндексирован из-за запрета в файле robots.txt.

Это мне пишет в яндексе. Я смотрел там какие-то ошибки выводит. И сайт не индексируется.
Помогите я новичок)
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 9 | 17:33:18
site-Master,
Quote
что делать? нету опыта не буду менять его
Значит сайт на карантине , не прошло 30 дней со дня основания ..

malroz
Сообщений: 202
Репутация: 39
Уровень замечаний:

Сообщение # 10 | 17:33:18
Подскажите, плиз, гугл обнаружил ошибки сканирования, типа robots запрещает сканировать эти страницы, как исправить?
ошибки:


мой robots:

мой сайт http://malroz.ru/
webanet
Личный менеджер
Сообщений: 22759
Репутация: 4846

Сообщение # 11 | 17:33:18
Tan4ik,
Quote
кто может сказать что это?
я могу сказать только то, что вы совершили типичную ошибку добавив сайт находящийся на карантине в поиск
теперь с вашего сайта карантин снят и вам надо ждать индексации, на которую тоже нужно время

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Tan4ik
Сообщений: 18
Репутация: 0

Сообщение # 12 | 17:33:18
всем привет,у меня такая проблема!

добавил сат в яндексе и через пару дней вот что там было написано: СКРИН

а вот сам САЙТ

кто может сказать что это?

webanet
Личный менеджер
Сообщений: 22759
Репутация: 4846

Сообщение # 13 | 17:33:18
Miss_Esq,
Quote
Disallow: /search/
не надо давать советов, особенно в том, в чем вы совершенно не понимаете
malroz, робот правильный, а то что пишет гугл - это информация, на которую вам не стоит обращать внимание. это результаты поиска. вида http://malroz.ru/search/%D0%A7%D0%B5%D0%BB%D0%B8%D1%82%D0%B0/
их не должно быть в индексе. остальное технические страницы. ничего не трогайте и ничего не предпринимайте

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 14 | 17:33:18
malroz,
Quote
как исправить?
Это не ошибка , исправлять не стоит , так и должно быть , иначе столько хлама появится в индексе ... Допишите слеш ...

Disallow: /search/

Alexale
Сообщений: 102
Репутация: 4

Сообщение # 15 | 17:33:18
Яндекс выплевывает главную страницу из за роботекста,



В чем у меня проблема, подскажите как ее исправить и что занчит вот это?:

Прикрепления: 2770872.jpg(98Kb) · 9816314.jpg(90Kb)
Сообщение отредактировал Alexale - Пятница, 23 Сен 2011, 15:13:55
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Страница 1 из 311233031»
Поиск: