Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 61 | 17:33:18
L-win,
Quote
Или это так и должно быть?
Хоть лбом в стенку , останется ... , станет намного меньше но всё равно будет ... Воевать с ветряными мельницами бесполезно ... Не обращайте вниманя ...

alexmay777
Сообщений: 35
Репутация: 0

Сообщение # 62 | 17:33:18
Здравствуйте. У меня такая проблема-несмотря на то что у меня Robots стандартный- http://serialbox.3dn.ru/robots.txt, гугл пишет, что некоторые страницы запрещенны файлом robots.txt(например http://serialbox.3dn.ru/load....1-0-252 ну и многие другие) Как это исправить?
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 63 | 17:33:18
alexmay777, надо сообщать когда кончился карантин и когда разместили сайт в Гугле.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
alexmay777
Сообщений: 35
Репутация: 0

Сообщение # 64 | 17:33:18
Selena, уже и карантин прошел и сайт в гугле. Уже в гугле индексирует 49 страниц.
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 65 | 17:33:18
alexmay777, нужна точная дата, на индексацию сайта нужно время, хотя Гугл и делает это быстрее Яндекса.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
alexmay777
Сообщений: 35
Репутация: 0

Сообщение # 66 | 17:33:18
Selena, То есть, несмотря на то что карантин прошел и сайт начал индексироваться, Гугл считает по прежнему, что некоторые страницы в карантине?
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 67 | 17:33:18
alexmay777, очень вероятно и зависит это от даты окончания карантина.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
alexmay777
Сообщений: 35
Репутация: 0

Сообщение # 68 | 17:33:18
Selena, Вроде как 8 января. А как можно узнать точную дату?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 69 | 17:33:18
alexmay777,
Quote
А как можно узнать точную дату?
В панели управления , на самом верху , типа Здравствуйте такой то и дата , время основания сайта . Прибавьте 31 ( гарантированно ) будет дата окончания карантина . Потом уже можно регистрировать сайт в поисковых системах ..

Сообщение отредактировал Miss_Esq - Понедельник, 09 Янв 2012, 21:45:34
palmochka
Сообщений: 2
Репутация: 0

Сообщение # 70 | 08:34:12
ошибочно зарегистрировала сайт на Яндексе во время карантина,теперь после снятия карантина на Яндексе пишет-
Quote
Disallow: синтаксическая ошибка
/a/ запрещен правилом /a/


и так по всем используемым страницам сайта

подскажите,плиз,как перегистрировать сайт(подходящего вопроса и ответа не нашла,сорри)

сайт здесь

Добавлено (24-Фев-2012, 07:59:36)
---------------------------------------------
учитывая ответы в теме,карантин на сайте закончился 2 недели назад,что нужно сделать,чтобы робот начал снова индексировать
сайт-http://kirabes.ucoz.ru

посмотрела файл яндекса в корневой папке,но он почему-то при открытии показывает значки-ромбики вместо текста,может быть в этом причина,и попробовать снова загрузить этот файл?

Добавлено (24-Фев-2012, 08:21:32)
---------------------------------------------
вот,что написано в вебмастере-

Quote
28.01.2012 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.

Добавлено (24-Фев-2012, 08:34:12)
---------------------------------------------
Вопрос по другому сайту-http://aromanika.ucoz.ru/

почему робот индексирует только первую страницу сайта? sad

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 71 | 17:38:15
palmochka,
Quote
посмотрела файл яндекса в корневой папке,но он почему-то при открытии показывает значки-ромбики вместо текста,может быть в этом причина,и попробовать снова загрузить этот файл?
файлы надо сохранять в кодировке utf-8
можете добавить сайт снова через аддурилку яндекса http://webmaster.yandex.ru/addurl.xml и ждите. информация в вебмастере может запаздывать очень с обновлением

Quote
почему робот индексирует только первую страницу сайта?


наверное потому что главная страница наполнена материалами, которые отдают ошибку об отключении магазина за неуплату? пишите в тех. поддержку и там спрашивайте

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
palmochka
Сообщений: 2
Репутация: 0

Сообщение # 72 | 20:07:17
webanet, большое спасибо вам,проверю все smile
katan
Сообщений: 1
Репутация: 0
Уровень замечаний:

Сообщение # 73 | 20:07:27
сайту уже месяца 3-4 но робот текст так и не снят в чём причина ? http://lectravi.ucoz.ua/?lMGrur?lYisjj
яндэкс котигорически отказывается индэксировать.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://lectravi.ucoz.ua/sitemap.xml
Sitemap: http://lectravi.ucoz.ua/sitemap-forum.xml
Sitemap: http://lectravi.ucoz.ua/sitemap-shop.xml
Сообщение отредактировал katan - Воскресенье, 26 Фев 2012, 21:09:48
bandjuk
Сообщений: 6816
Репутация: 2398
Уровень замечаний:

Сообщение # 74 | 20:07:27
katan,
Quote
сайту уже месяца 3-4 но робот текст так и не снят в чём причина ?

Да нормально всё с Вашим роботс!
http://lectravi.ucoz.ua/robots.txt
Code

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://lectravi.ucoz.ua/sitemap.xml
Sitemap: http://lectravi.ucoz.ua/sitemap-forum.xml
Sitemap: http://lectravi.ucoz.ua/sitemap-shop.xml

Единственное,что можно добавить - это
Host:
katan
Сообщений: 1
Репутация: 0
Уровень замечаний:

Сообщение # 75 | 20:07:27
bandjuk, тогда почему яндэкс пишет что запрет и не хочет индексировать
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: