   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
Quote (Miss_Esq) Al_Pacino, Если сайту менее 30 дней , это закономерно . Карантин 30 дней со дня основания .... Так у меня карантин уже как месяц прошел. Добавлено (03-Ноя-2011, 00:21:12) --------------------------------------------- Вот что там написано в Яндексе Code Robots.txt User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Sitemap: http://klinkerm.ucoz.ru/sitemap.xml Sitemap: http://klinkerm.ucoz.ru/sitemap-forum.xml Sitemap: http://klinkerm.ucoz.ru/sitemap-shop.xml Используемые секции Строка 1-17 User-agent: * Disallow: /a/ ... Disallow: /shop/order/ 19-21 Sitemap: http://klinkerm.ucoz.ru/sitemap.xml Sitemap: http://klinkerm.ucoz.ru/sitemap-forum.xml Sitemap: http://klinkerm.ucoz.ru/sitemap-shop.xml Добавлено (03-Ноя-2011, 00:21:56) --------------------------------------------- Помогите разобраться пожалуйста)) Сообщение отредактировал Zard - Понедельник, 23 Июл 2012, 11:10:04
|
|
Al_Pacino, в чем вы хотите разобраться? у вас стандартный роботтекст. карантин снят. лучше ничего не трогать
почитайте внимательно тему |
|
DIRID, Карантин специально для этого и создан, "чтобы у вас было время наполнить сайт нужной информацией", чтобы поисковики "не выкидывали ваш сайт из поиска, потому что он пустой или информация на нём вся уже есть в интернете". Снимается автоматически при наличии хотя бы одного из условий:
- Сайт существует более 30 дней. - На сайте в наличии большое количество материалов, либо у сайта высокая посещаемость. - При оплате дополнительной услуги на сумму более 2$ (в данном случае - мгновенно после оплаты). Сообщение отредактировал Виталий98 - Четверг, 08 Дек 2011, 10:51:51
|
|
semen4728, Ссылки то читать можете ? На скриншоте запрешена к индексации капча .....
 |
|
Miss_Esq, как карантин не закончился? моему сайту больше четырех месяцев. скрин гугла
|
|
|
|
Al_Pacino, Если сайту менее 30 дней , это закономерно . Карантин 30 дней со дня основания ....
|
|
Bumer_2, доступ к файлу robots.txt разрешён http://stalker-lost.ru/robots.txt
По всей видимости проблема возникла после прикрепления домена. |
|
Greener, дописал. А вобще остаётся надеяться, что количество запрещённых страниц не будет хотя бы увеличиваться...
|
|
Кэтрин7600,
Quote И мета тег убрать с сайта ? Регистрировала 16 ноября . |
|
DIRID,
Quote А сегодня заявляет: "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt" |
|
Я поставил сайт на индексацию в яндексе до этого дня он говорил: "сайт поставлен в очередь на индексирование" А сегодня заявляет: "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt" мой robots.txt:
Code User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Sitemap: http://6pda.3dn.ru/sitemap.xml Sitemap: http://6pda.3dn.ru/sitemap-forum.xml Sitemap: http://6pda.3dn.ru/sitemap-shop.xml ЧТО ДЕЛАТЬ? Как сделать так чтобы яндекс всё таки смог проиндексировать сайт?  Сообщение отредактировал Zard - Понедельник, 23 Июл 2012, 11:11:20
|
|
Доброе утро.
Добавила вчера свой сайт (adobebest.ru) в вебмастер Яндекса. Сегодня зашла в панель вебмастера и там написано "Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt" Другой юкозовский сайт (vseotkritki.ru) с точно таким же файлом robots.txt прекрасно индексируется с первого дня добавления в вебмастер...и главная страница, и большинство других. В чем может быть причина неиндексации главной страницы первого сайта? |
| |||