   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
АДМИН_сайта_WOBG, вы не заливали свой файл? ничего не трогали?
|
|
webanet, вроде нет, а что?
|
|
Вот мой robots.txt
наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. что тут не правильно ? User-agent: * Disallow: /search Disallow: /cart Disallow: /order Disallow: /admin Disallow: /*?psort=new Disallow: /*?psort=popular Disallow: /*?page= Clean-param: color / Clean-param: ref / Clean-param: model / Clean-param: side / |
|
Добрый день. У меня такая проблема : прикрепил домен к своему сайту (больше месяца) и после этого robots.txt пишет:disollow то есть запрещает индексации,,хочу добавить,что до прикрепление домена у меня была другая robots.txt и нормально индексировался на поисковых системах. Мой сайт: no-words.ru
Что посоветуе ? Сообщение отредактировал Exclusive8147 - Воскресенье, 21 Дек 2014, 17:59:19
|
|
Exclusive8147, у вас закрыт стандартный юкозовский домен на индексирование http://nowords.ucoz.ru/robots.txt прикрепленный открыт для индексации. добавьте новый домен в поисковики и смотрите инфо по новому домену, а не по старому. страый уже поздно открывать для индексации
|
|
ok
Спасибо. |
|
Цитата tyler2 (  )всем привет отправил в google на индекс и пишет Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. вот мой robots.txt User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /abnl/ Disallow: /google Disallow: /twitter Disallow: /facebook Disallow: /yandex Disallow: /vkontakte User-agent: *Allow: /*?page* Disallow: /a/ Disallow: /api/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /abnl/ Disallow: /*?* Disallow: /*_escaped_fragment_= Disallow: /blog/*-987 Disallow: /blog/*-0- Sitemap: http://fast-torrent.ucoz.ru/sitemap.xml |
|
Admin8386,
Цитата Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. |
|
|
|
Добрый день. Мой сайт http://spice-and-volf.ucoz.ru/ . С карантина давно снят. Куча страниц не в индексе уже довольно давно.
Пару дней назад обращался в службу поддержки яндекса .Из службы поддержки делали проверки, написали: "Страницы (те которые выдавал им на анализ) в sitemap не обнаружено. Страница (те которые выдавал им на анализ) запрещена к индексации файлом robots.txt . Обратить в службу поддрежки Юкоз. Ребят, подскажите кто может. В чём дело? Искал файл robot.txt в корне - его там нет. P.S. Вот дефектная страница, с коментарием из тех поддержки: http://spice-and-volf.ucoz.ru/photo/?photo=72 Вот ещё страницы, с которыми та беда http://spice-and-volf.ucoz.ru/photo/?photo=71 http://spice-and-volf.ucoz.ru/photo/?photo=64 http://spice-and-volf.ucoz.ru/photo/?photo=70 Подскажите, как всё это исправить. С искренним уважением, Жерар.
http://spice-and-volf.ucoz.ru/ -© |
|
Жерар,
Цитата http://spice-and-volf.ucoz.ru/photo/?photo=72 Вот ещё страницы, с которыми та беда http://spice-and-volf.ucoz.ru/photo/?photo=71 http://spice-and-volf.ucoz.ru/photo/?photo=64 http://spice-and-volf.ucoz.ru/photo/?photo=70 перейдите по всем "проблемным" ссылкам, а потом перейдите сюда http://spice-and-volf.ucoz.ru/photo/ |
|
webanet, спасибо, но как быть с этим:
 Куча страниц, которые вне индекса долгое время, уже давно должны быть в индексе. Все они в разных разделах. Проблемные страницы брал оттуда. Из онлайн проверок - запрещены к индексации файлом robots.txt . Как с этим быть и как это исправить? P.S. Могу приложть ещё сслыки, скришноты, только скажите, как быть. Прикрепления:
8451708.png
(12.5 Kb)
С искренним уважением, Жерар.
http://spice-and-volf.ucoz.ru/ -© Сообщение отредактировал Жерар - Пятница, 03 Апр 2015, 08:40:53
|
|
Жерар, давайте ещё ссылки, запрещенные в роботсе из разных разделов
Цитата Куча страниц, которые вне индекса долгое время, уже давно должны быть в индексе. |
|
Цитата Жерар ( )Куча страниц, которые вне индекса долгое время, уже давно должны быть в индексе. Все они в разных разделах. Проблемные страницы брал оттуда. Из онлайн проверок - запрещены к индексации файлом robots.txt . Как с этим быть и как это исправить? |
| |||