Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
Metatron, запрета по роботу у вас нет. свою ошибку вы получаете из-за того что добавили сайт на индексирование во время карантина. теперь ждите индексацию и читайте первое сообщение этой темы. информация в вебмастере изменится со временем. вам написали в письме, что запрета нет. а инфо в вебмастере обновляется нечасто. ждите
|
|
Jboss, это робот натыкается на ошибку доступ запрещен. может быть есть страницы сайта закрытые от гостей, может есть ссылки на папки из файлового менеджера. в общем ему не хватает прав для просмотра страницы. поисковые системы гуляют по сайтам с правами гостя. если от гостей закрыто, то и робот получает ошибку доступ запрещен
|
|
webanet, Да нет, вроде все открыто вот посмотрите : http://newvidiklub.biz/
Сообщение отредактировал Jboss - Понедельник, 05 Мар 2012, 23:31:45
|
|
Jboss, дайте лучше те ссылки, которые гугл метит как ошибка 403
там должен быть список и посмотрите на свой файл роботтекст Quote User-agent: * Allow: / |
|
Кто то может мне ответить робот текст снят с этого сайта или ещё нет http://xristianin.ucoz.com/
|
|
katan, нет. карантин не снят. во всяком случае стоит запрет индексации
|
|
webanet, маленькая загвоздка с индексированием.
Вебмастер пишет что эта страница eks-pert.ru/index/3 запрещена к индексации. Я как понимаю это главная страница. А вот это мне пришло в сообщении: Добрый день! Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса. По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается. Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt. Подробнее об использовании директив вы можете прочитать в Помощи. Это может быть как то взаимосвязано? Если да, то подскажите, что необходимо изменить для безупречной работы сайта. |
|
Alexale, ваша главная вот http://eks-pert.ru/ если видите какой то запрет то подставляйте под адрес и смотрите ваша проблемная страница eks-pert.ru/index/3? так почему вы не перешли по этой ссылке? вы бы увидели, что запрещена к индексации страница регистрации. и это нормально и так и должно быть. у вас правильный системный роботтекст. ничего в нем не трогайте. письмо которое пришло от яндекса вас не касается и ничего по этому поводу тоже не нужно делать
|
|
Добрый день! У меня вот такая ситуация. Я подождал окончания карантина, увидел рекламу на главной, обрадовался и не проверив robots.txt, зарегистрировал сайт в google и yandex. Ну поспешил на один день
 Признаюсь что сглупил и поспешил не проверив. Конечно же поисковики запретили индексацию сайта. Я прочитал что удаление сайта из поисковиков, занимает не один час, а может и не один день. В Yandex написали, что если ваш сайт уже не под запретом, то через две недели, сайт начнёт индексацию. В Google я отправил запрос на пересмотр для сайта, который как написано может быть рассмотрен в течении нескольких недель. Подскажите пожалуйста, возможно таким способом исправить мою проблему, или всё же надо удалять сайты и заново их регистрировать? И как правильно удалить сайт с поисковика? Сообщение отредактировал olegzp - Четверг, 15 Мар 2012, 19:40:02
|
|
olegzp, добавьте сайт снова через аддурилки поисковиков и ждите индексацию
|
| |||