Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz Вебмастеру Раскрутка сайта Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
а как это исправить
|
|
Adrenolaine, вы можете внятно пояснить что вам нужно и что нужно исправлять? вам исправлять ничего не нужно
/shop/order/ и не должно индексироваться. остальное индексируется. формулируйте вопрос. какие у вас проблемы и где адрес сайта. я имею ввиду почему вы так настойчиво что-то хотите исправить на ровном месте вы добавили сайт в поисковики, когда он был на карантине и теперь хотите индексации за одну минуту? если да, то после снятия карантина вам нужно добавить сайт в поисковики снова и ждать 2 недели первичной индексации если нет, то рассказывайте о проблемах |
|
Quote (Adrenolaine) закрыто только Disallow: /shop/order/ Сори я думал это нужно) |
|
Quote (myjik777) Почему в поисковиках пишут "Описание веб-страницы недоступно из-за ограничений в файле robots.txt." Как это исправить? и что такое карантин. Ну писать не вижу смысла ,когда всё уже написано сдесь //forum.ucoz.ru/forum/21-38597-2#811251 道德經 Помощь по системе
|
|
Подскажите пожалуйста, дождался я и вышел сайт с карантина, при это все стандартно и файл robots.txt не менял, добавил его в вебмастер Гугл и Яндекс, яндекс выдал- Ваш сайт не был проиндексирован из-за настроек сервера!!!!!
Гугл выдал- http://filmokos.ru/: робот Googlebot не может получить доступ к вашему сайту Число ошибок за последние 24 ч. при попытке робота Googlebot получить доступ к файлу robots.txt: 5. Чтобы исключить сканирование страниц, доступ к которым заблокирован в этом файле, сканирование было отложено. Общая доля ошибок при попытке доступа к файлу robots.txt на сайте: 100.0%. Подробнее об этих ошибках можно узнать в Инструментах для веб-мастеров. Рекомендуемые действия Если доля ошибок для сайта равна 100%: Попробуйте открыть файл http://filmokos.ru/robots.txt в веб-браузере. Если вам это удалось, возможно, ваш сайт блокирует доступ к этому файлу для робота Googlebot. Проверьте конфигурацию брандмауэра и сайта, чтобы убедиться, что доступ для робота Googlebot не блокируется. Если файл robots.txt является статическим, убедитесь, что ваша веб-служба имеет необходимые разрешения для доступа к нему. Если файл robots.txt создается динамически, убедитесь, что для скриптов, с помощью которых он генерируется, заданы правильные настройки и установлены необходимые разрешения на выполнение. Просмотрите, имеются ли в журналах веб-сайта записи об ошибках скриптов. Если такие ошибки присутствуют, попытайтесь определить их причину. Что это все и почему собственно Яндекс и Гугл так отреогировал??? Хорошего много не бывает
|
|
Stiv0670, удалите и повторно добавьте robots.txt в вебмастере Google.
|
|
а что делать,если все-таки удалил robots.txt в вебмастере Google и снова его добавил, после появилось вот что- http://filmokos.ru/: рост числа ошибок категории "Не найдено"
Обнаружено значительное увеличение числа URL, которые возвращают ошибку 404 (страница не найдена). Проанализируйте эти ошибки и при необходимости исправьте их, чтобы обеспечить успешное сканирование страниц сайта. И главное, пишет все время при стандартном robots.txt, что Доступ к файлу robots.txt запрещен, так как все время стоит значок предупреждения. Почему именно все так??что неправильно??? User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Host: http://filmokos.ru/ Sitemap: http://www.filmokos.ru/sitemap.xml Sitemap: http://www.filmokos.ru/sitemap-forum.xml Sitemap: http://www.filmokos.ru/sitemap-shop.xml Добавлено (28-Окт-2012, 18:23:01) Хорошего много не бывает
|
|
Stiv0670, вам нужно ждать. вы добавили сайт, который находился на карантине. гугл должен сделать два - три обхода, прежде чем будут изменения. ждите. читайте схожую тему, там решили проблему //forum.ucoz.ru/forum/21-43240-1
|
|
Здравствуйте в яндексе указано, что Проверка выявила полный запрет на индексирование сайта в вашем файле robots.txt, поэтому сайт не будет обходиться роботом Яндекса. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору вашего сайта или хостеру. Вот мой сайт http://goldline-prof.ucoz.ru/ что мне делать?
|
|
Ильдар8879, нельзя сайты, которые находятся на карантине добавлять на индексацию. подробнее о карантине //forum.ucoz.ru/forum/21-38597-1
общие рекомендации //forum.ucoz.ru/forum/21-37241-1 |
|
Использую модуль load.
Хочу запретить индексацию в роботексте Disallow: /load/update_for_september_2011/27 Вопрос: После этого будет индексироваться сам модуль load. |
| |||