   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
pic,
Quote Добавила вчера свой сайт Quote В чем может быть причина неиндексации главной страницы первого сайта? |
|
Quote (pic) В чем может быть причина неиндексации главной страницы первого сайта? Значит домен,который вы наверное недавно купили находился раньше на паркинге,и был закрыт от индексации,вам ничего делать не нужно через 3 недели он проиндексируется яндексом. |
|
Quote (Miss_Esq) А карантин когда кончился ? Вчера ровно месяц прошел с момента открытия сайта, и плюс вчера оплатила премиум базовый. Quote (Miss_Esq) А остальное ? Остальные страницы тоже не индексируются. Quote (virtualmashine) Значит домен,который вы наверное недавно купили находился раньше на паркинге,и был закрыт от индексации,вам ничего делать не нужно через 3 недели он проиндексируется яндексом. А как-то можно выяснить был ли этот домен на паркинге? У меня Общая инфа по сайту в вебмастере выглядит так: |
|
Quote (pic) А как-то можно выяснить был ли этот домен на паркинге? Можно,гугл обычно уже через сутки индексирует новый сайт а тормоз-яндекс через недели,поэтому просто пробейте сайт в google,если он есть в поиске,значит будет и в яндексе. |
|
Quote (virtualmashine) Можно,гугл обычно уже через сутки индексирует новый сайт а тормоз-яндекс через недели,поэтому просто пробейте сайт в google,если он есть в поиске,значит будет и в яндексе. Есть ) Показывает, что уже 27 страниц в индексе. Значит будем ждать Яшу. Спасибо  |
|
И мета тег убрать с сайта ?
Регистрировала 16 ноября . |
|
У меня начало файла robots стандартное:
User-agent: * Disallow: /a/ Тогда почему на него ругаются Яндекс и Гугл? Вот что пишут, коварные:   И что бы им такое в роботсе написать, чтобы они подобрели?  Подскажите, плс! Сайт http://green-tour.at.ua/ И еще вопрос - если после создания файла сайтмап было добавление/удаление страниц сайта, то его нужно перезалить, или изменения наступят автоматически? А то я где-то читала, что он сам убирает-добавляет, а на практике я нашла в нем уже несуществующие страницы... Прикрепления:
4493107.jpg
(16.0 Kb)
·
6450095.jpg
(39.5 Kb)
Сообщение отредактировал Primavera - Понедельник, 14 Ноя 2011, 02:28:32
|
|
Primavera, удалите ваш роботекст из файлового менеджера. там глупейшая ошибка. в начале и в конце стоит
<pre>...и </pre> этого там быть не должно. из-за этих тегов яндекс выдает ошибку после удаления робота он заменится на стандартный. лучше его не трогать. а если надо прописать строчку, то смотрите что льете. робот должен быть чистым без всяких тегов на счет карты сайта, не трогайте её тоже. через пару дней заменится все. карта обновляется сама и вашего вмешательства не требует |
|
Доброго времени суток !
Мой сайт http://flashpanel.ucoz.ru создан месяц назад (чуть больше) ,ждала пока снимут с карантина, но индексацию до сих пор не может пройти . Написала в службу поддержки Яндекса . Пришёл ответ : Ваш сайт не представлен в поиске по причине полного запрета на индексирование поисковыми роботами в файле robots.txt (http://help.yandex.ru/webmaster/?id=996567): Адрес файла: robots.txt Удалите файл или измените его содержимое так, чтобы не было полного запрета на индексирование его содежимого. Захожу в вебмастер там надпись ! 19.11.2011 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Помогите разобраться , что делать ? |
|
Кэтрин7600,
Quote Помогите разобраться , что делать ? Quote месяц назад (чуть больше) fllop, Quote а вроде со слов прочитанного он сам появиться Сообщение отредактировал Miss_Esq - Четверг, 15 Дек 2011, 22:22:03
|
|
Дата создания 15 ноября , а в поисковиках зарегистрировала 16 .
Значит получается месяц , ни больше не меньше. |
|
Кэтрин7600,
Quote а в поисковиках зарегистрировала 16 . Вообще то даже 16 декабря как дата регистрации в поисковиках , это слишком рано , поспешили , 17 декабря у вас бы ни каких проблем НЕ БЫ ЛО БЫ ..... Регистрировать в поисковиках нужно по истечении месяца , с запасом .... Если зарегистрировали 16 ноября , то удалите сайт из Web мастеров поисковиков и уже 17 декабря зарегистрируйте снова ... |
|
Появилась проблема. В инструментах для вебмастеров от гугл в сводке "Заблокирован файлом robots.txt" написало, что заблокировано 15 адресов (ссылок), я посмотрел и оказывается, что заблокировано то, что никак не можеть быть заблокировано, ведь я не менял стандартный robots.txt, а там заблокировано несколько ссылок на новости, и даже раздел фотографии.
Вот ссылка на мой robots.txt, как видно он стандартный от uCoz. Также скриншот на эти 15 заблокированных ссылок, посмотрите его, там очень хорошо видно о чём речь. Кто знает как исправить? |
|
Kyronok, а какой сайт ( с каким урлом) у вас зарегистрирован на Гугле?
Если там у вас зарегистрирован honeystorm.ucoz.org, то все очевидно, т.к. для него Robots.txt все блокирует: Code User-agent: * Disallow: / А ссылки Гугл показывает на прикрепленный домен honeystorm.org потому, что у вас включен редирект на него. Если все так, как я предположил, то выхода у вас 2: 1 - в ПУ включить "Разрешать индексацию по обоим доменам", но это делать НЕ рекомендую; 2 - в Гугл-аккаунте зарегистрировать новый домен и в разделе "Конфигурация сайта" -> "Изменение адреса" (для старого адреса) сообщить Гуглу "URL своего нового домена". Гугл через некоторое время сам разрулит ситуацию. Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Вторник, 22 Ноя 2011, 15:21:08
|
|
Greener, я регистрировал в гугле сразу honeystorm.org
Совсем не понимаю из-з чего это происходит... Сообщение отредактировал Kyronok - Вторник, 22 Ноя 2011, 15:53:35
|
| |||