Страница 3 из 31«123453031»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 31 | 17:33:18
pic,
Quote
Добавила вчера свой сайт
А карантин когда кончился ?
Quote
В чем может быть причина неиндексации главной страницы первого сайта?
А остальное ?

virtualmashine
Сообщений: 25
Репутация: 6

Сообщение # 32 | 17:33:18
Quote (pic)

В чем может быть причина неиндексации главной страницы первого сайта?

Значит домен,который вы наверное недавно купили находился раньше на паркинге,и был закрыт от индексации,вам ничего делать не нужно через 3 недели он проиндексируется яндексом.

pic
Сообщений: 5
Репутация: 0

Сообщение # 33 | 17:33:18
Quote (Miss_Esq)
А карантин когда кончился ?

Вчера ровно месяц прошел с момента открытия сайта, и плюс вчера оплатила премиум базовый.
Quote (Miss_Esq)
А остальное ?

Остальные страницы тоже не индексируются.
Quote (virtualmashine)
Значит домен,который вы наверное недавно купили находился раньше на паркинге,и был закрыт от индексации,вам ничего делать не нужно через 3 недели он проиндексируется яндексом.

А как-то можно выяснить был ли этот домен на паркинге?

У меня Общая инфа по сайту в вебмастере выглядит так:

virtualmashine
Сообщений: 25
Репутация: 6

Сообщение # 34 | 17:33:18
Quote (pic)
А как-то можно выяснить был ли этот домен на паркинге?

Можно,гугл обычно уже через сутки индексирует новый сайт а тормоз-яндекс через недели,поэтому просто пробейте сайт в google,если он есть в поиске,значит будет и в яндексе.

pic
Сообщений: 5
Репутация: 0

Сообщение # 35 | 17:33:18
Quote (virtualmashine)
Можно,гугл обычно уже через сутки индексирует новый сайт а тормоз-яндекс через недели,поэтому просто пробейте сайт в google,если он есть в поиске,значит будет и в яндексе.


Есть ) Показывает, что уже 27 страниц в индексе. Значит будем ждать Яшу. Спасибо smile
Кэтрин7600
Репутация: 10

Сообщение # 36 | 17:33:18
И мета тег убрать с сайта ?
Регистрировала 16 ноября .
Primavera
Сообщений: 23
Репутация: 18

Сообщение # 37 | 17:33:18
У меня начало файла robots стандартное:
User-agent: *
Disallow: /a/
Тогда почему на него ругаются Яндекс и Гугл? Вот что пишут, коварные:





И что бы им такое в роботсе написать, чтобы они подобрели? wink Подскажите, плс!
Сайт http://green-tour.at.ua/

И еще вопрос - если после создания файла сайтмап было добавление/удаление страниц сайта, то его нужно перезалить, или изменения наступят автоматически? А то я где-то читала, что он сам убирает-добавляет, а на практике я нашла в нем уже несуществующие страницы...
Прикрепления: 4493107.jpg(16Kb) · 6450095.jpg(40Kb)
Сообщение отредактировал Primavera - Понедельник, 14 Ноя 2011, 02:28:32
webanet
Личный менеджер
Сообщений: 22856
Репутация: 4857

Сообщение # 38 | 17:33:18
Primavera, удалите ваш роботекст из файлового менеджера. там глупейшая ошибка. в начале и в конце стоит
<pre>...и </pre>
этого там быть не должно. из-за этих тегов яндекс выдает ошибку
после удаления робота он заменится на стандартный. лучше его не трогать. а если надо прописать строчку, то смотрите что льете. робот должен быть чистым без всяких тегов
на счет карты сайта, не трогайте её тоже. через пару дней заменится все. карта обновляется сама и вашего вмешательства не требует

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Кэтрин7600
Репутация: 10

Сообщение # 39 | 17:33:18
Доброго времени суток !
Мой сайт http://flashpanel.ucoz.ru создан месяц назад (чуть больше) ,ждала пока снимут с карантина, но индексацию до сих пор не может пройти .
Написала в службу поддержки Яндекса . Пришёл ответ : Ваш сайт не представлен в поиске по причине полного запрета на индексирование поисковыми роботами в файле robots.txt (http://help.yandex.ru/webmaster/?id=996567):
Адрес файла: robots.txt
Удалите файл или измените его содержимое так, чтобы не было полного запрета на индексирование его содежимого
.

Захожу в вебмастер там надпись !
19.11.2011 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.

Помогите разобраться , что делать ?
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 40 | 17:33:18
Кэтрин7600,
Quote
Помогите разобраться , что делать ?
Вы его в поисковиках когда зарегистрировали ???
Quote
месяц назад (чуть больше)
Точнее , дата создания сайта из Панели управления ...

fllop,
Quote
а вроде со слов прочитанного он сам появиться
Сам в ФМ не появится , увидеть сможете при обращении по адресу http:// адрес сайта /robots.txt , если скопируете его и записав как текстовый файл загрузите в ФМ , то тогда он у вас там и будет ... А так он просто будет генерироваться системой для поисковиков автоматически при их обращении к нему ..

Сообщение отредактировал Miss_Esq - Четверг, 15 Дек 2011, 22:22:03
Кэтрин7600
Репутация: 10

Сообщение # 41 | 17:33:18
Дата создания 15 ноября , а в поисковиках зарегистрировала 16 .
Значит получается месяц , ни больше не меньше.
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 42 | 17:33:18
Кэтрин7600,
Quote
а в поисковиках зарегистрировала 16 .
16 ноября или декабря ???

Вообще то даже 16 декабря как дата регистрации в поисковиках , это слишком рано , поспешили , 17 декабря у вас бы ни каких проблем НЕ БЫ ЛО БЫ .....

Регистрировать в поисковиках нужно по истечении месяца , с запасом ....

Если зарегистрировали 16 ноября , то удалите сайт из Web мастеров поисковиков и уже 17 декабря зарегистрируйте снова ...

Kyronok
Сообщений: 6
Репутация: 3

Сообщение # 43 | 17:33:18
Появилась проблема. В инструментах для вебмастеров от гугл в сводке "Заблокирован файлом robots.txt" написало, что заблокировано 15 адресов (ссылок), я посмотрел и оказывается, что заблокировано то, что никак не можеть быть заблокировано, ведь я не менял стандартный robots.txt, а там заблокировано несколько ссылок на новости, и даже раздел фотографии.

Вот ссылка на мой robots.txt, как видно он стандартный от uCoz.
Также скриншот на эти 15 заблокированных ссылок, посмотрите его, там очень хорошо видно о чём речь.
Кто знает как исправить?

Greener
Сообщений: 5
Репутация: 41

Сообщение # 44 | 17:33:18
Kyronok, а какой сайт ( с каким урлом) у вас зарегистрирован на Гугле?
Если там у вас зарегистрирован honeystorm.ucoz.org, то все очевидно, т.к. для него Robots.txt все блокирует:
Code

User-agent: *
Disallow: /

А ссылки Гугл показывает на прикрепленный домен honeystorm.org потому, что у вас включен редирект на него.

Если все так, как я предположил, то выхода у вас 2:
1 - в ПУ включить "Разрешать индексацию по обоим доменам", но это делать НЕ рекомендую;
2 - в Гугл-аккаунте зарегистрировать новый домен и в разделе "Конфигурация сайта" -> "Изменение адреса" (для старого адреса) сообщить Гуглу "URL своего нового домена". Гугл через некоторое время сам разрулит ситуацию.

Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Вторник, 22 Ноя 2011, 15:21:08
Kyronok
Сообщений: 6
Репутация: 3

Сообщение # 45 | 17:33:18
Greener, я регистрировал в гугле сразу honeystorm.org
Совсем не понимаю из-з чего это происходит...

Сообщение отредактировал Kyronok - Вторник, 22 Ноя 2011, 15:53:35
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Страница 3 из 31«123453031»
Поиск: