Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
Greener
Сообщений: 5
Репутация: 41

Сообщение # 46 | 17:33:18
Quote (Kyronok)
Greener, я регистрировал в гугле сразу honeystorm.org
Совсем не понимаю из-з чего это происходит...

Тогда попробуйте в своем Robots.txt дописать строчку "Host: honeystorm.org", без кавычек конечно, и Гугл думаю потом разберется к какому урлу ваш сайт и ссылки относятся.

Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Вторник, 22 Ноя 2011, 16:34:15
Greener
Сообщений: 5
Репутация: 41

Сообщение # 47 | 17:33:18
Quote (Kyronok)
Greener, дописал. А вобще остаётся надеяться, что количество запрещённых страниц не будет хотя бы увеличиваться...

Возможно Гугл брал Robots.txt по основному домену, а сами ссылки сайта по новому (прикрепленному), поэтому и спотыкался он.
Директива "Host: honeystorm.org" явно указывает теперь, что основной сайт на домене honeystorm.org, а зеркало на honeystorm.ucoz.org
Вы просто посмотрите, какой robots.txt и откуда Гугл его в очередной раз загрузит. Это в закладке Гугл-мастерс "Доступ для сканера"->"Проверить robots.txt"

На той же закладке Гугл-мастерс "Доступ для сканера"->"Проверить robots.txt" можно самому вписать для теста какое угодно содержимое, и там же ниже вписать любые ссылки своего сайта, а по нажатии кнопки [Проверить] вам будет видно, доступен ли Гуглу такой-то адрес при таком-то содержимом Robots.txt

Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Вторник, 22 Ноя 2011, 17:50:34
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 48 | 17:33:18
Greener, с каких пор гугл стал понимать директиву яндекса хост?

Kyronok, когда был создан сайт на юкозе?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Greener
Сообщений: 5
Репутация: 41

Сообщение # 49 | 17:33:18
Quote (webanet)
Greener, с каких пор гугл стал понимать директиву яндекса хост?

Да, это я погорячился, но это тоже будет полезно, пусть хотя бы и для Яндекса.

Чужие ошибки заметны сразу, а вот свои...
Kyronok
Сообщений: 6
Репутация: 3

Сообщение # 50 | 17:33:18
Quote (Greener)
Вы просто посмотрите, какой robots.txt и откуда Гугл его в очередной раз загрузит. Это в закладке Гугл-мастерс "Доступ для сканера"->"Проверить robots.txt"

Посмотрел, стоит http://honeystorm.org/robots.txt т.е. правильно адрес указан.
Quote (Greener)
"Доступ для сканера"->"Проверить robots.txt" можно самому вписать для теста какое угодно содержимое, и там же ниже вписать любые ссылки своего сайта, а по нажатии кнопки [Проверить] вам будет видно, доступен ли Гуглу такой-то адрес при таком-то содержимом Robots.txt

Проверил) Вставил я адреса, которые были заблокированы по ошибке, т.е не указаны в robots.txt (Это те 15 url, которые я на скриншоте показывал). Пишет что Робот Google - разрешено. Потом я вставил адрес который реально должен быть отключён т.к. есть в robots.txt. Например имя_сайта/admin/ - показало что доступ закрыт тк есть исключение в robots.txt. Выходит всё правильно работает при проверки, чего тогда в ошибках диагностики выдаёт эти 15 адресов я не понимаю.
Quote (webanet)
когда был создан сайт на юкозе?

В августе. Но! Поначалу стоял карантин, после карантина я сразу поменял роботс, чтоб сайт неидексировался, тк я его не доделал и был домен с ucoz. Т.е я предусмотрел, чтобы сайт не идексировался с доменом ucoz во избежании дальнейших проблем с новым покупным доменом.
После того, как я купил свой домен и доделал сайт, тогда поменял роботс на рабочий с включенной индексацией, добавил сайт на индексацию в гугл и яндекс. Также хочу сказать что на сайте нет ни одной ссылки ведущей на домен с ucoz.

Greener
Сообщений: 5
Репутация: 41

Сообщение # 51 | 17:33:18
Quote (Kyronok)
Выходит всё правильно работает при проверки, чего тогда в ошибках диагностики выдаёт эти 15 адресов я не понимаю.

Трудно сказать, возможно был глюк, и значит остается немного подождать, пока Гугл снова перезагрузит к себе Robots.txt и заново перепроверит доступность страниц. Видимо у Гугла "по старой памяти" где-нибудь в базе осталась ассоциация с вашим предыдущим Robots.txt, который запрещал все ваши страницы для индексации.

Чужие ошибки заметны сразу, а вот свои...
Miss_Esq
Сообщений: 13864
Репутация: 4159
Уровень замечаний:

Сообщение # 52 | 17:33:18
Greener,
Quote
заново перепроверит доступность страниц
Долго придётся ждать ...
Страницы то будут в индексе а ошибка может ещё висеть долго ..
Не берите в голову , проверили , нормально , ну и оставьте их в покое , со временем может быть исчезнут ..
Правая рука нге ведает что делает левая , главное что бы индекс был хорошим ... smile

Сообщение отредактировал Miss_Esq - Вторник, 22 Ноя 2011, 19:32:12
AmstaFF(rus)
Сообщений: 2
Репутация: 2

Сообщение # 53 | 17:33:18
Здравствуйте! У меня возникла проблема в индексации сайта Яндексом, а именно пишет следующее:
Ваш сайт не был проиндексирован из-за запрета в файле robots.txt

Robots стандартный. Сайт - mego-status.ucoz.ru.
Подскажите в чём проблема?
Сообщение отредактировал AmstaFF(rus) - Пятница, 02 Дек 2011, 22:44:13
Miss_Esq
Сообщений: 13864
Репутация: 4159
Уровень замечаний:

Сообщение # 54 | 17:33:18
AmstaFF(rus),
Quote
У меня возникла проблема в индексации сайта Яндексом,
А вы когда сайт добавили в Яндекс ? после окончания карантина ( 30 дней с основания сайта ) или до этого срока ? Robots.txt у вас нормальный некарантинный ..

AmstaFF(rus)
Сообщений: 2
Репутация: 2

Сообщение # 55 | 17:33:18
да...после карантина...зарегистрировал сайт 27 октября, добавил сайт 27-28 ноября. Ну как бы зашёл перед этим в свой Robots проверил что уже не на карантине и добавил...А теперь вот такая проблема sad
Miss_Esq
Сообщений: 13864
Репутация: 4159
Уровень замечаний:

Сообщение # 56 | 17:33:18
AmstaFF(rus),
Quote
А теперь вот такая проблема
Это ещё не проблема , ждите неделю две пока яндекс возьмётся за ваш сайт , может пройти пару недель , подождите ...

AmstaFF(rus)
Сообщений: 2
Репутация: 2

Сообщение # 57 | 17:33:18
как он возьмётся за сайт если он написал что ошибка в Robots? И в пояснении написали, что когда исправлю ошибку чтоб заново добавил сайт к индексации...
Miss_Esq
Сообщений: 13864
Репутация: 4159
Уровень замечаний:

Сообщение # 58 | 17:33:18
AmstaFF(rus),
Quote
И в пояснении написали, что когда исправлю ошибку чтоб заново добавил сайт к индексации
Видимо сайт попал в Яндекс до снятия карантина , робот увидел запрет в файле и сохранил информацию . Добавьте сайт в Яндекс снова , если уж на то пошло , всё равно страницы вашего сайта окажутся в индексе не ранее недели - двух , обычно второй срок ...

Bumer_2
Сообщений: 37
Репутация: 0

Сообщение # 59 | 17:33:18
Народ все привет,в чем проблема мой сайт в яндексе просто не индексируется то есть индексировался а щас вот что пишет "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt." Сайту 2 года да и robots.txt я никогда не трогал и не знаю где он находится.Помогите срочно хосты просто теряются... cry
InTeam
Сообщений: 77
Репутация: 16

Сообщение # 60 | 17:33:18
Был сайт с индификацией все было нормально купил новый домен теперь сайт с новым доменом проиндефицирован а на сторам домене пишет что заблокирован и
Code

User-agent: *
Disallow: /

И файла robots.txt нет на сайте только есть(изменяет) для нового домена и со старого ПУ оплатил услугу в 3$ до сих пор заблокирован что делать подскажите что бы было норм 2 сайта были в поисковыке проиндефицированы
Сообщение отредактировал InTeam - Вторник, 03 Янв 2012, 15:25:03
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: