Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
Quote (Kyronok) Greener, я регистрировал в гугле сразу honeystorm.org Совсем не понимаю из-з чего это происходит... Тогда попробуйте в своем Robots.txt дописать строчку "Host: honeystorm.org", без кавычек конечно, и Гугл думаю потом разберется к какому урлу ваш сайт и ссылки относятся. Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Вторник, 22 Ноя 2011, 16:34:15
|
|
Quote (Kyronok) Greener, дописал. А вобще остаётся надеяться, что количество запрещённых страниц не будет хотя бы увеличиваться... Возможно Гугл брал Robots.txt по основному домену, а сами ссылки сайта по новому (прикрепленному), поэтому и спотыкался он. Директива "Host: honeystorm.org" явно указывает теперь, что основной сайт на домене honeystorm.org, а зеркало на honeystorm.ucoz.org Вы просто посмотрите, какой robots.txt и откуда Гугл его в очередной раз загрузит. Это в закладке Гугл-мастерс "Доступ для сканера"->"Проверить robots.txt" На той же закладке Гугл-мастерс "Доступ для сканера"->"Проверить robots.txt" можно самому вписать для теста какое угодно содержимое, и там же ниже вписать любые ссылки своего сайта, а по нажатии кнопки [Проверить] вам будет видно, доступен ли Гуглу такой-то адрес при таком-то содержимом Robots.txt Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Вторник, 22 Ноя 2011, 17:50:34
|
|
Greener, с каких пор гугл стал понимать директиву яндекса хост?
Kyronok, когда был создан сайт на юкозе? |
|
Quote (Greener) Вы просто посмотрите, какой robots.txt и откуда Гугл его в очередной раз загрузит. Это в закладке Гугл-мастерс "Доступ для сканера"->"Проверить robots.txt" Посмотрел, стоит http://honeystorm.org/robots.txt т.е. правильно адрес указан. Quote (Greener) "Доступ для сканера"->"Проверить robots.txt" можно самому вписать для теста какое угодно содержимое, и там же ниже вписать любые ссылки своего сайта, а по нажатии кнопки [Проверить] вам будет видно, доступен ли Гуглу такой-то адрес при таком-то содержимом Robots.txt Проверил) Вставил я адреса, которые были заблокированы по ошибке, т.е не указаны в robots.txt (Это те 15 url, которые я на скриншоте показывал). Пишет что Робот Google - разрешено. Потом я вставил адрес который реально должен быть отключён т.к. есть в robots.txt. Например имя_сайта/admin/ - показало что доступ закрыт тк есть исключение в robots.txt. Выходит всё правильно работает при проверки, чего тогда в ошибках диагностики выдаёт эти 15 адресов я не понимаю. Quote (webanet) когда был создан сайт на юкозе? В августе. Но! Поначалу стоял карантин, после карантина я сразу поменял роботс, чтоб сайт неидексировался, тк я его не доделал и был домен с ucoz. Т.е я предусмотрел, чтобы сайт не идексировался с доменом ucoz во избежании дальнейших проблем с новым покупным доменом. После того, как я купил свой домен и доделал сайт, тогда поменял роботс на рабочий с включенной индексацией, добавил сайт на индексацию в гугл и яндекс. Также хочу сказать что на сайте нет ни одной ссылки ведущей на домен с ucoz. |
|
Quote (Kyronok) Выходит всё правильно работает при проверки, чего тогда в ошибках диагностики выдаёт эти 15 адресов я не понимаю. Трудно сказать, возможно был глюк, и значит остается немного подождать, пока Гугл снова перезагрузит к себе Robots.txt и заново перепроверит доступность страниц. Видимо у Гугла "по старой памяти" где-нибудь в базе осталась ассоциация с вашим предыдущим Robots.txt, который запрещал все ваши страницы для индексации. Чужие ошибки заметны сразу, а вот свои...
|
|
Greener,
Quote заново перепроверит доступность страниц Страницы то будут в индексе а ошибка может ещё висеть долго .. Не берите в голову , проверили , нормально , ну и оставьте их в покое , со временем может быть исчезнут .. Правая рука нге ведает что делает левая , главное что бы индекс был хорошим ...  Сообщение отредактировал Miss_Esq - Вторник, 22 Ноя 2011, 19:32:12
|
|
Здравствуйте! У меня возникла проблема в индексации сайта Яндексом, а именно пишет следующее:
Ваш сайт не был проиндексирован из-за запрета в файле robots.txt Robots стандартный. Сайт - mego-status.ucoz.ru. Подскажите в чём проблема? Сообщение отредактировал AmstaFF(rus) - Пятница, 02 Дек 2011, 22:44:13
|
|
AmstaFF(rus),
Quote У меня возникла проблема в индексации сайта Яндексом, |
|
да...после карантина...зарегистрировал сайт 27 октября, добавил сайт 27-28 ноября. Ну как бы зашёл перед этим в свой Robots проверил что уже не на карантине и добавил...А теперь вот такая проблема
 |
|
AmstaFF(rus),
Quote А теперь вот такая проблема |
|
как он возьмётся за сайт если он написал что ошибка в Robots? И в пояснении написали, что когда исправлю ошибку чтоб заново добавил сайт к индексации...
|
|
AmstaFF(rus),
Quote И в пояснении написали, что когда исправлю ошибку чтоб заново добавил сайт к индексации |
|
Народ все привет,в чем проблема мой сайт в яндексе просто не индексируется то есть индексировался а щас вот что пишет "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt." Сайту 2 года да и robots.txt я никогда не трогал и не знаю где он находится.Помогите срочно хосты просто теряются...
  |
|
Был сайт с индификацией все было нормально купил новый домен теперь сайт с новым доменом проиндефицирован а на сторам домене пишет что заблокирован и
Code User-agent: * Disallow: / И файла robots.txt нет на сайте только есть(изменяет) для нового домена и со старого ПУ оплатил услугу в 3$ до сих пор заблокирован что делать подскажите что бы было норм 2 сайта были в поисковыке проиндефицированы Сообщение отредактировал InTeam - Вторник, 03 Янв 2012, 15:25:03
|
| |||