Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
У меня в Яндекс.Вебмастер пишут.
Quote 7.03.2012 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Проверяю: User-agent: * Disallow: / Что делять ? Как устранить данную проблему ? |
|
здравствуйте! Подскажите почему проиндексированные страницы не соответствуют содержимому, то есть заголовок один а открываешь страницу совершенно другой материал. И как это исправить?
|
|
Не нашел ответа на свой вопрос.Сайт уже снят с карантина примерно 3 месяца, и роботс.тхт правильный, но яндекс пишет "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt."(На индексацию в яндекс я добавил сайт сильно больше чем 2 недели назад.) Сайт
|
|
Undead6925, я переместила ваше сообщение в нужную тему в первом сообщении этой темы есть все ответы на ваши вопросы. читайте и разбирайтесь
|
|
Спасибо за перенос.
Есть еще вопрос. Code "Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками" Сайт не индексируется с 15.02.2012. Code какое-то время |
|
Undead6925, вот ваш роботс http://frame.3dn.ru/robots.txt он открыт для индексации.
попробуйте добавить сайт снова через аддурилку http://yadd.ru/ если примет сайт ждите неделю, и если главная не появится в индексе, то пишите платонам через вебмастер если через аддурилку не примет, то сайт в блоке |
|
Здравствуйте, обнаружил что главная страница моего сайта http://kinokrit.ru дублируется в гугле много раз. Вот эти адреса выводятся по запросу site:kinokrit.ru http://kinokrit.ru/?p=69 http://kinokrit.ru/?p=108 и еще 10ок подобных. Вот даже сами можете убедиться, введи в строку поиска гугла site:kinokrit.ru Собственно вопрос откуда эти дубли и как от них избавиться? В яндексе подобной картины не замечал но это не значит что яндекс их не видит, не хотелось бы упасть в глазах яндекса из за этих дублей.
Далее такая проблемка так же связанная с дублями. Речь идет о блоге новости сайта. Решил поменять название категорий а заодно и Название отображаемое в URL, до этого в названии отображаемом в УРЛ ничего не было(пустое поле) и страница была доступна по адресу http://kinokrit.ru/news/1-0-4 . Сейчас когда я поменял название отображаемое в УРЛ, та же самая страница стала доступна по второму адресу http://kinokrit.ru/news....-4 . То есть снова получается дубль. И теперь когда у меня 15 категорий то стало еже в добавок 15 дублей. Как избавиться от этих дублей? Продолжим. Как закрыть от индекса страницу архива материалов http://kinokrit.ru/news/ что бы не пострадали страницы категорий, ведь там в УРЛ так же используется .../news/... и тут с этим архивом так же получаются дубли страниц. |
|
-AlexON-,
Quote http://kinokrit.ru/?p=69 в параметры забейте ?p и запретите роботу просматривать урлы с такими параметрами далее в роботтекст Disallow: *? можете сначала через роботтекст попробовать. не возымеет пропишите в параметры урлов. второе действует на 100% и всегда обычно если страницы с ?p=были проиндексированы в большом количестве, а потом резко получили запрет, то в параметрах урлов гугл сам выведет варианты с предложениями действий Quote а заодно и Название отображаемое в URL |
|
Quote (webanet) а вот это была очень плохая идея. ждите теперь пока не переклеится и больше подобным не занимайтесь А сколько примерно может занять переклейка? И как этот мой "косяк" может повлиять на сайт в целом? Посмотрите пожалуйста все верно http://kinokrit.ru/robots.txt Сообщение отредактировал -AlexON- - Воскресенье, 29 Апр 2012, 01:46:37
|
|
Quote (webanet) а вот это была очень плохая идея. ждите теперь пока не переклеится и больше подобным не занимайтесь Это понятно. webanet, а что теперь эти дубли невозможно удалить? Просто сейчас у -AlexON- и так проблем хватало(особенно с дублями,и тегами), а тут ещё появились лишние. Может посоветуете как от них избавиться. |
|
webanet, вы по этому поводу ничего не сказали:
Quote (-AlexON-) Продолжим. Как закрыть от индекса страницу архива материалов http://kinokrit.ru/news/ что бы не пострадали страницы категорий, ведь там в УРЛ так же используется .../news/... и тут с этим архивом так же получаются дубли страниц. |
|
Quote (-AlexON-) вы по этому поводу ничего не сказали Ничего, нигде не надо закрывать! Все Ваши манипуляции со сменой url не к чему хорошему не приведут... И вы уже не от чего не избавитесь, так как косяки уже напароли... 1. Ждите следущего апдейта... 2. Сделайте, как говорит webanet Напрасно обучение без мысли, опасна мысль без обучения. © Китайская поговорка
Сообщение отредактировал Онгар - Воскресенье, 29 Апр 2012, 02:08:37
|
|
Quote (veter666) Ваш сайт не был проиндексирован из-за запрета в файле robots.txt |
| |||