Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
MAKARА, У вас в Роботсе такая ерунда... Удалите его из файлового менеджера, и будет вам счастье
|
|
MAKARА, ошибку вызывает эта строчка
Host: torrentgamesru.ru/ вам повезло. откройте файл роботс в файловом менеджере на редактирование, удалите все оттуда и вставьте это Код User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid= Host: torrentgamesru.ru Sitemap: http://torrentgamesru.ru/sitemap.xml и больше ничего никогда там не трогайте |
|
Помогите разобраться, в google adsense пишет, что у меня некоторые страницы закрыты от индексации роботом google adsense, а именно страницы закрыты типа домен/index/
Сайт http://sevmama.info Заранее спасибо за помощь.  |
|
Komar, дайте полные примеры страниц, которые по сообщениям гугла закрыты от индексации. несколько урлов
|
|
webanet,
Доступно только для пользователей Сообщение отредактировал Komar - Суббота, 22 Июн 2013, 00:33:45
|
|
Komar, а теперь пройдите по всем этим ссылкам как гость (с другого браузера можно)
все нормально. это должно быть закрыто |
|
У меня такая же ситуация
Добавлено (22 Июн 2013, 11:01:52) |
|
Komar, в роботс добавьте:
Код User-agent: Mediapartners-Google Disallow: Добавлено (22 Июн 2013, 11:17:45) Цитата (city-hunter) почему то он сканирует страницы он - это кто? Добавлено (22 Июн 2013, 11:23:09) |
|
Вот мой робот файл:
User-agent: * Disallow: Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /?ssid= Host: bipservice-moskva.ru Sitemap: http://bipservice-moskva.ru/sitemap.xml Мне просто вверху добавить или заменить две верхних строчки? |
|
Цитата (city-hunter) Вот мой робот файл: у Вас их два. В этом все верно и ничего в него дабавлять не нужно. Второй (на старом домене) выглядет так: Код User-agent: * Disallow: / что тоже правильно. вопрос: почему у Вас оба сайта индексируются? Сообщение отредактировал NZT - Суббота, 22 Июн 2013, 11:52:00
|
|
не знаю
|
|
Цитата (city-hunter) не знаю вот... нужно зайти в общие настройки и поставить галочку - "перенаправлять со стандартного адреса на прикрепленный домен" тогда старый домен индексироваться не будет. !это не значит, что он из поиска сразу пропадет. это значит, что он перестанет сканироваться ботами. и старые адреса будут как бы промежуточными.... |
|
Поставил галочку посмотрим
 |
| |||