Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz Вебмастеру Раскрутка сайта Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
(сменился ник, сори, это Wm-earn-help5525)
Quote (webanet) Wm-earn-help5525, дайте ссылку на проблемный сайт и скажите когда вы его создали Например, на сайтах http://wm-earn-help.ucoz.ru/dir/webmoney_bonusy/21 http://casino.ucoz.ua/dir/online_casino/1 все страницы модуля dir не проиндексированы в яндексе, хотя не запрещены в robots.txt и находятся в sitemap.xml Добавлено (09-Авг-2012, 16:36:40) Quote (webmaster123) Например, на сайтах http://wm-earn-help.ucoz.ru/dir/webmoney_bonusy/21 http://casino.ucoz.ua/dir/online_casino/1 все страницы модуля dir не проиндексированы в яндексе, хотя не запрещены в robots.txt и находятся в sitemap.xml Сайты созданы давно, в августе 2010 и январе 2012 |
|
Добрый день ! Подскажите пожалуйста ,как решить эту проблему
Получила такое писмо от Google "Pобот Googlebot не может получить доступ к вашему сайту Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt. Роботу Googlebot не удалось получить доступ к URL, поскольку истекло время ожидания ответа на запрос или доступ к сайту для робота Googlebot заблокирован." Сообщение отредактировал Тушканчик - Воскресенье, 12 Авг 2012, 05:10:25
|
|
Тушканчик, вы трогали роботс? Трогали, ведь, иначе откуда там это
Quote Disallow: /forum/12 Disallow: /forum/23 Disallow: /forum/24 Disallow: /forum/41 Disallow: /forum/42 Disallow: /forum/43 Disallow: /forum/57 Disallow: /forum/90 Disallow: /*? Disallow: /*-$ Disallow: /forum/*-*-0-17$ Disallow: /forum/*, Вот гугл и не может к ним попасть |
|
Тушканчик,
Quote Получила такое писмо от Google "Pобот Googlebot не может получить доступ к вашему сайту Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt. Роботу Googlebot не удалось получить доступ к URL, поскольку истекло время ожидания ответа на запрос или доступ к сайту для робота Googlebot заблокирован." когда вы получили это письмо? в теме с информацией по доступности серверов была информация Quote В связи с техническими проблемами, 04.08, сервер s22 временно недоступен. если сайт был недоступен, а гугл несколько раз ломился к файлу роботса, то конечно не получал ответа. когда гугл несколько раз подряд не может, то он дает предупреждения об этом смотрите число, когда гугл негодовал своими письмами. потом в вебмастере на главной странице гугл выдает общую информацию. если в окошке с роботсом стоит зеленая галка - значит все в порядке Quote переход не выполнен -24 (с кодом 302) не знаю как исправить Quote Не найдено - 37 ошибок ( с кодом 404) некоторые есть URL,некоторые с таким вот окончанием РќРµ найдено-так что удалить их боюсь Quote с таким вот окончанием РќРµ найдено- Code Disallow: /forum/12 Disallow: /forum/23 Disallow: /forum/24 Disallow: /forum/41 Disallow: /forum/42 Disallow: /forum/43 Disallow: /forum/57 Disallow: /forum/90 |
|
Астра,робот исправила вчера
webanet, письмо я получила 5 августа,но в письме написано :"С помощью Инструментов для веб-мастеров определите день с высоким процентом ошибок и проанализируйте. Найдите ошибки доступа к robots.txt ", созданных в этот день, и устраните их причины." ведь блокировка резко началась после 25.03.12 -0 уже 01.04.12 -52452 18.03.12,12375,34796,9214,0 25.03.12,12496,34935,9198,0 01.04.12,12731,35042,9200,53964 08.04.12,12784,35143,9209,53538 15.04.12,12961,35222,9244,57730 22.04.12,13590,35267,9282,57930 29.04.12,13590,35330,9328,56916 06.05.12,15195,35416,9451,59353 ........ 05.08.12,16752,35922,9649,97684 Да, это закрытые темы Quote (webanet) пример ссылки в студию Quote (webanet) если в окошке с роботсом стоит зеленая галка - значит все в порядке стоит желтый треугольник с восклицательным знаком Сообщение отредактировал Тушканчик - Суббота, 11 Авг 2012, 18:13:18
|
|
перейдите на Ошибки сканирования и сделайте скрин страницы
|
|
Quote (webanet) ваши закрытые темы, которы попадают в карту сайта, гугл пытается из прочитать и получает ошибку. это не закрытые темы ( кодом 302 -переход не выполнен ) на 12 августа --- Ошибка сервера- 1 Не найдено- 23 ошибок Добавлено (14-Авг-2012, 12:28:05) --------------------------------------------- Доступ к файлу robots.txt сегодня уже есть !!!!! Прикрепления:
0885941.png
(237.2 Kb)
·
4475255.gif
(56.7 Kb)
Сообщение отредактировал Тушканчик - Четверг, 16 Авг 2012, 11:52:31
|
|
Подскажите почему при плаченом интернет магазине файл robots.txt выдает
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ |
|
Dukhovnik, оплачен пакет услюг
|
|
Adrenolaine, это нормальный роботс. какие у вас к нему претензии? сайт разрешен к индексированию. у вас какие-то проблемы?
|
|
а /index/2 это не на главную страницу сайта??
|
|
Adrenolaine, это должно быть закрыто. робот настроен правильно. главная у вас при таком роботсе будет индексироваться
|
|
А список товара, информация о сайте, заказ и оплата, контакты?
ответьте если не сложно. |
|
Adrenolaine, то, что должно быть открыто - открыто, закрыто только
Disallow: /shop/order/ |
| |||