Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
Код User-agent: * Disallow: / Вот такие дела.. URL, запрещенный файлом robots.txt Как это исправить? Сайт http://modstalkergame.moy.su/ |
|
|
|
Добавлено (10 Июн 2014, 20:33:28)
--------------------------------------------- Помогите разобраться не индексируется Яндексом пишет ошибка 403 а майл 404. http://fc-barca.com/ Прикрепления:
3306621.jpg
(354.6 Kb)
·
0979344.jpg
(36.9 Kb)
Сообщение отредактировал dimanbeliy - Вторник, 10 Июн 2014, 20:34:09
|
|
dimanbeliy, на сайте должна быть ошибка индексации 403 это индекс суб служебный адрес входа на сайт
на счет мейла без понятия и обе проблемы к запрету в роботс не имеют отношения |
|
Так вот что мне делать дальше, хотя бы от чего отталкиваться? Паук Гугла сожрал сайтмэп с радостью и все проиндексировал, а вот в поиск не выдает.
Я даже не знаю в какую тему писать, понимаю, что робот тут не при чем, сайтмэп в порядке. Сообщение отредактировал dimanbeliy - Вторник, 10 Июн 2014, 22:42:15
|
|
URL restricted by robots.txt2014-05-28
Веб-страницы 106 Отправлено 1 Проиндексированные добавлял во время карантина попробовал заново добавить карту сайта и сайт не помогло что делать? спасибо! Сообщение отредактировал zaduna - Среда, 25 Июн 2014, 23:25:56
|
|
zaduna, и что это? дату смотрите URL restricted by robots.txt2014-05-28
|
|
Цитата webanet (  )zaduna, и что это? дату смотрите URL restricted by robots.txt2014-05-28 а это панель гугл Веб-страницы 106 Отправлено 1 Проиндексированные если вести название сайта гугл не находит его яндекс находит Сообщение отредактировал zaduna - Среда, 25 Июн 2014, 23:39:41
|
|
Подскажите пожалуйста, я через ротатор баннеров размещаю рекламу, как будет правильно в файле robots.txt скрыть путь к категории - rtr
Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ 1) Disallow: /rtr/ 2) Disallow: /rtr в первом случае или во втором? Слэш нужен в конце или нет? Заранее благодарю за помощь. |
|
dmitry4420, ротатор - это скрипт. содержимое скриптов не индексируется, но обрабатывается. в роботс это ставить не нужно. все равно содержимое будет обработано. но не будет проиндексировано
|
|
Где то встречал что Гугл и Яндекс уже умеют обрабатывать JavaScript.
|
|
dmitry4420, они обрабатывают его. о чем я и написала. но они не индексируют содержимое. читайте внимательно
|
|
здравствуйте проблемы с индексацией в гугл статус индексации во вкладке расширенные данные заблокированно в файле робот тхт 132, робот тхт не редактровался стандартный
Прикрепления:
1924853.png
(244.2 Kb)
|
|
arturgub10202, это все из-за того, что вы добавили сайт на карантине
|
|
Вот сайт. Карантин закончился буквально вчера. При открытии файла robots.txt высвечивает в браузере:
Цитата Во время обработки этого файла в нашей системе возникла временная проблема. Повторите попытку через несколько минут. А в гугл для вебмастеров этот файл вообще пустой. Прикрепления:
0644755.png
(83.3 Kb)
·
1894059.png
(49.2 Kb)
|
| |||