Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 406 | 21:17:04
АДМИН_сайта_WOBG, вы не заливали свой файл? ничего не трогали?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
АДМИН_сайта_WOBG
Сообщений: 1
Репутация: 0

Сообщение # 407 | 21:47:27
webanet, вроде нет, а что?
terminator0666
Репутация: 0

Сообщение # 408 | 08:19:49
Вот мой robots.txt
наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt.
что тут не правильно ?
User-agent: *
Disallow: /search
Disallow: /cart
Disallow: /order
Disallow: /admin
Disallow: /*?psort=new
Disallow: /*?psort=popular
Disallow: /*?page=
Clean-param: color /
Clean-param: ref /
Clean-param: model /
Clean-param: side /
Exclusive8147
Репутация: 0

Сообщение # 409 | 17:58:48
Добрый день. У меня такая проблема : прикрепил домен к своему сайту (больше месяца) и после этого robots.txt пишет:disollow то есть запрещает индексации,,хочу добавить,что до прикрепление домена у меня была другая robots.txt и нормально индексировался на поисковых системах. Мой сайт: no-words.ru
Что посоветуе ?
Сообщение отредактировал Exclusive8147 - Воскресенье, 21 Дек 2014, 17:59:19
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 410 | 18:22:53
Exclusive8147, у вас закрыт стандартный юкозовский домен на индексирование http://nowords.ucoz.ru/robots.txt прикрепленный открыт для индексации. добавьте новый домен в поисковики и смотрите инфо по новому домену, а не по старому. страый уже поздно открывать для индексации

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Exclusive8147
Репутация: 0

Сообщение # 411 | 20:25:05
ok
Спасибо.
Admin8386
Сообщений: 85
Репутация: 0

Сообщение # 412 | 14:54:50
Цитата tyler2 ()
всем привет
Здравствуйте ! помогите с ROBOTS.TXT достало уже всё !!!
отправил в google на индекс и пишет
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

вот мой robots.txt

User-agent: *
Disallow: /a/
Disallow: /stat/

Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /google

Disallow: /twitter
Disallow: /facebook
Disallow: /yandex

Disallow: /vkontakte

User-agent: *Allow: /*?page*
Disallow: /a/
Disallow: /api/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /*?*
Disallow: /*_escaped_fragment_=
Disallow: /blog/*-987
Disallow: /blog/*-0-

Sitemap: http://fast-torrent.ucoz.ru/sitemap.xml
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 413 | 15:04:11
Admin8386,
Цитата
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
приведите примеры таких страниц или сделайте скриншот со страницы с ошибками в гугле

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Ravil8986
Репутация: 0

Сообщение # 414 | 18:41:16
подскажите новичку как привязать к сайту магазин через робота t x t
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 415 | 21:35:21
Ravil8986,
Sitemap: http://адрес сайта/sitemap-shop.xml
больше никак

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Жерар
Сообщений: 7
Репутация: 0

Сообщение # 416 | 11:56:32
Добрый день. Мой сайт http://spice-and-volf.ucoz.ru/ . С карантина давно снят. Куча страниц не в индексе уже довольно давно.
Пару дней назад обращался в службу поддержки яндекса .Из службы поддержки делали проверки, написали:

"Страницы (те которые выдавал им на анализ)
в sitemap не обнаружено. Страница (те которые выдавал им на анализ) запрещена к индексации файлом robots.txt . Обратить в службу поддрежки Юкоз.

Ребят, подскажите кто может. В чём дело? Искал файл robot.txt в корне - его там нет.

P.S. Вот дефектная страница, с коментарием из тех поддержки:

http://spice-and-volf.ucoz.ru/photo/?photo=72
Вот ещё страницы, с которыми та беда
http://spice-and-volf.ucoz.ru/photo/?photo=71
http://spice-and-volf.ucoz.ru/photo/?photo=64
http://spice-and-volf.ucoz.ru/photo/?photo=70

Подскажите, как всё это исправить.

С искренним уважением, Жерар.

http://spice-and-volf.ucoz.ru/ -©
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 417 | 17:49:19
Жерар,
Цитата
http://spice-and-volf.ucoz.ru/photo/?photo=72
Вот ещё страницы, с которыми та беда
http://spice-and-volf.ucoz.ru/photo/?photo=71
http://spice-and-volf.ucoz.ru/photo/?photo=64
http://spice-and-volf.ucoz.ru/photo/?photo=70
это не нужно исправлять. это дубли главной страницы фотоальбома
перейдите по всем "проблемным" ссылкам, а потом перейдите сюда http://spice-and-volf.ucoz.ru/photo/

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Жерар
Сообщений: 7
Репутация: 0

Сообщение # 418 | 08:12:30
webanet, спасибо, но как быть с этим:


Куча страниц, которые вне индекса долгое время, уже давно должны быть в индексе. Все они в разных разделах. Проблемные страницы брал оттуда. Из онлайн проверок - запрещены к индексации файлом robots.txt . Как с этим быть и как это исправить?

P.S. Могу приложть ещё сслыки, скришноты, только скажите, как быть.
Прикрепления: 8451708.png (12.5 Kb)

С искренним уважением, Жерар.

http://spice-and-volf.ucoz.ru/ -©
Сообщение отредактировал Жерар - Пятница, 03 Апр 2015, 08:40:53
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 419 | 16:50:50
Жерар, давайте ещё ссылки, запрещенные в роботсе из разных разделов
Цитата
Куча страниц, которые вне индекса долгое время, уже давно должны быть в индексе.
что такое должны быть. яндекс далеко не все страницы берет в индекс

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Tarra-GON
Сообщений: 6
Репутация: 0

Сообщение # 420 | 22:05:23
Цитата Жерар ()
Куча страниц, которые вне индекса долгое время, уже давно должны быть в индексе. Все они в разных разделах. Проблемные страницы брал оттуда. Из онлайн проверок - запрещены к индексации файлом robots.txt . Как с этим быть и как это исправить?
Многие страницы не влетают в индекс из-за малого интереса обычным пользователям. Для начала попробуйте прогнать эти странички пингатором или через твиттер. Если через 2 недели не влезли в индекс, надо копать глубже.

Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: