Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
vnete
Сообщений: 24
Репутация: 14

Сообщение # 121 | 02:07:27
Добрый вечер, не подскажете почему меня гугл не может одобрить robots.txt пишет Доступ к URL заблокирован в файле robots.txt. хотя компания yandex спокойно одобрила robots.txt и никаких ошибок не обнаружила. Так, же имеется проблема Доступ к URL заблокирован в файле robots.txt., количество ошибок 46

Что это означает?

Вот на этом сайте такая фигня


Скриншот:
Прикрепления: 7817646.jpg (51.4 Kb)
veter666
Сообщений: 1
Репутация: 2

Сообщение # 122 | 16:54:13
Прошу прощения что не по теме пишу не нашел куда тут написать.Если можете дайте ссылку куда написать.
Вот проблема-

Добавил в поисковик вот что пишет.Это мой не первый сайт но с такой проблемой сталкиваюсь в первые помогите плиз.

Ваш сайт не был проиндексирован из-за запрета в файле robots.txt

проверяю и пишет-
http://katalog-diet.ucoz.ru/ запрещен правилом /

Добавлено (27-Май-2012, 16:54:13)
---------------------------------------------
Я забыл сказать сайт токо создал.Вот вычитал что для новосозданных стоит карантин на 30 дней .

То есть в этом и есть ошибка индексации и запрета я верно понял?

Спасибо с У.В. Александр

Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 123 | 16:57:43
veter666, пока карантин в поисковики сайт добавлять бесполезно ... запрет индексации основан на карантине ..

Сообщение отредактировал Miss_Esq - Воскресенье, 27 Май 2012, 16:59:19
veter666
Сообщений: 1
Репутация: 2

Сообщение # 124 | 17:58:30
Если оплачу базовый пакет то снимет карантин?
Надо будит сайт в поисковике удалить и заново подать заявку или автоматом все пройдет?
FullBlooded
Сообщений: 2
Репутация: 5

Сообщение # 125 | 18:04:21
veter666, при оплате базового пакета на месяц - карантин снимается.
Удалять и подавать заявку заново - не нужно. Все пройдет автоматом.

Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 126 | 18:22:29
veter666,
Quote
Надо будит сайт в поисковике удалить и заново подать заявку
если зарегистрировали сайт в поисковиках до окончания карантина то следует сайты удалить от туда и добавить снова ...

Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 127 | 18:22:39
igorekvlg88, карантин на сайте длится 30 дней , до окончания этого срока добавлять сайт в поисковики бесполезно (то и получили).

Перывй сат на карантине ...

Сообщение отредактировал Miss_Esq - Воскресенье, 27 Май 2012, 18:36:24
igorekvlg88
Сообщений: 3
Репутация: 22

Сообщение # 128 | 16:37:52
Помогите Яндекс блокирует
____________________________

Disallow в файле robots.txt: http://pk-gaming.ucoz.ru/robots.txt .
Данная ситуация, скорее всего, связана с особыми условиями размещения сайтов на хостинге ucoz.ru. Подробнее об этом Вы можете узнать на странице //blog.ucoz.ru/blog/prodvizhenie_nachalo/2010-09-21-161 . По вопросу снятия карантина с файла robots.txt рекомендую Вам обратиться к администратору хостинга ucoz.ru.
Пробовал стандартный robots.txt копировать от сюда!
У меня два сайта на ucoz

http://pk-gaming.ucoz.ru
http://cstrike-34rus.ucoz.org

Добавлено (28-Май-2012, 16:37:52)
---------------------------------------------
Добрый день скажите как быть создал сайт добавил его в яндекс через пару дней написали это:

pk-gaming.ucoz.ru
19.02.2011 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.

Написал в яндекс пришёл ответ

В настоящее время индексирование сайта pk-gaming.ucoz.ru запрещено директивой Disallow в файле robots.txt: http://pk-gaming.ucoz.ru/robots.txt .
Данная ситуация, скорее всего, связана с особыми условиями размещения сайтов на хостинге ucoz.ru. Подробнее об этом Вы можете узнать на странице //blog.ucoz.ru/blog/prodvizhenie_nachalo/2010-09-21-161 . По вопросу снятия карантина с файла robots.txt рекомендую Вам обратиться к администратору хостинга ucoz.ru.

Прикрепления: 0394865.jpg (316.6 Kb)
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 129 | 18:14:34
igorekvlg88, после создания сайта сайт находится на карантине в течении 30 дней. Добавлять сайт в поисковые системы до истечения этого срока безсмысслено. Что получаете то и должно быть ...

igorekvlg88
Сообщений: 3
Репутация: 22

Сообщение # 130 | 18:37:57
Miss_Esq - Спасибо, я и не знал.Просто до этого был сайт и он чуть ли не с первого дня у меня в яндекс и google!

____________________

Будем ждать!
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 131 | 18:39:58
igorekvlg88, после 30 дней, после окончания карантина добавляйте сайты, удалите сайты из поисковиков если вы их туда добавили до окончания карантина ..

photomen
Сообщений: 16
Репутация: 1

Сообщение # 132 | 21:17:59
ЗАранее прошу прощения если не по теме, но мне показалось что это тема более подходящее.
У меня проблема с индексацией в Гугле
Сайт имеет припаркованный домен второго уровня, сайт добавил в Инструменты вебмастера гугл, там указал основной домен без www, тоесть добавил оба версии сайта с www и без, в обеих настройках основного домена указал на адрес без www, а на сайте где добавил с www и указал основной домен без www пишет ошибка DNS
Так вот хотел спросить правильно ли я настроил сайт в Инструментах гугл и может ли быть причиной не индексации ошибка DNS?

Сайту уже 3месяца
Вот так выглядит роботс
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap-forum.xml
Sitemap: http://site.ru/sitemap-shop.xml

Кстати прикрепляю скрин стр Инструментов для вебмастеров гугл.
Это без www
Это с www
Это скрин ошибки в версии с WWW
Прикрепления: 3381341.png (44.3 Kb) · 9527819.png (80.0 Kb) · 0906438.png (44.1 Kb)
Сообщение отредактировал photomen - Среда, 20 Июн 2012, 21:22:30
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 133 | 21:44:22
photomen, зачем вы задаете вопрос, если везде затираете адрес сайта. угадать можно только одно. часто так гугл пишет, когда были проблемы с доступом к серверу. если ваш сайт находится на сервере, где в последнее время были перебои с доступом, то можете не беспокоиться. робот при обходе возьмет данные и со временем ошибка уйдет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Ziper
Сообщений: 3
Репутация: 0

Сообщение # 134 | 20:12:55
День добрый! А может у кого-то ночь))). Создал сайт впервые на Ucoz, прочитал сначала все возможные статьи по созданию перед этим, не как другие, очень доволен, тем что в панели управлении всё легко и удобно для настроек сайта. И вот вопрос? Я жду когда закончится карантин, создал сайт 22.06.2012, больше ничего не трогаю, в поисковики не добавляю, добавляю только свои потихоньку материалы, теги к материалам все заработали через 2 дня, но нужно ли сейчас добавлять файл "robot.txt" в файловый менеджер пока идёт карантин?, И если не добавлять "robot.txt" вообще никогда, то видеть мои страницы будут поисковики яндекс и гугл, когда я добавлю в них сайт через 31- 35 дней? Или всётаки нужно добавлят файл "robot.txt" в кодировке UTF-8? Хочу избежать проблем в будущем, домен оставляю какой уже стоит при создании.

Добавлено (24-Июн-2012, 20:12:55)
---------------------------------------------
И какие знаки подаются когда карантин закончится?

Shеriff
Сообщений: 3187
Репутация: 2662

Сообщение # 135 | 20:17:02
Ziper, здравствуйте.
Срок карантина - 30 дней с момента создания сайта.
Ознакомьтесь с этой темой.

Профессиональный сервис опросов WebAsk
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: