Страница 2 из 31«12343031»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
Al_Pacino
Сообщений: 21
Репутация: 0

Сообщение # 16 | 17:33:18
Quote (Miss_Esq)
Al_Pacino, Если сайту менее 30 дней , это закономерно . Карантин 30 дней со дня основания ....


Так у меня карантин уже как месяц прошел.

Добавлено (03-Ноя-2011, 00:21:12)
---------------------------------------------
Вот что там написано в Яндексе

Code
Robots.txt
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://klinkerm.ucoz.ru/sitemap.xml
Sitemap: http://klinkerm.ucoz.ru/sitemap-forum.xml
Sitemap: http://klinkerm.ucoz.ru/sitemap-shop.xml

Используемые секции
Строка
1-17
User-agent: *
Disallow: /a/
...
Disallow: /shop/order/
19-21
Sitemap: http://klinkerm.ucoz.ru/sitemap.xml
Sitemap: http://klinkerm.ucoz.ru/sitemap-forum.xml
Sitemap: http://klinkerm.ucoz.ru/sitemap-shop.xml


Добавлено (03-Ноя-2011, 00:21:56)
---------------------------------------------
Помогите разобраться пожалуйста))
Сообщение отредактировал Zard - Понедельник, 23 Июл 2012, 11:10:04
webanet
Личный менеджер
Сообщений: 23104
Репутация: 4871

Сообщение # 17 | 17:33:18
Al_Pacino, в чем вы хотите разобраться? у вас стандартный роботтекст. карантин снят. лучше ничего не трогать
почитайте внимательно тему

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Виталий98
Сообщений: 133
Репутация: 10

Сообщение # 18 | 17:33:18
DIRID, Карантин специально для этого и создан, "чтобы у вас было время наполнить сайт нужной информацией", чтобы поисковики "не выкидывали ваш сайт из поиска, потому что он пустой или информация на нём вся уже есть в интернете". Снимается автоматически при наличии хотя бы одного из условий:
- Сайт существует более 30 дней.
- На сайте в наличии большое количество материалов, либо у сайта высокая посещаемость.
- При оплате дополнительной услуги на сумму более 2$ (в данном случае - мгновенно после оплаты).
Сообщение отредактировал Виталий98 - Четверг, 08 Дек 2011, 10:51:51
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 19 | 17:33:18
semen4728, Ссылки то читать можете ? На скриншоте запрешена к индексации капча ..... wink

semen4728
Сообщений: 3
Репутация: 11

Сообщение # 20 | 17:33:18
Miss_Esq, как карантин не закончился? моему сайту больше четырех месяцев. скрин гугла
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 21 | 17:33:18
semen4728, Карантин не закончился ..

semen4728
Сообщений: 3
Репутация: 11

Сообщение # 22 | 17:33:18
здравствуйте! у меня стоит стандартный Robots.txt но почемуто яндекс пишет (индексирование сайта запрещено в файле robots.txt) что это значит?
Сообщение отредактировал semen4728 - Среда, 20 Июл 2011, 08:25:10
Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 23 | 17:33:18
Al_Pacino, Если сайту менее 30 дней , это закономерно . Карантин 30 дней со дня основания ....

DIRID
Сообщений: 2
Репутация: 0

Сообщение # 24 | 17:33:18
Я пытался зарегаться в яндексе до окончания карантина но у меня не получилось а получилось только после снятия карантина! cry
$Vladimir$
$SUPPORT$
Сообщений: 6154
Репутация: 970

Сообщение # 25 | 17:33:18
Bumer_2, доступ к файлу robots.txt разрешён http://stalker-lost.ru/robots.txt
По всей видимости проблема возникла после прикрепления домена.

Kyronok
Сообщений: 6
Репутация: 3

Сообщение # 26 | 17:33:18
Greener, дописал. А вобще остаётся надеяться, что количество запрещённых страниц не будет хотя бы увеличиваться...

Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 27 | 17:33:18
Кэтрин7600,
Quote
И мета тег убрать с сайта ? Регистрировала 16 ноября .
Естественно убрать и удалить сайт в WEB мастере , пройдите повторно регистрацию 17 декабря ...

Miss_Esq
Сообщений: 13865
Репутация: 4159
Уровень замечаний:

Сообщение # 28 | 17:33:18
DIRID,
Quote
А сегодня заявляет: "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt"
А когда вы его регистрировали в Яндексе ? До окончания карантина или после , как у вас появился нормальный robots.txt . Если ДО , то перерегистрируйте сайт и ждите ...

DIRID
Сообщений: 2
Репутация: 0

Сообщение # 29 | 17:33:18
Я поставил сайт на индексацию в яндексе до этого дня он говорил: "сайт поставлен в очередь на индексирование" А сегодня заявляет: "Ваш сайт не был проиндексирован из-за запрета в файле robots.txt" мой robots.txt:
Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Sitemap: http://6pda.3dn.ru/sitemap.xml
Sitemap: http://6pda.3dn.ru/sitemap-forum.xml
Sitemap: http://6pda.3dn.ru/sitemap-shop.xml

ЧТО ДЕЛАТЬ? Как сделать так чтобы яндекс всё таки смог проиндексировать сайт?
Сообщение отредактировал Zard - Понедельник, 23 Июл 2012, 11:11:20
pic
Сообщений: 5
Репутация: 0

Сообщение # 30 | 17:33:18
Доброе утро.
Добавила вчера свой сайт (adobebest.ru) в вебмастер Яндекса. Сегодня зашла в панель вебмастера и там написано "Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt"

Другой юкозовский сайт (vseotkritki.ru) с точно таким же файлом robots.txt прекрасно индексируется с первого дня добавления в вебмастер...и главная страница, и большинство других.

В чем может быть причина неиндексации главной страницы первого сайта?
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Страница 2 из 31«12343031»
Поиск: