Модератор форума: Yuri_G  
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
baze
Сообщений: 20
Репутация: 1

Сообщение # 211 | 17:37:34
Хочу запретить роботам индексировать определенные страницы. Как лучше прописать - а то в инете столько и разных советов, что ...?

Cп!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 212 | 17:39:57
baze, какой вопрос - такой и ответ. ответ на вопрос: в роботсе пропишите запрет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
baze
Сообщений: 20
Репутация: 1

Сообщение # 213 | 20:38:15
webanet,

А где это(т) "роботсе" и как правильно составить запрет (sample можно)?

Добавлено (03-Дек-2012, 20:38:15)
---------------------------------------------
Есть кто нибудь адекватный, кто может помочь?

fond
Сообщений: 3
Репутация: 0

Сообщение # 214 | 22:02:24
Здравствуйте! У меня такая проблема.. сайт снят с карантина, Яндексом и Гуглом индексируется нормально. При попытке добавить сайт на индексацию в Майл.ру пишет: "Закрыта по robots.txt: Да" и "Недоступна: Да". В чем может быть проблема?
Вот мой Robots.txt:



Вот мой сайт: www.mistershmit.ru

Счастье не в том, чтобы делать всегда, что хочешь, а в том, чтобы всегда хотеть того, что делаешь.
baze
Сообщений: 20
Репутация: 1

Сообщение # 215 | 22:36:58
Спасибо, уже нашелся кто объяснил доходчиво, не как некоторые!
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 216 | 22:42:11
fond,
Quote
В чем может быть проблема?
Пропишите дерективу Host ...


fond
Сообщений: 3
Репутация: 0

Сообщение # 217 | 22:45:56
Miss_Esq,
Я не очень силен в программировании.. подскажите пожалуйста, как редактировать этот robots.txt?

Счастье не в том, чтобы делать всегда, что хочешь, а в том, чтобы всегда хотеть того, что делаешь.
baze
Сообщений: 20
Репутация: 1

Сообщение # 218 | 23:02:13
fond,

Пожалуй здесь найдете все ответы //forum.ucoz.ru/forum/21-13447-1#175838

//forum.ucoz.ru/search/?t=0&q=Host
Сообщение отредактировал baze - Понедельник, 03 Дек 2012, 23:05:46
SOCHI1014
Сообщений: 863
Репутация: 229

Сообщение # 219 | 23:11:28
Quote (fond)
Сообщение # 216 | 22:45:56 СегодняMiss_Esq,
Я не очень силен в программировании.. подскажите пожалуйста, как редактировать этот robots.txt?
Заходите в Панель управления (http://ваш сайт/admin)
Далее отметил Вам
Переходите в файловый менеджер

В корне сайта увидите среди многих файлов файл Robots.txt
Нажмите на гаечный ключ откроется содержимое файла robots.txt Произведете изменения и нажмите сохранить. Вроде все)


В самом низу содержимого Вашего файла пропишите вот это

Host: www.mistershmit.ru
Прикрепления: 5102823.jpg (455.3 Kb) · 1950415.jpg (409.2 Kb)

Сообщение отредактировал SOCHI1014 - Понедельник, 03 Дек 2012, 23:22:29
baze
Сообщений: 20
Репутация: 1

Сообщение # 220 | 23:19:38
SOCHI1014,

Я думаю, что он имел в виду; как прописать этот "Host".
Зайдите на Яндекс, жмите; "Директива Host"

http://help.yandex.ru/webmaster/?id=996567#996574
SOCHI1014
Сообщений: 863
Репутация: 229

Сообщение # 221 | 23:26:19
fond Постовьте пробел перед Host

Сообщение отредактировал SOCHI1014 - Понедельник, 03 Дек 2012, 23:31:15
fond
Сообщений: 3
Репутация: 0

Сообщение # 222 | 23:53:45
Эмм.. Я сделал так: на рабочем столе компа создал блокнот, затем скопировал туда это:

Сохранил это все под именем robots. Затем через файловый менеджер залил этот файл на сайт...
Это все что надо было сделать или я что то не так понял...

Добавлено (03-Дек-2012, 23:53:45)
---------------------------------------------
Дело в том, что в файловом менеджере у меня небыло файла robots.txt то есть он есть - системный, но как я понял из ответов в форуме видеть я его не могу и редактировать то же. Поэтому я создал свой robots.txt Теперь я его вижу и могу редактировать. Надеюсь это будет работать?


Счастье не в том, чтобы делать всегда, что хочешь, а в том, чтобы всегда хотеть того, что делаешь.
SOCHI1014
Сообщений: 863
Репутация: 229

Сообщение # 223 | 00:16:48
Quote (fond)
Эмм.. Я сделал так: на рабочем столе компа создал блокнот, затем скопировал туда это:Сохранил это все под именем robots. Затем через файловый менеджер залил этот файл на сайт...
Это все что надо было сделать или я что то не так понял...

Добавлено (03-Дек-2012, 23:53:45)
---------------------------------------------
Дело в том, что в файловом менеджере у меня небыло файла robots.txt то есть он есть - системный, но как я понял из ответов в форуме видеть я его не могу и редактировать то же. Поэтому я создал свой robots.txt Теперь я его вижу и могу редактировать. Надеюсь это будет работать?
Теперь все должно работать, ждите обхода робота.

fond
Сообщений: 3
Репутация: 0

Сообщение # 224 | 00:24:13
Огромное спасибо всем тем, кто помог мне решить проблему! biggrin

Счастье не в том, чтобы делать всегда, что хочешь, а в том, чтобы всегда хотеть того, что делаешь.
Курмай
Репутация: 0

Сообщение # 225 | 20:07:51
Подскажите мне пожалуйста, я купил платную услугу, убрать рекламу вроде за 2,99$ И у меня открылся робот, ну вроде снялся с карантина. Но яндекс говарит что запрет робота.Что мне делать?

Добавлено (09-Дек-2012, 18:23:05)
---------------------------------------------
Не индексируется из за робота но сайт снят с карантина !!!

Добавлено (10-Дек-2012, 20:07:51)
---------------------------------------------
Что мне делать? я оплатил платную услугу за 2,99$ и карантин снялся ВОТ

User-agent: * Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://curmazona.ru/sitemap.xml
Sitemap: http://curmazona.ru/sitemap-forum.xml
Sitemap: http://curmazona.ru/sitemap-shop.xml
Когда индексирую в яндекс пишет вот что

Сайт не проиндексирован из-за запрета в robots.txtПроверка выявила полный запрет на индексирование сайта в вашем файле robots.txt, поэтому сайт не будет обходиться роботом Яндекса. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору вашего сайта или хостеру

Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!