Модератор форума: Yuri_G  
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
city-hunter
Сообщений: 1
Репутация: 0

Сообщение # 286 | 15:45:15
Ок, я создал robots.txt
User-agent: *
Disallow:
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /?ssid=
Host: bipservice-moskva.ru
Sitemap: http://bipservice-moskva.ru/sitemap.xml

но ошибка все равно присутствует((((
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 287 | 15:58:04
city-hunter,
Цитата
но ошибка все равно присутствует((((
а вы прочитайте мое сообщение до образца роботса. там все описано

вы по какому домену смотрите инфо в вебмастере? по старому или по новому?
добавляли ли вы сайт в поиск на карантине и распространяли ли ссылки на сайт, когда он был на каратине?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
city-hunter
Сообщений: 1
Репутация: 0

Сообщение # 288 | 16:03:46
я вебмастере смотрю по новому bipservice-moskva.ru, к сожелению добовлял в поиск, когда он был в карантине
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 289 | 16:06:25
city-hunter,
Цитата
к сожелению добовлял в поиск, когда он был в карантине
ну так что вы хотите тогда? ждите два недели

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
city-hunter
Сообщений: 1
Репутация: 0

Сообщение # 290 | 17:03:29
Мне нужно было создавать файл robots.txt
User-agent: *
Disallow:
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /?ssid=

Host: bipservice-moskva.ru

Sitemap: http://bipservice-moskva.ru/sitemap.xml

и загружать в ФМ в панели управления, или нет, или это ни на что не влияет?

Добавлено (29 Май 2013, 17:03:29)
---------------------------------------------
ответьте плиииз sad

Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 291 | 17:06:07
city-hunter, если в нём отличия от стандартного, то надо загружать.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 292 | 17:06:33
city-hunter, вам одно и тоже сколько раз? измените роботс как я сказала и пусть висит. но то что вы изменили роботс не значит, что яндекс в ту же секунду бросится индексировать сайт. я же сказала. ждите 2 недели. то есть очередной проверки обхода. может и раньше. ждите в общем

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
city-hunter
Сообщений: 1
Репутация: 0

Сообщение # 293 | 17:07:46
smile спасибо
Capricorn6203
Репутация: 0

Сообщение # 294 | 09:56:27
Привет всем! Я оплатил услугу и у меня был снят месячный карантин. Но, у меня проблема. Гугл не может проиндексировать мой сайт - выдает ошибку robot.txt
В чем может быть причина? Может потому что я добавил его в веб-мастер до снятия карантина? Тогда как решить эту проблему?

P.S. Я не знал, что существует карантин, и что нельзя во время карантина добавлять в аддурилки!
Прикрепления: 3900742.png (12.2 Kb)
medik
Сообщений: 65
Репутация: -9

Сообщение # 295 | 12:09:47
Подскажите как заново добавить сайт в гугл и яндекс. Я добавил во время карантина и теперь выходит ошибка. Подскажите как заново добавить
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 296 | 15:34:02
medik,
Цитата
Подскажите как заново добавить сайт в гугл и яндекс.
в яндекс повторно можно добавить через форму http://yadd.ru/
а про гугла написано тут //forum.ucoz.ru/forum/21-43240-1
но все равно вам ждать перепроверки. яндекс в течении 2 недель. гугл может быстрее это сделать

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
orel87
Сообщений: 7
Репутация: 0

Сообщение # 297 | 19:35:42
Извините если уже был ответ на такой вопрос. Но у меня проблема такая: проверяю в яндекс свой файл robots и он мне пишет:
Sitemap-forum: http://krytim.ru/sitemap-forum.xml - Обнаружена неизвестная директива

Sitemap-shop: http://krytim.ru/sitemap-shop.xml -
Обнаружена неизвестная директива

Что это значит и как это можно исправить. Заранее спасибо.
Вот мой robots: http://krytim.ru/robots.txt
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 298 | 19:47:47
orel87, зачем вы рисуете сами себе роботс, если понятия не имеете как это делать?
снести все из файла роботс и оставить только это

Цитата
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /?ssid=
Disallow: /*&*

Host: krytim.ru

Sitemap: http://krytim.ru/sitemap.xml
Sitemap: http://krytim.ru/sitemap-forum.xml
Sitemap: http://krytim.ru/sitemap-shop.xml

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
orel87
Сообщений: 7
Репутация: 0

Сообщение # 299 | 20:33:29
webanet, Не знаю, мне посоветовал так сделать один сеошник) Спасибо за ответ, надеюсь так как вы советуете, лучше будет.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 300 | 20:37:47
orel87, скажите. где вы взяли сеошника, который вам дал образец данного роботса. назовите имя и место обитания этого гения, который сам придумал как прописывать карту сайта вот так Sitemap-shop и Sitemap-forum: и того гения. который вам присоветовал дублировать директивы подобным образом
вы можете оставить так как вам присоветовал гений, но хелпы гугла и яндекса все же надо читать. они бесплатны и находятся в открытом доступе. и не надо слушать гениев, а надо изучать хелпы

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!