Модератор форума: Yuri_G  
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 226 | 20:54:26
Курмай, вам все написали

Quote
Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору вашего сайта или хостеру
что ещё не понятно?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Таисия
Репутация: 0

Сообщение # 227 | 20:54:36
Теперь мой сайт снят с карантина, но в гугле пишет что 
Quote
При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
URL, запрещенный файлом robots.txt
И что это значит?
http://motor-sport.ucoz.ru/
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 228 | 20:54:36
Quote (Таисия)
файл Sitemap соответствует нашим правилам и находится в указанном местоположении
А что вы с ним делали?

Мой сайт РемДомТех
Таисия
Репутация: 0

Сообщение # 229 | 20:54:36
Amati5210, я его вообще не трогала
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 230 | 17:12:50
Таисия, дайте скрин вашей карты сайта загруженной в гугл так чтобы видно было ошибку. по какой именно карте сайта ошибка? гугл может ругаться на карту сайта форумак и магазина. карты есть, но они пустые. форум пустой, а магазин неактивирован

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Таисия
Репутация: 0

Сообщение # 231 | 17:13:00
Помогите мне мой сайт зарегистрировать в поисковике гугл
vdim
Сообщений: 337
Репутация: 161

Сообщение # 232 | 17:13:00
Таисия, Гугл регистрирует и индексирует сайты самостоятельно. Вы только можете ему помочь это сделать правильно:
Вот ссылка.

Прекрасное есть, но мы там не представлены...
Хотите сказать "спасибо" - ставьте "плюсик" в репутацию...)))
Сообщение отредактировал vdim - Суббота, 15 Дек 2012, 18:11:00
Таисия
Репутация: 0

Сообщение # 233 | 19:34:34
webanet, а как это сделать?
rodger195
Репутация: 0

Сообщение # 234 | 14:22:49
Добрый день!

Изменения в файле robots.txt не отражаются на сайте. При просмотре из файлового менеджера так же видно стандартное содержимое. В режиме редактирования - новое содержимое. Сайт и домен оплачены 03.12.2012 (пакет "Бизнес"). Сам сайт www.ppi1.ru создан 28.11.2012. Когда будет снят карантин? Почему его не сняли после оплаты? Или же причина запрета на редактирование robots.txt другая?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 235 | 14:25:57
rodger195, какую услугу вы оплатили?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
rodger195
Репутация: 0

Сообщение # 236 | 14:33:30
Quote (webanet)
rodger195, какую услугу вы оплатили?
Пакет услуг "Бизнес". Заказ 72004599.
Из-за запрета в robots.txt не происходит индексирование. sad
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 237 | 14:42:36
rodger195, проверьте чтобы услуга была активирована и в тех.поддержку пишите.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
The_Admin
Сообщений: 1
Репутация: 0

Сообщение # 238 | 22:33:13
Здравствуйте!У меня возникла проблема за блокировкой robots.txt!Сайт снят с карантина давно, сегодня захожу в поиске нет моего сайта, а в файле robots.txt пишется:
User-agent: *
Disallow: /

Почему сайт заблокирован для индексации?
http://warface-cheats.ucoz.ru/robots.txt
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 239 | 22:44:16
The_Admin, домен к сайту крепился?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
work4410
Репутация: 0

Сообщение # 240 | 22:17:16
Здравствуйте =)))
У меня такая проблема до сих пор мне не понятная!
У меня не индексируется сайт на яндексе, когда я вбиваю Robots.txt адрес с сайта, то вижу такую картину

User-agent: * Disallow: /a/
Disallow: /stat/
Disallow: /index
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: http://pereyezd.my1.ru/
Sitemap: http://pereyezd.my1.ru/sitemap.xml
Sitemap: http://pereyezd.my1.ru/sitemap-forum.xml

у когда перехожу по ссылки из яндексе Сайт не проиндексирован из-за запрета в robots.txt
то вижу

User-agent: *Disallow: /

Как быть?
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!