Модератор форума: Yuri_G  
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
Natali_SPb
Сообщений: 11
Репутация: 2

Сообщение # 271 | 21:49:11
Добрый вечер! Недавно купила годовой "Базовый" с доменом в подарок, прикрепила... но в результате, Robots.txt по новому адресу имеет стандартный вид, но почему-то не определяется поисковиками ( пишет ограничения именно по Robots.txt ) , а стандартный адрес имеет карантинный вид Robots.txt.



Что не так?..
Прикрепления: 3504932.jpg (209.8 Kb)

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 272 | 22:04:51
Natali_SPb,
Цитата
пишет ограничения именно по Robots.txt
кто пишет и где именно пишет про ограничения? и нужно давать ссылку на сайт

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Natali_SPb
Сообщений: 11
Репутация: 2

Сообщение # 273 | 22:09:39
Гугл... адреса видны в скринах, но вот пожалуйста. http://scalare-spb.com/

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 274 | 22:19:54
Natali_SPb, давайте вы сделаете скрин из вебматера гугла, чтобы действительно было видно, что блокирует.
и выковыривать адреса из скринов никому не интересно
делайте скрин из гугла по новому адресу. не по старому, а по новому

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
kuler3026
Репутация: 0

Сообщение # 275 | 22:42:47
Чо за вигня хочеш создать сайт и тут какойто индексация как раскрутить тут сай не понятно тока зря регался мне советовали ucoz но смотрю у меня не чего не получится в поисковики ни как не добавить! Так что наверно брошу всё это дело так проже будет.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 276 | 22:46:51
kuler3026, прочитайте //forum.ucoz.ru/forum/21-38597-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Strelok2544
Сообщений: 2
Репутация: 0

Сообщение # 277 | 23:12:04
Есть сайт - http://lampokrat.ucoz.ru/ - ставил редирект на http://lampokrat.ws
Проверил на склейку - сайт уже склеился. Что хочу узнать - у меня до сих пор стоит индексация по обоим доменам стоит ли ее теперь отключать или не стоит, так как в гугле сайт уже склеился, но пока просадка по трафику!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 278 | 23:20:51
Strelok2544, если вы поставили автоматическое перенаправление, то индексация по обоим доменам не нужна

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Strelok2544
Сообщений: 2
Репутация: 0

Сообщение # 279 | 20:09:44
Четыре дня назад так и сделал - что имею! Сайт по прежнему склеен, но теперь в гугле при наборе lampokrat.ucoz.ru - вместо lampokrat.ws выдает lampokrat.ucoz.ru, хотя через info показывает, что склеен - это нормально?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 280 | 22:29:24
Strelok2544, http://www.google.ru/search?....e=UTF-8 все у вас нормально. не ищите проблемы там где их нет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Strelok2544
Сообщений: 2
Репутация: 0

Сообщение # 281 | 14:11:29
Вопрос еще один возник - а если оставить индексацию по обоим доменам - то новому домену не передастся вес или на это не влияет?
Abbatsaog
Сообщений: 2
Репутация: 6
Уровень замечаний:

Сообщение # 282 | 00:28:39
интересует вот такой вопрос. если я правильно понимаю у укоз стоит запрет на индексацию комментариев. если это так, то как отменить запрет. если запера нет то как этот запрет поставить в роботе.тхт?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 283 | 00:32:32
Abbatsaog, комментарии поисковиками индексируются как тексты в коде со всеми вытекающими

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
city-hunter
Сообщений: 1
Репутация: 0

Сообщение # 284 | 15:21:53
Всем привет, у меня вопрос: я прикрепил к своему сайту bipservice.ucoz.ru доменное имя bipservice-moskva.ru, и захотел проиндексировать на yandex, но он пишет ошибку: Ваш сайт не был проиндексирован из-за запрета в файле robots.txt, но с момента началы работы с сайтом прошло более 30 дней, влияет ли тот факт, что робот на bipservice.ucoz.ru закрыт на индексирование, на индексацию домена bipservice-moskva.ru.

Добавлено (29 Май 2013, 15:21:53)
---------------------------------------------
вот я сам прописал фаил robots.txt для домена bipservice-moskva.ru.
User-agent: *
Disallow:
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

User-agent: Yandex
Disallow:
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: http://bipservice-moskva.ru/
sitemap: http://bipservice-moskva.ru/sitemap.xml

По возможности ответьте будет ли он проиндексировать?

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 285 | 15:29:09
city-hunter, если вы отдавали сайт по стандартному домену на индексацию то ошибка вполне закономерна

Цитата
что робот на bipservice.ucoz.ru закрыт на индексирование, на индексацию домена bipservice-moskva.ru.

в вебмастер надо было добавить новый адрес и смотреть по нему информацию. если вы смотрите информацию по старому домену, то все верно. он закрыт от индексации
и удалите свой роботс. для яндекса не надо дублировать отдельно все обращения ради директивы хост. и хост прописывается без http

роботс должен выглядеть так

Код
User-agent: *
Disallow:
Disallow: /a/  
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/2  
Disallow: /index/3  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /secure/  
Disallow: /informer/  
Disallow: /mchat  
Disallow: /search
Disallow: /?ssid=  

Host: bipservice-moskva.ru

Sitemap: http://bipservice-moskva.ru/sitemap.xml

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!