Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
Anna4091
Сообщений: 6
Репутация: 0

Сообщение # 346 | 22:17:08
жду с утра, а видел роботс снят с карантин как юкозовский так и на новом домене, вот почему Гугл плюётся и видит ограничения не могу понять.
NZT
Сообщений: 369
Репутация: 483

Сообщение # 347 | 23:01:15
Anna4091, Каким браузером пользуетесь?
Anna4091
Сообщений: 6
Репутация: 0

Сообщение # 348 | 22:05:13
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 349 | 22:06:29
Anna4091, вероятно сайт попал в поиск когда был на карантине. ждите перепроверки до недели иногда больше

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Anna4091
Сообщений: 6
Репутация: 0

Сообщение # 350 | 22:07:57
Цитата (Anna4091)
Возникла проблема! Помогите решить!Я создал сайт,прицепил к нему доменное имя, после чего оплатил паке «Базовый» дабы снять карантин и запустить сайт в индексирование поисковых систем.
ответ таков Запрещено в файле robots.txtВ службе поддержки написали «Для индексации сайта по обеим доменам, Вам необходимо в панели управления Вашим сайтом войти в "Настройки" - "Общие настройки" и включить опцию "Разрешать индексацию по
обоим доменам.»Не помогает хотяделал как написано.
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 351 | 22:10:42
Anna4091, вероятно сайт попал в поиск когда был на карантине. ждите перепроверки до недели иногда больше


не надо дублировать одно и тоже. читайте что вам пишут

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Anna4091
Сообщений: 6
Репутация: 0

Сообщение # 352 | 22:12:27
Спасибо, вопрос снимается, отправил принудительно на индексацию через вебмастер. Поисковик сайт увидел, робот содержание скушал успешно.
Alladin
Репутация: 6

Сообщение # 353 | 18:17:49
Здравствуйте. Обращаюсь за помощью. Уже не знаем что и делать но руки опускать не хочется. Вот http://ekran4ik.com, гугл ну ни как не хочет дружить с нами - вот скрин , что делать ? Подскажите пожалуйста

Добавлено (25 Июл 2013, 18:17:49)
---------------------------------------------

Цитата (Alladin)
Здравствуйте. Обращаюсь за помощью. Уже не знаем что и делать но руки опускать не хочется. Вот http://ekran4ik.com, гугл ну ни как не хочет дружить с нами - вот скрин
Поможет кто ?
Сообщение отредактировал Alladin - Четверг, 25 Июл 2013, 10:58:29
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 354 | 18:25:46
Alladin, я не понимаю что вы хотите от гугла?
гугл накушался на сайте мусора и выводит 56100 ссылок.



это очень много. слишком много. вам бы серьезно увеличить количество урлов в блокировке по роботсу

добавьте в роботс строчку

Disallow: /*?

или

Disallow: *?

первое закроет все урлы с вопросом относительно домена.
второе закроет вообще все урлы с вопросом. лучше ставить второе. гугл накушался дублей у вас и кажется подавился.
остальное это контент. заимствованный видео контент. сейчас в интернете борьба ведется с этим
на счет остального вот сам гугл ответил //u.to/2IEPBA
но все равно поставьте блок по роботсу все ссылки с вопросом. ну очень гугл накушался и дублей и прочего
сухой остаток должен быть не более 29тыщ
Прикрепления: 1586589.jpg (54.4 Kb)

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Alladin
Репутация: 6

Сообщение # 355 | 19:42:41
Цитата (webanet)
но все равно поставьте блок по роботсу все ссылки с вопросом
Лучше этот Disallow: *?
Деееенчик
Сообщений: 190
Репутация: 116

Сообщение # 356 | 19:44:06
Alladin, Да
Alladin
Репутация: 6

Сообщение # 357 | 19:55:58
webanet, Спасибо ! )
Pudge-xD
Сообщений: 15
Репутация: 0

Сообщение # 358 | 10:56:03
Сегодня добавил свой сайт на индексирование в яндекс так вот у меня выходит такая херня с гуглом таких проблем не было


Что делать ?
bandjuk
Сообщений: 6816
Репутация: 2398
Уровень замечаний:

Сообщение # 359 | 11:11:41
Для нового сайта существует карантин, во время которого никакая регулировка файла robots.txt невозможна. При хорошей посещаемости карантин продлится до двух недель. У малопосещаемых сайтов карантин 30 дней. При оплате какой-либо дополнительной услуги карантин заканчивается немедленно после оплаты.
Pudge-xD
Сообщений: 15
Репутация: 0

Сообщение # 360 | 11:35:45
bandjuk, Я Купил базовый пакет но нечего так и не изменилось
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: