Страница 31 из 31«12293031
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
oleeg7059
Сообщений: 14
Репутация: 0

Сообщение # 451 | 09:19:29
webanet, здравствуйте! Посмотрите пожалуйста сайт - tvantenna.ucoz.ru . Сайт пропал из поиска Яндекса, пишет вот что: Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt18
Подскажите ,что нужно делать?
Сообщение отредактировал oleeg7059 - Четверг, 09 Июн 2016, 09:20:10
oleeg7059
Сообщений: 14
Репутация: 0

Сообщение # 452 | 09:28:02
Добрый день!
Подскажите, сайт пропал из яндекса, пишет вот что: Информация: страницы намеренно запрещены к индексированию или не должны индексироваться.Документ запрещен в файле robots.txt18
Что делать? Сайт tvantenna.ucoz.ru
Заранее спасибо!
Сообщение отредактировал oleeg7059 - Четверг, 09 Июн 2016, 09:38:14
zarim
Сообщений: 383
Репутация: 66

Сообщение # 453 | 12:16:20
oleeg7059, https://yandex.ua/search....&lr=148 23 страницы в индексе, да и робот.текст нормальный.
Пример бы страницы, которая не в индексе, потому что "намеренно запрещена"
webanet
Личный менеджер
Сообщений: 22614
Репутация: 4838

Сообщение # 454 | 16:58:48
oleeg7059, сайт в поиске. вам уже показали. информация о заблокированных урл это техническая информация связанная с содержанием файла robots.txt
лучше из содержимого главной удалите все кнопки своих каталогов и досок объявлений и удалите вообще блок друзья сайта

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
mrx
Сообщений: 271
Репутация: 43

Сообщение # 455 | 20:11:52
oleeg7059, ваш сайт есть в Яндексе: тыц.
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Страница 31 из 31«12293031
Поиск: