• Страница 31 из 31
  • «
  • 1
  • 2
  • 29
  • 30
  • 31
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
oleeg7059
Сообщений: 16
Репутация: 0

Сообщение # 451 | 09:19:29
webanet, здравствуйте! Посмотрите пожалуйста сайт - tvantenna.ucoz.ru . Сайт пропал из поиска Яндекса, пишет вот что: Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt18
Подскажите ,что нужно делать?
Сообщение отредактировал oleeg7059 - Четверг, 09 Июн 2016, 09:20:10
oleeg7059
Сообщений: 16
Репутация: 0

Сообщение # 452 | 09:28:02
Добрый день!
Подскажите, сайт пропал из яндекса, пишет вот что: Информация: страницы намеренно запрещены к индексированию или не должны индексироваться.Документ запрещен в файле robots.txt18
Что делать? Сайт tvantenna.ucoz.ru
Заранее спасибо!
Сообщение отредактировал oleeg7059 - Четверг, 09 Июн 2016, 09:38:14
zarim
Сообщений: 489
Репутация: 82
Уровень замечаний:

Сообщение # 453 | 12:16:20
oleeg7059, https://yandex.ua/search....&lr=148 23 страницы в индексе, да и робот.текст нормальный.
Пример бы страницы, которая не в индексе, потому что "намеренно запрещена"
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 454 | 16:58:48
oleeg7059, сайт в поиске. вам уже показали. информация о заблокированных урл это техническая информация связанная с содержанием файла robots.txt
лучше из содержимого главной удалите все кнопки своих каталогов и досок объявлений и удалите вообще блок друзья сайта

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
mrx
Сообщений: 309
Репутация: 51

Сообщение # 455 | 20:11:52
oleeg7059, ваш сайт есть в Яндексе: тыц.
jena
Сообщений: 7
Репутация: 5

Сообщение # 456 | 01:02:32
Вот, что пишет на емэйл яндекс вебмастер:
При последнем обращении к файлу robots.txt сайта
наши роботы обнаружили, что сайт закрыт для индексации. Убедитесь в
корректности файла robots.txt, иначе сайт может полностью пропасть из
поиска.
Разве есть ошибки ?
$Vladimir$
Сообщений: 7465
Репутация: 1053

Сообщение # 457 | 05:30:12
jena, прочтите ответ по ссылке https://forum.ucoz.ru/forum/21-38597-1322546-16-1619598406
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
  • Страница 31 из 31
  • «
  • 1
  • 2
  • 29
  • 30
  • 31
Поиск: