Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
DecL, вы взяли домен с историей и она не очень хорошая. но проблема в основном не в этом. сайт молодой. ждите. яндексу нужно от двух недель для начала индексации. гугл работает быстрее
и с рекламой вы сильно поторопились в футере |
|
У меня не индексируется данная страница http://granit-dvor32.ru/index/0-8 Яндекс пишет что эти страницы не индексируются из за того что нашел там тег ноиндекс, я под лупой код проверил нету там тега ноиндекс! Что за фигня ваообще?
 Добавлено (23 Фев 2016, 13:22:47) |
|
HavingingWorld, Я вам ответил в теме: //forum.ucoz.ru/forum/21-13447-133
|
|
_CrySiS_, вы неправильно ответили. переношу все сюда
|
|
|
|
_CrySiS_, А как мне изменить робот, когда он не меняется, тоесть как бы я заливаю новый, а остается старый всеравно!
|
|
Цитата HavingingWorld (  )_CrySiS_, А как мне изменить робот, когда он не меняется, тоесть как бы я заливаю новый, а остается старый всеравно! HavingingWorld, Не надо заливать новый. Делайте как обьяснила вам webanet Цитата если у вас уже был залит свой роботс (он не системный) то откройте файловый менеджер, найдите на главной файлового файл с названием robots.txt - нажмите напротив него на разводной ключ - исправьте как нужно - сохраните и ничего переливать не надо. править можно прямо на месте  И опять же. Файл должен находиться именно в корне, а не в какой то другой папке Прикрепления:
9354084.jpg
(48.8 Kb)
 Сообщение отредактировал _VITALIK_ - Вторник, 23 Фев 2016, 14:58:53
|
|
HavingingWorld, не надо менять роботс, тем более не надо делать то что вам насоветовали. у вас более неприятная проблема и роботсом её не решить. посмотрите на свое правое меню. посмотрите внимательно как выглядят названия страниц в меню справа. потом перейдите по каждой из них и посмотрите каждой странице в титл. там спам. пример строчка в меню Гранитная плитка адрес страницы http://granit-dvor32.ru/index/0-5
яндекс не индексирует и эту страницу тоже. гугл взял её в индекс, только по запросу она будет у гугла первая с конца в выдаче. вот так выглядит страница в гугле  гугл вывел название в выдачу как меню и отрезал все ваше безобразие со спамом а вот так выглядит титл страницы Цитата Купить гранитную плитку, натуральная плитка из гранита в Брянске оптом и в розницу Прикрепления:
1090192.jpg
(19.3 Kb)
|
|
Помогите!Ситуация следующая:
был сайт на платном хостинге. НА старом хостинге страниц в поиске было всего 1. Сайт перенес на ucoz, оплатил, прикрепил домен. подключил заново к яндекс вебмастеру. Вебмастер выдает мне следующую ошибку: "Ранее наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней."" Причем вебмастер говорит, что робот посещал сайт 18 феврая. карантин я снял 19. прошла уже неделя. сайт profit-today.ru |
|
UpInHop, Ваш сайт доступен для индекса через robots.txt
Пишите в Яндекс.Вебмастер на счет этого. Или добавьте сайт заново в индекс. |
|
Цитата _CrySiS_ ( )Пишите в Яндекс.Вебмастер на счет этого. Или добавьте сайт заново в индекс. Добавить в индекс уже нажимал. Не понимаю в яндексе и в гугле 0 страниц проиндексировано. Сообщение отредактировал UpInHop - Пятница, 26 Фев 2016, 20:11:23
|
|
UpInHop, google уже начал переиндексацию https://www.google.ru/?gws_rd=ssl#newwindow=1&q=site:profit-today.ru уже есть начало индексации модуля новости profit-today.ru/news
яндексу нужно только 2 недели для начала индексации. переиндексацию придется ждать более месяца и для яндекса это нормально. яндекс уже взял главную страницу. ждите. пока можете не писать. ждите следующий ап |
|
webanet, всмысле у меня там спам? в титле написано на этой странице: "Купить памятники из гранита, заказать гранитные памятники из натурального камня в Брянске оптом и в розницу" Это типа спамом считается?
Я изменил титлы, теперь проиндексируется? Сообщение отредактировал HavingingWorld - Суббота, 27 Фев 2016, 17:59:51
|
| |||