Страница 30 из 31«1228293031»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
webanet
Личный менеджер
Сообщений: 22694
Репутация: 4845

Сообщение # 436 | 21:58:05
DecL, вы взяли домен с историей и она не очень хорошая. но проблема в основном не в этом. сайт молодой. ждите. яндексу нужно от двух недель для начала индексации. гугл работает быстрее
и с рекламой вы сильно поторопились в футере

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
DecL
Сообщений: 2
Репутация: 0

Сообщение # 437 | 10:10:41
спасибо
HavingingWorld
Сообщений: 69
Репутация: 19

Сообщение # 438 | 13:22:47
У меня не индексируется данная страница http://granit-dvor32.ru/index/0-8 Яндекс пишет что эти страницы не индексируются из за того что нашел там тег ноиндекс, я под лупой код проверил нету там тега ноиндекс! Что за фигня ваообще?

Добавлено (23 Фев 2016, 13:22:47)
---------------------------------------------
Я месяц назад через аддурилку закинул все эти страницы, а до сих пор они не проиндесировались!


_CrySiS_
Сообщений: 464
Репутация: 38

Сообщение # 439 | 14:16:05
HavingingWorld, Я вам ответил в теме: http://forum.ucoz.ru/forum/21-13447-133
webanet
Личный менеджер
Сообщений: 22694
Репутация: 4845

Сообщение # 440 | 15:43:20
_CrySiS_, вы неправильно ответили. переношу все сюда

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
HavingingWorld
Сообщений: 69
Репутация: 19

Сообщение # 441 | 15:43:30
Меня интересует данная страница http://granit-dvor32.ru/index/0-8 почему она не индексируется?

_CrySiS_
Сообщений: 464
Репутация: 38

Сообщение # 442 | 15:43:30
HavingingWorld, данную страницу нужно указать в robots.txt как приоритетную (т.е. указать Allow: /index/0-8)
HavingingWorld
Сообщений: 69
Репутация: 19

Сообщение # 443 | 15:43:30
_CrySiS_, А как мне изменить робот, когда он не меняется, тоесть как бы я заливаю новый, а остается старый всеравно!

_VITALIK_
Сообщений: 696
Репутация: 115
Уровень замечаний:

Сообщение # 444 | 15:43:30
Цитата HavingingWorld ()
_CrySiS_, А как мне изменить робот, когда он не меняется, тоесть как бы я заливаю новый, а остается старый всеравно!

HavingingWorld, Не надо заливать новый. Делайте как обьяснила вам webanet

Цитата
если у вас уже был залит свой роботс (он не системный) то откройте файловый менеджер, найдите на главной файлового файл с названием robots.txt - нажмите напротив него на разводной ключ - исправьте как нужно - сохраните и ничего переливать не надо. править можно прямо на месте




И опять же. Файл должен находиться именно в корне, а не в какой то другой папке
Прикрепления: 9354084.jpg(49Kb)

Сообщение отредактировал _VITALIK_ - Вторник, 23 Фев 2016, 14:58:53
webanet
Личный менеджер
Сообщений: 22694
Репутация: 4845

Сообщение # 445 | 16:02:05
HavingingWorld, не надо менять роботс, тем более не надо делать то что вам насоветовали. у вас более неприятная проблема и роботсом её не решить. посмотрите на свое правое меню. посмотрите внимательно как выглядят названия страниц в меню справа. потом перейдите по каждой из них и посмотрите каждой странице в титл. там спам. пример строчка в меню Гранитная плитка адрес страницы http://granit-dvor32.ru/index/0-5
яндекс не индексирует и эту страницу тоже. гугл взял её в индекс, только по запросу она будет у гугла первая с конца в выдаче. вот так выглядит страница в гугле

гугл вывел название в выдачу как меню и отрезал все ваше безобразие со спамом
а вот так выглядит титл страницы
Цитата
Купить гранитную плитку, натуральная плитка из гранита в Брянске оптом и в розницу
Прикрепления: 1090192.jpg(19Kb)

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
UpInHop
Сообщений: 4
Репутация: 0

Сообщение # 446 | 12:36:35
Помогите!Ситуация следующая:

был сайт на платном хостинге. НА старом хостинге страниц в поиске было всего 1.
Сайт перенес на ucoz, оплатил, прикрепил домен. подключил заново к яндекс вебмастеру.
Вебмастер выдает мне следующую ошибку:

"Ранее наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.""

Причем вебмастер говорит, что робот посещал сайт 18 феврая. карантин я снял 19.

прошла уже неделя.

сайт profit-today.ru
_CrySiS_
Сообщений: 464
Репутация: 38

Сообщение # 447 | 15:32:56
UpInHop, Ваш сайт доступен для индекса через robots.txt
Пишите в Яндекс.Вебмастер на счет этого. Или добавьте сайт заново в индекс.
UpInHop
Сообщений: 4
Репутация: 0

Сообщение # 448 | 19:42:05
Цитата _CrySiS_ ()
Пишите в Яндекс.Вебмастер на счет этого. Или добавьте сайт заново в индекс.
как написать яндексу?? не нашел ни одной кнопки и почты.

Добавить в индекс уже нажимал.
Не понимаю в яндексе и в гугле 0 страниц проиндексировано.
Сообщение отредактировал UpInHop - Пятница, 26 Фев 2016, 20:11:23
webanet
Личный менеджер
Сообщений: 22694
Репутация: 4845

Сообщение # 449 | 23:55:05
UpInHop, google уже начал переиндексацию https://www.google.ru/?gws_rd=ssl#newwindow=1&q=site:profit-today.ru уже есть начало индексации модуля новости profit-today.ru/news
яндексу нужно только 2 недели для начала индексации. переиндексацию придется ждать более месяца и для яндекса это нормально. яндекс уже взял главную страницу. ждите. пока можете не писать. ждите следующий ап

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
HavingingWorld
Сообщений: 69
Репутация: 19

Сообщение # 450 | 17:45:08
webanet, всмысле у меня там спам? в титле написано на этой странице: "Купить памятники из гранита, заказать гранитные памятники из натурального камня в Брянске оптом и в розницу" Это типа спамом считается?

Я изменил титлы, теперь проиндексируется?

Сообщение отредактировал HavingingWorld - Суббота, 27 Фев 2016, 17:59:51
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Страница 30 из 31«1228293031»
Поиск: