Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Индексирование сайта запрещено в файле robots.txt
Модератор форума
Сообщение # 1 | 17:33:08
Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 376 | 15:44:11
MasyerVanyaPro, Вы не правильно наверное добавляете файлы sitemap.xml.

Добавлено (25 Авг 2013, 15:44:11)
---------------------------------------------

Цитата ($VITALIK$)
Вы не правильно наверное добавляете файлы sitemap.xml.
просто щас не помню. Там вроде не полный адрес пишеться, не помню. И поэтому выдаёт ошибку.

Россия Чемпион !!!
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 377 | 15:45:47
$VITALIK$,
Цитата
Вы не правильно наверное добавляете файлы sitemap.xml.

Файл формируется автоматически ... есть сомнения , можно удалить из ФМ и и забив его в поиск получить актуальную версию ..

Сообщение отредактировал Miss_Esq - Воскресенье, 25 Авг 2013, 15:46:41
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 378 | 15:48:45
$VITALIK$, Эмм..,Тогда как?Я просто добавил ссылку на sitemap.xml.и все.
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 379 | 15:52:02
Цитата (Miss_Esq)
Файл формируется автоматически ... есть сомнения , можно удалить из ФМ и и забив его в поиск получить актуальную версию ..


ну да , это понятно. просто я помню по своим сайтам. Мучался с добавлением в Гугле. Он постоянно шибку выдавал. Там адрес файла вроде не полный пишеться. Или даже помоему просто sitemap.xml без всякого адреса. Вот не помню просто.

Добавлено (25 Авг 2013, 15:52:02)
---------------------------------------------
MasyerVanyaPro, Попробуйте вариант ,который предложила вам Miss_Esq //forum.ucoz.ru/forum/21-38581-1079198-16-1377431147


Россия Чемпион !!!
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 380 | 16:23:00
Miss_Esq, Не могли бы вы подробно описать:Что делать?

Добавлено (25 Авг 2013, 16:23:00)
---------------------------------------------
Залил его в ФМ...Потом вбил его в поисковик...Потом проверил гуглом,Нечего не изменилось..
Сообщение отредактировал MasyerVanyaPro - Воскресенье, 25 Авг 2013, 16:24:47
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 381 | 16:26:46
Цитата (MasyerVanyaPro)
Залил его в ФМ...Потом вбил его в поисковик...Потом проверил гуглом,Нечего не изменилось..


не надо не чо заливать. Просто удалите все файлы sitemap.xml из файлового менеджера. Они у вас после удаления обнлвяться автоматически

Россия Чемпион !!!
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 382 | 16:28:13
Я ошибся,удалил его с ФМ,после этого нечего не изменилось
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 383 | 16:34:57
Цитата ($VITALIK$)
не надо не чо заливать. Просто удалите все файлы sitemap.xml из файлового менеджера. Они у вас после удаления обнлвяться автоматически


Нажмите на поиск по сайту ( в левой колонке )

И адреса файлов прогоните в браузерной строке для скорейшего обновления

Код
[url=http://fotozavr.ru/image/668.html]Смотрите скрин[/url]

Добавлено (25 Авг 2013, 16:33:13)
---------------------------------------------

Цитата ($VITALIK$)

Скрин

Добавлено (25 Авг 2013, 16:34:57)
---------------------------------------------

Цитата (MasyerVanyaPro)
Я ошибся,удалил его с ФМ,после этого нечего не изменилось

Значит всё таки Этот вариант

Россия Чемпион !!!
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 384 | 16:35:23
Изменилось только количество проблем,стало меньше,36
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 385 | 16:37:46
Цитата (MasyerVanyaPro)
Изменилось только количество проблем,стало меньше,36

А в Яндексе как дела обстоят с sitemap.xml ?

Россия Чемпион !!!
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 386 | 16:46:40
$VITALIK$, Ошибок не найдено
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 387 | 16:55:44
Цитата (MasyerVanyaPro)
$VITALIK$, Ошибок не найдено

Ну я вам одно скажу, что с файлами sitemap.xml у вас однозначно всё в порядке. Это Гоша придераеться, как я вам и писал в первом посте, я сталкивался с подобным.

Россия Чемпион !!!
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 388 | 16:59:16
Еще вопрос почему проиндексировалась только главная страница?
$VITALIK$
Сообщений: 299
Репутация: 79

Сообщение # 389 | 17:06:50
Цитата (MasyerVanyaPro)
Еще вопрос почему проиндексировалась только главная страница?

У вас сайт будет прохлопываться примерно 2-3 месяца, тоесть не спеша, с чувством, с толком, с расстановкой, страница за страницей.

Добавлено (25 Авг 2013, 17:06:50)
---------------------------------------------

Цитата ($VITALIK$)
У вас сайт будет прохлопываться примерно 2-3 месяца, тоесть не спеша, с чувством, с толком, с расстановкой, страница за страницей.

sitemap.xmlожно через твитер впринципе прохлопать. Добавляйте в аккаунт твитера ссылки на страницы которые хотите быстрее добавить в поиск.

Россия Чемпион !!!
MasyerVanyaPro
Сообщений: 76
Репутация: 3

Сообщение # 390 | 17:10:56
Спасибо
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)
Поиск: