   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине) |
| Индексирование сайта запрещено в файле robots.txt |
 Проблема На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"  Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому 3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным. Проблема Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился Причины 1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками 2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах. Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому 2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой Проблема Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива" Причина 1) Была прописана несуществующая директива 2) Ошибки синтаксиса и запрещенные символы и теги |
|
Здравствуйте!
Столкнулся с такой проблемой, Яндекс-вебмастер мне пишет: "9.08.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней." После этого сообщения иду в файл robots, и обнаруживаю, что собственно запрета то там и нету вроде... Код User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid= Disallow: /abnl/ Sitemap: http://www.xn----jtbinblbf6ai8bv3b9a.xn--p1ai/sitemap.xml Sitemap: http://www.xn----jtbinblbf6ai8bv3b9a.xn--p1ai/sitemap-forum.xml Sitemap: http://www.xn----jtbinblbf6ai8bv3b9a.xn--p1ai/sitemap-shop.xml Использовал гуглбот для просмотра страниц (https://www.google.com/webmasters/tools/googlebot-fetch?siteUrl=http://xn----jtbinblbf6ai8bv3b9a.xn--p1ai/) Там пишет, что сайт временно недоступен. Что делать? Вот адрес сайта: www.помощь-учителю.рф С уважением, Гадалов Дмитрий.
Мой сайт: http://www.помощь-учителю.рф |
|
Привет знатокам сразу извинюсь поиском пользовался не нашел, и вот 30 страниц читать просто жуть берет.
Сам вопрос такой, я свой сайт решил перенести на другой хостинг перекрепив главный домен и перенеся всю мне нужную информации, остался сайт на домене укоз, в дальнейшем я им буду пользоваться на другом домене. Собственно как я понял ищя информации в сети мне нужно с старых страниц адресов настроить новые адреса через редирект 301, но вопрос в следующем: Что делать на данный момент с доменом от укоз и сайтом на нем сохранившемся. Вся информация находится там, как я понимаю мне не нужно делать лишний редирект с доменного имени сайт.ат.уа а можно просто поставить в значение роботс.тхт вместо: User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid= Sitemap: //forum.ucoz.ru/sitemap.xml Sitemap: //forum.ucoz.ru/sitemap-forum.xml Sitemap: //forum.ucoz.ru/sitemap-shop.xml поставить это: User-agent: *Disallow: / Я же правильно понимаю что робот придя на сайт увидит запрет и уйдет? тем самым страница не попадет под индексацию и это не повлечет за собой отрицательные последствия дублированного контента?????? Если сказать проще я хочу что бы мой сайт на укоз в данный момент ВСЕ поисковики не видели, удалять его не хочу так как не определился останусь я на новом месте или нет, то есть что сделать чтоб даже уже попавшая информация в поисковые системы по доменному имени от укоз не считалась за другой сайт, для гугла и яндекса я решил просто через вебмастера прикрепив оба сайта как зеркало, но мня проиндексировало за год море поисковиков, возможно даже таких о которых я не знаю, вот не хотелось бы всякие маил ру и рамблеры терятью |
|
Karlo, лучшим вариантом для вас будет закрыть сайт на тех.работы. так вы быстрее восстановитесь если надумаете продолжить работу с сайтом. панель управления - настройки - общие настройки - Сайт временно отключен: - поставьте галочку - внизу сохраните. при этом роботс не трогайте
|
|
webanet, спасибо за ответ! просто есть такой нюанс не все файлы и изображения перенесены на новый хост и временно линкуются на страницах на старом сайте. Я так понимаю страницы типа сайт.укоз.ру/картинкО.жпг то есть ссылка на картинку таким образом будет закрыта????
может действительно закинуть в корень файл роботс тхт с User-agent: *Disallow: / я же правильно понял принцип работы укоз если в корне есть фаил роботс то сайты видят его, если его удалить то будет доступен фаил роботс от укоз или есть какие хитрости в этом моменте? (ну естественно это все после снятия карантина) |
|
Karlo,
Цитата Я так понимаю страницы типа сайт.укоз.ру/картинкО.жпг то есть ссылка на картинку таким образом будет закрыта???? Цитата User-agent: *Disallow: / Цитата я же правильно понял принцип работы укоз если в корне есть фаил роботс то сайты видят его, если его удалить то будет доступен фаил роботс от укоз или есть какие хитрости в этом моменте? |
|
Добрый день! Ребята подскажите как быть дальше? Не проходит индексацию, очень далёк от этого. Спасибо
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /shop/order/ Sitemap: http://buroremonta.org/sitemap.xml Sitemap: http://buroremonta.org/sitemap-forum.xml Sitemap: http://buroremonta.org/sitemap-shop.xml |
|
Dmbragin, карты сайта вы прописали в своем роботсе без www, а сайт отображается с www. если вы допустили такую же путаницу при добавлении сайта в яндекс например ждать индексации вам очень долго
|
|
Цитата webanet (  )Dmbragin, карты сайта вы прописали в своем роботсе без www, а сайт отображается с www. если вы допустили такую же путаницу при добавлении сайта в яндекс например ждать индексации вам очень долго |
|
Dmbragin, в роботсе исправить адреса карт сайта. яндексу передать адрес с www, поставить основным зеркалом с www. в роботс прописать директиву host
Host: www.buroremonta.org и ждать индексации около месяца и больше не дергать настройку отображения сайта с www или без него |
|
Цитата webanet ( )Dmbragin, в роботсе исправить адреса карт сайта. яндексу передать адрес с www, поставить основным зеркалом с www. в роботс прописать директиву hostHost: www.buroremonta.org и ждать индексации около месяца и больше не дергать настройку отображения сайта с www или без него |
|
Dmbragin, вы как всегда сделали наоборот. убрали ww. теперь сайт без ввв, а карты сайта с ввв. обновить карты сайта. файловый менеджер. удалить sitemap.xml карты форума и магазина можно удалить. яндексу передать карту сайта снова чтобы было быстрее ТОЛЬКО ПОСЛЕ УДАЛЕНИЯ ИЗ ФАЙЛОВОГО МЕНЕДЖЕРА
|
|
Dmbragin, вы вообще понимаете что вам пишут и что вы делаете? вы поставили отображение сайта без www, а карты сайта зачем прописали с www?
|
|
Dmbragin, вам нигде. учитесь читать. сейчас ваш сайт отображается без www, а вы лепите в роботс с www будете ждать индексации ещё несколько лет
если вы отключили отображение с www, то все ссылки на карты сайта должны быть без www хост должен быть без www сайт в яндекс должен быть передан без www основное зеркало должно быть без www и удалите карту сайта из файлового менеджера чтобы она обновилась. после передадите её яндексу снова |
| |||