Модератор форума: Yuri_G |
Сообщество uCoz Вебмастеру Раскрутка сайта Robots.txt (индексация сайта) |
Robots.txt |
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
Здравствуйте:)у меня возникла такая проблема.Я прописал в robots вот такие вот данные
Code User-agent: * Allow: / Allow: /index Allow: /news Disallow: /stuff Disallow: /admin Host: www.diz-am.ru Sitemap: http://www.diz-am.ru/sitemap.xml и после этого я не могу зайти на сайт(http://www.diz-am.ru/ как мне теперь удолить этот фаил??? |
ooops, вам действительно стоит удалить ваш роботтекст. там есть логические несоответствия. пусть будет системный. он настроен правильно и оптимально
а вопросы доступности сайтов решаются тут //forum.ucoz.ru/forum/35-10703-1 роботтекст точно не влияет на доступность сайта, но удалите его все равно. он у вас сплошная нелогичная ошибка. удалите этот из ф.м и он автоматически заменится системным |
А вот такой robots правильный??????
Code User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Sitemap: http://www.diz-am.ru/sitemap.xml Sitemap: http://www.diz-am.ru/sitemap-forum.xml |
|
яндекс прислал письмо Новые правила обработки директив Allow и Disallow в файлах robots.txt
Нужно что то менять или нет ? |
777d777,
Quote Нужно что то менять или нет ? |
я бы сказал, что карантин снимается через 31 день. И ещё лучше сайт не добавлять на индексацию, сперва проверять через анализ robots.txt (есть в инструментах яндекс вебмастер), а уже потом добавлять, или всё равно придётся удалять сайт и добавлять его заного, так как выдаёт всё тоже "сайт не может быть проиндексивирован из-за запрета в robots.txt" (в дополнениях напишите о 31 дне, на 30 день добавляется рекламный блок, на 31 снимается карантин. Это как у меня было, а так незнаю...)
|
Результаты проверки Робота Google моего сайта http://vivastudio.ucoz.ru/ - "Заблокировано по строке 2: Disallow: /
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения" Чем это грозит? |
fllop, не возникнет конечно. если переживаете, то дайте ссылку на сайт
|
webanet, Сайт Вот ещё вот хотелось бы закрыть от индексации
Гостевая книга Форум Правило добавление новостей Каталог сайтов Обратная связь На мой взгляд это индексировать у меня не стоит, так как там ничего хорошего нет (буду рад если что то подскажете, о том что нужно закрыть а что нет) Помогите с тем что нужно прописать, ато с чатом всё понятно, а вот с остальным неразбериха кто за что отвечает.. вот ещё в роботе вижу Sitemap: http://сайт/sitemap-forum.xml Sitemap: http://сайт/sitemap-shop.xml Этого то у меня нет, а интересно робота эти дериктивы как то отвлекают от основной работы, может тоже надо закрыть или вообще удалить? |
fllop, User-agent: *
Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search /mchat почему мини-чат прописан 2 раза, причем второй раз прописан неправильно? удалите то что выделено красным и оставьте то, что вы делено синим Disallow: /gb закрываем гостевую Disallow: /forum/ закрыли форум Disallow: /dir/ закрыли каталог сайтов Disallow: /index/0-3 закрыли страницу с обратной связью Disallow:Правило добавление новостей (я без понятия где оно у вас находится) писать в робот только выделенную жирным часть. остальное пояснения Quote если форума на сайте нет и магазина, то эти строчки стоит удалить |
Quote (webanet) если форума на сайте нет и магазина, то эти строчки стоит удалить Если этого всего на сайте нет, но в роботсе это оставить - насколько это криминально? П.С. Мне вроде раньше не мешало все это дело... "Главным слагаемым формулы успеха является умение ладить с людьми".
Теодор Рузвельт. |
ЧПУ-адреса и robots.txt
все страницы с ЧПУ-адресами, в которых имя начинается с цифры, оказываются "запрещенными". Это вызвано наличием в robots.txt строк вида Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Раньше (до появления ЧПУ) эти правила влияли только на действительно "чисто системные" страницы, а теперь стали влиять и на такие, как у Вас. Избежать этого эффекта можно двумя способами: 1. сменить "человеко-понятное" имя страницы, чтобы оно не начиналось с цифры, или 2. заменить стандартный robots.txt на свой собственный, добавив в конец всех таких правил символ $: Disallow: /index/1$ Disallow: /index/2$ Disallow: /index/3$ Disallow: /index/5$ Disallow: /index/7$ Disallow: /index/8$ Disallow: /index/9$ Правда, нынешние правила были расчитаны также и на то, чтобы блокировать адреса типа /index/35 , также являющиеся "чисто системными", так что первый способ все-таки предпочтительнее. КАК СМЕНИТЬ имя страницы????? как оказалось страницы не индексировались т.к. все начинались с index/... Сообщение отредактировал Проект-Строй - Воскресенье, 11 Мар 2012, 16:55:47
|
| |||
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!