Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
ooops
Сообщений: 1
Репутация: 0

Сообщение # 211 | 02:08:03
Здравствуйте:)у меня возникла такая проблема.Я прописал в robots вот такие вот данные
Code
User-agent: *  
Allow: /  
Allow: /index  
Allow: /news  
Disallow: /stuff  
Disallow: /admin
Host: www.diz-am.ru  
Sitemap: http://www.diz-am.ru/sitemap.xml


и после этого я не могу зайти на сайт(http://www.diz-am.ru/
как мне теперь удолить этот фаил???
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 212 | 02:13:03
ooops, вам действительно стоит удалить ваш роботтекст. там есть логические несоответствия. пусть будет системный. он настроен правильно и оптимально
а вопросы доступности сайтов решаются тут //forum.ucoz.ru/forum/35-10703-1 роботтекст точно не влияет на доступность сайта, но удалите его все равно. он у вас сплошная нелогичная ошибка. удалите этот из ф.м и он автоматически заменится системным

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
ooops
Сообщений: 1
Репутация: 0

Сообщение # 213 | 10:14:26
А вот такой robots правильный??????
Code
User-agent: *  
Disallow: /a/  
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/2  
Disallow: /index/3  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /secure/  
Disallow: /informer/  
Disallow: /mchat  
Disallow: /search

Sitemap: http://www.diz-am.ru/sitemap.xml  
Sitemap: http://www.diz-am.ru/sitemap-forum.xml
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 214 | 11:35:41
ooops, правильный ..

ooops
Сообщений: 1
Репутация: 0

Сообщение # 215 | 11:52:37
спасибо за помощь:)))
777d777
Сообщений: 13
Репутация: 6

Сообщение # 216 | 15:26:24
яндекс прислал письмо Новые правила обработки директив Allow и Disallow в файлах robots.txt

Нужно что то менять или нет ?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 217 | 15:32:46
777d777,
Quote
Нужно что то менять или нет ?
нужно для начала видеть что вы собрались или не собрались менять. адрес сайта или адрес роботтекста

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Наратзул
Сообщений: 19
Репутация: 0

Сообщение # 218 | 11:43:11
я бы сказал, что карантин снимается через 31 день. И ещё лучше сайт не добавлять на индексацию, сперва проверять через анализ robots.txt (есть в инструментах яндекс вебмастер), а уже потом добавлять, или всё равно придётся удалять сайт и добавлять его заного, так как выдаёт всё тоже "сайт не может быть проиндексивирован из-за запрета в robots.txt" (в дополнениях напишите о 31 дне, на 30 день добавляется рекламный блок, на 31 снимается карантин. Это как у меня было, а так незнаю...)

Dick1503
Репутация: 0

Сообщение # 219 | 11:47:04
Результаты проверки Робота Google моего сайта http://vivastudio.ucoz.ru/ - "Заблокировано по строке 2: Disallow: /
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения"
Чем это грозит?
fllop
Сообщений: 72
Репутация: 45

Сообщение # 220 | 22:04:51
webanet, если ни чего там не менял, только запретил индексировать чат, то всё нормально?, гикаких проблем не возникнет?
Сообщение отредактировал fllop - Суббота, 10 Мар 2012, 22:05:11
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 221 | 22:12:25
fllop, не возникнет конечно. если переживаете, то дайте ссылку на сайт

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
fllop
Сообщений: 72
Репутация: 45

Сообщение # 222 | 13:25:27
webanet, Сайт Вот ещё вот хотелось бы закрыть от индексации
Гостевая книга
Форум
Правило добавление новостей
Каталог сайтов
Обратная связь
На мой взгляд это индексировать у меня не стоит, так как там ничего хорошего нет (буду рад если что то подскажете, о том что
нужно закрыть а что нет) Помогите с тем что нужно прописать, ато с чатом всё понятно, а вот с остальным неразбериха кто за что отвечает..

вот ещё в роботе вижу
Sitemap: http://сайт/sitemap-forum.xml
Sitemap: http://сайт/sitemap-shop.xml

Этого то у меня нет, а интересно робота эти дериктивы как то отвлекают от основной работы, может тоже надо закрыть или вообще удалить?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 223 | 16:21:17
fllop, User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
/mchat

почему мини-чат прописан 2 раза, причем второй раз прописан неправильно? удалите то что выделено красным и оставьте то, что вы делено синим
Disallow: /gb закрываем гостевую
Disallow: /forum/ закрыли форум
Disallow: /dir/ закрыли каталог сайтов
Disallow: /index/0-3 закрыли страницу с обратной связью
Disallow:Правило добавление новостей (я без понятия где оно у вас находится)
писать в робот только выделенную жирным часть. остальное пояснения

Quote
вот ещё в роботе вижу
Sitemap: http://сайт/sitemap-forum.xml
Sitemap: http://сайт/sitemap-shop.xml


если форума на сайте нет и магазина, то эти строчки стоит удалить

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Ника9646
Сообщений: 9
Репутация: 34

Сообщение # 224 | 16:44:12
Quote (webanet)
если форума на сайте нет и магазина, то эти строчки стоит удалить

Если этого всего на сайте нет, но в роботсе это оставить - насколько это криминально?
П.С. Мне вроде раньше не мешало все это дело...

"Главным слагаемым формулы успеха является умение ладить с людьми".
Теодор Рузвельт.
Проект-Строй
Сообщений: 3
Репутация: 0

Сообщение # 225 | 16:55:23
ЧПУ-адреса и robots.txt
все страницы с ЧПУ-адресами, в которых имя начинается с цифры, оказываются "запрещенными".
Это вызвано наличием в robots.txt строк вида

Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9

Раньше (до появления ЧПУ) эти правила влияли только на действительно "чисто системные" страницы, а теперь стали влиять и на такие, как у Вас.

Избежать этого эффекта можно двумя способами:

1. сменить "человеко-понятное" имя страницы, чтобы оно не начиналось с цифры, или

2. заменить стандартный robots.txt на свой собственный, добавив в конец всех таких правил символ $:

Disallow: /index/1$
Disallow: /index/2$
Disallow: /index/3$
Disallow: /index/5$
Disallow: /index/7$
Disallow: /index/8$
Disallow: /index/9$

Правда, нынешние правила были расчитаны также и на то, чтобы блокировать адреса типа /index/35 , также являющиеся "чисто системными", так что первый способ все-таки предпочтительнее.

КАК СМЕНИТЬ имя страницы????? как оказалось страницы не индексировались т.к. все начинались с index/...
Сообщение отредактировал Проект-Строй - Воскресенье, 11 Мар 2012, 16:55:47
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!