Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 721 | 21:14:57
Владимир_Лунев, так и должно быть, чтобы не было ошибок на подобии //forum.ucoz.ru/forum/21-13447-947093-16-1353267050
ничего не трогайте. это системное

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Владимир_Лунев
Сообщений: 48
Репутация: 22

Сообщение # 722 | 21:50:46
Quote (webanet)
так и должно быть, чтобы не было ошибок на подобии //forum.ucoz.ru/forum/21-13447-947093-16-1353267050 ничего не трогайте. это системное
ясно, спасибо за ответ!

arskat
Сообщений: 95
Репутация: 41

Сообщение # 723 | 13:19:41
У меня была строка Disallow: /?ssid= изначально, но посмотрев у других, и как было у них удалил Disallow: /?ssid= и вставил Disallow: /search которого у меня изначально не было.

это страшно или нормально? или надо чтобы и то и другое было в Robots.txt ?

http://arskat.ru/
http://arskat.do.am/
http://photo-ars.ru/
http://torrent-ars.do.am/
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 724 | 13:28:26
arskat, нужно и то и другое.
arskat
Сообщений: 95
Репутация: 41

Сообщение # 725 | 13:34:46
А кто нибудь может выложить весь список, что должно быть в Robots.txt , а то я смотрю, у всех как то непохожи внутренности. Как правильно составить Robots.txt?

http://arskat.ru/
http://arskat.do.am/
http://photo-ars.ru/
http://torrent-ars.do.am/
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 726 | 13:53:44
arskat, 

А по-разному у всех потому, что редактируя роботс все преследуют различные цели.
*yoursite - адрес сайта.
Сообщение отредактировал bravo7446 - Понедельник, 26 Ноя 2012, 14:03:41
Админ0551
Сообщений: 56
Репутация: 20

Сообщение # 727 | 14:01:40
Quote (webanet)
эти страницы с цифрами не должны индексироваться
Но у меня страница такая http://uslugi-v-gorode.ru/index/gruppa_kompanij_leda/0-195 и она не индексируется и не только она, а все такие страницы, как сделать что бы у них тоже была индексация?
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 728 | 14:08:13
Админ0551, страница запрещена для просмотра гостями. Что индексировать-то? Боковые блоки?
Робот смотрит сайт как гость.

А что касаемо адреса страницы - /index/0-... так в роботсе нет запрета.
Сообщение отредактировал bravo7446 - Понедельник, 26 Ноя 2012, 14:15:18
arskat
Сообщений: 95
Репутация: 41

Сообщение # 729 | 14:10:50
bravo7446,

Я добавил Disallow: /?ssid=

зашёл на Яндекс, а там: на скрине, это нормально, или что-то надо менять?

Прикрепления: 8881450.jpg (83.3 Kb)

http://arskat.ru/
http://arskat.do.am/
http://photo-ars.ru/
http://torrent-ars.do.am/
Админ0551
Сообщений: 56
Репутация: 20

Сообщение # 730 | 14:22:27
Quote (bravo7446)
А что касаемо адреса страницы - /index/0-... так в роботсе нет запрета.
Вот, которая не запрещена гостям http://uslugi-v-gorode.ru/index....5 и таких страниц много

Добавлено (26-Ноя-2012, 14:22:27)
---------------------------------------------

Quote (YuriT)
ЧПУ-адреса и robots.txtвсе страницы с ЧПУ-адресами, в которых имя начинается с цифры, оказываются "запрещенными".
Это вызвано наличием в robots.txt строк вида

Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9

Раньше (до появления ЧПУ) эти правила влияли только на действительно "чисто системные" страницы, а теперь стали влиять и на такие, как у Вас.

Это как понимать? одни говорят одно другие другое. Страницы действительно с цифрами не индексируются, как этого избежать
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 731 | 14:41:04
arskat, возможно до этого неудачно экпериментировали с роботсом и яндекс сохранил его у себя.
У Вас сейчас все с ним нормально


?ssid= не имеет отношения к индексации главной страницы.

Добавлено (26-Ноя-2012, 14:41:04)
---------------------------------------------
Админ0551, возможно поможет, если добавите это:

Сообщение отредактировал bravo7446 - Понедельник, 26 Ноя 2012, 14:27:09
Админ0551
Сообщений: 56
Репутация: 20

Сообщение # 732 | 15:10:06
Quote (bravo7446)
возможно поможет, если добавите это:
Disallow: /index/9
Allow: /index/0-1425
Allow: /index/другая_ваша_страница_с_index
Это не выход, прописывать более 1000 страниц в роботс.тхт
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 733 | 15:15:28
Админ0551, попробуйте прописать Allow: /index/0
arskat
Сообщений: 95
Репутация: 41

Сообщение # 734 | 17:16:19
Quote (bravo7446)
Админ0551, попробуйте прописать Allow: /index/0
А мне это не нужно?
Мне осталось просто ждать и всё?
___________________________________________

Или этот ответ касается только Админ0551 по его проблеме?

http://arskat.ru/
http://arskat.do.am/
http://photo-ars.ru/
http://torrent-ars.do.am/
Сообщение отредактировал arskat - Понедельник, 26 Ноя 2012, 17:28:26
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 735 | 17:51:04
Quote (arskat)
Или этот ответ касается только Админ0551 по его проблеме?

Да.
arskat, посмотрите в вебмастере яндекса, какой Ваш роботс сохранен у них.
Если правильный, то ждите. Если нет - отправьте им новый.,
-------------------------
P.S.
Скорее всего у них сохранен "карантинный" роботс.
Code
User-agent: *  
Disallow: /
Сообщение отредактировал bravo7446 - Понедельник, 26 Ноя 2012, 18:02:13
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!