Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58 04 Апр 2006
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2026 | 16:59:32 18 Янв 2017
Здравствуйте.
Подскажите, как можно запретить индексирование материалов в модуле, но не головную страницу модуля?
Модуль news.
Прописал в робот.тхт Disallow: /news/*
Но вместе с материалами не индексируется и сам http://сайт/news/
Massimo86
Сообщений: 14
Репутация: 0

Сообщение # 2027 | 17:55:30 29 Янв 2017
Здравствуйте! На сайте, с подключенным модулем интернет-магазина, есть раздел прайс-лист, http://fizmathim.ru/shop/price
Нужно ли в robots прописывать запрет к индексированию, Disallow: /shop/price/ или этого делать не нужно?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2028 | 18:33:26 29 Янв 2017
Massimo86, такую страницу лучше не закрывать
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Revenge
Сообщений: 9
Репутация: 0

Сообщение # 2029 | 13:01:24 30 Янв 2017
Скажите можно ли прописать домен в хосте не латинскими буквами? Например: host: на-диване-в-чунском.рф
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2030 | 18:21:18 30 Янв 2017
Revenge, хост нужно прописывать punycode. вот тут //faq.ucoz.ru/punycode/ превратите ваш адрес в punycode и пропишите полученный результат в файл robots.txt
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Revenge
Сообщений: 9
Репутация: 0

Сообщение # 2031 | 04:44:14 31 Янв 2017
webanet, Спасибо!
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2032 | 16:47:53 01 Фев 2017
Уважаемая webanet, а по этому вопросу у вас ответа случайно нет?

Цитата red-fx ()
Здравствуйте.
Подскажите, как можно запретить индексирование материалов в модуле, но не головную страницу модуля?
Модуль news.
Прописал в робот.тхт Disallow: /news/*
Но вместе с материалами не индексируется и сам http://сайт/news/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2033 | 17:23:43 01 Фев 2017
red-fx, ответа нет, потому что не поняла вопрос. что надо запретить? только главную или все материалы модуля. если только главную, то почему? и без адреса сайта рекомендации по файлу robots.txt давать скорее вредно, чем нужно
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2034 | 17:05:03 04 Фев 2017
Цитата webanet ()
red-fx, ответа нет, потому что не поняла вопрос. что надо запретить? только главную или все материалы модуля.


Головную страницу модуля news (http://сайт.ru/news/) отставить индексируемую. А все добавляемые материалы запретить к индексации.

В роботс.тхт прописал Disallow: /news/*, но вместе с материалами модуля не индексируется и головная страница модуля, хотя по замыслу нужно, чтоб индексировалась.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2035 | 18:30:44 04 Фев 2017
red-fx, попробуйте добавить в файл robots.txt строчку
Disallow: /news/*/*
и обязательно проверьте результат https://webmaster.yandex.ru/tools/robotstxt/ и в вебмастере гугла
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 2036 | 15:47:26 05 Фев 2017
Скажите, пожалуйста, куда и кому писать чтобы на сайте разблокировали индексацию в robots.txt ? Платная техподдержка молчит...
Мне нужно снять блокировку вот тут http://mirsega.at.ua/robots.txt
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2037 | 16:26:21 05 Фев 2017
akula-z, файл исправлен. проверяйте
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 2038 | 16:30:53 05 Фев 2017
webanet, Спасибо!
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2039 | 04:36:53 13 Фев 2017
Цитата webanet ()
red-fx, попробуйте добавить в файл robots.txt строчкуDisallow: /news/*/*
и обязательно проверьте результат https://webmaster.yandex.ru/tools/robotstxt/ и в вебмастере гугла

спасибо, помогло:

Цитата
Страница была проиндексирована роботом и сможет появиться в поиске после двух-трёх обновлений поисковой базы.

Версия страницы на момент построения поиcковой базы
Дата загрузки:10.02.2017 06:15:27
HTTP-статус:HTTP 200 OK
aksshop_aksshop
Сообщений: 57
Репутация: 3

Сообщение # 2040 | 13:47:14 13 Фев 2017
Вопрос в следующем почему поисковики индексируют страницу которая в Robots указана как закрытая к индексации Disallow: /shop/checkout/
а это то что выдает Яндекс:
https://www.aksshop.ru/shop/checkout
Страница была проиндексирована роботом и присутствует в поиске.
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: