Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2026 | 16:59:32
Здравствуйте.
Подскажите, как можно запретить индексирование материалов в модуле, но не головную страницу модуля?
Модуль news.
Прописал в робот.тхт Disallow: /news/*
Но вместе с материалами не индексируется и сам http://сайт/news/
Massimo86
Сообщений: 8
Репутация: 0

Сообщение # 2027 | 17:55:30
Здравствуйте! На сайте, с подключенным модулем интернет-магазина, есть раздел прайс-лист, http://fizmathim.ru/shop/price
Нужно ли в robots прописывать запрет к индексированию, Disallow: /shop/price/ или этого делать не нужно?
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 2028 | 18:33:26
Massimo86, такую страницу лучше не закрывать

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Revenge
Сообщений: 9
Репутация: 0

Сообщение # 2029 | 13:01:24
Скажите можно ли прописать домен в хосте не латинскими буквами? Например: host: на-диване-в-чунском.рф
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 2030 | 18:21:18
Revenge, хост нужно прописывать punycode. вот тут //faq.ucoz.ru/punycode/ превратите ваш адрес в punycode и пропишите полученный результат в файл robots.txt

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Revenge
Сообщений: 9
Репутация: 0

Сообщение # 2031 | 04:44:14
webanet, Спасибо!
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2032 | 16:47:53
Уважаемая webanet, а по этому вопросу у вас ответа случайно нет?

Цитата red-fx ()
Здравствуйте.
Подскажите, как можно запретить индексирование материалов в модуле, но не головную страницу модуля?
Модуль news.
Прописал в робот.тхт Disallow: /news/*
Но вместе с материалами не индексируется и сам http://сайт/news/
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 2033 | 17:23:43
red-fx, ответа нет, потому что не поняла вопрос. что надо запретить? только главную или все материалы модуля. если только главную, то почему? и без адреса сайта рекомендации по файлу robots.txt давать скорее вредно, чем нужно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2034 | 17:05:03
Цитата webanet ()
red-fx, ответа нет, потому что не поняла вопрос. что надо запретить? только главную или все материалы модуля.


Головную страницу модуля news (http://сайт.ru/news/) отставить индексируемую. А все добавляемые материалы запретить к индексации.

В роботс.тхт прописал Disallow: /news/*, но вместе с материалами модуля не индексируется и головная страница модуля, хотя по замыслу нужно, чтоб индексировалась.
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 2035 | 18:30:44
red-fx, попробуйте добавить в файл robots.txt строчку
Disallow: /news/*/*
и обязательно проверьте результат https://webmaster.yandex.ru/tools/robotstxt/ и в вебмастере гугла

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 2036 | 15:47:26
Скажите, пожалуйста, куда и кому писать чтобы на сайте разблокировали индексацию в robots.txt ? Платная техподдержка молчит...
Мне нужно снять блокировку вот тут http://mirsega.at.ua/robots.txt
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 2037 | 16:26:21
akula-z, файл исправлен. проверяйте

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 214
Репутация: 43

Сообщение # 2038 | 16:30:53
webanet, Спасибо!
red-fx
Сообщений: 5
Репутация: 0

Сообщение # 2039 | 04:36:53
Цитата webanet ()
red-fx, попробуйте добавить в файл robots.txt строчкуDisallow: /news/*/*
и обязательно проверьте результат https://webmaster.yandex.ru/tools/robotstxt/ и в вебмастере гугла

спасибо, помогло:

Цитата
Страница была проиндексирована роботом и сможет появиться в поиске после двух-трёх обновлений поисковой базы.

Версия страницы на момент построения поиcковой базы
Дата загрузки:10.02.2017 06:15:27
HTTP-статус:HTTP 200 OK
aksshop_aksshop
Сообщений: 54
Репутация: 3

Сообщение # 2040 | 13:47:14
Вопрос в следующем почему поисковики индексируют страницу которая в Robots указана как закрытая к индексации Disallow: /shop/checkout/
а это то что выдает Яндекс:
https://www.aksshop.ru/shop/checkout
Страница была проиндексирована роботом и присутствует в поиске.
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: