Страница 136 из 138«12134135136137138»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
DENIS5083
Сообщений: 17
Репутация: 0

Сообщение # 2026 | 13:02:34
так я вопрос задал что у меня в роботе вот так это норм или нет
User-agent: *
Sitemap: http://ucoz.ru/sitemap.xml
Host: ucoz.ru
сайт может быть любой
@katy@
Сообщений: 1808
Репутация: 466
Уровень замечаний:

Сообщение # 2027 | 13:20:03
Цитата DENIS5083 ()
так я вопрос задал что у меня в роботе вот так это норм или нет


DENIS5083, это не нормально. Вверху все ссылки по созданию правильного robots.txt информация

道德經 Помощь по системе
kakbctapoucka3ke2012
Сообщений: 14
Репутация: 0

Сообщение # 2028 | 20:08:34
Как бы убрать мусор на скриншоте ниже, при этом, чтобы страницы
/search/skyrim/
/search/steam/
и тд остались в поиске?

red-fx
Сообщений: 4
Репутация: 0

Сообщение # 2029 | 16:59:32
Здравствуйте.
Подскажите, как можно запретить индексирование материалов в модуле, но не головную страницу модуля?
Модуль news.
Прописал в робот.тхт Disallow: /news/*
Но вместе с материалами не индексируется и сам http://сайт/news/
Massimo86
Сообщений: 6
Репутация: 0

Сообщение # 2030 | 17:55:30
Здравствуйте! На сайте, с подключенным модулем интернет-магазина, есть раздел прайс-лист, http://fizmathim.ru/shop/price
Нужно ли в robots прописывать запрет к индексированию, Disallow: /shop/price/ или этого делать не нужно?
webanet
Личный менеджер
Сообщений: 23104
Репутация: 4871

Сообщение # 2031 | 18:33:26
Massimo86, такую страницу лучше не закрывать

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Revenge
Сообщений: 9
Репутация: 0

Сообщение # 2032 | 13:01:24
Скажите можно ли прописать домен в хосте не латинскими буквами? Например: host: на-диване-в-чунском.рф
webanet
Личный менеджер
Сообщений: 23104
Репутация: 4871

Сообщение # 2033 | 18:21:18
Revenge, хост нужно прописывать punycode. вот тут http://faq.ucoz.ru/punycode/ превратите ваш адрес в punycode и пропишите полученный результат в файл robots.txt

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Revenge
Сообщений: 9
Репутация: 0

Сообщение # 2034 | 04:44:14
webanet, Спасибо!
red-fx
Сообщений: 4
Репутация: 0

Сообщение # 2035 | 16:47:53
Уважаемая webanet, а по этому вопросу у вас ответа случайно нет?

Цитата red-fx ()
Здравствуйте.
Подскажите, как можно запретить индексирование материалов в модуле, но не головную страницу модуля?
Модуль news.
Прописал в робот.тхт Disallow: /news/*
Но вместе с материалами не индексируется и сам http://сайт/news/
webanet
Личный менеджер
Сообщений: 23104
Репутация: 4871

Сообщение # 2036 | 17:23:43
red-fx, ответа нет, потому что не поняла вопрос. что надо запретить? только главную или все материалы модуля. если только главную, то почему? и без адреса сайта рекомендации по файлу robots.txt давать скорее вредно, чем нужно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
red-fx
Сообщений: 4
Репутация: 0

Сообщение # 2037 | 17:05:03
Цитата webanet ()
red-fx, ответа нет, потому что не поняла вопрос. что надо запретить? только главную или все материалы модуля.


Головную страницу модуля news (http://сайт.ru/news/) отставить индексируемую. А все добавляемые материалы запретить к индексации.

В роботс.тхт прописал Disallow: /news/*, но вместе с материалами модуля не индексируется и головная страница модуля, хотя по замыслу нужно, чтоб индексировалась.
webanet
Личный менеджер
Сообщений: 23104
Репутация: 4871

Сообщение # 2038 | 18:30:44
red-fx, попробуйте добавить в файл robots.txt строчку
Disallow: /news/*/*
и обязательно проверьте результат https://webmaster.yandex.ru/tools/robotstxt/ и в вебмастере гугла

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
akula-z
Сообщений: 211
Репутация: 43

Сообщение # 2039 | 15:47:26
Скажите, пожалуйста, куда и кому писать чтобы на сайте разблокировали индексацию в robots.txt ? Платная техподдержка молчит...
Мне нужно снять блокировку вот тут http://mirsega.at.ua/robots.txt
webanet
Личный менеджер
Сообщений: 23104
Репутация: 4871

Сообщение # 2040 | 16:26:21
akula-z, файл исправлен. проверяйте

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 136 из 138«12134135136137138»
Поиск: