Страница 138 из 138«12136137138
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Kino-online
Репутация: 0

Сообщение # 2056 | 14:03:52
А кто может подсказать как шас выглядит Robots.txt в 2017 году по стандарту ??
webanet
Личный менеджер
Сообщений: 23137
Репутация: 4873

Сообщение # 2057 | 17:25:19
Kino-online, вот тут образец и расшифровка пунктов http://forum.ucoz.ru/forum/21-13447-341-16-1144156317

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
alipovw
Репутация: 0

Сообщение # 2058 | 22:12:08
Нужно ли добавлять в host: https://*.* ? Если сайт работает на безопасном протоколе.

Добавлено (30 Май 2017, 22:12:08)
---------------------------------------------

Цитата alipovw ()
в host: https://*.*

Имею ввиду в robots.txt
webanet
Личный менеджер
Сообщений: 23137
Репутация: 4873

Сообщение # 2059 | 22:13:31
alipovw, да. нужно именно так

Host: https://адрес сайта/

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
pravdorub527
Репутация: 0

Сообщение # 2060 | 14:15:27
Здравствуйте, подскажите пожалуйста, вот Яндекс индексирует ссылки на страницах материала и комментариев к нему в модуле онлайн игры, такого вида - /stuff/0-0-1-1765-20 (это ссылки на скачивание игр от алавар). У этих ссылок код ответа - 302Found.

В справочнике яндекса по кодам написано: 302 - Ресурс временно перемещен - Запрошенный ресурс временно находится под другим адресом (получен код 302 Found) - Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Вопрос такой, а можно эти ссылки как-то закрыть от индексации в роботсе? Чтобы робот не индексировал страницу, на которую установлено перенаправление.
Сестра-Таланта
Сообщений: 244
Репутация: 80

Сообщение # 2061 | 20:58:31
Что будет если в роботсе указать:
Disallow: /*?page
webanet
Личный менеджер
Сообщений: 23137
Репутация: 4873

Сообщение # 2062 | 21:03:03
Сестра-Таланта, это закроет от индексации страницы пагинации модулей

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сестра-Таланта
Сообщений: 244
Репутация: 80

Сообщение # 2063 | 21:38:04
Цитата webanet ()
страницы пагинации модулей
то есть все страницы?
или только те которые имеют код 301?
webanet
Личный менеджер
Сообщений: 23137
Репутация: 4873

Сообщение # 2064 | 22:06:15
Сестра-Таланта, я не знаю почему у вас пагинация под 301. но наверное вы неправильно поняли. вот смотрите https://web-tycoon.com/blog/ это первая страница списков материалов блога, а это вторая страница https://web-tycoon.com/blog/?page2 так вот вторая не будет индексироваться если добавить
Disallow: /*?page
вот что такое пагинация

а вы про какие страницы спрашивали?
Прикрепления: 9147213.jpg(3Kb)

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сестра-Таланта
Сообщений: 244
Репутация: 80

Сообщение # 2065 | 11:32:55
Цитата webanet ()
а вы про какие страницы спрашивали?
Да просто ищу правильную конструкцию что бы индексировалась только главная страница
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 138 из 138«12136137138
Поиск: