Страница 138 из 139«12136137138139»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Kino-online
Репутация: 0

Сообщение # 2056 | 14:03:52
А кто может подсказать как шас выглядит Robots.txt в 2017 году по стандарту ??
webanet
Личный менеджер
Сообщений: 23230
Репутация: 4881

Сообщение # 2057 | 17:25:19
Kino-online, вот тут образец и расшифровка пунктов http://forum.ucoz.ru/forum/21-13447-341-16-1144156317

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
alipovw
Репутация: 0

Сообщение # 2058 | 22:12:08
Нужно ли добавлять в host: https://*.* ? Если сайт работает на безопасном протоколе.

Добавлено (30 Май 2017, 22:12:08)
---------------------------------------------

Цитата alipovw ()
в host: https://*.*

Имею ввиду в robots.txt
webanet
Личный менеджер
Сообщений: 23230
Репутация: 4881

Сообщение # 2059 | 22:13:31
alipovw, да. нужно именно так

Host: https://адрес сайта/

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
pravdorub527
Репутация: 0

Сообщение # 2060 | 14:15:27
Здравствуйте, подскажите пожалуйста, вот Яндекс индексирует ссылки на страницах материала и комментариев к нему в модуле онлайн игры, такого вида - /stuff/0-0-1-1765-20 (это ссылки на скачивание игр от алавар). У этих ссылок код ответа - 302Found.

В справочнике яндекса по кодам написано: 302 - Ресурс временно перемещен - Запрошенный ресурс временно находится под другим адресом (получен код 302 Found) - Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Вопрос такой, а можно эти ссылки как-то закрыть от индексации в роботсе? Чтобы робот не индексировал страницу, на которую установлено перенаправление.
Сестра-Таланта
Сообщений: 244
Репутация: 80

Сообщение # 2061 | 20:58:31
Что будет если в роботсе указать:
Disallow: /*?page
webanet
Личный менеджер
Сообщений: 23230
Репутация: 4881

Сообщение # 2062 | 21:03:03
Сестра-Таланта, это закроет от индексации страницы пагинации модулей

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сестра-Таланта
Сообщений: 244
Репутация: 80

Сообщение # 2063 | 21:38:04
Цитата webanet ()
страницы пагинации модулей
то есть все страницы?
или только те которые имеют код 301?
webanet
Личный менеджер
Сообщений: 23230
Репутация: 4881

Сообщение # 2064 | 22:06:15
Сестра-Таланта, я не знаю почему у вас пагинация под 301. но наверное вы неправильно поняли. вот смотрите https://web-tycoon.com/blog/ это первая страница списков материалов блога, а это вторая страница https://web-tycoon.com/blog/?page2 так вот вторая не будет индексироваться если добавить
Disallow: /*?page
вот что такое пагинация

а вы про какие страницы спрашивали?
Прикрепления: 9147213.jpg(3Kb)

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сестра-Таланта
Сообщений: 244
Репутация: 80

Сообщение # 2065 | 11:32:55
Цитата webanet ()
а вы про какие страницы спрашивали?
Да просто ищу правильную конструкцию что бы индексировалась только главная страница
shellbars
Сообщений: 9
Репутация: 0

Сообщение # 2066 | 13:19:05
Здравствуйте! Подскажите, пожалуйста, как запретить к индексаци страницы пагинации категорий сайта, а то они зачастую частично дублируют часть материалов (например, http://progulkipomoskve.ru/publ/kladbishha_moskvy/29-1-6 и http://progulkipomoskve.ru/publ/kladbishha_moskvy/29-1-1 ).
Сообщение отредактировал shellbars - Суббота, 21 Окт 2017, 13:20:23
webanet
Личный менеджер
Сообщений: 23230
Репутация: 4881

Сообщение # 2067 | 16:48:46
shellbars, активируйте в общих настройках аякс переключатель страниц

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
shellbars
Сообщений: 9
Репутация: 0

Сообщение # 2068 | 19:25:34
Спасибо большое, webanet. Активировал эту функцию, но хотел бы вообще запретить в роботс.тхт индексацию страниц пагинации категорий
webanet
Личный менеджер
Сообщений: 23230
Репутация: 4881

Сообщение # 2069 | 15:06:36
shellbars, аякса будет более чем достаточно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Probozd
Сообщений: 1
Репутация: 0

Сообщение # 2070 | 12:43:28
Помогите исправить robot.txt

User-agent: *# Приветствую всех роботовAllow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /shop/
Disallow: /poll
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /?ssid=
Disallow: /*&*

Host: xn--80aulggg.xn--90ais/
Sitemap: http://xn--80aulggg.xn--90ais/sitemap.xml
Sitemap: http://xn--80aulggg.xn--90ais/sitemap.xml.gzUser-agent: *

Нужно запретить поиск, фотоархив и исправить другие ошибки.

Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 138 из 139«12136137138139»
Поиск: