Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2056 | 22:13:31
alipovw, да. нужно именно так

Host: https://адрес сайта/

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
pravdorub527
Репутация: 0

Сообщение # 2057 | 14:15:27
Здравствуйте, подскажите пожалуйста, вот Яндекс индексирует ссылки на страницах материала и комментариев к нему в модуле онлайн игры, такого вида - /stuff/0-0-1-1765-20 (это ссылки на скачивание игр от алавар). У этих ссылок код ответа - 302Found.

В справочнике яндекса по кодам написано: 302 - Ресурс временно перемещен - Запрошенный ресурс временно находится под другим адресом (получен код 302 Found) - Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Вопрос такой, а можно эти ссылки как-то закрыть от индексации в роботсе? Чтобы робот не индексировал страницу, на которую установлено перенаправление.
Сестра-Таланта
Сообщений: 255
Репутация: 80

Сообщение # 2058 | 20:58:31
Что будет если в роботсе указать:
Disallow: /*?page
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2059 | 21:03:03
Сестра-Таланта, это закроет от индексации страницы пагинации модулей

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сестра-Таланта
Сообщений: 255
Репутация: 80

Сообщение # 2060 | 21:38:04
Цитата webanet ()
страницы пагинации модулей
то есть все страницы?
или только те которые имеют код 301?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2061 | 22:06:15
Сестра-Таланта, я не знаю почему у вас пагинация под 301. но наверное вы неправильно поняли. вот смотрите https://web-tycoon.com/blog/ это первая страница списков материалов блога, а это вторая страница https://web-tycoon.com/blog/?page2 так вот вторая не будет индексироваться если добавить
Disallow: /*?page
вот что такое пагинация

а вы про какие страницы спрашивали?
Прикрепления: 9147213.jpg (2.9 Kb)

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сестра-Таланта
Сообщений: 255
Репутация: 80

Сообщение # 2062 | 11:32:55
Цитата webanet ()
а вы про какие страницы спрашивали?
Да просто ищу правильную конструкцию что бы индексировалась только главная страница
shellbars
Сообщений: 9
Репутация: 0

Сообщение # 2063 | 13:19:05
Здравствуйте! Подскажите, пожалуйста, как запретить к индексаци страницы пагинации категорий сайта, а то они зачастую частично дублируют часть материалов (например, http://progulkipomoskve.ru/publ/kladbishha_moskvy/29-1-6 и http://progulkipomoskve.ru/publ/kladbishha_moskvy/29-1-1 ).
Сообщение отредактировал shellbars - Суббота, 21 Окт 2017, 13:20:23
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2064 | 16:48:46
shellbars, активируйте в общих настройках аякс переключатель страниц

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
shellbars
Сообщений: 9
Репутация: 0

Сообщение # 2065 | 19:25:34
Спасибо большое, webanet. Активировал эту функцию, но хотел бы вообще запретить в роботс.тхт индексацию страниц пагинации категорий
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2066 | 15:06:36
shellbars, аякса будет более чем достаточно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Probozd
Сообщений: 4
Репутация: 0

Сообщение # 2067 | 12:43:28
Помогите исправить robot.txt

User-agent: *# Приветствую всех роботовAllow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /shop/
Disallow: /poll
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /?ssid=
Disallow: /*&*

Host: xn--80aulggg.xn--90ais/
Sitemap: http://xn--80aulggg.xn--90ais/sitemap.xml
Sitemap: http://xn--80aulggg.xn--90ais/sitemap.xml.gzUser-agent: *

Нужно запретить поиск, фотоархив и исправить другие ошибки.

goqor85
Репутация: 0

Сообщение # 2068 | 17:51:24
здравствуйте , сайт добавили в google и yandex после покупки базовой пакеты . В Гугл ввожу адрес сайта , вместо описания в первой строке выдает Адрес самого сайта
и во второй строчке вот это:



с Яндексом всё нормально


что делать не знаю, может кто то поможет буду очень благодарен
Прикрепления: 7383648.png (14.6 Kb) · 5140926.png (19.2 Kb)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2069 | 19:13:11
goqor85, зайдите в вебмастер гугла и посмотрите есть ли данные по сайту. если данные уже есть - воспользуйтесь функцией смотреть как гугл бот //forum.ucoz.ru/forum/66-38708-1 ничего в поле не вводите - получить данные - далее отправьте на индексацию - выберите индексацию всех связанных страниц и ждите

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
goqor85
Репутация: 0

Сообщение # 2070 | 21:58:52
webanet, так должен быть?

Прикрепления: 2731270.png (3.1 Kb)
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: