• Страница 1 из 1
  • 1
Модератор форума: Yuri_G  
как убрать каталог сайтов из индексации
lora
Сообщений: 104
Репутация: 13
Уровень замечаний:

Сообщение # 1 | 12:22:54
Здравствуйте!
Пожалуйста, проконсультируйте меня.

Мне нужно полностью убрать из индексации блок "каталог сайтов"
Я прочитала, что это прописывается так:

User-agent: Yandex
User-agent: Googlebot
Disallow: /dir/

Теперь я должна добавить это в роботс. А как это сделать грамотно, не знаю.
Добавила просто перед сайт Мэп. Вот так правильно будет?:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/
Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte
User-agent: Yandex
User-agent: Googlebot
Disallow: /dir/

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml
Sitemap: /sitemap-shop.xml
ИЛИ НУЖНО в начале заменить User-agent: * ?
Короче говоря, помогите, пожалуйста, сделать правильное изменение!!!!
Спасибо!
Ой, я, наверное, не туда написала...Куда это можно написать?

Сообщение отредактировал lora - Пятница, 20 Янв 2017, 12:25:51
Rostislav
Сообщений: 2396
Репутация: 591

Сообщение # 2 | 12:37:59
lora, инструкция по настройке файла robots.txt от Яндекс https://yandex.ru/support....isallow

Для запрета к индексации модуля каталог сайтов достаточно в файл robots.txt добавить одну строчку:
Код
Disallow: /dir

lora
Сообщений: 104
Репутация: 13
Уровень замечаний:

Сообщение # 3 | 19:34:37
Цитата Rostislav ()
в файл robots.txt добавить одну строчку:

Спасибо Вам большое, я даже в ней умудрилась ошибку сделать, поставила слэш в конце. Или слэш можно? /dir/

  • Страница 1 из 1
  • 1
Поиск: