• Страница 1 из 1
  • 1
Модератор форума: Yuri_G  
Как настроить Роботс
Energyy
Сообщений: 512
Репутация: 21

Сообщение # 1 | 11:49:06
Сейчас у меня роботс вот такой

User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Host: aliprosto.com
Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

Но Гугл очень плохо индексирует.
Возможно надо удалить пункт Disallow: /*? ?

Добавлено (17 Янв 2017, 17:48:27)
---------------------------------------------
Сайт http://aliprosto.com/

Добавлено (17 Янв 2017, 17:49:21)
---------------------------------------------
В гугле 38 заблокированых страниц

Добавлено (17 Янв 2017, 21:10:08)
---------------------------------------------
проверил Search Console
Убрал: Disallow: /*? и Disallow: /secure/

Что думают знатоки?
Я хуже сайту не сделал?

Добавлено (17 Янв 2017, 21:17:13)
---------------------------------------------
Или может что то ещё умного можно туда добавить или наоборот?

Добавлено (18 Янв 2017, 11:30:34)
---------------------------------------------
После моих изменений в роботс - прошла всего лишь 1 ночь

В Яндексе - удалено 62 страницы (не знаю с чем это связано)

Добавлено (18 Янв 2017, 11:49:06)
---------------------------------------------
Оказалось что в Яндексе 60 страниц - редирект =D

Так как у мну настроен робот нормально?


Мой сайт: https://aliprosto.com/
И я горжусь, тем что есть =D
Rostislav
Сообщений: 2396
Репутация: 591

Сообщение # 2 | 12:28:24
Energyy, файл robots.txt у вас стандартный и настроен нормально.

Energyy
Сообщений: 512
Репутация: 21

Сообщение # 3 | 12:37:51
Цитата Rostislav ()
Energyy, файл robots.txt у вас стандартный и настроен нормально.

Спасибо

Мой сайт: https://aliprosto.com/
И я горжусь, тем что есть =D
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 4 | 13:21:16
Energyy, вы очень зря удалили то что удалили. вы разрешили индексацию картинки капчи и прочий мусор.
удалить можно только это Allow: /stat/dspixel
все остальное оставить
Цитата
В гугле 38 заблокированых страниц
это информация о заблокированных ненужных технических страницах. у вас сайт пока ещё очень молодой. занимайтесь сайтом, добавляйте интересное и полезное. находится целыми днями в вебмастерах не нужно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
  • Страница 1 из 1
  • 1
Поиск: