Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2041 | 18:12:29
aksshop_aksshop, в файле robots.txt измените эти строчки
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
на эти
Disallow: /shop/order*
Disallow: /shop/printorder*
Disallow: /shop/checkout*
Disallow: /shop/user*

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
aksshop_aksshop
Сообщений: 57
Репутация: 3

Сообщение # 2042 | 18:31:47
Цитата webanet ()
Disallow: /shop/order*Disallow: /shop/printorder*
Disallow: /shop/checkout*
Disallow: /shop/user*
А что дает звездочка, вместо слеша?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2043 | 18:47:22
aksshop_aksshop, блокировку указанной вами страницы. структура урла страниц несколько изменилась. и теперь актуальны эти строчки

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Кинолог
Сообщений: 32
Репутация: 2

Сообщение # 2044 | 13:05:02
Добрый день. Подскажите пожалуйста, правильно ли у меня настроен robots.txt

User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Host: dogsib.ru

Sitemap: http://dogsib.ru/sitemap.xml
Sitemap: http://dogsib.ru/sitemap-forum.xml

http://dogsib.ru
Ev0lut1oN
Сообщений: 46
Репутация: 0

Сообщение # 2045 | 14:52:55
Сайт изначально добавил на родном домене ucoz в яндекс, позже купил домен Ru, и добавил уже на новом домене в вебмастер то-есть родной и не родной домен сейчас в вебмастере, это нормально, не ошибка?) Или лучше удалить родной с вебмастера?
В Robots прописал как требует яндекс Host: адрес_сайта(без www и httpS). Вообщем сделал как надо и дал запрос ещё раз, на родном домене быстро проверка прошла как видите на скрине, и всеравно им что-то не устраивает.
А на новом домене еще проверка идёт, хотя тоже самое будет. Что не так я сделал??

Мой Роботс: (Может что-то надо изменить? Вроде всё правильно. Если нет форума может удалить последнюю строку?)

Код
User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap-forum.xml


Скрины прикрепил:
Прикрепления: 2932489.jpg (49.3 Kb) · 6863558.jpg (51.5 Kb) · 1780075.jpg (10.8 Kb)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2046 | 18:30:42
Ev0lut1oN, если форума нет вообще карта на форум не нужна. все остальное можно сказать не по кусочкам скринов, а с адресом сайта. единственное на правах догадок, у вас отключена индексация системного домена. панель управления - настройки - общие настройки - Разрешить индексацию системного поддомена: - поставьте галку и сохраните

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Ev0lut1oN
Сообщений: 46
Репутация: 0

Сообщение # 2047 | 23:54:08
webanet, индексация системного домена у меня было Включено, странно почему яндекс не видит что я уже поставил Host, и Роботс же без ошибок...

Немножко глупый вопрос наверное, когда я создавал текстовый документ с именем robots закинул всё содержимое и просто сохранил и загрузил в ФМ. Может нужно было "сохранить как"? А именно выбрать кодировку UTF8? Потому-что когда просто "сохраняешь" кодировка идёт ANSI. Ну это всё ерунда я думаю, это роли не играет... ?
Re-van
Сообщений: 9
Репутация: 0

Сообщение # 2048 | 20:40:30
Добрый день. Подскажите как решить проблему такого плана. Недавно заметил что страницы с товаром, которые полностью оформлены - фото, уникальный текст и.т..д, оказываются в не индекса поисковой системы яндекс. Место их в индексе страницы редактирования товара! Как запретить индексацию страниц "Редактирование товара"
Сообщение отредактировал Re-van - Четверг, 16 Мар 2017, 21:31:32
Avgust7203
Сообщений: 40
Репутация: 0

Сообщение # 2049 | 10:14:52
Здравствуйте! Яндекс индексирует дубли страниц с адресами: ...../0-125-0-125; ....../0-93-0-93 и т.д.
Как их правильно заблокировать в robots? Вот так можно: Disallow: /0 - * - 0 - *
Itermity
Репутация: 0

Сообщение # 2050 | 14:49:56
Цитата Avgust7203 ()
Здравствуйте! Яндекс индексирует дубли страниц с адресами: ...../0-125-0-125; ....../0-93-0-93 и т.д. Как их правильно заблокировать в robots? Вот так можно: Disallow: /0 - * - 0 - *
Всем здравствуйте. Аналогичная проблема с дублями страниц в Яндексе ......./0-99-0-99; ....../0-214-0-214. Дайте решение, пожалуйста, которое поможет отодвинуть в сторону дубликаты страниц сайта.
Disallow: /*&* - сможет помочь такая строчка?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2051 | 15:47:49
Avgust7203, Itermity, Disallow: /*0-*-0-

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Itermity
Репутация: 0

Сообщение # 2052 | 16:00:08
Цитата webanet ()
webanet
Спасибо!
Kino-online
Репутация: 0

Сообщение # 2053 | 14:03:52
А кто может подсказать как шас выглядит Robots.txt в 2017 году по стандарту ??
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2054 | 17:25:19
Kino-online, вот тут образец и расшифровка пунктов //forum.ucoz.ru/forum/21-13447-341-16-1144156317

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
alipovw
Репутация: 0

Сообщение # 2055 | 22:12:08
Нужно ли добавлять в host: https://*.* ? Если сайт работает на безопасном протоколе.

Добавлено (30 Май 2017, 22:12:08)
---------------------------------------------

Цитата alipovw ()
в host: https://*.*

Имею ввиду в robots.txt
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: