Страница 137 из 138«12135136137138»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
akula-z
Сообщений: 211
Репутация: 43

Сообщение # 2041 | 16:30:53
webanet, Спасибо!
red-fx
Сообщений: 4
Репутация: 0

Сообщение # 2042 | 04:36:53
Цитата webanet ()
red-fx, попробуйте добавить в файл robots.txt строчкуDisallow: /news/*/*
и обязательно проверьте результат https://webmaster.yandex.ru/tools/robotstxt/ и в вебмастере гугла

спасибо, помогло:

Цитата
Страница была проиндексирована роботом и сможет появиться в поиске после двух-трёх обновлений поисковой базы.

Версия страницы на момент построения поиcковой базы
Дата загрузки:10.02.2017 06:15:27
HTTP-статус:HTTP 200 OK
aksshop_aksshop
Сообщений: 49
Репутация: 3

Сообщение # 2043 | 13:47:14
Вопрос в следующем почему поисковики индексируют страницу которая в Robots указана как закрытая к индексации Disallow: /shop/checkout/
а это то что выдает Яндекс:
https://www.aksshop.ru/shop/checkout
Страница была проиндексирована роботом и присутствует в поиске.
webanet
Личный менеджер
Сообщений: 22908
Репутация: 4861

Сообщение # 2044 | 18:12:29
aksshop_aksshop, в файле robots.txt измените эти строчки
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
на эти
Disallow: /shop/order*
Disallow: /shop/printorder*
Disallow: /shop/checkout*
Disallow: /shop/user*

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
aksshop_aksshop
Сообщений: 49
Репутация: 3

Сообщение # 2045 | 18:31:47
Цитата webanet ()
Disallow: /shop/order*Disallow: /shop/printorder*
Disallow: /shop/checkout*
Disallow: /shop/user*
А что дает звездочка, вместо слеша?
webanet
Личный менеджер
Сообщений: 22908
Репутация: 4861

Сообщение # 2046 | 18:47:22
aksshop_aksshop, блокировку указанной вами страницы. структура урла страниц несколько изменилась. и теперь актуальны эти строчки

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Кинолог
Сообщений: 31
Репутация: 2

Сообщение # 2047 | 13:05:02
Добрый день. Подскажите пожалуйста, правильно ли у меня настроен robots.txt

User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Host: dogsib.ru

Sitemap: http://dogsib.ru/sitemap.xml
Sitemap: http://dogsib.ru/sitemap-forum.xml

http://dogsib.ru
Ev0lut1oN
Сообщений: 30
Репутация: 0

Сообщение # 2048 | 14:52:55
Сайт изначально добавил на родном домене ucoz в яндекс, позже купил домен Ru, и добавил уже на новом домене в вебмастер то-есть родной и не родной домен сейчас в вебмастере, это нормально, не ошибка?) Или лучше удалить родной с вебмастера?
В Robots прописал как требует яндекс Host: адрес_сайта(без www и httpS). Вообщем сделал как надо и дал запрос ещё раз, на родном домене быстро проверка прошла как видите на скрине, и всеравно им что-то не устраивает.
А на новом домене еще проверка идёт, хотя тоже самое будет. Что не так я сделал??

Мой Роботс: (Может что-то надо изменить? Вроде всё правильно. Если нет форума может удалить последнюю строку?)

Код
User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap-forum.xml


Скрины прикрепил:
Прикрепления: 2932489.jpg(49Kb) · 6863558.jpg(51Kb) · 1780075.jpg(11Kb)
webanet
Личный менеджер
Сообщений: 22908
Репутация: 4861

Сообщение # 2049 | 18:30:42
Ev0lut1oN, если форума нет вообще карта на форум не нужна. все остальное можно сказать не по кусочкам скринов, а с адресом сайта. единственное на правах догадок, у вас отключена индексация системного домена. панель управления - настройки - общие настройки - Разрешить индексацию системного поддомена: - поставьте галку и сохраните

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Ev0lut1oN
Сообщений: 30
Репутация: 0

Сообщение # 2050 | 23:54:08
webanet, индексация системного домена у меня было Включено, странно почему яндекс не видит что я уже поставил Host, и Роботс же без ошибок...

Немножко глупый вопрос наверное, когда я создавал текстовый документ с именем robots закинул всё содержимое и просто сохранил и загрузил в ФМ. Может нужно было "сохранить как"? А именно выбрать кодировку UTF8? Потому-что когда просто "сохраняешь" кодировка идёт ANSI. Ну это всё ерунда я думаю, это роли не играет... ?
Re-van
Сообщений: 6
Репутация: 0

Сообщение # 2051 | 20:40:30
Добрый день. Подскажите как решить проблему такого плана. Недавно заметил что страницы с товаром, которые полностью оформлены - фото, уникальный текст и.т..д, оказываются в не индекса поисковой системы яндекс. Место их в индексе страницы редактирования товара! Как запретить индексацию страниц "Редактирование товара"
Сообщение отредактировал Re-van - Четверг, 16 Мар 2017, 21:31:32
Avgust7203
Сообщений: 15
Репутация: 0

Сообщение # 2052 | 10:14:52
Здравствуйте! Яндекс индексирует дубли страниц с адресами: ...../0-125-0-125; ....../0-93-0-93 и т.д.
Как их правильно заблокировать в robots? Вот так можно: Disallow: /0 - * - 0 - *
Itermity
Репутация: 0

Сообщение # 2053 | 14:49:56
Цитата Avgust7203 ()
Здравствуйте! Яндекс индексирует дубли страниц с адресами: ...../0-125-0-125; ....../0-93-0-93 и т.д. Как их правильно заблокировать в robots? Вот так можно: Disallow: /0 - * - 0 - *
Всем здравствуйте. Аналогичная проблема с дублями страниц в Яндексе ......./0-99-0-99; ....../0-214-0-214. Дайте решение, пожалуйста, которое поможет отодвинуть в сторону дубликаты страниц сайта.
Disallow: /*&* - сможет помочь такая строчка?
webanet
Личный менеджер
Сообщений: 22908
Репутация: 4861

Сообщение # 2054 | 15:47:49
Avgust7203, Itermity, Disallow: /*0-*-0-

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Itermity
Репутация: 0

Сообщение # 2055 | 16:00:08
Цитата webanet ()
webanet
Спасибо!
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 137 из 138«12135136137138»
Поиск: