• Страница 140 из 140
  • «
  • 1
  • 2
  • 138
  • 139
  • 140
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Edgar8849
Сообщений: 3
Репутация: -1

Сообщение # 2086 | 00:36:23
Здравствуйте, подскажите как настроить robot.txt чтоб в поиске отображалась одна страница! основная.
worthyhero
Репутация: 0

Сообщение # 2087 | 12:48:18
Добрый день. При создании сайта возникла ситуация когда надо запретить индексацию всех страниц (index) но оставить главную... подскажите как правильно это Выполнить в robots.txt    ?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2088 | 13:37:26
worthyhero, вы должны понимать, что заочно составление файла занятие бессмысленное и иногда опасное для индексации. всегда нужно давать адрес сайта. если у вас все по умолчанию, то так
Disallow:/index

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
worthyhero
Репутация: 0

Сообщение # 2089 | 13:47:41
webanet, Это запретит индексацию всех страниц кроме главной ?
Раша
Сообщений: 13
Репутация: 0

Сообщение # 2090 | 11:22:21
Кто скажет (знает) чем отличается допустим Disallow: /search/ в скобках, от Disallow: /search  без скобок. 
Что это означает?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2091 | 16:17:47

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
-SAM-
Сообщений: 137
Репутация: 41

Сообщение # 2092 | 23:55:21
Раша, проще говоря - с Disallow: /search не будут индексироваться все страницы поиска, тогда как с Disallow: /search/ - начальная страница его будет продолжать индексироваться. Собственно, по умолчанию так оно и есть:
Цитата agroraiders ()
Disallow: /search/ Запрещает индексирование страницы результатов поиска и тегов
Как видите, написано именно страница результатов.

Ex-ID: 179703 [11 Авг 2012]
Сообщение отредактировал -SAM- - Пятница, 01 Фев 2019, 00:03:39
Prominecrafting
Репутация: 0

Сообщение # 2093 | 11:37:09
Добрый день!

Скажите пожалуйста, как правильно указать в файле robots.txt директивы Allow и Disallow

Есть сайт 100minecraft.ru в котором нужно разрешить индексирование поиска на сайте по ключевым словам, но когда я указываю директиву Allow: /search в файле robots.txt, так поисковая система индексирует непонятные страницы

К примеру в вебмастере показывает что проиндексированы страницы которых очень много и создает ненужные копии:
/search/?q=%D0%A8%D0%B5%D0%B9%D0%B4%D0%B5%D1%80%D1%8B;t=0;p=4;md=dir%7Cload%7Csite%7Cstuff%7Cblog
/search/?q=%D0%9C%D0%BE%D0%B4%D1%8B+%D0%B4%D0%BB%D1%8F+%D0%9C%D0%B0%D0%B9%D0%BD%D0%BA%D1%80%D0%B0%D1%84%D1%82;t=0;p=3;md=dir|load|stuff|site|blog

Как прописать директивы чтобы индексировались только страницы /search/?q=%D0%A8%D0%B5%D0%B9%D0%B4%D0%B5%D1%80%D1%8B;t=0;p=4;md= 

и запретить индексацию dir%7Cload%7Csite%7Cstuff%7Cblog

Добавлено (19 Фев 2019, 12:36:02)
---------------------------------------------

Цитата Prominecrafting ()
и запретить индексацию dir%7Cload%7Csite%7Cstuff%7Cblog


Allow: /search/
Disallow: /*/;md=stuff|load|dir|blog|site/

такие пойдут директивы?

Добавлено (19 Фев 2019, 13:16:24)
---------------------------------------------
или может по другому сделать?

Allow: /search/
Disallow: /search/*stuff|load|dir|blog|site
Disallow: /search/*load|dir|site|blog|stuff
Disallow: /search/*site|blog|stuff|load|dir
Disallow: /search/*dir|blog|load|site|stuff

объясните нубу, потому что экспериментировать можно очень долго smile

Прикрепления: 5763940.png(57.0 Kb)
Kurosava
Сообщений: 18
Репутация: 1

Сообщение # 2094 | 10:24:28
Привет, друзья. Подскажите пожалуйста, как в роботсе закрыть от индексирования страницу архива материалов что в новостях, что в блоге, что в статьях. Не хочу чтобы в индекс яндекса и гугля влетали списки материалов за 2010 - 02 - 33 например и всё такое. Ну чтобы мусора не было. Как таковое сотворить?

Здесь просто написано про индивидуальный дизайн банковских карт. Не заостряйте внимание.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2095 | 18:56:23
Kurosava, это нужно делать не роботсом, а с помощью каноникала. в шаблон архива материалов модулей новости и блог в секцию head вставьте
Код
<?if($PAGE_ID$=='day'||$PAGE_ID$=='month'||$PAGE_ID$=='year')?>
<link rel="canonical" href="/" />
<meta name="robots" content="none"/>
<?endif?>

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
-SAM-
Сообщений: 137
Репутация: 41

Сообщение # 2096 | 06:20:49
Цитата agroraiders ()
Disallow: /*-0-0- Запрещает индексацию страниц добавления материалов, списков материалов пользователей, поиска по форуму, правил форума, добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы, страницы с редиректами на ссылки на скачивание с удаленного сервера
Не совсем (или я чего-то не понял здесь).

Ссылки на скачивание там другого вида, что идут
/load/0-0-1-$ID$-20 для удаленного (и соответственно /load/0-0-0-$ID$-20 с сервера) скачивания. Сейчас в Я.Вебмастере полно страниц вылезло, что ходит по этим ссылкам, а там редирект (у ссылки не было rel="nofollow" и она в robots.txt как раз и не запрещена).

Еще добило тем, что полно страниц разных на фильтры-поиск на форуме, полечил так:
Disallow: /forum/*-0-*0-1

Ну, а еще такое у себя был прописал Disallow: /*?ref=xranks - что оно, откуда берется, если кто знает - напишите, пожалуйста... или вообще стоит убрать Allow: /*?ref= ... на что-то повлияет, если на сайте такие ссылки не размещались?

Ex-ID: 179703 [11 Авг 2012]
Сообщение отредактировал -SAM- - Понедельник, 06 Апр 2020, 06:53:07
Yuri_G
Координаторы
Сообщений: 4250
Репутация: 917

Сообщение # 2097 | 09:36:26
Цитата Prominecrafting ()
объясните нубу, потому что экспериментировать можно очень долго
Индексацию поиска лучше не разрешать так как в индексе будет лишь мусор, плезного там ничего точно не будет, будут сотни страниц с титлом в одно слово и с не очень полным описанием. Это в результате получится (не качественный контент) для вашего сайта и трафик вы с таких страниц точно не получите дополнительный. Оставьте как есть и не открывайте поиск для индекс.

Помогу в переводе сайта на SSL / https (поправлю базы данных если у вас крупный проект или форум), писать на почту yurij.geruk@gmail.com
ucozvbg_2019
Сообщений: 4
Репутация: 0

Сообщение # 2098 | 13:22:31
Здравствуйте! Как настроить robots, чтоб категории он индексировал только главную страницу? А остальные типа стр.2 стр.3 Запретил!
oregon
Сообщений: 108
Репутация: 1

Сообщение # 2099 | 16:56:26
Доброго времени. Столкнулся с проблемой индексации гугл






Раньше User-agent: * стоял только такой, потом когда увидел что у гугла проблемы, добавил еще и эти

User-agent: Googlebot
User-agent: Yandex
User-agent: Mail.Ru

Как все таки лучше?

Ссылка на сайт
Прикрепления: 2623934.jpg(40.0 Kb)
Сообщение отредактировал oregon - Вторник, 30 Июн 2020, 03:53:58
-SAM-
Сообщений: 137
Репутация: 41

Сообщение # 2100 | 00:31:09
Лучше читать чего написано: не править код, если в нем не разбираетесь, когда уже сама система предоставила правильный файл.


Ex-ID: 179703 [11 Авг 2012]
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
  • Страница 140 из 140
  • «
  • 1
  • 2
  • 138
  • 139
  • 140
Поиск: