• Страница 140 из 140
  • «
  • 1
  • 2
  • 138
  • 139
  • 140
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
tourizm
Сообщений: 4
Репутация: 0

Сообщение # 2086 | 15:02:14
Сегодня зашел в Яндекс вебмастер и увидел такое:

В robots.txt прописана директива запрета индексирования формы редактирования материала Disallow: /*-0-0-

Проверяю в Яндекс вебмастере - индексирование разрешено! Но только в модуле /foto. В остальных все нормально.



В результате появилась масса дублей:



В чем может быть причина?

Добавлено (20 Июл 2018, 16:56:54)
---------------------------------------------
Как закрыть страницы с формой редактирования?

Добавлено (21 Июл 2018, 13:30:01)
---------------------------------------------
Кто нибудь может подсказать?

Прикрепления: 5536958.jpg(36.6 Kb) · 5987491.jpg(42.1 Kb)
-SAM-
Сообщений: 128
Репутация: 38

Сообщение # 2087 | 02:10:54
Цитата agroraiders ()
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif разрешает индексацию скриптов, файлов стилей и картинок
Считаю такое объяснение новичкам не совсем корректным, ниже попытаюсь объяснить почему. Вот тему разбирал, что спустя и дописал там, а уже потом понял - как-то оно всё несвязно выходит, как и само описание здесь - не катит.

Суть ведь в том, как понял, что эти строки были внесены в качестве противодействия имеющемуся там Disallow: /*? ... ведь, опять же, строк на Allow ранее не было, у кого-то может сложиться ложное впечатление, что если не внести эти строки, то индексация файлов этих не будет происходить... нет, эти строки для обхода поисковиками системных скриптов, стилей... именно в них указаны версии после "?" (и то только после обновлений, если сейчас смотреть - не указаны)... ну, что естественно, когда еще сами пользователи так прописывают версии в файлах своих (но! там уж они сами и должны файл robots.txt под себя переписывать; для системы же прописывается так: Allow: /.s/*.js и Allow: /.s/*.css). Там в теме вопрос поднят был про демо картинки (превью), что в них идут "?" - не ясно даже зачем в индекс их понадобилось вносить (куча дублей, что сейчас есть, потом нет... ибо постоянно меняется там всё, что идёт после "?") ... именно, что даже себе был прописал запрет... и, как понял, что такой запрет не прописью Disallow: /*.jpg? достигается, а просто убиранием оттуда Allow: /*.jpg ... ресурсы будут же индексироваться нормально, то есть картинки без "?"... есть еще файлы *.jpeg, допустим, но, как выше написал - не указано по простой причине, что такого расширения системой не делается для уменьшенных копий.

И вопрос возник следующий еще: где системой делаются файлы расширений *.png и *.gif, что идут с "?"... не видел (в смысле уменьшенные копии). Значит эти строки можно убрать (и уж точно убрать, когда нужно запрет сделать для индексирования множества дублей превьюшек в фотоальбоме - ранее такие файлы и не были обработаны, пока не надумались внести Allow: /*.jpg). Есть еще момент: после обхода краулером Веб Архива потом забивка дублями происходит - опять оказия... вот там тоже есть смысл запрет сделать вручную со своей стороны (раз уж в uСoz не подумали), допустим, выше уже написанным или по папке, куда они заливаются системой (файлы *.jpg в системе с "?", как мне кажется, то только в фотоальбоме). У себя же на сайте где смог, то просто вырезал у названий файлов оттуда "?". Есть еще возможность указать User-agent: ia_archiver и там запретить, но это уже разговор отдельный (и да, дублями там забивало вплоть до момента, пока не сделали Disallow: /*?... сейчас вот вновь разрешили Allow: /*.jpg).

UPD.: значит Allow: /*.jpg , Allow: /*.png и Allow: /*.gif - это всё для модуля фотоальбом (у кого его нет - можно убирать... или, если кто хочет описанное мной выше исправить); всё равно, если там это только ради фотоальбома, то в него можно заливать и другие файлы (или нельзя?), допустим, залить файл *.jpeg, что после вывод полноразмерного изображения идёт и нет перевода в *.jpg (если уменьшенная копия не сделалась), и идут там "?"... или залить файл *.bmp - то же самое... разрешающие на обход их строки не были прописаны, видимо, поскольку форматы мало используемые (или перевод идёт всё же в формат *.jpg).
Сообщение отредактировал -SAM- - Среда, 01 Авг 2018, 23:22:30
Edgar8849
Сообщений: 3
Репутация: -1

Сообщение # 2088 | 00:36:23
Здравствуйте, подскажите как настроить robot.txt чтоб в поиске отображалась одна страница! основная.
worthyhero
Репутация: 0

Сообщение # 2089 | 12:48:18
Добрый день. При создании сайта возникла ситуация когда надо запретить индексацию всех страниц (index) но оставить главную... подскажите как правильно это Выполнить в robots.txt    ?
webanet
Личный менеджер
Сообщений: 23746
Репутация: 4955

Сообщение # 2090 | 13:37:26
worthyhero, вы должны понимать, что заочно составление файла занятие бессмысленное и иногда опасное для индексации. всегда нужно давать адрес сайта. если у вас все по умолчанию, то так
Disallow:/index

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
worthyhero
Репутация: 0

Сообщение # 2091 | 13:47:41
webanet, Это запретит индексацию всех страниц кроме главной ?
Раша
Сообщений: 13
Репутация: 0

Сообщение # 2092 | 11:22:21
Кто скажет (знает) чем отличается допустим Disallow: /search/ в скобках, от Disallow: /search  без скобок. 
Что это означает?
webanet
Личный менеджер
Сообщений: 23746
Репутация: 4955

Сообщение # 2093 | 16:17:47

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
-SAM-
Сообщений: 128
Репутация: 38

Сообщение # 2094 | 23:55:21
Раша, проще говоря - с Disallow: /search не будут индексироваться все страницы поиска, тогда как с Disallow: /search/ - начальная страница его будет продолжать индексироваться. Собственно, по умолчанию так оно и есть:
Цитата agroraiders ()
Disallow: /search/ Запрещает индексирование страницы результатов поиска и тегов
Как видите, написано именно страница результатов.

Ex-ID: 179703 [11 Авг 2012]
Сообщение отредактировал -SAM- - Пятница, 01 Фев 2019, 00:03:39
Prominecrafting
Репутация: 0

Сообщение # 2095 | 11:37:09
Добрый день!

Скажите пожалуйста, как правильно указать в файле robots.txt директивы Allow и Disallow

Есть сайт 100minecraft.ru в котором нужно разрешить индексирование поиска на сайте по ключевым словам, но когда я указываю директиву Allow: /search в файле robots.txt, так поисковая система индексирует непонятные страницы

К примеру в вебмастере показывает что проиндексированы страницы которых очень много и создает ненужные копии:
/search/?q=%D0%A8%D0%B5%D0%B9%D0%B4%D0%B5%D1%80%D1%8B;t=0;p=4;md=dir%7Cload%7Csite%7Cstuff%7Cblog
/search/?q=%D0%9C%D0%BE%D0%B4%D1%8B+%D0%B4%D0%BB%D1%8F+%D0%9C%D0%B0%D0%B9%D0%BD%D0%BA%D1%80%D0%B0%D1%84%D1%82;t=0;p=3;md=dir|load|stuff|site|blog

Как прописать директивы чтобы индексировались только страницы /search/?q=%D0%A8%D0%B5%D0%B9%D0%B4%D0%B5%D1%80%D1%8B;t=0;p=4;md= 

и запретить индексацию dir%7Cload%7Csite%7Cstuff%7Cblog

Добавлено (19 Фев 2019, 12:36:02)
---------------------------------------------

Цитата Prominecrafting ()
и запретить индексацию dir%7Cload%7Csite%7Cstuff%7Cblog


Allow: /search/
Disallow: /*/;md=stuff|load|dir|blog|site/

такие пойдут директивы?

Добавлено (19 Фев 2019, 13:16:24)
---------------------------------------------
или может по другому сделать?

Allow: /search/
Disallow: /search/*stuff|load|dir|blog|site
Disallow: /search/*load|dir|site|blog|stuff
Disallow: /search/*site|blog|stuff|load|dir
Disallow: /search/*dir|blog|load|site|stuff

объясните нубу, потому что экспериментировать можно очень долго smile

Прикрепления: 5763940.png(57.0 Kb)
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
  • Страница 140 из 140
  • «
  • 1
  • 2
  • 138
  • 139
  • 140
Поиск: