• Страница 140 из 140
  • «
  • 1
  • 2
  • 138
  • 139
  • 140
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
tourizm
Сообщений: 4
Репутация: 0

Сообщение # 2086 | 15:02:14
Сегодня зашел в Яндекс вебмастер и увидел такое:

В robots.txt прописана директива запрета индексирования формы редактирования материала Disallow: /*-0-0-

Проверяю в Яндекс вебмастере - индексирование разрешено! Но только в модуле /foto. В остальных все нормально.



В результате появилась масса дублей:



В чем может быть причина?

Добавлено (20 Июл 2018, 16:56:54)
---------------------------------------------
Как закрыть страницы с формой редактирования?

Добавлено (21 Июл 2018, 13:30:01)
---------------------------------------------
Кто нибудь может подсказать?

Прикрепления: 5536958.jpg(36.6 Kb) · 5987491.jpg(42.1 Kb)
-SAM-
Сообщений: 128
Репутация: 38

Сообщение # 2087 | 02:10:54
Цитата agroraiders ()
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif разрешает индексацию скриптов, файлов стилей и картинок
Считаю такое объяснение новичкам не совсем корректным, ниже попытаюсь объяснить почему. Вот тему разбирал, что спустя и дописал там, а уже потом понял - как-то оно всё несвязно выходит, как и само описание здесь - не катит.

Суть ведь в том, как понял, что эти строки были внесены в качестве противодействия имеющемуся там Disallow: /*? ... ведь, опять же, строк на Allow ранее не было, у кого-то может сложиться ложное впечатление, что если не внести эти строки, то индексация файлов этих не будет происходить... нет, эти строки для обхода поисковиками системных скриптов, стилей... именно в них указаны версии после "?" (и то только после обновлений, если сейчас смотреть - не указаны)... ну, что естественно, когда еще сами пользователи так прописывают версии в файлах своих (но! там уж они сами и должны файл robots.txt под себя переписывать; для системы же прописывается так: Allow: /.s/*.js и Allow: /.s/*.css). Там в теме вопрос поднят был про демо картинки (превью), что в них идут "?" - не ясно даже зачем в индекс их понадобилось вносить (куча дублей, что сейчас есть, потом нет... ибо постоянно меняется там всё, что идёт после "?") ... именно, что даже себе был прописал запрет... и, как понял, что такой запрет не прописью Disallow: /*.jpg? достигается, а просто убиранием оттуда Allow: /*.jpg ... ресурсы будут же индексироваться нормально, то есть картинки без "?"... есть еще файлы *.jpeg, допустим, но, как выше написал - не указано по простой причине, что такого расширения системой не делается для уменьшенных копий.

И вопрос возник следующий еще: где системой делаются файлы расширений *.png и *.gif, что идут с "?"... не видел (в смысле уменьшенные копии). Значит эти строки можно убрать (и уж точно убрать, когда нужно запрет сделать для индексирования множества дублей превьюшек в фотоальбоме - ранее такие файлы и не были обработаны, пока не надумались внести Allow: /*.jpg). Есть еще момент: после обхода краулером Веб Архива потом забивка дублями происходит - опять оказия... вот там тоже есть смысл запрет сделать вручную со своей стороны (раз уж в uСoz не подумали), допустим, выше уже написанным или по папке, куда они заливаются системой (файлы *.jpg в системе с "?", как мне кажется, то только в фотоальбоме). У себя же на сайте где смог, то просто вырезал у названий файлов оттуда "?". Есть еще возможность указать User-agent: ia_archiver и там запретить, но это уже разговор отдельный (и да, дублями там забивало вплоть до момента, пока не сделали Disallow: /*?... сейчас вот вновь разрешили Allow: /*.jpg).

UPD.: значит Allow: /*.jpg , Allow: /*.png и Allow: /*.gif - это всё для модуля фотоальбом (у кого его нет - можно убирать... или, если кто хочет описанное мной выше исправить); всё равно, если там это только ради фотоальбома, то в него можно заливать и другие файлы (или нельзя?), допустим, залить файл *.jpeg, что после вывод полноразмерного изображения идёт и нет перевода в *.jpg (если уменьшенная копия не сделалась), и идут там "?"... или залить файл *.bmp - то же самое... разрешающие на обход их строки не были прописаны, видимо, поскольку форматы мало используемые (или перевод идёт всё же в формат *.jpg).
Сообщение отредактировал -SAM- - Среда, 01 Авг 2018, 23:22:30
Edgar8849
Сообщений: 3
Репутация: -1

Сообщение # 2088 | 00:36:23
Здравствуйте, подскажите как настроить robot.txt чтоб в поиске отображалась одна страница! основная.
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
  • Страница 140 из 140
  • «
  • 1
  • 2
  • 138
  • 139
  • 140
Поиск: