Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
Цитата webanet (  ) shellbars, аякса будет более чем достаточно WAV-LIBRARY.NET - Библиотека звуков. Бесплатные звуки, шумовые эффекты, сэмплы и музыка в WAV, MP3, OGG форматах.
|
|
wizard72, Значит там ему место ). Для ПС он у вас правильно отображает http://wizard1972.narod.ru/robots.txt
А вот это надо бы удалить http://wizard1972.narod.ru/olderfiles/1/robots.txt Если хотите добавить Host: wizard1972.narod.ru , то добавляйте в корень, там он находиться, смотрите внимательнее. Или у вас нет такой возможности отредактировать robots.txt ? Если это системный robots.txt, то На uCoz раньше делали так - Перезаливали его. Тоесть копируете содержимое файла http://wizard1972.narod.ru/robots.txt , создаёте на своём аппарате тектовой файл с содержимым Код User-agent: * Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif Allow: /*?page Allow: /*?ref= Disallow: /*? Disallow: /stat/ Disallow: /index/1 Disallow: /index/3 Disallow: /register Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /index/sub/ Disallow: /panel/ Disallow: /admin/ Disallow: /informer/ Disallow: /secure/ Disallow: /poll/ Disallow: /search/ Disallow: /abnl/ Disallow: /*_escaped_fragment_= Disallow: /*-*-*-*-987$ Disallow: /shop/order/ Disallow: /shop/printorder/ Disallow: /shop/checkout/ Disallow: /shop/user/ Disallow: /*0-*-0-17$ Disallow: /*-0-0- Host: wizard1972.narod.ru Sitemap: http://wizard1972.narod.ru/sitemap.xml Sitemap: http://wizard1972.narod.ru/sitemap-forum.xml Сообщение отредактировал novikk - Вторник, 27 Мар 2018, 09:25:03
|
|
wizard72, файл присутствует. При необходимости отредактируйте или загрузите свой.
|
|
wizard72, на главной странице файлового менеджера файл robots.txt отображается только, если был залит вручную файл с именем robots.txt. или если активировать форму редактирования файла в СЕО модуле. если файл системный, то он не отображается на главной файлового менеджера
|
|
Здравствуйте, заметил что в Яндексе индексируются страницы пагинации разделов Каталога файлов.
http://майнкрафт-мод.рф/load/minecraft/9-2 http://майнкрафт-мод.рф/load/minecraft/9-3 http://майнкрафт-мод.рф/load/minecraft/9-4 и тд. Все они индексируются, что нужно прописать чтобы они не индексировались? |
|
was_don, не надо ничего никуда писать. например для страницы http://майнкрафт-мод.рф/load/minecraft/9-2 у вас стоит каноникал на <link rel="canonical" href="http://xn----7sbarwglffoszz.xn--p1ai/load/minecraft/9" /> чего более чем достаточно
|
|
Не смотря на то, что там стоит каноническая ссылка, страницы все же индексируются. За сегодняшний день влетело более 100 ссылок такого вида.
И вам стоит пересмотреть функцию "использовать канонические ссылки". Так как если ставить системный код <?$SEO_CANONICAL$?>далее системный код) отображаемые канонические ссылки в некоторых местах не правильные. К примеру если в конце категории есть /(слеш) ваш системный код отображает без слеша. Или другой пример: на страницах пагинаций категории будет видна каноническая ссылка rubrika/?page2 вместо rubrika если поставить ваш системный код в "страница со списком материалов категории". Хотя правильнее будет отображать rubrika, нежели rubrika/?page136, rubrika/?page100, rubrika/?page5 и тд. Поправьте если не прав)   Сообщение отредактировал was_don - Понедельник, 30 Апр 2018, 08:14:09
|
|
В стандартном файле robots.txt Allow: /*?page Разрешает индексацию страниц панигации сайта
все они естественно имеют одинаковый тайтл, дескрипшн и прочие сеотеги заглянул в яндекс вебмастер, он индексирует и добавляет все эти страницы пагинации т.е. появляются дубли в поиске, что по идее не есть хорошо? вопрос: для лучшего продвижения в поиске должна находиться одна страница категории (т.е. только первая страница) или может я чего-то неправильно понимаю? на других системах (дле) страницы пагинации скрываются, почему здесь открыты? спасибо. |
|
ser1ko, вы можете удалить эту строчку и прописать каноникал на главную категорий
|
|
ser1ko, юкоз предоставляет вам вариабельность. то есть вы можете использовать страницы пагинации, а можете не использовать и удалить строчку Allow: /*?page и для верности каноникал прописать. и с точки зрения поисковой оптимизации в первую очередь нужно определиться что такое дубли и какие они бывают и какие из них действительно страшные, а какие технические. не технический истинный дубль, это далеко не странички пагинации
|
|
Сегодня зашел в Яндекс вебмастер и увидел такое:
В robots.txt прописана директива запрета индексирования формы редактирования материала Disallow: /*-0-0- Проверяю в Яндекс вебмастере - индексирование разрешено! Но только в модуле /foto. В остальных все нормально.  В результате появилась масса дублей:  В чем может быть причина? Добавлено (20 Июл 2018, 16:56:54) Добавлено (21 Июл 2018, 13:30:01) Прикрепления:
5536958.jpg
(36.6 Kb)
·
5987491.jpg
(42.1 Kb)
|
|
Цитата agroraiders ( ) Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif разрешает индексацию скриптов, файлов стилей и картинок Суть ведь в том, как понял, что эти строки были внесены в качестве противодействия имеющемуся там Disallow: /*? ... ведь, опять же, строк на Allow ранее не было, у кого-то может сложиться ложное впечатление, что если не внести эти строки, то индексация файлов этих не будет происходить... нет, эти строки для обхода поисковиками системных скриптов, стилей... именно в них указаны версии после "?" (и то только после обновлений, если сейчас смотреть - не указаны)... ну, что естественно, когда еще сами пользователи так прописывают версии в файлах своих (но! там уж они сами и должны файл robots.txt под себя переписывать; для системы же прописывается так: Allow: /.s/*.js и Allow: /.s/*.css). Там в теме вопрос поднят был про демо картинки (превью), что в них идут "?" - не ясно даже зачем в индекс их понадобилось вносить (куча дублей, что сейчас есть, потом нет... ибо постоянно меняется там всё, что идёт после "?") ... именно, что даже себе был прописал запрет... и, как понял, что такой запрет не прописью Disallow: /*.jpg? достигается, а просто убиранием оттуда Allow: /*.jpg ... ресурсы будут же индексироваться нормально, то есть картинки без "?"... есть еще файлы *.jpeg, допустим, но, как выше написал - не указано по простой причине, что такого расширения системой не делается для уменьшенных копий. И вопрос возник следующий еще: где системой делаются файлы расширений *.png и *.gif, что идут с "?"... не видел (в смысле уменьшенные копии). Значит эти строки можно убрать (и уж точно убрать, когда нужно запрет сделать для индексирования множества дублей превьюшек в фотоальбоме - ранее такие файлы и не были обработаны, пока не надумались внести Allow: /*.jpg). Есть еще момент: после обхода краулером Веб Архива потом забивка дублями происходит - опять оказия... вот там тоже есть смысл запрет сделать вручную со своей стороны (раз уж в uСoz не подумали), допустим, выше уже написанным или по папке, куда они заливаются системой (файлы *.jpg в системе с "?", как мне кажется, то только в фотоальбоме). У себя же на сайте где смог, то просто вырезал у названий файлов оттуда "?". Есть еще возможность указать User-agent: ia_archiver и там запретить, но это уже разговор отдельный (и да, дублями там забивало вплоть до момента, пока не сделали Disallow: /*?... сейчас вот вновь разрешили Allow: /*.jpg). UPD.: значит Allow: /*.jpg , Allow: /*.png и Allow: /*.gif - это всё для модуля фотоальбом (у кого его нет - можно убирать... или, если кто хочет описанное мной выше исправить); всё равно, если там это только ради фотоальбома, то в него можно заливать и другие файлы (или нельзя?), допустим, залить файл *.jpeg, что после вывод полноразмерного изображения идёт и нет перевода в *.jpg (если уменьшенная копия не сделалась), и идут там "?"... или залить файл *.bmp - то же самое... разрешающие на обход их строки не были прописаны, видимо, поскольку форматы мало используемые (или перевод идёт всё же в формат *.jpg). Сообщение отредактировал -SAM- - Среда, 01 Авг 2018, 23:22:30
|
| |||