Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
vredniey-faktor
Сообщений: 66
Репутация: 38

Сообщение # 2071 | 11:26:43
Цитата webanet ()
shellbars, аякса будет более чем достаточно
Ajax не работает в мобильной версии. Мобильные боты смогут и дальше сканировать страницы пагинации

WAV-LIBRARY.NET - Библиотека звуков. Бесплатные звуки, шумовые эффекты, сэмплы и музыка в WAV, MP3, OGG форматах.
wizard72
Репутация: 0

Сообщение # 2072 | 08:52:12
Привет всем! Проблемам нарисовалась помогите решить( . файл robots.txt попал в другую папку http://wizard1972.narod.ru/olderfiles/1/robots.txt как его оттуда достать и вернуть в корень? Непонимаю как он туда попал раньше был в корне!
novikk
Сообщений: 270
Репутация: 29
Уровень замечаний:

Сообщение # 2073 | 09:02:22
wizard72, Значит там ему место ). Для ПС он у вас правильно отображает http://wizard1972.narod.ru/robots.txt
А вот это надо бы удалить http://wizard1972.narod.ru/olderfiles/1/robots.txt Если хотите добавить Host: wizard1972.narod.ru , то добавляйте в корень, там он находиться, смотрите внимательнее. Или у вас нет такой возможности отредактировать robots.txt ?
Если это системный robots.txt, то На uCoz раньше делали так - Перезаливали его. Тоесть копируете содержимое файла http://wizard1972.narod.ru/robots.txt , создаёте на своём аппарате тектовой файл с содержимым
Код
User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Host: wizard1972.narod.ru
Sitemap: http://wizard1972.narod.ru/sitemap.xml
Sitemap: http://wizard1972.narod.ru/sitemap-forum.xml
 с названием robots.txt и заливаете его в корень, и уже есть возможность редактировать ваш robots.txt
Сообщение отредактировал novikk - Вторник, 27 Мар 2018, 09:25:03
wizard72
Репутация: 0

Сообщение # 2074 | 10:52:23
Спасибо за ответ! Но в корне его точно нет я не пойму как он оттуда открывается! В корне только файлы: 404.htm, favicon.ico, fileslist.txt, пару файлов с гугл для верификации и sitemap.xml!
$Vladimir$
SUPPORT
Сообщений: 7293
Репутация: 1033

Сообщение # 2075 | 12:55:15
wizard72, файл присутствует. При необходимости отредактируйте или загрузите свой.

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2076 | 17:27:58
wizard72, на главной странице файлового менеджера файл robots.txt отображается только, если был залит вручную файл с именем robots.txt. или если активировать форму редактирования файла в СЕО модуле. если файл системный, то он не отображается на главной файлового менеджера

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
was_don
Сообщений: 38
Репутация: 0

Сообщение # 2077 | 13:29:01
Здравствуйте, заметил что в Яндексе индексируются страницы пагинации разделов Каталога файлов.
http://майнкрафт-мод.рф/load/minecraft/9-2
http://майнкрафт-мод.рф/load/minecraft/9-3
http://майнкрафт-мод.рф/load/minecraft/9-4
и тд. Все они индексируются, что нужно прописать чтобы они не индексировались?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2078 | 17:15:23
was_don, не надо ничего никуда писать. например для страницы http://майнкрафт-мод.рф/load/minecraft/9-2 у вас стоит каноникал на <link rel="canonical" href="http://xn----7sbarwglffoszz.xn--p1ai/load/minecraft/9" /> чего более чем достаточно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
was_don
Сообщений: 38
Репутация: 0

Сообщение # 2079 | 21:09:08
Не смотря на то, что там стоит каноническая ссылка, страницы все же индексируются. За сегодняшний день влетело более 100 ссылок такого вида.
И вам стоит пересмотреть функцию "использовать канонические ссылки". Так как если ставить системный код <?$SEO_CANONICAL$?>далее системный код) отображаемые канонические ссылки в некоторых местах не правильные. К примеру если в конце категории есть /(слеш) ваш системный код отображает без слеша.
Или другой пример: на страницах пагинаций категории будет видна каноническая ссылка rubrika/?page2 вместо rubrika если поставить ваш системный код в "страница со списком материалов категории". Хотя правильнее будет отображать rubrika, нежели rubrika/?page136, rubrika/?page100, rubrika/?page5 и тд.
Поправьте если не прав) smile wink
Сообщение отредактировал was_don - Понедельник, 30 Апр 2018, 08:14:09
ser1ko
Сообщений: 37
Репутация: 0

Сообщение # 2080 | 19:35:10
В стандартном файле robots.txt Allow: /*?page Разрешает индексацию страниц панигации сайта

все они естественно имеют одинаковый тайтл, дескрипшн и прочие сеотеги

заглянул в яндекс вебмастер, он индексирует и добавляет все эти страницы пагинации
т.е. появляются дубли в поиске, что по идее не есть хорошо?

вопрос: для лучшего продвижения в поиске должна находиться одна страница категории (т.е. только первая страница) или может я чего-то неправильно понимаю? на других системах (дле) страницы пагинации скрываются, почему здесь открыты? спасибо.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2081 | 20:04:19
ser1ko, вы можете удалить эту строчку и прописать каноникал на главную категорий

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
ser1ko
Сообщений: 37
Репутация: 0

Сообщение # 2082 | 21:23:45
webanet, с точки зрения поисковой оптимизации это будет оптимальный вариант на юкозе? а то очень много статей и мнений на этот счет...

или я слишком заморачиваюсь и поисковики и так знают, какая страница главная, а какие последующие?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2083 | 21:46:53
ser1ko, юкоз предоставляет вам вариабельность. то есть вы можете использовать страницы пагинации, а можете не использовать и удалить строчку Allow: /*?page и для верности каноникал прописать. и с точки зрения поисковой оптимизации в первую очередь нужно определиться что такое дубли и какие они бывают и какие из них действительно страшные, а какие технические. не технический истинный дубль, это далеко не странички пагинации

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
tourizm
Сообщений: 4
Репутация: 0

Сообщение # 2084 | 15:02:14
Сегодня зашел в Яндекс вебмастер и увидел такое:

В robots.txt прописана директива запрета индексирования формы редактирования материала Disallow: /*-0-0-

Проверяю в Яндекс вебмастере - индексирование разрешено! Но только в модуле /foto. В остальных все нормально.



В результате появилась масса дублей:



В чем может быть причина?

Добавлено (20 Июл 2018, 16:56:54)
---------------------------------------------
Как закрыть страницы с формой редактирования?

Добавлено (21 Июл 2018, 13:30:01)
---------------------------------------------
Кто нибудь может подсказать?

Прикрепления: 5536958.jpg(36.6 Kb) · 5987491.jpg(42.1 Kb)
-SAM-
Сообщений: 137
Репутация: 41

Сообщение # 2085 | 02:10:54
Цитата agroraiders ()
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif разрешает индексацию скриптов, файлов стилей и картинок
Считаю такое объяснение новичкам не совсем корректным, ниже попытаюсь объяснить почему. Вот тему разбирал, что спустя и дописал там, а уже потом понял - как-то оно всё несвязно выходит, как и само описание здесь - не катит.

Суть ведь в том, как понял, что эти строки были внесены в качестве противодействия имеющемуся там Disallow: /*? ... ведь, опять же, строк на Allow ранее не было, у кого-то может сложиться ложное впечатление, что если не внести эти строки, то индексация файлов этих не будет происходить... нет, эти строки для обхода поисковиками системных скриптов, стилей... именно в них указаны версии после "?" (и то только после обновлений, если сейчас смотреть - не указаны)... ну, что естественно, когда еще сами пользователи так прописывают версии в файлах своих (но! там уж они сами и должны файл robots.txt под себя переписывать; для системы же прописывается так: Allow: /.s/*.js и Allow: /.s/*.css). Там в теме вопрос поднят был про демо картинки (превью), что в них идут "?" - не ясно даже зачем в индекс их понадобилось вносить (куча дублей, что сейчас есть, потом нет... ибо постоянно меняется там всё, что идёт после "?") ... именно, что даже себе был прописал запрет... и, как понял, что такой запрет не прописью Disallow: /*.jpg? достигается, а просто убиранием оттуда Allow: /*.jpg ... ресурсы будут же индексироваться нормально, то есть картинки без "?"... есть еще файлы *.jpeg, допустим, но, как выше написал - не указано по простой причине, что такого расширения системой не делается для уменьшенных копий.

И вопрос возник следующий еще: где системой делаются файлы расширений *.png и *.gif, что идут с "?"... не видел (в смысле уменьшенные копии). Значит эти строки можно убрать (и уж точно убрать, когда нужно запрет сделать для индексирования множества дублей превьюшек в фотоальбоме - ранее такие файлы и не были обработаны, пока не надумались внести Allow: /*.jpg). Есть еще момент: после обхода краулером Веб Архива потом забивка дублями происходит - опять оказия... вот там тоже есть смысл запрет сделать вручную со своей стороны (раз уж в uСoz не подумали), допустим, выше уже написанным или по папке, куда они заливаются системой (файлы *.jpg в системе с "?", как мне кажется, то только в фотоальбоме). У себя же на сайте где смог, то просто вырезал у названий файлов оттуда "?". Есть еще возможность указать User-agent: ia_archiver и там запретить, но это уже разговор отдельный (и да, дублями там забивало вплоть до момента, пока не сделали Disallow: /*?... сейчас вот вновь разрешили Allow: /*.jpg).

UPD.: значит Allow: /*.jpg , Allow: /*.png и Allow: /*.gif - это всё для модуля фотоальбом (у кого его нет - можно убирать... или, если кто хочет описанное мной выше исправить); всё равно, если там это только ради фотоальбома, то в него можно заливать и другие файлы (или нельзя?), допустим, залить файл *.jpeg, что после вывод полноразмерного изображения идёт и нет перевода в *.jpg (если уменьшенная копия не сделалась), и идут там "?"... или залить файл *.bmp - то же самое... разрешающие на обход их строки не были прописаны, видимо, поскольку форматы мало используемые (или перевод идёт всё же в формат *.jpg).
Сообщение отредактировал -SAM- - Среда, 01 Авг 2018, 23:22:30
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: