Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Личный менеджер
Сообщений: 23576
Репутация: 4933

Сообщение # 2071 | 19:13:11
goqor85, зайдите в вебмастер гугла и посмотрите есть ли данные по сайту. если данные уже есть - воспользуйтесь функцией смотреть как гугл бот http://forum.ucoz.ru/forum/66-38708-1 ничего в поле не вводите - получить данные - далее отправьте на индексацию - выберите индексацию всех связанных страниц и ждите

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
goqor85
Репутация: 0

Сообщение # 2072 | 21:58:52
webanet, так должен быть?

Прикрепления: 2731270.png(3.1 Kb)
vredniey-faktor
Сообщений: 66
Репутация: 38

Сообщение # 2073 | 11:26:43
Цитата webanet ()
shellbars, аякса будет более чем достаточно
Ajax не работает в мобильной версии. Мобильные боты смогут и дальше сканировать страницы пагинации

WAV-LIBRARY.NET - Библиотека звуков. Бесплатные звуки, шумовые эффекты, сэмплы и музыка в WAV, MP3, OGG форматах.
wizard72
Репутация: 0

Сообщение # 2074 | 08:52:12
Привет всем! Проблемам нарисовалась помогите решить( . файл robots.txt попал в другую папку http://wizard1972.narod.ru/olderfiles/1/robots.txt как его оттуда достать и вернуть в корень? Непонимаю как он туда попал раньше был в корне!
novikk
Сообщений: 270
Репутация: 29
Уровень замечаний:

Сообщение # 2075 | 09:02:22
wizard72, Значит там ему место ). Для ПС он у вас правильно отображает http://wizard1972.narod.ru/robots.txt
А вот это надо бы удалить http://wizard1972.narod.ru/olderfiles/1/robots.txt Если хотите добавить Host: wizard1972.narod.ru , то добавляйте в корень, там он находиться, смотрите внимательнее. Или у вас нет такой возможности отредактировать robots.txt ?
Если это системный robots.txt, то На uCoz раньше делали так - Перезаливали его. Тоесть копируете содержимое файла http://wizard1972.narod.ru/robots.txt , создаёте на своём аппарате тектовой файл с содержимым
Код
User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Host: wizard1972.narod.ru
Sitemap: http://wizard1972.narod.ru/sitemap.xml
Sitemap: http://wizard1972.narod.ru/sitemap-forum.xml
 с названием robots.txt и заливаете его в корень, и уже есть возможность редактировать ваш robots.txt
Сообщение отредактировал novikk - Вторник, 27 Мар 2018, 09:25:03
wizard72
Репутация: 0

Сообщение # 2076 | 10:52:23
Спасибо за ответ! Но в корне его точно нет я не пойму как он оттуда открывается! В корне только файлы: 404.htm, favicon.ico, fileslist.txt, пару файлов с гугл для верификации и sitemap.xml!
$Vladimir$
$SUPPORT$
Сообщений: 6847
Репутация: 998

Сообщение # 2077 | 12:55:15
wizard72, файл присутствует. При необходимости отредактируйте или загрузите свой.

webanet
Личный менеджер
Сообщений: 23576
Репутация: 4933

Сообщение # 2078 | 17:27:58
wizard72, на главной странице файлового менеджера файл robots.txt отображается только, если был залит вручную файл с именем robots.txt. или если активировать форму редактирования файла в СЕО модуле. если файл системный, то он не отображается на главной файлового менеджера

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
was_don
Сообщений: 34
Репутация: 0

Сообщение # 2079 | 13:29:01
Здравствуйте, заметил что в Яндексе индексируются страницы пагинации разделов Каталога файлов.
http://майнкрафт-мод.рф/load/minecraft/9-2
http://майнкрафт-мод.рф/load/minecraft/9-3
http://майнкрафт-мод.рф/load/minecraft/9-4
и тд. Все они индексируются, что нужно прописать чтобы они не индексировались?
webanet
Личный менеджер
Сообщений: 23576
Репутация: 4933

Сообщение # 2080 | 17:15:23
was_don, не надо ничего никуда писать. например для страницы http://майнкрафт-мод.рф/load/minecraft/9-2 у вас стоит каноникал на <link rel="canonical" href="http://xn----7sbarwglffoszz.xn--p1ai/load/minecraft/9" /> чего более чем достаточно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
was_don
Сообщений: 34
Репутация: 0

Сообщение # 2081 | 21:09:08
Не смотря на то, что там стоит каноническая ссылка, страницы все же индексируются. За сегодняшний день влетело более 100 ссылок такого вида.
И вам стоит пересмотреть функцию "использовать канонические ссылки". Так как если ставить системный код <?$SEO_CANONICAL$?>далее системный код) отображаемые канонические ссылки в некоторых местах не правильные. К примеру если в конце категории есть /(слеш) ваш системный код отображает без слеша.
Или другой пример: на страницах пагинаций категории будет видна каноническая ссылка rubrika/?page2 вместо rubrika если поставить ваш системный код в "страница со списком материалов категории". Хотя правильнее будет отображать rubrika, нежели rubrika/?page136, rubrika/?page100, rubrika/?page5 и тд.
Поправьте если не прав) smile wink
Сообщение отредактировал was_don - Понедельник, 30 Апр 2018, 08:14:09
ser1ko
Сообщений: 37
Репутация: 0

Сообщение # 2082 | 19:35:10
В стандартном файле robots.txt Allow: /*?page Разрешает индексацию страниц панигации сайта

все они естественно имеют одинаковый тайтл, дескрипшн и прочие сеотеги

заглянул в яндекс вебмастер, он индексирует и добавляет все эти страницы пагинации
т.е. появляются дубли в поиске, что по идее не есть хорошо?

вопрос: для лучшего продвижения в поиске должна находиться одна страница категории (т.е. только первая страница) или может я чего-то неправильно понимаю? на других системах (дле) страницы пагинации скрываются, почему здесь открыты? спасибо.
webanet
Личный менеджер
Сообщений: 23576
Репутация: 4933

Сообщение # 2083 | 20:04:19
ser1ko, вы можете удалить эту строчку и прописать каноникал на главную категорий

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
ser1ko
Сообщений: 37
Репутация: 0

Сообщение # 2084 | 21:23:45
webanet, с точки зрения поисковой оптимизации это будет оптимальный вариант на юкозе? а то очень много статей и мнений на этот счет...

или я слишком заморачиваюсь и поисковики и так знают, какая страница главная, а какие последующие?
webanet
Личный менеджер
Сообщений: 23576
Репутация: 4933

Сообщение # 2085 | 21:46:53
ser1ko, юкоз предоставляет вам вариабельность. то есть вы можете использовать страницы пагинации, а можете не использовать и удалить строчку Allow: /*?page и для верности каноникал прописать. и с точки зрения поисковой оптимизации в первую очередь нужно определиться что такое дубли и какие они бывают и какие из них действительно страшные, а какие технические. не технический истинный дубль, это далеко не странички пагинации

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: