• Страница 1 из 140
  • 1
  • 2
  • 3
  • 139
  • 140
  • »
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
agroraiders
Сообщений: 280
Репутация: 31

Сообщение # 2 | 17:11:57
Со стандартным robots.txt сайт индексируется наиболее правильно. Мы его настраивали так, чтобы индексировались только страницы с информацией а не все подряд (например страница входа или регистрации). Таким образом сайты пользователей uCoz быстро индексируются и получают больший приоритет нежели сайты, в которых индексируется весь мусор и ненужные страницы.

МЫ НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ НЕ ЗАМЕНЯТЬ СТАНДАРТНЫЙ ФАЙЛ robots.txt НА СВОЙ. Можете быть уверены, мы делаем все возможное, чтобы сайты наших пользователей развивались быстрее... Иначе какой смысл uCozа?!

Вот так выглядит стандартный robots.txt

Цитата
User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml




User-agent: * Всем поисковым ботам

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
разрешает индексацию скриптов, файлов стилей и картинок

Allow: /*?page Разрешает индексацию страниц панигации сайта

Disallow: /*? Запрещает индексацию поисковых запросов, тегов, изображений кода безопасности (капча), ссылок с проксированием, дублей главной страницы (связанные с сессиями POST запросов ssid в комментариях), дубли ссылок на изображения в фотоальбомах

Disallow: /stat/ Запрещает индексацию изображений системной статистики

Disallow: /index/1 Запрещает индексацию страницы входа на сайт

Disallow: /index/3 Запрещает индексацию страницы регистрации (для сайтов с локальной регистрацией)

Disallow: /register Запрещает индексацию страницы регистрации (для сайтов с uID авторизацией)

Disallow: /index/5 Запрещает индексацию содержимого аякс окна напоминания пароля (для старой формы входа)

Disallow: /index/7 Запрещает индексацию выбора аватара из коллекции uCoz

Disallow: /index/8 Запрет индексации профилей пользователей сайта

Disallow: /index/9 Не индексировать содержимое окна "Доступ запрещен"

Disallow: /index/sub/ Запрещает индексацию компонента авторизации по старой форме входа

Disallow: /panel/ Не индексировать страницу входа в панель управления

Disallow: /admin/ Не индексировать страницу входа в панель управления

Disallow: /secure/ Запрет индексации служебной страницы, связанной с кодом безопасности (капчей)

Disallow: /poll/ Запрещает индексацию системной папки связанной с опросами, при этом не запрещает к индексированию сами опросы

Disallow: /informer/ Запрещает индексацию служебной папки информеров (связано с содержимым вставки информеров скриптом см *1) при этом информеры вставленные кодом $MYINF_х$ индексируются

Disallow: /search/ Запрещает индексирование страницы результатов поиска и тегов

Disallow: /abnl/ Запрещает индексацию компонентов системного баннера (для сайтов с не отключенной рекламой)

Disallow: /*_escaped_fragment_= Запрещает индексацию компонентов системного кода

Disallow: /*-*-*-*-987$ Запрещает к индексации дубли страниц материала и комментариев модулей Новости и Блог

Disallow: /shop/order/ Не индексировать корзину и код оформления заказа (для интернет магазинов)

Disallow: /shop/printorder/ Не индексировать страницу Распечатать заказ (для интернет магазинов)

Disallow: /shop/checkout/ Не индексировать страницу Ваш заказ (для интернет магазинов)

Disallow: /shop/user/ Не индексировать пользователей - субагентов магазина (для интернет магазина)

Disallow: /*0-*-0-17$ Запрещает индексацию различных фильтров, страниц материалов пользователя, ссылки на последнее сообщение форума, дублей системы

Disallow: /*-0-0- Запрещает индексацию страниц добавления материалов, списков материалов пользователей, поиска по форуму, правил форума, добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы, страницы с редиректами на ссылки на скачивание с удаленного сервера

Sitemap: http://site.ru/sitemap.xml Адрес карты сайта

*1 Информеры не индексируются, если прописаны скриптом
Код
<script type="text/javascript" src="http://ваш сайт/informer/1"></script>

Содержимое информеров индексируется, если информер вставлен кодом $MYINF_х$

Поскольку многих волнует индексация их сайтов Яндексом, то вот по этой ссылке они могут познакомиться с рекомендациями Яндекса практически по всем аспектам этого вопроса.

На этой странице вы можете протестироваться на предмет, что робот Яндекса не сможет посетить на вашем сайте.
Сообщение отредактировал webanet - Воскресенье, 12 Ноя 2017, 18:46:45
PGS
Сообщений: 7
Репутация: 67

Сообщение # 3 | 19:20:28
по умолчанию системный файл robots.txt не отображается на главной странице файлового менеджера.

для того, чтобы файл появился в файловом менеджере и стал доступен для редактирования, нужно сделать следующее:
1) залить свой файл с именем robots.txt на главную ФМ
2) панель управления - сео модуль - премиум настройки - индексация сайта - Активировать форму редактирования файла
robots.txt - поставьте галку и сохраните.


после активации формы:

на сайтах с оплаченным пакетом услуг оптимальный и выше, файл robots.txt можно редактировать прямо в форме
на бесплатных сайтах файл robots.txt появится в списке файлов файлового менеджера и будет доступен для редактирования.

на сайтах с карантином сохранение изменений в файле robots.txt невозможно до снятия карантина
Прикрепления: 5433440.jpg(22.1 Kb) · 7952684.jpg(36.9 Kb)

Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 22:35:11
best-photo
Сообщений: 1
Репутация: 5

Сообщение # 4 | 23:11:59
Вопрос: случайно испорчен файл robots.txt. Что делать?
Ответ: Удалите его. После удаления системный файл будет подставлен автоматически. Если своего файла robots.txt нет, то веб-сервер сам подставляет стандартный файл

Мои проекты:
Best Photo
Photo catalog
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 5 | 12:09:35
Вопрос: Сколько потребуется времени, чтобы Яндекс прикрепленный домен считал основным, а домен Юкоза - зеркалом?
Ответ: После прикрепления домена автоматически активируются настройки:
1) Автоматически перенаправлять с системного поддомена на прикреплённый домен
2) Разрешить индексацию системного поддомена:
Для правильной склейки нельзя удалять галочки с этих пунктов.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
weiss
Сообщений: 173
Репутация: 104

Сообщение # 6 | 10:47:01
Вопрос: У меня сайт не индексируется яндексом, в чем причина? Сайту 4 месяца, посещаемость 200 человек в день
Ответ: 1)Возможно сайт забанен... Лучше задайте этот вопрос Службе поддержки Яндекса. Желательно писать грамотно, без синтаксических и грамматических ошибок
2) Возможно вы неправильно указали главное зеркало сайта
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 7 | 14:39:02
Вопрос: У малопосещамемых сайтов карантин месяц. Многовато что-то. Как сайт, о котором не знает ни один поисковик, может быть хорошо посещаемым?
Ответ: Это время вам даётся на то, чтобы вы сделали свой сайт интересным людям. Наполнили его оригинальной информацией, придумали оригинальный дизайн... И тогда к вам придёт поисковик через месяц и проиндексирует ваши страницы и не станет вас выкидывать из поиска потому, что ваш сайт пустой или информация на нём вся уже есть в интернете.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
Kron
Сообщений: 2340
Репутация: 674

Сообщение # 8 | 14:17:51
Вопрос: Как сделать запрет на индексирование зеркал сайта?
Ответ: Для правильной склейки после прикрепления домена нельзя снимать галочки с настроек:
1) Автоматически перенаправлять с системного поддомена на прикреплённый домен:
2) Разрешить индексацию системного поддомена:
Если к сайту прикреплено несколько доменов, все второстепенные будут перенаправлять (301 редирект) на основной. Основным доменом можно выбрать только один
weiss
Сообщений: 173
Репутация: 104

Сообщение # 9 | 21:22:51
Вопрос: Google пишет: "Сеть недоступна. Невозможно получить доступ к файлу robots.txt. При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку". Всё нормально с роботс.тхт и sitemap доступен
Ответ: Такую ошибку Google может выдать только если робот не смог получить доступ к сайту. Связанно это чаще всего с проблемами на канале. Проблемы носят кратковременный характер, если при следующем обходе сайт будет доступен то проверка robots.txt получит статус ОК . Тоже касается и карты сайта. Если у вас стандартная карта сайта, то проблемы могут быть только из-за недоступности сайта. Если вы заливаете свою карту сайта Sitemap, то тут проблемы могут быть различного характера
Admin
Разработчик
Сообщений: 194
Репутация: 174

Сообщение # 10 | 14:37:23
Вопрос: Можно ли быстро снять карантин, если сайт готов. Например сайт - визитка или личный сайт на пару страниц
Ответ: Да, можно. Для этого нужно оплатить один из пакетов услуг


Вопрос: было написано, если оплатить любую услугу, то карантин с сайта будет снят после зачисления денег, я оплатил пакет, услуга подключена, а карантин как был так и есть, почему?
Ответ: Вы оплатили через пополнение лицевого счета, а не заказ напрямую. Или оплатили пакет со скидкой 50%. В таком случае у нас досрочно не разблокируется. Вам разблокировали вручную [Admin]
Ответ: При оплате с лицевого счета (то есть когда сначала пополнили смсками, а потом производилась оплата) карантин действительно не снимается. Следует в этих случаях через панель управления писать в службу поддержки
Марс
Сообщений: 2
Репутация: 2

Сообщение # 11 | 10:49:48
Вопрос: Есть ли смысл регистрировать сайт в поисковиках, если сайт на карантине?
Ответ: Нет. Сайт не будет индексироваться. В процессе индексации поисковые системы будут выдавать ошибки. После снятия карантина сайт придется снова регистрировать в поисковиках
weiss
Сообщений: 173
Репутация: 104

Сообщение # 12 | 13:56:07
Вопрос: Можно ли удалить текущий robot.txt пока сайт на карантине?
Ответ: Удалить нельзя - он системный. Можно залить свой, тогда будет выводиться он. Но как вам правильно написали - лучше это не будет. Во время карантина его и заменить своим нельзя.
Сообщение отредактировал weiss - Воскресенье, 24 Авг 2008, 13:57:32
weiss
Сообщений: 173
Репутация: 104

Сообщение # 13 | 14:58:47
Вопрос: У меня в robots.txt:

User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml

Сайт сейчас не индексируется?
Ответ: Да. Ваш сайт индексируется. У вас стоит стандартный robots . Стандартный robots позволяет наиболее оптимально индексировать сайт, а не мусором забивать поисковые системы. Зачем Вам нужно, чтобы сотни раз была проиндексирована страница входа и регистрации? Обратите внимание, что на каждой странице ссылка на эти 2 страницы разная (чтобы перекидывало на исходную страницу после входа/регистраци), поэтому поисковые системы считают что это разные страницы и забивают базу мусором. Мы же сделали robots, который не позволяет индексировать ненужные страницы
nogarbage
Сообщений: 9
Репутация: 19

Сообщение # 14 | 16:02:53
Вопрос: Я отменил с помощью robots.txt индексацию некоторых ссылок, но эти ссылки показываются, почему так?
Ответ: С помощью роботс.тхт от индексации закрывают не ссылки, а страницы
nogarbage
Сообщений: 9
Репутация: 19

Сообщение # 15 | 17:14:43
Вопрос: нужно ли создавать или переделывать sitemap ?
Ответ: нет, не надо, добавьте стандартные sitemap в гугловскую панель веб-мастера и в панель веб-мастера Яндекса. Подробнее об Sitemap читать тут
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
  • Страница 1 из 140
  • 1
  • 2
  • 3
  • 139
  • 140
  • »
Поиск: