Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz Вебмастеру Раскрутка сайта Robots.txt (индексация сайта) |
| Robots.txt | ||||||||||
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
| ||||||||||
|
Со стандартным robots.txt сайт индексируется наиболее правильно. Мы его настраивали так, чтобы индексировались только страницы с информацией а не все подряд (например страница входа или регистрации). Таким образом сайты пользователей uCoz быстро индексируются и получают больший приоритет нежели сайты, в которых индексируется весь мусор и ненужные страницы.
МЫ НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ НЕ ЗАМЕНЯТЬ СТАНДАРТНЫЙ ФАЙЛ robots.txt НА СВОЙ. Можете быть уверены, мы делаем все возможное, чтобы сайты наших пользователей развивались быстрее... Иначе какой смысл uCozа?! Вот так выглядит стандартный robots.txt Цитата User-agent: * Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif Allow: /*?page Allow: /*?ref= Disallow: /*? Disallow: /stat/ Disallow: /index/1 Disallow: /index/3 Disallow: /register Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /index/sub/ Disallow: /panel/ Disallow: /admin/ Disallow: /informer/ Disallow: /secure/ Disallow: /poll/ Disallow: /search/ Disallow: /abnl/ Disallow: /*_escaped_fragment_= Disallow: /*-*-*-*-987$ Disallow: /shop/order/ Disallow: /shop/printorder/ Disallow: /shop/checkout/ Disallow: /shop/user/ Disallow: /*0-*-0-17$ Disallow: /*-0-0- Sitemap: //forum.ucoz.ru/sitemap.xml Sitemap: //forum.ucoz.ru/sitemap-forum.xml User-agent: * Всем поисковым ботам Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif разрешает индексацию скриптов, файлов стилей и картинок Allow: /*?page Разрешает индексацию страниц панигации сайта Disallow: /*? Запрещает индексацию поисковых запросов, тегов, изображений кода безопасности (капча), ссылок с проксированием, дублей главной страницы (связанные с сессиями POST запросов ssid в комментариях), дубли ссылок на изображения в фотоальбомах Disallow: /stat/ Запрещает индексацию изображений системной статистики Disallow: /index/1 Запрещает индексацию страницы входа на сайт Disallow: /index/3 Запрещает индексацию страницы регистрации (для сайтов с локальной регистрацией) Disallow: /register Запрещает индексацию страницы регистрации (для сайтов с uID авторизацией) Disallow: /index/5 Запрещает индексацию содержимого аякс окна напоминания пароля (для старой формы входа) Disallow: /index/7 Запрещает индексацию выбора аватара из коллекции uCoz Disallow: /index/8 Запрет индексации профилей пользователей сайта Disallow: /index/9 Не индексировать содержимое окна "Доступ запрещен" Disallow: /index/sub/ Запрещает индексацию компонента авторизации по старой форме входа Disallow: /panel/ Не индексировать страницу входа в панель управления Disallow: /admin/ Не индексировать страницу входа в панель управления Disallow: /secure/ Запрет индексации служебной страницы, связанной с кодом безопасности (капчей) Disallow: /poll/ Запрещает индексацию системной папки связанной с опросами, при этом не запрещает к индексированию сами опросы Disallow: /informer/ Запрещает индексацию служебной папки информеров (связано с содержимым вставки информеров скриптом см *1) при этом информеры вставленные кодом $MYINF_х$ индексируются Disallow: /search/ Запрещает индексирование страницы результатов поиска и тегов Disallow: /abnl/ Запрещает индексацию компонентов системного баннера (для сайтов с не отключенной рекламой) Disallow: /*_escaped_fragment_= Запрещает индексацию компонентов системного кода Disallow: /*-*-*-*-987$ Запрещает к индексации дубли страниц материала и комментариев модулей Новости и Блог Disallow: /shop/order/ Не индексировать корзину и код оформления заказа (для интернет магазинов) Disallow: /shop/printorder/ Не индексировать страницу Распечатать заказ (для интернет магазинов) Disallow: /shop/checkout/ Не индексировать страницу Ваш заказ (для интернет магазинов) Disallow: /shop/user/ Не индексировать пользователей - субагентов магазина (для интернет магазина) Disallow: /*0-*-0-17$ Запрещает индексацию различных фильтров, страниц материалов пользователя, ссылки на последнее сообщение форума, дублей системы Disallow: /*-0-0- Запрещает индексацию страниц добавления материалов, списков материалов пользователей, поиска по форуму, правил форума, добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы, страницы с редиректами на ссылки на скачивание с удаленного сервера Sitemap: http://site.ru/sitemap.xml Адрес карты сайта *1 Информеры не индексируются, если прописаны скриптом Код <script type="text/javascript" src="http://ваш сайт/informer/1"></script> Содержимое информеров индексируется, если информер вставлен кодом $MYINF_х$ Поскольку многих волнует индексация их сайтов Яндексом, то вот по этой ссылке они могут познакомиться с рекомендациями Яндекса практически по всем аспектам этого вопроса. На этой странице вы можете протестироваться на предмет, что робот Яндекса не сможет посетить на вашем сайте. Сообщение отредактировал webanet - Воскресенье, 12 Ноя 2017, 18:46:45
| ||||||||||
|
по умолчанию системный файл robots.txt не отображается на главной странице файлового менеджера.
для того, чтобы файл появился в файловом менеджере и стал доступен для редактирования, нужно сделать следующее: 1) залить свой файл с именем robots.txt на главную ФМ 2) панель управления - сео модуль - премиум настройки - индексация сайта - Активировать форму редактирования файла robots.txt - поставьте галку и сохраните.  после активации формы: на сайтах с оплаченным пакетом услуг оптимальный и выше, файл robots.txt можно редактировать прямо в форме на бесплатных сайтах файл robots.txt появится в списке файлов файлового менеджера и будет доступен для редактирования.  на сайтах с карантином сохранение изменений в файле robots.txt невозможно до снятия карантина Прикрепления:
5433440.jpg
(22.1 Kb)
·
7952684.jpg
(36.9 Kb)
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 22:35:11
| ||||||||||
| ||||||||||
Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
| ||||||||||
| ||||||||||
Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
| ||||||||||
| ||||||||||
| ||||||||||
| ||||||||||
| ||||||||||
Сообщение отредактировал weiss - Воскресенье, 24 Авг 2008, 13:57:32
| ||||||||||
| ||||||||||
| |||