Страница 1 из 138123137138»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
agroraiders
Сообщений: 280
Репутация: 31

Сообщение # 2 | 17:11:57
Со стандартным robots.txt сайт индексируется наиболее правильно. Мы его настраивали так, чтобы индексировались только страницы с информацией а не все подряд (например страница входа или регистрации). Таким образом сайты пользователей uCoz быстро индексируются и получают больший приоритет нежели сайты, в которых индексируется весь мусор и ненужные страницы.

МЫ НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ НЕ ЗАМЕНЯТЬ СТАНДАРТНЫЙ ФАЙЛ robots.txt НА СВОЙ. Можете быть уверены, мы делаем все возможное, чтобы сайты наших пользователей развивались быстрее... Иначе какой смысл uCozа?!

Вот так выглядит стандартный robots.txt

Цитата
User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml




User-agent: * Всем поисковым ботам

Allow: /*?page Разрешает индексацию страниц панигации сайта

Disallow: /*? Запрещает индексацию поисковых запросов, тегов, изображений кода безопасности (капча), ссылок с проксированием, дублей главной страницы (связанные с сессиями POST запросов ssid в комментариях), дубли ссылок на изображения в фотоальбомах

Disallow: /stat/ Запрещает индексацию изображений системной статистики

Disallow: /index/1 Запрещает индексацию страницы входа на сайт

Disallow: /index/3 Запрещает индексацию страницы регистрации (для сайтов с локальной регистрацией)

Disallow: /register Запрещает индексацию страницы регистрации (для сайтов с uID авторизацией)

Disallow: /index/5 Запрещает индексацию содержимого аякс окна напоминания пароля (для старой формы входа)

Disallow: /index/7 Запрещает индексацию выбора аватара из коллекции uCoz

Disallow: /index/8 Запрет индексации профилей пользователей сайта

Disallow: /index/9 Не индексировать содержимое окна "Доступ запрещен"

Disallow: /index/sub/ Запрещает индексацию компонента авторизации по старой форме входа

Disallow: /panel/ Не индексировать страницу входа в панель управления

Disallow: /admin/ Не индексировать страницу входа в панель управления

Disallow: /secure/ Запрет индексации служебной страницы, связанной с кодом безопасности (капчей)

Disallow: /poll/ Запрещает индексацию системной папки связанной с опросами, при этом не запрещает к индексированию сами опросы

Disallow: /informer/ Запрещает индексацию служебной папки информеров (связано с содержимым вставки информеров скриптом см *1) при этом информеры вставленные кодом $MYINF_х$ индексируются

Disallow: /search/ Запрещает индексирование страницы результатов поиска и тегов

Disallow: /abnl/ Запрещает индексацию компонентов системного баннера (для сайтов с не отключенной рекламой)

Disallow: /*_escaped_fragment_= Запрещает индексацию компонентов системного кода

Disallow: /*-*-*-*-987$ Запрещает к индексации дубли страниц материала и комментариев модулей Новости и Блог

Disallow: /shop/order/ Не индексировать корзину и код оформления заказа (для интернет магазинов)

Disallow: /shop/printorder/ Не индексировать страницу Распечатать заказ (для интернет магазинов)

Disallow: /shop/checkout/ Не индексировать страницу Ваш заказ (для интернет магазинов)

Disallow: /shop/user/ Не индексировать пользователей - субагентов магазина (для интернет магазина)

Disallow: /*0-*-0-17$ Запрещает индексацию различных фильтров, страниц материалов пользователя, ссылки на последнее сообщение форума, дублей системы

Disallow: /*-0-0- Запрещает индексацию страниц добавления материалов, списков материалов пользователей, поиска по форуму, правил форума, добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы, страницы с редиректами на ссылки на скачивание с удаленного сервера

Sitemap: http://site.ru/sitemap.xml Адрес карты сайта

*1 Информеры не индексируются, если прописаны скриптом
Код
<script type="text/javascript" src="http://ваш сайт/informer/1"></script>

Содержимое информеров индексируется, если информер вставлен кодом $MYINF_х$

Поскольку многих волнует индексация их сайтов Яндексом, то вот по этой ссылке они могут познакомиться с рекомендациями Яндекса практически по всем аспектам этого вопроса.

На этой странице вы можете протестироваться на предмет, что робот Яндекса не сможет посетить на вашем сайте.
PGS
Сообщений: 7
Репутация: 67

Сообщение # 3 | 19:20:28
Дополнительные ссылки


Читайте про тег <noindex> в проверенных местах.

Здесь можно посмотреть свой robots.txt, а также ИЦ

У кого прикреплён домен читаем начиная с этого сообщения

Всё про robots.txt

О блокировке robots.txt по определенному домену читайте тут

best-photo
Сообщений: 1
Репутация: 5

Сообщение # 4 | 23:11:59
Вопрос: случайно испорчен файл robots.txt. Что делать?
Ответ: Удалите его. Наш файл (http://forum.ucoz.ru/robots.txt) подставится автоматом (При запросе проверяется, есть ли он у пользователя. Если нет, то возвращается наш стандартный). Если своего файла robots.txt нет, то веб-сервер сам подставляет стандартный файл

Мои проекты:
Best Photo
Photo catalog
Selena
Сообщений: 15657
Репутация: 1099

Сообщение # 5 | 12:09:35
Вопрос: Сколько потребуется времени, чтобы Яндекс прикрепленный домен считал основным, а домен Юкоза - зеркалом?
Ответ: Если прописать директиву Host, то в среднем придется ждать от 4 до 8 недель.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
weiss
Сообщений: 173
Репутация: 104

Сообщение # 6 | 10:47:01
Вопрос: У меня сайт не индексируется яндексом, в чем причина? Сайту 4 месяца, посещаемость 200 человек в день
Ответ: Возможно сайт забанен... Лучше задайте этот вопрос Службе поддержки Яндекса. Желательно писать грамотно, без синтаксических и грамматических ошибок

Selena
Сообщений: 15657
Репутация: 1099

Сообщение # 7 | 14:39:02
Вопрос: У малопосещамемых сайтов карантин месяц. Многовато что-то. Как сайт, о котором не знает ни один поисковик, может быть хорошо посещаемым?
Ответ: Это время вам даётся на то, чтобы вы сделали свой сайт интересным людям. Наполнили его оригинальной информацией, придумали оригинальный дизайн... И тогда к вам придёт поисковик через месяц и проиндексирует ваши страницы и не станет вас выкидывать из поиска потому, что ваш сайт пустой или информация на нём вся уже есть в интернете.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
Kron
Сообщений: 2340
Репутация: 674

Сообщение # 8 | 14:17:51
Вопрос: Как сделать запрет на индексирование зеркал сайта?
Ответ: Читайте про зеркала. Нужно прописывать свой хост в robots.txt, тогда он будет основным. Всё остальное будет "отзеркалено". Сейчас по умолчанию "отзеркаливаются" прикрепленные домены
weiss
Сообщений: 173
Репутация: 104

Сообщение # 9 | 21:22:51
Вопрос: Google пишет: "Сеть недоступна. Невозможно получить доступ к файлу robots.txt. При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку". Всё нормально с роботс.тхт и sitemap доступен
Ответ: Такую ошибку Google может выдать только если робот не смог получить доступ к сайту. Связанно это чаще всего с проблемами на канале. Проблемы носят кратковременный характер, если при следующем обходе сайт будет доступен то проверка robots.txt получит статус ОК . Тоже касается и карты сайта. Если у вас стандартная карта сайта, то проблемы могут быть только из-за недоступности сайта. Если вы заливаете свою карту сайта Sitemap, то тут проблемы могут быть различного характера

Admin
Разработчик
Сообщений: 194
Репутация: 174

Сообщение # 10 | 14:37:23
Вопрос: Можно ли сократить срок карантина при низкой посещаемости?
Ответ: Да, можно. Для этого нужно оплатить один из пакетов услуг


Вопрос: было написано, если оплатить любую услугу, то карантин с сайта будет снят после зачисления денег, я оплатил дополнительные 800 мб, услуга подключена, а карантин как был так и есть, почему?
Ответ: Вы оплатили через пополнение лицевого счета, а не заказ напрямую. В таком случае у нас досрочно не разблокируется. Вам разблокировали вручную [Admin]
Ответ: При оплате с лицевого счета (то есть когда сначала пополнили смсками, а потом производилась оплата) карантин действительно не снимается. Следует в этих случаях через панель управления писать в службу поддержки
Марс
Сообщений: 2
Репутация: 2

Сообщение # 11 | 10:49:48
Вопрос: Есть ли смысл регистрировать сайт в поисковиках, пока не истёк карантин?
Ответ: Нет. Сайт не будет принят. После снятия карантина сайт придется снова регистрировать в поисковиках
weiss
Сообщений: 173
Репутация: 104

Сообщение # 12 | 13:56:07
Вопрос: Можно ли удалить текущий robot.txt?
Ответ: Удалить нельзя - он системный. Можно поставить свой, тогда будет выводиться он. Но как вам правильно написали - лучше это не будет. Во время карантина его и заменить своим нельзя.

Сообщение отредактировал weiss - Воскресенье, 24 Авг 2008, 13:57:32
weiss
Сообщений: 173
Репутация: 104

Сообщение # 13 | 14:58:47
Вопрос: У меня в robots.txt:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://вашсайт/sitemap.xml
Sitemap: http://вашсайт/sitemap-forum.xml
Sitemap: http://вашсайт/sitemap-shop.xml

Сайт сейчас не индексируется?
Ответ: Да. Ваш сайт индексируется. У вас стоит стандартный robots . Стандартный robots позволяет наиболее оптимально индексировать сайт, а не мусором забивать поисковые системы. Зачем Вам нужно, чтобы сотни раз была проиндексирована страница входа и регистрации? Обратите внимание, что на каждой странице ссылка на эти 2 страницы разная (чтобы перекидывало на исходную страницу после входа/регистраци), поэтому поисковые системы считают что это разные страницы и забивают базу мусором. Мы же сделали robots, который не позволяет индексировать ненужные страницы

weiss
Сообщений: 173
Репутация: 104

Сообщение # 14 | 14:39:55
Вопрос: скажите, что сделать, что бы эти 2 страницы не индексировались:
_http://сайт.ucoz.ru/index/0-4
_http://сайт.ucoz.ru/index/0-5
Ответ: допишите в robots.txt:
/index/0-4
/index/0-5
Всё это можно сделать только если уже закончился карантин. Эти правила полностью запретят индексацию данных страниц.

nogarbage
Сообщений: 9
Репутация: 19

Сообщение # 15 | 16:02:53
Вопрос: Я отменил с помощью robots.txt индексацию некоторых ссылок, но эти ссылки показываются, почему так?
Ответ: С помощью роботс.тхт от индексации закрывают не ссылки, а страницы

Партнёрские программы РуНета: зарабатывай на своём сайте больше!
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 1 из 138123137138»
Поиск: