| Robots.txt |
| Kron | Дата: Вторник, 04-Апр-2006, 16:57:58 | Сообщение # 1
|
...
Группа: Проверенные
Сообщений: 2343
Замечания:
Статус: отсутствует
| Нажмите на ссылку, чтобы перейти к ответу
|
| |
| |
|
| agroraiders | Дата: Вторник, 04-Апр-2006, 17:11:57 | Сообщение # 2
|
Постоянный
Группа: Проверенные
Сообщений: 280
Замечания:
Статус: отсутствует
| Со стандартным robots.txt сайт индексируется наиболее правильно. Мы его настраивали так, чтобы индексировались только страницы с информацией а не все подряд (например страница входа или регистрации). Таким образом сайты пользователей uCoz быстро индексируются и получают больший приоритет нежели сайты, в которых индексируется весь мусор и ненужные страницы.
МЫ НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ НЕ ЗАМЕНЯТЬ СТАНДАРТНЫЙ ФАЙЛ robots.txt НА СВОЙ. Можете быть уверены, мы делаем все возможное, чтобы сайты наших пользователей развивались быстрее... Иначе какой смысл uCozа?!
Вот так выглядит стандартный robots.txt
Для нового сайта существует карантин, во время которого никакая регулировка файла robots.txt невозможна. При хорошей посещаемости карантин продлится до двух недель. У малопосещаемых сайтов карантин 30 дней. При оплате какой-либо дополнительной услуги карантин заканчивается немедленно после оплаты.
Файл robots.txt, если вы его не трогали - системный и подставляется к вашему сайту при открытии страницы. Если вы всё-таки хотите заменить его на свой, то создаёте в Блокноте или любом текстовом редакторе текстовый файл названный robots.txt с нужным вам содержимым и закачиваете его в корень сайта, используя Файловый менеджер или доступ по ftp.
Адрес файла robots.txt следующий - http://адрес_вашего_сайта /robots.txt
Файл robots.txt сайта на карантине выглядит так:
Quote
User-agent: *
Disallow: /
Информеры не индексируются поскольку выводят информацию УЖЕ существующую на сайте. Как правило эта информация уже проиндексирована по месту постоянной прописки.
Поскольку многих волнует индексация их сайтов Яндексом, то вот по этой ссылке они могут познакомиться с рекомендациями Яндекса практически по всем аспектам этого вопроса.
На этой странице вы можете протестироваться на предмет, что робот Яндекса не сможет посетить на вашем сайте.
|
| |
| |
|
| PGS | Дата: Понедельник, 12-Мар-2007, 19:20:28 | Сообщение # 3
|
Заглянувший
Группа: Проверенные
Сообщений: 7
Замечания:
Статус: отсутствует
| Дополнительные ссылки Читайте про тег <noindex> в проверенных местах. Здесь можно посмотреть свой robots.txt, а также ИЦ У кого прикреплён домен читаем начиная с этого сообщения Всё про robots.txt О блокировке robots.txt по опреледенному домену читайте тут
|
| |
| |
|
| best-photo | Дата: Вторник, 22-Май-2007, 23:11:59 | Сообщение # 4
|
|
Заглянувший
Группа: Проверенные
Сообщений: 1
Замечания:
Статус: отсутствует
| | Вопрос: | случайно испорчен файл robots.txt. Что делать? | | Ответ: | Удалите его. Наш файл (http://forum.ucoz.ru/robots.txt) подставится автоматом (При запросе проверяется, есть ли он у пользователя. Если нет, то возвращается наш стандартный). Если своего файла robots.txt нет, то веб-сервер сам подставляет стандартный файл |
|
| |
| |
|
| Selena | Дата: Вторник, 09-Окт-2007, 12:09:35 | Сообщение # 5
|
* Первый помощник uCoz *
Группа: Администраторы
Сообщений: 6948
Статус: отсутствует
| | Вопрос: | Сколько потребуется времени, чтобы Яндекс прикрепленный домен считал основным, а домен Юкоза - зеркалом? | | Ответ: | Если прописать директиву Host, то в среднем придется ждать от 4 до 8 недель. |
В ЛС к администратору обращаются только с административными вопросами!
|
| |
| |
|
| weiss | Дата: Воскресенье, 23-Дек-2007, 10:47:01 | Сообщение # 6
|
Зачастивший
Группа: Проверенные
Сообщений: 174
Замечания:
Статус: отсутствует
| | Вопрос: | У меня сайт не индексируется яндексом, в чем причина? Сайту 4 месяца, посещаемость 200 человек в день | | Ответ: | Возможно сайт забанен... Лучше задайте этот вопрос Службе поддержки Яндекса. Желательно писать грамотно, без синтаксических и грамматических ошибок |
|
| |
| |
|
| Selena | Дата: Воскресенье, 23-Дек-2007, 14:39:02 | Сообщение # 7
|
|
* Первый помощник uCoz *
Группа: Администраторы
Сообщений: 6948
Статус: отсутствует
| | Вопрос: | У малопосещамемых сайтов карантин месяц. Многовато что-то. Как сайт, о котором не знает ни один поисковик, может быть хорошо посещаемым? | | Ответ: | Это время вам даётся на то, чтобы вы сделали свой сайт интересным людям. Наполнили его оригинальной информацией, придумали оригинальный дизайн... И тогда к вам придёт поисковик через месяц и проиндексирует ваши страницы и не станет вас выкидывать из поиска потому, что ваш сайт пустой или информация на нём вся уже есть в интернете. |
В ЛС к администратору обращаются только с административными вопросами!
|
| |
| |
|
| Kron | Дата: Среда, 27-Фев-2008, 14:17:51 | Сообщение # 8
|
|
...
Группа: Проверенные
Сообщений: 2343
Замечания:
Статус: отсутствует
| | Вопрос: | Как сделать запрет на индексирование зеркал сайта? | | Ответ: | Читайте про зеркала. Нужно прописывать свой хост в robots.txt, тогда он будет основным. Всё остальное будет "отзеркалено". Сейчас по умолчанию "отзеркаливаются" прикрепленные домены |
|
| |
| |
|
| weiss | Дата: Пятница, 21-Мар-2008, 21:22:51 | Сообщение # 9
|
|
Зачастивший
Группа: Проверенные
Сообщений: 174
Замечания:
Статус: отсутствует
| | Вопрос: | Google пишет: "Сеть недоступна. Невозможно получить доступ к файлу robots.txt. При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку". Всё нормально с роботс.тхт и sitemap доступен | | Ответ: | Такую ошибку Google может выдать только если робот не смог получить доступ к сайту. Связанно это чаще всего с проблемами на канале. Проблемы носят кратковременный характер, если при следующем обходе сайт будет доступен то проверка robots.txt получит статус ОК . Тоже касается и карты сайта. Если у вас стандартная карта сайта, то проблемы могут быть только из-за недоступности сайта. Если вы заливаете свою карту сайта Sitemap, то тут проблемы могут быть различного характера |
|
| |
| |
|
| Admin | Дата: Понедельник, 02-Июн-2008, 14:37:23 | Сообщение # 10
|
Administrator
Группа: uCoz Team
Сообщений: 194
Статус: отсутствует
| | Вопрос: | Можно ли сократить срок карантина при низкой посещаемости? | | Ответ: | Да, можно. Для этого нужно оплатить одну из дополнительных услуг стоимостью >2$ | | Вопрос: | было написано, если оплатить любую услугу, то карантин с сайта будет снят после зачисления денег, я оплатил дополнительные 800 мб, услуга подключена, а карантин как был так и есть, почему? | | Ответ: | Вы оплатили через пополнение лицевого счета, а не заказ напрямую. В таком случае у нас досрочно не разблокируется. Вам разблокировали вручную [Admin] | | Ответ: | При оплате с лицевого счета (то есть когда сначала пополнили смсками, а потом производилась оплата) карантин действительно не снимается. Следует в этих случаях через панель управления писать в службу поддержки |
|
| |
| |
|
| Марс | Дата: Среда, 20-Авг-2008, 10:49:48 | Сообщение # 11
|
|
Заглянувший
Группа: Проверенные
Сообщений: 2
Замечания:
Статус: отсутствует
| | Вопрос: | Есть ли смысл регистрировать сайт в поисковиках, пока не истёк карантин? | | Ответ: | Нет. Сайт не будет принят. После снятия карантина сайт придется снова регистрировать в поисковиках |
|
| |
| |
|
| weiss | Дата: Воскресенье, 24-Авг-2008, 13:56:07 | Сообщение # 12
|
|
Зачастивший
Группа: Проверенные
Сообщений: 174
Замечания:
Статус: отсутствует
| | Вопрос: | Можно ли удалить текущий robot.txt? | | Ответ: | Удалить нельзя - он системный. Можно поставить свой, тогда будет выводиться он. Но как вам правильно написали - лучше это не будет. Во время карантина его и заменить своим нельзя. |
блог сталкер
Сообщение отредактировал weiss - Воскресенье, 24-Авг-2008, 13:57:32 |
| |
| |
|
| weiss | Дата: Воскресенье, 24-Авг-2008, 14:58:47 | Сообщение # 13
|
|
Зачастивший
Группа: Проверенные
Сообщений: 174
Замечания:
Статус: отсутствует
| | Вопрос: | У меня в robots.txt: User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search Sitemap: http://вашсайт/sitemap.xml
Sitemap: http://вашсайт/sitemap-forum.xml
Sitemap: http://вашсайт/sitemap-shop.xml Сайт сейчас не индексируется? | | Ответ: | Да. Ваш сайт индексируется. У вас стоит стандартный robots . Стандартный robots позволяет наиболее оптимально индексировать сайт, а не мусором забивать поисковые системы. Зачем Вам нужно, чтобы сотни раз была проиндексирована страница входа и регистрации? Обратите внимание, что на каждой странице ссылка на эти 2 страницы разная (чтобы перекидывало на исходную страницу после входа/регистраци), поэтому поисковые системы считают что это разные страницы и забивают базу мусором. Мы же сделали robots, который не позволяет индексировать ненужные страницы |
|
| |
| |
|
| weiss | Дата: Понедельник, 10-Ноя-2008, 14:39:55 | Сообщение # 14
|
|
Зачастивший
Группа: Проверенные
Сообщений: 174
Замечания:
Статус: отсутствует
| | Вопрос: | скажите, что сделать, что бы эти 2 страницы не индексировались:
_http://сайт.ucoz.ru/index/0-4
_http://сайт.ucoz.ru/index/0-5 | | Ответ: | допишите в robots.txt:
/index/0-4
/index/0-5
Всё это можно сделать только если уже закончился карантин. Эти правила полностью запретят индексацию данных страниц. |
|
| |
| |
|
| nogarbage | Дата: Пятница, 21-Ноя-2008, 16:02:53 | Сообщение # 15
|
Заглянувший
Группа: Проверенные
Сообщений: 9
Замечания:
Статус: отсутствует
| | Вопрос: | Я отменил с помощью robots.txt индексацию некоторых ссылок, но эти ссылки показываются, почему так? | | Ответ: | С помощью роботс.тхт от индексации закрывают не ссылки, а страницы |
|
| |
| |
