Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58 04 Апр 2006
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 16 | 18:11:05 06 Янв 2009
Вопрос: если я прикреплю свой домен к сайту, который ещё на карантине, карантин останется?
Ответ: Останется. Прикрепление домена - один из критериев, по которым обрабатывается сайт для снятия карантина. Подробнее о правилах снятия карантина читайте тут //forum.ucoz.ru/forum/21-38597-1
Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
nogarbage
Сообщений: 9
Репутация: 19

Сообщение # 17 | 17:58:09 03 Фев 2009
Вопрос: при добавление сайта в яндекс, вылазит ошибка:"Указанный URL запрещен к индексации в файле robots.txt". Что делать?
Ответ: Яндекс забанил сайт если выходит ошибка : Указанный URL запрещен к индексации. Нужно писать им в тех. поддержку.

Если при добавлении сайта выходит ошибка: "Указанный URL запрещен к индексации в файле robots.txt" то значит ваш сайт находится на карантине.

Если на проиндексированном сайте в вебмастере Яндекса или Google появляется предупреждение об ошибках сканирования типа: "Заблокирован файлом robots.txt" то это техническая информация о страницах заблокированных в robots.txt. Если у вас стандартный robots.txt то там осуществляется блокировка ненужных страниц несущих техническую информацию. На такие предупреждения не стоит обращать внимание (если ваш robots.txt стандартный!)

Сообщение отредактировал nogarbage - Вторник, 03 Фев 2009, 17:59:46
djekky
Сообщений: 122
Репутация: 111
Уровень замечаний:

Сообщение # 18 | 22:19:49 03 Фев 2009
Вопрос: после снятия карантина файл robots меняется автоматически или его следует заменить вручную?
Ответ: меняется автоматически
Вконтакте l Блог об играх Valve l TES V: Skyrim
Greener
Сообщений: 5
Репутация: 41

Сообщение # 19 | 20:33:37 07 Фев 2009
Вопрос: Как мне узнать находится ли мой сайт в карантине?
Ответ: Если карантин снят, то robots.txt будет выглядеть так
Код
User-agent: *
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml


Если сайт на карантине, то robots.txt выглядит так
Код
User-agent: *
Disallow: /
После снятия карантина robots.txt автоматически заменяется на системный
Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Суббота, 07 Фев 2009, 20:37:55
Greener
Сообщений: 5
Репутация: 41

Сообщение # 20 | 01:24:28 08 Фев 2009
Вопрос: Как изменить файл robots.txt на сайте? Нужно ли его размещать или он автоматически присутствует?
Ответ: robots.txt уже есть на вашем сайте, но он невидим, так как он системный и скрыт от прямого доступа. Тем не менее вы можете его просмотреть в браузере по адресу: http://имя_вашего_сайта/robots.txt
Его можно заменить собственным, но если у вас нет опыта, то ни в коем случае этого не делайте, иначе можете только навредить.
для того чтобы была возможность редактировать robots.txt прямо на сайте через файловый менеджер, нужно для начала залить свой robots.txt через файловый менеджер. после этого robots.txt появится в списке файлов и напротив него будет значок редактирования.
для того чтобы залить свой robots.txt, нужно создать текстовый документ на компьютере, прописать в него директивы и сохранить. при сохранении нужно текстовому документу дать имя robots. после этого нужно залить готовый текстовый документ через файловый менеджер (главная страница менеджера)
заливать и редактировать свой robots.txt можно только после снятия карантина
Сделать видимым системный robots.txt в файловом менеджере можно активацией премиум настройки в СЕО модуле Активировать форму редактирования файла
robots.txt
Чужие ошибки заметны сразу, а вот свои...
o_Lisovenko
uProduct
Сообщений: 4704

Сообщение # 21 | 14:51:59 03 Дек 2009
Вопрос: как мне отредактировать Robots.txt? мой сайт не на карантине, а редактировать не могу

Ответ: для того чтобы была возможность редактировать robots.txt прямо на сайте через файловый менеджер, нужно для начала залить свой robots.txt через файловый менеджер. после этого robots.txt появится в списке файлов и напротив него будет значок редактирования.
для того чтобы залить свой robots.txt, нужно создать текстовый документ на компьютере, прописать в него директивы и сохранить. при сохранении нужно текстовому документу дать имя robots. после этого нужно залить готовый текстовый документ через файловый менеджер (главная страница менеджера)
заливать и редактировать свой robots.txt можно только после снятия карантина

uSocial.pro - лучшие кнопки соц. сетей для Вашего сайта!
o_Lisovenko
uProduct
Сообщений: 4704

Сообщение # 22 | 15:14:41 11 Янв 2010
Вопрос: Я прикрепила (припарковала) вчера домен, но карантин остался. Домену скоро год будет, он переехал вместе с контентом, когда снимут карантин?
Или как можно ускорить снятие карантина? (чтоб поисковые переиндексировали сайт).

Ответ: Оплатить любую платную услугу.

uSocial.pro - лучшие кнопки соц. сетей для Вашего сайта!
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 23 | 14:08:18 13 Янв 2010
Вопрос: Сегодня тех поддержка подтвердила что теперь даже после прикрепления домен сайт остается на карантине. при оплате услуги карантин снимается только для одного сайта или для всех сайтов профиля?

Ответ: , для какого сайта оплатили услугу, для того и снимется. (из какого ПУ).

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
Hehe
Репутация: 0

Сообщение # 24 | 16:22:07 13 Янв 2010
Вопрос: оплатил услугу по убиранию баннера из панели управления. прошло больше часа. robots.txt всё еще запрещает индексацию <_<
сколько ждать то?

Ответ: нужно оплатить любой пакет услуг. или услугу стоимостью выше 2$

Сообщение отредактировал Hehe - Среда, 13 Янв 2010, 17:36:42
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 25 | 01:47:45 13 Апр 2010
Вопрос: Пропал robots.txt! Я об этом случайно узнала, делая анализ сайта на одном из сервисов

Ответ:, исчезнуть robots.txt не мог. удалить его невозможно. даже если удалить свой собственный robots.txt он тут же заменится системным. проверить наличие robots.txt можно на своем сайте по адресу http://ваш сайт.ucoz.ru/robots.txt
а вот при проверке некоторыми сервисами иногда возникает ошибка об отсутствии robots.txt или его ошибке. связанно это исключительно с ошибками сканирования тех сервисов, которые делают анализ.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
YuriT
Сообщений: 231
Репутация: 701
Уровень замечаний:

Сообщение # 26 | 17:01:11 24 Июн 2010
ЧПУ-адреса и robots.txt

все страницы с ЧПУ-адресами, в которых имя начинается с цифры, оказываются "запрещенными".
Это вызвано наличием в robots.txt строк вида

Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9

Раньше (до появления ЧПУ) эти правила влияли только на действительно "чисто системные" страницы, а теперь стали влиять и на такие, как у Вас.

Избежать этого эффекта можно двумя способами:

1. сменить "человеко-понятное" имя страницы, чтобы оно не начиналось с цифры, или

2. заменить стандартный robots.txt на свой собственный, добавив в конец всех таких правил символ $:

Disallow: /index/1$
Disallow: /index/2$
Disallow: /index/3$
Disallow: /index/5$
Disallow: /index/7$
Disallow: /index/8$
Disallow: /index/9$

Правда, нынешние правила были расчитаны также и на то, чтобы блокировать адреса типа /index/35 , также являющиеся "чисто системными", так что первый способ все-таки предпочтительнее.

Подробнее, почему это так и что дает $ в robots.txt, можно прочесть в подсказке Яндекса:

http://help.yandex.ru/webmaster/?id=996567#996572

Потеряшка - поиск потерянных и помощь бездомным животным в Питере
Сообщение отредактировал YuriT - Четверг, 24 Июн 2010, 17:04:55
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 27 | 14:04:43 22 Июл 2010
Вопрос: Подскажите пожалуйста! Сменили домен на сайте, а теперь яндекс выдает это

Quote
Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву. Проверить, какие страницы сайта запрещены для индексирования, вы можете в разделе «Анализ robots.txt»

Ответ: , вы прикрепили домен, запретили индексацию по обоим доменам, оставили перенаправление со стандартного на прикрепленный, теперь у вас индексируется новый домен, а старый домен запрещен к индексации. в вебмастере яндекса при этом всем оставили сайт со старым адресом. правильно пишет вам вебмастер. старый адрес у вас запрещен. а для того чтобы смотреть данные вебмастера по новому адресу (который у вас разрешен) вам нужно добавить новый адрес в яндекс вебмастер и опять подтвердить его на сайте путем вставки нового метатега

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
NIKITANEXT
Репутация: 0

Сообщение # 28 | 10:58:06 23 Июл 2010
Вопрос: Подскажите, а если сайт был добавлен во все поисковые системы, а на сайте еще стоит карантин...мне надо будет заново его добавлять в поисковики после окончания карантина? И еще, меня не забанят за то что я добавил сайт в поисковики, а Robots.txt запрещает индексацию всего сайта?

Ответ: в поисковики сайт лучше всего добавлять после снятия карантина. но если так случилось, что вы добавили сайт во время карантина, то после его снятия нужно или добавить сайт снова или отправить на пересмотр. на пересмотр отправляются сайты из вебмастера поисковика при наличие подтверждения прав

Нет не чего лучше чем жить среди файлов.
YuriT
Сообщений: 231
Репутация: 701
Уровень замечаний:

Сообщение # 29 | 20:50:15 02 Авг 2010
Вопрос: Вопрос такой.
Прикрутил к старому сайту новый домен.
Теперь по адресу нового домена отображается нормальный robots.txt в котором и прописал host
А по адресу старого домена автоматом стал отображаться
User-agent: *
Disallow: /
В результате вместо того чтобы склеить старый домен с новым ПС просто выкинули все страницы старого домена из индекса.

Ну и собственно вопрос, как сделать так чтобы по адресу старого домена отображался нормальный robots.txt с директивой host на новый домен?

Ответ:

В Общих настройка панели управления поставить галочку "Разрешать индексацию по обоим доменам".
Заодно посмотрите и эту тему, она как раз про такие случаи: //forum.ucoz.ru/forum/21-34453-1

Потеряшка - поиск потерянных и помощь бездомным животным в Питере
Сообщение отредактировал YuriT - Понедельник, 02 Авг 2010, 20:53:18
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 30 | 21:06:56 29 Авг 2010
роботтекст это тот документ с помощью которого можно корректироваться индексацию сайта. поэтому, если вы хотите полностью скрыть сайт от индексации основными поисковиками, которые обращаются к роботтексту, то можно поставить такой запрет
Quote
User-agent: *
Disallow: /
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: