Страница 2 из 137«1234136137»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
nogarbage
Сообщений: 9
Репутация: 19

Сообщение # 16 | 17:14:43
Вопрос: нужно ли создавать или переделывать sitemap ?
Ответ: нет, не надо, добавьте стандартные sitemap в гугловскую панель веб-мастера и в панель веб-мастера Яндекса. Подробнее об Sitemap читать тут

Партнёрские программы РуНета: зарабатывай на своём сайте больше!
Selena
Сообщений: 15657
Репутация: 1099

Сообщение # 17 | 18:11:05
Вопрос: если я прикреплю свой домен к сайту, который ещё на карантине, карантин останется?
Ответ: Останется.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
nogarbage
Сообщений: 9
Репутация: 19

Сообщение # 18 | 17:58:09
Вопрос: при добавление сайта в яндекс, вылазит ошибка:"Указанный URL запрещен к индексации в файле robots.txt". Что делать?
Ответ: Яндекс забанил сайт если выходит ошибка : Указанный URL запрещен к индексации. Нужно писать им в тех. поддержку.

Если при добавлении сайта выходит ошибка: "Указанный URL запрещен к индексации в файле robots.txt" то значит ваш сайт находится на карантине.

Если на проиндексированном сайте в вебмастере Яндекса или Google появляется предупреждение об ошибках сканирования типа: "Заблокирован файлом robots.txt" то это техническая информация о страницах заблокированных в robots.txt. Если у вас стандартный robots.txt то там осуществляется блокировка ненужных страниц несущих техническую информацию. На такие предупреждения не стоит обращать внимание (если ваш robots.txt стандартный!)


Партнёрские программы РуНета: зарабатывай на своём сайте больше!
Сообщение отредактировал nogarbage - Вторник, 03 Фев 2009, 17:59:46
djekky
Сообщений: 122
Репутация: 111
Уровень замечаний:

Сообщение # 19 | 22:19:49
Вопрос: по истечению срока карантина файл robots меняется автоматически или его следует заменить вручную?
Ответ: меняется автоматически

Greener
Сообщений: 5
Репутация: 41

Сообщение # 20 | 20:33:37
Вопрос: Как мне узнать находится ли мой сайт в карантине?
Ответ: Если карантин снят, то robots.txt будет выглядеть так
Код
User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://вашсайт/sitemap.xml
Sitemap: http://вашсайт/sitemap-forum.xml
Sitemap: http://вашсайт/sitemap-shop.xml


Если сайт на карантине, то robots.txt выглядит так
Код
User-agent: *
Disallow: /
После окнчания карантина robots.txt автоматически заменяется

Чужие ошибки заметны сразу, а вот свои...
Сообщение отредактировал Greener - Суббота, 07 Фев 2009, 20:37:55
Greener
Сообщений: 5
Репутация: 41

Сообщение # 21 | 01:24:28
Вопрос: как мне разместить робот.тхт на сайте? Нужно ли его размещать или он автоматически присутствует?
Ответ: robots.txt уже есть на вашем сайте, но он невидим, так как он системный и скрыт от прямого доступа. Тем не менее вы можете его просмотреть в браузере по адресу: http://имя_вашего_сайта/robots.txt
Его можно заменить собственным, но если у вас нет опыта, то ни в коем случае этого не делайте, иначе можете только навредить себе.

Чужие ошибки заметны сразу, а вот свои...
o_Lisovenko
uProduct
Сообщений: 4343

Сообщение # 22 | 14:51:59
Вопрос: как мне отредактировать Robots.txt? мой сайт не на карантине, а редактировать не могу

Ответ: для того чтобы была возможность редактировать robots.txt прямо на сайте через файловый менеджер, нужно для начала залить свой robots.txt через файловый менеджер. после этого robots.txt появится в списке файлов и напротив него будет значок редактирования.
для того чтобы залить свой robots.txt, нужно создать текстовый документ на компьютере, прописать в него директивы и сохранить. при сохранении нужно текстовому документу дать имя robots. после этого нужно залить готовый текстовый документ через файловый менеджер (главная страница менеджера)
заливать и редактировать свой robots.txt можно только после снятия карантина


o_Lisovenko
uProduct
Сообщений: 4343

Сообщение # 23 | 15:14:41
Вопрос: Я прикрепила (припарковала) вчера домен, но карантин остался. Домену скоро год будет, он переехал вместе с контентом, когда снимут карантин?
Или как можно ускорить снятие карантина? (чтоб поисковые переиндексировали сайт).

Ответ: Оплатить любую платную услугу.


Selena
Сообщений: 15657
Репутация: 1099

Сообщение # 24 | 14:08:18
Вопрос: Сегодня тех поддержка подтвердила что теперь даже после прикрепления домен сайт остается на карантине. при оплате услуги карантин снимается только для одного сайта или для всех сайтов профиля?

Ответ: , для какого сайта оплатили услугу, для того и снимется. (из какого ПУ).


Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
Hehe
Репутация: 0

Сообщение # 25 | 16:22:07
Вопрос: оплатил услугу по убиранию баннера из панели управления. прошло больше часа. robots.txt всё еще запрещает индексацию <_<
сколько ждать то?

Ответ: нужно оплатить любой пакет услуг. или услугу стоимостью выше 2$

Сообщение отредактировал Hehe - Среда, 13 Янв 2010, 17:36:42
webanet
Личный менеджер
Сообщений: 22813
Репутация: 4853

Сообщение # 26 | 01:47:45
Вопрос: Пропал robots.txt! Я об этом случайно узнала, делая анализ сайта на одном из сервисов

Ответ:, исчезнуть robots.txt не мог. удалить его невозможно. даже если удалить свой собственный robots.txt он тут же заменится системным. проверить наличие robots.txt можно на своем сайте по адресу http://ваш сайт.ucoz.ru/robots.txt
а вот при проверке некоторыми сервисами иногда возникает ошибка об отсутствии robots.txt или его ошибке. связанно это исключительно с ошибками сканирования тех сервисов, которые делают анализ.


ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
YuriT
Сообщений: 231
Репутация: 701
Уровень замечаний:

Сообщение # 27 | 17:01:11
ЧПУ-адреса и robots.txt

все страницы с ЧПУ-адресами, в которых имя начинается с цифры, оказываются "запрещенными".
Это вызвано наличием в robots.txt строк вида

Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9

Раньше (до появления ЧПУ) эти правила влияли только на действительно "чисто системные" страницы, а теперь стали влиять и на такие, как у Вас.

Избежать этого эффекта можно двумя способами:

1. сменить "человеко-понятное" имя страницы, чтобы оно не начиналось с цифры, или

2. заменить стандартный robots.txt на свой собственный, добавив в конец всех таких правил символ $:

Disallow: /index/1$
Disallow: /index/2$
Disallow: /index/3$
Disallow: /index/5$
Disallow: /index/7$
Disallow: /index/8$
Disallow: /index/9$

Правда, нынешние правила были расчитаны также и на то, чтобы блокировать адреса типа /index/35 , также являющиеся "чисто системными", так что первый способ все-таки предпочтительнее.

Подробнее, почему это так и что дает $ в robots.txt, можно прочесть в подсказке Яндекса:

http://help.yandex.ru/webmaster/?id=996567#996572


Потеряшка - поиск потерянных и помощь бездомным животным в Питере
Сообщение отредактировал YuriT - Четверг, 24 Июн 2010, 17:04:55
webanet
Личный менеджер
Сообщений: 22813
Репутация: 4853

Сообщение # 28 | 14:04:43
Вопрос: Подскажите пожалуйста! Сменили домен на сайте, а теперь яндекс выдает это

Quote
Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву. Проверить, какие страницы сайта запрещены для индексирования, вы можете в разделе «Анализ robots.txt»

Ответ: , вы прикрепили домен, запретили индексацию по обоим доменам, оставили перенаправление со стандартного на прикрепленный, теперь у вас индексируется новый домен, а старый домен запрещен к индексации. в вебмастере яндекса при этом всем оставили сайт со старым адресом. правильно пишет вам вебмастер. старый адрес у вас запрещен. а для того чтобы смотреть данные вебмастера по новому адресу (который у вас разрешен) вам нужно добавить новый адрес в яндекс вебмастер и опять подтвердить его на сайте путем вставки нового метатега


ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
NIKITANEXT
Репутация: 0

Сообщение # 29 | 10:58:06
Вопрос: Подскажите, а если сайт был добавлен во все поисковые системы, а на сайте еще стоит карантин...мне надо будет заново его добавлять в поисковики после окончания карантина? И еще, меня не забанят за то что я добавил сайт в поисковики, а Robots.txt запрещает индексацию всего сайта?

Ответ: в поисковики сайт лучше всего добавлять после снятия карантина. но если так случилось, что вы добавили сайт во время карантина, то после его снятия нужно или добавить сайт снова или отправить на пересмотр. на пересмотр отправляются сайты из вебмастера поисковика при наличие подтверждения прав


Нет не чего лучше чем жить среди файлов.
YuriT
Сообщений: 231
Репутация: 701
Уровень замечаний:

Сообщение # 30 | 20:50:15
Вопрос: Вопрос такой.
Прикрутил к старому сайту новый домен.
Теперь по адресу нового домена отображается нормальный robots.txt в котором и прописал host
А по адресу старого домена автоматом стал отображаться
User-agent: *
Disallow: /
В результате вместо того чтобы склеить старый домен с новым ПС просто выкинули все страницы старого домена из индекса.

Ну и собственно вопрос, как сделать так чтобы по адресу старого домена отображался нормальный robots.txt с директивой host на новый домен?

Ответ:

В Общих настройка панели управления поставить галочку "Разрешать индексацию по обоим доменам".
Заодно посмотрите и эту тему, она как раз про такие случаи: http://forum.ucoz.ru/forum/21-34453-1


Потеряшка - поиск потерянных и помощь бездомным животным в Питере
Сообщение отредактировал YuriT - Понедельник, 02 Авг 2010, 20:53:18
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 2 из 137«1234136137»
Поиск: