Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz Вебмастеру Раскрутка сайта Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
Djinn, оставьте свою идею. не надо запрещать пагинацию в роботе
|
|
Djinn,
Quote Вы серьезно? Quote Посмотриите на это Quote как тогда быть Disallow: /news/2* Disallow: /news/3* Disallow: /news/4* robots.txt и т п и т д Сообщение отредактировал Miss_Esq - Воскресенье, 18 Мар 2012, 09:05:27
|
|
Quote (Miss_Esq) Да я знаю все это... и я пробовал такой вариант еще до того как задал вопрос тут... Юкоз устроен так, что адрес раздела - новости и адрес самих новостей в начале одинаков... я про - /news/ ... И как я уже писал, сам урл новости может начинаться с каких либо цифр от 1 до 9... например /news/211_photoshop_top_secret/2012-03-18-3104...тогда это будет ошибкой... Вы либо не поняли вопрос, либо даже не вникаете в его суть. Сообщение отредактировал Djinn - Воскресенье, 18 Мар 2012, 21:31:49
|
|
Подскажите, а как с помощью robots.txt закрыть дубли страниц? Например, некоторые страницы у меня есть в трех вариантах -
/publ/dom/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100, /publ/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100 и /publ/15-1-0-100. Как оставить только одну из них, удалив при этом другие? В смысле, как сделать это правильно? Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / webanet.
|
|
Quote (Маш-Маша) Подскажите, а как с помощью robots.txt закрыть дубли страниц? Например, некоторые страницы у меня есть в трех вариантах - /publ/dom/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100, /publ/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100 и /publ/15-1-0-100. Как оставить только одну из них, удалив при этом другие? В смысле, как сделать это правильно? А у Вас в яндекс-вэбмастере есть все эти дубли? Мне кажется там срабатывает редирект на нужную страницу и делать ничего не надо, т.к страница всегда будет нужная и это будет /publ/dom/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100 Может Я ошибаюсь. Интернет магазин модной женской, мужской и подростковой одежды. http://bestshop-sp.ru
|
|
В яндексе не видела, а вот в гугл-вебмастере эти дубли указаны и гугл настоятельно рекомендует от них избавиться. Может, из-за этого и много страниц у него в "соплях". Так что, на мой взгляд, с ними что-то надо делать, только что?
Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / webanet.
|
|
По своим последним проектам заметил одну особенность: если в процессе разработки (*.ucoz.ru) заплатишь за удаление РБ, то при прикреплении домена сайт буквально на следующий день успешно появляется в индексе после размещения в Яндекс.Вебмастер. Но если первую оплату сделаешь уже после прикрепления домена, то увы, - конкретные проблемы с индексированием в Яндексе, несмотря на все усилия.
И, на мой взгляд, данную тему неплохо бы начать словами: Если файла robots.txt как такового нет, то индексирование по умолчанию происходит по всем страницам сайта. Фактически же в данном случае файл robots.txt используется (уже в непосредственной работе сайта) для запрещения индексирования страниц, индексирование которых либо нецелесообразно (например, информеры), либо должно быть закрыто по соответствующим требованиям (напр., если это персональные данные в профайлах). Сообщение отредактировал gaudeamus - Пятница, 23 Мар 2012, 08:17:49
|
|
gaudeamus, прикрепление домена никак не влияет на снятие карантина (блокировки индексации через роботтекст). снятие рекламы или оплата любой другой услуги или пакета услуг, стоимостью более 2$ снимает запрет индексации автоматически
в шапке этой темы есть инструкции по этому поводу 17. Карантин и прикрепление домена можно было бы просто прочитать инструкцию, чтобы не совершать открытий |
|
Скажите пожалуйста, не помешают эти две верхние строчки для работы robot.txt
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Host: dogsib.ru Sitemap: http://dogsib.ru/sitemap.xml Sitemap: http://dogsib.ru/sitemap-forum.xml Sitemap: http://dogsib.ru/sitemap-shop.xml http://dogsib.ru
|
|
Кинолог, нет не помешают. к Mediapartners-Google можно обращаться отдельно. можно оставить ему полную индексацию. но зачем тех.страницы такие как
/panel/ /secure/ /stat/ /admin/ и особенно /search и другие? |
|
Кинолог, вопрос стоит не куда надо, а стоит в том, что надо ли вообще давать этому роботу отдельно разрешение на индексацию всего, включая и технические страницы и остальное не нужное?
от того, что вы переместите вниз указания для этого робота ничего не изменится |
|
Quote (Маш-Маша) Подскажите, а как с помощью robots.txt закрыть дубли страниц? Например, некоторые страницы у меня есть в трех вариантах - /publ/dom/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100, /publ/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100 и /publ/15-1-0-100. Как оставить только одну из них, удалив при этом другие? В смысле, как сделать это правильно? Quote (DriftUCOZ) А у Вас в яндекс-вэбмастере есть все эти дубли? Мне кажется там срабатывает редирект на нужную страницу и делать ничего не надо, т.к страница всегда будет нужная и это будет /publ/dom/dosug/organizacija_sovmestnogo_dosuga/15-1-0-100 Может Я ошибаюсь. Quote (Маш-Маша) В яндексе не видела, а вот в гугл-вебмастере эти дубли указаны и гугл настоятельно рекомендует от них избавиться. Может, из-за этого и много страниц у него в "соплях". Так что, на мой взгляд, с ними что-то надо делать, только что? Кстати, весьма спорный вопрос между прочим... Я о дублях... Вот у меня тоже - каталог файлов в котором я ставлю галочки в нескольких категориях... Получаеться же, что я делаю дубли, верно? ) Ну, а если Яша научился выделять и отбирать основной урл, то Гугл говорит, что то?  И вообще - у кого, какой есть опыт, именно - опыт, в данном случае?... Есть ли официальная инфа о том, что по этому поводу сказали и Яша и Гугл? )))Напрасно обучение без мысли, опасна мысль без обучения. © Китайская поговорка
Сообщение отредактировал Онгар - Воскресенье, 25 Мар 2012, 00:59:01
|
|
Quote (webanet) Кинолог, вопрос стоит не куда надо, а стоит в том, что надо ли вообще давать этому роботу отдельно разрешение на индексацию всего, включая и технические страницы и остальное не нужное? от того, что вы переместите вниз указания для этого робота ничего не изменится Спасибо за ответ! Все понял. http://dogsib.ru
|
| |||
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!