Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
todkenanimda,
Цитата 2) Плюс также страница главная/*?page1 главная/*?page2 главная/*?page3 Вопрос - как сделать так чтоб 1) индексировалось а 2) нет? Цитата Вместо вот этого Allow: /*?page Прописать модули Allow: /название модуля(news)/*?page Allow: /название модуля(load)/*?page Allow: /название модуля(blog)/*?page Allow: /название модуля(photo)/*?page а теперь чтобы это все не было похоже на гадания. адрес сайта и четкая формулировка того, что вы хотите добиться правилами в роботсе |
|
Цитата webanet (  )у главной не может быть пагинации по умолчанию. вторая страница главной переходит в архив модуля новости. пагинация может быть только, если главной установлен другой модуль У меня есть Вот этот код добавил и получил $LAST_NEWS$ на главной Значит сайт animehdfilm.com Сейчас код вернул, пагинацию правильно показывает, а до этого не правильно было. Вот скрин что в яндекс страница попала Прикрепления:
8052313.png
(36.5 Kb)
|
|
todkenanimda, скрин это интересно. где конкретика что именно нужно убрать, а что оставить? попала страница в яндекс, потому что разрешена пагинация. дайте четкий ответ что не устраивает в попавшей в индекс странице и почему и что ещё надо удалить или разрешить к индексированию
на данный момент у вас все нормально. главная - это главная, а вторая страница пагинации - это переход в модуль новости, который вы и используете. у вас нет страниц главная/*?page1 главная/*?page2 главная/*?page3 |
|
Цитата webanet ( )у вас нет страниц главная/*?page1 главная/*?page2 главная/*?page3 Может уже исправили. Скринов на сайте нет потому что я не доказательство собираю )) У меня теперь вопрос. Как убрать те страницы которые попали в поиск? http://главная/?page3 http://главная/?page4 и.т.д. Нельзя ли прописать модулями разрешение в robots.txt А запрет останется *? |
|
todkenanimda, понимаете в чем дело. дело в том, что у вас сайт настроен абы как. отсюда и проблемы. можно сделать так как вы хотите через роботс.
в нормальном случае всего лишь строчку Allow: /*?page можно было бы заменить на строчку Allow: /*/*?page и ваша мечта бы тут же сбылась. строчка бы выбрила попавшие в индекс страницы типа http://ololo/?page3 и пускала бы в индекс страницы типа http://ololo/anime_hd_onlain/?page3 НО. так как вы другие модули настраивали с закрытыми глазами, это сделать невозможно дело в том, что например модуль http://ololo/seriali_onlain у вас без слеша на конце, а модуль новости со слешем что вам мешало при настройках индивидуального урла после вашего варианта поставить слеш, дабы привести весь сайт к общему знаменателю? теперь вам надо писать условие для каждого модуля с учетом слеша, а у вас и так файл роботса выглядит так, что даже мне страшно Сообщение отредактировал webanet - Понедельник, 18 Май 2015, 19:13:50
|
|
Цитата webanet ( )что вам мешало при настройках индивидуального урла после вашего варианта поставить слеш, дабы привести весь сайт к общему знаменателю? Я об этом писал в СЕО теме но меня не послушали я что могу сделать если слеш не ставится (( Добавлено (18 Май 2015, 19:11:11) |
|
todkenanimda,
Цитата Я об этом писал в СЕО теме но меня не послушали я что могу сделать если слеш не ставится (( в каком именно модуле не ставится |
|
Цитата webanet ( )в каком именно модуле не ставится Модули все со слешом, а вот категории все без слеша, хотя я просил чтоб была такая возможность но мне отказали тогда. Через час приду попробую потом отпишусь. Спс буду думать. |
|
todkenanimda, вижу. что вы науникализировали и категории тоже. тогда вообще никак. правила будут на 5 страниц в человеческий рост. а все же модуль http://ololo/seriali_onlain не является категорией и что-то мне подсказывает, что там стоит редирект на слеше
|
|
Вот этот модуль http://главная/filmy_hd_onlain/ В нем 4 категории в которых свои под категории
Я поэтому и просил чтоб категории можно было со слешом оставлять. из за этого мне пришлось еще 120 под категорий убрать. Теперь вопрос а разве эта страница не будет индексироватся? http://главная/seriali_onlain/zarubejnye_seriali?page2 Allow: /*/*?page Просто получится что в категориях не будет индексироватся а в под категориях будет. Я Вам ЛС написал Добавлено (18 Май 2015, 20:31:59) --------------------------------------------- Значит что сделал не стал гадать изменил robots.txt вот это Allow: /*?page на это Allow: /*/*?page и проверил в вебмастер яндекс Что получилось http://главная/seriali_onlain разрешен http://главная/seriali_onlain?page2 запрет http://главная/?page3 запрет http://главная/seriali_onlain/zarubejnye_seriali?page2 разрешен http://главная/anime_hd_onlain/?page2 разрешен http://главная/filmy_onlain?page2 запрет http://главная/filmy_onlain/filmy_komediya?page2 разрешен webanet, Спасибо что я хотел получилось благодаря Вам. Сообщение отредактировал todkenanimda - Понедельник, 18 Май 2015, 21:06:47
|
|
todkenanimda, http://ololo/seriali_onlain?page2 значит тут ошибки в самой пагинации, (если это не главные страницы модулей, разделов и категорий) как на главной были. если так, то у нас действительно все получилось. а я то ориентировалась на эти адреса не зная истинных. робот кстати тоже не будет знать истинных. тираньте тех.поддержку по поводу неверных уролв в пагинации)))
|
|
Цитата webanet ( )тираньте тех.поддержку по поводу неверных уролв в пагинации))) Если честно мне так больше нравится Категория имеет больше весу. И меньше одинаковых страниц. Не знаю но это только мое мнение, может кто и думает по другому и я не прав. )) |
|
todkenanimda, ну если вы счастливы это замечательно. все равно наблюдайте за индексом и за возможными ошибками. если вдруг что сразу пишите будем корректировать
|
|
14 апреля перевела свой домен в юкоз, не обратила сразу внимание на то, что сайт попал в карантин, 14 мая карантин был снят ( я оплатила услугу). Однако у меня появилось следующее сообщение "18.05.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует". Почему до сих пор полный запрет?
Вот как выгдядит файл robots.tx: User-agent: *Allow: /*?page Allow: /*?ref= Allow: /stat/dspixel Disallow: /*? Disallow: /stat/ Disallow: /index/1 Disallow: /index/3 Disallow: /register Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /index/sub/ Disallow: /panel/ Disallow: /admin/ Disallow: /informer/ Disallow: /secure/ Disallow: /poll/ Disallow: /search/ Disallow: /abnl/ Disallow: /*_escaped_fragment_= Disallow: /*-*-*-*-987$ Disallow: /shop/checkout/ Disallow: /shop/user/ Disallow: /*0-*-0-17$ Disallow: /*-0-0- Sitemap: http://www.kids-info.com/sitemap.xml Sitemap: http://www.kids-info.com/sitemap-forum.xml |
|
planetaD, Ваш robots.txt правильный стандартный индекс разрешен. А от куда пришло сообщение?
Добавлено (19 Май 2015, 11:58:26) |
| |||