Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
JXL, удалите из файлового менеджера файл роботтекста и он заменится системным. если у вас системный стоит - то есть вы не делали правок и не заливали свой. то в этом случае залейте файл с названием robots.txt c любым содержимым и когда он появится в файловом менеджере, то сразу удалите его. он заменится на системный. так вы перебьете системный файл. после всех процедур можете опять проверить в вебмастере результаты
|
|
Как закрыть от индексации все ссылки которые ведут на depositfiles, turbobit, ifolder, unibytes и youtube?
И надо ли это вообще делать? Читал, что для многих сайтов которые работают с файлообменниками - рекомендуется закрыть индексацию ссылок ведущий на данные обменники. Вроде как частично помогает в раскрутке. |
|
deadjoker, ставьте прокирование. при добавлении материала ставьте галку на проксирование. пользователям автоматом будет проксироваться. а в роботтекст добавьте строчку Disallow: *?
|
|
скажите правильно закрыл?
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ /index/0-3 Disallow: *? Host: имя.ru Sitemap: http://имя/sitemap.xml /index/0-3 - страница для правообладателей Disallow: *? - исходящие ссылки с сайта как я понял с сообщения выше... Проксированием пользуюсь.. Сообщение отредактировал fllop - Воскресенье, 24 Июн 2012, 14:20:14
|
|
fllop, уберите Disallow: *? (или слэш допишите) и добавьте:
Disallow: /pda/ Disallow: /rtr/ Disallow: /*? Disallow: /*-$ Disallow: /forum/*-*-0-17$ Закроет большинство дублей Quote (Shеriff) Disallow: /go? Нет-нет - все правльно было со звездочкой. Она убирает сессионные дубли после авторизации. Сообщение отредактировал Drinko - Воскресенье, 24 Июн 2012, 14:51:40
|
|
Disallow: /pda/ - пда версии сайта нет (вроде как, когда дописываю /pda сайт имеет тот же вид что и без него )
Disallow: /rtr/ - а это что Disallow: /*? - понял исправил Disallow: /*-$ - тоже если не трудно подскажите что закрывает? Disallow: /forum/*-*-0-17$ - не активирован форум Скажите ещё вот что. На многих сайтах (на разных платформах) в боковых блоках есть "похожие материалы/случайные материалы" - это вроде бы как делается доля перелинковки. Я вот только сейчас узнал что информеры закрыты от индексации, и вот теперь думаю, а стоит ли? Сообщение отредактировал fllop - Воскресенье, 24 Июн 2012, 15:00:13
|
|
fllop, если не закрыть PDA, то при переходе по такой ссылке робот ПС дальше будет индексировать именно мобильную версию, а не основную. Из-за чего могут появиться дубли.
Quote (fllop) Disallow: /rtr/ - а это что Рекламные ротаторы. Quote (fllop) Disallow: /*-$ - тоже если не трудно подскажите что закрывает? Закрывает дубли вида: //forum.ucoz.ru/forum/21-13447- (дубль) //forum.ucoz.ru/forum/21-13447-1 (основной адрес) В других модулях тоже частенько такое встречается. Quote (fllop) Скажите ещё вот что. На многих сайтах (на разных платформах) в боковых блоках есть "похожие материалы/случайные материалы" - это вроде бы как делается доля перелинковки. Я вот только сейчас узнал что информеры закрыты от индексации, и вот теперь думаю, а стоит ли? Ни в коем случае - похожие материалы очень полезны для перелинковки  Сообщение отредактировал Drinko - Воскресенье, 24 Июн 2012, 15:06:29
|
|
fllop, информеры открыты для индексации, если их ставить кодом $MYINF_x$
|
|
Ох как много вопросов у меня появилось
 webanet, а у меня стояли скриптами почему то  Исправил. (то то я и думаю почему только 1Пр гугл даёт, а оно вон в чём дело то оказывается) То есть это Disallow: /*-$ именно то что нужно использовать когда материал входит сразу в несколько категорий? К примеру комедии, боевики, фантастика, новинки 2012 ?  Ну и собственно контрольный вопрос: User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /index/0-3 Disallow: /pda/ Disallow: /rtr/ Disallow: /*? Disallow: /*-$ Host: имя.ru Sitemap: http://имя/sitemap.xml Ничего не перепутал? Сообщение отредактировал fllop - Воскресенье, 24 Июн 2012, 15:18:08
|
|
Quote (fllop) Disallow: /*-$ именно то что нужно использовать когда материал входит сразу в несколько категорий? Нет. Он убьет только дубли оканчивающиеся на - (дефис). Quote (fllop) Ничего не перепутал? Все ОК |
|
fllop,
с /pda/ несогласна, а остальное ничего нигде не напутано *-$ - это явно не средство от вхождения материалов в несколько категорий |
| |||