• Страница 1 из 1
  • 1
Модератор форума: Yuri_G  
Запретить индексацию
Alladin_Moskovsky
Сообщений: 8
Репутация: 0

Сообщение # 1 | 15:29:36
Добрый день. Подскажите как запретить индексацию /news/3398, /news/1580 Архив материалов, куча данных страниц в поиске
Вансан
Сообщений: 77
Репутация: 33

Сообщение # 2 | 15:48:23
Отредактируйте файл robots.txt, добавьте туда:
Код
Disallow: /news/3398
Disallow: /news/1580

Добавлено (10 Июл 2014, 15:46:39)
---------------------------------------------
Подробнее про robots.txt тут.

Добавлено (10 Июл 2014, 15:48:23)
---------------------------------------------
А вообще /news/3398 и /news/1580 какие-то странные адреса...


Absit invidia verbo
Alladin_Moskovsky
Сообщений: 8
Репутация: 0

Сообщение # 3 | 15:56:18
Цитата Вансан ()
Disallow: /news/3398 Disallow: /news/1580

Это не выход из ситуации... 1. Тогда нужно писать в роботе от 1 до 10 строк, 2. под запрет могут попасть те ссылки , название которых начинается на эти цифры

Добавлено (10 Июл 2014, 15:56:18)
---------------------------------------------

Цитата Вансан ()
А вообще /news/3398 и /news/1580 какие-то странные адреса...

Это номера архивных страниц, что тут странного
Вансан
Сообщений: 77
Репутация: 33

Сообщение # 4 | 16:31:38
Цитата Alladin_Moskovsky ()
2. под запрет могут попасть те ссылки , название которых начинается на эти цифры

Ну поставьте вы доллар в конец строки, вот так:
Код
Disallow: /news/3398$


Добавлено (10 Июл 2014, 16:24:47)
---------------------------------------------
Ааа, 3398 - это номер страницы в архиве, я забыл уже. smile
Тогда robots.txt не подходит, да, так как страницы постоянно появляются новые...

Добавлено (10 Июл 2014, 16:31:38)
---------------------------------------------
Хмм, имеем страницы из архива вида news/8 а также новости, вида news/2010-11-24-330.
Можно попробовать как-то так:
Код
Disallow: /news/
Allow: /news/*-

Absit invidia verbo
Сообщение отредактировал Вансан - Четверг, 10 Июл 2014, 16:35:32
Alladin_Moskovsky
Сообщений: 8
Репутация: 0

Сообщение # 5 | 17:42:13
Цитата Вансан ()
Можно попробовать как-то так:

а можно немного подробнее

Вот например

http://ДОМЕН/news/2
или
http://ДОМЕН/news/3287 - как вот эту архивную страницу скрыть от индексации
Вансан
Сообщений: 77
Репутация: 33

Сообщение # 6 | 17:53:43
Alladin_Moskovsky, т.е. чтобы вторая страница индексировалась, а 3287 - нет? O_o
Тогда только полным перечислением, как указывалось выше:
Код
Disallow: /news/3398$
Но когда будут добавляться новые материалы - robots опять придётся править, потом ещё ждать время, пока поисковик обновит свой индекс...
В общем конкретную страницу из архива лучше не запрещать, овчинка выделки не стоит.

По поводу вот этого примера:
Код
Disallow: /news/
Allow: /news/*-

Тут мы запрещаем к индексации все новости на нашем сайте, а затем разрешаем индексировать страницы с самой новостью.
Сортировка привилегий в файле robots.txt производится по длине префикса URL (от меньшего к большему) (т.е. прямо так, как указано в этом коде, сперва /news/, а затем /news/*-)
Таким образом, получается что к индексации запрещены все страницы архива, но сами материалы в индекс попадать должны.

Absit invidia verbo
Sonor
Сообщений: 251
Репутация: 525

Сообщение # 7 | 21:12:42
Alladin_Moskovsky, ищите решение в canonical.

Alladin_Moskovsky
Сообщений: 8
Репутация: 0

Сообщение # 8 | 22:45:20
Цитата Sonor ()
ищите решение в canonical.

это только решит проблему с дублями
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 9 | 22:50:34
Alladin_Moskovsky, если вы поставите каноникал на главную в шаблон архива, то весь архив не будет индексироваться

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Sonor
Сообщений: 251
Репутация: 525

Сообщение # 10 | 23:14:31
Alladin_Moskovsky, если на страницах присутствует link rel="canonical", в котором href= указывает на другой адрес, то такие страницы автоматом и очень быстро вылетают из индекса, причём контент необязательно должен быть одинаковым (можете отправить на /news/), поэтому не только с дублями. С помощью canonical можно очень тонко управлять индексацией.

Alladin_Moskovsky
Сообщений: 8
Репутация: 0

Сообщение # 11 | 16:43:21
Цитата Sonor ()
С помощью canonical можно очень тонко управлять индексацией.

Подскажи пжл, что нужно прописать в шаблоне Страница архива материала что бы не индексировались news стр,2,3,4 и т.д

Добавлено (13 Июл 2014, 16:43:21)
---------------------------------------------
sad

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 12 | 19:09:28
<link rel="canonical" href="http://адрес сайта"/> при условии, что главная стоит в настройках при переходе на главную открывать - главная

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Nazim7503
Сообщений: 190
Репутация: 2

Сообщение # 13 | 20:08:27
Доброго времени суток. Подскажите как закрыть от индексации в роботс.тхт страницы с материалами пользователей? Заранее спасибо
  • Страница 1 из 1
  • 1
Поиск: