Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 226 | 17:03:24
Проект-Строй, что значит сменить имя страницы? дайте адрес любой страницы, которая у вас не индексировалась

Ника9646, робот читает файл роботтекст полностью. и если он возьмет карту сайта и прочитает её, то получит ошибку. но если не мешает, то пусть не мешает дальше, но по логике зачем держать прописанную карту несуществующего модуля?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
fllop
Сообщений: 72
Репутация: 45

Сообщение # 227 | 17:52:22
webanet, посмотри пожалуйста ничего не напутал?

Еще как я понимаю можно и даже нужно запретить к индексированию Страницу регистрации, Профили пользователей, RSS, что ещё можно закрыть не нужного,? подскажите пожалуйста, и нарисуйте если не трудно help

Quote
Disallow:Правило добавление новостей (я без понятия где оно у вас находится)

В модуле Вопрос Ответ находиться правило добавления новостей
flash0914
Сообщений: 64
Репутация: -2

Сообщение # 228 | 15:54:03
Мне нужно закрыть от индексации одну страницу, на ней ссылки на каталоги и сайты, вообщем мусор.
Я сделал страницу http://remontdoma.3dn.ru/index/druzja_saita , но залазить в robots.txt я не хочу, я изменил название страницы на http://remontdoma.3dn.ru/index/1/0-6
У меня в стандартном robots.txt , в прочем как у всех, Disallow: /index/1
Правильно ли я понимаю что все страницы начинающиеся с 1 не будут индексироваться и моя страница с ссылками тоже?
fllop
Сообщений: 72
Репутация: 45

Сообщение # 229 | 11:23:32
webanet, Помогите пожалуйста sad чуть выше
Сообщение отредактировал fllop - Вторник, 13 Мар 2012, 21:57:38
GeR@In
Сообщений: 141
Репутация: 19

Сообщение # 230 | 05:50:01
flash0914, правильно

fllop, Сайт на вирусы давно проверяли?

Прикрепления: 6306430.png (9.8 Kb)

Более 100 бесплатных, внешних ссылок на ваш сайт. подробности
fllop
Сообщений: 72
Репутация: 45

Сообщение # 231 | 11:27:05
GeR@In, Домен в бане нода на всегда. Из за ПП Лоадпейс.. wink А бояться там нечего..Я там сам статьи размещаю..
Djinn
Сообщений: 43
Репутация: 9

Сообщение # 232 | 23:09:18
Подскажите как правильно на uCoz запретить в robots.txt индексирование всех страниц пагинации? ...мудрил, мудрил, и ничего не получилось...

Добавлено (15-Мар-2012, 23:09:18)
---------------------------------------------
Специалисты и знатоки по uCoz подскажите пожалуйста то что я спросил... очень надо...
Сообщение отредактировал Djinn - Четверг, 15 Мар 2012, 23:09:42
Demon_eJ
Сообщений: 43
Репутация: 25

Сообщение # 233 | 23:54:19
Наконец-то дождался индексации своего сайта, но что-то гугл перестарался. Очень много проиндексировал страниц, которые повторяются. Это касается в первую очередь новостей. Гугл их индексировал по каждой дате, по каждой категории и ещё бог знает какие способы нашёл как их продублировать.



Это нужно вообще в поиске всё?
Подозреваю, что если дубликаты убрать, то вес других страниц повысится. Это так?
И во-вторых, как их все пачкой в роботсе закрыть?

Djinn
Сообщений: 43
Репутация: 9

Сообщение # 234 | 22:04:07
Неужели на мой вопрос... у таких профессионалов нет ответа???
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 235 | 22:16:20
Quote
всех страниц пагинации
wink интересно как это вы себе представляете ... запртить через robots.txt ???

Djinn
Сообщений: 43
Репутация: 9

Сообщение # 236 | 23:34:22
Quote (Miss_Esq)
интересно как это вы себе представляете

А вот так - в Dle, например запрещается таким путем:
Code
Disallow: /page/
Disallow: */page/*


А как на uCoz сделать незнаю...
Сообщение отредактировал Djinn - Пятница, 16 Мар 2012, 23:35:24
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 237 | 10:08:46
Djinn,
Quote
А как на uCoz сделать незнаю
Синтаксис robots.txt везде одинаковый
Quote
страниц пагинации
точнее каких именно ..

Djinn
Сообщений: 43
Репутация: 9

Сообщение # 238 | 20:49:12
Quote (Miss_Esq)
точнее каких именно ..


Например /news/2, /news/3, /news/4, /news/203 ..... /publ/0-2, /publ/0-3, /publ/0-10 и т.д....

Quote (Miss_Esq)
Синтаксис robots.txt везде одинаковый


Это я знаю и понимаю... но вывод адреса пагинации на юкоз оличается от dle...
Сообщение отредактировал Djinn - Суббота, 17 Мар 2012, 20:56:10
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 239 | 21:34:14
Djinn,
Disallow: /news/2
Disallow: /news/3
Disallow: /news/4
Disallow: /publ/0-2
Disallow: /publ/0-3
Disallow: /publ/0-10

Djinn
Сообщений: 43
Репутация: 9

Сообщение # 240 | 02:03:36
Quote (Miss_Esq)
Disallow: /news/2
Disallow: /news/3
Disallow: /news/4
Disallow: /publ/0-2
Disallow: /publ/0-3
Disallow: /publ/0-10


Вы серьезно?
Посмотриите на это


Это из инструментов для вебмастера в google...
Это к тому, что сам урл новости может начинаться с каких либо цифр от 1 до 9... как тогда быть???
Сообщение отредактировал webanet - Воскресенье, 18 Мар 2012, 02:26:32
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!