Модератор форума: Yuri_G |
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
Robots.txt |
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
Tear_, не нужно запрещать пда. у яндекса и гугла есть версии пда
смотрите http://www.google.ru/pda http://www.yandex.ru/m/ и вот для этого сгодится ваша пда версия. они отличают полную и пда, это на тот случай, если вы переживаете за дубли |
Just2632, ну вы и скриншоты заворотили ...
Пока карантин ( 30 дней ) не закончился ни чего вы с файлом не сделаете ... |
Just2632, да
Quote а что со скриншотом, прятать в спойлер Сообщение отредактировал Miss_Esq - Понедельник, 28 Май 2012, 17:22:59
|
У меня такая ситуация. Сайт со стандартным роботс Яндекс проиндексировал все и даже лишнее: "страница добавления материалов". ЕЕ я запрещу к индексу в своем роботс и меня интересует стоит ли запрещать индексировать по категориям? То есть у меня в индекс попали такие страницы как:
CD/DVD - CompUsers.ru - Немного о компьютерах CompUsers.ru/load/cd_dvd/10 Как сделать? - CompUsers.ru - Немного о компьютерах CompUsers.ru/publ/1 Интернет - CompUsers.ru - Немного о компьютерах CompUsers.ru/load/internet/6 и так далее все категории из модулей статьи и загрузки. Стоит ли запрещать их к индексированию? Пытаюсь что-то делать.
http://compusers.ru/ |
|
Я уже наверно поднадоел со своим роботом Но вот ещё один вопросик. Анализирую сайты с хорошей посещаемостью и быстрой индексацией, ну на многих встречаю в роботе такое:
User-Agent: Googlebot User-agent: Yandex Что такое?, зачем нужно?, нужно ли вообще? Если нужно, в какие места над/под/чем куда прописать? |
fllop,
Quote зачем нужно?, |
fllop,
Quote Можно пример? |
|
|
| |||