Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz Вебмастеру Раскрутка сайта Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
amishik,
Quote я не представляю даже, как зайти туда? |
|
|
|
Снова возвращаюсь к теме индексации. Уж как то на душе не спокойно. Вдруг что то не так сделал. Посмотрите пожалуйста все ли правильно.
В общих настройка Разрешать индексацию по обоим доменам галочка не стоит. В тех же настройках Домен www.kinokrit.ru является приоритетным галочка не стоит. Далее скриншот  Еще скриншот  И на последок http://kinokrit.ru/robots.txt Посмотрите все ли в порядке. А то спать спокойно не могу:) Сообщение отредактировал -AlexON- - Понедельник, 23 Янв 2012, 06:07:45
|
|
У меня вопрос.
Наткнулся в Yandex на такую директиву Директива Crawl-delay Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow"). Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта. Примеры: User-agent: Yandex Crawl-delay: 2 # задает таймаут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 4.5 # задает таймаут в 4.5 секунды Могу ли я задать такую директиву в своём robots.txt ? |
|
Я правильно запрещаю
http://сайт.ucoz.ru/index/0-4/index/0-4 http://сайт.ucoz.ru/index/0-5 /index/0-5 или нужно просто с новой строки дописывать /index/0-4 /index/0-5 |
|
|
|
Напишите плзз правельный роботс на этот сайт
или такой норм? http://cs-noob.3dn.ru/robots.txt |
|
RaseL, вот это оставить
Quote User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /search Sitemap: http://cs-noob.3dn.ru/sitemap.xml а остальной бред удалить |
|
RaseL, вам не надо. у вас стандартный юкозовский домен. прикрепите домен тогда будет смысл указывать хост.
и если вам когда-нибудь понадобится хост, то не надо специально для яндекса переписывать весь робот. хост можно вставить в любое место роботттекста и при этом не надо обращаться к яндексу отдельно. но это так, на будущее если что |
|
Добрый день, вопрос такой, у меня есть материалы которые находяться на "модуль 1", я хочу безболезнено для посковой индексации перенести их на "Модуль 2".
Думаю делать так: 1) перенести публикации на другой модуль; 2) Оставить доступ юзеру к публикациям который находяться по старому адресу; 3) Закрыть индексацию старых адресов для ботов (Стоит ли так делать? И как прописать в Робот.тхт?); 4) Постепенно, перенаправив трафик на новый адрес, закрывать/удалять старые адреса Вопрос: Стоит ли так делать или есть какой-то менее безболезненый способ? Как спастись от кары гугл-бота и яшы? Как все проделать? // Зарание спасибо. FAM - Fundacja Anioły Migrantów | Фонд Ангелы Мигрантов
Poszukiwanie partnerów biznesowych na Rynkach Wschodnich |
|
charista, безболезненно из модуля в модуль не получится. безболезненно бывает только при переносе материалов между категориями внутри одного модуля. при переносе между модулями вам придется вручную добавлять материалы и вручную удалять перенесенные.
в роботе это не имеет смысла закрывать. Quote 2) Оставить доступ юзеру к публикациям который находяться по старому адресу; 3) Закрыть индексацию старых адресов для ботов (Стоит ли так делать? И как прописать в Робот.тхт?); если вы полностью переносите модуль, то на страницах старого модуля надо проставить <link rel="canonical" href="http://адрес нового модуля"/> так можно будет оставить материалы на старых адресах и спокойно переносить на новый если бы вы дали чуть больше информации я бы вам дала точный код для всех страниц. |
| |||
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!