Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
SeMI3425
Сообщений: 59
Репутация: 0

Сообщение # 661 | 16:16:24
Как прописать директиву Host в robot.txt?
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 662 | 16:28:42
SeMI3425, открываете файл по адресу сайт/robots.txt, копируете содержимое, в Блокноте создаёте файл с названием robots.txt, пишите в конце текста что-то типа Host: myhost.ru, сохраняете и закачиваете в корень сайта.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
SeMI3425
Сообщений: 59
Репутация: 0

Сообщение # 663 | 16:54:43
Вот смотри что у меня получается:По старому адресу:User-agent: *Disallow: /
По новому адресу:
User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://cat.ru/sitemap.xml
Sitemap: http://t.ru/sitemap-forum.xml
Sitemap: http://cet.ru/sitemap-shop.xml Что это значит? Мне теперь нужно поновой регистрировать сайт у поисковиков?

Добавлено (16-Ноя-2012, 16:54:43)
---------------------------------------------
Может мне разрешить индексацию по обеим доменам?

Сообщение отредактировал SeMI3425 - Пятница, 16 Ноя 2012, 16:46:34
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 664 | 16:55:32
SeMI3425, если сменили домен, то да - по новой.

По обоим не рекомендуется. Яндекс такое не очень любит и директива host тогда не пишется.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 665 | 16:55:41
SeMI3425,
Quote
Мне теперь нужно поновой регистрировать сайт у поисковиков?
если прикрепили домен, то да. нужно. старый закрыт от индексации. так же в общих настройках поставьте галку на автоматическое перенаправление со стандартного на прикрепленный. в роботс нужно добавить директиву хост

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Host: адрес сайта.ру без хттп
Sitemap: http://cat.ru/sitemap.xml
Sitemap: http://t.ru/sitemap-forum.xml
Sitemap: http://cet.ru/sitemap-shop.xml

если у вас старый сайт с большими пузомерками и большой посещаемостью, то может быть стоит подумать об индексации по обоим доменам. если нет, то сразу ставьте как надо и добавляйте новый адрес в поисковики и ждите переиндексацию

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
SeMI3425
Сообщений: 59
Репутация: 0

Сообщение # 666 | 17:13:38
Сайте ещё не очень расскручен. А как надо?robots.txt User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://candlemarket.ru/sitemap.xml
Sitemap: http://candlemarket.ru/sitemap-forum.xml
Sitemap: http://candlemarket.ru/sitemap-shop.xml Sitemap - по новому адресу сайта. Вопрос - все ровно нужно прописать директиву host?
Сообщение отредактировал SeMI3425 - Пятница, 16 Ноя 2012, 17:14:03
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 667 | 17:18:15
SeMI3425,
Quote
Вопрос - все ровно нужно прописать директиву host?
да. нужно прописать

/?ssid=

замените на
/*?

так будет лучше

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
SeMI3425
Сообщений: 59
Репутация: 0

Сообщение # 668 | 21:20:54
В файловом менеджере местятся файлы sitemap их стоит обновить? старый файл подтверждения прав власности от яндекс можно удалить?И ещё - sitemap-forum и sitemap-shop их сам яндекс сгенерировал? Возможно их тоже стоит удалить после смены домена?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 669 | 22:18:00
SeMI3425, не надо карты сайта обновлять. просто удалите их из файлового менеджера и они автоматом заменятся, но уже обновленными
про властность понять не удалось, если вы про подтверждение прав, то их надо будет подтвердить снова

Quote
И ещё - sitemap-forum и sitemap-shop их сам яндекс сгенерировал? Возможно их тоже стоит удалить после смены домена?
вероятно они были в стандартном роботсе. если не используете форум и магазин, то стоит удалить

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
HukoL@
Сообщений: 47
Репутация: 2

Сообщение # 670 | 23:55:37
Скажите а в стандартном [/size][size=10]robots.txt надо прописывать запрет на индексацию страниц результатов поиска или он автоматически стоит?
MStaseek
Сообщений: 45
Репутация: 6

Сообщение # 671 | 00:17:16
HukoL@, в стандартном robots.txt есть запрет индексации страниц поиска (/search).
HukoL@
Сообщений: 47
Репутация: 2

Сообщение # 672 | 00:36:14
MStaseek, спасибо.
kuselev
Сообщений: 8
Репутация: 2

Сообщение # 673 | 01:47:17
подскажите проблемы с робот.txt
удалил свой а анализ яндекса показывает
User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid= <---------------------(что это????) гугл тратит на него время а там постоянно ошибка 404
Sitemap: http://onlinefilmkino.at.ua/sitemap.xml
Sitemap: http://onlinefilmkino.at.ua/sitemap-forum.xml
Sitemap: http://onlinefilmkino.at.ua/sitemap-shop.xml
Сообщение отредактировал kuselev - Суббота, 17 Ноя 2012, 01:48:30
Andry9811
Репутация: 0

Сообщение # 674 | 10:16:35
Добрый день,мой сайт не индексируется яндексом,пишет следующее:
30.10.2012 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует.
Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.
После того,как я воспользовался формой проверки, мне написали,что запрещен правилом.
Сайт уже месяца 3 стоит.
Что нужно сделать, чтобы он начал индексироваться?
Владимир_Лунев
Сообщений: 48
Репутация: 22

Сообщение # 675 | 20:04:34
Вопрос : как изменять robots.txt ? (Объясните как мальковому ребенку, а то я не пойму))))

Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!