Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
rezonator5953
Сообщений: 10
Репутация: 2

Сообщение # 91 | 13:32:46
Miss_Esq,
Это просто констатация факта переписки.

webanet
При установлении редиректа появляется два файла роботс:
http://byttehnika-dp.at.ua/robots.txt
http://posudavam.com.ua/robots.txt
Первый, как я понял, создается автоматически и я его изменить не могу. Если я загружаю через файловый менеджер новый файл, изменяется второй файл, а его менять я не хочу.
По рекомендации Яндекса при переезде сайта на новый домен можно: "Разместить директиву Host в файле robots.txt. Файл robots.txt с указанием нового главного зеркала должен быть доступен на всех зеркалах группы."
Подробнее можно посмотреть здесь: http://help.yandex.ru/webmaster/?id=996567#996574
Поэтому, если uCoz обеспечит размещение директивы Host в файле robots.txt со старым именем сайта, это только улучшит индексацию страниц сайта по новому адресу Яндексом.

Посуда и аксессуары Vinzer, Rondell, Granchio
Бытовая техника Vitek, Binatone, Viconte, Scarlett
http://posudavam.com.ua/
vovik8761
Сообщений: 1
Репутация: 0

Сообщение # 92 | 16:29:11
Правильно ли составлен файл, или есть ошибки, подскажите.
Code
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: мой сайт

User-agent:*
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://мой сайт/sitemap.xml
pro100kasper
Сообщений: 1556
Репутация: 661

Сообщение # 93 | 16:48:55
vovik8761, мой вам совет просто оставить стандартный юкозовский

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 94 | 17:09:08
vovik8761, для вордпресса, который вообще никак к юкозу не относится составлен практически правильно, хотя можно было бы убрать отдельное обращение к яндексу и оставить общее
а вот для юкоза скопированный на ворпрессе робот не подходит совсем. с таким роботом сайт или не будет индексироваться вовсе, или будет игнорироваться
если ваш сайт на юкозе и вы не разбираетесь в роботе, то вам стоит оставить системный. он правильный.
и никогда не копируйте чужие роботтексты для вставки на свой сайт

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
DIRID
Сообщений: 2
Репутация: 0

Сообщение # 95 | 14:22:16
Виталий98, мой robots.txt:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Sitemap: http://6pda.3dn.ru/sitemap.xml
Sitemap: http://6pda.3dn.ru/sitemap-forum.xml
Sitemap: http://6pda.3dn.ru/sitemap-shop.xml
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 96 | 14:23:44
DIRID, у вас правильный робот. карантин снят. ничего трогать не надо

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
stalker1313
Сообщений: 63
Репутация: 0
Уровень замечаний:

Сообщение # 97 | 12:15:33
Добрый день. Подскажите пожалуйста как через robots.txt запретить индексирование некоторых страниц сайта. Если можно поподробнее, спасибо.
Осознание
Сообщений: 53
Репутация: 10

Сообщение # 98 | 22:19:41
Если у меня нет форума и не будет.
Sitemap: http://имя сайта/sitemap-forum.xml - можно это удалить? (из robots.txt, а так же сам файл?)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 99 | 22:33:49
НеоМания, можете удалять из карты сайта. а так удалять сам файл бесполезно. он автоматом замещается системным. но если из робота удалить то будет нормально

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Осознание
Сообщений: 53
Репутация: 10

Сообщение # 100 | 11:41:53


Это правильно?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 101 | 12:06:42
НеоМания, да ..

Joolz
Сообщений: 81
Репутация: 27

Сообщение # 102 | 20:14:36
Никак не могу понять зачем в роботе правило - Disallow: /a/
Со всеми остальными все понятно. Буду благодарен, за разъяснение.
fllop
Сообщений: 72
Репутация: 45

Сообщение # 103 | 17:32:55
А через сколько времени, после удаления своего робота.тхт он сам востановиться?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 104 | 17:46:52
fllop, сразу

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
fllop
Сообщений: 72
Репутация: 45

Сообщение # 105 | 19:36:22
webanet, Сам, или с моей помощью? Что то его уже неделю нет, а вроде со слов прочитанного он сам появиться wacko
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: