Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1081 | 14:17:13
pes7, ускорить с яндексом вряд ли. вам надо добавить сайт снова вот сюда http://yadd.ru/
но там все равно нужно выстоять очередь с индексацией

а с гуглом можно ускорить через гугль бот. описано тут //forum.ucoz.ru/forum/21-43240-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
pes7
Репутация: 0

Сообщение # 1082 | 15:48:50
webanet, спасибо
лео83
Сообщений: 30
Репутация: 0

Сообщение # 1083 | 15:54:36
по умолчанию стоит в роботсе стоит
Disallow: /informer/
Я правильно понимаю,что это запрет на всё что выводится через информер? или..?
То есть новости которые выводятся информером зхакрыты к индексации?
INSIDERS
Сообщений: 3
Репутация: 22

Сообщение # 1084 | 17:50:55
Фух, перечитал 70 страниц форума, немного, вроде как, стало ясно о роботсе. Правда, для своего спокойствия, все же есть несколько вопросов. smile

1. Нужен взгляд опытного человека, правильный ли будет robots.txt для сайта http://esmokers.com.ua/ в таком виде, может что-то еще добавить нужно?

Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /rtr/
Disallow: /*?
Disallow: /*-$

Host:esmokers.com.ua

Sitemap: http://esmokers.com.ua/sitemap.xml
Sitemap: http://esmokers.com.ua/sitemap-shop.xml

2. Если мне нужно закрыть от индексации какую нибудь страницу, тогда я в Рототсе прописываю: Disallow:/адрес страницы без доменного имени , верно?
3. Можно ли бороться с дублями с помощью роботса, прописывая их адрес со строкой "Disallow", или это неправильно?
(__DJ_Саске_Учия__)
Сообщений: 68
Репутация: 1836
Уровень замечаний:

Сообщение # 1085 | 18:38:03
Цитата (INSIDERS)
нужно закрыть от индексации какую нибудь страницу, тогда я в Рототсе прописываю:

Disallow:/адрес страницы без доменного имени , верно?


INSIDERS, да верно....... только после двоеточия пробел поставьте на всякий случай.......

Disallow: /адрес страницы без доменного имени.html

Disallow: /адрес папки без доменного имени/

INSIDERS, только я бы не рисковал ставить вот эти строчки в роботс......

Цитата


Disallow: /*?

Disallow: /*-$


Intel Xeon Processor E3 1276 v3 ( 8M Cache 3,60 GHz )
Сообщение отредактировал (__DJ_Саске_Учия__) - Вторник, 07 Май 2013, 18:39:20
INSIDERS
Сообщений: 3
Репутация: 22

Сообщение # 1086 | 18:47:10
(__DJ_Саске_Учия__), ок, спасибо! Можете еще что-то написать по поводу первого и третьего вопроса?
(__DJ_Саске_Учия__)
Сообщений: 68
Репутация: 1836
Уровень замечаний:

Сообщение # 1087 | 18:52:27
Цитата (INSIDERS)
может что-то еще добавить нужно?


нет добавлять ничего больше не нужно..... если в будующем нужен будет запрет на страницу типо

Цитата


Disallow: /адрес страницы без доменного имени.html



то тогда добавите в роботс это

Цитата


Disallow: /адрес страницы без доменного имени.html



Цитата (INSIDERS)
Можно ли бороться с дублями с помощью роботса, прописывая их адрес со строкой "Disallow", или это неправильно?


увы незнаю..... wacko

Intel Xeon Processor E3 1276 v3 ( 8M Cache 3,60 GHz )
INSIDERS
Сообщений: 3
Репутация: 22

Сообщение # 1088 | 18:55:07
(__DJ_Саске_Учия__), а чем опасны Disallow: /*? ; Disallow: /*-$ . Мне тут в соседней ветке наоборот советовали, что полезно прописать в роботс Disallow: /*-$ .
(__DJ_Саске_Учия__)
Сообщений: 68
Репутация: 1836
Уровень замечаний:

Сообщение # 1089 | 19:03:16
Цитата (INSIDERS)
Мне тут в соседней ветке наоборот советовали, что полезно прописать в роботс Disallow: /*-$ .


ссылку кинь.....

Цитата (INSIDERS)
а чем опасны Disallow: /*? ; Disallow: /*-$


ну тем что

/ означает корень сайта

*? означает всё что только есть до вопросительного знака.......

но я могу и ошибатся..... wacko незнаю.... сам вообщем решай ставить или нет......

INSIDERS, и глянь про вот такие выкрутасы в роботсе.....

http://forum.phpshopcms.ru/lofiversion/index.php/t852.html

Цитата


Disallow: /*_openstat

Disallow: /*from=adwords



.....

Intel Xeon Processor E3 1276 v3 ( 8M Cache 3,60 GHz )
Сообщение отредактировал (__DJ_Саске_Учия__) - Вторник, 07 Май 2013, 19:06:03
INSIDERS
Сообщений: 3
Репутация: 22

Сообщение # 1090 | 19:05:05
Цитата
ссылку кинь.....

вот: //forum.ucoz.ru/forum/21-37241-1022439-16-1367432680

Ладно подожду немного, может webanet как-то прокомментирует smile
avva-co
Сообщений: 9
Репутация: 0

Сообщение # 1091 | 09:33:20
Скажите, пожалуйста, чтобы добавить к вашему стандартному robots свое исключение нужно обязательно создать свой?
т.е. логики дополнения для этого файла нет?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 1092 | 10:02:41

Admin3933
Сообщений: 6
Репутация: 0

Сообщение # 1093 | 10:07:24
У меня проблема такая: загружаю robots.txt через файловый менеджер, а он так там и не появился. А по ссылке выдаёт мне старый роботс. Что делать?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 1094 | 10:17:52
Admin3933, Ждать пока закончится карантин или заплатить за платную услугу более 3$ USA - карантин снимется

Admin3933
Сообщений: 6
Репутация: 0

Сообщение # 1095 | 10:27:14
Цитата Miss_Esq

Admin3933, Ждать пока закончится карантин или заплатить за платную услугу более 3$ USA - карантин снимется

Мой сайт существует уже давно. Недавно я зарегистрировал новый домен и хочу теперь прописать директиву host, но никак не выходит. Пакет платных услуг у меня активирован на год.
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!