Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 391 | 14:38:55
Kalgan4295, вам не закрывать индексацию нужно а выяснить причину появления дублей и ликвидировать именно эту проблему ... одним запретом дубли не исчезнут ...

Сообщение отредактировал Miss_Esq - Среда, 27 Июн 2012, 14:39:34
Kalgan4295
Сообщений: 14
Репутация: 0

Сообщение # 392 | 14:44:46
Причина была в том что бы не правильная оптимизация кода, то бишь повторяющиеся теги <title> и мета описания для категорий, но эту ситуацию я исправил. В Яндексе появляются страницы с названием Архив материалов такого рода Архив материалов /news/3 и в гуле их очень много. разве это все связана с неправильным описанием метатегов и со временем поисковики их склеят?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 393 | 14:48:26
Kalgan4295,
Quote
в гуле их очень много
в google в web мастере можно разрулить ситуацию, не сразу но можно , есть там типа опции смотреть как google bot, задать проверку страниц ...

Сообщение отредактировал Miss_Esq - Среда, 27 Июн 2012, 14:48:41
$NikitOz$
Репутация: 0

Сообщение # 394 | 16:49:04
Quote
у робота Яндекса отсутствовал доступ к сайту, поэтому он не был проиндексирован. Уточните у Вашего хостера, не блокируется ли сейчас IP робота 178.154.243.104 на стороне сервера. Если доступ открыт, то статус сайта обновится в течение 2–3 дней.


Такое сообщение мне пишет вебмастер яндекса на протяжении 1.5 недель. Сайт http://proclub-cs.ru/. Сервер s103.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 395 | 16:57:32
$NikitOz$, я бы вам настоятельно рекомендовала бы удалить ваш роботтекст. и чем быстрее, тем лучше. он замениться стандартным вы его скопируете или скопируйте из этой темы и замените все кроме директивы хост
должно получиться это

Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: proclub-cs.ru


это я к тому что на юкоз сайте никогда не было и не будет cgi-bin который вы закрыли

в вебмастере яндекса инфо может довольно длительное время не обновляться

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
fllop
Сообщений: 72
Репутация: 45

Сообщение # 396 | 21:12:34
Комментарии открыты для индексирования если в роботе ничего не менял? И если установить комментарии с Вконтакта они будут тоже индексироваться? Как они вообще, влияют на сайт, или без разницы?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 397 | 21:34:06
fllop, нет и нет. комментарии не индексируются. подгруженные контактовским виджетом тем более не будут индексироваться

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Sevengor
Сообщений: 58
Репутация: 7

Сообщение # 398 | 22:01:18
прошу досрочно снять карантин на индекс c txt сайт http://brend.clan.su/, - он уже вполне работаспособен и интересен... batman

рекламу свою поставили а robots.txt:

User-agent: *
Disallow: / angry

Он поменяеться, когда ждать? ? пытался свой грузануть - хрен, зато юуозовский банер на полстраницы весит, только хрена с него толку юкозу если сайт не индексируеться...

Сообщение отредактировал Sevengor - Четверг, 28 Июн 2012, 22:12:48
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 399 | 22:20:37
Sevengor, карантин снимается автоматически только через 30 дней после дня образования сайта или платно ...

Sevengor
Сообщений: 58
Репутация: 7

Сообщение # 400 | 22:24:00
А почему рекламы юкоза не было, а как только я запросил досрочное снятие карантина. она сразу возникла, это для этого описали такую возможность?, но не расстраивайтесь я без рабочего тхт никаких работ по продвижению этого сайта еще не делал wink так что подождем,с-таки...

Сообщение отредактировал Sevengor - Четверг, 28 Июн 2012, 22:28:40
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 401 | 22:26:30
Sevengor, реклама на сайте не появляется сразу же, только через несколько дней после создания ...

VadimW
Сообщений: 275
Репутация: 27

Сообщение # 402 | 23:38:06
Помогите с robots.txt я хочю подключить Yandex себе на сайт(бота) Вот так нужно?
Code

User-agent: Yandex  
  Disallow: /a/  
  Disallow: /stat/  
  Disallow: /index/1  
  Disallow: /index/2  
  Disallow: /index/3  
  Disallow: /index/5  
  Disallow: /index/7  
  Disallow: /index/8  
  Disallow: /index/9  
  Disallow: /panel/  
  Disallow: /admin/  
  Disallow: /secure/  
  Disallow: /informer/  
  Disallow: /mchat/*
  Disallow: /search/*
  Disallow: /shop/order/
  Disallow: /news/0-0-0-0-1
  Disallow: /load/0-0-0-0-1
  Disallow: /publ/0-0-0-0-1
  Disallow: /index/0-3
  Disallow: /news/*

  Sitemap: http://ofcomp.ucoz.ru/sitemap.xml  
  Sitemap: http://ofcomp.ucoz.ru/sitemap-forum.xml  
  Sitemap: http://ofcomp.ucoz.ru/sitemap-shop.xml

OfComp.ru - Статьи, обзоры, новости из мира технологий. Мы расскажем и поделимся с вами полезными советами, которые помогут решить проблемы с компьютером.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 403 | 00:01:12
VadimW, вот так нужно. общей, которую яндекс отлично понимает

Quote

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat/*
Disallow: /search/*
Disallow: /shop/order/
Disallow: /news/0-0-0-0-1
Disallow: /load/0-0-0-0-1
Disallow: /publ/0-0-0-0-1
Disallow: /index/0-3
Disallow: /news/*

Sitemap: http://ofcomp.ucoz.ru/sitemap.xml
Sitemap: http://ofcomp.ucoz.ru/sitemap-forum.xml
Sitemap: http://ofcomp.ucoz.ru/sitemap-shop.xml

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
VadimW
Сообщений: 275
Репутация: 27

Сообщение # 404 | 00:38:20
webanet, Ну у меня и так это стоит, ладно и на этом спасибо)
http://ofcomp.ucoz.ru/robots.txt

OfComp.ru - Статьи, обзоры, новости из мира технологий. Мы расскажем и поделимся с вами полезными советами, которые помогут решить проблемы с компьютером.
fllop
Сообщений: 72
Репутация: 45

Сообщение # 405 | 01:05:26
Quote (webanet)
fllop, нет и нет. комментарии не индексируются. подгруженные контактовским виджетом тем более не будут индексироваться


Почему не индексируються? Как открыть?
Сообщение отредактировал fllop - Пятница, 29 Июн 2012, 02:59:37
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: