Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Artkis
Сообщений: 25
Репутация: 4

Сообщение # 1651 | 12:15:44
Помогите пожалуйста!
Мой сайт the-sims4.ru был создан 17 мая 2014 года. Домен .ru я прикрепил 15 июня. Уже давно прошли эти 30 дней (карантин. по идеи, должен быть уже отключен), но в google при поиске the-sims4.ru пишет. что есть ограничение в robots!




Может, какая-то ошибка, зависло?


В майле и яндексе вообще не отображается сайт(

Помогите пожалуйста!! Облагодарю обязательно

Всё о The Sims 4
Требуются модераторы: в ЛС.
Сообщение отредактировал Artkis - Четверг, 26 Июн 2014, 16:48:27
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1652 | 17:39:25
Artkis,
Цитата
но в google при поиске the-sims4.ru пишет. что есть
эта ошибка из-за того, что вы добавили сайт в поисковики во время карантина. ждите. со временем должно исправится, если вы исправите роковые ошибки на сайте. у вас отсутствует обязательный тег TITLE на главной, а это очень нехорошая ошибка.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Artkis
Сообщений: 25
Репутация: 4

Сообщение # 1653 | 19:54:21
webanet, спасибо вам. роковые ошибки исправлю)

Всё о The Sims 4
Требуются модераторы: в ЛС.
Сообщение отредактировал Artkis - Четверг, 26 Июн 2014, 19:56:09
antnuroff
Репутация: 0

Сообщение # 1654 | 12:16:19
Сайт antvuroff.ucoz.ru. Я совершил 2 ошибки : зарегистрировал сайт в Яндексе и Гугле до истечения карантина и ввел файл robots.txt с
содержанием HOST: antvuroff.ucoz.ru. На счет карантина - он закончился 4 дня назад, но к индексации попрежнему запрещен. И что
делать с моим файлом robots.txt? Может быть его лучше убрать, тогда в действие должен вступить автоматически системный
robots.txt Ucoz"а?.
Анатоль
TiLL5512
Сообщений: 5
Репутация: 1

Сообщение # 1655 | 20:00:19
Добрый вечер, подскажите, стоит ли в роботсе закрывать от индексации страницы навигации по типу:
Disallow: /news/1
Disallow: /news/2
Disallow: /news/3
Disallow: /news/4
Disallow: /news/5
Disallow: /news/6
Disallow: /news/7
Disallow: /news/8
Disallow: /news/9

//*Страницы категорий*//
Disallow: /news/obzor/
Disallow: /news/informacija_ot_admina/
Disallow: /news/raznoe/
Disallow: /news/novosti/
Disallow: /news/guide/
Disallow: /publ/1
Disallow: /publ/oplachennye_stati/2

А также остальные страницы, частично дублирующие контент.
У кого какой опыт?
Ответы по типу "Ну если Вам надо, то закрывайте" предугадываю. НО опять же сделаю ударение на фразе "У кого какой опыт?".
Спасибо!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1656 | 20:25:38
TiLL5512, не стоит

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Streame3465
Репутация: 0

Сообщение # 1657 | 22:49:34
Подскажите пожалуйста, что у меня с роботсом не так. робот приходит на сайт но страницы не индексируются.
Прикрепления: 9543303.jpg (93.1 Kb) · 1181488.jpg (75.4 Kb)
aibolit2007
Сообщений: 69
Репутация: 22

Сообщение # 1658 | 00:01:19
Цитата Streame3465 ()
Подскажите пожалуйста, что у меня с роботсом не так. робот приходит на сайт но страницы не индексируются.

У Вас АГС.
И роботс здесь ни причем! sad
Диагноз по "телефону" (без ссылки на ваш сайт) переписывайте тексты.

Сообщение отредактировал aibolit2007 - Вторник, 15 Июл 2014, 00:05:35
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1659 | 00:09:53
aibolit2007, какой агс? вот картинка //forum.ucoz.ru/_fr/134/9543303.jpg там видно карантин

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
aibolit2007
Сообщений: 69
Репутация: 22

Сообщение # 1660 | 00:18:19
Цитата webanet ()
aibolit2007, какой агс? вот картинка //forum.ucoz.ru/_fr/134/9543303.jpg там видно карантин

Точно карантин, извините, проглядел! С не привычки, отвык!

Сообщение отредактировал aibolit2007 - Вторник, 15 Июл 2014, 00:19:51
FotinA
Сообщений: 19
Репутация: 2

Сообщение # 1661 | 16:37:35
Здравствуйте. Здравствуйте, читала хелп яндесу по Allow: и Disallow: + и тут пыталась найти ответ , но вконец запуталась и боюсь сделать ошибку ( старость не радость).
Очень прошу помочь - подсказать, как правильно запретить категории и страницы.
Проблема:
когда то делала категории к ним цепляла материалы, потом удаляла категории или изменяла их адрес, но страницы эти ( кто бы мог только подумать) живее всех живых сидят в поиске surprised , ну и конечно по новым адресам материалы старые ПС не индексирует :
к примеру про эту -
http://имя сайта/load/vkusnjatina/gotovim_blyuda_iz_ovoshhej/kulinarnye_recepty_vkusnjatiny_s_dajkonom/5-1-0-45

пишут:
Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся на вашем сайте страницы.

вот дубль в поиске
www.имя сайта/load/vkusnjatina/ovoshhi_u_nas_na_stole/kulinarnye_recepty_vkusnjatiny_s_dajkonom/5-1-0-45

А я то старая и не знала об этом (( , так как сто лет не существует категория под именем - /ovoshhi_u_nas_na_stole/
И еще есть такие категории в других разделах сайта.
Подскажите пожалуйста , как правильно прописать в роботсе запрет, так чтобы не индексировал категорию -
ovoshhi_u_nas_na_stole
и которая входит в эту цепочку по адресу - имя сайта /load/vkusnjatina/ovoshhi_u_nas_na_stole
НО при этом роботы индексировали все другое в www.имя сайта/load/ и www.имя сайта/load/vkusnjatina/

Простите старую если витиевато ( очень боюсь роботса и разозлить ПС )
Сообщение отредактировал FotinA - Вторник, 15 Июл 2014, 17:37:34
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1662 | 16:58:37
FotinA, а теперь тоже самое но кратко и с конкретными адресами

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
FotinA
Сообщений: 19
Репутация: 2

Сообщение # 1663 | 17:20:44
кратко:
надо закрыть от индексации определенную категорию, не закрывая раздел ( к примеру в модуле - каталог файлов -load )
Предполагаю если закрою категорию то и страницы выпадут прикрепленные к ней - поправьте если не права плиз!
как это сделать, что прописать в алоу и дисалоу
конкретно - с полным юрлом, страницу привести не могу так , как будет ссылка отсюда на неё ((
могу только так
вот это будет правильно в роботсе ? и нужно ли директиву в алоу писать какую-то?

Disallow: /load/vkusnjatina/ovoshhi_u_nas_na_stole/


не закроется таким образом от индексации все страницы - имя сайта/load/vkusnjatina/

Добавлено (15 Июл 2014, 17:20:44)
---------------------------------------------
webanet
прошу простить, я вам в личку отправила примеры страниц

Сообщение отредактировал FotinA - Вторник, 15 Июл 2014, 17:10:38
aibolit2007
Сообщений: 69
Репутация: 22

Сообщение # 1664 | 23:52:06
Нет, Вы точный адрес указали!

Добавлено (15 Июл 2014, 23:52:06)
---------------------------------------------
Цитата FotinA ()
кратко:
надо закрыть от индексации определенную категорию, не закрывая раздел ( к примеру в модуле - каталог файлов -load )
Предполагаю если закрою категорию то и страницы выпадут прикрепленные к ней - поправьте если не права плиз!
как это сделать, что прописать в алоу и дисалоу
конкретно - с полным юрлом, страницу привести не могу так , как будет ссылка отсюда на неё ((
могу только так
вот это будет правильно в роботсе ? и нужно ли директиву в алоу писать какую-то?

Disallow: /load/vkusnjatina/ovoshhi_u_nas_na_stole/

не закроется таким образом от индексации все страницы - имя сайта/load/vkusnjatina/

если бы Вы, указали Disallow: /load/vkusnjatina/ - тогда да! Все запрещено.
А вообще в разделе яндекс помощи , всё описано, ищите сами, мне никто не подсказывал. И всё проще чем Вам кажется!

Сообщение отредактировал aibolit2007 - Среда, 16 Июл 2014, 00:02:58
FotinA
Сообщений: 19
Репутация: 2

Сообщение # 1665 | 02:10:02
aibolit2007

огромное человеческое спасибо, что уделили время и все так подробно объяснили..
И ерунда, что не про то ответили и что послали. Главное вам никто же ничего, никогда не подсказывал, а вы вот вон сколько времени уделили!
Сообщение отредактировал FotinA - Среда, 16 Июл 2014, 02:13:15
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: