Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
altera-stone
Репутация: 0

Сообщение # 1981 | 15:41:09
Здравствуйте. Мой сайт http://altera-stone.ru у меня robots.txt на сайте отличается от того что прописан на первой странице ( возможно старый?). Надо ли мне изменить его на ваш (новый) или вписать какие то отдельные строчки?
И ещё вопрос у меня в robots.txt нужны ли такие строчки: Sitemap: http://altera-stone.ru/sitemap-forum.xml
Sitemap: http://altera-stone.ru/sitemap-shop.xml
ведь у меня на сайте нет форума и магазина ?
Спасибо.
Прикрепления: 4815094.png(8.0 Kb)
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1982 | 15:46:07
altera-stone, если форума и магазина нет, то строчки
Цитата
http://altera-stone.ru/sitemap-forum.xml
Sitemap: http://altera-stone.ru/sitemap-shop.xml
не нужны. их можно смело удалить
остальное можно пока оставить. у вас в основном индексные страницы и каталог статей

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
altera-stone
Репутация: 0

Сообщение # 1983 | 16:07:48
Спасибо. Эти две строчки уберу. А в robots.txt можно что то добавить, что б не было такой ошибки в webmaster.yandex Он мне пишет:
На многих страницах отсутствуют или некорректно заполнены мета-теги <description>. Это может негативно повлиять на представление сайта
в результатах поиска. Вот эти бестолковые страницы: http://altera-stone.ru/news/2014-00 http://altera-stone.ru/news/2014-07-10
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1984 | 16:11:05
altera-stone, указанная вами ошибка совершенно не относятся к настройкам файла robots.txt
для указанных страниц не нужно описание. отсутствие описание на данных страницах не повлияет на представление сайта в результатах поиска

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Betsap
Сообщений: 19
Репутация: 0

Сообщение # 1985 | 15:42:52
Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte

Доброго времени суток. Объясните что это за запреты? Я так понял запрет для поисковиков и не только?
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1986 | 17:09:32
Betsap, это у вас старый вариант файла robots.txt. вам надо зайти в файловый менеджер и удалить файл с именем robots.txt после удаления он заменится на системный актуальный и больше ничего трогать не надо

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Betsap
Сообщений: 19
Репутация: 0

Сообщение # 1987 | 17:32:01
webanet, Спасибо.

Добавлено (08 Апр 2016, 17:32:01)
---------------------------------------------
webanet, зашел, удалил файл, сделал это еще 31 Мар 2016, а файл Robots.txt там и не появился, обиделся он что ли? как его вернуть? а до этого так же сделал и с sitemap.xml удалил и он через день вернулся. А Robots.txt нет.

webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1988 | 17:37:29
Betsap, если вы удалили файл robots.txt из файлового менеджера, то он автоматически заменился на системный. системный файл не отображается в списке файлов в файловом менеджере. чтобы он появился там снова, вам надо залить свой файл на сайт. если у вас оплачен пакет оптимальный и выше, то там есть удобный редактор в пу файла robots.txt в сео модуле. можно изменять файл по своему усмотрению и при этом не заливать свой вариант в файловый менеджер

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Betsap
Сообщений: 19
Репутация: 0

Сообщение # 1989 | 17:41:11
webanet, ясно. Пока пакеты еще не покупал, рано, через месяца два, пока крутить сайт буду. А где можно посмотреть стандартный robots.txt что бы прописать в нем для яндекс робота, да и запрет на пару страниц нужно поставить.
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1990 | 17:50:51
Betsap, постоянная ссылка на файл robots.txt http://betsap.com/robots.txt посмотреть на него в файловом менеджере можно только после того как зальете свой файл с тем же именем. там же в файловом сможете его редактировать, нажав на разводной ключ. но сначала надо залить

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Betsap
Сообщений: 19
Репутация: 0

Сообщение # 1991 | 17:54:21
webanet, спасибо Вам большое за помощь тут и в другой теме с доменном. Спасибки!
Myxa3095
Сообщений: 45
Репутация: 1
Уровень замечаний:

Сообщение # 1992 | 15:11:28
User-agent: YandexDisallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte

User-agent: *
Allow: /*?page*
Disallow: /a/
Disallow: /api/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /*?*
Disallow: /*_escaped_fragment_=
Disallow: /blog/*-987
Disallow: /blog/*-0-

Sitemap: http://samp-mod.ru/sitemap.xml
Sitemap: http://samp-mod.ru/sitemap-forum.xml

Все нормально с robots.txt? А то Гугл блокирует много файлов и не выводит в поиск
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1993 | 15:20:38
Myxa3095, нормально. это устаревший роботс. какие именно файлы блокирует гугл. дайте список

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Myxa3095
Сообщений: 45
Репутация: 1
Уровень замечаний:

Сообщение # 1994 | 16:45:40
там 490 файлов http://prntscr.com/as4s94
http://prntscr.com/as4sgf
http://samp-mod.ru/load/skiny/aztec/13-11
http://samp-mod.ru/load/graphics/colormod_by_radion/34-1-0-339
http://samp-mod.ru/load/sounds/7
http://samp-mod.ru/load/skiny/9-21
и т.д. как я сказал их там 490
Оказывается в поиске они есть, но почему тогда в вебмастере показывает кто залокировано

Добавлено (14 Апр 2016, 16:45:40)
---------------------------------------------
Вот как мне в гугле описали
https://productforums.google.com/forum....ster-ru
пишут что проблема от ucoz

Сообщение отредактировал Myxa3095 - Четверг, 14 Апр 2016, 16:20:06
webanet
Сообщений: 24068
Репутация: 4985

Сообщение # 1995 | 17:47:18
Myxa3095, посмотрите на то что заблокировано сначала http://prnt.sc/as4s94 не обращайте внимание. все нормально. это заблокирована картинка счетчика юкоз вот эта часть src="http://samp-zona.ucoz.ru/stat/'+Math.random()
счетчик находится на многих страницах поэтому так называемых ошибок много

Цитата
Вот как мне в гугле описали
https://productforums.google.com/forum....ster-ru
пишут что проблема от ucoz
проблема в том, что те кто вам там отвечают не знаю ни юкоз, ни тем более не знают как пользоваться вебмастером гугла
http://prnt.sc/as4s94 эта картинка ключевая. там гугл ясно написал какая конструкция блочится

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: