Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58 04 Апр 2006
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
_VITALIK_
Сообщений: 696
Репутация: 115
Уровень замечаний:

Сообщение # 1816 | 17:23:00 20 Апр 2015
SavOK, Вы домен недавно преобрели ?
SavOK
Сообщений: 6
Репутация: 0

Сообщение # 1817 | 17:24:39 20 Апр 2015
Цитата _VITALIK_ ()
SavOK, Вы домен недавно преобрели ?

20 марта 2015
_VITALIK_
Сообщений: 696
Репутация: 115
Уровень замечаний:

Сообщение # 1818 | 17:30:55 20 Апр 2015
SavOK, Читайте, всё читайте. Там есть ответ на ваш вопрос
Сообщение отредактировал _VITALIK_ - Понедельник, 20 Апр 2015, 17:32:20
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1819 | 17:32:56 20 Апр 2015
SavOK, какие именно ошибки выдает гугл?
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
SavOK
Сообщений: 6
Репутация: 0

Сообщение # 1820 | 18:53:15 20 Апр 2015
Вот что пишет мне Гогл:

Добавлено (20 Апр 2015, 18:53:15)
---------------------------------------------

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1821 | 18:56:28 20 Апр 2015
SavOK, отлично. ошибки были в ваших файлах карты сайта в роботсе. теперь ошибок нет. через месяц ошибки уйдут из вебмастера. больше ничего делать не надо
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
SavOK
Сообщений: 6
Репутация: 0

Сообщение # 1822 | 18:58:22 20 Апр 2015
Цитата webanet ()
SavOK, отлично. ошибки были в ваших файлах карты сайта в роботсе. теперь ошибок нет. через месяц ошибки уйдут из вебмастера. больше ничего делать не надо

Спасибо большое.
Вамп
Сообщений: 1
Репутация: 0

Сообщение # 1823 | 13:05:38 25 Апр 2015
Здравствуйте. Страницы моего сайта все больше и больше исключаются яндексом, на прошлой неделе было 40 исключений, теперь 66, при этом месяца два назад в яндексе было примерно 400+ страниц, а сейчас осталось 197, хотя вроде как ничего особо не делал, статьи на сайте обновляются практически каждую неделю.


Вот что выдает яндекс
Так же возникают проблемы с Гуглом, появляются ошибки такого плана http://vvalgalla.ruhttp://vvalgalla.ru/news/pirate_story/1-0-1 и естественна такая ссылка не откроется.
Подскажите, могли ли эти проблемы возникнуть из-за не правильного robots.txt?
Сообщение отредактировал Вамп - Суббота, 25 Апр 2015, 13:06:34
-SAM-

Сообщение # 1824 | 21:48:58 30 Апр 2015
Цитата "_aleksey_"
Более того, это промежуточное содержимое, и скоро-скоро появится наиболее оптимальная версия правил для robots.txt.
Сейчас вообще какой-то глюк, что robots.txt на сайтах системный попросту пустой, при проверке https://webmaster.yandex.ua/robots.xml пишется "Файл robots.txt не содержит правил."... уж не знаю чего там работники uCoz'а делают, но лучше у кого не был залит на сайт этот файл, то залейте его туда самостоятельно в ФМ сайта. Я понимаю, что лучше использовать стандартный robots.txt, который максимально ориентирован под правильную индексацию ПС, исходя из обновлений в системе (вносятся правки на то, что индексировать не следует), но раз он вовсе может вот так вдруг исчезнуть, то лучше подстраховаться.
Сообщение отредактировал -SAM- - Четверг, 30 Апр 2015, 22:02:56
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1825 | 22:08:46 30 Апр 2015
-SAM-, адрес сайта предоставьте где исчез robots.txt
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
-SAM-

Сообщение # 1826 | 22:14:57 30 Апр 2015
webanet, да не важно, я говорю у кого был не залит на сайт в ФМ, а был системный - у всех пустые они сейчас. Он выше человек отписался - у него сейчас тоже пустой.
P.S.: сейчас вот хожу по сайтам, к которым имею отношение, и где был robots.txt не залит в ФМ, то заливаю его туда, чего и вам советую (заливаю через http://web.archive.org/web/*/http://адрес.сайта/robots.txt , исходя из рекомендаций в шапке этой темы, но не суть).
Сообщение отредактировал -SAM- - Четверг, 30 Апр 2015, 22:50:36
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1827 | 22:20:11 30 Апр 2015
-SAM-, исправлено
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Naz9618
Сообщений: 33
Репутация: 0

Сообщение # 1828 | 22:00:42 03 Май 2015
webanet, Доброго времени суток. Подскажите пожалуйста а "Страница поиска материала и рейтинга" закрыта от индексации в новом ROBOTS.TXT? Допустим в профиле пользователя есть ссылка на его добавленные материалы. Вообще отключить эту функцию в настройках? И еще страницы типа $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' закрыты от индексации или надо вручную прописать? Заранее спасибо
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1829 | 23:24:39 03 Май 2015
Naz9618,
Цитата
Доброго времени суток. Подскажите пожалуйста а "Страница поиска материала и рейтинга" закрыта от индексации в новом ROBOTS.TXT?
закрыты, но не все. лучше всего в шаблон профиля пользователя вставить
Код
<meta name="robots" content="noindex,nofollow">

Цитата
И еще страницы типа $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' закрыты от индексации или надо вручную прописать?

руками, но там получится пол километра запретов
можно поступить проще, но с жертвами в виде календаря и переписывания вручную стандартных крошек в новостях и блоге
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
sch779
Сообщений: 703
Репутация: 348

Сообщение # 1830 | 23:32:49 03 Май 2015
Когда создастся стандартный robots.txt?
На днях удалил его - в справке написано, что должен создастся автоматом - все еще нет!
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: