Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Naz9618
Сообщений: 33
Репутация: 0

Сообщение # 1831 | 23:50:45
Цитата webanet ()
можно поступить проще, но с жертвами в виде календаря и переписывания вручную стандартных крошек в новостях и блоге
На сайте не использую календарь он мне и не нужен. Страниц много на сайте как в новостях так и Каталоге файлов. Можно узнать поподробнее как, что и где прописать? Заранее спасибо

Добавлено (03 Май 2015, 23:50:45)
---------------------------------------------
webanet, Мжете еще помочь с этим вопросом? //forum.ucoz.ru/forum/77-73048-1

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1832 | 00:09:47
sch779, на месте ваш роботс http://www.msk779.ru/robots.txt перейдите по ссылке и сделайте f5 несколько раз, если не видите его

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1833 | 00:11:09
Naz9618, мне сложно вслепую тыкаться без сайта
Цитата
так и Каталоге файлов
какие у вас проблемы с $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' в каталоге файлов?

Цитата
Мжете еще помочь с этим вопросом?
не поняла вопрос вообще. ни слова. и без адреса сайта, даже если вы попытаетесь это пояснить не смогу увидеть, а значит ответить. а гадать не хочу

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Naz9618
Сообщений: 33
Репутация: 0

Сообщение # 1834 | 00:26:46
webanet,
Цитата webanet ()
какие у вас проблемы с $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' в каталоге файлов
Для данных страниц $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' в модуле НОВОСТИ я прописал запрет. Этот же запрет писать и для остальных модулей к примеру для КАТАЛОГ ФАЙЛОВ? иЛИ ЭТА ПРОБЛЕМА ТОЛЬКО ДЛЯ МОДУЛЯ новости?

Добавлено (04 Май 2015, 00:26:46)
---------------------------------------------
Мжете еще помочь с этим вопросом?

Цитата webanet ()
не поняла вопрос вообще. ни слова. и без адреса сайта, даже если вы попытаетесь это пояснить не смогу увидеть, а значит ответить. а гадать не хочу
На этой странице я написал о проблеме //forum.ucoz.ru/forum/77-73048-1
Попробую правильно пояснить. В настройках сайта указал что бы открывалась "главная страница". И эта страница главная состоит из информеров. В самом низу страницы хочу поставить переключатель $PAGE_SELECTOR1$, но он не отображается. ССылку на сайт послал в ЛС.
-SAM-

Сообщение # 1835 | 01:16:42
У меня вот какой вопрос возник, а именно нужна ли недавно дописанная строчка в robots.txt Allow: /stat/dspixel для сайтов не на .narod.ru ?
UPD.: получается, что нужна, так как в исходном коде в самом низу (после </html>) внедряется /stat/dspixel.js ... но всё равно вопрос зачем это индексировать, а именно эту картинку 1x1px (если я правильно понимаю) ... и что будет, допустим, если я из robots.txt строчку уберу? (ее, допустим, на большинстве сайтов в robots.txt старых и не будет, так как robots.txt залит в ФМ сайта, тоесть не обновлялся и не обновляется, кстати, на этом форуме тоже старый robots.txt).
Сообщение отредактировал -SAM- - Понедельник, 04 Май 2015, 03:08:14
Naz9618
Сообщений: 33
Репутация: 0

Сообщение # 1836 | 10:26:19
webanet, Помогите пожалуйста со страницами $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' в модуле "КАТАЛОГ ФАЙЛОВ" если такие страницы есть там.

Добавлено (04 Май 2015, 10:26:19)
---------------------------------------------
webanet, Помогите пожалуйста со страницами $PAGE_ID$='year' || $PAGE_ID$='month' || $PAGE_ID$='day' в модуле "КАТАЛОГ ФАЙЛОВ" если такие страницы есть там.

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1837 | 10:47:10
Naz9618, их там нет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Naz9618
Сообщений: 33
Репутация: 0

Сообщение # 1838 | 11:27:50
Цитата webanet ()
руками, но там получится пол километра запретов
Все же как прописать запреты если даже будут километры? Хочется все таки убрать все ненужные страницы и дубли с сайта
Вася7961
Сообщений: 9
Репутация: 0

Сообщение # 1839 | 00:05:42
У меня из-за новых robots.txt все сайты просели в выдаче. В них запрещено к индексации ссылки на скачку материалов (такого вида /load/0-0-0-10-20). Яндекс и гугл такие страницы исключил из поиска. А они мне приносили около 10000 посетителей в сутки. Так что вернул я старый robots.txt и жду когда поисковые системы вернут страницы в поиск.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1840 | 00:38:20
Вася7961, это адреса редиректов /load/0-0-0-10-20
но если вы именно по ним и даже в яндексе получали трафик, то достаточно было удалить строчку
Disallow: /*-0-0-

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Naz9618
Сообщений: 33
Репутация: 0

Сообщение # 1841 | 09:56:09
Вася7961, webanet, Не могу понять как страницы файлобменников могут быть высоко в выдаче поиска?
Вася7961
Сообщений: 9
Репутация: 0

Сообщение # 1842 | 22:07:57
Naz9618
Какие еще файлообменники? Это презентации, рефераты, программы разные, все что загружаешь в каталоге файлов... Не знаю почему, но до того, как эти редиректы стали запрещены в robots.txt трафик на сайт был ровно в 3 раза больше. Например часто пишет на странице: просмотров - 300 а скачивань 1200. Это наверное из-за этих редиректов

Добавлено (07 Май 2015, 22:07:57)
---------------------------------------------
и кстати вчера я тоже заметил на всех своих сайтах такую картину в robots.txt:
user agent: *
disallow:
Так что лучше подстраховаться и залить свои robots.txt (пускай даже стандартные укозовские)

mitinskaya37
Сообщений: 8
Репутация: 0

Сообщение # 1843 | 10:25:17
Подскажите пожалуйста:
1. Будет создаваться новый Новостной сайт+форум+ все основное.
2. Куплю доменное имя в зоне .рф у Ucoz и сразу постараюсь прикрепить.
3. Во время карантина буду наполнять сайт, в веб мастера добавлять и нигде регистрировать не буду .
4. Месяца карантина боюсь мне будет мало.
Вопрос: как мне не наделав ошибок технически продлить запрет индексации роботами сайта полностью до момента готовности? И как потом снять запрет?
Заранее благодарю за разъяснения, подсказки и помощь.
Сообщение отредактировал mitinskaya37 - Суббота, 16 Май 2015, 14:15:01
Cort
Сообщений: 5
Репутация: 2

Сообщение # 1844 | 10:29:12
Помогите пожалуйста. Сайт http://foxrecord.ucoz.ru , существует с февраля 2009 года. Файл robots.txt заблокирован последнее время, редактированию или замене по поддаётся. В чём причина. Я не собирался менять его содержимое, хотел поставить стандартный юкозовский. Не получается.
С уважением
Сообщение отредактировал Cort - Суббота, 16 Май 2015, 10:30:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1845 | 16:50:31
Cort, к вашему сайту ещё 14 числа был прикреплен домен http://foxrecord.ru/ и была отключена индексация по обоим доменам.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: