Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58 04 Апр 2006
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
Dmitry
Сообщений: 2154
Репутация: 1057

Сообщение # 31 | 10:56:14 26 Сен 2010
Вопрос: а если закрыть модули сайта от гостей как это повлияет на роботов поисковых машин?

Ответ:, Очень даже повлияет. У роботов посиковиков- будет группу гости, а если закрыть доступ группе гости, то поисковик не сможет прочитать и вбить его в свой индекс.

Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 32 | 11:46:40 01 Окт 2010
Вопрос: Пожалуйста помогите сайту уже 42 дня но он не индексируется

Ваш сайт не проиндексирован (Индексирование сайта запрещено в robots.txt?
Внимание! Индексирование этого сайта запрещено в файле robots.txt. Сайт не может быть проиндексирован и представлен в поиске, пока запрет не будет удален. Подробнее о файле robots.txt вы можете прочитать в Помощи.)
Что мне делать подскажите?

Ответ:
Ждать пока поисковик, от которого вы добиваетесь индексации, обновит свою базу данных.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
YuriT
Сообщений: 231
Репутация: 701
Уровень замечаний:

Сообщение # 33 | 03:45:17 04 Окт 2010
Вопрос: Подскажите, нужно ли закрывать индексацию информеров в роботсе, если с помощью информеров у меня выводятся самые популярные, новые, похожие материалы(перелинковка)?

Ответ:, в robots.txt индексацию информеров Вы в любом случае не закроете. Строчка
Disallow: /informer/
в стандартном robots.txt не имеет к индексации информеров абсолютно никакого отношения, и всего лишь несколько упрощает жизнь поисковым роботам (намек: под /informer/ лежат только джаваскрипты, которые в любом случае не индексируются)

Потеряшка - поиск потерянных и помощь бездомным животным в Питере
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 34 | 14:59:17 08 Дек 2010
Вопрос: Ответьте пожалуйста, я прикрееил домен. А как изменить роботс.тхт для старого домена от ucoz

Ответ:,
все зависит от настроек домена при прикреплении. если на индексацию по двум доменам галочка не стоит и идет автоматическое перенаправление со старого домена на новый, то в этом случае ничего нигде прописывать не нужно, так как старый домен уйдет в запрет по роботу и будет иметь вид
User-agent: *
Disallow: /
то есть будет стоять под запретом индексации
если галочка на индексацию по двум доменам стоит и нет перенаправления со старого на новый, то у вас будет два одинаковых робота. на новом и старом доменах. они будут стандартного вида. просто в робот нужно будет прописать хост на новый домен
зачем и почему, можно узнать из этой темы //forum.ucoz.ru/forum/21-34453-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 35 | 17:22:03 12 Фев 2011
Вопрос: Здравствуйте. У меня вопрос.
Есть сайт (существует более 3 лет), индексируется в всех поисковиках. Все работает отлично. Посещаемость стабильная, хорошая.
Купила домен - хочу припарковать - но теперь уже боюсь ошибиться (начитавшись здесь о потере индексаци и карантине).
Подскажите пошагово (или может кто поможет) - как правильно действовать.И чем мне это грозит.
- В любом случае при парковке я потеряю индексацию?
- не смогла найти файл robot/

Мне оченьважна идексация сайта(потерять даже на время ее не могу)- так как сайт посвящен пристройству животных и его каждый день ищут в поисковиках много народу (сейчас он на первыхместав в поисковиках) - а что будет после переноса (припарковки нового домена).

Ответ:, читаем внимательно тему //forum.ucoz.ru/forum/21-34453-1
robots.txt появится в файловом менеджере когда вы зальете туда свой. как залить свой робот: создаете на компьютере текстовый документ, вставляете туда содержимое роботстекста, сохраняете (система юкоз работает в UTF-8 кодировке) далее даете название своему текстовому документу robots и заливаете в файловый менеджер

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Redrik
Сообщений: 13
Репутация: 1

Сообщение # 36 | 10:52:49 03 Июн 2011
Подскажите, надо ли запрещать мобильную версию сайта, т.е.:

Disallow: /pda/
StarPhoto
Сообщений: 3
Репутация: 1

Сообщение # 37 | 00:27:53 14 Июн 2011
Добрый день! подскажите пожалуйста, мне нужно исключить из поиска страницу сайта (вот эту- http://starphotorostov.ucoz.com/board/) правильно ли я прописала её в Robot.txt?

Заранее благодарю!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 38 | 00:43:10 14 Июн 2011
StarPhoto, правильно, но зачем два раза прописали? уберите дубль
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Дуся_Вербах
Сообщений: 11
Репутация: 2

Сообщение # 39 | 00:31:58 18 Июн 2011
Прокомментируйте пожалуйста роботс.тхт
Code
User-agent: *
Disallow: /
Allow: /main.htm
Allow: /biografija/
Allow: /bloger/
Allow: /muzyka/
Allow: /furums/
Host: домен

Sitemap: http://домен/sitemap.xml
Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / Я.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 40 | 01:41:08 18 Июн 2011
Дуся_Вербах,
Quote
Прокомментируйте пожалуйста роботс.тхт
если кратко, то бред. причем бред взаимоисключающий.
верните обратно стандартный робот путем удаления того что вы тут написали (если вставили уже). и если вам нужно запретить главную на индексацию, то пропишите в мете для гугля бота и яндекса запрет. так даже надежнее будет. и подумайте ещё раз зачем главную запрещать.
или поясните внятно что именно вы хотите сделать, какие именно запреты нужно поставить и для чего
ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
ps-saw
Сообщений: 62
Репутация: 80

Сообщение # 41 | 16:42:40 18 Июн 2011
а разве вот это:

Disallow: /

не означает полный запрет индексации сайта?

Добавлено (18-Июн-2011, 16:42:40)
---------------------------------------------
так по-моему выглядит robots.txt для сайта на карантине

Дуся_Вербах
Сообщений: 11
Репутация: 2

Сообщение # 42 | 16:44:32 18 Июн 2011
webanet, Извините,но это невозможно. Мне нужен ответ (теоретический) и я отстану.
Вопрос: Как отключить индексацию всех модулей и главной страницы так,чтобы индексировались мои страницы в файловом менеджере? Как отключить индексацию в модулях я знаю,а вот как отключить индексирование главной не знаю. Все просто.Спасибо.
Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / Я.
Вагнер-Р[eng]AV
Сообщений: 52
Репутация: 57

Сообщение # 43 | 12:29:28 16 Июл 2011
Робот Яндекса индексирует страницы дважды.

Задал вопрос к ним в саппорт, вот что мне ответили:
Quote
Запретите дублирующие страницы для индексирования в robots.txt

http://help.yandex.ru/webmaster/?id=996567

Cо временем робот отследит изменения и исключит дублирующие страницы из выдачи.

Не могу сообразить, как запретить именно дублировать страницы, но не вовсе их индексировать angry
Прикрепления: 5340597.jpg (47.3 Kb)
zizi
Репутация: 1

Сообщение # 44 | 13:56:31 20 Июл 2011
Здравствуйте, приобрел новый домен из-за нелюбви контакта к стандартному, интересует вопрос, как правильно прописать в robots новый домен. Старый домен достаточно раскручен, новый только для контакта, как правильно прописать зеркала, чтобы яндекс и гугл склеил домены но не индексировал новый, такое возможно? Допустим вот такой robots у меня сейчас



Подскажите, пожалуйста что поменять и добавить в robots чтобы старый домен работал как и прежде, а новый был просто зеркалом, и целесообразно ли это вообще.
Каралина
Сообщений: 126
Репутация: 28

Сообщение # 45 | 21:13:51 26 Июл 2011
Как известно из новостей, "Яндекс" рассекретил покупки россиян в Интернет-магазинах.
На мой сайт сегодня уже 60 человек пришло по запросу "inurl:0 inurl:b inurl:1 inurl:c статус заказа"

Представители "Яндекса" заявили, что причина индексации личных данных покупателей - некорректно составленный файл robots.txt.

Как теперь правильно нужно составлять robots.txt? wacko
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: