Страница 3 из 138«12345137138»
Модератор форума: Yuri_G 
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
webanet
Личный менеджер
Сообщений: 23180
Репутация: 4877

Сообщение # 31 | 21:06:56
роботтекст это тот документ с помощью которого можно корректироваться индексацию сайта. поэтому, если вы хотите полностью скрыть сайт от индексации основными поисковиками, которые обращаются к роботтексту, то можно поставить такой запрет
Quote
User-agent: *
Disallow: /

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Dmitry
Сообщений: 2154
Репутация: 1057

Сообщение # 32 | 10:56:14
Вопрос: а если закрыть модули сайта от гостей как это повлияет на роботов поисковых машин?

Ответ:, Очень даже повлияет. У роботов посиковиков- будет группу гости, а если закрыть доступ группе гости, то поисковик не сможет прочитать и вбить его в свой индекс.

Selena
Сообщений: 15657
Репутация: 1099

Сообщение # 33 | 11:46:40
Вопрос: Пожалуйста помогите сайту уже 42 дня но он не индексируется

Ваш сайт не проиндексирован (Индексирование сайта запрещено в robots.txt?
Внимание! Индексирование этого сайта запрещено в файле robots.txt. Сайт не может быть проиндексирован и представлен в поиске, пока запрет не будет удален. Подробнее о файле robots.txt вы можете прочитать в Помощи.)
Что мне делать подскажите?

Ответ:
Ждать пока поисковик, от которого вы добиваетесь индексации, обновит свою базу данных.


Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
YuriT
Сообщений: 231
Репутация: 701
Уровень замечаний:

Сообщение # 34 | 03:45:17
Вопрос: Подскажите, нужно ли закрывать индексацию информеров в роботсе, если с помощью информеров у меня выводятся самые популярные, новые, похожие материалы(перелинковка)?

Ответ:, в robots.txt индексацию информеров Вы в любом случае не закроете. Строчка
Disallow: /informer/
в стандартном robots.txt не имеет к индексации информеров абсолютно никакого отношения, и всего лишь несколько упрощает жизнь поисковым роботам (намек: под /informer/ лежат только джаваскрипты, которые в любом случае не индексируются)


Потеряшка - поиск потерянных и помощь бездомным животным в Питере
webanet
Личный менеджер
Сообщений: 23180
Репутация: 4877

Сообщение # 35 | 14:59:17
Вопрос: Ответьте пожалуйста, я прикрееил домен. А как изменить роботс.тхт для старого домена от ucoz

Ответ:,
все зависит от настроек домена при прикреплении. если на индексацию по двум доменам галочка не стоит и идет автоматическое перенаправление со старого домена на новый, то в этом случае ничего нигде прописывать не нужно, так как старый домен уйдет в запрет по роботу и будет иметь вид
User-agent: *
Disallow: /
то есть будет стоять под запретом индексации
если галочка на индексацию по двум доменам стоит и нет перенаправления со старого на новый, то у вас будет два одинаковых робота. на новом и старом доменах. они будут стандартного вида. просто в робот нужно будет прописать хост на новый домен
зачем и почему, можно узнать из этой темы http://forum.ucoz.ru/forum/21-34453-1


ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Личный менеджер
Сообщений: 23180
Репутация: 4877

Сообщение # 36 | 17:22:03
Вопрос: Здравствуйте. У меня вопрос.
Есть сайт (существует более 3 лет), индексируется в всех поисковиках. Все работает отлично. Посещаемость стабильная, хорошая.
Купила домен - хочу припарковать - но теперь уже боюсь ошибиться (начитавшись здесь о потере индексаци и карантине).
Подскажите пошагово (или может кто поможет) - как правильно действовать.И чем мне это грозит.
- В любом случае при парковке я потеряю индексацию?
- не смогла найти файл robot/

Мне оченьважна идексация сайта(потерять даже на время ее не могу)- так как сайт посвящен пристройству животных и его каждый день ищут в поисковиках много народу (сейчас он на первыхместав в поисковиках) - а что будет после переноса (припарковки нового домена).

Ответ:, читаем внимательно тему http://forum.ucoz.ru/forum/21-34453-1
robots.txt появится в файловом менеджере когда вы зальете туда свой. как залить свой робот: создаете на компьютере текстовый документ, вставляете туда содержимое роботстекста, сохраняете (система юкоз работает в UTF-8 кодировке) далее даете название своему текстовому документу robots и заливаете в файловый менеджер


ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Redrik
Сообщений: 13
Репутация: 1

Сообщение # 37 | 10:52:49
Подскажите, надо ли запрещать мобильную версию сайта, т.е.:

Disallow: /pda/
StarPhoto
Сообщений: 3
Репутация: 1

Сообщение # 38 | 00:27:53
Добрый день! подскажите пожалуйста, мне нужно исключить из поиска страницу сайта (вот эту- http://starphotorostov.ucoz.com/board/) правильно ли я прописала её в Robot.txt?

Заранее благодарю!
webanet
Личный менеджер
Сообщений: 23180
Репутация: 4877

Сообщение # 39 | 00:43:10
StarPhoto, правильно, но зачем два раза прописали? уберите дубль

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Дуся_Вербах
Сообщений: 11
Репутация: 2

Сообщение # 40 | 00:31:58
Прокомментируйте пожалуйста роботс.тхт
Code
User-agent: *
Disallow: /
Allow: /main.htm
Allow: /biografija/
Allow: /bloger/
Allow: /muzyka/
Allow: /furums/
Host: домен

Sitemap: http://домен/sitemap.xml

Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / Я.
webanet
Личный менеджер
Сообщений: 23180
Репутация: 4877

Сообщение # 41 | 01:41:08
Дуся_Вербах,
Quote
Прокомментируйте пожалуйста роботс.тхт
если кратко, то бред. причем бред взаимоисключающий.
верните обратно стандартный робот путем удаления того что вы тут написали (если вставили уже). и если вам нужно запретить главную на индексацию, то пропишите в мете для гугля бота и яндекса запрет. так даже надежнее будет. и подумайте ещё раз зачем главную запрещать.
или поясните внятно что именно вы хотите сделать, какие именно запреты нужно поставить и для чего

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
ps-saw
Сообщений: 47
Репутация: 78

Сообщение # 42 | 16:42:40
а разве вот это:

Disallow: /

не означает полный запрет индексации сайта?

Добавлено (18-Июн-2011, 16:42:40)
---------------------------------------------
так по-моему выглядит robots.txt для сайта на карантине

Дуся_Вербах
Сообщений: 11
Репутация: 2

Сообщение # 43 | 16:44:32
webanet, Извините,но это невозможно. Мне нужен ответ (теоретический) и я отстану.
Вопрос: Как отключить индексацию всех модулей и главной страницы так,чтобы индексировались мои страницы в файловом менеджере? Как отключить индексацию в модулях я знаю,а вот как отключить индексирование главной не знаю. Все просто.Спасибо.

Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / Я.
Вагнер-Р[eng]AV
Сообщений: 52
Репутация: 57

Сообщение # 44 | 12:29:28
Робот Яндекса индексирует страницы дважды.

Задал вопрос к ним в саппорт, вот что мне ответили:
Quote
Запретите дублирующие страницы для индексирования в robots.txt

http://help.yandex.ru/webmaster/?id=996567

Cо временем робот отследит изменения и исключит дублирующие страницы из выдачи.

Не могу сообразить, как запретить именно дублировать страницы, но не вовсе их индексировать angry
Прикрепления: 5340597.jpg(47Kb)

zizi
Репутация: 1

Сообщение # 45 | 13:56:31
Здравствуйте, приобрел новый домен из-за нелюбви контакта к стандартному, интересует вопрос, как правильно прописать в robots новый домен. Старый домен достаточно раскручен, новый только для контакта, как правильно прописать зеркала, чтобы яндекс и гугл склеил домены но не индексировал новый, такое возможно? Допустим вот такой robots у меня сейчас



Подскажите, пожалуйста что поменять и добавить в robots чтобы старый домен работал как и прежде, а новый был просто зеркалом, и целесообразно ли это вообще.
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Страница 3 из 138«12345137138»
Поиск: