Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
AKIM
Сообщений: 12
Репутация: 12
Уровень замечаний:

Сообщение # 61 | 08:56:20
в Robots.txt прописано это
Disallow: /informer/
значит ли это что информеры не индексируются?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 62 | 09:03:49
AKIM, Да ..

Quote
а нужна ли вот эта строчка и за что она отвечает?
Запрещает индексацию поиска , нужна ...

Сообщение отредактировал Miss_Esq - Среда, 21 Сен 2011, 09:10:48
AKIM
Сообщений: 12
Репутация: 12
Уровень замечаний:

Сообщение # 63 | 09:08:48
а нужна ли вот эта строчка и за что она отвечает?
Disallow: /search
astroboy
Сообщений: 1
Репутация: 0

Сообщение # 64 | 01:31:26
Здравствуйте. Подскажите пожалуйста неопытному вебмастеру. То есть мне cool . В файле robots.txt , который если не изменять самому присутствуют строки :



Данные строчки, как я понимаю, запрещают индексацию поисковыми системами страниц сайта http: //ваш_сайт/index/цифра . Причем цифра, как я понял, не ограничивается 9 и может быть 10 и далее до бесконечности. И подобные страницы не должны никогда попадать в индекс поисковиков. Так вот вопрос: Если я создам страницы типа http: //ваш_сайт/index/текст . То есть вместо цифры будет название страницы, например, типа http: //ваш_сайт/index/televidenie_onlajn/0-22 ( Так заканчивается просто окончание одной страницы с моего сайта ) - попадут ли подобные страницы на индексацию в поисковые системы, если там будет уникальное содержание и описание текста и я помещу в различные социальные закладки ссылки на данную страницу ? Подскажите пожалуйста неопытному мне. cool
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 65 | 01:37:05
astroboy,
Quote
попадут ли подобные страницы на индексацию в поисковые системы
попадут
закрыт от роботов технический индекс и профили юзеров

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Andre
Сообщений: 342
Репутация: 140

Сообщение # 66 | 01:49:37
astroboy, ты умеешь считать только с одного? '/index/televidenie_onlajn/0-22'
Ingvarr2011
Репутация: 0

Сообщение # 67 | 17:29:44
Quote (weiss)
Стандартный robots позволяет наиболее оптимально индексировать сайт, а не мусором забивать поисковые системы.

При стандартном Robots.txt все равно попадает в индекс много мусора. Например страницы из какого-то непонятного раздела /gadget

Primavera
Сообщений: 23
Репутация: 18

Сообщение # 68 | 00:40:44
Помогите, плс, разобраться с двумя вопросами! Сайт http://green-tour.at.ua

1) Файл robots.txt у меня стандартный. Соответственно, есть такая строка: Disallow: /index/2
Но, по адресу http://green-tour.at.ua/index/2 у меня происходит переадресация на главную.
Это получается, что главная закрыта от индексации??? Что делать в такой ситуации?

2) Правилен ли синтаксис в следующем запрете: Disallow: /index/druzja_sajta/0-10

Спасибо!
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 69 | 09:38:14
Primavera,
1 . Ни чего не делать , всё нормально , главная будет индексироваться ...
2 . Да

Alexale
Сообщений: 102
Репутация: 4

Сообщение # 70 | 15:20:58
Прекрепил домен к новому сайту и добавил в яндекс, после проверки роботом сайт небыл проиндексирован пишет вот что:



не могу понять в чем проблема.
Прикрепления: 6649835.jpg (34.9 Kb)
Сообщение отредактировал Alexale - Воскресенье, 06 Ноя 2011, 15:21:49
Joolz
Сообщений: 81
Репутация: 27

Сообщение # 71 | 13:52:59
На сайте модуль Форум и Интернет-магазин отключены и не планирую их активировать. Может стоит убрать из robots.txt эти две строчки?
Sitemap: http://мойсайт/sitemap-forum.xml
Sitemap: http://мойсайт/sitemap-shop.xml
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 72 | 16:00:35
Joolz, конечно убирайте их можно вообще не прописывать в робот

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
virtualmashine
Сообщений: 25
Репутация: 6

Сообщение # 73 | 17:00:39
Меня давно интересует один вопрос,комментарии пользователей индексируются поисковиками или нет?Ведь они придают страницам уникальность,в robots.txt они вроде не запрещены,но я никогда не видел чтобы комментарии с моего сайта отображались в поисковиках.

-nGage-
Сообщений: 1
Репутация: 8

Сообщение # 74 | 23:58:56
Привет всем.
Народ подскажите пожалуйста создал сайт, через пару дней купил премиум, а robots.txt так и не появился... в чем проблема? когда он появится?? kinofleshka.ru
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 75 | 00:45:15
-nGage-, Нормально " появился " ... smile

Скачайте по адресу kinofleshka.ru/robots.txt ( или он списком ниже ) , сохраните в текстовом формате в кодировке utf-8 и закачайте в файловый менеджер ..


Сообщение отредактировал Miss_Esq - Суббота, 12 Ноя 2011, 00:58:15
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: