Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 301 | 22:11:18
Tyzemec, не хотела вас огорчить, но попытаюсь обрадовать. при прикреплении домена с отключенной функцией индексации по обоим доменам и при включенном автоматическом перенаправлении стандартный юкозовский домен просто обязан выпасть из индекса, а индексироваться должен сайт по новому домену. смотрите инфо по новому адресу, а не по старому. больше ничего не могу сказать без адреса сайта

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Tyzemec
Сообщений: 82
Репутация: 0

Сообщение # 302 | 08:49:27
Quote (webanet)
Tyzemec, не хотела вас огорчить, но попытаюсь обрадовать. при прикреплении домена с отключенной функцией индексации по обоим доменам и при включенном автоматическом перенаправлении стандартный юкозовский домен просто обязан выпасть из индекса, а индексироваться должен сайт по новому домену. смотрите инфо по новому адресу, а не по старому. больше ничего не могу сказать без адреса сайта


webanet, спасибо, вот адрес www.tyzemec.ru
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 303 | 12:13:10
Tyzemec, у вас все правильно. сайт работает по новому адресу. и идет редирект. смотрите данные для нового адреса. юкозовский пока забудьте, во всяком случае до тех пор, пока не открепите домен
только роботтекст на новом домене у вас не фонтан
сделайте так
Quote
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat/
Disallow: /search/
Disallow: /publ/

User-agent: Yandex
Disallow: /load/

Host: www.tyzemec.ru
Sitemap: http://www.tyzemec.ru/sitemap.xml


я так поняла из вашего робота что яндексу вы хотите запретить и модуль каталог файлов

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
-AlexON-
Сообщений: 98
Репутация: 20

Сообщение # 304 | 02:35:17
Здравствуйте. Есть вопрос по поводу дублирования контента. Слышал что надо скрывать от индексации дубли что бы не притормаживать индексацию сайта. Я не совсем понимаю что конкретно подразумевается под этим словом. Вот у меня новости на сайте построены таким образом. Есть Страница с полной новостью, и есть страница с коротким описанием новости. Ну как обычно это у всех кино сайтов и не только. На странице выводится скажем 20 новостей с коротким описанием новости и ссылкой на полное описание. При это короткое описание это первые два-три предложения полной. И вот вопрос: страница с 20-тью короткими описаниями считается дубликатом? Надо ее спрятать от индекса в роботс файле или нет?
Павший_варвар
Сообщений: 6
Репутация: 2

Сообщение # 305 | 04:14:28
Привет! Вопрос, сайт создан 25.03.2012 а сейчас 24.04.2012 но всё равно запрет robots что делать? Его не трогал, когда загружаю с сайта в гугл или яндекс то выдаёт вот такое:
User-agent: *
Disallow: /
а 30 дней вроде бы прошло уже((( что делать подскажите плиз?
Сообщение отредактировал Павший_варвар - Вторник, 24 Апр 2012, 04:14:38
-AlexON-
Сообщений: 98
Репутация: 20

Сообщение # 306 | 04:35:37
Павший_варвар, просто ждите, еще даже 29 дней не прошло, а всего лишь 29. Да и не факт что на 31 день роботс заработает. Придет его время, не переживайте )
Tyzemec
Сообщений: 82
Репутация: 0

Сообщение # 307 | 08:28:57
Quote (webanet)
я так поняла из вашего робота что яндексу вы хотите запретить и модуль каталог файлов

Да, всё правильно) Спасибо большое за корректировку
Кинолог
Сообщений: 32
Репутация: 2

Сообщение # 308 | 14:18:52
Здравствуйте! Подскажите пожалуйста, правильный такой robots.txt

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

User-agent: Yandex
Disallow:
Host: dogsib.ru
Sitemap: http://dogsib.ru/sitemap.xml
Sitemap: http://dogsib.ru/sitemap-forum.xml
Sitemap: http://dogsib.ru/sitemap-shop.xml

http://dogsib.ru
-AlexON-
Сообщений: 98
Репутация: 20

Сообщение # 309 | 14:55:11
На мой вопрос так и нету ответа //forum.ucoz.ru/forum/21-13447-843774-16-1334961317
Selena
Сообщений: 15657
Репутация: 1100

Сообщение # 310 | 15:14:14
-AlexON-, не считается.

Отправляя сообщение о помощи, приводите ссылку на свой сайт. Это не считается рекламой, зато снимает массу вопросов.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 311 | 22:23:20
-AlexON-,
Quote
страница с 20-тью короткими описаниями считается дубликатом? Надо ее спрятать от индекса в роботс файле или нет?
нет. не считается
Кинолог, это неправильный в смысле логики и техники роботс. в первой части вы всем роботам даете указания по запрету индексации некоторых страниц. во второй части разрешаете яндексу идексировать все.получается первая часть - директивы запретов для . вторая часть директива разрешения для яндекса. это неверно. сделайте так
Code

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Host: dogsib.ru

Sitemap: http://dogsib.ru/sitemap.xml
Sitemap: http://dogsib.ru/sitemap-forum.xml

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Кинолог
Сообщений: 32
Репутация: 2

Сообщение # 312 | 22:26:04
webanet,
Спасибо!

http://dogsib.ru
defaultNick2647
Репутация: 2

Сообщение # 313 | 20:17:52
Вот в гугле такое
"Для робота Google установлен запрет на http://www.aerogrom.at.ua/ "
Притом что страница вообще выпала с поиска...
В файле робот.ткст такое
"User-agent: *
Disallow: /"

Почему сайт перестал индексироваться и как это исправить?
FeniX_kz
Сообщений: 1642
Репутация: 971

Сообщение # 314 | 20:19:50
defaultNick2647, сколько сайту дней? Больше месяца? В любом случае, прочтите это сообщение

.::I'll be back::.
Выбор за тобой!
Сообщение отредактировал FeniX_kz - Пятница, 27 Апр 2012, 20:20:40
pro100kasper
Сообщений: 1556
Репутация: 661

Сообщение # 315 | 20:21:07
defaultNick2647, Удалите robots.txt если он конечно есть у вас в Пу если нету то создайте блокнот в него пихайте код
Code
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: http://aerogrom.at.ua/sitemap.xml
Sitemap: http://aerogrom.at.ua/sitemap-forum.xml
Sitemap: http://aerogrom.at.ua/sitemap-shop.xml


И проверьте сайт ещё не на карантине ли ?

Сообщение отредактировал pro100kasper - Пятница, 27 Апр 2012, 20:22:06
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: