Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
aibolit2007
Сообщений: 69
Репутация: 22

Сообщение # 1666 | 16:22:38
удалил............

Добавлено (17 Июл 2014, 16:22:38)
---------------------------------------------
Цитата FotinA ()
aibolit2007

огромное человеческое спасибо, что уделили время и все так подробно объяснили..
И ерунда, что не про то ответили и что послали. Главное вам никто же ничего, никогда не подсказывал, а вы вот вон сколько времени уделили!

Вот команда, все проще чем вы думали.
Disallow: /load/$ - и так можно все категории запретить, а страницы при этом будут индексироваться!
И "послал" я вас неспроста, там есть что почитать! biggrin
И на будущее, зарегистрируйтесь в вебмастере Яндекса, где вы всегда можете проверить свой роботс на индексацию.

Сообщение отредактировал aibolit2007 - Четверг, 17 Июл 2014, 16:33:36
bandjuk
Сообщений: 6816
Репутация: 2398
Уровень замечаний:

Сообщение # 1667 | 16:17:29
вебмастер яндекса "Документ запрещен в файле robots.txt - 3071 страниц"



Что это за херня? И как избавиться?
Сайт http://fotki.ucoz.ua/
Прикрепления: 2916102.jpg (45.7 Kb) · 5868253.jpg (116.6 Kb)
Сообщение отредактировал bandjuk - Пятница, 18 Июл 2014, 16:19:31
aibolit2007
Сообщений: 69
Репутация: 22

Сообщение # 1668 | 17:38:40
Цитата bandjuk ()
вебмастер яндекса "Документ запрещен в файле robots.txt - 3071 страниц"

Прикалываетесь?или стебетесь?

Sonor
Сообщений: 251
Репутация: 525

Сообщение # 1669 | 17:44:27
bandjuk, всё нормально, раз заблокировано (Disallow: *?), ещё можно исключать такие страницы не через robots, а с помощью canonical. Третий вариант — удалить новый код комментов.

bandjuk
Сообщений: 6816
Репутация: 2398
Уровень замечаний:

Сообщение # 1670 | 17:49:52
Sonor, а, так это из-за новых комментов? Я думаю откуда эта хрень?!

Добавлено (18 Июл 2014, 17:49:52)
---------------------------------------------
Цитата aibolit2007 ()
Прикалываетесь?

я знаю, это я прописал, мне было интересно откуда муть взялась
Сообщение отредактировал bandjuk - Пятница, 18 Июл 2014, 17:50:13
aibolit2007
Сообщений: 69
Репутация: 22

Сообщение # 1671 | 18:16:28
Цитата bandjuk ()
я знаю, это я прописал, мне было интересно откуда муть взялась

Я не создавал Юкоз, по этому все вопросы по дублям, кстати подскажу еще один дубль
Disallow: /*987
пропишите в роботсе, для вас же лучше!
Это в качестве примера
http://fotki.ucoz.ua/news....-46-987
и вот http://fotki.ucoz.ua/news....2-09-46

Сравните адреса!
Я в шоке был, когда обнаружил!

Добавлено (18 Июл 2014, 18:16:28)
---------------------------------------------
Цитата Sonor ()
bandjuk, всё нормально, раз заблокировано (Disallow: *?), ещё можно исключать такие страницы не через robots, а с помощью canonical. Третий вариант — удалить новый код комментов.

На каждой из 800 страниц прописывать? Так, для размышлений!

Сообщение отредактировал aibolit2007 - Пятница, 18 Июл 2014, 18:24:58
Sonor
Сообщений: 251
Репутация: 525

Сообщение # 1672 | 18:35:09
aibolit2007, /news/ и /photo/ — это модули, поэтому только на двух страницах.

MercadoR
Сообщений: 116
Репутация: 0

Сообщение # 1673 | 06:40:13
Может кто robots создать что бы только индексировались картинки,каталог статей и каталог файлов, пожалуйста!)

Добавлено (29 Июл 2014, 06:40:13)
---------------------------------------------
Почему сайт не индексируется ? сайту уже почти 2 месяца
Робот стоит такой

User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://kinofan.do.am/sitemap.xml
Sitemap: http://kinofan.do.am/sitemap-forum.xml
Sitemap: http://kinofan.do.am/sitemap-shop.xml


Время - удивительная штука. Его так мало, когда опаздываешь и так много, когда ждешь.

Фильмы онлайн - kinogoll.ru
Чулышман
Сообщений: 21
Репутация: 2

Сообщение # 1674 | 13:27:39
Основной сайт был: http://chulyshman.ucoz.ru/
прикрепил домен: http://xn----7sbzjfhwjgdbg8bq8b.xn--p1ai/

недавно на яндекс начал падать ТИЦ, обратился в их службу поддержки: "" Индексирование сайта по адресу chulyshman.ucoz.ru запрещено директивой Disallow: / в его файле robots.txt. За консультацией по настройке данного файла, а также по вопросу снятия запрета на индексирование сайта Вам следует обратиться к администратору сервера, на котором он расположен. ""

Вот собственно и обращаюсь к вам - как так получилось, что сайт перестал индексироваться по зеркалу????
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1675 | 19:30:13
Чулышман, ждите переиндексацию и склейку. в роботс добавьте строчку

Host: xn----7sbzjfhwjgdbg8bq8b.xn--p1ai

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Чулышман
Сообщений: 21
Репутация: 2

Сообщение # 1676 | 12:57:03
создал в ворде отдельный документ robots.txt.rtf и поместил в корневой папке сайта, рядом со старым файлом роботс.

User-agent: Yandex
Allow: /
Disallow: /panel/
Disallow: /admin/
Host: chulyshman.ucoz.ru

Sitemap: http://xn----7sbzjfhwjgdbg8bq8b.xn--p1ai/sitemap.xml
Sitemap: http://xn----7sbzjfhwjgdbg8bq8b.xn--p1ai/sitemap-forum.xml
Sitemap: http://xn----7sbzjfhwjgdbg8bq8b.xn--p1ai/sitemap-shop.xml

у меня основной( http://chulyshman.ucoz.ru/ ) не индексировался, точнее перестал индексироваться по непонятной причине....
Сообщение отредактировал Чулышман - Воскресенье, 17 Авг 2014, 13:01:26
Sonor
Сообщений: 251
Репутация: 525

Сообщение # 1677 | 14:12:48
Чулышман, вот это совершенно не нужно было делать, что вы сделали.
Причина понятная, у вас не активирована опция «Разрешать индексацию по обоим доменам», и это правильно.

Чулышман
Сообщений: 21
Репутация: 2

Сообщение # 1678 | 06:26:00
убрать не долго! а как же раньше индексировалось???? всё работало!!!! и кто отключил???? как теперь включить????
спасибо!!! нашёл заветную кнопочку в общих настройках страницы!!!! галочки не было... очень странно, кто-то копался явно!!!! ведь стояло, сам ставил индексацию на оба домена....
спасибо
Сообщение отредактировал Чулышман - Понедельник, 18 Авг 2014, 06:31:36
FaReKe
Репутация: 0

Сообщение # 1679 | 18:21:49
У меня проблема
Гугл не индексирует.
Там написано Веб-страницы недоступно из-за ограничений в файле robots.txt.
Я заменил на свой но все равно показывает юкоз. Что делать помогите.
Вот юкоз robots.txt
User-agent: *
Disallow: /
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1680 | 18:25:00
FaReKe, начните с чтения темы //forum.ucoz.ru/forum/21-38597-1
если не поможет ссылку на проблемный сайт

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: