• Страница 1 из 2
  • 1
  • 2
  • »
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Общие вопросы от вебмастеров » Заблокировано в файле robots.txt (подскажите как исправить)
Заблокировано в файле robots.txt
vanovoevoda
Сообщений: 147
Репутация: 6

Сообщение # 1 | 08:19:54
в гугл вебмастере вот такой график по индексации.



это так должно быть? или нет? файл robots.txt я свой не создавал, так как я понимаю в юкозе есть базовый
Прикрепления: 8444398.jpg (70.2 Kb)
$Vladimir$
Сообщений: 7465
Репутация: 1053

Сообщение # 2 | 08:28:41
vanovoevoda, адрес сайта укажите
vanovoevoda
Сообщений: 147
Репутация: 6

Сообщение # 3 | 08:42:43
$Vladimir$, http://ex-tor.net/

Добавлено (10 Май 2015, 08:42:43)
---------------------------------------------
$Vladimir$, так что мне делать? домен домен я поменял уже месяца два назад. до этого посещаемость была 4000, после смены домена очень упала и щас вот такое ..

может поставить robots.txt вида:
User-agent: *
Disallow:

??

$Vladimir$
Сообщений: 7465
Репутация: 1053

Сообщение # 4 | 11:37:28
Цитата vanovoevoda ()
домен я поменял уже месяца два назад.


Согласно данным системы домен вы сменили 2015-04-14.

Также на страницах встречаются ссылки на старый домен, который закрыт от индексации
пример со страницыДоступно только для пользователей
vanovoevoda
Сообщений: 147
Репутация: 6

Сообщение # 5 | 12:49:40
$Vladimir$, так, выходит, сайт из-за этого так тупит? из-за старых ссылок? или что мне ещё нужно сделать, чтоб он поскорее восстановил трафик? подскажите, пожалуйста
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 6 | 15:53:38
vanovoevoda, вы закрыли старый домен к индексации поэтому медленнее все идет. в яндексе задержка из-за поломки зеркальщика. в гугле и яндексе из-за того, что вы закрыли к индексации стандартный домен
что у вас тупит? на переиндексацию надо около двух месяцев, на полную склейку может уйти чуть больше в вашем случае. вы наделали ошибок, не дождались даже месяца и у вас все тупит?
роботс менять не стоит. если что-то важное заблокировано в роботсе, то гугл выдаст список заблокированного
если список есть предъявите его, но не на картинке на которой ничего не видно, нужны списки конкретных урлов

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
vanovoevoda
Сообщений: 147
Репутация: 6

Сообщение # 7 | 20:01:29
webanet, так а почему Заблокировано в файле robots.txt аж 8500 ? или что это такое?

Добавлено (10 Май 2015, 20:01:29)
---------------------------------------------
webanet, может, мне поставить галочку для индексации обеих доменов? или уже смысла нет?

barocha69
Сообщений: 95
Репутация: 34

Сообщение # 8 | 21:46:55
Цитата vanovoevoda ()
так а почему Заблокировано в файле robots.txt аж

Попробую вам объяснить.
Как я понимаю у вас на страницах есть ссылки http://extor.at.ua/Kartinki/load.png - этот и подобные адреса прописали Вы или тот кто делал Вам сайт. Правильно было бы прописать тоже самое но без "extor.at.ua" и тогда не в зависимости от того какой у вас домен прикреплен - ссылка будет всегда рабочей.
И так как у Вас стоит запрет в роботсе по старому домену http://extor.at.ua/robots.txt
User-agent: *
Disallow: /
то все ссылки начинающиеся с extor.at.ua будут не доступны поисковикам. Поэтому Яндекс и Гугл будут ругаться и выдавать что у вас много страниц запрещенных к индексации.
Что делать не подскажу ибо нет опыта, да и сам примерно в вашей ситуации ))

Добавлено (10 Май 2015, 21:46:55)
---------------------------------------------
Да и уберите кликандер - убъете сайт

vanovoevoda
Сообщений: 147
Репутация: 6

Сообщение # 9 | 22:57:52
barocha69, понятно. я поубирал уже ссылки те на .at.ua, просто я не думал, что это так влияет на индексацию. дизайн сам делал.

Добавлено (10 Май 2015, 22:57:52)
---------------------------------------------
barocha69, я ещё сглупил, что не поставил поначалу индексацию по обеим доменам. придурь бл..

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 10 | 23:01:20
vanovoevoda,
Цитата
так а почему Заблокировано в файле robots.txt аж 8500 ? или что это такое?
в основном скорее всего у вас в заблокированных числятся ссылки с атрибутом search. это поисковые ссылки и они заблокированы в системном файле robots.txt и они должны быть заблокированы, так как ещё и экранированы по умолчанию.
так много из-за того, что скорее всего у вас много тегов на сайте, плюс ваша любовь к созданию мусорных страниц
примеры страниц-мусора
http://ex-tor.net/index/ssylki_2/0-29 вообще надо удалить в глазах робота - это пустая страница-ссылкопомойка. все ссылки на странице кроме тегов открыты и к тематике сайта не имеют отношение.
второе место в номинации страница-мусор http://ex-tor.net/index/stranica_poiska/0-4 поисковую форму можно было ввернуть на страницах сайта и не создавать отдельную совершенно пустую в глазах поисковых роботов страницу
третье место в номинации страница-мусор http://ex-tor.net/index/dobavit_torrent/0-25
у вас же и так на каждой странице материала и комментария есть теги
кстати. на каждой странице материала и комментария у вас висят по две мертвые ссылки
Как качать? | Помощь сайту!
попытки украсить их картинками не увенчались успехом и сделали их 404

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
vanovoevoda
Сообщений: 147
Репутация: 6

Сообщение # 11 | 03:06:53
webanet, ссылки пустые в роботс запретил, теги внизу удалил. посмотрим. спасибо.

а вот ещё: может мне всё же поставить индексацию по обеим доменам? или уже пусть так будет? как лучше?

Добавлено (11 Май 2015, 02:58:24)
---------------------------------------------
webanet, я в роботс правильно запретил ссылки?

например,

Disallow: /index/stranica_poiska/0-4

верно?

Добавлено (11 Май 2015, 03:06:53)
---------------------------------------------
webanet, создал и загрузил роботс файл такой же как системный, только добавил ещё пару своих ссылок.

Elektrik8209
Сообщений: 31
Репутация: 15

Сообщение # 12 | 22:55:11
Прошу помочь с аналогичной проблемой. Адрес сайта - http://elektrikpodolsk.ru

$IMAGE1$
Сообщение отредактировал Elektrik8209 - Понедельник, 07 Май 2018, 23:01:23
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 13 | 23:18:07
Elektrik8209, что на скрине? какие ссылки заблокированы? чтобы скрин отображался он должен быть меньше 500 кб

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Elektrik8209
Сообщений: 31
Репутация: 15

Сообщение # 14 | 23:31:19
webanet, спасибо, завтра подготовлю скрины.
Сообщение отредактировал Elektrik8209 - Вторник, 08 Май 2018, 23:40:04
Elektrik8209
Сообщений: 31
Репутация: 15

Сообщение # 15 | 14:39:14

Скрины робота и график. Не подскажете, откуда такая динамика на графике по количеству запрещенных страниц? Кто их запрещает?
Прикрепления: 4035981.jpg (151.8 Kb) · 0463641.jpg (110.3 Kb)
Сообщение отредактировал Elektrik8209 - Суббота, 12 Май 2018, 14:41:49
Сообщество uCoz » Вебмастеру » Общие вопросы от вебмастеров » Заблокировано в файле robots.txt (подскажите как исправить)
  • Страница 1 из 2
  • 1
  • 2
  • »
Поиск: