Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
eservise08
Сообщений: 16
Репутация: 13

Сообщение # 691 | 08:31:13
kuselev, у вас на всех ваших сайтах стоит стандартный файл robots, webanet писала же вам добавьте <b></b>в файл robots строку вида Disallow: /*?

Что делаем, создаем в блокноте файл robots.txt с таким содержанием и добавляем вышеуказанную строку
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /*?

Sitemap: http://вашсайт/sitemap.xml
Sitemap: http://вашсайт/sitemap-forum.xml
Sitemap: http://вашсайт/sitemap-shop.xml

Далее созданный файл заливаем на сайт
Сообщение отредактировал eservise08 - Понедельник, 19 Ноя 2012, 08:32:47
kopasov
Сообщений: 114
Репутация: 3

Сообщение # 692 | 10:19:36
Здравствуйте!Я уже просто не знаю что делать...В поиске гугла нет ни одной страницы...3 месяца с gamer-mods.ucoz.ru было всё нормально и страницы в поиске были(много),а как сменил на
gamer-mods.ru (уже 1.5 месяца прошло) и ни одной страницы теперь нет в поиске
гугла!В аккаунте гугла всё отмечено,индексация идёт,робот проверяет,в пользовательском поиске страницы есть,а в обычном поиске гугла вводишь тэги и ни одной страницы!!! В настройках самого сайта отмечен пункт перенаправлять со старого домена на
новый...
В robot.txt появился вот такой пункт Disallow: /?ssid= ,раньше не было....Подскажите
что это и если он не нужен,то как исправить?Спасибо за ответ!
Сообщение отредактировал kopasov - Понедельник, 19 Ноя 2012, 10:20:53
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 693 | 11:36:13
Quote
В robot.txt появился вот такой пункт Disallow: /?ssid= ,раньше не было....Подскажите что это и если он не нужен,то как исправить?Спасибо за ответ!
kopasov, нужен чтобы в гугле ошибки не вылезали, как описано в посте # 692
Астра
Сообщений: 847
Репутация: 260

Сообщение # 694 | 11:36:16
kopasov, с пунктом Disallow: /?ssid= как раз никаких проблем быть не должно, он отсекает страницы, в адрес которых попадает сессия. А сессия каждый раз меняется, у гостей ее вообще быть не должно - вот поисковики и ругались, находя по таким адресам пустышки.
На счет выпадения из индекса... может другой кто чего путного посоветует
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 695 | 11:46:33
kopasov, поменяйте в роботсе
Code
Disallow: /?ssid=

Host: gamer-mods.ru
на
Code
Disallow: /?ssid=
Host: gamer-mods.ru
Сообщение отредактировал bravo7446 - Понедельник, 19 Ноя 2012, 11:47:37
HETPE3B
Сообщений: 1976
Репутация: 409

Сообщение # 696 | 13:39:28
kopasov, все у Вас в порядке. гугл не успел еще переиндексировать сайт по новому домену, надо подождать. А пока посетители переходят к Вам по старому адресу гляньте. Возможно позиции просели, но без этого никуда при переезде. Продолжайте обновлять контент, словно ничего не происходит, думаю месяц еще точно пройдет.

kopasov
Сообщений: 114
Репутация: 3

Сообщение # 697 | 16:46:21
1.Disallow: /?ssid=
2.
3.Host: gamer-mods.ru

Изменить на это

1.Disallow: /?ssid=
2.Host: gamer-mods.ru

От этого пробела разве что то зависит?

Добавлено (19-Ноя-2012, 16:46:21)
---------------------------------------------

Quote
HETPE3B
Спасибо за пояснения! Будем ждать! Индексация вроде хорошо проходит,значит всё наладится!И ещё вот bravo7446 написал что пробела не должно быть в роботсе...это так? Host: gamer-mods.ru надо сразу прописывать без отступа? У меня сейчас роботс такой:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Host: gamer-mods.ru

Sitemap: http://gamer-mods.ru/sitemap.xml
Sitemap: http://gamer-mods.ru/sitemap-forum.xml
Sitemap: http://gamer-mods.ru/sitemap-shop.xml

Правильно?
Сообщение отредактировал kopasov - Понедельник, 19 Ноя 2012, 16:39:37
HETPE3B
Сообщений: 1976
Репутация: 409

Сообщение # 698 | 16:53:59
kopasov, если в Google Webmasters сообщений не поступает, значит все в порядке. Пропуск строк не влияет на индексацию

bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 699 | 17:10:39
kopasov, для обеспечения совместимости с поисковыми роботами, которые при обработке файла robots.txt не воспринимают директиву Host (не яндекс-боты), необходимо добавлять запись «Host» непосредственно после записей Disallow.
kopasov
Сообщений: 114
Репутация: 3

Сообщение # 700 | 17:24:34
Палка о двух концах...надо и не надо...
djeburg66
Сообщений: 17
Репутация: 0

Сообщение # 701 | 13:49:45
Подскажите пжлст как сделать что бы Гугл и Яндекс не видели страницу с видео-модулем? А то такое ощущение, что у меня не сайт по продаже авто, а Ютуб, в в результатах поиски одни видео файлы отображаются))) И еще... если я деактивирую видео-модуль, мне нужно снова обновлять Robots  и Sitimap, или это произойдет автоматически?
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 702 | 16:57:10
djeburg66, добавьте в роботс

Code
Disallow: /video/
В стандартном роботсе про модуль Видео ничего не прописано и он никак не связан с удалением/добавлением модулей.
А обновить роботс Вам придется потому, что стандартный Вы даже не увидите в файловом менеджере пока не зальете свой. Потом можете его редактировать, как Вам нужно.
Сообщение отредактировал bravo7446 - Среда, 21 Ноя 2012, 17:21:27
djeburg66
Сообщений: 17
Репутация: 0

Сообщение # 703 | 17:52:20
Quote (bravo7446)
В стандартном роботсе про модуль Видео ничего не прописано и он никак не связан с удалением/добавлением модулей. А обновить роботс Вам придется потому, что стандартный Вы даже не увидите в файловом менеджере пока не зальете свой. Потом можете его редактировать, как Вам нужно.
А если просто удалить модуль видео? В данном случае придется обновлять робот самому? Я просто не очень понял Ваш ответ + я еще и дилетант в этих вопросах. Заранее спасибо!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 704 | 18:11:54
djeburg66, если просто удалить, то ничего не надо. а ещё лучше наполнить модуль видео тематическим видео, раз оно у вас так хорошо идет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
bravo7446
Сообщений: 60
Репутация: 13

Сообщение # 705 | 18:15:49
djeburg66, если бы Вы хотели скрыть от индексации модуль Видео, тогда нужно было бы редактировать роботс.
Если Вы просто удаляете модуль видео, роботс обновлять не надо, он у Вас сейчас стандартный системы.

============
-Дубль- Удалите пост, плиз.
Сообщение отредактировал bravo7446 - Среда, 21 Ноя 2012, 18:20:56
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!