Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
mitinskaya37, как только закончится срок карантина вам надо будет залить на сайт свой файл robots.txt c содержимым
User-agent: * Disallow: / как только надо будет разрешить индексацию, вам надо будет просто удалить из файлового менеджера файл robots.txt и он автоматически заменится системным, который уже будет открыт к индексации |
|
webanet, объясните пожалуйста, поскольку не совсем я понял. Домен http://foxrecord.ru/ я покупал в прошлом году, вернее я получил его в подарок от юкоза, поскольку заплатил за отключение рекламы на год, в январе оплата моя закончилась, рекламу я отключил снова, но акции по домену уже не было, поэтому я не стал далее его эксплуатировать. Что я должен сейчас сделать (последовательность действий), чтобы индексация была снова включена по http://foxrecord.ucoz.ru ?
Сообщение отредактировал Cort - Суббота, 16 Май 2015, 19:22:44
|
|
Здравствуйте.
За последние две недели сложилась очень странная и неприятная ситуация с нашим сайтом trenager.ucoz.com. Пишем здесь, потому что в службе поддержки не могут дать ясного и вразумительного ответа. Дело в том, что в поиск Яндекса стали включаться страницы нашего сайта, которые запрещены (по словам службы поддержки) для индексации. Речь идет о корзине клиента, печатных формах заказа (для чего мы вынуждены были внести соответствующие изменения в robots.txt на днях). Сегодня заметили, что Яндекс стал индексировать и включать в поиск страницы редактирования страниц нашего сайта (http://trenager.ucoz.com/Pics/webmaster.jpg). В службе Яндекса мы получили сегодня следующий ответ: "Каких-либо препятствий в данный момент для индексирования подобных страниц сайта мы не видим: они доступны для робота, возвращают код ответа 200, их индексирование не запрещено в Вашем файле robots.txt. Чтобы страницы не смогли попасть в результаты поиска, они должны возвращать код ответа, отличный от 200 (например, 403), либо быть запрещены в robots.txt. Увы, с нашей стороны нет возможности удалить какие-либо страницы из выдачи, это может произойти автоматически лишь в том случае, если страницы станут недоступны". Пожалуйста, помогите разобраться с данным вопросом как можно скорее. С уважением, Борис. |
|
Cort, в первую очередь проверьте наличие файла robots.txt в файловом менеджере. если он есть, то просто удалите
вы перестали использовать домен, а от сайта открепили его? дайте скриншот страницы в панели управления сайтом по адресу http://foxrecord.ucoz.ru/panel/?a=domain_transfer |
|
Boris58, мне сложно сказать как яндекс насобирал эти адреса, вероятно он их нажрал из скрипта рейтинга
Код uPostForm('',{type:'POST',url:'/shop/'+id+'/edit' но так как вы не используете системный роботс, вы можете его легко отредактировать. пропишите строчку Disallow: /shop/*edit все страницы на скриншоте - это страницы доступ запрещен |
|
Спасибо Вам большое за разъяснение. Всё появилось, домен был не откреплён.
Всё поправил и роботс появился в правильном виде.  Прикрепления:
0950035.jpeg
(32.2 Kb)
|
|
Цитата webanet (  )но так как вы не используете системный роботс, вы можете его легко отредактировать. пропишите строчку Disallow: /shop/*edit Спасибо большое. Пока это самый полный и понятный ответ по нашей проблеме. Т.е., как мы поняли, все страницы редактирования товаров в магазине попадут в исключенные страницы и не будут доступны в поиске Яндекс по приведенной вами команде? Подскажите, пожалуйста, еще что нам делать с такими страницами, попавшими каким-то образом к Яндексу (на картинке)? Прикрепления:
6071577.jpg
(109.6 Kb)
|
|
Boris58,
Цитата Подскажите, пожалуйста, еще что нам делать с такими страницами, попавшими каким-то образом к Яндексу (на картинке)? добавьте Disallow: /register Disallow: /shop/checkout/ Disallow: /shop/invoices/ Disallow: /shop/*add Цитата Т.е., как мы поняли, все страницы редактирования товаров в магазине попадут в исключенные страницы и не будут доступны в поиске Яндекс по приведенной вами команде? |
|
Цитата webanet ( )вы все правильно поняли Проверьте, пожалуйста, мы ничего лишнего не включили в robots.txt чтобы не остаться без магазина: http://trenager.ucoz.com/robots.txt |
|
Boris58, все нормально получилось. и вы всегда любые ссылки можете проверить тут https://webmaster.yandex.ua/robots.xml
|
|
Код igrobum.at.ua 7.05.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. Пожалуйста, воспользуйтесь формой проверки. Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Цитата User-agent: * Allow: /*?page Allow: /*?ref= Allow: /stat/dspixel Disallow: /*? Disallow: /stat/ Disallow: /index/1 Disallow: /index/3 Disallow: /register Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /index/sub/ Disallow: /panel/ Disallow: /admin/ Disallow: /informer/ Disallow: /secure/ Disallow: /poll/ Disallow: /search/ Disallow: /abnl/ Disallow: /*_escaped_fragment_= Disallow: /*-*-*-*-987$ Disallow: /shop/checkout/ Disallow: /shop/user/ Disallow: /*0-*-0-17$ Disallow: /*-0-0- Sitemap: http://igrobum.at.ua/sitemap.xml Sitemap: http://igrobum.at.ua/sitemap-forum.xml |
|
Цитата webanet ( )mitinskaya37, как только закончится срок карантина вам надо будет залить на сайт свой файл robots.txt c содержимым User-agent: * Disallow: / как только надо будет разрешить индексацию, вам надо будет просто удалить из файлового менеджера файл robots.txt и он автоматически заменится системным, который уже будет открыт к индексации. Спасибо большое. За четкий и понятный ответ. |
|
|
|
BALCETUL,
Цитата 7.05.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. подробнее о карантине читайте тут //forum.ucoz.ru/forum/21-38597-1 |
|
webanet, Продолжу здесь. Извините за прошлую тему не в той ветке форума.
Значит такой вопрос. Вот страницы которые у меня индексируются 1) главная/news/*?page1 главная/news/*?page2 главная/news/*?page3 2) Плюс также страница главная/*?page1 главная/*?page2 главная/*?page3 Вопрос - как сделать так чтоб 1) индексировалось а 2) нет? Добавлено (18 Май 2015, 17:58:45) |
| |||