Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz Вебмастеру Раскрутка сайта Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
Так у меня на сайте (написала тех. под. googl) типа их робот без этой приписки не может индексировать сайт (робот заработка) и за того не отображается баннеры рекламные. Так, что стоит ее убрать (User-agent: Mediapartners-Google
Disallow: )? Но одно странно у меня еще есть пару сайтов так все нормально робот видит, а тут чет глюкануло его, может по мечется и все восстановится. Сообщение отредактировал кум - Среда, 03 Окт 2012, 16:10:25
|
|
кум, Оставьте файл как было, а то что вы выдали в сообщении допишите в конце файла ниже ...
|
|
Quote (Miss_Esq) кум, Оставьте файл как было, а то что вы выдали в сообщении допишите в конце файла ниже ... Ниже это где именно на 1 или на 2 варианте: 1 User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search User-agent: Mediapartners-Google Disallow: Sitemap: http://.... ucoz.com/sitemap.xml 2 User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Sitemap: http://.... ucoz.com/sitemap.xml User-agent: Mediapartners-Google Disallow: |
|
кум,Это Вы где взяли ???
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Sitemap: http://.... ucoz.com/sitemap.xml |
|
То я сам уже по рекомендации поставил. Вообще сам робот googl сканирует нормально а вот робот googladsense сегодня что-то в непоряде, повторюсь на др. сайтах сканирует нормально со стандартным robot файлом -------------- Вот немного из полученного письма от googl
---------------------------------- Список ошибок, возникших при индексации Вашего сайта, Вы можете проверить в разделе "Доступ и авторизация" на странице https://www.google.com/adsense/v3/app#account Если Вы хотите предоставить роботу доступ к своим страницам, то это можно сделать, не давая разрешения на индексацию другим роботам. Просто добавьте следующие две строки в начало файла robots.txt: User-agent: Mediapartners-Google Disallow: Это изменение позволит роботу индексировать содержание Вашего сайта и обеспечивать показ релевантных объявлений Google. Учтите, что изменения в файле robots.txt могут не отражаться в нашем индексе до тех пор, пока роботы не попытаются снова проиндексировать Ваш сайт. Сообщение отредактировал кум - Среда, 03 Окт 2012, 16:39:14
|
|
кум, Ну дак допишите как роекомендуют, и проверьте как на это среагирует Яндекс Web мастер ....
|
|
Quote (Miss_Esq) кум, Ну дак допишите как роекомендуют, и проверьте как на это среагирует Яндекс Web мастер .... Это типа проверь и мы посмотрим на твоем примере)) просто не охота экспериментировать с яндексом (( или вы точно знаете, что яндекс не сможет сканировать сайт? Вот вообщем все письмо : На Вашем сайте используется файл robots.txt, который не позволяет поисковому роботу AdSense индексировать страницы. Поэтому на страницах Вашего сайта не отображаются релевантные объявления Google. Список ошибок, возникших при индексации Вашего сайта, Вы можете проверить в разделе "Доступ и авторизация" на странице https://www.google.com/adsense/v3/app#account Если Вы хотите предоставить роботу доступ к своим страницам, то это можно сделать, не давая разрешения на индексацию другим роботам. Просто добавьте следующие две строки в начало файла robots.txt: User-agent: Mediapartners-Google Disallow: Это изменение позволит роботу индексировать содержание Вашего сайта и обеспечивать показ релевантных объявлений Google. Учтите, что изменения в файле robots.txt могут не отражаться в нашем индексе до тех пор, пока роботы не попытаются снова проиндексировать Ваш сайт. Сообщение отредактировал кум - Среда, 03 Окт 2012, 16:48:44
|
|
кум,
Quote Это типа проверь и мы посмотрим на твоем примере Если бы вы пробовали какие то варианты и у вас ни чего бы не получилось это одно, а спрашивать что и как без попыток реализовать это второе ... Как будто на форуме все поголовно уже работают с googladsense .... |
|
кум,
Quote Вот вообщем все письмо : На Вашем сайте используется файл robots.txt, который не позволяет дело в том, что стандартный роботс не запрещает индексировать сайт. он закрывает некоторые технические страницы, которые и сканеру рекламы тоже не нужны. всегда работает нормально и на стандартном роботсе. не нужно для сканера рекламы открывать отдельно все, в ключая технический мусор |
|
Quote (Miss_Esq) Не типа посмотрим, а вообще, мне это неинтересно, у меня проблем с работой роботов на сайте нет и со стандартным файлом. Если бы вы пробовали какие то варианты и у вас ни чего бы не получилось это одно, а спрашивать что и как без попыток реализовать это второе ... Как будто на форуме все поголовно уже работают с googladsense .... Спасибо за помощь, но вы же не все может у кого и были таки проблемы или это нововведение какое я тоже сам не знаю я с ним работаю уже 2 года и такое первый раз с файлом robot вот и расправил тут, где мне еще спрашивать. Добавлено (03-Окт-2012, 16:53:00) Quote (webanet) сайт случайно не был на карантине, когда вы ставили рекламу? и прикреплен ли домен к сайту? На карантине не стоял все было как обычно вот сегодня утром такое выдало (( Реклама эта на сайте стоит давно и сбоев раньше не было. Вообщем меня щас только интересует, как если вот то что порекомендовали разместить в robot будут реагировать др. боты, знает кто или нет? |
|
кум,
Quote были таки проблемы |
|
Quote (Miss_Esq) Первый раз встечаю такое ... о проблемах с googladsens писалось но не по этому поводу .. все когда-то бывает в первый раз. Ладно подожду 24 часа потом отпишу я щас не отреагировал и не поставил на вверх то что они рекомендовали, может их робот что-то попутал. Если все так и останется сделаю, как они и просят о результатах отпишусь. Добавлено (03-Окт-2012, 21:40:59) --------------------------------------------- Вообщем думаю стоит отписать о проблеме. Скажу так я нечего не поменял, как мне советовала тех. поддержка. Сейчас на данный момент показ рекламы и обход робота возобновлен, чему я очень рад, что там было с роботом ума не приложу, стоит старый и добрый стандартных robot.txt так, что если у кого будет такая фишка подождите немного и все обновится в течении суток)) Сообщение отредактировал кум - Среда, 03 Окт 2012, 21:41:30
|
|
Quote (кум) Если я изменю вот так файл т.к googl adsense написали что их робот не может сканировать стр. сайта, это не как не отобразится на др. роботов сканирование будет как и прежде? User-agent: Mediapartners-Google Disallow: Все будет нормально - эти строчки влияют исключительно на доступ роботу Google Adsense. На остальные роботы, в т.ч. поисковые эти строки никакого влияния не оказывают. |
|
Прикрепил к сайту новый домен. По новому адресу robots.txt выглядит так
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Sitemap: http://мой сайт/sitemap.xml Sitemap: http://мой сайт/sitemap-forum.xml Sitemap: http://мой сайт/sitemap-shop.xml А вот по старому адресу стал таким User-agent: * Disallow: / Почему так и что можно сделать? http://martinsoff.ru/
|
|
zholobigor, ничего не нужно делать. так и должно быть. отключена настройка индексации по обоим доменам. включать не надо. сотавьте как есть. в общих настройках поставьте галку на автоматическое перенаправление. и все
|
| |||
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!