Google инструменты для веб-мастеров
Модератор форума
Сообщение # 1 | 02:33:17
Если вы создали сайт в системе uCoz и на сайте закончился карантин, то вам нужно сообщить о своем сайте поисковым системам. Это можно сделать с помощью Инструментов для веб-мастеров Google.
У вас должен быть аккаунт в поисковой системе Google, если нет, то сразу создадите аккаунт. По этой ссылке вы можете войти в панель вебмастера или зарегистрировать аккаунт
На главной странице панели вебмастера вы можете добавить свой сайт. После добавления вы должны подтвердить права на него.


Подтверждение прав на сайт:
  • Выбираем альтернативные способы - Добавить метатег в код главной страницы своего сайта - Скопируйте код который вам будет предоставлен в первом пункте инструкции - Вставьте его на сайт
  • Вставляем мета-тег подтверждения в код сайта:
  • Панель управления - Управление дизайном - Список шаблонов - Страницы сайта - открываем шаблон и вставляем:
    Код
    <head><title>$SITE_NAME$ - $MODULE_NAME$</title>
    <meta name="google-site-verification" content="fhhhtuuutbbsvsfdffjgkgkfbdbds" />
    <?$META_DESCRIPTION$?>
    <link type="text/css" rel="StyleSheet" href="/_st/my.css" />
  • Только после вставки кода жмем на кнопку Подтвердить Во время процесса подтверждения сайт не должен быть закрыт на тех. работы.




Панель вебмастера Google:

На главной странице выводится три панели с информацией и "Новое и важное" (сообщения о критических ошибках и предупреждения если есть):
  • Поисковые запросы - где выводится информация о показах и кликах на вашем сайте. Так вы можете определять популярность тех или иных страниц сайта и динамику их взлетов и падений
  • Ошибки сканирования - тут находится сводная информация по ошибкам на вашем сайте, а так же техническая информация. В пункте Заблокирован файлом robots.txt ‎(х)‎ выводится список страниц, которые заблокированы роботсом. Если страниц в списке много, то прежде чем паниковать перейдите по каждой и убедитесь, что это не основные страницы сайта, а технические. Например страница регистрации, поиска или другое
    Не найдено это те страницы вашего сайта, которые отвечают ошибкой 404, так же Google выводит информацию какие страницы на сайте или в интернете ссылаются на несуществующую страницу. В этом же блоке выводится инфо о недоступных страницах и ошибках httpВ ошибках http присутствие страницы index/sub/ это нормально
  • Файлы Sitemap - Дополнительно - Добавить Sitemap. В этом блоке можно добавлять карты сайта и смотреть статистику сканирования.


Внимание! Добавлять карты сайта нужно не вставляя сам адрес сайта, адрес гугл подставляет сам! Вы должны добавить только /sitemap.xml и /sitemap-forum.xml
Примечание! Информация об отправленных url и url в интернет-индексе всегда различна. Последний показатель может быть меньше числа отправленных. Это нормально


Полезные инструменты:

  • Конфигурация сайта - Доступ для сканера- можно проверить сам файл robots.txt его содержание и время последнего доступа Google к файлу
  • Конфигурация сайта - Настройки - тут вы можете задать географическую цель сайта и настроить основной домен в случае прикреплённого домена
  • Конфигурация сайта - Параметры url - только для опытных пользователей! Используйте только в том случае, если вы уверены что вам не нужен доступ робота к отдельных страницам или группам страниц. Google может сам вывести список урлов с параметрами. Если не уверены оставьте на усмотрение бота. Помните, что любые ошибки в этих настройках грозят вылету из индекса массы страниц
  • Состояние - Вредоносные программы - эта страница в идеале должна быть чиста. Если ваш сайт попал под фильтр безопасности и в выдаче ваш сайт помечается как вредоносный, а так же, если браузеры Mozilla Firefox и Google Chrome блокируют ваш адрес табличками-предупреждениями, то вкладка вредоносные программа будет заполнена информацией с помощью которой вы можете узнать предположительно вредоносный код и разобраться в причинах блокировки
  • Состояние - Статистика сканирования- даст вам полную информацию о деятельности бота у вас на сайте. Пункт Время, затраченное на загрузку страницы (в миллисекундах) наверное самый главный. Он отображает доступ для сканера. Чем ниже графики - тем лучше
  • Состояние - Посмотреть сайт как Google bot - одна из самых важных и полезных функций. С помощью бота вы сможете не только просматривать страницы глазами поискового робота, но и сможете добавлять страницы или целые каталоги в индекс. Подробнее о функции Посмотреть как Googlebot
  • Состояние - Заблокированные URL - На этой странице вы можете проверить состояние файла robots.txt а так же посмотреть когда файл был загружен в последний раз и сколько всего в нем заблокированных URL. Там же вы можете проверить изменения внесённые в файл robots.txt для всех видов роботов
  • Трафик - Ссылки на Ваш сайт - тут вы сможете узнать о всех ссылках, которые ведут на ваш сайт. Всех - это значит в списке не только ссылки, которые учитываются, а абсолютно все
  • Трафик - Внутренние ссылки - тут вы получите список URL на которые ссылаются другие страницы вашего сайта. Нажав на любу ссылку из списка вы получите страницу отчета о том, какие именно страницы ссылаются на выбранную вами страницу и сколько всего ссылок на неё
  • Трафик - Поисковые запросы - страница статистики вашего сайта. Подробный отчет о Запросах, Показах и Кликах. А так же динамический отчёт об популярных страницах
  • Оптимизация - Оптимизация HTML - список технической информации по страницам сайта. Не надо пугаться, если ошибок много, их нужно изучать. Работая с системой uCoz, особенно с шаблонами - эту страницу вам не удастся оставить пустой. Но это не значит, что это критические ошибки из-за которых ваш сайт не будет индексироваться. В большинстве случаев это тех. информация
  • Оптимизация - Ключевые слова в содержании - это список слов или словоформ наиболее часто встречающихся на вашем сайте.
  • Лаборатория - Пред осмотр страниц - с помощью этой функции вы сможете не только узнать как будут выглядеть снимки ваших страниц в выдаче Google, но сделать фото любой страницы самостоятельно и выяснить причины того, если изображение выводится неправильно или с ошибками. Робот даёт три сравнительных снимка и описание проблем и ошибок, возникнувших при фотосессии




Как видите панель вебмастера Google может дать очень много полезной информации.
Примечания:
1. Если вы добавили новый не проиндексированный сайт, то информация в панели появится в течение первого месяца
2. Выводимая тех. информация во всех панелях может изменяться с запозданием
Моделлер
Репутация: 0

Сообщение # 106 | 12:14:32
Мой саит не индексируется поисковиком Гугл. Код ошибки: URL restricted by robots.txt. В чем проблема?
esc1587
Репутация: 0

Сообщение # 107 | 11:51:31
Здравствуйте! Помогите решить проблему, почему гугл заблокировал у меня так много URL 7 327

В течение последних 90 дней робот Google пытался просканировать эти URL, но был заблокирован посредством файла robots.txt.
Скрин

мой robots.txt что в нём не так?, я его не менял сайту 7 месяцев.
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap-forum.xml
Sitemap: http://site.ru/sitemap-shop.xml
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 108 | 12:05:39
esc1587, А ареса заблокированных страниц какие ?

esc1587
Репутация: 0

Сообщение # 109 | 13:08:35
Цитата Miss_Esq ()
А ареса заблокированных страниц какие ?

Я не нащёл как в веб-мастере гугла посмотреть какие URL заблокированы, написано только то, что 6 858 URL заблокировано.

Добавлено (15 Фев 2014, 13:08:35)
---------------------------------------------
Вычитал на https://support.google.com

Если с одного URL выполняется переадресация на другой URL, доступ к которому блокируется в файле robots.txt, то Google будет считать, что доступ к первому URL также заблокирован в файле robots.txt, и отобразит соответствующее сообщение об ошибке (даже если первый URL отображается в списке разрешенных в инструменте анализа файла robots.txt).

Может в этом у меня проблема, так как на сайте стоят информер файлов, статей, новостей и ссылки дублируются в информере?

Прошу помощи профи! cry

Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 110 | 13:30:44
esc1587, По синей стрелке ссылка, переход (верхняя часть изображения), в другом окне (нижняя часть) выделена причина красным


Попробуйте обновить файл ...
Прикрепления: 4014273.png (18.5 Kb)

Сообщение отредактировал Miss_Esq - Суббота, 15 Фев 2014, 13:34:34
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 111 | 13:54:15
esc1587, ссылку на сайт надо додуматься дать. по скринам тут только мисс гадает. и то, только по своим

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
esc1587
Репутация: 0

Сообщение # 112 | 14:04:49
Miss_Esq, С файлом карты сайта всё нормально, у меня в другом проблема (URL был заблокирован посредством файла robots.txt. )
Вот Скрин

Добавлено (15 Фев 2014, 14:04:49)
---------------------------------------------
webanet, Скинул ссылку на сайт в ЛС.

Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 113 | 16:31:17
esc1587, Гадать там нечего, анализировать нужно и содержание сайтмапа и проблемные адреса, заблокированные в google. Проблема с адресами самими ... У меня была заблокирована тестовая страница только из за цифры 111 в ЧПУ URL ....

qwatra
Сообщений: 22
Репутация: 7

Сообщение # 114 | 12:33:49
Добрый день, форумчане.

Вот такая трабла у меня уже давно

В гугл мастере вот такие цифры уже месяц. меняется только "URL отправлены", а "количество проиндексированных URL" не меняется.

3 505 URL отправлены
2 164 – количество проиндексированных URL

Я где то в декабре купил домен .ru на этот сайт и после этого пошло не так. То что должно было произойти снижение посещаемости это я был в курсе. Но при сканировании страниц с новым доменом цифра остановилась на 2 164 и дальше никуда.

сайт http://filmodok.ru

Подскажите пожалуйста что можно исправить или сделать чтобы вернулось все на круги своя. До смены домена все шло стабильно.
Vintash
Сообщений: 379
Репутация: 172

Сообщение # 115 | 19:58:52
Из-за перенесения материалов из одной категории в другую, появились дубли по обоим адресам. Я принял меры для устранения будущих дублей, но старые все так же продолжают висеть в индексе. Подскажите, стоит ли удалять ненужные дубли при помощи функции в вебмастере "Удалить URL-адреса".
Неоднократно читал, что при удалении дублей, робот удаляет и основную страничку: пруф

Цитата
Не используйте инструмент удаления URL для удаления нежелательных версий URL. Это вам не поможет сохранить предпочтительную версию страницы. Ведь при удалении одной из версий URL (http/https, с префиксом www или без него) будут удалены и все остальные.

The Cake Is a Lie
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 116 | 21:24:15
Vintash, у вас уже конкретный пунктик с этими дублями. отчего лично вы так боитесь этих дублей? поясните
нет не стоит. надо помнить, что если гугл однажды проиндексировал страницу, то он её держит в выдаче до потери вашего сознания. по большому счету заставить удалить страницу из выдачи можно только с помощью инструмента удаления урла или с помощью параметров урл в инструментах (с относительным успехом). а самый эффективный способ избавиться от проиндексированной страницы - это удаление этой страницы с сайта. вот тогда гугл порежет страницу в выдаче с гарантией в 100%. нет в 300%
не надо рефлексировать и путать теплое с мягким. сейчас скажу крамольную вещь, но гугл к естественным дублям cms относится нормально. одну из страниц он может держать в общей выдаче, все остальное он просто припрячет в сопли, которые не делают погоды для основной страницы.
плохо гугл относится только к искусственным дублям. только тогда можно получить санкциями по всей группе страниц.
грубый пример искусственных дублей. у вас есть три одинаковые страницы. одинаковые титлы. одинаковые мета-описания. одинаковое содержание, но в конце каждой страницы стоит например ссылка на другой сайт и на каждой странице разная. вот за такое можно получить по голове. это грубый пример. и вот, чтобы защитить сайт от гнева машины гугл принимает каноникал
https://support.google.com/webmasters/answer/139394?hl=ru
читаем первые строчки толмуда

Цитата
Что такое каноническая страница?

Каноническая страница – это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.


читаем как это работает

Цитата
Если Google будет знать о том, что содержание этих страниц одинаково, то сможет добавить в результаты поиска только одну из них. Наши алгоритмы выбирают ту страницу, которая, по нашему мнению, лучше всего отвечает на запрос пользователя. Тем не менее, теперь пользователи могут указывать поисковым системам каноническую страницу, добавив элемент <link> с атрибутом rel="canonical" в раздел <head> неканонической версии страницы. Добавление этой ссылки и атрибута позволяет владельцам сайтов определять наборы идентичного содержания и сообщать Google: "Из всех страниц с идентичным содержанием эта является наиболее полезной. Установите для нее наивысший приоритет в результатах поиска".


в случае же с естественными дублями cms и без каноникала гугл уже будет рулить сам и выбирать из набора одинаковых страниц, по его мнению самую отвечающую данному запросу. все.

теперь по роботсу наглядный пример в картинках



как видим несмотря на запрет в роботсе, который гугл подтверждает. несмотря на комплекс удушающих мер в параметрах урл. то что робот взял давным давно, он упорно держит уже более года. единственное к чему привела жестокая борьба с машиной - это удалось отвадить робота от сканирования все новых и новых ссидов. удалить параметрами урл не удалось. а вот с прекращением сканирования подобного вышла победа. в параметрах стоит 4!!! экземпляра примеров

Цитата
Из-за перенесения материалов из одной категории в другую, появились дубли по обоим адресам.
после перенесения стоит временный редирект. как только старая страница начнет отдавать 404 она исчезнет из выдачи

поэтому успокойтесь. перестаньте бороться с ветряными мельницами. наполняйте и развивайте сайт и не занимайтесь ерундой
Прикрепления: 2540925.jpg (85.9 Kb)

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Vintash
Сообщений: 379
Репутация: 172

Сообщение # 117 | 21:43:50
webanet, ого, такого развернутого ответа я, честно сказать, не ожидал eek
Получается я зря прописывал canonical в шаблонах? Вот теперь не знаю, вдруг он еще и навредит...
Как думаете, хорошо или плохо, когда в дублях статьи прописан каноникал на основную ссылку материала?

The Cake Is a Lie
Сообщение отредактировал Vintash - Суббота, 08 Мар 2014, 21:47:56
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 118 | 22:17:56
Vintash, вижу, что вы нашли новую ветряную мельницу. оставьте.
я это написала тут для того, чтобы вы занялись сайтом наконец и чтобы тут не появилось 100500 тем вашего пера с вечными апами а-ля а когда выпадут дубли из индекса?
на счет дублей переноса я добавила в свою портянку. по остальным вопросам вам придется страдать дальше
ибо для того чтобы ответить точно хорошо вы сделали или плохо лучше всего иметь адрес сайта чтобы проверить. но это строгий секрет. вот и секретничайте

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 119 | 22:23:33
Vintash,
Цитата
Вот теперь не знаю, вдруг он еще и навредит...
Проверьте временем ... smile потом расскажите результат ...

Vintash
Сообщений: 379
Репутация: 172

Сообщение # 120 | 22:55:06
Вообщем как мне уже посоветовали, оставлю все как есть... Через полгодика отпишу вам результат Miss_Esq, если что, напомните wink

The Cake Is a Lie
Сообщение отредактировал Vintash - Суббота, 08 Мар 2014, 22:58:44
Поиск: