В панели инструментов для веб-мастеров Google есть очень полезная и интересная функция Просмотреть как Googlebot.
У вас должен быть аккаунт Гугла с помощью которого вы сможете использовать Инструменты для вебмастеров.

Ваш сайт должен быть добавлен в вебмастер и должен быть проиндексирован Гуглом, то есть в вебмастере должна появится информация о сайте.

Для того чтобы добраться до функции просмотра Googlebot-ом, вы должны с начальной страницы, где представлен список прикрепленных к аккаунту сайтов со скриншотами, перейти на любой из ваших сайтов. Для этого нужно кликнуть по ссылке возле скриншота. Так вы перейдете в инструментарий именно для этого сайта.
На главной странице слева есть меню Панель инструментов сайта, вы должны выбрать пункт Сканирование - в списке выбираем Просмотреть как Googlebot

Как это работает и зачем это нужно
Вам дается на все сайты прикрепленные к аккаунту 500 запросов на просмотр раз в 10 дней и 10 запросов на добавление URL и связанных страниц на месяц



Вы можете получить содержание для мобильных устройств и смартфонов (старая и новая версии), а так же для веба. Для выбора способа получения содержимого кликните на панель рядом с кнопкой Получить содержание



При получении содержания для веба у вас появится функция Отправить в индекс заданную страницу



Вам дается два варианта отправки в индекс заданного URL: URL



И отправка URL и все связанные страницы



В первом случае вы отправляете на индексирование только отдельную страницу с материалом. Это очень удобно в тех случаях, если вы добавили на сайт материал или изменили его. Робот сразу заходит, "фотографирует" страницу с материалом, выводит вам в панель результат сканирования (можно увидеть, если нажать на ссылку "успешно")
и тут же предлагает проиндексировать. Не факт, что через несколько минут материал появится в индексе, но очень полезно Гугл-боту первому показать новинку на вашем сайте.
Во втором случае вы указываете точку входа для робота, с которой он начнет индексирование. Если ваш сайт довольно хорошо перелинкован и материалы имеют связи, то через эту точку входа робот может "размотать" практически весь сайт переходами по ссылкам расположенным на странице входа. Вторую функцию нужно использовать для индексации/переиндексации целых разделов и модулей, а иногда и всего сайта. Если на вашем сайте произошли глобальные перемены или были добавлены или переделаны разделы, категории, модули - то использование второго варианта функции поможет в более быстром процессе индексации/переиндексации

Информация о просмотренных страницах хранится до 6-и месяцев. Для того чтобы увидеть самые ранние запросы нужно перевести меню показать: на 500 строк.
Иногда это полезно для восстановления элементов дизайна, которые были утрачены по тем или иным причинам, а так же для восстановления материалов и статей.