Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
Появилось такое свойство...
Robots.txt стандартный. В нём есть строчка: Disallow: /secure/ чтобы это не индексировалось. По этому адресу располагаются картики кодов безопасности, например при отправки сообщения. НО! Дело в том, что в "Инструментах для веб-мастеров гугл" в сводке "Заблокирован файлом robots.txt" со временем накопилось уже 936 исключений вида honeystorm.org/secure/?k=464070428172659684;m=addcom55148114;tm=/secure/?k=464070428172659684;m=addcom55148114;tm= Т.е. это ссылки на картинки изображения капчи. Это нормально? Проcто я смотрел их было вначале 20, потом 100, 300 и вот сейчас 938... так глядишь до бесконечности будет расти. Вобщем нормально ли это? Сообщение отредактировал Kyronok - Воскресенье, 18 Дек 2011, 02:51:45
|
|
Kyronok,
Quote Вобщем нормально ли это?  Иногда кажется что ему вообще всё равно что написано в файле . Он может проиндексировать даже то чего фактически проосто не существует из страниц ...Сообщение отредактировал Miss_Esq - Воскресенье, 18 Дек 2011, 02:57:05
|
|
Kyronok, по мере индексации количество растет. можно не обращать на это внимание. можно робота вообще отвадить соваться в эти картинки
инструменты для веб-мастеров - конфигурация сайта - параметры url - прописать параметр ?k - и оставить на усмотрение гуглебота. и вот тогда он точно начнет исполнять предписание роботтекста. его просто нужно направить и все |
|
Добрый день.
У меня такой вопрос. Я создал сайт 26.11.2011 в 17:51 по МСК, а на сегодняшнее число и время файл robots.txt все еще на карантине. Сейчас около 8 вечера, почему сайт еще не снят с карантина? Или надо ждать 27 декабря? Подскажите пожалуйста) Вот сайт тыкнуть Сообщение отредактировал Arclayd - Понедельник, 26 Дек 2011, 19:44:37
|
|
Quote (Ferro7) Ferro7 |
|
У меня яндекс выдает:
dressirovkasib.ucoz.ru Список страниц, исключённых роботом при обходе сайта. Причиной исключения может быть ошибка при загрузке или обработке страницы. Кроме того, в поисковый индекс не попадают страницы, запрещённые в файле robots.txt и т.п. Исключение страниц из индекса не всегда является ошибкой в настройках сайта. Вы можете указать степень серьёзности той или иной причины исключения в Настройках. XLS CSV Причина Количество Замечания: нельзя с уверенностью сказать, страницы намеренно запрещены к индексированию или нет. HTTP-статус: Ресурс не найден (404) 36 Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Документ запрещен в файле robots.txt 1 Неверный формат документа 3 Ошибка по разделам Раздел Количество dressirovkasib.ucoz.ru 1 index/ 1 Страницы с ошибкой XLS CSVПоказать: все, за весь период URL Ссылки на страницу Последнее изменение Последнее посещение /index/3 25.12.2011 - Добавлено (29-Дек-2011, 15:02:29) http://dogsib.ru
|
|
Если вот так сделать, то что будет?
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Sitemap: http://dressirovkasib.ucoz.ru/sitemap.xml Sitemap: http://dressirovkasib.ucoz.ru/sitemap-forum.xml Sitemap: http://dressirovkasib.ucoz.ru/sitemap-shop.xml http://dogsib.ru
|
|
Кинолог, Проиндексирует кучу страниц совершенно ненужных в индексе
от /index/1 до /index/9 Сообщение отредактировал Miss_Esq - Пятница, 30 Дек 2011, 18:15:08
|
| |||