Модератор форума: Yuri_G  
Sitemap.xml карта сайта
Модератор форума
Сообщение # 1 | 18:01:55
Sitemap.xml это карта сайта в формате XML предназначенная для поисковых роботов. В ней содержатся ссылки и метаданные (дата последнего изменения и частота изменения) о страницах подлежащих индексации. Карта сайта не является полной гарантией того, что все ссылки в ней находящиеся будут проиндексированы и попадут в поисковый индекс. Этот файл является вспомогательным, но не обязательным.
Карта сайта не должна содержать более 50000 URL.


Для сайтов системы uCoz не надо создавать карту сайта для поисковых роботов вручную с помощью локальных программ на компьютере или с помощью онлайн сервисов, система автоматически генерирует карты:
  • sitemap-site.xml - Редактор страниц
  • sitemap-blog.xml - Блог
  • sitemap-news.xml - Новости
  • sitemap-load.xml - Каталог файлов
  • sitemap-publ.xml - Каталог статей
  • sitemap-dir.xml - Каталог сайтов
  • sitemap-board.xml - Доска объявлений
  • sitemap-stuff.xml - Онлайн игры
  • sitemap-faq.xml - FAQ
  • sitemap-forum.xml - Форум
  • sitemap-photo.xml - Фотоальбом
  • sitemap-gb.xml - Гостевая книга
  • sitemap-shop.xml - Интернет-магазин
  • для самого сайта отдельно site.ru/sitemap.xml
  • Сгенерированные системой карты содержат 10000 URL
В файловом менеджере файлы sitemap появляются после первого обращения к любому из адресов карт сайта полученных в ПУ в модуле Поиск по сайту

Так же в файле robots.txt по окончании карантина появляются ссылки на карты сайта. До окончания карантина адреса карты сайта можно получить в панели управления - модуль поиск по сайту -


Важно! Карта сайта для гостевой книги sitemap-gb.xml генерируется лишь в том случае, если в Премиум настройках Seo-модуля не активна опция - "Запретить индексацию Гостевой книги поисковыми системами". Если опция активна, карта генерироваться не будет.

Что еще важно! Чтобы не генерировались пустые карты сайта автоматически, не нужно держать активными пустые модули в которых совсем нет материалов. Если не планируете наполнять модуль материалами, лучше удалите его совсем и лишняя пустая карта сайта не будет генерироваться.

Начиная с обновления от 13.09.2023 в карты сайтов модулей где создаются категории, URL категорий теперь так же добавляются в sitemap.

Важно! Если при добавлении карты сайта в вебмастер Google вам в колонке статус сообщается "Не получено", это не проблема с стороны uCoz, это некорректная работа именно Google Webmaster. Обычно чтобы эта ошибка устранилась, достаточно чтобы прошло несколько суток, иногда бывает и несколько часов достаточно.

Стоит усвоить основное понимание по данной ошибке, если карта сайта по прямой ссылке у вас доступна, это уже хорошо и ошибок с стороны uCoz нет. То что гугл сообщает вам об ошибке, это конкретно ошибки вебмастера и скорость обработки sitemap с стороны Google.


До окончания карантина адреса sitemap не надо передавать поисковым системам через панели вебмастера
После окончания карантина можно добавить карты в панель вебматера Яндекса //u.to/32kB
и в инструменты для вебмастеров Google


Некоторые проблемы и причины возникновения проблем


Проблема: Ошибки в вебмастере Яндекса или Google
Некорректный URL (не соответствует местоположению файла Sitemap) или Пути не совпадают или Неизвестный тип ошибки (ERR_HOST_NOT_CONFIRM)

Причины: Вы неправильно указали адрес сайта. Ваш сайт настроен на отображение без www, а в вебмастер вы добавили сайт с www . Или ошибка в написании адреса карты сайта в robots.txt где вы опять же неправильно указали адрес с www или без. Читать подробней о главном зеркале сайта


Проблема: Ошибки в вебмастере Яндекса "Неверный формат документа" В страницах с ошибкой в списке URL и sitemap.xml
Причины:
1)Такую ошибку Яндекс обычно выдает, если находит ссылку на адрес карты сайта в коде страницы. Робот не принимает карту сайта в формате xml со страниц. Это ещё раз говорит о том, что прописывать адреса sitemap.xml в код страниц не стоит. Индексацию это точно не улучшит, а ошибки иногда будете получать

2) Вы закачали свою карту сайта, или стандартную, но исправленную вами на компьютере. Такую ошибку робот выдает при сохранении в неправильной кодировке (должна быть utf-8) или у документа неправильное форматирование. Это значит, что создавать свою карту сайта не надо, достаточно системной. А так же совершенно категорически не стоит заниматься самостоятельными правками sitemap.xml


Проблема: Ошибка в вебмастере Google
Файл не содержит URL
Причина: Такое обычно бывает, если робот Google на новом сайте после окончания карантина в robots.txt находит ссылку на карту сайта форума например, а модуль форума запущен, но пустой. То есть нет форумов, нет тем, нет сообщений
Поэтому пока сайт на карантине старайтесь наполнять информацией все запущенные модули


Проблема: В списке URL карты сайта отсутствуют ссылки на страницы залитые через файловый менеджер
Причина: Страницы залитые в файловый менеджер не попадают в карту сайта, так как не являются системными или страницами модулей. Отсутствие URL на залитые страницы в карте сайта не влияют на индексацию подобных страниц. Для индексации вам надо вывести ссылки на такие страницы на сайт


Проблема: Ошибки сканирования - В файле sitemap - Вебмастер Google (сайт давно снят с карантина)
Причина: Добавленная страница через редактор страниц или любые другие страницы прописаны запретом в файле robots.txt. Проверьте правильно ли составлен у вас robots.txt
Если вы сами прописывали страницу/ы в роботс, то ничего предпринимать не надо - Гугл выдает техническую информацию


Проблема: Количество отправленных (загруженных роботом) и проиндексированных URL не совпадает.Проиндексированных меньше
Причина: Карта сайта не является залогом того, что все URL на вашем сайте будут проиндексированы и попадут в поисковый индекс. Нормальной считается ситуация, когда проиндексировано около 80% загруженных url


Полезная информация


Карта сайта обновляется автоматически раз в 2-4 дня, при условии, что на сайт были добавлены новые материалы.

Если надо по каким либо причинам обновить карту не дожидаясь автоматического обновления, то заходим в файловый менеджер и удаляем карту сайта (карту форума или карту интернет-магазина). Удаленная карта тут же заменится новой, но уже с обновленной информацией. Для первого вызова удаленной карты надо пройти по её адресу, например: site.ru/sitemap.xml

Никогда не выводите ссылки на карту сайта в формате xml на страницы сайта. Индексацию это точно не улучшит, как и степень доверия к вашему сайту у поисковой машины. Роботы имеют доступ к карте через корневую директорию файлового менеджера так же по умолчанию адреса прописаны в robots.txt и не нужно дублировать адрес на страницах.

Не пытайтесь генерировать sitemap с помощью различных программ или всяких сервисов. Кроме блокировки вашего ip и различных вы ничего не получите. Системной карты вполне достаточно, она автоматически обновляется. А залитую карту вам придется каждый раз обновлять вручную. А если учесть настройки запросов во избежании блокировки ip, то это получается бесконечный никчемный труд

Не пытайтесь скачивать карту сайта, вручную делать изменения и закачивать её снова. Любая ошибка с вашей стороны и вы получите массу ошибок индексации или проблем с самой картой сайта. Лучше ничего не трогать

При добавлении карты сайта в форму вебмастера Яндекса нужно добавлять полный адрес карты. Например: //u.to/4AwQ
При добавлении карты в форму вебмастра Google нужно добавлять только sitemap.xml адрес сайта с закрывающим слешем Google подставляет сам.
Прикрепления: 7551743.jpg (2.2 Kb)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 316 | 19:25:59
DarmoN, надо ждать. индексация происходит в течении двух недель или больше

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
DarmoN
Сообщений: 8
Репутация: 0

Сообщение # 317 | 19:52:25
гугл срази не индексируетса да все 947 элементы потихонку проиндексирует да ?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 318 | 20:26:30
DarmoN, да

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
DarmoN
Сообщений: 8
Репутация: 0

Сообщение # 319 | 21:44:18
спасибо
radioproficomua
Сообщений: 5
Репутация: 0

Сообщение # 320 | 00:24:47
Есть вопрос по картам sitemap для магазина, в карте отсутствует url части товаров, которые находятся во вложенных категориях. Пробовал удалить старый файл, но сгенерировался точно такой же. В чем может быть проблема?
Amitofu
Сообщений: 26
Репутация: 6

Сообщение # 321 | 14:16:05
Если дата добавления материала на сайт превышает сегодняшнюю дату, то ссылка на этот материал появится в sitemap.xml только по достижении даты добавления материала? Сразу никак нельзя добавить?
ctc
Сообщений: 62
Репутация: 25

Сообщение # 322 | 12:33:00
Подскажите пожалуйста!
Почему sitemap.xml не переделывает ссылки на протокол https.

Делал следующим образом, зашел в файловый менеджер, удалил файл sitemap.xml
Затем открыл по следующему адресу - https://euroinvision.ru/sitemap.xml
Код сгенерировался, однако все ссылки все равно с http://.....

В чем проблема?

EuroINvision.ru (InfoNews) - Мега Евровидийный Портал.
https://euroinvision.ru/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 323 | 16:55:34
ctc, у вас не стоит автоматическое перенаправление. поэтому карты сайта генерируются неправильно. панель управления - безопасность - настройка sll - Отключить автоматическое перенаправление на HTTPS - снимите галку и сохраните. после этого проделайте ручное обновление всех карт сайта

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
ctc
Сообщений: 62
Репутация: 25

Сообщение # 324 | 19:24:54
webanet, Спасибо, все сработало!
Проблем с переиндексацией не будет?

EuroINvision.ru (InfoNews) - Мега Евровидийный Портал.
https://euroinvision.ru/
Energyy
Сообщений: 512
Репутация: 21

Сообщение # 325 | 19:31:55
Цитата webanet ()
у вас не стоит автоматическое перенаправление. поэтому карты сайта генерируются неправильно. панель управления - безопасность - настройка sll - Отключить автоматическое перенаправление на HTTPS - снимите галку и сохраните. после этого проделайте ручное обновление всех карт сайта

У меня тоже http
А какая разница?
И обязательно ли делать переадресацию на https ?

Мой сайт: https://aliprosto.com/
И я горжусь, тем что есть =D
Helena5404
Сообщений: 1
Репутация: 0

Сообщение # 326 | 23:13:58
Как удалить sitemap полностью из сайта. Чтобы вообще его не было? Очень нужно.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 327 | 23:16:17
Helena5404, это невозможно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Sten1536
Сообщений: 48
Репутация: 0

Сообщение # 328 | 12:24:15
Здравствуйте! Подскажите пожалуйста, почему файл sitemap содержит только ссылки к конечным страницам каталогов и исключает корневые страницы каталога, раздела и категорий? Разве в нем должны быть не все ссылки сайта? 
Ссылка на мой файл: http://stoyki-pro.com.ua/sitemap.xml 
Основная причина почему я обратился с вопросом - поисковые системы очень медленно или вовсе не индексируют страницы раздела и категорий модуля каталога файлов.
Заранее спасибо за ответ. 
С уважением, Станислав.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 329 | 12:56:00
Sten1536, текущий домен помечать как альтернативу не стоит. вы должны выбрать один основной и не помечать его как альтернативный.
Цитата

<link rel="alternate" href="http://stoyki-pro.com.ua/load/" hreflang="ru-UA" />

на счет карты сайта. нет ни у кого страниц категорий. количество мест в карте ограничено, поэтому приоритет на материалы. а страницы категорий можете добавить вручную в вебмастера провертть урл. так будет намного быстрее инадежнее даже чем через карту. но сначала разберитесь с альтернативами

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Sten1536
Сообщений: 48
Репутация: 0

Сообщение # 330 | 13:40:46
Цитата webanet ()
на счет карты сайта. нет ни у кого страниц категорий. количество мест в карте ограничено, поэтому приоритет на материалы. а страницы категорий можете добавить вручную в вебмастера провертть урл. так будет намного быстрее инадежнее даже чем через карту. но сначала разберитесь с альтернативами


На счет alternate. Гугл гласит:
Методы указания альтернативных страниц
Теги HTML
Добавьте элементы <link rel="alternate" hreflang="код языка"... > в заголовок своей страницы, чтобы сообщить Google обо всех локализованных вариантах страницы. Это удобно, если у вас нет файла Sitemap или возможности указать HTTP-заголовки ответа для сайта.
В элемент <head> каждого варианта страницы нужно добавить набор элементов <link> со ссылками на все версии страницы, включая ее саму. Во всех версиях страницы используется один и тот же набор ссылок. Подробнее…
Каждый элемент link должен иметь следующую структуру:
<link rel="alternate" hreflang="код языка" href="URL страницы" />

У меня 2 версии сайта - для Украины и России, но оба на русском языке. Поэтому для каждой страницы прописан <link rel="alternate" .... и так как в этой статье говорится что нужно указывать все страницы, включая ее саму, то в коде присутствует ссылка на саму страницу, на которой находишься, где указывается что страница на русском языке для Украины. Что Вы думаете по этому поводу? Я правильно рассуждаю? Код<link rel="alternate" href="http://stoyki-pro.com.ua/load/" hreflang="ru-UA" />

Что касается карты сайта. Спасибо за совет с проверкой всех url на сайте. Но я решил пойти другим путем - создал на стороннем ресурсе новую карту сайта, залил ее на сайт под именем sitemap1.xml. Изменил в файле робота url на новую карту и уведомил поисковики о новой карте сайта. В будущем при добавлении или изменении страниц сайта придется обновлять карту вручную, но я думаю - это не составит труда. Что Вы думаете на счет такого метода?
Поиск: