Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Sitemap.xml карта сайта (Sitemap.xml карта сайта для поисковых роботов)
Sitemap.xml карта сайта
Модератор форума
Сообщение # 1 | 18:01:55
Sitemap.xml это карта сайта в формате XML предназначенная для поисковых роботов. В ней содержатся ссылки и метаданные (дата последнего изменения и частота изменения) о страницах подлежащих индексации. Карта сайта не является полной гарантией того, что все ссылки в ней находящиеся будут проиндексированы и попадут в поисковый индекс. Этот файл является вспомогательным, но не обязательным.
Карта сайта не должна содержать более 50000 URL.


Для сайтов системы uCoz не надо создавать карту сайта для поисковых роботов вручную с помощью локальных программ на компьютере или с помощью онлайн сервисов, система автоматически генерирует карты:
  • sitemap-site.xml - Редактор страниц
  • sitemap-blog.xml - Блог
  • sitemap-news.xml - Новости
  • sitemap-load.xml - Каталог файлов
  • sitemap-publ.xml - Каталог статей
  • sitemap-dir.xml - Каталог сайтов
  • sitemap-board.xml - Доска объявлений
  • sitemap-stuff.xml - Онлайн игры
  • sitemap-faq.xml - FAQ
  • sitemap-forum.xml - Форум
  • sitemap-photo.xml - Фотоальбом
  • sitemap-gb.xml - Гостевая книга
  • sitemap-shop.xml - Интернет-магазин
  • для самого сайта отдельно site.ru/sitemap.xml
  • Сгенерированные системой карты содержат 10000 URL
В файловом менеджере файлы sitemap появляются после первого обращения к любому из адресов карт сайта полученных в ПУ в модуле Поиск по сайту

Так же в файле robots.txt по окончании карантина появляются ссылки на карты сайта. До окончания карантина адреса карты сайта можно получить в панели управления - модуль поиск по сайту -


Важно! Карта сайта для гостевой книги sitemap-gb.xml генерируется лишь в том случае, если в Премиум настройках Seo-модуля не активна опция - "Запретить индексацию Гостевой книги поисковыми системами". Если опция активна, карта генерироваться не будет.

Что еще важно! Чтобы не генерировались пустые карты сайта автоматически, не нужно держать активными пустые модули в которых совсем нет материалов. Если не планируете наполнять модуль материалами, лучше удалите его совсем и лишняя пустая карта сайта не будет генерироваться.

Начиная с обновления от 13.09.2023 в карты сайтов модулей где создаются категории, URL категорий теперь так же добавляются в sitemap.

Важно! Если при добавлении карты сайта в вебмастер Google вам в колонке статус сообщается "Не получено", это не проблема с стороны uCoz, это некорректная работа именно Google Webmaster. Обычно чтобы эта ошибка устранилась, достаточно чтобы прошло несколько суток, иногда бывает и несколько часов достаточно.

Стоит усвоить основное понимание по данной ошибке, если карта сайта по прямой ссылке у вас доступна, это уже хорошо и ошибок с стороны uCoz нет. То что гугл сообщает вам об ошибке, это конкретно ошибки вебмастера и скорость обработки sitemap с стороны Google.


До окончания карантина адреса sitemap не надо передавать поисковым системам через панели вебмастера
После окончания карантина можно добавить карты в панель вебматера Яндекса //u.to/32kB
и в инструменты для вебмастеров Google


Некоторые проблемы и причины возникновения проблем


Проблема: Ошибки в вебмастере Яндекса или Google
Некорректный URL (не соответствует местоположению файла Sitemap) или Пути не совпадают или Неизвестный тип ошибки (ERR_HOST_NOT_CONFIRM)

Причины: Вы неправильно указали адрес сайта. Ваш сайт настроен на отображение без www, а в вебмастер вы добавили сайт с www . Или ошибка в написании адреса карты сайта в robots.txt где вы опять же неправильно указали адрес с www или без. Читать подробней о главном зеркале сайта


Проблема: Ошибки в вебмастере Яндекса "Неверный формат документа" В страницах с ошибкой в списке URL и sitemap.xml
Причины:
1)Такую ошибку Яндекс обычно выдает, если находит ссылку на адрес карты сайта в коде страницы. Робот не принимает карту сайта в формате xml со страниц. Это ещё раз говорит о том, что прописывать адреса sitemap.xml в код страниц не стоит. Индексацию это точно не улучшит, а ошибки иногда будете получать

2) Вы закачали свою карту сайта, или стандартную, но исправленную вами на компьютере. Такую ошибку робот выдает при сохранении в неправильной кодировке (должна быть utf-8) или у документа неправильное форматирование. Это значит, что создавать свою карту сайта не надо, достаточно системной. А так же совершенно категорически не стоит заниматься самостоятельными правками sitemap.xml


Проблема: Ошибка в вебмастере Google
Файл не содержит URL
Причина: Такое обычно бывает, если робот Google на новом сайте после окончания карантина в robots.txt находит ссылку на карту сайта форума например, а модуль форума запущен, но пустой. То есть нет форумов, нет тем, нет сообщений
Поэтому пока сайт на карантине старайтесь наполнять информацией все запущенные модули


Проблема: В списке URL карты сайта отсутствуют ссылки на страницы залитые через файловый менеджер
Причина: Страницы залитые в файловый менеджер не попадают в карту сайта, так как не являются системными или страницами модулей. Отсутствие URL на залитые страницы в карте сайта не влияют на индексацию подобных страниц. Для индексации вам надо вывести ссылки на такие страницы на сайт


Проблема: Ошибки сканирования - В файле sitemap - Вебмастер Google (сайт давно снят с карантина)
Причина: Добавленная страница через редактор страниц или любые другие страницы прописаны запретом в файле robots.txt. Проверьте правильно ли составлен у вас robots.txt
Если вы сами прописывали страницу/ы в роботс, то ничего предпринимать не надо - Гугл выдает техническую информацию


Проблема: Количество отправленных (загруженных роботом) и проиндексированных URL не совпадает.Проиндексированных меньше
Причина: Карта сайта не является залогом того, что все URL на вашем сайте будут проиндексированы и попадут в поисковый индекс. Нормальной считается ситуация, когда проиндексировано около 80% загруженных url


Полезная информация


Карта сайта обновляется автоматически раз в 2-4 дня, при условии, что на сайт были добавлены новые материалы.

Если надо по каким либо причинам обновить карту не дожидаясь автоматического обновления, то заходим в файловый менеджер и удаляем карту сайта (карту форума или карту интернет-магазина). Удаленная карта тут же заменится новой, но уже с обновленной информацией. Для первого вызова удаленной карты надо пройти по её адресу, например: site.ru/sitemap.xml

Никогда не выводите ссылки на карту сайта в формате xml на страницы сайта. Индексацию это точно не улучшит, как и степень доверия к вашему сайту у поисковой машины. Роботы имеют доступ к карте через корневую директорию файлового менеджера так же по умолчанию адреса прописаны в robots.txt и не нужно дублировать адрес на страницах.

Не пытайтесь генерировать sitemap с помощью различных программ или всяких сервисов. Кроме блокировки вашего ip и различных вы ничего не получите. Системной карты вполне достаточно, она автоматически обновляется. А залитую карту вам придется каждый раз обновлять вручную. А если учесть настройки запросов во избежании блокировки ip, то это получается бесконечный никчемный труд

Не пытайтесь скачивать карту сайта, вручную делать изменения и закачивать её снова. Любая ошибка с вашей стороны и вы получите массу ошибок индексации или проблем с самой картой сайта. Лучше ничего не трогать

При добавлении карты сайта в форму вебмастера Яндекса нужно добавлять полный адрес карты. Например: //u.to/4AwQ
При добавлении карты в форму вебмастра Google нужно добавлять только sitemap.xml адрес сайта с закрывающим слешем Google подставляет сам.
Прикрепления: 7551743.jpg (2.2 Kb)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 76 | 13:51:07
VictorP,
Quote
В файловом менеджере удалил.Так,или еще где-то надо удалить?
зачем? если вы удаляете из фм, что карты обновляются и восстанавливаются. вам удалить из роботтекста надо. если вы не заливали свой роботтекст, то он не будет виден в фм, а значит не будет доступен для редактирования. чтобы роботтекст можно было редактировать, его нужно залить в фм. если не умеете или не знаете как делать, лучше оставьте как есть чтобы не испортить. у вас все нормально. основные карты берутся и обрабатываются яндексом и ошибок нет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
nikod
Сообщений: 53
Репутация: 10

Сообщение # 77 | 10:43:37
webanet,
Добрый день.
Шаблон 731 . сайт http://impexstil.ucoz.ru/
Карта сайта выглядит таким образом -только два адреса
Site http://impexstil.ucoz.ru/sitemap.xml
Forum[/b ]http://impexstil.ucoz.ru/sitemap-forum.xml

Если ввести указанные адреса в адресную строку , то [b]Site
есть какие то материалы,
по Forum –нет . В общем то форум меня не интересует ,т.к.его у меня нет
Мне нужно , чтобы в карте сайта были указаны страницы –доски обьявлений
( если я правильно понял http://impexstil.ucoz.ru/board, 0-1, 0-2 и т.д. ) и материалы ,
размещенные там
. В тоже время , из форума следует . что карта сайта генерируется автоматически.
Вопрос- как сделать так ,чтобы в карте сайта , отражались материалы доски обьявлений
( для меня главное – индексация этих материалов)
С уважением nikod
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 78 | 14:31:14
nikod, в вашей карте сайта отображаются материалы с доски объявлений
Quote
http://impexstil.ucoz.ru/board/metally/pokovki/prodaju_pokovki_prokat_instrumentalnykh_stalej/202-1-0-301</loc><lastmod>2012-04-11T09:06:41+00:00</lastmod><changefreq>weekly</changefreq></url><url><loc>http://impexstil.ucoz.ru/board/biznes_sotrudnichestvo/juridicheskie_uslugi_audit/bukhgalterskie_uslugi_quot_biznes_pomoshh_quot/262-1-0-300</loc><lastmod>2012-04-10T17:47:30+00:00</lastmod><changefreq>weekly</changefreq></url><url><loc>http://impexstil.ucoz.ru/board/metally/metalloprokat/kuplju_prokat_instrumentalnykh_stalej/69-1-0-299</loc><lastmod>2012-04-10T14:46:56+00:00</lastmod><changefreq>weekly</changefreq></url>

и так далее. смотрите внимательно.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
nikod
Сообщений: 53
Репутация: 10

Сообщение # 79 | 17:18:48
webanet,
Спасибо за ответ.
Позвольте еще вопрос –
С вашей точки , зрения , надо ли , что то еще сделать для оптимизации сайта:
-это теги Description и Keywords
- ключевые слова
- м.б. что то еще
Поймите , правильно . я не прошу сделать эту работу вместо меня ,
просто дайте направление , а дальше я буду сам разбираться
С уваженим , nikod
Cпасибо!
VictorP
Сообщений: 34
Репутация: 0

Сообщение # 80 | 11:24:32
В вебмастере появилось вот это:



Как убрать такие ошибки
Прикрепления: 4410715.jpg (116.2 Kb) · 7903921.jpg (74.7 Kb) · 6836905.jpg (84.6 Kb)
planetaD
Сообщений: 104
Репутация: 74

Сообщение # 81 | 17:12:09
разбиралась сегодня с sitemap.xml и вот что обнаружила (Используется при обходе Версия от 6.04.2012 Содержит 246 страниц). Открыла а там столько моих страниц не проиндексированных. Это что значит используется при обходе? Это как то влияет на индексацию страниц перечисленных в файле? Сайт Планета Детства

Добавлено (18-Апр-2012, 17:08:36)
---------------------------------------------
Там почему то не все страницы моего сайта...

Добавлено (18-Апр-2012, 17:12:09)
---------------------------------------------
Вот сам файл файл


GeR@In
Сообщений: 141
Репутация: 19

Сообщение # 82 | 17:31:04
VictorP, не найдены это те которые были проиндексированы а потом вы их удалили, то есть робот получил 404. поэтому это не ошибки и убирать их не обязательно

planetaD, sitemap.xml вообще не обязателен, и нужен лиш тогда, когда на новые страницы нет ссылок, а так как у вас на сайте есть меню то поисковик их и так найдёт, так что не заморачивайтесь над ним.

Более 100 бесплатных, внешних ссылок на ваш сайт. подробности
general8649
Сообщений: 13
Репутация: 2

Сообщение # 83 | 23:06:20
Здравствуйте
Интересный вопрос.
До недавнего времени, крупнейший сайт системы ucoz с посещаемостью более 100 тыс. посетителей в сутки, по нашей причине получил ошибку карты сайта. Робот Яндекса исключил sitemap по причине "неверный формат документа". С того момента трафик Яндекса резко стал снижаться. 2 месяца стабильно вниз.
Могла ли такая ошибка с "sitemap" повлиять на столь значительное падение?
Спасибо
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 84 | 23:53:37
general8649, вслепую без адреса сайта гадать сложно. если вы не заливали собственную карту, а стоит та что дается юкозом по умолчанию, то надо писать в вебмастер яндекса. иногда такое дело бывает и по причине яндекса.
если вы занимались самодеятельностью, то нужно удалить вашу ручную работу и она сразу заменится системной. дальше должно со временем все восстановиться

Quote
"неверный формат документа"
может быть из-за того что вы создали или изменяли карту вручную - правится простым удалением самодеятельности
может быть из-за того, что вы впихнули карту на страницы сайта и яндекс её нашел там
может быть при прикреплении домена, когда администратор сайта в панели управления настраивает отображение сайта с ввв, а яндексу пихает без ввв - лечится правильной забивкой адреса в яндекс вебмастер
в связи с некоторыми причинами проблемы с картой сайта могут не влиять на посещаемость
в некоторых случаях это может быть критично для индексации и посещаемости тоже
у вас какой случай? все гадания окончены

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
general8649
Сообщений: 13
Репутация: 2

Сообщение # 85 | 00:02:58
Спасибо за ответ. У нас тот случай, когда Яндекс нашел ссылку на карту на всех страницах сайта
Ссылки давно удалили.. Письмо только сегодня Платону написали
Diana7970
Сообщений: 46
Репутация: 0

Сообщение # 86 | 15:19:06
А от чего может быть ошибка DNS ?
Сайту почти три года - раньше никогда подобного не видела а сейчас сразу на двух сайтах вдруг появилось.
Откуда это и что с этим делать? Робот перстал заходить на сайт.



Файлы sitemap стандартные.
http://www.diana10.ru/sitemap.xml
Прикрепления: 7696838.jpg (11.0 Kb)
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 87 | 15:26:29
Diana7970, это в вебмастере яндекса? попробуйте перезалить карты а лучше сразу пишите в тех.поддержку яндекса

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Diana7970
Сообщений: 46
Репутация: 0

Сообщение # 88 | 15:29:17
webanet, Спасибо. Попробую написать в поддержку.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 89 | 15:37:41
Diana7970, зачем вы держите карту магазина? на сайте не активирован магазин. карта сайта пустая. она не нужна вообще пока не активируете магазин

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Онгар
Сообщений: 32
Репутация: 133

Сообщение # 90 | 22:36:28
Quote (webanet)
зачем вы держите карту магазина? на сайте не активирован магазин. карта сайта пустая. она не нужна вообще пока не активируете магазин

Я почти 2 года сидел с этим сайтмапом))) Он мне не мешал ни сколько... Но потом убрал...
Так, как все говорили, что он будет лишним в ФМ, если на сайте не активирован модуль "И.М." biggrin

...

Не скажу, что индексация от этого поднялась или опустилась...

Напрасно обучение без мысли, опасна мысль без обучения. © Китайская поговорка
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Sitemap.xml карта сайта (Sitemap.xml карта сайта для поисковых роботов)
Поиск: