Модератор форума: Yuri_G  
Sitemap.xml карта сайта
Модератор форума
Сообщение # 1 | 18:01:55
Sitemap.xml это карта сайта в формате XML предназначенная для поисковых роботов. В ней содержатся ссылки и метаданные (дата последнего изменения и частота изменения) о страницах подлежащих индексации. Карта сайта не является полной гарантией того, что все ссылки в ней находящиеся будут проиндексированы и попадут в поисковый индекс. Этот файл является вспомогательным, но не обязательным.
Карта сайта не должна содержать более 50000 URL.


Для сайтов системы uCoz не надо создавать карту сайта для поисковых роботов вручную с помощью локальных программ на компьютере или с помощью онлайн сервисов, система автоматически генерирует карты:
  • sitemap-site.xml - Редактор страниц
  • sitemap-blog.xml - Блог
  • sitemap-news.xml - Новости
  • sitemap-load.xml - Каталог файлов
  • sitemap-publ.xml - Каталог статей
  • sitemap-dir.xml - Каталог сайтов
  • sitemap-board.xml - Доска объявлений
  • sitemap-stuff.xml - Онлайн игры
  • sitemap-faq.xml - FAQ
  • sitemap-forum.xml - Форум
  • sitemap-photo.xml - Фотоальбом
  • sitemap-gb.xml - Гостевая книга
  • sitemap-shop.xml - Интернет-магазин
  • для самого сайта отдельно site.ru/sitemap.xml
  • Сгенерированные системой карты содержат 10000 URL
В файловом менеджере файлы sitemap появляются после первого обращения к любому из адресов карт сайта полученных в ПУ в модуле Поиск по сайту

Так же в файле robots.txt по окончании карантина появляются ссылки на карты сайта. До окончания карантина адреса карты сайта можно получить в панели управления - модуль поиск по сайту -


Важно! Карта сайта для гостевой книги sitemap-gb.xml генерируется лишь в том случае, если в Премиум настройках Seo-модуля не активна опция - "Запретить индексацию Гостевой книги поисковыми системами". Если опция активна, карта генерироваться не будет.

Что еще важно! Чтобы не генерировались пустые карты сайта автоматически, не нужно держать активными пустые модули в которых совсем нет материалов. Если не планируете наполнять модуль материалами, лучше удалите его совсем и лишняя пустая карта сайта не будет генерироваться.

Начиная с обновления от 13.09.2023 в карты сайтов модулей где создаются категории, URL категорий теперь так же добавляются в sitemap.

Важно! Если при добавлении карты сайта в вебмастер Google вам в колонке статус сообщается "Не получено", это не проблема с стороны uCoz, это некорректная работа именно Google Webmaster. Обычно чтобы эта ошибка устранилась, достаточно чтобы прошло несколько суток, иногда бывает и несколько часов достаточно.

Стоит усвоить основное понимание по данной ошибке, если карта сайта по прямой ссылке у вас доступна, это уже хорошо и ошибок с стороны uCoz нет. То что гугл сообщает вам об ошибке, это конкретно ошибки вебмастера и скорость обработки sitemap с стороны Google.


До окончания карантина адреса sitemap не надо передавать поисковым системам через панели вебмастера
После окончания карантина можно добавить карты в панель вебматера Яндекса //u.to/32kB
и в инструменты для вебмастеров Google


Некоторые проблемы и причины возникновения проблем


Проблема: Ошибки в вебмастере Яндекса или Google
Некорректный URL (не соответствует местоположению файла Sitemap) или Пути не совпадают или Неизвестный тип ошибки (ERR_HOST_NOT_CONFIRM)

Причины: Вы неправильно указали адрес сайта. Ваш сайт настроен на отображение без www, а в вебмастер вы добавили сайт с www . Или ошибка в написании адреса карты сайта в robots.txt где вы опять же неправильно указали адрес с www или без. Читать подробней о главном зеркале сайта


Проблема: Ошибки в вебмастере Яндекса "Неверный формат документа" В страницах с ошибкой в списке URL и sitemap.xml
Причины:
1)Такую ошибку Яндекс обычно выдает, если находит ссылку на адрес карты сайта в коде страницы. Робот не принимает карту сайта в формате xml со страниц. Это ещё раз говорит о том, что прописывать адреса sitemap.xml в код страниц не стоит. Индексацию это точно не улучшит, а ошибки иногда будете получать

2) Вы закачали свою карту сайта, или стандартную, но исправленную вами на компьютере. Такую ошибку робот выдает при сохранении в неправильной кодировке (должна быть utf-8) или у документа неправильное форматирование. Это значит, что создавать свою карту сайта не надо, достаточно системной. А так же совершенно категорически не стоит заниматься самостоятельными правками sitemap.xml


Проблема: Ошибка в вебмастере Google
Файл не содержит URL
Причина: Такое обычно бывает, если робот Google на новом сайте после окончания карантина в robots.txt находит ссылку на карту сайта форума например, а модуль форума запущен, но пустой. То есть нет форумов, нет тем, нет сообщений
Поэтому пока сайт на карантине старайтесь наполнять информацией все запущенные модули


Проблема: В списке URL карты сайта отсутствуют ссылки на страницы залитые через файловый менеджер
Причина: Страницы залитые в файловый менеджер не попадают в карту сайта, так как не являются системными или страницами модулей. Отсутствие URL на залитые страницы в карте сайта не влияют на индексацию подобных страниц. Для индексации вам надо вывести ссылки на такие страницы на сайт


Проблема: Ошибки сканирования - В файле sitemap - Вебмастер Google (сайт давно снят с карантина)
Причина: Добавленная страница через редактор страниц или любые другие страницы прописаны запретом в файле robots.txt. Проверьте правильно ли составлен у вас robots.txt
Если вы сами прописывали страницу/ы в роботс, то ничего предпринимать не надо - Гугл выдает техническую информацию


Проблема: Количество отправленных (загруженных роботом) и проиндексированных URL не совпадает.Проиндексированных меньше
Причина: Карта сайта не является залогом того, что все URL на вашем сайте будут проиндексированы и попадут в поисковый индекс. Нормальной считается ситуация, когда проиндексировано около 80% загруженных url


Полезная информация


Карта сайта обновляется автоматически раз в 2-4 дня, при условии, что на сайт были добавлены новые материалы.

Если надо по каким либо причинам обновить карту не дожидаясь автоматического обновления, то заходим в файловый менеджер и удаляем карту сайта (карту форума или карту интернет-магазина). Удаленная карта тут же заменится новой, но уже с обновленной информацией. Для первого вызова удаленной карты надо пройти по её адресу, например: site.ru/sitemap.xml

Никогда не выводите ссылки на карту сайта в формате xml на страницы сайта. Индексацию это точно не улучшит, как и степень доверия к вашему сайту у поисковой машины. Роботы имеют доступ к карте через корневую директорию файлового менеджера так же по умолчанию адреса прописаны в robots.txt и не нужно дублировать адрес на страницах.

Не пытайтесь генерировать sitemap с помощью различных программ или всяких сервисов. Кроме блокировки вашего ip и различных вы ничего не получите. Системной карты вполне достаточно, она автоматически обновляется. А залитую карту вам придется каждый раз обновлять вручную. А если учесть настройки запросов во избежании блокировки ip, то это получается бесконечный никчемный труд

Не пытайтесь скачивать карту сайта, вручную делать изменения и закачивать её снова. Любая ошибка с вашей стороны и вы получите массу ошибок индексации или проблем с самой картой сайта. Лучше ничего не трогать

При добавлении карты сайта в форму вебмастера Яндекса нужно добавлять полный адрес карты. Например: //u.to/4AwQ
При добавлении карты в форму вебмастра Google нужно добавлять только sitemap.xml адрес сайта с закрывающим слешем Google подставляет сам.
Прикрепления: 7551743.jpg (2.2 Kb)
Admin3346
Сообщений: 3
Репутация: 0

Сообщение # 166 | 17:57:16
webanet, Ваш IP был временно заблокирован по причине слишком высокого потока запросов. что такое? так у меня сайт вообше перестанет быть посешаемым...
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 167 | 18:00:22
Admin3346, вы пользуетесь на сайте какой-либо программой собирающей ссылки например или генератор карты сайта? устанавливали скрипты какие-либо?
к посещаемости это не имеет отношение так как блочит только вас. ваш конкретный ип

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Admin3346
Сообщений: 3
Репутация: 0

Сообщение # 168 | 18:56:29
установил sitemap через программу sitemap генератор
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 169 | 19:01:04
Admin3346, не надо этого делать читайте первое сообщение темы. юкоз сам генерирует карты сайта, сам обновляет. вам не надо этим заниматься. если неверно сделаете будет ещё хуже. если уже додумались залить на сайт то, что получили генератором, то удалите и поисковики этим не кормите

и заблочило IP вам именно из-за этой программы и только вам.
читаем первое сообщение данной темы внимательно несколько раз

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
KillMen
Репутация: 0

Сообщение # 170 | 00:52:57
Здравствуйте. У меня на сайте используется модуль board, но страница материала не используется, с нее делается редирект. В файле карты сайта находятся материалы board'a, можно ли сделать так, чтобы у данного модуля не записывалось в карту?
Или же в этом может помочь редактирование файла robots?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 171 | 00:58:20
KillMen, редирект куда?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
KillMen
Репутация: 0

Сообщение # 172 | 09:50:23
webanet, Редирект на главную модуля т.е. в /board
fathervalerii
Сообщений: 167
Репутация: 39

Сообщение # 173 | 12:37:17
webanet, обязательно ли создавать на одной из страниц сайта sitemap, например, как на вашем сайте или уважаемого bandjuk http://fobos.dn.ua/index/sitemap/0-20


Имеет ли это отношение к индексированию Гуглом?
Прикрепления: 0274902.jpg (41.5 Kb)

Gloria in altissimis Deo, et in terra pax hominibus bonae voluntatis
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 174 | 12:39:25
fathervalerii, не обязательно. имеет

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
fathervalerii
Сообщений: 167
Репутация: 39

Сообщение # 175 | 12:42:24
webanet, спасибо Ирина.

Gloria in altissimis Deo, et in terra pax hominibus bonae voluntatis
defaultNick2400
Сообщений: 2
Репутация: 5

Сообщение # 176 | 11:37:12
Всем привет. У меня возникла проблема с sitemap.xml . В google нужно,чтоб он писался с большой буквы (Sitemap.xml). Если я изменю в файл менеджере на большую букву "S", sitemap продолжит автоматически обновляется?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 177 | 12:01:19
defaultNick2400, гуглу совершенно все равно с какой буквы пишется sitemap

только гуглу не надо добавлять полный адрес, нужно дописывать только это sitemap.xml а адрес сайта там поставляется автоматически

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
admin1951
Репутация: 0

Сообщение # 178 | 14:08:46
Как в карте сайта сделать, чтобы робот поисковиков посещал сайт не еженедельно (weekly), а ежедневно (daily).
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 179 | 14:10:21
admin1951, никак. с помощью карты сайта вы вряд ли сможете указывать роботу как посещать сайт. лучше не трогайте и оставьте системную.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
svetynya
Сообщений: 2
Репутация: 0

Сообщение # 180 | 01:48:02
Файл Sitemap: /http://rostovtort.ru/sitemap.xml Тип: ?

Сведения об ошибках: ошибок: 1, предупреждений: 0. Показать: Показать 1–1 из 1
#
ТипПроблемаОписаниеКоличество проблемПримерСтрокаОбнаружено1ОшибкиОшибкаПри попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.1Общая ошибка HTTP: 404 Не найденоОшибка HTTP: 404
-25 июня 2013 г.

1–1 из 1

Помогите пожалуйста и

...
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!