Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Sitemap.xml карта сайта (Sitemap.xml карта сайта для поисковых роботов)
Sitemap.xml карта сайта
Модератор форума
Сообщение # 1 | 18:01:55
Sitemap.xml это карта сайта в формате XML предназначенная для поисковых роботов. В ней содержатся ссылки и метаданные (дата последнего изменения и частота изменения) о страницах подлежащих индексации. Карта сайта не является полной гарантией того, что все ссылки в ней находящиеся будут проиндексированы и попадут в поисковый индекс. Этот файл является вспомогательным, но не обязательным.
Карта сайта не должна содержать более 50000 URL.


Для сайтов системы uCoz не надо создавать карту сайта для поисковых роботов вручную с помощью локальных программ на компьютере или с помощью онлайн сервисов, система автоматически генерирует карты:
  • sitemap-site.xml - Редактор страниц
  • sitemap-blog.xml - Блог
  • sitemap-news.xml - Новости
  • sitemap-load.xml - Каталог файлов
  • sitemap-publ.xml - Каталог статей
  • sitemap-dir.xml - Каталог сайтов
  • sitemap-board.xml - Доска объявлений
  • sitemap-stuff.xml - Онлайн игры
  • sitemap-faq.xml - FAQ
  • sitemap-forum.xml - Форум
  • sitemap-photo.xml - Фотоальбом
  • sitemap-gb.xml - Гостевая книга
  • sitemap-shop.xml - Интернет-магазин
  • для самого сайта отдельно site.ru/sitemap.xml
  • Сгенерированные системой карты содержат 10000 URL
В файловом менеджере файлы sitemap появляются после первого обращения к любому из адресов карт сайта полученных в ПУ в модуле Поиск по сайту

Так же в файле robots.txt по окончании карантина появляются ссылки на карты сайта. До окончания карантина адреса карты сайта можно получить в панели управления - модуль поиск по сайту -


Важно! Карта сайта для гостевой книги sitemap-gb.xml генерируется лишь в том случае, если в Премиум настройках Seo-модуля не активна опция - "Запретить индексацию Гостевой книги поисковыми системами". Если опция активна, карта генерироваться не будет.

Что еще важно! Чтобы не генерировались пустые карты сайта автоматически, не нужно держать активными пустые модули в которых совсем нет материалов. Если не планируете наполнять модуль материалами, лучше удалите его совсем и лишняя пустая карта сайта не будет генерироваться.

Начиная с обновления от 13.09.2023 в карты сайтов модулей где создаются категории, URL категорий теперь так же добавляются в sitemap.

Важно! Если при добавлении карты сайта в вебмастер Google вам в колонке статус сообщается "Не получено", это не проблема с стороны uCoz, это некорректная работа именно Google Webmaster. Обычно чтобы эта ошибка устранилась, достаточно чтобы прошло несколько суток, иногда бывает и несколько часов достаточно.

Стоит усвоить основное понимание по данной ошибке, если карта сайта по прямой ссылке у вас доступна, это уже хорошо и ошибок с стороны uCoz нет. То что гугл сообщает вам об ошибке, это конкретно ошибки вебмастера и скорость обработки sitemap с стороны Google.


До окончания карантина адреса sitemap не надо передавать поисковым системам через панели вебмастера
После окончания карантина можно добавить карты в панель вебматера Яндекса //u.to/32kB
и в инструменты для вебмастеров Google


Некоторые проблемы и причины возникновения проблем


Проблема: Ошибки в вебмастере Яндекса или Google
Некорректный URL (не соответствует местоположению файла Sitemap) или Пути не совпадают или Неизвестный тип ошибки (ERR_HOST_NOT_CONFIRM)

Причины: Вы неправильно указали адрес сайта. Ваш сайт настроен на отображение без www, а в вебмастер вы добавили сайт с www . Или ошибка в написании адреса карты сайта в robots.txt где вы опять же неправильно указали адрес с www или без. Читать подробней о главном зеркале сайта


Проблема: Ошибки в вебмастере Яндекса "Неверный формат документа" В страницах с ошибкой в списке URL и sitemap.xml
Причины:
1)Такую ошибку Яндекс обычно выдает, если находит ссылку на адрес карты сайта в коде страницы. Робот не принимает карту сайта в формате xml со страниц. Это ещё раз говорит о том, что прописывать адреса sitemap.xml в код страниц не стоит. Индексацию это точно не улучшит, а ошибки иногда будете получать

2) Вы закачали свою карту сайта, или стандартную, но исправленную вами на компьютере. Такую ошибку робот выдает при сохранении в неправильной кодировке (должна быть utf-8) или у документа неправильное форматирование. Это значит, что создавать свою карту сайта не надо, достаточно системной. А так же совершенно категорически не стоит заниматься самостоятельными правками sitemap.xml


Проблема: Ошибка в вебмастере Google
Файл не содержит URL
Причина: Такое обычно бывает, если робот Google на новом сайте после окончания карантина в robots.txt находит ссылку на карту сайта форума например, а модуль форума запущен, но пустой. То есть нет форумов, нет тем, нет сообщений
Поэтому пока сайт на карантине старайтесь наполнять информацией все запущенные модули


Проблема: В списке URL карты сайта отсутствуют ссылки на страницы залитые через файловый менеджер
Причина: Страницы залитые в файловый менеджер не попадают в карту сайта, так как не являются системными или страницами модулей. Отсутствие URL на залитые страницы в карте сайта не влияют на индексацию подобных страниц. Для индексации вам надо вывести ссылки на такие страницы на сайт


Проблема: Ошибки сканирования - В файле sitemap - Вебмастер Google (сайт давно снят с карантина)
Причина: Добавленная страница через редактор страниц или любые другие страницы прописаны запретом в файле robots.txt. Проверьте правильно ли составлен у вас robots.txt
Если вы сами прописывали страницу/ы в роботс, то ничего предпринимать не надо - Гугл выдает техническую информацию


Проблема: Количество отправленных (загруженных роботом) и проиндексированных URL не совпадает.Проиндексированных меньше
Причина: Карта сайта не является залогом того, что все URL на вашем сайте будут проиндексированы и попадут в поисковый индекс. Нормальной считается ситуация, когда проиндексировано около 80% загруженных url


Полезная информация


Карта сайта обновляется автоматически раз в 2-4 дня, при условии, что на сайт были добавлены новые материалы.

Если надо по каким либо причинам обновить карту не дожидаясь автоматического обновления, то заходим в файловый менеджер и удаляем карту сайта (карту форума или карту интернет-магазина). Удаленная карта тут же заменится новой, но уже с обновленной информацией. Для первого вызова удаленной карты надо пройти по её адресу, например: site.ru/sitemap.xml

Никогда не выводите ссылки на карту сайта в формате xml на страницы сайта. Индексацию это точно не улучшит, как и степень доверия к вашему сайту у поисковой машины. Роботы имеют доступ к карте через корневую директорию файлового менеджера так же по умолчанию адреса прописаны в robots.txt и не нужно дублировать адрес на страницах.

Не пытайтесь генерировать sitemap с помощью различных программ или всяких сервисов. Кроме блокировки вашего ip и различных вы ничего не получите. Системной карты вполне достаточно, она автоматически обновляется. А залитую карту вам придется каждый раз обновлять вручную. А если учесть настройки запросов во избежании блокировки ip, то это получается бесконечный никчемный труд

Не пытайтесь скачивать карту сайта, вручную делать изменения и закачивать её снова. Любая ошибка с вашей стороны и вы получите массу ошибок индексации или проблем с самой картой сайта. Лучше ничего не трогать

При добавлении карты сайта в форму вебмастера Яндекса нужно добавлять полный адрес карты. Например: //u.to/4AwQ
При добавлении карты в форму вебмастра Google нужно добавлять только sitemap.xml адрес сайта с закрывающим слешем Google подставляет сам.
Прикрепления: 7551743.jpg (2.2 Kb)
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 106 | 13:28:05
Не уверен, что ообращаюсь по теме, поправте если что. Вопрос в следующем. Везде упорно выдаётся ctiralnye_mashiny вместо stiralnye_mashiny. Хотя везде, где русский текст, произвёл замену на русскую С. Просто когда создавал страницу, перепутал языки. Потом исправил, но где-то, ка кмне кажется, в Sitemap не изменилась информация, поэтому и висит неправильный вариант. На сайте везде исправил всё, что сервис определил как ошибку. Меня сбило с толку информация в шапке, что Sitemap автоматически обновляется через 3-4 дня, а я исправлял ошибку в написании уже очень давно, но не проконтролировал. И раздел Запчасти до сих пор видится как zapchasti_i_komplektujushhie хотя давно уже исправлен. Я так думаю, что если бы инфа шла непосредственно с сайта, то и ошибок не было, а так то каким образом старые баги вылазят? Вот адрес сайта http://rem-dom-teh.at.ua/. Заранее благодарю!

Мой сайт РемДомТех
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 107 | 14:30:17
Amati5210, плохо, что не дали ссылки на проблемные страницы (которые были исправлены)
в карте сайта могло поменяться, а вот в выдаче поисковиков нет
кстати, и где везде?
Quote
Везде упорно выдаётся

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 108 | 15:28:46
Спасибо за помощь. Есть такой сервис по проверке сайтов audit.megaindex.ru. У меня новый сайт пол года. Выдача в поисковиках разная, да и как новичку мне всё интересно, вот и провожу анализ сайта разными сервисами. При проверке вышеуказанным ресурсом я решил пройтись по ошибкам, которые были указаны и обнаружил 3 ошибки с кодами. Одну с 404 «не найдено» - ссылка на несуществующую страницу. Сылку исправил. И две с 301 - «перемещено навсегда». Одна направляет на страницу ctiralnye_mashiny хотя уже давно исправлено на stiralnye_mashiny, а другая на zapchasti_i_komplektujushhie исправлено тоже давно на zapchasti . Если сохранилась такая информация, то значит и поисковики видят мой сайт с такими же багами, вот что меня интересует. А проблемные страницы отображаются нормально. Вот "Стиральные машины" [url=http://rem-dom-teh.at.ua/index/stiralnye_mashiny/0-17][/url] .
Вот страница "Запчасти" http://rem-dom-teh.at.ua/index/zapchasti/0-49 . Но ведь это то, что видим, а ПС не только по этим параметрам анализируют.
P.S. Не получается вставить две ссылки в одно сообщение, поэтому сорри за такую форму сообщения.

Мой сайт РемДомТех
Сообщение отредактировал Amati5210 - Вторник, 04 Сен 2012, 15:37:20
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 109 | 16:12:59
Amati5210,
Quote
И две с 301
если включать чпу, выключать его, править само отображение чпу, то во всех этих случаях и многих других ставится 301 редирект, что помогает пс быстрее правильно переиндексировать страницу
все нормально у вас. но это тема про карту сайта. а вы про чпу

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 110 | 16:27:05
Прошу прощения, что не в ту тему. Теперь я спокоен. Спасибо и удачи!

Мой сайт РемДомТех
Xao0152
Сообщений: 1
Репутация: 0

Сообщение # 111 | 12:38:07
Моему сайту нет еще и двух недель, однако, вчера купил услугу премиум на месяц. Возможно, важно время покупки, так вот, хочу сказать, что прошло где-то 15 часов.

По-прежнему гугл выдает ошибку в виде

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.


В чем дело?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 112 | 13:38:46
Xao0152, Xao0152, вы в гугл добавляли до покупки услуг?

Quote
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt
это нужно сайт смотреть. где адрес сайта?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Xao0152
Сообщений: 1
Репутация: 0

Сообщение # 113 | 13:47:09
адрес в личном сообщении отправил...
Cyklik
Репутация: 0

Сообщение # 114 | 17:58:54
У меня в файле sitemap только 40% страниц сайта. Как сделать, что бы все страницы туда попали?
Hachiro
Сообщений: 7
Репутация: 0

Сообщение # 115 | 05:58:08
У меня проблема с sitemap-shop.xml
Я зашел в ПУ - поиск по сайту и нажал - Адреса Sitemap файлов но высветило мне только два адреса /sitemap.xml и /sitemap-forum.xml но нету третьего sitemap-shop.xml, проблема в том что я хочу добавить сайт в поисковую систему google и добавлял три sitemap но мне написало что в sitemap-shop.xml "Тег XML отсутствует." "Этот обязательный тег отсутствует. Добавьте его и повторите передачу." Как мне решить эту проблему ?
Скриншот с google
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 116 | 07:26:01
Hachiro,
Quote
sitemap-shop.xml
при активном модуле интернет магазина он появляется автоматически ...

Hachiro
Сообщений: 7
Репутация: 0

Сообщение # 117 | 10:34:42
спасибо за объяснение Miss_Esq,
Joolz
Сообщений: 81
Репутация: 27

Сообщение # 118 | 02:58:49
Здравствуйте. Обратная связь /index/0-3 (и еще пару страниц) запрещены в роботе к индексации, а в sitemap.xml адреса присутствуют, из за этого в веб-мастере ошибки, что я считаю в общем то правильным, зачем в sitemap адреса страниц запрещенных к индексации <_<. Вопрос, как сделать чтобы система не генерировала адреса конкретных страниц в файле sitemap? Спасибо.

Добавлено (13-Сен-2012, 02:58:49)
---------------------------------------------
Страницы должны быть доступны гостю.

va4446
Сообщений: 9
Репутация: 0

Сообщение # 119 | 21:15:39
Скажите пожалуйста, в сайтмап должны записываться урлы на материалы в каталоге? Потому что гугл проиндексировал сам каталог "publ", но не проиндексировал статьи... Это может быть из-за того, что только зарегистрированные пользователи могут читать каталог?
Drinko
Сообщений: 909
Репутация: 773

Сообщение # 120 | 21:34:26
Quote (va4446)
Это может быть из-за того, что только зарегистрированные пользователи могут читать каталог?

Естественно - ведь вы закрыли доступ к материалам всем остальным, в т.ч. и роботам гугла ;)

Сообщество uCoz » Вебмастеру » Раскрутка сайта » Sitemap.xml карта сайта (Sitemap.xml карта сайта для поисковых роботов)
Поиск: