Для начала я предлагаю определиться с терминологией "Карта сайта".
Карта сайта - это необходимый инструмент для любого сайта в интернете, помогающий поисковым системам узнать и добавить в индекс все доступные страницы по коду 200. Принято различать два вида карты сайта:
- Карта сайта XML (для роботов);
- Карта сайта HTML (для людей).
Обе эти карты помогают поисковым системам узнать обо всех сраницах сайта, а так же узнать об изолированных страницах, если таковые были внесены в список.
Карта сайта HTML в первую очередедь ориентирована для пользователей и мало чем полезна для поисковых систем. Если у Вас большой сайт и в меню навигации просто невозможно уместить все разделы, то карта сайта для людей будет удобной и наглядной для пользователя, чтобы он не потерялся у Вас на сайте.
Но даже при создании карты сайта HTML нужно учитывать принципы:
- Размещать не более 100 ссылок. Создавать многостраничную карту, если большой сайт.
- Отражать структуру сайта в оформлении, это не должно быть простое перечисление URL. Ссылки на страницы должны по возможности показывать визуальный уровень вложенности.
- Ссылки на все страницы должны быть рабочими.
Ниже показано, как выглядит карта сайта для людей
Карта сайта XML в первую очередь создается для поисковых роботов Яндекс и Google. Ее рекомендуется создавать в формате .xml и размещать в корневом каталоге сайта. Путь к ней обычно выглядит следующим образом: https://site.ru/sitemap.xml.
Для того, чтобы поисковики могли сразу найти по какому адресу расположена карта сайта XML, необходимо указать адрес карты в файле robots.txt. Дополнительно в карте сайта XML можно указать дату последнего изменения документа, частоту обновления документа, а так же выставить приоритетность страниц.
XML карта сайта – это рекомендация для поисковых систем с точки зрения какие страницы нужно индексировать. С их помощью мы говорим: «Обратите внимание на эти страницы. Эта страница важнее, а другая чуть менее значима. Эта страница обновляется еженедельно, а вот та раз в месяц».
Пример XML карты сайта:
Разумеется, карта сайта для роботов выглядит несколько сложней, предлагаю разобрать эту карту по тегам и определить их назначения.
Из чего состоит карта сайта XML
В карте сайта используется кодировка UTF-8. Указывается это следующей строкой:
<?xml version="1.0" encoding="UTF-8"?>
Важные теги для карты сайта xml:
- <urlset> – родительский тег, открывается после указания кодировки и закрывается в самом конце;
- <url> – тег с параметрами конкретного url;
- <loc> – тег с самим url;
- <lastmod> — тег, который показывает дату последнего обновления страницы;
- <changefreq> — тег, который показывает, как часто обновляется страница (может иметь значения: always, hourly, daily, weekly, monthly, yearly, never);
- <priority> — тег, который показывает приоритет одной страницы перед другими (может иметь значения от 0,1 до 1).
В родительском теге необходимо указывать пространство имен языка XML: xmlns=http://www.sitemaps.org/schemas/sitemap/0.9
Рекомендации к файлу sitemap.xml от поисковых систем
При составлении XML карты сайта необходимо учитывать следующие принципы:
- В карте сайта указывать не более 50 000 ссылок на страницы. Если количество страниц большое, то лучше разделять Sitemap на несколько файлов (далее расскажем, как именно).
- Страницы должны возвращать код ответа сервера 200. В sitemap.xml не нужно включать страницы с кодом ответа 3xx, 4xx, 5xx.
- Размер XML карты не должен превышать 10 Мб.
- В XML карту необходимо добавлять исключительно ссылки того же домена, где расположен файл.
- Карта сайта должна находиться на том же домене, для которого ее составили.
Что такое сводный sitemap.xml
Если в карту сайта необходимо включить более 50 000 ссылок, рекомендуется разбить ее на несколько файлов. Например, это стоит делать при работе с большим интернет-магазином. Для этого нужно:
- создать отдельные карты для разводящих страниц, карточек товара и служебных страниц;
- объединить полученные файлы в сводную карту сайта.
Сводный, он же индексный, sitemap.xml – это файл, который объединяет ссылки на другие карты сайта.
Обязательные теги для него:
- <sitemapindex> – родительский тег;
- <sitemap> – тег с параметрами каждой sitemap;
- <loc> – тег со ссылкой на sitemap.
Как составить карту сайта XML
Теперь, имея понимание из чего состоит карта сайта XML можно составить её собственными руками используя текстовый редактор "Блокнот", "Notepad++" или любой им аналогичный.
Составление карты сайта XML собственноручно может занять много времени. Для экономии времени рекомендую создать карту с помощью автоматических или полуавтоматических инструментов. Предлагаю по-порядку рассмотреть некоторые из них и определить основые преимущества.
Screaming Frog SEO Spider
Для того, чтобы создать карту сайта в формате XML необходимо:
- провести парсинг сайта
- зайти в Sitemaps – XML Sitemap
- настроить параметры
- можно выбрать, какие страницы взять в карту сайта и задать теги
- нажать ОК
Предварительно нужно проверить настройки robots.txt, перейдя в Configuration – robots.txt – Settings.
Можно также загрузить уже готовый список страниц для карты сайта. Необходимо:
- переключить Mode в режим List;
- выбрать Upload – Enter Manually;
- обойти загруженные страницы;
- использовать те же шаги, что описаны выше.
WebSite Auditor
Для того, чтобы создать карту сайта в формате XML необходимо:
- сначала парсим сайт;
- перейти в раздел Страницы – Инструменты - Карта сайта XML;
- выбрать страницы с кодом 200 и открытые к индексации;
- можно выбрать, какие страницы взять в карту сайта и задать теги;
- нажать ОК
Плагины для Content Management System (CMS)
Для всех популярных CMS разработаны плагины, которые создадут карту сайта за вас. Например, Yoast SEO для WordPress, модуль Sitemap.xml для Bitrix, JL Sitemap для Joomla и другие.
Онлайн-генераторы
Сайты, генерирующие sitemap.xml, имеют ограничения по настройкам, либо по количеству индексируемых URL в бесплатной версии. Такие варианты подойдут только для небольших ресурсов.
Примеры генераторов:
- https://www.mysitemapgenerator.com/ru/
- https://www.xml-sitemaps.com/
Где указать путь на файл sitemap.xml
Чтобы оповестить поисковых роботов, о том, что была создана карта сайта, необходимо:
1. Добавить ссылку на нее в файле robots.txt с помощью директивы sitemap:
https://site.ru/sitemap.xml Директива Sitemap – межсекционная. Неважно, в каком месте она будет указана в файле robots.txt, поисковые роботы ее найдут и проиндексируют.
2. Добавить ссылку на XML карту сайта в вебмастер Яндекс и Google.
Панель Яндекс Вебмастер
Панель Google Search Console
Что такое карта изображений
Карта изображений - это вид sitemap.xml используется для заполнения атрибутов Alt и Title изображений.
Он является инструментом SEO-оптимизации в поиске по картинкам, который приводит дополнительный трафик на сайт. Особенно актуально, если изображения на сайте подгружаются через Javascript. В этом случае поисковые системы не проиндексируют изображения без вашей помощи.
Карту картинок можно делать в отдельном файле, а можно добавить информацию об изображениях в основной sitemap.xml. Если используется отдельный файл, то ссылку следует разместить в robots.txt и в кабинетах: Яндекс Вебмастер и Google Search Console. Можно указывать не более 1 000 изображений для каждой страницы.
Важные теги:
- <image:image> – тег с параметрами изображений;
- <image:loc> – тег со ссылкой на картинку;
- <image:caption> – тег, передающий подпись к изображению;
- <image:geo_location> – тег, передающий место съемки;
- <image:title> – тег, передающий название изображения;
- <image:license> – тег со ссылкой на лицензию изображения.
Ниже показан пример sitemap.xml с записью об изображениях, который приводит в своих рекомендациях Яндекс:
Создать карту изображений можно вручную, с помощью плагинов для CMS, и, например, Screaming Frog (стоит выбирать Images Sitemap вместо XML Sitemap).
Как проверить карту сайта на ошибки
Перед выгрузкой sitemap.xml на сайт необходимо проверить ошибки. Для этого нужно:
1. Загрузить текст карты сайта, ссылку на нее или файл в «Анализ файлов Sitemap» в Яндекс.Вебмастер. Сервис покажет наличие или отсутствие ошибок, вес файла и количество ссылок.
2. Использовать программу Screaming Frog, чтобы проверить открыты ли страницы для индексации и какой код ответа они отдают. Он должен быть 200 OK.
В инструменте можно загрузить список URL через режим List, Upload Manually. А можно выгрузить карту, уже размещенную на сайте. Для этого в режиме List нужно выбрать Upload – Download XML Sitemap.
Зайти на вкладку URL, отфильтровать по Parameters, чтобы проверить, не попали ли в карту сайта URL с GET-параметрами.
Заключение
Карта сайта в формате XML – это способ передать поисковым системам информацию о страницах сайта. Не игнорируйте этот инструмент. Он будет полезен как для крупных, так и для небольших проектов.
Занимаюсь SEO продвижением c 2011 года. Автор множества статей на тему эффективного линкбилдинга и нестандартного крауд-маркетинга. Ведущий специалист поисковой оптимизации в компании IMarketing.
