Web-технологии

Теги файла sitemap.xml:

• changefreq - наиболее вероятная частота изменения контента указанного URL;
• lastmod - фактическая дата последнего обновления URL;
• loc - сам URL;
• priority - приоритетность указанной страницы по отношению к другим страницам сайта;
• url - этот тег служит родительским для указанных первых четырех тегов;
• urlset - этот тег объединяет теги первых пяти типов.

Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:

• & - амперсанд;
• ' - одиночные кавычки;
• " - двойные кавычки;
• > - знак "больше";
• < - знак "меньше".

Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).

Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте в файл robots.txt следующую строку:

Sitemap: http://ДОМЕН.ru/sitemap.xml

Для передачи поисковым системам нового Sitemap используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml

Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах w3 или xml.org. При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажек "Добавлять ссылку на XSD схему для проверки". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта. Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84. За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps, предложенное Google стало, пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo, а в апреле и Ask.com. На радостях формат Sitemaps получил новую версию Sitemap 0.90, расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask, Google и Yahoo, т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндексом.