Карта сайта (sitemap) — это html страница сайта или специальный xml файл , в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта . Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.
Какие бывают карты сайта
Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта , на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта .
Карта сайта HTML Sitemap
Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта , на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей , нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже .
Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.
Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.
HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.
Карта сайта XML Sitemap
XML карта сайта — это файл формата xml, вида sitemap.xml , который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта , который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок . Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.
Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.
Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.
Пример файла карты сайта sitemap.xml
Правильный sitemap.xml должен иметь кодировку UTF8 . Содержимое файла карты сайта sitemap.xml выглядит следующим образом:
Где используются следующие обязательные теги:
— родительский тег, в него заключаются все url-адреса; — тег, в котором указываются сведения о конкретном url-адресе; — в данном теге указывается непосредственно url.
— этот тег заключает в себе дату последнего изменения страницы; — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never; — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.
Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:
Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.
Здесь используются уже знакомые нам теги
— родительский тег, в который заключаются адреса всех карт сайта; — тег, в котором заключается параметры для каждой карты сайта.
Пример файла карты сайта sitemap.txt
Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:
1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/
Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.
Как создать карту сайта
Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта . Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.
Как уже было написано выше — файл карты сайта размещается в корне сайта . Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта , провести анализ карты сайта на корректность , соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.
Второй способ указать поисковым системам на расположение файла карты сайта — это .
Sitemap: http://mysite.ru/sitemap.xml
В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.
Основные способы создания карты сайта
- Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
- Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
- Скачать программу-генератор карты сайта . Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
- Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
- Создание карты сайта вручную .
Карта сайта — один из важнейших инструментов . Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или . А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.
Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.
Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.
Файл robots.txt
robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.
В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.
От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.
Директивы robots.txt
Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.
# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex
Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.
# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/
Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.
# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru
Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.
# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml
Для упрощения написания правил существуют специальные символьные операторы:
- * - обозначает любое кол-во символов, а так же их отсутствие;
- $ - обозначает, что символ стоящий перед знаком доллара, последний;
- # - обозначает комментарий, все что находиться в строке после данного оператора будет проигнорировано поисковыми роботами.
После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .
Файл sitemap.xml
sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.
Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.
Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.
Sitemap позволяет владельцам сайтов и веб-мастерам сообщить поисковым системам о структуре сайта и обновлении контента на его страницах. Таким образом при правильном использовании sitemap можно добиться лучшего индексирования страниц веб-ресурса поисковыми системами. Соответственно, при неправильном использовании данной технологии можно навредить самому себе (точнее своему интернет детищу).
В этой статье я хочу коротко рассказать вам о Google Sitemap, предоставить программный код на Java для простой генерации sitemap.xml, ну и открыть некоторые нюансы обнаруженные моим другом и мной, и о которых, как мне кажется, многие не знают.
Sitemap состоит из набора блоков, каждый из которых описывает одну страницу сайта и предоставляет некоторую информацию о динамике ее обновления. Вот небольшой пример sitemap.xml, сгенерированный с помощью программы на java, которую я предоставлю ниже:
Расскажу о каждом элементе входящем в блок url:
1. loc - собственно URL страницы
2. changefreq - как часто данная страница может изменяться. Возможные значения - always, hourly, daily, weekly, monthly, yearly, never. Судя по всему, данный параметр еще используется поисковиками, для того чтобы вычислить приблизительную дату следующего захода на страницу.
3. priority - приоритет страницы, помогает поисковому спайдеру определить, какие из страниц более приоритетные для краулинга по вашему мнению. Так как обычно количетсов страниц, которые скачает краулер ограничено, данный параметр может оказаться очень полезным для сайтов, где контент меняется очень часто. На выдачу поисковиков данный параметр не влияет.
4. lastmod - время последнего обновления конетнта страницы. Для сайтов со статическим контентом можно не использовать lastmod, changfreq будет более чем достаточно.
Ну а вот ужасная вещь: практически во всех статьях, которые я читал о google sitemap и о генерации сайтмеп, есть очень подозрительная вещь:
Здесь не указано время обновления страницы. Google конечно понимает разные форматы дат, но давайте рассмотрим такой случай:
1. вы обновили страничку, например 2009-02-20.
2. crawler заходит на сайт, скачиавет страничку. Скорее всего он помечает, что заходил на эту страницу 2009-02-20.
3. В этот же день вы находите ужасные недочеты в контенте страницы и полностью переделываете ее. После изменений дата lastmod все равно остается 2009-02-20.
4. в следующий раз spider скачивает sitemap.xml и видит, что та самая страничка последний раз менялась 2009-02-20. Но в этот день гугл уже якобы скчивал страницу. А значит нет смысла заново ее загружать. Таким образом гугл никогда не узнает о ваших изменениях, если конечно вы еще раз не обновите lastmod.
Ну а вот и обещаный программный код для генерации sitemap:
Public class GoogleSitemap {
private String publicUrl;
private List
Если вы спросите, что такое
Formated.substring(0, 22) + ":" + formated.substring(22);
Так вот, это небольшой хак. Дело в том, что по стандарту w3c в таймзоне должно присутствовать двоеточие, а Z для таймзоны в SimpleDateFormat двоеточие не ставит.
Надеюсь, статья была вам интересна и информация из статьи когда-нибудь вам пригодится. Всего вам хорошего.
Сегодня мы расскажем Вам, по каким признакам можно отличить мужчину, который также ищет свою любовь от человека не заинтересованного в серьезных отношениях.
Признак первый: называет по имени
Как бы ни странно это звучало, но именно то, что мужчина в начале отношений называет Вас по имени, является первым признаком того, что он настроен серьезно.
Все дело в том, что мужчины, часто меняющие женщин, начинают путать имена. Чтобы выкрутится, начинают использовать ласковые прозвища типа малыш или рыбка.
Признак второй: нет изменам
Помните, что настоящий мужчина, который вас любит не пойдет на измену. Конечно, не всегда женщина знает о том, что мужчина начал ей изменять. Но чаще всего это можно проследить по изменениям в его поведении.
В начале отношений измен может и не быть, но могут быть явнее признаки. Так что если Ваш партнер постоянно засматривается на других барышень или тем более сравнивает Вас с ними, бегите от него. Ведь такой мужчина принесет Вам только слезы и разочарования.
Признак третий: я плачу сам!
Мужчина не обязан платить за Вас, если это Вы позвали его в ресторан. Но если Вы его интересуете, и он хочет продолжения отношений, то он заплатит сам. Чаще всего - из-за желания показать Вам свою щедрость и то, что он - настоящий мужчина.
Психологи отмечают, что когда мужчина приходит в ресторан с любимой девушкой он оставляет больше чаевых, чем, если приходит с друзьями. Но помните, что Вы, ни в коем случае не должны требовать от него заплатить за Вас. Иначе он может воспринять это как желание нажиться на нем.
Признак четвертый: знакомство с родителями
Еще одним признаком мужчины, настроенного на серьезные отношения - станет знакомство с родителями. В первую очередь признаком является его желание познакомить Вас со своей семьей. Так он показывает Вам, то, что Вы ему дороги.
А вот знакомство с Вашими родителями - признак того, что он готов к серьезным отношениям. Конечно, это не значит, что он сразу же женится на Вас. Но предложение пожить вместе точно может прозвучать.
Признак пятый: без рукоприкладства
В жизни каждого человека бывают разные ситуации. В каждых отношениях может произойти ссора. Нонастоящий любящий мужчина никогда не поднимет руку на женщину. И это факт. А про поговорку: "Бьет - значит, любит", забудьте навсегда.
Признак шестой: ему интересно Ваше мнение
Если мужчина рядом с Вами действительно заинтересован в серьезных отношениях, то он будет интересоваться Вашим мнением в важных вопросах. И это будет касаться не только дома или самих отношений, но и других сфер его жизни.
Ведь если мужчина Вас любит - значит он Вам доверяет. Поэтому будет спрашивать совет. Но помните, что давать совет стоит только когда мужчина его попросит. В противном случае, Вы можете задеть его самолюбие.
Напоследок нам хотелось бы Вам пожелать все таки найти свою вторую половинку. И надеемся, что наши советы помогут Вам обрести свой кусочек женского счастья.
Файл sitemap.xml является картой сайта для поисковых систем и содержит информацию о тех страницах Вашего сайта, которые подлежат индексации.
Создание sitemap.xml ускорит индексацию сайта поисковыми роботами, укажет им частоту обновления и приоритет сканирования его страниц.
Поэтому наличие файла sitemap.xml в корневой папке сайта если не обязательно, то весьма желательно!
Sitemap.xml можно составить самостоятельно, но лучше его сгенерировать с помощью одного из специальных сервисов (особенно, если Ваш сайт содержит большое количество страниц ), а потом, в случае необходимости, отредактировать. Но удобнее всего создавать и обновлять файл sitemap.xml одновременно с созданием Вашего сайта по мере появления новых страниц.
Создание и размещение файла sitemap.xml
Самостоятельно создать файл sitemap.xml можно в стандартном текстовом редакторе Блокнот , сохранив его с расширением .xml .
Как уже было сказано ранее, sitemap.xml должен быть помещён в корневую директорию сайта:
http://www.vashsite.ru/ sitemap.xml
Этот адрес следует указать в файле robots.txt в директиве Sitemap (о robots.txt ), сообщив, таким образом, поисковым роботам о существовании файла sitemap.xml для Вашего сайта.
Если Вы составили несколько файлов sitemap.xml для разных поисковых систем, то все их следует указать в файле robots.txt
Google Sitemap
Для составления Google Sitemap можно воспользоваться бесплатным sitemap -генератором http://www.sitemapspal.com/ .
Для того, чтобы создать файл sitemap.xml с помощью этого сервиса необходимо:
Пример составления файла sitemap.xml
Для того, чтобы Вы могли самостоятельно создать и редактировать файл sitemap.xml , ниже приведён пример его составления (sitemap -генератором http://www.sitemapspal.com/ ) и назначение элементов:
Пример составления sitemap.xml
.......
.......
.......
Описание и назначение элементов sitemap.xml
указывается версия xml и кодировка UTF-8 , являющаяся обязательной для файла sitemap.xml ;
далее расположен обязательный
открывающий тег
Закрывающий тег расположен в конце файла;
Каждая запись содержит следующие необязательные теги :
тег
тег
тег
Always - всегда (используется, если страница изменяется при каждом доступе к ней) ,
Hourly - ежечасно,
Daily - ежедневно,
Weekly - еженедельно,
Monthly - ежемесячно,
Yearly - ежегодно,
Never - никогда;
тег
Как видно из примера, sitemap -генератор по умолчанию устанавливает среднее значение 0,5 .
Теперь, зная синтаксис и назначение элементов файла sitemap.xml , Вы можете его создать и редактировать самостоятельно.
Sitemap для Yandex
Для поисковой системы Yandex
файл sitemap.xml
составляется аналогично, за исключением содержимого тега
В остальном синтаксис файла sitemap.xml для Yandex такой же, как было описано в примере выше.
Как сообщить поисковым системам о файле sitemap.xml
Как уже говорилось ранее, для того чтобы сообщить поисковым системам о sitemap.xml необходимо:
1. В файле robots.txt добавить директиву Sitemap с указанием всех файлов sitemap.xml , созданных для различных поисковых систем (подробнее );
2. Добавить URL файла sitemap.xml в:
Сервис «Яндекс.Вебмастер» для поисковой системы Yandex
Сервис «Инструменты для веб-мастеров» для поисковой системы Google