- Автор темы
- #1
Правильная настройка файла robots.txt и sitemap.xml позволит исключить возможные проблемы, возникающие при индексации.
1. Файл robots.txt
robots.txt- это обыкновенный файл, который должен находиться в корне вашего сайта, там же где находится и правильный htaccess, и этот файл говорит поисковым роботам как именно индексировать ваш проект, на какие страницы не стоит обращать внимание, а каким уделить особое внимание
Файл содержит инструкции, предназначенные для поисковых ботов. Размещается он обязательно в корневой директории, благодаря чему индексацию страницы боты начнут именно с чтения условий, изложенных в robots.txt.
Рассмотрим преимущества robots.txt, которые он дает ресурсу.
Файл robots.txt должен находиться на сервере, в корне вашего сайта. Можно также посмотреть на любом сайте в Интернет, для этого достаточно после адреса сайта добавить /robots.txt .
Файл robots.txt , у каждого сайта имеет свои особенности и бездумное копирование чужого файла, может создать проблемы с индексированием вашего сайта поисковыми роботами. Поэтому нужно четко понимать назначение файла robots.txt и назначение инструкций (директив), которые будете использовать, при его создании.
Инструкции файла robots.txt могут:
– запрещать к просмотру страницы (каталоги) для всех поисковых роботов;
– запрещать к просмотру страницы (каталоги) для выделенных поисковых роботов;
– производить редирект на другую страницу при ошибке 404;
– указывать на местонахождение карты сайта;
– указывать время загрузки страниц для индексации.
1.1. Настройка robots.txt
Создать файл robots.txt, можно воспользоваться любым текстовым редактором, например Блокнотом. Легко написать вручную, не прибегая к помощи различных конструкторов. Для одного сайта нужен один такой файл.
Что нужно прописывать в файле?
Обязательно употребление двух директив: User-agent и Disallow.
User-agent определяет, какому боту адресовано данное послание, Disallow показывает, какую страницу или директорию ресурса запрещено индексировать.
Cписок имен ботов самых популярных поисковых систем:
Google Googlebot
Яндекс Yandex
Rambler StackRambler
Mail.ru Mail.Ru
Yahoo! Slurp (или Yahoo! Slurp)
Alexa ia_archiver
1.2. Проверить файл robots.txt и мета теги
У некоторых вебмастеров вообще не индексируются сайт целиком или часть и что бы вы не делали, роботы не индексируют сайт. Причиной всему может быть файл robots.txt. Возможно в нем допущена ошибка или он сделан не правильно. Проверьте файл robots.txt на наличие в нем ошибок (например, строка Disallow: / закрывает сайт от индексации целиком или Disallow: /news/ закрывает к индексации раздел новостей.) или закрытых важных директорий. Если закрыта директория которая должна быть проиндексирована, то откройте ее.
Пример правильного файла robots.txt на этом сайте.
User-agent: Yandex
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
User-agent: Google
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
User-agent: Mail.ru
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
Host: http://вашсайт.ru
Sitemap: http://вашсайт.ru/sitemap.xml
Лучше указывать инструкции для каждого поисковика, который представляет для вас интерес по отдельности, а также для указать инструкцию для всех других поисковиков.
User-agent - указывает на поисковик, для которого пишется инструкция.
Allow - разрешает индексацию.
Disallow - запрещает индексацию.
Host - указывает на основной хост.
Sitemap - указывает поисковику на xml карту сайта.
Еще сайт может не индексироваться из-за мета тега <meta name=“robots” content=“noindex”> для google и <noindex> для яндекса. Если на странице размещены эти коды, то поисковые роботы не будет индексировать такие страницы или части страниц. если вы хотите что бы страницы индексировалось нужно удалить из кода эти мета теги.
Пример Robots.txt
На основе вышеуказанных данных можно вывести полноценный файл robots.
Теперь, когда вы знаете основные моменты разобранного нами файла, вы сможете управлять индексацией своего сайта: запрещать и открывать к индексации желаемые вами файлы, папки и страницы.
2. Файл sitemap.xml
Файл Sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования.
Основные требования к файлу Sitemap:
– Файл должен располагаться на том же домене, что и сайт, для которого он составлен.
– При обращении к файлу сервер должен возвращать HTTP-статус с кодом 200 OK.
– Файл может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 10 Мб. Если ваш sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса sitemap.
– В файле необходимо использовать кодировку UTF-8.
– Файл может описывать только страницы того домена, на котором он расположен.
Создать карту Sitemap для своего сайта можно несколькими способами:
используя плагины и онлайн-генераторы, а также составляя ее вручную.
О том, как это сделать, какой генератор карты (sitemap generator) использовать и как добавить карту в поисковые системы Яндекс и Гугл, вы узнаете из этой статьи.
2.1 Карта сайта Sitemap.html (для посетителей)
Карта сайта (для посетителей) – это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не используя навигацию сайта.
При создании карты сайта для посетителей обратите внимание на важные моменты:
1. Расположение на видном месте. Карта должна находиться там, где ее будет сразу видно (например, в главном меню сайта или блога).
2. Правильная структура и форматирование. Качественная карта сайта обязательно содержит заголовки, подзаголовки и другие элементы форматирования. Это делает информацию более удобной для восприятия, посетителям будет проще найти те материалы, которые их интересуют.
3. Наличие краткого описания. Небольшие комментарии к отдельным страницам сайта, или категориям, или же один комментарий ко всей карте сайта – это дополнительное удобство для посетителя.
4. Использование анкоров в ссылках. Поисковые системы обращают внимание на анкоры, от чего может улучшиться траст сайта.
2.1.1. Поиск на сайте через Яндекс
Яндекс поиск для сайта исправит все недочёты и значительно упростит посетителям пользование вашим сайтом — информацию они смогут находить гораздо быстрее.
– С настройками Яндекс поиска разберётся любой, кто даже не смыслит в языках программирования HTML и PHP, и не знаком с CSS.
– Результаты Яндекс поиска более качественные, нежели результаты стандартного поиска. Они получаются наиболее релевантные искомому слову или предложению. Посетители задерживаются так на вашем сайте немного дольше, даже если они не находят абсолютного релевантного ответа на свой вопрос;
– Яндекс поиск для сайта учитывает лексику и морфологию языка, позволяет использовать поисковые подсказки и настраивать поисковую форму и другие параметры. И всё это — бесплатно и без ограничений.
2.2 Карта сайта Sitemap.xml (для поисковиков)
Ограничения и особенности
Поисковые системы благоприятно относятся к сайтам, имеющим карту Sitemap.xml. Дело в том, что при ее наличии роботы поисковиков индексируют страницы сайта быстрее и лучше (уменьшается вероятность, что какая-та страница будет случайно пропущена). Очевидно, что карта сайта способствует более быстрому увеличению посещаемости сайта. Однако при этом поисковые системы накладывают на карту сайта Sitemap.xml определенные ограничения:
файл Sitemap должен содержать не более 50 тыс. ссылок и иметь размер не более 10 Мбайт (допускается использование архивации для уменьшения размера файла).
Что же делать, если ваш сайт настолько большой, что карта сайта превышает вышеуказанные значения. В этом случае можно поступать следующим образом:
1. размещать в карте сайта ссылки не на все страницы сайта, а только на категории, подкатегории и теги (ключевые слова), что позволит значительно уменьшить количество ссылок;
2. создавать несколько карт сайта (например, основную, содержащую ссылки на все другие карты, и еще несколько второстепенных).
И даже если данные требования будут выполнены, нет гарантии, что поисковые системы будут придерживаться файла Sitemap.xml при индексации.
2.3. Онлайн-генераторы карты сайта Sitemap
Онлайн-генераторы (generator Sitemap) позволяют формировать карту сайта в виде отдельного файла. При добавлении новых страниц (или при удалении старых) придется формировать карту сайта с помощью генератора и снова добавлять ее на свой сайт.
Генератор Xml-Sitemaps
Простой и удобный генератор карты сайта, имеющий несколько серьезных недостатков:
– количество ссылок в карте может быть не более 500;
– нет возможности настраивать приоритет для отдельных групп страниц (посты, страницы, категории, метки и т.д.);
– нет возможности указывать частоту обновления для отдельных групп страниц;
– генератор просматривает «мусорные» ссылки, которые не должны находиться в карте сайта (ссылки на комментарии, ссылки-отклики, ссылки «печать» и т.д.).
Перейти на сайт генератора можно здесь. Перед вами появится форма, которую нужно заполнить.
1. Ввоим адрес главной страницы сайта.
2. выбираем «примерной» частоты обновления сайта.
3. Настраиваем дату обновления страниц сайта (None – не использовать; Use server’s response – определить автоматически; Use this date/time – использовать текущие дату и время).
4. Настраиваем приоритет страниц для поисковых систем (None – не использовать; Automatically Calculated Priority – вычислять автоматически).
Кнопка «Start» — запуск генератора.
Спустя некоторое время карта будет сформирована. Появится страница, где по ссылке вы сможете скачать карту Sitemap.xml и добавить ее в корневой каталог сайта (как правило, это папка – «public_html»).
Путь к карте можно будет прописать в файле robots.txt с помощью следующего оператора:
Sitemap: http://ваш сайт /sitemap.xml
http://ваш сайт/sitemap.xml – путь к карте сайта.
Генератор Mysitemapgenerator
1. Первым делом пройдите на сайт mysitemapgenerator.com Этот сервис даёт возможность сгенерировать бесплатную карту сайта XML, до 500 страниц. Более чем достаточно.
2. Далее в пункте "Генерация sitemap бесплатно" нажать кнопку "создать".
3. В поле "URL сайта" введите адрес вашего сайта.
4. Введите проверочный код, и нажмите кнопку старт.
5. После того как сканирование будет завершено, нажмите на ссылку "скачать Sitemap".
6. Далее загрузить готовый Sitemap.
Скачанный файл необходимо переименовать в "sitemap". После остаётся закинуть его в корень сайта и сообщить адрес поисковикам.
2.4. Как добавить карту сайта в поисковые системы
Чтобы добавить sitemap на сайт, необходимо проделать следующие шаги:
1. Для соединения с сервером потребуется любой FTP-клиент. В примере будет использоваться FileZilla. Откройте программу и внесите необходимые данные для соединения с сервером по FTP:
Эту информацию можно получить от хостинг-провайдера.
1. Зайдите в корневую папку вашего сайта (папку, где лежат все файлы ресурса) и добавьте туда ваш sitemap.xml. Это можно сделать двойным щелчком мыши или просто при помощи переноса файла в соседнее окно. На вопрос о замене существующего файла, выбираем заменить.
2. Далее заходите в браузер по адресу site.ru/sitemap.xml и проверяете нахождение необходимого файла. Если по данному адресу нет вашего sitemap.xml, возможно вы переместили его не в ту папку, или просто необходимо обновить страницу.
2.5. Добавляем sitemap в Яндекс
Чтобы сообщить поисковому роботу Яндекс о наличии на вашем сайте файла sitemap.xml существует два наиболее эффективных способа:
1. Добавить sitemap через robots.txt. Для этого необходимо внести изменение в данный файл, дописав директиву:
Sitemap: ваш_сайт/sitemap.xml
2. Добавить sitemap через Яндекс.Вебмастер. Для этого способа должны быть подтверждены права на управление сайтом.
Заходим в панель вебмастера Яндекс, переходим на нужный сайт и во вкладке «Настройка индексирования» выбрать «Файлы Sitemap».
Далее следует ввести адрес вашего sitemap.xml в соответствующее поле и нажать «добавить».
Для наиболее быстрого достижения эффекта рекомендуется совершить оба действия.
2.6. Добавляем sitemap в Google
Сделать, это можно следующим образом, заходите "Сканирование", нажимаете "Файлы Sitemap":
в правом верхнем углу кликаем на красную кнопку "Добавление/проверка файла Sitemap". В открывшееся окошко вписываем sitemap.xml. А затем, перед отправкой карты блога, лучше её проверить на наличие ошибок, поэтому жмём кнопочку Проверить файл Sitemap:
После появится сообщение "Проверка завершена", "Просмотреть результаты проверки". Смотрим, если ошибок нет, тогда картинка будет такая:
Далее, можно добавить файл xml карты сайта на индексацию в Google. А вам останется только ждать, некоторое время, пока все ваши статьи проиндексируются:
Вот, дорогие друзья и весь процесс. А я на этом с вами прощаюсь, не надолго. Очень надеюсь, что инструкция для вас будет полезна. Удачи и всего хорошего.
1. Файл robots.txt
robots.txt- это обыкновенный файл, который должен находиться в корне вашего сайта, там же где находится и правильный htaccess, и этот файл говорит поисковым роботам как именно индексировать ваш проект, на какие страницы не стоит обращать внимание, а каким уделить особое внимание
Файл содержит инструкции, предназначенные для поисковых ботов. Размещается он обязательно в корневой директории, благодаря чему индексацию страницы боты начнут именно с чтения условий, изложенных в robots.txt.
Рассмотрим преимущества robots.txt, которые он дает ресурсу.
Файл robots.txt должен находиться на сервере, в корне вашего сайта. Можно также посмотреть на любом сайте в Интернет, для этого достаточно после адреса сайта добавить /robots.txt .
Файл robots.txt , у каждого сайта имеет свои особенности и бездумное копирование чужого файла, может создать проблемы с индексированием вашего сайта поисковыми роботами. Поэтому нужно четко понимать назначение файла robots.txt и назначение инструкций (директив), которые будете использовать, при его создании.
Инструкции файла robots.txt могут:
– запрещать к просмотру страницы (каталоги) для всех поисковых роботов;
– запрещать к просмотру страницы (каталоги) для выделенных поисковых роботов;
– производить редирект на другую страницу при ошибке 404;
– указывать на местонахождение карты сайта;
– указывать время загрузки страниц для индексации.
1.1. Настройка robots.txt
Создать файл robots.txt, можно воспользоваться любым текстовым редактором, например Блокнотом. Легко написать вручную, не прибегая к помощи различных конструкторов. Для одного сайта нужен один такой файл.
Что нужно прописывать в файле?
Обязательно употребление двух директив: User-agent и Disallow.
User-agent определяет, какому боту адресовано данное послание, Disallow показывает, какую страницу или директорию ресурса запрещено индексировать.
Cписок имен ботов самых популярных поисковых систем:
Google Googlebot
Яндекс Yandex
Rambler StackRambler
Mail.ru Mail.Ru
Yahoo! Slurp (или Yahoo! Slurp)
Alexa ia_archiver
1.2. Проверить файл robots.txt и мета теги
У некоторых вебмастеров вообще не индексируются сайт целиком или часть и что бы вы не делали, роботы не индексируют сайт. Причиной всему может быть файл robots.txt. Возможно в нем допущена ошибка или он сделан не правильно. Проверьте файл robots.txt на наличие в нем ошибок (например, строка Disallow: / закрывает сайт от индексации целиком или Disallow: /news/ закрывает к индексации раздел новостей.) или закрытых важных директорий. Если закрыта директория которая должна быть проиндексирована, то откройте ее.
Пример правильного файла robots.txt на этом сайте.
User-agent: Yandex
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
User-agent: Google
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
User-agent: Mail.ru
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/
Disallow: /?
Disallow: /*?
Disallow: /index.php
Allow: /assets/images/
Host: http://вашсайт.ru
Sitemap: http://вашсайт.ru/sitemap.xml
Лучше указывать инструкции для каждого поисковика, который представляет для вас интерес по отдельности, а также для указать инструкцию для всех других поисковиков.
User-agent - указывает на поисковик, для которого пишется инструкция.
Allow - разрешает индексацию.
Disallow - запрещает индексацию.
Host - указывает на основной хост.
Sitemap - указывает поисковику на xml карту сайта.
Еще сайт может не индексироваться из-за мета тега <meta name=“robots” content=“noindex”> для google и <noindex> для яндекса. Если на странице размещены эти коды, то поисковые роботы не будет индексировать такие страницы или части страниц. если вы хотите что бы страницы индексировалось нужно удалить из кода эти мета теги.
Пример Robots.txt
На основе вышеуказанных данных можно вывести полноценный файл robots.
Теперь, когда вы знаете основные моменты разобранного нами файла, вы сможете управлять индексацией своего сайта: запрещать и открывать к индексации желаемые вами файлы, папки и страницы.
2. Файл sitemap.xml
Файл Sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml веб-мастеры могут сообщать поисковым системам о веб-страницах, которые доступны для сканирования.
Основные требования к файлу Sitemap:
– Файл должен располагаться на том же домене, что и сайт, для которого он составлен.
– При обращении к файлу сервер должен возвращать HTTP-статус с кодом 200 OK.
– Файл может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 10 Мб. Если ваш sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса sitemap.
– В файле необходимо использовать кодировку UTF-8.
– Файл может описывать только страницы того домена, на котором он расположен.
Создать карту Sitemap для своего сайта можно несколькими способами:
используя плагины и онлайн-генераторы, а также составляя ее вручную.
О том, как это сделать, какой генератор карты (sitemap generator) использовать и как добавить карту в поисковые системы Яндекс и Гугл, вы узнаете из этой статьи.
2.1 Карта сайта Sitemap.html (для посетителей)
Карта сайта (для посетителей) – это форма дополнительной навигации по сайту. С её помощью пользователь может передвигаться по сайту, не используя навигацию сайта.
При создании карты сайта для посетителей обратите внимание на важные моменты:
1. Расположение на видном месте. Карта должна находиться там, где ее будет сразу видно (например, в главном меню сайта или блога).
2. Правильная структура и форматирование. Качественная карта сайта обязательно содержит заголовки, подзаголовки и другие элементы форматирования. Это делает информацию более удобной для восприятия, посетителям будет проще найти те материалы, которые их интересуют.
3. Наличие краткого описания. Небольшие комментарии к отдельным страницам сайта, или категориям, или же один комментарий ко всей карте сайта – это дополнительное удобство для посетителя.
4. Использование анкоров в ссылках. Поисковые системы обращают внимание на анкоры, от чего может улучшиться траст сайта.
2.1.1. Поиск на сайте через Яндекс
Яндекс поиск для сайта исправит все недочёты и значительно упростит посетителям пользование вашим сайтом — информацию они смогут находить гораздо быстрее.
– С настройками Яндекс поиска разберётся любой, кто даже не смыслит в языках программирования HTML и PHP, и не знаком с CSS.
– Результаты Яндекс поиска более качественные, нежели результаты стандартного поиска. Они получаются наиболее релевантные искомому слову или предложению. Посетители задерживаются так на вашем сайте немного дольше, даже если они не находят абсолютного релевантного ответа на свой вопрос;
– Яндекс поиск для сайта учитывает лексику и морфологию языка, позволяет использовать поисковые подсказки и настраивать поисковую форму и другие параметры. И всё это — бесплатно и без ограничений.
2.2 Карта сайта Sitemap.xml (для поисковиков)
Ограничения и особенности
Поисковые системы благоприятно относятся к сайтам, имеющим карту Sitemap.xml. Дело в том, что при ее наличии роботы поисковиков индексируют страницы сайта быстрее и лучше (уменьшается вероятность, что какая-та страница будет случайно пропущена). Очевидно, что карта сайта способствует более быстрому увеличению посещаемости сайта. Однако при этом поисковые системы накладывают на карту сайта Sitemap.xml определенные ограничения:
файл Sitemap должен содержать не более 50 тыс. ссылок и иметь размер не более 10 Мбайт (допускается использование архивации для уменьшения размера файла).
Что же делать, если ваш сайт настолько большой, что карта сайта превышает вышеуказанные значения. В этом случае можно поступать следующим образом:
1. размещать в карте сайта ссылки не на все страницы сайта, а только на категории, подкатегории и теги (ключевые слова), что позволит значительно уменьшить количество ссылок;
2. создавать несколько карт сайта (например, основную, содержащую ссылки на все другие карты, и еще несколько второстепенных).
И даже если данные требования будут выполнены, нет гарантии, что поисковые системы будут придерживаться файла Sitemap.xml при индексации.
2.3. Онлайн-генераторы карты сайта Sitemap
Онлайн-генераторы (generator Sitemap) позволяют формировать карту сайта в виде отдельного файла. При добавлении новых страниц (или при удалении старых) придется формировать карту сайта с помощью генератора и снова добавлять ее на свой сайт.
Генератор Xml-Sitemaps
Простой и удобный генератор карты сайта, имеющий несколько серьезных недостатков:
– количество ссылок в карте может быть не более 500;
– нет возможности настраивать приоритет для отдельных групп страниц (посты, страницы, категории, метки и т.д.);
– нет возможности указывать частоту обновления для отдельных групп страниц;
– генератор просматривает «мусорные» ссылки, которые не должны находиться в карте сайта (ссылки на комментарии, ссылки-отклики, ссылки «печать» и т.д.).
Перейти на сайт генератора можно здесь. Перед вами появится форма, которую нужно заполнить.
1. Ввоим адрес главной страницы сайта.
2. выбираем «примерной» частоты обновления сайта.
3. Настраиваем дату обновления страниц сайта (None – не использовать; Use server’s response – определить автоматически; Use this date/time – использовать текущие дату и время).
4. Настраиваем приоритет страниц для поисковых систем (None – не использовать; Automatically Calculated Priority – вычислять автоматически).
Кнопка «Start» — запуск генератора.
Спустя некоторое время карта будет сформирована. Появится страница, где по ссылке вы сможете скачать карту Sitemap.xml и добавить ее в корневой каталог сайта (как правило, это папка – «public_html»).
Путь к карте можно будет прописать в файле robots.txt с помощью следующего оператора:
Sitemap: http://ваш сайт /sitemap.xml
http://ваш сайт/sitemap.xml – путь к карте сайта.
Генератор Mysitemapgenerator
1. Первым делом пройдите на сайт mysitemapgenerator.com Этот сервис даёт возможность сгенерировать бесплатную карту сайта XML, до 500 страниц. Более чем достаточно.
2. Далее в пункте "Генерация sitemap бесплатно" нажать кнопку "создать".
3. В поле "URL сайта" введите адрес вашего сайта.
4. Введите проверочный код, и нажмите кнопку старт.
5. После того как сканирование будет завершено, нажмите на ссылку "скачать Sitemap".
6. Далее загрузить готовый Sitemap.
Скачанный файл необходимо переименовать в "sitemap". После остаётся закинуть его в корень сайта и сообщить адрес поисковикам.
2.4. Как добавить карту сайта в поисковые системы
Чтобы добавить sitemap на сайт, необходимо проделать следующие шаги:
1. Для соединения с сервером потребуется любой FTP-клиент. В примере будет использоваться FileZilla. Откройте программу и внесите необходимые данные для соединения с сервером по FTP:
Эту информацию можно получить от хостинг-провайдера.
1. Зайдите в корневую папку вашего сайта (папку, где лежат все файлы ресурса) и добавьте туда ваш sitemap.xml. Это можно сделать двойным щелчком мыши или просто при помощи переноса файла в соседнее окно. На вопрос о замене существующего файла, выбираем заменить.
2. Далее заходите в браузер по адресу site.ru/sitemap.xml и проверяете нахождение необходимого файла. Если по данному адресу нет вашего sitemap.xml, возможно вы переместили его не в ту папку, или просто необходимо обновить страницу.
2.5. Добавляем sitemap в Яндекс
Чтобы сообщить поисковому роботу Яндекс о наличии на вашем сайте файла sitemap.xml существует два наиболее эффективных способа:
1. Добавить sitemap через robots.txt. Для этого необходимо внести изменение в данный файл, дописав директиву:
Sitemap: ваш_сайт/sitemap.xml
2. Добавить sitemap через Яндекс.Вебмастер. Для этого способа должны быть подтверждены права на управление сайтом.
Заходим в панель вебмастера Яндекс, переходим на нужный сайт и во вкладке «Настройка индексирования» выбрать «Файлы Sitemap».
Далее следует ввести адрес вашего sitemap.xml в соответствующее поле и нажать «добавить».
Для наиболее быстрого достижения эффекта рекомендуется совершить оба действия.
2.6. Добавляем sitemap в Google
Сделать, это можно следующим образом, заходите "Сканирование", нажимаете "Файлы Sitemap":
в правом верхнем углу кликаем на красную кнопку "Добавление/проверка файла Sitemap". В открывшееся окошко вписываем sitemap.xml. А затем, перед отправкой карты блога, лучше её проверить на наличие ошибок, поэтому жмём кнопочку Проверить файл Sitemap:
После появится сообщение "Проверка завершена", "Просмотреть результаты проверки". Смотрим, если ошибок нет, тогда картинка будет такая:
Далее, можно добавить файл xml карты сайта на индексацию в Google. А вам останется только ждать, некоторое время, пока все ваши статьи проиндексируются:
Вот, дорогие друзья и весь процесс. А я на этом с вами прощаюсь, не надолго. Очень надеюсь, что инструкция для вас будет полезна. Удачи и всего хорошего.