SEO / поиск

Sitemap, robots.txt и canonical: настроить без противоречий

Эти настройки решают разные задачи: Sitemap сообщает о важных URL, robots.txt управляет обходом, canonical указывает предпочтительную версию похожего содержания. Отдельный noindex управляет индексированием. Разберём сайт example.kz с услугами и рекламными параметрами. Примеры нужно адаптировать к реальной структуре и проверить после публикации; механическое копирование чужих правил может закрыть рабочие страницы.

Содержание статьи

Простыми словами

Эти три настройки решают разные задачи: sitemap перечисляет страницы, robots.txt управляет обходом, canonical указывает предпочтительную версию дубля. Их нужно согласовать, чтобы не отправлять поисковику противоречивые сигналы.

Термины простыми словами · 6
Sitemap
XML-карта важных адресов сайта; не приказ включить их в поиск.
robots.txt
Правила обхода роботов, а не защита секретной страницы.
Canonical
Подсказка о предпочтительном URL для похожих версий страницы.
noindex
Запрет включать доступную для чтения страницу в индекс поддерживающей системы.
UTM
Параметры в конце ссылки, по которым аналитика узнаёт источник перехода, канал и кампанию. Например, utm_source=google.
URL
Полный адрес страницы или файла, например https://example.com/catalog. При проверке ссылки важны также путь и параметры после знака вопроса.
Что даст эта статья

Доступная карта сайта, понятные правила обхода и канонические адреса, которые согласуются со ссылками, статусами и намерением владельца.

Что подготовить перед началом

  • Доступ к CMS / генератору Sitemap, корню сайта и разработчику.
  • Согласованный основной HTTPS-домен и список страниц, которые должны участвовать в поиске.
  • Доступ к Search Console и Яндекс Вебмастер.
  • Резервная копия текущих настроек и перечень дублей, редиректов и исключённых URL.

01Составьте таблицу URL и решения для каждого

В интерфейсеРабочая таблица → URL → HTTP → индексирование → canonical

До изменения файлов разделите самостоятельные полезные страницы, реальные дубли, удалённые адреса и страницы, которые не должны участвовать в поиске. Технический сигнал выбирается по задаче. Canonical не делает секретную страницу закрытой, robots не защищает доступ, а Sitemap не исправляет содержимое.

  1. Выпишите важные услуги и их фактические адреса.
  2. Добавьте варианты HTTP / www, рекламные параметры, фильтры и старые URL.
  3. Укажите, какая версия основная, какие адреса перенаправляются и какие исключаются из поиска.
  4. Не меняйте массово шаблон, пока не понятны решения для разных типов страниц.
Пример заполнения

/remont-kvartir — самостоятельная услуга; та же страница с UTM — вариант адреса; /old-service — старый URL с отдельным решением.

Проверка

Каждому типу адреса соответствует понятная цель, а не одинаковый canonical на главную.

02Согласуйте основной адрес и перенаправления

В интерфейсеХостинг / CMS → HTTPS и редиректы; браузер → итоговый URL

Если один материал доступен на нескольких вариантах домена, выберите предпочтительный и настройте согласованное поведение. Для заменённого адреса используйте подходящий постоянный редирект на соответствующий материал. Не перенаправляйте все удалённые услуги на главную без связи: человек и робот должны получить логичный результат.

  1. Выберите основной HTTPS-домен и проверьте сертификат.
  2. Проверьте, что другие варианты приводят к нужной странице без циклов и длинных цепочек.
  3. Для старого URL найдите релевантную замену либо корректный статус удаления.
  4. Обновите меню и внутренние ссылки на итоговые адреса.
Пример заполнения

http://example.kz/remont-kvartir приводит к https://example.kz/remont-kvartir; путь услуги сохраняется.

Проверка

Итоговая страница отвечает успешно, соответствует исходной задаче и не перенаправляется дальше бесконечно.

03Сформируйте Sitemap из нужных URL

В интерфейсеCMS → настройки карты сайта; /sitemap.xml

В карту включайте адреса, которые хотите видеть в поиске, предпочтительно канонические и доступные. Не включайте ошибки, закрытые noindex страницы и промежуточные редиректы. Для небольшого сайта достаточно одного XML-файла. В большом проекте генератор разбивает карту и создаёт индекс по требованиям формата.

  1. Получите список опубликованных важных страниц и выберите абсолютные HTTPS-адреса.
  2. Проверьте XML-кодировку и экранирование специальных символов.
  3. Передавайте lastmod только по фактическому существенному изменению, не обновляйте дату ежедневно без причины.
  4. Проверьте, что генератор не добавляет тестовый домен, поисковые параметры и ненужные архивы.
Пример заполнения

Запись услуги содержит полный URL без UTM; пример кода показывает структуру, а не полный список сайта.

Пример кода
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url><loc>https://example.kz/remont-kvartir</loc></url>
</urlset>
Замените демонстрационные идентификаторы на значения своего проекта.
Проверка

Каждая запись относится к рабочему домену и соответствует выбранной канонической странице.

04Опубликуйте, проверьте и отправьте карту

В интерфейсеБраузер → sitemap.xml; Вебмастер → Инструменты → Анализ Sitemap; разделы Файлы Sitemap

Поисковик должен получить файл. Проверяйте HTTP-ответ, содержание и доступ без входа. Валидный XML на компьютере не означает, что сервер публикует именно его. После отправки прочитайте статус обработки; он показывает чтение карты, а не гарантирует включение каждого URL в индекс.

  1. Откройте полный URL карты и проверьте успешный ответ.
  2. В Яндексе используйте анализ по URL / файлу, исправьте найденные ошибки.
  3. Добавьте карту в Search Console и Вебмастер для правильного ресурса.
  4. Следите за статусом и датой последнего чтения после значимых обновлений.
Пример заполнения

https://example.kz/sitemap.xml добавляется в нужный ресурс; карта другого поддомена не подставляется случайно.

Проверка

Файл читается обоими сервисами; ошибки доступа и формата отсутствуют.

05Проверьте robots.txt по назначению

В интерфейсеКорень домена → /robots.txt; инструменты проверки поисковиков

Robots управляет доступом роботов к обходу, но не является механизмом авторизации или гарантированного удаления URL из индекса. Размещайте файл в корне соответствующего хоста. Запрет может не дать прочитать noindex или полезный контент. Начальный открытый пример ниже не следует заменять массовым запретом без задачи.

  1. Откройте фактический robots.txt рабочего HTTPS-хоста.
  2. Проверьте группы User-agent и правила, которые применяются к важным страницам.
  3. Уберите случайный Disallow: / со стенда, если рабочий сайт должен обходиться.
  4. Добавьте абсолютную ссылку на карту; отдельно проверяйте правила другого поддомена.
Пример заполнения

Для открытого небольшого сайта нет необходимости придумывать длинный список запретов только ради SEO.

Пример кода
User-agent: *
Disallow:

Sitemap: https://example.kz/sitemap.xml
Замените демонстрационные идентификаторы на значения своего проекта.
Проверка

Робот может получить важную услугу и ресурсы её отображения; robots не используется как защита личных данных.

06Для исключения из поиска используйте правильный noindex

В интерфейсеCMS → индексирование страницы; head → robots; сервер → X-Robots-Tag

Noindex сообщает поддерживающему поисковику не включать страницу в индекс. Чтобы прочитать это правило, робот должен получить страницу. Запретить обход в robots.txt и одновременно ждать чтения noindex — противоречивый план.

  1. Определите, действительно ли страницу нужно исключать; для секретных данных настройте авторизацию.
  2. На доступной странице разместите поддерживаемый meta robots noindex или HTTP-заголовок по задаче.
  3. Не записывайте noindex в robots.txt для Google и не блокируйте чтение страницы тем же роботом.
  4. Проверьте опубликованный ответ и последующую обработку поисковой системой.
Пример заполнения

Страница технического отчёта не должна участвовать в поиске, но приватный отчёт дополнительно защищают входом.

Пример кода
<meta name="robots" content="noindex">
Замените демонстрационные идентификаторы на значения своего проекта.
Проверка

Правило можно прочитать в текущем ответе страницы, а доступ к секретным данным защищён отдельно.

07Настройте canonical для дублей

В интерфейсеCMS → canonical; HTML head → link rel=canonical

Canonical указывает предпочтительную версию похожих страниц. Поисковик может выбрать другую, поэтому проверяйте фактический результат. Для самостоятельных услуг нужны собственные предпочтительные адреса; нельзя объявить все их дублями главной. Внутренние ссылки и Sitemap должны поддерживать выбранную версию.

  1. Для каждой важной услуги задайте правильный абсолютный URL, часто саму страницу.
  2. Для дубля с параметрами укажите соответствующий основной материал.
  3. Проверьте, что цель canonical доступна, не имеет noindex и действительно соответствует содержанию.
  4. Устраните противоречия: другой canonical в заголовке ответа, Sitemap или шаблоне.
Пример заполнения

Рекламная версия /remont-kvartir?utm_source=google указывает на /remont-kvartir; /remont-vannoy не становится дублем ремонта квартиры автоматически.

Пример кода
<link rel="canonical" href="https://example.kz/remont-kvartir">
Замените демонстрационные идентификаторы на значения своего проекта.
Проверка

Предпочтительный адрес логичен по содержанию; его не путают с редиректом или запретом.

08Проверьте совместное поведение после публикации

В интерфейсеSearch Console → Проверка URL; Вебмастер → Проверка страницы и ответ сервера

Проверка завершает настройку: один правильный файл не исключает ошибку другого. Выберите несколько адресов разных типов, включая обычную услугу, параметр, редирект и намеренно исключённую страницу. Сравните текущее состояние и известную роботу версию; обработка изменения требует времени.

  1. Проверьте HTTP, robots, noindex и canonical каждой выбранной страницы.
  2. В Google сравните указанный canonical с выбранным системой.
  3. В Яндексе изучите участие в поиске и причины исключения.
  4. После исправлений отправьте важные URL на допустимый повторный обход и наблюдайте без ежедневной массовой отправки.
Пример заполнения

Обычная услуга разрешена и есть в карте; UTM-вариант ведёт к тому же смыслу; исключённый тест не входит в карту.

Проверка

Настройки согласованы, а статус карты не выдаётся за факт индексирования всех страниц.

УЧЕБНЫЙ РАЗБОР

Услуга с рекламными параметрами

Учебный пример: цифры и названия показывают способ работы, а не результаты клиента.

НА ПРИМЕРЕКаждому инструменту своя задача
Sitemap

Вот важные URL

Robots

Что разрешено обходить

Canonical

Какая версия предпочтительна

Noindex

Не включать эту страницу в индекс

Canonical не закрывает доступ. Для приватных данных нужна авторизация.

Авторская учебная схема SOAgency
  1. Выберите основную страницу https://example.com/repair.
  2. Ссылайтесь на неё из меню и включите её в sitemap.
  3. Для её варианта с UTM проверьте canonical на предпочтительную версию.
  4. Убедитесь, что robots и noindex не мешают нужной странице; проверьте опубликованный HTML.
Что должно получиться

Карта, ссылки и canonical согласованы с одним адресом услуги. Учебный домен example.com нужно заменить своим.

Выполните и проверьте

Отмечайте шаг после проверки результата. Отметки действуют до перезагрузки страницы; они не подтверждают, что настройка выполнена правильно.

Чек-лист по шагам · 8

Sitemap, robots.txt и canonical: настроить без противоречий

    • Выпишите важные услуги и их фактические адреса.
    • Добавьте варианты HTTP / www, рекламные параметры, фильтры и старые URL.
    • Укажите, какая версия основная, какие адреса перенаправляются и какие исключаются из поиска.
    • Не меняйте массово шаблон, пока не понятны решения для разных типов страниц.

    Проверка: Каждому типу адреса соответствует понятная цель, а не одинаковый canonical на главную.

    • Выберите основной HTTPS-домен и проверьте сертификат.
    • Проверьте, что другие варианты приводят к нужной странице без циклов и длинных цепочек.
    • Для старого URL найдите релевантную замену либо корректный статус удаления.
    • Обновите меню и внутренние ссылки на итоговые адреса.

    Проверка: Итоговая страница отвечает успешно, соответствует исходной задаче и не перенаправляется дальше бесконечно.

    • Получите список опубликованных важных страниц и выберите абсолютные HTTPS-адреса.
    • Проверьте XML-кодировку и экранирование специальных символов.
    • Передавайте lastmod только по фактическому существенному изменению, не обновляйте дату ежедневно без причины.
    • Проверьте, что генератор не добавляет тестовый домен, поисковые параметры и ненужные архивы.

    Проверка: Каждая запись относится к рабочему домену и соответствует выбранной канонической странице.

    • Откройте полный URL карты и проверьте успешный ответ.
    • В Яндексе используйте анализ по URL / файлу, исправьте найденные ошибки.
    • Добавьте карту в Search Console и Вебмастер для правильного ресурса.
    • Следите за статусом и датой последнего чтения после значимых обновлений.

    Проверка: Файл читается обоими сервисами; ошибки доступа и формата отсутствуют.

    • Откройте фактический robots.txt рабочего HTTPS-хоста.
    • Проверьте группы User-agent и правила, которые применяются к важным страницам.
    • Уберите случайный Disallow: / со стенда, если рабочий сайт должен обходиться.
    • Добавьте абсолютную ссылку на карту; отдельно проверяйте правила другого поддомена.

    Проверка: Робот может получить важную услугу и ресурсы её отображения; robots не используется как защита личных данных.

    • Определите, действительно ли страницу нужно исключать; для секретных данных настройте авторизацию.
    • На доступной странице разместите поддерживаемый meta robots noindex или HTTP-заголовок по задаче.
    • Не записывайте noindex в robots.txt для Google и не блокируйте чтение страницы тем же роботом.
    • Проверьте опубликованный ответ и последующую обработку поисковой системой.

    Проверка: Правило можно прочитать в текущем ответе страницы, а доступ к секретным данным защищён отдельно.

    • Для каждой важной услуги задайте правильный абсолютный URL, часто саму страницу.
    • Для дубля с параметрами укажите соответствующий основной материал.
    • Проверьте, что цель canonical доступна, не имеет noindex и действительно соответствует содержанию.
    • Устраните противоречия: другой canonical в заголовке ответа, Sitemap или шаблоне.

    Проверка: Предпочтительный адрес логичен по содержанию; его не путают с редиректом или запретом.

    • Проверьте HTTP, robots, noindex и canonical каждой выбранной страницы.
    • В Google сравните указанный canonical с выбранным системой.
    • В Яндексе изучите участие в поиске и причины исключения.
    • После исправлений отправьте важные URL на допустимый повторный обход и наблюдайте без ежедневной массовой отправки.

    Проверка: Настройки согласованы, а статус карты не выдаётся за факт индексирования всех страниц.

Скачать чек-лист TSV

TSV открывается в таблицах с разделителем «табуляция». В файле сохранены шаги, действия и критерии проверки этой статьи.

Удалось решить задачу?

Отправляются адрес статьи, выбранный результат, номер шага, категория и случайный номер отправки. Имя, телефон и комментарий не запрашиваются.

Частые ошибки

  • Disallow считают гарантированным удалением из индекса.
  • Пишут noindex в robots.txt для Google.
  • Canonical всех услуг указывает на главную.
  • В карту попадают редиректы и страницы с noindex.
  • Lastmod меняют ежедневно без обновления содержания.

Вопросы и ответы

Sitemap гарантирует индексирование?

Нет. Она помогает обнаружить адреса, но не гарантирует обход, включение в индекс и показ.

Можно ли закрыть robots и одновременно поставить noindex?

Для Google это может помешать обработке noindex: робот не прочитает закрытую страницу. Выбирайте настройки по задаче.

Canonical точно выберет нужный URL?

Нет. Это сигнал; проверьте фактический выбор в поисковом инструменте и согласуйте другие сигналы.

Какие адреса не стоит включать в основную карту сайта?

Оставляйте URL, которые действительно должны индексироваться и являются основными по вашему плану. Сверьте их ответ, canonical и ограничения индексирования. Редиректы, ошибки и дубли не стоит добавлять как самостоятельные основные страницы.

Официальные источники

Проверено 06.10.2026 по официальной документации Google и Яндекса. Код — учебный минимальный пример для example.kz. Проверка вашего опубликованного сайта не выполнялась.

Связанные инструкции

SEO / поиск

Переезд сайта без потерянных страниц: карта URL, редиректы и Search Console

Подготовьте смену домена или структуры адресов по проверяемому плану: соберите старые URL, сопоставьте новые страницы, настройте постоянные редиректы и проконтролируйте индексацию, формы и рекламные переходы.

Читать инструкцию ↗
SEO / поиск

Search Console и Яндекс Вебмастер: подключить сайт и проверить страницы

Поисковые инструменты показывают обход сайта, индексирование и поисковые переходы. Они не заменяют аналитическую систему и CRM. Настроим доступ к правильному домену, проверим одну важную услугу, отправим Sitemap и определим отчёты для контроля. Пример example.kz и демонстрационные коды заменяются значениями, которые выдаёт ваш кабинет.

Читать инструкцию ↗
SEO / поиск

SEO сайта услуг: структура, содержание и техническая проверка

SEO помогает поисковой системе обнаружить и понять страницы, а человеку — найти ответ и выбрать компанию. Начните с полезного содержания и технической доступности, затем анализируйте поисковые переходы и обращения. Здесь разбирается сайт ремонта квартир: какие страницы нужны, что заполнять в CMS и как проверять результат. Предложения и адрес example.kz — учебные примеры, которые заменяются данными вашей компании.

Читать инструкцию ↗
Написать в WhatsApp

Как используются ваши данные

Имя, телефон и описание задачи нужны, чтобы ответить на вашу заявку. Они не используются для рассылок.

Заявка передаётся владельцу so-agency через Telegram. Вместе с ней передаём страницу, с которой вы обратились, и метки источника, канала и рекламной кампании, если они есть в ссылке. При выборе WhatsApp откроется чат с подготовленным текстом; отправку сообщения подтверждаете вы.

Используем Google Tag Manager для управления аналитикой. Она помогает понять, какие страницы и услуги полезны: учитываем обращения к контактам, переходы в проекты, глубину просмотра статей, действия с инструментами и учебной демонстрацией, а также начало заполнения, отправку, ошибки и успешную доставку заявки.

В параметры этих событий не передаём имя, телефон, текст обращения, исходные списки, ссылку для QR-кода или загруженные изображения. Сервисы аналитики могут получать технические сведения об устройстве и посещённых страницах, примерном регионе и cookies в зависимости от настроек подключённых тегов.

Данные инструментов обрабатываются в вашем браузере. Шаблон названий кампаний сохраняется на устройстве только по кнопке «Сохранить шаблон на этом устройстве». При передаче списка в другой инструмент он временно сохраняется в пределах текущей вкладки.

Сайт не публикует заявки и не просит пароли от рекламных кабинетов. По вопросам данных: +7 708 900 77 26.

Напишите в WhatsApp

Откройте камеру телефона и наведите её на QR-код. Откроется чат с so-agency.

QR-код: чат WhatsApp so-agency+7 708 900 77 26
Открыть WhatsApp на компьютере ↗

Сообщение отправите вы — чат открывается без автоматической рассылки.