Простыми словами
Эти три настройки решают разные задачи: sitemap перечисляет страницы, robots.txt управляет обходом, canonical указывает предпочтительную версию дубля. Их нужно согласовать, чтобы не отправлять поисковику противоречивые сигналы.
Термины простыми словами · 6
- Sitemap
- XML-карта важных адресов сайта; не приказ включить их в поиск.
- robots.txt
- Правила обхода роботов, а не защита секретной страницы.
- Canonical
- Подсказка о предпочтительном URL для похожих версий страницы.
- noindex
- Запрет включать доступную для чтения страницу в индекс поддерживающей системы.
- UTM
- Параметры в конце ссылки, по которым аналитика узнаёт источник перехода, канал и кампанию. Например, utm_source=google.
- URL
- Полный адрес страницы или файла, например https://example.com/catalog. При проверке ссылки важны также путь и параметры после знака вопроса.
Доступная карта сайта, понятные правила обхода и канонические адреса, которые согласуются со ссылками, статусами и намерением владельца.
Что подготовить перед началом
- Доступ к CMS / генератору Sitemap, корню сайта и разработчику.
- Согласованный основной HTTPS-домен и список страниц, которые должны участвовать в поиске.
- Доступ к Search Console и Яндекс Вебмастер.
- Резервная копия текущих настроек и перечень дублей, редиректов и исключённых URL.
01Составьте таблицу URL и решения для каждого
До изменения файлов разделите самостоятельные полезные страницы, реальные дубли, удалённые адреса и страницы, которые не должны участвовать в поиске. Технический сигнал выбирается по задаче. Canonical не делает секретную страницу закрытой, robots не защищает доступ, а Sitemap не исправляет содержимое.
- Выпишите важные услуги и их фактические адреса.
- Добавьте варианты HTTP / www, рекламные параметры, фильтры и старые URL.
- Укажите, какая версия основная, какие адреса перенаправляются и какие исключаются из поиска.
- Не меняйте массово шаблон, пока не понятны решения для разных типов страниц.
/remont-kvartir — самостоятельная услуга; та же страница с UTM — вариант адреса; /old-service — старый URL с отдельным решением.
Каждому типу адреса соответствует понятная цель, а не одинаковый canonical на главную.
02Согласуйте основной адрес и перенаправления
Если один материал доступен на нескольких вариантах домена, выберите предпочтительный и настройте согласованное поведение. Для заменённого адреса используйте подходящий постоянный редирект на соответствующий материал. Не перенаправляйте все удалённые услуги на главную без связи: человек и робот должны получить логичный результат.
- Выберите основной HTTPS-домен и проверьте сертификат.
- Проверьте, что другие варианты приводят к нужной странице без циклов и длинных цепочек.
- Для старого URL найдите релевантную замену либо корректный статус удаления.
- Обновите меню и внутренние ссылки на итоговые адреса.
http://example.kz/remont-kvartir приводит к https://example.kz/remont-kvartir; путь услуги сохраняется.
Итоговая страница отвечает успешно, соответствует исходной задаче и не перенаправляется дальше бесконечно.
03Сформируйте Sitemap из нужных URL
В карту включайте адреса, которые хотите видеть в поиске, предпочтительно канонические и доступные. Не включайте ошибки, закрытые noindex страницы и промежуточные редиректы. Для небольшого сайта достаточно одного XML-файла. В большом проекте генератор разбивает карту и создаёт индекс по требованиям формата.
- Получите список опубликованных важных страниц и выберите абсолютные HTTPS-адреса.
- Проверьте XML-кодировку и экранирование специальных символов.
- Передавайте lastmod только по фактическому существенному изменению, не обновляйте дату ежедневно без причины.
- Проверьте, что генератор не добавляет тестовый домен, поисковые параметры и ненужные архивы.
Запись услуги содержит полный URL без UTM; пример кода показывает структуру, а не полный список сайта.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://example.kz/remont-kvartir</loc></url>
</urlset>Замените демонстрационные идентификаторы на значения своего проекта.Каждая запись относится к рабочему домену и соответствует выбранной канонической странице.
04Опубликуйте, проверьте и отправьте карту
Поисковик должен получить файл. Проверяйте HTTP-ответ, содержание и доступ без входа. Валидный XML на компьютере не означает, что сервер публикует именно его. После отправки прочитайте статус обработки; он показывает чтение карты, а не гарантирует включение каждого URL в индекс.
- Откройте полный URL карты и проверьте успешный ответ.
- В Яндексе используйте анализ по URL / файлу, исправьте найденные ошибки.
- Добавьте карту в Search Console и Вебмастер для правильного ресурса.
- Следите за статусом и датой последнего чтения после значимых обновлений.
https://example.kz/sitemap.xml добавляется в нужный ресурс; карта другого поддомена не подставляется случайно.
Файл читается обоими сервисами; ошибки доступа и формата отсутствуют.
05Проверьте robots.txt по назначению
Robots управляет доступом роботов к обходу, но не является механизмом авторизации или гарантированного удаления URL из индекса. Размещайте файл в корне соответствующего хоста. Запрет может не дать прочитать noindex или полезный контент. Начальный открытый пример ниже не следует заменять массовым запретом без задачи.
- Откройте фактический robots.txt рабочего HTTPS-хоста.
- Проверьте группы User-agent и правила, которые применяются к важным страницам.
- Уберите случайный Disallow: / со стенда, если рабочий сайт должен обходиться.
- Добавьте абсолютную ссылку на карту; отдельно проверяйте правила другого поддомена.
Для открытого небольшого сайта нет необходимости придумывать длинный список запретов только ради SEO.
User-agent: *
Disallow:
Sitemap: https://example.kz/sitemap.xmlЗамените демонстрационные идентификаторы на значения своего проекта.Робот может получить важную услугу и ресурсы её отображения; robots не используется как защита личных данных.
06Для исключения из поиска используйте правильный noindex
Noindex сообщает поддерживающему поисковику не включать страницу в индекс. Чтобы прочитать это правило, робот должен получить страницу. Запретить обход в robots.txt и одновременно ждать чтения noindex — противоречивый план.
- Определите, действительно ли страницу нужно исключать; для секретных данных настройте авторизацию.
- На доступной странице разместите поддерживаемый meta robots noindex или HTTP-заголовок по задаче.
- Не записывайте noindex в robots.txt для Google и не блокируйте чтение страницы тем же роботом.
- Проверьте опубликованный ответ и последующую обработку поисковой системой.
Страница технического отчёта не должна участвовать в поиске, но приватный отчёт дополнительно защищают входом.
<meta name="robots" content="noindex">Замените демонстрационные идентификаторы на значения своего проекта.Правило можно прочитать в текущем ответе страницы, а доступ к секретным данным защищён отдельно.
07Настройте canonical для дублей
Canonical указывает предпочтительную версию похожих страниц. Поисковик может выбрать другую, поэтому проверяйте фактический результат. Для самостоятельных услуг нужны собственные предпочтительные адреса; нельзя объявить все их дублями главной. Внутренние ссылки и Sitemap должны поддерживать выбранную версию.
- Для каждой важной услуги задайте правильный абсолютный URL, часто саму страницу.
- Для дубля с параметрами укажите соответствующий основной материал.
- Проверьте, что цель canonical доступна, не имеет noindex и действительно соответствует содержанию.
- Устраните противоречия: другой canonical в заголовке ответа, Sitemap или шаблоне.
Рекламная версия /remont-kvartir?utm_source=google указывает на /remont-kvartir; /remont-vannoy не становится дублем ремонта квартиры автоматически.
<link rel="canonical" href="https://example.kz/remont-kvartir">Замените демонстрационные идентификаторы на значения своего проекта.Предпочтительный адрес логичен по содержанию; его не путают с редиректом или запретом.
08Проверьте совместное поведение после публикации
Проверка завершает настройку: один правильный файл не исключает ошибку другого. Выберите несколько адресов разных типов, включая обычную услугу, параметр, редирект и намеренно исключённую страницу. Сравните текущее состояние и известную роботу версию; обработка изменения требует времени.
- Проверьте HTTP, robots, noindex и canonical каждой выбранной страницы.
- В Google сравните указанный canonical с выбранным системой.
- В Яндексе изучите участие в поиске и причины исключения.
- После исправлений отправьте важные URL на допустимый повторный обход и наблюдайте без ежедневной массовой отправки.
Обычная услуга разрешена и есть в карте; UTM-вариант ведёт к тому же смыслу; исключённый тест не входит в карту.
Настройки согласованы, а статус карты не выдаётся за факт индексирования всех страниц.
Услуга с рекламными параметрами
Учебный пример: цифры и названия показывают способ работы, а не результаты клиента.
Вот важные URL
Что разрешено обходить
Какая версия предпочтительна
Не включать эту страницу в индекс
Canonical не закрывает доступ. Для приватных данных нужна авторизация.
Авторская учебная схема SOAgency- Выберите основную страницу https://example.com/repair.
- Ссылайтесь на неё из меню и включите её в sitemap.
- Для её варианта с UTM проверьте canonical на предпочтительную версию.
- Убедитесь, что robots и noindex не мешают нужной странице; проверьте опубликованный HTML.
Карта, ссылки и canonical согласованы с одним адресом услуги. Учебный домен example.com нужно заменить своим.
Выполните и проверьте
Отмечайте шаг после проверки результата. Отметки действуют до перезагрузки страницы; они не подтверждают, что настройка выполнена правильно.
Чек-лист по шагам · 8
Sitemap, robots.txt и canonical: настроить без противоречий
- Выпишите важные услуги и их фактические адреса.
- Добавьте варианты HTTP / www, рекламные параметры, фильтры и старые URL.
- Укажите, какая версия основная, какие адреса перенаправляются и какие исключаются из поиска.
- Не меняйте массово шаблон, пока не понятны решения для разных типов страниц.
Проверка: Каждому типу адреса соответствует понятная цель, а не одинаковый canonical на главную.
- Выберите основной HTTPS-домен и проверьте сертификат.
- Проверьте, что другие варианты приводят к нужной странице без циклов и длинных цепочек.
- Для старого URL найдите релевантную замену либо корректный статус удаления.
- Обновите меню и внутренние ссылки на итоговые адреса.
Проверка: Итоговая страница отвечает успешно, соответствует исходной задаче и не перенаправляется дальше бесконечно.
- Получите список опубликованных важных страниц и выберите абсолютные HTTPS-адреса.
- Проверьте XML-кодировку и экранирование специальных символов.
- Передавайте lastmod только по фактическому существенному изменению, не обновляйте дату ежедневно без причины.
- Проверьте, что генератор не добавляет тестовый домен, поисковые параметры и ненужные архивы.
Проверка: Каждая запись относится к рабочему домену и соответствует выбранной канонической странице.
- Откройте полный URL карты и проверьте успешный ответ.
- В Яндексе используйте анализ по URL / файлу, исправьте найденные ошибки.
- Добавьте карту в Search Console и Вебмастер для правильного ресурса.
- Следите за статусом и датой последнего чтения после значимых обновлений.
Проверка: Файл читается обоими сервисами; ошибки доступа и формата отсутствуют.
- Откройте фактический robots.txt рабочего HTTPS-хоста.
- Проверьте группы User-agent и правила, которые применяются к важным страницам.
- Уберите случайный Disallow: / со стенда, если рабочий сайт должен обходиться.
- Добавьте абсолютную ссылку на карту; отдельно проверяйте правила другого поддомена.
Проверка: Робот может получить важную услугу и ресурсы её отображения; robots не используется как защита личных данных.
- Определите, действительно ли страницу нужно исключать; для секретных данных настройте авторизацию.
- На доступной странице разместите поддерживаемый meta robots noindex или HTTP-заголовок по задаче.
- Не записывайте noindex в robots.txt для Google и не блокируйте чтение страницы тем же роботом.
- Проверьте опубликованный ответ и последующую обработку поисковой системой.
Проверка: Правило можно прочитать в текущем ответе страницы, а доступ к секретным данным защищён отдельно.
- Для каждой важной услуги задайте правильный абсолютный URL, часто саму страницу.
- Для дубля с параметрами укажите соответствующий основной материал.
- Проверьте, что цель canonical доступна, не имеет noindex и действительно соответствует содержанию.
- Устраните противоречия: другой canonical в заголовке ответа, Sitemap или шаблоне.
Проверка: Предпочтительный адрес логичен по содержанию; его не путают с редиректом или запретом.
- Проверьте HTTP, robots, noindex и canonical каждой выбранной страницы.
- В Google сравните указанный canonical с выбранным системой.
- В Яндексе изучите участие в поиске и причины исключения.
- После исправлений отправьте важные URL на допустимый повторный обход и наблюдайте без ежедневной массовой отправки.
Проверка: Настройки согласованы, а статус карты не выдаётся за факт индексирования всех страниц.
TSV открывается в таблицах с разделителем «табуляция». В файле сохранены шаги, действия и критерии проверки этой статьи.
Частые ошибки
- Disallow считают гарантированным удалением из индекса.
- Пишут noindex в robots.txt для Google.
- Canonical всех услуг указывает на главную.
- В карту попадают редиректы и страницы с noindex.
- Lastmod меняют ежедневно без обновления содержания.
Вопросы и ответы
Sitemap гарантирует индексирование?
Нет. Она помогает обнаружить адреса, но не гарантирует обход, включение в индекс и показ.
Можно ли закрыть robots и одновременно поставить noindex?
Для Google это может помешать обработке noindex: робот не прочитает закрытую страницу. Выбирайте настройки по задаче.
Canonical точно выберет нужный URL?
Нет. Это сигнал; проверьте фактический выбор в поисковом инструменте и согласуйте другие сигналы.
Какие адреса не стоит включать в основную карту сайта?
Оставляйте URL, которые действительно должны индексироваться и являются основными по вашему плану. Сверьте их ответ, canonical и ограничения индексирования. Редиректы, ошибки и дубли не стоит добавлять как самостоятельные основные страницы.
Официальные источники
- Sitemap Google ↗
- Назначение Sitemap ↗
- Robots Google ↗
- Noindex Google ↗
- Canonical Google ↗
- Sitemap Яндекса ↗
- Проверка Sitemap Яндекса ↗
- Robots Яндекса ↗
Проверено 06.10.2026 по официальной документации Google и Яндекса. Код — учебный минимальный пример для example.kz. Проверка вашего опубликованного сайта не выполнялась.
Связанные инструкции
Переезд сайта без потерянных страниц: карта URL, редиректы и Search Console
Подготовьте смену домена или структуры адресов по проверяемому плану: соберите старые URL, сопоставьте новые страницы, настройте постоянные редиректы и проконтролируйте индексацию, формы и рекламные переходы.
Читать инструкцию ↗SEO / поискSearch Console и Яндекс Вебмастер: подключить сайт и проверить страницы
Поисковые инструменты показывают обход сайта, индексирование и поисковые переходы. Они не заменяют аналитическую систему и CRM. Настроим доступ к правильному домену, проверим одну важную услугу, отправим Sitemap и определим отчёты для контроля. Пример example.kz и демонстрационные коды заменяются значениями, которые выдаёт ваш кабинет.
Читать инструкцию ↗SEO / поискSEO сайта услуг: структура, содержание и техническая проверка
SEO помогает поисковой системе обнаружить и понять страницы, а человеку — найти ответ и выбрать компанию. Начните с полезного содержания и технической доступности, затем анализируйте поисковые переходы и обращения. Здесь разбирается сайт ремонта квартир: какие страницы нужны, что заполнять в CMS и как проверять результат. Предложения и адрес example.kz — учебные примеры, которые заменяются данными вашей компании.
Читать инструкцию ↗