Индексация сайтов поисковыми системами: что нужно знать

‍

Первый шаг всоздании бизнеса онлайн — поднять сайт. Второй — позаботиться о том, чтобы люди могли его найти. И в этом случае жизненно важно знать о том, что такое индексация. Рассказываем о том, как работают поисковые системы и как заставить их алгоритмы приносить пользу.

‍

Что такое индексация сайта?

Индексация — это процесс сканирования сайта специальными программами,которые используются поисковыми системами. В первую очередь они изучают текстовый контент на сайте. В сферу их компетенции также попадает программный код — от базовых HTML-конструкций до сложных скриптов. В последнеевремя поисковики стали уделять больше внимания графическим компонентам и мультимедийному контенту, хотя принципы работы с ними по-прежнему далеки от совершенства.

Результатом сканирования сайта становится внесение базовой информации о нем в поисковый индекс. Это огромная база данных,которая содержит сведения обо всех активных веб-ресурсах, соответствующих актуальным принципам SEO и не нарушающих правил поисковых систем. Попав в индекс, сайт может оказаться в поисковой выдаче по определенным запросам, где его увидят пользователи. Если же страницы нет в базе данных, найти ее будет очень сложно, что точно не пойдет на пользу бизнесу.

‍

Как проверить индексацию сайта в поисковых системах?

Если веб-ресурс принадлежит вам, схема действий будет предельно простой. Чтобы проверить индексацию сайта в поисковых системах, нужно воспользоваться панелью веб-мастера. Например, у топового поисковика это сервис Google Search Console. В нем необходимо:

1.     Авторизоваться в своем аккаунте. Если на сайте есть серьезные проблемы, они будут видны уже на главной странице «Обзор».

‍

‍

2.     Для получения более подробной информации найти раздел «Индекс» и открыть отчет «Покрытие». Здесь представлены данные осостоянии сайта с разбивкой страниц на индексированные и неиндексированные.

‍

‍

3.     Детализировать отчет об индексации сайта.Нажав на название категории, можно увидеть список конкретных страниц. При рассмотрении проблемных моментов Google укажет причину, по которой страница непопадает в индекс: дублированный контент, технические ошибки, неправильная переадресация или применение ручных санкций.

‍

Чтобы проверить, как индексируется сайт другого владельца (партнера, конкурента или просто случайного представителя бизнеса), нужно воспользоваться специальными командами поисковойсистемы:

·        site:domain URL — выбрать все проиндексированные страницы конкретного веб-ресурса. Считать их придется вручную, что для крупных платформ может быть довольно проблематичным. Пример команды — site:microsoft.com;

·        site:page URL — показать определенную страницу и все ее подразделы. Позволяет проверить индексацию подозрительной страницы, которая может содержать ошибки. Пример команды —site:microsoft.com/en-us/microsoft-365;

·        cache:page URL — позволяет увидеть архивированную страницу такой, какой она была на момент индексации сайта поисковиками. Тут же находится информация о дате и точном времени сканирования. Пример команды — cache:microsoft.com/en-us/microsoft-365.

‍

Как настроить индексацию сайта?

Процесс сканирования максимально автоматизирован. Чтобы попасть в поисковую выдачу, ненужно обращаться к инженерам Google и писать письма. Однако следует учесть, что индексирование сайтов происходит крайне медленно. Если пустить этот процесс насамотек, первое сканирование может запуститься лишь спустя месяц после создания веб-ресурсов.

К счастью, первую индексацию страниц можно и даже нужно ускорить. Прежде чем начать этот процесс, следует убедиться, что соответствующие разделы ресурса имеют теги Index:Follow и rel=canonical в HTML-коде, доступны для пользователей и дают HTTP-ответ 200. Далее необходимо:

1.     Создав сайт, зарегистрироваться в Google Search Console и подтвердить права собственности на веб-ресурс.

2.     Получив доступ к своему аккаунту, перейти на вкладку «Проверка URL» в главном меню сверху слева.

3.     Ввести адрес страницы. Если ее пока нет в базе данных поисковика, появится предупреждение. Тут же можно перейти на сайт,чтобы проверить его работоспособность.

4.     Чтобы индексировать страницу вручную, нажать кнопку «Запросить индексирование». Как правило, этот процесс занимает от нескольких минут до суток.

‍

Важно помнить, что поисковые роботы имеют свои ограничения — они могут индексировать ограниченное число страниц в течение определенного промежутка времени. Если сайт очень большой, лучше выбрать только те разделы, которые могут принести максимум органического трафика.

Еще один способ ускорить и упорядочить процесс — создать два файла с планом действия для поисковых роботов. Первый — robots.txt. Он содержит список страниц и правила их сканирования. В нем используются следующие команды:

·        User-agent: — определяет название робота конкретной поисковой системы;

·        sitemap: — указывает путь к карте сайта;

·        Allow: — допускает индексацию;

·        Disallow: — запрещает сканирование;

·        Crawl-delay: — устанавливает задержку между сканированиями страниц (обычно применяется для успешного выполнения скриптов);

·        Clean-param: — указывает страницы с особыми параметрами сканирования (чаще всего используется для блокирования части ссылок, например, UTM-меток).

Пример заполнения файла:

‍

Для добавления сайта в индексацию поисковыми системами понадобится еще один файл —sitemap.xml. Фактически, это карта сайта, которая показывает взаимосвязи между отдельными страницами. Она прокладывает оптимальный путь движения поисковых роботов. Выглядит это так:

‍

Естественно, в больших проектах написание и корректировка таких файлов будут весьма трудоемким процессом. Поэтому для выполнения такой задачи используют специальные сервисы, которые автоматизируют процесс, например, mySitemapgenerator, Ryte, Small SEOTools и др.

‍

Сколько времени уходит на попадание страницы в индекс?

Ответ на этот вопрос будет индивидуальным для каждого сайта. Мы уже говорили, что индексация нового веб-сайта может занимать месяц, а вот индексация проверенного ресурса с большим опытом работы и отличной репутацией обычно выполняется за считаные минуты. Новые страницы на некоторых медийных площадках могут сканироваться даже за несколько секунд. В среднем же индексирование занимает 24–48 часов.

Следует учесть, что наличие сайта в индексе еще не означает его видимость для пользователей. Индексация страниц — обязательное условие выхода в поисковую выдачу, но с момента сканирования до появления ссылки на экранах других людей может пройти пару дней.

‍

Как ускорить индексацию сайта?

Регулярно обновляете свой веб-ресурс, а трафик не растет из-за медленной индексации страниц? Конечно, на первых порах ее можно запрашивать вручную, особенно когда речь идет о небольшом сайте. Но уже на этом этапе важно продумать долгосрочное решение проблемы. Чтобы индексировать сайт быстрее, рекомендуем:

·        Наращивать ссылочную массу. Логика довольно проста: если другие ресурсы ссылаются на ваш контент, Google считаетего правильным, авторитетным и ценным. Страница получает больший вес в базе данных, в результате чего поисковые роботы чаще обращают на нее внимание.

·        Наполнять сайт качественным контентом.Хотя сам по себе характер текста не влияет на скорость индексирования страницы, он также может определять авторитетность ресурса. При ранжировании Google использует как технические, так и поведенческие факторы — количество переходов, процент дочитывания контента до определенной точки, время изучения и т.д. Чем сильнее текст цепляет пользователей, тем больший вес получает страница.

·        Регулярно проводить аудит контента. Текст должен быть читабельным и содержать оптимальное количество ключевых слов. Важно также создавать внутреннюю перелинковку — ссылки между страницами сайта,которые обеспечивают удобную навигацию. Нельзя использовать дублированный контент, спамить избыточным количеством поисковых запросов и наполнять сайт низкокачественными текстами, не несущими пользы для посетителей.

·        Регулярно обновлять файлы robots.txt и sitemap.xml. Чтобы открыть сайт для индексации, нужно указывать роботам, какие именно страницы следует сканировать. По мере эволюции ресурса их список будет изменяться, что должно быть отображено в инструкциях.

·        Ускорять загрузку сайта. Поисковые системы плохо относятся к медленным ресурсам — снижают их рейтинги и ограничивают количество индексированных страниц. Для ускорения можно оптимизировать объем мультимедийного контента, отключить ненужные скрипты или даже переехать налучший хостинг.

·        Использовать сторонние сервисы. Существуют программы, которые ускоряют индексацию страниц. Их список постоянно меняется, поскольку они адаптируются под новые поисковые алгоритмы. Кроме того, можно пользоваться простыми, но эффективными методами ускорения, например, публиковать ссылки на новые страницы в социальных сетях, включая их в интересный органичный контент.

Если ни один из методов не дает желаемого результата, стоит проверить, не закрыта ли страница от индексации. Если и этот шаг оказывается безуспешным, лучше всего обратиться к специалистам, которые проведут комплексную диагностику сайта и найдут причиныпроблем.

‍

Как закрыть сайт от индексации?

‍

‍

Хотя сканирование поисковыми роботами важно для сайта, индексация всех страниц не несет особой ценности. Более того, если на сайте есть черновые копии разделов с продублированным контентом или технические разделы, не оптимизированные по правилам SEO, она может быть даже вредной.

Поэтому некоторыеразделы нужно обязательно закрывать от поисковых роботов, используя один из трехметодов:

1.     HTML-тег Noindex. Используется в разделе <head> вместе с другими метатегами. Имеет вид <metaname="robots" content="noindex, nofollow">. Чтобы роботы не индексировали страницу, но переходили по размещенным на ней ссылкам, следуетуказать значение content="noindex, follow".

2.     Файл robots.txt. Не упомянутые в нем страницы по умолчанию будут сканироваться. Чтобы заблокировать их, нужно использовать команду «Disallow:».

3.     HTTP-код 403. Настраивается в панели администратора веб-сервера. Отправляет пользователей на страницу с пояснениями и инструкциями. При желании можно заблокировать страницу для роботов конкретной поисковой системы или посетителей из определенной страны.

При этом последним способом лучше не злоупотреблять. Увидев ошибку, поисковый робот повторит попытку позже, а после нескольких аналогичных ответов навсегда удалит страницу из индекса. Ее придется восстанавливать вручную.

‍

Выводы

Простыми словами, индексация — это добавление сайта и отдельных его страниц в базу данных поисковой системы. Она выполняется автоматически, но этот процесс может отнимать много времени, поэтому в первый раз стоит запрашивать сканирование вручную. В последствии, чтобы наладить регулярное индексирование, нужно будет наращивать ссылочную массу, оптимизировать качество контента, обновлять инструкции для роботов и ускорять загрузку сайта.

Посмотреть историю индексации сайта и проверить наличие ошибок можно в панели администратора, например, в Google Search Console. При этом следует помнить, что не все страницы нуждаются в индексации — технические разделы и черновики нужно скрывать от поисковых систем. Для этого можно использовать метатеги HTML, команды в файле robots.txt и HTTP-ответ сервера.