Быстрая индексация сайта: как ускорить индексацию крупного контентного проекта

Одна из основных, а иногда и просто главная, задача оптимизатора при продвижении крупного контентного проекта – добиться максимально быстрой и полной индексации страниц сайта поисковыми системами. И наша задача – не ждать милостей от природы поисковых систем, а ускорить процесс индексации своими руками.

В каких случаях нужно применять приводимые ниже способы ускорения индексации?

Если

• на вашем сайте от нескольких тысяч страниц
• большинство из этих страниц носят однотипный характер (профили в социальных сетях, страницы товаров в интернет-магазинах, объявления на сайтах объявлений, новостные страницы и т.д.)
• основная навигация уже включает в себя более двух уровней вложенности
• ваши пользователи всё чаще используют функцию «Поиск по сайту»
• Вам стало очевидно, что поставить/купить/выменять миллион внешних ссылок для индексации каждой из миллиона ваших страниц – задача нереальная

читаем дальше!

Предположим, Вы ещё здесь :-). Какие же методы мы будем использовать, чтобы ускорить индексацию? Итак, к барьеру:

• Добавление карты сайта в поисковые системы
• Грамотная внутренняя перелинковка
  • Основная навигация сайта
  • Breadcrumbs
• Внедрение системы тегирования
• SEO-трюки: модернизированная карта сайта

Добавление карты сайта в поисковые системы

Самая простая часть. Большинство поисковых систем поддерживает единый Sitemap XML формат для карт сайта, которые можно добавить в поисковики несколькими способами.

Рисунок 1 - Пример типичной карты в формате XML

Самый простой – создать карту сайта специальными программами и указать их наличие в файле robots.txt (такой способ приветствуется Google).

Более сложный, но принципиально не отличающийся от первого, путь – добавить файлы при помощи своего аккаунта в соответствующей поисковой системе.

Что ещё нужно помнить (и делать!) – файлы должны регулярно обновляться, соответственно изменениям на сайте.

Грамотная внутренняя перелинковка

Здесь речь пойдет о двух вещах:
а) основной навигации сайта и
b) так называемых «хлебных крошках» (breadcrumbs).

Основная навигация сайта – это список всех его основных разделов, который повторяется от страницы к странице. Тем самым мы указываем поисковым системам на вес, значимость этих страниц в общей иерархии сайта.

Рисунок 2 - Пример основной навигации сайта

Если на страницу А ссылается 10 других страниц, а на страницу Б – 100 таких же страниц, то здравый смысл (а алгоритмы поисковых систем основаны, прежде всего, на здравом смысле) подсказывает, что страница Б получит больше внимания со стороны поисковых систем. Если на главную страницу ссылаются ВСЕ страницы сайта – роботы поисковых систем будут обходить её чаще остальных.

С «хлебными крошками» и их применением вопрос чуть сложнее, но идея та же – максимально перелинковать страницы сайта друг с другом.

В старой сказке Андерсена Гензель и Гретель находили дорогу домой из лесу по оставленным на пути хлебным крошкам. В нашем случае речь идёт фактически о том же самом, только дорогу мы будем указывать заблудшим поисковым роботам.

«Хлебные крошки» (англ. breadcrumbs) – это элемент навигации по сайту, который позволит поисковым роботам быстро маневрировать в пределах сайта и индексировать его содержимое, а белковым пользователям помимо этого – легко ориентироваться, где они находятся в данный момент. С их помощью можно также легко указать поисковым системам на значимость тех или иных страниц в общей иерархии сайта.

Рисунок 3 - Пример "хлебных крошек"

Внедрение системы тегирования

Теги – ещё один прекрасный способ помочь как пользователям (в их поисках нужного содержимого), так и поисковым системам (в индексации страниц сайта).

Рисунок 4 - Облако тегов с сайта Sports.ru

Суть тегирования – присвоение определенных тематических меток различным страницам. Облако тегов можно генерировать автоматически либо, если речь идет, скажем, о сайтах объявлений, разрешить свободное употребление тегов минус стоп-слова (без этого есть риск получить поток спама с тегами «взрослой» тематики).

SEO-трюки: модернизированная карта сайта

Все упомянутые выше методы хороши, но они: а) применяются всеми; б) могут показаться недостаточно быстрыми для вас! А ведь лежит и ждет своего часа миллионный массив непроиндексированных страниц (или 20 миллионов – суть не меняется). Как быть?

Попробуем подойти к проблеме с логической точки зрения. Внутреннюю перелинковку сделали? Сделали. Ссылки внешние поставили? Надеюсь, поставили. Где же резерв?

Резервом в нашем случае является экономия серверного времени, которое роботы поисковых систем тратят на индексацию Конкретно это можно использовать, генерируя карты сайта особого типа. Вариантов оформления самой такой карты много, но суть: сделать страницы максимально «лёгкими», а ботам предложить их не для индексации, а для прохода. Посмотрите, как это реализовано, например, на сайте 123people.com:

1. Главная страница раздела

Рисунок 5 - Главная страница карты сайта на 123people.com

2. Страницы второго, третьего и, где нужно, четвертого уровня вложенности (по алфавиту)

Рисунок 6 - страница 2-го уровня вложенности в карте сайта 123people.com

3. Все страницы сайта содержат ссылки на эту карту сайта

Рисунок 7 - Ссылки в футере на карту сайта

4. Теперь, внимание. Сейчас фокусник достанет из шляпы кролика! Даже двух. Кролик первый - код страницы – максимально простой, без использования стилей, java-скриптов, любого мусорного кода, на прочтение которого роботы могут потратить своё ценное время.

5. Главная же фишка – в коде каждой страницы карты сайта прописывается следующий фрагмент кода: >meta name="robots" content="noindex, follow, noarchive" /< Что это означает в переводе на человеческий язык? Робот при обращении к странице получает команду: «в дом можно зайти, осмотреть соседние комнаты, но руками ничего не трогать и не фотографировать».

То есть поисковый робот не индексирует содержание такой страницы (noindex), не оставляет кэш (noarchive), но проходит по присутствующим на странице ссылкам (follow) и индексирует их в разы быстрее.
Что это даёт практически и работает ли на деле? Один лишь факт.
По запросу site:123people.com Google предлагает

Рисунок 8 - Результаты поиска в Google по запросу site:123people.com

Согласитесь, неплохо, не так ли :-)?

Вывод:

Ускорения индексации можно добиться тремя путями:

• Настроив на сайте грамотную внутреннюю перелинковку (при помощи основной навигации, «хлебных крошек», теговой системы)
• Посредством добавления карт сайта в поисковые системы
• Создав и грамотно настроив специальную карту на самом сайте.

Перед началом применения любого из перечисленных методов нужно проверить индексацию сайта, узнать, сколько страниц в индексе важнейших поисковых систем находится на данный момент, зафиксировать эту цифру и регулярно отслеживать разницу. Только так можно оценить эффективность того или иного способа для вашего сайта.

Комбинируя указанные методы можно ускорить индексацию сайта любого размера и уровня сложности, будь то небольшой интернет-магазин или же социальная сеть с миллионами профилей.