Как бороться с дублями на сайте

Существует множество факторов, которые влияют на ранжирование сайтов в поисковых системах. Некоторые из них не имеют значительных последствий, но другие, такие как продублированный контент, могут сбросить ваш ресурс на достаточно большое количество позиций вниз. Давайте подробней разберемся, что такое дублирование контента и как снизить влияние дублей на ранжирование.

Дублирование контента на сайте и его последствия

Дублирование контента подразумевает под собой наличие на сайте повторных материалов, которые в той или иной мере встречаются на внешних или внутренних ресурсах. Это может быть неуникальный текст или же скопированные его части, изображения и служебные страницы. Чаще всего под дублями понимается именно неоригинальный текстовый материал. Одним из ярких примеров дублированного контента является скопированная статья.
Допустим, вы бороздили просторы интернета и натолкнулись на интересную статью, которая соответствует тематике вашего сайта. После связи с автором и получения соответствующих разрешений, вы ее копируете себе на сайт, проставляя где-нибудь в тексте ссылку на первоисточник. С одной стороны, вы соблюдаете все юридические требования, но поисковые системы видят это совершенно по-другому. Они замечают, что идентичный или очень схожий текст уже находится в кэше. Поисковый робот производит несколько запросов по встроенным алгоритмам, чтобы найти наиболее раннюю версию, а все остальное считает некачественным контентом. В тоге ваш интернет-ресурс получает минус в «карму», а соответственно – опускается в поиске и теряет посещаемость.

То же касается и контента с низкой уникальностью или частично скопированных текстов. Чем больше таких погрешностей на сайте, тем более высокая вероятность, что он однажды выпадет из поиска навсегда.
Где чаще всего встречаются дубли контента?
Дублирование контента не всегда производится по неосторожности и слабой обознанности владельца сайта. Копии могут встречаться:

• в RSS-лентах;
• на служебных страницах;
• на страницах ресурса, предназначенных для дальнейшей печати;
• как следствие работы системы управления сайтом (CMS).

Также существуют специальные программы копирования – парсеры, которые собирают контент с уже существующих ресурсов. В сети располагается огромное количество интернет-сайтов, которые являются практически полными копиями друг друга. Десяток таких ресурсов не приносит и половины дохода, который сможет обеспечить один нормальный, оптимизированный под запросы, сайт. Опытные вебмастера и SEO-маркетологи обходят программы копирования стороной, так как знают обо всех возможных последствиях.

Дубликаты в структуре

Если не говорить именно о материалах сайта, а рассмотреть его со стороны структуры, мы увидим, что шаблон состоит из нескольких элементов:

• «голова» сайта (head);
• боковые колонки (sidebars);
• «подвал» (footer);
• непосредственно контент или же наполнение.

Первые три пункта, как правило, дублируются на всех остальных страницах сайта, а меняется только его наполнение. В этом случае очень важно, чтобы количество текста в части контента, превышало количество символов, которое получается при объединении всех повторяющихся элементов. Тогда поисковик будет воспринимать сайт надлежащим образом, а не индексировать боковые колонки или другие элементы.
Также под категорию дубликатов попадает контент интернет-магазинов, а именно страницы поиска товаров, когда пользователь пользуется фильтрами. Но решение этих проблем мы рассмотрим немного ниже.
Как определить дублирование контента?
Существует множество сервисов, дополнений для CMS и различных служб для проверки наличия дублей контента на сайте. Наиболее популярные из них:

1. Сервисы для проверки уникальности (Advego, Etxt, Content-Watch, Text.ru и аналоги) – позволяют найти как полное, так и частичное дублирование текстов на внешних и внутренних ресурсах. Более того, некоторых из них позволяют проводить регулярную проверку сайта на оригинальность, что позволит следить за состоянием ресурса в режиме «онлайн».
2. При помощи поисковых систем – введите адрес вашего ресурса в той же ПС «Яндекс» и страницу, которую хотите проверить на наличие дубликатов. Поисковый робот выдаст даже те страницы, которые скрыты от человеческих глаз и средств регулярной проверки. Конечно же, можно проводить подобный поиск в ручном режиме, но это, как минимум, долго и не приносит нужного результата.

Устраняем дубликаты с сайта

Для того чтобы избавиться от дублированного контента на сайте, а также заставить поисковые системы правильно воспринимать уже присутствующий материал, можно воспользоваться следующими рекомендациями:

1. Ограничьте доступ поисковых роботов к страницам дубликатам – создайте в корне сайта текстовый документ с названием robots.txt (название обязательно в нижнем регистре) и запретите при помощи инструкции Disallow: (ссылка на папку или страницу) индексацию отдельных частей ресурсов.
2. Если вы полностью копируете материал с другого ресурса, пропишите в «голове» сайта каноническую ссылку на первоисточник, например link rel = “canonical” href= “http://ссылка на первоисточник”. Такой способ хотя и не даст особого притока, но защитит ваш ресурс от блокировки в поисковой выдаче.
3.  Владельцы интернет магазинов на страницах, содержащих фильтры товаров, должны проделать действия, аналогичные п. 2 для каждой группы. При этом в ссылке нужно проставить путь к основной категории.
4. Используйте уникальную текстовую составляющую. Сведите к минимуму наличие частичных дубликатов материалов. Если вы используете на своем ресурсе один из популярных движков, по типу WordPress, Joomla, DLE и др., можно найти к ним специальные плагины, которые будут автоматически следить за наличием дубликатов, а по возможности – вносить ссылки на запрет индексации или удалять с диска.

Современные поисковые системы – это не просто роботы, которые производят индексацию отдельных слов на сайтах, как это было в начале развития мировой сети, а чрезвычайно умные программы, способные различить самый различный контент. Поисковики спокойно могут отличить обычный набор слов, от естественных текстов, или же найти дубликаты по всей мировой сети. Основной пункт, который будет влиять на поисковую выдачу – наличие внутренних или внешних дубликатов контента и чем больше его на вашем сайте, тем более вероятна ситуация того, что ваш ресурс в один момент просто исчезнет из списка предлагаемых ПС сайтов.