Как бороться с дублями на сайте

Существует множество факторов, которые влияют на ранжирование сайтов в поисковых системах. Некоторые из них не имеют значительных последствий, но другие, такие как продублированный контент, могут сбросить ваш ресурс на достаточно большое количество позиций вниз. Давайте подробней разберемся, что такое дублирование контента и как снизить влияние дублей на ранжирование.


Дублирование контента на сайте и его последствия

Дублирование контента подразумевает под собой наличие на сайте повторных материалов, которые в той или иной мере встречаются на внешних или внутренних ресурсах. Это может быть неуникальный текст или же скопированные его части, изображения и служебные страницы. Чаще всего под дублями понимается именно неоригинальный текстовый материал. Одним из ярких примеров дублированного контента является скопированная статья.
Допустим, вы бороздили просторы интернета и натолкнулись на интересную статью, которая соответствует тематике вашего сайта. После связи с автором и получения соответствующих разрешений, вы ее копируете себе на сайт, проставляя где-нибудь в тексте ссылку на первоисточник. С одной стороны, вы соблюдаете все юридические требования, но поисковые системы видят это совершенно по-другому. Они замечают, что идентичный или очень схожий текст уже находится в кэше. Поисковый робот производит несколько запросов по встроенным алгоритмам, чтобы найти наиболее раннюю версию, а все остальное считает некачественным контентом. В тоге ваш интернет-ресурс получает минус в «карму», а соответственно – опускается в поиске и теряет посещаемость.

То же касается и контента с низкой уникальностью или частично скопированных текстов. Чем больше таких погрешностей на сайте, тем более высокая вероятность, что он однажды выпадет из поиска навсегда.
Где чаще всего встречаются дубли контента?
Дублирование контента не всегда производится по неосторожности и слабой обознанности владельца сайта. Копии могут встречаться:

  • в RSS-лентах;
  • на служебных страницах;
  • на страницах ресурса, предназначенных для дальнейшей печати;
  • как следствие работы системы управления сайтом (CMS).

Также существуют специальные программы копирования – парсеры, которые собирают контент с уже существующих ресурсов. В сети располагается огромное количество интернет-сайтов, которые являются практически полными копиями друг друга. Десяток таких ресурсов не приносит и половины дохода, который сможет обеспечить один нормальный, оптимизированный под запросы, сайт. Опытные вебмастера и SEO-маркетологи обходят программы копирования стороной, так как знают обо всех возможных последствиях.


Дубликаты в структуре

Если не говорить именно о материалах сайта, а рассмотреть его со стороны структуры, мы увидим, что шаблон состоит из нескольких элементов:

  • «голова» сайта (head);
  • боковые колонки (sidebars);
  • «подвал» (footer);
  • непосредственно контент или же наполнение.

Первые три пункта, как правило, дублируются на всех остальных страницах сайта, а меняется только его наполнение. В этом случае очень важно, чтобы количество текста в части контента, превышало количество символов, которое получается при объединении всех повторяющихся элементов. Тогда поисковик будет воспринимать сайт надлежащим образом, а не индексировать боковые колонки или другие элементы.
Также под категорию дубликатов попадает контент интернет-магазинов, а именно страницы поиска товаров, когда пользователь пользуется фильтрами. Но решение этих проблем мы рассмотрим немного ниже.
Как определить дублирование контента?
Существует множество сервисов, дополнений для CMS и различных служб для проверки наличия дублей контента на сайте. Наиболее популярные из них:

  1. Сервисы для проверки уникальности (Advego, Etxt, Content-Watch, Text.ru и аналоги) – позволяют найти как полное, так и частичное дублирование текстов на внешних и внутренних ресурсах. Более того, некоторых из них позволяют проводить регулярную проверку сайта на оригинальность, что позволит следить за состоянием ресурса в режиме «онлайн».
  2. При помощи поисковых систем – введите адрес вашего ресурса в той же ПС «Яндекс» и страницу, которую хотите проверить на наличие дубликатов. Поисковый робот выдаст даже те страницы, которые скрыты от человеческих глаз и средств регулярной проверки. Конечно же, можно проводить подобный поиск в ручном режиме, но это, как минимум, долго и не приносит нужного результата.

Устраняем дубликаты с сайта


Для того чтобы избавиться от дублированного контента на сайте, а также заставить поисковые системы правильно воспринимать уже присутствующий материал, можно воспользоваться следующими рекомендациями:

  1. Ограничьте доступ поисковых роботов к страницам дубликатам – создайте в корне сайта текстовый документ с названием robots.txt (название обязательно в нижнем регистре) и запретите при помощи инструкции Disallow: (ссылка на папку или страницу) индексацию отдельных частей ресурсов.
  2. Если вы полностью копируете материал с другого ресурса, пропишите в «голове» сайта каноническую ссылку на первоисточник, например link rel = “canonical” href= “http://ссылка на первоисточник”. Такой способ хотя и не даст особого притока, но защитит ваш ресурс от блокировки в поисковой выдаче.
  3.  Владельцы интернет магазинов на страницах, содержащих фильтры товаров, должны проделать действия, аналогичные п. 2 для каждой группы. При этом в ссылке нужно проставить путь к основной категории.
  4. Используйте уникальную текстовую составляющую. Сведите к минимуму наличие частичных дубликатов материалов. Если вы используете на своем ресурсе один из популярных движков, по типу WordPress, Joomla, DLE и др., можно найти к ним специальные плагины, которые будут автоматически следить за наличием дубликатов, а по возможности – вносить ссылки на запрет индексации или удалять с диска.

Современные поисковые системы – это не просто роботы, которые производят индексацию отдельных слов на сайтах, как это было в начале развития мировой сети, а чрезвычайно умные программы, способные различить самый различный контент. Поисковики спокойно могут отличить обычный набор слов, от естественных текстов, или же найти дубликаты по всей мировой сети. Основной пункт, который будет влиять на поисковую выдачу – наличие внутренних или внешних дубликатов контента и чем больше его на вашем сайте, тем более вероятна ситуация того, что ваш ресурс в один момент просто исчезнет из списка предлагаемых ПС сайтов.

Случайный отзыв

Олег Алексеевич - avttech.ru

Работал с этой компанией с ноября 2016 по ноябрь 2017 года. За это время сайт не только нисколько не повысился в выдаче, но и потерял в посещаемости более чем в 2 раза те позиции в выдаче, которые были прежде. На каждую мою попытку остановить сотрудничество уговаривали дать им ещё шанс, уже начинается перелом в ситуации.. Под конец дали рекомендацию что необходимо перевести сайт на новую платформу. Оплатил и эту работу. В результате получил сайт, которые довести до ума они так и не смогли. Гарантию на сайт дать отказались и на вопросы отвечать перестали, как только перестал платить за «продвижение». Восстанавливать сайт пришлось уже другой организации. Такое ощущение что у них работает вежливая девочка Дина и постоянно меняющиеся фрилансеры-студенты, которым на результат работы абсолютно наплевать и добиться от них ей что-то очень трудно. Поэтому иногда с ответом на простой вопрос «зависает» на неделю. Перечислять их глюки можно очень долго. Итог: отдал им около 400000 рублей , получил недоделанный сайт вместо рабочего и практически полную потерю позиций которые были в поисковиках. Делайте выводы. Всё это могу подтвердить графиками с Яндекс Метрики и других источников. Положительные отзывы, опубликованные на ресурсе, вызывают сомнение после опыта работы с этой компанией.

Пресс-релизы

Малоизвестные социальные сети

Социальные сети получили широкое распространение в современном интернете. Практически каждый человек, имеющий выход во «всемирную паутину», зарегистрирован хотя бы на одной из известных платформ вроде "Вконтакте" или "Одноклассников". К сожалению, популярность этих гигантов не дает активно развиваться более полезным, однако узконаправленным СС. Итак, какие малоизвестные ресурсы социального профиля доступны в Рунете? Какие функции они выполняют? Что позволяет им успешно функционировать даже в тени всеобщих "любимцев"?

Кейс: продвижение молодого сайта в Москве

Кейс-мануал по продвижению сайта