Как мы уже писали в разд. "Проблемы систем управления контентом (CMS)” главы 6, существует много способов создания дублированного контента. В основном он появляется не из-за действий спамеров, а из-за особенностей архитектуры web-сайта. Поэтому обычной реакцией поисковых движков на дублированный контент является его отфильтровывание, но не накладывание каких-либо штрафов на издателя.
Движки отфильтровывают такой контент, потому что не хотят показывать в результатах поиска множество копий одного и того же контента, поскольку пользователям это ничего не дает. Они не наказывают издателя, потому что огромное большинство этих ситуаций возникает непреднамеренно.
Однако есть три примечательных исключения.
• Нарушения авторских прав.
Реальное нарушение авторских прав, когда издатель без разрешения демонстрирует копию контента другого издателя.
• Сайты "тонких партнеров".
При таком сценарии издатель имеет разрешение от другого издателя, но контент не уникален. Обычно это сайт с партнерской сетью, который генерирует потенциальных клиентов или продажи (в основном путем предложения партнерской программы другим издателям).
Сайт с партнерской программой генерирует некий имеющий отношение к его предложению контент и распространяет его всем своим партнерам. Затем все эти сайты публикуют у себя идентичный (или очень похожий) контент. Проблема с поисковыми движками состоит в том, что здесь нет никакого уникального контента.
Такой партнерский сайт может создать сотни и тысячи страниц для работы с терминами вертикального поиска (с минимальными изменениями контента). Классический пример: создание сотен идентичных web-страниц, отличающихся только названием города (т. е. страницы имеют такие названия, как "Phoenix Oil Changes", "Austin Oil Changes", "Orlando Oil Changes" и т. д.).
• Массовое дублирование.
Это сайты, на которых имеется очень большое количество дублированного контента (даже если на это имеется разрешение) и они не являются тонкими партнерами. Неизвестно, какова пороговая величина (и вероятно, она с течением времени меняется), но наш опыт подсказывает, что сайты с 70 и более процентами дублированных страниц, скорее всего, будут подвергнуты штрафу.
Могут существовать и другие формы спамерского дублирования контента, которые мы здесь не указали. Они будут считаться спамом в том случае, если реализованы намеренно (т. е. тонкий партнер под это определение подпадает), а контент не представляет собой никакой ценности для Интернета.