1. Обратный DNS и прямой DNS
2. Двойное / многократное обновление мета или скрытие реферера
3. Мета-обновление в JavaScript или тег <noscript>
4. Кадры с перенаправлением JavaScript

Руководитель Google Web Spam, Мэтт Каттс в конце 2010 года отнял время у Оззи и Эмми («Мэтты Каттс»), чтобы опубликовать небольшой материал для веб-мастеров и оптимизаторов. через твиттер Я уверен, что это добавило похмелья для нескольких черных шляп в течение курортного сезона.

Google будет [смотреть] больше на маскировку в первом квартале 2011 года. Не только содержание страницы имеет значение; избегайте использования различных заголовков / перенаправлений в Googlebot вместо пользователей.

Клоакинг - это метод, используемый для представления различного содержимого, макета, функциональности или заголовков (совершенно другая страница или частичные компоненты страницы, известные как маскировка мозаики) для паука поисковой системы, чем для веб-браузера пользователя.

Этическое маскирование не является «черной шляпой», однако, в прошлом спамеры использовали методы для манипулирования методами маскировки, для ясности давайте назовем это маскировочным спамом для игры в алгоритм (Google). Это не новое явление. Сначала спаммеры злоупотребляли тегом meta Keywords и, как следствие, теперь он больше не является фактором ранжирования, а тег <noscript> также может вызывать некоторые подозрения, поскольку он также использовался в прошлом (возможно, нам следует открыть убежище для злоупотребленных элементов HTML….)

Прежде всего, позвольте мне сказать, что, если это вообще возможно, ИЗБЕГАЙТЕ ЧУВСТВИТЕЛЬНОСТИ. Маскировка - это занятие с высокой степенью риска, которое, если оно должно быть реализовано, должно быть выполнено соответствующим этическим образом, соблюдая Руководство Google для веб-мастеров , чтобы убедиться, что ваш сайт не оштрафован и не исключен из индекса.

К сожалению, некоторые веб-мастера могут не понимать последствия и непреднамеренно скрывать контент, ссылки или целые веб-сайты, даже не осознавая этого. В этой статье описываются некоторые общие функциональные возможности, которые могут (неправильно) интерпретироваться как скрытый спам.

Имейте в виду, что Google активно расследует случаи клоакинг-спама и запрет веб-сайтов из их индекса. Они также следят за обнаружением маскировка и неестественные ссылки с уведомлениями для веб-мастеров с помощью инструментов для веб-мастеров. Google теперь все лучше и лучше обнаруживает скрытый спам с помощью алгоритмов, даже IP-доставка не является надежной, и, конечно, Google всегда поощряет ваших конкурентов использовать сообщение о спаме если они обнаружат что-то подозрительное на вашей странице.

Алгоритмическое выявление спам-маскировки требует, чтобы поисковая система сравнивала одну веб-страницу, полученную с помощью двух или более механизмов (например, двух или более диапазонов IP-адресов, идентификаторов агента пользователя или различных уровней функциональности HTML / JavaScript). В конце 2006 года Microsoft подала патентную заявку на систему, которая облегчает обнаружение скрытой веб-страницы.

Естественно, это приводит к вопросу, как поисковая система может собрать и проанализировать два примера веб-страницы для сравнения? Некоторые методы могут включать в себя:

• Частичная дифференциация контента с использованием тематического анализа контента, сегментации страниц, латентного семантического анализа (LSA), использования ключевых слов, ссылок на странице и других факторов на странице
• Различные IP-адреса / отдельные диапазоны IP-адресов или прокси для анализа веб-спама
• Различные пользовательские агенты (например, используют браузерный пользовательский агент для проверки скрытого содержимого)
• Спам-отчеты от сообщества веб-мастеров
• Пользовательское тестирование
• Анализ более 5 цепочек перенаправлений для проверки маскировки (возможно, ограничение индексации и потока PageRank, полномочий, доверия и т. Д. Через 5 цепочек редиректов)
• Улучшенная интерпретация кода JavaScript (в частности, оценка сложных и / или закодированных функций JavaScript, которые содержат ссылки или перенаправления)
• Механизм для принятия куки (возможно, в сочетании с JavaScript и анализом перенаправления выше)

Конечно, сбор данных может быть передан на аутсорсинг отдельной компании, чтобы избежать проблемы IP-доставки.

Есть случаи, когда компания может захотеть предоставить различную или дополнительную информацию своим пользователям. Например:

• Геотаргетинг
• Пользователи, вошедшие в систему (индивидуальные настройки домашней страницы и т.д.)
• Отслеживание рефералов - например, обеспечить обратную связь с пользователем на основе его запроса поисковой системы, например, выделение слов на странице, которые соответствуют запросу
• Устройство маскировки для мобильных телефонов и сенсорных устройств
• Оптимизация под конкретные браузеры или для обратной совместимости
• Оптимизация отображения (хотя обычно это можно контролировать с помощью CSS)
• Первый клик бесплатно - Или же первые пять кликов бесплатно
• A / B или многомерное тестирование
• Vanity URLs (скрытие ссылок)
• Показать проверку возраста ( www.bacardi.com использует комбинацию обнаружения пользовательского агента и файлов cookie для отображения страницы приветствия проверки возраста для пользователей, но позволяет поисковым системам получать доступ к веб-сайту. Хотя Google всего 14 лет )
• Балансировки нагрузки
• Замена шрифта (с помощью таких технологий, как SIFR или же Cufon ) - Примечание. Может быть, но не оптимально для Google Preview (по состоянию на декабрь 2010 г.)
• SWFObject

Убедитесь, что вы учитываете последствия для SEO при использовании любого из методов или функций, упомянутых выше, поскольку неправильная конфигурация может привести к спаму маскировки или может быть неоптимальной для SEO.

Хорошо, так что это не учебник о том, как скрыть; это «список спам-спам-2011» или, по крайней мере, набор методов, которых следует избегать, или проблемы, которые необходимо устранить в начале 2011 года.

Некоторые формы маскировки являются преднамеренными (например, IP-доставка или маскировка агента пользователя), однако многие формы маскировки могут быть случайными. Случайные типы скрытого спама, которые непреднамеренно блокируют вас от Google, вызывают наибольшую обеспокоенность, поскольку веб-мастер может не знать об этой проблеме. Четное крупные компании иногда ошибаюсь.

Ниже мы рассмотрим некоторые из наиболее распространенных методов маскировки спама , чтобы обучить и убедиться, что веб-мастера и оптимизаторы могут убедиться, что они не размещены на их веб-сайте.

Обычно веб-мастера скрывают контент от пользователей или поисковых систем тремя способами:

1. IP-доставка
2. Анализ пользовательского агента (Вы можете проверить маскировку пользовательского агента, используя Брюса Клея бесплатный SEO Cloaking Checker ,
3. Использование известных поведений поисковой системы, таких как выполнение JavaScript или перенаправления, а также индексация или spidrability различных элементов HTML

Доставка различного контента в зависимости от IP-адреса запрашивающего веб-браузера или поисковой системы. [ IP Delivery более подробно рассматривается здесь. ]

Обратный DNS и прямой DNS

Обратный DNS и прямой DNS-поиск не являются формой маскировки, но могут использоваться для запроса записей DNS запрашивающего IP-адреса. Google предоставляет подробности о том, как проверить, является ли Googlebot тем, кем он себя считает.

Доставка различного контента на основе User-агента запрашивающего веб-браузера или поисковой системы. Например, Googlebot / 2.1 (+ http: //www.google.com/bot.html) или Mozilla / 5.0 (Windows; U; MSIE 7.0; Windows NT 6.0; en-US)

Google может проиндексировать страницу, содержащую JavaScript, но может не следовать перенаправлению JavaScript, однако мы видим значительные улучшения в интерпретации кода JavaScript Google (например, Генератор предварительного просмотра Google отображает JavaScript, AJAX, CSS3, фреймы и фреймы).

Веб-мастера иногда используют перенаправления JavaScript, когда они не могут реализовать перенаправление на стороне сервера, непреднамеренно оставляя робота Googlebot на первой странице и отправляя веб-браузер (который следует за перенаправлением JavaScript) на вторую страницу, содержащую различное содержимое, и поэтому помечаются как скрывающий спам.

Обратите внимание на следующий код:

<script type = "text / javascript"> window.location = "http://www.yoursite.com/second-page.html" </ script>

В раздел заголовка на странице HTML добавлен тег для перенаправления пользователей на другую страницу по истечении заданного периода времени. Мета-тег обновления не считается маскирующим при использовании сам по себе, однако его можно комбинировать с JavaScript, фреймами или другими методами, чтобы отправить пользователя на другую страницу паукам поисковой системы.

Обратите внимание на следующий код:

<meta http-equ = "refresh" content = "0; url = http: //www.yoursite.com/second-page.html">

Двойное / многократное обновление мета или скрытие реферера

Несколько мета-обновлений могут быть использованы, чтобы скрыть реферера от партнерских сайтов. Избегайте создания цепочки из нескольких перенаправлений любого рода, так как это может негативно повлиять на SEO и даже не соответствовать условиям обслуживания (TOS) ваших партнеров

Мета-обновление в JavaScript или тег <noscript>

Хорошо, теперь мы попадаем в сферу «черной шляпы». Маловероятно, что веб-мастер объединит мета-обновление с JavaScript, если они не принесут пользы.

Это легко обнаружить поисковой системе. Не делай этого.

Поисковые системы не могут следовать за несколькими цепочками перенаправлений (в соответствии с HTML спецификация рекомендуемый номер был установлен на 5 перенаправлений). Google может следовать около 5 цепочек перенаправлений. Веб-браузеры могут следовать больше.

Несколько параллельных перенаправлений (особенно комбинируя различные типы перенаправлений 301, 302, мета-обновление, JavaScript и т. Д.) Влияют на время загрузки страницы, могут влиять на поток PageRank (даже перенаправления 301 могут видеть некоторые Распад PageRank ) и можно было бы считать клоакинг-спамом.

Я не смог найти никаких данных о том, сколько перенаправлений будет выполнять веб-браузер, поэтому я создал скрипт быстрого цепного перенаправления для проверки некоторых браузеров, установленных на моем компьютере, и предоставил некоторые статистические данные о приблизительном количестве перенаправлений, которые следуют (по типу перенаправления) , Я ограничил сценарий максимум 5000 связанными перенаправлениями.

Версия веб-браузера Приблизительно № 301 Перенаправления Приблизительно № 302 Перенаправления Приблизительно № Мета-обновления Перенаправления Приблизительно # JavaScript-редиректов Google Chrome 8.0.552.224 21 21 21 Больше 5000
(предел неизвестен) Internet Explorer 8.0.6001.18702IC 11 11 Больше 5000
(предел неизвестен) более 5000
(предел неизвестен) Mozilla Firefox 3.5.16 20 20 20 Больше 3000
(ограничение неизвестно, поскольку браузер останавливается после 3000 перенаправлений JS) Safari 3.1.2 (525.21) 16 16 Больше 5000
(предел неизвестен) более 5000
(предел неизвестен)

Когда скрипт был написан, мы подумали, что запустим дополнительный тест и отправим URL-адрес перенаправления в Google. Мы также связались со сценарием из Twitter. Результаты приведены в таблице ниже.

Поисковая система Пользовательский агент Host IP Приблизительно № 301 Перенаправления следуют Microsoft * Предполагается на основе диапазона IP-адресов
Mozilla / 4.0 (совместимо; MSIE 7.0; Windows NT 6.0) 65.52.17.79 25 Google
Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http: //www.google.com/bot.html) 66.249.68.249 5 Yahoo
Mozilla / 5.0 (совместимо; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 67.195.111.225 4 Twitter
Twitterbot / 0.1 128.242.241.94 3 LinkedIn
LinkedInBot / 1.0 (совместимый; Mozilla / 5.0; Jakarta Commons-HttpClient / 3.1 + http: //www.linkedin.com) 216.52.242.14 1 PostRank
PostRank / 2.0 (postrank.com) 204.236.206.79 0

Хотя робот Googlebot сканировал только 5 из постоянных перенаправлений в этом случае, было бы справедливо предположить, что Google может реализовать проверку на основе сканирования для проверки перенаправлений, превышающих ограничение в 5 перенаправлений ботов, аналогично Microsoft, описанной выше, которые следуют примерно за 25 цепочками перенаправлений. Примечание: мы предположили, что это принадлежащий Microsoft IP-адрес, основанный на информации IP-адреса Whois из Инструменты домена ,

Фреймы позволяют веб-мастеру встраивать другой документ в HTML-страницу. Поисковые системы традиционно не очень хорошо относили размещенный контент к родительской странице, что позволяло веб-мастеру запретить поисковым системам видеть часть или весь контент на странице.

Фреймы и iFrames являются законными HTML-элементами (хотя они не часто являются наилучшей практикой с точки зрения SEO), однако их также можно комбинировать с другими методами для обмана пользователей.

Кадры с перенаправлением JavaScript

Встраивание фрейма с перенаправлением JavaScript может оставить пауки поисковой системы на первой странице и скрытно перенаправить пользователей с включенным JavaScript на вторую «скрытую» страницу.

Я не могу придумать законную причину «белой шляпы», почему вы решили использовать это. Это может привести к штрафу или бану. Проверьте исходный код ваших документов в рамке, удалите этот код или осуществите соответствующее SEO-дружественное перенаправление.

Тег <noscript> был разработан, чтобы обеспечить не-JavaScript-эквивалент для контента JavaScript, чтобы только текстовые браузеры и поисковые системы могли интерпретировать более сложные формы контента. Тег <noscript> может восприниматься с некоторым подозрением, как это было злоупотребляют спамерами в прошлом.

Создайте функциональность JavaScript / AJAX с учетом прогрессивного улучшения, чтобы контент подходил для всех пользователей и не требовал использования тега <noscript>. Если на вашем веб-сайте используется тег <noscript> и вы не можете обновить код, убедитесь, что любой текст, ссылки и изображения в теге <noscript> точно описывают содержимое JavaScript, AJAX или Flash, которое он представляет, в точном, ясном и кратком изложении. манера.

Если на странице или веб-сайте нарушителя возникли проблемы с индексацией, рассмотрите возможность пересмотра кода <noscript> в рамках тщательного SEO-аудита сайта.

Сети доставки контента (CDN) позволяют компаниям распределять статический контент по нескольким географическим местам для повышения производительности для конечных пользователей. В зависимости от конфигурации CDN существует несколько способов направить клиентский запрос к наилучшему доступному источнику для обслуживания контента. CDN - это сложная область, обычно реализуемая глобальными компаниями, которым необходимо обслуживать контент пользователей в кратчайшие сроки.

Если вы используете CDN, убедитесь, что он позволяет поисковой системе получать доступ к тому же контенту и информации, которую видят пользователи, и убедитесь, что нет ничего, что поисковая система могла бы неверно истолковать как обманчивую.

Хакеры использовали эксплойты на обычных CMS для привлечения трафика на менее этичные сторонние веб-сайты. Одним из примеров является WordPress Pharma Hack который использовал маскировку для представления контента, связанного с фармацевтической продукцией, поисковым системам, но скрывал этот контент от веб-мастера.

Убедитесь, что на вашей CMS, веб-сервере и в программном обеспечении операционной системы установлены последние версии и они защищены. Некоторые из наиболее распространенные подвиги плохие пароли, небезопасное программное обеспечение или сценарии, недовольные сотрудники и приемы социальной инженерии.

Заголовки HTTP отправляют дополнительную информацию о запрашиваемой странице в поисковую систему или в веб-браузер. Например, статус страницы, информация о кэшировании / истечении срока действия, информация о перенаправлении и т. Д.

Отправка различных заголовков в поисковую систему для обмана может привести к штрафу. Например, замена хорошего контента на странице с высоким рейтингом формой регистрации и изменение заголовков истечения срока действия и / или кэша управления в попытке обмануть поисковые системы для поддержания высокопоставленной версии с хорошим контентом не будет работать.

Робот Google может периодически загружать контент независимо от срока действия и заголовков управления кэшем, чтобы убедиться, что контент действительно не изменился.

Вы можете проверить состояние заголовков ответа вашего сервера, используя один из наших бесплатные инструменты SEO ,

Чтобы процитировать Google:

«Страницы проема обычно представляют собой большие наборы некачественных страниц, где каждая страница оптимизирована для определенного ключевого слова или фразы. Во многих случаях страницы дверного проема пишутся для ранжирования по определенной фразе, а затем направляют пользователей к одному месту назначения ».

Источник: http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=66355

Мэтт Каттс разглагольствует о Страницы дверного проема Вот.

Различные инструменты тестирования, такие как Google Website Optimizer, позволяют повысить эффективность вашего сайта путем тестирования изменений в содержании и дизайне вашего сайта для повышения коэффициентов конверсии (или других важных измеренных показателей).

Многовариантное тестирование является этическим использованием маскировки, однако, Google состояния :

«Если мы обнаружим, что сайт работает с одной неоригинальной комбинацией на 100% в течение нескольких месяцев, или если оригинальная страница сайта загружена ключевыми словами, которые не относятся к комбинациям, показанным посетителям, мы можем удалить этот сайт из нашего индекса ».

Не обязательно скрывающий спам как таковой, но метод приманки и переключения, при котором 301 перенаправляет несвязанные домены (обычно домены, которые продаются или просрочены, но все еще имеют PageRank или значимые внешние ссылки), на вредоносный или несвязанный домен по совершенно другой теме ,

Это вводит в заблуждение пользователей поскольку они могут ожидать другого веб-сайта и могут передавать несвязанный текст привязки к вашему домену.

Кроме того, не ожидайте кредит на регистрация просроченных доменов с внешними ссылками в надежде на пиар или повышение ссылки.

Исторически поисковые системы пытались эффективно интерпретировать и индексировать контент Flash, но они становиться лучше Все время.

Веб-мастерам приходилось учитывать пользователей и поисковые системы, у которых не было браузеров с поддержкой Flash, либо они создавали стандартный веб-сайт HTML «за кулисами» для поисковых систем, использовали тег <noscript>, JavaScript или аналогичный метод для индексации своего текстового содержимого. К сожалению, это может быть непреднамеренно определено поисковыми системами как скрытие, если содержимое, проиндексированное из содержимого Flash, не соответствует текстовому содержимому.

Создание целого веб-сайта во Flash все еще не очень хорошая идея с точки зрения SEO, однако, если у вас есть некоторый Flash-контент, подумайте о реализации SWFObject или подобный метод, чтобы гарантировать, что Flash изящно ухудшается как для пользователей, так и для поисковых систем.

Поповские дивы и реклама одни не маскируют. Когда рекламные вставки или всплывающие окна не могут быть закрыты (например, если пользователь не зарегистрирован), возможно, вы представляете контент поисковым системам и регистрационную форму своим пользователям.

Убедитесь, что пользователи могут закрывать или пропускать рекламные вставки, всплывающие окна, всплывающие окна, наложенные разделы, световые окна и т. Д. И просматривать доступный контент

AJAX (асинхронный JavaScript и XML) - это форма JavaScript, которая позволяет веб-странице получать динамический контент с сервера без перезагрузки страницы. За последние пару лет он стал очень популярным и часто (более) используется во многих приложениях Web 2.0.

AJAX может быть обманчиво использован для представления различного контента пользователю и поисковой системе - не надо.

Кроме того, с другой стороны, в подходе «отрицательного маскирования» пользователь может видеть контент, но поисковая система не будет видеть, поскольку она не может выполнить вызовы JavaScript, которые извлекают динамический контент с сервера. Что-то проверить.

Многие из методов, описанных в этой статье, можно комбинировать, рубить или манипулировать в тщетной попытке обмануть поисковые системы.

Одним из таких примеров является объединение JavaScript и Cookies для маскировки контента. Если функция JavaScript не может записать или прочитать cookie (например, паук поисковой системы), отобразите содержимое, отличное от обычного пользователя с включенными файлами cookie. Есть также несколько примеров сценариев JQuery, которые позволят недобросовестному человеку сделать это.

Под маскировкой ссылок понимается отправка пользователя по другому URL-адресу, чем тот, по которому щелкнули, с помощью перенаправления какой-либо формы. Перенаправления могут быть использованы как для хорошего, так и для плохого, как мы видели выше. Скрытие ссылок часто используется для аналитических целей или целей технического обслуживания. Есть ряд практических причин сделать это, например:

• Поддерживать ссылку на партнера в синдицированном PDF или приложении. Используя аналогичный URL-адрес тщеславия и переадресацию, указанную выше, убедитесь, что если партнер обновляет свою структуру URL-адреса, вы можете обновить перенаправление на URL-адрес тщеславия и, таким образом, обеспечить работу ссылок в электронных книгах и синдицированном контенте.
• Тщеславные URL-адреса, используемые в маркетинговых и рекламных материалах, которые легче запомнить, чем стандартная версия URL-адреса

Конечно, это может быть использовано, чтобы ввести в заблуждение и обмануть, например замаскировать партнерскую ссылку (например, заменить ссылку на http://mysite.com/vanity-url и перенаправить ее на http://affiliate.com/offer.html. ? = мой-филиал-код).

Изменение текста привязки или атрибутов ссылки с помощью JavaScript или аналогичного механизма для обмана или обмана пользователей. Это форма маскировки, которая изменяет только небольшой компонент страницы, чтобы обмануть пользователя.

• Перехват события onClick для отправки пользователя на другой URL в поисковых системах
• Добавление атрибута rel = ”nofollow” к ссылкам, отображаемым в поисковых системах, и удаление его из кода, отображаемого для пользователей.
• Изменение якорного текста ссылок для включения ключевых слов в якорный текст, отправляемый поисковым системам, и отображение чего-то другого для пользователей

Избегайте перехвата ссылок, чтобы обмануть пользователей, так как это может привести к штрафам поисковой системы или запрету вашего сайта.

Существуют этические формы этого метода, чтобы гарантировать, что и пользователи, и поисковые системы могут видеть ваш контент AJAX, используя Hijax как рекомендуется на Блог Google ,

Сокрытие текста противоречит правилам Google TOS и Webmaster. Это форма маскировки, поскольку поисковая система может видеть текстовое содержимое, но пользователь не может. Избегайте следующих типов скрытого текста:

• Неразличимый текст на фоне (например, темно-серый на черном)
• Установка размера шрифта на 0
• Стилизация текста с привязкой к ключевым словам, например стандартного основного текста, чтобы пользователи не понимали, что это ссылка
• Отображение каскадных таблиц стилей (CSS): нет
• Текст за изображениями. Всегда сложная тема и часто открытая для дебаты среди оптимизаторов , Если текст позади изображения является точным и точным представлением изображения (например, заголовок с пользовательским шрифтом), вам «должно быть хорошо», чтобы процитировать Мэтта Каттса. Окончательное решение будет зависеть от ваших конкретных обстоятельств, однако проверьте эти ресурсы для получения некоторых рекомендаций: W3C: Использование CSS для замены текст с изображениями , Farner Image Замена (FIR), Масштабируемая замена вспышки Inman (sIFR) (обратите внимание, что текст, замененный sIFR может не отображаться в Google Preview по состоянию на декабрь 2010 г.)

Если трафик с поисковых систем важен для вас, убедитесь, что вы учитываете следующее в отношении маскировки:

• Убедитесь, что вы знакомы с очевидными и не очень очевидными формами маскировки, описанными выше, и знаете, как они используются на вашем сайте, чтобы избежать возможных штрафов.
• Если вы реализуете какую-то форму маскировки, убедитесь, что это правильно рассмотрено с точки зрения SEO, чтобы избежать потенциальных штрафов.

Написал rbedford 27 января 2011 года в 12:30

Похожие

Комментарии