Seopult Cybermarketing Click.ru Seopult TV Trustlink Webartex.ru UpToLike.ru Blog.Seopult.ru Форум
26 марта 2018

История развития поисковых алгоритмов Google

Плюсануть
Поделиться
Отправить
Класснуть
Линкануть

Борьба за качество поиска шла все 20 лет развития поисковой системы Google. Регулярно выходили обновления, которые, с одной стороны, делали поиск лучше, а с другой, усложняли жизнь оптимизаторам и владельцам сайтов, вынуждая приспосабливаться под новые условия. Предлагаем вспомнить, как развивался поисковик №1 в мире. Ниже представлены знаковые обновления алгоритмов, которые раз за разом приводили вебмастеров в замешательство, но все же делали поиск лучше.

Истоки

В 1996 году студенты Стэнфордского университета Ларри Пейдж и Сергей Брин начали работу над проектом BackRub, посвященным изучению ценности веб-страниц с точки зрения количества ссылающихся на них сайтов. В итоге разработали алгоритм PageRank.

Анализ поисковой выдачи на основе этого алгоритма показал более высокую релевантность результатов, чем в случае с существующими алгоритмами (на тот момент приоритет в выдаче получали страницы, на которых чаще встречалась ключевая фраза).

В 1998 году вышла статья «Анатомия системы крупномасштабного гипертекстового веб-поиска», в которой подробно описывался механизм расчета PageRank и работы новой поисковой системы Google. Поисковик, которым сегодня пользуется более 75 % населения планеты, в то время размещался на сайте «Стэнфорда» и выглядел так:

История развития поисковых алгоритмов Google

В резюме к статье авторы написали:

«Google предназначен для эффективного сканирования и индексации интернета и обеспечения гораздо более удовлетворительных результатов поиска, чем существующие системы».

Эта философия до сих пор движет развитием поисковика. Сегодня для ранжирования документов в Google используется искусственный интеллект, а поисковая выдача стала персонализированной и зависит не только от качества, релевантности и авторитетности сайта, но и месторасположения пользователя, его интересов, образа жизни и прочих факторов.

Первый апдейт (01.09.2002)

Поначалу Google примерно 10 раз в год обновлял свои базы данных, что вызывало небольшие изменения в результатах поиска. Эти обновления в среде вебмастеров прозвали «Танец Гугла» («Google Dance»). На этот же раз изменения были намного заметней. Несмотря на то, что официального разъяснения от Google не последовало, именно это событие считается первым серьезным апдейтом алгоритма.

Бостон (01.02.2003)

Это первое официальное обновление алгоритма, представленное Google. Суть его в том, что текущие апдейты баз происходят не раз в месяц, как это было ранее, а намного чаще.

Fritz (01.07.2003)

Ежемесячный «Google Dance» окончательно уходит в прошлое — теперь Google обновляется каждый день.

Дополнительный индекс («Supplemental Index») (01.09.2003)

С целью повышения производительности Google начал заносить некоторые страницы (дублирующиеся, малоинформативные и т. п.) в дополнительный индекс. Они не отражались в основных результатах поиска, но Google знал об их существовании, и пользователи могли просмотреть дополнительные результаты поиска по конкретному сайту, нажав кнопку «Supplemental Result». В 2007 году эту кнопку убрали, но дополнительный индекс остался и еще долгое время вводил в заблуждение оптимизаторов. Сегодня Supplemental Index неактуален.

Флорида (01.11.2003)

Это знаковое обновление, которое серьезно повлияло на качество выдачи и сформировало новую индустрию — SEO-продвижение. Впервые в выдаче просели коммерческие сайты, которые использовали незамысловатые техники продвижения 90-х вроде размещения списков ключевых фраз на страницах сайта. С выходом этого апдейта начали массово появляться профессиональные SEO-оптимизаторы, которые отслеживали изменения алгоритмов и адаптировали сайты под новые требования.

Бренди (01.02.2004)

Google ввел ряд изменений: расширил основной индекс, внедрил латентно-семантическое индексирование (LSI), повысил роль анкорного текста и ссылочного окружения. Благодаря LSI Google начал понимать синонимы, что вывело работу с ключевыми запросами на новый уровень.

Nofollow-ссылки (01.01.2005)

С целью борьбы со спамными ссылками, в частности, с комментариев и форумов, Google, Yahoo и Microsoft совместно предложили использовать атрибут «nofollow» для ссылок, которые нужно закрыть от индексации поисковыми роботами. Сегодня nofollow-ссылки не менее важны для SEO, чем dofollow, ведь они позволяют сделать ссылочный профиль естественным.

Персонализированный поиск и карты XML (01.06.2005)

Google и ранее персонализировал выдачу, но делал это на основе пользовательских настроек в профиле. С этим обновлением Google впервые начал использовать историю поиска для формирования выдачи на основе интересов и предпочтений. Несмотря на то, что поначалу влияние алгоритма было едва заметным, обновление дало толчок к развитию полноценного персонализированного поиска. В этот же день Google позволил добавлять в Webmaster Tools (сегодня — Search Console) карты сайта в формате XML, что позволило ускорить и улучшить индексацию страниц.

Универсальный поиск (01.05.2007)

Google в обычную выдачу начал «подмешивать» результаты из новостей, видео, карт, изображений и т. п. Таким образом, выдача стала более разнообразной. В то время результаты поиска выглядели так:

История развития поисковых алгоритмов Google

Универсальный поиск Google в 2007 году (источник: SearchEngineLand)

Поисковые подсказки (01.08.2008)

Потребовалось 4 года, чтобы протестировать и запустить инструмент Google Suggest для упрощения поиска. Пользователь начинал вводить запрос, и ему предлагался в выпадающем списке перечень связанных запросов. Технология успешно работает по сей день, а сбор поисковых подсказок является важным этапом работы над семантическим ядром сайта.

Атрибут rel=»canonical» (01.02.2009)

Google, Microsoft и Yahoo начали поддержку атрибута rel=»canonical», который решает проблему дублирующихся страниц с разными адресами, но одинаковым содержимым. Сегодня с этим атрибутом знаком каждый SEO-специалист.

Кофеин (01.06.2010)

Это не очередное обновление алгоритма, а принципиально новая система индексации. Раньше система индексации была похожа на слоеный пирог, когда индексация нижних слоев была невозможна без индексации верхних. «Кофеин» изменил подход — теперь обход страницы роботом и индексация не разорваны во времени. В результате Google увеличил «свежесть» индекса на 50 %.

История развития поисковых алгоритмов Google

Принцип работы системы индексации «Кофеин» (источник: googleblog.blogspot.com)

Панда (Фермер) (23.02.2011)

Алгоритм «Панда» появился в ответ на массовые жалобы со стороны пользователей на сайты в ТОПе с низкопробным «информационным» контентом, бесполезным по своей сути и зачастую неуникальным. «Панда» отсеивает из ТОПа подобные сайты. Отныне «штампование» статей сомнительного качества и копирование текстов с других сайтов не приводит к росту позиций. Алгоритм «Панда» обновлялся почти каждый месяц вплоть до 2013 года, отсеивая новые порции сайтов. После этого было только несколько обновлений. Последнее — 17.07.2015 года («Панда 4.2», 28-е по счету).

Реклама в верхней части сайта («Top Heavy») (19.01.2012)

Алгоритм понижает в выдаче сайты с избытком рекламы в верхней части страницы. Кроме того, реклама не должна перекрывать текст и другой контент, а также доминировать на странице. Таким образом, Google начал борьбу за повышение юзабилити сайтов.

Пингвин (24.04.2012)

Один из важнейших алгоритмов, из-за которого пострадал рынок массовой закупки ссылок для продвижения в Google. «Пингвин» создан для борьбы с манипуляцией выдачей с помощью спамных техник (ссылки с неестественными анкорами, «ссылочный взрыв», переспам текстов ключевыми запросами и т. п.). В анонсе алгоритма указано:

«Мы хотим, чтобы люди занимались «белой» поисковой оптимизацией (или вовсе ею не занимались) и могли сосредоточиться на создании привлекательных веб-сайтов».

Посыл вполне ясный: SEO — это меры, направленные на улучшение сайта, но не на поиск уязвимостей Google. Если позиции сайта просели после очередного обновления «Пингвина», проанализируйте внешний ссылочный профиль. Разбавьте анкоры, добавьте nofollow-ссылки и естественные ссылки с авторитетных доноров, снимите ссылки с нетематических сайтов и т. п. Кроме того, проведите семантический анализ страниц сайта, при необходимости сократите количество ключевых фраз и измените их вхождение.

«Пингвин» обновляется примерно раз в год. Последний раз — 27.09 и 06.10.2016 года (Penguin 4.0, Phase 1 и 2). В этот раз алгоритм не понижает сайты в выдаче, а просто не учитывает вес, передаваемый «плохими» ссылками. Иными словами, они становятся бесполезными, и сайт естественным путем теряет позиции. Кроме того, больше не будет апдейтов «Пингвина» — он становится частью основного поискового алгоритма и работает в непрерывном режиме.

Пират (10.08.2012)

Для борьбы с пиратством Google запустил алгоритм «DMCA Penalty», или «Pirate». Но все же поступало много жалоб на его неэффективную работу. Поэтому 21.10.2014 года вышло обновление — «Pirate 2.0». Проседание позиций было существенным — некоторые сайты теряли до 98% видимости. «Pirate 2.0» выбирает сайты для пессимизации путем анализа семантики на предмет наличия «пиратских» запросов (например, «скачать музыку бесплатно», «фильмы торренты скачать» и т. п.), а также учитывает жалобы от правообладателей в DMCA.

Колибри (20.08.2013)

В Google выявили, что запросы становятся все более «разговорными». Например, когда пользователь вводит запрос «какова высота Эвереста», он хочет получить конкретный ответ, а не найти страницу, на которой есть такой же вопрос. Для того чтобы Google понимал не только контекст вводимого запроса, но и пользовательский интент (намерение), внедрили алгоритм «Колибри». Это масштабное обновление, которое затронуло 90 % всех результатов поиска.

HTTPS/SSL (06.08.2014)

С этого момента сайты с SSL-сертификатами получают незначительное преимущество в выдаче. Интернет-магазины и прочие сайты, которые имеют дело с личными данными пользователей и онлайн-платежами, начали массовую миграцию на HTTPS.

«Mobile-friendly» («Mobilegeddon») (22.04.2015)

В мобильной выдаче при прочих равных условиях приоритет отдается результатам, оптимизированным для просмотра на мобильных устройствах. Для проверки мобилопригодности пройдите Mobile-Friendly Test. Если с сайтом есть проблемы, появится соответствующее сообщение с перечнем ошибок.

RankBrain (26.10.2015)

RankBrain — это часть основного поискового алгоритма Google, работающая на принципах машинного обучения. Новый алгоритм создан для эффективного поиска релевантных страниц по поисковым запросам. Для SEO это означает бесповоротный уход от спамных техник в сторону создания качественных площадок и контента, которые интересны целевой аудитории.

Санкции за межстраничные всплывающие объявления («Intrusive Interstitial Penalty») (10.01.2017)

Google начал понижать позиции сайтов, которые показывают назойливые объявления, перекрывающие основной контент. Алгоритм касается:

а) только мобильной выдачи и не затрагивает десктопную;

б) сайтов, которые показывают объявления сразу после перехода пользователя из поисковой системы (то есть за объявления при переходе между страницами сайтам санкций не будет).

История развития поисковых алгоритмов Google

Примеры назойливых объявлений

Увеличение длины сниппета (30.11.2017)

После почти двухлетнего тестирования длинных сниппетов Google увеличил длину описания почти в 2 раза — примерно до 300 символов. Поэтому если вам нужны длинные сниппеты, обновите содержание метатегов Description на всех страницах сайта.

Заключение

Историю алгоритмов Google полезно знать не просто ради общего развития. Она дает понимание того, куда движется поисковая оптимизация. Современное SEO давно вышло за пределы чисто ссылочной или текстовой оптимизации — важна работа над комплексом внутренних и внешних факторов. Именно поэтому SeoPult развивается в сторону комплексного маркетинга, автоматизируя работу с разными инструментами продвижения. Оптимизация сайта, контекстная реклама, реклама в соцсетях, управление репутацией, повышение конверсии на сайте доступны для всех пользователей SeoPult.




Плюсануть
Поделиться
Отправить
Класснуть
Линкануть

Давайте это обсудим

  • Анатолий Улитовский

    Очень интересный экскурс — самый подробный из всех, которые ранее встречались. Интересно было наблюдать за эволюцией SEO-продвижения: от огромных неупорядоченных списков ключевых запросов на страницах до глубокой аналитики и высококачественного контента “для людей”. Может, кто-то ностальгирует по временам, когда массовая закупка ссылок за месяц приводила в ТОП-5. Но для меня интереснее работать в современных условиях. Сейчас — больше места для творчества, профессионализма и честной конкурентной борьбы.
    Именно сейчас «золотое время» для оптимизации и продвижения сайтов под Google. Не нужно хитрить и изворачиваться: достаточно изучать спрос, делать то, что нужно аудитории, и ориентироваться на качество, а не на то, сколько ссылок нужно закупить или сколько раз упомянуть запрос на странице. Пора это понять и принять: выдача становится умнее, и эпоха серого продвижения уходит безвозвратно.

Расписание вебинаров и
мастер-классов
25 апреля 2018 Среда 12:00
Максим Уваров,Илья Чухляев,Михаил Могилевский,Артур Хачуян,Алексей Данилин,Евгений Никитин
Онлайн-конференция по веб-аналитике
10 мая 2018 Четверг 12:00
Дмитрий Шучалин
Кластеризация семантического ядра
17 мая 2018 Четверг 12:00
Евгений Костин
Что такое линкбилдинг?