Все об алгоритмах "яндекса". Мнения разных экспертов

23 марта «Яндекс» анонсировал новый алгоритм «Баден-Баден», который призван бороться с переоптимизированными текстами. Аналитики SeoPult проанализировали изменения в выдаче и делятся с вами полученными данными.

Уважаемые пользователи!

23 марта поисковой системой «Яндекс» был анонсирован запуск нового алгоритма «Баден-Баден». Разработчики поисковой системы заявили о существенном улучшении алгоритма ранжирования, результатом работы которого должно стать ухудшение позиций переоптимизированных страниц в результатах поисковой выдачи.

Действительно, последние недели мы наблюдали значительные колебания позиций сайтов практически во всех тематиках, что обычно является предвестником изменений алгоритмов. Наши аналитики проанализировали изменения в выдаче и наложили данные на заявление «Яндекса». Пока не приходится говорить о том, что достигнуты заявленные представителями «Яндекса» цели. Более того, мы заметили большое количество ситуаций, где выдача существенно ухудшилась как раз с точки зрения текстового фактора, что говорит о неминуемой дальнейшей настройке алгоритма. Давайте разберемся подробнее.

Рис. 1. Степень изменения позиций в «Яндексе» в феврале и марте 2017

Занижение позиций переоптимизированных с точки зрения поисковой системы страниц должно было бы избавить верхние строчки выдачи от:

  • страниц с большими «простынями» текстов, которые располагаются под товарами и явно не предназначены для чтения посетителями;
  • страниц, содержащих прямые вхождения запросов, форма которых нарушает нормы русского языка («недорого Москва», «товар купить доставка срочно» и пр.);
  • прочих текстов, предназначенных исключительно для роботов поисковых систем и оказывающих влияние на поисковую систему.

Беглый анализ поисковой выдачи позволяет увидеть, что эти цели, мягко говоря, не были достигнуты. Рассмотрим результаты выдачи по высококонкурентному запросу «кондиционер» в Москве.

Среди первых позиций найдены следующие страницы (картинки кликабельны - вы можете перейти на сайт).

На странице 42 вхождения слова «кондиционер» , из них 28 в большом тексте-портянке в нижней части страницы.

На странице 159 вхождений слова , из которых 15 в тексте в нижней части страницы.

Как видно, либо новый алгоритм «Яндекса» не считает подобные страницы переоптимизированными, что маловероятно, либо алгоритм пока не дошел до стадии качественной обработки подобных ситуаций.

В нижней части страницы находится большой текст, содержащий как 44 вхождения слова «очки», так и классический пример использования сложной SEO-фразы в текстe: «очки для зрения купить интернет-магазин предлагает недорого».

Подобные примеры не единичны и находятся практически в каждой тематике. SeoPult не рекомендует писать подобные тексты и размещать их на своих сайтах. С большой долей вероятности в будущем позиции подобных страниц будут понижены в поиске как в «Яндексе», так и в Google. Мы рекомендуем писать тексты для продвижения вашего бизнеса, ориентируясь на посетителей вашего сайта. Главная задача любого текста - продать посетителям товары или услуги, которые вы продвигаете. При отсутствии времени на копирайтинг вы всегда сможете у нас по цене 200 рублей за 1000 символов.

Выводы

  • В текущей реализации алгоритм «Баден-Баден» пока далек от заявленных целей, в ближайшее время будет наблюдаться его настройка, и, соответственно, будут дальнейшие скачки позиций сайтов во многих тематиках.
  • Если позиции сайта в ближайшее время значительно поменяются, рекомендуем не спешить вносить изменения в контент, если до этого позиции вас устраивали. Велика вероятность корректировок и возврата предыдущих значений. Вы всегда можете написать в техническую поддержку SeoPult и попросить произвести анализ ваших текущих текстов.
  • При написании контента уделяйте максимальное внимание его полезности для посетителей сайта, а не SEO-параметрам. Подобная тактика будет актуальна при любых изменениях алгоритмов поисковиков.

Сегодня был запущен новый алгоритм поиска в Яндексе, который с помощью нейронной сети сопоставляет смысл запросов и вебстраниц - это позволяет Яндексу точнее отвечать на сложные пользовательские запросы и выдавать более релевантные результаты. Как мы писали ранее - алгоритм базируется на категорийном бустинге: то есть способен учитывать так называемые категориальные признаки — признаки, которые принимают одно из конечного количества значений.

Запуск нового алгоритма "Королев"

Презентация нового алгоритма поиска проводилась в Московском планетарии, что как бы намекает на "изменения космического масштаба". Ведущие презентации прямо на сцене нажали на "красную кнопку", ознаменовав тем самым запуск нового алгоритма, название которого - "Королев".

Искусственный интеллект все ближе к человеку

Первый шаг к поиску по смыслу Яндекс сделал в прошлом году, когда был представлен поисковый алгоритм «Палех». В его основе лежит нейронная сеть. Нейросети показывают отличные результаты в задачах, с которыми люди традиционно справлялись лучше машин: скажем, распознавание речи или объектов на изображениях.

Запуская «Палех», Яндекс научил нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел — семантические векторы. Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.

Как работает новый алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовков. Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда вы задаете запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

Данная схема позволяет начать подбор документов, соответствующих запросу по смыслу, еще на ранних стадиях ранжирования. В алгоритме «Палех» смысловой анализ - один из завершающих этапов, через который проходят всего 150 документов. В «Королёве» смысловой анализ производится для 200 тысяч документов - в тысячу с лишним раз больше! При этом - «Королёв» не только сравнивает текст веб-страницы с запросом, но и обращает внимание на другие запросы, по которым пользователи переходят на страницу из поиска, что позволяет установить дополнительные смысловые связи между запросами и страницей.

Кто обучает нейронную сеть

Нейронная сеть алгоритма «Королёв» обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают - на какие страницы пользователи переходят по различным запросам и сколько времени проводят на них. Если пользователь открыл веб-страницу и провел на ней много времени - можно предположить, что он получил ответ на свой вопрос - то есть страница хорошо отвечает на его запрос.

Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Еще не так давно оценкой поиска занимались только сотрудники Яндекса — асессоры . Но с развитием технологий и проектов - количества асессоров стало катастрофически нехватать. Поэтому Яндекс решил привлечь к этому всех желающих и запустил сервис Яндекс.Толока.

Сейчас в сервисе зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.

В основе современного поиска лежат очень сложные алгоритмы, которые придумывают разработчики, а учат их — миллионы пользователей Яндекса. Любой запрос — это анонимный сигнал, который помогает машине всё лучше понимать людей.

Как Яндекс отправил котов в космос - смотрите в записи презентации из Московского планетария.

Запись презентации Янедкса

Все мы не понаслышке знаем о существующих алгоритмах поисковых систем Яндекс и Google. Именно для соблюдения их «постоянно обновляемых» правил все оптимизаторы ломают свой мозг все новыми и новыми способами попасть в ТОП выдачи поиска. Из последних новшеств, которые ощутили на себе владельцы сайтов со стороны ПС — это требования к мобильности интернет-ресурсов и понижение в поиске тех площадок, которые не умеют покупать ссылки . Какие алгоритмы до этого времени, внедренные в поиск, существенно повлияли на ранжирование сайтов? На самом деле, не все оптимизаторы знают, какие технологии, когда и зачем были созданы, чтобы максимально справедливо дать позицию каждому сайту в поиске и очистить выдачу от «хлама». Историю создания и развития поисковых алгоритмов мы и рассмотрим в этой статье.

Яндекс: виды алгоритмов с зачатия до сегодня

Алгоритмы не создавались все в один день, и каждый из них проходил много этапов доработки и преобразования. Основная масса названий алгоритмов Яндекса состоит из названий городов. Каждый из них имеет свои принципы работы, точки взаимодействия и уникальные функциональные особенности, гармонично дополняющие друг друга. Какие алгоритмы есть у Яндекса и как они влияют на сайты, рассмотрим далее.

Помимо информации о поисковых алгоритмах полезной будет и статья про . Советы по созданию качественного SEO-контента подходящего для поисковиков Гугл и Яндекс я предлагаю вам прочесть .

Магадан

Алгоритм «Магадан» распознает аббревиатуры и отожествляет существительные с глаголами. Был впервые запущен в тестовом режиме в апреле 2008, а вторая постоянная версия вышла в свет в мае того же года.

Особенности

«Магадан» выдает пользователю, который написал аббревиатуру, сайты и с расшифровками. Например, если в поисковой строке вбили запрос МВД, то кроме площадок с таким ключевым словом в списке будут присутствовать и те, у кого аббревиатуры нет, но есть расшифровка «Министерство внутренних дел». Распознавание транслитерации дало пользователям возможность не думать на каком языке правильно писать названия, к примеру, Mercedes или Мерседес. Ко всему этому Яндекс включил в список индексирования почти миллиард зарубежных сайтов. Распознавание частей речи и признание их равноценными поисковыми запросами выпустили в один поиск сайты с разными ключевыми фразами. То есть теперь по ключевику «оптимизация сайтов» в выдаче выводятся и площадки с вхождением словосочетания «оптимизировать сайт».

Результаты

После запуска алгоритма «Магадан» стало труднее, в основном, малоавторитетным сайтам. В ранжировании понизились позиции по релевантным запросам малопосещаемые и молодые ресурсы, а на первые места выдвинулись авторитетные, даже с некачественным контентом, учитывая при этом морфологию и разбавленность ключевиков. Из-за учета транслитерации в ТОП Рунета вышли и зарубежные ресурсы. То есть оптимизированный текст по теме мог оказать на второй странице, только потому, что, якобы, по этой же тематике есть более посещаемый сайт или аналогичный зарубежный. Из-за этого резко возросла конкуренция по низкочастотным ключевикам и иностранным фразам. Подорожала и реклама — ставки возросли, потому что ранее сайты конкурировали только по одному конкретному запросу, а теперь и с «коллегами» с морфологическими фразами, транслитерацией, переходящими в другую часть речи словами.

Находка

Алгоритм «Находка » — расширенный тезаурус и внимательное отношение к стоп-словам. Выпущен «на ринг» сразу после «Магадана». Ранжирует основную выдачу с сентября 2008.

Особенности

Это инновационный подход к машинному обучению — ранжирование стало четче и корректней. Расширенный словарь связей и внимательность к стоп-словам в алгоритме «Находка» очень сильно повлияли на поисковую выдачу. К примеру, запрос «СЕО оптимизация» теперь ассоциировался и с ключем «сеооптимизация», а коммерческие сайты разбавлялись информационными порталами, в том числе в списке появились развернутые сниппеты с ответами, по особенному отображалась Википедия.

Результаты

Коммерческие сайты сделали больший акцент на продажные запросы, так как конкуренция увеличилась по информационным не конкретным фразам в несколько раз. В свою очередь, информационные площадки смогли расширить свою монетизацию с помощью страниц рекомендаций, участвуя в партнерских программах. Топовые инфосайты, продвинутые по коммерческим запросам стали продавать ссылки на заказ. Конкуренция ужесточилась.

Арзамас

Алгоритм «Арзамас» — внедрена лексическая статистика поисковых запросов и создана географическая привязка сайта. Первая версия «Арзамаса» (апрель 2009) без геозависимости выпущена сразу в основную выдачу, а «Арзамас 2» с классификатором по привязке сайта к региону анонсирован в августе 2009.

Особенности

Снятие привязки к омонимам облегчила пользователю жизнь, ведь теперь по фразе «американский пирог» выдавались только сайты на тему фильмов, без всяких там рецептов десертов, как могло быть раньше. Привязка к региону совершила прорыв, сместив ключевые фразы с добавкой города на несколько пунктов вниз. Теперь пользователь мог просто ввести слово «рестораны» и увидеть в лидерах только сайты из города его местонахождения. Если помните, раньше нужно было бы ввести более конкретную фразу, например «Рестораны в Санкт-Петербурге», иначе Яндекс мог выдать ответ «уточните запрос — найдено слишком много вариантов». Геонезависимые ключевые слова выдавали только релевантные запросу сайты из любых регионов, без привязки.

Результаты

Ура! Наконец-то сайты из небольших регионов перестали конкурировать с крупными мегаполисами. Выйти в ТОП по своему региону теперь намного проще. Именно в этот период времени была предложена услуга «региональное продвижение». Алгоритм «Армазас» дал возможность мелким компаниям быстрее развиваться в своей местности, но подвох все равно остался. Яндекс не мог определить геолокацию у всех площадок. И как вы сами понимаете — без привязки ресурсы оставались, мягко говоря, в одном не очень приятном месте. Рассмотрение заявки на геозависимость могло длиться несколько месяцев, а молодые сайты без трафика и ссылочной массы (было ограничение по ТИЦ), вообще, не могли подать запрос на присвоение им региональности. Палка о двух концах.

Снежинск

Алгоритм «Снежинск» — усиление геозависимости и уточнение релевантности запросов к выдаче с помощью технологии машинного обучения «Матрикснет». Анонс состоялся в ноябре 2009, а улучшенная модель под именем «Конаково» заработала в декабре того же года.

Особенности

Поисковая выдача стала более точной к вводимым вопросам. Особую роль теперь играет привязка по геолокации — коммерческие сайты не ассоциировались у алгоритма «Снежинск» с регионами, поэтому выпадали из выдачи. Ключевые слова, не привязанные к местности, отожествляются с информационными ресурсами. Сложная архитектура подсчета релевантности сильно усложнила жизнь оптимизаторов, которые заметили, что при малейшем изменении одного из показателей, позиция сайта в выдаче моментально изменялась.

Результаты

На тот момент было отмечено, что закупка внешних ссылок на молодые сайты влияла на показатели новых ресурсов слишком вяло, если сравнить аналогичную закупку на площадку, давненько находящуюся на интернет-рынке. Новые методы определения релевантности контента к поисковым запросам выбрасывали из выдачи сайты, тексты которых были перенасыщены ключевыми фразами. Началась новая эра качественного текста, где во всем должна была быть мера, без нее площадка могла просто попасть под санкции за спам. Коммерческие ресурсы забили панику, потому что выйти по геонезависимым ключевым словам в ТОП (а они были самые высокочастотные) было практически нереально. В связи с этим на блоге Яндекса была опубликована запись, что в идеале хотелось бы видеть на первых страницах коммерческие организации, которые не пишут красиво, а выполняют свою работу хорошо, но для этого придется научить алгоритмы оценивать качество предлагаемых услуг. Так как на данный момент это оказалось непосильной задачей, репутация коммерческих интернет-ресурсов играла ключевую роль в выдаче, как в онлайне так и в оффлайне.

Обнинск

Алгоритм «Обнинск» — улучшение ранжирования и расширения базы географической принадлежности интернет-площадок и снижение влияния на показатели сайта искусственных СЕО-ссылок. Запущен в сентябре 2010.

Особенности

Падает популярность закупки ссылочных масс, появляется понятие «ссылочного взрыва», которого теперь боялись все. Конкуренты могли навредить друг другу возможностью введения алгоритма в заблуждение, закупив на «коллегу» огромное количество ссылок с «плохих источников». После этого конкурент выпадал из поисковой выдачи и долго не мог туда попасть. Геозависимые слова чаще добавляются на разные страницы коммерческих сайтов, чтобы обратить внимание робота на работу с этим регионом.

Результаты

Коммерческие сайты теперь тщательней относятся к своей репутации, что не может не радовать, но многие все равно прибегали к грязным методам (искусственно завышали посещаемость и покупали отзывы). После выпуска алгоритма «Обнинск» более популярной стала закупка вечных ссылок и статей, обычная покупка ссылок уже так не влияла на ранжирование, как раньше, а в случае попадания источника бэклинка под санкции могла потянуть за собой цепную реакцию. Качественные СЕО-тексты — обязательный атрибут любого ресурса. Молодой сайт с уникальным и правильно оптимизированным контентом мог попасть в ТОП.

Краснодар

Алгоритм «Краснодар» — внедрение технологии «Спектр» для разбавления поисковой выдачи, расширения сниппетов и индексация социальных сетей. Запуск состоялся в декабре 2010 года.

Особенности

Технология «Спектр» была создана для классификации запросов по категориям и использовалась в случаях ввода не конкретизированных ключевых фраз. «Краснодар» разбавлял поисковую выдачу, предлагая такому пользователю больше разнообразных вариантов. Например, при фразе «фото Москвы» в поиске можно было увидеть не только общие пейзажи, но и фотографии по категориям типа «достопримечательности», «карты», «рестораны». Был сделан акцент на уникальные названия чего-либо (сайтов, моделей, товаров) — конкретика стала выделяться. Расширенные сниппеты дали возможность сразу в поисковой выдаче показывать пользователям контакты и другие данные организаций.

Результаты

Сильно изменилось ранжирование коммерческих сайтов, особое внимание уделяется деталям (карточкам товаров, разделением короткого описания от общего). Социальная сеть в ВК начала индексироваться и профили участников равноценно теперь видны прямо в поисковой выдаче. Сообщения в форумах могли занимать первые позиции, если имели более расширенный ответ на вопрос пользователя, чем другие сайты.

Рейкьявик

Алгоритм «Рейкьявик» — создана персонализация поисковой выдачи и добавлена технологи «Колдунщики» для отображения предварительных итогов запроса. Улучшена формула подсказок при вводе. Алгоритм запущен в августе 2011 года.

Особенности

Девизом персонализированного поискового результата — «Каждому пользователю — своя выдача». Система запоминания интересов ищущих работала через куки, поэтому если запросы пользователя чаще были связаны, например, с зарубежными ресурсами, в следующий раз в лидерах поисковой выдачи отображались именно они. Подсказки в поисковой строке обновляются каждый час, тем самым расширяя возможности конкретизированного поиска. Конкуренция по высокочастотным запросам возрастает с неимоверной силой .

Результаты

Авторитетные новостные сайты чаще попадают в ТОП из-за расширенного семантического ядра (наличие огромного количества разных низкочастотных ключевых запросов). Увеличение количества страниц под конкретные поисковые запросы на информационных сайтах стала играть одну из главных ролей после выпуска алгоритма «Рейкьвик». Каждая площадка пыталась попасть в закладки пользователя, чтобы стать частью системы персонализации, для этого использовались методы подписки на RSS ленту, всплывающие баннеры-подсказки для занесения сайта в закладки. Интернет-ресурсы начали больше уделять внимания индивидуальному подходу, а не давить на массы.

Калининград

Алгоритм «Калининград» — глобальная персонализация поиска и поисковой строки, упор на поведенческие факторы. Запуск «Калининграда» в декабре 2012 существенно повысил стоимость seo услуг.

Особенности

Интересы пользователя перевернули с ног на голову всю поисковую выдачу — владельцы сайтов, ранее не заботившиеся о комфорте пребывания посетителя на сайте, стали терять трафик с молниеносной скоростью. Теперь Яндекс делил интересы на краткосрочные и долговременные, обновляя свои шпионские базы раз в сутки. Это означало, что сегодня и завтра по одному и тому же запросу одному и тому же пользователю могла показываться совершенно иная выдача. Интересы теперь играют особую роль и пользователю, который ранее интересовался поездками, вбивая фразу такси — показываются услуги такси, а тому, кто постоянно смотрит фильмы — получит в результатах поиска все о кинокомедии «Такси». В поисковой строке каждого «страждущего найти информацию» теперь на первых позициях отображаются подсказки по предыдущим интересам.

Результаты

Оптимизаторы стали охватывать все больше способов задержать пользователя: улучшалось юзабилити, дизайн, контент создается более разнообразный и качественный. При выходе могли всплывать окна типа «вы уверены, что хотите покинуть страницу» и в пользователя впивалась грустная рожица какого-то существа. Хорошо продуманная перелинковка страниц и всегда доступное меню улучшали показатели активности пользователей, чем повышали позиции сайтов в поисковой выдаче. Малопонятные широкому кругу интернет-пользователей сайты сначала просто понижались в позициях, а после и вообще болтались в конце списка предложенных результатов.

Дублин

Алгоритм «Дублин» — улучшена персонализация с помощью определения текущих целей. Это модернизированная версия «Калининграда» вышла в мир в мае 2013.

Особенности

В технологию внедрена функция слежения за изменчивыми интересами пользователей. То есть при наличии двух совершенно разных поисковых взглядов за определенный период времени, алгоритм предпочтет последний и включит его в поисковую выдачу.

Результаты

Для сайтов практически ничего не изменилось. Продолжается борьба не просто за трафик, а за улучшение поведенческих показателей. Старые макеты сайтов начинают забрасываться, потому что проще делать новый, чем пытаться исправить что-то на старом. Предложение услуг шаблонов сайтов увеличивается, начинается конкуренция за удобные и красивые макеты вебресурсов.

Острова

Алгоритм «Острова» — внедрена технология показа интерактивных блоков в поисковой выдаче, позволяя взаимодействовать пользователю с сайтом прямо на странице Яндекс поиска. Алгоритм был запущен в июле 2013 года, с предложением к вебмастерам активно поддержать бета-версию и использовать шаблоны создания интерактивных «островов». Сейчас технология тестируется в закрытом режиме.

Особенности

Теперь пользователю при поиске информации, которую можно узнать сразу из поиска предлагались «острова» — формы и другие элементы, с которыми можно работать, не посещая сайт. Например, вы ищете конкретный фильм или ресторан. По фильму в поиске и справа от него отобразятся блоки с обложкой фильма, его названием, составом актеров, часами прохождения сеансов в кинотеатрах в вашем городе и формой покупки билетов. По ресторану будет показано его фото, адрес, телефоны, форма бронирования столика.

Результаты

Ничего существенного в ранжировании сайтов сначала не изменилось. Единственное, что стало заметным — это появление вебресурсов с интерактивными блоками на первом месте и справа от поисковой выдачи. Если бы количество площадок, принимавших участие в бета-тестировании было значительным, они могли бы вытеснить обычные сайты за счет своей привлекательности и броскости для пользователей. Оптимизаторы задумались об улучшении видимости своего контента в поисковых результатах, добавляя больше фото, видео, рейтинги и отзывы. Лучше живется интернет-магазинам — корректно настроенные карточки товара могут быть отличным интерактивным «островком».

Минусинск

Алгоритм «Минусинск» — при определении SEO-ссылок как таковых, которые были куплены для искажения результатов ранжирования поиска, на сайт ложился фильтр, который существенно портил позиции сайта. Анонсирован «Минусинск» в апреле 2015, полностью вступил в свои права в мае этого же года. Именно с этим алгоритмом и связана знаменитая .

Особенности

Перед выходом «Минусинска» Яндекс в 2014 для тестирования отключил влияние SEO-ссылок по множеству коммерческих ключей в Москве и проанализировал результаты. Итог оказался предсказуемым — покупная ссылочная масса все еще используется, а для поисковой системы — это спам. Выпуск «Минусинска» знаменовался днем, когда владельцы сайтов должны были почистить свои ссылочные профили, а бюджет, который тратится на ссылочное продвижение, использовать для улучшения качества своего интернет-ресурса.

Результаты

«Авторитетные» сайты, которые добились ТОПа благодаря массовой закупке ссылок, вылетели из первых страниц, а некоторые получили санкции за нарушения правил. Качественные и молодые площадки, не наглеющие по бэклинкам, внезапно оказались в ТОП 10. «Попавшие под раздачу» вебсайты, нежелающие долго ждать, создавали новые площадки, перенося контент и ставя заглушку на старые, либо хитро шаманили с редиректом. Примерно через 3 месяца нашли дыру в алгоритме, позволяющую почти моментально снимать данный фильтр.

Массово начинает дорабатываться юзабилити и улучшаться контент. Ссылки закупаются с еще большей осторожностью, а контроль за бэклинками становится одной из функциональных обязанностей оптимизатора.

По данным на сегодня — при неумелой закупке ссылок — даже за 100 ссылок можно получить фильтр. Но если ссылочную массу правильно разбавлять, то смело можно покупать тысячи ссылок как и в старые добрые. То-есть, по сути — сильно выросли ссылочные бюджеты на это самое разбавление, в роли которого выступил крауд и упоминания.

Владивосток

Алгоритм «Владивосток» — внедрение в поиск технологии проверки сайта на полную совместимость с мобильными устройствами. Полный старт проекта произошел в феврале 2016 года.

Особенности

Яндекс сделал очередной шаг навстречу к мобильным пользователям. Специально для них был разработан алгоритм «Владивосток». Теперь для лучшего ранжирования в мобильном поиске сайт обязан соответствовать требованиям мобилопригодности. Чтобы опередить своих конкурентов в поисковой выдаче интернет-ресурс должен корректно отображаться на любом web-устройстве, включая планшеты и смартфоны. «Владивосток» проверяет отсутствие java и flash плагинов, адаптивность контента к расширению экрана (вместимость текста по ширине дисплея), удобство чтения текста и возможность комфортно нажимать на ссылки и кнопки.

Результаты

К запуску алгоритма «Владивосток» мобилопригодными оказались всего 18% сайтов — остальным пришлось быстренько избавляться от «тяжести» на страницах, которая не отображается или мешает корректно отображаться контенту на смартфонах и планшетах. Основным фактором, который влияет на понижение вебсайта в мобильной выдаче — это поведение мобильного пользователя. Во всяком случае, пока. Ведь идеально мобилопригодных сайтов не так уж много, поэтому свободные места в поиске занимают те, кто способен предоставить пользователю максимально комфортные условия, пусть даже не полностью. Из мобильного поиска неадаптированные к мобильным устройствам сайты не выбрасываются, а просто ранжируются ниже тех, кто достиг в улучшении качества предоставления услуг для смартпользователей лучших результатов. На данный момент самый популярный вид заказов макетов сайтов — адаптивные, а не мобильные, как можно было подумать. Прошедшие все требования алгоритма сайты получают максимальное количество мобильного трафика в своей нише.

Google: история создания и развития алгоритмов

Алгоритмы и фильтры Гугла и до сей поры не совсем поняты русскоязычным оптимизаторам. Для компании Google всегда важным моментом являлось скрытие подробностей по методам ранжирования, объясняя это тем, что «порядочным» сайтам боятся нечего, а «непорядочным» лучше не знать, что их ожидает. Поэтому про алгоритмы Гугла до сих слагают легенды и множество информации было получено только после того, как задавались вопросы поддержке, когда сайт проседал в поисковой выдаче. Мелких доработок у Google было столько, что и не перечесть, а на вопросы, что именно изменилось, зарубежная ПС просто отмалчивалась. Рассмотрим основные алгоритмы, которые влияли на позиции сайтов существенно.

Кофеин

Алгоритм «Кофеин» — на первой странице поиска может находиться сразу несколько страниц одного и того же сайта по бренду, появляется возможность пред просмотра. Запуск произошел в июне 2010 года.

Особенности

Выделение сайтов компаний, в случае поиска по бренду. Возле строки с выдачей появляется «лупа» для предосмотра. Ключевые слова по бренду дают положительную тенденцию роста на позициях интернет-ресурса в целом. Обновился индекс Page Rank, при этом PR повысился на известных и посещаемых площадках.

Результаты

Оптимизаторы стали больше уделять внимания брендированию вебсайтов, включая цветовые схемы, логотипы, названия. Ключевые слова на бренд по-особенному выделяли страницы сайта в поиске, а при переходе с такой фразы посетителя на главный page, его позиции в выдаче росли (если до этого ресурс был не лидером). СЕО-оптимизаторы стали закупать больше ссылок для повышения «цитированности». молодым и малоузнаваемым брендам практически невозможно было пробиться в ТОП выдачи.

Panda (Панда)

Алгоритм «Панда» — технология проверки сайта на качество и полезность контента, включая множество СЕО факторов. Сайты с «черным» SEO исключаются из поиска. Анонсирована «Panda» в январе 2012 года.

Особенности

«Панда» вышла в поиск и почистила его от мусора. Именно так можно сказать после того, как множество не релевантных ключевым запросам web-сайты исчезли из выдачи Google. Алгоритм обращает внимание на: переспам ключевыми словами и неравномерное их использование, уникальность контента, постоянство публикаций и обновления, активность пользователя и взаимодействие его с сайтом. Пролистывание посетителя страницы до конца со скоростью чтения считалось положительным фактором.

Результаты

После включения «Панды» огромное количество сайтов поддались санкциям с боку поисковой системы Google и поначалу все думали, что это связано с участием в ссылочных пирамидах и закупкой ссылочных масс. В итоге, СЕОоптимизаторы провели процесс тестирования алгоритма и проанализировали влияние. Вывод экспериментов заключался в том, что «Панда» все-таки проверяет качество сайта на ценность для посетителей. Интернет-ресурсы перестали копипастить и активно принялись за копирайтинг. Поведенческие факторы улучшались за счет преобразования структуры сайта в более удобные варианты, а перелинковка внутри статей с помощью особых выделений стала важной частью оптимизации. Популярность SEO как услуги стремительно возросла. Замечено, что сайты, не соответствующие правилам «Панды», исчезали из поиска очень быстро.

Page Layout (Пейдж Лайот)

Алгоритм «Пейдж Лайот» — технология по борьбе с поисковым спамом, подсчитывающая на страницах web-сайтов соотношение полезного контента к спамному. Запущен в январе 2012 и обновлялся до 2014 включительно.

Особенности

«Page Layout» был создан после многочисленных жалоб пользователей на недобросовестных владельцев сайтов, у которых на страницах подходящего контента было совсем мало или искомые данные оказывались труднодоступными, а иногда вообще отсутствовали. Алгоритм рассчитывал в процентном соотношении нахождение на странице по входящему запросу релевантного контента и спама. На несоответствующие требованиям площадки накладывались санкции и сайт выбрасывался из поиска. К несоблюдению правил размещения документов также относилось забитая рекламой шапка сайта, когда для просмотра текста требовалось перейти на второй экран.

Результаты

Слишком заспамленные рекламой сайты слетели со своих позиций, даже при том, что контент на страницах был оптимизирован под ключевые слова в меру. Нерелевантные запросам страницы были понижены в поисковой выдаче. Но площадок нагло не соблюдая правила и не беспокоясь о комфортности посетителей оказалось не так уже и много. За три обновления алгоритма приблизительное количество ресурсов, попавших под фильтр, оказалось не более 3%.

(Венеция)

Алгоритм «Венеция» — геопривязка сайта к определенному региону, учитывая при этом наличие названий городов на страницах сайта. Запущен в феврале 2012 года.

Особенности

«Венеция» требовала от вебмастеров наличие на их сайтах страницы «О нас», с указанием адреса местоположения, не обращая при этом внимания, что фактического расположения у компании могло и не быть. В контексте алгоритм искал названия городов, чтобы вывести отдельную страницу по указанному в нем региону. Начала использоваться разметка schema-creator.org, чтобы пояснить поисковому роботу свою географическую привязанность.

Результаты

Сайты выпали в поисковой выдаче по тем регионам, о которых они не упоминают на своих страницах, не учитывая геонезависимые запросы. Оптимизаторы активно включают геозависимые ключевые слова и пытаются создавать микроразметку. Контент на каждой странице персонализируется под каждый конкретный город или регион в целом. Активно стал использоваться локализированный линкбилдинг, чтобы повышать позиции по выбранному региону.

(Пингвин)

Алгоритм «Пингвин» — умная технология определения веса сайтов и качества обратных ссылок. Система редактирования накрученных показателей авторитетности интернет-ресурсов. Запущена в поиск в апреле 2012.

Особенности

«Пингвин» нацелен на войну с закупкой обратных ссылок, неестественным, то есть искусственным, набором авторитетности сайта. Алгоритм формирует свою базу значимых ресурсов, исходя от качества бэклинков. Побуждением на запуск «Пингвина» являлось появление ссылочных оптимизаторов, когда любая ссылка на вебресурс имела одинаковый вес и подымала такой сайт в поисковой выдаче. Кроме этого, в поиске начали ранжироваться наравне со стандартными интернет-ресурсами обычные профили пользователей социальных сетей, что еще больше популяризовало раскрутку обычных сайтов с помощью социальных сигналов. Одновременно с этими возможностями алгоритма система стала бороться с нерелевантными вставками поисковых запросов в keywords и в названия доменов.

Результаты

Пингвин «попустил» множество сайтов в поисковой выдаче за неестественный рост обратных ссылок и нерелевантность контента к запросам пользователей. Значимость каталогов и площадок по продаже ссылок быстро снижалось к минимуму, а авторитетных ресурсов (новостных сайтов, тематических и околотематических площадок) росло на глазах. Из-за введения алгоритма «Пингвин» у, практически, всех публичных сайтов был пересчитан PR. Популярность массовой закупки бэклинков резко упала. Сайты максимально начали подгонять ключевые фразы к контенту на страницах площадок. Началась «мания релевантности». Установка социальных кнопок на страницах в виде модулей имела массовый характер за счет быстрой индексации аккаунтов социальных сетей в поиске.

Pirate (Пират)

Алгоритм «Пират» — технология реагирования на жалобы пользователей и выявления фактов нарушения авторских прав. Старт системы произошел в августе 2012 года.

Особенности

«Пират» принимал жалобы авторов на нарушение их авторских прав владельцами сайтов. Кроме текстов и картинок, основной удар на себя приняли площадки с видео-контентом, которые размещали пиратские съемки фильмов из кинотеатров. Описания и рецензии к видео тоже подверглись фильттрованию — теперь не разрешалось копипастить под страхом наложения санкций. За большое количество жалоб на сайт за нарушения, такая площадка выкидывалась из поисковой выдачи.

Результаты

По результатам первого месяца работы «Пирата» от Google на практически всех сайтах, включая видехостинги и онлайн-кинотеатры, были заблокированы к просмотру миллионы видео-файлов, нарушающих права правообладателей. Вебсайты, имеющие только пиратский контент, оказались под санкцией и выпали из поиска. Массовая зачистка от «ворованного» контента продолжается до сих пор.

HummingBird (Колибри)

Алгоритм «Колибри» — внедрение технологии понимания пользователя, когда запросы не соответствуют точным вхождениям. Запущена система «определения точных желаний» в сентябре 2013 года.

Особенности

Теперь пользователь не изменял фразу, чтобы конкретней найти нужную информацию. Алгоритм «Колибри» давал возможность не искать по прямым точным вхождениям, а выдавал результаты из базы «расшифровки пожеланий». Например, пользователь вбивал в поисковую строку фразу «места для отдыха», а «Колибри» ранжировала в поиске сайты с данными о санаториях, отелях, СПА-центрах, бассейнах, клубах. То есть в алгоритме были сгруппирована стандартная база с человеческими фразами об их описании. Понимающая система изменила поисковую выдачу существенно.

Результаты

С помощью технологии «Колибри» сеооптимизаторы смогли расширить свое семантическое ядро и получить больше пользователей на сайт за счет морфологических ключей. Ранжирование площадок уточнилось, потому что теперь учитывались не только вхождения прямых ключевых фраз и релевантных тексту запросов, но и околотематические пожелания пользователей. Появилось понятие LSI-копирайтинг — написание текста, учитывающего латентное семантическое индексирование. То есть теперь статьи писались не только со вставкой ключевых слов, но и максимально включая синонимы и околотематические фразы.

(Голубь)

Алгоритм «Голубь» — система локализации пользователей и привязки поисковой выдачи к месту нахождения. Технология запущена в июле 2014 года.

Особенности

Месторасположение пользователя теперь играло ключевую роль для выдачи результатов. Органический поиск превратился в сплошную геолокацию. Привязка сайтов к Гугл-картам сыграла особую роль. Теперь при запросе пользователя, алгоритм сначала искал ближайшие по местоположению сайты или таргетированный контент, далее шел на удаление от посетителя. Органическая выдача видоизменилась существенно.

Результаты

Локальные сайты быстро возвысились в поиске и получили местный трафик. Интернет-площадки без геозависимости упали в позициях. Снова началась борьба за каждый город и количественно возросли ситуации, когда начали плодить одинаковые сайты с отрерайченным контентом и привязкой к разной местности. До получения точной информации о внедрении алгоритма «Голубь» в русскоязычном интернет-поиске, многие вебмастера думали, что попали под санкции «Пингвина».

(Дружелюбный к мобильным устройствам)

Алгоритм Mobile-Friendly — внедрение технологии проверки сайтов на адаптивность к мобильным устройствам. Система запущена в апреле 2015 года и успела «обозваться» в интернете как: «Мобильный Армагеддон» (mobilegeddon), «Мобильный Апокалипсис» (mobilepocalyse, mobocalypse, mopocalypse).

Особенности

Mobile-Friendly запустил новую эру для мобильных пользователей, рекомендуя оптимизаторам в срочном порядке обеспечить комфортное пребывание мобильных посетителей на их сайтах. Адаптивность площадок к мобильным устройствам стала одним из важнейших показателей заботы владельцев сайтов о своих посетителях. Неадаптивным веб-площадкам пришлось в кратчайшие сроки исправлять недоработки: избавляться от плагинов, не поддерживающихся на планшетах и смартфонах, корректировать размер текста под расширение разных экранов, убирать модули, мешающие пребыванию посетителей с маленьким экранчиком перемещаться по сайту. Кто-то просто верстал отдельную мобильную версию своего интернет-ресурса.

Результаты

Заранее готовые к такому повороту ресурсы получили особое выделение среди других интернет-площадок в поисковой выдаче, а трафик из разнообразных не декстопных устройств на такие вебсайты повысился более чем на 25%. Совсем неадаптивные сайты были понижены в мобильном поиске. Направленность на мобильность сыграла свою роль — на ресурсах свели к минимуму наличие тяжелых скриптов, рекламы и страницы, естественно, начали грузиться быстрее, учитывая, что большинство пользователей с планшетами/смартфонами используют мобильный интернет, который в разы медленнее, чем стандартный.

Резюме

Вот и все

Теперь вам известно, как по годам развивался поиск как для обычных пользователей, так и для «попавших по раздачу» сайтов. Каждый из вышеперечисленных алгоритмов поиска периодически модернизируется. Но это не значит, что оптимизаторам и вебмастерам стоит чего-то бояться (если конечно вы не используете черное СЕО), но держать ухо востро все же стоит, чтобы неожиданно не просесть в поиске из-за очередного нового фильтра.

Алгоритм ранжирования сайтов в Яндексе непрерывно подвергается изменениям и дополнениям: добавляют новый функционал, обновляют ограничения, фильтры… Очень долгое время учет всех алгоритмов ранжирования вели только внутри компании и, когда его резко обновляли, пользователи негодовали и, откровенно говоря, мало что понимали.

Занимало не мало времени на исследования алгоритмов ранжирования Яндекса, поиск ответов на тему фильтров и как не попасть в «черный список». Сейчас все чуть проще, но не на столько, чтобы оставить без внимания разбор принципа работы Яндекса.

Алгоритмы Яндекса имеют уже довольно долгую историю создания и становления, еще с далекого 1997 года. С того времени Яндекс изменился и появлялись все новые алгоритмы и новые фильтры. Начнем свой «разбор полетов», пожалуй, с самых «свежих» алгоритмов.

Новый алгоритм Яндекса «Баден-Баден». 2017 год

Яндекс новый алгоритм определения текстового спама под названием «Баден-Баден».
Алгоритм создан для борьбы с «накруткой» релевантности путём написания бесполезных для пользователя и «переоптимизированных» текстов (с большим количеством вхождений ключей).

Как говорится в блоге Яндекса, алгоритм, определяющий текстовый спам, существенно изменен и улучшен. Сами авторы публикации утверждают, что данный алгоритм «является частью общего алгоритма ранжирования, результатом его работы может стать ухудшение позиций переоптимизированных страниц в результатах поиска». И что же это могло бы означать?

Во-первых, если его «переработали и улучшили», то, скорее всего, этот алгоритм создан для замены уже привычных фильтров «переспам» и «переоптимизация». А если он действительно «является частью общего алгоритма ранжирования», то и диагностировать наличие «штрафов», накладываемых данным алгоритмом, ясное дело, будет труднее.

Новый алгоритм Яндекса 2016 год. «Палех»

Алгоритм будет стараться сопоставить смыслы запроса с помощью нейросетей, а не просто сопоставлять ключевики, как это делалось обычно. Это делалось для того, чтобы обеспечить наилучшую выдачу по редчайшим запросам пользователя. Новый алгоритм основан на нейронных сетях и помогает Яндексу находить соответствие между поисковым запросом и заголовками страниц, даже если у них нет общих ключевых фраз. Чтобы понять, что фактически произошло, несколько цитат из официального блога компании Яндекс:

В нашем случае мы имеем дело не с картинками, а с текстами - это тексты поисковых запросов и заголовков веб-страниц, - но обучение проходит по той же схеме: на положительных и отрицательных примерах. Каждый пример - это пара «запрос - заголовок». Подобрать примеры можно с помощью накопленной поиском статистики. Обучаясь на поведении пользователей, нейросеть начинает «понимать» смысловое соответствие между запросом и заголовками страниц.

Семантический вектор применяется не только в поиске Яндекса, но и в других сервисах - например, в Картинках. Там он помогает находить в интернете изображения, которые наиболее точно соответствуют текстовому запросу.

Технология семантических векторов обладает огромным потенциалом. Например, переводить в такие векторы можно не только заголовки, но и полные тексты документов - это позволит ещё точнее сопоставлять запросы и веб-страницы.
Внедрение нового алгоритма Яндекс – это еще один значимый аргумент в пользу продвижения по низкочастотным запросам для тех, кто занимается развитием и продвижением сайтов. Перспективы развития нового алгоритма Яндекса лишь подтверждают верность выбранного направления, ведь в недалеком будущем речь пойдет об улучшенном распознавании не только заголовков, но и всего текстового документа в целом (!).

В Яндексе график частотного распределения представляют в виде птицы, у которой есть клюв, туловище и длинный хвост, характерный жар-птице

  • Клюв - самые высокочастотные запросы. Список таких запросов не очень большой, но их задают очень-очень часто.
  • Туловище -среднечастотные запросы.
  • Хвост - низкочастотные и микронизкочастотные запросы. «По отдельности они встречаются редко, но вместе составляют существенную часть поискового потока, и поэтому складываются в длинный хвост».

Такой хвост принадлежит птице, которая довольно часто фигурирует на палехской миниатюре. Именно поэтому алгоритм получил название «Палех».

Все алгоритмы Яндекса. (2007-2017 года)

  • 2 июля 2007 год . «Версия 7». Новая формула ранжирования, повышение числа факторов, анонс состоялся только на searchengines.guru .
  • 20 декабря 2007 год . 17 января 2008 год. «Версия 8» и «Восьмерка SP1». Авторитетные ресурсы получили значимый плюс в ранжировании, внедрение фильтрации «прогонов» для накрутки ссылочных факторов.
  • 16 мая, 2 июля 2008 год . «Магадан» (Fast Rank для быстрого подбора претендентов, мягкость, расширение базы аббревиатур и синонимов, расширенные классификаторы документов), «Магадан 2.0» (уникальность контента, новые классификаторы запросов пользователей и документов).
  • 11 сентября 2008 год . «Находка» (учёт стоп-слов в поисковом запросе, новый подход к машинному обучению, тезаурус).
  • 10 апреля, 24 июня, 20 августа, 31 августа, 23 сентября, 28 сентября 2009 год.
    «Арзамас / Анадырь» (учёт региона пользователя, снятие омонимии), «Арзамас 1.1» (новая региональная формула для ряда городов, кроме Москвы, Санкт-Петербурга и Екатеринбурга), «Арзамас 1.2» (новый классификатор геозависимости запросов), «Арзамас+16» (независимые формулы для 16 регионов России), «Арзамас 1.5» (новая общая формула для геонезависимых запросов), «Арзамас 1.5 SP1» (улучшенная региональная формула для геозависимых запросов).
  • 17 ноября 2009 год . «Снежинск» (запуск технологии машинного обучения MatrixNet, кратный рост числа факторов ранжирования, 19 локальных формул для крупнейших регионов России, сильнейшие изменения выдачи).
  • 22 декабря 2009 год. 10 марта 2010 год . «Конаково» (неофициальное название, но далее будет именно Обнинск, свои формулы для 1250 городов по всей России), «Конаково 1.1» («Снежинск 1.1») - обновление формулы для геонезависимых запросов.
  • 13 сентября 2010 год . «Обнинск» (перенастройка формулы, повышение производительности, новые факторы и ранжирование для геонезависимых запросов, доля которых в потоке составляет более 70%).
  • 15 декабря 2010 год . «Краснодар» (технология «Спектр» и повышение разнообразия выдачи, разложение запроса пользователя на интенты), далее: повышение локализации выдачи по геозависимым запросам, независимые формулы для 1250 городов России.
  • 17 августа 2011 год . «Рейкьявик» (учёт языковых предпочтений пользователей, первый шаг персонализации выдачи).
  • 12 декабря 2012 год . «Калининград» (существенная персонализация выдачи: подсказки, учёт долгосрочных интересов пользователя, повышение релевантности для «любимых» сайтов).
  • 30 мая 2013 год . «Дублин» (дальнейшая персонализация выдачи: учёт сиюминутных интересов пользователей, подстройка результатов выдачи под пользователя прямо во время поисковой сессии).
  • 12 марта 2014 год . «Началово»*, «Без ссылок» (отмена учета ссылок / ряда ссылочных факторов в ранжировании для групп коммерческих запросов в Московском регионе).
  • 5 июня 2014 год . «Одесса»*, «Острова» (новый «островной» дизайн выдачи и сервисов, внедрение интерактивных ответов, в дальнейшем эксперимент был признан неуспешным и завершен).
  • 1 апреля 2015 год . «Амстердам»*, «Объектный ответ» (дополнительная карточка с общей информацией о предмете запроса справа от результатов выдачи, Яндекс классифицировал и хранил в базе десятки миллионов различных объектов поиска).
  • 15 мая 2015 год . «Минусинск» (понижение в ранжировании сайтов с избыточным числом и долей SEO-ссылок в ссылочном профиле, массовое снятие SEO-ссылок, дальнейшее возвращение учёта ссылочных факторов в ранжировании по всем запросам в Московском регионе).
  • 14 сентября 2015 год (± 3 месяца). «Киров»*, «Многорукие Бандиты Яндекса» (рандомизированная добавка к численному значению релевантности ряда документов с оценкой «Rel+», с целью сбора дополнительной поведенческой информации в Московском регионе, в дальнейшем - рандомизация была внедрена и в регионах России).
  • 2 февраля 2016 год . «Владивосток» (учёт адаптированности сайта к просмотру с переносных устройств, повышение в результатах мобильной выдачи адаптированных проектов).
    * - неофициальные названия алгоритмов, города подобраны на усмотрение автора с целью соблюдение очередности.

И завершающими на данный момент (мы же развиваемся) алгоритмами являются вышеописанные алгоритмы с эпичными и неординарными названиями «Палех» и «Баден-Баден».

Все фильтры Яндекса и их виды.

В Яндексе множество фильтров, которые могут примениться как к сайту в целом, так и на отдельные его страницы в частности. К сожалению, не всегда понятно, какой именно из фильтров из их множества и за какие нарушения наложен на сайт – сейчас любое малейшее несоответствие при использовании стандартных методов продвижения может быть распознан как «переспам». Итог: пессимизация.

Все фильтры Яндекса (в зависимости от их появления) можно разделить на 3 вида:

Предфильтры: дисконтируют значение каких-либо факторов еще до того, как рассчитана релевантность сайта. Действие предфильтров можно заметить не сразу – обычно оно проявляется в «залипании» сайта на каких-то местах (сайт дошел до 2 страницы и не двигается дальше, несмотря на наращивание ссылочной массы, например).
Постфильтры: обнуляют значение того или иного фактора уже после того, как рассчитана релевантность сайта. Не заметить этот тип фильтров сложно – именно они проявляются в резком падении позиций и трафика с Яндекса. Практически все фильтры за накрутку внутренних факторов можно отнести к постфильтрам.
Фильтрация перед выдачей: это когда релевантность сайта рассчитана, но по каким-то причинам в выдачу он не допускается.
Бан : Редко, но до сих пор встречается полное исключение сайта из выдачи за грубые нарушения поисковой лицензии.

Судя по всему Яндекс довольно требователен к качеству сайтов и при каждом подходящем случае напоминает нам о своей официальной позиции – развивай свой сайт, ориентируйся на «живого» пользователя и если оценка сайта от Яндекса будет «на отлично» — твой сайт не оставят без внимания. Оптимизируйте сайт так, чтобы оптимизация не вредила, а, наоборот, помогала юзерам ориентироваться на вашем сайте.

Сайта, выясняет наличие в составе контента ключевой фразы, принимает решение о том, насколько сайт соответствует запросу пользователя, и в зависимости от степени соответствия присваивает сайту ту или иную позицию в выдаче – выше или ниже. Для каждой поисковой системы разрабатываются свои алгоритмы. Схемы работы всех алгоритмов поисковых систем построены на схожих принципах. Например, все поисковики обязательно оценивают уникальность контента. Отличаются же алгоритмы поисковых систем некоторыми другими инструментами анализа.

Описание

На первоначальной стадии развития сети Интернет поисковым системам для нахождения необходимой пользователю информации достаточно было анализировать лишь самые основные параметры содержания страниц: наличие заголовков, ключевые фразы, объём текста и т. д. Однако с появлением оптимизации и многочисленных способов спама поисковые системы были вынуждены усложнить свои алгоритмы в целях распознавания и отсеивания сайтов, в отношении которых применялись подобные методы, что превратило их развитие в ответные действия на появление всё новых способов продвижения.

Механизмы поисковых алгоритмов являются засекреченной информацией. Никто, кроме разработчиков поисковых систем, точно не знает, что именно учитывают алгоритмы и на какие факторы они обращают внимание. Вся информация об их работе, появляющаяся в сети Интернет, в большинстве случаев представляет собой личные выводы оптимизаторов , основанные на практических наблюдениях за продвигаемыми сайтами.

Так, некоторые системы при выдаче сайтов в поисковых результатах способны анализировать информацию не только о частоте ключевых слов, но и о наиболее популярных страницах и затрачиваемом пользователем времени на их просмотр. Чем оно больше, тем выше вероятность того, что на сайте размещена действительно качественная информация. Другой подход подразумевает определение количества ссылок и вычисление авторитетного веса площадки. Это такие показатели, как ТИЦ , и другие, механизм определения которых также является ещё одним алгоритмом работы поисковых систем. Количество параметров, учитываемых поисковыми алгоритмами, может достигать нескольких сотен. К примеру, система «Google» при ранжировании сайтов обращает внимание на более чем 200 факторов.

Алгоритмы поисковой системы Google

История алгоритмов поисковой системы Google началась с введения в поисковый механизм индекса цитирования, заключающегося в ранжировании страниц и сайтов в зависимости от количества и авторитетного веса ссылок (PageRank), ведущих на них с других ресурсов. Таким образом сеть Интернет превратилась в подобие коллективного разума, который и определял релевантность сайтов. Подобная концепция оказалось удачным нововведением, благодаря которому Google и стала наиболее популярной системой.

На ранних этапах алгоритмы Google уделяли внимание лишь внутренним атрибутам страницы. Позже стали учитываться такие факторы, как свежесть информации и географическая принадлежность. В 2000 г. начал использоваться алгоритм Hilltop, предложенный Кришной Бхаратом, для более точного расчёта PageRank. В 2001 г. первоначальный механизм действия системы был полностью переписан. С этого момента Google стала разделять коммерческие и некоммерческие страницы. В этом же году был введён коэффициент, который добавлял ссылкам, ведущим с авторитетных сайтов, больший вес.

Первым по-настоящему сложным барьером для специалистов SEO стал алгоритм «Флорида», введённый Google в 2003 г. Он не только поставил под сомнение целесообразность использования распространённых на тот момент способов продвижения, но и существенно проредил позиции поисковой выдачи, исключив из неё страницы с повторяющимся анкором и переспамленные ключевыми словами.

В 2006 г. система стала использовать разработку израильского студента Ори Алона – алгоритм «Орион», улучшающий поиск благодаря отображению наиболее релевантных результатов и принимающий во внимание качество индексируемых сайтов.

В 2007 г. компания Google внедрила ещё одну систему фильтров и штрафных санкций – алгоритм «Austin». Многие из страниц, занимавших до его введения первые места в рейтинге, понизились на несколько позиций и не поднимались выше шестого места.

В 2009 г. был анонсирован алгоритм «Caffeine», выступивший в качестве ещё одного серьёзного улучшения инфраструктуры «Google». С этого момента система стала не только индексировать больше страниц, но и значительно быстрее производить поиск.

Алгоритмы поисковой системы Яндекса

В отличие от Google, поисковая система Яндекс раскрывает намного больше данных о своих алгоритмах, с помощью которых выстраивается картина выдачи.

С лета 2007 года компания Яндекс начала сообщать широкой публике (прежде всего, на форуме searchengines.ru и в своём блоге для вебмастеров) об изменениях в своих механизмах ранжирования. До этого момента изменения активно не афишировались и новые алгоритмы не получали названий.

Первым «названным» алгоритмом стал “8 SP1”. Но вскоре Яндекс начал, как иногда говорят, «игру в города» - каждое последующее изменение поискового алгоритма получало название города (в основном, российского). И началось всё с «Магадана».

Алгоритм «Магадан»

  • число факторов, влияющих на ранжирование сайта, увеличено вдвое
  • появились классификаторы для содержимого сайта и ссылок
  • улучшен геоклассификатор
  • увеличена скорость поиска по запросам, по которым Яндекс находит наибольшее число документов
  • увеличено «понимаемое» системой расстояние между словами поискового запроса
  • появилось распознавание аббревиатур, обработка транслитерации (в том числе и в URL документа)
  • улучшен перевод простых популярных слов: поисковик понимает, что computer=компьютер и т.п.
  • появилась обработка запросов с дореволюционной орфографией (содержащих буквы ѣ и т.д.)
  • улучшен поиск по большим многословным запросам.

Кроме того, Яндекс начал индексацию зарубежных сайтов, что привело к увеличению конкуренции по запросам, содержащим иностранные слова. Также были улучшены т.н. «колдунщики» Яндекса. Например, прогноз погоды можно теперь узнать прямо в поисковой выдаче.

Уже летом 2008 года был внесён ряд изменений в данный алгоритм: исправлены некоторые ошибки из первого релиза, а также добавлены новые факторы ранжирования сайтов (например, учёт уникальности контента).

Алгоритм «Находка»

В сентябре 2008 года появился алгоритм «Находка», вызвавший изменения в способе учёта факторов ранжирования.

Среди основных изменений:

  • улучшение ранжирования по запросам, содержащим минус-слова
  • разработка нового подхода к машинному обучению
  • расширение словарей Яндекса, особенно для слитного/раздельного написания запросов (теперь алгоритмы понимают, что “трубо провод” = “трубопровод”)
  • появление фильтров за «неожиданный» редирект пользователя на другой сайт (характерно для дорвеев)

Также было замечено, что по некоторым запросам в поисковой выдаче Яндекса стали появляться старые информационные сайты, в частности, Википедия. В связи с чем оптимизаторами сделаны выводы, что возраст домена и сайта играют роль в продвижении.

Алгоритм «Арзамас»

10 апреля 2009 года заработал поисковый алгоритм Яндекса под названием «Арзамас», или «Анадырь».

Можно сказать, что изменения, произошедшие с данного момента, оказали наиболее существенное влияние на характер выдачи, чем все изменения, происходившие ранее.

Нововведения, связанные с его появлением, серьёзным образом отразились на продвижении сайтов. Молодым сайтам стало ещё сложнее пробиваться на первые позиции и наращивать ссылочную массу.

Основные изменения:

  • выделено 19 географических регионов, выдача в которых могла отличаться по одним и тем же запросам
  • как следствие: сайту присваивается региональная принадлежность (или её отсутствие); определяется она по IP-адресу сервера, контенту сайта и по его описанию в Яндекс.Каталоге
  • дальнейшее улучшение обработки многословных запросов
  • при выводе подсказок об опечатках в запросе учитываются настройки языка браузера пользователя
  • появление фильтров, ухудшающих ранжирование страниц с агрессивными форматами рекламы: сначала popunder, а затем и clickunder (bodyclick)

Однако самым важным нововведением стал учёт региональности сайтов и геозависимости запросов.

Теперь запросы пользователя делятся на геозависимые и геонезависимые. Регион пользователя определяется по его IP-адресу и если для его запроса в индексе Яндекса имеются региональные сайты, то начинает действовать региональная формула ранжирования.

В связи с этим продвижение сайта по конкретному региону упростилось.

Алгоритм «Снежинск»

В ноябре 2009 года поисковая система Яндекс анонсировала свой новый алгоритм «Снежинск». Его главной особенностью является внедрение новой технологии машинного обучения, названной разработчиками «Матрикснет» (“MatrixNET”).

Характеристики данного алгоритма:

  • количество факторов ранжировании документа увеличено в несколько раз
  • ухудшено ранжирование страниц с особо длинными текстами, насыщенными ключевыми словами («тексты-портянки»)
  • появление т.н. фильтров АГС (АГС 17 и АГС 30)
  • увеличение количества региональных факторов, учитываемых при ранжировании
  • улучшена идентификация страницы-первоисточника контента; сайты, ворующие контент с других сайтов, ранжируются значительно хуже

С появлением технологии MatrixNET продвижение сайтов стало менее подконтрольным оптимизаторам. Теперь нельзя обойтись одной покупкой ссылок или нужной плотностью ключевых слов на странице.

Яндекс при помощи новой системы связал огромное количество факторов и показателей сайтов, что в итоге сделало ранжирование максимально релевантным оценкам асессоров.

Теперь асессоры «отдают» свои оценки относительно сайта системе MatrixNET, которая осуществляет периодическое самообучение.

Из-за того, что целью алгоритма является вывод в ТОП наиболее полезных для пользователя документов, Яндекс сделал поисковое продвижение процессом более творческим.

Алгоритм «Конаково»

Уже через месяц после «Снежинска» появился новый алгоритм «Конаково» (декабрь 2009), целью которого являлось усовершенствование предыдущего алгоритма.

А также было улучшено региональное ранжирование: своя формула ранжирования применяется теперь не только к 19 регионам, но ещё и к 1250 городам России.

Кроме того, появились новые операторы для поисковых запросов: *, / и другие. К примеру, поиск с учётом пропущенного в запросе слова выглядит так: “слово1 * слово3”.

Алгоритм «Обнинск»

В сентябре 2010 года у Яндекса появился новый алгоритм «Обнинск». Его особенности:

  • улучшено ранжирование по геонезависимым запросам пользователей из России
  • расширена формула ранжирования; её объём достигает теперь 280 Мб.
  • улучшено определение автора контента
  • повышено качество ответов на запросы, заданные латиницей и транслитом (произошло расширение словаря транслитерации)
  • снижено влияние искусственных ссылок (т.н. SEO-ссылок) на ранжирование

Для данного периода характерно усиление «борьбы» Яндекса с документами, продвигаемыми некачественными покупными ссылками.

Кроме того, улучшен интерфейс просмотра кэшированной копии веб-страницы – теперь можно узнать дату её последней индексации.

Алгоритм «Краснодар»

Этот алгоритм Яндекса вышел в свет в декабре 2010 года. Главным в этом алгоритме стало введение технологии «Спектр».

Отличительной чертой данной технологии стало т.н. «разбавление выдачи» по общим запросам (всего порядка 60 категорий запросов – города, товары и т.п.). 60 категорий было на момент релиза, было запланировано увеличить их количество

Если пользователь не достаточно конкретизировал свой запрос, то Яндекс постарается выводить ему сайты в соответствии с этими категориями.

Основные особенности «Краснодара»:

  • классификация поисковых запросов и выделение из них ключевых объектов (имена, названия, модели)
  • присваивание запросам категорий
  • улучшение ранжирования по геозависимым запросам

Алгоритм «Рейкьявик»

Появился в августе 2011 года. Данный алгоритм Яндекса ещё называют первым шагом в направлении персонализации поиска: т.е. каждому пользователю – свои результаты выдачи.

А точнее - произошла языковая персонализация поиска.

Если пользователю по англоязычным запросам нужны иностранные сайты – они и будут показаны. Если же алгоритм решит, что пользователь всё-таки ищет русскоязычный контент, то будут показаны соответствующие сайты.

Некоторые другие особенности:

  • улучшен математический колдунщик: теперь арифметические задачи можно решать прямо в поиске Яндекса; также и некоторые другие колдунщики
  • улучшен показ поисковых подсказок для новостных запросов: обновление подсказок происходит в течение часа.

Кроме того, в это время началось альфа-тестирование партнерской программы «Оригинальные тексты», с помощью которой владелец контента может сообщить Яндексу о своём авторстве на данный контент.

Алгоритм «Калининград»

В начале декабря 2012 года появился алгоритм «Калининград», который ввёл глобальную персонализацию поиска. Теперь результаты поиска подстраиваются под интересы пользователя.

Данные интересы Яндекс изучает по ранним запросам пользователя в поиске, а также по поведению пользователя на сайтах, статистика которых ему известна.

Информацию об интересах пользователей Яндекс пополняет раз в сутки и делит эти интересы на долговременные и кратковременные.

Таким образом, по одному и тому же запросу может быть сформирована совершенна разная выдача.

Например, если Яндекс решит, что к интересам одного пользователя можно отнести фильмы, а к интересам другого – путешествия, то по запросу «Мадагаскар» первому будет показана выдача относительно мультфильма “Мадагаскар”, а второму – относительно острова Мадагаскар.

Подобные изменения характерны и для поисковых подсказок – они тоже «подстраиваются» под интересы пользователя.

Некоторые особенности алгоритма:

  • также, как и в «Рейкъявике», учитываются предпочтения пользователя по языку
  • новые возможности поисковых подсказок:
    • появились подсказки сиреневого цвета – это подсказки, соответствующие ранним запросам пользователя
    • также выделено 400 000 групп пользователей по интересам для показа им однотипных подсказок
    • показ «любимых» сайтов в подсказках
    • подсказки меняются в соответствии с предыдущим запросом пользователя

Теперь все действия по раскрутке необходимо совершать комплексно: важны не только ссылки и ключевые слова, но и контент, и дизайн сайта, и его удобство для пользователя. И многое другое…

Алгоритм «Дублин»

Заявление о новом алгоритме появилось 30 мая 2013 года. В целом, «Дублин» - это модификация «Калининграда».

Если «Калининград» делил интересы на долговременные и кратковременные, то новый алгоритм, по словам Яндекса, “умеет реагировать и на сиюминутные интересы”.

Учёт сиюминутных интересов пользователя происходит буквально за несколько секунд.

Таким образом, если ранее было выявлено, что пользователю интересны фильмы, но вдруг у него возник интерес к географии или путешествиям, то по запросу «Мадагаскар» будет показана выдача относительно острова Мадагаскар, а не мультфильма с тем же названием.

Стоит сразу отметить, что досконально описать конкретный алгоритм поисковой системы под силу, наверное, только разработчикам этого алгоритма. По известным причинам все изменения внутри поисковых механизмов не должны выходить дальше отдела разработки.

Имея некоторое представление об эволюции данных алгоритмов, можно не только увидеть, какой интересный путь прошли поисковые технологии и поисковой маркетинг за такой промежуток времени, но и научиться предугадывать дальнейшие изменения, чтобы вовремя к ним подготовиться.

Некоторые алгоритмы Яндекса настолько изменили выдачу и повлияли на продвижение сайтов, что до сих пор вызывают определённые эмоции у оптимизаторов.

© Пётр Куприянов, web-ru.net



Понравилась статья? Поделиться с друзьями: