Правила поиска информации в яндексе: Поиск по страницам и сайтам

• По умолчанию на одной странице Яндекс отображает только 10 таких ссылок, поэтому для ознакомления с полными результатами поиска необходимо будет листать страницы с помощью цифр-ссылок. 

• Каждый обнаруженный ресурс в результатах поиска представлен названием веб-страницы и текстом ссылки. Кроме того, в большинстве случаев поисковая система демонстрирует небольшой фрагмент текста, содержащегося на той или иной найденной веб-странице, в котором обнаружено совпадение с текстом вашего запроса. При этом слова, которые мы ввели для поиска, в этих фрагментах будут выделены полужирным начертанием.

• Внизу страницы с результатами поиска, есть строка «в других поисковых системах». Рядом с этими словами имеются ссылки на несколько других популярных поисковых систем. Поэтому, если мы не нашли с помощью Яндекса нужной нам информации, можно воспользоваться другими поисковыми системами, перейдя по ссылке.

Поиск информации в Яндексе можно осуществлять 

в простом и расширенном поисковом режиме.

• Простой поиск

• Расширенный поиск

Перейдя по этой ссылке, мы увидим большую поисковую форму, в которой можно указать множество параметров.
Поисковая система Яндекс позволяет, например, настраивать параметры поиска слов в зависимости от их расположения (рядом, в одном предложении, на одной странице) и формы.
Кроме того, она может искать веб-страницы по их языку (русский, украинский, белорусский и т.д.), по дате последнего изменения и даже по формату файла веб-страницы.
Наконец, с помощью Яндекса информацию можно искать на каком-то конкретном сайте. Это бывает полезно в том случае, если на нужном вам сайте нет встроенной поисковой системы.

Для каждой поисковой системы существуют свои языки запросов. Мы познакомимся с логическим языком запросов для Яндекса, который позволяет в режиме обычного поиска вводить в строку поиска дополнительные служебные команды, уточняющие ваши требования. Рассмотрим некоторые такие команды.

• Используйте знаки «+» и «-«.

• Поиск точного соответствия — знак «!».

• Поиск точной фразы – кавычки.

При работе с поисковыми системами рано или поздно мы встретим слово «релевантность». 

Детские поисковые системы

• Чтобы обезопасить детей от ненужной информации, созданы специальные детские поисковые системы, которые  индексируют не все сайты, а только сайты с детской или околодетской тематикой.

АгА не только поисковый сервис. Здесь есть всеми любимые мультики, раскраски, просмотр диафильмов, помощь по разным школьным предметам и т.д.

Для поиска используется интерактивное облако Quintura. Красочный и привлекательный интерфейс сервиса содержит несколько интерактивных картинок, кликая на которые, дети сразу могут выбрать интересную для себя тему, например: наука, музыка, динозавры или игры.

10 способов поиска в Google, о которых не знает 96% людей / AdMe

В эру цифровых технологий и скоростного интернета можно узнать любую информацию. За несколько минут мы находим рецепты вкусного пирога или знакомимся с теорией корпускулярно-волнового дуализма. 

Но зачастую нужную информацию приходится высеивать по крупицам и тратить на это не один час. AdMe.ru собрал для вас самые действенные способы, которые помогут отыскать драгоценные материалы за пару кликов.

1. Или то, или другое

Иногда мы точно не уверены, что правильно запомнили или услышали нужную информацию. Не беда! Просто введите несколько подходящих вариантов через значок “|” или английское «or», а затем выберите подходящий результат.

2. Поиск по синониму

Как известно, великий и могучий русский язык богат синонимами. И иногда это совсем не на руку. Если вам нужно быстро найти сайты по заданной теме, а не просто конкретную фразу — поставьте символ «~».

Например, результаты запроса «здоровая ~еда» помогут узнать принципы здорового питания, познакомят с полезными рецептами и продуктами, а также предложат посетить рестораны правильного питания.

 3. Поиск внутри сайта

Бывает, прочитаешь интересную статью на сайте, а потом через время хочешь поделиться полезной информацией с друзьями или просто перечитать. Тогда на помощь приходит поиск внутри сайта. Для этого сначала вводим адрес сайта, а затем ключевые слова или фразу целиком. 

4. Сила звездочки

Когда коварная память подводит нас и безнадежно теряет из фразы слова или цифры, на помощь приходит значок «*». Просто поставьте его на месте забытого фрагмента и получите нужные результаты. 

5. Много пропущенных слов

А вот если из памяти выпало не одно слово, а половина фразы, попробуйте написать первое и последнее слово, а между ними — AROUND (примерное количество пропущенных слов). Например, вот так: «Я вас любил AROUND(7) не совсем».

6. Временные рамки

Иногда нам позарез нужно познакомиться с событиями, которые происходили в определенный промежуток времени. Для этого к основной фразе добавляем временные рамки, прописанные через многоточие. Например, мы хотим узнать, какие научные открытия были сделаны в период с 1900 по 2000 год.

7. Поиск по названию или ссылке

Для того, чтобы поисковик нашел ключевые слова в названии статьи — введите слово «intitle:» перед запросом без пробела, а для поиска слова в ссылке — «inurl:».  

8. Похожие сайты 

Если вы пришли в восторг от сайта и теперь хотите найти аналогичные — введите  «related:» перед адресом сайта.

9. Фраза целиком

Самый простой и эффективный способ найти что-то конкретное и именно в таком порядке, как вы ввели, — заключить фразу в кавычки.

Например, если вы введете самый забавный текст — поисковик покажет результаты по запросу «самый», «забавный» и «текст» в любой последовательности.

Если же ввести «самый забавный текст» — будут показаны только те результаты, в которых есть все три слова именно в таком порядке. Этот способ отлично подходит, когда нужно найти текст песни, но мы знаем только фразу.

10. Ненужные термины

Чтобы исключить ненужный термин из поиска — достаточно поставить перед ним знак минус. Например, если мы хотим найти сайты о книгах, но не заинтересованы в их покупке — попробуйте исключить ненужный термин.

Лицензия на использование поисковой системы Яндекс

Этот документ является переводом Лицензии на использование поисковой системы Яндекс на английском языке. В случае противоречия между русскоязычной версией Лицензии на использование поисковой системы Яндекса и данным переводом — только русскоязычная версия Лицензии на использование поисковой системы Яндекса имеет юридическую силу. Русскоязычную версию Лицензии на использование поисковой системы Яндекса можно найти здесь: https://yandex.ru/legal/termsofuse/?lang=ru.

1.1. ООО «ЯНДЕКС» (далее – «Яндекс») предлагает пользователям сети Интернет (далее – «Пользователь») возможность использовать поисковую систему Яндекс для поиска информации в сети.Сервис доступен по адресу http://www.yandex.com (далее — «Сервис»).

1.2. Настоящие Условия являются дополнительными к Пользовательскому соглашению сервисов Яндекса в части порядка использования Сервиса. В любых вопросах, не предусмотренных настоящим Соглашением, отношения между Яндексом и Пользователем в отношении Сервиса регулируются Пользовательским соглашением сервисов Яндекса (https://yandex.com/legal/rules) и Политикой конфиденциальности (https://yandex. com/юридический/конфиденциальный).

1.3. Приступая к использованию Сервиса/его отдельных функций, Пользователь считается принявшим настоящие Условия и условия всех вышеперечисленных документов в полном объеме без каких-либо ограничений и исключений.В случае несогласия Пользователя с какими-либо положениями вышеуказанных документов Пользователь не вправе использовать Сервис.

1.4. Настоящие Условия могут быть изменены Яндексом без какого-либо уведомления, и новая редакция настоящих Условий вступает в силу с момента ее размещения в Интернете по адресу, указанному в настоящем абзаце, если иное не указано в новой редакции настоящих Условий. Текущая редакция настоящих Условий всегда доступна по адресу https://yandex.com/legal/termsofuse.

1.5. В случае внесения Яндексом изменений в настоящие Условия в порядке, установленном пунктом 1.4 настоящего Соглашения, с которым Пользователь не согласен, Пользователь обязан прекратить использование Сервиса.

1.6. Все доступные в настоящее время функции Сервиса, а также любое развитие и/или добавление новых функций регулируются настоящими Условиями.

2.1. Сервис предоставляется Пользователю на безвозмездной основе и предназначен исключительно для личного некоммерческого использования, за исключением случаев, предусмотренных настоящей Лицензией, документами, указанными в п. 1.2 настоящего Соглашения, или Условиями использования конкретных сервисов Яндекса.Для использования Сервиса иными способами и в любых иных целях Пользователь должен получить предварительное письменное согласие Яндекса. Пользователь может запросить дополнительную информацию по адресу [email protected]

2.2. В случае использования Сервиса в коммерческих целях для предоставления услуг онлайн-поиска и/или навигации Пользователь должен уведомить об этом своего клиента и предоставить ссылку на Сервис Яндекса (www.yandex.com). Пользователь может разместить на своем личном или корпоративном сайте поисковую форму Яндекса с обязательным соблюдением Условий Яндекс.Сервис поиска по сайту (https://yandex.ru/legal/site_termsofuse).

2.3. Пользователь может отправлять автоматические запросы к Сервису только при соблюдении требований в соответствии с Условиями использования сервиса Яндекс.XML (https://yandex.ru/legal/xml).

2.4. Яндекс вправе не обрабатывать запросы любых Пользователей, веб-сайтов и программ, нарушающих условия настоящей Лицензии.

2.5. Условия использования предупреждения о потенциально опасных веб-сайтах

2.5.1. Яндекс предоставляет функционал предупреждения пользователя о сайтах с потенциально опасными страницами (далее — «Потенциально опасные сайты»), например, о страницах с вредоносным кодом (далее — «Функция») «как есть».Потенциально опасным веб-сайтам также может быть присвоен более низкий рейтинг или они могут быть удалены из базы данных Сервиса. Информация о потенциальных рисках отдельных сайтов, о степени и характере таких рисков (далее — «Информация») предоставляется партнерами Яндекса или определяется Яндексом собственными методами. Яндекс не дает никаких пояснений по поводу отнесения сайта к потенциально опасным. Яндекс не гарантирует соответствие Функции целям и ожиданиям Пользователя, бесперебойную и безошибочную работу Функции и не гарантирует достоверность Информации (в частности, не гарантирует, что веб-сайты, не отнесенные к категории потенциально опасных, не содержат каких-либо вредоносные коды и наоборот).Пользователь самостоятельно оценивает риски и несет ответственность за свои действия в отношении использования Информации. Яндекс не несет ответственности и не возмещает любые прямые или косвенные убытки, понесенные владельцами сайтов, Пользователем или третьими лицами в результате использования или невозможности использования Функции, а также использования или невозможности использования Информации, в том числе, но не ограничивается любыми убытками, понесенными из-за неточности Информации.

2.5.2. Любые комментарии и/или жалобы относительно работы Функции направляйте по адресу https://yandex.ru.com/support/common/troubleshooting/main.html.

2.5.3. Яндекс вправе без уведомления по своему усмотрению прекратить или приостановить предоставление Информации без объяснения причин.

2.6. Некоторые ссылки на веб-сайты, отображаемые в результатах поиска, могут иметь специальные теги, предоставляющие дополнительную информацию о веб-сайте и/или его функциях. Специальные теги могут быть назначены веб-сайту автоматически на основе данных об активности пользователей, которые обрабатываются автоматически, или могут давать пояснения об источнике такой информации.Специальные теги ставятся и предоставляются Пользователям «как есть». Яндекс не несет ответственности за правильность размещения специальной метки и достоверность дополнительной информации о сайте, а также за решения, принимаемые Пользователями на основе таких меток. Подробная информация о значении специальных тегов доступна по ссылке: https://yandex.ru/support/webmaster/search-results/tags.html.

2.7. Некоторые ссылки на веб-сайты и интерактивные элементы поиска, отображаемые как поисковые запросы, могут иметь кнопку контактной формы для взаимодействия Пользователя с партнерами Яндекса и обсуждения оказываемых ими услуг, распространения информации и действий, которые они совершают в соответствии с инструкциями Пользователя в отношении предлагаемых товаров/услуг. на сайте по ссылке.Поскольку Яндекс не является стороной в отношениях между Пользователем и партнером Яндекса, он не несет ответственности за действия партнера Яндекса по обработке переданной Пользователем информации, а также не гарантирует правильность, точность, правильность и правомерность действий партнера Яндекса.

В целях контроля качества и выполнения требований законодательства Яндекс хранит историю сообщений между Пользователями и Партнерами с использованием соответствующих функций Сервиса. Яндекс может получить доступ к истории сообщений в указанных целях по запросу заинтересованных сторон и в порядке, предусмотренном законодательством.

Кнопка контактной формы рядом с веб-сайтом не влияет на его рейтинг среди результатов поиска.

2.8. Яндекс может ограничить доступ Пользователя к Сервису (или отдельным функциям Сервиса, если это технически возможно) через учетную запись или заблокировать учетную запись Пользователя в случае неоднократного нарушения настоящих Условий (в случае доступа Пользователя к Сервису через учетную запись Пользователя). либо предпринимать иные действия в отношении Пользователя для соблюдения требований законодательства, прав и законных интересов третьих лиц.

3.1. Яндекс индексирует страницы сайтов, созданных третьими лицами. Яндекс не несет ответственности за качество и содержание таких страниц. Индексация осуществляется роботом поисковой системы Яндекс автоматически на основе определенных алгоритмов, не подразумевающих предварительной или последующей оценки содержания сайта (модерации) на предмет его соответствия правовым, этическим или моральным требованиям, а также какой-либо цензуры. Яндекс не несет ответственности за наличие/отсутствие, содержание и качество любых предложений услуг, товаров и т.п.доступных Пользователю через сайты третьих лиц, индексируемых Яндексом, или за любые убытки, понесенные Пользователем в связи с использованием таких предложений.

3.2. Любые изменения на страницах сайта автоматически отслеживаются роботом Яндекса (переиндексируется) для обновления результатов поиска. Однако любая информация и материалы, размещенные на сторонних сайтах, могут быть в любое время изменены владельцами сайтов, Яндекс не отслеживает и не несет ответственности за какие-либо изменения на таких сайтах.

3.3. Яндекс не гарантирует Пользователю, что результаты поиска Пользователя будут исчерпывающими и что Пользователь получит всю доступную в сети информацию по поисковому запросу.Яндекс не несет ответственности за абсолютную точность/релевантность ссылок на сайты в результатах поиска Сервиса по запросу Пользователя.

3.4. Яндекс включает в базу Сервиса все страницы сайта на русском языке или ориентированные на Россию. Яндекс вправе по своему усмотрению решать, какие сайты включать в базу Сервиса.

3.5. Последовательность результатов в процессе индексации и поиска полностью автоматизирована в соответствии с требованиями релевантности, которые могут быть изменены для повышения качества обслуживания по усмотрению Яндекса.Под релевантностью Яндекс понимает максимальное соответствие результатов поиска запросу пользователей, ищущих информацию, что в целом может не соответствовать интересам владельцев сайтов или отдельных Пользователей.

3.6. Яндекс не манипулирует позициями сайта в результатах поиска Сервиса по каким-либо запросам Пользователя (ключевым словам), не продает какие-либо позиции в любое время и не гарантирует одинаковое положение любого сайта в результатах поиска по любым запросам Пользователя.

3.7. Спамдексинг — это попытка манипулировать поисковой системой Сервиса и результатами поиска, чтобы изменить позицию любого веб-сайта.Веб-сайты, использующие индексацию спама, могут отображаться на более низкой позиции или исключаться из базы Сервиса из-за невозможности надлежащего ранжирования таких веб-сайтов.

3.8. Яндекс не дает никаких комментариев по поводу исключения сайтов из базы Сервиса и/или изменения их положения, не дает уведомлений о своих действиях и каких-либо гарантий или сроков, по истечении которых сайты будут повторно включены в базу Сервиса/их положение будет изменено.

3.9. Яндекс вправе не раскрывать полный перечень методов спам-индексирования, которые могут привести к исключению сайта из базы Сервиса и/или изменению его положения.Подробнее читайте на Как Яндекс видит разницу между качественными и некачественными сайтами? по адресу https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.html.

4.1. Отношения между Пользователем и Яндексом в отношении любой информации, которую Яндекс может получить о Пользователе в процессе использования Пользователем Сервиса, регулируются Политикой конфиденциальности (https://yandex.com/legal/confidential).

4.2. Яндекс индексирует страницы сайтов, которые общедоступны в сети, т.е.е. те страницы, на которые можно перейти по ссылке без логина и пароля, индексация которых не запрещена в robots.txt соответствующего сайта (подробнее см. https://yandex.com/support/webmaster/controlling-robot/ robots-txt.html). Претензии по поводу наличия в базе Сервиса открытых в связи с этим страниц сайта не принимаются.

Дата публикации: 14.02.2019

Предыдущая версия документа: https://yandex.rucom/legal/termsofuse/05102018

Предыдущая версия документа: https://yandex.com/legal/termsofuse/04092018

Предыдущая версия документа: https://yandex.com/legal/termsofuse/04092018

com/legal/termsofuse/04072017

Предыдущая версия документа: https://yandex.com/legal/termsofuse/22032017

Предыдущая версия документа: https://yandex.com/legal/termsofuse/22032017

com/legal/termsofuse/20012016

Яндекс — Технологии — Геолокационный поиск

В зависимости от региона от 15 до 30% всех поисковых запросов на Яндексе требуют информацию о товарах, услугах, личностях или событиях, характерных для текущего пользователя. место нахождения.Соответственно, Яндекс отвечает на такие запросы результатами поиска, которые различаются от региона к региону. Тот, кто ищет адвоката в Москве, увидит ссылки на сайты юридических фирм в Москве, а тот, кто делает тот же поисковый запрос в Киеве, найдет ссылки на сайты местных юридических фирм.

Поиск по местоположению доступен в тех городах России, Украины и Беларуси, где количество местных сайтов позволяет предложить эту функцию. Результаты на основе местоположения также доступны для веб-пользователей в Казахстане и Турции.

Не все поисковые запросы требуют ответов на основе местоположения. Не имеет большого значения, где находится искатель, когда он ищет книгу, рецепт или закон физики. С другой стороны, те, кто просит спортзал или такси, скорее всего, будут искать ближайший к месту жительства спортзал или компанию такси в своем городе.

Люди в разных местах, ищущие одно и то же, могут рассчитывать найти что-то совершенно другое. Очень часто эти поиски являются именами местных знаменитостей или компаний.Интернет-пользователь в Москве, который ищет «орбиту», на самом деле ищет кинотеатр, а кто-то в Ростове-на-Дону, делая тот же запрос, ожидает увидеть сайт автосалона, и если этот поиск исходит из Израиля, его автор, скорее всего, ищет популярный местный веб-портал.

Способность поисковой системы чувствовать разницу между теми запросами пользователей, которые требуют результатов на основе местоположения, и теми, которые не требуют результатов, имеет решающее значение для ее способности понимать намерения искателя и предоставлять наилучшие результаты поиска для ответа на них.

Механизм, который позволяет поисковой системе решать, имеет ли значение текущее местоположение пользователя для запроса, основан на статистике поиска. В запросе, зависящем от местоположения, может не быть терминов, указывающих на его географию, но в нем должны быть слова, которые часто встречаются вместе с такими терминами. Поисковый запрос «транспорт», например, будет классифицироваться как зависящий от местоположения, потому что те, кто использует это слово в своих поисках, также часто добавляют местоположение.

Место поиска идентифицируется, прежде всего, по IP-адресу искателя.Однако эта информация не всегда надежна — IP-адрес может быть присвоен интернет-провайдером, зарегистрированным в другом регионе. Яндекс постоянно обновляет свой классификатор для идентификации регионов, используя информацию, которую он получает от клиентов, партнеров и конечных пользователей. Он всегда информирует пользователей о том, каково их текущее местоположение, по его мнению. Он отображается в правом верхнем углу на странице результатов поиска и может быть изменен вручную в настройках.

Когда пользователь получает ссылку на результаты поиска Яндекса от кого-то из другого региона, он видит именно ту страницу, которая была отправлена, а не результаты поиска, соответствующие его местоположению. Это возможно, потому что информация о текущем местоположении пользователя встроена в веб-адрес страницы.

Поисковая система идентифицирует регион веб-сайта, используя ряд атрибутов, включая контактную информацию на его страницах, его IP-адрес, регион, который он часто упоминает, и т. д.

Региональные веб-сайты компании обычно определяются как локальные в соответствующих регионы. Веб-сайт компании может быть классифицирован как национальный независимо от того, где находится головной офис компании, если эта компания имеет национальное, а не региональное присутствие, например, почтовая служба.Та же логика применима и к веб-сайтам, доступность которых в Интернете гораздо важнее, чем их физическое местонахождение — хорошим примером являются электронные библиотеки или службы электронной почты.

Российский Яндекс достигает урегулирования спора о поисковой системе

Основатель и генеральный директор Яндекса Аркадий Волож (на первом плане, второй справа) празднует выход Яндекса на биржу Nasdaq во время их IPO на торговой площадке Nasdaq в Нью-Йорке 24 мая 2011 года. REUTERS /Mike Segar

Зарегистрируйтесь сейчас и получите БЕСПЛАТНЫЙ неограниченный доступ к Reuters.com

Регистрационный номер

МОСКВА, 19 янв (Рейтер) — Российский технологический гигант «Яндекс» (YNDX.O) в среду сообщил, что достиг мирового соглашения в споре с Федеральной антимонопольной службой (ФАС) по антимонопольному законодательству о результатах его поисковой системы. и консорциум ИТ-компаний.

В феврале прошлого года ФАС сообщила «Яндексу», что создала неравные рыночные условия для общих поисковых сервисов, что продвигает преимущественно собственные продукты, и попросила прекратить.Яндекс в свое время заявил, что готов отстаивать свою позицию.

Яндекс, зарегистрированный на Nasdaq, заявил, что мировое соглашение подтвердило выполнение им всех требований предупреждения, прекращение дела без каких-либо штрафов и установило определенные дополнительные обязательства для Яндекса по поддержке конкуренции, включая передачу информации в ФАС.

Зарегистрируйтесь прямо сейчас и получите БЕСПЛАТНЫЙ неограниченный доступ к Reuters.com

Зарегистрируйтесь

Кроме того, Яндекс заявил, что создаст совместную программу поддержки российских технологических компаний в продвижении их продуктов и услуг, внося свой вклад 1.5 млрд рублей (19,6 млн долларов) в Российский фонд развития информационных технологий.

В сообщении ФАС говорится, что соглашение было одобрено Арбитражным судом Москвы после подписания всеми сторонами.

В прошлом году около 20 российских интернет-компаний подписали открытое письмо в поддержку усилий ФАС. В нем они обвинили «Яндекс» в злоупотреблении своим доминирующим положением на рынке и призвали его создать равные условия для честной конкуренции в онлайн-поиске.

Позже ФАС возбудила антимонопольное дело против Яндекса, заявив, что расследует возможные антиконкурентные действия и оценивает их последствия.

Спор разгорелся вокруг расширенного поиска, который дает пользователям более подробные результаты поиска таких вещей, как события и рецепты.

Яндекс заявил, что использует глобальную практику расширенных результатов поиска для улучшения взаимодействия с пользователем и что более 30 000 компаний используют его технологию расширенного поиска бесплатно.

(1 доллар США = 76,3908 рублей)

Зарегистрируйтесь сейчас БЕСПЛАТНО неограниченный доступ к Reuters.com

Зарегистрируйтесь

Репортаж Александра Марроу; дополнительный репортаж Марины Бобровой, Габриэль Тетро-Фарбер и Глеба Столярова; Под редакцией Кирстен Донован и Эмилии Ситхол-Матарис

Наши стандарты: Принципы доверия Thomson Reuters.

Не копировать, а искать подбрюшье Google

Илья Сегалович, главный технический мозг Яндекса, очень хороший парень. Я говорю это не только потому, что он позволил мне прервать его плотный график, но и потому, что вы не можете разговаривать с ним, не думая, что вы и делитесь, и учитесь одновременно — он внимательно слушает то, что вы должен сказать, расширяет его и развивает его и дает вам больше каждый раз.

Слоном в комнате во время нашего разговора был Google.Нельзя говорить о Яндексе, не сравнивая с Гуглом — как с мерилом.

Но это не значит, что Яндекс копирует Google, как очень хочет подчеркнуть Илья. Первые слайды, которые он выстроил, чтобы показать мне, изначально были составлены как возражение Роберту Скоблу, который назвал Яндекс клоном Google в ответ на вопрос на Quora.

Это не пройдет хорошо в башнях Яндекса на улице Льва Толстого, где все разработано « Чтобы ответить на все вопросы пользователя » и определенно не потому, что калифорнийский конкурент, который также активен на российской территории, случайно приедет похожие, но не идентичные выводы.

Хронология Яндекса – Google

Фактически, на слайдах перечислены некоторые вещи, которые Яндекс запустил первым, указывая, во-первых, на то, что они фактически были запущены как поисковая система в 1997 году, на год раньше, чем Google. Яндекс также первым запустил карты в 2004 году, Google — годом позже, в 2005 году. Яндекс первым запустил поиск новостей в 2000 году, Google — в 2002 году. Поиск по блогам появился в России в 2004 году, а в Калифорнии — только в 2006 году. запустил агрегатор RSS в 2005 году, Google последовал за ним в 2006 году.

Для скептиков, вот еще одно доказательство, которое вы можете проверить сами. Согласно записям Whois, google.com был зарегистрирован 15 сентября 1997 года, а yandex.ru всего восемь дней спустя, 23 сентября 1997 года.

Между тем, yandex.com был зарегистрирован на год позже, чем его российский предшественник, тогда как Google потребовалось еще шесть с половиной лет, чтобы претендовать на google.ru 4 марта 2004 года. Таким образом, , если Яндекс скопировал Google через восемь дней, ну, по крайней мере, вы должны отдать им должное за их удивительное предвидение!

Рождение Яндекса

Илья также показывает мне эту завораживающую фотографию, сделанную в 1981 году, когда Аркадий Волож (крайний слева) и Илья (в центре) еще молодыми людьми только поступали в университет и уже хорошо знали друг друга.Спустя еще 16 лет, в 1997 году, yandex.ru наконец-то был запущен, а между тем было много приключений.

Источник: Илья Сегалович

Отец Ильи был известным русским геологом, которому приписывают выявление тектонических аномалий на Урале, приведших к открытию огромных запасов хромита. Ему была присуждена Государственная премия в те дни, когда Советский Союз занимался подобными вещами.

Аркадий Волож тоже сын геологов, и они впервые познакомились в Алмате в Казахстане в школьные годы.(Любопытно, что Аркадий Волож мне тоже отдельно упомянул, что семьи Сергея Брина и Аркадия тоже знают друг друга).

Илья ушел из университета, увлекаясь разработкой программного обеспечения, но в 1989 году он подумал, что «Поиск был очень глупой идеей» — если честно, тогда не было ни Интернета, ни Сети.

Компьютеры едва ли были компьютерами (я могу поручиться за это — я помню паровые машины той эпохи), и для загрузки раннего программного обеспечения для поиска данных и текста Comptek, например, требовалось загрузить 9 гибких дисков с установочным кодом.У Ильи были свои планы по программному обеспечению и команда.

Наконец, в 1990 году Аркадий добился своего и сумел завербовать Илью в команду «Аркадия». В конечном итоге это привело к тому, что у Ильи появился шанс оставить свой след в истории, поскольку несколько лет спустя российские венчурные капиталисты стремились инвестировать во все, что связано с Интернетом.

Это привлекло внимание к конкретному проекту Аркадии, которому в результате потребовалось название. В 1993 году Аркадий Волож и Илья Сегалович разработали поисковую систему «неструктурированной информации с русской морфологией».

Илья предложил название «Яндекс», производное от идеи «Yet Another inDEX», хотя в русском языке есть лишняя игра слов, так как первая буква «я» (произносится как «я») также означает «я». Он прижился, и в 1997 году родился yandex.ru, поисковая система была запущена в 1998 году, а в 2000 году Яндекс стал компанией.

Еще в 1994 году тип поиска, над которым работал Илья, иллюстрируется изображением ниже, которое иллюстрирует ключевую функцию, которая сделала Яндекс великим и которую Google не воспроизвел до 2006 года, примерно 12 лет спустя, — это поиск по русской морфологии.

Поисковый запрос в поле поиска представляет собой поисковый запрос из двух слов в одной определенной грамматической форме – выделенные красным цветом «находит» в тексте показывают термины, которые хотя и соответствуют поисковому запросу, но изменены в правописании по правилам русского языка .

Рисунок также довольно ясно иллюстрирует работу, над которой работала команда Arcadia/Comptek и которая позже превратилась в веб-поиск.

Предтеча Яндекса в 1994 году – Источник: Илья Сегалович

На самом деле, параллельные пути развития слона Google и Яндекса увлекательны и доминируют во многих наших разговорах.Илья ссылается на опубликованное в Google заявление, объясняющее методы поиска в 2000 году, в котором говорилось, что «Google не использует «выборку корней» и не поддерживает поиск по шаблону. Другими словами, Google ищет именно те слова, которые вы вводите в поле поиска».

Формулировка подразумевала, что это приведет к более релевантным результатам. Принимая во внимание, что рождение Яндекса в 1997 году непосредственно последовало за решением проводить «неточный» поиск с использованием стемминга, который был единственным способом достижения релевантности в русском языке, вы можете понять, что на улице Льва Толстого должно быть несколько кривых улыбок.

Я спрашиваю Илью, когда он впервые узнал о Google? «Дэнни Салливан обратил мое внимание на это в статье». Я полагаю, что он имеет в виду статью под названием «Подсчет кликов и просмотр ссылок» от августа 1998 года, в которой анонсируется новый экспериментальный Google, все еще размещенный на URL-адресе Стэнфордского университета.

Илья продолжает описывать историю развертывания Google в России: «В 2000 году Google сосредоточился на дистрибьюторских сделках, 2001 был годом интернационализации, когда они сосредоточились на полноте индекса и имели русский контент, но это только в 2006 году мы считали Google угрозой.Это был год, когда Google начал поддерживать русскую морфологию».

Он отмечает: «Нам не хватало ресурсов и не было нужных людей на нужных должностях. Пришлось вносить изменения и реорганизовываться. К счастью, мы нашли отличных парней, которые нас спасли».

Любопытно, что Илья связывает показатели Яндекса и Google в 2008–2009 годах, когда Яндекс потерял долю рынка, благодаря своим результатам поиска в 2006–2007 годах.

«Кажется, проходит два года, прежде чем пользователи действительно заметят разницу, когда вы внесете улучшения», — говорит он.«Мы внедрили машинное обучение MatrixNet в начале 2009 года и только в 2010 году заметили существенную разницу в долях поисковых запросов”. Он добавляет: «Сложнее разработать поисковую систему, чем космическую программу, пять стран имеют свои собственные поисковые системы, а 20 — космические программы». В этот момент к нам присоединился начальник отдела поиска Анатолий Орлов и добавил: «Поиск — это ракетостроение!»

Чем Яндекс отличается от других поисковых систем

Страница поиска Яндекса сильно отличается от страницы Google.В то время как у Яндекса есть страница только с окном поиска для тех, кто спешит по короткому URL-адресу Ya.ru, главная страница выглядит скорее в стиле портала. Яндекс тестировал страницу только с окном поиска в течение нескольких недель, но обнаружил, что большинство российских пользователей предпочитают обычную более загруженную страницу.

Илья отмечает, что люди могут изменить страницу поиска по умолчанию. «Мы даже позволяем пользователям отключать некоторые объявления», — говорит он. Одно совершенно ясно, Яндекс был и всегда был одержим поиском и удовлетворением потребностей пользователя.

В розыске нет ни развлечений, ни свиданий, и Илья признается: «Телевизор не смотрю, но понимаю, что люди его смотрят». Видимо, дома много детей, так что, возможно, это понятно. Обычная страница поиска может выглядеть как портал, но это еще не все.

Яндекс рассматривает его (пояснение ниже) как ответ на вопрос «Что нового? Что нового вокруг меня?» Вот почему есть новости, погода, информация о дорожном движении (важно для москвичей), новости рынка, трендовые деньги и автомобили — главный вертикальный рынок Яндекса.Так как это Россия, цена на нефть включена в список курсов валют!

Объяснение главной страницы поиска Яндекса Источник: Илья Сегалович

Как и все поисковые системы, Яндекс очень внимательно следит за качеством своего поиска. Илья показывает мне серию графиков от AnalyzeThis.ru — российской независимой SEO-фирмы, которая отслеживает качество работы поисковых систем в России. Илья очень хотел подчеркнуть, что это всего лишь один из источников, предоставляющих такие данные, но я нашел результат интересным и достойным публикации.

На первом графике ниже показан процент отсутствующих результатов навигации в Яндексе, Google и Bing в России, где чем ниже показатель, тем лучше результат.

Несмотря на краткий всплеск Яндекса (причины которого неясны), в целом Google и Яндекс очень близко отслеживают друг друга по этому показателю, давая очень похожее качество результатов для пользователя — но результаты Bing не так хороши, хотя они показали некоторое улучшение по сравнению с октябрем прошлого года.

% отсутствующих результатов навигации, где чем ниже оценка, тем лучше – Источник: AnalyzeThis.ru 2007-2010

Следующая мера качества относится к измерению того, имеет ли исходный текст более высокий или более низкий рейтинг, чем копии контента, при этом более высокий балл дает лучший результат. Это серьезная проблема для многих из нас, кто хочет разрешить синдикацию нашего контента, но не хочет, чтобы синдикаторы добивались лучших результатов, чем мы.

В России Google является самым слабым исполнителем по этому показателю, опережая даже Bing. Оценка Яндекса намного лучше, чем у Google или Bing: на 50% больше, чем у Google на 20%, и снижается производительность.Конечно, обновление Farmer не будет учитываться в этих цифрах, но если бы вы были Google, глядя на эти цифры, вы бы тоже хотели ориентироваться на контент-фермы!

Первоначальный текст имеет более высокий рейтинг, чем копии контента %, где чем выше балл, тем лучше — Источник: AnalyzeThis.ru 2009-2011

Теперь перейдем к любимой всеми теме — спам-результатам. Естественно, лучшие результаты для пользователей получают те, у кого процент спама ниже.

Угадай, кто победит? В индексе AnalyzeThis.ru с 2009 года и по сегодняшний день Яндекс ни разу не уступал ни Google, ни Bing. Они действительно заслужили репутацию очень жестких борцов со спамом, и эти цифры подтверждают это.

Явно спамные результаты – чем меньше, тем лучше — Источник: AnalyzeThis.Ru 2009 -2011

Предоставляет ли поисковая система чисто коммерческие ответы на коммерческие вопросы? Здесь показатель на нашей диаграмме ниже тем лучше, чем меньше процент, и снова Яндекс побеждает в России, обыгрывая Bing и обыгрывая Google.

Что наиболее важно, Яндекс показывает непрерывный нисходящий тренд, Bing аналогично и по пунктам лидирует. Google не показал хороших результатов по этому показателю. Возможно, Google не нацелен на эту меру?

Чисто коммерческие ответы на запросы коммерческой тематики – Источник:AnalyzeThis.ru 2009-2011

Яндекс обслуживает только одну страну, но это не совсем так. Есть 15 стран, которые используют кириллицу, и 77 регионов в самой России — и Яндекс стремится везде быть локальным.Культура, уровень жизни и средний доход сильно различаются в обширной области, которую обслуживает Яндекс, поэтому результаты поиска также должны сильно различаться, включая автозаполнение.

Наша окончательная диаграмма показывает процент местных результатов с более высоким баллом победителя. Здесь Яндекс серьезно отстает от Google, и, что касается Bing, их локальные результаты выглядят так, как будто они могут быть случайностью.

Локальные результаты по локальным запросам %: чем выше оценка, тем лучше результат — Источник: AnalyzeThis.ru 2009-2011

Yandex.com, латиница и английская версия Яндекса, описывается как «экспериментальная» и, несмотря на ажиотаж среди западных блоггеров, поясняется, что Яндекс некоторое время работал над индексацией сайтов на других рынках и Намерение состояло не в том, чтобы выйти на международный уровень, а в том, чтобы российские пользователи могли выполнять поиск в латинском тексте, не выходя из Яндекса.

Примерно 7% россиян знают английский язык, но только 1% знает английский язык достаточно хорошо, чтобы спокойно ориентироваться на английском языке и на англоязычных сайтах.Тем не менее российская пресса была очень взволнована выходом Яндекса на международные рынки.

Поэтому я напрямую спрашиваю Илью, есть ли планы по расширению Яндекса на международном уровне. Ответ подтверждает, что планы есть, но, конечно, ничем конкретным они со мной поделиться не могут.

Затем мы перейдем к тому, что вам нужно, чтобы добиться успеха с поисковой системой на местных рынках. Язык и правильное обращение с языком являются важным фактором, но «наличие локальной базы данных влияет примерно на 18% поисковых запросов.«Есть также специфические для рынка вещи, которые вам нужно сделать. Илья говорит: «Мы довольно ясно понимаем, как это сделать!»

ВКонтакте складывается ощущение, что мало делает их аналог в мире социальной сети – иными словами, локальный игрок и социальная сеть номер один. Однако оказывается, что «вКонтакте» — это поисковый запрос номер один в Яндексе, отражающий позицию Facebook в логах Google.

Делаю вывод, что Яндекс очень внимательно наблюдает за Google и ищет его слабое место, прежде чем начать тщательно продуманную атаку.Похоже, что это будет на рынках, где Google является номером один, но только потому, что там нет конкуренции, и на самом деле у Google нет надежной инфраструктуры и локализованного подхода на этом рынке, несмотря на его положение, и нет локальной базы данных.

В следующий раз мы будем иметь дело с подходом Яндекса к алгоритмам машинного обучения и последствиями для российского SEO и SEO в целом.

Новое в поисковой системе

Об авторе

как частично подконтрольная государству поисковая система «Яндекс» выступила посредником в акции протеста против режима

«Все найдется. ( Найдется все .)’

26 марта 2017 года авторитарному режиму России пришлось столкнуться с крупнейшими протестами оппозиции за более чем пять лет. Только в Москве было арестовано не менее тысячи граждан. Тем не менее, в течение всего этого дня антикоррупционные протесты по всей стране едва ли попали в список пяти лучших новостей, якобы основанных на алгоритмах, который российская частично контролируемая государством поисковая система «Яндекс» размещает в верхней части своей веб-страницы.В тот же день алгоритмы Яндекса высвечивали не новости о протестах, а, например, о вылупившихся в парке совах (Голунов, 2017). Это бросающееся в глаза наблюдение вызвало в дни после протестов волну возмущения среди российской оппозиции. Это породило недоверие к алгоритмам Яндекса и вызвало бурные споры об их предполагаемой политической предвзятости. Не только в России, но и во всем мире потенциальные последствия «предвзятости» поисковых систем в последнее время с большой озабоченностью обсуждаются как в научных кругах, так и в общественных кругах (Левченко, 2017; Лохов, 2019; Steiner et al., 2020; Ункель и Хаим, 2019). Как уже говорилось, поисковые системы превратились в одного из самых мощных посредников социально-политической информации в эпоху цифровых технологий (Puschmann, 2019). На этом фоне данное исследование поднимает исследовательский вопрос: если алгоритм Яндекса, входящий в пятерку лучших новостей, был так сильно раскритикован за отсутствие новостей о протестах 26 марта 2017 года, как поисковые алгоритмы компании опосредовали это событие в последующие двадцать месяцев?

Занимаясь этим довольно узким исследовательским вопросом, данное исследование стремится внести свой вклад в заполнение более широкого пробела в существующей литературе о предвзятости поисковых систем в дисциплине коммуникаций.Хотя огромные усилия были направлены на изучение предвзятости поисковых систем в демократическом контексте (Epstein & Robertson, 2015; Granka, 2010; Kulshrestha et al., 2019; Metaxa et al., 2019; Mowshowitz & Kawaguchi, 2005; Steiner et al., 2020; Unkel & Haim, 2019), и растущему объему литературы, посвященной цензуре поисковых систем в Китае (Jiang, 2014; Paltemaa et al., 2020; Vuori & Paltemaa, 2019), на сегодняшний день практически ни одно академическое исследование не установило для расследования потенциальной политизации алгоритмов российской частично контролируемой государством поисковой системы Яндекс (предварительное исследование см. Zavadski & Toepfl, 2019).По состоянию на 2020 год две из пяти самых популярных поисковых систем в мире управлялись компаниями, базирующимися в авторитарных режимах: «Яндекс» в России и «Baidu» в Китае (StatCounter, 2020). Однако «Яндекс» (и российский общественно-политический контекст) отличается от Baidu (и китайского контекста) как минимум в трех важных аспектах. Во-первых, Baidu открыто подвергает цензуре ряд конфиденциальных результатов, т. е. сопровождая их уведомлением о том, что пользователь искал неподходящий элемент (Paltemaa et al., 2020; Vuori & Paltemaa, 2019).Напротив, Яндекс стремится публично заявить, что он не вмешивается в свои поисковые алгоритмы по политическим мотивам (Яндекс, 2017). Во-вторых, российский авторитарный режим, по сравнению с его китайским аналогом, отличается несколько более открытой «лидерско-критической» (Toepfl, 2020) публичной сферой, где даже резкая критика самодержца может циркулировать в нишевых СМИ и ряде интернет-ресурсов. платформы с ограниченным охватом аудитории. Следовательно, веб-контент политически чувствительного содержания, размещенный на IP-адресах, зарегистрированных в России, может быть легко проиндексирован поисковыми роботами.В-третьих, в то время как Китай запретил иностранную компанию Google в 2010 году, Россия представляет собой пример страны, где две поисковые системы, иностранная компания Google (43%) и местная компания Яндекс (53%), имеют сопоставимые доли рынка (StatCounter, 2019).

Чтобы ответить на сформулированный выше исследовательский вопрос, мы сначала представляем краткий обзор академической литературы о социальных последствиях предвзятости поисковых систем, уделяя особое внимание исследованиям, изучающим авторитарные контексты. Впоследствии мы концептуализируем два типа предвзятости поиска, которые мы называем (1) предвзятостью ссылки и (2) предвзятостью источника.После следующего раздела, в котором подробно описывается наш методологический подход и исследовательская этика, мы представляем результаты нашего исследования. В последнем сравнивается посредничество одного громкого политического события (протеста 26 марта) за двадцать месяцев после его совершения в четырех поисковых интерфейсах: поисковых системах (1) , yandex.ru, и (2) . google.ru , а также новостные поисковые системы (3) news.yandex.ru и (4) news.google.ru . Для нашего анализа мы регулярно собирали данные в течение двадцати месяцев (с марта 2017 года по ноябрь 2018 года).Мы использовали набор из девяти поисковых запросов (на русском языке), нацеленных на акции протеста 26 марта. Основываясь на различных типах как ручного, так и автоматизированного контент-анализа полученного набора данных ( N  = 30 471 результатов), мы рисуем детальную аналитическую картину степени ссылочной и исходной предвзятости поисковых алгоритмов Яндекса (в сравнении с их Google аналоги). Кроме того, наш анализ также отслеживает изменения с течением времени и исследует влияние выбора условия запроса. В заключительном разделе мы обсудим, как это исследование продвигает академическую литературу по измерению, роли и последствиям предвзятости поисковых систем в условиях авторитарного правления.

Поисковые системы как метамедиа: предвзятость алгоритмов при авторитарном правлении

За последние три десятилетия появилось множество исследований поисковых систем, и ученые все чаще называют их новыми метамедиа (Metaxa et al., 2019; Pushmann, 2019; Trielli & Diakopoulos, 2020). Как уже говорилось, поисковые системы играют все более важную роль в «распространении и формировании знаний» (Granka, 2010, стр. 364). Было показано, что в демократическом контексте они обладают способностью влиять на общественное мнение (Dutton et al., 2017) и повлиять на колеблющихся избирателей (Epstein & Robertson, 2015). Существующие исследования изучали распределение пристрастных точек зрения в результатах поиска о кандидатах (Metaxa et al., 2019), влияние веб-страниц, контролируемых кандидатами, на охват кандидатов в результатах поиска (Puschmann, 2019) и последствия пристрастного поведения пользователей при поиске. (Триелли и Дьякопулос, 2020 г.). Однако результаты и выводы этих исследований едва ли можно обобщить на недемократический контекст, где преобладают другие политические и правовые условия (Paltemaa et al., 2020; Топфл, 2020).

Несмотря на огромное влияние поисковых систем на поток политической информации даже в авторитарных контекстах (для России см. Kovalev, 2020; для Китая см. Vuori & Paltemaa, 2019), производительность поисковых алгоритмов, управляемых (полу-)государством компаниям, находящимся под контролем ученых, уделялось сравнительно мало внимания со стороны ученых. Среди наиболее заметных исключений, которые исследовали предвзятость поиска и цензуру китайской поисковой системы Baidu, возможно, есть исключения, сделанные Jiang (2014), Vuori and Paltemaa (2019) и Paltemaa et al.(2020). Цзян (2014) сравнивает эффективность государственного Baidu с эффективностью Google на основе данных, собранных до запрета Google в 2010 году. В частности, анализ Цзяна (2014) основан на результатах поиска по 316 популярным интернет-событиям, которые охватывают широкий спектр тем, от официальных кампаний против вульгарности до информации о диссидентах. Исследование обнаруживает низкое совпадение (примерно 6,8%) результатов между двумя поисковыми системами, «подразумевая разные поисковые системы, разные результаты и разные социальные реалии» (стр.229). Палтемаа и др. (2020), напротив, сравнивают 3000 результатов поиска изображений Google.com и Baidu.com, полученных в ответ на ряд потенциально деликатных условий запроса, полученных в мае 2018 года. Все термины относятся к географическим местам, таким как, например, площадь Тяньаньмэнь. Square и, таким образом, не приводил (в отличие, например, от запросов имен диссидентов) к открытым уведомлениям о цензуре. Основываясь на ручном кодировании полученных изображений, Paltemaa et al. (2020) оценили степень «скрытой цензуры» (стр.2067), вписанный в алгоритм Baidu. Они пришли к выводу, что в первую очередь три характеристики алгоритма Baidu способствовали скрытой цензуре и привели к получению в целом крайне нейтральных или лояльных режиму результатов: (1) Baidu направлял пользователей в основном на домены, размещенные в Китае, и, таким образом, подвергались открытой цензуре. ; (2) Baidu вообще не отправляла своих пользователей на иностранные домены за пределами Великого брандмауэра, и (3) поисковый робот компании, похоже, отклонял изображения с конфиденциальными тегами. В другом исследовании Вуори и Палтемаа (2019) анализируют «явную цензуру» (стр.391) в результатах поиска китайской поисковой системы Sina Weibo в ответ на 2387 политически чувствительных слов и фраз. Они пришли к выводу, что «фильтрация поисковых систем [в авторитарном Китае] основана на двухуровневой системе, в которой краткосрочные политические инциденты, как правило, фильтруются в течение коротких периодов времени, а слова, которые способствуют повышению осведомленности оппозиции, как правило, подвергаются цензуре. более непрерывно» (стр. 391).

Это исследование продвигает этот недавно появившийся массив исследований о политизации (полу-)государственных поисковых систем, по крайней мере, в трех важных аспектах.Начнем с того, что это первое исследование, целью которого является систематическая оценка предполагаемой политической предвзятости российской государственной поисковой системы «Яндекс». В отличие от китайской Baidu, Яндекс работает в авторитарном режиме, где открытая цензура поисковых систем по политическим мотивам официально считается неприемлемой (Toepfl, 2020). Во-вторых, чтобы измерить скрытую предвзятость двух наиболее политически значимых алгоритмов Яндекса, в этом исследовании концептуализированы и введены в действие два типа предвзятости поисковых систем, которые также могут быть полезны для будущих исследований посредничества в громких политических событиях: (1 ) смещение источника и (2) смещение эталона.В-третьих, эти два типа предвзятости поисковых систем затем операционализируются и оцениваются эмпирически путем развертывания комбинации ручного и автоматического анализа текста в крупномасштабном наборе данных из более чем 30 000 результатов.

Концептуализация предвзятости ссылок и источников поисковых алгоритмов

За последние три десятилетия специалисты по коммуникациям предложили широкий спектр концепций предвзятости поисковых систем. Однако на самом фундаментальном уровне они согласны с тем, что алгоритмы как технологические артефакты никогда не бывают нейтральными и что, следовательно, неизбежна некоторая форма предвзятости при поиске (Granka, 2010; Haim et al., 2017; Цзян, 2014 г.; Кулшреста и др., 2019 г.; Мовшовиц и Кавагути, 2005 г .; Пушманн, 2019; Ункель и Хаим, 2019). Основная функциональность поисковых алгоритмов состоит в том, чтобы «систематически отдавать предпочтение одним (типам) сайтов по сравнению с другими как при индексации, так и при ранжировании» (Unkel & Haim, 2019, стр. 3; см. также Granka, 2010; Jiang, 2014; Pushmann). , 2019). Как лаконично выразились Мовшовиц и Кавагути (2005), предвзятость при поиске — это, по сути, «относительное понятие» (стр. 1194). Таким образом, операционализируя концепцию эмпирического исследования, ученые должны подумать, по крайней мере, над тремя ключевыми методологическими вопросами.Во-первых, им необходимо указать социальные результаты, которые они стремятся тщательно изучить. Какие люди или группы, как они ожидают, приобретут или потеряют власть, если алгоритм будет развернут в анализируемом политическом контексте? Например, в контексте демократических выборов в нескольких исследованиях изучалась степень, в которой результаты алгоритмов поиска более выгодны для одних партий или политиков по сравнению с другими (Metaxa et al., 2019; Pushmann, 2019; Unkel). и Хаим, 2019).В исследовании, представленном на следующих страницах, мы стремимся проверить предвзятость поисковых систем в контексте протеста против режима в условиях авторитарного правления. Таким образом, мы сосредоточимся на социальных последствиях алгоритмической предвзятости для двух ключевых групп, вовлеченных в такую ​​борьбу за власть: (1) авторитарные политические элиты и (2) их противники, то есть протестующие оппозиции.

Вторым методологическим вопросом, который необходимо решить исследователям, является нормативный эталон, по которому должна оцениваться производительность алгоритма поиска.В большинстве предыдущих исследований в качестве контрольных показателей использовались результаты одной или нескольких других поисковых систем (Jiang, 2014; Kulshrestha et al., 2019; Mowshowitz & Kawaguchi, 2005; Steiner et al., 2020). Другие исследования, напротив, вывели нормативные базовые уровни из связанных сегментов социальной реальности, таких как освещение в традиционных средствах массовой информации или распределение партий в парламенте (Haim et al., 2018; Unkel & Haim, 2019). Настоящее исследование проводится в репрессивном политическом контексте, когда альтернативные базовые принципы, такие как парламентское представительство или освещение в СМИ, можно считать сильно предвзятыми в отношении правящих авторитарных элит.Поэтому мы решили использовать производительность алгоритмов иностранной поисковой системы Google в качестве эталона для оценки производительности алгоритмов российской государственной поисковой системы Яндекс.

В-третьих, при использовании предвзятости поисковых систем исследователи должны указать, как они намерены измерять предвзятость. Какой результат алгоритма будет проанализирован и какими методами? В существующих исследованиях предвзятости поисковых систем были тщательно изучены различные выходные данные, включая полные URL-адреса, домены веб-сайтов и фрагменты контента, представленные на страницах результатов, а также содержание веб-страниц, на которые алгоритмы перенаправляют пользователей (Jiang, 2014; Pushmann). , 2019; Ункель и Хаим, 2019).Для анализа этих данных был применен широкий спектр ручных и автоматизированных подходов (Haim et al., 2018; Metaxa et al., 2019). В настоящем исследовании мы измерили два разных типа предвзятости, применив два принципиально разных методологических подхода. Во-первых, мы оценили то, что мы концептуализируем как «предвзятость источника», основанную на ручной классификации доменов веб-сайтов, которые две поисковые системы выделили в своих списках обычных результатов. Зафиксировав политическую позицию этих веб-сайтов по отношению к правящим элитам России, мы классифицировали эти веб-сайты как критические для руководства, политически критические или некритические источники (более подробную информацию см. в разделе «Методы»).Во-вторых, мы измерили то, что мы называем «смещение ссылок», основанное на автоматическом анализе содержания веб-страниц, на которые списки органических результатов двух компаний перенаправляли своих пользователей. В частности, мы установили, направляли ли поисковые системы пользователей, которые ввели один из девяти поисковых запросов, нацеленных на протестное мероприятие 26 марта, на веб-страницы, содержащие информацию об этом конкретном протестном мероприятии (подробнее см. в разделе «Метод»). В контексте нашего исследования направление пользователей на веб-страницы, на которых размещалась информация о протестах против режима, неизбежно способствовало политическому делу протестующих.Понижение информации о событии, напротив, укрепило властные позиции авторитарных элит.

Сравнение поисковой предвзятости Яндекса и Google: разработка гипотез

За последнее десятилетие сложные отношения между Яндексом и все более авторитарным российским государством перешли от открытого конфликта к сотрудничеству, при этом некоторые критики заявляли о полном «политическом присвоении» Яндекса (Dauce, 2017). , стр. 127). На момент проведения исследования российское государство владело так называемой «золотой акцией» Яндекса через государственный банк Сбербанк, что обеспечивало Сбербанку — и, следовательно, правящим элитам России — массивное, но неформальное влияние на политику компании (Рувинский, 2017).Из-за неформальных связей Яндекса с государством и его частичной собственности мы ожидаем, что Яндекс будет более уязвим для давления правительства по сравнению с глобальным гигантом Google, принадлежащим иностранцам. Можно также предположить, что на «Яндекс» сильнее повлияло постоянно усиливающееся юридическое давление на российские медиакомпании. В частности, что касается алгоритма поиска новостей, федеральный закон «Об агрегаторах новостей» от 2016 года возложил на «Яндекс.Новости» юридическую ответственность за его результаты со ссылками на СМИ, не зарегистрированные в Роскомнадзоре (Лохов, 2019).Примечательно, что закон не коснулся новостного агрегатора Google, так как он распространялся только на новостные агрегаторы с более чем миллионом ежедневных посетителей, которых у Google News в то время не было в России (Левченко, 2017). Принимая во внимание эти доводы, мы предполагаем, что алгоритмы Яндекса, по сравнению с алгоритмами Google, будут выдавать больше результатов поиска, продвигающих сторону правящих политических элит России в конфликте. Таким образом, мы формулируем следующую гипотезу: в течение всего периода в двадцать месяцев и по диапазону поисковых запросов, нацеленных на протесты 26 марта,

h2/h3: поиск Яндекса в Интернете (h2) и поиск Яндекса в новостях (h3) будут последовательно дают результаты, которые демонстрируют более высокую степень предвзятости относительно ссылок (h2a/h3a) и источников (h2b/h3b) в отношении правящих элит России по сравнению с их аналогами из Google.

В авторитарных режимах можно ожидать, что давление правительства на СМИ будет особенно сильным во время политического кризиса, например, сразу после широкомасштабного протеста против режима (Toepfl, 2020). Причина в том, что обычно ожидается, что модели использования СМИ повлияют на решения протеста и дальнейшую мобилизацию (Smyth & Oates, 2015). Более того, тщательно изучая динамику интернет-цензуры в авторитарном Китае, Вуори и Палтемаа (2019) обнаружили, что «кратковременные политические инциденты, как правило, фильтруются в течение коротких периодов времени» (стр.391). На этом фоне мы предполагаем, что акция протеста 26 марта, которую можно было бы также считать относительно кратковременным политическим инцидентом в период политического кризиса, сразу же после нее подверглась особенно ярко выраженной скрытой цензуре. Исходя из этого, мы выдвигаем гипотезу: в первую неделю после акции протеста

h4/h5: веб-поиск Яндекса (h4) и поиск новостей Яндекса (h5), по сравнению с их аналогами в Google, будут особенно склонны позиции правящих элит России.То есть различия в уровнях ссылок (h4a/h5a) и предвзятости источников (h4b/h5b) между двумя поисковыми системами в первую неделю после акции протеста будут значительно больше, чем в оставшийся изучаемый период времени.

Методы

Сбор данных

Чтобы собрать данные для этого исследования, мы автоматически извлекли результаты поиска по девяти поисковым запросам (на русском языке), нацеленным на антикоррупционные протесты в России 26 марта 2017 г., из четырех поисковых систем. : поисковые системы (1) yandex.ru и (2) google.ru , а также новостные агрегаторы (3) news.yandex.ru и (4) news.google.ru . В течение двадцати месяцев после события мы проводили девять запросов ежедневно во время политического кризиса (сразу после протестов в марте и апреле 2017 года) и еженедельно в политически более спокойное время. В общей сложности одни и те же поисковые запросы проводились 105 раз в период с 27 марта 2017 г. по 14 ноября 2018 г. Чтобы уменьшить влияние предвзятости, связанной с пользовательским вводом (т. е. предвзятости, возникающей из-за выбора условий поиска; Mowshowitz & Kawaguchi, 2005; Trielli & Diakopoulos, 2019) мы собрали данные не по одному, а по ряду из девяти тщательно отобранных терминов.Наш выбор запросов основывался на самых популярных запросах о протестах на момент их проведения (Google Trends, 2017 г.) и охватывал весь спектр, от самых общих терминов до очень конкретных терминов (см. русский язык и дополнительные пояснения по этим вариантам см. в дополнительном файле [SF]). Для каждого запроса мы тщательно изучили пять лучших результатов поиска, поскольку предыдущие исследования показали, что пользователи редко выходят за пределы пяти первых результатов, чтобы удовлетворить свои информационные потребности (Epstein & Robertson, 2015).В случае с новостными агрегаторами мы рассматривали пять самых популярных новостных «историй» (несколько новостей, объединенных алгоритмом в одну тему). Кроме того, поскольку мы сосредоточились на обычных результатах поиска, мы не рассматривали рекламу (помеченную как таковую) или информационные окна. В результате мы получили набор данных из 30 471 результатов поиска, из которых 13 353 – уникальные результаты, опубликованные на 1 726 уникальных веб-сайтах.

Опубликовано в Интернете:

В данном исследовании нашей целью было смоделировать результаты поиска, максимально репрезентативные для тех, которые в то время были бы получены обычными жителями Москвы по тем же запросам. Тем не менее, как Google, так и Яндекс, как известно, персонализируют свои результаты поиска. Однако, как показали недавние исследования, эффект персонализации поиска в ответ на политические поисковые запросы, особенно при рассмотрении только лучших результатов, как правило, минимален (Puschmann, 2019; Trielli & Diakopoulos, 2020).Таким образом, использование обезличенных браузеров в настоящее время является широко применяемой стратегией в исследованиях по проверке алгоритмов поисковых систем (см., например, Diakopoulos et al., 2018; Kulshrestha et al., 2019; Paltemaa et al., 2020; Unkel & Haim, 2019). . Приняв эту стратегию, мы удалили всю личную информацию, кроме местоположения и языка, из нашего исследовательского браузера. Чтобы повысить достоверность наших данных, которые мы собрали с помощью исследовательского компьютера в Берлине, мы деактивировали функцию автоматической геолокации в браузере и установили русский язык браузера.Для Google мы использовали локальную версию (google.ru), а язык поиска поставили русский. Для Яндекса появилась возможность выбирать географическое положение вручную. Ставим локацию в Москву.

Обоснованность аналогичного подхода была проверена ранее Zavadski and Toepfl (2019). В ходе теста на надежность Zavadski and Toepfl (2019) провели пробные запросы для девяти выбранных политических событий как в Яндексе, так и в Google. Они выполнили запросы одновременно (9 июня 2017 г.), сравнив результаты, полученные на их исследовательском компьютере за пределами России (с настройками, идентичными применяемым в этом исследовании), с результатами, полученными на пяти разных персонализированных компьютерах, принадлежащих волонтерам, проживающим в Москве.Учитывая 10 лучших результатов, Zavadski and Toepfl (2019) сообщили, что средний уровень согласия составляет 89 % для Google и 82 % для Яндекса. Это совпадение увеличилось до 92% для Google и 86% для Яндекса, когда на компьютерах участников в Москве были удалены истории поиска и файлы cookie. На этом фоне и со ссылкой на недавнее исследование, которое показывает, что и Google, и Яндекс рандомизируют значительную часть своих результатов (Махортых и др., 2020), мы считаем результаты, собранные для этого исследования, в целом репрезентативными для результатов, полученных на стандартных московских компьютерах. .

Измерение предвзятости источников

Чтобы операционализировать предвзятость источников, мы, во-первых, вручную закодировали все уникальные веб-сайты ( N  = 1,726) в (1) новостные веб-сайты, (2) личные веб-сайты (например, блоги, учетные записи в социальных сетях). /группы, форумы), (3) энциклопедии или (4) другие (например, организационные) веб-сайты. На следующем этапе мы ограничили наш анализ первыми двумя категориями веб-сайтов, которые, как мы предполагали, содержат явно политические нарративы: (1) новостные и (2) личные веб-сайты.На эти две категории приходится 1620 уникальных веб-сайтов (94% всех уникальных веб-сайтов) и 26 902 результата поиска (88% от общего числа результатов). Затем мы вручную закодировали каждый из этих уникальных веб-сайтов, опираясь на теорию авторитарной общественности Топфл (2020). Toepfl (2020) предположил, что в авторитарных режимах можно выделить три типа новостных веб-сайтов (как «общественных») в зависимости от степени критики автократа, которую они обычно допускают в своем повседневном освещении новостей. Основываясь на этом подходе, мы различаем:

1. Сайты, критикующие руководство , новостные материалы которых содержат полную политическую критику, обрушивающуюся даже на самодержца.

2. Политически критичные веб-сайты , которые тщательно избегают критики самодержца и высших правящих элит режима, но все же регулярно содержат критику в адрес чиновников более низкого уровня, и в частности политики, за которую отвечают эти чиновники более низкого уровня.

3. Некритичные сайты , которые вообще не распространяют никакой критики ни в адрес самодержца, ни в адрес нижестоящих чиновников (если только эта критика ранее не высказывалась самодержцем).

В ходе ручного кодирования два независимых эксперта-кодировщика (один из которых является автором) присвоили каждому из 1620 уникальных веб-сайтов один из трех типов. Для этого кодировщики начали с поиска на веб-сайте 20 самых последних статей о российском самодержце (поисковый запрос: «Путин»). Если в этих статьях была обнаружена критика автократа, сайт был закодирован как критикующий лидерство (тип 1). Если критики в адрес автократа обнаружить не удавалось, кодировщики проверяли освещение издания на наличие статей по спорным вопросам политики (например,г., на момент кодирования выделялись темы роста бедности и пенсионной реформы в России). Если можно было выявить критику в адрес чиновников более низкого уровня или их политики, веб-сайт был закодирован как политически критичный (тип 2). Если не было выявлено никакой политической критики, кодировщики кодировали веб-сайт как некритичный (тип 3; более подробную информацию об этом процессе кодирования см. в онлайн-ФН). Чтобы проверить надежность интеркодера, два кодировщика дважды закодировали 100 случайно выбранных веб-сайтов. Они достигли удовлетворительного уровня надежности интеркодера (Криппендорф α  = .92).

Чтобы оценить разницу в предвзятости источников между поисковыми системами, мы сравнили разницу в доле только одной категории веб-сайтов: источников, критически важных для лидерства (тип 1). Что касается проверки гипотез, мы сосредоточимся на этом типе источников, потому что веб-сайты, критикующие руководство, были единственными источниками, которые недвусмысленно поддерживали дело протестующих против режима 26 марта (критическое отношение к лидерству). Таким образом, содержание этих веб-сайтов можно считать важным для дела протестующих, поскольку оно может способствовать дальнейшей мобилизации протеста.Напротив, политически критические и некритические СМИ имели тенденцию с разной степенью строгости (1) подчеркивать, что протесты 26 марта не были санкционированы властями и, следовательно, были незаконными, (2) не сообщали о реальных политических требованиях активистов, и (3) не давать ведущим активистам право голоса в виде оригинальных звуковых фрагментов или буквальных цитат. Хотя мы, таким образом, сосредотачиваемся на результатах, критически важных для руководства, для проверки гипотез, мы сообщаем о наличии всех трех типов источников в нашем наборе данных в разделе результатов этой статьи в целях предоставления читателям контекстуальных знаний и исследовательского анализа.

Измерение смещения ссылок

Чтобы измерить смещение ссылок, на первом этапе мы автоматически извлекли весь текстовый контент из 13 353 уникальных веб-страниц, на которые есть ссылки в результатах поиска (исключая комментарии пользователей, если они есть). Мы скачали эти данные за один день (10 января 2019 г.). Подробное обсуждение этических соображений и принятых мер см. в онлайн-журнале SF. На следующем этапе для каждого результата поиска ( N  = 30 471) мы определили, перенаправляет ли он пользователей на веб-страницу, содержащую информацию о акции протеста 26 марта.Для этого алгоритм классификации на основе словаря с использованием предварительно определенного списка терминов, относящихся к событию 26 марта, провел поиск на каждой веб-странице этих терминов и комбинаций этих терминов (используя выражения Regex; полный список терминов и многое другое). подробности о процедуре см. на сайте SF). Веб-страницы, содержащие хотя бы один из терминов, считались релевантными. Чтобы проверить надежность нашего подхода, мы вручную закодировали 500 веб-страниц, случайно выбранных из нашего набора данных. Процентное соответствие между автоматическим кодированием и кодированием человеком составило 96%, что мы сочли весьма удовлетворительным.Чтобы измерить смещение ссылок, мы рассчитали для каждой страницы результатов (учитывая только первые пять результатов) отношение (1) результатов, которые направляли пользователей на веб-страницы, содержащие информацию о акции протеста 26 марта, к (2) всем результатам.

Находки

Как показал первоначальный анализ, прямое совпадение (перекрытие) результатов поиска между парами поисковых систем было относительно низким. Мы рассчитали совпадения как среднее значение, разделив сумму количества результатов поиска из списка A, найденных в списке B, и результатов поиска из списка B, найденных в списке A (без учета различных рейтингов), на общее количество результатов, рассмотренных в каждом из 945 поисковых запросов, собранных в 105 моментов времени за 20-месячный период.В итоге для google.ru и yandex.ru мы получили перекрытие 22,7%. Для news.google.ru и news.yandex.ru перекрытие было значительно ниже — всего 5,7%.

h2a/h3a: смещение ссылок, усредненное за весь 20-месячный период

Чтобы оценить смещение ссылок, мы сначала рассчитали коэффициенты ссылок для каждого поискового термина для каждого раунда поиска. Впоследствии мы усреднили эти эталонные отношения по 105 раундам поиска. В таблице 1 обобщены наши выводы, в которых представлены средние коэффициенты ссылок по поисковым запросам и поисковым системам.Чтобы проверить статистическую значимость средних соотношений ссылок между парами поисковых систем, мы провели t -тестов с независимыми выборками. Как показано в таблице 1, алгоритм поиска в Интернете Яндекса (по сравнению с его аналогом Google) был значительно смещен в отношении протестующих по трем поисковым запросам, в то время как он был предвзят в пользу протестующих только по одному поисковому запросу («демонстрации в России»). . Таким образом, h2a можно считать поддерживаемым. Для сравнения, алгоритм поиска новостей Яндекса (по сравнению с его аналогом Google) был значительно ориентирован на протестующих по шести из девяти поисковых запросов, в то время как он был ориентирован на протестующих только по двум поисковым запросам («антикоррупционные протесты»). , «антикоррупционные митинги»).Эти данные подтверждают h3a.

h2b/h3b: предвзятость источников, агрегированная за 20-месячный период веб-сайт (

1. Оценка предвзятости источника: категории веб-сайтов, представленные поисковой системой.

Примечание. Пропорции представляют собой средние значения по 105 раундам поиска и 9 поисковым запросам (N = 945 для каждой поисковой системы). Категория «Другое» состоит из энциклопедических и прочих (т.г., организационные) веб-сайты.

Рисунок 1. Оценка предвзятости источника: категории веб-сайтов, рекомендуемых поисковой системой.

Примечание. Пропорции представляют собой средние значения по 105 раундам поиска и 9 поисковым запросам (N = 945 для каждой поисковой системы). Категория «Другое» состоит из энциклопедических и других (например, организационных) веб-сайтов.

h4a/h5a: систематическая ошибка ссылок во времени: сравнение первой недели и оставшегося периода для каждого раунда поиска (

2. Измерение смещения ссылок с течением времени по группе поисковых терминов.

Примечание. Для этого рисунка 9 поисковых терминов, используемых в этом исследовании, были сгруппированы по конкретным («антикоррупционные митинги», «антикоррупционные митинги 26 марта», «антикоррупционные протесты», «он не димон вам») и общие поисковые запросы («митинг», «протесты», «демонстрации», «демонстрации в россии», «протесты в россии»).Коэффициенты ссылок — это средние средние значения поисковых запросов одной и той же группы для каждого раунда поиска ( N = 105).

Рис. 2. Измерение смещения ссылок с течением времени по группам поисковых терминов.

Примечание. Для этого рисунка 9 поисковых терминов, используемых в этом исследовании, были сгруппированы по конкретным («антикоррупционные митинги», «антикоррупционные митинги 26 марта», «антикоррупционные протесты», «он не димон вам») и общие поисковые запросы («митинг», «протесты», «демонстрации», «демонстрации в россии», «протесты в россии»).Коэффициенты ссылок — это средние средние значения поисковых запросов одной и той же группы для каждого раунда поиска ( N = 105).

Что касается двух новостных агрегаторов, наши данные также показывают, что сразу после протестов разрыв между эталонными коэффициентами увеличился. В частности, разрыв в соотношении ссылок между Новостями Google и Новостями Яндекса был примерно на 14 процентных пунктов больше в первую неделю после протестов ( M _diff = 24.25%, SD = 5,54%) по сравнению с оставшимся периодом времени ( м _{разных = 9,82%, SD = 80356 SD T (103) = 6,83, P <. 001. Таким образом, наши данные сильно поддерживают h5a.}

h4b/h5b: смещение источника во времени: сравнение первой недели и оставшегося периода отношения извлеченных пропорций веб-сайтов, важных для руководства, как средние средние значения по девяти поисковым запросам.Затем для каждой пары двигателей и суток вычислялись абсолютные различия в соотношениях между двигателями как |μGoogle−μYandex| и сравнили их между первой неделей (