
Люди лгут друзьям, возлюбленным, врачам, в опросах и самим себе. Но в Google они могут делиться неловкой информацией.
Цифровая сыворотка правды. Поисковые запросы в Google предоставляют уникальное окно в истинные мысли, желания и поведение людей. В отличие от опросов или постов в социальных сетях, где люди часто представляют идеализированную версию себя, поисковые запросы в Google обычно честны и не фильтруются. Эта "цифровая сыворотка правды" позволяет исследователям раскрывать скрытые истины о человеческой природе, которые ранее было трудно или невозможно изучать.
Неожиданные инсайты. Анализ данных поисковых запросов Google выявил неожиданные закономерности в человеческом поведении. Например:
Изучая агрегированные данные поисковых запросов, исследователи могут получить инсайты по чувствительным темам, таким как расизм, сексуальность и психическое здоровье, которые люди часто неохотно обсуждают открыто.
Самый показательный факт, который я нашел относительно ненависти в интернете, это популярность слова "ниггер".
Раскрытие скрытой предвзятости. Традиционные опросы часто не могут отразить истинный масштаб расизма и предвзятости в обществе, так как люди неохотно признаются в социально неприемлемых взглядах. Однако анализ данных поисковых запросов Google выявляет тревожную распространенность расистских настроений:
Измерение воздействия. Эти данные позволяют исследователям количественно оценить реальные эффекты расизма:
Предоставляя точные данные о распространенности и влиянии расизма, анализ больших данных предлагает мощный инструмент для понимания и борьбы с предвзятостью в обществе.
Полностью 25 процентов женских запросов на гетеросексуальное порно подчеркивают боль и/или унижение женщины.
Скрытые желания раскрыты. Поисковые запросы и модели потребления порнографии предлагают беспрецедентные инсайты в человеческую сексуальность:
Вызов предположениям. Эти данные часто противоречат общепринятым представлениям о сексуальности:
Хотя эти данные должны интерпретироваться с осторожностью, они предоставляют ценные инсайты в сложность и разнообразие человеческих сексуальных желаний, которые часто скрыты от глаз в повседневной жизни.
Facebook — это цифровая сыворотка хвастовства о том, как хороша моя жизнь.
Кураторские персоны. Посты в социальных сетях часто представляют идеализированную версию жизни людей, демонстрируя только положительные переживания и социально желательные черты. Это может создавать вводящую в заблуждение картину реальности:
Данные поисковых запросов против социальных сетей. Поисковые запросы в Google раскрывают совершенно другую картину жизни людей:
Чтобы точно понять человеческое поведение, исследователи должны смотреть за пределы кураторских образов, представленных в социальных сетях, и изучать нефильтрованные желания и заботы, раскрытые в частных поисковых запросах.
Самый важный год в жизни мужчины, с точки зрения закрепления его любимой бейсбольной команды во взрослом возрасте, это когда ему примерно восемь лет.
Критические периоды. Анализ больших данных показывает, что многие из наших взрослых предпочтений и убеждений сильно зависят от переживаний в определенные периоды детства:
Долгосрочное воздействие. Эти детские отпечатки могут иметь значительные эффекты на протяжении всей жизни:
Понимание этих критических периодов предлагает инсайты в то, как формируются предпочтения и убеждения, и может предоставить возможности для позитивных вмешательств в ключевые этапы развития.
Facebook теперь проводит тысячу A/B тестов в день, что означает, что небольшое количество инженеров в Facebook начинает больше рандомизированных, контролируемых экспериментов в день, чем вся фармацевтическая индустрия начинает за год.
Быстрое экспериментирование. Интернет сделал возможным проведение крупномасштабных рандомизированных экспериментов быстро и дешево:
Неожиданные результаты. A/B тестирование часто показывает, что наши интуиции о человеческом поведении ошибочны:
Позволяя быстрое, основанное на данных принятие решений, A/B тестирование трансформирует то, как работают бизнесы и как социальные ученые проводят исследования. Однако этика постоянного эксперимента над пользователями без их ведома поднимает важные вопросы.
Мы не можем слепо доверять данным правительства. Правительство может сказать нам, что уровень жестокого обращения с детьми или абортов снизился, и политики могут праздновать это достижение. Но результаты, которые мы думаем, что видим, могут быть артефактом недостатков в методах сбора данных.
Ограничения больших данных. Хотя мощные, анализ больших данных имеет важные ограничения:
Этические проблемы. Использование больших данных поднимает значительные этические вопросы:
Чтобы ответственно использовать весь потенциал больших данных, исследователи и политики должны справляться с этими ограничениями и этическими проблемами. Сочетание инсайтов больших данных с традиционными методами исследования и этическими рамками будет ключевым для достижения значимого прогресса при защите прав личности.
Сет Стивенс-Давидовиц — американский специалист по анализу данных, экономист и автор. Он получил степень доктора философии в области экономики в Гарвардском университете и работал специалистом по анализу данных в компании Google. Стивенс-Давидовиц известен своим инновационным использованием больших данных для изучения человеческого поведения и общественных тенденций. Его исследования сосредоточены на использовании данных интернет-поисков и других цифровых источников для получения представлений о настоящих мыслях и действиях людей. Он писал для таких изданий, как The New York Times, и выступал с докладами о своей работе в различных учреждениях. Подход Стивенса-Давидовица к анализу данных оказал значительное влияние на области экономики, психологии и социальных наук.
Комментарий эксперта
Основатель “Gamification Now!”
Занимается геймификацией с 2012 года.
«Все лгут» — это, по сути, манифест о разрыве между декларируемым и реальным поведением пользователей, что для меня является критически важной метрикой при проектировании поведенческих систем. Сет Стивенс-Давидовиц грамотно использует свой бэкграунд в Google, доказывая, что поисковая строка работает эффективнее любого социологического опроса, так как очищает данные от фактора социальной желательности. Качество раскрытия темы «цифровой правды» высокое: автор убедительно демонстрирует, как Big Data деконструируют наши представления о мотивации людей, заменяя интуицию жесткой статистикой запросов. Это отличная база для понимания того, как пользователи действуют на самом деле, когда думают, что за ними никто не наблюдает, что полезно для калибровки любых вовлекающих механик. При этом книга страдает от типичных болезней популярного нон-фикшна: глубокая аналитика часто подменяется развлекательным контентом с упором на шок-фактор — порнографию, скрытый расизм и фобии. Стиль изложения доступный, но местами слишком поверхностный, а постоянные самоповторы одних и тех же примеров размывают ценность инсайтов. Стивенс-Давидовиц отлично диагностирует скрытые паттерны через данные, но практически игнорирует этическую сторону вопроса и риски нарушения приватности, рассматривая людей исключительно как набор дата-поинтов. Книгу стоит воспринимать как качественный вводный курс в поведенческую аналитику, но не как техническое руководство по работе с большими данными.