Disclaimer: это не отстранённый текст, как ответ на вопрос на Q, или статья на Хабре, а "пост в блоге", поэтому у меня не стоит цели быть нейтральным, и текст сильно opinionated.
Что такое рынки предсказаний, зачем они нужны и какие бывают
На тему "рынков предсказаний" написано много как научных, так и популярных статей, так что для тех, кто ими интересуется, есть достаточно материалов (например, можно начать с Википедии и кликнуть там на все ссылки). Если говорить максимально общо, то рынок предсказаний это место, в котором пользователь может "поставить" что-нибудь на исход какого-то события, чаще всего деньги. Нетрудно заметить, что под такое определение подходят многие вещи и организации, которые мы в повседневной жизни не называем рынками предсказаний, например:
* Ставки на спорт это идеальный пример рынка предсказаний: есть конкретное событие, и выплаты участникам зависят от его исхода.
* Некоторые финансовые деривативы, например, бинарные опционы, также являются "рынком предсказаний": мы можем поставить деньги на событие вида "цена актива превысит X" (а можем поставить против). Стоит отметить, что большинство деривативов, которые выглядят как рынок предсказаний, ими не являются. Например, цена большинства фьючерсов не имеет ни малейшего отношения к предсказанию будущего. Интересным исключением, достойным отдельной статьи, можно назвать Fed Fund Futures.
В большинстве случаев, когда говорят про рынки предсказаний, букмекеров и биржи исключают из списка. Абстрактный "рынок предсказаний", который приходит на ум, выглядит так: пользователь может создать рынок предсказаний для произвольного события (возможно, после некоторой премодерации), затем можно покупать инструменты вида "получить $1, если событие произойдёт", или "получить $1, если событие не произойдёт", при этом нужно заплатить x в первом случае, или (если всё сделано корректно), $1-x во втором. При соблюдении некоторых условий, таких, как открытость рынка и достаточная ликвидность (объёмы торгов и число участников), цена x должна очень хорошо отражать вероятность наступления этого самого события. Утверждается, что "мудрость толпы" значительно превосходить мудрость отдельных участников, и обогнать рынок очень сложно.
Описанные выши рынки предсказаний есть, но их довольно сложно вести так, чтобы не свалиться в аналог ставок на спорт, и не попасть под соответствующее регулирование (ещё одна интересная тема, например, в России открыть новую букмекерскую контору в разы сложнее, чем, например, новый банк, который тоже открыть непросто). Также многие люди не хотят "играть" на реальные деньги, и такими сервисами не пользуются в принципе. Ещё есть эффект второго порядка, но всё равно достойный упоминания: в примере выше при идеальном поведении игроков x это не вероятность наступления события, а риск-нейтральная вероятность наступления события. Поэтому есть популярные рынки предсказаний, которые предлагают играть на фантики, или на очки.
Популярные рынки предсказаний, и почему я ими не пользуюсь:
* Polymarket, самый популярный рынок на крипте (вообще, рынок предсказаний на криптовалюте это естественное продолжение как криптовалют, так и рынков предсказаний, поэтому их тысячи). Мне не нравится играть на деньги, а кроме как игру я это не готов рассматривать, поэтому не пользуюсь
* PredictIt, рынок на деньги, который смог не свалиться в букмекерство с одной стороны, или в крипту с другой. Помимо того, что на деньги, не открывается из России
* Manifold, рынок на фантики, можно пополнять баланс реальными деньгами, но нельзя выводить деньги. Внимательный читатель сразу заметит perverse incenitive, поэтому я даже не начинал
* Metaculus, рынок на очки, которые не несут ничего, кроме статуса внутри платформы. Это (и синдром утёнка) привели к тому, что я регулярно делаю предсказания именно там
Metaculus и его метрики
Осенью 2023 они серьёзно переработали схему с очками, до переработки она выглядела следующим образом:
* Можно выставлять свою оценку вероятности произвольному событию, при этом предсказание можно и нужно менять при поступлении новой информации, иначе будешь хуже других
* За каждый вопрос после его окончания можно получить или потерять очки, при этом сколько очков получишь и потеряешь, видно до предсказания. Сумма не 0, есть область, в которой при любом исходе получаешь положительное количество очков
* Очки за все вопросы скалдываются, и в профиле видно, кто на каком месте по сумме этих очков
* Также доступен Brier score, средневзвешенный по недавности вопроса. Свой можно посмотреть просто так, чужой -- за виртуальную валюту
Соответственно, можно было мериться очками, а можно Brier score. С моей точки зрения, обе метрики не очень хорошо подходят. Положительные в среднем очки дают большую фору тем, кто просто отвечает на все вопросы подряд так же, как "community" (в вопросе отображается медианное предсказание, медиана тоже взвешена временем предсказания, чтобы при серьёзном изменении ситуации оперативно реагировать на него). А маленький Brier Score очень легко набрать, если отвечать только на вопросы вида "Будет ли Земля завтра вращаться вокруг своей оси?" Зато мне понравились их турниры, которые оцениваются по совершенно иной системе:
- В турнире участвует некоторое подмножество вопросов, которые объединены какой-то общей тематикой. Иногда все вопросы турнира задаются в его начале, иногда новые вопросы добавляются по ходу турнира
- Для каждого вопроса, на который пользователь дал ответ, считается разница между логарифмом верного предсказания пользователя (a.k.a. logloss), и той же метрикой, но для community
- Для всех отвеченных вопросов эти показатели складываются, это называется score. Score мне нравится тем, что имеет интуитивно понятное значение: если пользователь угадал лучше, чем сообщество, то он положительный, а если хуже, то отрицательный. К сожалению, только по score ранжировать пользователей в турнире нельзя, иначе можно ответить на 1 вопрос, очень хорошо угадать, и победить
- Поэтому считается ещё один показатель, coverage, тоже интуитивно понятный. Для вопросов, на которые пользователь не отвечал, он равен 0, а для тех, на которые ответил -- доле времени, в течение которого было доступно предсказание пользователя. Например, вопрос висел 3 месяца, пользователь сделал превое предсказание через месяц после старта, а потом регулярно его обновлял. Тогда его coverage на этот вопрос: 2/3.
- Итоговая метрика, по которой ранжируют пользователей, называется Take, и считается так: exp(score) * coverage. Таким образом достигается баланс между ответом на все вопросы, но плохим, и ответом всего на один вопрос, но хороший. Интуитивно понятное значение: если Take > 1, то пользователь выступил лучше "сообщества", если < 1, то хуже.
После переработки числа, которыми можно мериться, стали сильно менее интуитивными, но, скорее всего, более пригодными к тому, чтобы ими мериться.
Личные наблюдения
Некоторое время я периодически поглядывал на Metaculus, особенно в области политических предсказаний, но не регистрировался, и никаких предсказаний сам не делал. Зарегистрировался в январе 2022, чтобы поставить вероятность 1% вопросу "вторгнется ли Россия на Украину в 2022 году". Чтож. После этого преиодически отвечал, и иногда обновлял свои предсказания, а летом 2023 поучаствовал в "квартальном турнире". В нём все вопросы заканчиваются не позже, чем в конце квартала, и периодически добавляются новые, причём на совершенно разные темы. Это было очень интересным опытом, хотя и немного бьющим по самооценке. Изначально поставил себе такие цели, возрастающие, в моём представлении, по сложности:
- Получить score > 0, то есть, быть лучше сообщества на тех вопросах, на которых ответил
- Войти в топ-25% в турнире
- Получить take > 1, то есть, в целом в турнире быть лучше сообщества
- Войти в топ-10
Оказалось, что самая сложная из целей это не топ-10, а take > 1. Я таки со скрипом получил take > 1, и таких пользователей в турнире было 3 (из 800), так что я занял 3 место. У 10 места take = 0.381, то есть, можно было ответить на 40% вопросов так же, как сообщество, и занять 10 место. Основные выводы, которые я вынес за уже 2 года предсказаний на сайте:
- Wisdom of the crowd это реально существующая вещь, но со своими ограничениями. Скорее всего, если до прочтения вопроса ты в теме не разбираешься, то не получится немного почитать, и оказаться лучше медианного значения. Но если есть понимание предмета чуть лучше, чем поверхностное, то часто можно видеть, где предскзаание сообщества заметно отличается от реальности, и быть правым.
- Можно читать топ популярных вопросов вместо новостной ленты, и не пропустить ничего интересного, такого, как LK-99, или прохождение через Конгресс акта об НЛО
- Уметь хорошо оценивать base rate это полезный навык, и его вполне можно натренировать на prediction market-е
- Участие в турнире по общим вопросам хорошо показывает глубину заблуждения о своих способностях к предсказанию
Из минусов можно отметить, что сообщество на самом деле очень маленькое, всего несколько тысяч участников. При этом, как и везде, они делятся на клюв, в котором люди отвечают на десятки тысяч вопросов в год, и хвост, который либо отвечает на вопросы в конкретной теме, либо вообще на 2-3 вопроса в год. Тем удивительнее, что эта схема реально производит хорошие результаты.
В общем, рекомендую всем попробовать поучаствовать в рынках предсказаний. Если хочется, то можно на деньги на Polymarket, но лучше нет. Если хочется подружиться с Юдковским, то лучше на Manifold. Но можно и на Metaculus :-)