Kalshi 첫 번째 연구 보고서 발표: CPI 예측에서 집단 지성이 월스트리트 싱크탱크를 어떻게 이기는가

이 글은 다음에서 가져왔습니다: Kalshi Research

편집｜Odaily 별구 일보 Azuma

편집자의 말: 주요 예측 시장 플랫폼 Kalshi는 어제 새로운 연구 보고서 섹션인 Kalshi Research를 출시했다고 발표했습니다. 이는 예측 시장 관련 주제에 관심이 있는 학자와 연구자들에게 Kalshi의 내부 데이터를 제공하기 위한 것입니다. 이 섹션의 첫 번째 연구 보고서가 이미 발표되었으며, 원문 제목은 《 Kalshi가 인플레이션 예측에서 월가보다 우수하다》（Beyond Consensus: Prediction Markets and the Forecasting of Inflation Shocks）입니다.

다음은 해당 보고서의 원문 내용으로, Odaily 별구 일보가 번역하였습니다.

개요

일반적으로 중요한 경제 통계 데이터가 발표되기 전 주에 대형 금융 기관의 분석가와 고위 경제학자들은 예상 수치에 대한 예측을 제공합니다. 이러한 예측이 모여 "합의 예측"이라고 불리며, 시장 변화와 포지션 조정에 대한 중요한 참고 자료로 널리 여겨집니다.

본 연구 보고서에서는 합의 예측과 Kalshi 예측 시장의 암묵적 가격(이하 "시장 예측"이라고도 함)이 동일한 핵심 거시 경제 신호인 ------ 전년 동기 전체 인플레이션율(YOY CPI) ------의 실제 수치에 대한 성과를 비교했습니다.

핵심 하이라이트

• 전체 정확성 우위: 모든 시장 환경에서(정상 환경 및 충격 환경 포함), Kalshi 예측의 평균 절대 오차(MAE)는 합의 예측보다 40.1% 낮습니다.
• "충격 알파"(Shock Alpha): 중대한 충격이 발생할 때(0.2% 초과), 예측 창이 일주일 전일 경우 Kalshi의 예측은 합의 예측의 MAE보다 50% 낮으며, 데이터 발표 하루 전에는 MAE가 60%로 확대됩니다. 중간 충격이 발생할 때(0.1 - 0.2% 사이), 예측 창이 일주일 전일 경우 Kalshi의 예측은 "합의 예측"의 MAE보다 50% 낮으며, 데이터 발표 하루 전에는 56.2%로 확대됩니다.
• 예측 신호(Predictive Signal): 시장 예측과 합의 예측의 편차가 0.1%를 초과할 때, 예측이 충격이 발생할 확률은 약 81.2%이며, 데이터 발표 하루 전에는 약 82.4%로 상승합니다. 시장 예측과 합의 예측이 일치하지 않는 경우, 시장 예측은 75%의 사례에서 더 정확합니다.

배경

거시 경제 예측자는 내재된 도전에 직면해 있습니다: 가장 중요한 예측 시점 ------ 즉, 시장의 혼란, 정책 전환 및 구조적 단절 시점 ------가 역사적 모델이 가장 쉽게 실패하는 단계이기 때문입니다. 금융 시장 참여자는 일반적으로 주요 경제 데이터 발표 며칠 전에 합의 예측을 발표하여 전문가 의견을 시장의 예측으로 통합합니다. 그러나 이러한 합의 의견은 가치가 있지만 종종 유사한 방법론적 경로와 정보 출처를 공유합니다.

기관 투자자, 위험 관리자 및 정책 입안자에게 예측 정확성의 이해관계는 비대칭적입니다. 논란이 없는 시기에는 약간 더 나은 예측이 제한된 가치를 제공할 수 있지만, 시장 혼란 시기 ------ 변동성이 급증하고 상관관계가 붕괴되거나 역사적 관계가 무효화될 때 ------ 더 나은 정확성은 상당한 알파 수익을 가져오고 손실을 제한할 수 있습니다.

따라서 시장 변동 시 매개변수의 행동 특성을 이해하는 것이 중요합니다. 우리는 핵심 거시 경제 지표인 ------ 전년 동기 전체 인플레이션율(YOY CPI) ------에 초점을 맞출 것입니다. 이는 향후 금리 결정의 핵심 참고 지표이자 경제 건강 상태를 측정하는 중요한 신호입니다.

우리는 공식 데이터 발표 전 여러 시간 창에서 예측 정확성을 비교하고 평가했습니다. 우리의 핵심 발견은 이른바 "충격 알파"가 실제로 존재한다는 것입니다 ------ 즉, 극단적 사건에서 시장 기반 예측이 합의 기준보다 추가적인 예측 정확성을 달성할 수 있습니다. 이러한 초과 성과는 순수한 학문적 의미를 넘어, 예측 오차가 가장 높은 경제 비용을 초래하는 중요한 시점에서 신호 품질을 크게 향상시킬 수 있습니다. 이러한 맥락에서 진정으로 중요한 질문은 예측 시장이 "항상 정확한지"가 아니라, 그것들이 전통적인 의사 결정 프레임워크에 포함될 가치가 있는 차별화된 신호를 제공하는지 여부입니다.

방법론

데이터

우리는 Kalshi 플랫폼에서 예측 시장 거래자가 제공하는 일일 암묵적 예측 값을 분석했습니다. 이는 세 가지 시간 노드를 포함합니다: 데이터 발표 일주일 전(합의 예측 발표 시간과 일치), 발표 하루 전, 발표 당일 오전. 사용된 각 시장은(또는 과거에 존재했던) 실제 거래 가능한 시장으로, 다양한 유동성 수준에서의 실제 자금 포지션을 반영합니다. 합의 예측에 대해서는 기관 차원의 YoY CPI 합의 예측을 수집했으며, 이러한 예측은 일반적으로 미국 노동 통계국의 공식 데이터 발표 약 일주일 전에 발표됩니다.

샘플 기간은 2023년 2월부터 2025년 중반까지로, 25개월 이상의 CPI 발표 주기를 포함하며 다양한 거시 경제 환경을 아우릅니다.

충격 분류

우리는 역사적 수준에 대한 "예상 외의 정도"에 따라 사건을 세 가지로 분류했습니다. "충격"은 합의 예측과 실제 발표 데이터 간의 절대 차이로 정의됩니다:

• 정상 사건: YOY CPI의 예측 오차가 0.1% 미만;
• 중간 충격: YOY CPI의 예측 오차가 0.1%에서 0.2% 사이;
• 중대한 충격: YOY CPI의 예측 오차가 0.2% 초과.

이 분류 방법은 예측 우위가 예측 난이도에 따라 시스템적으로 차이를 보이는지를 검증할 수 있게 해줍니다.

성과 지표

예측 성과를 평가하기 위해 다음 지표를 사용했습니다:

• 평균 절대 오차(MAE): 주요 정확성 지표로, 예측 값과 실제 값 간의 절대 차이의 평균값을 계산합니다.
• 승률: 합의 예측과 시장 예측 간의 차이가 0.1%에 도달하거나 초과할 때(소수점 한 자리로 반올림) 어떤 예측이 최종 실제 결과에 더 가까운지를 기록합니다.
• 예측 시간 범위 분석: 우리는 시장 평가의 정확성이 발표 일주일 전부터 발표일에 걸쳐 어떻게 점진적으로 변화하는지를 추적하여 지속적으로 정보를 포함하는 것의 가치를 드러냅니다.

결과: CPI 예측 성과

전체 정확성이 더 우수함

모든 시장 환경에서, 시장 기반의 CPI 예측은 합의 예측에 비해 평균 절대 오차(MAE)가 40.1% 낮습니다. 모든 시간 범위에서 시장 기반의 CPI 예측 MAE는 합의 예측보다 40.1% (일주일 전)에서 42.3% (하루 전)까지 낮습니다.

또한, 합의 예측과 시장 암묵적 값 간에 불일치가 있을 경우, Kalshi의 시장 기반 예측은 통계적으로 유의미한 승률을 보이며, 범위는 일주일 전의 75.0%에서 발표 당일의 81.2%까지입니다. 만약 합의 예측과 동등한 경우(소수점 한 자리로 정확히 맞춘 경우)를 포함하면, 시장 기반 예측은 일주일 전 약 85%의 경우 합의와 동등하거나 더 나은 성과를 보입니다.

이렇게 높은 방향성 정확도는 시장 예측과 합의 예측 간의 불일치가 "충격 사건이 발생할 가능성"에 대해 상당한 정보 가치를 가진다는 것을 나타냅니다.

"충격 알파"가 실제로 존재함

예측 정확성의 차이는 충격 사건 기간 동안 특히 두드러집니다. 중간 충격 사건에서, 발표 시간이 일치할 때 시장 예측의 MAE는 합의 예측보다 50% 낮으며, 데이터 발표 하루 전에는 이 우위가 56.2%로 확대됩니다; 중대한 충격 사건에서, 발표 시간이 일치할 때 시장 예측의 MAE도 합의 예측보다 50% 낮으며, 데이터 발표 하루 전에는 60% 이상에 이를 수 있습니다; 반면 충격이 발생하지 않는 정상 환경에서는 시장 예측과 합의 예측의 성과가 대체로 비슷합니다.

충격 사건의 샘플 수가 적긴 하지만(이는 "충격이 본래 예측하기 어려운" 세계에서 합리적입니다), 전체적인 패턴은 매우 명확합니다: 예측 환경이 가장 어려울 때, 시장의 정보 집합 우위가 가장 큰 가치를 발휘합니다.

그러나 더 중요한 것은 Kalshi의 예측이 충격 기간 동안 더 우수한 성과를 보이는 것뿐만 아니라, 시장 예측과 합의 예측 간의 불일치 자체가 충격이 곧 발생할 신호일 수 있다는 것입니다. 불일치가 있는 경우, 시장 예측은 합의 예측에 대해 75%의 승률을 보입니다(비교 가능한 시간 창 내에서). 또한 임계값 분석은 시장과 합의의 편차가 0.1%를 초과할 때, 충격이 발생할 확률이 약 81.2%에 달하며, 데이터 발표 하루 전에는 이 확률이 약 84.2%로 상승함을 보여줍니다.

이러한 실질적인 차이는 의미가 큽니다: 예측 시장은 단순히 합의 예측과 나란히 경쟁하는 예측 도구로 기능할 수 있을 뿐만 아니라, 예측 불확실성에 대한 "메타 신호"로서 시장과 합의 간의 불일치를 잠재적인 예기치 않은 결과를 경고하는 조기 지표로 변환할 수 있습니다.

파생 논의

명백한 질문이 뒤따릅니다: 왜 충격 기간 동안 시장 예측이 합의 예측보다 우수할까요? 우리는 이 현상을 설명하기 위해 세 가지 상호 보완적인 메커니즘을 제안합니다.

시장 참여자의 이질성과 "집단 지혜"

전통적인 합의 예측은 여러 기관의 관점을 통합하지만, 종종 유사한 방법론적 가정과 정보 출처를 공유합니다. 계량 경제 모델, 월가 연구 보고서 및 정부 데이터 발표는 높은 중복성을 가진 공동 지식 기반을 형성합니다.

반면, 예측 시장은 서로 다른 정보 기반을 가진 참여자들이 보유한 포지션을 집결합니다: 독점 모델, 산업 차원의 통찰, 대체 데이터 출처 및 경험 기반의 직관적 판단을 포함합니다. 이러한 참여자 다양성은 "집단 지혜"(wisdom of crowds) 이론에서 확고한 이론적 기반을 가지고 있습니다. 이 이론은 참여자가 관련 정보를 알고 있으며 그들의 예측 오차가 완전히 관련이 없을 때, 다양한 출처에서 독립적인 예측을 집계하면 더 나은 추정 결과를 생성할 수 있다는 것을 보여줍니다.

거시 환경이 "상태 전환"을 겪을 때, 이러한 정보 다양성의 가치는 더욱 두드러집니다 ------ 산발적이고 국소적인 정보를 가진 개인들이 시장에서 상호작용하여 그들의 정보 조각이 결합되어 집단 신호를 형성합니다.

참여자 인센티브 구조의 차이

기관 차원의 합의 예측자는 종종 복잡한 조직 및 명성 시스템에 위치해 있으며, 이 시스템은 "순수하게 예측 정확성을 추구하는" 목표에서 체계적으로 벗어납니다. 직업 예측자가 직면하는 직업적 위험은 비대칭적인 수익 구조를 형성합니다 ------ 큰 예측 실수는 상당한 명성 비용을 초래하며, 예측이 매우 정확하더라도, 특히 동료 합의에서 크게 벗어난 정확성은 비례하는 직업적 보상을 얻지 못할 수 있습니다.

이러한 비대칭성은 "군중 행동"(herding)을 유발하여, 예측자가 자신의 예측을 합의 값 근처로 모으는 경향이 있습니다. 그 이유는 직업 시스템에서 "고립된 실수를 범하는" 비용이 "고립된 정확성을 얻는" 수익보다 높기 때문입니다.

이에 비해 예측 시장 참여자가 직면하는 인센티브 구조는 예측 정확성과 경제적 결과 간의 직접적인 정렬을 실현합니다 ------ 예측 정확성은 이익을 의미하고, 예측 오류는 손실을 의미합니다. 이 시스템에서는 명성 요소가 거의 존재하지 않으며, 시장 합의에서 벗어나는 유일한 대가는 경제적 손실이며, 이는 예측이 정확한지 여부에 전적으로 달려 있습니다. 이러한 구조는 예측 정확성에 대한 더 강한 선택 압력을 가합니다 ------ 합의 예측 오류를 체계적으로 식별할 수 있는 참여자는 자본을 지속적으로 축적하고, 더 큰 포지션 규모를 통해 시장에서의 영향력을 강화합니다; 반면, 합의에 기계적으로 따르는 참여자는 합의가 잘못된 것으로 판명될 때 지속적으로 손실을 입게 됩니다.

불확실성이 크게 증가하는 시기에, 기관 예측자가 전문가 합의에서 벗어나는 직업적 비용이 최고조에 달할 때, 이러한 인센티브 구조의 분화는 가장 두드러지며 경제적으로도 가장 중요합니다.

정보 집합 효율성

주목할 만한 경험적 사실은: 데이터 발표 일주일 전 ------ 이 시점은 합의 예측 발표의 전형적인 시간 창과 일치합니다 ------ 시장 예측이 여전히 상당한 정확성 우위를 보인다는 것입니다. 이는 시장 우위가 단순히 예측 시장 참여자가 일반적으로 언급되는 "정보 획득 속도 우위"에서 비롯된 것이 아님을 나타냅니다.

반대로, 시장 예측은 공식적으로 전통적인 계량 경제 예측 프레임워크에 포함되기 어려운 지나치게 분산되거나 산업화되거나 모호한 정보 조각을 더 효율적으로 집계할 수 있습니다. 예측 시장의 상대적 우위는 공공 정보에 더 일찍 접근하는 것이 아니라, 동일한 시간 척도 내에서 이질적 정보를 더 효과적으로 통합할 수 있는 능력에 있을 수 있습니다 ------ 설문 조사 기반의 합의 메커니즘은 동일한 시간 창을 가지고 있더라도 이러한 정보를 효율적으로 처리하기 어려운 경우가 많습니다.

한계 및 주의 사항

우리의 연구 결과는 중요한 제한 사항이 필요합니다. 전체 샘플이 약 30개월만을 포함하고 있으며, 중대한 충격 사건은 정의상 매우 드물기 때문에, 큰 극단적 사건에 대한 통계적 효력이 여전히 제한적입니다. 더 긴 시간 시퀀스는 향후 추론 능력을 강화할 것이며, 현재의 결과는 이미 시장 예측의 우수성과 신호의 차별성을 강하게 암시합니다.

결론

우리는 예측 시장이 전문가 합의 예측에 비해 시스템적이고 경제적 의미에서 특히 두드러진 성과를 기록했음을 확인했습니다. 특히 예측 정확성이 가장 중요한 충격 사건 기간 동안입니다. 시장 기반의 CPI 예측은 전체적으로 약 40% 낮은 오차를 보이며, 중대한 구조적 변화 기간에는 오차가 약 60%까지 감소할 수 있습니다.

이러한 발견을 바탕으로, 향후 몇 가지 연구 방향이 특히 중요해집니다: 첫째, 더 큰 샘플 규모와 다양한 거시 경제 지표를 통해 "충격 알파" 사건 자체가 변동성과 예측 불일치 지표를 통해 예측될 수 있는지를 연구하는 것입니다; 둘째, 예측 시장이 어떤 유동성 문턱 이상에서 전통적인 예측 방법을 안정적으로 초과할 수 있는지를 조사하는 것입니다; 셋째, 예측 시장의 예측 값과 고빈도 거래 금융 도구에서 암시되는 예측 값 간의 관계를 연구하는 것입니다.

합의 예측이 강한 상관관계 모델 가정과 공유 정보 집합에 크게 의존하는 환경에서, 예측 시장은 대체적인 정보 집합 메커니즘을 제공하여 상태 전환을 더 일찍 포착하고 이질적 정보를 더 효율적으로 처리할 수 있습니다. 구조적 불확실성과 극단적 사건의 빈도가 증가하는 경제 환경에서 의사 결정을 내려야 하는 주체에게 "충격 알파"는 단순히 예측 능력의 점진적 개선을 나타내는 것이 아니라, 그들의 견고한 위험 관리 기반 시설의 기본 구성 요소가 되어야 할 것입니다.

원문 링크