a16z：시장 방향의 폭발적인 성장을 예측하는 핵심은 무엇인가요?

저자: a16z

편집: 가환, ChainCatcher

작년, 베네수엘라 대통령 선거 결과에 대한 예측 시장 거래액은 600만 달러를 초과했습니다. 그러나 개표가 끝났을 때, 시장은 불가능한 상황에 직면했습니다: 정부는 니콜라스 마두로의 승리를 발표했지만, 야당과 국제 감시자들은 부정행위를 주장했습니다. 예측 시장의 결의는 과연 "공식 정보" (마두로의 승리)를 따르거나 "신뢰할 수 있는 보도의 합의" (야당의 승리)를 따라야 할까요?

베네수엘라 선거 사건에서 감시자들의 주장은 점점 심각해졌습니다: 그들은 규칙이 무시되고, 사용자 자금이 '도난당했다'고 비난하며, 이 결의 메커니즘이 정치적 게임에서 권력을 독점하고 있다고 강하게 비판했습니다. 즉 '판사, 배심원, 집행자'의 역할을 모두 맡고 있으며, 심지어 심각한 조작을 당했다고 주장했습니다.

이것은 고립된 작은 사건이 아닙니다. 제가 생각하기에 예측 시장이 규모화 과정에서 직면하는 가장 큰 병목 중 하나는 바로: 계약의 판별입니다.

여기서의 위험은 매우 높습니다. 판별이 적절하게 처리되면 사람들은 당신의 시장을 신뢰하고 거래를 원하게 되며, 가격은 사회적으로 의미 있는 신호가 됩니다. 반면 판별이 부적절하게 처리되면 거래는 실망스럽고 예측할 수 없게 됩니다. 참여자들은 이탈할 수 있으며, 유동성은 고갈될 위험에 처하고, 가격은 더 이상 안정된 목표에 대한 정확한 예측을 반영하지 않게 됩니다. 대신 가격은 결과 발생의 실제 확률과 거래자가 왜곡된 결의 메커니즘이 어떻게 판별할 것인지에 대한 신념이 혼합된 모호한 형태를 반영하기 시작합니다.

베네수엘라의 논란은 상대적으로 고조되었지만, 다양한 플랫폼에서 더 은밀한 실패가 자주 발생합니다:

• 우크라이나 지도 조작 사건은 상대방이 어떻게 직접적으로 게임 결의 메커니즘을 통해 이익을 얻는지를 보여줍니다. 영토 통제권에 대한 계약은 특정 온라인 지도를 기준으로 결의가 이루어진다고 규정되어 있습니다. 누군가가 계약 결과에 영향을 미치기 위해 그 지도를 수정했다고 전해집니다. 당신의 "진리 출처"가 조작될 수 있다면, 당신의 시장도 조작될 수 있습니다.

• 정부 셧다운 계약은 결의 출처가 어떻게 부정확하거나 적어도 예측할 수 없는 결과를 초래하는지를 보여줍니다. 결의 규칙은 시장이 미국 인사 관리국 웹사이트에 표시된 셧다운 종료 시간을 기준으로 보상한다고 규정하고 있습니다. 트럼프 대통령은 11월 12일에 자금 법안을 서명했지만, 불명확한 이유로 OPM 웹사이트는 11월 13일까지 업데이트되지 않았습니다. 셧다운이 12일에 종료될 것이라고 정확히 예측한 거래자들은 웹사이트 관리자의 지연으로 인해 베팅에서 패배했습니다.

• 젤렌스키 정장 시장은 이해 충돌에 대한 우려를 불러일으켰습니다. 이 계약은 우크라이나 대통령 젤렌스키가 특정 행사에서 정장을 입을 것인지에 대한 질문을 던지는데, 이는 사소한 문제처럼 보이지만 2억 달러 이상의 베팅을 끌어모았습니다. 젤렌스키가 BBC, 뉴욕 포스트 및 기타 매체에서 정장으로 묘사된 의상을 입고 나토 정상 회의에 참석했을 때, 시장의 초기 결의는 "예"였습니다. 그러나 UMA 토큰 보유자들은 결과에 이의를 제기했고, 결의는 이후 "아니오"로 뒤집혔습니다.

이 글에서는 대형 언어 모델(LLMs)과 암호 기술을巧妙하게 결합하여 조작하기 어렵고, 정확하며, 완전히 투명하고 신뢰할 수 있는 중립성을 갖춘 예측 시장의 대규모 결의 방식을 만드는 방법을 탐구할 것입니다.

예측 시장에만 국한되지 않는 문제

유사한 문제는 금융 시장에서도 지속적으로 발생하고 있습니다. 수년 동안 국제 스왑 및 파생상품 협회(ISDA)는 신용 부도 스왑(CDS) 시장에서의 판별 문제를 해결하기 위해 노력해왔습니다. CDS란 기업이나 국가의 채무 불이행 시 보상이 이루어지는 계약을 말합니다. 그들의 2024년 검토 보고서는 이러한 어려움에 대해 솔직하게 언급하고 있습니다. 그들의 결의 위원회는 주요 시장 참여자로 구성되어 있으며, 신용 사건이 발생했는지를 투표로 결정합니다. 그러나 이 과정은 불투명성, 잠재적 이해 충돌 및 일관되지 않은 결과로 비판받고 있으며, 이는 UMA의 프로세스와 유사합니다.

근본적인 문제는 동일합니다: 막대한 자금이 애매한 상황에 대한 판별에 의존할 때, 모든 결의 메커니즘은 게임의 목표가 되고, 모든 모호한 점은 잠재적인 폭발점이 됩니다.

이상적인 판별 솔루션의 네 가지 기둥

어떤 실행 가능한 솔루션도 동시에 몇 가지 핵심 속성을 충족해야 합니다:

1. 조작 저항성 상대방이 판별에 영향을 미칠 수 있다면, 예를 들어 위키피디아를 편집하거나 가짜 뉴스를 심거나, 오라클을 매수하거나, 프로그램의 취약점을 이용한다면, 시장은 누가 더 잘 조작하는지를 겨루는 게임이 될 것이고, 누가 더 잘 예측하는지가 아닙니다.

2. 합리적인 정확성 메커니즘은 대다수의 경우에 올바른 판별을 내려야 합니다. 진정한 모호성이 가득한 세계에서 완벽한 정확성은 불가능하지만, 체계적인 오류나 명백한 실수는 신뢰를 파괴할 것입니다.

3. 사전 투명성 거래자는 베팅하기 전에 결의가 어떻게 이루어질지를 정확히 알아야 합니다. 중간에 규칙을 변경하는 것은 플랫폼과 참여자 간의 기본 계약을 위반하는 것입니다.

4. 신뢰할 수 있는 중립성 참여자는 해당 메커니즘이 특정 거래자나 결과에 편향되지 않는다고 믿어야 합니다. 그래서 많은 UMA를 보유한 사람들이 그들이 베팅한 계약을 판별하는 것은 매우 문제가 되는 이유입니다: 그들이 공정하게 행동하더라도, 이해 충돌의 표면이 신뢰를 파괴할 수 있습니다.

인간 심사단은 이러한 속성 중 일부를 충족할 수 있지만, 규모화할 때 다른 점들을 충족하기는 어렵습니다. 특히 조작 저항성과 신뢰할 수 있는 중립성에서 그렇습니다. UMA와 같은 토큰 기반 투표 시스템은 대형 투자자 주도와 이해 충돌 측면에서 충분히 기록된 문제를 가지고 있습니다.

이것이 AI가 이 문제를 해결할 수 있는 지점입니다.

LLM 판사 지원의 이유

예측 시장 내에서 주목받고 있는 제안 중 하나는: 결의 판사로서 대형 언어 모델을 사용하고, 계약 생성 시 특정 모델과 프롬프트를 블록체인에 잠금하는 것입니다.

기본 구조는 다음과 같습니다: 계약 생성 시, 시장 조성자는 자연어로 결의 기준을 지정할 뿐만 아니라, 정확한 LLM(타임스탬프가 있는 모델 버전으로 식별됨)과 결과를 결정하는 데 사용될 정확한 프롬프트를 지정해야 합니다.

이 규격은 암호화되어 블록체인에 제출됩니다. 거래가 시작되면, 참여자는 전체 결의 메커니즘을 확인할 수 있으며, 어떤 AI 모델이 결과를 판별할 것인지, 어떤 프롬프트를 받을 것인지, 어떤 정보 출처에 접근할 수 있는지를 정확히 알 수 있습니다.

그들이 이 설정을 마음에 들어하지 않는다면, 거래하지 않을 것입니다.

판별 시간에 제출된 LLM은 제출된 프롬프트를 사용하여 실행되고, 지정된 정보 출처에 접근하여 판결을 생성합니다. 출력 결과는 누가 보상을 받을지를 결정합니다.

이 방법은 동시에 몇 가지 주요 제약을 해결합니다:

• 극도로 조작 저항성 (비록 절대적이지는 않음) 위키피디아 페이지나 소규모 뉴스 사이트와는 달리, 주류 LLM의 출력을 쉽게 편집할 수 없습니다. 모델의 가중치는 제출 시 고정됩니다. 결의를 조작하려면 상대방은 모델이 의존하는 정보 출처를 파괴해야 하거나, 오래 전에 모델의 훈련 데이터를 어떤 식으로든 오염시켜야 하며, 이는 오라클을 매수하거나 지도를 편집하는 것보다 비용이 많이 들고 불확실성이 큽니다.

• 정확성 제공 추론 모델의 급속한 개선과 놀라운 범위의 지능적 작업을 처리할 수 있는 능력 덕분에, 특히 웹을 탐색하고 새로운 정보를 찾을 수 있을 때, LLM 판사는 많은 시장에서 정확하게 결의할 수 있어야 합니다. 그 정확성을 검증하는 실험이 진행 중입니다.

• 내장된 투명성 누구든지 베팅하기 전에 전체 결의 메커니즘이 가시적이고 감사 가능해야 합니다. 중간에 규칙 변경이 없고, 재량 판단이 없으며, 비공식적인 협상이 없습니다. 당신은 당신이 서명한 것이 무엇인지 정확히 알고 있습니다.

• 신뢰할 수 있는 중립성의 현저한 향상 LLM은 결과에 경제적 이해관계가 없습니다. 그것은 매수될 수 없습니다. 그것은 UMA 토큰을 소유하지 않습니다. 그것의 편향은 무엇이든 모델 자체의 속성이며, 이해관계자가 내린 임시 결정의 속성이 아닙니다.

AI의 한계와 방어 수단

• 모델은 실수를 할 수 있습니다 LLM은 뉴스 기사를 잘못 해석하거나 사실 왜곡을 일으키거나 결의 기준을 일관되게 적용하지 않을 수 있습니다. 그러나 거래자가 어떤 모델에 베팅하고 있는지를 알면 이러한 결함을 가격에 반영할 수 있습니다. 특정 모델이 특정 방식으로 애매한 사례를 해결하는 경향이 알려져 있다면, 숙련된 거래자는 이를 고려할 것입니다. 모델은 완벽할 필요는 없습니다; 예측 가능해야 합니다.

• 조작이 불가능한 것은 아닙니다 만약 프롬프트가 특정 뉴스 출처를 지정한다면, 상대방은 이러한 출처에 이야기를 심으려 할 수 있습니다. 이러한 공격은 주류 미디어에 대해 비용이 많이 들지만, 소규모 미디어에 대해서는 실행 가능할 수 있습니다. 이는 지도 편집 문제의 또 다른 형태입니다. 프롬프트의 설계는 여기서 매우 중요합니다: 다양하고 중복된 출처에 의존하는 결의 메커니즘은 단일 실패 지점에 의존하는 메커니즘보다 더 견고합니다.

• 중독 공격은 이론적으로 가능하다 충분한 자원을 가진 상대방은 LLM의 훈련 데이터에 영향을 미쳐 향후 판단을 편향시키려 할 수 있습니다. 그러나 이는 계약 이전에 오랜 시간 동안 행동해야 하며, 보상은 불확실하고 비용이 막대합니다. 이는 위원회 구성원을 매수하는 것보다 훨씬 높은 장벽입니다.

• LLM 판사의 확산은 조정 문제를 일으킬 수 있다 만약 서로 다른 시장 창조자들이 서로 다른 프롬프트를 사용하여 서로 다른 LLM에 전념한다면, 유동성이 분산될 것입니다. 거래자는 계약을 쉽게 비교하거나 시장 간 정보를 집계할 수 없습니다. 표준화는 가치가 있습니다. 그러나 시장이 어떤 LLM과 프롬프트 조합이 가장 효과적인지를 발견하는 것도 가치가 있습니다. 올바른 답은 어떤 조합일 수 있습니다: 실험을 허용하되, 시간이 지남에 따라 커뮤니티가 충분히 테스트된 기본 설정으로 수렴하도록 하는 메커니즘을 구축하는 것입니다.

구축자에게 주는 네 가지 조언

요약하자면: AI 기반 판별은 기본적으로 한 세트의 문제(인간 편향, 이해 충돌, 불투명성)를 다른 세트의 문제(모델 한계, 프롬프트 엔지니어링 도전, 정보 출처 취약성)로 교환하는 것이며, 후자의 문제는 더 쉽게 처리될 수 있습니다. 그렇다면 우리는 어떻게 나아가야 할까요? 플랫폼은 다음과 같이 해야 합니다:

1. 실험: 낮은 위험의 계약에서 LLM 결의를 테스트하여 과거 기록을 구축합니다. 어떤 모델이 가장 잘 작동합니까? 어떤 프롬프트 구조가 가장 견고합니까? 실제로 어떤 결함 패턴이 발생합니까?

2. 표준화: 최선의 관행이 나타남에 따라, 커뮤니티는 표준화된 LLM과 프롬프트 조합을 기본 설정으로 정립하는 데 전념해야 합니다. 이는 혁신을 배제하지 않지만, 유동성이 충분히 이해된 시장에 집중되도록 돕습니다.

3. 투명한 도구 구축: 예를 들어, 거래자가 거래 전에 전체 결의 메커니즘(모델, 프롬프트, 정보 출처)을 쉽게 확인할 수 있는 인터페이스를 구축합니다. 결의 규칙은 세부 사항 속에 묻혀서는 안 됩니다.

4. 지속적인 거버넌스 수행: AI 판사가 있더라도, 인간은 여전히 상위 규칙을 설정하는 책임이 있습니다: 어떤 모델을 신뢰할지, 모델이 명백한 잘못된 답변을 제시할 경우 어떻게 처리할지, 기본 설정을 언제 업데이트할지. 목표는 인간을 완전히 순환에서 제거하는 것이 아니라, 인간이 임시적인 개별 판단에서 시스템적인 규칙 설정으로 전환하도록 하는 것입니다.

예측 시장은 복잡하고 시끄러운 세상을 이해하는 데 도움을 줄 수 있는 비범한 잠재력을 가지고 있습니다. 그러나 이러한 잠재력은 신뢰에 달려 있으며, 신뢰는 공정한 계약 결의에 달려 있습니다. 우리는 결의 메커니즘 실패의 결과를 보았습니다: 혼란, 분노, 그리고 거래자의 이탈. 나는 사람들이 자신이 베팅한 정신에 반하는 결과에 속았다고 느끼고 예측 시장에서 완전히 이탈하는 것을 목격한 적이 있습니다. 그들은 이전에 좋아했던 플랫폼을 다시는 사용하지 않겠다고 맹세했습니다. 이는 예측 시장의 이익과 더 넓은 응용을 잠금 해제하는 데 있어 기회를 놓치는 것입니다.

LLM 판사는 완벽하지 않습니다. 그러나 그것들이 암호 기술과 결합될 때, 그것들은 투명하고 중립적이며, 인간 시스템을 괴롭혀온 조작에 저항할 수 있습니다. 예측 시장의 규모화 속도가 우리의 거버넌스 메커니즘을 초과하는 세상에서, 이것이 우리가 필요로 하는 것일 수 있습니다.