a16z：빌더의 핵심 요소: ‘Jolt Inside’

기사 저자: a16z crypto

기사 번역: Block unicorn

서론

오늘, LayerZero는 그들의 새로운 체인 Zero를 발표했습니다. 이 체인은 여러 기술적 진보를 포함하고 있으며------거기에는 거래 실행과 검증을 분리하는 새로운 제로 지식 증명 방법이 포함됩니다. 이 모든 것은 "Jolt Inside" 덕분입니다.

Jolt란 무엇인가요? Jolt는 오픈 소스 RISC-V zkVM(제로 지식 가상 머신, 또는 더 정확히 말하면 "간결한" 가상 머신)으로, 빠르고 안전하며 사용하기 쉽습니다. 이는 a16z crypto가 3년 동안 연구 개발한 새로운 최첨단 SNARK 설계 방법을 나타내며, 우리는 이를 오픈 소스로 제공하여 누구나 사용할 수 있도록 했습니다. 그러나 Jolt의 탄생은 실제로 수십 년에 걸쳐 발전해온 이야기입니다.

왜 zkVM과 SNARK 설계가 그렇게 중요한가요?

SNARK 설계의 진화를 깊이 탐구하기 전에, 먼저 zkVM이 무엇인지 자세히 이해해야 합니다.

이러한 가상 머신은 일반적으로 "zk" 가상 머신이라고 불리지만, 여기서 더 일반적으로 사용되는 특성은 간결성입니다. "제로 지식"이 프라이버시 보호에 매우 중요하지만, "간결함"은 증명이 짧고 검증하기 쉬움을 의미합니다------이 두 가지는 유용하지만 서로 다른 특성으로, 종종 혼동됩니다. (Jolt는 이미 간결성을 갖추고 있으며, 곧 제로 지식도 실현할 것입니다.)

그렇다면 왜 zkVM이 그렇게 중요한가요? zkVM과 더 넓은 의미의 SNARK(간결 비대화형 지식 증명)는 블록체인의 확장성, 프라이버시, 보안 등 여러 측면에서 중요한 구성 요소입니다. 이러한 증명, 논증 및 제로 지식(통칭하여 검증 가능한 계산 기술)은 암호화 산업 및 기타 분야에서 수많은 응용 프로그램을 가지고 있습니다.

전통적인 설계 아키텍처 및 기타 이유로 인해, 업계는 지금까지 zkVM 구축에 대해 복잡한 접근 방식을 취해왔습니다; 아래에서 이에 대해 더 자세히 설명하겠습니다. 그러나 Jolt는 처음부터 완전히 다른 SNARK 설계 방법에 집중하여 더 높은 효율성, 사용성 및 성능을 달성하는 것을 목표로 했습니다.

간단히 말해, zkVM은 당신이 컴퓨터 프로그램을 올바르게 실행했음을 증명하는 방법입니다. zkVM은 다른 SNARK에 비해 개발자 친화적이라는 장점이 있습니다. 기존의 계산 인프라(예: 오픈 소스 LLVM 컴파일러 생태계)를 활용하여, 개발자는 도메인 특화 언어(DSL)를 사용하지 않고도 자신이 선택한 프로그래밍 언어에서 SNARK의 강력한 기능을 활용할 수 있습니다.

이는 오늘날 많은 현대 암호학 분야와 매우 유사합니다------우리는 암호화 및 디지털 서명을 위한 표준, 내장 라이브러리를 가지고 있으며------일반 개발자는 이러한 라이브러리를 매일 사용하면서 그 내부 작동 방식을 알 필요가 없습니다. Jolt는 개발자에게 동일한 추상화 계층을 제공합니다: 기존 프로그램을 사용하고 이를 검증하기만 하면 되며, 두 가지 간의 상호작용에 대해 걱정할 필요가 없습니다. 이는 모든 새로운 암호학적 응용의 보급에 필요한 조건입니다.

개발자는 실제 작업에 집중할 수 있습니다. Jolt를 통해 개발자는 SNARK에 대한 전문 지식 없이도 버튼 하나로 자신이 작성한 컴퓨터 코드를 사용하여 Jolt 증명을 생성할 수 있습니다.

하지만 Jolt가 많은 진전을 이루었음에도 불구하고, 중간 복잡도의 증명(예: 단일 표준 CPU 코어가 1초 동안 수행하는 작업)을 증명하는 데는 여전히 강력한 계산 능력이 필요합니다. 합리적인 시간 내에 복잡한 증명을 생성하려면 여러 GPU가 필요합니다. LayerZero는 Jolt 증명기를 CUDA로 이식하고 Zero를 출시했습니다: 이는 Jolt의 기본 고도로 병렬화된 알고리즘과 GPU의 병렬 하드웨어를 결합하여 더 높은 차원의 확장성을 실현했습니다.

LayerZero는 Jolt를 생산급 GPU 증명으로 발전시키기 위해 노력하고 있으며, 이는 zkVM과 증명의 확장성을 높이는 데 필수적입니다.

오픈 소스 연구 개발

Jolt 자체는 오픈 소스이므로 누구나 이를 사용하거나 그 혁신 기술을 기반으로 개발할 수 있습니다. 오픈 소스는 궁극적인 배가기입니다: 결과를 공개적으로 공유하여 생태계 내 더 많은 사람들이 사용하고, 재사용하고, 스트레스 테스트/감사/수정하고, 개선하며, 이를 바탕으로 추가 혁신을 할 수 있도록 합니다.

위험 투자 회사가 오픈 소스 프로젝트에 투자하는 것은 다소 이례적으로 보일 수 있지만, 현대 연구 개발의 구조는 대부분의 개발 작업이 회사 내부에서 발생하도록 결정합니다------예를 들어 과거의 기업 연구소나 현재의 재단 연구소------또는 학계에서 발생합니다. 우리는 a16z 암호 연구 기관을 설립하여 학문적 이론과 산업적 실천을 연결하는 산업 연구 실험실 및 엔지니어링 팀을 만들기 위해 노력했습니다. 위험 투자 회사로서 우리는 다른 기관이 자금을 지원할 수 없는 프로젝트를 지원할 수 있습니다…… 특히 역투자 상황에서.

SNARK를 지원하는 역설계 방법은 Jolt에 특히 중요합니다. 이는 이전 설계 방법과는 완전히 다른 중대한 "패러다임 전환"을 나타내기 때문입니다. 이러한 설계 진화는 수년이 걸렸습니다.

혁신의 이야기는 종종 아키텍처 설계 전환에 관한 이야기입니다

Jolt가 SNARK 설계 방법에서 취한 중대한 변화를 이해하기 위해서는 2000년 이상 전으로 거슬러 올라가야 합니다: 고대 그리스인들은 형식화된 수학적 증명 시스템의 발전을 시작했으며, 이후 중동, 아시아 및 기타 지역의 학자들이 이를 확장했습니다.

이러한 초기 증명------단계별로 작성된 논리적 추론------은 형식 언어나 공식을 사용하여 기록되어, 누구나 검증할 수 있도록 했습니다. 예를 들어, 한 수학자는 증명을 "책"에 작성할 수 있으며, 다른 수학자는 이 책을 한 글자씩 읽어 검증할 수 있습니다. 이러한 전통적인 정적 서면 증명 개념은 유명한 "P vs. NP" 복잡도 클래스 NP의 구현입니다.

주목할 점은 이러한 전통적인 증명 방법이 순차적이며, 번갈아 가며 진행해야 한다는 것입니다: 이는 정적이며, 상호작용적이지 않습니다.

하지만 1985년으로 시간 여행을 해보면* Shafi Goldwasser, Silvio Micali 및 Charles Rackoff는 상호작용 증명("IP")의 개념을 제안했습니다.[*실제로 그들의 논문은 몇 년 더 일찍 제출되었지만, 여러 번 거부된 후에야 수용되었습니다.] 이 상호작용 증명 방법의 핵심 아이디어는: 예를 들어, 두 수학자가 소통할 때, 그들은 한 쪽이 증명을 작성한 후 다른 쪽을 설득하기를 기다릴 필요가 없습니다. 대신, 그들은 실시간으로 질문할 수 있습니다; 다시 말해, 상호작용을 통해 증명의 진리를 탐구할 수 있습니다.

이러한 상호작용 증명의 엄청난 힘------고대 그리스인이 창안한 전통적인 정적 증명에 비해------는 5년 후인 1990년에야 충분히 인식되었습니다. 당시 Carsten Lund, Lance Fortnow, Howard Karloff 및 Noam Nisan은 상호작용 증명 시스템을 위한 대수적 방법인 합계 검증 프로토콜을 제안했습니다. Adi Shamir의 후속 작업과 결합하여, 이는 곧 "IP=PSPACE"라는 기본적인 결론으로 이어졌습니다------이는 기술적인 표현으로, 다음과 같은 직관적인 진술을 요약합니다:

증명자와 검증자가 상호작용할 수 있다면------즉, 전통적인 증명 시스템처럼 도전-응답을 수행할 수 있다면(거짓 증명자가 대답할 수 없는 도전에 "잡히지" 않는다고 가정할 때), 우리는 고대 그리스의 전통적인 정적 서면 증명에 비해 더 복잡한 진술을 빠르게 검증할 수 있습니다.

다시 말해: 상호작용 속성은 증명 시스템에서 우리에게 엄청난 이점을 제공합니다. 그리고 합계 검증(sum-check)은 이러한 이점을 효율적인 검증으로 전환하는 핵심입니다------이는 검증자가 전체 증명 과정을 재구성할 필요 없이 주장된 결과를 검증할 수 있게 해줍니다.

몇 년 후, Joe Kilian은 확률적으로 검증 가능한 증명(PCP)에서 간결한 제로 지식 증명을 구축하는 방법을 제시했습니다. PCP의 증명 이론에서, 증명자는(고대 그리스의 수학자처럼 상상할 수 있지만, 이제는 컴퓨터입니다) 일반 증명을 "책"에 작성하지만, 형식은 매우冗長합니다. 주목할 점은 이러한冗長성 덕분에 검증자가 전체 책을 읽지 않아도 된다는 것입니다: 검증자는 고정된 수의 증명 위치------예를 들어 책의 세 개의 "단어"------를 무작위로 선택하여 전체 증명이 유효한지 높은 신뢰도로 판단할 수 있습니다.

하지만 문제는 PCP 증명 자체가 매우 길다는 것입니다. 비록 검증 비용은 낮지만 말이죠.

따라서 Kilian은 PCP와 암호학을 결합하여 증명자가 이 "긴 책"을 완성하겠다고 "약속"하고, 그 후 공개적으로 몇 개의 단어를 추출하고 간단한 암호학적 인증을 첨부하는 방법을 보여주었습니다. Kilian 프로토콜의 최종 증명은 실제로 이 몇 개의 단어(그리고 일부 암호학적 인증 데이터)로 구성됩니다------하지만 이들은 검증자가 전체 책이 유효하다고 믿기에 충분합니다.

이러한 증명은 당시에도 여전히 상호작용적이었습니다. 이후 Micali는 Fiat-Shamir 변환을 적용하여 Kilian의 PCP 기반 상호작용 증명을 비상호작용 증명으로 변환하는 방법을 보여주었습니다. 간단히 말해, Fiat-Shamir 변환은 검증자의 무작위 도전을 "제거"하여 증명자가 스스로 도전을 생성하고 한 번에 전체 증명을 출력할 수 있게 해줍니다.

유산 아키텍처의 지속적인 영향

증명 시스템의 역사와 진화를 살펴보면, 우리는 정적에서 상호작용으로, 다시 확률적 및 비상호작용(PCP)으로, 그리고 다시 상호작용(참조 Kilian)으로, 마지막으로 다시 비상호작용(참조 Micali)으로의 진화를 경험했습니다. SNARK는 이러한 진화의 끝에 등장했습니다: Fiat-Shamir 변환을 Kilian의 상호작용 증명에 적용함으로써, Micali는 우리가 현재 말하는 첫 번째 SNARK 구성을 얻었습니다.

하지만 이러한 초기 PCP 기반 SNARK에서는 증명자의 작업량이 방대했습니다------계산이 너무 오래 걸려서 실제 배포가 어려웠습니다.

그러나 SNARK의 설계 방식은 수십 년 동안 지속되었습니다. 업계가 PCP 기반 SNARK 설계 방법에서 벗어나려 시도했음에도 불구하고, 설계자들은 여전히 관련 개념(예: "선형 PCP" 등)을 사용했습니다. 이러한 개념은 실제로 PCP의 휴리스틱 기술의 변형일 뿐입니다. 비록 이러한 방법들이 매우 짧은 증명을 가져왔지만, 증명자의 속도가 가장 빠른 SNARK를 가져오지는 못했습니다.

SNARK 설계자들은 항상 그 근본적인 출처인 합계 검증 프로토콜로 돌아가지 않았습니다------오늘날 현대 계산을 통해 가능해진 더 빠르고 더 사용하기 쉬운 증명자를 얻기 위해서입니다.

한 걸음 물러서서: 합계 검증 프로토콜을 더 일찍 채택하려면, 우리가 위에서 개요한 SNARK의 역사와 진화를 비선형적으로 살펴봐야 합니다. (a) 상호작용 증명 → (b) PCP → (c) 간결한 상호작용 증명 → (d) 초기 SNARK의 발전 과정에서 업계는 다음과 같은 변화를 겪었습니다:

(a) 상호작용 증명 → (b) PCP로의 전환 과정에서 주요 도전 과제는 검증의 간결성을 유지하면서 증명 시스템에서 상호작용을 제거하는 것이었습니다. 이는 설계자들이 합계 검증 프로토콜(즉, 상호작용 부분)을 포기하도록 촉발했습니다.

그러나 (b) PCP에서 (c) 간결한 제로 지식 증명으로 전환할 때, 상호작용이 다시 등장했습니다……결국 Fiat-Shamir 변환을 통해 이를 제거하여 (c) 간결한 상호작용 증명에서 (d) 초기 SNARK으로의 전환을 실현했습니다.

사후적으로 보면, (a) → (b) → (c) → (d)로 모든 단계를 선형적으로 살펴보면, SNARK 설계자들이 실제로 두 번 상호작용을 생략했음을 명확히 볼 수 있습니다------한 번은 (a) → (b)에서, 또 한 번은 (c) → (d)에서입니다.

하지만 우리가 Fiat-Shamir를 사용하여 상호작용을 제거하려 한다면……우리는 중간 단계 (b), 즉 확률적으로 검증 가능한 증명을 건너뛰어야 합니다! 이 중간 (b) 단계를 건너뛰는 것이 Jolt 방법의 핵심 통찰력이며, 이는 상호작용 증명에서 SNARK를 직접 구축하여 합계 검증으로 직행하는 것입니다.

왜 더 많은 사람들이 더 일찍 합계 검증 프로토콜 기반의 설계 방법으로 전환하지 않았을까요? 초기 SNARK 설계자들이 그렇게 하지 않았던 이유는 PCP와 SNARK가 표면적으로 매우 유사해 보였기 때문입니다. 왜냐하면 둘 다 간결한 검증 개념을 실현했기 때문입니다. 후속 발전에 있어서는 아키텍처------그리고 오해------가 지속될 수 있습니다.

우리에게는, 대량의 엔지니어링 및 연구 자원을 합계 검증 기반의 zkVM Jolt에 투입하는 것이 역설적인 베팅입니다. 왜냐하면 이는 SNARK 분야에서 수십 년 동안 지배적인 패러다임과 정반대이기 때문입니다.

'Jolt Inside'

Jolt의 SNARK 설계 방법(그 자체가 배치 평가 및 메모리 검사 메커니즘에 기반하여, 예를 들어 Twist + Shout)은 상호작용 증명 및 합계 검증 프로토콜에 기반합니다.

오늘날, 우리가 Jolt를 구축한 지 몇 년이 지난 후, 다른 사람들도 그들의 설계에 합계 검증 프로토콜 방법을 채택하기 시작했습니다. 그렇다면 Jolt는 오늘날의 zkVM에서 어떤 두드러진 특징을 가지고 있을까요? Jolt는 CPU 실행 중의 반복 구조를 최대한 활용합니다. 각 CPU 코어의 "명령어 가져오기-디코딩-실행" 추상이 배치 평가 메커니즘에 어떻게 적용되는지를 관찰함으로써, Jolt는 최소한의 복잡도로 비할 데 없는 효율성을 실현했습니다.

반면, 다른 zkVM은 합리적인 성능을 달성하기 위해 "프리컴파일"(특정 서브프로그램을 위한 ASIC 유사 가속기)에 심각하게 의존합니다. Jolt는 이러한 프리컴파일을 버렸습니다. 왜냐하면 이들은 zkVM이 등장하기 전의 SNARK 설계 방법의 오류를 반복할 수 있기 때문입니다: 이러한 전용 SNARK를 설계하는 데 전문가가 필요하므로, 버그가 발생하기 쉽고 일반 개발자가 사용하기 어렵습니다. Jolt의 초점은 SNARK의 보급에 있습니다.

CPU 실행의 정확성을 검증하는 것은 zkVM의 핵심 가치이자 개발자 경험의 큰 혁신입니다------왜냐하면 이는 기존의 강화된 범용 계산 인프라를 재사용할 수 있게 해주기 때문입니다. 전 세계의 계산 인프라는 CPU를 지원하기 위해 구축되었으며, Jolt는 CPU 실행의 고유한 "구조"를 최대한 활용하여 간결성과 성능을 극대화합니다.

Jolt는 처음부터 사용성과 생산급 성능을 최우선으로 두었습니다: 개발자는 기존 프로그램을 직접 검증할 수 있으며; 빠른 검증을 위해서도 어떤 코드도 수정할 필요가 없습니다. Jolt는 다른 솔루션처럼 수용 가능한 성능을 달성하기 위해 팀이 "프리컴파일"이나 특수 API를 중심으로 애플리케이션을 재구성하도록 강요하지 않으며, 원래 코드의 완전성을 유지하여 채택이 더 쉽고, 감사가 더 용이하며, 반복 비용이 더 낮습니다.

더 중요한 것은, Jolt는 더 빠를 뿐만 아니라 더 간단하다는 것입니다. 다른 솔루션은 zkVM 설계자가 가상 머신의 각 기본 명령어에 대해 회로를 지정해야 하지만, Jolt는 필요하지 않습니다: Jolt에서는 각 기본 명령어를 약 10줄의 Rust 코드로 지정할 수 있습니다. 회로가 필요 없고, 단지 10줄의 코드만 있으면 됩니다.

Jolt의 다음 단계는 무엇인가요?

우리는 속도 면에서 이미 선두에 있습니다. 추가 최적화 및 기능 추가와 함께, 재귀 및 제로 지식 증명을 포함하여------특히 우리는 타원 곡선 암호학에서 격자 암호학으로의 전환을 계획하고 있습니다------올해 말에는 속도의 또 다른 양적 향상을 실현할 것입니다. 후량자 시대를 말할 것도 없습니다.

Jolt는 더 많은 응용 프로그램을 가능하게 합니다. 블록체인에 있어, 오랫동안 기대되어온 확장성과 탈중앙화가 더 쉽게 배포될 수 있게 됩니다. 제로 지식 증명 집합은 즉시 사용할 수 있으며, 수개월 또는 수년의 암호 공학을 소모할 필요가 없습니다.

하지만 Jolt의 추가 발전과 함께------예를 들어, 휴대폰과 노트북에서 실행할 수 있는 빠르고 간편한 제로 지식 증명 가상 머신을 구축하는 것------개발자는 클라이언트 및 프라이버시 보호 측면에서 더 많은 사용 사례를 잠금 해제할 수 있을 것입니다. 예를 들어, 휴대폰의 프라이버시 보호 애플리케이션은 유지 관리가 어렵고 거의 실행할 수 없던 것을 쉽게 즉시 사용할 수 있게 됩니다.

장기적으로 이러한 증명 시스템은 암호화 및 디지털 서명과 유사하게 세계 디지털 인프라의 핵심 구성 요소가 될 것입니다. 이 범용 암호화 압축 기술------누구나 50킬로바이트의 증명 파일만 보내면, 전체 데이터를 보내지 않고도 특정 속성을 만족하는 수 GB 데이터를 보유하고 있음을 증명할 수 있습니다------기능이 너무 강력하여 사람들이 이를 통해 어떤 응용 프로그램을 개발할지 예측하기 어렵습니다. 가능성은 무궁무진합니다.