대규모 언어 모델을 개인 로컬 기기에서 구동할 때 가장 큰 걸림돌은 메모리 용량이다. 특히 희소 전문가 혼합(MoE) 아키텍처는 뛰어난 연산 효율에도 불구하고 수십 기가바이트의 메모리를 요구하여 일반 데스크톱이나 노트북에서 실행하기 어렵다. Apache-2.0 라이선스로 공개된 오픈소스 프레임워크 Edge0는 모든 모델 가중치를 메모리에 올리지 않고 필요한 전문가 가중치를 SSD에서 실시간으로 스트리밍하여 연산하는 방식으로 이 문제를 해결한다. 이를 통해 35B 파라미터급 MoE 모델을 불과 2.9GB 안팎의 피크 활성 메모리로 실행하는 기술적 성과를 보여준다.

Edge0: 로컬 기기 MoE 구동의 새 기준

Edge0는 Apache-2.0 라이선스로 개발된 오픈소스 AI 스트리밍 추론 프레임워크다. 대규모 희소 전문가 혼합(MoE) 모델을 고가의 서버용 GPU 없이 일반 데스크톱이나 노트북 같은 개인 로컬 기기에서 효율적으로 실행하는 데 중점을 둔다.

기존 프레임워크는 추론을 위해 모델 전체 가중치를 통합 메모리(RAM)에 상주시켜야 했다. 반면 Edge0는 모델의 전체 가중치를 RAM에 올리지 않고, mmap 방식을 활용해 추론 시점에 필요한 전문가 가중치만 SSD에서 스트리밍하여 연산에 활용한다. 이를 통해 메모리 제약이 큰 로컬 환경에서도 초대형 모델을 구동할 수 있는 새로운 기술적 기준을 제시한다.

Edge0의 3가지 핵심 기술 구성

Edge0는 SSD 전문가 오프로딩, 프리라우터, Recover-LoRA라는 3가지 핵심 기술을 통합하여 MoE 모델의 메모리 효율과 추론 성능을 극대화한다. 첫 번째 요소인 SSD 전문가 오프로딩(SSD Expert Offload)은 토큰별로 활성화되는 소수의 전문가 가중치만 디스크에서 메모리로 불러온다. 이를 통해 피크 메모리 사용량을 전체 모델 파라미터 용량이 아닌 실제 연산에 사용되는 활성 파라미터 집합 크기로 크게 낮춘다.

두 번째 요소인 프리라우터(Prerouter)는 다음 레이어의 라우팅 결정을 1스텝 미리 예측하는 별도의 헤드다. 예측을 통해 스토리지 읽기 작업과 GPU 연산을 병렬로 중첩 처리함으로써 디스크 읽기 대기로 인한 지연 시간을 획기적으로 줄여준다. 세 번째 요소인 Recover-LoRA는 4비트 양자화 및 라우팅 근사 과정에서 발생하는 정확도 손실을 보정하기 위한 어댑터다. FP 풀프레시전 교사 모델로부터 증류 학습된 비통합 LoRA 어댑터를 탑재하여 양자화에 따른 모델 품질 저하를 효과적으로 보완한다.

Edge0는 SSD 오프로딩, 프리라우터, Recover-LoRA 기술을 통합하여 MoE 모델의 메모리 효율과 추론 성능을 극대화한다.

35B급 모델을 3GB 이하 메모리로

edge0-35b 모델은 짧은 컨텍스트 구동 시 약 2.9 GiB(약 2.9GB)의 피크 활성 메모리만을 사용하여 35B급 모델을 대중적인 로컬 기기에서 구동할 수 있게 한다. 경량 티어인 edge0-8b 모델의 경우 짧은 컨텍스트에서 약 1.0 GiB의 피크 메모리를 사용하며, 3.3k 토큰 컨텍스트 환경에서도 3.3 GiB 수준의 피크 활성 메모리로 동작한다.

실제 추론 성능 측정 결과에서도 실용적인 속도가 확인된다. 24GB 메모리를 갖춘 Mac mini M4 Pro 환경에서 edge0-35b 모델은 14.9~17.7 tok/s의 디코드 속도를 기록했다. 또한 동일 기기에서 3.3k 토큰 프롬프트 기준으로 콜드 및 웜 프리필 처리량은 각각 113 tok/s 및 140 tok/s를 보여주어, 제한된 메모리 환경에서도 유의미한 응답 속도를 제공한다.

Edge0-35B 모델은 짧은 컨텍스트에서 약 2.9GB의 피크 활성 메모리로 구동되며, Mac mini M4 Pro에서 준수한 추론 속도를 보인다.

최적화된 MoE 아키텍처와 성능 향상

edge0-35b는 40개 레이어와 256개 전문가 중 토큰당 4개의 전문가(K=4)를 활성화하는 희소 MoE 아키텍처를 기반으로 설계되었다. 4비트로 양자화된 모델 체크포인트의 SSD 저장 디스크 용량은 edge0-35b가 약 23GB이며, edge0-8b는 약 4.2GB를 차지한다.

성능 최적화 측면에서 Prerouter 헤드의 라우팅 예측 기능은 SSD 페치와 계산을 중첩 처리하여 디코드 처리량을 최대 59%까지 향상시킨다. 4비트 양자화 모델은 FP16 원본 대비 MMLU-Pro 및 HumanEval 등 OpenCompass 벤치마크 평가에서 평균 3.9포인트의 품질 하락을 보였으나, 증류 학습된 Recover-LoRA 어댑터를 통해 이 품질 손실을 일부 보정한다.

Edge0-35B는 40개 레이어, 256개 전문가 중 토큰당 4개를 활성화하며, 프리라우터 기술로 디코드 처리량을 최대 59% 개선한다.

Edge0의 현재 한계 및 로드맵

Edge0 프레임워크는 뛰어난 메모리 절감 효과를 보여주지만 몇 가지 한계점이 존재한다. 측정된 2.9 GiB 활성 메모리는 짧은 프롬프트 및 짧은 컨텍스트 기준이다. 긴 컨텍스트 구동 시 KV 캐시 증가와 OS 파일 페이지 캐시 여유 공간 확보에 따라 추가 메모리가 필요하며, 최대 컨텍스트 확장 시의 장기 한계 수치는 명확히 확인되지 않았다.

또한 현재 배포된 버전은 Apple Silicon 맥 전용 MLX 백엔드로만 구현되어 있어 CUDA 백엔드는 향후 지원 로드맵에 포함되어 있다. 모바일 바이너리 역시 확인되지 않은 상태다. 현재는 요청을 하나씩 직렬(FIFO)로 처리하며 도구 사용이나 멀티스텝 에이전트 작업에 취약한 초기 프리뷰 단계다. MLX 백엔드 실행에는 Python 3.10 이상과 mlx==0.30.6, mlx-metal==0.30.6, mlx-lm==0.31.0 라이브러리 환경이 요구된다.

Edge0는 현재 Apple Silicon 맥 전용이며 짧은 컨텍스트에 최적화되었으나, 향후 CUDA 백엔드 지원 등 발전 가능성이 크다.

온디바이스 AI 발전을 위한 Edge0의 역할

Edge0는 고성능 인프라나 전용 클라우드 서버 없이도 소비자가 사용하는 개인 로컬 기기에서 35B급 대규모 AI 모델을 실행할 수 있는 실질적인 방안을 제시한다. 이는 온디바이스 AI의 접근성을 비약적으로 높여주는 중요한 계기가 된다.

개별 개발자들은 고가의 GPU 서버를 구비하지 않고도 대규모 MoE 모델을 테스트하고 자체 애플리케이션에 배포할 기회를 얻게 된다. 비록 현재는 맥OS 및 특정 백엔드 중심의 초기 단계이지만, 향후 CUDA 지원과 모바일 기기 확장이 이루어지면 개인화된 온디바이스 에이전트 개발이 더욱 가속화될 것이다.

참고