인공지능 서비스의 구동 방식이 클라우드 집중형에서 로컬 기기를 함께 사용하는 하이브리드 컴퓨팅으로 진화하고 있다. 이러한 흐름 속에서 Perplexity가 자사 서비스의 로컬 연산을 담당하는 핵심 엔진을 전격 공개하며 주목을 받고 있다. 로컬 환경의 한정된 자원을 극대화하기 위해 범용성을 포기하고 특정 하드웨어와 모델에 최적화하는 수직 계열화 방식의 최적화가 핵심이다.\n\n이번에 공개된 기술은 단순한 코드 공유를 넘어, 로컬 하드웨어가 가진 하드웨어 가속기 능력을 극한으로 끌어올렸을 때 어느 정도의 성능 향상이 가능한지 입증하는 실증적 사례가 될 것으로 보인다. 특히 Apple 실리콘 칩을 탑재한 맥 기기 사용자들과 AI 개발자들에게 로컬 추론의 새로운 기준을 제시한다.

Perplexity, Apple 실리콘 전용 엔진 Lily 오픈소스 공개

Perplexity는 자사의 하이브리드 컴퓨팅(Hybrid Compute) 아키텍처를 하위에서 지탱하는 로컬 추론 엔진인 Lily를 오픈소스로 공개했다. Lily는 범용 추론 엔진을 지향하지 않고, 철저하게 특정 타깃에 맞춘 밀착 최적화를 목적으로 설계되었다. 구체적으로는 Qwen3.6-35B-A3B 모델과 Apple 실리콘 하드웨어라는 단일 조합에 초점을 맞추어 극대화된 성능을 이끌어낸다.\n\n개발 과정에서 발생할 수 있는 데이터 프라이버시 문제도 함께 해결했다. Perplexity는 로컬 엔진 Lily와 함께 온디바이스에서 작동하는 분류기인 프라이버시 게이트(Privacy Gate)를 제공한다. 프라이버시 게이트는 사용자 데이터가 클라우드로 전송되기 전에 온디바이스 단에서 민감한 정보를 먼저 필터링하고 선별하여 데이터 유출을 원천적으로 차단하는 역할을 수행한다.

Perplexity가 Apple silicon 전용 로컬 추론 엔진 Lily를 오픈소스로 공개하여 Qwen3.6 모델 최적화 성능을 제시했다.

범용 프레임워크를 배제한 Rust 및 Metal 스택 구축

Lily의 가장 큰 기술적 특징은 실행 경로에서 PyTorch나 MLX 같은 기존의 대중적인 범용 머신러닝 프레임워크를 완전히 제외했다는 점이다. 범용 프레임워크가 제공하는 추상화 레이어는 다양한 환경을 지원하는 장점이 있지만, 특정 하드웨어의 성능을 극한으로 끌어올리는 데는 걸림돌이 되기도 한다. Lily는 이 장벽을 제거하기 위해 Rust 단일 프로세스 런타임과 손수 작성한 커스텀 Metal 커널만을 사용하는 스택을 구축했다.\n\nRust 런타임은 컴파일 시점의 강력한 메모리 안전성과 제로 비용 추상화를 제공하며, 파이썬의 전역 인터프리터 락(GIL) 같은 제약 없이 진정한 병렬 처리를 가능하게 하여 모델 로드와 토큰 생성 루프를 매우 가볍게 구동한다. 연산의 핵심인 Metal 커널은 Apple 실리콘 GPU 내부의 신경 가속기(neural accelerator)를 직접 제어한다. 특히 M5 칩 계열에 탑재된 이 신경 가속기는 대형 언어 모델의 프롬프트 처리에 최적화되어 있어, 저수준 API인 Metal을 통해 연산 경로를 직접 제어함으로써 지연 시간을 최소화한다.

PyTorch나 MLX를 거치지 않고 Rust 런타임과 커스텀 Metal 커널만으로 하드웨어를 직접 제어하도록 구현했다.

M5 Max 환경에서 MLX-LM 대비 향상된 토큰 처리 속도

Lily의 성능은 실제 벤치마크 테스트에서 확연히 드러난다. 40코어 GPU와 128GB 통합 메모리를 탑재한 Apple의 최신 M5 Max 하드웨어 환경에서 Qwen3.6-35B-A3B 모델을 실행한 결과, Lily는 Apple 자체 개발 프레임워크인 MLX-LM보다 뛰어난 속도를 기록했다. 최소 256토큰에서 최대 128,000토큰에 이르는 다양한 콘텍스트 길이 전반에서 Lily는 성능 우위를 점했다.\n\n먼저 프롬프트 처리(Prefill) 단계에서 Lily는 초당 4,156토큰을 처리하여 초당 3,388토큰에 그친 MLX-LM 대비 약 1.23배 빠른 속도를 보였다. 가장 중요한 지표인 토큰 생성(Decode) 속도에서도 Lily는 초당 170.0토큰을 뿜어내며, 초당 126.4토큰을 기록한 MLX-LM 대비 약 1.35배의 성능 향상을 달성했다. 이는 로컬 환경에서 대규모 모델을 구동할 때 사용자가 체감하는 반응 속도를 획기적으로 개선할 수 있음을 의미한다.

M5 Max 하드웨어 벤치마크에서 Lily는 MLX-LM 대비 프롬프트 1.23배, 디코드 1.35배의 속도 향상을 기록했다.

출력 품질을 유지하며 달성한 극단적 최적화의 의의

단순히 연산 속도만 빠르고 결과물의 품질이 떨어진다면 실무에 적용하기 어렵다. 하지만 Lily는 극단적인 수직 최적화를 진행하면서도 모델 본연의 출력 품질을 손실 없이 온전하게 유지하는 데 성공했다. MLX-LM과의 교차 검증을 위해 수행된 티처 포스트(teacher-forced) 검사 결과, Lily의 퍼플렉서티(Perplexity) 편차는 MLX-LM 대비 0.04% 수준에 불과했다.\n\n또한 두 엔진이 생성하는 상위 토큰의 일치율을 나타내는 동일 상위 토큰 선택 비율은 96.35%를 기록하여, 기능적으로 완벽히 동등한 수준의 답변 품질을 보장한다는 점을 증명했다. 이번 개발 사례는 범용 프레임워크의 의존성에서 탈피하여 특정 하드웨어와 타깃 모델을 밀착 결합했을 때, 품질 저하 없이 성능을 대폭 향상시킬 수 있다는 고성능 컴퓨팅의 최적화 방향성을 명확히 보여준다.

참고