IT
35B MoE 모델을 2.9GB 메모리로 구동하는 Edge0 프레임워크를 분석한다.
대규모 언어 모델을 개인 로컬 기기에서 구동할 때 가장 큰 걸림돌은 메모리 용량이다. 특히 희소 전문가 혼합(MoE) 아키텍처는 뛰어난 연산 효율에도 불구하고 수십 기가바이트의 메모리를 요구하여 일반 데스크톱이나 노트북에서 실행하기 어렵다. Apache-2.0 라이선스로 공개된 오픈소스
태그
#Edge0
총 1개의 글
태그
총 1개의 글
대규모 언어 모델을 개인 로컬 기기에서 구동할 때 가장 큰 걸림돌은 메모리 용량이다. 특히 희소 전문가 혼합(MoE) 아키텍처는 뛰어난 연산 효율에도 불구하고 수십 기가바이트의 메모리를 요구하여 일반 데스크톱이나 노트북에서 실행하기 어렵다. Apache-2.0 라이선스로 공개된 오픈소스