유명한형제들
IT
35B MoE 모델을 2.9GB 메모리로 구동하는 Edge0 프레임워크를 분석한다.
대규모 언어 모델을 개인 로컬 기기에서 돌릴 때 가장 먼저 막히는 것은 메모리 용량이다. 희소 전문가 혼합(MoE) 아키텍처는 연산 효율이 좋지만 수십 기가바이트의 메모리를 요구해 일반 데스크톱이나 노트북에서는 실행하기 어렵다. Apache-2.0 라이선스로 공개된 오픈소스 프레임워크
태그
#Edge0
총 1개의 글
태그
총 1개의 글
대규모 언어 모델을 개인 로컬 기기에서 돌릴 때 가장 먼저 막히는 것은 메모리 용량이다. 희소 전문가 혼합(MoE) 아키텍처는 연산 효율이 좋지만 수십 기가바이트의 메모리를 요구해 일반 데스크톱이나 노트북에서는 실행하기 어렵다. Apache-2.0 라이선스로 공개된 오픈소스 프레임워크