2026년 9월 15일부터 17일까지 미국 캘리포니아주 샌타클라라 컨벤션센터에서 글로벌 기술 콘퍼런스인 'AI 인프라 서밋'이 개최되었다. 8000명 이상의 업계 관계자와 250개 이상의 파트너사가 참여한 이번 행사는 최신 AI 인프라의 기술적 도전 과제와 발전 방향을 논의하는 장이었다. 행사에서는 고대역폭 메모리(HBM)의 강력한 지위가 다시 한번 확인된 반면, 차세대 메모리 연결 규격인 CXL에 대해서는 한계점이 지적되었다. 동시에 AI 가속기 응답 속도를 극대화하기 위한 메모리 비전과 이기종 가속기를 유연하게 묶어주는 소프트웨어 솔루션이 등장하며 인프라 진화의 방향성을 제시했다.

AI 인프라 서밋, 최신 기술 동향의 장

미국 샌타클라라 컨벤션센터에서 열린 'AI 인프라 서밋'에서는 글로벌 기술 기업과 전문가들이 모여 최신 AI 인프라 기술 동향을 공유했다. 이번 행사 패널 토의에서는 차세대 메모리 인터페이스로 주목받았던 CXL이 실제 AI 모델 구동 환경에서 가지는 활용성에 대해 회의적인 의견이 제기되었다. 참가자들은 고대역폭 메모리(HBM)의 역할을 단순 인터페이스 규격으로 대체하기 어렵다는 점을 집중적으로 다루었다.

이와 함께 글로벌 메모리 반도체 기업과 국내 스타트업의 차세대 솔루션 비전도 눈길을 끌었다. 삼성전자는 차세대 AI 메모리인 zHBM을 통해 AI 가속기의 응답 속도를 획기적으로 개선하겠다는 비전을 공개했다. 또한 국내 AI 인프라 솔루션 기업인 모레는 서로 다른 AI 반도체를 하나처럼 묶어 활용하는 프레임워크와 '토큰 팩토리'를 발표하며 인프라 운영의 새로운 대안을 선보였다.

CXL, AI 모델 구동 환경에서 활용성 한계

이번 AI 인프라 서밋 패널 토의에서는 오픈AI와 인텔 등 주요 빅테크 엔지니어들이 CXL의 기술적 한계를 직접 지적했다. 오픈AI의 대니얼 모리스 연구원은 실제 AI 모델 구동 환경에서 CXL의 실질적인 활용 사례를 찾기 어렵다고 언급했다. CXL은 거대 AI 모델에서 활성화되지 않는 비활성 데이터를 따로 보관하는 보조적인 용도에 적합할 뿐이라는 평가다.

인텔의 비디아 티아가라잔 AI SoC 아키텍처 총괄 역시 CXL의 데이터 전송 속도가 HBM의 대역폭에 미치지 못한다고 밝혔다. 결과적으로 CXL은 기존의 보조 기억 장치를 보완하는 수준에 머무르며 HBM을 대체하기는 어렵다는 분석이 지배적이다. 실제 상용 데이터센터 적용 시 비용 절감 통계는 구체적으로 확인되지 않았으나, 속도 한계로 인해 활용 범위가 제한적이라는 점이 확인되었다.

AI 인프라 서밋에서 CXL은 고대역폭 메모리(HBM)를 대체하기 어렵고, 보조 기억 장치를 보완하는 수준에 그친다는 평가가 나왔다.

삼성전자 zHBM, AI 가속기 응답 속도 10배 목표

삼성전자는 서밋에서 차세대 AI 메모리인 zHBM 전략을 공개하며 메모리 기술 혁신의 비전을 제시했다. 현재 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준에 그치고 있다. 삼성전자는 zHBM 기술을 도입하여 AI 가속기의 응답 속도를 현재의 10배 수준인 초당 1000토큰까지 향상시키는 것을 목표로 삼고 있다.

이러한 성능 개선 목표는 단순한 속도 증가를 넘어 지능형 에이전트 AI를 구현하기 위한 필수적인 퀀텀 점프를 의미한다. 자율적으로 판단하고 연속 동작을 수행하는 에이전트형 AI는 지연 시간을 극단적으로 줄여야 하기에 초당 1000토큰이라는 고속 처리가 핵심 과제로 꼽힌다. zHBM의 구체적인 양산 시점이나 세부 동작 대역폭 수치는 확인되지 않았지만, AI 응답 속도를 10배 높이겠다는 목표가 주요 논점으로 떠올랐다.

삼성전자는 차세대 AI 메모리 zHBM을 통해 현재 초당 100토큰 수준인 대화형 AI 응답 속도를 초당 1000토큰으로 10배 끌어올리겠다는 비전을 제시했다.

이기종 AI 가속기 활용 위한 소프트웨어 등장

AI 인프라 솔루션 스타트업 모레(MOREH)는 행사 첫날 서로 다른 AI 반도체를 하나처럼 묶어 활용하는 프레임워크를 공개했다. 특정 가속기에 얽매이지 않고 여러 종목의 반도체를 단일한 인프라 자원처럼 풀링하여 제어할 수 있는 기술이다. 이를 통해 엔지니어들은 이기종 가속기 환경에서 발생하는 복잡한 운영 부담을 대폭 줄일 수 있게 되었다.

모레가 제시한 '토큰 팩토리'는 이기종 AI 반도체의 효율성을 극대화하는 핵심 소프트웨어 솔루션이다. 토큰 팩토리를 통해 다양한 반도체 자원의 연산 능력을 최적화하고 연산 병목을 제거할 수 있다. 모레의 솔루션은 기존 하드웨어 인프라에 유연성과 확장성을 부여함으로써 AI 인프라 자원의 활용률을 끌어올리는 데 초점을 맞추고 있다.

HBM, 데이터센터 시장의 핵심 주력으로 정착

CXL에 대한 회의론 속에서 HBM은 데이터센터 시장의 핵심 주력 기술로 입지를 공고히 하고 있다. 2026년 반도체 시장은 안정적인 양산성과 수율을 확보한 HBM3E 12단 및 16단 적층 제품이 데이터센터 시장의 핵심 주력으로 확고히 자리 잡았다. 대용량 AI 모델 훈련과 추론에 요구되는 막대한 데이터 대역폭을 충족하는 수단으로 HBM3E 12·16단 제품이 압도적인 선택을 받고 있다.

나아가 6세대 HBM인 'HBM4'로의 세대교체 준비 역시 본궤도에 오른 상황이다. HBM은 AI 가속기가 요구하는 고대역폭을 안정적으로 제공하며 시장 내 독주를 이어가고 있다. 결과적으로 데이터센터 인프라 구축에서 HBM의 입지는 더욱 강화될 전망이다.

CXL 회의론 속에서 HBM3E 12·16단 제품이 2026년 데이터센터 시장의 핵심 주력으로 확고히 자리 잡았으며, HBM4로의 세대교체가 준비되고 있다.

AI 인프라, HBM 중심의 고성능 솔루션으로 진화

앞으로의 AI 인프라는 HBM 중심의 초고속 메모리 하드웨어와 이기종 가속기를 유연하게 통합 관리하는 소프트웨어 솔루션의 결합 형태로 진화할 전망이다. AI 모델이 점점 더 거대해짐에 따라 높은 대역폭을 제공하는 HBM과 같은 메모리의 가치는 더욱 부각되고 있다. CXL 기술은 HBM의 대체재라기보다는 비활성 데이터 관리를 보조하는 역할에 머물 가능성이 높다.

동시에 다양한 가속기 자원을 효율적으로 묶어주는 모레의 토큰 팩토리와 같은 소프트웨어 기술은 인프라 운영의 효율성을 한층 끌어올릴 것이다. 고성능 하드웨어와 유연한 소프트웨어의 결합이야말로 미래 AI 인프라를 지탱하는 핵심 축이 될 것이다.

참고