2026년 9월 15일부터 17일까지 미국 캘리포니아주 샌타클라라 컨벤션센터에서 글로벌 기술 콘퍼런스 'AI 인프라 서밋'이 열렸다. 8000명 이상의 업계 관계자와 250개 이상의 파트너사가 참여한 이번 행사에서는 최신 AI 인프라의 기술 과제와 발전 방향이 논의됐다. 고대역폭 메모리(HBM)의 지위는 다시 한번 확인됐고, 차세대 메모리 연결 규격인 CXL에 대해서는 한계가 지적됐다. AI 가속기 응답 속도를 크게 높이겠다는 메모리 계획과, 서로 다른 가속기를 묶어 쓰는 소프트웨어도 함께 나와 인프라가 어느 쪽으로 가는지 보여줬다.

AI 인프라 서밋, 최신 기술 동향의 장

미국 샌타클라라 컨벤션센터에서 열린 'AI 인프라 서밋'에는 글로벌 기술 기업과 전문가들이 모여 최신 AI 인프라 기술 동향을 나눴다. 패널 토의에서는 차세대 메모리 인터페이스로 기대를 모았던 CXL이 실제 AI 모델 구동 환경에서 얼마나 쓸모가 있는지를 두고 회의적인 의견이 나왔다. 참가자들은 고대역폭 메모리(HBM)의 역할을 인터페이스 규격 하나로 대체하기 어렵다는 점을 집중적으로 다뤘다.

메모리 반도체 기업과 국내 스타트업이 내놓은 차세대 제품 계획도 관심을 받았다. 삼성전자는 차세대 AI 메모리 zHBM으로 AI 가속기의 응답 속도를 크게 끌어올리겠다는 계획을 공개했다. 국내 AI 인프라 기업 모레는 서로 다른 AI 반도체를 하나처럼 묶어 쓰는 프레임워크와 '토큰 팩토리'를 발표하며 인프라 운영의 또 다른 선택지를 내놨다.

CXL, AI 모델 구동 환경에서 활용성 한계

이번 패널 토의에서는 오픈AI와 인텔 등 빅테크 엔지니어들이 CXL의 기술적 한계를 직접 지적했다. 오픈AI의 대니얼 모리스 연구원은 실제 AI 모델 구동 환경에서 CXL을 제대로 쓰는 사례를 찾기 어렵다고 말했다. CXL은 거대 AI 모델에서 활성화되지 않는 비활성 데이터를 따로 보관하는 보조 용도에나 맞는다는 평가다.

인텔의 비디아 티아가라잔 AI SoC 아키텍처 총괄도 CXL의 데이터 전송 속도가 HBM의 대역폭에 못 미친다고 밝혔다. CXL은 기존 보조 기억 장치를 보완하는 수준에 머물고 HBM을 대체하기는 어렵다는 분석이 우세하다. 상용 데이터센터에 적용했을 때의 비용 절감 통계는 구체적으로 확인되지 않았지만, 속도 한계 때문에 쓰임새가 좁다는 점은 분명히 드러났다.

AI 인프라 서밋에서 CXL은 고대역폭 메모리(HBM)를 대체하기 어렵고, 보조 기억 장치를 보완하는 수준에 그친다는 평가가 나왔다.

삼성전자 zHBM, AI 가속기 응답 속도 10배 목표

삼성전자는 서밋에서 차세대 AI 메모리 zHBM 전략을 공개했다. 지금 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준이다. 삼성전자는 zHBM을 도입해 AI 가속기의 응답 속도를 지금의 10배인 초당 1000토큰까지 높이는 것을 목표로 잡았다.

이 목표는 지능형 에이전트 AI를 구현하는 데 꼭 필요한 도약으로 풀이된다. 스스로 판단하고 동작을 이어서 수행하는 에이전트형 AI는 지연 시간을 극단적으로 줄여야 하므로, 초당 1000토큰의 고속 처리가 핵심 과제로 꼽힌다. zHBM의 양산 시점이나 세부 동작 대역폭 수치는 확인되지 않았지만, AI 응답 속도를 10배 높이겠다는 목표는 주요 논점으로 떠올랐다.

삼성전자는 차세대 AI 메모리 zHBM을 통해 현재 초당 100토큰 수준인 대화형 AI 응답 속도를 초당 1000토큰으로 10배 끌어올리겠다는 비전을 제시했다.

이기종 AI 가속기 활용 위한 소프트웨어 등장

AI 인프라 스타트업 모레(MOREH)는 행사 첫날 서로 다른 AI 반도체를 하나처럼 묶어 쓰는 프레임워크를 공개했다. 특정 가속기에 묶이지 않고 여러 종류의 반도체를 하나의 인프라 자원처럼 풀링해 제어하는 기술이다. 엔지니어들은 이 기술로 이기종 가속기 환경의 복잡한 운영 부담을 크게 덜 수 있다.

모레가 내놓은 '토큰 팩토리'는 이기종 AI 반도체를 효율적으로 쓰기 위한 소프트웨어다. 토큰 팩토리는 여러 반도체 자원의 연산 능력을 최적화하고 연산 병목을 없앤다. 모레의 소프트웨어는 기존 하드웨어 인프라에 유연성과 확장성을 더해 AI 인프라 자원의 활용률을 높이는 데 초점을 둔다.

HBM, 데이터센터 시장의 핵심 주력으로 정착

CXL 회의론과 달리 HBM은 데이터센터 시장의 주력 기술로 입지를 굳히고 있다. 2026년 반도체 시장에서는 양산성과 수율이 안정된 HBM3E 12단·16단 적층 제품이 데이터센터 시장의 주력으로 확실히 자리 잡았다. 대용량 AI 모델의 훈련과 추론에 필요한 막대한 데이터 대역폭을 감당할 수단으로 HBM3E 12·16단 제품이 압도적으로 선택받고 있다.

6세대 HBM인 'HBM4'로 세대를 바꿀 준비도 본궤도에 올랐다. HBM은 AI 가속기가 요구하는 고대역폭을 안정적으로 공급하며 시장에서 독주를 이어가고 있다. 데이터센터 인프라 구축에서 HBM의 입지는 앞으로 더 단단해질 전망이다.

CXL 회의론 속에서 HBM3E 12·16단 제품이 2026년 데이터센터 시장의 핵심 주력으로 확고히 자리 잡았으며, HBM4로의 세대교체가 준비되고 있다.

AI 인프라, HBM 중심의 고성능 솔루션으로 진화

앞으로 AI 인프라는 HBM 중심의 초고속 메모리 하드웨어와, 이기종 가속기를 유연하게 통합 관리하는 소프트웨어가 결합하는 쪽으로 갈 전망이다. AI 모델이 커질수록 높은 대역폭을 내는 HBM 같은 메모리의 가치도 커진다. CXL은 HBM의 대체재보다는 비활성 데이터 관리를 돕는 역할에 머물 가능성이 높다.

여러 가속기 자원을 효율적으로 묶어 주는 모레의 토큰 팩토리 같은 소프트웨어는 인프라 운영 효율을 한층 높일 것이다. 고성능 하드웨어와 유연한 소프트웨어를 함께 갖추는 것이 앞으로 AI 인프라의 기본 구성이 될 가능성이 크다.

참고