인공지능 모델을 실제 서비스에 도입할 때 응답 속도는 개발자가 고려해야 하는 주요 지표다. 언어 모델이 출력을 시작한 후 텍스트를 생성하는 속도인 초당 토큰 수(TPS)는 서비스 지연 시간에 직접적인 영향을 미친다. 최근 공개된 오픈AI의 최신 모델 라인업은 작업 목적과 추론 복잡도에 따라 각기 다른 속도와 특성을 보여준다.

AI 속도 측정의 기준, 초당 토큰 수

초당 토큰 수(TPS)는 인공지능 모델이 첫 번째 토큰을 출력한 이후 1초 동안 생성하는 텍스트 토큰의 개수를 뜻한다. 결제나 데이터베이스 처리에서 쓰이는 트랜잭션 단위와는 구분되는 개념으로, 언어 모델의 응답 속도와 사용자 경험을 결정짓는 핵심 기준이다.

토큰은 모델이 다루는 텍스트의 최소 단위로 단어나 구두점, 단어의 일부로 구성된다. 보통 영어 단어 하나는 약 1.3개에서 2개의 토큰으로 변환되며, 대략 영어 단어 4분의 3 정도의 길이가 1토큰에 해당한다.

이러한 처리 속도는 모델의 매개변수 규모와 GPU 하드웨어 사양, 양자화 및 추론 엔진의 최적화 수준에 따라 달라진다. 서로 다른 모델의 속도를 유의미하게 비교하려면 동일한 프롬프트 크기와 출력 길이, 동일한 벤치마크 환경에서 측정해야 한다.

AI 속도 측정의 기준, 초당 토큰 수 관련 사진

사진: Olivier Collet · Unsplash

오픈AI 최신 모델의 속도와 특징

2026년 10월 26일 출시된 GPT-6.1 테라(Terra)는 시각적 추론과 정밀한 컴퓨터 사용 작업에 특화된 모델이다. 이전 세대를 대체하는 위치로, 기존 GPT-6 Astra나 GPT-6.1 Sol보다 작업 완료 속도가 3배 이상 빠르다.

2026년 9월 29일에 공개된 GPT-6.1 솔(Sol)은 중간 등급의 추론 모델이다. 상위 모델인 Astra의 에이전트 코딩 및 전문 작업 성능에 가깝지만 입출력 토큰 비용은 5분의 1 수준으로 설계되었다.

2026년 9월 22일에 발표된 GPT-6 루나(Luna)는 대량의 단순 작업을 집중 처리하기 위한 고효율 저비용 모델이다. 이처럼 각 모델은 작업 지능과 처리 목적에 따라 개별 라인업으로 구분된다.

오픈아이의 신규 모델 3종은 작업 효율과 추론 능력에 따라 속도와 용도가 다르게 설계되었다.

독립 벤치마크가 측정한 실제 출력 속도

독립 측정 기관인 아티피셜 애널리시스(Artificial Analysis)의 벤치마크에 따르면 GPT-6.1 테라는 초당 90.9 출력 토큰을 기록했다. 커뮤니티의 일부 간이 측정치에서 언급된 초당 60토큰 내외와는 차이를 보인다.

GPT-6.1 솔은 일반 측정에서 초당 73.5 토큰을 기록했으나, 복잡한 연산이 필요한 무거운 추론 상태에서는 초당 20토큰에서 35토큰 수준으로 속도가 저하되었다. 반면 GPT-6 루나 맥스는 초당 126 토큰의 가장 빠른 생성 속도를 보였다.

이러한 측정치의 차이는 프롬프트 길이와 출력 규모, 사고 단계의 포함 여부 등 테스트 환경의 차이에서 기인한다. 개발 현장에서는 단순히 표기된 수치보다 실제 호출 방식에 맞춘 검증이 필요하다.

독립 측정 기관의 벤치마크 결과 테라와 솔, 루나의 초당 토큰 생성 속도에 차이가 나타난다.

추론 모델의 한계와 복잡한 문제 해결

대규모 언어 모델은 명시적인 논리 규칙을 다루기보다 언어 데이터의 통계적 패턴에 기반해 작동한다. 이로 인해 다단계 논리 연산이나 추상적 사고가 필요한 복잡한 난제에서는 여전히 한계를 보인다.

고난도 코딩 및 긴 문맥 처리가 요구되는 작업에는 테라보다 지능 지수가 높은 Sol이나 Astra 기종이 적합하다. 문제 해결 능력을 높이기 위해 중간 추론 단계를 거치는 생각의 사슬 기법 등이 접목되고 있다.

벤치마크 지수상 테라가 48점, 솔이 52점, 아스트라가 53점을 기록하는 것처럼, 지표상 차이와 실무 개발자가 체감하는 추상적 정답률 사이에는 일정한 간격이 존재한다. 서비스 구축 시에는 지연 시간과 추론 지능 간 타협점을 명확히 설정해야 한다.

추론 모델의 한계와 복잡한 문제 해결 관련 사진

사진: Chris Ried · Unsplash

참고