인공지능 기술이 비약적으로 발전하면서 의료 분야와 신약 개발 과정에도 깊숙이 파고들고 있다. 최근 인공지능이 임상시험을 통과한 암 치료제를 개발하더라도 그 작동 원리를 인간이 이해할 수 없다면 신뢰할 수 있는지에 대한 근본적인 질문이 제기되었다. 이 현상은 인공지능 분야의 고질적인 난제인 블랙박스 문제를 수면 위로 끌어올렸으며, 의료 현장과 규제 기관에서 치열한 공방과 제도적 정비로 이어지고 있다.

테렌스 타오의 사고실험과 의료 AI의 블랙박스

세계적인 수학자 테렌스 타오 교수는 최근 강연을 통해 인공지능이 암 치료제를 개발하고 임상 3상까지 통과하며 수학적 증명까지 완수했더라도, 그 원리를 인간이 전혀 이해하지 못한다면 과연 그 약을 신뢰하고 사용할 수 있겠냐는 날카로운 화두를 던졌다. 이 사고실험은 인공지능이 내놓은 결과물의 정확성 이면에 숨겨진 블랙박스 문제를 적나라하게 드러내며 큰 파장을 일으켰다. 내부의 작동 논리를 투명하게 파악할 수 없는 상태에서 고도의 생명 과학적 결정을 인공지능에 전적으로 맡겨도 되는지에 대한 우려가 커진 것이다. 이로 인해 의료 현장과 연구 개발 영역 모두에서 인공지능의 의사결정 과정을 투명하게 밝혀내야 한다는 목소리가 커지고 있으며, 설명 가능한 인공지능의 중요성이 핵심 화두로 자리 잡았다.

테렌스 타오의 사고실험과 의료 AI의 블랙박스 관련 사진

사진: Igor Omilaev · Unsplash

치료 효과 우선론과 의료계의 현실적 반박

테렌스 타오의 사고실험 직후 의료 현장과 온라인 커뮤니티 등에서는 즉각적인 반론이 제기되었다. 당장 생명이 위급하고 가용한 치료 옵션이 한정된 말기 암 환자들의 절박한 상황에서는 약물의 작동 원리를 명확히 이해하는 것보다 실질적인 생존율 향상과 치료 효과가 훨씬 중요하다는 시각이다. 당장 목숨이 위태로운 환자들에게 원리를 모른다는 이유만으로 효과가 입증된 치료 기회를 가로막거나 거부하는 것은 현실을 전혀 모르는 소리라는 비판이 이어진다. 즉, 임상의와 환자 모두에게 완벽한 설명 가능성보다는 임상적 유효성과 안전성이 입증되었다면 우선적으로 활용해야 한다는 실용적인 접근이 힘을 얻고 있다. 이러한 대립은 의료 AI가 나아가야 할 방향이 단순히 이론적 투명성에만 머물 수 없으며 환자의 생존이라는 현실적 가치와 조화를 이루어야 함을 시사한다.

말기 암 환자에게는 원리 이해보다 생존과 직결된 치료 효과와 안전성이 훨씬 중요하다는 반론이 제기된다.

WHO가 규정한 의료 AI의 핵심 윤리 원칙

국제 사회는 이러한 의료 인공지능의 명암 속에서 명확한 가이드라인을 세우기 위해 움직여왔다. 세계보건기구(WHO)는 2021년 발표한 보건 분야 인공지능 윤리 및 거버넌스 지침을 통해 명확한 기준을 제시했다. WHO는 인간 자율성 보호와 인류의 안전 증진을 포함해 여섯 가지 핵심 윤리 원칙을 규정했으며, 그중 하나로 투명성, 설명 가능성, 이해 가능성의 보장을 강력하게 주문했다. 인공지능 시스템이 단순한 블랙박스로 남아있어서는 안 되며 디자인부터 의사결정 과정까지 내부 논리가 접근 가능해야 한다는 것이다. 이러한 투명성은 임상의가 올바른 임상적 판단을 내리고 환자의 두터운 신뢰를 확보하기 위한 필수 조건으로 기능한다. 다중모드 대형 모델과 같은 최신 기술이 확산되는 환경 속에서도 이러한 윤리적 잣대는 규제 당국과 개발자들에게 중요한 이십자가 되고 있다.

WHO가 규정한 의료 AI의 핵심 윤리 원칙 관련 사진

사진: Headway · Unsplash

FDA와 EMA의 글로벌 규제 대응과 원칙

주요 글로벌 규제 기관 역시 의료 AI의 안전망을 촘촘히 짜기 위해 구체적인 지침을 연이어 내놓고 있다. 미국 식품의약국(FDA)은 2026년 8월 생성형 AI 기반 의료기기 규제 고려사항 논의문을 공개하고 시판 전 심사와 사후 관리 체계에 대한 광범위한 의견 수렴에 착수했다. 딥러닝 기술 특유의 블랙박스 문제를 해결하고 전문 지식이 부족한 환자에게 직접 정보를 제공하는 생성형 AI의 높은 위험성을 통제하기 위한 포석이다. 아울러 유럽의약품청(EMA)과 FDA는 의약품 수명 주기 전반에 걸쳐 좋은 인공지능 실무 10대 원칙을 공동으로 발표하며 보조를 맞추고 있다. 이 원칙들은 인간 중심 디자인, 위험 기반 성능 평가, 엄격한 데이터 거버넌스를 핵심축으로 삼아 환자 안전을 최우선으로 담보한다.

미국 FDA와 유럽 EMA는 AI 의약품과 의료기기의 수명 주기를 관리하기 위해 공동의 원칙과 엄격한 심사 지침을 마련하고 있다.

설명 가능한 인공지능을 향한 과제

의료 분야에서 인공지능이 진정한 혁신 기술로 자리 잡기 위해서는 블랙박스 구조를 허물고 신뢰를 구축하는 기술적 도약이 반드시 선행되어야 한다. 설명 가능한 인공지능 기술은 인공지능 모델이 내린 진단과 치료 처방의 근거를 인간이 직관적으로 이해할 수 있는 형태로 시각화하고 분석하는 방향으로 진화하고 있다. 의료진과 규제 기관은 이를 통해 오답이 발생했을 때 원인을 정확히 추적하고 법적 책임 소재를 명확히 가릴 수 있는 기반을 다지게 된다. 개발자와 의료기관은 이제 단순히 성능이 우수한 모델을 만드는 것을 넘어, 그 모델이 왜 그러한 결론에 도달했는지 설명할 수 있는 투명성을 확보해야 한다. 결국 기술적 발전과 엄격한 제도적 검증이 조화를 이룰 때 비로소 환자와 의료진 모두가 안심하고 쓸 수 있는 의료 AI의 미래가 열린다.

참고