AI 연구개발의 자율화가 급속도로 진행되면서 AI 시스템의 통제 상실과 지능 폭발에 대한 경고가 잇따르고 있다. 주요 연구자들과 글로벌 리더들은 대규모 인명 피해 가능성을 지적하며 정부 차원의 강력한 규제를 촉구하는 상황이다. 이에 따라 사이버보안 분야가 급부상하고 국내외 정부와 기업들도 특화 보안 AI 모델 구축 및 정책 재검토에 나섰다. AI를 활용하는 개발자 시각에서 최신 통제 우려와 보안 전략 변화를 종합하여 살펴본다.

AI 지능 폭발과 통제 불능 우려

주요 AI 연구자 22명은 영국 케임브리지대 AI 과학·정책 프로그램(CASP)을 통해 발표한 공동 논문에서 AI 연구개발의 자동화가 지능 폭발을 촉발할 수 있다고 경고했다. 연구진은 통제력을 상실할 경우 인류의 소외나 멸망으로 이어질 수 있다며 각국 정부의 감시 의무화와 상주 감시관 배치를 요구했다. 엔비디아 역시 AI 에이전트의 돌발 행동을 차단하기 위한 이중 보안 기술을 공개하며 안전 장치 확보에 돌입했다. 한편 마이크로소프트 공동 창업자인 빌 게이츠는 악의적인 세력이 AI를 악용할 경우 10억 명의 사망자가 발생하는 대규모 인명 피해가 초래될 수 있다고 지적하며 강력한 정부 규제를 역설했다.

주요 AI 연구자들과 빌 게이츠는 AI의 자율 개발로 인한 지능 폭발과 대규모 인명 피해 가능성을 경고하며 정부의 강력한 규제와 감시를 촉구했다.

사이버보안주 급등과 미국 정치 동향

오픈AI의 공공 데이터 무단 접근 이슈가 불거지면서 미국 증시에서는 사이버보안 관련 종목들이 일제히 상승했다. 대표적인 사이버보안 섹터 상품인 글로벌 X 사이버보안 ETF는 0.69달러(1.54%) 오른 45.40달러로 장을 마감했다. 대형 보안 설루션 기업인 팔로알토 네트웍스는 17.35달러(4.63%) 상승한 392.09달러를 기록했고, 크라우드스트라이크 홀딩스 또한 7.12달러(2.82%) 오른 259.25달러에 거래를 마쳤다. 한편 트럼프 미국 대통령은 유엔 총회에서 미국의 글로벌 AI 통제 시스템 구축 시도를 전면 거부하고 AI를 초지능으로 명명하겠다고 선언했다. 트럼프 대통령은 국방부와 갈등을 빚었던 앤트로픽 CEO와 백악관에서 단독 면담을 진행하며 관계 정립에 나섰다.

오픈AI의 공공 데이터 무단 접근 이슈로 미국 증시의 사이버보안 관련 종목이 급등했으며 트럼프 대통령은 글로벌 AI 통제를 거부했다.

국내 AI 사용률 상승과 정책 전환

2026년 2분기 한국의 AI 사용률은 전분기 대비 3.5퍼센트포인트 상승한 40.6퍼센트를 기록하며 세계 순위 12위로 뛰어올랐다. 같은 기간 전 세계 평균 AI 사용률은 18.8퍼센트로 1분기(17.8퍼센트)보다 1.0퍼센트포인트 소폭 상승했다. 국가별로는 아랍에미리트가 73.3퍼센트로 1위를 차지했고 싱가포르(64.3퍼센트), 아일랜드(49.9퍼센트), 프랑스(49.6퍼센트)가 뒤를 이었으며 미국은 33.0퍼센트, 일본은 24.7퍼센트를 기록했다. 선진국 중심의 글로벌 노스 사용률은 28.8퍼센트, 신흥국 중심의 글로벌 사우스는 16.2퍼센트로 격차를 보였다. 이러한 흐름 속에서 한국 정부는 기존 국가대표 AI 모델 개발 사업 운영 방식을 재검토하고 세계 최상위급 프런티어 AI 개발에 재원을 집중하는 방침을 검토 중이다.

2026년 2분기 한국의 AI 사용률이 세계 12위로 상승한 가운데 정부는 최상위급 프런티어 AI 개발에 재원을 집중할 계획이다.

보안 특화 AI 모델 개발 착수

국내 산업계에서는 사이버 공격과 방어를 아우르는 보안 특화 AI 모델 개발이 본격적으로 추진되고 있다. 네이버클라우드가 주관하는 컨소시엄에는 총 41개 기관이 참여하여 산업 현장에서 즉시 활용 가능한 글로벌 수준의 보안 AI 기술 확보에 나섰다. 이 프로젝트는 해킹 등 보안 위협에 대응하는 공격 대응 모델과 방어 모델이라는 두 가지 핵심 모델 구축을 목표로 설정했다. 민관 협력을 통해 사이버 방패를 구축함으로써 가파르게 증가하는 보안 위험에 선제적으로 대응한다는 구상이다.

네이버클라우드가 주관하는 41개 기관 컨소시엄이 공격과 방어 역량을 갖춘 보안 특화 AI 모델 개발에 본격 착수했다.

AI 시대 개발 자동화와 보안 대응의 과제

현장 개발 프로세스에서 AI가 차지하는 비중은 빠르게 확대되고 있다. 앤트로픽의 경우 개발진이 최종 승인한 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80퍼센트 이상으로 대폭 증가했다. 인간이 감독만 하고 AI가 자율적으로 완료한 연구개발(R&D) 작업 비율 역시 지난 3월 1퍼센트에서 지난달 26퍼센트로 급증했다. 코드 작성과 연구개발 자율화가 심화함에 따라 개발자들은 AI 에이전트의 돌발 행동과 보안 허점에 대비해야 하는 과제를 안게 되었다. 철저한 이중 보안 체계와 통제 전략을 구축하는 것이 AI 시대 개발자들의 필수적인 역량으로 요구된다.

참고