인공지능 기술의 급속한 발전으로 블로그나 사회관계망서비스 콘텐츠 제작을 비롯한 업무자동화 생태계가 크게 확대되었다. 그러나 정교해진 AI 기술을 악용한 가짜 서비스와 허위 콘텐츠, 위조 문서가 함께 급증하면서 사회적 신뢰를 위협하는 부작용도 심화하고 있다. 포털 검색 광고를 악용한 유사 AI 사이트 사기부터 AI 기반 공문서 및 사문서 위조까지 범죄 수법이 고도화되는 추세다. 이에 맞춰 정부는 AI 기본법과 윤리원칙을 제정하여 사전고지와 표시 의무를 제도화하고 있다. 업무자동화를 추진하는 1인 창업자와 직장인이 알아야 할 리스크와 검증 지침을 살펴본다.

급증하는 가짜 생성형 AI 서비스

생성형 AI 기술이 대중화되면서 이를 모방한 가짜 서비스와 허위 콘텐츠가 빠르게 확산하고 있다. 한국소비자원에 따르면 2025년 기준 국제거래 소비자포털과 1372소비자상담센터에 접수된 생성형 AI 유사 사이트 관련 소비자 상담은 총 37건에 달했다. 접속 경로가 확인된 유사 사이트 23건 중 무려 21건인 91%가 구글 등 포털 사이트의 검색 결과 상단 노출 광고 링크를 통해 유입된 것으로 나타났다. 이용자들은 정식 서비스로 오인해 결제를 진행했다가 환불 거부나 서비스 중단 등의 피해를 입었다.

이러한 가짜 생성형 AI 플랫폼은 사용자의 금전적 피해에 그치지 않고 업무자동화를 노리는 개인 및 기업의 데이터 유출 위험을 키운다. 검색 광고를 악용한 피싱 사이트가 늘어나면서 올바른 공식 경로를 확인하지 않는 이용자들의 피해가 거듭되고 있다. 사회적 신뢰 기반을 무너뜨리는 이러한 유사 서비스 기승에 대해 포털 사이트의 광고 심사 강화와 더불어 이용자의 주의가 요구된다.

최근 포털 검색 광고를 악용한 가짜 생성형 AI 유사 사이트와 사기 피해가 급증하면서 사회적 신뢰를 위협하고 있다.

AI로 정교해진 공문서 및 사문서 위조

인공지능 기술을 악용한 가짜 진단서와 각종 문서 위조 사례가 늘어나면서 법적·사회적 문제가 더욱 심각해지고 있다. 경찰청이 제출한 자료에 따르면 공문서 위조 혐의 검거 건수는 2021년 239건에서 2024년 474건으로 3년 만에 두 배로 급증했다. AI 이미지 및 텍스트 생성 도구를 활용해 진단서나 금융 서류 등을 정교하게 변조하는 행위가 늘어난 결과다.

대한민국 형법 제231조에 따르면 권리나 의무, 사실관계에 영향을 줄 수 있는 타인의 문서를 위조하거나 변조할 경우 5년 이하의 징역형이나 1,000만 원 이하의 벌금형에 처해진다. 또한 이렇게 위조된 문서를 실제로 제출하거나 사용할 경우 위조사문서행사죄가 추가 적용되어 더욱 엄중한 법적 처벌을 받게 된다. AI 도구를 사용했다고 해서 범죄 성립이 유예되지 않으므로 업무 문서 작성 시 타인 문서의 무단 변조 행위를 엄격히 금해야 한다.

인공지능 기술을 악용한 가짜 진단서와 문서 위조가 늘어나면서 검거 건수가 3년 만에 두 배로 급증했다.

AI 투명성 확보와 사전고지 의무

정부는 인공지능 기술의 건전한 발전과 신뢰 기반을 조성하기 위해 생성형 AI 결과물에 대한 사전고지와 표시 의무를 제도화했다. 올해 초 시행된 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법에 따르면, 생성형 AI를 활용한 결과물에는 해당 결과물이 인공지능에 의해 생성되었음을 이용자가 명확히 인식할 수 있도록 표시해야 한다.

정부가 발표한 인공지능 투명성 확보 가이드라인은 이용자 알 권리를 보장하기 위해 사전고지와 표시의 개념을 명확히 구분한다. 사전고지는 해당 서비스나 시스템이 인공지능 기반으로 운영된다는 사실을 사용자에게 미리 안내하는 것을 의미한다. 반면 표시는 실제로 생성된 글, 이미지, 영상 등의 결과물이 인공지능에 의해 만들어졌다는 점을 워터마크나 텍스트 등으로 직접 밝히는 것을 말한다. 콘텐츠 자동화를 수행하는 제작자는 이를 준수해야 한다.

AI 투명성 확보와 사전고지 의무 관련 사진

사진: Chris Ried · Unsplash

국가 차원의 AI 윤리원칙 제정

과학기술정보통신부와 정보통신정책연구원은 인간 중심의 안전하고 신뢰할 수 있는 AI 활용 생태계를 조성하기 위해 대한민국 인공지능 윤리원칙을 제정해 확정했다. 해당 윤리원칙은 AI 기술 발전이 가져올 수 있는 부작용을 예방하고 책임 있는 활용을 유도하기 위한 국가 차원의 기본 가이드라인 역할을 한다.

이 윤리원칙은 인간의 존엄성, 사회의 공공선, 인류의 지속 가능성을 3대 가치로 제시했다. 이를 실현하기 위한 7대 원칙으로는 인간 중심성, 프라이버시 보호, 공정성 및 포용성, 책임성, 안전성, 신뢰성, 투명성을 포함했다. 별도의 법적 구속력은 없지만 급증하는 AI 범죄와 부작용에 대응해 개발자와 이용자 모두가 지켜야 할 실효성 있는 윤리적 자율 규율 기준이 된다.

국가 차원의 AI 윤리원칙 제정 관련 사진

사진: Dylan Gillis · Unsplash

업무자동화를 위한 팩트체크와 대응

블로그나 SNS 콘텐츠 제작 및 업무자동화를 추진할 때 이용자는 AI가 출력한 결과물을 무조건 신뢰하지 말고 직접 검증하는 태도를 가져야 한다. 방송통신위원회가 제시한 원칙에 따르면 AI 제작물임을 밝히는 라벨링을 적용하고, 타인의 저작권이나 초상권을 침해하지 않도록 책임감 있게 콘텐츠를 제작해야 한다.

또한 생성된 결과물에 허위 사실이나 오류가 없는지 직접 팩트체크를 수행하는 습관이 필수적이다. 인공지능은 학습 데이터에 포함된 잘못된 정보로 인해 편향을 나타낼 수 있으므로, 문맥 속에 숨겨진 편견이나 오류가 없는지 지속해서 의심하고 확인해야 한다. 기술을 활용한 업무 효율화도 철저한 사실 확인과 윤리적 검증이 바탕이 되어야 지속 가능하다.

참고