“왜”까지 설명하는 XAI가 ‘킬러 AI’ 막는다

• 유튜브에 올라온 ‘총 쏘는 드론’이 논란을 일으켰다. 자율주행차에 폭탄을 실어 테러를 감행하거나 킬러 로봇을 이용해 사람을 죽일 수 있다. ‘AI를 악용하는’ 사람을 막으려면 AI를 감시해야 한다.

[Flickr]

인생을 살면서 누구나 ‘돈이 원수다’라고 한 번쯤 생각해봤을 것이다. 돈 때문에 사람을 죽인, 안타까운 뉴스도 이따금 언론에 보도된다. 돈은 수단일 뿐 그 이상도, 그 이하도 아닐 것이다. 영국 철학자 프랜시스 베이컨은 “돈은 최고의 종이자 최악의 주인”이라는 명언을 남겼다. 돈을 종, 주인 중 어떤 것으로 간주할지는 우리 몫이다. 돈은 그저 인류가 발명한 기술의 산물일 뿐이다. 돈을 기술로 보는 사람은 많지 않겠으나 물물교환 시대 화폐가 등장한 것은 혁신적 기술이었다.

인류의 기술 역사를 살펴보면 돈처럼 ‘좋은 기술’ 혹은 ‘나쁜 기술’로 평가가 나뉘는 경우가 많다. 다시 말해 양면성을 가진 기술이 많았다는 것이다. 대표적인 예로 다이너마이트가 있다.

알프레드 노벨은 니트로글리세린 조합 기술을 활용해 탄광 뚫기, 다리 건설에 유익한 폭약 ‘다이너마이트’를 1867년 특허로 낸다. 그런데 노벨은 이에 그치지 않고 이러한 기술을 활용해 1888년 전쟁용 폭약 ‘발리스타이트’를 만들었다. 많은 군인이 전쟁에서 발리스타이트 탓에 죽었다. 다이너마이트와 발리스타이트는 일란성 쌍둥이였으나 사용 용도에 따라 좋은 쪽과 나쁜 쪽으로 나뉘었다

인공지능(AI)은 어떨까. AI 발전과 함께 위협론이 제기된다. AI의 지능이 우리를 초월해 인류를 위협한다는 게 골자다. 영화 ‘터미네이터’처럼 말이다. 현재 시점에서 AI의 발전 방향을 볼 때 AI가 인류에 직접적 위협을 가하긴 힘들다. 특정 업무만 처리하는 방향으로 개발되기 때문이다. 참고로 이를 약(弱)AI(Weak AI) 혹은 협의의 AI(Narrow AI)라고 한다. ‘터미네이터’처럼 AI가 자생적 생각과 통합 사고를 가져 인류를 위협할 일은 적다는 뜻이다. 문제는 ‘AI를 악용하는’ 사람이다.

범죄자에게도 유용한 AI

총 쏘는 드론. [유튜브 캡처]

거의 모든 사람이 AI가 인류의 복지를 향상시킨다는 점에 동의할 것이다. 이를 경제적 수치로 환산하면 어느 정도일까.



올해 4월 경영 컨설팅 기업 맥킨지는 19개 산업에 한정해 AI가 주는 경제적 가치를 산출했다. 분석 결과에 따르면 3조5000억 달러에서 5조8000억 달러(한국 돈 4200조 원에서 6910조 원)의 가치가 AI로부터 연간 창출된다. 이는 한국의 국내총생산(GDP)보다 3배 많은 수치로 일본 GDP와 맞먹는다. 맥킨지의 산출은 AI가 인류 복지에 얼마나 기여하는지 피부로 느낄 수 있게 하나 애석하게도 간과한 사실이 있다. AI로 인해 나타나는 비용을 고려하지 않았다.

AI로 인해 범죄형 서비스(CaaS) 시장이 더욱 커질 전망이다. [Pixabay]

AI는 모든 사람에게 편의성을 제공한다. 사람 범주에는 범죄자도 빠지지 않는다. 다시 말해 범죄자가 AI를 악용할 수 있다는 뜻이다.

올해 2월 옥스퍼드대, 케임브리지대, 예일대, 스탠퍼드대 등에서 연구하는 학자 26명이 ‘AI의 악용 : 전망, 방지 및 대응(The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation)’ 보고서를 발간했다.

이 보고서는 AI 악용으로 인한 위협을 세 가지로 구분한다. 첫째 위협은 ‘기존 위협의 확대’다. 테러 등 위협 행위를 AI를 활용해 더욱 효과적으로 가한다는 뜻이다. 둘째는 ‘새로운 위협 등장’이다. 셋째는 ‘위협의 전형적인 특성 변화’다. AI 활용으로 공격 특성이 변화한다는 의미다.

목소리까지 조작하는 딥페이크 ‘가짜뉴스’

사이트 검열로 특정 사이트를 차단하는 중국. [Flickr]

보고서는 또 AI 악용이 미칠 안보 분야 위협을 세 가지로 나눴다. 디지털 보안(Digital Security), 물리 보안(Physical Security), 정치 보안(Political Security)이 그것이다.

디지털 보안에서 AI 악용 사례부터 살펴보자. 사이버 공격은 컴퓨터 전문가만 할 수 있는 영역이 아니게 된다. AI를 통해 ‘해킹 대중화’ 및 ‘공격 첨단화’가 이뤄질 것으로 보인다. 일반인이 해킹을 쉽게 할 수 있는 프로그램을 판매하는 곳은 지금도 있다. 이를 ‘범죄형 서비스(CaaS ·Crime as a Service)’라고 한다.

2016년 보안 전문 기업 제로폭스는 AI를 활용해 소셜네트워크서비스(SNS)의 개인 정보를 분석해 악성 링크 클릭 유도 댓글을 자동으로 남기는 ‘스피어 피싱’ 시스템을 선보였다. 스피어 피싱은 특정 대상을 공격하는 기법으로 일반 피싱보다 투입 시간이 많은 것이 단점이다. 공격 대상에 대한 사전 조사가 필요하기 때문이다. 그런데 사전 조사를 AI가 대신하게 함으로써 해킹이 더욱 간편해졌다. ‘파괴적 공격은 투입 시간이 많다’는 공식도 깨졌다. AI를 사용하면 손쉽게 스피어 피싱을 감행할 수 있기 때문이다.

보안 관련 최대 콘퍼런스인 ‘블랙햇’에서 IBM이 선보인 AI 악성코드 ‘딥로커(DeepLocker)’가 주목받았다. AI를 활용해 보안 시스템의 검열을 자동으로 피하는 방식이다. 너무 잘 알려져 탐지가 쉬운 랜섬웨어 ‘워너크라이’가 여러 보안 시스템을 우회하는 경로를 시연해 충격을 줬다. 보안 시스템의 취약점을 자동으로 찾아주는 ‘오토 익스플로잇(Auto Exploit)’도 등장했다. 이 툴을 이용하면 일반인도 해커가 될 수 있다.

‘물리 보안’에는 AI 악용이 어떤 위협을 가져올까. 드론, 로봇을 악용해 물리적 피해를 주는 게 대표적이다. 드론을 악용한 범죄 사례가 생각보다 많다. 2015년 4월 일본 총리관저에서 방사성 물질을 실은 드론이 발견됐는가 하면, 2015년 7월 미국에서는 학생이 총을 쏘는 드론을 제작해 논란이 일어났다. 자율주행차에 폭탄을 실어 테러를 감행하거나, 킬러 로봇을 이용해 사람을 죽일 수 있다.

‘정치 보안’에서도 AI가 악용될 것이다. AI를 활용하면 네트워크 접속 현황을 자동으로 감시할 수 있다. 중국처럼 인터넷 사이트 검열이 심한 국가가 마음만 먹으면 AI를 이용해 시민의 일거수일투족을 감시할 수도 있다.

‘경제 붕괴’ 일으킬 수 있는 ‘AI 편견’

양화 ‘어쌔신 크리드’의 선악과. [Pixabay]

세계신문협회는 지난해 ‘가짜뉴스’를 가장 주목할 사안으로 선정했다. AI를 악용한 딥페이크(DeepFake)의 등장 때문이다. 딥페이크는 AI 알고리즘(Deep Learning)과 가짜(Fake)의 합성어로 AI를 활용한 가짜 이미지, 음성, 영상 등의 콘텐츠를 일컫는다. 버락 오바마 전 미국 대통령이 도널드 트럼프 대통령을 지지한다고 말하는 딥페이크 영상이 공개돼 화제가 된 바 있다. 딥페이크로 ‘가짜 뉴스’를 만들어 시민을 선동할 수 있는 것이다.

AI는 기계학습을 기반으로 운영되는 예가 많다. 기계학습은 AI가 데이터 학습을 통해 지능을 습득하는 알고리즘이다. AI는 어떤 방식으로 학습하느냐에 따라 지능이 달라진다. 또한 학습 방법에 따라 편견을 갖게 된다.

‘AI 편견’의 대표 사례로 마이크로소프트(MS)가 개발한 ‘테이(Tay)’ 막말 사건이 있다. 테이는 MS에서 개발한 AI 챗봇인데, 잘못된 학습으로 인해 인종차별 발언을 하는 문제를 일으켰다.

테이의 막말은 AI가 경제를 붕괴시킬 수 있는 위험과 비교하면 귀엽다. 경제협력개발기구(OECD)가 발간한 ‘알고리즘과 담합(Algorithm and Collusion)’ 보고서에 따르면 AI 알고리즘을 악용해 ‘시장 실패’를 일으킬 수 있다. 특정 국가가 적국의 경제를 파괴할 수도 있는 것이다.

일례로 AI 알고리즘으로 가격 담합을 할 수 있다. 담합으로 규정되려면 기업들이 서로 만나 가격을 조정하는 행위가 있어야 하는데 AI 알고리즘은 그럴 필요를 없앤다. 기업은 이를 악용할 수 있다. AI를 이용해 실시간으로 가격을 조정하는 시스템은 벌써부터 나와 있다. 예컨대 앨고 셀러는 사용자의 구매 가능성을 보고 가격을 조정하는 알고리즘을 개발했으며 우버는 택시 수급에 따른 탄력 요금제 서비스를 제공한다.

‘나쁜 마음을 먹은 사람’이 AI 서비스 자체나 AI 기반 알고리즘을 악용하는 것을 막을 수 있을까. 그러려면 AI에 대한 통제성을 높여야 한다. ‘설명 가능한 인공지능(XAI·eXplainable AI)’이 주목받는 이유다.

XAI는 말 그대로 AI의 사고 과정을 들여다볼 수 있게 하는 기술이다. XAI는 액션 영화 ‘어쌔신 크리드’에 등장하는 선악과를 떠올리게 한다. 영화 속 선악과에는 인간을 통제할 수 있는 유전 정보가 담겨 있다. XAI를 통해 AI가 어떤 생각을 하는지 알 수 있다. AI 악용을 XAI로 막을 수 있는 것이다.

미국 국방부 산하 연구기관 방위고등연구계획국(DAPRA)은 세 가지 방법으로 XAI 구현 방안을 제시한다. 첫째, AI 추론에 활용된 요인에 라벨을 붙여 이를 시각화해 보여주는 것이다. 둘째, AI가 어떤 생각을 하는지 감시하는 AI를 만드는 것이다. 셋째, AI가 어떤 결과 값을 낼지 유추하는 AI를 제작하는 것이다.

AI의 善惡果 ‘XAI’

DAPRA를 비롯해 여러 국가에서 XAI를 개발 중이다. 한국 또한 XAI 개발에 관심을 보인다. 울산과학기술원(UNIST)이 지난해 9월부터 2021년 12월까지 154억 원을 지원받아 XAI를 개발하고 있다. 좋은 기술도 누가 사용하느냐에 따라 나쁜 기술로 바뀔 수 있다. 1938년 오토 한과 프리츠 슈트라스만은 중성자가 우라늄과 충돌하면 강력한 에너지가 생성된다는 것을 발견했고, 이를 전력 생산에 활용하고자 했다. 이들의 발견은 핵무기로 변질돼 인류를 위협한다. 앞서 맥킨지에서 분석했듯 AI는 인류에 큰 복지를 가져다줄 기술이다. 그런데 AI가 원자력 기술과 같은 상황에 처하고 있다. 대응할 방안이 필요하다. XAI가 과연 해법이 될 수 있을까.