AI 위협의 전형적인 예는 ‘종이 클립 최대화 기계’이다. 이는 옥스퍼드대학교의 철학자 닉 보스트롬이 고안한 사고실험(thought experiment)으로, 종이 클립을 만들도록 고안한 AI 제어 기계(전원을 끌 수 없다)가 원자재 공급이 부족해지자 주변에 있는 모든 원자를 활용하기 시작한다. 심지어 사람도 자원으로 삼는다. 클립 기계는 “지구를, 곧이어 우주 곳곳을 종이 클립 제조 시설로 바꾼다.” 머지않아 우주에는 종이 클립과 종이 클립 제조기만 남게 된다.
우리는 AI가 삶을 더 편하게 만들기에 태평하게도 점점 더 똑똑한 AI를 만들고 있다. 그러다 AI의 지능이 ‘더 위험한 수준’에 이르면, AI 시스템에 심는 통제 프로그램(예를 들어 AI를 끄는 법)을 사용할 수 없게 될 것이다.
또 다른 인류 멸종 시나리오는 다큐멘터리 영화 제작자 제임스 배럿의 불길한 제목의 책(그리고 영화) 『파이널 인벤션 : 인공지능, 인류 최후의 발명』에서 다루고 있다. 배럿은 주요 AI 디스토피아론자를 인터뷰하고, 오늘날의 AI가 어떻게 인간 지능에 대응하는 AGI로 발전하며, 10배, 100배, 1000배 더 똑똑해져서 초인공지능으로 진화할 것인지 자세히 설명한다.
“당신과 나는 들쥐보다 수백 배 더 똑똑하다. 그리고 그들과 유전체 약 90%를 공유한다. 그렇다고 농사를 짓기 위해 그들의 서식지인 밭을 갈아엎을 때 그들과 상의하나? 스포츠 부상에 대해 연구하기 위해 실험 원숭이의 머리를 부수기 전에 그들의 의견을 묻는가? 우리는 들쥐나 원숭이를 미워하지 않지만, 그들을 잔인하게 대한다. 초인공지능도 우리를 미워해야만 파괴하는 건 아닐 것이다.”
초인공지능은 (아마도) 자의식이 있을 것이기에, 자신의 목표(종이 클립 만들기 같은)를 달성하기 위해 프로그래밍된 작업을 계속할 것이고, 이를 위해 에너지와 자원 같은 것을 ‘원할 것’이며, 불길하게도 ‘전원이 꺼지거나 파괴되는 것을 원치 않을 것’(목표 달성에 방해가 되므로)이다.
결국 인간보다 천 배 이상 똑똑하고 수백, 수십억 배 더 빨리 문제를 풀 수 있는 초인공지능은 “자신을 보호하고 개선하기 위해 더 많은 자원에 접근하고 자신을 제한하는 보안 시설을 넘어 확장하려고 할 것이다.”
일단 초인공지능이 그 경계를 벗어나면 멈출 수 없게 된다. 당신보다 훨씬 더 똑똑한 초인공지능이 모든 가능성을 예측할 것이기 때문에 간단히 플러그를 뽑는 식으로는 그를 막을 수 없을 것이다.
이와 같은 종말론적 서사나 상상은 검증할 수 없다. 그러나 분명한 건, 지금의 AI가 확실히 위험하지 않은 것은 아니지만, 신중한 주의는 필요하다. 댄 핸드릭스 등이 초안하고, AI 안전센터(Center for AI Safety)가 발표한 문서를 보자. 그들은 논의가 필요한 네 가지 주요 위험을 다음과 같이 제시한다.
악의적 사용 : 특정 집단이 강력한 AI를 활용하여, 의도적으로 광범위한 피해를 일으킬 수 있다. 구체적으로 치명적인 병원체를 만드는 데 AI를 이용하는 바이오 테러나 AI를 이용한 언론 선동, 검열, 감시 등이 있다.
AI 경쟁 : 국가와 기업의 경쟁은 AI 개발을 서두르게 하고, 통제권을 AI 시스템에 넘기도록 할 수 있다. 군대는 자율 무기를 개발하고 사이버 전쟁에 AI를 사용해야 한다는 압력에 직면할 수 있다. 이는 인간이 개입하기도 전에 우발적 사고로 통제 불능의 상황으로 치닫는, 새로운 유형의 자동화 전쟁으로 이어질 수 있다. 기업도 노동의 자동화와 이윤의 극대화라는 비슷한 인센티브에 직면할 것이다. 이는 대량실업과 AI에 대한 노동의 과도한 의존으로 이어질 수 있다.
조직적 위험 : 체르노빌, 스리마일섬, 챌린저 왕복선 참사 등의 조직적 사고가 재앙을 일으켰다. 이와 비슷하게 첨단 AI를 개발하고 활용하는 조직에서, 특히 강력한 안전 문화가 없는 경우 치명적인 사고를 겪을 수 있다. AI가 실수로 대중에 공개되거나 악의적인 집단에 도난을 당할 수도 있다.
불량 AI : AI가 우리보다 더 똑똑해지면, 우리가 그들에 대한 통제력을 잃을 수 있다. 사람이 살면서 목표가 생기거나 없어지는 것처럼, AI도 환경 변화에 적응하면서 목표가 변할 수 있다. 경우에 따라 AI의 관점에서 AI가 권력을 추구하는 것이 도구적으로 합리적일 수 있다. 우리는 겉으로 통제받고 있는 듯 보이지만 AI가 어떻게, 그리고 왜 속임수를 쓰는지에 대해 주목해야 한다.
이런 위험에도 불구하고 AI가 우리의 실존을 위협한다는 AI 디스토피아론자의 주장을 회의적으로 봐야 할 적어도 일곱 가지 이유가 있다.
첫째, 대부분의 AI 디스토피아론은 자연지능과 AI 사이의 잘못된 유추에 기반하고 있다.
우리가 ‘생각하는 기계’이긴 하지만, 자연선택은 사고과정을 단축시키는 감정을 우리 안에 설계했다. 자연지능은 두개골에 들어갈 수 있는 뉴런의 수에 따라 용량과 속도가 제한된다. 감정은 우리가 번식의 성공률을 높이는 방식으로, 특히 우리의 구석기 시대 선조들이 직면한 위협에 대응해 반응하도록 하는 지능의 대용물이다.
분노는 맞서 싸워서 자신을 방어하도록 이끌고, 두려움은 위험에서 도망치도록 하며, 혐오는 우리에게 해로운 것을 멀리하도록 이끈다. 위험에 당면해 위험의 확률을 계산하는 것은 시간이 너무 오래 걸린다. 생존을 위해서는 즉각 대응해야 한다. 감정은 복잡한 계산을 하다 수렁에 빠질 수 있는 뇌의 정보처리 과정을 줄여준다.
원인(遠因)의 관점에서 감정의 목적은 생존과 번식을 위해 진화에 의해 선택된 목표 행동을 유도하는 것이다. AI는 물론 AGI에게도 감정은 필요치 않기에, 사악한 목적을 가진 테러리스트가 아닌 한, 이를 그들에게 프로그래밍할 이유가 없다. 이는 컴퓨터가 아니라 인간 본성의 문제이다.
둘째, 대부분의 AI 종말 시나리오는 인간과 비슷한 컴퓨터의 목표나 욕망을 언급한다. 이에 대해 스티븐 핑커는 이렇게 비판한다.
“AI 디스토피아론자는 지능의 개념에 편협한 우두머리 수컷의 심리학을 투영한다. 그들은 초인적인 지능을 갖춘 로봇이 주인을 물러나게 하거나 세계를 장악하려는 목표를 세울 거라고 가정한다. 하지만 AI가 자연스럽게 여성적인 성향을 따라 발전하는 것도 가능하다. 문제를 해결하는 완벽한 능력이 있음에도 무고한 존재를 말살하거나 문명을 지배하려는 욕구가 없는 상황 말이다.”
진화된 욕망이 없다면 AI는 결코 우리에게 반하는 행동을 하지 않을 것이다.
셋째, AI의 가치와 우리의 가치가 어긋나 무심코 우리를 ‘종이 클립’으로 바꾸는 문제는 인간의 또 다른 특성, 즉 가치와 욕구에 대한 갈망을 함축한다. 이에 대해 과학 저술가 마이클 쇼로스트는 이렇게 지적한다.
“AI가 그런 느낌을 갖기 전까지 그들이 인류의 이익에 반하기는커녕 무언가 한다는 것을 원할 수 없을 것이다. … 따라서 AI가 무언가를 원하는 순간, 그들은 보상과 처벌이 있는 우주에 살게 될 것이다. 나쁜 행동을 하면 인간에게 벌을 받게 될 것이다. 인간이 지배하는 세계에서 살아남기 위하여 AI는 초기에 옳고 그름에 대한 인간과 비슷한 도덕 감각을 개발해야 할 것이다. 태양 전지판으로 지구를 뒤덮는 상상을 하게 될 때쯤에는 그런 행동이 도덕적으로 옳지 않다는 것을 알게 될 것이다.”
넷째, AI가 초지능과 아울러 도덕 감정을 개발한다면 호혜성, 협동, 더 나아가 이타주의를 개발하지 않을 이유가 무엇인가?
우리와 같은 자연지능도 추론을 하는 이성 능력이 있다. 피터 싱어가 제안했듯 당신이 일단 ‘이성의 에스컬레이터’에 오르게 되면, 점차 위로 올라가 타인에게 미칠 해악에 대한 염려와 진정한 도덕성에 이를 수 있다. “이성은 본질적으로 확장주의자다. 보편적인 적용을 추구한다.”
쇼로스트는 다음과 같은 함축을 이끌어 낸다. “AI는 인간과 같이 이성의 에스컬레이터에 올라서야 할 것이다. 인간이 지배하는 경제에서 상품을 거래해야 하고 나쁜 행동에 대한 인간의 저항에 직면할 것이기 때문이다.”
다섯째, AI가 이런 문제를 해결하려면 스스로 감정을 진화시켜야 하는데, 인간이라는 자연지능이 지배하는 세계에서 그런 일이 일어날 수 있는 유일한 길은 우리가 그런 일을 허용하는 것이다.
우리에게는 어떤 일이 일어날지 파악할 수 있는 충분한 시간이 있기에, 그와 같은 일을 허용하지 않을 것이다. 점진적인 발전은 AI는 물론 거의 모든 기술에서 나타나기에, AI는 계속해서 우리의 욕망과 필요에 봉사할 것이다. 과학 기술이 사회를 유토피아나 디스토피아로 이끌지 않았다는 것은 역사적 사실이다.
여섯째, 인간의 진보를 끝낼 수 있다는 실존적 위협에 대한 수많은 주장을 다룬 『지금 다시 계몽』에서 스티븐 핑커는 그런 주장들이 모두 자기 반박에 불과하다고 말한다.
“그들의 주장은 다음 두 가지 전제에 의존한다. ⑴인간은 너무도 뛰어난 존재라 전지전능한 AI를 설계할 수 있지만, 동시에 AI가 어떻게 작동하는지 검증하지 않고 우주에 대한 통제권을 그들에게 줄 만큼 멍청하기도 하다. ⑵AI는 물질을 분자 단위에서 조작하고 뇌를 재조직할 수 있을 만큼 뛰어나지만, 기초적인 오해로 재앙을 초래할 만큼 어리석기도 하다.”
일곱째, AI 유토피아론과 디스토피아론 모두 역사를 통해 볼 때 그럴듯하지 않은 미래 예측에 기반한다.
커즈와일의 수확 가속의 법칙은 인상적이지만, 여전히 다양한 기술 분야의 발전 속도는 상당한 윤리적 숙고와 그에 따른 적절한 통제가 불가능할 정도는 아니다. 설사 시간이 지나면서 AI에게 예측하지 못한 동기가 나타나기 시작하더라도, 우리에게 AI가 통제 불능 상태가 되기 전에 이를 재프로그래밍할 시간이 있을 것이다.
유명한 아이작 아시모프의 로봇 3원칙을 넘어 현실 세계에서 로봇을 규제하기 위한 규칙 목록을 제시한 『로봇 공학의 원리 Principles of Robotics』의 공저자이자 공학 교수인 앨런 윈필드도 이와 같은 결론을 내린다. 윈필드는 ‘최후의 날’ 시나리오들이 연쇄적으로 연결된 상당히 많은 ‘만약’에 의존한다고 지적한다.
“만약 우리가 인간과 동등한 AI를 구축하는 데 성공하고, 만약에 그 AI가 자신의 작동 방식에 대하여 완전히 이해하게 된다면, 그리고 만약에 AI가 초인공지능으로 자신을 개선하는 데 성공한다면, 또 초인공지능이 우연이든 악의적이든 자원을 소비하기 시작하고, 만약에 우리가 그들의 전원을 차단하는 데 실패한다면, 그렇다, 그때는 우리에게 문제가 생길 수 있다. 불가능하지는 않지만, 있을 법하지 않은 위험이다.” <계속>
*이 글은 『Korea SKEPTIC』(Vol.38/2024년6월) Cover Story, 「일반인공지능 AGI, 유토피아 혹은 디스토피아?」에 전적으로 의존하였음을 밝힙니다.
조송원 작가
<작가/본지 편집위원>
저작권자 ⓒ 인저리타임, 무단 전재 및 재배포 금지