Q1. 앞선 시간에서는 깨어나는 초대질량 블랙홀, 그리고 우주의 기본입자인 쿼크의 얽힘에 대해 소개해주셨는데, 오늘은 인공지능, 그것도 인공일반지능(Artificial General Intelligence. AGI)이네요. 어떤 얘기인지 개요를 먼저 들려주시죠.

--> 스켑틱협회(Skeptic Society)라고, 초자연적 현상과 사이비과학, 유사과학, 그리고 모든 종류의 기이한 주장들을 검증하고, 비판적 사고를 촉진하며, 건전한 과학적 관점을 모색하는 비영리과학교육기관입니다. 이 협회는 1992년에 마이클 셔머에 의해 설립되었으며, 리처드 도킨스, 스티븐 핑커, 샘 해리스, 레너드 서스킨드, 빌 나이, 닐 디그래스 타이슨 등 5만5,000명 이상의 회원이 소속되어 있습니다. 여기서 발행하는 매거진이 <Skeptic>인데, 그 한국 자매지인 <스켑틱 코리아> 6월호가 커버스토리로 ‘AGI 혁명 - 유토피아 혹은 디스토피아?’를 실었습니다. 여기에 AGI, 머지 않은 미래 / AGI를 향한 어두운 길목들 / AGI가 인간의 실존을 위협할 것라고? / AI 의사결정의 결정적 문제들 / 불확실성, AI의 블랙박스를 열다 / 사람의 마음, AI의 마음 / AI가 왜 인간을 닮아야 하는가 등 7편의 전문가 글을 실었습니다. 이를 두 차례에 소개하려고 합니다. 이 시간의 주제는 ‘AGI 혁명 - 유토피아인가 디스토피아인가?’가 되겠습니다.

Q2. 스켑틱은 그냥 회의론자가 아니라 과학적 회의론자이군요. 먼저 제목에 나왔듯이 핵심 키워드인 AGI가 뭔지부터 설명해주시죠.

--> 인공지능(Artificial Intelligence), AI는 지금 다양한 분야에서 혁신적인 변화를 이끌고 있지만 특정 문제 해결에만 뛰어날 뿐(예. 바둑의 알파고), 인간처럼 다양한 분야의 문제를 유연하게 해결하는 능력은 부족합니다. 이에 비해 ‘인공일반지능(Artificial General Intelligence. AGI)’은 인간처럼 종합적인 사고와 학습능력을 갖춘 인공지능을 말합니다. AGI는 인공지능 연구의 궁극적인 목표 중 하나로, 인간의 지능을 넘어서는 범용적이고 자율적인 인공지능을 의미합니다. 범용인공지능, 초인공지능이라고도 부릅니다.

Q3. 스켑틱의 전문가들은 AGI의 실현가능성을 어떻게 전망하나요?

--> 최근 발표된 GPT-4₀와 구글의 아스트라(Astra)는 AGI로 가는 길에 있어 주목할 만한 성과로 평가합니다. AGI의 실현가능성에 대한 의견은 여전히 분분하지만, 이제는 많은 전문가가 2030년 경이면 AGI가 실현될 가능성이 있다고 예측합니다. 젠슨 황(엔비디아 CEO), 무스타파 술래이만(딥마인드 공동 창업자) 등과 다양한 보고서에서 AI 전문가의 의견을 종합한 결과를 보면, 2030~3035년에는 AGI가 실현될 것으로 예측합니다.

Q4. AGI가 멀지 않은 미래에 실현되면, 우리 사회는 상상 이상의 변화를 겪게 될 것임은 분명한데, 급변한 그 인간사회는 유토피아일까, 디스토피아일까? 참 무거운 마음으로 상상하게 되는데요, 이게 핵심 주제인데, 먼저 유토피아적 상상을 해볼까요?

-->AGI는 인간의 지적 능력을 뛰어넘어 과학, 의학, 예술 등 다양한 분야에서 새로운 발견과 혁신을 이끌어내겠죠. 또한 AGI는 인간의 노동을 대체하고, 새로운 형태의 일자리를 창출하며, 인간 삶의 질을 향상시키는 데 기여할 것으로 기대됩니다.

Q5. 디스토피아론자들의 예측은 끔찍하겠죠?

--> 2023년 3월 29일 자 <타임>의 오피니언 논설에서 AI와 AGI 연구의 선구자 엘리저 유드코프스키는 챗GPT의 출시를 둘러싼 언론의 과잉 홍보에 대응하며 다음과 같이 경고했습니다.

“나를 포함해 이 문제에 정통한 다수의 연구자는 지금 같은 상황에서 초인적으로 똑똑한 AI를 개발할 경우, 모든 인간이 말 그대로 멸절하지 않을까 염려하고 있다. 아마도 이 시나리오가 가장 가능성이 높을 거라고 예상한다. 이는 ‘희박한 가능성’이 아니라 ‘명백히 일어날 법’한 일이다.”

AI를 연구하는 과학자와 전문가가 마땅히 이런 잠재적 문제를 숙고하고, AI의 지나친 발전을 견제해야 하는데, 실상은 그렇지 않다면서 유드코프스키는 다음과 같이 주장합니다.

“우리는 준비 되어 있지 않다. 적기에 준비할 방법이 있는 것도 아니다. 계획 자체가 없다. AI 역량의 진보는 인간의 목표나 선호도, 윤리적 원칙에 맞게 AI를 조정하는 AI 정렬이나 AI 시스템 안에서 무슨 일이 일어나는지에 대한 우리 이해의 발전보다 훨씬 더 빠르게 진행되고 있다. 이대로 가다간 우리 모두 죽게 될 것이다.”

유드코프스키는 2008년에 다음과 같은 질문을 던졌습니다.

“AI가 아메바에서 평범한 인간에 이르는 엄청난 격차를 넘어서고, 인간 천재 수준에 멈출 가능성이 얼마나 될까?”

“인간 친화적이지 않는 AI는 자신의 최적화 목표에 따라 태양계의 모든 물질을 재구성할 수 있는 능력이 있다. AI가 이런 변환이 생물이나 인간과 같은 기존 패턴에 어떤 영향을 미칠지 특별히 고려하지 않는다면 인간의 운명은 정해져 있다.”

“AI는 당신을 미워하지도 사랑하지도 않는다. 그저 당신은 무언가 다른 용도로 사용될 수 있는 원자로 이뤄져 있을 뿐이다.”

유드코프스키는 이 문제에 빠르게 대처하지 못한다면 너무 늦을 것이라고 생각한다.

“AI와 당신의 시간척도는 다르다. 당신의 뉴런이 뭔가 해야겠다고 생각할 때쯤에는 이미 패배한 상태일 거다.”

유드코프스키만이 AI 디스토피아론자는 아닙니다. 2023년 3월 수천 명의 사람이 “모든 AI 연구실에서 GPT-4보다 강력한 AI 시스템의 개발을 6개월 동안 즉각 중단할 것”을 요구하는 공개서한에 서명했다. 여기에는 일론 머스크, 스튜어트 러셀, 스티브 워즈니악, 앤드류 양, 유발 노아 하라리 등이 있었죠.

AI 디스토피아론자의 걱정은 악의적인 컴퓨터나 로봇(터미네이터)이 우리를 장악하여 노예나 하인으로 삼거나, 기술 제노사이드로 우리를 멸절시킨다는 할리우드식 AI의 실존적 위협이 아닙니다. 그들은 도덕 개념이 없는 AI의 지능이 점점 발전해서 우리를 뛰어넘는 임계점에 도달한 뒤 본의 아니게 우리를 파괴하게 되는 미래를 상상하는 것이죠.

Q6. 인간에게 악의적인 감정이 없는 인공지능한데 인간이 멸망한다, 참 아이러니한데요?

--> AI 위협의 전형적인 예는 ‘종이 클립 최대화 기계’입니다. 이는 옥스퍼드대학교의 철학자 닉 보스트롬이 고안한 사고실험(thought experiment)으로, 종이 클립을 만들도록 고안한 AI 제어 기계(전원을 끌 수 없다)가 원자재 공급이 부족해지자 주변에 있는 모든 원자를 활용하기 시작합니다. 심지어 사람도 자원으로 삼죠. 클립 기계는 지구를, 곧이어 우주 곳곳을 종이 클립 제조 시설로 바꿉니다. 머지않아 우주에는 종이 클립과 종이 클립 제조기만 남게 되죠.

또 다른 인류 멸종 시나리오는 다큐멘터리 영화 제작자 제임스 배럿의 불길한 제목의 책(그리고 영화) 『파이널 인벤션 : 인공지능, 인류 최후의 발명』에서 다룹니다. 배럿은 주요 AI 디스토피아론자를 인터뷰하고, 오늘날의 AI가 어떻게 인간 지능에 대응하는 AGI로 발전하며, 10배, 100배, 1000배 더 똑똑해져서 초인공지능으로 진화할 것인지 자세히 설명합니다.

“당신과 나는 들쥐보다 수백 배 더 똑똑하다. 그리고 그들과 유전체 약 90%를 공유한다. 그렇다고 농사를 짓기 위해 그들의 서식지인 밭을 갈아엎을 때 그들과 상의하나? 스포츠 부상에 대해 연구하기 위해 실험 원숭이의 머리를 부수기 전에 그들의 의견을 묻는가? 우리는 들쥐나 원숭이를 미워하지 않지만, 그들을 잔인하게 대한다. 초인공지능도 우리를 미워해야만 파괴하는 건 아닐 것이다.”

초인공지능은 (아마도) 자의식이 있을 것이기에, 자신의 목표(종이 클립 만들기 같은)를 달성하기 위해 프로그래밍된 작업을 계속할 것이고, 이를 위해 에너지와 자원 같은 것을 ‘원할 것’이며, 불길하게도 ‘전원이 꺼지거나 파괴되는 것을 원치 않을 것’(목표 달성에 방해가 되므로)이다.

일단 초인공지능이 그 경계를 벗어나면 멈출 수 없게 된다. 당신보다 훨씬 더 똑똑한 초인공지능이 모든 가능성을 예측할 것이기 때문에 간단히 플러그를 뽑는 식으로는 그를 막을 수 없을 것이다.

Q7. 무섭네요. 그러나 이와 같은 종말론적 서사나 상상은 검증할 수 없겠죠. 근데 인간의 잘못으로 괴물 인공지능로봇을 만들어 인간이 자멸하는 것은 분명히 막아야 할 텐데요?

--> 맞습니다. AI 안전센터(Center for AI Safety)가 발표한 문서를 보면 인간이 저지를 가능성이 높은 네 가지 주요 위험을 적시했습니다.

첫 번째, 악의적 사용입니다. 특정 집단이 강력한 AI를 활용하여, 의도적으로 광범위한 피해를 일으킬 수 있죠. 구체적으로 치명적인 병원체를 만드는 데 AI를 이용하는 바이오 테러나 AI를 이용한 언론 선동, 검열, 감시 등이 그것입니다.

두 번째, AI 경쟁입니다. 국가와 기업의 경쟁은 AI 개발을 서두르게 하고, 통제권을 AI 시스템에 넘기는 경우죠. 군대는 자율 무기를 개발하고 사이버 전쟁에 AI를 사용해야 한다는 압력을 받을 수 있겠죠. 이는 인간이 개입하기도 전에 우발적 사고로 통제 불능의 상황으로 치닫는, 새로운 유형의 자동화 전쟁으로 이어지게 하죠. 기업도 노동의 자동화와 이윤의 극대화라는 비슷한 인센티브에 눈이 멀어 AI에 대한 노동의 과도한 의존으로 이어질 수 있겠죠.

다음은 조직적 위험입니다. 체르노빌, 스리마일섬, 챌린저 왕복선 참사 등의 조직적 사고가 재앙을 일으켰죠. 이와 비슷하게 첨단 AI를 개발하고 활용하는 조직에서, 특히 강력한 안전 문화가 없는 경우 치명적인 사고를 겪을 수 있습니다. 마지막으로 불량 AI도 지적됐습니다. AI가 우리보다 더 똑똑해지면, 우리가 그들에 대한 통제력을 잃을 수 있습니다. 사람이 살면서 목표가 생기거나 없어지는 것처럼, AI도 환경 변화에 적응하면서 목표가 변할 수 있겠죠. 경우에 따라 AI의 관점에서 AI가 권력을 추구하는 것이 도구적으로 합리적일 수 있겠죠. 우리는 겉으로 통제받고 있는 듯 보이지만 AI가 어떻게, 그리고 왜 속임수를 쓰는지에 대해 주목해야 하는 이유입니다.

Q8. 그럴듯해 더 무서운데, AI가 인간을 위협한다는 AI 디스토피아론자의 주장에 대한 회의적 시각, 과학적 반박도 있겠죠?

--> 이번 스켑틱에서는 일곱 가지를 들었습니다.

첫째, 대부분의 AI 디스토피아론은 자연지능과 AI 사이의 잘못된 유추에 기반하고 있다는 겁니다.

“우리가 ‘생각하는 기계’이긴 하지만, 자연선택은 사고과정을 단축시키는 감정을 우리 안에 설계했다. 감정은 우리가 번식의 성공률을 높이는 방식으로, 특히 우리의 구석기 시대 선조들이 직면한 위협에 대응해 반응하도록 하는 지능의 대용물이다. 분노는 맞서 싸워서 자신을 방어하도록 이끌고, 두려움은 위험에서 도망치도록 하며, 혐오는 우리에게 해로운 것을 멀리하도록 이끈다. 위험에 당면해 위험의 확률을 계산하는 것은 시간이 너무 오래 걸린다. 생존을 위해서는 즉각 대응해야 한다. 감정은 복잡한 계산을 하다 수렁에 빠질 수 있는 뇌의 정보처리 과정을 줄여준다.

감정의 목적은 생존과 번식을 위해 진화에 의해 선택된 목표 행동을 유도하는 것이다. AI는 물론 AGI에게도 감정은 필요치 않기에, 사악한 목적을 가진 테러리스트가 아닌 한, 이를 그들에게 프로그래밍할 이유가 없다. 이는 컴퓨터가 아니라 인간 본성의 문제이다.”

둘째, 대부분의 AI 종말 시나리오는 인간과 비슷한 컴퓨터의 목표나 욕망을 언급하는데, 이에 대해 스티븐 핑커는 이렇게 비판한다.

“AI 디스토피아론자는 지능의 개념에 편협한 우두머리 수컷의 심리학을 투영한다. 그들은 초인적인 지능을 갖춘 로봇이 주인을 물러나게 하거나 세계를 장악하려는 목표를 세울 거라고 가정한다. 하지만 AI가 자연스럽게 여성적인 성향을 따라 발전하는 것도 가능하다. 문제를 해결하는 완벽한 능력이 있음에도 무고한 존재를 말살하거나 문명을 지배하려는 욕구가 없는 상황 말이다.”

진화된 욕망이 없다면 AI는 결코 우리에게 반하는 행동을 하지 않을 거라는 거죠.

셋째, AI가 무심코 인간을 ‘종이 클립’으로 바꾸는 문제는 인간의 또 다른 특성, 즉 가치와 욕구에 대한 갈망을 함축하는데, 이에 대해 과학 저술가 마이클 쇼로스트는 이렇게 지적합니다.

“AI가 그런 느낌을 갖기 전까지 그들이 인류의 이익에 반하기는커녕 무언가 한다는 것을 원할 수 없을 것이다. … 따라서 AI가 무언가를 원하는 순간, 그들은 보상과 처벌이 있는 우주에 살게 될 것이다. 나쁜 행동을 하면 인간에게 벌을 받게 될 것이다. 인간이 지배하는 세계에서 살아남기 위하여 AI는 초기에 옳고 그름에 대한 인간과 비슷한 도덕 감각을 개발해야 할 것이다. 태양 전지판으로 지구를 뒤덮는 상상을 하게 될 때쯤에는 그런 행동이 도덕적으로 옳지 않다는 것을 알게 될 것이다.”

넷째, AI가 초지능과 아울러 도덕 감정을 개발한다면 호혜성, 협동, 더 나아가 이타주의를 개발하지 않을 이유가 무엇인가?

우리와 같은 자연지능도 추론을 하는 이성 능력이 있다. 피터 싱어가 제안했듯 당신이 일단 ‘이성의 에스컬레이터’에 오르게 되면, 점차 위로 올라가 타인에게 미칠 해악에 대한 염려와 진정한 도덕성에 이를 수 있다. “이성은 본질적으로 확장주의자다. 보편적인 적용을 추구한다.”

쇼로스트는 다음과 같은 함축을 이끌어 낸다. “AI는 인간과 같이 이성의 에스컬레이터에 올라서야 할 것이다. 인간이 지배하는 경제에서 상품을 거래해야 하고 나쁜 행동에 대한 인간의 저항에 직면할 것이기 때문이다.”

다섯째, AI가 이런 문제를 해결하려면 스스로 감정을 진화시켜야 하는데, 인간이라는 자연지능이 지배하는 세계에서 그런 일이 일어날 수 있는 유일한 길은 인간이 그런 일을 허용하는 것이다.

“우리에게는 어떤 일이 일어날지 파악할 수 있는 충분한 시간이 있기에, 그와 같은 일을 허용하지 않을 것이다. 점진적인 발전은 AI는 물론 거의 모든 기술에서 나타나기에, AI는 계속해서 우리의 욕망과 필요에 봉사할 것이다. 과학 기술이 사회를 유토피아나 디스토피아로 이끌지 않았다는 것은 역사적 사실이다.”

여섯째, 인간의 진보를 끝낼 수 있다는 실존적 위협에 대한 수많은 주장을 다룬 『지금 다시 계몽』에서 스티븐 핑커는 그런 주장들이 모두 자기 반박에 불과하다고 말합니다.

“그들의 주장은 다음 두 가지 전제에 의존한다. ⑴인간은 너무도 뛰어난 존재라 전지전능한 AI를 설계할 수 있지만, 동시에 AI가 어떻게 작동하는지 검증하지 않고 우주에 대한 통제권을 그들에게 줄 만큼 멍청하기도 하다. ⑵AI는 물질을 분자 단위에서 조작하고 뇌를 재조직할 수 있을 만큼 뛰어나지만, 기초적인 오해로 재앙을 초래할 만큼 어리석기도 하다.”

일곱째, AI 유토피아론과 디스토피아론 모두 역사를 통해 볼 때 그럴듯하지 않은 미래 예측에 기반한다.

커즈와일의 수확 가속의 법칙은 인상적이지만, 여전히 다양한 기술 분야의 발전 속도는 상당한 윤리적 숙고와 그에 따른 적절한 통제가 불가능할 정도는 아니라는 거죠. 설사 시간이 지나면서 AI에게 예측하지 못한 동기가 나타나기 시작하더라도, 우리에게 AI가 통제 불능 상태가 되기 전에 이를 재프로그래밍할 시간이 있을 거다, 는 겁니다.

유명한 아이작 아시모프의 로봇 3원칙을 넘어 현실 세계에서 로봇을 규제하기 위한 규칙 목록을 제시한 『로봇 공학의 원리 Principles of Robotics』의 공저자이자 공학 교수인 앨런 윈필드도 이와 같은 결론을 내립니다. 윈필드는 ‘최후의 날’ 시나리오들이 연쇄적으로 연결된 상당히 많은 ‘만약’에 의존한다고 지적합니다.

“만약 우리가 인간과 동등한 AI를 구축하는 데 성공하고, 만약에 그 AI가 자신의 작동 방식에 대하여 완전히 이해하게 된다면, 그리고 만약에 AI가 초인공지능으로 자신을 개선하는 데 성공한다면, 또 초인공지능이 우연이든 악의적이든 자원을 소비하기 시작하고, 만약에 우리가 그들의 전원을 차단하는 데 실패한다면, 그렇다, 그때는 우리에게 문제가 생길 수 있다. 불가능하지는 않지만, 있을 법하지 않은 위험이다.”

<우주관 오디세이 저자 / 본지 편집장>