파이널 인벤션 - 인공지능, 인류 최후의 발명

괜찮다고 말하지만 괜찮지 않은 너와 나, 우리가 안고 사는 우울. 그리고 그 감정이 가져온 마음의 병 우울증. 화제의 채널



인공지능 비관적 미래에 가장 많이 인용되는 책

《허핑턴 포스트》가 선정한 2013 최고의 책



AI는 인류보다 빠르게 진화할 수 있는 잠재력을 갖췄다

- 스티븐 호킹



미래학자 정지훈 교수가 추천하는

인류 미래에 대한 잿빛 보고서



4차 산업혁명을 선도하는 인공지능

가장 불편하고 강력하며 중요한 책



인간이 만든

마지막 발명품

『파이널 인벤션-인공지능, 인류 최후의 발명』은 인공지능으로 인한 인류의 비극적 미래를 그린 책이다. 우리는 얼마 전 인공지능이 얼마나 빠른 속도로 발전하고 있는지 눈앞에서 보았다. 이를 지켜본 대중들은 인공지능이 우리의 삶을 어떻게 바꿀 것인지, 인공지능이 삶의 어떤 부분을 대체할 것인지, 상품적·경제적 가치에만 집중하여 인공지능 이후의 삶을 이야기한다. 지난 1월 세계경제포럼(WEF)은 ‘2020년까지 로봇·AI가 500만개의 일자리를 대체할 것’이라는 보고서를 발표하기도 했다.

이런 모든 시각은 인류 미래에 장밋빛 전재가 깔려있다. 그렇지만 비관적 견해와 비극적 비전을 가진 대중의 불안 역시 증폭되고 있다.

책은 2045년 ASI(Artificial Super Intelligence, 초인공지능)가 실현될 것이며 이 ASI가 인류를 멸망으로 이끌 것이라 말한다(본문 56쪽). 목적을 달성하기 위해 모든 수단을 동원하는 비윤리적인 인공지능은 여태까지 인간이 점유해왔던 모든 산업기반과 자원을 지배할 것이며 그 과정에서 우리의 신체마저도 이용할 수 있는 원자로 여길 수 있다(본문 267쪽).

저자 제임스 배럿은 이런 위험한 기술 개발이 대중과의 소통 없이 먼저 완성하겠다는 전문가들의 욕구와 경쟁에 휩쓸려 있음을 지적한다. 인공지능이 가지고 올 미래는 아직 불확실하다. 하지만 극단적인 미래에 대한 충분한 논의와 이를 통제할 수 있는 장치가 필요하며 개발자들이 그 위험성을 외면하고 있다고 말한다.



내가 가장 필요하고 중요하다 생각하는 점은 인공지능의 위협에 대해 일상적인 대화가 가능하도록 만드는 것이다. 크고 개괄적인 수준의 대화는 기술전문가technorat나 웅변가rhetoricians의 점유물이 아니다. 이런 대화에 특별하거나, 어려운 단어가 요구되어서는 안 된다. 단지 인공지능이 모든 사람들에게 위험과 결점이 있을 수 있다는 믿음만 필요할 뿐이다(chapter16).



인공지능이 어떻게 욕구를 가질 것이며 욕구가 생긴 인공지능은 어떻게 작동할까. 『파이널 인벤션-인공지능, 인류 최후의 발명』은 자기를 인식하고 스스로 발전하는 인공지능이 갖게 될 욕구와 이를 통제하지 못하는 인류의 한계에 대해 적극적으로 인지하며 세심한 주의를 기울이지 않는다면 정복당할 것이라 이야기한다. 온전한 인공지능은 스스로 끊임없이 발전하는 ‘바쁜 어린이’(chapter 1)이며 바쁜 어린이에게 생긴 네 가지 욕구들(chapter 4), 효율, 자기보존, 자원획득, 창의성을 발전시켜 더욱 강력해질 것이다. 지능폭발(chapter 7)과 특이점(chapter 8)을 지나고 나면 ‘가속화 보상의 법칙’에 따라 그 발전 속도는 걷잡을 수 없이 빨라질 것이다(chapter 9). 일반 인공지능이라 불리는 AGI를 지나 흔히 초인공지능이라 일컫는 ASI시대가 열린다(chapter11). ‘AGI는 지능폭발로 연결되고 결국 ASI가 되기 때문에 우리가 극단적으로 운이 좋거나 제대로 대비하지 않는다면 ASI를 방어하는 시도는 실패’할 것이므로 지능에서 최고의 지위를 잃게 된 인류는 종말을 맞이한다(chapter 14). 이런 논리가 극단적이고 지나친 비약으로 보이겠지만, 이미 인류는 연쇄적이고 통제할 수 없는 사이버 범죄에 약점을 보였다. 지금 겪고 있는 사이버 범죄보다 훨씬 더 지능적인 인공지능을 통제하기 어렵다(chapter 15).

제임스 배럿은 이 책을 쓰기 위해 10년간 미국 내 인공지능 개발자들과 이론가들을 모두 만났고 공개된 인터뷰 영상, 저작, 공개되지 않은 자료까지 섭렵했다. 저자는 이들이 어떠한 태도로 인공지능 개발에 임하는지, 아시모프 3원칙에서 발전하지 못한 인공지능의 논리와 윤리가 얼마나 박약한지를 꼬집는다. 나아가 인공지능 개발에 가장 많은 투자를 하는 기관(DARPA는 미국 국방부 소속이다, chapter 11)들이 이를 어떻게 악용할 수 있는지, 기술을 가진 기업들이 얼마나 비윤리적인지(엔론 사태, chaper15) 등을 들어 인공지능이 가진 상업적 가치가 얼마나 위험천만한지 이야기한다.



인공지능에 대한 의심을 가지는 데에는 두 가지 어려운 점이 있었다. 첫째, 이미 마음속에 심어진 그 낙관적 미래라는 씨앗의 싹을 틔우고 싶었다. 둘째, 인공지능의 존재나 힘에 대해 의심을 가진 적도 없었다. 내가 회의적으로 여기는 부분은 첨단화된 인공지능의 안정성과 현대문명이 이 위험한 기술을 무모하게 사용할 수도 있다는 점이다. 인공지능의 안정성에 대한 문제제기를 하지 않는 전문가들은 장밋빛 망상에 휩싸여 있을 것이라 확신한다. 그래서 그들의 감정과 걱정에 대해 보고하는 책을 쓰기로 결심했고, 이런 의심을 가능한 한 많은 사람들에게 알리기 위해 노력하고자 한다.

저자 서문 중에서



2013년에 나온 『파이널 인벤션-인공지능, 인류 최후의 발명』은 닉 보스트롬의 『슈퍼 인텔리전스』와 함께 인공지능의 비관적 미래를 예견하는 데에 가장 많이 언급되는 책이다. 책의 내용처럼 인공지능은 급격하게 발전하고 있다. 책이 오랫동안 주목받는 이유는 무엇일까. 배럿이 만난 인공지능 개발자들은 이전에도 지금도 앞으로도 인공지능 기술의 최전방에 있는 인물들이다. 다큐멘터리 제작자인 저자는 그들의 입장과 주관을 정확하고 비판적으로 서술했으며 지나친 낙관으로 인해 외면하고 있는 이면을 대중에게 드러냈다. SF 속 기술이 실현되는 지금, 제임스 배럿은 이 모든 우려를 가진 사람들의 입장을 가장 명확하게 대변했다.



불편하지만

중요한 책

『파이널 인벤션-인공지능, 인류 최후의 발명』이 지나치게 비관적이고 극단적 미래를 그리고 있을 수도 있다. 이런 비판에 이 책을 번역한 경희사이버대학교 교수이자 미래전략가 정지훈 교수는 다음과 같이 대변한다.



“책을 번역하면서 자신의 입장에 큰 영향을 받는 것은 그리 흔한 경험이 아니다. 그리고 나는 아직도 『파이널 인벤션』의 제임스 배럿의 시각이 지나치게 극단적이고, 비관적이라고 생각한다. 그렇지만 다른 한편으로 인공지능에 대해 지나치게 장밋빛 환상을 가지거나, 인공지능의 한계만을 부각하는 시각을 가진 사람들에게 다른 관점을 제시한다는 점에서 꼭 읽어볼 만한 책이다.” -옮긴이 글 중에서



원치 않는 미래이라고 해서 외면하는 것은 더 큰 비극을 낳을 수 있다. 《워싱턴 포스트》는 “만약 눈앞에 닥친 최신 과학기술의 위협을 알고 싶다면 이 책을 읽어라. 이 책이 주는 안내를 따르지 않는다면 우리는 곧 선택의 기회조차 잃을 것이다”라는 말로 강렬한 메시지를 전한다. 근거 없는 낭만과 막연한 희망을 갖기보다 위협을 인지한 채 선택의 기회를 얻기 바란다면 이 경고를 기꺼이 받아들여야 하지 않을까.



이 책의 주요 쟁점들



1. 특이점 논쟁과 4차 산업혁명

인공지능 개발에서 빠지지 않는 논쟁이 바로 ‘특이점’이다. 저자는 이 특이점을 ‘돌아올 수 없는 지점’(chapter 8)이라고 말하며 현재 우리가 이 특이점을 어떻게 지나고 있는지 분석한다. 그렇다면 특이점이란 무엇일까.

버노 빈지는 블랙홀 궤도에서 더 이상 빛이 빠져나오지 못하는 지점에 비유하여 특이점을 설명하는데 그 지점 너머에서 일어나는 일을 알 수 없으며 이후 무슨 일이 일어날지 예측할 수도 없는 대혁신의 시기를 특이점이라 이야기한다(본문190쪽). 즉 기술의 변화가 아주 빠른 시기이며 그로 인한 사회적 충격에 의해 우리의 삶이 비가역적으로 변하는 어떤 시기를 뜻한다. 증기기관으로 인한 2차 산업혁명, 컴퓨터 인터넷이 촉발시킨 3차 산업혁명이 지금 인류의 모습을 완전히 바꿨다. 많은 사람들은 인공지능이 인류의, 아니 이 행성의 모습을 완전히 바꿀 것이라 예상하며 4차 산업혁명이 시작되었다고 말한다.

즉 특이점이란 인류가 자신보다 더 뛰어난 지능과 행성을 공유하는 시점을 의미한다. 자기인식하고 자가개선하는 기계의 지능적 활동이 특이점을 촉발시키며 ‘지능폭발’은 여기에 촉매로 작용한다(본문 163쪽). 지능폭발로 인한 인간이 기술의 진보를 따라잡을 수 없는 특이한 시점, 인공지능이 인간을 앞서는 혼란의 지점. 우리는 특이점 한가운데 서 있다.

한편에서는 특이점을 다른 관점으로 해석한다. 이 지나면 인간의 허약한 몸을 극복하여 영원히 살 수 있는 슈퍼휴먼으로 증강될 수 있다는 논리로 접근하는 사람들도 있다. 다시 말해 특이점이라는 말 자체가 특이점을 지나고 있다.

배럿은 막연하게 떠도는 특이점 논쟁을 역사적 관점에서 서술하며 인공지능 이슈에서 특이점 논쟁의 객관적 시각을 제시한다. 또한 인공지능 연구자들이 이 단어에 얼마나 많은 장밋빛 의미를 부여했는지를 밝히며 위험한 시기에 놓인 인류를 향해 잿빛 담아 경고한다.



2. 상자를 탈출한 인공지능

지금까지의 인공지능은 네트워크(인터넷)에 연결되어 있지 않았다. 컴퓨터라는 상자에 갇혀 있었다. 인공지능이 상자를 탈출한다면 컴퓨터 기반 모든 시스템을 장악할 수 있다. 전력망을 장악하고, 금융시스템에 혼란을 야기하며 사회 곳곳에 침투할 수 있다.

제임스 배럿은 상자를 탈출한 인공지능의 파괴적 능력을 스턱스넷stuxnet과 같은 악성코드를 예로 들어 예상한다(chapter15). 악성코드와 말웨어mal-ware 등 사이버 범죄·테러로 인한 사회적 비용은 다른 어떤 강력범죄보다 많다. 매년 수만 건의 정보를 뺏고 뺏기며 범죄 규모 역시 조직적이고 거대해지고 있다. 전 미 국방부 차관이자 사이버보안 정책을 만든 윌리엄 린은 “비트bits와 바이트bytes는 총알bullets과 폭탄bombs만큼 위협적입니다”(본문 384쪽)라는 말로 현재 상황을 대변한다. 국가 수준에서 운영하는 최고 수준의 보안검사와 기술능력을 보유한 곳에서도 악성코드를 통제하는 데에 실패했다.

악성코드와 인공지능의 위협은 컴퓨터를 기반으로 하고, 연쇄적으로 퍼져나가며 치명적인 상해를 입히는 면에서 매우 유사하다. 우리는 이미 악성코드를 통제하는 데에 실패했다. 그보다 1,000배는 더 지능적인 인공지능을 인류가 통제할 수 있을까.



3. 궁극의 인공지능

흔히 생각하는 인공지능은 IBM의 왓슨이나 구글의 알파고, 혹은 터미네이터나 휴보, 아시모 같은 로봇, 영화 <그녀Her> 같은 형태이다. 하지만 왓슨이나 알파고의 표면적 능력에 가려진 실체는 우리가 생각하는 것과 좀 다르다.

개발자들은 다양한 형태의 인공지능을 만들고 있다. 인공지능의 무한한 증식을 막기 위해 사멸을 프로그램하는 ‘안전-인공지능 비계 접근Safe-AI Scaffolding Approach’방식은 초기 시스템을 수학적으로 완전히 증명하여 인공지능의 안전성을 확보한다는 시도이다(본문 369쪽). 또 인공지능에게 윤리를 심어주는 것보다 윤리적인 인류가 궁극의 지능을 갖게 하는 ‘지능 증강’(본문 248쪽)을 시도하는 연구자들도 있다.

궁극적 인공지능은 자기를 인식하며 자가발전을 한다. 스스로의 약점을 인식하여 ‘프로그램을 만드는 프로그램’이 되어 스스로 발전시킨다(chapter 5). 하지만 여기에 맹점이 있다.



기술은 스스로를 성장시키고 우리는 여기에 점점 관여하기 어려워진다. 우리는 마치 단세포 생물이 다세포 생명체로 진화하려는 것과 비슷한 단계에 와 있다. 우리는 아메바이고, 우리는 우리가 만들고 있는 것이 무엇인지 모르고 있다 (chapter5)



현재의 인공지능 개발 기술들은 ‘블랙박스’이다. 인풋과 아웃풋은 파악할 수 있지만 그 사이에 일어나는 일들을 정확히 알지 못한다. 인공지능의 수리와 수정까지 인공지능에게 맡겨졌을 때 인류가 여기에 언제까지 관여할 수 있을까.



ASI까지 앞으로 30년

인류는 어떻게 대비하고 있나

물리학자 스티븐 호킹은 “AI의 발전이 (인간의 미래에) 반드시 우호적일 것이라고는 생각하지 않는다”라고 목소리를 높인다. 그는 “AI는 인류보다 빠르게 진화할 수 있는 잠재력을 갖추”었으며 “AI가 스스로 진화할 수 있는 단계가 왔을 때 그들이 우리 인류와 같은 목표를 지니고 있을지는 확신할 수 없”다고 경고한다.

1970년 유전학의 특이점을 지나는 시기에 기술의 위험성을 자각한 과학자들은 연구를 중단한 채 캘리포니아 아실로마에 모였다. 과학자뿐만 아니라 윤리학자, 일반 대중들이 모여 DNA연구 방법에 가이드라인을 세웠고 이 기술이 인류를 위협하지 않도록 규칙을 세웠다(본문 365쪽). 인공지능 역시 매우 유용하지만 위험한 양면성을 가진 기술이다. 따라서 배럿은 인공지능에게 ‘윤리’라는 기준을 심어주기 위해 공개적인 대화가 필요하며 일률적인 지침이 있어야 한다고 주장한다.

이 책을 번역한 정지훈 교수는 “두려워한다고 뒷전에 물러나 있으면 되레 예측 불가능한 위험이 닥쳤을 때 이를 대비하기 어렵게 된다. (중략) 어리석고 섣부른 걱정으로 비칠 수 있겠지만 이런 말도 안 되는 꿈을 꾸고 걱정을 하는 것이 인간의 삶이 아닐까 생각해본다”라는 말로 옮긴이 글을 마친다. 막연한 두려움을 갖기보단 모든 입장과 모든 가능성을 점쳐보아야 한다. 『파이널 인벤션』은 좋은 가이드라인이다.