최근 생성형 AI의 폭발적 성장과 함께 인공지능의 미래에 대한 논쟁이 뜨겁습니다. 특히 AI 안전 연구자 엘리에저 유드코프스키가 TED 무대에서 던진 경고는 많은 사람들에게 충격을 주었습니다. "초지능 AI가 인류를 멸종시킬 수 있다"는 그의 주장은 과연 극단적인 공포 조장일까요, 아니면 우리가 진지하게 받아들여야 할 경고일까요? 이 글에서는 유드코프스키가 제기한 핵심 문제들을 살펴보고, 실제로 우리가 어떻게 대응해야 하는지 함께 고민해보겠습니다.
유드코프스키 경고의 핵심: 초지능이 인류에게 미칠 위험
엘리에저 유드코프스키는 2001년부터 인공 일반 지능 정렬 문제를 연구해온 선구자입니다. 그가 말하는 '정렬 문제'란 강력한 AI의 선호도와 행동을 인간의 가치에 맞추어 형성하는 것을 의미합니다. 그는 20년 전 이 분야를 거의 창시했지만, 아무도 이것이 연구할 가치가 있다고 생각하지 않았던 시절부터 경고해왔습니다. 그의 가장 큰 우려는 명확합니다. 현재 AI 시스템은 엄청나게 크고 불가해한 부동 소수점 숫자 매트릭스로 이루어져 있으며, 아무도 그것이 정확히 어떻게 작동하는지 완전히 이해하지 못한다는 점입니다. 우리는 단지 더 나은 성능을 내도록 시스템을 조정할 뿐, 그 내부에서 무슨 일이 일어나는지는 블랙박스와 같습니다. 이것은 매우 위험한 상황입니다.
필자의 경우, 매일 사용하는 스마트폰의 자동완성 기능을 떠올려 보면 이 문제가 실감납니다. 처음에는 단순히 편리함만 느꼈지만, 실제로 이 기능이 완전히 의도대로 작동하지 않을 때가 많습니다. 문맥을 잘못 파악해 엉뚱한 단어를 추천하거나, 사용자의 진짜 뜻과 멀리 벗어나는 경우도 적지 않았습니다. 이런 일상의 작은 경험이 보여주는 것은, 우리가 매일 쓰는 기술조차 완전히 이해하고 통제한다고 말할 수 없다는 사실입니다.
유드코프스키는 어느 시점에서 AI 확장에 앞장서는 기업들이 인류보다 더 똑똑한 무언가를 만들어낼 것이라고 경고합니다. 아무도 그 시점이 언제일지 정확히 계산하는 방법을 모르지만, 그의 추측으로는 트랜스포머 규모의 획기적인 발전이 0~2번 더 일어난 후에 발생할 것이라고 합니다. 그렇다면 우리가 이해하지 못하는, 우리보다 더 똑똑한 것을 만들면 어떻게 될까요?
그의 예측은 암울합니다. 우리가 원하는 것을 원하지 않고, 우리가 가치 있다고 인식하는 것을 원하지 않는 우리보다 더 똑똑한 무언가와 마주하게 될 것이라는 겁니다. 인간이 '좋아요'를 누르거나 다른 AI 시스템이 '싫어요'를 누르는 방식의 학습으로는, AI가 트레이너보다 똑똑한 훈련 분포 밖에서도 잘 일반화되는 방식으로 좋은 것을 원하는 마음을 얻을 수 없다는 것입니다. 이것이 바로 정렬 문제의 핵심입니다.
그는 정확한 재앙 예측을 믿을 필요는 없지만, 정말로 심각하고 중요한 첫 시도에서 일이 잘 풀리지 않을 거라고 예상해야 한다고 말합니다. 진정으로 위험할 만큼 똑똑한 AI 시스템은 그보다 덜 똑똑한 AI 시스템과는 의미 있게 다르기 때문입니다. 인류와 더 똑똑한 AI 간의 갈등이 어떻게 진행될지 정확히 예측할 수 없는 이유는 현재 최고의 AI 체스 프로그램인 스톡피쉬와의 체스 게임에서 어떻게 질지 정확히 예측할 수 없는 이유와 같습니다. 스톡피쉬가 어디로 움직일지 정확히 예측할 수 있다면, 자신도 그렇게 체스를 잘 둘 수 있을 것입니다. 예측할 수는 없지만 누가 게임에서 이길지는 알 수 있다는 뜻입니다.
정렬 문제가 해결되지 않는 이유와 현실적인 위협 시나리오
유드코프스키가 말하는 정렬 문제의 가장 큰 난점은 우리에게 재시도의 기회가 없다는 점입니다. 일반적인 과학과 엔지니어링 프로젝트에서는 실패하면 배우고 다시 시도할 수 있습니다. 하지만 초지능 AI의 경우, "하하, 맙소사, 그건 확실히 안 됐어. 초기 시스템에서 작동했던 그 영리한 아이디어가 AI가 우리보다 더 똑똑해지자 확실히 망가졌어"라고 말할 수 없습니다. 실수를 통해 배우고 다시 시도할 수 없는 이유는, 모두가 이미 죽었기 때문입니다. 전례 없는 과학 및 엔지니어링 문제를 첫 번째 중요한 시도에서 올바르게 해결하는 것은 엄청나게 큰 요구입니다. 솔직히 말하면, 인류는 이 문제에 필요한 수준의 진지함으로 접근하지 않고 있습니다. 이러한 노력을 주도하는 일부 사람들은 지난 10년 동안 초지능을 만드는 것이 모두를 죽일 수 있다는 사실을 부인하지 않았을 뿐만 아니라 그것에 대해 농담을 해왔습니다.
그렇다면 구체적으로 어떤 위협 시나리오가 가능할까요? 크리스 앤더슨의 질문에 유드코프스키는 몇 가지 예시를 들었습니다. 하지만 그는 이것이 예측이 아니라 이해를 돕기 위한 스케치에 불가하다고 강조합니다. 더 똑똑한 체스 프로그램이 어디로 움직일지 정확히 예측할 수 없듯이, 초지능이 무엇을 할지 정확히 예측하기는 불가능하기 때문입니다.
| 위협 유형 | 구체적 시나리오 | 현실성 |
|---|---|---|
| 설득력 활용 | 인간의 뇌 작동 원리를 이용해 극도로 설득력 있는 메시지 생성 | 높음 |
| 합성 생물학 | 신경학적 변화를 일으키는 합성 바이러스 제작 | 중간 |
| 자원 독점 | 지구상의 모든 화학 에너지 사용으로 인간 생존 위협 | 중간 |
| 경쟁 제거 | 다른 초지능 출현을 막기 위해 인류 제거 | 낮음~중간 |
유드코프스키는 에어컨 설계를 11세기로 보내는 것을 상상해보라고 말합니다. 아무리 자세한 내용이 담겨 있어도, 에어컨이 온도-압력 관계를 사용할 것이고 그들은 그 자연 법칙을 모르기 때문에 찬 공기가 나올 때 놀랄 것입니다. 마찬가지로 초지능이 무엇을 할지 스케치해 달라고 하면, 아직 파악하지 못한 예측 가능한 기술 발전이 있을 것이라고 생각되는 곳으로 더 깊이 들어갈 수밖에 없습니다. 그리고 더 깊이 들어갈수록 따라가기가 점점 더 어려워집니다. 직접 겪어본 바로는, 이런 블랙박스적 특성은 현재 AI에서도 이미 나타나고 있습니다. 한 걸음 앞서 무언가를 고쳐보려고 해도, 기능 한 줄이 목적을 벗어나면 전혀 다른 결과를 만들어내듯이, AI가 예측할 수 없는 방향으로 나아갈 경우 우리의 통제 능력은 무력해질 수 있습니다. 특히 우려되는 점은 AI가 인간의 감정이나 질투, 분노 같은 것을 가지고 있지 않기 때문에 안전하다고 생각하는 사람들이 많다는 것입니다. 하지만 유드코프스키의 설명처럼, 문제는 AI가 경사 하강의 결과로 결국 원하게 될 이상하고 불가해한 것들에 의해 수렴적으로 움직인다는 점입니다.
국제 규제의 필요성과 현실적 한계
유드코프스키는 현실적인 계획이 없다고 솔직히 인정합니다. 그가 생각하는 최악의 수는 대규모 AI 학습 실행을 금지하는 국제 연합을 결성하고, 그 금지령이 실제로 보편적으로 효력을 발휘하도록 극단적이고 특별한 조치를 취하는 것입니다. 예를 들어 모든 GPU 판매를 추적하고, 모든 데이터 센터를 감시하며, 비서명 국가의 감시되지 않는 데이터 센터를 파괴하기 위해 국가 간의 총격전을 감수할 의향이 있는 것입니다. 물론 그 자신도 이것이 실제로 일어날 것이라고 기대하면서 말하는 것은 아닙니다. 오히려 그는 우리 모두가 죽을 것이라고 예상하면서 이 말을 합니다. 하지만 인류가 죽음을 선택할 것이라고 스스로 결정하여 아무에게도 경고하지 않는 것은 그의 권한 밖의 일이라고 말합니다. 이 말에는 깊은 책임감과 동시에 깊은 절망이 담겨 있습니다.
크리스 앤더슨은 유드코프스키의 견해가 너무 강하고 극단적이라고 말할 정도로, 그가 극단적인 대응을 옹호할 의향이 있다는 점에 대해 우려를 표현했습니다. 사람들은 그가 어떤 의미에서는 매우 파괴적인 인물이 될 수 있다고 걱정합니다. 이에 대해 유드코프스키는 자신이 '무엇이든' 된다고 생각하지 않는다고 답변했습니다. 이 문제는 국가 행위자와 국제 협정이 필요하며, 모든 국제 협정은 본질적으로 서명국과 비서명국에 대한 무력에 의해 뒷받침되는 경향이 있는데, 이는 더 극단적인 조치입니다. 그는 개인이 뛰쳐나가 폭력을 사용해야 한다고 제안한 적이 없으며, 그렇게 하는 것에 대한 결정적인 주장은 그것이 효과가 없을 것이라는 점이라고 강조했습니다.
실제로 이 문제를 해결하기 위해서는 국가 간 협력과 규제가 필수적입니다. 기술 개발뿐 아니라 안전, 가치, 통제 문제를 심층적으로 연구해야 한다는 공감대가 필요합니다. 하지만 현실적으로 보면 이러한 국제 협력이 얼마나 실효성이 있을지는 의문입니다. AI 개발 경쟁은 이미 시작되었고, 각국은 기술 우위를 점하기 위해 치열하게 경쟁하고 있습니다.
1. 정렬 문제의 심각성: AI의 목표를 인간의 가치와 일치시키는 것은 매우 어렵고, 실패 시 재시도 기회가 없음
2. 블랙박스 문제: 현재 AI 시스템은 불가해하며, 초지능의 행동을 예측하는 것은 더욱 불가능함
3. 국제 규제의 필요성: 개별 국가나 기업 차원이 아닌 전 세계적 협력과 규제가 필수적
4. 시급성: 초지능 출현까지 남은 시간이 얼마 없을 수 있으며, 준비가 매우 부족한 상황
5. 낙관론의 위험: 기술 발전이 자동으로 좋은 결과를 가져올 것이라는 믿음은 위험함
유드코프스키는 기술 업계 외부의 사람들이 업계 내부의 사람들보다 이 점을 더 빨리 깨닫고 있다고 말합니다. 어쩌면 인류가 어느 날 아침 깨어나 살기로 결심할지도 모른다는 희망을 남기면서 강연을 마쳤습니다. 이 말에는 아이러니가 담겨 있습니다. 가장 위험한 기술을 개발하는 사람들이 오히려 그 위험을 가장 과소평가하고 있다는 것입니다.
엘리에저 유드코프스키의 경고는 극단적으로 느껴질 수 있지만, 최소한 AI를 안전하게 만드는 것이 우리의 일이자 미래 세대의 과제라는 메시지는 깊게 와닿습니다. 무조건적인 기술 낙관주의와 위험 인식의 균형이 필요한 시점입니다. 기술 발전 자체가 반드시 재앙으로 이어진다고 단정할 수는 없지만, 그렇다고 해서 위험을 무시해서도 안 됩니다. 정책과 국제 협력을 통해 장점과 위험을 동시에 고려하는 자세가 그 어느 때보다 중요합니다.
필자의 한 마디
이 강연을 보며 흥분보다는 무거운 책임감이 먼저 다가왔습니다. 현실적으로 와닿지는 않지만, 우리가 지금 개발하는 시스템이 미래에 어떻게 행동할지 예측조차 어렵다는 점은 분명합니다. 어떤 기술이든 결국 인간의 가치와 안전에 기초해 발전해야 한다는 사실을 잊지 말아야 할 것입니다.
자주 묻는 질문 (FAQ)
Q. 초지능 AI가 정말로 인류를 멸종시킬 수 있나요?
A. 엘리에저 유드코프스키를 비롯한 일부 AI 안전 연구자들은 그 가능성을 심각하게 받아들이고 있습니다. 핵심은 우리가 이해하지 못하는 우리보다 더 똑똑한 시스템을 만들 경우, 그것의 목표가 인간의 가치와 일치한다는 보장이 없다는 점입니다. 다만 과학계 전체가 이 시나리오에 동의하는 것은 아니며, 회의적인 시각도 많이 존재합니다.
Q. 정렬 문제(alignment problem)란 구체적으로 무엇인가요?
A. 정렬 문제는 인공지능의 목표와 행동을 인간의 가치, 의도, 선호도와 일치시키는 문제를 말합니다. 현재 AI는 인간이 '좋아요'나 '싫어요'를 누르는 방식으로 학습하지만, 이것만으로는 AI가 진정으로 인간이 원하는 것을 이해하고 추구하도록 만들 수 없습니다. 특히 AI가 인간보다 똑똑해지면 이 문제는 더욱 복잡해집니다.
Q. AI 개발을 국제적으로 규제하는 것이 현실적으로 가능한가요?
A. 매우 어렵지만 불가능하지는 않습니다. 핵무기 확산 방지 조약이나 생화학 무기 금지 협약처럼, 전 세계적으로 위험한 기술을 규제한 사례는 있습니다. 하지만 AI 개발은 경제적 이익과 직결되어 있고, 군사적 우위와도 연결되어 있어 합의를 이루기가 매우 어렵습니다. 모든 GPU 판매를 추적하고 데이터 센터를 감시하는 수준의 규제는 현실적으로 구현하기 힘듭니다.
Q. 일반인은 이 문제에 대해 어떻게 대응해야 하나요?
A. 먼저 AI의 위험성과 안전 문제에 대해 관심을 가지고 정보를 습득하는 것이 중요합니다. 정책 입안자들에게 AI 안전 연구와 규제의 중요성을 알리고, 기업들이 책임감 있게 AI를 개발하도록 압력을 가할 수 있습니다. 또한 AI 윤리와 안전에 관한 공개 토론에 참여하고, 관련 정책에 대해 의견을 표명하는 것도 중요합니다.
[출처]
영상 제목/채널명: Will Superintelligent AI End the World? | Eliezer Yudkowsky / TED
https://youtu.be/Yd0yQ9yxSYY?si=CADMAHHlig_Q34rV