1. AI 안전을 넘어서는 AI 윤리의 필요성
2. AI 개발 무한 경쟁 속 윤리는 뒷전

‘AI 윤리 (Ethics)’보다 ‘AI 안전 (Safety)’이 훨씬 더 많이 보이는 요즘입니다. 물론 AI 안전이 새로운 용어는 아닙니다. 안전은 분명 AI 윤리 논의에서 빠질 수 없는 주요 가치죠. AI 윤리를 표방하는 유행어 역시 신뢰할 수 있는 (trustworthy) AI, 책임있는 (responsible) AI 등을 거쳐오긴 했지만, 안전한 AI가 거론되는 맥락을 자세히 살펴보면 단순히 표현만 바뀐 게 아니라는 생각이 듭니다.

단적으로 작년 11월 영국에서 열린 ｢AI 안전성 정상회의｣와 뒤이어 일어난 일들을 살펴볼까요. 당시 발표된 블레츨리 선언은 인권 보호, 투명성과 설명가능성, 공정성 등의 여러 가치를 언급하면서도 작금의 ‘프론티어 AI 시스템’에서는 특히 안전에 대한 우려가 크다고 천명했습니다. 이러한 기조는 다음주 한국에서 개최되는 후속 행사에서도 이어질 예정입니다. 2월에 착수한 <AI 안전 국제 과학 보고서>를 발표하고, AI 안전을 위한 국제 공조 방안을 논의한다고 하죠. 이미 영국과 미국은 발빠르게 AI 안전 연구소를 설립한 바 있습니다. 앞서 여러 차례 소개했던 백악관의 AI 행정명령 역시 안전을 가장 먼저 앞세우고 있죠.

기업들 역시 이러한 관심에 발맞춰 AI 안전을 강조하는 중입니다. 사실 엄밀히 말하자면 위와 같은 국제 협력이 착수되기 전부터 이미 AI 안전을 키워드로 홍보하고 있었죠. 현재 AI 분야에서 가장 주목받고 있는 오픈AI, 구글 딥마인드, 앤스로픽 등은 모두 회사 홈페이지에 안전을 내걸고 있습니다. 국내 기업 역시 마찬가지로 그동안 AI 윤리라는 이름 아래 보인 행보를 AI 안전을 위한 노력으로 재포장하는 모습입니다.

구글 딥마인드, 앤스로픽, 오픈AI 공식 웹사이트 갈무리

이토록 모두가 AI 안전에 신경쓰고 있다니, 정말 다행이고 또 환영할 일입니다. 그런데 잠시만요. 각국 정부나 기업이 말하는 AI 안전이란 무엇일까요? AI 안전에 집중된 논의가 놓치는 지점은 없을까요?

AI 안전이 무엇인지 정의하기 위해서는 그에 상응하는 위험을 식별하는 작업이 선행되어야 하죠. 블레츨리 선언과 후속 논의를 살펴보면 크게 3가지 위험이 언급되고 있습니다. 요약하면 오작동, 악용, 통제 불가라고 할 수 있겠네요. 이러한 위험을 방지하고 AI 안전을 확보하기 위해 주로 채택되고 있는 방안은 ‘기술에 대한 연구와 평가’입니다. AI 안전 연구소를 설립해서 기술 인력을 확보하고, 기술 분야에서 앞서나가고 있는 AI 기업들과의 협력이 주된 방법으로 제시되고 있죠.

기업들의 AI 안전을 위한 활동 역시 기술에 초점이 맞춰져 있습니다. 최근 오픈AI가 그동안의 AI 안전 및 정렬(alignment)을 위한 노력의 결과물로 발표한 ‘모델 사양 (Model Spec)’을 살펴볼까요. 모델 사양은 AI 모델이 어떻게 행동해야 하는지에 대한 가이드라인입니다. 다시 말해 챗GPT가 어떤 질문이나 요청에 어떻게 답변하거나 하지 않을 것인지를 적은 문서죠. 예컨대 오픈AI의 AI 모델은 (방지하기 위한 것처럼 물어 대답을 유도하지 않는 이상) 범법 행위에 대한 정보를 출력해선 안되고, (설사 지구가 평평하다는 믿음을 가졌더라도) 이용자의 생각을 바꾸려 들면 안됩니다.

대다수의 AI 기업이 AI 안전을 위해 채택하고 있는 레드티밍(red-teaming)이라는 방법 역시 이와 결을 같이 합니다. 어떤 질문이나 요청에 생성형 AI 모델이 잘못된 출력을 하진 않는지 살펴보며 문제점을 찾는 레드티밍 기법은 AI 기술이 어떻게 기능해야 하는지에 주로 초점을 맞추고 있습니다.

하지만 AI 윤리 레터에서 다뤄온 문제들은 결코 AI 기술의 기능이나 사양에 국한된 논의만으로 해소되기 어렵습니다. 오작동하지 않고 악용되지 않는, 그리고 통제 불가능한 AGI 내지는 초지능이 아닌 ‘안전한’ AI 기술임에도 불구하고 위험을 안고 있거나 우려를 불러일으키는 사례가 많습니다. 월요일에 소개한 사업장 및 공공장소의 안면인식 출입시스템을 생각해볼까요. 모든 얼굴을 제대로 식별하고 회사나 경찰이 보안과 공공 안전을 위해서만 쓴다고 하더라도, 분명 그로 인해 위축효과라는 문제가 발생합니다. (안면인식 기술이 통제 불가의 AGI가 되진 않겠죠.)

기술을 우리가 갖고 있던 불편을 해소하고 문제를 해결하기 위해 도입하는 지극히 인간적이고 사회적인 방법으로 바라본다면, AI의 사양이나 어떻게 기능해야 하는지를 논하기 전에 어떤 문제를 풀기 위한 AI인지, 또 어떤 AI를 어떻게 개발해야 하는지를 물어야 하지 않을까요?

AI 안전은 분명 AI 윤리 논의를 구성하는 주요 가치입니다. 하지만 안전한 AI를 개발하는 것이 곧 AI 윤리 논의의 종착점이 될 수는 없습니다. 안전하다는 게 무슨 의미인지와 같은 원론적인 질문까지 던지지는 않더라도, 누구에게 안전한지만을 묻더라도 AI 안전 역시 기술 그 자체에 대한 논의만으로는 확보되기 힘든 것임을 알 수 있습니다. AI 안전 확보를 위한 노력이 AI 윤리 논의에서 언급되는 다른 가치들과 함께 추구되기를 바랍니다.

• 🍊산디: 실제 정책적 논의 또한 구현된 기술 자체에 초점을 맞춰 이루어지고 있다는 생각이 들어요. 기술이 개발되는 과정과 방향에 대한 논의는 점차 뒷전이 되는 것 같구요. ‘윤리’라 하니 노잼으로 느껴질 수 있지만, 누가 어느 지점에 어떻게 개입할 것인가를 설계하는 건 흥미로운 작업인데 말이죠!

AI 개발 무한 경쟁 속 윤리는 뒷전

by. 🎶소소 

AI 기업들이 강조하는 AI 윤리는 실상 기업 내부에서 우선순위가 높지 않습니다. AI 기업들이 경쟁에서 앞서기 위해 끊임없이 더 빠르고 더 나은 성능의 AI 개발에 집중하고 있기 때문이죠. 경쟁 속에서 고객이나 윤리를 우선시하지 못하는 것이 현실입니다. 최근 구글과 마이크로소프트, 메타 등 주요 AI 기업의 개발자들이 이러한 반복적이고 무의미한 ‘쥐 경주(rat race)’ 속에 지쳐가고 있다는 보도가 있었습니다.

빅테크뿐 아니라 정부 AI 연구소, 스타트업할 것 없습니다. 미국만의 이야기도 아닙니다. 우리나라 상황도 마찬가지죠. 어느 한 회사가 새로운 AI 모델 성능을 발표하면, 바로 다음 추격이 시작됩니다. 상대 기업보다 먼저 AI 서비스를 발표하기 위해 불시의 기습 컨퍼런스도 마다하지 않습니다. 경쟁사에 집중될 이목을 우리 회사로 돌리기 위함이죠. 이렇게 치열한 경쟁 속에서 살아남기 위해서는 더 빠르게 움직여야 한다는 압박감은 서로를 옥죄고 있습니다.

ChatGPT에게 시연자의 얼굴 표정을 읽어달라고 하는 모습(24:00),
'구글 I/O' 하루 앞두고 GPT-4o를 기습 발표한 OpenAI 발표 화면 갈무리

한 엔지니어는 이러한 상황을 "비행기를 타고 가면서 비행기를 만드는 것과 같다”고 이야기했습니다. 엔지니어들에게 비판적 사고를 할 시간이 주어지지 않는다는거죠. AI 분야 연구자들은 몇 달 간 이어지는 긴급한 업무 일정 속에 번아웃을 경험하며 다른 직업으로의 전환을 고려한다는 이야기도 들려옵니다.

우리는 무엇을 위해 이토록 열심히 AI를 개발하는 걸까요? 이렇게 더 좋은 성능만 강조하는 풍토에서 AI 산업은 지속 가능할까요? 적어도 AI 개발자들이 AI 개발의 진정한 목적에 대해 생각할 수 있는 시간을 가질 수 있기를 바랍니다. AI 기술의 발전이 과연 누구를 위한 것인지, 그리고 그것이 우리 사회에 어떤 영향을 미칠지 말이에요.