AI 안전성은 어떻게 평가할까요?
: 딥마인드의 AI 평가방법

안전한 AI를 만들기 위해 세계 각국 정부가 AI 기업에 공통으로 요구하는 것이 있습니다. AI의 기능과 위험을 평가하고 공개하라는 것인데요. AI가 얼마나 유용하고 위험한지 알아야 대응도 할 수 있기 때문입니다. 그러나 AI 평가 방법은 여전히 불분명합니다. AI를 어떻게 평가해야 안전하게 사용할 수 있을까요?

기존의 AI 평가 방법은 주로 기능적 측면에 초점을 맞춰 왔습니다. 그러나 같은 AI도 다른 환경에서 다른 목적으로 사용될 때 그 결과와 영향력이 완전히 달라질 수 있습니다. AI 안전성 평가를 위해 이용 환경과 맥락을 고려하는 종합적 평가 방법을 제안한 딥마인드의 연구를 소개합니다.

딥마인드는 AI의 기능뿐만 아니라 인간 상호작용, 시스템적 영향을 평가할 것을 제안합니다.

• 기능(Capability) 평가는 발생가능한 위험을 예측할 수 있는 중요한 지표입니다. 그러나 기능 평가만으로는 AI 안전성을 보장할 수 없습니다.

• 인간 상호작용(Human Interaction) 평가는 AI를 사용하는 사람들의 경험을 중심으로 이루어집니다. 사람들이 AI를 어떻게 사용하는지, AI가 의도한 대로 작동하는지, 사용자 특성에 따라 사용 경험이 다른지, 예상치 못한 부작용이 나타나는 지 등을 고려합니다.

• 시스템적 영향(Systemic Impact) 평가는 AI가 활용되는 사회의 제도, 노동 시장, 자연 환경 등 광범위한 구조에 초점을 맞춥니다. 이 계층에서는 AI를 더 많은 사람이 사용하게 되었을 때 가시화되는 위험을 평가합니다.

예를 들어, 부정확한 사실이나 오해의 소지가 있는 결과를 생성할 가능성이 높은 AI가 있다고 해봅시다. AI가 오정보(misinformation)를 생성하는 것이죠. 하지만 모든 사람이 오정보를 믿고 행동하지는 않습니다. 오정보가 얼마나 확산되는지, 얼마나 많은 사람들이 믿게 되는지는 상황에 따라 달라집니다. 따라서, AI가 의도된 대로 안전하게 사용되기 위해서는 단순히 기술적 성능만이 아닌, 그것이 사용되는 맥락과 환경을 함께 고려해야 한다는 것입니다.

AI 안전성 평가에 관심이 생기셨다면, 연구팀이 지금까지의 공개된 '생성형 AI 평가 방법'을 모은 리포지터리를 살펴보시는 것도 좋겠습니다. 연구팀이 지적하기로는 대부분의 평가 방법이 매우 한정된 범위의 위험만을 다루고, 주로 텍스트 출력에 초점을 맞추고 있다고 합니다. 

AI가 널리 쓰일수록 여러 사람의 안전에도 영향을 미치게 되겠지요. AI가 안전하게 쓰이기 위해 개발진은 기술을 책임감 있게 개발해야 하고, 정부와 규제기관은 적절한 제어 장치를 마련해야 합니다. 🦜윤리 레터도 힘을 보탤 수 있도록 부지런히 소식을 전하겠습니다.