🦜1등도 50점인 투명성 지수:FMTI

1. 1등이 50점인 AI 모델 투명성 지수
2. 구글 딥마인드, 믿을 수 있을까요?

출처: 2023 파운데이션 모델 투명성 지수 (FMTI) 종합 점수 그래프

오픈소스로 개발된 메타의 Llama 2가 1위라고 하지만 점수는 겨우 50%를 넘겼을 뿐입니다. 허깅페이스 주축의 오픈소스 AI 개발 단체인 빅사이언스(BigScience)의 BLOOMZ가 뒤를 이었고, 나머지는 전부 50% 이하의 점수를 기록했습니다.

사실 투명성(transparency)은 지난 몇 년 간 정부, 기업, 국제기구 등 너나 할 것 없이 발표한 각종 AI 윤리 원칙에서 빠지지 않고 등장하는 단어입니다. 하지만 의미나 기준이 불명확한 개념이기도 합니다. 투명성은 AI 시스템이 어떻게 결과를 도출했는지 파악할 수 있도록 하는 설명가능성(explainability)과 자주 연결됩니다. 종종 관련 정보를 사전 고지할 것을 요구하는 개방성(openness)과 동의어로 이해되기도 하죠.

때문에 연구진은 100개에 달하는 다양한 하위 지표를 선정해 투명성의 여러 측면을 반영했습니다. 대표로 몇 개만 함께 살펴보면요:

• 업스트림: 모델 개발 절차와 소요 자원 관련 정보
  • 학습 데이터 (규모, 출처, 수집 방법 등), 데이터 노동 (노동자 다양성, 보호 방안 등), 컴퓨팅 자원 (사용량, 개발 기간, 하드웨어 등)
• 모델: 특성 및 기능 등 모델 자체에 대한 정보
  • 입출력 형식, 모델 구조 및 크기, 성능 평가 결과, 한계 및 위험 등
• 다운스트림: 모델 배포 및 이용 관련 정보
  • 배포 및 이용 정책 (채널, 라이선스, 약관 등), 이용자 데이터 처리 방안, 피드백 절차 등

연구진은 전반적으로 낮은 점수에 실망하면서도, 개선의 여지가 분명 있다는 기대감을 나타냈습니다. 82개 지표를 최소 1개 이상의 회사가 충족했기 때문이죠. 더 높은 점수 달성이 가능하다는 겁니다. 특히 모델 개발에 들어간 학습 데이터나 노동, 컴퓨닝 자원에 대한 정보 공개가 필요하다는 결론을 내렸죠. 반면 이용자 데이터 보호나 모델 성능과 같이 그간 사회적으로 AI 개발사에 지속 요구되어온 항목은 비교적 성적이 좋았습니다. 결국 FMTI와 같은 연구, 목소리가 영향을 줄 수 있다는 뜻입니다.

우리나라는 미국이나 중국에 비할 바는 아니더라도 나름 파운데이션 모델 개발이 활발한 나라입니다. 네이버 하이퍼클로바를 비롯, LG AI 연구원의 엑사원, SKT의 에이닷 엑스, KT의 믿음 등 주요 기업들이 너도나도 출시하고 있죠. 조만간 국산 모델들을 직접 써보며 투명성 지수를 매겨보고, 개발사가 분발하도록 요구할 수 있는 날이 오길 바랍니다.