🦜전쟁과 죽음의 기술

팔레스타인은 점령 기술 실험실이 되어버렸습니다

2023. 10. 30.

🦜전쟁과 죽음의 기술

구독하기 잘 안보이시나요?

네 탑을 쌓는거야. 악의에 물들지 않은.

미야자키 하야오, <그대들은 어떻게 살 것인가>

전쟁과 죽음의 기술
FMTI를 재검토해봅니다

👉 모두 읽는 데 8분 22초!

전쟁과 죽음의 기술

by. 🤖아침

좀처럼 할 말이 없는 요즘입니다. 어린이들이 몇 주 만에 수천 명이나 살해당하는 전쟁이 벌어지고 있는데, AI 어쩌고 하는 일이 무슨 소용일까요?

그러던 중 잡지 Logic(s)의 편집자 편지를 읽고 조금 자극을 받아서 일부 구절을 소개합니다.

"이처럼 잔혹한 시기에...의미 있는 말이 남아 있을까? ...기술과 사회를 다루는 흑인 x 아시안 x 퀴어 잡지로서...우리의 역할 하나는 패권 국가 내러티브와 미디어의 공모로 은폐되는 연결고리들을 가시화하는 것이다. ...아파르트헤이트를 구축하고 유지하기 위해 이스라엘이 제작하는 무기 및 감시시스템은...팔레스타인 사람들을 대상으로 한 현장실험을 거쳐 인도, 미국 등 전 세계로 팔려나간다. ...기술노동자로서 우리는 감시, 치안, 그리고 (갈수록 강력한 통제 수단을 테크업계로부터 제공받는) 살인 정권 간의 초국가적 연결을 명확히 해야 한다."

하마스가 저지른 학살은 끔찍하고 비윤리적이며, 그 학살을 빌미로 또다른 학살을 자행하는 이스라엘의 전쟁 또한 마찬가지입니다. 살인은 멈춰야 합니다.

AI 윤리로 다시 돌아오자면, 다음을 지적하고 싶습니다. 이스라엘의 팔레스타인 점령에는 (팔레스타인을 이스라엘의 ‘점령 기술 실험실’이라고 부를 정도로) 다양한 기술이 활용되며, 여기에는 AI도 포함됩니다. 이전에도 뉴스레터에서 관련 앰네스티 보고서를 소개한 적 있는데요.

이스라엘은 얼굴인식 기술이 적용된 CCTV로 팔레스타인 사람들을 감시하고 검문소에서 통행을 제약합니다.
검문소에는 컴퓨터 비전을 활용해 자동으로 발포하는 총기가 설치되어 있습니다.

이러한 CCTV를 납품하는 업체 중 하나는 중국의 하이크비전(Hikvision)입니다. 신장 지역의 위구르족 감시/탄압에 활용되는 장비를 납품한 것으로 알려진 기업이기도 합니다.

중국 당국이 첨단 기술을 활용하여 위구르족을 탄압하는 방식을 자세히 다루는 <신장 위구르 디스토피아>에는 한국 이야기도 짧게 나옵니다. 코로나19 팬데믹 초기에 한국 정부가 빠르게 감염자를 추적할 수 있었던 것과, 중국 당국의 소수자 억압 기술이 무관하지 않음을 지적하는 대목입니다.

"서울이 팬데믹에 빠르게 대응할 수 있는 능력은 일정 부분 중국 서북부의 억압 시스템이 생체 감시 알고리즘을 훈련하기 위한 공간을 개척해온 방식에 달려 있다. 다른 사람에 대한 보호는 [신장에서 탄압을 받은] 베라 저우 같은 대학생이나 아딜벡 같은 농민을 망각하는 것에 달려 있다는 것이다. 이는 곧 수천 명의 수감자와 자유롭지 않은 노동자의 비인간화를 모른 척하는 것을 의미한다." (p.170)

마침 유엔의 이스라엘-하마스 휴전 결의안에 기권 의사를 표명한 한국에서는 지능형 CCTV를 열심히 도입하는 중입니다. 10.29 참사에 대응하여 인파 관리나 범죄 예방 등을 명목으로 합니다. 지능형 CCTV 기술이 정말 인명 사고 예방에 필요한지에 관해서 의문을 제기할 여지가 있지만, 조금 시야를 넓혀 보자면 이런 기술이 위에서 언급한 소수민족 억압에 활용되는 기술과도 밀접하게 연관된다고 생각해요.

출처: 서울시 “내 손안에 서울” 갈무리

KOTRA는 2016년에 CCTV나 디지털 시큐리티 영상 장비 등 물리보안 분야를 이스라엘 시장 진출 유망품목으로 지목한 바 있습니다. 위의 앰네스티 보고서에서는 이스라엘이 2017년 이후로 안면 인식 카메라 시스템을 업그레이드해 왔다고 하고요. 객체인식, 이상징후 탐지 등을 핵심 기능으로 하는 지능형 CCTV 시장은 (특정 업체가 직접 팔레스타인이나 신장에 납품하지 않더라도) 억압을 돕는 영상 기술 시장과 무관하지 않은 셈입니다.

한국의 안전 관리와 소수민족 탄압은 다소 동떨어진 이야기 같지만, 컴퓨터 비전에 기반한 감시 기술이 지정학적으로 떨어진 두 맥락을 연결합니다. 죽음을 막는다는 명목으로 우리에게 던져지는 기술이, 때로는 죽음을 만드는 기술과 동전의 양면처럼 맞닿아 있기도 하다는 걸 잊지 않으면 좋겠습니다.

#remember1029 #CeasefireNOW

FMTI를 재검토해 봅니다

by. 🤔어쪈

지난 레터에서 파운데이션 모델 투명성 지수(FMTI) 연구를 다룬 이후, FMTI의 100개에 달하는 지표를 어떻게 측정했는지, 그래서 종합 지수가 무엇을 의미하는지 등 보다 자세한 내용이 궁금하다는 구독자분의 요청이 있었습니다. 그리고 정확히 다음 날, 오픈소스 AI 개발을 추구하는 비영리 연구조직 EleutherAI에서 해당 연구를 비판하는 논평을 게시했습니다.

사실 저는 국가 경쟁력이나 행복도처럼 정량화하기 힘든 개념을 하나의 수치로 압축하는 각종 ‘지수(index)’에 문제가 많다고 생각합니다. 그럼에도 불구하고 FMTI가 AI 투명성 현황을 보기 좋게 정리했다는 이유로 구독자분들께 전하기 좋은 소식이라 판단했습니다. 하지만 연구 논문과 데이터를 자세히 뜯어보며, 또 EleutherAI의 비평을 읽으면서 깨달았습니다. FMTI 소개보다도 구독자분들과 함께 AI 투명성에 대해 고민하는 글이 필요했다는 사실을요. 반성하는 마음으로 FMTI 연구를 다시 살펴봅니다.

우선 EleutherAI의 FMTI 비평을 간략히 요약해 보죠:

투명성은 목적이 아닌 수단이라는 사실을 망각한 접근이다.
함께 비교하기 어려운 대상(AI 모델 및 개발조직)과 지표를 한데 섞었다.
투명성을 기업의 상용 AI 서비스에 요구되는 정보공개 책무라는 좁은 개념으로만 상정한다.

EleutherAI와 같은 연구조직에게 투명성은 재현가능성(reproducibility)을 위해 필요한 수단입니다. 연구자 입장에서 대부분의 기업이 AI 모델의 학습 데이터나 파라미터를 공개하지 않는 것은 굉장히 답답한 일일 겁니다. AI를 깊게 이해하거나 관련 지식을 쌓기가 훨씬 어려워지니까요. 정보가 공개되었다고 하지만, 전체가 아니라 일부일 뿐이니 검증이 불가능합니다.

이러한 입장에서는 FMTI가 학습 데이터 전체가 아닌, 출처와 같은 부가 정보에 대해서만 지표를 설정하고 있어 아쉬움이 남습니다. AI 모델 파라미터 공개 여부 역시 100개 중 하나의 항목일 뿐인데, ‘국가별 이용 현황’이라거나 ‘AI 생성 콘텐츠 탐지 방법’과 같은 문항이 AI 모델 파라미터 공개와 동일한 위상을 차지하는 게 맞는지도 질문을 던져볼 수 있겠죠.

출처: BLOOMZ를 개발한 BigScience의 윤리 헌장. 투명성을 외재적 가치의 일환으로 재현가능성을 위한 수단이라고 명시하고 있습니다.

이외에도 EleutherAI는 FMTI가 측정이 용이한 지표 위주로만 구성된 점과 이로 인한 기업들의 투명성-워싱 우려를 제기합니다. 또한 0(없음) 또는 1(있음)로 매겨지는 측정 방식도 명확해 보이지만 측정하는 사람마다 판단 기준이 달라 지표 안정성에 문제가 있을 수 있습니다. 단적인 예로, EleutherAI 연구원들이 개발에 참여한 BLOOMZ를 다시 채점했더니 53%가 아니라 87%었다고 해요. 투명성의 다양한 측면을 무시한 채 점수와 순위만 강조하는 각종 시각 자료 역시 지적되었습니다.

지난주 레터에서 언급했듯 AI 투명성은 분명 우리가 추구해야 할 가치이며 이를 위해 다양한 방식의 노력이 필요합니다. 하지만 여러 다른 윤리 논의와 마찬가지로 관점과 맥락에 따라 달리 정의할 수 있는 개념이기도 합니다. 따라서 AI 투명성을 정해진 질문지에 네/아니요로 기록해 점수로 환산하는 게 적절한지 분명 재고할 필요가 있습니다.

같은 이유로 우리나라 정부에서 AI 윤리라는 주제 아래 추진하는 여러 작업에 대해서도 비판적으로 검토해 볼 수 있을 겁니다. AI 윤리 국가표준이나 검·인증, 체크 리스트 형태의 자율점검표 및 개발 가이드라인 등의 여러 사업이 떠오르네요. 해외 유명 대학에서 만들었다는 이유만으로 섣불리 FMTI를 그대로 도입하는 일은 없었으면 좋겠습니다.