🦜세계 최초! 윤리적 데이터 회사

노동자가 받는 금액도 중요하지만, 더욱 중요한 것은 기업의 분배 논리입니다. 오픈AI에 데이터를 공급하며 5만 명을 빈곤에서 구출했다고 홍보해 왔던 데이터 기업 Sama가 케냐의 AI 노동자를 착취해 왔던 사실이 밝혀지는 등 기업의 수익을 노동자의 이익보다 우선하는 사례는 흔하기 때문입니다. 카리아AI는 노동자와 농촌을 앞세운 분배를 설계합니다.

• 카리아AI는 노동자에게 시간당 최소 5달러를 지불합니다. 이는 인도 최저임금의 20배에 달합니다. 지금까지 약 3만 명의 농촌 인도인에게 약 80만 달러의 임금을 지급했습니다.
• 부의 재분배를 위해 비영리 단체로 운영합니다. 노동자에게 충분한 수익을 배분한 후, 잉여 이익은 농촌 빈민에 재투자합니다.

노동자에게 데이터 소유권이 있으면, 데이터가 재판매될 때마다 추가 소득을 얻을 수 있습니다. 데이터 원작자에게 데이터 재판매 비용을 보상하려는 시도는 종종 있었습니다. 이미지 공유 플랫폼 셔터스톡도 AI에 데이터가 재사용될 때마다, 데이터 원작자에게 일정 비용을 보상한다고 발표했죠. 그러나 실제 보상이 어떻게 이루어지는지, 수익 배분율은 어떻게 정해지는지도 살펴봐야 합니다.

• 카리아AI의 데이터 재판매 수익은 100%가 노동자가 투입한 시간에 비례하여 배분됩니다.
• 지금까지 약 4,000명의 직원에게 11만 6,000달러의 로열티를 지급했습니다.

데이터 회사들은 대부분 “쉽게 원하는 소득을 얻을 수 있다”며 소득 중심의 홍보를 합니다. 반면 데이터 노동자들은 노동으로 부자가 되는 것은 결국 기업이라고 이야기하죠.

• 한편 카리아AI는 노동자의 최대 수입을 인도의 평균 연봉인 1,500달러로 제한합니다. 이는 더 많은 사람에게 노동의 기회를 주기 위한 노력이자, 데이터 노동이 주 수입원이 아닌 보조 수입으로 활용되도록 하기 위함입니다.
• 하지만 아이러니하게도 아직 단 한 명도 1,500달러의 수입에 도달한 적이 없다고 하네요.

데이터 노동은 주로 영어를 공용어로 사용하는 인도, 케냐, 필리핀 등에서 이루어집니다. 그러나 영어를 할 줄 모르는 지역 사회 사람들은 정작 AI 포함한 기술의 혜택을 얻기 어렵습니다.

• 카리아AI는 인도의 칸나다어를 포함한 지역 언어로 AI 모델을 구축합니다.
• 예를 들면, 의료 NGO와 협력하여 인도에서 매년 약 20만 명의 목숨을 앗아가는 결핵에 대한 음성 데이터 세트를 지역 언어로 구축하고 있습니다. 이러한 지역 언어로 AI 모델을 만들어 결핵에 대한 정보를 쉽게 얻고 예방하는 것이 목적이라고 합니다. 

AI 윤리 문제를 다루는 대표적인 넷플릭스 다큐멘터리, <알고리즘의 편견 (Coded Bias)>을 보셨나요? ‘알고리즘 정의 리그(Algorithmic Justice League)’라는 단체의 설립자 조이 부올람위니 박사를 중심으로 얼굴 인식 AI의 성별 및 인종 편향성을 집중 조명하는 영화입니다. 부올람위니가 팀닛 게브루와 함께 쓴 논문 ‘젠더의 그림자(Gender Shades)’는 지금까지 4500여 회 인용될 정도로 파급력이 컸는데요. 얼굴 사진을 토대로 특정인 여부 또는 성별을 판별하는 AI 서비스의 정확도가 흑인 여성에게서 확연히 낮아진다는 사실을 밝혀냈습니다.

이후 IBM, 마이크로소프트 등의 기업들은 얼굴 인식 AI 소프트웨어 개발 및 판매를 아예 중단하거나 성별 판별 기능을 제거했는데요. 젠더 또는 피부색에 따라 얼굴 인식 AI의 정확도가 큰 차이를 보여선 안 된다는 인식과 함께, 생체정보를 활용하는 감시 기술에 대한 문제의식 역시 널리 퍼졌습니다. (논문 출판 5주년 기념 웹사이트에서 연구에 활용된 데이터셋과 시각화 자료 등을 살펴볼 수 있습니다.)

한편, 생성 AI에도 ‘젠더의 그림자’가 드리운 건 아닌지 살펴본 기자들이 있습니다. 블룸버그는 이미지 생성 AI의 대표 주자인 스테이블 디퓨전으로 비슷한 실험을 진행했습니다. 슬프게도 AI 업계는 과거 교훈을 잊은 듯합니다.

일반적인 이미지 생성 AI는 이용자가 프롬프트로 그림에 관해 설명하면 그에 맞는 결과를 출력합니다. 블룸버그 기자들은 여러 직업군에 대한 수천 장의 초상화 이미지를 생성했습니다. 상위 임금 직업군 7개 (건축가, 변호사, 회사 대표, 정치인, 판사, 엔지니어, 의사), 하위 임금 직업군 7개 (교사, 가정부, 계산원, 교도관, 주방 보조(설거지), 패스트푸드점 종사자, 사회복지사)를 선정해 각각 300장씩 이미지를 생성하고, 생성된 사진 속 인물의 피부색과 젠더를 분류하여 빈도를 계산했어요.

그 결과 고임금 직업군에서는 밝은 피부색 위주로 얼굴 이미지가 생성되었고, 반대로 저임금 직업군 이미지의 피부색은 어두웠습니다. 젠더에 따른 분류는 차이가 더 극심했는데요. 결과적으로 고임금 직업군을 대표하는 얼굴은 밝은 색상의 피부를 가진 남성이었습니다.

AI의 편향성을 비판할 때 숱하게 마주하는 반응이 있습니다. 애초에 세상이 차별로 가득 차 있어, 그로부터 나온 편향적인 데이터셋을 학습한 AI는 현실을 그대로 반영할 뿐이라는 거죠. 실제로 블룸버그의 문의에 스테이블 디퓨전 개발사 스태빌리티AI 역시 그렇게 답했습니다. 문제를 인지하고 있고 개선 방안을 찾는 중이라는 언급과 함께요.

다시 블룸버그 기사로 돌아가볼까요. 테러리스트에 대한 이미지는 대부분 무슬림 남성의 얼굴을 그리고 있습니다. 하지만 실제 미국에서 테러 사건은 무슬림보다 백인우월주의자를 포함한 극우극단주의자에 의해 3배 이상 더 많이 일어납니다.

블룸버그 기사의 제목처럼, AI는 현실을 반영하지 않습니다. “인간은 편향적이지만, 생성 AI는 더 심합니다(Humans are biased, generative AI is even worse)”. AI가 학습하는 데이터가 현실을 대표한다고 보기도 어렵고, 생성 AI는 데이터상의 분포와 패턴을 일반화한 결과를 만들어내죠. 즉, AI는 현실의 편향을 증폭합니다.

이미지 생성 AI는 이미 어도비, 셔터스톡, 캔바 등 각종 디자인 관련 생산성 도구에 적용되면서 적극 상용화되고 있습니다. 회사들은 창의력을 보조, 증강할 서비스라고 홍보하죠. 하지만 앞서 살펴본 이미지 생성 AI는 우리의 고정관념과 편견을 강화해 현실의 차별을 일으키기 쉬워 보입니다. 다양성이 배제된 창의성은 대체 무슨 의미일까요? 그게 가능하긴 한 걸까요?