1. 목소리를 보는 AI
2. 스케일이 커진다면 지능이 등장할까? [Part. 1]

목소리를 보는 AI

by. 💂죠셉

농인들의 언어인 ‘수어(sign language)’에 대해 얼마나 알고 계신가요? 저는 2년 전쯤 우연히 올리버 색스의 <목소리를 보았네>라는 책을 만나 수어의 세계에 매료되었고, 한국 수어를 배우기 시작했습니다. 이후 여러 사람과 이야기를 나누다 보니 수어에 대한 일반적인 오해가 몇 가지 있단 걸 알게 됐는데요. 예를 들어:

• 가령 한국 수어의 경우 청인들이 사용하는 ‘한국어'를 단순히 손으로 옮긴 게 아닙니다. 한국 수어가 공식적으로 대한민국의 제2 법정 공용어라는 사실에서 알 수 있듯, 수어는 그 자체로 하나의 완전한 언어체계이자 문화입니다. 다만 청인들의 음성 언어와는 완전히 다른 ‘공간 언어'인 것이죠. (농인은 수어로 생각하고 꿈도 꿉니다.) 청인이 음성이나 문자 대신 갑자기 손을 사용해 소통해야 한다면 무척 낯설겠죠? 즉, 농인들에게 ‘한국어’는 노력해서 배워야 하는 낯선 개념의 제2외국어라는 것입니다.
• 전 세계 공용 수어는 존재하지 않습니다. 한국어와 영어가 다른 것처럼 한국 수어와 미국 수어도 완전히 다른 언어입니다.
• 이름에 손 수(手)자가 들어갔지만, 손의 움직임은 수어 커뮤니케이션의 일부분일 뿐입니다. 가령 똑같은 손 제스쳐를 취해도 얼굴로 어떤 표정을 짓느냐에 따라 수어의 의미는 달라질 수 있습니다.

AI 이야기를 하는 레터에서 왠 수어 이야기냐고요? 작년 2월, 신경다양성을 주제로 한 워크샵에서 한국계 수어 아티스트인 크리스틴 선 킴 (Christine Sun Kim)의 발표를 들을 기회가 있었는데요. 발표 이후 질의응답 순서 때 제가 했던 질문이 생각납니다.

"농인 커뮤니티는 LLM(거대 언어 모델)을 기반으로 한 AI 기술을 어떻게 활용하고 있나요?"

당시 챗GPT의 등장으로 챗봇들이 막 화제가 되기 시작했던 시점이었기 때문에 구체적인 대답을 듣지는 못했는데요. 각종 거대 언어 모델들이 앞다퉈 상상을 초월하는 성과를 이루는 걸 목격한 지난 1년이었지만, 저의 질문에 대한 대답은 여전히 답보 상태인 것 같습니다.

일단 Deaf community, sign language, AI 등의 키워드로 구글 검색을 해봐도 주류 언론사는 물론 일반 블로그 포함, 흥미로운 글이 몇 없습니다. 그만큼 상대적으로 관심도 적고, 현실적인 어려움도 있다는 뜻일 텐데요. 제가 위에 나열한 수어의 특징들이 난관으로 작용하고 있는 것으로 보입니다.

• 수어를 비디오로 캡쳐한 후 LLM을 통해 문자 언어로 번역해 내는 과정에 대한 몇몇 연구 결과가 존재하지만, 프로토타입 수준으로 아직 상용화와는 거리가 있어보입니다. 앞서 언급했듯 수어는 청인 입장에서 보면 ‘비언어’에 속하는 많은 요소 (손뿐만 아니라 얼굴 표정, 필요할 경우 바디 랭귀지까지)를 포함하기 때문이죠.
• 더구나 국가마다 다른 수어가 존재한다는 것은 그만큼 데이터를 확보하기가 어렵다는 뜻이기도 합니다. 웹상의 데이터들을 긁어모아 활용하는 거대 언어 모델의 특성상 영어 외 언어가 상대적으로 소외 될 수밖에 없죠. 언어 중에도 소수에 속하는 전세계 300여 개의 수어는 더욱 그렇습니다.

그런데 기술적 어려움과는 별개로, 챗봇 사용에 대한 농인 커뮤니티 내부의 우려가 존재한다는 점은 주목할 만합니다. LLM을 기반으로 하는 챗봇 사용은 정보에 대한 접근성 측면에서 농인들에게 분명 도움이 되는 측면이 있지만, 문자를 기반으로 하는 기술에 의존할 수록 수어 사용이 줄어들 수 있다는 것이죠.

농인 커뮤니티에게 수어는 단순 소통의 수단을 넘어 그들 고유의 문화와 인권 투쟁의 역사를 포함하는 의미가 있습니다. 전 세계 대부분 농인 커뮤니티가 오랜 기간 사회적응이라는 목적하에 청인의 언어를 강요 받은 역사를 공유하기 때문인데요. 챗봇 사용 및 도입을 ‘생존을 위한 필수 역량’처럼 이야기하고 있는 분위기가 보편화될 수록, 조금 다른 맥락에서 과거 획일화의 역사가 반복되는 건 아닐까요?

구글 AI의 편향을 지적한 이후 해고당한 것으로 알려진 팀닛 게브루 (Timnit Gebru)   (출처: 게티이미지)

대규모의 모델, 데이터, 그리고 컴퓨터 자원이 있다면 범용 인공지능에 이를 수 있다는 ‘오픈AI의 스케일에 대한 믿음’은 어느 순간 법칙처럼 미디어에 회자됩니다. 이러한 가설에 기반 해서 많은 이야기가 돌아다닙니다. 인공지능 학계에서 스케일에 대한 믿음이 어떻게 등장했는지 살펴보고 이후 최근 동향에 대해 분석해 보려고 합니다. 글이 길어질 것 같으니 일단 그 ‘믿음’이 생긴 과정을 서술하고 이후 관련 이야기들에 대한 생각을 정리하겠습니다.

이미 실패했던 스케일 업 (Scale up)

대규모 인공신경망 모델이 등장하기에 앞서 태초에 대규모 데이터가 있었습니다. 스탠포드의 페이페이 리 교수는 2009년 이미지넷 데이터셋을 완성합니다. 그리고 2010년부터 이미지넷 챌린지를 시작했습니다. 이미지넷 챌린지는 총 1,281,167개의 학습 이미지 이용해서 1,000개의 물체 범주를 예측하는 물체 인식 알고리즘을 만드는 대회였습니다. 2011년까지는 기존 연구자들은 인간의 눈에서 영감을 얻은 알고리즘을 고도화시켜 가며 물체 인식을 진행하고 있었습니다.

2012년 혜성처럼 등장한 AlexNet은 기존 기법을 사용한 2등과의 압도적인 차이로 1등을 달성했습니다. AlexNet은 당시 기준으론 굉장히 거대한 모델이었습니다. 신경망의 매개변수(parameters) 개수만 해도 6,230만 개 (62.3M)였고, 파일 크기로 환산하면 237.7 MB에 이르렀습니다. AlexNet 연구진은 CPU 대비 훨씬 빠른 행렬 연산 속도를 자랑했던 엔비디아 GPU 2개를 사용해 AlexNet 학습을 진행했습니다. AlexNet이 엔비디아 GPU에서 학습되었다는 사실이 엔비디아의 현 모습을 절반 정도는 설명합니다. (나머지 절반은 아마 암호화폐가 설명하지 않을까 싶습니다.)

2012년 AlexNet이 이미지넷 챌린지 1위를 한 이후 인공신경망은 ‘딥러닝’이라는 이름으로 부활합니다. AlexNet은 7개의 인공신경망 레이어로 이루어져 있었습니다. 이후 등장한 연구들은 레이어를 더욱 깊게 쌓아가며 높은 성능을 달성하였고, ‘사람보다 나은’ 성능을 달성하기에 이릅니다. 사람을 넘었다는 점에서 적어도 물체 인식 알고리즘은 ‘약한 인공지능’을 이루었다고 할 수 있습니다. 하지만 여기서 더 나아가 1,202개의 레이어까지 쌓아본 연구는 더 많은 레이어가 언제나 좋은 성능을 이끄는 것은 아니라고 결론지었습니다. 이후 ‘딥’하게 레이어를 쌓는 연구는 주춤하게 되었고, 그 대신 인공신경망 구조를 탐색하고 다른 학습 기법을 연구하는 쪽으로 관심이 옮겨가게 됩니다. 어찌 보면 이미 모델의 스케일업은 한번 실패했었습니다.

💬 댓글

• (💂죠셉) : 스케일업을 통해 성능을 개선해나간다는 비전은 데이터 센터 규모의 확장과 맞물려 있고, 지속성 이슈를 꼭 짚고 넘어가야하지 않을까요!