🦜 샘 올트먼 내한공연 후기

미래의 AI 말고 현재의 AI 군사적 활용, 콘텐츠 창작자들의 피해 등을 어떻게 해결해야 한다고 생각하는가?

• 나라마다 군사, 의학 등 분야의 AI 규제를 검토하고 있다. 단기적으로는 기술이 아니라 사례별 규제가 필요하다고 생각한다.
• 단계적으로 기술을 배포, 사용하면서 생기는 위험에 대응해 가는 것이 중요하다. 다만, AI가 강력해질수록 사회적 영향이 커질 것이고, 그래서 전 세계적 협력이 필요하다.
• AI의 부정적 영향만을 상상하기 쉬우나, 직접 활용해 보면 그 장점도 알 수 있게 된다. 우리는 오늘에 머무는 것이 아니라 미래를 바라보면서 준비해야 한다. 
• 콘텐츠 창작자가 겪고 있는 문제는 우리뿐만 아니라 모두가 같이 고민해야 할 문제. 콘텐츠 창작자도 기술의 혜택을 누릴 수 있어야 한다.

AI로 인해 사라지는 일자리에 대해서 어떻게 생각하는가?

• 기술이 진보하면서 새로운 일자리가 창출될 것이다. 산업혁명 이전에는 AI 연구자가 없었던 것처럼, AI가 마지막 산업혁명은 아닐 것이다. 인류는 늘 변화에 잘 적응해 왔다.
• 나의 걱정은 변화의 속도가 이전보다 훨씬 빠르다는 것이다. 빠른 변화로 인한 기술 격차를 줄이기 위해 기본소득도 하나의 솔루션이 될 수 있다.
• 10년 전에도 어떤 직업이 AI로 대체될지 예측하려 했지만, 대부분 실패했다. 사회가 직접 기술을 사용하기 전까지는 어떤 일자리가 사라지고 변할지 알 수 없다. 긍정적인 방향으로 나아가자.

오픈 소스 모델에 대해서 어떻게 생각하는가?

• 오픈 소스의 혁신은 놀랍고, 계속해서 이어져야 한다고 생각한다.
• OpenAI는 오픈 소스 모델과 경쟁이 아닌, 상호보완하는 관계라고 생각한다. 우리는 현재의 AI가 할 수 없는 일을 찾고, 이것을 가능하게 만드는 AGI(범용인공지능) 모델을 만드는 것이 목표.

AI 시대, 생존을 위해 학생들은 어떻게 공부해야 하나?

• AI 시대는 인류가 누리는 황금 시기가 될 것이라 생각한다. 
• 특정 기술의 전문가가 되는 것보다, 새로운 기술이 만드는 변화를 인지하고 기술을 활용할 수 있는 능력을 키우는 것이 더 중요.

• 🤔 어쪈 : 오픈AI 서울 투어 다음날 샘 올트먼이 참석한 곳은 다름 아닌 홍채인식 정보로 신원을 증명하고 블록체인 기반 가상화폐를 기본소득으로 받는 프로젝트, ‘월드코인’ 행사라고 하네요. AI의 일자리 대체까지도 사업 기회로 보는 것은 아니겠죠?

AI 윤리 연구의 최전선, 대망의 FAccT(Conference on Fairness, Accountability, and Transparency) 콘퍼런스가 오늘 시작됐습니다. FAccT는 컴퓨터 과학, 법학, 사회과학, 인문학 등 다양한 분야의 연구자들이 모여 AI를 비롯한 기술의 공정성, 책임성, 투명성을 평가하고 그 해결 방안을 공유하는 학회입니다.

• 🍊 산디 : 작년 11월 시사IN이 보도한 <화물차를 쉬게 하라>가 생각났어요. 한국의 교통안전법도 화물차 등 사업용 차량의 운행기록장치 장착을 의무화하고 있습니다. 화물차 운전기사와 도로 위 안전은 운전 모니터링으로 보장할 수 없다는 내용이 크게 와닿네요.

생성AI 기술이 풀지 못한 중요한 숙제 중 하나는 저작권 문제입니다. 모델 구축 과정에서 웹에 있는 자료를 대량 사용하는데, 원저작자는 자기 창작물이 활용됐는지조차 알기 어렵습니다. 저작권법 등 각국의 생성AI에 대한 제도적 대응은 아직 초기 단계입니다. 제도가 대응책을 궁리하는 동안 저작권 문제 해결에 접근하려는 몇 가지 기술 사례를 소개합니다.

당연한 소리 같지만, AI 학습용 데이터 수집을 거부하는 방법이 있습니다. 본인이 관리하는 웹사이트라면 메타정보에 직접 거부 의사를 밝힐 수 있습니다. 아트스테이션이나 디비언트아트 등의 시각예술 커뮤니티에 창작물을 업로드한다면, 해당 플랫폼이 제공하는 기능을 활용할 수 있습니다. 스태빌리티AI의 경우 Have I Been Trained? 서비스를 통해 사용자들이 밝힌 거부 의사를 향후 작업에 반영하겠다고 하기도 했습니다.

이렇게 데이터 수집 거부 의사를 표시한다고 해도, 현재로서 법적 구속력까지는 발생하지 않습니다. 거부 의사를 밝힌 데이터를 학습에서 제외하는 게 아니라, 동의가 확인된 데이터만 학습에 포함하는 옵트인(opt-in) 방식으로 AI 모델을 구축하는 제도적 대응을 상상해 볼 수 있지 않을까요.

허깅페이스(Hugging Face)는 기계학습 모델 및 어플리케이션 제작 도구, 모델 구축에 필요한 데이터셋 등을 제공하는 플랫폼입니다. 허깅페이스는 최근 업데이트를 통해 이미지 url을 포함하는 (따라서 이미지 생성AI에 활용될 수 있는) 데이터셋의 경우, 원저작자의 수집 동의/거부(opt-in/out) 비율을 보여주는 기능을 공개했습니다.

하지만 허깅페이스는 수집 동의/거부의 비율을 보여줄 뿐, 해당 창작물의 사용을 강제로 막지는 않습니다. 그래도 모델 구축을 위한 데이터의 동의 여부를 확인할 수 있다는 건, 그간 보이지 않았던 데이터 생산자의 의견을 가시화한다는 점에서 한 발짝 나아간 접근으로 보입니다.

글레이즈(GLAZE)는 인터넷에 올린 이미지 창작물이 생성AI 학습 데이터로 무단 사용되는 것을 막는 데 쓰입니다. 시카고대학 연구진이 개발한 이 기술은 육안으로는 보이지 않지만 AI 학습 알고리즘에는 감지되는 노이즈를 이미지에 섞습니다(cloaking). 노이즈 때문에 알고리즘이 엉뚱한 패턴을 학습하여 원본 이미지 스타일을 모방하지 못하게 만드는, 일종의 적대적 공격(adversarial attack)입니다.

• 🎶 소소 : 저작권 데이터의 AI 학습을 전면 허용한 일본의 저작권법 개정(2018)이 최근 화제가 되었습니다. AI 연구자는 "일본이 AI의 천국이 되었다"며 부러워했지만, 정작 일본에서는 콘텐츠의 웹 공개를 꺼리는 부정적 움직임도 있다고 합니다. 문제의 해결을 위해서는 저작권자가 정당한 대가를 주고받을 수 있도록 하는 고민도 필요하겠습니다. 

이제 대부분의 사람들은 챗GPT가 ‘거짓말’을 해도 그러려니 하고 넘어갈 겁니다. 국내 사용자 수만 해도 220만 명이 넘을 만큼 많은 사람들이 경험하기도 했고, 챗GPT가 그럴듯한 말을 꾸며내는 현상을 뜻하는 ‘할루시네이션(환각)’을 주의하라는 기사나, ‘세종대왕 맥북프로 던짐 사건’과 같은 밈이 널리 알려져 있기 때문이죠. 오픈AI 역시 시작화면과 입력창 하단에 부정확한 정보를 생성한다고 명시하고 있습니다.

하지만 모두가 챗GPT의 한계를 명확하게 인지하고 쓰는 건 아닙니다. 대단한 기술이라고 칭송받는 챗GPT가 다른 어디서도 찾기 힘든 정보를 확신 가득한 말투로 알려준다면? 답변이 진짜인지 확인하는 수고를 들이기보다 믿어버리는 게 훨씬 편하지 않을까요. 송무에 챗GPT를 써서 궁지에 몰린 미국 뉴욕의 한 변호사처럼요.

그는 이렇게 ‘챗GPT 변호사’라는 별명을 얻게 되었습니다. 

• 원고 측, 피고의 소송 기각 요청에 대한 반박문에 존재하지 않는 판례 다수 인용
• 법원, 판례를 확인할 수 없다는 피고 측 재반박에 따라 원고 측에 인용 판례 출처 및 근거 요청
• 원고 측, 챗GPT 답변 첨부 문서 제출 (답변 내 존재하지 않는 판례 추가 인용)
• 법원, 판례 부존재 확인 후 ‘전례 없는 상황’을 언급하며 원고 측 변호인 징계에 대한 진술 요청
• 원고 측, 판례 검색 및 의견서 작성에 챗GPT를 활용했음을 인정하면서 고의적 기만이 아님을 주장. 제시한 판례가 실존하는지 묻자 ‘그렇다’고 대답하는 챗GPT와의 대화 사본을 첨부하면서, 기존 판례 DB를 뛰어넘는 ‘슈퍼 검색 엔진’으로 여겼다고 밝힘
• 법원, 원고 측 변호인 징계 심리 진행 중

이 사건에서 법원은 챗GPT를 만든 오픈AI에게 책임을 묻지 않았지만, 곧 다른 사건으로 오픈AI는 법원에 소환될 예정입니다. 챗GPT가 한 라디오 방송 진행자를 두고 비영리단체의 재산을 사익편취하고 횡령했다고 거짓말했거든요. 화난 당사자는 오픈AI를 명예훼손으로 고소했습니다.

여러모로 챗GPT를 비롯한 생성 AI 모델 기반 서비스를 제공 중인 회사들이 법원에 출석하는 일이 갈수록 더 많아질 것 같습니다. 눈에 보일 듯 말 듯, 귀에 들릴듯 말듯한 광고 문구처럼 ‘부정확한 정보를 생성할 수 있다’고 고지하는 것만으로 회사는 법적 책임에서 벗어날 수 있을까요?

• 🤔 어쪈 : 거짓말, ‘할루시네이션’ 등의 표현 역시 주의해서 사용할 필요가 있습니다. 챗GPT는 사람과 달리 참, 거짓을 인지하지 못한 채 문자를 생성하기 때문에 ‘거짓말한다’고 하기 어렵습니다. ‘할루시네이션’ 역시 명확한 정의 없이 AI를 의인화한 개념입니다.

정보주체의 권리

이번 법개정은 제37조의2를 신설하여 AI 등 완전히 자동화된 시스템을 통해 이루어지는 결정에 대해 정보주체가 요구할 수 있는 권리를 명시.

• 자동화된 결정이 정보주체의 권리 또는 의무에 중대한 영향을 미치는 경우, 해당 결정을 거부할 수 있음.
  • 단, 행정청의 자동적 처분은 제외되며(행정기본법 제20조)
  • 정보주체의 동의를 받았거나 계약 이행을 위해 불가피할 경우도 제외.
• 개인정보처리자에게 결정에 대한 설명을 요구할 수 있음.
• 자동화된 결정을 거부하거나 설명을 요구한 경우에, 결정 내용을 적용하지 않거나 사람이 다시 처리하는 등의 조치를 취하여야 함.

새로운 권리가 생겼다! 하지만..

• 2024년 3월에 법이 시행되면, 자동화된 결정을 거부하거나, 설명을 요구하고, 사람이 다시 처리해줄 것을 요구할 수 있음. (🦜기억해두자구요!)
• 하지만 권리를 행사할 수 있는 조건이 논쟁적. 과연 어느 정도로 권리를 보장받을 수 있을지는 의문.

완전히 자동화된 시스템?

• 정보주체가 권리를 행사하기 위해서는 완.전.히. 자동화된 시스템에 의해 결정이 이루어져야 함.
• 그러나 완전 자동화가 무엇인지는 논쟁적. 사람이 어느 정도로 개입해야 완전히 자동화된 시스템인가?
• 유럽연합의 가이드라인은 결정을 바꿀 권한과 능력이 있는 사람이 결정을 감독할 경우에, 인간이 개입한 결정으로 해석.
• 만약 입사 지원자 A와 B 중에서 AI가 A를 추천했고, 이를 참고해 인사권자가 A를 채용했다면, 이는 완전히 자동화된 시스템일까?

중대한 영향?

• 자동화된 결정이 정보주체의 권리 또는 의무에 중.대.한. 영향을 미쳤는지 역시 논쟁적.
• 채용에 탈락한 B가 자동화된 결정 거부권을 행사하고 싶다면, 자동화된 결정이 권리에 중대한 영향을 미쳤다고 본인이 증명해야 하는 부담.

자동화된 결정 거부권의 제외 대상?

• 행정청의 처분은 법 적용 대상에서 제외. 예를 들어, 행정청이 AI를 통해 복지 대상을 선발할 경우, 자동화된 결정을 거부할 수 있어야 하지 않을까?
• 정보주체가 동의한 경우 역시 법 적용 대상에서 제외. 하지만 채용 절차에 AI 면접이 포함된 경우, 지원자는 자동화된 결정에 동의할 수밖에 없음. 이 경우에도 사용자의 자발적인 동의로 해석할 수 있을까?

새로 도입된 권리가 반갑지만 행사할 수 있는 조건이 영 까탈스러워 보입니다. 법해석이 누적되길 기다려야겠지만, AI는 이미 일상의 의사결정에 영향을 미치고 있습니다. 우리는 어떻게 대응해야 할까요?