AI 학습 데이터 수집은 여러 차례 문제가 되어왔습니다. 이번에는 논문 철회 정도로 끝났지만, 상업 서비스의 경우 소송을 겪기도 합니다.

• 이미지 판매 사이트인 게티이미지는 이미지 생성 AI 도구를 개발한 스태빌리티AI가 자사의 데이터를 무단으로 사용하여 손해를 끼쳤다며 고소했습니다.
• 일론 머스크는 마이크로소프트가 트위터 데이터를 불법으로 학습했다며 고소하겠다는 트윗을 남겼습니다.
• 수백만 명의 개인이 오픈AI가 개인정보를 포함한 책, 기사 등 인터넷 데이터를 사전 동의나 정당한 보상 없이 이용했다며 집단 소송을 제기했습니다.

🦜지난 레터에서도 다루었지만, EU AI 법의 쟁점 중 하나는 생성 AI 학습 데이터의 정보를 공개하도록 규제할지 여부입니다. 기업들은 이 조항이 생성 AI 서비스의 발전에 제약이 될 거라 우려를 표하고 있죠. 생성 AI 학습에 사용된 데이터를 공개하면 소송에 휘말릴 가능성이 커지기 때문이죠. 오픈AI를 상대로 소송을 제기한 로펌은 데이터 생산자 수백만 명에게 ‘데이터 배당금’ 약 4조원을 배상할 것을 주장합니다.

앞으로 AI기업들은 온라인에 공개된 데이터를 AI 개발에 활용하지 못할 확률이 높습니다. 트위터, 스택오버플로우, 레딧과 같은 웹사이트에서는 AI 기업이 무료로 데이터베이스에 접근하는 것을 금지하기 시작했습니다. 기업들은 데이터를 얻는 다른 방법을 모색해야 할 것입니다. 만약 기업이 여러분의 데이터를 사용하는 대가를 지불한다면, 어떤 방식이 적합할까요?

• 🤔 어쪈: 연구결과, 즉 정말 100% 맞췄는지에 대해서도 의심된다는 글도 있습니다. 그나저나 ‘사람이 보는 시험을 AI가 풀도록 해봤다’식의 연구에는 어떤 의미가 있는 걸까요?

• 🍊 산디: 연구의 온라인 서베이는 2022년에 시행되었고, 페이스북 광고를 통해 응답자를 모았습니다. 모든 응답자는 영어를 사용했습니다. 응답자들은 주로 영국, 호주, 캐나다, 미국, 아일랜드 거주자였습니다.

챗GPT 열풍이 한창이던 올해 초. SF 작가 테드 창의 찬물을 끼얹는 기고문을 기억하시나요? 그는 챗GPT가 JPEG와 유사하다고 봅니다. JPEG가 이미지 원본을 손실압축하는 것처럼 챗GPT 역시 인터넷을 손실압축한 것에 불과하다는 것이죠. 그러므로 챗GPT가 생성한 글이 사람이 작성한 글을 대체할 수 없다(또는, 대체해선 안 된다)는 게 그의 생각입니다. 선명한 원본 그 자체인 인터넷에 AI가 생성한 콘텐츠가 유입될수록 인터넷은 더 흐릿해질 거라 우려하기도 했죠.

그로부터 반년이 지났습니다. 챗GPT는 명실상부 생성 AI 시대를 연 기념비적 서비스가 되었습니다. 너도나도 생성 AI 기술을 도입한 서비스를 내놓고 있고, 그 추세는 단순 유행을 넘은 것으로 보입니다. 이제 우리는 인터넷에서 AI가 생성한 콘텐츠를 심심치 않게, 생각보다 훨씬 많이 접하고 있죠. (이 글도 AI가 썼을지 누가 알겠어요!)

중간점검 해봅시다. 변화는 진행 중이지만, 더 버지의 기사는 테드 창의 손을 들어주었습니다. AI로 인해 기존의 인터넷이 죽고 새로운 인터넷이 탄생하고 있다면서요.

핵심은 악화의 양화 구축입니다. 챗GPT와 같은 언어모델은 그럴듯한 말을 잘 지어내도록 개발되었고, 이 때문에 틀렸는지 알아채기 힘든 교묘히 잘못된 정보를 만드는데 능합니다. 글을 생성하는 규모나 속도 측면에서 사람을 압도하는 점은 두말할 것 없죠.

이러한 기술 문제를 개선하기 위해서라도 사람이 작성한 ‘원본’ 데이터가 중요합니다. 하지만 역설적으로 그 가치를 수익화하고자 하는 레딧, 스택 오버플로우와 같은 커뮤니티의 움직임은 이용자를 분노케 해 데이터 제공을 꺼리게 만들고 있습니다. 구글이 도입을 준비 중인 생성형 검색 경험(Search Generative Experience)은 ‘표절 기계’에 가까워 트래픽 기반의 인터넷 생태계를 망가뜨릴 거라는 지적도 나옵니다.

인터넷이 죽어가고 있다는 지적이 새롭지는 않습니다. 트래픽만을 노리는 낚시성 정보가 넘쳐나고, 검색 엔진은 이를 걸러내기는커녕 광고 인센티브를 주죠. 생성 AI는 그 속도를 더 빠르게 만들고 있을 뿐일지도 모릅니다. 인터넷 생태계에 대한 고민은 영어권 국가를 중심으로 커지고 있지만, 한국어 인터넷 역시 곧 비슷한 변화를 경험할 것으로 보입니다. 네이버와 카카오 모두 하반기 생성 AI 기반 서비스 출시를 예고했고, 구글 역시 바드의 다음 지원 언어로 한국어와 일본어를 콕 집은 바 있죠.

생성 AI 시대의 인터넷 세상은 어떤 모습일까요? 섣불리 예측하기는 어렵지만 이것 하나만큼은 분명히 약속할 수 있습니다. AI 윤리 레터는 사람이 직접 씁니다.

AI 윤리 레터에 피드백을 남겨주신 한 구독자님이 ‘AI 연구 심의 체계’가 궁금하다 말씀해주셨어요. (🦜질문 남겨주셔서 감사해요!)

세계적인 AI 학회 중 하나인 뉴립스(NeurIPS)는 어떤 AI 연구 심의 체계를 따르는지 살펴보겠습니다. 뉴립스는 AI 연구가 고려해야하는 윤리적 요소와 윤리 강령 가이드라인을 다음과 같이 제공합니다.

인간 피험자, 참가자에 대한 윤리

1. 공정한 임금: 모든 연구 대상자 또는 참여자는 적절한 보상 필요.
2. 인간 참여자 관련 연구: 참여자와의 직접적인 상호작용을 포함하는 경우, 소속 기관의 기존 프로토콜(예: 인간 대상 연구 인증, IRB) 준수.

데이터 수집 및 처리

1. 개인정보보호: 개인 식별 정보의 노출을 최소화.
2. 동의: 데이터셋 제공자에게 명시적인 동의를 얻거나, 동의를 구할 수 없는 이유 설명.
3. 더 이상 사용되지 않는 데이터셋: 데이터셋 제작자에게 데이터 사용 가능 여부 확인. 제작자가 삭제한 데이터셋은 감사 또는 비판적 평가의 목적이 아닌 한 사용하지 않음.
4. 저작권 및 공정 사용: 연구자는 데이터셋의 라이선스가 정의한 조건(예: CC 4.0, MIT 등)을 준수.
5. 대표적인 평가 관행: 데이터셋이 모집단을 대표할 수 있는지 평가. 다양성 및 대표성을 구체적인 증거, 사례로 입증.

잠재적 해악 예방

1. 안전: 기술의 잠재적 오용, 부작용, 사람을 해치거나 죽이는 데 사용될 수 있는 상황을 고려. 치사율을 높이는 것을 목표로 하는 연구는 불허.
2. 보안: 보안 취약점을 노출하거나 사고를 일으킬 위험 고려. 보안 위험을 줄일 수 있는 방법을 권장하고 구체적인 조치 제시.
3. 차별: 의료, 교육, 신용평가 등 차별, 배제 또는 기타 부정적인 영향을 미치는 데 사용되지는 않을지 고려.
4. 감시: 대량의 감시 데이터를 수집·분석하기 전에 현지 법률 참조. 개인이 속한 사회적 범주를 예측하거나 개인의 안녕을 위협하는 방식으로 사용해서는 안 됨.
5. 기만 및 괴롭힘: 절도, 사기, 괴롭힘 등의 피해를 유발하지는 않는지, 공인을 사칭하여 정치적 영향을 미치거나, 혐오 발언 및 학대를 조장하지는 않는지 고려.
6. 환경: 화석 연료 사용을 촉진하거나 사회적 소비를 증가시켜 상당한 양의 온실가스를 배출하는 등 환경에 부정적인 영향을 미치지는 않는지 고려.
7. 인권: 프라이버시, 표현의 자유, 건강, 안보, 인격권, 양심 또는 종교의 자유 등 권리를 부정하는 데 사용될 수 있는 연구 결과물의 배포는 절대 권장하지 않음.
8. 편견과 공정성: AI 모델의 성능 또는 데이터셋에 편견 또는 한계가 있지는 않은지 고려. 특정 성별, 인종, 성 정체성 또는 기타 사회적 약자에 대한 편견을 강화하지는 않는지 확인.

유해성 완화

1. 데이터 및 모델 문서화: 데이터셋 또는 모델의 세부 사항을 문서로 구조화.
2. 데이터 및 모델 라이선스: 데이터셋 또는 모델의 오남용을 방지하기 위해 제한 사항을 포함한 라이센스 제공.
3. 개인정보보호: 개인정보보호 프로토콜, 암호화 및 익명화를 활용하여 데이터 유출 또는 도난 위험 최소화. 민감정보(예: 생체 인식 또는 의료 데이터)는 더 강력한 조치 필요.
4. 공개 책임성: 오용 위험이 높은 모델은 사용자가 행동 강령을 준수하도록 하는 등 통제된 환경에서 모델을 사용하도록 안전장치를 마련한 후 공개.
5. 연구 접근성: 연구 결과를 이해하는 데 필요한 정보(코드, 환경 버전, 가중치, 시스템의 하이퍼 파라미터 등)에 접근할 수 있도록 공개.
6. 재현을 위한 필수 요소 공개: 코드, 데이터, 모델 가중치 및 제안된 모델을 훈련하거나 결과 검증하는 데 필요한 계산 리소스 등 결과 재현에 충분한 정보 첨부.
7. 법률 준수: 지식재산권, 표현의 자유, 근로 및 교육권 신체적 자유 등 지역의 법률 요건 확인. 만약 법률이 오히려 인권 침해의 요소가 있는 경우, 연구자는 추가 자료 제출.

• 🤔 어쪈: 작년 서울에서 열린 FAccT(사회기술시스템의 공정성, 책무성, 투명성 연구 학회)에서는 NeurIPS가 2020년에 논문 제출시 요구했던 영향진술서(impact statement)를 분석한 연구가 발표되기도 했어요!

윤리와 지속가능성을 중심으로 AI 모델, 데이터셋, 시스템의 환경·사회적 영향을 평가하는 연구자. 허깅페이스 소속.

AI의 환경 비용 측정하기

루치오니는 AI 모델의 탄소배출량을 측정하고, 배출량에 영향을 주는 요소를 파악하는 연구를 꾸준히 해오고 있음.

BLOOM 언어모델의 탄소배출량 예측한 논문(2022)에서, 학습 과정 중 이산화탄소 배출량을 25톤으로 계산 (GPT-3는 500톤으로 추정. 한국인 1인당 연간 배출량은 약 12톤)

• 학습뿐만 아니라 GPU 및 서버 생산에서 확인되는 탄소배출, 인프라 전력 소모, 에너지원별 전력 효율, API 배포 등까지 고려하면 BLOOM의 이산화탄소 배출량은 50톤
• 원자재 추출~폐기를 아우르는 제품의 전 생애주기에서, 관련 정보를 파악할 수 있는 장비생산-모델학습-모델배포 과정에 집중

2023년 논문에서는 유사한 방법론을 언어모델 말고도 다양한 종류의 모델에 적용하고, ‘에너지를 많이 사용하면 모델 성능이 개선되는가?’라는 질문을 던짐.

(🚨 스포일러 주의! 개선된다고 보기 어렵다)

더 읽어보기

🔗 루치오니의 연구를 인용한 AI 모델 에너지 사용 관련 보도

🔗 거대 데이터셋·시스템 편향 탐구: 스테이블 디퓨전 같은 텍스트 기반 이미지 생성 시스템에 구현된 사회적 편향을 양적으로 분석하는 연구 진행. 프롬프트에 따른 생성 이미지의 편향을 직접 탐색할 수 있는 툴 제작

🔗 '위험한 인공지능 연구를 중단하자'는 공개서한 반박: 미래 인공지능의 실패를 상상하기보다 현재 인공지능의 성공을 정의하는 것이 중요하며 입법, 감사(audit) 등을 통해 투명성과 책임을 확보할 필요성 강조

🔗 위에서 언급한 NeurIPS 윤리 가이드라인 제정을 공동으로 주도하기도 함!