Holden Karnofsky

Carnegie Endowment for International Peace

2024

공공질서및안전-안전관리, 과학기술-과학기술연구

이 보고서는 인공지능 (AI)과 관련된 위험 완화 방안인 '조건부 공약(if-then commitments)'의 활용을 살펴보고, AI를 이용한 생화학 무기 개발과 같은 재앙적인 위험의 잠재적 가능성에 주목한다. 기업과 정부는 특정 AI 기능이 작동되면 구체적인 위험 완화 조치가 실행되는 방식을 고려해볼 수 있다. AI 개발자들은 자발적으로 이러한 프레임워크를 채택하고 규제 당국과 산업 리더 간의 협력을 촉진해야 한다. 또한, "트립와이어 기능(Tripwire Capabilities)" 개념이 소개되었는데, 이는 특정 AI 기능에 대해 더 강력한 안전 프로토콜을 도입하거나 AI 배포를 중단하는 것을 의미한다. 이외에도 AI 상에서 제한된 시스템을 우회하거나 자유롭게 사용할 수 있게 만드는 행위인 탈옥현상(jailbreak) 문제, 모델 가중치의 안전한 처리 필요성, 국제적 협력의 필요성 등 여전히 많은 과제가 남아 있다. 혁신을 멈추지 않으면서도 미래의 AI 관련 위험을 완화하기 위해 강력하고 시행 가능한 "조건부(if-then)" 공약을 개발하는 것이 필수적이다.

https://carnegie-production-assets.s3.amazonaws.com/static/files/Karnofsky%20-%20AI%2...

미국