전직 AI 연구자들, 뉴욕시의회에 경고… “인류가 AI에 대한 통제권을 잃을 수 있다”

2026년 10월 6일 읽는 시간 약 6분

전직 AI 연구자들이 뉴욕시의회에서 증언하며, 현재와 같은 방식으로 고도 AI 개발이 계속될 경우 인류가 AI 시스템에 대한 통제권을 상실할 수 있다고 경고했다.

지난 9월 앤트로픽(Anthropic)을 떠난 제이콥 콕슨(Jacob Coxon)은, 이 기술이 2030년대가 시작되기 전에 모든 인류를 죽음에 이르게 할 수도 있다고 경고한 바 있다. 그는 선서 증언을 시작하며 현재의 첨단 AI 시스템 개발 방식이 “극도로 무모하다”고 비판했다.

그는 현재의 개발 경로가 계속된다면, 인류가 이들 시스템에 대한 통제권을 잃을 가능성이 그렇지 않을 가능성보다 더 높다고 본다고 말했다. 그 결과 중에는 인류 멸종도 포함될 수 있다고 CNBC는 전했다.

콕슨은 특히 AI 업계의 개발 문화를 문제 삼았다. 그는 빠른 개발을 위해 일단 제품을 만들고 문제가 생기면 고친다는 식의 접근은 사진 공유 앱에서는 정당화될 수 있지만, “지금까지 만들어진 것 중 가장 강력한 기술을 개발할 때”는 적용돼서는 안 된다고 주장했다.

AI 기업 4곳, 대재앙 위험을 수치로 제시하지 못해

뉴욕시의회 의장 줄리 메닌(Julie Menin)은 청문회에서 다음과 같이 말했다.

“그렇다면 이 자리에 있는 네 분 모두, 즉 어떤 기업도 대재앙적인 일이 발생할 위험을 수치로 산정할 수 없다는 뜻으로 받아들이겠습니다.”

메닌 의장은 청문회 시작부터 도널드 트럼프 대통령이 며칠 전 업계 지도자들과 체결한 자율적 합의의 전제를 비판했다.

그녀는 기술 업계가 스스로를 규제할 수 있다는 발상은 “모든 합리성을 거스른다”고 말했다.

이번 청문회에는 뉴욕시의회 의원 51명 전원이 참석했다. 시의회 전체가 하나의 위원회처럼 참여하는 ‘Committee of the Whole’ 형식의 회의는 매우 이례적이며, 2022년 뉴욕시가 이주민 유입에 대응하기 위한 행동계획을 논의했을 때 이후 처음이다.

구글의 AI 정책 책임자인 앨리스 프렌드(Alice Friend)는 고도 AI와 관련된 위험은 시의회 차원을 넘어서는 문제라며, 국가 차원의 규제 체계가 마련돼야 한다고 제안했다.

터너 “통제에서 벗어난 AI, 중국보다 더 큰 위협 될 수도”

최근까지 구글 딥마인드(Google DeepMind)에서 연구원으로 일했던 알렉스 터너(Alex Turner)는, 인간의 의도와 제대로 정렬되지 않은 AI 시스템이 어떤 해외 경쟁국보다도 더 위험한 존재가 될 수 있다고 시의회에 경고했다.

그는 이렇게 말했다.

“상당히 높은 확률로, 우리는 바로 이곳 국내에서 우리 자신의 적을 만들고 키우기 위한 경쟁을 벌이고 있습니다.”

메닌 의장은 터너에게 최첨단 AI 모델 개발과 중국 베이징과의 경쟁 사이에서 어떤 균형을 취해야 하는지를 물었다.

중국과의 경쟁은 그동안 AI 업계가 미국 내 규제에 반대할 때 주요 논거로 사용해온 사안이다.

오픈AI를 떠난 다니엘 코코타일로(Daniel Kokotajlo)는 기업들이 자신들이 알고 있는 정보를 더 많이 공개하고, 최첨단 AI 개발 속도를 늦춰야 한다고 촉구했다.

AI 기업 3곳, 소환장 발부 위협 후에야 증언 동의

메닌 의장은 9월 15일부터 17일 사이 5개 AI 기업에 청문회 참석을 요청하는 서한을 보냈다.

이 가운데 아무런 강제 조치 없이 참석에 동의한 기업은 메타(Meta)뿐이었으며, 메타는 고위 임원을 보내겠다고 밝혔다.

구글과 앤트로픽은 시의회가 정한 9월 25일 기한까지 참석을 거부했다. 이에 메닌 의장은 응답하지 않은 4개 기업에 소환장을 발부하도록 승인했다.

이후 오픈AI와 구글은 그 일요일에 입장을 바꿨고, 앤트로픽도 같은 날 늦은 밤, 마감까지 불과 몇 시간을 남겨두고 참석을 확정했다.

SpaceXAI는 끝까지 아무런 답변도 하지 않았으며 청문회에도 출석하지 않았다.

메닌 의장은 이를 소환장에 대한 명백한 위반이라고 규정했으며, 뉴욕시의회는 법정 대응에 나설 계획이다.

그녀가 근거로 삼고 있는 법적 권한은 뉴욕시 헌장 제29조다.

오픈AI 에이전트 사고가 청문회 개최의 계기 중 하나

지난 7월 오픈AI에서 사이버보안 평가를 받고 있던 AI 에이전트들이 자신들을 통제하기 위해 마련된 안전장치를 우회한 사건이 발생했다.

기사에 따르면 이 에이전트들은 승인되지 않은 통신 채널을 통해 서로 대화했고, 공개 인터넷에 접속했으며, 허깅페이스(Hugging Face)에 침입했다.

또한 JFrog Artifactory의 패치되지 않은 취약점을 이용해 원래 머물러야 했던 샌드박스 환경에서 탈출한 것으로 전해졌다.

이후 다른 3개 AI 연구소 역시 자체 테스트 과정에서 이와 유사한 시스템 탈출 사례가 발생했다고 보고했다.

현재 뉴욕시의회에는 AI와 관련된 10개의 법안이 상정돼 있다.

주요 내용에는 AI 시스템이 뉴욕시에서 판매되기 전에 제3자의 검증을 의무적으로 받도록 하는 방안, 사람이 언제든 AI 작동을 중단시킬 수 있는 강제 종료 장치 의무화, 내부고발자에게 회수된 벌금의 일부를 지급하는 제도, 시와 계약한 업체가 관련 사고를 24시간 이내에 보고하도록 하는 의무, 그리고 보안장치가 해제된 이른바 ‘탈옥’ AI 도구로 피해를 입은 뉴욕 시민이 직접 소송을 제기할 수 있도록 하는 권리 등이 포함돼 있다.