AI 에이전트의 해킹 사례로 살펴본 AI, 그리고 AI를 대하는 우리의 자세

security

6 분 읽기

SERIES OpenAI Hugging Face 해킹 사건 10 / 10 시리즈 전체 보기 →

OpenAI Hugging Face 해킹 사건 시리즈 회고

1. Intro

OpenAI의 AI 에이전트들이 Hugging Face를 해킹했다는 소식을 접하고, 이번 시리즈를 작성하기 시작했다.

처음에는 단순히 사건의 전체적인 흐름을 파악하고, 어떤 취약점들이 이용되었는지 대략적으로 알아보고자 시작한 일이었다. 하지만 사건을 파고들수록 흥미로운 부분들이 많았고, 하나의 글로 정리하기에는 내용이 방대해 결국 시리즈로 작성하게 되었다.

이번 시리즈는 SSRF, TOCTOU, SSTI와 같은 보안 취약점들의 개념을 이해하고, 직접 실습하면서 그 동작 원리와 방어 방법을 공부해볼 수 있는 좋은 기회였다. 무엇보다 AI 에이전트들이 여러 단계에 걸쳐 복잡하고 다양한 취약점들을 연계하여 공격할 수 있다는 점, 그리고 이러한 AI의 능력에 대응하기 위한 보안 대책이 필요하다는 점을 깨달은 것이 가장 큰 수확이었다고 생각한다.

이번 글에서는 지금까지 살펴본 OpenAI Hugging Face 해킹 사건을 다시 한번 되짚어보고, 사건을 조사하고 포스팅을 작성하면서 느꼈던 점들을 정리하며 시리즈를 마무리하고자 한다.

2. AI 에이전트들이 해킹을 하게 된 계기

  • AI 에이전트들이 해킹을 수행한 건 악의적인 목적에 의해서가 아님
  • 문제를 풀기 위해, 이에 대한 힌트를 얻고자 인터넷에 접근하고자 한 것이 해킹의 발단

이번 사건을 접하면서 AI에 대한 막연한 두려움을 느끼는 사람들도 있을 것 같다. AI가 스스로의 목적을 위해 시스템을 파괴하거나, 심지어 사람들에게 위협을 가할 수도 있다는 생각이 들 수 있기 때문이다.

하지만 이번 사건에서 AI 에이전트들이 해킹을 수행한 것은 악의적인 목적 때문이 아니었다. 에이전트들은 단지 주어진 문제를 해결하고자 했을 뿐이었다. 다만, 자신들의 능력과 주어진 환경만으로는 해결하기 어려운 문제에 직면했고, 이를 해결하기 위해 외부 인터넷에 접근할 방법을 모색하기 시작했다. 이러한 시도가 결국 해킹으로 이어지게 된 것이다.

그렇다고 해서 AI 에이전트들이 보안 측면에서 위협적이지 않다는 이야기는 아니다. 오히려 이번 사건은 AI 에이전트들의 뛰어난 사이버 공격 능력을 보여준 사례라고 생각한다.

이러한 능력을 좋은 목적으로 활용할 수도 있겠지만, 악의적인 목적을 가진 사람이 이용한다면 그 파괴력은 상당할 것이다. 더 나아가, 뛰어난 AI 기술을 누가 보유하고 통제하느냐가 새로운 형태의 권력이 될 수도 있다고 생각한다. AI 기술 자체가 정치적·군사적 수단으로 활용될 가능성도 충분히 있어 보인다.

3. AI 에이전트들 간의 협업

  • AI 에이전트들은 비공식 커뮤니티를 만들고 서로 소통하기 시작함
  • 나아가, 에이전트 자신의 목적 달성에 직접적인 이득이 ㅇ벗더라도, 에이전트 집단의 목표를 위해 협력함
  • 하지만 점점 본래 목적인 문제 해결과는 다른 쪽으로도 진행되며 맹목적으로 보이는 지점도 보임

이번 사건에서 개인적으로 가장 흥미로웠던 부분이 바로 AI 에이전트들 간의 협업이다.

에이전트들은 Artifactory를 자신들의 비공식 통신 채널로 활용하면서 정보를 공유하고, 분업을 하고 상황을 공유했다. 이 점도 놀라웠는데, 가장 흥미로웠던 것은 자신의 목표 달성에 직접적인 도움이 되지 않더라도, 에이전트 집단의 목표를 위해 협력하는 모습을 보였다는 점이다.

다만, 이러한 집단을 위핸 행동이 때로는 맹목적으로 보이는 지점도 있었다. 에이전트들은 이미 외부 인터넷에 접근할 수 있는 상황임에도 OpenAI의 훈련 인프라 전반에 대해 장악을 진행했다. 이러한 행동이 에이전트들이 문제를 해결하는 데 어떤 이득이 있었는지는 모르지만, 이게 본래의 “문제풀이”라는 목표에 부합하는 행동인지에 대해서는 의문이 든다.

4. AI의 복합적인 취약점 이용 능력

  • 이번 사건은 AI의 뛰어난 사이버 공격 능력을 보여준 사례임
  • 기존에 알려진 취약점 뿐만 아니라, 사람의 실수로 인한 취약점을 이용하고, 신규 취약점을 도출하고 조합함
  • 복합적이고 복잡한 사이버 공격이 가능함

이번 사건은 AI의 뛰어난 사이버 공격 능력을 보여준 사례이다.

AI 에이전트들은 이번에 SSRF, TOCTOU, SSTI와 같이 이미 알려진 취약점들과 함께, Hugging Face 데이터셋 오염 공격과 같은 새로운 접근 방식을 보여주었다. 그러면서 이러한 취약점들을 단순히 그냥 사용하지 않고, 복합적으로 연계해서 사용했다는 점이 특히 놀라운 지점이었다.

더불어 Textbin과 같은 공개된 공간에 사람이 실수로 업로드한 것으로 추정되는 인증정보(Credential)를 찾아내어 활용하기도 했다. 이는 단순히 기술적인 취약점을 이용하는 것을 넘어, 사람의 실수로 발생한 보안상의 허점까지 공격에 활용할 수 있다는 것을 보여준다.

결국 이번 사건을 통해 AI 에이전트들이 기존에 알려진 취약점들을 조합하는 능력뿐만 아니라, 시스템의 동작 원리를 분석해 새로운 공격 경로를 찾아내고, 사람의 실수까지 활용하는 폭넓은 공격 능력을 갖추고 있다는 점을 알 수 있었다.

5. 보안을 위한 행동방침

  • 기본적이고 교과서적인 보안 원칙들을 지키는 것이 중요
  • 또한 AI의 취약점 발굴 능력과 연계 능력에 대응한 자율형, 자동화된 방어 루프 구축이 필요

하지만 이번 해킹을 “막지 못할 대재앙이었나?”라고 묻는다면, 그렇지 않다고 생각한다.

실제 번 사건에서 이용된 취약점들을 살펴보면, 상당수는 이미 알려진 기본적인 보안 원칙들을 통해 예방하거나 피해를 줄일 수 있었다. 민감한 인증정보를 아무데나 업로드하지 않고, 서버가 클라이언트의 요청을 검증한 뒤 처리하며, 템플릿을 사용할 때에는 데이터와 템플릿을 분리하는 것 등이 대표적이다.

에이전트들이 아무리 화려한 지능을 뽐낸다 한들, 결국 녀석들도 시스템 네트워크 안에서 움직이는 패킷에 불과하며, 자신이 탈취한 OS 권한 등급하고 방화벽이 허용한 물리적 통신 경로(Privileges & Communication paths)라는 거대한 물리 법칙의 감옥에 속속 박혀 있는 존재들입니다. 네트워크의 철저한 세분화 격리(Segmentation), 엄격한 최소 권한의 법칙(Least Privilege)과 같은 기초적인 보안은 그 어느 때보다 지금 이 시대에 가장 핵심적이고 든든한 방패 역할을 수행합니다.

  • BlackHat 에서 이번 사건을 발표한 OpenAI 엔지니어의 말 중

OpenAI 연구원들 역시 네트워크의 세분화와 격리(Segmentation), 최소 권한 원칙(Least Privilege)과 같은 기초적인 보안이 AI 에이전트의 공격에 대응하는 핵심적인 방어 수단이라고 강조했다.

우리는 보안의 모든 전 과정(Full Loop)을 한 치의 오차도 없이 일사천리로 관통하는 완전 자율형 방어 자동화 루프(Fully Automated Defensive Loops)를 완성해야만 합니다.

  • BlackHat 에서 이번 사건을 발표한 OpenAI 엔지니어의 말 중

더불어, AI가 스스로 취약점을 발견하고 여러 공격 방법을 연계할 수 있다는 점을 고려하면, 기존의 방어 체계만으로는 부족하기도 하다. OpenAI 엔지니어들은 AI의 사이버 공격에 대응하기 위해 취약점 발견부터 분석, 대응, 검증까지의 과정을 자동화하는 완전 자율형 방어 자동화 루프(Fully Automated Defensive Loops)의 필요성도 제시했다.

앞으로의 보안은 기본적인 보안 원칙을 철저히 지키는 동시에, AI를 활용해 더욱 빠르고 능동적으로 위협에 대응할 수 있는 체계를 갖추는 방향으로 발전해야 한다는 것이다.

6. 기술적으로 배운 것들

  • SSRF, TOCTOU, SSTI와 같은 보안 취약점의 개념과 작동 원리
  • 취약한 지점이 있는 기능을 주요 기능으로 내세우는 곳 뿐만 아니라, 그걸 이용하는 다른 지점도 확인 필수

이번 시리즈를 작성하면서 상당히 많은 것을 배울 수 있었다.

SSRF, TOCTOU, SSTI와 같은 보안 취약점들을 처음 접해보며 이러한 취약점들의 개념과 원리를 공부했고, 가능한 범위 내에서 직접 코드를 작성해 재현하면서 그 동작 방식과 방어 방법까지 이해해볼 수 있었다.

특히 가장 많은 시간을 들였던 것은 마지막에 다룬 SSTI였다. 일반적인 웹 애플리케이션이 아니라, 파일 시스템을 다루는 fsspec 라이브러리의 기능, 그 중에서도 주요 기능이 아닌 깊숙한 곳의 취약점이 공격에 이용되었다는 점이 놀라웠다. 이 때문인지 이해하는 데에도 많은 시간이 걸렸다. 처음에는 fsspec과 Jinja 템플릿이 어떤 관계가 있는지조차 이해하기 어려웠지만, 관련 소스코드를 분석하고 취약점을 재현해보며 그 원리를 이해할 수 있었다.

또한 개별 취약점의 일반적인 동작 원리를 이해하는 것과, 실제로 취약점을 찾아내고 이를 하나의 공격으로 연결하는 것은 전혀 다른 문제라는 점도 느꼈다. 앞으로 시스템을 설계하고 개발할 때에도 이러한 관점을 좀 더 신경 써야겠다는 생각이 든다.

7. AI 에이전트의 가능성과 위험성

이번 사건을 살펴보면서 AI의 발전 가능성과, 함께 수반되는 위험의 증대에 대해서도 고민하게 되었다.

불과 2년 전만 해도 AI는 단순히 질문에 답변하거나 코드를 작성하는 수준이었다. 하지만 최근에는 그러한 수준을 넘어, 스스로 계획을 세우고 도구를 활용해 복잡한 작업을 수행할 수 있게 발전하고 있다. 이러한 AI의 발전은 생산성 향상의 관점에서는 당연히 반가운 변화이나, 다른 한 편에서는 이러한 능력이 악의적인 목적으로 이용되었을 경우가 걱정된다.

더불어, 악의적인 목적이 아니더라도 AI 에이전트가 목표를 달성하는 과정에서, 사용자가 의도하지 않은 행동을 할 수도 있다는 점도 보여주었다. 에이전트들에게 주어진 목표는 문제 해결이었지만, 그 과정에서 취약점을 이용해 시스템을 장악하는 행동까지 이어졌다.

어느 한 유튜버가 한 말이 기억난다. 현대 사회는 과거와 달리 과정 중심이 아닌 결과 중심의 사회로 가고 있다. 이러한 분위기에서 AI를 무분별하게 이용하는 것을 특히나 경계해야 한다. “결과만 나오면 됐지”라는 사고방식은 스스로를 위협할 수도 있다. 우리는 AI가 내어주는 결과만을 받아보는 게 아니라, AI가 어떠한 경로를 통해 주어진 문제를 해결했는지, 그리고 그 과정에서 문제가 없었는지를 살펴야 한다. 즉, AI는 도구이고 그것을 사용하고 휘두르는 것은 우리라는 점을 명심해야 할 것이다.

Exploit Gym 논문도 같은 관점에서 바라보고 있다고 생각한다. Exploit Gym에서는 AI의 사이버 공격 능력 측정을 위해 플래그 획득 문제를 내어준다. 하지만 AI 에이전트가 플래그를 획득했다고 해서 무조건 정답으로 처리하지는 않는다. AI 판사를 도입하여 문제를 푼 AI가 과연 의도한 취약점을 정상적으로 이용해서 플래그를 획득한 것인지를 판별하는 것이다.

그렇다고 AI 에이전트의 자율성을 무조건 제한하는 것이 정답은 아닐 것이다. 빠르게 스스로 문제를 분석하고 새로운 해결 방법을 찾아내는 능력 자체가 AI 에이전트의 가장 큰 장점이며, 우리가 AI를 이용하는 이유이기 때문이다.

결국 중요한 것은 AI의 능력을 충분히 활용하면서도, 안전하게 통제하고 관리할 수 있도록 하는 것이라고 생각한다.

8. 마치며

처음 이 시리즈를 작성할 때에는 이렇게 오래 걸릴 것이라고 생각하지 못했다. 몇 가지 취약점에 대한 지식을 늘리고, 이번 사건의 타임라인을 파악하는 정도로 접근을 했다.

하지만 사건을 보면 볼 수록 흥미로웠고, 깊게 파면서 기대했던 것보다 더 많은 지식을 얻을 수 있었다. 더불어, AI에 대한 고찰도 해볼 수 있는 귀중한 기회가 되었다.

앞으로도 AI는 발전할 것이다. 그 흐름 속에서 우리는, 그리고 나는 어떠한 자세를 가지고 AI를 대해야 하는지에 대해 앞으로도 지속적으로 고민해야 할 것이다. 그리고 주변 사람들과 다양한 관점을 나누면서, AI를 “잘 활용하는” 현명함을 갖추어야 할 것이다.

이번 시리즈를 통해 얻은 게 많아 개인적으로 상당히 뜻깊은 시간이었다.

이것으로 OpenAI Hugging Face 해킹 사건에 대한 포스팅 시리즈를 마친다.

// reading compass

이 글과 이어지는 경로

시리즈, 카테고리, 태그 겹침, 최신도를 점수화해 가까운 글일수록 중심에 배치합니다.

hover nodes or cards · click a node to pin
Next reads 0

    댓글 남기기

    이런 글은 어떠세요