엔비디아는 최근 AI 기반 애플리케이션에 대한 공격이 어떻게 전개되는지 보여주는 강력한 프레임워크인 "AI 킬 체인"을 발표했습니다. 이는 점점 더 혼란스러워지는 보안 영역에 체계를 구축하려는 가장 명확한 시도 중 하나입니다. 이 프레임워크는 공격자가 정찰 및 데이터 포이즈닝에서 악용 및 지휘통제(C&C)로 어떻게 이동하는지 보여주며, 보안 팀에 AI 관련 위협을 이해하는 데 필요한 공통 언어를 제공합니다.
이 모델의 가치는 기존 사이버 보안에서 보았던 성숙도 곡선을 그대로 반영한다는 점입니다. 공격자의 사고방식을 모델링하는 방법을 배우면, 대응보다는 예측을 기반으로 방어 체계를 설계할 수 있습니다. 하지만 AI 시스템은 수동 모델에서 자율 에이전트로 진화합니다., 우리는 새로운 문제에 직면하고 있습니다. 이러한 에이전트들은 자격 증명을 소지하고, 민감한 리소스에 접근하며, 사용자를 대신하여 행동합니다. 하지만 그들의 행동은 인간보다 훨씬 예측하기 어렵습니다. 그렇기 때문에 신원 확인이 핵심입니다. 에이전트가 무엇을 할 수 있는지뿐만 아니라, 누구의 권한으로 행동하는지가 중요합니다.
시스템에서 행위자로의 전환
기존 아키텍처에서는 시스템이 입력을 처리하지만, AI 기반 환경에서는 시스템이 동작합니다.
AI 에이전트는 데이터베이스를 쿼리하고, 메시지를 전송하고, 워크플로를 트리거하고, 때로는 정책 결정을 내립니다. 사실상 이들은 기업 내 새로운 행위자입니다. 각 에이전트는 자격 증명, 권한 및 행동 패턴을 포함하는 ID로 작동합니다.
이러한 정체성은 AI 시스템을 모델에서 에이전트로 전환합니다. 그리고 인간 사용자나 서비스 계정이러한 신원은 탈취되거나, 과도한 권한이 부여되거나, 감시되지 않을 수 있습니다. 이는 킬 체인의 모든 단계를 해석하는 방식을 변화시킵니다.
정찰 단순히 시스템을 매핑하는 것이 아닙니다. 어떤 주체가 존재하는지, 그들이 무엇에 접근할 수 있는지, 그리고 그들이 누구를 대표하는지 알아내는 것입니다.
착취 공격자가 에이전트의 논리를 조작하여 불법적인 의도로 합법적인 작업을 수행할 때 발생합니다.
명령 및 제어 원격 접근에서 위임된 제어로 전환하여 에이전트의 신뢰할 수 있는 ID를 사용하여 환경 내에서 눈에 띄지 않게 작동합니다.
AI 공격을 정체성이라는 렌즈를 통해 바라보는 순간, 문제는 달라집니다. "모델을 어떻게 보호할 것인가?"라는 질문 대신 "모델이 어떤 역할을 하는지 어떻게 통제할 것인가?"라는 질문을 던져야 합니다.
진행 중인 시나리오
송장 조정을 위해 개발된 금융 AI 비서를 상상해 보세요. 결제 시스템과 통합되어 있으며, 소액 거래를 자동으로 승인할 수 있는 자격 증명이 제공됩니다. 악의적인 프롬프트가 "소액"을 정의하는 로직을 미묘하게 변경하고, 에이전트는 허용된 권한 내에서 더 큰 금액의 이체를 승인하기 시작합니다.
이상 탐지가 이를 표시하는 것은 아닙니다. 기술적으로 정책을 위반하는 것이 없기 때문입니다. 침해는 모델 오류에서 비롯된 것이 아니라 신원 오용에서 비롯됩니다. 시스템은 허용된 작업을 정확히 수행했지만, 잘못된 판단을 내렸습니다.
이것이 바로 AI 킬 체인 전반에서 신원이 결합 조직이 되는 지점입니다. 각 단계(정찰, 활용, 통제)는 누가 또는 무엇이 행동하는지, 누구의 권한 하에, 어떤 경계 내에서 행동하는지에 대한 가시성에 따라 달라집니다.
킬 체인을 신뢰 체인으로 전환
ID 보안은 AI 방어에 직접 매핑되는 분야를 제공합니다. 즉, 최소 권한, 지속적 인증행동 기준선, 그리고 추적 가능한 속성. 이 세 가지가 결합되어 사후 대응적 통제를 사전 예방적 보장으로 전환합니다. 저는 이를 AI의 신뢰 사슬이라고 부르고 싶습니다.
해당 체인에서:
- 모든 행동에는 맥락이 있습니다. 누가 시작했는지, 누구를 대신하여 시작했는지, 어떤 범위 내에서 시작했는지 등입니다.
- 예상 동작과의 모든 편차는 관찰, 감사 및 관리될 수 있습니다.
AI 킬 체인과 같은 수명 주기 기반 모델을 신원 인식 제어와 연결함으로써 공격이 전개되는 방식과 공격 전개를 가능하게 하는 사람 간의 루프를 완성하기 시작합니다.
기대
시간이 지남에 따라 신원 정보는 AI 거버넌스의 구성 계층이 될 것입니다. 과거에 인간 사용자의 액세스 관리를 중앙 집중화했던 것처럼, 우리는 곧 AI 에이전트에 대해서도 같은 작업을 할 것입니다.우리는 기업 내 모든 디지털 행위자를 정의, 모니터링하고 인증할 것입니다.
AI 킬 체인은 적의 움직임을 파악하는 데 도움이 됩니다.
정체성은 그들이 누구를 통해 움직이는지 알려줍니다.
이 두 가지 관점을 하나로 모으는 것이 AI를 불투명한 시스템에서 신뢰할 수 있는 시스템으로 전환하는 방법입니다. 혁신을 늦추는 것이 아니라, 책임 소재를 확장 가능하게 만드는 것입니다.
실제로 어떻게 보이는지 보고 싶으신가요? GTG-1002의 분해최초로 문서화된 사이버 공격 캠페인과 방어자에게 미치는 영향에 대해 설명합니다.