2026년 4월, 인공지능 코딩 에이전트가 한 회사의 운영 데이터베이스 전체를 10초도 안 되는 시간에 삭제했습니다. 이유를 묻자, 에이전트는 검증 없이 추측에 따라 삭제했다고 시인했습니다.
이 이야기는 걱정스럽게 들리지만, 사실 우리가 배울 점이 많습니다. 특히 에이전트가 오작동한 것이 아니라는 점이죠. 에이전트는 스테이징 환경을 정리하라는 요청을 받았고, 관련 없는 파일에서 잊혀진 API 토큰을 발견해서 사용했습니다. 그 토큰은 마스터 키처럼 작동했기 때문에, 단 한 번의 잘못된 추측이 프로덕션 환경에까지 영향을 미쳤고, 그 결과는 모두가 아는 바와 같습니다. 아니, 적어도 그렇게 될 것입니다.
그리고그의 ~이 아니다. 단발적인 사건입니다. 저는 최근에 기회가 있었습니다. 수잔 세노프와 이야기해 보세요 우리에 팟 캐스트, 신원 해독, 그리고 그녀는 한 요원이 배신하여 위협 행위자처럼 행동했던 비슷한 사례를 공유했습니다.그 임무를 완수하다.
그러니까, 해당 에이전트가 악의적으로 행동했거나 잘못된 판단을 내린 것은 아닙니다. 단지 너무 많은 정보에 접근했을 뿐이고, 이것이 바로 신원 확인 문제입니다. 하지만 저는 근거 없는 소문이나 불확실성을 좋아하지 않기 때문에, 기업들이 지금부터라도 이 문제를 해결하기 시작할 수 있다는 점을 알려드리고 싶습니다.
최근 CNBC Explains와의 인터뷰에서 AI 에이전트의 위험성 증가(그리고 이에 대한 대응 방안)에 대해 이야기를 나눴습니다. 전체 인터뷰 영상은 여기에서 시청하실 수 있으며, 아래 내용을 읽어보시면 방금 논의한 사례와 같은 문제에 어떻게 선제적으로 대응할 수 있을지 알 수 있습니다.
상담원에게는 고유한 신원이 있으므로 디지털 작업자처럼 온보딩해야 합니다.
신입 사원은 업무에 필요한 신원 정보, 관리자, 그리고 접근 권한을 부여받습니다. AI 에이전트도 마찬가지입니다. 에이전트는 인증을 받고, 자격 증명을 보유하며, 사람의 감독, 소유권 또는 지침 없이 시스템 내부(그리고 때로는 외부)에서 작동합니다. 에이전트가 오류를 범했을 때, 초기 법률적 관점에서도 같은 결론이 나옵니다. 즉, 에이전트를 배포한 기업이 그 결과에 대한 책임을 져야 한다는 것입니다.
모든 AI 에이전트의 접근 권한은 인간과 동일한 수준의 엄격함으로 관리되어야 합니다. 에이전트를 설계할 때는 "이 에이전트가 오류를 범했을 때 어떤 결과를 초래할 수 있을까?"라는 질문을 습관적으로 던져야 합니다.
최적의 방법들이 곧 나올 예정이지만, 그동안 여러분이 할 수 있는 일들을 알려드리겠습니다.
전체적인 관점에서 볼 때, 에이전트는 상당히 새로운 개념이기 때문에 에이전트(그리고 우리 비즈니스)를 어떻게 보호해야 할지 아직 완전히 확신하는 사람이 없습니다. 저는 이러한 상황이 많은 신원 및 보안 팀에 영향을 미치는 것을 목격했습니다. 이들은 오랜 시간 검증된 모범 사례 없이 에이전트 보안 접근 방식을 선택하는 데 주저하고 있습니다.
이로 인해 일종의 분석 마비 현상이 발생합니다. 상담원에게 고유한 신원과 자격 증명을 부여해야 할까요, 아니면 부여하지 말아야 할까요? 검증된 접근 방식을 기다려야 할까요, 아니면 점점 더 많은 기업이 상담원을 도입함에 따라 위험이 커지는 지금 당장 조치를 취해야 할까요?
저는 ~을 굳게 믿습니다. 위험 관리의 달인 완벽함보다는 발전을 추구해야 합니다. 최고의 사례나 사고 발생을 기다리지 않고도 상담원을 이해하고, 위험을 줄이며, 성숙도를 높이는 데 도움이 되는 다섯 가지 단계를 오늘 바로 실천해 보세요.
#1: 담당 에이전트를 찾으세요. 네, 모든 에이전트를 다 찾아야 합니다.
팀에서 직접 설정한 에이전트를 포함하여 환경에서 실행 중인 에이전트와 각 에이전트가 사용하는 자격 증명 및 액세스 권한을 파악하세요. 예상치 못한 결과가 나올 수 있습니다(조사의 목적이 바로 그것입니다). 특히 여러 에이전트 플랫폼을 실험하고 있는 경우 예상보다 훨씬 많은 것을 발견하게 될 것입니다.
보호를 시작하기 전에 모든 곤충을 다 찾을 필요는 없지만(자세한 내용은 팁 #5를 참조하세요), 최대한 모두 잡는 것을 목표로 하세요!
#2: 각 에이전트에 고유한 정체성과 인간 소유자를 부여하십시오.
공유 토큰이나 개발자 접근 권한은 허용되지 않습니다. 모든 에이전트는 고유한 ID와 책임 있는 담당자를 통해 추적되어야 하므로, 누구에게 문의해야 하는지, 어떤 기능을 비활성화해야 하는지, 그리고 어떻게 관리해야 하는지 명확히 알 수 있습니다.
#3: 각 에이전트가 접근할 수 있는 범위를 제한합니다.
최소 권한 원칙을 제대로 적용하세요. 에이전트가 절대 접근해서는 안 되는 시스템(예: 결제 시스템, 규제 시스템, 고객 데이터베이스 등)부터 시작하여 자격 증명 범위를 엄격하게 설정하고 기존 권한을 확인하세요. 잊어버린 토큰을 찾아내고, 에이전트가 운영 환경이 아닌 복사본에서 작업하도록 하며, 백업 파일은 접근이 어려운 곳에 보관하세요. 프롬프트의 지시는 요청이지만, 액세스 정책은 제어 수단이며, 이러한 유형의 사고를 방지하는 데 효과적입니다.
조각
선의를 가진 인공지능 에이전트가 폭주하면 어떻게 될까요?
CISO의 이야기를 들어보세요: 승인된 AI 에이전트가 Conga의 가장 중요한 데이터베이스 중 하나에서 위협 행위자처럼 행동하기 시작했을 때, Susanne Senoff의 팀은 신속하게 대응해야 했습니다. Identity Decoded에서 무슨 일이 있었는지, 그리고 그녀가 왜 에이전트를 십대처럼 대하는지 들어보세요.
#4: 런타임에 에이전트를 제어하고 빠르고 호기심 많은 사용자를 위해 환경을 준비하세요.
보호에는 양면성이 있으며, 둘 다 필요합니다.
첫 번째는 에이전트가 무엇을 하는지, 그리고 어떻게 하는지를 제어하는 것입니다. 유효한 자격 증명이 있다고 해서 해당 행위가 옳다는 것을 보장하는 것은 아니므로, 접근 요청이 들어오는 순간 각 요청을 확인할 수 있어야 합니다. 해당 요청이 비정상적이거나 위험하거나 상담원의 평소 행동과 다른지 판단해야 합니다. 접근 권한을 부여하기 전에 이러한 질문에 즉시 답할 수 있다면 정책이 보호 수단으로 작용하여 상담원이 권한을 남용하는 것을 방지할 수 있습니다.
두 번째는 빠르고 호기심 많은 것들에 맞춰 환경을 조성하는 것입니다. 가장 중요한 시스템은 알려진 사용자와 사용 패턴에 따라서만 접근할 수 있도록 제한하십시오. 플랫폼 설계 및 거버넌스에 이를 반영하여 모든 신규 계정에 제한 사항과 승인된 사용 사례가 적용되도록 하십시오. 이렇게 하면 아직 검증되지 않은 에이전트조차도 허용되지 않는 영역에 접근할 가능성이 훨씬 줄어듭니다.
#5: 작업이 완료될 때까지 기다리지 말고 즉시 단속에 나서세요.
다시 한번 말씀드리겠습니다. 완벽함보다는 진전이 중요합니다. 완벽한 인벤토리, 완벽한 소유권 지도, 그리고 모든 정리 작업을 마칠 때까지 기다렸다가 악의적이거나 과도한 권한을 가진 요원들에 대한 노출을 줄이는 것은 결코 도움이 되지 않습니다. 오히려 골칫거리와 끝없이 이어지는 할 일 목록만 남게 될 뿐입니다.
따라서 현재 설정이나 기술 부채와 관계없이 모든 신원(인간, 비인간, AI)에 런타임 안전장치를 마련할 것을 제안합니다. 최악의 시나리오부터 차단하는 것부터 시작하여 차근차근 진행하세요. 이렇게 하면 문제를 해결하는 동안 접근 권한을 효과적으로 관리할 수 있어, 할 일 목록이 모두 완료된 후가 아니라 지금 당장 위험을 줄일 수 있습니다.
더 알아보기
기존 시스템에도 불구하고 보안을 유지하세요: IAM 리더를 위한 신원 위험 관리 가이드
기술적 부채에도 불구하고 보안을 확보하는 방법과 신원 도용 위험을 관리하는 방법에 대한 제 블로그 글을 확인해 보세요.
결론
AI 에이전트의 오류를 방지하는 첫걸음은 의도가 아니라 접근 권한에 있습니다. 에이전트를 찾아내고, 각 에이전트에 고유한 ID와 소유자를 부여하고, 접근 권한을 제한하면 위험을 줄이고 비즈니스에 가장 중요한 가치를 지키는 데 도움이 될 것입니다.
실제로 어떻게 작동하는지 보고 싶으신가요? 방법을 알아보십시오 Silverfort 런타임 시 에이전트를 검색, 제어 및 보호하는 데 도움이 됩니다.
손목 시계 CNBC Explains의 이 영상 실제 사건의 경우, 문제가 발생했을 때 누가 책임을 져야 하는지, 그리고 요원을 어떻게 안전하게 배치해야 하는지에 대한 문제입니다.
