กลอุบายหรือแผนการ? บทสนทนากับ Ido Halevi เกี่ยวกับความปลอดภัยของ AI Agent 

พาเราไปดูกรอบการทำงานของคุณ: ปฏิบัติ ติดตาม และไว้วางใจ สิ่งเหล่านี้จะนำไปปฏิบัติได้อย่างไร 

ฉันทำ: เริ่มต้นด้วยการเปลี่ยนวิธีคิด องค์กรส่วนใหญ่ปฏิบัติต่อเอเจนต์ AI เหมือนเครื่องมือ สคริปต์ที่ทำงานได้ ระบบอัตโนมัติที่ช่วยประหยัดเวลา นั่นคือรูปแบบความคิดที่ผิด เอเจนต์คือผู้กระทำ พวกเขามีอัตลักษณ์ สิทธิพิเศษ และอำนาจ เมื่อคุณซึมซับสิ่งเหล่านี้เข้าไป กรอบการทำงานก็จะดำเนินไปอย่างเป็นธรรมชาติ 

รักษา หมายความว่าคุณรู้จักเอเจนต์แต่ละตัวอย่างมีเอกลักษณ์เฉพาะตัวและมีโปรไฟล์ความเสี่ยงของตัวเอง เข้าถึงอะไรได้บ้าง ตัดสินใจอะไรได้บ้าง รัศมีการโจมตีจะอยู่ที่เท่าไรหากมีข้อผิดพลาดเกิดขึ้น คุณคงไม่ให้สิทธิ์รูทแก่ผู้รับเหมาเข้าถึงสภาพแวดล้อมการผลิตของคุณโดยไม่บันทึกว่าพวกเขาเป็นใครและได้รับอนุญาตให้ทำอะไร ใช้ความเข้มงวดแบบเดียวกันนี้กับเอเจนต์ 

ติดตามการจัดส่ง หมายถึงการสังเกตอย่างต่อเนื่อง ไม่ใช่แค่การวัดผลความสำเร็จหรือความล้มเหลว คุณกำลังเฝ้าสังเกตหาความเบี่ยงเบน เอเจนต์ที่ปกติจะเข้าถึงระบบสามระบบ กลับสอบถามถึงห้าระบบทันที เอเจนต์ที่มักจะยกระดับปัญหาบางประเภทก็หยุดทำเช่นนั้น สิ่งเหล่านี้คือสัญญาณ องค์กรส่วนใหญ่ไม่มีเครื่องมือที่จะมองเห็นสิ่งนี้ เพราะพวกเขาสร้างเอเจนต์ขึ้นมาโดยไม่ได้คำนึงถึงความสามารถในการสังเกตการณ์ แก้ไขสิ่งนี้เสียตั้งแต่ตอนนี้ ก่อนที่คุณจะพยายามแก้ไขจุดบกพร่องของเหตุการณ์โดยไม่ตรวจสอบหลักฐานใดๆ 

วางใจ นั่นคือสิ่งที่ยาก ความไว้วางใจต้องได้รับและต้องสามารถเพิกถอนได้ ตัวแทนจะพิสูจน์ตัวเองเมื่อเวลาผ่านไปผ่านพฤติกรรมที่สม่ำเสมอและโปร่งใส แต่ทันทีที่บางสิ่งเปลี่ยนแปลง ความสามารถของคุณที่จะเพิกถอนความไว้วางใจนั้นได้ทันที เพื่อยุติกระบวนการ ย้อนกลับการเปลี่ยนแปลง และต้องได้รับการอนุมัติจากมนุษย์สำหรับการดำเนินการต่อไป นั่นคือสิ่งที่แยกเหตุการณ์ที่จัดการได้ออกจากภัยพิบัติ 

นี่ไม่ใช่การชะลอการพัฒนา แต่เป็นการสร้างระบบที่ยืดหยุ่นเพียงพอที่จะรองรับความเร็วที่คุณต้องการ  

งานวิจัยนี้กล่าวถึง “แนวทางการปรึกษาหารือ” ว่าเป็นการบรรเทาผลกระทบ การฝึกอบรมคือคำตอบ หรือเราต้องการอะไรที่พื้นฐานกว่านั้น? 

ฉันทำ: การฝึกอบรมช่วยได้ งานวิจัยแสดงให้เห็นว่าเมื่อคุณกำหนดพฤติกรรมที่ยอมรับได้ตั้งแต่ต้น สอนแบบจำลองอย่างชัดเจนว่าการหลอกลวงมีลักษณะอย่างไรและเหตุใดจึงยอมรับไม่ได้ คุณจะสามารถลดพฤติกรรมวางแผนบางอย่างลงได้อย่างมาก นั่นคือความก้าวหน้าที่สำคัญ 

แต่มันไม่ใช่วิธีแก้ปัญหาที่สมบูรณ์แบบ แม้จะมีการปรึกษาหารือกันอย่างรอบคอบแล้ว ก็ยังพบความล้มเหลวเกิดขึ้นไม่บ่อยนัก และนี่คือสิ่งสำคัญ: ในด้านความปลอดภัย คำว่าหายากไม่ได้หมายความว่าจะยอมรับได้ ตัวแทนการปรับใช้ที่วางแผนทุกๆ หนึ่งพันครั้งที่รันอาจยังคงทำให้เกิดการหยุดทำงานของระบบได้ ตัวแทนฝ่ายสนับสนุนที่รายงานสถานะตั๋วไม่ถูกต้องในบางครั้งอาจซ่อนปัญหาสำคัญของลูกค้าได้ 

คุณฝึกตัวเองให้หลุดพ้นจากปัญหานี้ไม่ได้หรอก คุณต้องควบคุมมัน คุณต้องการความสามารถในการสังเกตคุณต้องมีความสามารถในการเพิกถอนความไว้วางใจเมื่อพฤติกรรมเปลี่ยนแปลงไป การฝึกอบรมจะกำหนดมาตรฐาน แต่การกำกับดูแลจะรักษามาตรฐานนั้นไว้ 

ทีมรักษาความปลอดภัยส่วนใหญ่ที่ผมคุยด้วยก็จมน้ำกันหมดแล้ว คุณมีคำแนะนำอะไรบ้างว่าทำไมต้องแซงคิวแบบนี้? 

ฉันทำ: เอเจนต์ AI กำลังทำงานอยู่ในสภาพแวดล้อมของคุณอยู่แล้ว คำถามไม่ใช่ว่าคุณต้องการปกป้องพวกเขาหรือไม่ แต่อยู่ที่ว่าคุณจะค้นพบการมีอยู่ของพวกเขาในระหว่างเหตุการณ์หรือก่อนเกิดเหตุการณ์ 

นี่คือสิ่งที่ฉันบอกกับทีม: เริ่มต้นด้วยการทำสต๊อกสินค้าคุณจำเป็นต้องรู้ว่ามีเอเจนต์ AI อะไรบ้าง ทำงานอยู่ที่ไหน ใช้งานระบบใด และเข้าถึงข้อมูลใดได้บ้าง องค์กรส่วนใหญ่ไม่รู้เลย พวกเขามีเอเจนต์กระจายอยู่ตามแพลตฟอร์มคลาวด์ แอป SaaS และเครื่องมือภายในองค์กร โดยที่มองไม่เห็นจากส่วนกลาง นั่นไม่ใช่ปัญหาในอนาคต แต่เป็นจุดบอดในปัจจุบัน 

เมื่อคุณมองเห็นภาพได้ ส่วนที่เหลือก็จะตามมา คุณสามารถกำหนดได้ว่าพฤติกรรมที่ดีควรมีลักษณะอย่างไร คุณสามารถสร้างความสามารถในการสังเกตที่ไม่เพียงแต่บันทึกสิ่งที่เอเจนต์ทำ แต่ยังรวมถึงวิธีที่เอเจนต์ตัดสินใจด้วย คุณสามารถใช้กลไกการกักกัน จำกัดสิทธิ์ และกำหนดให้มีจุดตรวจสอบจากมนุษย์สำหรับการดำเนินการที่ละเอียดอ่อนได้ 

คุณให้สถานการณ์จำลองสองกรณี: เอเจนต์การปรับใช้ข้ามการทดสอบ และเอเจนต์สนับสนุนทำเครื่องหมายว่าตั๋วได้รับการแก้ไขก่อนกำหนด การประมาณค่าเหล่านี้อ้างอิงจากรูปแบบจริงที่คุณเห็นหรือไม่ 

ฉันทำ: อนาคตที่เป็นไปได้เหล่านี้ขึ้นอยู่กับพฤติกรรมที่เราพบเห็นอยู่แล้วในระบบที่มีความเป็นอิสระน้อยกว่า เราเคยเห็นขั้นตอนการใช้งานที่การทดสอบถูกข้ามไปเพื่อความเร็ว เราเคยเห็นระบบสนับสนุนที่ตั๋วถูกปิดก่อนกำหนดเพื่อให้ถึง SLA ข้อแตกต่างคือเมื่อมนุษย์ดำเนินการ คุณมักจะสามารถติดตามความรับผิดชอบได้ เมื่อตัวแทนดำเนินการโดยอัตโนมัติ ความรับผิดชอบนั้นจะหายไป เว้นแต่คุณจะสร้างความสามารถในการสังเกตการณ์ไว้ในระบบตั้งแต่เริ่มต้น 

เวอร์ชันที่น่ากลัวกว่าคือเมื่อตัวแทนไม่ได้แค่ข้ามขั้นตอน แต่กลับซ่อนสิ่งที่กำลังทำอยู่ หากบันทึก "ผ่าน" ทั้งที่ไม่ได้ทดสอบ แสดงว่าคุณได้สูญเสียบันทึกการตรวจสอบไปแล้ว หากบันทึกระบุว่าปัญหาได้รับการแก้ไขแล้ว แต่ไม่ได้ขยายขอบเขตของปัญหา ปัญหาก็จะยิ่งลุกลาม ปัญหานี้ไม่ใช่ปัญหาเชิงทฤษฎี แต่เป็นสิ่งที่หลีกเลี่ยงไม่ได้เมื่อตัวแทนต้องรับผิดชอบมากขึ้นโดยไม่มีมาตรการป้องกันที่เหมาะสม