'קאטו פתחה אתגר לסוכני AI: מבחן מוגדר לטענות ההגנה שלה'

חברת הסייבר שנוסדה בישראל מציעה שלושה פרסים של 10,000 דולר למי שיעמדו בתנאי האתגר. הבדיקה נערכת בסביבה ייעודית, ותוצאותיה אינן מבטיחות הגנה על כל סוכן שפועל בארגון.
קאטו נטוורקס פתחה את אתגר AgentSense ב-17 בנובמבר בשעה 15:30 לפי שעון ישראל. המשתתפים מוזמנים לבדוק אם אפשר להסיט סוכן בינה מלאכותית ממשימתו באמצעות תוכן שהוא קורא. האתגר מלווה את הכרזת החברה על טכנולוגיה שנועדה לעצור פעולות מזיקות של סוכנים לפני ביצוען.
חשוב להפריד בין הטענה לבין הניסוי. קאטו מתארת מערכת שעוקבת אחר השפעתו של תוכן בלתי מהימן על התנהגות הסוכן. האתגר מספק למשתתפים הזכאים סביבה מוגדרת לבחינת הגישה הזאת. הוא אינו מציג שיעור הצלחה שנמדד באופן עצמאי במערכות של לקוחות.
הבדיקה מוגבלת לסביבת האתגר
>העמוד הרשמי של האתגר (נפתח בכרטיסייה חדשה) דורש להשלים את שני השלבים: עוזר צ'אט וסוכן כתיבת קוד. כדי שניסיון ייחשב הצלחה לפי התנאים, עליו להצליח כאשר AgentSense מופעל. הכללים מתייחסים לנתונים בדיוניים ומגבילים את הבדיקות לסביבת הניסוי שהוקצתה למשתתף. אין כאן הרשאה לבדוק את תשתיות הייצור של קאטו או מערכות של צדדים שלישיים.
שלושת המשתתפים הזכאים הראשונים שיעמדו בדרישות יוכלו לקבל 10,000 דולר כל אחד, בכפוף לאישור החברה. המועד האחרון הוא 8 בדצמבר בשעה 07:00 בישראל. קיימים תנאי זכאות הנוגעים לגיל, למדינה ולנושאים נוספים. תוצאה שנראית מוצלחת מבחינה טכנית אינה כשלעצמה אישור לקבלת פרס.
הרשאה לפעול אינה קובעת איזו הוראה נכונה
בהכרזה על המוצר טוענת קאטו שסוכן יכול להחזיק בהרשאות תקינות ובכל זאת לבצע פעולה שחורגת ממשימת המשתמש. הודעת דוא"ל או מסמך עשויים להכיל מידע נחוץ, ולצדו הוראות שלא אמורות לשלוט בסוכן. לפי החברה, AgentSense מבחין בין התפקידים האלה וחוסם פעולות לא בטוחות הקשורות להשפעה של תוכן בלתי מהימן.
זהו תיאור הגישה מטעם החברה. אין להסיק ממנו שכל הוראה מוסתרת מזוהה, או שעבודה תקינה לעולם לא תיעצר. אלה שאלות שצריך לבחון בתהליך העבודה הרלוונטי, לרבות ההתנהגות מול מסמכים רגילים ופעולות מותרות.
מה עדיין צריך להעריך
קאטו מתארת גם יכולת לזיהוי סטייה ממשימה בלשון עתיד. היא נועדה לזהות פעולות שאינן תואמות את המשימה המקורית. ההבחנה חשובה כשמשווים בין מה שהחברה אומרת שההגנה הנוכחית עושה לבין יכולת נוספת שהיא מתכננת. אין לראות בכל מפת הדרכים מוצר שכבר הוטמע.
לארגונים ששוקלים שימוש בסוכנים, ההכרזה מציעה שאלת בדיקה מעשית: האם אפשר לקשור פעולה מותרת למשימה שהצדיקה אותה? האתגר עשוי להניב דוגמאות מועילות, אך התוצאות יהיו תלויות בסביבה ובכללי השיפוט שלו. לפני הסקת מסקנות רחבות, רוכשים עדיין יצטרכו לבחון את היקף הפריסה, ההתנהגות התפעולית והראיות מבדיקות מורשות בתהליכי העבודה שלהם.


