הזיות של AI: למה זה קורה, ואיך בונים סוכן שלא ממציא

תשאלו מודל שפה על עובדה שהוא לא יודע, ותקבלו לא פעם תשובה בטוחה בעצמה — ושגויה לגמרי. התופעה הזאת נקראת “הזיה” (hallucination), והיא הסיבה מספר אחת שעסקים נכווים מהטמעות AI.

אצלנו זה לא עוד סעיף — זה העיקרון שממנו הכול מתחיל: סוכן שממציא תשובה אחת גרוע יותר מסוכן שלא קיים. הנה למה זה קורה, ומה עושים.

למה מודלים ממציאים?

מודל שפה, בבסיסו, הוא מכונה שמנבאת את המילה הבאה. הוא אומן על כמויות אדירות של טקסט, והוא מצוין בלייצר תשובות שנשמעות נכון. אבל “נשמע נכון” ו”נכון” הם שני דברים שונים.

כשאין למודל את המידע, הוא לא אומר בטבעיות “לא יודע” — הוא משלים את התבנית עם משהו סביר-לכאורה. מחיר שנשמע הגיוני. מדיניות ביטולים שנשמעת סטנדרטית. שעת פתיחה שנשמעת מקובלת. הכול מומצא.

בעסק, זה נראה ככה: לקוח שואל את ה”בוט” אם יש חניה, הבוט עונה “כן, חניה חינם צמודה למתחם” — ואין. הלקוח מגיע, מתעצבן, ואתם משלמים את המחיר. הנזק הוא לא רק הטעות — הוא האמון שנשבר.

איך בונים סוכן שלא ממציא

אין קסם אחד, יש שיטה עם כמה שכבות:

1. הסוכן עונה רק מבסיס ידע מאושר

במקום לתת למודל “לדעת” דברים, נותנים לו מסמך ידע שהעסק אישר: מחירים, מדיניות, תיאורים, שאלות נפוצות. ההנחיה חד-משמעית: מה שלא כתוב — לא קיים.

2. “לא יודע” הוא תשובה לגיטימית — ומתוכננת

מגדירים לסוכן בדיוק מה לעשות כשאין תשובה: להגיד בכנות “אני אבדוק את זה מול הצוות ואחזור אליך”, לתעד את השאלה, ולהעביר לבן-אדם. שאלה כזאת היא גם מתנה — היא מגלה חור בבסיס הידע ששווה למלא.

3. עובדות דינמיות נבדקות במערכת, לא נזכרות

זמינות, מחיר עדכני, סטטוס הזמנה — דברים שמשתנים אסור שיגיעו מהזיכרון של המודל. הסוכן חייב לבדוק אותם בכלי האמיתי (יומן, מערכת הזמנות, CRM) בזמן אמת. זה ההבדל בין “כנראה פנוי” ל”בדקתי, פנוי”.

4. בודקים את הסוכן כמו עובד חדש

לפני שסוכן פוגש לקוחות, מריצים עליו עשרות תרחישים — כולל תרחישי קיצון שמנסים במכוון לגרום לו להמציא: שאלות מכשילות, בקשות סותרות, נושאים שאין עליהם מידע. כל כישלון מתוקן לפני העלייה לאוויר, וכל שינוי עובר את הבדיקות מחדש.

שאלה אחת שתחסוך לכם הרבה

אם אתם שוקלים פתרון AI כלשהו, שאלו את הספק: “מה הסוכן עונה כששואלים אותו משהו שהוא לא יודע?”

ספק רציני ישלוף תשובה מיידית, כי הוא התמודד עם זה. ספק שמגמגם — כנראה שהסוכן שלו פשוט… יאלתר. ואלתור על חשבון הלקוחות שלכם הוא הימור שאסור לקחת.