כלי AI אומנו על מידע מסוים שעשוי להיות מוטה, לא נכון או לא מעודכן. מאחר שתוצרי הכלים נשענים על מידע כאמור הם עשויים להיות שגויים ואף להסב נזקים למשתמש ולארגון.

למשל:

• למשל קוד שהופק ע”י כלי AI עלול להיות שגוי או אף להכיל קוד זדוני .
• עו”ד בארה”ב נעזר ב-ChatGPT להכנת כתב תביעה, הצא’ט הפיק מספר פסקי דין שביססו את טענות התביעה, אלא שאותם פסקי דין מעולם לא ניתנו בפועל, כלומר מדובר במידע לא אמין .
• צ’אטבוט וירטואלי של חברת התעופה איר קנדה נתן מענה שגוי לנוסע שהזין שאילתות על רכישת כרטיס טיסה. בקשתו של הנוסע לקבל החזר כספי סורבה, הוא תבע וזכה.
  

  המלצה – ככלל לא ניתן להסתמך בעיניים עצומות על התוצר שהתקבל. יש לבדוק את התוצרים ולאמת אותם – למשל לבקש הוכחות או ציטוטים ובכל מקרה לקרוא אותם בעין מאוד ביקורתית.

  ** מה שאומר שבעלי מקצוע אנושיים עדיין נדרשים כיוון שרק הם יוכלו לבצע ביקורת מקצועית על התוצר