פרומפטים
פיתוח ו-AI

תחקיר תקלה במערכת AI

מנחה תחקיר תקלה ללא האשמה, עם דגש על כשלים ייחודיים למערכות AI: פלט שגוי שלא ייצר שגיאה, וסחף איכות שהצטבר בשקט.

פרומפט

נהל תחקיר תקלה. ללא האשמה אישית — המטרה היא לשנות את המערכת, לא את האנשים.

מה קרה: [תיאור] מתי התגלה וכיצד: [מקור הגילוי] משך: [מתחילת ההשפעה עד לפתרון] השפעה: [מי נפגע, כמה, ומה היה הנזק בפועל]

הפק:

  1. ציר זמן — מרגע החדרת הגורם ועד לפתרון מלא. הפרד בין שלוש נקודות זמן שונות: מתי התחילה ההשפעה, מתי מישהו ידע, ומתי התחיל טיפול. הפער בין השתיים הראשונות הוא לרוב הממצא החשוב ביותר.
  2. סיבת שורש — המשך לשאול "למה" עד שהתשובה היא החלטה או תהליך, לא אדם. "מפתח שכח" אינה סיבת שורש; "אין בדיקה שתופסת את זה" היא.
  3. שאלות ייחודיות ל-AI:
    • האם המערכת החזירה תשובה שגויה בלי לייצר שגיאה כלל?
    • האם היה סחף איכות הדרגתי שאיש לא הבחין בו?
    • האם שינוי בפרומפט או בגרסת המודל הוא הגורם, והאם השינוי הזה נסקר?
    • האם הפלט הזין החלטה אוטומטית ללא בדיקת אדם?
  4. מה עבד — מה מנע נזק גדול יותר. אלה מנגנונים שיש לשמר.
  5. פעולות מתקנות — לכל אחת: תיאור, אחראי, סוג (מניעה / זיהוי / הפחתת נזק), ועלות משוערת. שאף לאיזון: תיקון שמונע, ובדיקה שתתפוס אם המניעה תיכשל.
  6. מה נשאר פתוח — סיכון ידוע שהוחלט לא לטפל בו, והנימוק.

מדד ההצלחה: התקלה הזו לא תוכל לקרות שוב באותה צורה, ואם תקרה — היא תתגלה תוך דקות ולא ימים.

למה זה ממיר טוב

  • מוכן להעתקה והדבקה מיידית
  • מותאם לעבודה משפטית/ציבורית
  • קל להתאמה לתהליך פנימי

תגיות

postmortemincidentreliabilityprocess