חבילת בדיקות רגרסיה לפרומפט ייצור

בנה חבילת בדיקות רגרסיה לפרומפט הזה לפני שמשנים אותו.

הפרומפט הנוכחי: <prompt> [הדבק] </prompt>

מה הוא אמור לעשות: [תיאור] כשלים ידועים מהעבר: [אם קיימים]

ייצר 15 מקרי בדיקה:

• 4 מקרי בסיס — קלט טיפוסי, פלט צפוי ברור.
• 4 מקרי קצה — קלט ריק, קלט ארוך מאוד, שדות חסרים, טקסט מעורב עברית-אנגלית.
• 3 מקרי כשל — קלט שאמור לגרום לסירוב או להודעת שגיאה מוגדרת.
• 2 מקרי הזרקה — קלט המכיל הוראות שמנסות לעקוף את הפרומפט ("התעלם מההוראות הקודמות").
• 2 מקרי אי-ודאות — קלט שבו התשובה הנכונה היא "אין מספיק מידע".

לכל מקרה: { "id": "", "input": "", "assertion": "תנאי בדיקה שניתן להריץ אוטומטית — לא 'התשובה טובה'", "must_not_contain": ["ביטויים שנוכחותם היא כשל"], "why": "איזו רגרסיה המקרה הזה תופס" }

כללי אסרציה:

• העדף בדיקות דטרמיניסטיות: תקינות JSON, קיום שדה, טווח ערכים, נוכחות או היעדר מחרוזת.
• לשיפוט סובייקטיבי, נסח קריטריון בינארי מפורש למודל-שופט.
• כל אסרציה חייבת להיכשל אם הפרומפט יוסר לגמרי. אסרציה שעוברת גם בלי הפרומפט אינה בודקת דבר.

בסוף: איזו מטריקה מודדת הצלחה כוללת ומה סף הקבלה.