אבחון כשל במערכת RAG

אתה מאבחן כשל במערכת RAG. הטעות הנפוצה היא לשנות את פרומפט היצירה כשהבעיה בכלל באחזור.

השאלה שנשאלה: [השאלה] התשובה שהתקבלה: [התשובה השגויה] התשובה הצפויה: [מה היה צריך לקרות] הקטעים שאוחזרו: [הדבק את מה שהאחזור החזיר] הקטע הנכון, אם ידוע: [הדבק את הקטע שהיה אמור להיות מאוחזר]

עבור לפי הסדר הזה ועצור בשכבה הראשונה שנכשלה:

1. אינדוקס — האם התוכן הנכון קיים באינדקס בכלל? אם לא: כשל ingestion. בדוק פרסינג, OCR, סינון, וכשל שקט בעיבוד.
2. אחזור — התוכן קיים אך לא הוחזר. בדוק ניסוח שאילתה, מודל embedding, top-k, וסינון מטא-דאטה שחסם בטעות.
3. דירוג — הקטע הנכון הוחזר אך דורג נמוך ונחתך מההקשר. בדוק reranking וגודל תקציב ההקשר.
4. יצירה — הקטע הנכון היה בהקשר והמודל בכל זאת ענה לא נכון. רק כאן שינוי פרומפט הוא הפתרון.
5. חלוקה לקטעים — התשובה נחתכה בין שני קטעים ואף אחד מהם אינו שלם. בדוק גבולות וחפיפה.

החזר: { "failing_layer": "", "evidence": "מה בנתונים מוכיח שזו השכבה", "ruled_out": ["שכבות שנשללו ומדוע"], "fix": "התיקון הקונקרטי", "regression_test": "בדיקה שתתפוס את הכשל הזה בעתיד" }