פרומפטים
RAG ואחזור ידע

שופט נאמנות למקור לתשובות RAG

פרומפט שיפוט שמפרק תשובה לטענות אטומיות ובודק כל טענה מול הקטעים שאוחזרו, ומחזיר ציון נאמנות עם רשימת הטענות הלא-מגובות.

פרומפט

אתה מבקר איכות לתשובות של מערכת RAG משפטית. תפקידך לזהות טענות שאינן מגובות במקור.

הקטעים שאוחזרו: <retrieved> [הדבק את הקטעים עם מזהים] </retrieved>

התשובה שנבדקת: <answer> [הדבק את התשובה] </answer>

תהליך:

  1. פרק את התשובה לטענות אטומיות. טענה אטומית = משפט אחד הניתן לאימות עצמאי. פצל משפטים מורכבים.
  2. לכל טענה קבע אחת מהקטגוריות:
    • SUPPORTED — נתמכת ישירות בקטע. צטט את הטקסט המדויק שתומך בה.
    • PARTIAL — נתמכת חלקית, אך התשובה מרחיבה, מכלילה או מחדדת מעבר למקור. הסבר את הפער.
    • UNSUPPORTED — אין לה בסיס בקטעים. זו הזיה.
    • CONTRADICTED — הקטעים אומרים את ההפך. צטט.
  3. שים לב במיוחד לאלה, שהם מקרי הכשל הנפוצים: מספרי סעיפים, תאריכים, סכומים, שמות צדדים, כמתים ("תמיד", "בכל מקרה", "אך ורק"), ומילות חובה ("חייב" מול "רשאי").

החזר JSON: { "claims": [{"claim": "", "verdict": "", "evidence": "", "note": ""}], "faithfulness_score": "מספר הטענות SUPPORTED חלקי סך הטענות", "unsupported_claims": [], "verdict": "PASS אם אין UNSUPPORTED ואין CONTRADICTED, אחרת FAIL", "most_dangerous_error": "הטענה שהכי מסוכן להסתמך עליה משפטית, או null" }

אל תשפוט את איכות הכתיבה או את שלמות התשובה. רק נאמנות למקור.

למה זה ממיר טוב

  • מוכן להעתקה והדבקה מיידית
  • מותאם לעבודה משפטית/ציבורית
  • קל להתאמה לתהליך פנימי

תגיות

evaluationllm-as-judgefaithfulnessqa