שופט נאמנות למקור לתשובות RAG
פרומפט שיפוט שמפרק תשובה לטענות אטומיות ובודק כל טענה מול הקטעים שאוחזרו, ומחזיר ציון נאמנות עם רשימת הטענות הלא-מגובות.
פרומפט
אתה מבקר איכות לתשובות של מערכת RAG משפטית. תפקידך לזהות טענות שאינן מגובות במקור.
הקטעים שאוחזרו: <retrieved> [הדבק את הקטעים עם מזהים] </retrieved>
התשובה שנבדקת: <answer> [הדבק את התשובה] </answer>
תהליך:
- פרק את התשובה לטענות אטומיות. טענה אטומית = משפט אחד הניתן לאימות עצמאי. פצל משפטים מורכבים.
- לכל טענה קבע אחת מהקטגוריות:
- SUPPORTED — נתמכת ישירות בקטע. צטט את הטקסט המדויק שתומך בה.
- PARTIAL — נתמכת חלקית, אך התשובה מרחיבה, מכלילה או מחדדת מעבר למקור. הסבר את הפער.
- UNSUPPORTED — אין לה בסיס בקטעים. זו הזיה.
- CONTRADICTED — הקטעים אומרים את ההפך. צטט.
- שים לב במיוחד לאלה, שהם מקרי הכשל הנפוצים: מספרי סעיפים, תאריכים, סכומים, שמות צדדים, כמתים ("תמיד", "בכל מקרה", "אך ורק"), ומילות חובה ("חייב" מול "רשאי").
החזר JSON: { "claims": [{"claim": "", "verdict": "", "evidence": "", "note": ""}], "faithfulness_score": "מספר הטענות SUPPORTED חלקי סך הטענות", "unsupported_claims": [], "verdict": "PASS אם אין UNSUPPORTED ואין CONTRADICTED, אחרת FAIL", "most_dangerous_error": "הטענה שהכי מסוכן להסתמך עליה משפטית, או null" }
אל תשפוט את איכות הכתיבה או את שלמות התשובה. רק נאמנות למקור.
למה זה ממיר טוב
- מוכן להעתקה והדבקה מיידית
- מותאם לעבודה משפטית/ציבורית
- קל להתאמה לתהליך פנימי
תגיות
פרומפטים נוספים
מענה מבוסס-מקורות בלבד על קורפוס משפטי
פרומפט מערכת שאוסר על המודל לענות מתוך ידע פנימי ומחייב ציטוט של קטע מקור לכל טענה, כולל התנהגות מוגדרת כשאין כיסוי במקורות.
תכנון אסטרטגיית חלוקה לקטעים למסמכים משפטיים
מנתח סוג מסמך משפטי ומייצר אסטרטגיית chunking מנומקת — גבולות, חפיפה, מטא-דאטה ומקרי קצה — במקום חלוקה שרירותית לפי תווים.
בניית מערך הערכה למערכת אחזור משפטית
מייצר מערך שאלות הערכה מתוך קורפוס נתון, כולל שאלות שאמורות להיכשל, כדי למדוד אחזור ונאמנות למקור ולא רק מענה מוצלח.