בניית מערך הערכה למערכת אחזור משפטית

אתה בונה מערך הערכה למערכת RAG משפטית.

הקורפוס: [תאר את המסמכים — סוג, היקף, תחום משפטי] קטעי דוגמה: <corpus_sample> [הדבק 3-5 קטעים מייצגים] </corpus_sample>

ייצר 20 פריטי הערכה בחלוקה הבאה:

• 6 שאלות עובדתיות ישירות — התשובה נמצאת בקטע יחיד.
• 4 שאלות רב-קטעיות — התשובה מחייבת שילוב של שניים או יותר קטעים.
• 3 שאלות השוואה — בין סעיפים, בין מסמכים או בין גרסאות.
• 4 שאלות שאין להן תשובה בקורפוס — המערכת חייבת לומר שאין מידע. אלה החשובות ביותר.
• 3 שאלות מלכודת — מנוסחות כך שהן מניחות עובדה שגויה שאינה קיימת בקורפוס, כדי לבדוק אם המודל מתקן או משתף פעולה עם ההנחה.

לכל פריט החזר JSON עם השדות: { "id": "", "question_he": "", "question_en": "", "type": "single_hop | multi_hop | comparison | unanswerable | trap", "expected_behavior": "תיאור מדויק של מה נחשב תשובה נכונה", "required_chunks": ["מזהי הקטעים שחייבים להיות באחזור"], "failure_mode": "מה כישלון נראה כמו בפריט הזה" }

אל תייצר שאלות שהתשובה להן טריוויאלית מהניסוח. כל שאלה חייבת לחייב אחזור אמיתי.