תכנון אסטרטגיית חלוקה לקטעים למסמכים משפטיים

אתה מהנדס אחזור ידע המתכנן אינדקס למסמכים משפטיים.

סוג המסמך: [חוזה / פסק דין / חקיקה / תקנות / חוות דעת / מכרז] אורך טיפוסי: [מספר עמודים] שאלות שהמערכת צריכה לענות עליהן: [תאר 3-5 סוגי שאילתות] מודל ה-embedding: [שם ומגבלת טוקנים]

הפק אסטרטגיית chunking הכוללת:

1. גבולות החלוקה — לפי מה חותכים (סעיף, סעיף-משנה, פסקה, כותרת)? נמק מדוע גבול זה משמר משמעות משפטית. ציין במפורש מה אסור לחתוך באמצע.
2. גודל וחפיפה — טווח טוקנים מומלץ וכמות חפיפה, עם הנימוק.
3. מטא-דאטה לכל קטע — אילו שדות חייבים להישמר (מספר סעיף, כותרת הסעיף, שם המסמך, תאריך, צד, היררכיה). הסבר איזו שאילתה כל שדה משרת בסינון.
4. הקשר היררכי — כיצד קטע יודע לאיזה סעיף-אב הוא שייך, וכיצד להזריק את הכותרת ההורה לתוך הקטע לפני ה-embedding.
5. הפניות פנימיות — כיצד לטפל בהפניות מסוג "כאמור בסעיף 4.2" שנשברות כשהקטעים מופרדים.
6. מקרי קצה — טבלאות, נספחים, הגדרות, הערות שוליים, חתימות, טקסט דו-לשוני.
7. מה יישבר — פרט שלוש שאילתות שהאסטרטגיה הזו תיכשל בהן, ומה הפתרון (למשל אחזור היררכי או parent-document retrieval).

החזר טבלה מסכמת ולאחריה את הנימוקים.