בחירת מודל למשימה משפטית

בחר מודל למשימה. הכלל: המודל הזול ביותר שעובר את סף האיכות, לא החזק ביותר שזמין.

המשימה: [תאר] נפח: [קריאות ליום] אורך קלט טיפוסי: [טוקנים] דרישת זמן תגובה: [מיידי / רקע] מגבלת פרטיות: [האם מותר ספק חיצוני / נדרש אירוח מקומי] מה קורה בטעות: [חומרת הכשל]

הפק:

1. דרישות מחייבות — מה חוסם מודל מלהיות מועמד: חלון הקשר, תמיכה בעברית, structured output, אירוח מקומי, מיקום גיאוגרפי של העיבוד.
2. שלושה מועמדים — לכל אחד: התאמה למשימה, עלות משוערת לחודש בנפח הנתון, זמן תגובה צפוי, וסיכון עיקרי.
3. קריטריון הכרעה — הבדיקה שתריץ בפועל כדי להחליט. חייבת להיות מדידה על מדגם אמיתי מהתחום, לא רושם כללי או benchmark ציבורי.
4. ניתוב היברידי — האם כדאי מודל זול לרוב המקרים והסלמה למודל חזק במקרים קשים. אם כן: מה מפעיל את ההסלמה וכיצד מזהים מקרה קשה מראש.
5. נסיגה — מה קורה כשהספק לא זמין. מודל חלופי, תשובה מושפלת, או כשל מפורש. בחר והסבר.
6. תנאי החלפה — מה יגרום לשקול מחדש בעוד שישה חודשים, וכיצד לוודא שהמעבר אפשרי (הפשטה מעל הספק, ללא תלות בפורמט ייחודי).

אם המשימה ניתנת לפתרון ללא LLM — בביטויים רגולריים, בחיפוש, או בכלל עסקי — אמור זאת קודם.