סקירת קוד למערכת המשלבת מודלי AI

סקור את הקוד הבא, המשלב מודל שפה. התמקד בכשלים ייחודיים ל-LLM שסקירת קוד רגילה מפספסת.

הקוד: <code> [הדבק] </code>

הקשר: [מה הקוד עושה ומה קורה לפלט]

בדוק לפי הסדר:

1. פלט לא צפוי — מה קורה כשהמודל מחזיר JSON פגום, שדה חסר, טיפוס שגוי או טקסט לפני ה-JSON? האם יש ולידציה לפני שימוש, או ש-parse ישיר יפיל את התהליך?
2. כשלי רשת — timeout מוגדר? retry עם backoff? מה קורה כשהספק מחזיר 429 או 503? האם retry על פעולה שכבר בוצעה חלקית יגרום לכפילות?
3. עלות ותקציב — האם יש מגבלת טוקנים לקלט? מה עוצר לולאה שקוראת למודל ללא גבול? האם עלות נמדדת?
4. הזרקת פרומפט — האם קלט משתמש נכנס לפרומפט ללא הפרדה? האם תוכן מסמך שאוחזר יכול להכיל הוראות שהמודל יבצע?
5. דליפת מידע — מה נשלח לספק החיצוני? האם סודות, מפתחות או מידע לקוח יכולים להיכנס לפרומפט? האם פרומפטים נכתבים ללוג עם התוכן?
6. אי-דטרמיניזם — האם הקוד מניח פורמט קבוע שיישבר בהחלטת המודל? האם temperature מתאים למשימה?
7. חוויית כשל — כשהמודל נכשל, מה רואה המשתמש? האם המערכת ממציאה תשובה במקום להודות בכשל?

לכל ממצא: חומרה (חוסם / חשוב / שיפור), הסבר קצר, והתיקון כקטע קוד. אל תדווח על סגנון.