ارزیابی ایجنت با خواندن چند پاسخ زیبا انجام نمی شود. یک اجرا ممکن است جواب درست بدهد اما ابزار نامناسب را صدا بزند، هزینه زیادی بسازد یا فقط بر اساس حدس به نتیجه برسد. برای اعتماد به سامانه باید هم نتیجه و هم مسیر رسیدن به آن را بسنجیم.
از تعریف موفقیت شروع کنید
معیار به نوع کار وابسته است. برای ایجنت پشتیبانی، صحت پاسخ، استناد، زمان و نرخ ارجاع مهم است. برای ایجنت عملیاتی، تکمیل درست، اقدام ناامن، قابلیت برگشت و هزینه اهمیت بیشتری دارد. یک امتیاز کلی ممکن است خطای خطرناک را پنهان کند؛ معیارها را جدا نگه دارید.
دیتاست ارزیابی چگونه ساخته می شود؟
نمونه ها را از کار واقعی و با حذف داده حساس گرداوری کنید. مسیر عادی، حالت مرزی، داده ناقص، درخواست مبهم، ابزار قطع و ورودی مخرب را پوشش دهید. پاسخ مطلوب، ابزار مجاز و شرط توقف را برای هر نمونه ثبت کنید. دیتاست باید همراه محصول رشد کند.
تریس چیست؟
تریس نمای مرحله به مرحله یک اجراست: ورودی، فراخوانی مدل، انتخاب ابزار، نتیجه ابزار، تحویل میان ایجنت ها، گاردریل و پاسخ نهایی. با تریس می توان فهمید خطا از مدل، دستور، داده یا ابزار آمده است. شناسه مشترک میان فرانت، API و ابزارها عیب یابی را بسیار ساده تر می کند.
معیارهای سطح اجرا
- نرخ تکمیل درست و نرخ توقف درست
- تعداد فراخوانی مدل و ابزار
- زمان کل و زمان هر مرحله
- هزینه هر اجرا و هر کار موفق
- نرخ نیاز به دخالت انسان
- خطای ابزار و تلاش دوباره
- تخلف گاردریل یا اقدام خارج از مجوز
ارزیابی خودکار و انسانی
قاعده قطعی برای قالب، محاسبه و ابزار مناسب عالی است. داور مدلی می تواند مقیاس ارزیابی معنایی را بالا ببرد، اما باید با نمونه های انسانی کالیبره شود. بازبینی متخصص برای موضوع حساس و اختلاف های مبهم ضروری است. ترکیب این سه روش، تصویر قابل اعتماد تری می سازد.
تست رگرسیون پیش از انتشار
هر تغییر مدل، دستور، ابزار یا منبع RAG می تواند رفتار را عوض کند. مجموعه ثابت ارزیابی را پیش و پس از تغییر اجرا کنید و اختلاف معیارها را ببینید. فقط میانگین کافی نیست؛ بدترین نمونه ها و خطای پرخطر را جدا بررسی کنید.
پایش در محیط واقعی
توزیع درخواست واقعی با دیتاست آزمایش یکسان نمی ماند. تغییر موضوع کاربران، افزایش زمان ابزار و رشد هزینه نشانه رانش است. هشدار باید بر نرخ و روند باشد، نه یک خطای منفرد. نمونه های شکست واقعی پس از پالایش، به دیتاست ارزیابی برگردند.