بناء LLM Evaluator
نظام لتقييم جودة إجابات LLMs تلقائياً
مقدمة المشروع
في هذا المشروع العملي، ستتعلم كيفية نظام لتقييم جودة إجابات llms تلقائياً. هذا المشروع مصمم خصيصاً لمستوى متقدمويستغرق تقريباً 2-3 أسابيع لإكماله بشكل كامل.
سنتبع منهجية CRISP-DM (Cross-Industry Standard Process for Data Mining) المعترف بها عالمياً، والتي تضمن بناء مشروع احترافي قابل للتطبيق في بيئة الإنتاج.
ماذا ستتعلم؟
خطوات العمل التفصيلية
اتبع هذه الخطوات الست لبناء مشروع احترافي
Business Understanding
فهم المشكلة
تحديد الأهداف والمتطلبات من منظور الأعمال
الخطوات العملية:
ضمان جودة LLM outputs
Data Understanding
فهم البيانات
جمع البيانات الأولية والتعرف عليها وتحديد جودتها
الخطوات العملية:
إنشاء golden dataset
Data Preparation
تحضير البيانات
تنظيف وتحويل البيانات لتكون جاهزة للنمذجة
الخطوات العملية:
تحديد معايير الجودة
Modeling
بناء النموذج
اختيار وتطبيق تقنيات النمذجة المناسبة
الخطوات العملية:
بناء evaluator باستخدام GPT-4
Evaluation
التقييم
تقييم النموذج والتأكد من تحقيق الأهداف
الخطوات العملية:
مقارنة مع human evaluation
Deployment
النشر
نشر النموذج في بيئة الإنتاج
الخطوات العملية:
automated testing pipeline