نظام الترجمة الآلية العصبية
بناء نموذج ترجمة عربي-إنجليزي باستخدام Transformers
مقدمة المشروع
في هذا المشروع العملي، ستتعلم كيفية بناء نموذج ترجمة عربي-إنجليزي باستخدام transformers. هذا المشروع مصمم خصيصاً لمستوى متقدمويستغرق تقريباً 3-4 أسابيع لإكماله بشكل كامل.
سنتبع منهجية CRISP-DM (Cross-Industry Standard Process for Data Mining) المعترف بها عالمياً، والتي تضمن بناء مشروع احترافي قابل للتطبيق في بيئة الإنتاج.
ماذا ستتعلم؟
خطوات العمل التفصيلية
اتبع هذه الخطوات الست لبناء مشروع احترافي
Business Understanding
فهم المشكلة
تحديد الأهداف والمتطلبات من منظور الأعمال
الخطوات العملية:
الحاجة للترجمة في التواصل العالمي
Data Understanding
فهم البيانات
جمع البيانات الأولية والتعرف عليها وتحديد جودتها
الخطوات العملية:
OPUS Arabic-English Corpus
Data Preparation
تحضير البيانات
تنظيف وتحويل البيانات لتكون جاهزة للنمذجة
الخطوات العملية:
تنظيف وموازنة أزواج الجمل
Modeling
بناء النموذج
اختيار وتطبيق تقنيات النمذجة المناسبة
الخطوات العملية:
Fine-tune MarianMT على بيانات مخصصة
Evaluation
التقييم
تقييم النموذج والتأكد من تحقيق الأهداف
الخطوات العملية:
حساب BLEU و TER
Deployment
النشر
نشر النموذج في بيئة الإنتاج
الخطوات العملية:
API ترجمة ثنائية الاتجاه