طارق بن جعبل طعيمان

مهندس ذكاء اصطناعي

0%

Computer Vision
5 ديسمبر 2025
12 دقيقة قراءة

رحلة تطوير CrabVision Pro: من الفكرة إلى 91.9% دقة

كيف نجحنا في بناء نظام رؤية حاسوبية للكشف عن السرطانات باستخدام YOLOv8 ودمجه مع روبوت ABB Delta في بيئة صناعية حقيقية.

مشاركة:
🦀

صورة توضيحية لنظام CrabVision Pro

المقدمة

في عام 2024، واجهتنا في TU Eindhoven تحدياً مثيراً: كيف يمكن لروبوت أن يلتقط سرطانات البحر بدقة وسرعة في بيئة صناعية؟ المشكلة ليست بسيطة - فكل سرطان له شكل فريد، واتجاه مختلف، ونقاط إمساك محددة يجب التعرف عليها بدقة.

هذا ما أطلقنا عليه مشروع CrabVision Pro - نظام رؤية حاسوبية في الوقت الفعلي يستخدم أحدث تقنيات الذكاء الاصطناعي للكشف الآلي عن نقاط الإمساك وتحديد اتجاه السرطانات.

التحدي الأساسي

المشاكل التي واجهناها:

  • أشكال غير منتظمة للسرطانات - لا يوجد نموذج قياسي
  • اتجاهات عشوائية على حزام النقل
  • إضاءة متغيرة في البيئة الصناعية
  • الحاجة لسرعة عالية - Real-time processing
  • تحديد نقاط إمساك آمنة دون إيذاء السرطان
  • دمج مع روبوت ABB Delta للحركة الدقيقة

الحل التقني

1. اختيار YOLOv8

بدأنا بمقارنة عدة نماذج: Faster R-CNN، EfficientDet، وYOLO versions. اخترنا YOLOv8 للأسباب التالية:

  • السرعة: 45+ FPS على NVIDIA Jetson Orin
  • الدقة: mAP@50 أعلى من 90%
  • سهولة التدريب: Ultralytics API سهلة الاستخدام
  • Transfer Learning: نماذج pre-trained ممتازة

مثال على كود التدريب:

from ultralytics import YOLO

# Load pretrained model
model = YOLO('yolov8n.pt')

# Train on custom crab dataset
results = model.train(
    data='crab_dataset.yaml',
    epochs=100,
    imgsz=640,
    batch=16,
    device=0
)

# Validate
metrics = model.val()
print(f"mAP@50: {metrics.box.map50}")

2. جمع وتحضير Dataset

أصعب جزء كان بناء dataset عالي الجودة:

  • 1,200 صورة للسرطانات في أوضاع مختلفة
  • Annotation دقيق لنقاط الإمساك باستخدام Roboflow
  • Data Augmentation: rotation, flip, brightness variations
  • Train/Val/Test split: 70/20/10

3. تقدير العمق (Depth Estimation)

استخدمنا Intel RealSense D435 لإضافة البعد الثالث:

  • دمج RGB مع Depth stream
  • تحويل 2D bounding boxes إلى 3D coordinates
  • حساب الارتفاع الفعلي للسرطان

4. تحليل المتجهات والاتجاه

لتحديد اتجاه السرطان، طورنا خوارزمية تحلل:

  • Contour analysis للقشرة الخارجية
  • Principal Component Analysis (PCA) لإيجاد المحور الرئيسي
  • حساب زاوية الدوران بدقة ±5 درجات

5. التكامل مع ABB Delta Robot

الجزء الأصعب كان دمج Vision مع Control:

  • ROS 2 Bridge: للتواصل بين الكاميرا والروبوت
  • Coordinate Transformation: من camera frame إلى robot frame
  • Motion Planning: مسارات آمنة وسريعة
  • Gripper Control: قوة إمساك محسوبة حسب حجم السرطان

النتائج والأداء

91.9%
mAP@50 Accuracy
45 FPS
Real-time Processing
98%
Pick Success Rate

بعد 3 أشهر من التطوير والتحسين، حققنا نتائج رائعة:

  • دقة كشف 91.9% على test set
  • معالجة في الوقت الفعلي بسرعة 45 إطار/ثانية
  • نسبة نجاح الالتقاط 98% في الاختبارات الميدانية
  • تقليل وقت المعالجة من 3.5 ثانية إلى 0.8 ثانية

الدروس المستفادة

ما تعلمناه:

  1. Data Quality > Quantity: 1000 صورة جيدة أفضل من 5000 صورة سيئة
  2. Real-world Testing: النموذج الذي يعمل في المختبر قد يفشل في الإنتاج
  3. Iterative Improvement: بدأنا بـ 75% دقة ووصلنا لـ 91.9% بالتحسين التدريجي
  4. Edge Deployment: تحسين النموذج للعمل على Jetson كان ضرورياً
  5. Calibration is Key: معايرة الكاميرا والروبوت حرجة للدقة

التقنيات المستخدمة

Software

PythonYOLOv8OpenCVROS 2PyTorch

Hardware

NVIDIA Jetson OrinIntel RealSense D435ABB Delta Robot

الخطوات القادمة

نخطط للتحسينات التالية:

  • دمج Semantic Segmentation لتحديد أدق لنقاط الإمساك
  • استخدام Reinforcement Learning لتحسين استراتيجية الالتقاط
  • توسيع النظام ليعمل مع أنواع أخرى من المأكولات البحرية
  • تطوير واجهة ويب للمراقبة والتحليل

الخلاصة

مشروع CrabVision Pro أثبت أن دمج Computer Vision مع Robotics يمكن أن يحل مشاكل صناعية معقدة. الرحلة من الفكرة إلى نظام عامل في الإنتاج علمتنا الكثير عن التحديات الحقيقية لنشر AI في البيئات الصناعية.

إذا كنت تعمل على مشروع مشابه، لا تتردد في التواصل معي. سأكون سعيداً بمشاركة المزيد من التفاصيل التقنية!

👨‍💻

طارق طعيّمان

AI & Robotics Engineer

تابعني: