COE 592Lecture 00المحاضرة 00Part 01الجزء 01
The instructor and edge AI in practiceالمحاضر والذكاء الاصطناعي على الحافة (Edge AI) عمليًا
Who teaches the course, and what his lab's projects show about running vision and security models on UAVs, farm robots, vehicles and IoT devices.من يدرّس المقرر، وماذا تكشف مشاريع مختبره عن تشغيل نماذج الرؤية والأمن على الطائرات المسيّرة (UAV) وروبوتات المزارع والمركبات وأجهزة إنترنت الأشياء (IoT).
- Conceptsالمفاهيم
- 5
- Slidesالشرائح
- 1-8
- Readingمدة القراءة
- 30 min30 دقيقة
Why this part mattersلماذا يهمّ هذا الجزء
This part is the course's motivation written as a portfolio. Every image on slides 3 to 8 is the same problem you will face in the research project: a model sitting next to a sensor, a budget of weight, power, memory and latency, and a requirement to stay correct when the world is wet, noisy or hostile.
Read these slides as budget problems rather than as a list of the instructor's papers. That reading habit is what the rest of COE 592 builds on, because pruning, quantization, neural architecture search, distillation and TinyML are all answers to one question: how much model can this platform afford, and how do we make a good model fit inside that? The bio matters less for exams than the three words in the lab's name, which turn out to be the syllabus in miniature.
هذا الجزء هو دافع المقرر مكتوبًا في صورة ملف أعمال بحثية. كل صورة في الشرائح من 3 إلى 8 هي المشكلة نفسها التي ستواجهها في المشروع البحثي: نموذج يجلس بجوار حساس، وميزانية من الوزن والطاقة والذاكرة وزمن الاستجابة latency، وشرط أن يبقى صحيحًا حين يكون العالم مبتلًّا أو مليئًا بالضوضاء أو عدائيًا.
اقرأ هذه الشرائح على أنها مسائل ميزانية، لا على أنها قائمة بأبحاث الأستاذ. عادة القراءة هذه هي ما يبني عليه بقية COE 592، لأن pruning وquantization وneural architecture search وdistillation وTinyML كلها إجابات عن سؤال واحد: كم من النموذج تستطيع هذه المنصة تحمّله، وكيف نجعل نموذجًا جيدًا يتّسع داخل ذلك؟ السيرة الذاتية أقل أهمية للاختبارات من الكلمات الثلاث في اسم المختبر، والتي يتضح أنها المنهج الدراسي في صورة مصغّرة.
By the end you canفي نهاية هذا الجزء ستستطيع
- Expand SERV and map each word to a later course theme.تفكّ اختصار SERV وتربط كل كلمة منه بموضوع سيأتي لاحقًا في المقرر.
- Name the sensor modalities on a UAV or vehicle inspection rig and explain why payload limits force small on-board models or data offloading.تسمّي أنواع الحساسات على منصة فحص محمولة على طائرة مسيّرة UAV أو مركبة، وتشرح لماذا تفرض حدود الحمولة نماذج صغيرة على متن المنصة أو نقل البيانات إلى مكان آخر.
- Read a detector's size class (n, s, m, l, x) from Ultralytics tables and compute the parameter, FLOP and mAP trade-off between two sizes.تقرأ فئة حجم الكاشف (n, s, m, l, x) من جداول Ultralytics، وتحسب المقايضة في عدد المعاملات وFLOPs وmAP بين حجمين.
- Read a detection figure critically: separate confidence from correctness, and a saliency map from a metric.تقرأ شكل كشف الأجسام قراءة ناقدة: تفصل الثقة عن الصواب، وتفصل خريطة البروز saliency map عن المقياس.
- State why an IoT intrusion detector must be lightweight and what generalizable means.تذكر لماذا يجب أن يكون كاشف التسلل في IoT خفيفًا، وما معنى أن يكون قابلًا للتعميم generalizable.
- Explain why roadside and rolling-stock inspection are real-time, safety-critical edge inference problems.تشرح لماذا يُعدّ فحص الطرق وفحص عربات القطارات مسألتي استدلال على الطرف edge في الزمن الحقيقي وحرجتين للسلامة.
The course is COE 592, Machine Learning on Embedded Systems, offered in term T261 and taught by Dr. Abdul Jabbar Siddiqui of the Department of Computer Engineering. Of everything on the title and bio slides, one line carries the most information: he leads the SERV Lab, and SERV stands for Secure, Efficient, Robust Vision. Those three adjectives are the map of the course before the syllabus arrives in Part 02.
المقرر هو COE 592، تعلّم الآلة على الأنظمة المدمجة (Machine Learning on Embedded Systems)، ويُطرح في الفصل T261، ويدرّسه الدكتور عبد الجبار صدّيقي (Dr. Abdul Jabbar Siddiqui) من قسم هندسة الحاسب. من بين كل ما في شريحتي العنوان والسيرة الذاتية، هناك سطر واحد يحمل أكبر قدر من المعلومات: فهو يقود SERV Lab، وSERV اختصار لـ Secure, Efficient, Robust Vision، أي رؤية آمنة وفعّالة ومتينة. هذه الصفات الثلاث هي خريطة المقرر قبل أن يصل المنهج الدراسي في الجزء 02.
Instructor profile, as stated on slide 2الملف التعريفي للأستاذ كما ورد في الشريحة 2
- Nameالاسم
- Dr. Abdul Jabbar Siddiquiالدكتور عبد الجبار صدّيقي (Dr. Abdul Jabbar Siddiqui)
- Rolesالمناصب
- Assistant Professor, Computer Engineering, KFUPM; Research Scholar, SDAIA-KFUPM JRC for AI; Lead of SERV Labأستاذ مساعد في قسم هندسة الحاسب في KFUPM، وباحث في SDAIA-KFUPM JRC for AI، وقائد SERV Lab
- Degreesالشهادات
- PhD, University of Ottawa (2021); MASc, University of Ottawa (2015); BSc, KFUPM (2012)الدكتوراه PhD من جامعة أوتاوا University of Ottawa (2021)، والماجستير MASc من جامعة أوتاوا (2015)، والبكالوريوس BSc من KFUPM (2012)
- Previouslyسابقًا
- National Research Council of Canada; NSERC TRANSIT Networkالمجلس الوطني للبحوث في كندا (National Research Council of Canada)، وشبكة NSERC TRANSIT Network
- Research interestsالاهتمامات البحثية
- Edge AI, Visual Intelligence and Analytics, Adversarial machine learning, AI for Cybersecurity, Intelligent transportation systems, UAV-based Inspection and Monitoring, Internet of ThingsEdge AI، والذكاء البصري والتحليلات (Visual Intelligence and Analytics)، Adversarial machine learning، والذكاء الاصطناعي للأمن السيبراني (AI for Cybersecurity)، Intelligent transportation systems، والفحص والمراقبة باستخدام UAV، Internet of Things
Reading SERV as a syllabusقراءة SERV على أنها منهج دراسي
Look at the interests list again and notice that every item is an instance of one question: can a model run near the sensor, inside a budget of memory, compute, energy and latency, and still be trusted? Edge AI and IoT name the setting. UAV inspection and transportation systems name the platforms. Adversarial machine learning and AI for cybersecurity name the threats. MIT 6.5940, whose course description slide 11's takeaways echo almost word for word, opens with the same framing, that deep networks "demand extraordinary levels of computation, hindering its deployment on everyday devices" (Han, MIT 6.5940).
انظر إلى قائمة الاهتمامات البحثية مرة أخرى، ولاحظ أن كل بند فيها حالة من سؤال واحد: هل يمكن لنموذج أن يعمل قرب الحساس، ضمن ميزانية من الذاكرة والحوسبة والطاقة وزمن الاستجابة، ويبقى مع ذلك جديرًا بالثقة؟ Edge AI وIoT تسمّيان البيئة. فحص الطائرات المسيّرة UAV وأنظمة النقل تسمّي المنصات. تعلّم الآلة العدائي (adversarial machine learning) والذكاء الاصطناعي للأمن السيبراني يسمّيان التهديدات. ومقرر MIT 6.5940، الذي تردّد خلاصاتُ الشريحة 11 وصفَه تقريبًا كلمة بكلمة، يبدأ بالإطار نفسه: أن الشبكات العميقة "تتطلب مستويات استثنائية من الحوسبة، مما يعيق نشرها على الأجهزة اليومية" (Han, MIT 6.5940).
| Letterالحرف | Wordالكلمة | Course themeموضوع المقرر | Where you meet it in this partأين تقابله في هذا الجزء |
|---|---|---|---|
| SS | Secureآمن (Secure) | Adversarial machine learning and intrusion detectionتعلّم الآلة العدائي (adversarial machine learning) وكشف التسلل | PNet-IDS on slide 6PNet-IDS في الشريحة 6 |
| EE | Efficientفعّال (Efficient) | Compression, pruning, quantization, nano detectorsالضغط، وpruning، وquantization، والكواشف النانوية | EcoWeedNet on slide 4, PNet-IDS on slide 6EcoWeedNet في الشريحة 4، وPNet-IDS في الشريحة 6 |
| RR | Robustمتين (Robust) | Behaviour under rain, noise, blur and domain shiftالسلوك تحت المطر والضوضاء والتشويش الحركي وdomain shift، أي انزياح المجال | YOLO-RAW on slide 5YOLO-RAW في الشريحة 5 |
| VV | Visionرؤية (Vision) | Cameras, thermal imagers and LiDAR as the inputالكاميرات والمصوّرات الحرارية وLiDAR بوصفها المدخلات | Every figure from slide 3 to slide 8كل شكل من الشريحة 3 إلى الشريحة 8 |
Efficient is the theme that gets the most lecture time, because it is where the arithmetic lives: how many parameters, how many operations, how many milliseconds. Robust is what happens to that efficient model when rain, noise or a new camera changes the input distribution. Secure is the adversarial case, where the change in the input is chosen on purpose: Goodfellow, Shlens and Szegedy defined adversarial examples as inputs formed by applying "small but intentionally worst-case perturbations", and traced the vulnerability to the models' linear behaviour (Goodfellow et al., 2015). A model that is only efficient can be fooled; a model that is only robust may not fit on the drone.
الكفاءة Efficient هي الموضوع الذي يأخذ أكبر وقت من المحاضرات، لأنها حيث يعيش الحساب: كم معاملًا، وكم عملية، وكم ميلي ثانية. المتانة Robust هي ما يحدث لذلك النموذج الفعّال حين يغيّر المطر أو الضوضاء أو كاميرا جديدة توزيعَ المدخلات. والأمان Secure هو الحالة العدائية، حيث يُختار التغيير في المدخل عن قصد: عرّف Goodfellow وShlens وSzegedy الأمثلة العدائية (adversarial examples) بأنها مدخلات تتكوّن بتطبيق "اضطرابات صغيرة لكنها مقصودة وتمثّل أسوأ حالة"، وأرجعوا هذه الهشاشة إلى السلوك الخطي للنماذج (Goodfellow et al., 2015). النموذج الفعّال فقط يمكن خداعه، والنموذج المتين فقط قد لا يتّسع على الطائرة المسيّرة.
Recall
What do the letters of SERV stand for, and which course theme does each map to?علامَ تدل حروف SERV، وبأي موضوع من المقرر يرتبط كل حرف؟
Quick checkاختبار سريع
What does the SERV in SERV Lab stand for?علامَ يدل SERV في اسم SERV Lab؟
Slide 3 is a wall of figures with no captions, so start by describing what is visibly there. A small unmanned helicopter sits on gravel with its camera payload circled (panel A). Beside it is a rugged field case holding a ground control station (panel B). A snowy corridor with a railway line running through it has been rebuilt in 3D (panel C). Two road vehicles carry roof rigs with four labelled sensors: Visual Camera, Thermal Camera, GPS receiver and LiDAR. Three top-down strips of the same track corridor follow, two with the rails traced in blue and encroaching vegetation segmented in red, one with the vegetation segmented in purple. A photogrammetric point cloud of the corridor appears once in true colour and once coloured by elevation. Finally a ROS-style dashboard shows six panes: an IR camera looking left and right, RGB cameras looking right, forward and left, and a LiDAR output.
الشريحة 3 جدار من الأشكال بلا تعليقات، لذا ابدأ بوصف ما هو ظاهر فيها. مروحية صغيرة بدون طيار تقف على الحصى وحمولتها من الكاميرات محاطة بدائرة (اللوحة A). بجانبها حقيبة ميدانية متينة تضم محطة تحكم أرضية (اللوحة B). وممر مغطّى بالثلج يمر عبره خط سكة حديدية أُعيد بناؤه ثلاثي الأبعاد ( اللوحة C). مركبتان على الطريق تحمل كلٌّ منهما منصة على السقف بأربعة حساسات معنونة: Visual Camera وThermal Camera وGPS receiver وLiDAR. تتبعها ثلاث شرائط علوية لممر السكة نفسه، اثنان منها رُسمت فيهما القضبان بالأزرق وقُسّم فيهما الغطاء النباتي المتعدّي بالأحمر، وواحد قُسّم فيه الغطاء النباتي بالبنفسجي. وتظهر سحابة نقاط فوتوغرامترية (photogrammetric point cloud) للممر مرة بألوانها الحقيقية ومرة ملوّنة بحسب الارتفاع. وأخيرًا لوحة تحكم على طراز ROS تعرض ست نوافذ: كاميرا أشعة تحت حمراء IR تنظر يسارًا ويمينًا، وكاميرات RGB تنظر يمينًا وأمامًا ويسارًا، ومخرجات LiDAR.
Read together, this appears to be a rail corridor inspection platform: a Multi-sensor platform mounted on a UAV and on vehicles, mapping the track and the vegetation around it. The slide attributes no paper and no result, so treat everything beyond the visible labels as a description of the problem class. The instructor did co-author a review of exactly this field, a literature survey of automated machine vision inspection systems in railways, prepared at the National Research Council of Canada for Transport Canada (Siddiqui, Mammeri and Liu, 2021), which is the closest citable link for the theme.
إذا قُرئت هذه الأشكال معًا، فهي تبدو منصة لفحص ممرات السكك الحديدية: منصة متعددة الحساسات Multi-sensor platform مثبّتة على طائرة مسيّرة UAV وعلى مركبات، ترسم خريطة للسكة والغطاء النباتي حولها. لا تنسب الشريحة أي ورقة أو نتيجة، فتعامل مع كل ما يتجاوز العناوين الظاهرة على أنه وصف لصنف المشكلة. وقد شارك الأستاذ فعلًا في تأليف مراجعة لهذا المجال تحديدًا، وهي مسح أدبي لأنظمة الفحص الآلي بالرؤية الحاسوبية في السكك الحديدية، أُعدّ في المجلس الوطني للبحوث في كندا لصالح هيئة النقل الكندية Transport Canada (Siddiqui, Mammeri and Liu, 2021)، وهي أقرب رابط يمكن الاستشهاد به لهذا الموضوع.
Four sensors, four different questionsأربعة حساسات، أربعة أسئلة مختلفة
Each sensor on the roof rig answers a question the others cannot. A visual camera sees colour and texture, which is what separates green vegetation from grey ballast in the orthomosaic strips. A Thermal camera images emitted infrared instead of reflected light, so it sees temperature: a hot bearing or a person on the track at night shows up with no visible illumination at all. LiDAR is, in NOAA's definition, a remote sensing method that uses light in the form of a pulsed laser to measure ranges, and those ranges become the 3D Point cloud in which clearance and elevation can be measured. GPS contributes no picture of the scene, only where and when each frame was taken, which is what lets overlapping aerial photos be stitched into a georeferenced strip and the segmentation overlays registered onto it.
كل حساس على منصة السقف يجيب عن سؤال لا يستطيع غيره الإجابة عنه. الكاميرا المرئية ترى اللون والملمس، وهذا ما يفصل الغطاء النباتي الأخضر عن حصى السكة الرمادي في شرائط orthomosaic. أما Thermal camera فتصوّر الأشعة تحت الحمراء المنبعثة بدلًا من الضوء المنعكس، فهي ترى درجة الحرارة: محمل عجلة ساخن أو شخص على السكة ليلًا يظهر من دون أي إضاءة مرئية على الإطلاق. وLiDAR، بحسب تعريف NOAA، طريقة استشعار عن بعد تستخدم الضوء على شكل ليزر نبضي لقياس المسافات، وتتحول تلك المسافات إلى point cloud ثلاثية الأبعاد يمكن قياس الخلوص والارتفاع فيها. لا يقدّم GPS أي صورة للمشهد، بل فقط أين ومتى التُقطت كل لقطة، وهذا ما يسمح بخياطة الصور الجوية المتداخلة في شريط مرجعي جغرافيًا (georeferenced) وتسجيل طبقات التقسيم فوقه.
| Sensorالحساس | Measuresما يقيسه | Good atيتقن | Weak atيضعف في | Data rate pressureضغط معدل البيانات |
|---|---|---|---|---|
| Visual (RGB) cameraالكاميرا المرئية (RGB) | Reflected visible lightالضوء المرئي المنعكس | Colour and texture: vegetation against rail, paint, signsاللون والملمس: الغطاء النباتي مقابل السكة، والطلاء، واللافتات | Darkness, rain, glareالظلام، والمطر، والوهج | Highest: full-colour frames at video rateالأعلى: إطارات كاملة الألوان بمعدل الفيديو |
| Thermal (IR) cameraالكاميرا الحرارية (IR) | Emitted infrared, so temperatureالأشعة تحت الحمراء المنبعثة، أي درجة الحرارة | Hot bearings, people and animals at nightالمحامل الساخنة، والأشخاص والحيوانات ليلًا | No colour, lower resolutionلا ألوان، ودقة أقل | Moderate: fewer pixels per frameمتوسط: بكسلات أقل في كل إطار |
| LiDARLiDAR | Laser pulse time of flight, so rangeزمن طيران نبضة الليزر، أي المسافة | Geometry, clearance, elevation, 3D point cloudsالهندسة، والخلوص، والارتفاع، وسحب النقاط ثلاثية الأبعاد (3D point clouds) | Sparse at long range, cost, weightمتفرّق على المسافات البعيدة، والتكلفة، والوزن | High: millions of points per secondمرتفع: ملايين النقاط في الثانية |
| GPS receiverمستقبل GPS | Position and timeالموقع والزمن | Georeferencing every frame and pointالإسناد الجغرافي لكل إطار ولكل نقطة | Nothing about the scene itselfلا شيء عن المشهد نفسه | Negligibleضئيل |
Why the payload cannot carry muchلماذا لا تستطيع الحمولة أن تحمل الكثير
The reason this slide belongs in an embedded machine learning course is the platform, not the sensors. A UAV lifts a fixed mass, and every gram of camera, LiDAR or computer is a gram less battery. Its flight time is set by that battery, and the compute it can run is set by what the battery can feed without shortening the flight. A car rig has more of all three, but still nothing like a data center. So there are exactly two ways to turn the sensor streams into an inspection result: shrink the model until it runs on board, which is the E of SERV, or ship the raw data somewhere that can process it.
سبب وجود هذه الشريحة في مقرر عن تعلّم الآلة المدمج هو المنصة، لا الحساسات. الطائرة المسيّرة ترفع كتلة ثابتة، وكل غرام من الكاميرا أو LiDAR أو الحاسوب هو غرام أقل من البطارية. زمن طيرانها تحدده تلك البطارية، والحوسبة التي يمكنها تشغيلها تحددها قدرة البطارية على تغذيتها من دون تقصير زمن الطيران. منصة السيارة لديها قدر أكبر من الثلاثة، لكنها لا تزال بعيدة جدًا عن مركز بيانات. لذلك هناك طريقتان فقط لتحويل تدفقات الحساسات إلى نتيجة فحص: تصغير النموذج حتى يعمل على متن المنصة، وهذا هو حرف E في SERV، أو إرسال البيانات الخام إلى مكان يستطيع معالجتها.
Shipping the raw data does not scale. Satyanarayanan's edge computing argument gives the numbers: if 12,000 users each stream 1080p video, the ingress link into the cloud needs about 100 Gbit/s, and a million users would need 8.5 Tbit/s. The cumulative demand is "considerably lower if the raw data is analyzed on cloudlets" near the sensors and only the extracted information travels onward (Satyanarayanan, 2017). Five cameras on one vehicle are a very small version of the same problem.
إرسال البيانات الخام لا يتوسّع. حجة Satyanarayanan عن الحوسبة الطرفية تعطي الأرقام: إذا بثّ 12,000 مستخدم كلٌّ منهم فيديو بدقة 1080p، فإن الوصلة الداخلة إلى السحابة تحتاج إلى نحو 100 Gbit/s، ومليون مستخدم يحتاجون إلى 8.5 Tbit/s. ويكون الطلب التراكمي "أقل بكثير إذا حُلّلت البيانات الخام على cloudlets" قرب الحساسات ولم تنتقل إلا المعلومات المستخرجة (Satyanarayanan, 2017). خمس كاميرات على مركبة واحدة نسخة صغيرة جدًا من المشكلة نفسها.
Worked exampleمثال محلول
How much video does a five-camera rig produce?كم من الفيديو تنتج منصة بخمس كاميرات؟
Assume a bit rate per cameraافترض معدل بتات لكل كاميرا
Take five 1080p cameras at an assumed 8 Mbit/s each after compression. This is an illustrative figure, not one from the slide.خذ خمس كاميرات بدقة 1080p بمعدل مفترض قدره 8 Mbit/s لكل منها بعد الضغط. هذا رقم توضيحي، وليس من الشريحة.Total streamالتدفق الكلي
5 × 8 = 40 Mbit/s leaving the rig continuously.5 × 8 = 40 Mbit/s تخرج من المنصة باستمرار.One hour of drivingساعة واحدة من القيادة
40 × 3600 = 144,000 Mbit, which is 18 GB per hour.40 × 3600 = 144,000 Mbit، أي 18 GB في الساعة.Upload over a rural linkالرفع عبر وصلة ريفية
At a 5 Mbit/s cellular uplink, 144,000 / 5 = 28,800 s, that is 8 hours to upload one hour of driving.بوصلة رفع خلوية بسرعة 5 Mbit/s، يكون 144,000 / 5 = 28,800 s، أي 8 ساعات لرفع ساعة واحدة من القيادة.Resultالنتيجة
The rig cannot upload what it records. It must detect on board and upload detections, which is why the model on the chip has to fit the platform's budget.لا تستطيع المنصة رفع ما تسجّله. يجب أن تكشف على متنها وترفع نتائج الكشف فقط، ولهذا يجب أن يتّسع النموذج الموجود على الشريحة ضمن ميزانية المنصة.
Recall
Name the four sensors labelled on the slide 3 vehicle rigs and one thing each measures.سمِّ الحساسات الأربعة المعنونة على منصات المركبات في الشريحة 3، وشيئًا واحدًا يقيسه كلٌّ منها.
A farm robot drives between rows of cotton seedlings and must find the weeds without stopping. That is an Object detection task, and the model that does it rides on the robot: no cloud, no rack, just whatever compute the vehicle's battery can feed. Slide 4 shows the instructor's answer, EcoWeedNet, described on the slide as lightweight, computationally and energy efficient, and aimed at sustainable, low-carbon, consumer-electronics-based Precision agriculture.
روبوت زراعي يسير بين صفوف شتلات القطن ويجب أن يجد الأعشاب الضارة دون أن يتوقف. هذه مهمة Object detection، والنموذج الذي ينفّذها يركب على الروبوت: لا سحابة، ولا خوادم، فقط أي قدرة حوسبة تستطيع بطارية المركبة تغذيتها. تعرض الشريحة 4 إجابة الأستاذ، EcoWeedNet، الموصوف على الشريحة بأنه خفيف، وفعّال حسابيًا وفي استهلاك الطاقة، وموجّه إلى Precision agriculture مستدامة ومنخفضة الكربون وقائمة على الإلكترونيات الاستهلاكية.
Drives the field and carries the camera.
يتحرك في الحقل ويحمل الكاميرا.
Frames taken in the field, in sun and shadow.
إطارات ملتقطة في الحقل، في الشمس والظل.
A small network that runs within the robot's budget.
شبكة صغيرة تعمل ضمن ميزانية الروبوت.
Boxes the robot can act on.
صناديق يستطيع الروبوت أن يتصرف بناءً عليها.
Efficient: what a nano detector isالكفاءة: ما هو الكاشف النانوي
The comparison on slide 4 is against YOLO11n and YOLO12n. In the YOLO family the suffix is a size class: n (nano) is the smallest, then s, m, l and x. The classes share one architecture and differ in width and depth, so the table below is the cleanest picture of what "lightweight" costs and buys. The figures are Ultralytics' own, on COCO validation at 640 px.
المقارنة في الشريحة 4 هي مع YOLO11n وYOLO12n. في عائلة YOLO تدل اللاحقة على فئة الحجم: n (نانو) هي الأصغر، ثم s وm وl وx. تشترك الفئات في بنية واحدة وتختلف في العرض والعمق، لذا فالجدول أدناه أوضح صورة لما يكلّفه وما يشتريه وصف "خفيف". الأرقام من Ultralytics نفسها، على مجموعة التحقق من COCO بدقة 640 px.
| Modelالنموذج | Parametersالمعاملات | FLOPsFLOPs | mAP50-95mAP50-95 | CPU ONNX latencyزمن الاستجابة على CPU عبر ONNX | T4 TensorRT latencyزمن الاستجابة على T4 عبر TensorRT |
|---|---|---|---|---|---|
| YOLO11nYOLO11n | 2.6M2.6M | 6.5B6.5B | 39.539.5 | 56.1 ms56.1 ms | 1.5 ms1.5 ms |
| YOLO12nYOLO12n | 2.6M2.6M | 7.5B7.5B | 40.640.6 | not listedغير مذكور | 1.64 ms1.64 ms |
| YOLO11mYOLO11m | 20.1M20.1M | 68.1B68.1B | 51.551.5 | 183.2 ms183.2 ms | 4.7 ms4.7 ms |
| YOLO11xYOLO11x | 56.9M56.9M | 195.3B195.3B | 54.754.7 | 462.8 ms462.8 ms | 11.3 ms11.3 ms |
Worked exampleمثال محلول
Nano versus mediumالنانوي مقابل المتوسط
Parametersالمعاملات
20.1 / 2.6 ≈ 7.7x fewer parameters in YOLO11n than YOLO11m.عدد parameters في YOLO11n أقل بـ 20.1 / 2.6 ≈ 7.7x مرة منه في YOLO11m.Computeالحوسبة
68.1 / 6.5 ≈ 10.5x fewer floating point operations per image.عمليات الفاصلة العائمة floating point operations لكل صورة أقل بـ 68.1 / 6.5 ≈ 10.5x مرة.Latencyزمن الاستجابة
CPU latency 183.2 / 56.1 ≈ 3.3x lower. The ratio is smaller than the FLOP ratio because small models leave part of the hardware idle.latency على CPU أقل بـ 183.2 / 56.1 ≈ 3.3x مرة. هذه النسبة أصغر من نسبة FLOPs لأن النماذج الصغيرة تترك جزءًا من العتاد خاملًا.Priceالثمن
51.5 − 39.5 = 12.0 mAP50-95 points lower.أقل بـ 51.5 − 39.5 = 12.0 نقطة في mAP50-95.Resultالنتيجة
A nano model trades a tenth of the compute for twelve points of accuracy. On a robot that must run at frame rate on a battery, that is usually the right trade, and it is the trade EcoWeedNet is designed to improve on.النموذج النانوي يقايض عُشر الحوسبة باثنتي عشرة نقطة من الدقة. على روبوت يجب أن يعمل بمعدل الإطارات على بطارية، هذه عادةً المقايضة الصحيحة، وهي المقايضة التي صُمّم EcoWeedNet ليحسّنها.
The EcoWeedNet paper reports 95.2% mAP@0.5 on the CottonWeedDet12 dataset with about 4.21% of YOLOv4's parameters and 6.59% of its GFLOPs, using two parameter-free attention modules (Khater et al., 2025). Whether a Lightweight model is good enough is always this pair of numbers: an accuracy metric next to a cost metric, never one alone.
تذكر ورقة EcoWeedNet دقة 95.2% في mAP@0.5 على مجموعة بيانات CottonWeedDet12 بنحو 4.21% من معاملات YOLOv4 و6.59% من GFLOPs الخاصة به، باستخدام وحدتي انتباه (attention modules) خاليتين من المعاملات (Khater et al., 2025). الحكم على ما إذا كان Lightweight model جيدًا بما يكفي هو دائمًا هذا الزوج من الأرقام: مقياس دقة بجانب مقياس تكلفة، وليس أحدهما وحده أبدًا.
What a GradCAM++ heatmap does and does not proveما تثبته خريطة حرارة GradCAM++ وما لا تثبته
The slide's Figure 5 lays GradCAM++ heatmaps from YOLO11n, YOLO12n and EcoWeedNet side by side on seedling images, and its caption says EcoWeedNet showed better emphasis and focus on weed-relevant regions. GradCAM++ computes a weighted combination of the positive partial derivatives of the last convolutional layer's feature maps with respect to a class score (Chattopadhyay et al., 2018). In plain terms it answers "which pixels pushed this score up". It does not answer "is this score right". A model can attend to the weed and still misclassify it, or attend to the soil and get lucky. The caption's claim is a qualitative observation about attention; the 95.2% is the quantitative claim about correctness, and they are different kinds of evidence.
يضع الشكل 5 في الشريحة خرائط حرارة GradCAM++ من YOLO11n وYOLO12n وEcoWeedNet جنبًا إلى جنب على صور الشتلات، ويقول تعليقه إن EcoWeedNet أظهر تركيزًا وإبرازًا أفضل للمناطق المتعلقة بالأعشاب الضارة. يحسب GradCAM++ تركيبة موزونة من المشتقات الجزئية الموجبة لخرائط الميزات (feature maps) في آخر طبقة التفافية بالنسبة إلى درجة فئة معينة (Chattopadhyay et al., 2018). بعبارة بسيطة، هو يجيب عن سؤال "أي البكسلات رفعت هذه الدرجة"، ولا يجيب عن سؤال "هل هذه الدرجة صحيحة". قد ينتبه النموذج إلى العشبة ومع ذلك يخطئ في تصنيفها، أو ينتبه إلى التربة ويصيب بالحظ. ادعاء التعليق ملاحظة نوعية عن الانتباه، أما 95.2% فهو الادعاء الكمّي عن الصواب، وهما نوعان مختلفان من الأدلة.
Robust: the same detector in the rainالمتانة: الكاشف نفسه تحت المطر
Slide 5 moves from a farm to a rainy sky. The task is to tell a UAV from a bird in weather that smears both into grey blobs. The baseline is YOLOv5-m, the medium class of an earlier family (21.2M parameters, 49.0B FLOPs in the Ultralytics YOLOv5 table). The instructor's model is YOLO-RAW, published in IEEE Transactions on Intelligent Transportation Systems and evaluated on three adverse test sets, rainy, additive Gaussian noise and motion blurred (Munir et al., 2025). The slide never expands RAW, and neither does the paper's title or abstract, so this course does not expand it either.
تنتقل الشريحة 5 من مزرعة إلى سماء ممطرة. المهمة هي تمييز طائرة مسيّرة UAV من طائر في طقس يلطّخ كليهما إلى كتل رمادية. خط الأساس هو YOLOv5-m، الفئة المتوسطة من عائلة أقدم (21.2M معامل و49.0B من FLOPs في جدول Ultralytics YOLOv5). ونموذج الأستاذ هو YOLO-RAW، المنشور في IEEE Transactions on Intelligent Transportation Systems، والمُقيَّم على ثلاث مجموعات اختبار صعبة: ممطرة، وبضوضاء غاوسية مضافة (additive Gaussian noise)، وبتشويش حركي (Munir et al., 2025). لا تفكّ الشريحة اختصار RAW، ولا يفكّه عنوان الورقة ولا ملخصها، لذا لا يفكّه هذا المقرر أيضًا.
| Sceneالمشهد | Objectالجسم | YOLOv5-mYOLOv5-m | YOLO-RAWYOLO-RAW |
|---|---|---|---|
| Rain skyسماء ممطرة | Gull 1 (top left)النورس 1 (أعلى اليسار) | no boxلا صندوق | Bird 0.50Bird 0.50 |
| Rain skyسماء ممطرة | Gull 2 (centre)النورس 2 (المنتصف) | UAV 0.29 (false positive)UAV 0.29 (إيجابية كاذبة) | Bird 0.63Bird 0.63 |
| Rain skyسماء ممطرة | Gull 3النورس 3 | no boxلا صندوق | Bird 0.54Bird 0.54 |
| Rain skyسماء ممطرة | Gull 4النورس 4 | no boxلا صندوق | Bird 0.73Bird 0.73 |
| Rain skyسماء ممطرة | Gull 5 (bottom)النورس 5 (الأسفل) | Bird 0.35Bird 0.35 | Bird 0.37 (approximate)Bird 0.37 (تقريبي) |
| Rain fieldحقل ممطر | Real droneطائرة مسيّرة حقيقية | UAV 0.90UAV 0.90 | UAV 0.93UAV 0.93 |
Read the second row first. YOLOv5-m looks at the centre gull and reports UAV 0.29: a False positive, and one that a drone-detection system would act on. Its only correct box is Bird 0.35. YOLO-RAW boxes all five birds with confidence scores from about 0.37 to 0.73 and reports no drone in the sky. In the bottom row, where a real drone flies over a field, both models find it, 0.90 against 0.93. The gain is not on the easy target; it is on the ambiguous ones.
اقرأ الصف الثاني أولًا. ينظر YOLOv5-m إلى النورس في المنتصف ويُبلغ عن UAV 0.29: وهذه False positive، أي إيجابية كاذبة، ومن النوع الذي سيتصرف بناءً عليه نظام كشف الطائرات المسيّرة. صندوقه الصحيح الوحيد هو Bird 0.35. أما YOLO-RAW فيحيط الطيور الخمسة كلها بصناديق بدرجات ثقة confidence scores تتراوح من نحو 0.37 إلى 0.73، ولا يُبلغ عن أي طائرة مسيّرة في السماء. وفي الصف الأخير، حيث تحلّق طائرة مسيّرة حقيقية فوق حقل، يجدها النموذجان كلاهما، 0.90 مقابل 0.93. المكسب ليس على الهدف السهل، بل على الأهداف الملتبسة.
A detector reports every box above a confidence threshold. Ultralytics' default is 0.25, and its documentation says raising it "can help reduce false positives" (Ultralytics predict mode). So a natural question is whether the baseline's mistake could be fixed by tuning the threshold instead of changing the model. Drag the slider and watch what each setting costs.
يُبلغ الكاشف عن كل صندوق فوق confidence threshold، أي عتبة الثقة. القيمة الافتراضية في Ultralytics هي 0.25، وتقول وثائقها إن رفعها "قد يساعد في تقليل الإيجابيات الكاذبة" (Ultralytics predict mode). لذا فالسؤال الطبيعي هو: هل يمكن إصلاح خطأ خط الأساس بضبط العتبة بدلًا من تغيير النموذج؟ اسحب المنزلق وراقب ما يكلّفه كل إعداد.
| Model | Shown | TP | FP | FN | Precision | Recall |
|---|---|---|---|---|---|---|
| YOLOv5-m | 2 | 1 | 1 | 4 | 0.50 | 0.20 |
| YOLO-RAW | 5 | 5 | 0 | 0 | 1.00 | 1.00 |
At the default 0.25 YOLOv5-m reports a false UAV at 0.29 and one bird; YOLO-RAW reports all five birds and no false positives.عند القيمة الافتراضية 0.25 يبلّغ YOLOv5-m عن طائرة مسيّرة (UAV) خاطئة بثقة 0.29 وعن طائر واحد، بينما يبلّغ YOLO-RAW عن الطيور الخمسة كلها دون أي إيجابيات كاذبة.
Boxes and confidences are the ones printed on slide 5; the fifth YOLO-RAW label is partly occluded and marked ~. Teal boxes match the true class, light boxes do not. Ground truth is 5 birds.الصناديق ودرجات الثقة هي المطبوعة على الشريحة 5، والتسمية الخامسة عند YOLO-RAW محجوبة جزئيًا ولذلك عُلّمت بالرمز ~. الصناديق الخضراء المزرقة تطابق الفئة الحقيقية، والصناديق الفاتحة لا تطابقها. الحقيقة الأرضية (ground truth) هي 5 طيور.
At 0.30 the false UAV disappears and YOLOv5-m loses nothing else, but it still sees one bird in five. At 0.60 YOLOv5-m already reports nothing and YOLO-RAW has lost three of its five correct birds. The threshold only slices whatever confidence mass the model produced. YOLO-RAW is better because it moved that mass onto the right classes in the first place, not because it was thresholded differently.
عند 0.30 تختفي الطائرة المسيّرة الوهمية ولا يخسر YOLOv5-m شيئًا آخر، لكنه لا يزال لا يرى إلا طائرًا واحدًا من خمسة. وعند 0.60 لا يُبلغ YOLOv5-m عن أي شيء أصلًا، ويكون YOLO-RAW قد خسر ثلاثة من طيوره الخمسة الصحيحة. العتبة تقطع فقط كتلة الثقة التي أنتجها النموذج، أيًّا كانت. YOLO-RAW أفضل لأنه نقل تلك الكتلة إلى الفئات الصحيحة من البداية، لا لأنه طُبّقت عليه عتبة مختلفة.
Recall
In the slide 5 rain scene, which model produced a false positive, what was it, and at what confidence?في مشهد المطر في الشريحة 5، أي نموذج أنتج إيجابية كاذبة، وما هي، وبأي درجة ثقة؟
Recall
What does a GradCAM++ heatmap show and what does it not show?ماذا تُظهر خريطة حرارة GradCAM++ وماذا لا تُظهر؟
Recall
Roughly how many times fewer parameters and FLOPs does YOLO11n have than YOLO11m, and at what mAP cost?كم مرة تقريبًا يقلّ عدد المعاملات وFLOPs في YOLO11n عنه في YOLO11m، وبأي تكلفة في mAP؟
Quick checkاختبار سريع
Why would a farm robot's designer pick a nano YOLO variant over a medium one?لماذا يختار مصمم روبوت زراعي نسخة YOLO النانوية بدلًا من النسخة المتوسطة؟
Quick checkاختبار سريع
In the slide 5 rain scene, which model labelled a gull as a UAV?في مشهد المطر في الشريحة 5، أي نموذج سمّى نورسًا طائرة مسيّرة UAV؟
Quick checkاختبار سريع
What does a GradCAM++ heatmap over a seedling image show?ماذا تُظهر خريطة حرارة GradCAM++ فوق صورة شتلة؟
A home or factory gateway forwards packets from hundreds of Internet of Things devices, and it has a fraction of a phone's compute. Somewhere in that box a decision has to be made, per packet or per flow, about whether the traffic is an attack. That is an Intrusion detection system, and slide 6 is the first page of the instructor's PNet-IDS paper, a lightweight and generalizable Convolutional neural network for intrusion detection in the Internet of Things.
بوابة منزلية أو في مصنع تمرّر الحزم من مئات أجهزة Internet of Things، ولديها جزء صغير من قدرة الهاتف الحسابية. في مكان ما داخل ذلك الصندوق يجب اتخاذ قرار، لكل حزمة أو لكل تدفق (flow)، بشأن ما إذا كانت حركة البيانات هجومًا. هذا هو Intrusion detection system، أي نظام كشف التسلل، والشريحة 6 هي الصفحة الأولى من ورقة الأستاذ PNet-IDS، وهي شبكة CNN خفيفة وقابلة للتعميم لكشف التسلل في إنترنت الأشياء.
The paper as printed on slide 6الورقة كما طُبعت في الشريحة 6
- Titleالعنوان
- PNet-IDS: A Lightweight and Generalizable Convolutional Neural Network for Intrusion Detection in Internet of ThingsPNet-IDS: A Lightweight and Generalizable Convolutional Neural Network for Intrusion Detection in Internet of Things
- Authorsالمؤلفون
- Auwal Sani Iliyasu, Abdul Jabbar Siddiqui (Member, IEEE), Houbing Song (Fellow, IEEE), Fahad Jibrin AbduAuwal Sani Iliyasu، وAbdul Jabbar Siddiqui (عضو IEEE)، وHoubing Song (زميل IEEE Fellow)، وFahad Jibrin Abdu
- Venueجهة النشر
- IEEE Access, open access research articleIEEE Access، مقالة بحثية مفتوحة الوصول
- Timelineالجدول الزمني
- Received 6 May 2025, accepted 22 May 2025, published 2 June 2025, current version 19 June 2025استُلمت في 6 May 2025، وقُبلت في 22 May 2025، ونُشرت في 2 June 2025، والنسخة الحالية بتاريخ 19 June 2025
- DOI
- 10.1109/ACCESS.2025.357570510.1109/ACCESS.2025.3575705
- Fundingالتمويل
- KFUPM Deanship of Research and the IRC for Intelligent Secure Systems, grant INSS2309عمادة البحث العلمي في KFUPM ومركز البحث المتعدد التخصصات للأنظمة الذكية الآمنة (IRC for Intelligent Secure Systems)، المنحة INSS2309
Why an intrusion detector must be lightweightلماذا يجب أن يكون كاشف التسلل خفيفًا
The abstract states the problem in one sentence: deep learning detectors perform well, but their "high computational and storage requirements make these impractical for most IoT devices" (Iliyasu et al., 2025). NIST's guide to intrusion detection and prevention lists four classes of system, and the relevant one here is network-based: a sensor that watches traffic on a segment and analyses it for suspicious activity (NIST SP 800-94). On an IoT gateway that sensor is the gateway itself, so the model competes for the same small CPU that forwards the packets, and it has to keep up with the link, which network engineers call running at line rate.
يذكر الملخص المشكلة في جملة واحدة: كواشف التعلّم العميق تؤدي جيدًا، لكن "متطلباتها العالية من الحوسبة والتخزين تجعلها غير عملية لمعظم أجهزة IoT" (Iliyasu et al., 2025). يسرد دليل NIST لكشف التسلل ومنعه أربعة أصناف من الأنظمة، والصنف المعني هنا هو القائم على الشبكة (network-based): حساس يراقب حركة البيانات على مقطع من الشبكة ويحللها بحثًا عن نشاط مريب (NIST SP 800-94). على بوابة IoT يكون ذلك الحساس هو البوابة نفسها، فيتنافس النموذج على المعالج الصغير نفسه الذي يمرّر الحزم، ويجب أن يواكب سرعة الوصلة، وهو ما يسميه مهندسو الشبكات العمل بـ line rate.
Worked exampleمثال محلول
Line-rate arithmetic on a gateway (illustrative numbers)حساب line rate على بوابة (أرقام توضيحية)
Packets per secondالحزم في الثانية
A 100 Mbit/s link carrying 500-byte packets delivers packets per second. A flow-level IDS aggregates packets before scoring, so this per-packet figure is the upper bound on inspection cost.وصلة بسرعة 100 Mbit/s تحمل حزمًا بحجم 500 بايت توصل حزمة في الثانية. نظام IDS على مستوى التدفق يجمّع الحزم قبل تقييمها، لذا فهذا الرقم لكل حزمة هو الحد الأعلى لتكلفة الفحص.Time budget per packetالميزانية الزمنية لكل حزمة
1 / 25,000 = 40 µs. Any per-packet decision slower than that falls behind the link.1 / 25,000 = 40 µs. أي قرار لكل حزمة أبطأ من ذلك يتخلّف عن الوصلة.A heavy modelنموذج ثقيل
If one decision needs 10 MFLOPs and the gateway CPU sustains 1 GFLOP/s, one decision takes 10 ms, about 250x too slow.إذا احتاج القرار الواحد إلى 10 MFLOPs وكان معالج البوابة يحافظ على 1 GFLOP/s، فإن القرار الواحد يستغرق 10 ms، أي أبطأ من اللازم بنحو 250x.A light modelنموذج خفيف
At 0.02 MFLOPs per decision the same CPU answers in 20 µs, inside the budget.بـ 0.02 MFLOPs لكل قرار، يجيب المعالج نفسه في 20 µs، أي داخل الميزانية.Resultالنتيجة
The deadline is set by the link, not by the designer. Reducing FLOPs is what moves a detector from impractical to deployable, which is why the paper counts FLOPs, parameters and model size as first-class results.المهلة تحددها الوصلة، لا المصمم. تقليل FLOPs هو ما ينقل الكاشف من غير عملي إلى قابل للنشر، ولهذا تعدّ الورقة FLOPs وعدد parameters وحجم النموذج نتائج من الدرجة الأولى.
That is the Efficient leg. The Robust leg is the word generalizable in the title. An IDS trained on one dataset meets, in deployment, traffic and attacks it never saw, a distribution shift. PNet-IDS addresses this with a knowledge distillation framework, in which a small student network is trained to reproduce a larger teacher, and reports that robustness against distribution shifts in network traffic is enhanced as a result. The benchmarks are BoT-IoT and CIC-IDS2017, and the claimed wins are reduced parameter count, reduced FLOPs and reduced model size while maintaining high accuracy and precision (Iliyasu et al., 2025).
هذه رِجل الكفاءة Efficient. أما رِجل المتانة Robust فهي كلمة generalizable في العنوان. نظام IDS المدرَّب على مجموعة بيانات واحدة يواجه عند النشر حركة بيانات وهجمات لم يرها قط، أي distribution shift، انزياح التوزيع. يعالج PNet-IDS ذلك بإطار knowledge distillation، حيث تُدرَّب شبكة طالبة صغيرة على محاكاة شبكة معلّمة أكبر، ويذكر أن المتانة أمام انزياحات التوزيع في حركة الشبكة تتحسن نتيجة لذلك. معايير القياس هي BoT-IoT وCIC-IDS2017، والمكاسب المُدّعاة هي تقليل عدد المعاملات وتقليل FLOPs وتقليل حجم النموذج مع الحفاظ على دقة accuracy وprecision عاليتين (Iliyasu et al., 2025).
Recall
Give two reasons an IoT intrusion detector must be lightweight, and say what generalizable means in PNet-IDS.اذكر سببين يوجبان أن يكون كاشف التسلل في IoT خفيفًا، وقل ما معنى generalizable في PNet-IDS.
Quick checkاختبار سريع
Why must an IoT intrusion detector such as PNet-IDS be lightweight?لماذا يجب أن يكون كاشف التسلل في IoT مثل PNet-IDS خفيفًا؟
The last two slides are photographs with no captions, and both show a decision that has to be made before the world moves on. Slide 7 pairs a low-speed autonomous shuttle with a pedestrian crossing in front of it and a schematic of a T-intersection where a red arrow, a vehicle turning left, crosses a blue arrow, a pedestrian in the crosswalk. Slide 8 shows grayscale undercarriage images of rail cars: one component circled as defective or missing, and a crack pulled out in a zoom box.
الشريحتان الأخيرتان صورتان فوتوغرافيتان بلا تعليقات، وكلتاهما تُظهر قرارًا يجب اتخاذه قبل أن يتحرك العالم. تجمع الشريحة 7 بين مركبة ذاتية القيادة منخفضة السرعة (shuttle) يعبر أمامها أحد المشاة، ومخطط لتقاطع على شكل T يتقاطع فيه سهم أحمر، وهو مركبة تنعطف يسارًا، مع سهم أزرق، وهو أحد المشاة على ممر العبور. وتعرض الشريحة 8 صورًا رمادية لأسفل عربات قطارات: مكوّن واحد محاط بدائرة على أنه معيب أو مفقود، وشقّ مكبَّر في مربع تكبير.
The left-turn pedestrian conflictتعارض الانعطاف يسارًا مع المشاة
The schematic is the left-turn pedestrian conflict, a named pattern in Intelligent transportation systems safety analysis. A left-turning driver scans for oncoming vehicles, accepts a gap, and turns into a crosswalk where a pedestrian is already crossing. FHWA research on left-turn phasing found that protected phasing reduced vehicle-to-vehicle injury crashes but did not significantly reduce vehicle-to-pedestrian crashes, and that under permissive phasing the turning driver must pick a gap in oncoming traffic and yield to the crosswalk at the same time, which prior studies flag as a strong conflict potential (FHWA, HRT-18-044). For an autonomous shuttle the problem is the same one the human driver has, and the detector that watches the crosswalk must answer before the vehicle enters it.
المخطط هو left-turn pedestrian conflict، أي تعارض الانعطاف يسارًا مع المشاة، وهو نمط معروف بالاسم في تحليل السلامة ضمن Intelligent transportation systems. السائق المنعطف يسارًا يبحث عن المركبات القادمة من الاتجاه المقابل، ويقبل فجوة، ثم ينعطف إلى ممر عبور يكون فيه أحد المشاة يعبر بالفعل. وجدت أبحاث FHWA حول مراحل إشارات الانعطاف يسارًا أن المرحلة المحمية (protected phasing) قلّلت حوادث الإصابات بين المركبات، لكنها لم تقلل بشكل ملحوظ حوادث المركبات مع المشاة، وأنه في المرحلة المسموحة (permissive phasing) يجب على السائق المنعطف أن يختار فجوة في حركة المرور المقابلة وأن يفسح الطريق لممر العبور في الوقت نفسه، وهو ما تعدّه دراسات سابقة احتمال تعارض قويًا (FHWA, HRT-18-044). بالنسبة إلى المركبة الذاتية، المشكلة هي نفسها التي يواجهها السائق البشري، والكاشف الذي يراقب ممر العبور يجب أن يجيب قبل أن تدخله المركبة.
Looking under the trainالنظر أسفل القطار
Slide 8 belongs to Automated visual inspection of rolling stock: cameras placed by the track or under it photograph each wagon as it passes, and a model flags anything that does not look like an intact component. The instructor reviewed exactly this field for Transport Canada while at NRC (Siddiqui, Mammeri and Liu, 2021). The slide itself carries no citation, so the images are described here as an example of the problem class, not attributed to a particular system.
تنتمي الشريحة 8 إلى Automated visual inspection لـ rolling stock، أي عربات القطارات: كاميرات موضوعة بجانب السكة أو تحتها تصوّر كل عربة أثناء مرورها، ونموذج يُعلِّم أي شيء لا يبدو مكوّنًا سليمًا. وقد راجع الأستاذ هذا المجال تحديدًا لصالح Transport Canada أثناء عمله في NRC (Siddiqui, Mammeri and Liu, 2021). الشريحة نفسها لا تحمل أي مرجع، لذا توصف الصور هنا على أنها مثال على صنف المشكلة، لا منسوبة إلى نظام بعينه.
Physics sets the deadlineالفيزياء تحدد المهلة
What unites the shuttle and the wagon is that the time available for Inference is not a design preference. It is set by how fast the scene changes. Satyanarayanan's remark that "the speed of light is an obvious physical limit on latency" (Satyanarayanan, 2017) is the reason a cloud round trip cannot be the answer here: the distance the vehicle covers during the latency of the reply is the safety margin lost.
ما يجمع المركبة الذاتية والعربة هو أن الوقت المتاح لـ Inference ليس تفضيلًا تصميميًا، بل تحدده سرعة تغيّر المشهد. ملاحظة Satyanarayanan بأن "سرعة الضوء حدّ فيزيائي واضح على زمن الاستجابة" (Satyanarayanan, 2017) هي السبب في أن رحلة الذهاب والإياب إلى السحابة لا يمكن أن تكون الحل هنا: المسافة التي تقطعها المركبة خلال latency الرد هي هامش السلامة المفقود.
Worked exampleمثال محلول
Metres lost per millisecond of latencyالأمتار المفقودة لكل ميلي ثانية من التأخير
The shuttleالمركبة الذاتية
At 10 m/s a vehicle covers 1 m every 100 ms. A 200 ms cloud round trip is 2 m of travel before the detector's answer arrives.بسرعة 10 m/s تقطع المركبة 1 m كل 100 ms. رحلة ذهاب وإياب إلى السحابة تستغرق 200 ms تعني 2 m من الحركة قبل أن تصل إجابة الكاشف.The wagonالعربة
A wagon passing a wayside camera at 15 m/s moves 1.5 m every 100 ms. At 30 frames per second the model has about 33 ms per frame before the next one arrives and the wagon has moved another 0.5 m.عربة تمر بكاميرا بجانب السكة بسرعة 15 m/s تتحرك 1.5 m كل 100 ms. وعند 30 إطارًا في الثانية يكون لدى النموذج نحو 33 ms لكل إطار قبل وصول الإطار التالي، وتكون العربة قد تحركت 0.5 m أخرى.Resultالنتيجة
In both cases the budget is tens of milliseconds, and the network alone can spend that. The model runs on an Embedded system next to the camera, which means it must be small enough to fit there.في الحالتين الميزانية عشرات من الميلي ثانية، والشبكة وحدها قد تستهلكها. يعمل النموذج على Embedded system بجوار الكاميرا، مما يعني أنه يجب أن يكون صغيرًا بما يكفي ليتّسع هناك.
| Scenarioالسيناريو | Sensorالحساس | Decisionالقرار | Deadline driverما يحدد المهلة | Cost of a missتكلفة الإخفاق |
|---|---|---|---|---|
| Shuttle at a T-intersectionمركبة ذاتية القيادة (shuttle) عند تقاطع على شكل T | Forward camera on the vehicleكاميرا أمامية على المركبة | Yield, brake or proceed on a left turnإفساح الطريق أو الكبح أو المتابعة عند الانعطاف يسارًا | Vehicle and pedestrian speedسرعة المركبة وسرعة المشاة | A pedestrian is struckصدم أحد المشاة |
| Rolling-stock undercarriageأسفل عربات القطار (rolling stock) | Wayside or under-track cameraكاميرا بجانب السكة أو تحتها | Flag a cracked or missing componentالإبلاغ عن مكوّن متشقق أو مفقود | Train speed past the cameraسرعة القطار أثناء مروره بالكاميرا | A defect leaves the yard undetectedخروج عيب من الساحة دون اكتشافه |
Recall
Why is a cloud round trip unacceptable for the shuttle and the wagon inspection, in one sentence each?لماذا تُعدّ رحلة الذهاب والإياب إلى السحابة غير مقبولة للمركبة الذاتية ولفحص العربة، في جملة واحدة لكل منهما؟
Recapالخلاصة
If you remember nothing elseإن لم تتذكر شيئاً آخر فتذكّر هذا
- SERV: Secure (adversarial ML, IDS), Efficient (compression, nano models), Robust (rain, noise, blur, shift), Vision.SERV: آمن Secure (تعلّم الآلة العدائي adversarial ML، وأنظمة كشف التسلل IDS)، فعّال Efficient (الضغط، والنماذج النانوية nano)، متين Robust (المطر، والضوضاء، والتشويش الحركي blur، والانزياح shift)، رؤية Vision.
- Inspection rigs carry RGB, thermal, LiDAR and GPS; a UAV's weight, battery and compute cap what the on-board model can be.تحمل منصات الفحص كاميرا RGB وكاميرا حرارية وLiDAR وGPS، ووزن الطائرة المسيّرة وبطاريتها وقدرتها الحسابية هي ما يحدّ النموذج الذي يمكن تشغيله على متنها.
- Analyze near the sensor, ship the extracted information: 12,000 1080p streams already need 100 Gbit/s into a cloud.حلّل البيانات قرب الحساس، وأرسل المعلومات المستخرجة فقط: 12,000 بثّ بدقة 1080p تحتاج وحدها إلى 100 Gbit/s داخلة إلى السحابة.
- A nano YOLO is the smallest scale: YOLO11n has 2.6M parameters and 6.5B FLOPs against 20.1M and 68.1B for YOLO11m, for 12 mAP points.YOLO النانوي هو أصغر حجم: لدى YOLO11n عدد 2.6M من المعاملات و6.5B من FLOPs مقابل 20.1M و68.1B لدى YOLO11m، والثمن 12 نقطة mAP.
- EcoWeedNet: 95.2% mAP@0.5 on CottonWeedDet12 with about 4.21% of YOLOv4's parameters and 6.59% of its GFLOPs.EcoWeedNet: دقة 95.2% mAP@0.5 على CottonWeedDet12 بنحو 4.21% من معاملات YOLOv4 و6.59% من GFLOPs الخاصة به.
- GradCAM++ shows where the class score's evidence sits; it does not certify correctness.يُظهر GradCAM++ أين يقع الدليل الذي رفع درجة الفئة، لكنه لا يشهد بصحة التنبؤ.
- YOLOv5-m produced a false UAV at 0.29 in rain; YOLO-RAW boxed the birds at 0.37 to 0.73. A threshold slices confidence mass; a better model moves it. RAW is not expanded.أنتج YOLOv5-m طائرة مسيّرة UAV وهمية بثقة 0.29 في المطر، بينما أحاط YOLO-RAW الطيور بصناديق بثقة من 0.37 إلى 0.73. العتبة تقطع كتلة الثقة الموجودة، أما النموذج الأفضل فينقلها. اختصار RAW غير مفكوك.
- PNet-IDS cuts FLOPs, parameters and size so an IoT gateway can detect intrusions in real time, and uses knowledge distillation to hold up under traffic distribution shift.يخفّض PNet-IDS عدد FLOPs والمعاملات وحجم النموذج كي تكشف بوابة IoT التسلل في الزمن الحقيقي، ويستخدم تقطير المعرفة knowledge distillation ليصمد أمام انزياح توزيع حركة الشبكة.
- Shuttle intersections and undercarriage inspection are deadline-bound: distance travelled per millisecond of latency decides where inference runs.تقاطعات المركبة الذاتية shuttle وفحص أسفل عربات القطار مقيّدة بمهلة زمنية: المسافة المقطوعة في كل ميلي ثانية من التأخير هي ما يحدد أين يجري الاستدلال.
Sourcesالمصادر
- Abdul Jabbar Siddiqui, faculty profileDocsKFUPM Department of Computer EngineeringPositions and degree year ranges.المناصب وفترات سنوات الشهادات.(opens in a new tab)(يفتح في تبويب جديد)
- Automated machine vision inspection systems in railways: literature reviewDocsNational Research Council Canada for Transport Canada, 2021 (Siddiqui, Mammeri, Liu)Report AST-2021-0055. Cited for the rail inspection theme, not for the slide 3 or slide 8 images.التقرير AST-2021-0055. يُستشهد به لموضوع فحص السكك الحديدية، لا لصور الشريحة 3 أو الشريحة 8.(opens in a new tab)(يفتح في تبويب جديد)
- EcoWeedNet: A Lightweight and Automated Weed Detection Method for Sustainable Next-Generation Agricultural Consumer ElectronicsPaperarXiv, 2025 (Khater, Siddiqui, Hossain, El-Maleh)95.2% mAP@0.5 on CottonWeedDet12 with about 4.21% of YOLOv4's parameters and 6.59% of its GFLOPs.دقة 95.2% في mAP@0.5 على CottonWeedDet12 بنحو 4.21% من معاملات YOLOv4 و6.59% من GFLOPs الخاصة به.(opens in a new tab)(يفتح في تبويب جديد)
- YOLO-RAW: Advancing UAV Detection With Robustness to Adverse Weather ConditionsPaperIEEE Transactions on Intelligent Transportation Systems, vol. 26, no. 6, 2025 (Munir, Siddiqui, Hossain, El-Maleh)Rainy, AWGN and motion blurred test sets. RAW is not expanded in the title or abstract.مجموعات اختبار ممطرة، وبضوضاء AWGN، وبتشويش حركي. اختصار RAW غير مفكوك في العنوان ولا في الملخص.(opens in a new tab)(يفتح في تبويب جديد)
- PNet-IDS: A Lightweight and Generalizable Convolutional Neural Network for Intrusion Detection in Internet of ThingsPaperIEEE Access, 2025 (Iliyasu, Siddiqui, Song, Abdu)FLOPs, parameters and size reduced while accuracy is maintained; knowledge distillation for distribution shift; BoT-IoT and CIC-IDS2017.تقليل FLOPs والمعاملات والحجم مع الحفاظ على الدقة، وتقطير المعرفة knowledge distillation لمواجهة انزياح التوزيع، ومعيارا BoT-IoT وCIC-IDS2017.(opens in a new tab)(يفتح في تبويب جديد)
- Grad-CAM++: Improved Visual Explanations for Deep Convolutional NetworksPaperWACV 2018 (Chattopadhyay, Sarkar, Howlader, Balasubramanian)Weighted combination of positive partial derivatives of last-layer feature maps with respect to a class score.تركيبة موزونة من المشتقات الجزئية الموجبة لخرائط الميزات في الطبقة الأخيرة بالنسبة إلى درجة فئة.(opens in a new tab)(يفتح في تبويب جديد)
- Explaining and Harnessing Adversarial ExamplesPaperICLR 2015 (Goodfellow, Shlens, Szegedy)Adversarial examples as small, intentionally worst-case perturbations.الأمثلة العدائية بوصفها اضطرابات صغيرة ومقصودة تمثّل أسوأ حالة.(opens in a new tab)(يفتح في تبويب جديد)
- MCUNet: Tiny Deep Learning on IoT DevicesPaperNeurIPS 2020 (Lin, Chen, Lin, Cohn, Gan, Han)Microcontroller memory two to three orders of magnitude below a mobile phone.ذاكرة المتحكمات الدقيقة أصغر بمرتبتين إلى ثلاث مراتب عشرية من ذاكرة الهاتف المحمول.(opens in a new tab)(يفتح في تبويب جديد)
- The Emergence of Edge ComputingPaperIEEE Computer, 2017 (M. Satyanarayanan)Ingress bandwidth for 12,000 and one million 1080p streams; the speed of light as a latency limit.عرض النطاق الداخل لـ 12,000 بثّ ولمليون بثّ بدقة 1080p، وسرعة الضوء بوصفها حدًّا على زمن الاستجابة.(opens in a new tab)(يفتح في تبويب جديد)
- YOLO11 model documentationDocsUltralyticsParameters, FLOPs, mAP50-95 and latency for the n, m and x classes on COCO at 640.المعاملات وFLOPs وmAP50-95 وزمن الاستجابة للفئات n وm وx على COCO بدقة 640.(opens in a new tab)(يفتح في تبويب جديد)
- YOLO12 model documentationDocsUltralyticsYOLO12n row: 2.6M parameters, 7.5B FLOPs, 40.6 mAP50-95.صف YOLO12n: عدد 2.6M من المعاملات، و7.5B من FLOPs، و40.6 في mAP50-95.(opens in a new tab)(يفتح في تبويب جديد)
- YOLOv5 repository and model tableDocsUltralyticsYOLOv5m: 21.2M parameters, 49.0B FLOPs.YOLOv5m: عدد 21.2M من المعاملات، و49.0B من FLOPs.(opens in a new tab)(يفتح في تبويب جديد)
- Predict mode: inference argumentsDocsUltralyticsDefault confidence threshold 0.25; raising it can reduce false positives.عتبة الثقة الافتراضية 0.25، ورفعها قد يقلّل الإيجابيات الكاذبة.(opens in a new tab)(يفتح في تبويب جديد)
- 6.5940 TinyML and Efficient Deep Learning Computing, Fall 2024DocsMIT HAN Lab (Song Han)Course framing; slide 11's takeaways closely mirror this description.إطار المقرر، وخلاصات الشريحة 11 تحاكي هذا الوصف عن قرب.(opens in a new tab)(يفتح في تبويب جديد)
- SP 800-94: Guide to Intrusion Detection and Prevention Systems (IDPS)DocsNIST, 2007Four classes of IDPS; network-based systems.أربعة أصناف من أنظمة IDPS، والأنظمة القائمة على الشبكة.(opens in a new tab)(يفتح في تبويب جديد)
- What is lidar?DocsNOAA National Ocean ServiceDefinition of LiDAR as pulsed-laser ranging.تعريف LiDAR بأنه قياس للمسافات بالليزر النبضي.(opens in a new tab)(يفتح في تبويب جديد)
- Safety Evaluation of Protected Left-Turn Phasing and Leading Pedestrian Intervals on Pedestrian SafetyDocsFederal Highway Administration, report HRT-18-044Left-turn phasing reduced vehicle-to-vehicle injury crashes but not vehicle-to-pedestrian crashes.مراحل إشارات الانعطاف يسارًا قلّلت حوادث الإصابات بين المركبات، لكنها لم تقلّل حوادث المركبات مع المشاة.(opens in a new tab)(يفتح في تبويب جديد)