The map: three goals, three costs, two resources

الخريطة: ثلاثة أهداف، وثلاث تكاليف، وموردان

Slide 4 is the map for the whole lecture. We want models that are smaller, faster and greener. Each goal is measured by a cost: smaller means less storage, faster means lower latency, greener means less energy. In the middle of the triangle sit the two resources that drive all three costs: computation and memory.

الشريحة 4 هي خريطة المحاضرة كلها. نريد نماذج أصغر (smaller) وأسرع (faster) وأكثر خضرة (greener). كل هدف يقاس بتكلفة: الأصغر يعني storage أقل، والأسرع يعني latency أقل، والأخضر يعني energy أقل. وفي وسط المثلث المورِدان اللذان يحرّكان التكاليف الثلاث: computation وmemory.

That split gives the two families of metrics in the slide's red box. Memory-related: #parameters, model size, total/peak #activations. Computation-related: MAC, FLOP and FLOPS, OP and OPS. Latency and throughput (slide 2's outline ends with them) are the measured outcomes those metrics try to predict.

هذا التقسيم يعطي عائلتي المقاييس في المربع الأحمر في الشريحة. المقاييس المرتبطة بالذاكرة (memory-related): #parameters وmodel size وtotal/peak #activations. والمرتبطة بالحساب (computation-related): MAC وFLOP وFLOPS وOP وOPS. أما latency وthroughput فهما النتائج المقاسة التي تحاول هذه المقاييس التنبؤ بها.

يربط هذا الجدول كل هدف بتكلفته وبالمورد الذي يحرّكها وبالمقاييس التي تتنبأ بها. لاحظ أن storage يعتمد على الذاكرة وحدها، بينما latency وenergy يعتمدان على الحساب والذاكرة معاً، ولهذا لا يكفي عدّ العمليات لتقدير السرعة أو الطاقة.

Latency: the delay for one task

Latency: زمن التأخير لمهمة واحدة

Slide 5 defines latency as the time to complete one specific task, measured in seconds or milliseconds. Its example is semantic segmentation on a city street: SegFormer takes 638 ms at 82.4 mIoU, EfficientViT takes 46 ms (45.9 ms in the paper) at 82.7 mIoU. That is 638 / 45.9 ≈ 13.9x faster with slightly better accuracy.

تعرّف الشريحة 5 الـ latency بأنه الزمن اللازم لإنجاز مهمة واحدة محددة، ويقاس بالثواني أو الميلي ثانية. المثال هو semantic segmentation لشارع: SegFormer يستغرق 638 ms بدقة 82.4 mIoU، وEfficientViT يستغرق 46 ms (45.9 ms في الورقة) بدقة 82.7 mIoU. أي أسرع بحوالي 638 / 45.9 ≈ 13.9x مع دقة أفضل قليلاً.

The footnote matters as much as the numbers: measured on NVIDIA Jetson AGX Orin with TensorRT, fp16, batch size 1. Change any of those four and the milliseconds change. A latency number is only comparable to another latency number measured under the same hardware, runtime, precision and batch size.

الحاشية مهمة بقدر الأرقام: measured on NVIDIA Jetson AGX Orin with TensorRT, fp16, batch size 1. غيّر أياً من هذه الأربعة وتتغير الميلي ثواني. رقم latency لا يقارَن إلا برقم آخر قيس على نفس العتاد (hardware) ونفس runtime ونفس الدقة العددية (precision) ونفس batch size.

Throughput: the rate at which data is processed

Throughput: معدل معالجة البيانات

Slide 6 defines throughput as the rate of processing: items completed per unit time (images/s, videos/s, tokens/s). Its example: one system processes 6.1 videos/s, another 77.4 videos/s. Throughput says nothing about how long any single video waited. It only counts completions per second.

تعرّف الشريحة 6 الـ throughput بأنه معدل المعالجة: عدد العناصر المنجزة في وحدة الزمن (images/s، videos/s، tokens/s). المثال: نظام يعالج 6.1 videos/s وآخر 77.4 videos/s. الـ throughput لا يخبرك كم انتظر أي فيديو بمفرده، بل يعدّ الإنجازات في الثانية فقط.

Slide 7: does one imply the other?

الشريحة 7: هل يستلزم أحدهما الآخر؟

Slide 7 asks two questions and answers both with the same pair of designs:

تطرح الشريحة 7 سؤالين وتجيب عنهما بنفس التصميمين:

1. Does higher throughput mean lower latency? No. Design 2 has the higher throughput (40 vs 20 img/s) but the higher latency (100 vs 50 ms). It wins on throughput by processing four images at once, while each individual image takes longer.

   هل throughput الأعلى يعني latency أقل؟ لا. التصميم 2 لديه throughput أعلى (40 مقابل 20 img/s) لكن latency أعلى (100 مقابل 50 ms). يفوز بالـ throughput لأنه يعالج أربع صور معاً، بينما تستغرق كل صورة وحدها وقتاً أطول.

2. Does lower latency mean higher throughput? No. Design 1 has the lower latency (50 ms) but only half the throughput. It finishes each image quickly but handles only one at a time.

   هل latency الأقل يعني throughput أعلى؟ لا. التصميم 1 لديه latency أقل (50 ms) لكن نصف الـ throughput فقط. ينهي كل صورة بسرعة، لكنه يعالج صورة واحدة في كل مرة.

3. When are they tied? Only when exactly one item is in flight at a time (batch size 1, no parallelism, no pipelining). Then throughput = 1 / latency. Design 1 is that case: 1 / 0.05 s = 20 img/s.

   متى يرتبطان؟ فقط عندما يكون هناك عنصر واحد قيد المعالجة في كل لحظة (batch size 1، بلا توازي ولا pipelining). عندها throughput = 1 / latency. التصميم 1 هو هذه الحالة: 1 / 0.05 s = 20 img/s.

throughput = items in flightlatency    (steady state, each batch finishes before the next starts)

Batching is why GPUs are throughput machines: a bigger batch fills more of the hardware so total images per second rises, but every image in the batch waits for the whole batch to finish, so latency rises too. Embedded and real-time systems usually run batch 1 because they care about one frame's deadline.

الـ batching هو سبب كون GPUs آلات throughput: batch أكبر يملأ جزءاً أكبر من العتاد فيرتفع عدد الصور في الثانية إجمالاً، لكن كل صورة في الـ batch تنتظر انتهاء الـ batch كله، فيرتفع الـ latency أيضاً. الأنظمة المدمجة واللحظية تعمل غالباً بـ batch 1 لأن ما يهمها هو موعد إطار واحد.

Design 1: one image at a time, 50 ms each
  latency    = 50 ms
  throughput = 1 image / 0.050 s = 20 image/s

Design 2: four images in parallel, 100 ms each
  latency    = 100 ms        (each image still waits its full 100 ms)
  throughput = 4 images / 0.100 s = 40 image/s

Server: batch 1 takes 2 ms, batch 32 takes 8 ms
  batch 1 :  latency 2 ms,  throughput 1 / 0.002  =  500 image/s
  batch 32:  latency 8 ms,  throughput 32 / 0.008 = 4000 image/s
  batching: latency 4x worse, throughput 8x better