Cloud GPUs, slides 17 and 18

وحدات GPU السحابية، الشريحتان 17 و18

Slide 17 repeats the three pillars to open the hardware pillar. Slide 18 plots five NVIDIA data-center GPUs on four charts. TOPS is trillions of operations per second, and one MAC counts as two operations (a multiply and an add).

تعيد الشريحة 17 الركائز الثلاث لتفتح ركيزة العتاد. وترسم الشريحة 18 خمس وحدات GPU من NVIDIA لمراكز البيانات في أربعة رسوم. TOPS تعني تريليونات العمليات في الثانية، وMAC الواحدة تُحسب عمليتين (ضرب وجمع).

الصيغة: TOPS تساوي ضعف عدد MACs في الثانية مقسوماً على 10¹²، والكفاءة TOPS/W تساوي ذروة TOPS مقسومة على القدرة بالواط.

الجدول يلخص الشريحة 18. من P100 إلى B100: الأداء 18.7 إلى 1750 TOPS (94x)، والقدرة 250 إلى 700 W (2.8x)، والذاكرة 16 إلى 192 GB (12x)، وعرض النطاق 732 إلى 8192 GB/s (نحو 11x). العمود الأخير محسوب: TOPS/W تحسنت نحو 33x.

The memory wall

جدار الذاكرة (memory wall)

Compute ran 94x on only 2.8x the power, so almost all of it came from efficiency. But memory capacity and bandwidth ran only about 12x. Over two decades, peak server compute grew about 3.0x every two years while DRAM bandwidth grew about 1.6x. So the arithmetic units can consume data faster than memory delivers it, and data movement, not arithmetic, becomes the limit. That is the memory wall.

الحساب نما 94x مقابل 2.8x فقط في القدرة، فجاء معظمه من الكفاءة. لكن سعة الذاكرة وعرض نطاقها نميا نحو 12x فقط. وعلى مدى عقدين، نمت ذروة حساب الخوادم نحو 3.0x كل سنتين بينما نما عرض نطاق DRAM نحو 1.6x. لذلك تستطيع وحدات الحساب استهلاك البيانات أسرع مما تستطيع الذاكرة إيصالها، فيصبح نقل البيانات، لا الحساب، هو الحد. هذا هو memory wall.

A100:  312 / 400  = 0.78 TOPS/W
B100:  1750 / 700 = 2.5  TOPS/W        (about 3.2x better in four years)
A100 dense 312 TOPS  = 156 × 10^12 MACs/s   (divide by 2)
A100 "with sparsity" = 624 TOPS            (2:4 pruned weights only)

Mobile and robot accelerators, slides 19 to 21

مسرّعات الهواتف والروبوتات، الشرائح 19 إلى 21

A phone is a sealed, fanless slab, so its sustained power is capped near 10 W by heat. Every generation must deliver its gain as TOPS per watt. A Jetson is a system on module with active cooling, sold as a ladder of power tiers.

الجوال لوح مغلق بلا مروحة، لذا قدرته المستدامة محدودة قرب 10 W بسبب الحرارة، وكل جيل يجب أن يقدم تحسنه في صورة TOPS/W. أما Jetson فهو system on module بتبريد نشط، يُباع كسلّم من مستويات القدرة.

Microcontrollers, slide 22

المتحكمات الدقيقة (microcontrollers)، الشريحة 22

A microcontroller is a compact integrated circuit for embedded systems that puts a processor, memory and I/O peripherals on a single chip, with no DRAM and no operating system. The axes drop two prefixes: power in mW, memory in kB, and performance in DMIPS (Dhrystone MIPS), an index for integer computation, not a neural-network throughput.

Microcontroller دائرة متكاملة مدمجة للأنظمة المضمنة تجمع المعالج والذاكرة والمنافذ الطرفية (I/O) على شريحة واحدة، بلا DRAM وبلا نظام تشغيل. المحاور تنزل بادئتين: القدرة بـ mW، والذاكرة بـ kB، والأداء بـ DMIPS (Dhrystone MIPS)، وهو مؤشر للحساب الصحيح (integer) وليس إنتاجية شبكات عصبية.

الجدول يلخص الشريحة 22. احفظ السطر الأخير: STM32F746 بمعالج Cortex-M7 بتردد 216 MHz، و462 DMIPS، ونحو 360 mW، و320 kB من SRAM، و1 MB من flash. وهو المتحكم الذي شغّل عليه MCUNet نماذج الرؤية في الشريحة 7.

Three tiers, two budgets, slide 23

ثلاث فئات وميزانيتان، الشريحة 23

Slide 23 gives each tier two numbers. Activation memory is the read-write working memory during inference; what matters is the peak across layers (a layer's input and output must coexist). Weight storage holds the read-only model; what matters is the total. On an MCU these are SRAM and flash.

تعطي الشريحة 23 لكل طبقة رقمين. ذاكرة activations هي ذاكرة العمل للقراءة والكتابة أثناء الاستدلال، والمهم فيها الذروة عبر الطبقات (مدخل الطبقة ومخرجها يجب أن يتعايشا في الوقت نفسه). وتخزين الأوزان يحمل النموذج للقراءة فقط، والمهم فيه المجموع. على MCU هما SRAM وflash.

activation  cloud/mobile  80 GB / 4 GB    = 20x
activation  mobile/tiny   4,000,000 / 320 = 12,500x
activation  cloud/tiny    80,000,000 / 320 = 250,000x
storage     mobile/tiny   256 GB / 1 MB   = 256,000x
LLM gap     530B FP16 = 1.06 TB vs 1 MB flash ≈ 1,000,000x

Does this model fit? A mini exercise

هل يتسع هذا النموذج؟ تمرين صغير

Two checks, in order, against two separate budgets. Weights go to flash: params × bytes per param ≤ flash. Activations go to SRAM: for the worst layer, input tensor + output tensor ≤ SRAM. Pass both or it does not run.

فحصان بالترتيب مقابل ميزانيتين منفصلتين. الأوزان تذهب إلى flash: params × bytes per param ≤ flash. وactivations تذهب إلى SRAM: لأسوأ طبقة، input tensor + output tensor ≤ SRAM. يجب أن ينجح الاثنان وإلا فلن يعمل النموذج.

weights:     600,000 × 1 B           = 600 kB   ≤ 1 MB flash     PASS
input map:   112 × 112 × 16 × 1 B    = 200,704 B
output map:  112 × 112 × 32 × 1 B    = 401,408 B
peak:        200,704 + 401,408       = 602,112 B ≈ 602 kB  > 320 kB   FAIL (1.9x over)

fix: halve the resolution to 56 × 56
peak:        56 × 56 × (16 + 32)     = 150,528 B ≈ 151 kB  ≤ 320 kB   PASS

Slide 24 credits the framing to Prof. Song Han's MIT 6.5940, TinyML and Efficient Deep Learning Computing. The conclusion of the lecture: no hardware trend closes six orders of magnitude, so the model must shrink. That is pruning, quantization, NAS, distillation and co-design, the rest of the course.

تنسب الشريحة 24 هذا الإطار إلى مقرر MIT 6.5940 للبروفيسور Song Han، بعنوان TinyML and Efficient Deep Learning Computing. وخلاصة المحاضرة: لا يوجد اتجاه في العتاد يسد ست مراتب عشرية، لذلك يجب أن يصغر النموذج. وهذا هو pruning وquantization وNAS وdistillation وco-design، أي بقية المقرر.