Cloud and edge AI hardware, and the gap between themعتاد الذكاء الاصطناعي في السحابة وعلى الحافة، والفجوة بينهما

A single NVIDIA A100 from 2020 performs 312 trillion dense FP16 operations per second and draws 400 W. Four years earlier the P100 managed 18.7 trillion at 250 W. That is a 17x jump in throughput. How much of it came from simply burning more power? Only 1.6x (400 / 250). The other 10x came from architecture: Tensor Cores, faster HBM2e and a 7 nm process node. That single observation is the whole story of the cloud tier, and the rest of this concept just extends it across five generations.

تنفذ وحدة NVIDIA A100 واحدة من عام 2020 عدد 312 تريليون عملية FP16 كثيفة في الثانية، وتستهلك 400 W. وقبل ذلك بأربع سنوات كانت P100 تنجز 18.7 تريليون عند 250 W. هذه قفزة بمقدار 17x في معدل الإنجاز. فكم منها جاء من مجرد حرق قدرة أكبر؟ 1.6x فقط (400 / 250). أما الـ 10x الباقية فجاءت من المعمارية: نوى Tensor Cores، وذاكرة HBM2e أسرع، وعقدة تصنيع 7 nm. هذه الملاحظة الواحدة هي القصة الكاملة للمستوى السحابي، وبقية هذا المفهوم تمدّها فقط عبر خمسة أجيال.

Slide 17 repeats the three pillars from part 01 to mark the pivot: algorithm and data were the first two, and now we ask whether the third, hardware, can absorb the demand growth by itself. Slide 18 answers with four charts for the NVIDIA data center GPU line: P100, V100, A100, H100 and B100: the P100 as a PCIe card (as the errata below explains) and V100 to B100 in the SXM mezzanine form factor used in HGX and DGX servers, which allows a higher power budget than a PCIe card. The four series are performance, memory bandwidth, power and memory capacity, and the lesson lives in how differently they grow.

تعيد الشريحة 17 عرض الركائز الثلاث (three pillars) من الجزء 01 لتعلن نقطة التحول: الخوارزمية والبيانات كانتا الركيزتين الأوليين، والآن نسأل هل تستطيع الثالثة، أي العتاد، أن تستوعب نمو الطلب وحدها. وتجيب الشريحة 18 بأربعة مخططات لخط وحدات data center GPU من NVIDIA: P100 وV100 وA100 وH100 وB100. تظهر P100 كبطاقة PCIe (كما توضح التصويبات أدناه)، ومن V100 إلى B100 بعامل الشكل SXM (بطاقة mezzanine) المستخدم في خوادم HGX وDGX، وهو يسمح بميزانية قدرة (power budget) أعلى من بطاقة PCIe. السلاسل الأربع هي الأداء، وعرض نطاق الذاكرة، والقدرة، وسعة الذاكرة، والدرس يكمن في مدى اختلاف نموها.

Reading the vertical axis: what a TOPS isقراءة المحور الرأسي: ما هي TOPS

TOPS stands for trillions of operations per second. The unit hides two conventions you must know. First, one multiply-accumulate counts as two operations (one multiply, one add), so the MAC counts from part 01 convert with a factor of two. Second, NVIDIA quotes Tensor Core throughput at a specific precision, here FP16, and its spec sheets list two numbers: a dense figure and a figure "with sparsity" that is exactly double. The doubled number applies only when the weights have been pruned to a 2:4 structured pattern (two of every four values zero). The slide uses the dense figures, and so should you when comparing chips. The A100 page reads 312 TFLOPS dense and 624 TFLOPS with sparsity; the H100 SXM lists 1,979 sparse, which is 989 dense, rounded to 990 on the slide (NVIDIA A100 and H100 pages).

TOPS اختصار لتريليونات العمليات في الثانية. وهذه الوحدة تخفي اصطلاحين يجب أن تعرفهما. الأول: عملية ضرب وتجميع واحدة (multiply-accumulate) تُحسب عمليتين (ضرب وجمع)، لذلك تتحول أعداد MAC من الجزء 01 بمعامل اثنين. الثاني: تذكر NVIDIA معدل إنجاز Tensor Core عند دقة عددية (precision) محددة، وهي هنا FP16، وتضع أوراق مواصفاتها رقمين: رقما كثيفا (dense) ورقما «مع التفرق» (with sparsity) يساوي ضعفه تماما. الرقم المضاعف لا ينطبق إلا عندما تُقلَّم الأوزان إلى نمط منظم 2:4 (اثنتان من كل أربع قيم تساوي صفرا). تستخدم الشريحة الأرقام الكثيفة، وكذلك يجب أن تفعل عند مقارنة الشرائح. صفحة A100 تذكر 312 TFLOPS كثيفة و624 TFLOPS مع التفرق، وصفحة H100 SXM تذكر 1,979 مع التفرق، أي 989 كثيفة، مقربة إلى 990 في الشريحة (صفحتا NVIDIA لـ A100 وH100).

Five generations, four very different slopesخمسة أجيال، وأربعة منحدرات مختلفة جدا

Read the table as a race between four quantities. Compute ran 94x. Efficiency ran 33x, which is why compute could run so far on so little extra power. Capacity and bandwidth ran only about 12x. So every generation, the arithmetic units can chew through data faster than the memory can deliver it, by a margin that widens each time.

اقرأ الجدول كسباق بين أربع كميات. الحوسبة قطعت 94x. والكفاءة قطعت 33x، ولهذا استطاعت الحوسبة أن تذهب بعيدا بهذه الزيادة الضئيلة في القدرة. أما السعة وعرض النطاق فلم يقطعا إلا نحو 12x. لذلك في كل جيل تستطيع وحدات الحساب أن تلتهم البيانات أسرع مما تستطيع الذاكرة إيصالها، وبهامش يتسع في كل مرة.

Gholami and colleagues measured those three rates over two decades of FLOPS, DRAM bandwidth and interconnect bandwidth, and they conclude that memory, not compute, is now the primary bottleneck for AI serving (Gholami et al., 2024). They call it the memory wall.

قاس Gholami وزملاؤه هذه المعدلات الثلاثة على مدى عقدين لكل من FLOPS وعرض نطاق DRAM وعرض نطاق الربط البيني (interconnect)، واستنتجوا أن الذاكرة، لا الحوسبة، أصبحت الآن عنق الزجاجة الأساسي في خدمة نماذج الذكاء الاصطناعي (Gholami et al., 2024). ويسمّون ذلك جدار الذاكرة (memory wall).

Why bandwidth matters: the memory wallلماذا يهم عرض النطاق: جدار الذاكرة

Every inference streams weights and activations from the GPU's high-bandwidth memory (HBM) into the compute units. Memory bandwidth is the rate of that stream. If the chip can do 990 trillion operations per second but fetch only 3.35 trillion bytes per second, then it must perform about 295 operations on every byte it fetches to stay busy. A layer that does less arithmetic per byte than that sits idle, waiting for memory. The threshold is called the arithmetic intensity a workload needs to be compute bound.

كل عملية استدلال (inference) تنقل الأوزان والتنشيطات كتيار من الذاكرة عالية عرض النطاق (high-bandwidth memory، أي HBM) في الـ GPU إلى وحدات الحساب. وعرض نطاق الذاكرة (memory bandwidth) هو معدل هذا التيار. إذا كانت الشريحة قادرة على 990 تريليون عملية في الثانية لكنها لا تجلب إلا 3.35 تريليون بايت في الثانية، فعليها أن تنفذ نحو 295 عملية على كل بايت تجلبه حتى تبقى مشغولة. والطبقة التي تنفذ حسابا أقل من ذلك لكل بايت تبقى خاملة تنتظر الذاكرة. هذه العتبة تسمى الكثافة الحسابية (arithmetic intensity) التي يحتاجها عبء العمل ليكون محدودا بالحوسبة (compute bound).

Tie back to the LLM curve: capacity, not TOPS, sets the minimum machineالعودة إلى منحنى LLM: السعة، لا TOPS، هي التي تحدد أصغر آلة ممكنة

Part 02 ended with model size outrunning GPU memory. Put the two lines together. Megatron-Turing NLG has 530 billion parameters (Smith et al., 2022). GPU memory grew 12x over the eight years from 2016 to 2024; in roughly half that time, from the Transformer of 2017 to MT-NLG in 2021, LLM size grew from 0.05B to 530B, about 10,000x. The hardware pillar cannot close that by itself.

انتهى الجزء 02 بأن حجم النموذج (model size) تجاوز ذاكرة الـ GPU. ضع الخطين معا. يملك Megatron-Turing NLG عدد 530 مليار معامل (Smith et al., 2022). نمت ذاكرة الـ GPU بمقدار 12x خلال ثماني سنوات من 2016 إلى 2024، بينما في نحو نصف هذه المدة، من Transformer عام 2017 إلى MT-NLG عام 2021، نما حجم نماذج LLM من 0.05B إلى 530B، أي نحو 10,000x. ركيزة العتاد لا تستطيع سد هذه الفجوة وحدها.

The Snapdragon 845 of 2018 delivered 3 TOPS at about 9 W. The Snapdragon 8 Gen 1 of 2022 delivers 52 TOPS at about 10 W. Seventeen times the performance, essentially no extra power. Why is the power line flat when the cloud line climbed to 700 W? Because a phone is a sealed slab held against skin with no fan. Its sustained power is capped by heat, not by engineering ambition, so every gain must come from efficiency. That is the rule for the whole edge tier: the power envelope is the constraint, and performance per watt is the design metric.

قدمت Snapdragon 845 عام 2018 قدرة 3 TOPS عند نحو 9 W. وتقدم Snapdragon 8 Gen 1 عام 2022 قدرة 52 TOPS عند نحو 10 W. سبعة عشر ضعفا من الأداء، بلا قدرة إضافية تقريبا. لماذا خط القدرة مسطح بينما صعد الخط السحابي إلى 700 W؟ لأن الهاتف لوح مغلق يُمسك باليد ملاصقا للجلد ولا مروحة فيه. قدرته المستدامة محدودة بالحرارة، لا بطموح المهندسين، لذلك يجب أن يأتي كل تحسن من الكفاءة. هذه هي قاعدة مستوى الأجهزة الطرفية (edge) كله: غلاف القدرة (power envelope) هو القيد، والأداء لكل واط (performance per watt) هو مقياس التصميم.

Slides 19 to 21 show three families that each obey this rule in their own way. The Qualcomm Hexagon DSP and the Apple Neural Engine live inside phones and share a lid near 10 W. NVIDIA Jetson modules live in robots and industrial boxes that have a fan and a battery budget, so their power is allowed to climb with each tier. Explore all three, and the cloud and microcontroller tiers, before reading on.

تعرض الشرائح من 19 إلى 21 ثلاث عائلات تلتزم كل منها بهذه القاعدة بطريقتها. معالج Hexagon DSP من Qualcomm وApple Neural Engine يعيشان داخل الهواتف ويشتركان في سقف قريب من 10 W. أما وحدات Jetson من NVIDIA فتعيش في الروبوتات وصناديق الأنظمة الصناعية التي فيها مروحة وميزانية بطارية، لذلك يُسمح لقدرتها أن ترتفع مع كل مستوى. استكشف العائلات الثلاث، ومعها المستوى السحابي ومستوى المتحكمات الدقيقة، قبل أن تكمل القراءة.

Qualcomm Hexagon: seventeen times the work under the same lidQualcomm Hexagon: سبعة عشر ضعفا من العمل تحت السقف نفسه

Hexagon began as a digital signal processor for audio and camera pipelines. Qualcomm turned it into what its Snapdragon 888 brief calls a "fused AI-accelerator architecture": a tensor accelerator, vector extensions and a scalar unit sharing memory, supporting INT8, INT16 and FP16. The brief claims 26 TOPS for the whole AI Engine and "up to 3 times performance per watt improvement" over the 865; the 8 Gen 1 brief claims "up to 4x faster" and "best performance-per-watt in Snapdragon history" (Qualcomm product briefs). Notice the vendor language: every headline is a ratio to power. The products on the slide are the Qualcomm Robotics RB5 platform (865 class, 15 TOPS), the Galaxy Tab with the 888+ and the Galaxy Z Fold with the 8+ Gen 1.

بدأ Hexagon كمعالج إشارات رقمية لمسارات معالجة الصوت والكاميرا. ثم حولته Qualcomm إلى ما يسميه ملخص منتج Snapdragon 888 «معمارية مسرّع ذكاء اصطناعي مدمجة» (fused AI-accelerator architecture): مسرّع موترات (tensor accelerator)، وامتدادات متجهية (vector)، ووحدة قياسية (scalar) تتشارك الذاكرة، مع دعم INT8 وINT16 وFP16. يدّعي الملخص 26 TOPS لمحرك الذكاء الاصطناعي (AI Engine) كاملا و«تحسنا يصل إلى 3 أضعاف في الأداء لكل واط» مقارنة بـ 865، ويدّعي ملخص 8 Gen 1 أنه «أسرع بما يصل إلى 4 أضعاف» وأنه يقدم «أفضل أداء لكل واط في تاريخ Snapdragon» (ملخصات منتجات Qualcomm). لاحظ لغة الشركة: كل عنوان رئيسي هو نسبة إلى القدرة. المنتجات في الشريحة هي منصة Qualcomm Robotics RB5 (من فئة 865، 15 TOPS)، وجهاز Galaxy Tab بمعالج 888+، وجهاز Galaxy Z Fold بمعالج 8+ Gen 1.

Apple Neural Engine: the same lesson from a different vendorApple Neural Engine: الدرس نفسه من شركة مختلفة

Apple describes the Neural Engine as an energy-efficient, high-throughput engine for ML inference on its own silicon. Its newsroom gives the per-generation numbers the slide plots: 600 billion operations per second for the A11 in 2017, 5 trillion for the A12, 11 trillion for the 16-core A14, 15.8 trillion for the A15 and "nearly 17 trillion" for the A16 (Apple Newsroom). The A17 Pro's 35 TOPS comes from Apple's 2023 event rather than the newsroom text, which only says "up to 2x faster". The products on the slide span an iPhone (A14), an iPad (A15) and an iMac with the M1 Max, the same engine design scaled up.

تصف Apple المحرك العصبي (Neural Engine) بأنه محرك موفر للطاقة وعالي الإنجاز للاستدلال (inference) في تعلم الآلة على شرائحها الخاصة. ويعطي مركزها الإخباري أرقام كل جيل التي ترسمها الشريحة: 600 مليار عملية في الثانية لـ A11 عام 2017، و5 تريليونات لـ A12، و11 تريليونا لـ A14 ذات النوى الـ 16، و15.8 تريليون لـ A15، و«قرابة 17 تريليونا» لـ A16 (Apple Newsroom). أما رقم 35 TOPS لـ A17 Pro فمصدره حدث Apple عام 2023 لا نص المركز الإخباري، الذي يقول فقط «أسرع بما يصل إلى الضعفين». والمنتجات في الشريحة تشمل iPhone (A14) وiPad (A15) وiMac بشريحة M1 Max، أي تصميم المحرك نفسه بعد تكبيره.

From A11 to A17 the engine gained about 58x in throughput while the estimated power sat between 6 and 8 W. Two vendors, two architectures, one shape: a rising performance line under a flat power line.

من A11 إلى A17 كسب المحرك نحو 58x في معدل الإنجاز (throughput) بينما بقيت القدرة المقدرة بين 6 و8 W. شركتان، ومعماريتان، وشكل واحد: خط أداء صاعد تحت خط قدرة مسطح.

NVIDIA Jetson: a ladder instead of a lidNVIDIA Jetson: سلّم بدلا من سقف

A Jetson is a complete system on module: GPU, CPU, memory, power management and high-speed interfaces on one board that plugs into a carrier. It targets robots, drones and industrial edge boxes, and those have what a phone lacks: a fan and a battery or wall power. So NVIDIA sells a ladder of tiers, each with a configurable power range, and the slide plots the top of each range: Nano at 5 to 10 W, TX2 at 7.5 to 15 W, Xavier NX at 10 to 20 W, AGX Xavier at up to 30 W, AGX Orin 32GB at 15 to 40 W and AGX Orin 64GB at 15 to 60 W (NVIDIA Jetson pages, Connect Tech comparison).

وحدة Jetson هي نظام كامل على وحدة (system on module): GPU وCPU وذاكرة وإدارة للقدرة وواجهات عالية السرعة على لوحة واحدة تُركّب على لوحة حاملة (carrier). وهي تستهدف الروبوتات والطائرات المسيّرة وصناديق الأنظمة الطرفية الصناعية، وهذه تملك ما يفتقده الهاتف: مروحة، وبطارية أو تغذية من مقبس الجدار. لذلك تبيع NVIDIA سلّما من المستويات، لكل منها نطاق قدرة قابل للضبط، وترسم الشريحة أعلى كل نطاق: Nano من 5 إلى 10 W، وTX2 من 7.5 إلى 15 W، وXavier NX من 10 إلى 20 W، وAGX Xavier حتى 30 W، وAGX Orin 32GB من 15 إلى 40 W، وAGX Orin 64GB من 15 إلى 60 W (صفحات NVIDIA Jetson، ومقارنة Connect Tech).

Here performance grew about 550x (0.5 to 275 TOPS) while power grew 6x, so efficiency still rose about 90x. The difference from the phone families is not the efficiency trend but the freedom to spend more watts when the application can afford them. A warehouse robot on a 60 W budget gets a different chip than a drone on 10 W.

هنا نما الأداء نحو 550x (من 0.5 إلى 275 TOPS) بينما نمت القدرة 6x، لذلك ارتفعت الكفاءة مع ذلك نحو 90x. الفرق عن عائلتي الهواتف ليس في اتجاه الكفاءة، بل في حرية إنفاق واطات أكثر عندما يستطيع التطبيق تحملها. روبوت مستودع بميزانية 60 W يحصل على شريحة مختلفة عن طائرة مسيّرة بميزانية 10 W.

The trap: TOPS from different vendors are not one axisالفخ: أرقام TOPS من شركات مختلفة ليست على محور واحد

It is tempting to line up the A17 Pro at 35, the Snapdragon 888 at 26 and the Jetson AGX Orin at 275 and rank them. Do not. NVIDIA's Xavier and Orin figures are INT8 (Orin sparse INT8), while Nano and TX2 are FP16 FLOPS (NVIDIA Jetson pages). The cloud numbers on slide 18 are dense FP16. Qualcomm sums INT8 throughput across the CPU, GPU and Hexagon together. Apple does not state a precision at all. Sze, Chen, Yang and Emer titled a whole paper on this: "TOPS/W (Alone) Considered Harmful". Their point is that peak numbers say nothing about utilization on a real network; a fair comparison needs the same precision, the same workload and a measured, not theoretical, throughput (Sze et al., 2020).

من المغري أن تصف A17 Pro عند 35، وSnapdragon 888 عند 26، وJetson AGX Orin عند 275 ثم ترتبها. لا تفعل. أرقام Xavier وOrin من NVIDIA هي INT8 (وOrin بدقة INT8 مع التفرق)، بينما رقما Nano وTX2 هما FLOPS بدقة FP16 (صفحات NVIDIA Jetson). والأرقام السحابية في الشريحة 18 هي FP16 كثيفة. وQualcomm تجمع إنجاز INT8 عبر CPU وGPU وHexagon معا. وApple لا تذكر الدقة العددية (precision) أصلا. وقد كتب Sze وChen وYang وEmer ورقة كاملة عن هذا بعنوان «TOPS/W (Alone) Considered Harmful». وفكرتهم أن الأرقام القصوى لا تقول شيئا عن نسبة الاستغلال (utilization) على شبكة حقيقية، وأن المقارنة العادلة تحتاج الدقة نفسها، وعبء العمل نفسه، ومعدل إنجاز مقاسا لا نظريا (Sze et al., 2020).

The STM32F746NG is one chip with a Cortex-M7 core at 216 MHz, 1 MB of flash and 320 kB of SRAM, drawing about 360 mW. It is the "off-the-shelf commercial microcontroller" on which MCUNet ran ImageNet-class vision in part 01 (slide 7). Against the smallest Jetson, the Nano at 10 W and 4 GB, it has 28x less power and 12,500x less memory. This is the tier that TinyML is named for.

STM32F746NG شريحة واحدة فيها نواة Cortex-M7 بتردد 216 MHz، و1 MB من ذاكرة flash، و320 kB من SRAM، وتستهلك نحو 360 mW. إنها «المتحكم الدقيق التجاري الجاهز» (off-the-shelf commercial microcontroller) الذي شغّل عليه MCUNet رؤية حاسوبية بمستوى ImageNet في الجزء 01 (الشريحة 7). ومقارنة بأصغر Jetson، أي Nano بقدرة 10 W و4 GB، فقدرتها أقل بمقدار 28x وذاكرتها أقل بمقدار 12,500x. هذا هو المستوى الذي سُمي TinyML باسمه.

A microcontroller is a compact integrated circuit designed for embedded systems, integrating a processor, memory and input/output peripherals on a single chip. The MCUNet paper adds what the definition implies: these are "bare-metal devices that do not have an operating system, nor do they have DRAM" (Lin et al., 2020). Everything a model needs, weights and activations alike, must live in the on-chip flash and SRAM, because there is nothing else.

المتحكم الدقيق (microcontroller) دائرة متكاملة مدمجة مصممة للأنظمة المضمنة، تجمع معالجا وذاكرة وطرفيات إدخال وإخراج على شريحة واحدة. وتضيف ورقة MCUNet ما يلزم من هذا التعريف: هذه «أجهزة تعمل مباشرة على العتاد (bare-metal) بلا نظام تشغيل ولا ذاكرة DRAM» (Lin et al., 2020). كل ما يحتاجه النموذج، أوزانا وتنشيطات، يجب أن يعيش في ذاكرتي flash وSRAM على الشريحة، لأنه لا يوجد شيء آخر.

The units drop two prefixesالوحدات تنزل بادئتين

Slide 22 quietly changes the axes. Power is in milliwatts, not watts. Memory is in kilobytes, not gigabytes. Performance is in DMIPS, not TOPS. Each change is a signal that this tier is a different world, and the last one deserves the most care.

تغيّر الشريحة 22 المحاور بهدوء. القدرة بالميلي واط لا بالواط. والذاكرة بالكيلوبايت لا بالغيغابايت. والأداء بوحدة DMIPS لا TOPS. كل تغيير إشارة إلى أن هذا المستوى عالم مختلف، والتغيير الأخير يستحق أكبر قدر من الانتباه.

The core data come from the vendors: the Arduino Zero's SAMD21 is a Cortex-M0+ at 48 MHz with 32 kB SRAM and 256 kB flash; the Due's SAM3X8E is a Cortex-M3 at 84 MHz with 96 kB SRAM; the STM32F407VG is a Cortex-M4 at 168 MHz rated 210 DMIPS with 192 kB SRAM plus 4 kB backup and 1 MB flash; the STM32F746NG is a Cortex-M7 at 216 MHz rated 462 DMIPS with 320 kB SRAM and 1 MB flash (Arduino, Keil and ST documentation).

بيانات النوى مأخوذة من الشركات المصنعة: شريحة SAMD21 في Arduino Zero نواتها Cortex-M0+ بتردد 48 MHz مع 32 kB من SRAM و256 kB من flash، وشريحة SAM3X8E في Due نواتها Cortex-M3 بتردد 84 MHz مع 96 kB من SRAM، وSTM32F407VG نواتها Cortex-M4 بتردد 168 MHz ومصنفة عند 210 DMIPS مع 192 kB من SRAM إضافة إلى 4 kB احتياطية و1 MB من flash، وSTM32F746NG نواتها Cortex-M7 بتردد 216 MHz ومصنفة عند 462 DMIPS مع 320 kB من SRAM و1 MB من flash (وثائق Arduino وKeil وST).

What DMIPS measures, and what it does notما الذي يقيسه DMIPS، وما الذي لا يقيسه

Dhrystone is a synthetic benchmark that Reinhold Weicker published in 1984 to exercise typical systems code: integer arithmetic, string handling, pointer chasing, no floating point (Weicker, 1984). A DMIPS is Dhrystones per second divided by 1757, the score of a VAX 11/780, which was nominally a one-MIPS machine. Arm publishes DMIPS per MHz for each core so that a clock frequency turns into a rating: Cortex-M0+ 0.95, Cortex-M3 and M4 1.25, Cortex-M7 2.14 (Arm Cortex-M comparison table).

Dhrystone اختبار أداء اصطناعي (benchmark) نشره Reinhold Weicker عام 1984 ليحاكي شيفرة الأنظمة المعتادة: حساب بالأعداد الصحيحة، ومعالجة سلاسل نصية، وتتبع مؤشرات (pointers)، بلا أي فاصلة عائمة (Weicker, 1984). ووحدة DMIPS هي عدد Dhrystones في الثانية مقسوما على 1757، وهي نتيجة حاسوب VAX 11/780 الذي كان اسميا آلة بسرعة MIPS واحد. وتنشر Arm قيمة DMIPS لكل MHz لكل نواة حتى يتحول التردد إلى تصنيف: Cortex-M0+ تساوي 0.95، وCortex-M3 وM4 تساويان 1.25، وCortex-M7 تساوي 2.14 (جدول مقارنة Arm Cortex-M).

So why can you not convert DMIPS into a small TOPS? Because the benchmark contains no MACs, and a neural network is almost nothing but MACs. You can only bound the MCU from above by counting what its SIMD unit could do at best.

فلماذا لا يمكنك تحويل DMIPS إلى TOPS صغيرة؟ لأن اختبار الأداء لا يحتوي على أي عملية MAC، والشبكة العصبية تكاد تكون كلها عمليات MAC. كل ما تستطيعه هو وضع حد أعلى للمتحكم الدقيق بحساب أفضل ما تستطيع وحدة SIMD فيه أن تفعله.

One more pattern in the table is worth noticing: DMIPS per milliwatt falls as the boards get faster, from 7.5 on the Zero to 1.3 on the F746. The faster core pays more energy per instruction. At this tier nobody buys the F746 for efficiency; they buy it because 320 kB is the smallest SRAM in which a useful vision model can breathe.

ونمط آخر في الجدول يستحق الانتباه: قيمة DMIPS لكل ميلي واط تنخفض كلما أصبحت اللوحات أسرع، من 7.5 في Zero إلى 1.3 في F746. النواة الأسرع تدفع طاقة أكبر لكل تعليمة. في هذا المستوى لا أحد يشتري F746 من أجل الكفاءة، بل لأن 320 kB هي أصغر SRAM يستطيع فيها نموذج رؤية مفيد أن يتنفس.

Take ResNet-50, the workhorse image classifier from part 01, with 25,557,032 parameters (torchvision). At FP32 its weights are 102 MB; at FP16, 51 MB; at INT8, 25.6 MB. A cloud GPU holds the FP32 version 783 times over in its HBM. A phone stores it in 256 GB of flash with room for thousands of copies. A microcontroller's 1 MB flash cannot hold even the INT8 version, which is 25.6x too big. Slide 23 turns this into three tiers with two numbers each, and the ratios between them are the thesis of the course.

خذ ResNet-50، مصنف الصور الأساسي من الجزء 01، بعدد 25,557,032 معاملا (torchvision). بدقة FP32 تبلغ أوزانه 102 MB، وبدقة FP16 تبلغ 51 MB، وبدقة INT8 تبلغ 25.6 MB. تتسع ذاكرة HBM في وحدة GPU سحابية لنسخة FP32 منه 783 مرة. ويخزنه الهاتف في 256 GB من flash مع متسع لآلاف النسخ. أما ذاكرة flash بسعة 1 MB في المتحكم الدقيق (microcontroller) فلا تتسع حتى لنسخة INT8، التي تكبرها بمقدار 25.6x. تحول الشريحة 23 ذلك إلى ثلاثة مستويات لكل منها رقمان، والنسب بينها هي أطروحة المقرر.

The lecture calls the tiers cloud AI, mobile AI and tiny AI, and gives each tier two budgets. Activation memory is the working memory that holds intermediate results during computation: 80 GB of HBM on an A100-class cloud GPU, 4 GB of DRAM on a phone, 320 kB of SRAM on the STM32F746. Weight storage is the persistent memory that holds the model: terabytes to petabytes in a data center, 256 GB of phone flash, 1 MB of on-chip flash.

تسمي المحاضرة المستويات الثلاثة cloud AI, mobile AI and tiny AI (الذكاء الاصطناعي السحابي والمحمول والدقيق)، وتعطي كل مستوى ميزانيتين. ذاكرة التنشيطات (activation memory) هي ذاكرة العمل التي تحمل النتائج الوسيطة أثناء الحساب: 80 GB من HBM في وحدة cloud GPU من فئة A100، و4 GB من DRAM في الهاتف، و320 kB من SRAM في STM32F746. وتخزين الأوزان (weight storage) هو الذاكرة الدائمة التي تحمل النموذج: من التيرابايتات إلى البيتابايتات في مركز البيانات، و256 GB من flash الهاتف، و1 MB من flash على الشريحة.

MCUNet states the same gap in words: microcontroller memory is "3 orders of magnitude smaller than mobile devices, and 5-6 orders of magnitude smaller than cloud GPUs" (Lin et al., 2020). Its 2020 table used a V100 with 16 GB and an iPhone 11 with more than 64 GB; the slide updates the cloud and mobile columns to an 80 GB A100 and a 256 GB phone, while the tiny column is unchanged at 320 kB and 1 MB. The top tiers moved; the bottom did not.

يذكر MCUNet الفجوة نفسها بالكلمات: ذاكرة المتحكم الدقيق «أصغر بثلاث مراتب عشرية من الأجهزة المحمولة، وبخمس إلى ست مراتب عشرية من وحدات GPU السحابية» (Lin et al., 2020). استخدم جدوله عام 2020 وحدة V100 بسعة 16 GB وiPhone 11 بأكثر من 64 GB، بينما تحدّث الشريحة عمودي السحابة والمحمول إلى A100 بسعة 80 GB وهاتف بسعة 256 GB، ويبقى عمود المستوى الدقيق دون تغيير عند 320 kB و1 MB. المستويات العليا تحركت، والأدنى لم يتحرك.

Two budgets, not oneميزانيتان، لا ميزانية واحدة

The two rows on slide 23 are not interchangeable, and confusing them is the most common mistake in sizing a TinyML deployment. Storage holds the weights persistently, so what matters is the total model size, and on an MCU that budget is the read-only flash. Activation memory is the read-write scratch space used while a layer runs, so what matters is the peak across layers, because a layer's input and output tensors must coexist at the moment it executes. MCUNet puts it in one line: "SRAM constrains the activation size (read and write); Flash constrains the model size (read-only)". A model can fit in flash and still crash at runtime because one wide early layer's activations exceed SRAM, and a model with small activations can still be unloadable because its weights exceed flash.

الصفان في الشريحة 23 غير قابلين للتبادل، والخلط بينهما هو الخطأ الأكثر شيوعا عند تحجيم نشر TinyML. التخزين يحمل الأوزان بشكل دائم، لذلك ما يهم هو الحجم الكلي للنموذج، وفي المتحكم الدقيق هذه الميزانية هي ذاكرة flash للقراءة فقط. أما ذاكرة التنشيطات فهي مساحة مؤقتة للقراءة والكتابة تُستخدم أثناء تشغيل الطبقة، لذلك ما يهم هو الذروة عبر الطبقات، لأن موترات (tensors) الإدخال والإخراج للطبقة يجب أن تتواجد معا لحظة تنفيذها. ويلخصها MCUNet في سطر واحد: «SRAM تقيّد حجم التنشيطات (قراءة وكتابة)، وFlash تقيّد حجم النموذج (قراءة فقط)». قد يتسع النموذج في flash ومع ذلك ينهار أثناء التشغيل لأن تنشيطات طبقة مبكرة عريضة واحدة تتجاوز SRAM، وقد يكون نموذج ذو تنشيطات صغيرة غير قابل للتحميل أصلا لأن أوزانه تتجاوز flash.

Why the rest of the course existsلماذا وُجد باقي المقرر

Put the two halves of this lecture side by side. The largest model in part 02, MT-NLG at 530B parameters, needs 1.06 TB of FP16 weights. The smallest tier here offers 1 MB. That is a factor of about one million, six orders of magnitude. GPU memory grew 12x in eight years, and phone memory grew 4x across the Snapdragon generations on slide 19. No hardware trend closes six orders of magnitude on any timescale that matters. So the model must change.

ضع نصفي هذه المحاضرة جنبا إلى جنب. أكبر نموذج في الجزء 02، وهو MT-NLG بعدد 530B معامل، يحتاج إلى 1.06 TB من أوزان FP16. وأصغر مستوى هنا يقدم 1 MB. هذا عامل يقارب المليون، أي ست مراتب عشرية. نمت ذاكرة الـ GPU بمقدار 12x في ثماني سنوات، ونمت ذاكرة الهاتف بمقدار 4x عبر أجيال Snapdragon في الشريحة 19. لا يوجد اتجاه في العتاد يسد ست مراتب عشرية في أي إطار زمني له معنى. لذلك يجب أن يتغير النموذج.

Each later lecture is one lever on the model side of this gap. Pruning removes weights; quantization shrinks each remaining weight from 4 bytes to 1 or fewer; neural architecture search, including Once-for-All from part 01, designs networks under an explicit memory budget; knowledge distillation transfers a large model's accuracy into a small one; and algorithm and system co-design, as in TinyEngine, makes the runtime spend the budget wisely. Slide 24 credits the source of this framing: the deck follows Prof. Song Han's MIT 6.5940 course, TinyML and Efficient Deep Learning Computing, whose introductory lecture carries the same charts (MIT HAN Lab).

كل محاضرة لاحقة هي رافعة واحدة على جانب النموذج من هذه الفجوة. التقليم (pruning) يزيل أوزانا، والتكميم (quantization) يقلص كل وزن متبق من 4 بايت إلى 1 أو أقل، والبحث في المعماريات العصبية (neural architecture search)، ومنه Once-for-All من الجزء 01، يصمم شبكات تحت ميزانية ذاكرة صريحة، وتقطير المعرفة (knowledge distillation) ينقل دقة نموذج كبير إلى نموذج صغير، والتصميم المشترك للخوارزمية والنظام (algorithm and system co-design)، كما في TinyEngine، يجعل بيئة التشغيل تنفق الميزانية بحكمة. وتذكر الشريحة 24 مصدر هذا الإطار: العرض يتبع مقرر البروفيسور Song Han في MIT رقم 6.5940، TinyML and Efficient Deep Learning Computing، الذي تحمل محاضرته التمهيدية المخططات نفسها (MIT HAN Lab).