The loop closes on chip, slides 71 and 72

الحلقة تُغلق على الشريحة نفسها، الشريحتان 71 و72

After a PE finishes accumulating, ReLU clamps the destination registers and leading nonzero detection (LNZD) reports the next nonzero as a (value, index) pair. The CCU broadcasts only those pairs to the next layer. The output of one layer is already the sparse input of the next, and no dense vector is ever written off chip. Slide 72 highlights the special aspects: the activation queue (load balance), the sparse matrix SRAM with pointers (weight sparsity, all weights on chip), the weight decoder (weight sharing) and ReLU with LNZD (activation sparsity).

بعد أن ينهي PE الجمع، يحوّل ReLU القيم السالبة في سجلات الوجهة إلى صفر، ويُبلغ leading nonzero detection (LNZD) عن القيمة غير الصفرية التالية كزوج (value, index). تبثّ CCU هذه الأزواج فقط إلى الطبقة التالية. خرج طبقة هو أصلاً المدخل المتفرق للتالية، ولا يُكتب أي متجه كثيف خارج الشريحة. والشريحة 72 تبرز الجوانب الخاصة: activation queue (load balance)، وsparse matrix SRAM مع المؤشرات (تفرّق الأوزان، وكل الأوزان على الشريحة)، وweight decoder (weight sharing)، وReLU مع LNZD (تفرّق activations).

Where the energy saving comes from

من أين يأتي توفير الطاقة

All compressed weights live in per-PE SRAM. In the 45 nm energy table a 32-bit SRAM read is 5 pJ and a 32-bit DRAM access is 640 pJ: 640 / 5 = 128x, which the paper rounds to 120x. That is the largest factor. Compression is what makes the model small enough to fit, and fitting removes DRAM.

كل الأوزان المضغوطة تعيش في SRAM الخاصة بكل PE. في جدول الطاقة بتقنية 45 nm، قراءة 32-bit من SRAM تكلف 5 pJ والوصول إلى DRAM يكلف 640 pJ: 640 / 5 = 128x، ويقرّبها البحث إلى 120x. هذا هو العامل الأكبر. الضغط هو ما يجعل النموذج صغيراً بما يكفي ليتسع، والاتساع يلغي DRAM.

التوفير النظري في الطاقة = 120 (SRAM بدل DRAM) × 10 (تفرّق الأوزان) × 8 (مشاركة 4-bit) × 3 (تخطي activations) = 28,800x.

Theoretical vs measured. The product of the factors is 28,800x; measured energy efficiency on nine compressed FC and LSTM layers is 24,000x vs a Core i7 CPU and 3,400x vs a Titan X GPU. The authors give two reasons for the gap to the GPU: index overhead (every 4-bit weight carries a 4-bit index, plus pointers) and process node (EIE at 45 nm, the GPUs at 28 nm). Speed is a separate pair of numbers: 189x and 13x.

النظري مقابل المقاس. حاصل ضرب العوامل 28,800x؛ والكفاءة الطاقية المقاسة على تسع طبقات FC وLSTM مضغوطة هي 24,000x مقابل Core i7 CPU و3,400x مقابل Titan X GPU. يذكر المؤلفون سببين للفجوة مع GPU: عبء الـ index (كل وزن 4-bit يحمل index من 4-bit إضافة إلى المؤشرات) وprocess node (EIE بتقنية 45 nm وGPUs بتقنية 28 nm). والسرعة زوج أرقام منفصل: 189x و13x.

Benchmarks: the two densities multiply

اختبارات الأداء: الكثافتان تُضربان معاً

A multiply happens only where a surviving weight meets a nonzero activation, so the work fraction is weight density times activation density.

عملية الضرب تحدث فقط حيث يلتقي وزن باقٍ مع activation غير صفري، فنسبة العمل هي كثافة الأوزان مضروبة في كثافة activations.

في الصيغة: d_weight كثافة الأوزان (نسبة الباقي بعد pruning)، وd_activation كثافة activations (نسبة غير الصفرية بعد ReLU).

AlexNet FC6: 0.09 x 0.35 = 0.0315, about 3%    1 / 0.03 = 33x   (exact 1/0.0315 = 31.7x)
LSTM       : 0.10 x 1.00 = 0.10                 1 / 0.10 = 10x
LSTM gates use sigmoid and tanh, which never output exact zeros, so only pruning helps.

Batch size 1 only. Every headline number is one input vector at a time, a matrix-vector product, which is the real-time embedded case. At batch 64 a GPU reuses each weight across inputs and EIE is only comparable to it in throughput. The cross-platform charts also mix 22, 28 and 45 nm chips, a projected 256-PE design and a bandwidth estimate for DaDianNao: read them as decades, not exact ratios.

Batch size 1 فقط. كل الأرقام الرئيسية لمتجه دخل واحد في كل مرة، أي ضرب مصفوفة في متجه، وهي حالة الأنظمة المدمجة في الزمن الحقيقي. عند batch 64 يعيد GPU استخدام كل وزن عبر المدخلات، ويصبح EIE مقارباً له فقط في throughput. كما أن رسوم المقارنة بين المنصات تخلط شرائح بتقنيات 22 و28 و45 nm، وتصميماً متوقعاً بـ 256 PEs، وتقديراً لعرض النطاق لـ DaDianNao: اقرأها كمراتب عشرية، لا كنسب دقيقة.

Retrospective: what held up, slides 76 and 77

نظرة استرجاعية: ما الذي صمد، الشريحتان 76 و77

Slide 77 states the first principle: be lazy. Avoid redundant computation, reject work quickly or delay it. The same idea appears as spatial sparsity (SIGE), token sparsity (SpAtten), temporal sparsity (TSM) and point-cloud sparsity (TorchSparse, PointAcc).

تذكر الشريحة 77 المبدأ الأول: كن كسولاً. تجنّب الحساب الزائد، وارفض العمل بسرعة أو أجّله. الفكرة نفسها تظهر في spatial sparsity (SIGE)، وtoken sparsity (SpAtten)، وtemporal sparsity (TSM)، وتفرّق point clouds (TorchSparse وPointAcc).