EIE results and what came afterنتائج EIE وما جاء بعده

Follow one output row to the end. The accumulator for row i has just finished summing every product of a broadcast activation and a decoded weight from that row. The sum lands in a destination activation register. ReLU clamps it: a negative sum becomes zero, a positive one is kept. Now the leading non-zero detection logic scans the register file and reports the first non-zero it finds, as a pair "value v at index j". For the next layer, the central control unit broadcasts only those pairs. The output of this layer is already the sparse input of the next one, and no dense vector was ever written out.

تتبّع صفّ خرج واحدًا حتى نهايته. انتهى المُراكِم الخاص بالصف i للتو من جمع كل حواصل ضرب تفعيلٍ مبثوث في وزنٍ مفكوك الترميز من ذلك الصف. يستقر المجموع في سجلّ التفعيل الوجهة (destination activation register). ثم تقصّه ReLU: المجموع السالب يصبح صفرًا، والموجب يبقى كما هو. بعد ذلك يمسح منطق leading non-zero detection (كشف أول قيمة غير صفرية) ملف السجلات ويُبلغ عن أول قيمة غير صفرية يجدها، على شكل زوج "القيمة v عند الفهرس j". وفي الطبقة التالية لا تبث وحدة التحكم المركزية إلا هذه الأزواج. خرج هذه الطبقة هو أصلًا الدخل المتناثر للطبقة التالية، ولم يُكتب أي متجه كثيف إلى الخارج في أي لحظة.

That is the loop the slides close. Part 08 showed how a broadcast activation fans out to the processing elements and how each PE walks its CSC column; this part shows how the results become the next broadcast. The detection is hierarchical: each group of four PEs feeds a leading non-zero detection node, those nodes feed another, and the root of the tree sits inside the central control unit and drives the H-tree broadcast. Han et al. report 21 such nodes for 64 PEs (16 + 4 + 1), each about 0.023 mW and 189 µm², well under 0.3% of one PE. The machinery that keeps both ends of the datapath sparse is almost free.

هذه هي الحلقة التي تُغلقها الشرائح. أوضح الجزء 08 كيف ينتشر التفعيل المبثوث إلى processing elements (عناصر المعالجة) وكيف يمرّ كل PE على عمود CSC الخاص به؛ أما هذا الجزء فيوضح كيف تصبح النتائج هي البث التالي. الكشف هرمي: كل مجموعة من أربعة PE تغذّي عقدة كشفٍ لأول قيمة غير صفرية، وهذه العقد تغذّي عقدةً أخرى، وجذر الشجرة موجود داخل وحدة التحكم المركزية ويقود broadcast (البث) عبر شجرة H-tree. يذكر Han et al. وجود 21 عقدة من هذا النوع لكل 64 عنصر معالجة (16 + 4 + 1)، تستهلك كل منها نحو 0.023 mW ومساحتها 189 µm²، أي أقل بكثير من 0.3% من عنصر معالجة واحد. فالآلية التي تُبقي طرفي مسار البيانات متناثرين تكاد تكون مجانية.

The four special aspects, and the saving each one buysالجوانب الخاصة الأربعة، والتوفير الذي يحققه كل منها

The lecturer highlights four blocks on the PE diagram as EIE's special aspects. Each of them is a concrete piece of hardware, and each maps onto one of the four factors in the paper's energy breakdown. Reading them as pairs is what turns the block diagram into an argument.

يُبرز المحاضر أربع كتل على مخطط عنصر المعالجة باعتبارها الجوانب الخاصة في EIE. كل واحدة منها قطعة عتادية ملموسة، وكل واحدة تقابل عاملًا من العوامل الأربعة في تفصيل الطاقة في الورقة. وقراءتها أزواجًا (الكتلة وعاملها) هي ما يحوّل المخطط الكتلي إلى حُجّة.

The FIFO deserves one extra sentence because it is easy to miss. Columns have different numbers of non-zeros, so PEs finish at different times. Han et al. swept the queue depth and found that at depth 1 some benchmarks lose about half their cycles to imbalance, while the gain flattens past depth 8, which is what they built. That is load balance bought with a few registers rather than with a different pruning pattern, and the retrospective will show why that trade did not scale.

تستحق FIFO جملةً إضافية لأنها سهلة التجاهل. تختلف الأعمدة في عدد قيمها غير الصفرية، لذلك تنتهي عناصر المعالجة في أوقات مختلفة. جرّب Han et al. أعماقًا مختلفة للطابور، فوجدوا أنه عند العمق 1 تخسر بعض الاختبارات نحو نصف دوراتها بسبب عدم التوازن، بينما يتسطّح الكسب بعد العمق 8، وهو ما بنوه فعلًا. هذا load balance (موازنة الحمل) مُشترًى ببضعة سجلات بدلًا من نمط تقليم مختلف، وستُظهر المراجعة اللاحقة لماذا لم تتوسّع هذه المقايضة.

Why on-chip SRAM is the whole storyلماذا تختصر SRAM على الشريحة القصة كلها

The factors multiply, but they are far from equal. Table I of the EIE paper restates Horowitz's 45 nm energy table from ISSCC 2014, the same table lecture 04-1 opened with. A 32-bit integer add costs 0.1 pJ, a 32-bit integer multiply 3.1 pJ, a 32-bit SRAM cache read 5 pJ, and a 32-bit DRAM access 640 pJ. The caption says it plainly: DRAM uses three orders of magnitude more energy than simple arithmetic and 128x more than SRAM; the paper rounds this 128x table ratio to the 120x it uses in its energy breakdown. A multiplier that is twice as efficient saves picojoules. A weight that never leaves the chip saves hundreds of them, on every fetch, for every weight.

العوامل تتضاعف، لكنها أبعد ما تكون عن التساوي. يعيد الجدول I في ورقة EIE عرض جدول الطاقة لـ Horowitz عند 45 nm من ISSCC 2014، وهو الجدول نفسه الذي افتُتحت به المحاضرة 04-1. جمع عددين صحيحين بطول 32-bit يكلّف 0.1 pJ، وضربهما 3.1 pJ، وقراءة 32-bit من ذاكرة SRAM المخبئية 5 pJ، ووصول 32-bit إلى DRAM يكلّف 640 pJ. والتعليق على الجدول يقولها صراحة: DRAM تستهلك طاقة أكثر بثلاث رتب من الحساب البسيط، وأكثر بـ 128x من SRAM؛ وتقرّب الورقة نسبة الجدول هذه 128x إلى 120x التي تستعملها في تفصيل الطاقة. الضارب الأكفأ بمرتين يوفّر بضعة بيكوجولات. أما الوزن الذي لا يغادر الشريحة أبدًا فيوفّر المئات منها، في كل عملية جلب، ولكل وزن.

Pruning and weight sharing matter here for a reason that has nothing to do with arithmetic: they are what make the model small enough to fit. After compression, AlexNet's fully connected layers need about 131K weights per PE, and 64 PEs at 0.638 mm² each hold all of them. Memory takes 93% of a PE's area and 59% of its power, so EIE is, physically, an SRAM chip with a little arithmetic attached. The order of causes is the exam answer: compression makes the model fit on chip, fitting on chip removes DRAM, and removing DRAM is the 120x.

يهمّ التقليم وweight sharing (مشاركة الأوزان) هنا لسبب لا علاقة له بالحساب: فهما ما يجعل النموذج صغيرًا بما يكفي ليتسع. بعد الضغط، تحتاج الطبقات المتصلة بالكامل في AlexNet إلى نحو 131K وزن لكل عنصر معالجة، و64 عنصرًا مساحة كل منها 0.638 mm² تحملها جميعًا. تشغل الذاكرة 93% من مساحة عنصر المعالجة و59% من قدرته، فـ EIE من الناحية الفيزيائية شريحة SRAM أُلحق بها قليل من الحساب. وترتيب الأسباب هو جواب الامتحان: الضغط يجعل النموذج يتسع على الشريحة، واتساعه على الشريحة يلغي DRAM، وإلغاء DRAM هو عامل 120x.

Take AlexNet's FC6 layer: a 4096 x 9216 matrix, 37.7 million weights. After pruning only 9% of the weights survive, and after ReLU only 35% of the input activations are non-zero. A multiply is needed only where a surviving weight meets a non-zero activation, which is 0.09 x 0.35, about 3.2% of the dense count. That is where the 33x FLOP reduction on the slide comes from.

خذ الطبقة FC6 في AlexNet: مصفوفة حجمها 4096 x 9216، أي 37.7 مليون وزن. بعد التقليم لا يبقى إلا 9% من الأوزان، وبعد ReLU لا يكون غير صفري إلا 35% من تفعيلات الدخل. لا نحتاج إلى عملية ضرب إلا حيث يلتقي وزن باقٍ بتفعيل غير صفري، وهذا يساوي 0.09 x 0.35، أي نحو 3.2% من العدد الكثيف. ومن هنا يأتي تخفيض FLOP البالغ 33x في الشريحة.

The general rule is that the two sparsities multiply. Every layer in the benchmark set is a fully connected layer of a real model, and each one has its own pair of densities. Han et al. chose nine of them: three from AlexNet, three from VGG-16, and three from NeuralTalk, an RNN and LSTM image captioning model. The last three are the interesting outliers.

القاعدة العامة أن نوعي التناثر يتضاعفان. كل طبقة في مجموعة الاختبار طبقة متصلة بالكامل من نموذج حقيقي، ولكل منها زوج كثافاتها الخاص. اختار Han et al. تسعًا منها: ثلاثًا من AlexNet، وثلاثًا من VGG-16، وثلاثًا من NeuralTalk، وهو نموذج لتوليد أوصاف الصور مبني على RNN وLSTM. والثلاث الأخيرة هي الحالات الشاذة المثيرة للاهتمام.

What EIE was measured againstما الذي قورن به EIE

The comparison platforms were a desktop CPU (Intel Core-i7 5930k, running Intel MKL: CSRMV for the sparse model and GEMV for the dense one), a desktop GPU (NVIDIA Titan X, cuSPARSE CSRMV and cuBLAS GEMV), and a mobile GPU (the Tegra K1, measured on a Jetson TK1 developer board, which is the same silicon the slide names differently). Each baseline was given the best library available for its case, dense or sparse, so the comparison is against optimized software rather than naive loops.

كانت منصات المقارنة: معالج مكتبي CPU (Intel Core-i7 5930k، يشغّل Intel MKL: CSRMV للنموذج المتناثر وGEMV للنموذج الكثيف)، ومعالج رسوميات مكتبي GPU (NVIDIA Titan X، مع cuSPARSE CSRMV وcuBLAS GEMV)، ومعالج رسوميات للأجهزة المحمولة (Tegra K1، مقيس على لوحة التطوير Jetson TK1، وهي الشريحة نفسها التي تسمّيها الشرائح باسم مختلف). أُعطي كل خط أساس أفضل مكتبة متاحة لحالته، كثيفة أو متناثرة، فالمقارنة إذن مع برمجيات محسَّنة لا مع حلقات ساذجة.

On those nine layers EIE is 189x faster than the CPU and 13x faster than the GPU, while using 24,000x and 3,400x less energy respectively. The paper adds a number that is easy to forget and worth remembering: the same compressed model, run on the CPU or GPU with sparse libraries, gives only about 3x speedup over dense. Compression alone is not the win. Compression plus hardware built for it is.

على هذه الطبقات التسع يكون EIE أسرع بـ 189x من CPU وأسرع بـ 13x من GPU، مع استهلاك طاقة أقل بـ 24,000x و3,400x على الترتيب. وتضيف الورقة رقمًا يُنسى بسهولة ويستحق التذكّر: النموذج المضغوط نفسه، حين يُشغَّل على CPU أو GPU بمكتبات متناثرة، لا يعطي إلا تسريعًا بنحو 3x مقارنة بالنموذج الكثيف. فالضغط وحده ليس هو المكسب. المكسب هو الضغط مع عتاد مبني من أجله.

Look at the two right-most bars first. The fabricated EIE, 64 PEs at 45 nm, pushes 81,967 matrix-vector products per second through AlexNet FC7 at 0.59 W. DaDianNao, the strongest rival ASIC, reaches 147,938 per second but draws 15.97 W. Divide, and the picture flips: 138,927 frames per joule for EIE against 9,263 for DaDianNao, a 15x gap in EIE's favor at an older process node. The projected 256 PE version at 28 nm would reach 426,230 per second and 180,606 per joule.

انظر أولًا إلى العمودين الأقصى يمينًا. شريحة EIE المصنَّعة، 64 عنصر معالجة بتقنية 45 nm، تمرّر 81,967 عملية ضرب مصفوفة في متجه في الثانية عبر AlexNet FC7 بقدرة 0.59 W. أما DaDianNao، أقوى ASIC منافس، فيبلغ 147,938 في الثانية لكنه يسحب 15.97 W. اقسم، فتنقلب الصورة: 138,927 إطارًا لكل جول لـ EIE مقابل 9,263 لـ DaDianNao، أي فجوة 15x لصالح EIE رغم أنه بعقدة تصنيع أقدم. والنسخة المتوقعة بـ 256 عنصر معالجة بتقنية 28 nm ستبلغ 426,230 في الثانية و180,606 لكل جول.

The reason energy is where EIE separates from the pack is the one from the previous concept, now visible across platforms. A matrix-vector product at batch size 1 is completely memory bound: every weight is used once, so throughput is set by how fast weights can be delivered, and energy by where they come from. DaDianNao's rate in the table is in fact a bandwidth estimate from its eDRAM (Han et al. compute 16 x 4 x 1024 bit / 8 x 606 MHz = 4,964 GB/s), A-Eye pulls every parameter from DDR3, and the CPU and GPUs all stream from DRAM. Only TrueNorth and EIE keep weights in SRAM, and TrueNorth pays for it with 1-bit weights and an asynchronous design measured on a different task.

سبب انفصال EIE عن البقية في الطاقة تحديدًا هو السبب نفسه من المفهوم السابق، وقد صار الآن مرئيًا عبر المنصات. ضرب مصفوفة في متجه بحجم دفعة 1 محدود بالذاكرة تمامًا (memory bound): كل وزن يُستخدم مرة واحدة، فتتحدد الإنتاجية بسرعة توصيل الأوزان، وتتحدد الطاقة بالمكان الذي تأتي منه. ومعدّل DaDianNao في الجدول هو في الحقيقة تقدير مبني على عرض نطاق eDRAM الخاصة به (يحسب Han et al. 16 x 4 x 1024 bit / 8 x 606 MHz = 4,964 GB/s)، وA-Eye يسحب كل معامل من DDR3، ووحدات CPU وGPU كلها تتدفق من DRAM. وحدهما TrueNorth وEIE يُبقيان الأوزان في SRAM، ويدفع TrueNorth ثمن ذلك بأوزان 1-bit وتصميم غير متزامن مقيس على مهمة مختلفة.

Consider what a large language model does when it generates one token: it multiplies a single activation vector by weight matrices holding billions of parameters, reads every weight once, and does it again for the next token. That is a matrix-vector product at batch size 1, memory bound on weights, which is exactly the workload EIE was built for in 2016. So EIE's storage trick came back: keep weights in 4 bits, decode to 16, compute in 16. Han et al. call it W4A16 and point at GPTQ, AWQ, llama.cpp and MLC LLM, with one difference: today's engines use linear integer weights rather than a K-means codebook.

تأمّل ما يفعله نموذج لغوي كبير حين يولّد رمزًا (token) واحدًا: يضرب متجه تفعيل واحدًا في مصفوفات أوزان تضم مليارات المعاملات، ويقرأ كل وزن مرة واحدة، ثم يكرر ذلك للرمز التالي. هذا ضرب مصفوفة في متجه بحجم دفعة 1، محدود بالذاكرة بسبب الأوزان، وهو بالضبط عبء العمل الذي بُني EIE من أجله في 2016. لذلك عادت حيلة التخزين في EIE: احفظ الأوزان بـ 4 بتات، وفكّ ترميزها إلى 16، واحسب بـ 16. يسمّيها Han et al. W4A16 ويشيرون إلى GPTQ وAWQ وllama.cpp وMLC LLM، مع فرق واحد: محركات اليوم تستخدم أوزانًا صحيحة خطية بدل كتاب رموز (codebook) مبني بـ K-means.

In 2023, for ISCA's 50th anniversary retrospective collection, the authors wrote down what they think held up and what did not. The slide condenses it to four pros and four cons. The tables below expand each line with the evidence the retrospective gives and the design that replaced or extended the idea.

في 2023، ضمن مجموعة المراجعات بمناسبة الذكرى الخمسين لمؤتمر ISCA، كتب المؤلفون ما يرون أنه صمد وما لم يصمد. تختصر الشريحة ذلك في أربع إيجابيات وأربع سلبيات. والجدولان أدناه يوسّعان كل سطر بالدليل الذي تقدّمه المراجعة والتصميم الذي حلّ محل الفكرة أو مدّدها.

The con that matters most for the rest of this lectureالسلبية الأهم لبقية هذه المحاضرة

The first con is the one that shaped GPUs. A vector processor or a tensor core executes the same instruction on many lanes at once, so it needs each lane to have work at the same time. With irregular fine-grained sparsity, one lane may hold a non-zero and its neighbor a zero, and there is no way to line them up. EIE solved this with a private index stream per PE and a FIFO for load balance; ESE (FPGA 2017) went further with load-balance-aware pruning. NVIDIA instead changed the pattern itself: prune so that in every block of four consecutive weights exactly two are zero, a constraint called 2:4 sparsity. The Sparse Tensor Core then reads a 2-bit index per kept weight, selects the matching activations, and doubles math throughput with metadata overhead far below EIE's 50%. NVIDIA's recipe is to train dense, prune to 2:4 by magnitude, and retrain with the original hyperparameters. The next part takes this up in full.

السلبية الأولى هي التي شكّلت وحدات GPU. المعالج المتجهي أو نواة الموتّرات (tensor core) ينفّذ التعليمة نفسها على مسارات (lanes) كثيرة في وقت واحد، فيحتاج أن يكون لكل مسار عمل في اللحظة نفسها. ومع التناثر الدقيق غير المنتظم قد يحمل مسار قيمة غير صفرية وجاره صفرًا، ولا سبيل إلى مواءمتهما. حلّ EIE ذلك بتدفق فهارس خاص بكل عنصر معالجة وبـ FIFO من أجل load balance (موازنة الحمل)؛ وذهب ESE (FPGA 2017) أبعد بتقليم يراعي موازنة الحمل. أما NVIDIA فغيّرت النمط نفسه: قلّم بحيث يكون في كل كتلة من أربعة أوزان متتالية وزنان صفريان بالضبط، وهو قيد يُسمّى 2:4 sparsity. ثم تقرأ Sparse Tensor Core فهرسًا بطول 2-bit لكل وزن محفوظ، وتختار التفعيلات المطابقة، فتضاعف إنتاجية الحساب بعبء بيانات وصفية (metadata) أقل بكثير من 50% في EIE. ووصفة NVIDIA هي: درّب النموذج كثيفًا، ثم قلّمه إلى 2:4 بحسب المقدار (magnitude)، ثم أعد تدريبه بالمعاملات الفائقة (hyperparameters) الأصلية. والجزء التالي يتناول هذا بالكامل.

The second con is the index overhead you met in the energy gap: EIE stores a 4-bit index next to every 4-bit weight, and surrounds a single MAC with pointer reads, CSC traversal and the detector. Coarser granularity, whether 2:4 or whole blocks, amortizes that overhead. The third con, FC layers only, was answered by SCNN, Cambricon-X and Eyeriss v2 for sparse convolution. The fourth is a matter of scale: everything in SRAM is right for TinyML and vision models, and Cerebras pursued it commercially, but a model of 10 to 100 billion parameters does not fit.

السلبية الثانية هي عبء الفهرسة الذي قابلته في فجوة الطاقة: يخزّن EIE فهرسًا 4-bit بجوار كل وزن 4-bit، ويحيط عملية MAC واحدة بقراءات المؤشرات والمرور على CSC والكاشف. وgranularity (الحُبيبية) الأخشن، سواء كانت 2:4 أو كتلًا كاملة، توزّع هذا العبء وتستهلكه. والسلبية الثالثة، أي الطبقات FC فقط، أجابت عنها SCNN وCambricon-X وEyeriss v2 في الالتفاف المتناثر. أما الرابعة فمسألة حجم: وضع كل شيء في SRAM مناسب لـ TinyML ونماذج الرؤية، وقد سلكت Cerebras هذا الطريق تجاريًا، لكن نموذجًا من 10 إلى 100 مليار معامل لا يتسع.

Edit one corner of a generated image and ask the model to redraw it. A dense pipeline recomputes every pixel. SIGE (NeurIPS 2022) computes only the edited region and reuses the rest. Nothing about this is specific to pruned weights, yet it is the same move EIE made: do not spend energy where the answer is already known to be zero or unchanged.

عدّل زاوية واحدة من صورة مولَّدة واطلب من النموذج إعادة رسمها. خط المعالجة الكثيف يعيد حساب كل بكسل. أما SIGE (NeurIPS 2022) فلا يحسب إلا المنطقة المعدَّلة ويعيد استخدام الباقي. لا شيء في ذلك خاص بالأوزان المقلَّمة، ومع ذلك فهي الحركة نفسها التي قام بها EIE: لا تنفق الطاقة حيث يُعرف مسبقًا أن الجواب صفر أو لم يتغيّر.

The retrospective states the move as a principle. The first principle of efficient AI computing is to be lazy: avoid redundant computation, quickly reject the work, or delay the work. Each of the four bullets on the slide is one of those three verbs applied to a different axis of the data, and reading them that way is more useful than memorizing four paper names.

تصوغ المراجعة هذه الحركة مبدأً. المبدأ الأول في الحوسبة الكفؤة للذكاء الاصطناعي هو أن be lazy (تكون كسولًا): تجنّب الحساب الزائد، أو ارفض العمل بسرعة، أو أجّل العمل. وكل نقطة من النقاط الأربع على الشريحة هي أحد هذه الأفعال الثلاثة مطبَّقًا على محور مختلف من البيانات، وقراءتها بهذه الطريقة أنفع من حفظ أسماء أربع أوراق.

• Avoid redundant computation: SIGE skips unedited pixels; TSM replaces a 3D convolution over time with a shift that costs zero FLOPs.تجنّب الحساب الزائد: يتخطى SIGE البكسلات غير المعدَّلة؛ ويستبدل TSM الالتفاف الثلاثي الأبعاد عبر الزمن بإزاحة (shift) تكلفتها صفر FLOPs.
• Quickly reject the work: SpAtten prunes tokens and attention heads that contribute little, before they reach the expensive layers.ارفض العمل بسرعة: يقلّم SpAtten الرموز (tokens) ورؤوس الانتباه (attention heads) قليلة الإسهام قبل أن تصل إلى الطبقات المكلفة.
• Delay the work: SpAtten's progressive quantization fetches the most significant bits first and only fetches the least significant bits when the attention scores are not yet confident.أجّل العمل: التكميم التدريجي (progressive quantization) في SpAtten يجلب البتات الأعلى أهمية أولًا، ولا يجلب البتات الأدنى أهمية إلا حين لا تكون درجات الانتباه واثقة بعد.

The point-cloud line is the bridge to the last parts of this lecture. A LiDAR scan occupies a tiny fraction of its bounding volume, so sparse convolution computes only where points exist. TorchSparse makes that fast on a GPU and PointAcc builds the map generation into hardware. Notice that this is dynamic sparsity of the input, not static sparsity of the weights, which is the static versus dynamic split again: the hardware has to discover the sparsity on the fly, exactly as EIE's leading non-zero detector did for activations.

سطر السحب النقطية هو الجسر إلى الأجزاء الأخيرة من هذه المحاضرة. مسح LiDAR يشغل جزءًا ضئيلًا من الحجم المحيط به، لذلك يحسب sparse convolution (الالتفاف المتناثر) فقط حيث توجد نقاط. ويجعل TorchSparse ذلك سريعًا على GPU، ويبني PointAcc توليد الخرائط (map generation) في العتاد. لاحظ أن هذا تناثر ديناميكي في الدخل، لا تناثر ساكن في الأوزان، وهو التقسيم static versus dynamic (الساكن مقابل الديناميكي) مرة أخرى: على العتاد أن يكتشف التناثر أثناء التشغيل، تمامًا كما فعل كاشف أول قيمة غير صفرية في EIE مع activations (التفعيلات).