Pruning and sparsity Iالتقليم (Pruning) والتناثر (Sparsity) الجزء الأول

Suppose you have a trained object detector that is accurate on your validation set but will not fit on the board you are targeting. Before you touch a single weight, four questions need answers, and the outline slide of this lecture is exactly that checklist. It reappears on slides 14 and 26 as a progress marker, so treat it as the map you return to as each section closes.

افترض أن لديك نموذج كشف أجسام (object detector) مدرّبًا ودقيقًا على مجموعة التحقق (validation set)، لكنه لا يتسع على اللوحة التي تستهدفها. قبل أن تلمس وزنًا واحدًا، هناك أربعة أسئلة تحتاج إلى إجابة، وشريحة المخطط العام (outline) في هذه المحاضرة هي قائمة التحقق هذه بالضبط. تعود الشريحة للظهور في الشريحتين 14 و26 كمؤشر للتقدم، فتعامل معها كالخريطة التي ترجع إليها كلما انتهى قسم.

Pruning makes a network smaller by removing the synapses and neurons whose removal hurts performance least. That one sentence hides a sequence of design decisions. First you must formulate the problem: what exactly is being minimized, and under what budget. Then you choose the granularity, the pattern in which weights are removed, from single scattered weights up to whole channels. Then a criterion, the rule that scores which synapses or neurons are least important. Then a ratio, the target sparsity for each layer. Finally you fine-tune or retrain the pruned network so the accuracy you lost comes back.

الـ Pruning (التقليم) يصغّر الشبكة بإزالة الوصلات (synapses) والعصبونات (neurons) التي يضرّ حذفها بالأداء أقل ما يمكن. هذه الجملة الواحدة تخفي سلسلة من قرارات التصميم. أولًا يجب أن تصوغ المسألة: ما الذي نقلّله بالضبط، وتحت أي ميزانية. ثم تختار الـ granularity (درجة التفصيل)، أي النمط الذي تُزال به الأوزان، من أوزان منفردة متفرقة إلى قنوات (channels) كاملة. ثم تختار criterion (معيارًا)، أي القاعدة التي تعطي درجة لكل وصلة أو عصبون لتحديد الأقل أهمية. ثم تختار ratio (نسبة)، أي الـ sparsity المستهدفة لكل طبقة. وأخيرًا تُجري fine-tune أو تعيد تدريب الشبكة بعد التقليم حتى تعود الدقة التي فقدتها.

This lecture, Pruning and Sparsity I, covers the formulation, the granularity and the criteria. The ratio and the fine-tuning belong to Pruning and Sparsity II, the next lecture. The split mirrors the two pruning lectures of the MIT course the deck is built on, and it explains why the outline slide is highlighted only at the top: the yellow marker moves down as the lecture proceeds.

هذه المحاضرة، Pruning and Sparsity I، تغطي الصياغة والـ granularity والمعايير. أما النسبة (ratio) والـ fine-tuning فينتميان إلى Pruning and Sparsity II، أي المحاضرة التالية. هذا التقسيم يطابق محاضرتي الـ pruning في مقرر MIT الذي بُني عليه هذا العرض، وهو يفسّر لماذا تكون شريحة المخطط العام مظلّلة في أعلاها فقط: العلامة الصفراء تنزل للأسفل كلما تقدمت المحاضرة.

Take one weight of a fully connected layer. It is fetched from off-chip DRAM and multiplied by an activation. The fetch costs 640 pJ. The 32-bit integer multiply costs 3.1 pJ. Divide them: 640 / 3.1 ≈ 206. Fetching the weight costs as much energy as about two hundred multiplies. That single ratio is the reason this lecture exists.

خذ وزنًا واحدًا من طبقة متصلة بالكامل (fully connected). يُجلب هذا الوزن من ذاكرة DRAM خارج الشريحة ثم يُضرب في قيمة تنشيط (activation). عملية الجلب تكلّف 640 pJ. أما عملية ضرب الأعداد الصحيحة بعرض 32-bit فتكلّف 3.1 pJ. اقسم أحدهما على الآخر: 640 / 3.1 ≈ 206. جلب الوزن يكلّف من الطاقة ما يعادل نحو مئتي عملية ضرب. هذه النسبة الواحدة هي سبب وجود هذه المحاضرة.

The numbers come from Mark Horowitz's ISSCC 2014 keynote, measured for a 45 nm process at 0.9 V, and reproduced in Han et al. (2015), which the slide follows. The full ladder is worth knowing by heart, because it is the quantitative case for every compression technique in this course. Read it top to bottom as an ordering of operations by cost, and notice that the four arithmetic rows and the register file all sit below 4 pJ while the two memory rows, SRAM and DRAM, close the table at 5 pJ and 640 pJ.

هذه الأرقام مأخوذة من الكلمة الرئيسية التي ألقاها Mark Horowitz في ISSCC 2014، وهي مقيسة لتقنية تصنيع 45 nm عند جهد 0.9 V، وأعاد نشرها Han et al. (2015)، وهي الورقة التي تتبعها الشريحة. يستحق السُّلّم كاملًا أن تحفظه عن ظهر قلب، لأنه الحجة الكمية لكل تقنية ضغط في هذا المقرر. اقرأه من الأعلى إلى الأسفل على أنه ترتيب للعمليات بحسب كلفتها، ولاحظ أن صفوف العمليات الحسابية الأربعة وملف المسجلات (register file) كلها أقل من 4 pJ، بينما يُختتم الجدول بصفّي الذاكرة، SRAM وDRAM، عند 5 pJ و640 pJ.

Han et al. summarize the ladder in one sentence: memory access is three orders of magnitude more energy expensive than simple arithmetic. Sze et al. make the same point in their survey: DRAM accesses require up to several orders of magnitude more energy than computation, and DRAM consumes two orders of magnitude more energy per access than a small on-chip memory of a few kilobytes. Measured against the rows of the ladder, one DRAM access costs as much as each of the following.

يلخّص Han et al. السُّلّم في جملة واحدة: الوصول إلى الذاكرة أغلى من العمليات الحسابية البسيطة بثلاث رتب عشرية (orders of magnitude) من حيث الطاقة. ويطرح Sze et al. الفكرة نفسها في مسحهم البحثي: الوصول إلى DRAM يتطلب طاقة أكبر من الحساب بما يصل إلى عدة رتب عشرية، وDRAM تستهلك لكل وصول طاقة أكبر برتبتين عشريتين من ذاكرة صغيرة داخل الشريحة حجمها بضعة كيلوبايتات. وبالمقارنة مع صفوف السُّلّم، فإن وصولًا واحدًا إلى DRAM يكلّف ما يعادل كل واحدة مما يلي.

The slide's icon line, one DRAM stick equals 200 ×+, rounds the chart's arrow: that arrow runs from the DRAM bar to the 32-bit int MULT bar, so the 200 is 640 / 3.1 ≈ 206 rounded down. Pricing one MAC instead (3.1 + 0.1 = 3.2 pJ) gives 640 / 3.2 = 200. Either way the answer is about two hundred.

سطر الأيقونات في الشريحة، حيث شريحة DRAM واحدة تساوي 200 ×+، هو تقريب لسهم المخطط: ذلك السهم يمتد من عمود DRAM إلى عمود ضرب الأعداد الصحيحة 32-bit int MULT، لذا فإن الـ 200 هي 640 / 3.1 ≈ 206 مقرّبة إلى الأسفل. وإذا حسبت كلفة MAC واحدة بدلًا من ذلك (3.1 + 0.1 = 3.2 pJ) تحصل على 640 / 3.2 = 200. في الحالتين الجواب نحو مئتين.

The chain from weights to wattsالسلسلة من الأوزان إلى الواط

The slide states the consequence as a chain: data movement, more memory references, more energy. Every weight that does not fit on chip is a DRAM reference on every inference. A network with more weights moves more bytes, more bytes mean more DRAM references, and each reference costs 640 pJ. The compute, the MACs that the earlier lectures counted so carefully, turns out to be the cheap part. This is the memory access energy problem, and pruning attacks it at the root by reducing the number of weights that have to move at all.

تعرض الشريحة النتيجة على شكل سلسلة: حركة البيانات، فمزيد من مرات الوصول إلى الذاكرة، فمزيد من الطاقة. كل وزن لا يتسع داخل الشريحة يعني وصولًا إلى DRAM في كل عملية استدلال (inference). الشبكة ذات الأوزان الأكثر تنقل بايتات أكثر، والبايتات الأكثر تعني مرات وصول أكثر إلى DRAM، وكل وصول يكلّف 640 pJ. أما الحساب، أي عمليات الـ MAC التي عددناها بعناية في المحاضرات السابقة، فيتضح أنه الجزء الرخيص. هذه هي مشكلة memory access energy (طاقة الوصول إلى الذاكرة)، والـ pruning يعالجها من جذورها بتقليل عدد الأوزان التي يجب نقلها أصلًا.

There is a second payoff hiding in the ladder. Once a pruned model is small enough, its weights stop living in DRAM at all and sit in on-chip SRAM, where an access costs 5 pJ instead of 640 pJ. That is the argument of Deep Compression: pruning plus quantization shrinks both networks to a few megabytes, small enough to fit in on-chip SRAM cache rather than off-chip DRAM.

هناك مكسب ثانٍ مخفي في السُّلّم. حين يصبح النموذج بعد الـ pruning صغيرًا بما يكفي، تتوقف أوزانه عن الإقامة في DRAM أصلًا وتستقر في ذاكرة SRAM داخل الشريحة، حيث يكلّف الوصول 5 pJ بدلًا من 640 pJ. هذه هي حجة Deep Compression: الـ pruning مع الـ quantization يقلّصان كلتا الشبكتين إلى بضعة ميغابايتات، وهو حجم صغير بما يكفي ليتسع في ذاكرة SRAM cache داخل الشريحة بدلًا من DRAM خارجها.

Separately, benchmarking the pruned fully connected layers on CPU, GPU and mobile GPU measured 3x to 7x less energy per layer. Fewer weights is the first win; crossing the SRAM boundary is the second.

وبشكل منفصل، أظهر قياس أداء الطبقات المتصلة بالكامل بعد الـ pruning على CPU وGPU وGPU المحمول انخفاضًا في الطاقة لكل طبقة بين 3x و7x. تقليل الأوزان هو المكسب الأول؛ وعبور حد SRAM هو المكسب الثاني.

The slide's before-and-after picture, taken from Han et al. (2015), is a small fully connected network with layers of 5, 4, 3 and 2 nodes. Count the edges: 5 × 4 + 4 × 3 + 3 × 2 = 20 + 12 + 6 = 38 synapses and 14 neurons. After pruning the layers read 5, 3, 2, 2. One hidden neuron is gone from the second layer, one from the third, and most of the remaining edges have vanished. Two different things were removed, and the slide labels them with two different arrows.

صورة «قبل وبعد» في الشريحة، المأخوذة من Han et al. (2015)، هي شبكة صغيرة متصلة بالكامل طبقاتها فيها 5, 4, 3 و2 عقد. عُدّ الحواف: 5 × 4 + 4 × 3 + 3 × 2 = 20 + 12 + 6 = 38 وصلة (synapse) و14 عصبونًا. بعد الـ pruning تصبح الطبقات 5, 3, 2, 2. اختفى عصبون مخفي واحد من الطبقة الثانية، وآخر من الثالثة، واختفت معظم الحواف المتبقية. أُزيل شيئان مختلفان، والشريحة تسمّيهما بسهمين مختلفين.

A synapse is one weight w_ij, one edge between neuron j of one layer and neuron i of the next. Synapse pruning sets that single entry to zero, and the neurons at both ends survive with one fewer connection. A neuron is a node. Neuron pruning removes the node and therefore every edge incident to it at once: all of its incoming weights and all of its outgoing weights. Nothing about the neuron remains, so nothing that fed it or read from it needs to exist either.

الوصلة (synapse) هي وزن واحد w_ij، أي حافة واحدة بين العصبون j في طبقة والعصبون i في الطبقة التالية. الـ Synapse pruning يجعل هذا العنصر الواحد صفرًا، ويبقى العصبونان على طرفيه مع وصلة أقل بواحدة. أما العصبون فهو عقدة. الـ Neuron pruning يزيل العقدة، وبالتالي يزيل دفعة واحدة كل حافة متصلة بها: كل أوزانها الداخلة وكل أوزانها الخارجة. لا يبقى شيء من العصبون، لذا لا حاجة لوجود أي شيء كان يغذّيه أو يقرأ منه.

The matrix view makes the difference concrete. A linear layer holds its weights in a matrix W of shape [out, in], one row per output neuron and one column per input neuron. Synapse pruning zeroes scattered entries of that matrix, and the matrix keeps its shape; the result is a sparse matrix that must be stored with indices to say where the survivors are. Neuron pruning deletes a whole row of this layer's W(the neuron's inputs) and the matching column of the next layer's W (its outputs); both matrices become smaller dense matrices with no bookkeeping at all. This is the seed of the granularity spectrum in Part 03: fine-grained pruning lives at the synapse end and coarse-grained pruning at the neuron end.

النظر إلى المصفوفات يجعل الفرق ملموسًا. الطبقة الخطية (linear layer) تحفظ أوزانها في مصفوفة W شكلها [out, in]، صف لكل عصبون خرج وعمود لكل عصبون دخل. الـ synapse pruning يصفّر عناصر متفرقة من هذه المصفوفة، وتحتفظ المصفوفة بشكلها؛ والنتيجة مصفوفة متناثرة (sparse) يجب تخزينها مع indices (فهارس) توضّح أين توجد القيم الباقية. أما الـ neuron pruning فيحذف صفًا كاملًا من W في هذه الطبقة (مداخل العصبون) والعمود المقابل من W في الطبقة التالية (مخارجه)؛ فتصبح المصفوفتان مصفوفتين كثيفتين (dense) أصغر دون أي حسابات إضافية لتتبع المواقع. هذه هي بذرة طيف الـ granularity في الجزء 03: الـ fine-grained pruning يقع عند طرف الوصلات، والـ coarse-grained pruning عند طرف العصبونات.

Han et al. describe the effect of synapse pruning on a layer in one line: this pruning converts a dense, fully-connected layer to a sparse layer. They also stress that retraining the surviving weights is critical, because zeroing connections drops accuracy immediately. Part 02 shows that curve and how fine-tuning recovers it.

يصف Han et al. أثر الـ synapse pruning على الطبقة في سطر واحد: هذا الـ pruning يحوّل الطبقة الكثيفة المتصلة بالكامل إلى طبقة متناثرة. ويؤكدون أيضًا أن إعادة تدريب الأوزان الباقية أمر حاسم، لأن تصفير الوصلات يُسقط الدقة فورًا. الجزء 02 يعرض هذا المنحنى وكيف يستعيده الـ fine-tuning.

• Synapse pruning: unit is one weight, neurons survive, the matrix keeps its shape but becomes sparse.Synapse pruning: الوحدة وزن واحد، والعصبونات تبقى، والمصفوفة تحتفظ بشكلها لكنها تصبح متناثرة.
• Neuron pruning: unit is one node, all incident weights go, a row and a column disappear, matrices stay dense.Neuron pruning: الوحدة عقدة واحدة، وكل الأوزان المتصلة بها تُحذف، ويختفي صف وعمود، وتبقى المصفوفات كثيفة.
• Both reduce the number of weights that must be fetched; only the second reduces it in a shape hardware likes.كلاهما يقلّل عدد الأوزان التي يجب جلبها؛ لكن الثاني وحده يقلّله بشكل يناسب العتاد.

Start with a weight vector small enough to see whole: W = [0.8, -0.05, 0.3, -0.01]. It has four nonzero entries. Give yourself a budget of two. One candidate is W_P = [0.8, 0, 0.3, 0], which has exactly two nonzeros. Is it the best candidate? That depends on the training loss it produces, and the pruning formulation on the slide is precisely the question: among all weight vectors with at most two nonzeros, which one makes the loss smallest?

ابدأ بمتجه أوزان صغير بما يكفي لتراه كاملًا: W = [0.8, -0.05, 0.3, -0.01]. فيه أربعة عناصر غير صفرية. ضع لنفسك ميزانية من عنصرين. أحد المرشحين هو W_P = [0.8, 0, 0.3, 0]، وفيه عنصران غير صفريين بالضبط. هل هو أفضل مرشح؟ يعتمد ذلك على قيمة دالة الخسارة (loss) التي ينتجها في التدريب، وpruning formulation (صياغة الـ pruning) في الشريحة هي هذا السؤال بالضبط: من بين كل متجهات الأوزان التي فيها عنصران غير صفريين على الأكثر، أيّها يجعل الخسارة أصغر ما يمكن؟

The left half of the slide figure is ordinary training: pick W to minimize L, with the whole dense network available. The right half adds one line. The search variable becomes W_P, the pruned weights, and a constraint limits how many of its entries may be nonzero. Everything else, the loss, the data, the architecture, is unchanged. Pruning is training with a budget.

النصف الأيسر من شكل الشريحة هو التدريب العادي: اختر W بحيث تقلّل L، والشبكة الكثيفة كلها متاحة. النصف الأيمن يضيف سطرًا واحدًا. يصبح متغير البحث W_P، أي الأوزان بعد الـ pruning، ويحدّ قيدٌ عدد عناصره التي يُسمح أن تكون غير صفرية. كل ما عدا ذلك، أي الخسارة والبيانات والمعمارية، يبقى دون تغيير. الـ pruning هو تدريب بميزانية.

Why the constraint needs heuristicsلماذا يحتاج القيد إلى حلول تقريبية (heuristics)

The L0 norm counts nonzeros, and despite its name it is not a norm at all. A norm must scale with its argument, so that doubling the vector doubles the norm. Doubling our example gives ||2W||_0 = 4 = ||W||_0, not 8. Worse, as a function of the weights it is piecewise constant: nudge any nonzero weight and the count does not change, so the gradient is zero almost everywhere and undefined exactly at zero. Louizos, Welling and Kingma state it plainly: the L0 norm of weights is non-differentiable, so it cannot be incorporated directly as a regularization term. Gradient descent, the only tool that scales to millions of weights, gets no signal from the constraint.

الـ L0 norm يعدّ العناصر غير الصفرية، ورغم اسمه فهو ليس norm أصلًا. يجب أن يتناسب الـ norm مع مدخله، بحيث يتضاعف عند مضاعفة المتجه. لكن مضاعفة مثالنا تعطي ||2W||_0 = 4 = ||W||_0، لا 8. والأسوأ أنه كدالة في الأوزان ثابت على فترات (piecewise constant): حرّك أي وزن غير صفري قليلًا ولن يتغير العدد، لذا فالـ gradient صفر في كل مكان تقريبًا وغير معرّف عند الصفر بالضبط. ويقولها Louizos وWelling وKingma بوضوح: الـ L0 norm للأوزان غير قابل للاشتقاق، لذا لا يمكن إدخاله مباشرة كحد regularization. والـ gradient descent، وهو الأداة الوحيدة التي تتوسع لملايين الأوزان، لا يتلقى أي إشارة من هذا القيد.

The constraint is also combinatorial. Choosing which N of the |W| entries survive is a subset selection. With 16 weights and a budget of 8 there are C(16, 8) = 12,870 masks to compare, each requiring a retrained loss to evaluate. With a million weights and a budget of a hundred thousand the count is astronomically large. Exact search is out of the question.

والقيد أيضًا توافقي (combinatorial). اختيار أي N من بين |W| عنصرًا سيبقى هو مسألة اختيار مجموعة جزئية (subset selection). مع 16 وزنًا وميزانية 8 هناك C(16, 8) = 12,870 من الـ masks (الأقنعة) للمقارنة، وكل منها يتطلب حساب الخسارة بعد إعادة التدريب لتقييمه. ومع مليون وزن وميزانية مئة ألف يصبح العدد ضخمًا بشكل فلكي. البحث الدقيق غير وارد إطلاقًا.

So the field replaces the exact problem by the pipeline of the first concept. A criterion assigns each weight or neuron an importance score, such as its magnitude |w|, and the least important are zeroed; that is a greedy stand-in for the search over masks. A ratio fixes N for each layer; that is the budget. Fine-tuning then re-minimizes L over the surviving entries, which is the only part gradient descent can do. The formulation is exact; everything after it is an approximation, and the quality of the approximation is what the rest of this lecture and the next are about.

لذلك يستبدل المجال المسألة الدقيقة بسلسلة الخطوات في المفهوم الأول. الـ criterion (المعيار) يعطي كل وزن أو عصبون درجة أهمية، مثل مقداره |w|، ويُصفَّر الأقل أهمية؛ وهذا بديل جشع (greedy) للبحث في كل الأقنعة. والـ ratio (النسبة) يحدد N لكل طبقة؛ وهذه هي الميزانية. ثم يعيد الـ fine-tuning تقليل L على العناصر الباقية، وهو الجزء الوحيد الذي يستطيع الـ gradient descent القيام به. الصياغة دقيقة؛ وكل ما بعدها تقريب، وجودة هذا التقريب هي موضوع بقية هذه المحاضرة والمحاضرة التالية.

From N to sparsityمن N إلى الـ sparsity

In the tiny example, keeping 2 of 4 entries is 50% sparsity; the mask visual above keeps 8 of 24, which is 67%. The glossary defines the pruning ratio as the percentage of parameters pruned away, and when every zero comes from pruning the two quantities coincide.

في المثال الصغير، إبقاء 2 من 4 عناصر يعني sparsity بنسبة 50%؛ والشكل التوضيحي للقناع أعلاه يُبقي 8 من 24، أي 67%. يعرّف المسرد (glossary) نسبة الـ pruning بأنها النسبة المئوية للمعاملات التي أُزيلت، وحين يكون كل صفر ناتجًا عن الـ pruning تتطابق الكميتان.

A newborn's cortical neuron carries about 2,500 synapses. By the age of two to four the figure is near 15,000. An adult settles around 7,000. The brain grows to six times its newborn connection count, then removes more than half of that peak. Growth to a peak, then elimination: the curve on the slide is the shape of train-dense-then-prune, drawn by biology decades before anyone pruned a neural network.

يحمل العصبون القشري لدى المولود نحو 2,500 وصلة (synapse). وبين عمر سنتين وأربع سنوات يقترب الرقم من 15,000. ثم يستقر لدى البالغ عند نحو 7,000. ينمو الدماغ حتى يصل إلى ستة أضعاف عدد وصلاته عند الولادة، ثم يزيل أكثر من نصف تلك القمة. نمو حتى قمة، ثم إزالة: المنحنى في الشريحة هو شكل «درّب الشبكة كثيفة ثم قلّمها»، رسمته البيولوجيا قبل عقود من أن يقلّم أحد شبكة عصبية.

This is synaptic pruning, and Han et al. invoke it in the introduction of the paper the slide follows: their method learns the network connectivity in addition to the weights, much as in the mammalian brain, where synapses are created in the first few months of a child's development, followed by gradual pruning of little-used connections, falling to typical adult values. The parallel to the pipeline is exact in shape. Overprovision (train a large dense network), score by use (the criterion), remove the weak connections (prune), and let the remaining ones strengthen (fine-tune).

هذا هو synaptic pruning (التقليم المشبكي)، ويستشهد به Han et al. في مقدمة الورقة التي تتبعها الشريحة: طريقتهم تتعلم بنية اتصال الشبكة إضافة إلى الأوزان، تمامًا كما في دماغ الثدييات، حيث تُنشأ الوصلات في الأشهر الأولى من نمو الطفل، ثم يتبعها تقليم تدريجي للوصلات قليلة الاستخدام، فتنخفض إلى القيم المعتادة لدى البالغين. والتوازي مع سلسلة الخطوات دقيق في شكله. بناء فائض (درّب شبكة كثيفة كبيرة)، ثم تقييم بحسب الاستخدام (المعيار)، ثم إزالة الوصلات الضعيفة (الـ pruning)، ثم ترك الوصلات الباقية تتقوّى (fine-tune).

Take AlexNet as Han, Pool, Tran and Dally trained it for their NeurIPS 2015 paper: 57.2% top-1 and 80.3% top-5 on ImageNet. Its first fully connected layer alone holds 38 million weights, and if you histogram them you get a narrow bell centered on zero, almost all of it inside [-0.015, 0.015] by the paper's own account. Now pick a threshold that removes the smallest half of every layer. Nothing happens to accuracy. Remove three quarters, and top-5 accuracy falls by about 2.2%. Remove four fifths, and it falls by about 4%. That single experiment is the whole of slides 7 and 8.

خذ AlexNet كما درّبه Han وPool وTran وDally في ورقتهم في NeurIPS 2015: دقة top-1 قدرها 57.2% وtop-5 قدرها 80.3% على ImageNet. طبقته الأولى المتصلة بالكامل (fully connected) وحدها تحمل 38 million وزن، وإذا رسمت مدرجها التكراري (histogram) حصلت على جرس ضيق متمركز عند الصفر، يقع معظمه داخل [-0.015, 0.015] بحسب الورقة نفسها. الآن اختر عتبة تحذف النصف الأصغر من كل طبقة. لا يحدث شيء للدقة. احذف ثلاثة أرباع الأوزان، فتنخفض دقة top-5 بنحو 2.2%. احذف أربعة أخماسها، فتنخفض بنحو 4%. هذه التجربة الواحدة هي كل محتوى الشريحتين 7 و8.

The rule behind it is a two-step recipe. Step one is ordinary training, but Han reads it differently: the dense network is not trained to learn final weights, it is trained to learn which connections are important. Step two removes every weight whose magnitude falls below a threshold, which the paper sets as a quality parameter times the standard deviation of that layer's weights. A dense layer becomes a sparse layer. This is Pruning at its simplest, Synapse pruning in the vocabulary of Part 01, and it is the plainest form of Magnitude-based pruning: importance is |w| and nothing else. Once connections are gone, some neurons are left with no surviving input or no surviving output. Those neurons contribute nothing and are removed too, so Neuron pruning falls out of synapse pruning for free.

القاعدة وراء ذلك وصفة من خطوتين. الخطوة الأولى تدريب عادي، لكن Han يقرؤه بطريقة مختلفة: الشبكة الكثيفة لا تُدرَّب لتتعلم أوزانها النهائية، بل لتتعلم أي الوصلات مهمة. الخطوة الثانية تحذف كل وزن تقل قيمته المطلقة عن threshold (عتبة)، وتحددها الورقة بأنها معامل جودة مضروب في الانحراف المعياري لأوزان تلك الطبقة. هكذا تتحول الطبقة الكثيفة إلى طبقة متفرقة (sparse). هذا هو pruning في أبسط صوره، وهو Synapse pruning بمصطلحات الجزء 01، وأوضح أشكال Magnitude-based pruning: الأهمية هي |w| ولا شيء غيرها. وبعد حذف الوصلات تبقى بعض العصبونات بلا أي مدخل باقٍ أو بلا أي مخرج باقٍ. هذه العصبونات لا تساهم بشيء فتُحذف هي أيضاً، فيأتي Neuron pruning نتيجة مجانية لتقليم الوصلات.

The right-hand inset of slide 8 shows exactly that gap: the same bell with its center cut out, a hole of width 2t around zero, and nothing else changed. The paper's discussion of its Figure 7 describes the distribution as "centered around zero with tails dropping off quickly" before pruning, then "the center of the distribution" removed. The weights that survive have not moved. They will move in the next concept, and that movement is what retraining does.

الرسم المصغر على يمين الشريحة 8 يُظهر تلك الفجوة بالضبط: الجرس نفسه وقد قُطع مركزه، أي ثقب عرضه 2t حول الصفر، ولم يتغير أي شيء آخر. تصف الورقة في نقاشها لشكلها 7 التوزيع قبل التقليم بأنه «متمركز حول الصفر وأطرافه تهبط بسرعة»، ثم بأن «مركز التوزيع» قد أُزيل. الأوزان الباقية لم تتحرك. ستتحرك في المفهوم التالي، وهذه الحركة هي ما تفعله إعادة التدريب.

Reading the prune-only curveقراءة منحنى التقليم وحده

The chart on slide 8 plots top-5 accuracy loss against the Pruning ratio, the fraction of parameters pruned away, from 40% to 100% on the x axis and from +0.5% to -4.5% on the y axis. The dashed purple curve is what happens with no retraining. It sits at zero up to 50%, which the paper calls a "free lunch of reducing 2x the connections without losing accuracy even without retraining". It reaches about -1% at 67%, about -2.2% at 75%, about -4% at 80%, and leaves the chart just past 82%. Without retraining, the paper says, accuracy "begins dropping much sooner", once only a third of the connections remain.

يرسم مخطط الشريحة 8 فقدان دقة top-5 مقابل Pruning ratio (نسبة التقليم)، أي نسبة المعاملات المحذوفة، من 40% إلى 100% على المحور الأفقي ومن +0.5% إلى -4.5% على المحور الرأسي. المنحنى البنفسجي المتقطع هو ما يحدث دون إعادة تدريب. يبقى عند الصفر حتى 50%، وهو ما تسميه الورقة «وجبة مجانية تخفض الوصلات 2x دون فقدان في الدقة حتى بلا إعادة تدريب». ثم يصل إلى نحو -1% عند 67%، ونحو -2.2% عند 75%، ونحو -4% عند 80%، ويخرج من المخطط بعد 82% بقليل. وتقول الورقة إنه بدون إعادة تدريب «تبدأ الدقة في الانخفاض أبكر بكثير»، أي بمجرد أن يبقى ثلث الوصلات فقط.

The x axis counts what is removed, so you have to translate it into a reduction factor before you can compare with a table that reports "9x". Keeping a fraction 1 - r of the weights makes the model 1 / (1 - r) times smaller.

المحور الأفقي يعدّ ما حُذف، لذلك عليك أن تحوّله إلى reduction factor (معامل التخفيض) قبل أن تقارن بجدول يذكر «9x». الاحتفاظ بنسبة 1 - r من الأوزان يجعل النموذج أصغر بمقدار 1 / (1 - r) مرة.

Where the threshold comes fromمن أين تأتي العتبة

Because the criterion is magnitude, the threshold and the pruning ratio are two views of the same cut. If the weights of a layer are roughly Gaussian with standard deviation sigma, removing a fraction r means removing everything inside ±t where the Gaussian mass inside ±t equals r. That is an inverse normal lookup: t = sigma × z with z = 0.674 for 50%, z = 1.282 for 80% and z = 1.645 for 90%.

بما أن المعيار هو القيمة المطلقة، فالعتبة ونسبة التقليم وجهان للقطع نفسه. إذا كانت أوزان الطبقة قريبة من التوزيع الطبيعي (Gaussian) بانحراف معياري sigma، فإن حذف نسبة r يعني حذف كل ما يقع داخل ±t بحيث تساوي كتلة التوزيع داخل ±t القيمة r. هذا بحث في معكوس التوزيع الطبيعي: t = sigma × z حيث z = 0.674 لنسبة 50%، وz = 1.282 لنسبة 80%، وz = 1.645 لنسبة 90%.

Return to the AlexNet that lost 4% at 80% pruned. Keep the mask fixed, so the removed weights stay at zero, and train the survivors again with a learning rate one hundredth of the original. The loss comes back to 0.0%. That run took 173 hours on a Titan X against 75 hours for the original training, which is why the paper says pruning is "not used when iteratively prototyping the model, but rather used for model reduction when the model is ready for deployment".

عُد إلى AlexNet الذي خسر 4% عند تقليم 80%. ثبّت mask (القناع) بحيث تبقى الأوزان المحذوفة عند الصفر، ثم درّب الأوزان الباقية من جديد بمعدل تعلم يساوي جزءاً من مئة من المعدل الأصلي. يعود الفقدان إلى 0.0%. استغرقت تلك الجولة 173 hours على بطاقة Titan X مقابل 75 hours للتدريب الأصلي، ولهذا تقول الورقة إن التقليم «لا يُستخدم أثناء بناء النموذج وتجريبه بشكل متكرر، بل يُستخدم لتصغير النموذج عندما يكون جاهزاً للنشر».

This is step three of the pipeline, and the paper is blunt about its status: retraining "learns the final weights for the remaining sparse connections. This step is critical. If the pruned network is used without retraining, accuracy is significantly impacted." The lecture calls it Fine-tuning. The green curve on slide 9 shows what it buys. It stays at zero, or a hair above, all the way to 80%, then bends: about -0.25% at 84%, about -0.9% at 88%, about -1.7% at 90%, about -4% at 93%. The paper summarizes the same curve as "with retraining we are able to reduce connections by 9x".

هذه هي الخطوة الثالثة في المسار، والورقة صريحة في وصف مكانتها: إعادة التدريب «تتعلم الأوزان النهائية للوصلات المتفرقة الباقية. هذه الخطوة حاسمة. إذا استُخدمت الشبكة المقلّمة دون إعادة تدريب، تتأثر الدقة بشكل كبير». وتسميها المحاضرة Fine-tuning (الضبط الدقيق). المنحنى الأخضر في الشريحة 9 يُظهر ما تشتريه. يبقى عند الصفر، أو فوقه بشعرة، حتى 80%، ثم ينحني: نحو -0.25% عند 84%، ونحو -0.9% عند 88%، ونحو -1.7% عند 90%، ونحو -4% عند 93%. وتلخص الورقة المنحنى نفسه بقولها «مع إعادة التدريب نستطيع تقليل الوصلات بمقدار 9x».

Two of the green points sit slightly above zero. The authors do not treat that as noise: "We believe this accuracy improvement is due to pruning finding the right capacity of the network and hence reducing overfitting." In other words, Pruning behaves like a regularizer, and an over-parameterized network can lose most of its weights and generalize a little better for it.

نقطتان من النقاط الخضراء تقعان فوق الصفر بقليل. لا يعدّ المؤلفون ذلك ضجيجاً: «نعتقد أن هذا التحسن في الدقة سببه أن التقليم يجد السعة المناسبة للشبكة، وبالتالي يقلل الإفراط في التخصيص (overfitting)». بعبارة أخرى، يتصرف pruning كأداة تنظيم (regularizer)، ويمكن لشبكة ذات معاملات زائدة أن تفقد معظم أوزانها وتعمّم أفضل قليلاً بسبب ذلك.

What retraining does to the weightsماذا تفعل إعادة التدريب بالأوزان

The third inset on slide 9 is the most informative picture in this part. After pruning, the histogram was a bell with a hole. After retraining it is two smooth lobes, one on each side of zero, and the whole distribution is wider. The paper's text on Figure 7 states the numbers: the original weights lived inside [-0.015, 0.015]; after retraining "the parameters form a bimodal distribution and become more spread across the x-axis, between [-0.025, 0.025]". The survivors have grown in magnitude to take over the work of the connections that were removed. Nothing has been restored; the mask still holds the pruned weights at zero.

الرسم المصغر الثالث في الشريحة 9 هو أغنى صورة في هذا الجزء. بعد التقليم كان المدرج التكراري جرساً فيه ثقب. وبعد إعادة التدريب أصبح فصّين ناعمين، واحداً على كل جانب من الصفر، والتوزيع كله أعرض. نص الورقة عن الشكل 7 يذكر الأرقام: الأوزان الأصلية كانت تعيش داخل [-0.015, 0.015]؛ وبعد إعادة التدريب «تشكل المعاملات توزيعاً ثنائي القمة (bimodal) وتصبح أكثر انتشاراً على المحور الأفقي، بين [-0.025, 0.025]». الأوزان الباقية كبرت في قيمتها المطلقة لتتولى عمل الوصلات التي حُذفت. لم يُستعَد أي شيء؛ القناع ما زال يُبقي الأوزان المقلّمة عند الصفر.

Three rules the paper gives for retrainingثلاث قواعد تعطيها الورقة لإعادة التدريب

• Keep the surviving weights; do not reinitialize them. The paper argues that networks contain "fragile co-adapted features" that gradient descent finds when the network is first trained but cannot find again from scratch on a sparse layout.احتفظ بالأوزان الباقية؛ لا تُعِد تهيئتها. تحتج الورقة بأن الشبكات تحتوي على «سمات هشة متكيفة فيما بينها» (fragile co-adapted features) يجدها الانحدار التدرجي (gradient descent) عند تدريب الشبكة أول مرة، لكنه لا يستطيع إيجادها مجدداً من الصفر على بنية متفرقة.
• Shrink dropout. Pruning has already removed capacity, so the retraining dropout D_r is scaled from the original D_o by the square root of the fraction of connections kept.قلّل الـ dropout. التقليم أزال جزءاً من السعة أصلاً، لذلك يُحسب dropout إعادة التدريب D_r من القيمة الأصلية D_o بضربها في الجذر التربيعي لنسبة الوصلات المحتفَظ بها.
• Choose the regularizer for the stage. L1 pushes more weights toward zero and gives better accuracy straight after pruning, but L2 gives better accuracy once the survivors are retrained, so the paper uses L2 for the curves on these slides.اختر أداة التنظيم المناسبة للمرحلة. L1 يدفع أوزاناً أكثر نحو الصفر ويعطي دقة أفضل مباشرة بعد التقليم، لكن L2 يعطي دقة أفضل بعد إعادة تدريب الأوزان الباقية، لذلك تستخدم الورقة L2 في منحنيات هذه الشرائح.

One more observation from the paper's sensitivity study (Figure 6) matters for your own experiments: convolutional layers are more sensitive to pruning than fully connected ones, and the first convolutional layer is the most sensitive of all, because its input has only three channels and there is little redundancy to remove. That is why the per-layer keep rates in the next concepts are so uneven.

ملاحظة أخرى من دراسة الحساسية في الورقة (الشكل 6) تهمك في تجاربك الخاصة: الطبقات الالتفافية أكثر حساسية للتقليم من الطبقات المتصلة بالكامل، والطبقة الالتفافية الأولى هي الأكثر حساسية على الإطلاق، لأن مدخلها له ثلاث قنوات فقط ولا يوجد فيه إلا القليل من التكرار القابل للحذف. ولهذا السبب تتفاوت نسب الاحتفاظ لكل طبقة في المفاهيم التالية تفاوتاً كبيراً.

Start from the retrained network at 80% pruned, the last green point still on the zero line, a 5x model with no loss. Now prune it again, using the retrained magnitudes, and fine-tune again. The paper describes what happens: "The leftmost dot on this curve corresponds to the point on the green line at 80% (5x pruning) pruned to 8x. There's no accuracy loss at 9x. Not until 10x does the accuracy begin to drop sharply." The red curve on slide 10 is that experiment: flat through 90%, about -0.5% at 92%, -1% at 93%, -2% at 94%, and about -4% between 95% and 96%.

ابدأ من الشبكة المعاد تدريبها عند تقليم 80%، وهي آخر نقطة خضراء ما زالت على خط الصفر، نموذج أصغر بـ 5x بلا أي فقدان. الآن قلّمها مرة أخرى باستخدام القيم المطلقة بعد إعادة التدريب، ثم طبّق fine-tune مرة أخرى. تصف الورقة ما يحدث: «النقطة الأولى من اليسار على هذا المنحنى تقابل النقطة على الخط الأخضر عند 80% (تقليم 5x) بعد تقليمها إلى 8x. لا يوجد فقدان في الدقة عند 9x. ولا تبدأ الدقة في الانخفاض الحاد إلا عند 10x». المنحنى الأحمر في الشريحة 10 هو تلك التجربة: مستوٍ حتى 90%، ثم نحو -0.5% عند 92%، و-1% عند 93%، و-2% عند 94%، ونحو -4% بين 95% و96%.

This is Iterative pruning, and the paper states the rule and the payoff in one breath: "Pruning followed by a retraining is one iteration, after many such iterations the minimum number connections could be found. Without loss of accuracy, this method can boost pruning rate from 5x to 9x on AlexNet compared with single-step aggressive pruning." Each iteration is a greedy search. VGG-16 used five rounds; ResNet-50 in Han's thesis used three. The left side of slide 10 draws the loop: train connectivity, prune connections, train weights, and an arrow from train weights back to prune.

هذا هو Iterative pruning (التقليم التكراري)، والورقة تذكر القاعدة والمكسب في نَفَس واحد: «التقليم متبوعاً بإعادة تدريب يمثل تكراراً واحداً، وبعد تكرارات كثيرة من هذا النوع يمكن إيجاد أقل عدد من الوصلات. ودون فقدان في الدقة، يمكن لهذه الطريقة أن ترفع معدل التقليم من 5x إلى 9x على AlexNet مقارنة بالتقليم الحاد بخطوة واحدة». كل تكرار هو بحث جشع (greedy search). استخدم VGG-16 خمس جولات؛ واستخدم ResNet-50 في أطروحة Han ثلاث جولات. الجانب الأيسر من الشريحة 10 يرسم الحلقة: تدريب بنية الوصلات، ثم تقليم الوصلات، ثم تدريب الأوزان، مع سهم يعود من تدريب الأوزان إلى التقليم.

Why several small cuts beat one big cutلماذا تتفوق عدة قطعات صغيرة على قطعة واحدة كبيرة

A single cut to 90% judges every weight by the magnitude it had in the dense network. But the previous concept showed that retraining changes those magnitudes: the survivors grow and the distribution becomes bimodal. Weights that looked expendable in the dense network may become load-bearing after the first round, and weights that looked important may shrink once their neighbours take over. Iterating lets each cut use the freshest evidence. Frankle and Carbin reach the same conclusion in a different setting: iterative pruning over n rounds, each removing p^(1/n) of what remains, "finds winning tickets that match the accuracy of the original network at smaller sizes than does one-shot pruning". The price, which they also state, is that repeated retraining is expensive.

القطع الواحد إلى 90% يحكم على كل وزن بالقيمة المطلقة التي كانت له في الشبكة الكثيفة. لكن المفهوم السابق بيّن أن إعادة التدريب تغيّر هذه القيم: الأوزان الباقية تكبر والتوزيع يصبح ثنائي القمة. أوزان بدت قابلة للاستغناء في الشبكة الكثيفة قد تصبح حاملة للحمل بعد الجولة الأولى، وأوزان بدت مهمة قد تصغر بعد أن تتولى جاراتها عملها. التكرار يتيح لكل قطع أن يعتمد على أحدث دليل. ويصل Frankle وCarbin إلى الاستنتاج نفسه في سياق مختلف: التقليم التكراري على n جولة، تحذف كل منها p^(1/n) مما تبقى، «يجد تذاكر رابحة (winning tickets) تطابق دقة الشبكة الأصلية بأحجام أصغر مما يجده التقليم دفعة واحدة». والثمن، الذي يذكرانه أيضاً، أن إعادة التدريب المتكررة مكلفة.

Look at AlexNet layer by layer, as the paper's Table 4 does. Its first fully connected layer, fc6, holds 38 M weights but costs only 75 M FLOPs, because each weight is used once per image. Its second convolutional layer, conv2, holds 307 K weights but costs 448 M FLOPs, because each weight is reused at every spatial position. Add the layers up and the network splits into two worlds: the three FC layers hold 58.6 M of the 61 M parameters (96.2%, which the paper rounds to 59 M) but only about 117 M of 1.45 G FLOPs (8%), while the five conv layers hold 2.3 M parameters (3.8%) but 1.33 G FLOPs (92%).

انظر إلى AlexNet طبقة طبقة كما يفعل الجدول 4 في الورقة. طبقته الأولى المتصلة بالكامل، fc6، تحمل 38 M وزن لكنها تكلف 75 M عملية FLOP فقط، لأن كل وزن يُستخدم مرة واحدة لكل صورة. وطبقته الالتفافية الثانية، conv2، تحمل 307 K وزن لكنها تكلف 448 M عملية FLOP، لأن كل وزن يُعاد استخدامه في كل موضع مكاني. اجمع الطبقات فتنقسم الشبكة إلى عالمين: طبقات FC الثلاث تحمل 58.6 M من أصل 61 M معامل (96.2%، وتقرّبها الورقة إلى 59 M) لكنها لا تكلف إلا نحو 117 M من أصل 1.45 G عملية FLOP (8%)، بينما تحمل الطبقات الالتفافية الخمس 2.3 M معامل (3.8%) لكنها تكلف 1.33 G عملية FLOP (92%).

That split explains the table on slide 11 before you read it. Pruning fc6 to 9% deletes 34.6 M parameters but only 68 M FLOPs by weight count (73 M once zero activations are skipped as well, which is how Han counts). Pruning conv2 to 38% deletes only 190 K parameters but 278 M FLOPs by weight count (300 M by Han's count). Parameter reduction is a story about FC layers; MAC reduction is a story about conv layers, and the two are pruned to very different depths.

هذا الانقسام يفسر جدول الشريحة 11 قبل أن تقرأه. تقليم fc6 إلى 9% يحذف 34.6 M معامل لكنه لا يحذف إلا 68 M عملية FLOP بحساب عدد الأوزان (73 M إذا تخطينا التفعيلات الصفرية أيضاً، وهي طريقة Han في العدّ). وتقليم conv2 إلى 38% لا يحذف إلا 190 K معامل لكنه يحذف 278 M عملية FLOP بحساب عدد الأوزان (300 M بطريقة Han). تخفيض المعاملات قصة طبقات FC؛ وتخفيض MAC قصة الطبقات الالتفافية، والنوعان يُقلَّمان إلى أعماق مختلفة جداً.

Why the over-parameterized nets compress moreلماذا تنضغط الشبكات ذات المعاملات الزائدة أكثر

AlexNet and VGG-16 get 9x and 12x; GoogleNet, ResNet-50 and SqueezeNet get about 3.2x to 3.5x. The extra column is the reason. VGG-16's fc6 alone holds 103 M of its 138 M weights, and the paper prunes fc6 and fc7 to 4% of their size while conv layers keep 22% to 58%. GoogleNet has one FC layer of about 1 M in 7 M, ResNet-50 one of about 2 M in 25.5 M, and SqueezeNet has none at all, ending in global average pooling. Han's thesis says it directly: the pruning ratio of GoogleNet is smaller than AlexNet and VGG-16 "because convolutional layers dominate GoogleNet, and convolutional layers are much more efficient than fully connected layers". The three conv-dominated networks land in the same place, about 30% of parameters nonzero (GoogleNet 29%, SqueezeNet 31%, ResNet 29%), which is the 3.4x in the table. Their FC rows, where Neuron pruning would delete whole rows of a weight matrix, are too small to matter.

يحصل AlexNet وVGG-16 على 9x و12x؛ بينما يحصل GoogleNet وResNet-50 وSqueezeNet على نحو 3.2x إلى 3.5x. العمود الإضافي هو السبب. طبقة fc6 في VGG-16 وحدها تحمل 103 M من أصل 138 M وزن، والورقة تقلّم fc6 وfc7 إلى 4% من حجمهما بينما تحتفظ الطبقات الالتفافية بما بين 22% و58%. أما GoogleNet فله طبقة FC واحدة بنحو 1 M من أصل 7 M، وResNet-50 طبقة واحدة بنحو 2 M من أصل 25.5 M، وSqueezeNet ليس فيه أي طبقة FC، إذ ينتهي بـ global average pooling. وأطروحة Han تقولها صراحة: نسبة تقليم GoogleNet أصغر من AlexNet وVGG-16 «لأن الطبقات الالتفافية تهيمن على GoogleNet، والطبقات الالتفافية أكفأ بكثير من الطبقات المتصلة بالكامل». الشبكات الثلاث التي تهيمن عليها الطبقات الالتفافية تنتهي في المكان نفسه، نحو 30% من المعاملات غير صفرية (GoogleNet 29%، وSqueezeNet 31%، وResNet 29%)، وهذا هو الـ 3.4x في الجدول. أما صفوف طبقات FC فيها، حيث يحذف Neuron pruning صفوفاً كاملة من مصفوفة الأوزان، فهي أصغر من أن تُحدث فرقاً.

Why MAC reduction is not parameter reductionلماذا لا يساوي تخفيض MAC تخفيض المعاملات

Two mechanisms separate the two columns. The first is the split above: parameters concentrate in FC layers, which are pruned hardest, and MACs concentrate in conv layers, which are pruned least. That is how AlexNet gets 9x on parameters but 3x on MACs, and VGG-16 12x against 5x. The second is how Han counts. A multiply-accumulate is only counted as saved when it is really skipped, and it is skipped when either the weight or the input activation is zero. ReLU produces plenty of zero activations, so the FLOP column in Table 4 is roughly the weight density times the density of the layer's input activations.

آليتان تفصلان العمودين. الأولى هي الانقسام المذكور أعلاه: المعاملات تتركز في طبقات FC، وهي التي تُقلَّم بأشد قدر، وعمليات MAC تتركز في الطبقات الالتفافية، وهي التي تُقلَّم بأقل قدر. وهكذا يحصل AlexNet على 9x في المعاملات لكن 3x فقط في عمليات MAC، ويحصل VGG-16 على 12x مقابل 5x. والثانية هي طريقة Han في العدّ. لا تُحسب عملية الضرب والجمع التراكمي (multiply-accumulate) موفَّرة إلا إذا تُخطّيت فعلاً، وهي تُتخطى عندما يكون الوزن أو تفعيل المدخل صفراً. ودالة ReLU تنتج كثيراً من zero activations (التفعيلات الصفرية)، لذلك فعمود FLOP في الجدول 4 يساوي تقريباً كثافة الأوزان مضروبة في كثافة تفعيلات مدخل الطبقة.

Even where MACs barely fall, the parameter count is worth cutting. A 6.7 M parameter AlexNet fits in on-chip SRAM, and the paper's point from Part 01 stands: at 640 pJ per DRAM access, the energy of fetching weights dominates the energy of multiplying them.

حتى حيث تكاد عمليات MAC لا تنخفض، يستحق عدد المعاملات أن يُخفَّض. نموذج AlexNet بـ 6.7 M معامل يتسع في ذاكرة SRAM على الشريحة، وتبقى فكرة الورقة من الجزء 01 قائمة: عند 640 pJ لكل وصول إلى DRAM، فإن energy of fetching weights (طاقة جلب الأوزان) تطغى على طاقة ضربها.

Everything so far was an image classifier with a huge fully connected tail. NeuralTalk, Karpathy and Fei-Fei's image captioner, is a different animal: a CNN feature extractor feeding an LSTM that writes a sentence one word at a time. Han froze the CNN, pruned every LSTM weight matrix except the word-embedding table to 10% nonzeros, retrained with the original weight decay and batch size, and measured BLEU-1 to BLEU-4 on Flickr-8K. The thesis reports: "Not until pruning away 90% of the parameters does the BLEU score begin to drop sharply."

كل ما سبق كان مصنّفات صور بذيل ضخم من الطبقات المتصلة بالكامل. أما NeuralTalk، مولّد الأوصاف النصية للصور الذي بناه Karpathy وFei-Fei، فهو كائن مختلف: مستخرج سمات من نوع CNN يغذي شبكة LSTM تكتب جملة كلمةً كلمة. جمّد Han شبكة CNN، وقلّم كل مصفوفات أوزان LSTM ما عدا جدول تضمين الكلمات (word embedding) إلى 10% من القيم غير الصفرية، وأعاد التدريب بمعامل اضمحلال الأوزان (weight decay) وحجم الدفعة الأصليين، وقاس BLEU-1 إلى BLEU-4 على Flickr-8K. تقول الأطروحة: «لا تبدأ درجة BLEU في الانخفاض الحاد إلا بعد تقليم 90% من المعاملات».

The recipe did not change. Train, cut the small weights, retrain the survivors: the same three steps, the same knee near 90%, and the same dependence on Fine-tuning, which the thesis says "plays a very important role" when it compares the retrained curve with the one that skips retraining. Slide 12 shows the qualitative check that a BLEU number cannot: the captions themselves.

الوصفة لم تتغير. درّب، اقطع الأوزان الصغيرة، أعد تدريب الباقي: الخطوات الثلاث نفسها، والانحناءة نفسها قرب 90%، والاعتماد نفسه على Fine-tuning، الذي تقول الأطروحة إنه «يؤدي دوراً مهماً جداً» حين تقارن المنحنى المعاد تدريبه بالمنحنى الذي يتخطى إعادة التدريب. وتعرض الشريحة 12 التحقق النوعي الذي لا يستطيعه رقم BLEU: الأوصاف نفسها.

At 90% the pruned model "sometimes produces the same caption, sometimes produces a different word to describe the same thing", and sometimes describes the scene differently but still correctly. Replacing "ball" with "basketball" is arguably an improvement. The fourth image is the warning. At 95% pruned, a 20x model, the sentence starts to stutter: "a red shirt and black and white black shirt" repeats a phrase and loses the word "soccer". That is what crossing the knee of the Pruning ratio curve looks like in a language model: not silence, but drift.

عند 90% فإن النموذج المقلّم «يُنتج أحياناً الوصف نفسه، وأحياناً كلمة مختلفة لوصف الشيء نفسه»، وأحياناً يصف المشهد بطريقة مختلفة لكنها تبقى صحيحة. واستبدال «ball» بـ «basketball» يمكن اعتباره تحسناً. الصورة الرابعة هي التحذير. عند تقليم 95%، أي نموذج أصغر بـ 20x، تبدأ الجملة في التلعثم: «a red shirt and black and white black shirt» تكرر عبارة وتفقد كلمة «soccer». هذا هو شكل تجاوز انحناءة منحنى Pruning ratio في نموذج لغوي: ليس صمتاً، بل انحرافاً.

Take fc6 of AlexNet pruned to 9% and run it with an ordinary dense matrix kernel on a GPU. The kernel does not know the zeros are zeros. It multiplies all 38 M weight-activation pairs, 34.6 M of them by zero, and finishes in exactly the time the dense layer took. Nine times fewer parameters, zero speedup. The reduction table of two concepts ago counted what could be skipped; it did not promise that anything would be. Skipping needs either a custom engine that understands sparse formats or a sparsity pattern that commodity hardware is built for. Slide 13 shows both.

خذ fc6 من AlexNet بعد تقليمها إلى 9% وشغّلها بنواة ضرب مصفوفات كثيفة عادية (dense kernel) على GPU. النواة لا تعرف أن الأصفار أصفار. فهي تضرب كل أزواج الوزن والتفعيل البالغة 38 M، منها 34.6 M مضروبة في صفر، وتنتهي في الزمن نفسه تماماً الذي استغرقته الطبقة الكثيفة. معاملات أقل بتسع مرات، وتسريع صفري. جدول التخفيض قبل مفهومين عدّ ما يمكن تخطيه؛ لم يعد بأن شيئاً سيُتخطى فعلاً. والتخطي يحتاج إما محركاً مخصصاً يفهم الصيغ المتفرقة، وإما نمط ندرة صُمم العتاد التجاري الشائع من أجله. والشريحة 13 تعرض الاثنين.

The commodity route: NVIDIA A100 and 2:4الطريق التجاري: NVIDIA A100 ونمط 2:4

The Ampere whitepaper defines 2:4 sparsity as a structure "that allows two non-zero values in every four-entry vector". Every group of four contiguous weights along a row keeps at most two, so the matrix is exactly half zeros, stored as the nonzero values plus a 2-bit index per survivor. That compression cuts storage and bandwidth "by almost 2x", and the Sparse Tensor Core has a matrix multiply instruction that reads the indices, gathers only the matching activations, and finishes a tile in N/2 cycles instead of N: "a 2x speedup". This is the special case N = 2, M = 4 of N:M sparsity.

تعرّف الورقة البيضاء لمعمارية Ampere 2:4 sparsity بأنها بنية «تسمح بقيمتين غير صفريتين في كل متجه من أربعة عناصر». كل مجموعة من أربعة أوزان متجاورة على طول الصف تحتفظ بوزنين على الأكثر، فتكون المصفوفة نصفها أصفار بالضبط، وتُخزَّن على شكل القيم غير الصفرية مع 2-bit index (فهرس من بتّين) لكل وزن باقٍ. هذا الضغط يخفض التخزين وعرض النطاق «بما يقارب 2x»، ولدى Sparse Tensor Core تعليمة ضرب مصفوفات تقرأ الفهارس، وتجمع التفعيلات المطابقة فقط، وتُنهي البلاطة (tile) في N/2 دورة بدلاً من N: «تسريع 2x». هذه هي الحالة الخاصة N = 2, M = 4 من N:M sparsity.

How does a model get into that pattern? The whitepaper's recipe is the pipeline of this part with one constraint added: the network is "first trained using dense weights, then fine-grained structured pruning is applied, and finally the remaining non-zero weights are fine-tuned". NVIDIA's developer blog reports BERT-Large keeping its SQuAD F1 of 91.9 dense and sparse. The magnitude criterion, the mask and the retraining are all Han's; the only change is that the two smallest of every four are cut instead of the smallest 50% of the layer.

كيف يصل النموذج إلى هذا النمط؟ وصفة الورقة البيضاء هي مسار هذا الجزء مع قيد واحد إضافي: الشبكة «تُدرَّب أولاً بأوزان كثيفة، ثم يُطبَّق تقليم منظم دقيق الحبيبات (fine-grained structured pruning)، وأخيراً تخضع الأوزان غير الصفرية الباقية للضبط الدقيق». وتذكر مدونة المطورين في NVIDIA أن BERT-Large يحافظ على درجة SQuAD F1 البالغة 91.9 في النسختين الكثيفة والمتفرقة. معيار القيمة المطلقة والقناع وإعادة التدريب كلها من Han؛ والتغيير الوحيد أنك تقطع أصغر وزنين من كل أربعة بدلاً من أصغر 50% من الطبقة.

The gap between 2x and 1.5x is the gap between a peak instruction rate and a whole layer. The whitepaper says "up to 2x". NVIDIA's cuSPARSELt measurements on BERT-Large GEMM layers on an A100 give 1.3x for the projection, 1.4x for QKV and FC1, and 1.6x for FC2 over dense cuBLAS, because memory traffic for activations, the non-GEMM parts of the layer and kernel launch costs do not halve. The slide's "1.5X measured BERT speedup" is Han's summary of those numbers. Treat 1.5x as the realistic middle and 2x as the ceiling.

الفجوة بين 2x و1.5x هي الفجوة بين معدل تعليمة في الذروة وطبقة كاملة. الورقة البيضاء تقول «حتى 2x». وقياسات NVIDIA باستخدام cuSPARSELt على طبقات GEMM في BERT-Large على A100 تعطي 1.3x لطبقة الإسقاط (projection)، و1.4x لـ QKV وFC1، و1.6x لـ FC2 مقارنة بـ cuBLAS الكثيف، لأن حركة الذاكرة الخاصة بالتفعيلات والأجزاء غير المتعلقة بـ GEMM في الطبقة وتكاليف إطلاق النوى لا تنخفض إلى النصف. وعبارة الشريحة «1.5X measured BERT speedup» هي تلخيص Han لهذه الأرقام. اعتبر 1.5x القيمة الواقعية في المنتصف و2x السقف.

The custom route: engines built to skip zerosالطريق المخصص: محركات مبنية لتخطي الأصفار

Before 2:4 existed, the way to profit from unstructured sparsity was to build the hardware yourself. The four papers cited on slide 13 are all from Han and his students, and each makes a different thing sparse. EIE, the Efficient Inference Engine, holds the compressed model in on-chip SRAM, so the 640 pJ DRAM access from Part 01 disappears, and it skips both zero weights and the zero activations that ReLU produces, which its authors say "saves another 3x". ESE moves the same idea onto an FPGA for pruned speech-recognition LSTMs, the same recipe the previous concept applied to NeuralTalk. SpArch accelerates multiplying two sparse matrices, and SpAtten prunes tokens and attention heads at run time instead of weights.

قبل ظهور نمط 2:4، كانت طريقة الاستفادة من الندرة غير المنتظمة أن تبني العتاد بنفسك. الأوراق الأربع المذكورة في الشريحة 13 كلها من Han وطلابه، وكل منها يجعل شيئاً مختلفاً متفرقاً. EIE، أي Efficient Inference Engine، يحتفظ بالنموذج المضغوط في ذاكرة SRAM على الشريحة، فيختفي وصول DRAM بتكلفة 640 pJ المذكور في الجزء 01، ويتخطى الأوزان الصفرية وzero activations (التفعيلات الصفرية) التي تنتجها ReLU معاً، وهو ما يقول مؤلفوه إنه «يوفر 3x أخرى». وينقل ESE الفكرة نفسها إلى FPGA لشبكات LSTM المقلّمة الخاصة بالتعرف على الكلام، وهي الوصفة نفسها التي طبقها المفهوم السابق على NeuralTalk. ويسرّع SpArch ضرب مصفوفتين متفرقتين، بينما يقلّم SpAtten الرموز (tokens) ورؤوس الانتباه (attention heads) أثناء التشغيل بدلاً من الأوزان.

Take a weight matrix with eight rows and eight columns, 64 weights in all, and decide to remove 24 of them. One way is to cross out rows 3, 4 and 7 completely. Another is to cross out 24 individual entries wherever the magnitude criterion of part 05 says they matter least. Both leave 40 weights and both reach a Sparsity of 24 / 64 = 37.5%. Everything else about them is different.

خذ مصفوفة أوزان من ثمانية صفوف وثمانية أعمدة، أي 64 وزنًا في المجموع، وقرّر حذف 24 منها. إحدى الطرق أن تشطب الصفوف 3 و4 و7 بالكامل. وطريقة أخرى أن تشطب 24 عنصرًا منفردًا أينما قال معيار المقدار (magnitude) في الجزء 05 إنها الأقل أهمية. كلتا الطريقتين تُبقي 40 وزنًا وكلتاهما تبلغ نسبة تفرّغ (sparsity) قدرها 24 / 64 = 37.5%. وكل ما عدا ذلك مختلف بينهما.

The unit you delete is the Pruning granularity. Deleting single weights is fine-grained, or unstructured, pruning. Deleting whole rows, columns, kernels or channels is coarse-grained, or structured, pruning. Two consequences pull in opposite directions as the unit grows. The number of masks you may choose from falls, which costs accuracy at a given Pruning ratio. The regularity of what survives rises, which is what lets ordinary hardware run the pruned layer faster.

الوحدة التي تحذفها هي دقة التقليم (pruning granularity). حذف أوزان منفردة هو التقليم الدقيق أو غير المنظَّم (fine-grained / unstructured pruning). وحذف صفوف أو أعمدة أو أنوية (kernels) أو قنوات كاملة هو التقليم الخشن أو المنظَّم (coarse-grained / structured pruning). كلما كبرت الوحدة ظهرت نتيجتان تشدّان في اتجاهين متعاكسين. عدد الأقنعة التي يمكنك الاختيار منها يقلّ، وهذا يكلّف دقة عند نسبة تقليم (pruning ratio) معيّنة. وانتظام ما يبقى يزداد، وهذا ما يسمح للعتاد العادي بتشغيل الطبقة المقلَّمة أسرع.

Counting the choicesعدّ الخيارات

The slide calls fine-grained pruning "more flexible" and coarse-grained pruning "a subset of the fine-grained case". Both statements can be made exact by counting masks. A mask is the set of positions you zero, and the pruning problem of part 01 searches over masks for the one with the lowest loss.

تصف الشريحة التقليم الدقيق بأنه "أكثر مرونة" والتقليم الخشن بأنه "مجموعة جزئية من حالة التقليم الدقيق". يمكن جعل العبارتين دقيقتين بعدّ الأقنعة. القناع (mask) هو مجموعة المواضع التي تصفّرها، ومسألة التقليم (pruning) في الجزء 01 تبحث بين الأقنعة عن القناع ذي أقل خسارة (loss).

Why irregular means hard to accelerateلماذا يعني عدم الانتظام صعوبة التسريع

Multiply a vector by the 5 x 8 survivor and nothing special happens. It is just a smaller dense matrix, and every BLAS routine, every tensor core and every microcontroller loop handles it at full speed. That is the slide's "easy to accelerate (just a smaller matrix!)". Now multiply by the 8 x 8 matrix with 24 holes. A dense routine still performs all 64 multiplies, 24 of them by zero, and gains nothing. To gain, you must store the 40 surviving values together with their positions, in a compressed sparse format, and let the hardware skip the zeros one by one. Mao et al. draw the same line: fine-grained sparsity scatters the tensor into isolated weights and needs custom accelerators such as EIE or SCNN to exploit it, while filter and channel sparsity is simple to accelerate on general-purpose processors because it "is equivalent to obtaining a smaller dense model" (Mao et al., 2017, section 2).

اضرب متجهًا في المصفوفة الباقية 5 x 8 ولن يحدث شيء خاص. إنها ببساطة مصفوفة كثيفة أصغر، وكل دالة BLAS وكل tensor core وكل حلقة على متحكم دقيق تعالجها بالسرعة الكاملة. هذا ما تعنيه الشريحة بعبارة "سهل التسريع (مجرد مصفوفة أصغر!)". الآن اضرب في المصفوفة 8 x 8 التي فيها 24 ثقبًا. الدالة الكثيفة ما زالت تنفّذ عمليات الضرب الـ64 كلها، منها 24 ضربًا في صفر، ولا تكسب شيئًا. لكي تكسب، يجب أن تخزّن القيم الـ40 الباقية مع مواضعها في صيغة متفرّغة مضغوطة (compressed sparse format)، وأن تدع العتاد يتخطى الأصفار واحدًا واحدًا. يرسم Mao et al. الخط نفسه: التفرّغ الدقيق يبعثر الموتّر إلى أوزان معزولة ويحتاج إلى مسرّعات مخصّصة مثل EIE أو SCNN للاستفادة منه، بينما تفرّغ المرشّحات والقنوات سهل التسريع على المعالجات العامة لأنه "يكافئ الحصول على نموذج كثيف أصغر" (Mao et al., 2017، القسم 2).

The gap is measurable. Wen et al. trained AlexNet with structured sparsity and reported average layer-wise speedups of the convolutional layers of 5.1x on CPU and 3.1x on GPU with off-the-shelf libraries, against 3.0x and 0.9x for non-structured l1 sparsity (Wen et al., 2016, Table 4). The fine-grained model had more zeros. The structured model ran faster.

الفجوة قابلة للقياس. درّب Wen et al. شبكة AlexNet بتفرّغ منظَّم وأبلغوا عن متوسط تسريع لكل طبقة في الطبقات الالتفافية قدره 5.1x على الـCPU و3.1x على الـGPU باستخدام مكتبات جاهزة، مقابل 3.0x و0.9x للتفرّغ غير المنظَّم بـl1 (Wen et al., 2016، الجدول 4). النموذج الدقيق كان فيه أصفار أكثر، لكن النموذج المنظَّم كان أسرع.

What the accuracy price looks likeكيف يبدو ثمن الدقة

Because coarse units search a smaller space, they lose a little accuracy at the same density (the fraction of weights kept). Mao et al. measured this on ImageNet with the same pipeline at every granularity. The differences are small between fine and vector grains and grow as the grain reaches whole kernels; pruning entire filters "loses nearly 1% validation accuracy at the very first pruning stage" on AlexNet (Mao et al., 2017).

لأن الوحدات الخشنة تبحث في فضاء أصغر، فإنها تخسر قليلًا من الدقة عند الكثافة نفسها (density، أي نسبة الأوزان المُبقاة). قاس Mao et al. ذلك على ImageNet بخط المعالجة نفسه عند كل مستوى دقة. الفروق صغيرة بين المستوى الدقيق ومستوى المتجهات وتكبر حين تصل الوحدة إلى أنوية كاملة؛ وتقليم مرشّحات كاملة "يخسر قرابة 1% من دقة التحقق في أول مرحلة تقليم" على AlexNet (Mao et al., 2017).

A linear layer's weight is a matrix, so its only structured units are rows and columns. A convolution weight is richer. Slide 17 draws one: three rows of kernels stacked vertically, two columns of kernels side by side, and each kernel a 3 x 3 grid. Count the cells and you get 3 x 2 x 3 x 3 = 54 weights.

وزن الطبقة الخطية مصفوفة، لذلك وحداته المنظَّمة الوحيدة هي الصفوف والأعمدة. أما وزن الالتفاف فأغنى. ترسم الشريحة 17 واحدًا منه: ثلاثة صفوف من الأنوية مكدّسة عموديًا، وعمودان من الأنوية متجاوران، وكل نواة شبكة 3 x 3. عُدّ الخلايا تحصل على 3 x 2 x 3 x 3 = 54 وزنًا.

Those four factors are the four dimensions of a convolution weight. The tensor has shape [c_o, c_i, k_h, k_w]: c_o output channels, also called filters; c_i input channels; and a kernel of height k_h and width k_w. Goodfellow, Bengio and Courville write the same object as a 4-D kernel tensor K whose element K[i, j, k, l] is the connection strength between output channel i and input channel j at a row offset of k and a column offset of l (Goodfellow et al., 2016, section 9.5). PyTorch stores Conv2d.weight with exactly the slide's ordering, (out_channels, in_channels / groups, kernel_size[0], kernel_size[1]) (PyTorch documentation).

هذه العوامل الأربعة هي الأبعاد الأربعة لوزن الالتفاف (dimensions of a convolution weight). شكل الموتّر [c_o, c_i, k_h, k_w]: c_o قنوات الإخراج، وتسمّى أيضًا المرشّحات (filters)؛ وc_i قنوات الإدخال؛ ونواة ارتفاعها k_h وعرضها k_w. يكتب Goodfellow وBengio وCourville الشيء نفسه على أنه موتّر نواة رباعي الأبعاد (4-D) اسمه K، عنصره K[i, j, k, l] هو قوة الاتصال بين قناة الإخراج i وقناة الإدخال j عند إزاحة صف قدرها k وإزاحة عمود قدرها l (Goodfellow et al., 2016، القسم 9.5). ويخزّن PyTorch Conv2d.weight بترتيب الشريحة نفسه تمامًا، (out_channels, in_channels / groups, kernel_size[0], kernel_size[1]) (توثيق PyTorch).

Slicing the tensor into unitsتقطيع الموتّر إلى وحدات

The reason the lecture stops to name the dimensions is that each way of slicing the tensor is a candidate pruning unit. Mao et al. name the slices with array notation, and reading them that way makes the counts automatic. Fix the output channel and you have a filter, a 3-D slab. Fix the output and input channel and you have one kernel, a 2-D grid. Fix a row inside that kernel and you have a 1-D vector. Fix everything and you have a single scalar weight (Mao et al., 2017, section 3.2).

السبب الذي يجعل المحاضرة تتوقف لتسمية الأبعاد هو أن كل طريقة لتقطيع الموتّر هي وحدة تقليم مرشّحة. يسمّي Mao et al. الشرائح بترميز المصفوفات، وقراءتها بهذه الطريقة تجعل العدّ تلقائيًا. ثبّت قناة الإخراج تحصل على مرشّح، وهو لوح ثلاثي الأبعاد (3-D). ثبّت قناتَي الإخراج والإدخال تحصل على نواة واحدة، وهي شبكة ثنائية الأبعاد (2-D). ثبّت صفًا داخل تلك النواة تحصل على متجه أحادي البعد (1-D). ثبّت كل شيء تحصل على وزن عددي واحد (Mao et al., 2017، القسم 3.2).

Two formulas do all the work. A filter holds c_i · k_h · k_w weights, because it has one kernel per input channel. An input channel holds c_o · k_h · k_w weights, because every filter has a kernel that reads it. In the slide these are 18 and 27, and it is easy to mix them up, so picture the grid: a filter is a row of kernels, an input channel is a column of kernels.

صيغتان تؤديان كل العمل. المرشّح يحوي c_i · k_h · k_w وزنًا، لأن فيه نواة واحدة لكل قناة إدخال. وقناة الإدخال تحوي c_o · k_h · k_w وزنًا، لأن كل مرشّح فيه نواة تقرأها. في الشريحة تساويان 18 و27، ومن السهل الخلط بينهما، لذلك تخيّل الشبكة: المرشّح صف من الأنوية، وقناة الإدخال عمود من الأنوية.

The same counts at a realistic scaleالعدّ نفسه على مقياس واقعي

Slide 17 is a toy so the picture fits. A VGG-style layer with 64 input and 64 output channels and 3 x 3 kernels has 64 x 64 x 9 = 36,864 weights, and the same slicing rules apply.

الشريحة 17 مثال مصغّر لكي تتسع الصورة. طبقة على نمط VGG فيها 64 قناة إدخال و64 قناة إخراج وأنوية 3 x 3 تحوي 64 x 64 x 9 = 36,864 وزنًا، وقواعد التقطيع نفسها تنطبق.

Removing a whole filter has a second effect that Li et al. spell out. The filter's output feature map disappears, so the next layer no longer receives that channel, and the corresponding kernels in the next layer's weight tensor disappear too. Pruning m of the n filters of a layer removes m / n of the compute in that layer and in the one after it (Li et al., 2017).

لحذف مرشّح كامل (filter pruning) أثر ثانٍ يوضّحه Li et al.. خريطة الخصائص (feature map) التي يخرجها المرشّح تختفي، فلا تعود الطبقة التالية تستقبل تلك القناة، وتختفي أيضًا الأنوية المقابلة لها في موتّر أوزان الطبقة التالية. تقليم m من المرشّحات الـn في طبقة يحذف m / n من الحساب في تلك الطبقة وفي التي تليها (Li et al., 2017).

Put the two previous ideas together and the lecture's central figure appears. Slide 18 takes the same 54-weight tensor and prunes it five times, once per unit, arranging the results on an axis from irregular to regular. Read from left to right, the holes grow from single cells, to fixed shapes inside kernels, to whole rows, to whole kernels, to an entire column of kernels.

اجمع الفكرتين السابقتين يظهر الشكل المركزي في المحاضرة. تأخذ الشريحة 18 الموتّر نفسه ذا الـ54 وزنًا وتقلّمه خمس مرات، مرة لكل وحدة، وترتّب النتائج على محور من غير المنتظم إلى المنتظم. اقرأ من اليسار إلى اليمين: تكبر الثقوب من خلايا منفردة، إلى أشكال ثابتة داخل الأنوية، إلى صفوف كاملة، إلى أنوية كاملة، إلى عمود كامل من الأنوية.

Every panel can be counted, and counting them shows something the picture hides: every panel removes between a third and two thirds of the weights, so the real difference between them is not how much Sparsity they reach but how the zeros are arranged. The fine-grained panel keeps 23 scattered weights. The pattern-based panel keeps exactly four cells in every kernel, and each kept shape is a Tetris piece (a T or an L of four cells). The vector-level panel keeps seven of the eighteen kernel rows. The kernel-level panel drops the first filter's right kernel and the second filter's left kernel. The channel-level panel drops the whole second input channel across all three filters, and what survives is a dense [3, 1, 3, 3] tensor.

كل لوحة يمكن عدّها، والعدّ يكشف شيئًا تخفيه الصورة: كل لوحة تحذف ما بين ثلث الأوزان وثلثيها، لذلك الفرق الحقيقي بينها ليس مقدار نسبة التفرّغ (sparsity) التي تبلغها بل طريقة ترتيب الأصفار. لوحة التقليم الدقيق (fine-grained) تُبقي 23 وزنًا متناثرًا. لوحة التقليم بالأنماط (pattern-based) تُبقي أربع خلايا بالضبط في كل نواة، وكل شكل مُبقى قطعة Tetris (حرف T أو L من أربع خلايا). لوحة مستوى المتجهات (vector-level) تُبقي سبعة من صفوف الأنوية الثمانية عشر. لوحة مستوى النواة (kernel-level) تُسقط النواة اليمنى للمرشّح الأول والنواة اليسرى للمرشّح الثاني. لوحة مستوى القناة (channel-level) تُسقط قناة الإدخال الثانية كاملة عبر المرشّحات الثلاثة، وما يبقى موتّر كثيف [3, 1, 3, 3].

The ladder, rung by rungالسلّم درجةً درجة

Mao et al. organise four grains (fine, vector, kernel, filter) by how many dimensions each unit spans. The slide keeps their order, inserts pattern-based pruning between fine-grained and vector-level, and shows the 3-D rung as an input channel instead of Mao's filter (Mao et al., 2017, section 3.2). At the bottom, fine-grained pruning removes 0-D scalars anywhere. Pattern-based pruning keeps a small catalogue of fixed shapes inside each kernel, which the slide calls "like Tetris": the hardware knows the finite set of masks in advance instead of facing arbitrary holes. Niu et al. describe it as "fine-grained pruning patterns inside the coarse-grained structures" and, by compiling specialised code per pattern, ran networks on mobile CPUs and GPUs up to 44.5x faster than TensorFlow Lite and up to 11.4x faster than TVM with no accuracy loss (Niu et al., 2020). Vector-level pruning removes 1-D rows, W[o, i, r, :], of a kernel. Kernel-level pruning removes 2-D kernels, W[o, i, :, :]. At the top, channel pruning removes a 3-D slab: on the slide, an input channel W[:, i, :, :] across every filter.

يرتّب Mao et al. أربعة مستويات (الدقيق، والمتجه، والنواة، والمرشّح) بحسب عدد الأبعاد التي تمتد عليها كل وحدة. تحافظ الشريحة على ترتيبهم، وتُدخل التقليم بالأنماط (pattern-based) بين المستوى الدقيق ومستوى المتجه، وتعرض الدرجة ثلاثية الأبعاد (3-D) على أنها قناة إدخال بدلًا من المرشّح عند Mao (Mao et al., 2017، القسم 3.2). في الأسفل، يحذف التقليم الدقيق قيمًا عددية 0-D في أي مكان. التقليم بالأنماط يحتفظ بفهرس صغير من الأشكال الثابتة داخل كل نواة، وتصفه الشريحة بأنه "مثل Tetris": يعرف العتاد مسبقًا المجموعة المحدودة من الأقنعة بدلًا من مواجهة ثقوب عشوائية. يصفه Niu et al. بأنه "أنماط تقليم دقيقة داخل البنى الخشنة"، وبتوليد شيفرة مخصّصة لكل نمط شغّلوا الشبكات على معالجات CPU وGPU في الهواتف أسرع بما يصل إلى 44.5x من TensorFlow Lite وبما يصل إلى 11.4x من TVM دون أي خسارة في الدقة (Niu et al., 2020). تقليم مستوى المتجه يحذف صفوفًا أحادية البعد (1-D) من النواة، W[o, i, r, :]. وتقليم مستوى النواة يحذف أنوية ثنائية الأبعاد (2-D)، W[o, i, :, :]. وفي الأعلى، يحذف تقليم القنوات لوحًا ثلاثي الأبعاد (3-D): في الشريحة هو قناة إدخال W[:, i, :, :] عبر كل المرشّحات.

The right-hand column is the practical half of the story. Only the channel and filter rungs run faster on unmodified dense libraries, because the tensor simply shrinks. Kernel and vector sparsity line up with 2-D and 1-D convolution primitives (Winograd, Eyeriss-style 1-D units), which makes custom hardware simpler, but Mao et al. note they are still hard to accelerate on general-purpose processors. Pattern-based pruning needs compiler support (PatDNN) or dedicated support such as NVIDIA's 2:4 sparse tensor cores, and fine-grained sparsity needs accelerators such as EIE (Mao et al., 2017, section 6).

العمود الأيمن هو النصف العملي من القصة. درجتا القناة والمرشّح فقط تعملان أسرع على المكتبات الكثيفة دون تعديل، لأن الموتّر يصغر ببساطة. تفرّغ النواة وتفرّغ المتجه يتوافقان مع عمليات الالتفاف الأساسية 2-D و1-D (Winograd، ووحدات 1-D على نمط Eyeriss)، وهذا يبسّط العتاد المخصّص، لكن Mao et al. يلاحظون أنهما ما زالا صعبَي التسريع على المعالجات العامة. التقليم بالأنماط يحتاج إلى دعم من المترجم (PatDNN) أو دعم مخصّص مثل نوى الموتّرات المتفرّغة (sparse tensor cores) بنمط 2:4 من NVIDIA، والتفرّغ الدقيق يحتاج إلى مسرّعات مثل EIE (Mao et al., 2017، القسم 6).

Try every rung on one tensorجرّب كل درجة على موتّر واحد

The simulator below holds a random [3, 2, 3, 3] tensor and lets you prune it with any of the six units, including the filter unit that Mao et al. list alongside channels. It groups the weights by the chosen unit, scores each group with the L1 or L2 magnitude that part 05 develops, zeros the weakest groups until the target is met, and reports what survives. Watch three things as you switch units: the achieved sparsity snaps to coarser steps, the index count collapses as units grow, and only the channel and filter units ever produce a smaller dense tensor.

المحاكي أدناه يحمل موتّرًا عشوائيًا [3, 2, 3, 3] ويسمح لك بتقليمه بأي من الوحدات الست، ومنها وحدة المرشّح التي يذكرها Mao et al. إلى جانب القنوات. يجمّع الأوزان بحسب الوحدة المختارة، ويقيّم كل مجموعة بمقدار L1 أو L2 الذي يطوّره الجزء 05، ويصفّر المجموعات الأضعف حتى يبلغ الهدف، ثم يعرض ما يبقى. راقب ثلاثة أشياء وأنت تبدّل الوحدات: نسبة التفرّغ المحقّقة تقفز بخطوات أخشن، وعدد الفهارس ينهار كلما كبرت الوحدات، ووحدتا القناة والمرشّح وحدهما تنتجان موتّرًا كثيفًا أصغر.