Where we are: the pruning problem so farأين وصلنا: مسألة التقليم حتى الآن

Take one layer with 16 weights and suppose the deployment budget allows you to keep only 8 of them. Which eight? That single question is the whole of Pruning. Every answer in lectures 04-1 and 04-2 is a different way of choosing those eight, and every hardware trick at the end of this lecture is a way of profiting from the eight zeros that remain.

خذ طبقة واحدة فيها 16 وزنًا، وافترض أن ميزانية النشر تسمح لك بالاحتفاظ بـ 8 منها فقط. أي ثمانية؟ هذا السؤال الواحد هو كل ما في الـ pruning. كل إجابة في المحاضرتين 04-1 و04-2 هي طريقة مختلفة لاختيار تلك الثمانية، وكل حيلة عتادية في نهاية هذه المحاضرة هي طريقة للاستفادة من الأصفار الثمانية المتبقية.

The general rule states the question as a constrained optimization. Among all weight tensors that have at most N nonzero entries, pick the one that makes the training loss smallest.

القاعدة العامة تصوغ السؤال على أنه مسألة تحسين مقيّدة (constrained optimization): من بين كل موترات الأوزان (weight tensors) التي فيها N قيمة غير صفرية على الأكثر، اختر الموتر الذي يجعل خسارة التدريب (training loss) أصغر ما يمكن.

Read the formula from the inside out. L(x; W_P) asks how badly the network with weights W_P does on the data. The arg min says we want the W_P that makes that number smallest. The constraint says we may only search among tensors whose nonzero count fits the budget. The budget is what connects this formula to the Pruning ratio of the next part: with M weights in the layer and N survivors, the fraction removed is 1 - N / M, so for M = 16 and N = 8 the layer is 50% sparse. The weight count is written M rather than |W|, because |W| below means the element-wise absolute value.

اقرأ الصيغة من الداخل إلى الخارج. L(x; W_P) تسأل: ما مدى سوء أداء الشبكة ذات الأوزان W_P على البيانات؟ والـ arg min تقول إننا نريد W_P التي تجعل هذا الرقم أصغر ما يمكن. والقيد يقول إنه لا يُسمح لنا بالبحث إلا بين الموترات التي يتسع عدد قيمها غير الصفرية ضمن الميزانية. والميزانية هي ما يربط هذه الصيغة بالـ pruning ratio (نسبة التقليم) في الجزء التالي: إذا كان في الطبقة M وزنًا وبقي منها N، فالنسبة المحذوفة هي 1 - N / M، فعند M = 16 وN = 8 تكون الطبقة متناثرة (sparse) بنسبة 50%. نكتب عدد الأوزان M بدلًا من |W| لأن |W| فيما يلي تعني القيمة المطلقة عنصرًا بعنصر.

Why nobody solves this formula directlyلماذا لا يحل أحد هذه الصيغة مباشرة

The formula looks like something you could hand to gradient descent, and that is the trap. The nonzero count is a step function: nudge a weight from 0.30 to 0.31 and the count does not move, set it to exactly zero and the count drops by one. Its gradient is zero almost everywhere and undefined at zero, so no gradient flows through the constraint. Louizos, Welling and Kingma open their ICLR 2018 paper on this exact point: the L0 norm of the weights is non-differentiable, which is why it cannot simply be added to the training objective. Without a gradient, the exact problem is a combinatorial search, choosing which N of the M positions to keep, and for a layer with millions of weights that search is hopeless.

تبدو الصيغة كأنها شيء تستطيع تسليمه إلى خوارزمية الانحدار التدرجي (gradient descent)، وهذا هو الفخ. عدد القيم غير الصفرية دالة درجية (step function): حرّك وزنًا من 0.30 إلى 0.31 ولن يتغير العدد، واجعله صفرًا بالضبط فينقص العدد بواحد. تدرّجها صفر في كل مكان تقريبًا وغير معرّف عند الصفر، لذلك لا يمر أي تدرّج عبر القيد. يفتتح Louizos وWelling وKingma ورقتهم في ICLR 2018 بهذه النقطة بالذات: الـ L0 norm للأوزان غير قابل للاشتقاق، ولهذا لا يمكن ببساطة إضافته إلى هدف التدريب. ومن دون تدرّج تصبح المسألة الدقيقة بحثًا تركيبيًا (combinatorial search)، أي اختيار أي N من المواقع الـ M نحتفظ بها، وفي طبقة فيها ملايين الأوزان يكون هذا البحث ميؤوسًا منه.

The heuristics are not arbitrary. Every one of them is a proxy for the same quantity: how much would L change if this weight were removed. The constraint side of the formula only fixes the budget; the loss side is what actually decides the answer, so the best criterion is the one whose ranking best tracks the change in loss. That is why the slide on selection later in this part says that the less useful the removed neurons are, the better the pruned network performs. Useful means low loss change, nothing else.

هذه المعايير التقريبية ليست عشوائية. كل واحد منها تقريب للكمية نفسها: كم ستتغير L لو حُذف هذا الوزن. جانب القيد في الصيغة يحدد الميزانية فقط، أما جانب الخسارة فهو الذي يحسم الإجابة فعلًا، لذلك أفضل معيار هو الذي يتتبع ترتيبه التغيّر في الخسارة بأدق صورة. ولهذا تقول شريحة الاختيار لاحقًا في هذا الجزء إنه كلما كانت العصبونات المحذوفة أقل فائدة، كان أداء الشبكة بعد التقليم أفضل. وقليل الفائدة يعني تغيّرًا صغيرًا في الخسارة، لا أكثر.

The formulation says nothing about how to find good survivors. Lecture 04-1 gave two practical answers, a shape and a score, and slides 4 to 6 of this deck replay them in the space of one minute. Start with the score on the smallest example that still teaches something: a 2 x 2 weight matrix that must lose half of its entries.

الصياغة لا تقول شيئًا عن كيفية إيجاد الأوزان الجيدة التي تبقى. أعطت المحاضرة 04-1 إجابتين عمليتين: شكلًا ودرجة، والشرائح من 4 إلى 6 في هذا العرض تعيدهما في دقيقة واحدة. ابدأ بالدرجة على أصغر مثال لا يزال يعلّم شيئًا: مصفوفة أوزان 2 x 2 يجب أن تفقد نصف عناصرها.

This is Magnitude-based pruning, and the slide is honest about its status: it is a heuristic criterion. The assumption is that a weight far from zero contributes more to the output, and therefore to the loss, than a weight near zero. Han et al. (NeurIPS 2015) used exactly this threshold rule to produce the 9x and 13x reductions quoted in the first concept, which is strong evidence that the assumption is usually good enough. It is not the only score. Lecture 04-1, part 05, adds scaling factors such as batch-norm gammas for whole channels, and part 06 adds second-order saliency from Optimal Brain Damage, the percentage of zero activations, and regression-based selection. All of them plug into the same three steps: score, sort, keep the top N.

هذا هو الـ magnitude-based pruning، والشريحة صريحة بشأن طبيعته: إنه معيار تقريبي (heuristic). الافتراض أن الوزن البعيد عن الصفر يساهم في المخرجات، وبالتالي في الخسارة، أكثر من الوزن القريب من الصفر. استخدم Han et al. (NeurIPS 2015) قاعدة العتبة هذه بالضبط للوصول إلى التخفيضين 9x و13x المذكورين في المفهوم الأول، وهذا دليل قوي على أن الافتراض جيد بما يكفي في أغلب الأحوال. لكنه ليس الدرجة الوحيدة. تضيف المحاضرة 04-1 في جزئها 05 عوامل القياس (scaling factors) مثل قيم gamma في الـ batch-norm للقنوات الكاملة، ويضيف الجزء 06 أهمية الرتبة الثانية (second-order saliency) من Optimal Brain Damage، ونسبة التنشيطات الصفرية (zero activations)، والاختيار المعتمد على الانحدار (regression). وكلها تدخل في الخطوات الثلاث نفسها: أعطِ درجة، ثم رتّب، ثم احتفظ بأعلى N.

The shape of what is removedشكل ما يُحذف

Scoring weights one at a time and zeroing the smallest gives the pattern the slide calls fine-grained: zeros scattered wherever the small weights happened to be. The pruned network figure on that slide, again from Han et al., shows synapses vanishing at arbitrary positions and whole neurons disappearing once every synapse into them, or every synapse out of them, is gone. Fine-grained removal has the most freedom, since any index may be pruned, and that freedom is what buys it the highest compression ratios. The cost is that the survivors no longer form a dense block. Their positions must be stored as indices, and the hardware needs a sparse kernel that skips the holes. Mao et al. (2017) measured the other end of the trade: coarse-grained pruning reaches a sparsity similar to unstructured pruning without losing accuracy, needs far fewer indices, and saves about 2x the memory references compared with fine-grained sparsity.

إعطاء درجة لكل وزن على حدة وجعل الأصغر صفرًا ينتج النمط الذي تسميه الشريحة fine-grained (دقيق): أصفار متناثرة أينما صادف أن كانت الأوزان الصغيرة. شكل الشبكة بعد التقليم في تلك الشريحة، وهو أيضًا من Han et al.، يُظهر وصلات (synapses) تختفي في مواقع عشوائية، وعصبونات كاملة تختفي بمجرد أن تزول كل الوصلات الداخلة إليها أو كل الوصلات الخارجة منها. الحذف الدقيق يملك أكبر قدر من الحرية، لأن أي فهرس يمكن تقليمه، وهذه الحرية هي التي تمنحه أعلى نسب الضغط. الثمن أن الأوزان الباقية لم تعد تشكّل كتلة كثيفة (dense block). يجب تخزين مواقعها على شكل فهارس (indices)، ويحتاج العتاد إلى نواة حسابية متناثرة (sparse kernel) تتخطى الفراغات. قاس Mao et al. (2017) الطرف الآخر من هذه المقايضة: التقليم الخشن (coarse-grained) يصل إلى sparsity قريبة من التقليم غير المنتظم (unstructured) دون خسارة في الدقة، ويحتاج إلى فهارس أقل بكثير، ويوفّر نحو 2x من مرات الوصول إلى الذاكرة (memory references) مقارنة بالـ sparsity الدقيقة.

That ladder is the Pruning granularity axis, and the two ends pull against each other. Irregular patterns give the criterion freedom and therefore compression; regular patterns give the hardware dense blocks and therefore speed. Every design choice later in this lecture sits somewhere on this axis, and the 2:4 pattern of the tensor-core part is the industry's attempt to sit in both places at once.

هذا السلّم هو محور الـ pruning granularity (درجة تفصيل التقليم)، وطرفاه يتجاذبان في اتجاهين متعاكسين. الأنماط غير المنتظمة تعطي المعيار حرية، وبالتالي ضغطًا أكبر؛ والأنماط المنتظمة تعطي العتاد كتلًا كثيفة، وبالتالي سرعة أكبر. كل قرار تصميمي لاحق في هذه المحاضرة يقع في مكان ما على هذا المحور، ونمط 2:4 في جزء الـ tensor cores هو محاولة الصناعة للوقوف في المكانين معًا.

The coarse end of the ladder deserves one concrete picture, because it explains a sentence that students often quote without understanding: Neuron pruning is coarse-grained weight pruning. Slide 6 draws both cases, the linear layer and the convolution layer, and the same picture in matrix form makes the sentence obvious.

الطرف الخشن من السلّم يستحق صورة واحدة ملموسة، لأنها تشرح جملة يقتبسها الطلاب كثيرًا دون فهم: الـ neuron pruning (تقليم العصبونات) هو تقليم أوزان خشن (coarse-grained). ترسم الشريحة 6 الحالتين، الطبقة الخطية (linear layer) وطبقة الالتفاف (convolution layer)، والصورة نفسها في شكل مصفوفة تجعل هذه الجملة بديهية.

Removing a neuron is removing a rowحذف عصبون هو حذف صف

A linear layer computes y = W x with W of shape out x in. Output neuron i is nothing more than row i of W: its incoming weights are the entries of that row, and its output is that row's dot product with x. Deleting the neuron therefore deletes the whole row at once, which is the white stripe in the slide's weight matrix, and the next layer loses the matching column because that input no longer exists. That is neuron pruning, and it is weight pruning where the removed set is a structured block of in weights chosen together rather than one weight at a time. Lecture 04-1, part 06, first drew this equivalence next to Optimal Brain Damage.

الطبقة الخطية تحسب y = W x حيث شكل W هو out x in. العصبون الخارج i ليس أكثر من الصف i في W: أوزانه الداخلة هي عناصر ذلك الصف، ومخرجه هو حاصل الضرب النقطي لذلك الصف مع x. لذلك فإن حذف العصبون يحذف الصف كله دفعة واحدة، وهو الشريط الأبيض في مصفوفة الأوزان في الشريحة، وتفقد الطبقة التالية العمود المقابل لأن ذلك المدخل لم يعد موجودًا. هذا هو تقليم العصبونات، وهو تقليم أوزان تكون فيه المجموعة المحذوفة كتلة منتظمة من in وزنًا تُختار معًا، لا وزنًا واحدًا في كل مرة. رسمت المحاضرة 04-1، الجزء 06، هذا التكافؤ أول مرة بجانب Optimal Brain Damage.

The convolution version is the same idea one dimension up. A conv layer holds weights of shape C_out x C_in x k x k. Output channel j is produced by filter j, which is the slice of all C_in kernels that feed it. Deleting a channel deletes that entire filter, the two dashed blocks in the slide's stack of six filters and the two white rows of kernels in its weight grid (two of six output channels removed). That is Channel pruning, and its reward is that nothing sparse is left behind: the layer simply has C_out minus the pruned count of channels and runs on the same dense kernels as before.

نسخة الالتفاف هي الفكرة نفسها ببُعد إضافي. طبقة الـ conv تحمل أوزانًا شكلها C_out x C_in x k x k. القناة الخارجة j ينتجها المرشّح j، وهو الشريحة المكوّنة من كل الأنوية (kernels) الـ C_in التي تغذّيها. حذف قناة يحذف ذلك المرشّح بالكامل، وهما الكتلتان المنقّطتان في رزمة المرشّحات الستة في الشريحة، والصفّان الأبيضان من الأنوية في شبكة أوزانها (حُذفت قناتان خارجتان من ست). هذا هو الـ channel pruning، ومكافأته أنه لا يترك خلفه أي شيء متناثر: الطبقة ببساطة يصبح فيها C_out ناقص عدد القنوات المقلّمة، وتعمل على الأنوية الحسابية الكثيفة (dense kernels) نفسها كما كانت من قبل.

Five questions, three answeredخمسة أسئلة، أُجيب عن ثلاثة منها

The outline that opens this deck on slide 2, and returns on slide 7 to close this part, lists five questions, and the same outline appeared three times in lecture 04-1. It is the map of both lectures, so it is worth knowing where each question was answered. The formulation above answers the first. Granularity, the pattern of removal, was answered in 04-1. Criterion, the score used to rank weights, was also answered in 04-1. What remains open is how many weights each layer should lose, and how to recover the accuracy once they are gone.

المخطط الذي يفتتح هذا العرض في الشريحة 2، ويعود في الشريحة 7 ليختم هذا الجزء، يسرد خمسة أسئلة، وقد ظهر المخطط نفسه ثلاث مرات في المحاضرة 04-1. إنه خريطة المحاضرتين، لذلك يستحق أن تعرف أين أُجيب عن كل سؤال. الصياغة أعلاه تجيب عن السؤال الأول. ودرجة التفصيل (granularity)، أي نمط الحذف، أُجيب عنها في 04-1. والمعيار (criterion)، أي الدرجة المستخدمة لترتيب الأوزان، أُجيب عنه أيضًا في 04-1. ما بقي مفتوحًا هو كم وزنًا يجب أن تفقد كل طبقة، وكيف نستعيد الدقة بعد حذفها.

On slide 2 both open questions, ratio and fine-tuning, are highlighted in yellow. On slide 7, which closes this part, ratio turns green while fine-tuning stays yellow: ratio is being opened now, fine-tuning is still queued. The outline also under-sells the deck. After the five questions, parts 07 onward add a story the list never mentions, how EIE, 2:4 sparse tensor cores and sparse convolution engines turn the zeros produced by pruning into real speed and energy savings on hardware.

في الشريحة 2 يظهر السؤالان المفتوحان، النسبة (ratio) وإعادة الضبط (fine-tuning)، مظللين بالأصفر. وفي الشريحة 7، التي تختم هذا الجزء، تتحول النسبة إلى الأخضر بينما يبقى الـ fine-tuning أصفر: النسبة تُفتح الآن، والـ fine-tuning لا يزال في الانتظار. والمخطط أيضًا لا يعطي العرض حقه. فبعد الأسئلة الخمسة، تضيف الأجزاء من 07 فصاعدًا قصة لا تذكرها القائمة أبدًا: كيف تحوّل EIE وtensor cores المتناثرة بنمط 2:4 ومحركات الالتفاف المتناثر (sparse convolution engines) الأصفار الناتجة عن التقليم إلى سرعة حقيقية وتوفير فعلي في الطاقة على العتاد.