Second-order, activation and regression criteriaمعايير الرتبة الثانية والتنشيط والانحدار

Start with a trained network and its loss L(x; W). Setting one weight to zero moves the parameter vector from W to W_P = W + δW, where δW is zero everywhere except at the pruned position, where δw_i = -w_i. The question every criterion in this part is trying to answer is simple: how much does the loss move? You could answer it exactly by re-evaluating the loss after each candidate deletion, but LeCun, Denker and Solla call that approach prohibitively laborious, and for a network with thousands of weights it is. Second-order pruning builds a local model of the loss instead.

ابدأ بشبكة مدرَّبة ودالة خسارتها L(x; W). جعل وزن واحد صفرًا ينقل متجه المعاملات من W إلى W_P = W + δW، حيث δW صفر في كل مكان عدا الموضع المقلَّم، وفيه δw_i = -w_i. السؤال الذي يحاول كل معيار في هذا الجزء أن يجيب عنه بسيط: بكم تتحرك الخسارة؟ يمكنك الإجابة بدقة بإعادة حساب الخسارة بعد كل عملية حذف مرشَّحة، لكن LeCun وDenker وSolla يصفون هذا الأسلوب بأنه مُرهِق إلى حد يمنع استخدامه، وهو كذلك فعلًا لشبكة فيها آلاف الأوزان. لذلك يبني second-order pruning نموذجًا محليًا للخسارة بدلًا من ذلك.

One weight before the general case. A weight sits at w = 0.5 in a valley of the loss surface given by L(w) = 1 + 2(w - 0.5)². Setting it to zero walks back to w = 0 and raises the loss from 1 to 1.5, and that rise is exactly ½ h w² with curvature h = 4: the gradient at the bottom of the valley is zero, so the first-order term contributes nothing and the curvature term contributes everything. Now scale the picture up to a whole parameter vector. The local model is a Taylor expansion of the loss around the trained point. Perturbing the weights by δW changes the loss by a first-order slope term, a second-order curvature term, and a remainder that shrinks as the cube of the perturbation.

لنبدأ بوزن واحد قبل الحالة العامة. يقع وزن عند w = 0.5 في وادٍ من سطح الخسارة معطى بالعلاقة L(w) = 1 + 2(w - 0.5)². جعله صفرًا يعيده إلى w = 0 ويرفع الخسارة من 1 إلى 1.5، وهذه الزيادة تساوي تمامًا ½ h w² مع انحناء h = 4: الميل عند قاع الوادي صفر، فحد الدرجة الأولى لا يساهم بشيء وحد الانحناء يساهم بكل شيء. الآن كبّر الصورة إلى متجه معاملات كامل. النموذج المحلي هو Taylor expansion للخسارة حول النقطة المدرَّبة. تحريك الأوزان بمقدار δW يغيّر الخسارة بحد ميل من الدرجة الأولى، وحد انحناء من الدرجة الثانية، وباقٍ يصغر بمكعّب مقدار الاضطراب.

Read the four pieces one at a time. The first sum is the slope: how fast the loss rises if you nudge each weight on its own. The second sum is the self-curvature: how quickly that slope itself changes along each weight's own axis, weighted by the square of the nudge. The third sum is the cross-curvature: whether moving weight i also tilts the loss along weight j. The last piece is everything the quadratic picture misses. The Hessian is the matrix that holds the second and third pieces together: its diagonal h_ii feeds the self-curvature sum and its off-diagonal h_ij feeds the cross terms.

اقرأ الأجزاء الأربعة واحدًا تلو الآخر. المجموع الأول هو الميل: مدى سرعة ارتفاع الخسارة إذا حرّكت كل وزن وحده. المجموع الثاني هو الانحناء الذاتي: مدى سرعة تغيّر هذا الميل نفسه على امتداد محور كل وزن، مضروبًا في مربع مقدار التحريك. المجموع الثالث هو الانحناء التقاطعي: هل تحريك الوزن i يُميل الخسارة أيضًا على امتداد الوزن j؟ والجزء الأخير هو كل ما تفوته الصورة التربيعية. الـ Hessian هو المصفوفة التي تجمع الجزأين الثاني والثالث: قطرها h_ii يغذّي مجموع الانحناء الذاتي، وعناصرها خارج القطر h_ij تغذّي الحدود التقاطعية.

Goodfellow, Bengio and Courville define the Hessian exactly this way, as the matrix with entries ∂²f/(∂x_i ∂x_j), and note that it is symmetric wherever the second partials are continuous. The cross sum runs over ordered pairs i ≠ j, so each unordered pair appears twice, once as (i, j) and once as (j, i); the one half in front is the second-order Taylor coefficient from ½ δWᵀ H δW, not a symmetry correction. Because H is symmetric the same term can be written without the one half as Σ_{i < j} h_ij δw_i δw_j. They also use this same second-order expansion to derive Newton's method, so the expression on the slide is not a pruning trick: it is the standard local model of any smooth function.

يعرّف Goodfellow وBengio وCourville الـ Hessian بهذه الطريقة بالضبط، أي المصفوفة التي عناصرها ∂²f/(∂x_i ∂x_j)، ويلاحظون أنها متماثلة (symmetric) حيثما كانت المشتقات الجزئية الثانية متصلة. المجموع التقاطعي يمر على الأزواج المرتبة i ≠ j، فيظهر كل زوج غير مرتب مرتين، مرة بصورة (i, j) ومرة بصورة (j, i)؛ والنصف الموجود في المقدمة هو معامل تايلور من الدرجة الثانية القادم من ½ δWᵀ H δW، وليس تصحيحًا بسبب التماثل. ولأن H متماثلة، يمكن كتابة الحد نفسه دون النصف بصورة Σ_{i < j} h_ij δw_i δw_j. ويستخدم المؤلفون أيضًا المفكوك نفسه من الدرجة الثانية لاشتقاق طريقة نيوتن (Newton's method)، فالتعبير الموجود في الشريحة ليس حيلة خاصة بالتقليم: إنه النموذج المحلي القياسي لأي دالة ملساء.

The table is the reason the rest of this part exists. Even a 1989 network with about 2600parameters has millions of Hessian entries, and a modern network with 10⁸ weights would have 10¹⁶. Nobody computes that matrix. The whole art of second-order pruning is deciding which of its entries you can afford to ignore.

هذا الجدول هو سبب وجود بقية هذا الجزء. حتى شبكة من عام 1989 فيها نحو 2600 معامل تملك ملايين العناصر في الـ Hessian، وشبكة حديثة فيها 10⁸ وزن سيكون لديها 10¹⁶ عنصر. لا أحد يحسب هذه المصفوفة. فن التقليم من الدرجة الثانية كله هو أن تقرر أي عناصرها يمكنك تحمّل تجاهله.

Four terms is three too many. Optimal Brain Damage keeps the expansion usable by making three assumptions, and each one erases exactly one piece of the sum. The paper gives them names, the slide gives them plain-language bullets, and you should be able to match the two lists and say which term each one kills.

أربعة حدود تزيد ثلاثة عن الحاجة. يُبقي Optimal Brain Damage المفكوك قابلًا للاستخدام عبر ثلاثة افتراضات، وكل افتراض يمحو جزءًا واحدًا بالضبط من المجموع. الورقة تعطي هذه الافتراضات أسماء، والشريحة تعرضها بنقاط بلغة بسيطة، وعليك أن تستطيع المطابقة بين القائمتين وتقول أي حد يقضي عليه كل افتراض.

The extremal assumption does double duty. Because training stopped at a local minimum, the gradient is zero and the first sum disappears, but LeCun, Denker and Solla also point out that at a local minimum all the h_ii are non-negative, so any perturbation of the parameters will cause the loss to increase or stay the same. That single sentence is the source of the footnote on slide 36 that h_ii is non-negative, and it is what lets the surviving term serve as a cost rather than a signed change.

الافتراض الطرفي (extremal) يؤدي مهمتين. لأن التدريب توقف عند قيمة صغرى محلية، يكون الميل صفرًا فيختفي المجموع الأول، لكن LeCun وDenker وSolla يشيرون أيضًا إلى أن كل قيم h_ii عند القيمة الصغرى المحلية غير سالبة، فأي اضطراب في المعاملات سيجعل الخسارة تزيد أو تبقى كما هي. هذه الجملة الواحدة هي مصدر الحاشية في الشريحة 36 التي تقول إن h_ii غير سالبة، وهي ما يسمح للحد الباقي بأن يعمل ككلفة لا كتغيّر له إشارة.

What survives is the diagonal curvature term alone. Deleting weight i means setting it to zero and, in the paper's words, freezing it there, so the step along that axis has the size of the weight itself, |δw_i| = |w_i|. The squared terms of the expansion do not care about the sign of δw_i, so substitute and you have the OBD estimate of the loss increase.

ما يبقى هو حد الانحناء القطري وحده. حذف الوزن i يعني جعله صفرًا، وبتعبير الورقة تجميده هناك، فتكون الخطوة على ذلك المحور بحجم الوزن نفسه، |δw_i| = |w_i|. الحدود المربعة في المفكوك لا تهتم بإشارة δw_i، فعوّض وستحصل على تقدير OBD لزيادة الخسارة.

The paper calls this quantity the saliency of a parameter, s_k = h_kk w_k² / 2 (the paper writes its parameter as u_k, the same variable as the w_k used on the slide and here), and the recipe is to delete the parameters with the lowest saliency. Notice what the formula says about a weight's importance: it is the product of two things, how large the weight is and how sharply the loss curves along that weight's axis. Magnitude pruning from part 05 kept only the first factor.

تسمي الورقة هذه الكمية saliency (البروز) للمعامل، s_k = h_kk w_k² / 2 (تكتب الورقة معاملها بالرمز u_k، وهو المتغير نفسه الذي يُكتب w_k في الشريحة وهنا)، والوصفة هي حذف المعاملات ذات البروز الأقل. لاحظ ما تقوله الصيغة عن أهمية الوزن: إنها حاصل ضرب شيئين، حجم الوزن ومدى حدة انحناء الخسارة على امتداد محور ذلك الوزن. أما التقليم بالمقدار في الجزء 05 فأبقى العامل الأول فقط.

Magnitude pruning is OBD with the curvature assumed constantالتقليم بالمقدار هو OBD مع افتراض أن الانحناء ثابت

Suppose every h_ii were the same number h. Then importance would be (h/2) w_i², and ranking weights by that value is exactly ranking them by |w_i|, since squaring and scaling by a positive constant preserve the order. So Magnitude-based pruning is OBD under a fourth, hidden assumption: that the loss curves equally steeply along every weight. The 1989 paper states its goal as moving beyond the approximation that magnitude equals saliency, and the point of a second-order criterion is to drop that assumption. The table below is a small case where doing so changes the answer.

افترض أن كل h_ii تساوي العدد نفسه h. عندها تصبح الأهمية (h/2) w_i²، وترتيب الأوزان بهذه القيمة هو بالضبط ترتيبها بحسب |w_i|، لأن التربيع والضرب في ثابت موجب يحافظان على الترتيب. إذن magnitude-based pruning هو OBD تحت افتراض رابع خفي: أن الخسارة تنحني بالحدة نفسها على امتداد كل وزن. تذكر ورقة 1989 أن هدفها هو تجاوز التقريب الذي يجعل المقدار مساويًا للبروز، والغاية من معيار من الدرجة الثانية هي التخلص من هذا الافتراض. الجدول التالي حالة صغيرة يغيّر فيها ذلك الإجابة.

Set every h_ii in the table to the same value and watch the two decision columns fall into line. Then give a small weight a large curvature and watch them split again. That is the entire relationship between the two criteria in one gesture.

اجعل كل h_ii في الجدول بالقيمة نفسها وراقب عمودي القرار وهما يتطابقان. ثم أعطِ وزنًا صغيرًا انحناءً كبيرًا وراقبهما يفترقان من جديد. هذه هي العلاقة كاملة بين المعيارين في حركة واحدة.

Why the slide says the Hessian is difficultلماذا تقول الشريحة إن الـ Hessian صعب

The full Hessian has n² entries, and the previous concept showed that this is out of reach even for a small network. OBD never computes it. The diagonal approximation means only the n entries h_ii are needed, and the paper derives a second back-propagation pass that computes them with, in its words, the same order of complexity as computing the gradient. Along the way it drops the terms involving the second derivative of the activation function, a Levenberg-Marquardt style approximation that gives guaranteed positive estimates of the second derivative. So the difficulty the slide flags is real for the full matrix and for networks with 10⁸ parameters, where even a diagonal pass over the whole training set is expensive, but it is not a reason OBD itself was impractical. Optimal Brain Surgeon (Hassibi and Stork, 1993) kept the cross terms by using the inverse of the full Hessian. SparseGPT (2023) makes second-order pruning practical at scale by solving layer-wise reconstruction problems with block-wise Hessian updates, which the final concept points to.

الـ Hessian الكامل فيه n² عنصر، وقد بيّن المفهوم السابق أن هذا بعيد المنال حتى لشبكة صغيرة. OBD لا يحسبه أبدًا. التقريب القطري يعني أن المطلوب فقط هو العناصر n وهي h_ii، وتشتق الورقة تمريرًا ثانيًا للانتشار العكسي يحسبها، بتعبيرها، بنفس رتبة تعقيد حساب الميل. وفي الطريق تُسقط الحدود التي تتضمن المشتقة الثانية لدالة التنشيط، وهو تقريب على نمط Levenberg-Marquardt يعطي تقديرات موجبة مضمونة للمشتقة الثانية. إذن الصعوبة التي تشير إليها الشريحة حقيقية بالنسبة للمصفوفة الكاملة وللشبكات ذات 10⁸ معامل، حيث يكون حتى التمرير القطري على كامل مجموعة التدريب مكلفًا، لكنها ليست سببًا في أن OBD نفسه كان غير عملي. أبقى Optimal Brain Surgeon (Hassibi وStork، 1993) على الحدود التقاطعية باستخدام معكوس الـ Hessian الكامل. ويجعل SparseGPT (2023) التقليم من الدرجة الثانية عمليًا على نطاق واسع بحل مسائل إعادة بناء على مستوى كل طبقة مع تحديثات للـ Hessian على شكل كتل (block-wise)، وهو ما يشير إليه المفهوم الأخير.

The recipe and what it achievedالوصفة وما حققته

The abstract on the slide states the motivation the formula serves. Deleting unimportant weights is a trade-off between network complexity and training-set error, and the paper expects better generalization, fewer training examples required and faster learning and classification from it. That is why the recipe below is framed as model selection, not only compression.

الملخص الموجود في الشريحة يذكر الدافع الذي تخدمه الصيغة. حذف الأوزان غير المهمة موازنة بين تعقيد الشبكة وخطأ مجموعة التدريب، وتتوقع الورقة من ذلك تعميمًا أفضل، وحاجة إلى أمثلة تدريب أقل، وتعلّمًا وتصنيفًا أسرع. لهذا تُصاغ الوصفة التالية على أنها اختيار للنموذج (model selection)، لا مجرد ضغط.

1. Choose a reasonable network architecture.اختر معمارية شبكة معقولة.
2. Train the network until reasonable convergence.درّب الشبكة حتى تتقارب تقاربًا معقولًا.
3. Compute the second derivatives h_kk for each parameter.احسب المشتقات الثانية h_kk لكل معامل.
4. Compute the saliencies s_k = h_kk w_k² / 2.احسب قيم البروز s_k = h_kk w_k² / 2.
5. Sort the parameters by saliency and delete some low-saliency parameters.رتّب المعاملات بحسب البروز واحذف بعض المعاملات ذات البروز المنخفض.
6. Return to step 2.عُد إلى الخطوة 2.

The loop back to training is the Iterative pruning and Fine-tuning pattern from part 02, thirty years earlier. The 1989 experiment applied it to a handwritten zip-code recognizer.

العودة إلى التدريب هي نمط iterative pruning وfine-tuning من الجزء 02، قبله بثلاثين عامًا. طبّقت تجربة 1989 هذا النمط على نظام للتعرف على الرموز البريدية المكتوبة بخط اليد.

Everything so far scored individual synapses. Take a linear layer with 5 inputs and 4 outputs, so its weight matrix has shape [4, 5]. Deleting the second output neuron does not zero one entry; it removes the entire row W[1, :], all 5 incoming weights at once, along with the edges drawn into that neuron on the slide, which is why the lower layer shows three circles with a gap where the fourth stood. The matrix becomes [3, 5], a smaller dense matrix, which is the reason Coarse-grained (structured) pruning gives real speedup without any sparse format.

كل ما سبق كان يقيّم وصلات (synapses) منفردة. خذ طبقة خطية لها 5 مدخلات و4 مخرجات، فتكون مصفوفة أوزانها بالشكل [4, 5]. حذف العصبون الثاني في المخرجات لا يجعل عنصرًا واحدًا صفرًا؛ بل يحذف الصف كاملًا W[1, :]، أي الأوزان الداخلة الـ 5 كلها دفعة واحدة، مع الحواف المرسومة الداخلة إلى ذلك العصبون في الشريحة، ولهذا تُظهر الطبقة السفلى ثلاث دوائر وفجوة في مكان الرابعة. تصبح المصفوفة [3, 5]، أي مصفوفة كثيفة أصغر، وهذا سبب أن coarse-grained pruning يعطي تسريعًا حقيقيًا دون أي صيغة تخزين متفرقة (sparse format).

That is the whole content of the sentence on the slide: Neuron pruning is coarse-grained weight pruning. In a convolution layer with weights of shape [c_o, c_i, k_h, k_w] (recall Convolution weight dimensions), deleting output channel o deletes W[o, :, :, :], one full row of c_i kernels in the slide's grid, where rows 3 and 5 of six filters are blanked out. It also deletes the corresponding map from the layer's output, and therefore the input channel o of every filter in the next layer, a point He et al. make explicitly in their figure. Channel pruning cuts twice.

هذا هو كل مضمون الجملة الموجودة في الشريحة: neuron pruning هو تقليم أوزان خشن الحبيبات. في طبقة التفاف أوزانها بالشكل [c_o, c_i, k_h, k_w] (تذكّر conv weight dimensions)، فإن حذف قناة المخرجات o يحذف W[o, :, :, :]، أي صفًا كاملًا من c_i نواة (kernel) في شبكة الشريحة، حيث يُفرَّغ الصفان 3 و5 من ستة مرشحات. ويحذف أيضًا الخريطة المقابلة من مخرجات الطبقة، وبالتالي قناة المدخلات o في كل مرشح من الطبقة التالية، وهي نقطة يذكرها He وزملاؤه صراحة في الشكل الخاص بهم. إذن channel pruning يقطع مرتين.

The rule on the slide is then almost a tautology: the less useful the removed neurons are, the better the pruned network performs. The work is in defining useful. The Pruning criterion question has simply moved up one level of granularity, and part 05 already gave one answer, the L1 or L2 norm of the row or filter. The next two concepts give two answers that need no Hessian and no norm: look at the activations the neuron produces, or look at how well the layer output can be rebuilt without it.

القاعدة الموجودة في الشريحة تكاد تكون بديهية إذن: كلما قلّت فائدة العصبونات المحذوفة، كان أداء الشبكة المقلَّمة أفضل. العمل الحقيقي هو في تعريف معنى الفائدة. سؤال pruning criterion انتقل ببساطة مستوى واحدًا إلى أعلى في درجة الحبيبية (granularity)، وقد أعطى الجزء 05 إجابة واحدة بالفعل، وهي معيار L1 أو L2 للصف أو المرشح. والمفهومان التاليان يعطيان إجابتين لا تحتاجان إلى Hessian ولا إلى معيار (norm): انظر إلى التنشيطات التي ينتجها العصبون، أو انظر إلى مدى إمكانية إعادة بناء مخرجات الطبقة دونه.

ReLU outputs zero for every negative pre-activation. A channel whose output map is mostly zero, image after image, contributes almost nothing to the layer that follows, whatever its weights look like. Hu, Peng, Tai and Tang turned that observation into a criterion. On VGG-16 they found 631 neurons whose activations were zero more than 90% of the time on ImageNet validation images, and they found that the mean fraction of zeros is far higher in the deeper convolutional layers and the fully connected layers than in the early layers, so most of the redundancy sits at the top of the network.

يُخرج ReLU صفرًا لكل قيمة سالبة قبل التنشيط. القناة التي تكون خريطة مخرجاتها صفرًا في معظمها، صورة بعد صورة، لا تساهم بشيء تقريبًا في الطبقة التي تليها، مهما كان شكل أوزانها. حوّل Hu وPeng وTai وTang هذه الملاحظة إلى معيار. على VGG-16 وجدوا 631 عصبونًا كانت تنشيطاتها صفرًا في أكثر من 90% من الوقت على صور التحقق في ImageNet، ووجدوا أن متوسط نسبة الأصفار أعلى بكثير في طبقات الالتفاف العميقة والطبقات المتصلة بالكامل (fully connected) منه في الطبقات الأولى، فمعظم التكرار الزائد يقع في أعلى الشبكة.

The score is the APoZ. For channel c of a layer, run N validation images through the network, look at every position of the H × W output map for every image, and count how often the value is exactly zero. Divide by the number of positions you looked at.

الدرجة هي APoZ. للقناة c من طبقة ما، مرّر N صورة تحقق عبر الشبكة، وانظر إلى كل موضع في خريطة المخرجات ذات الأبعاد H × W لكل صورة، وعُدّ كم مرة تكون القيمة صفرًا تمامًا. ثم اقسم على عدد المواضع التي نظرت إليها.

The slide writes the same thing as zeros divided by batch times height times width. Its example uses a batch of 2, three channels and 4 × 4 maps, so every channel is judged over 2 × 4 × 4 = 32 positions. Count the bold zeros in each grid and the numbers on the slide come out exactly.

تكتب الشريحة الشيء نفسه على أنه عدد الأصفار مقسومًا على حجم الدفعة (batch) مضروبًا في الارتفاع مضروبًا في العرض. مثالها يستخدم دفعة من 2، وثلاث قنوات، وخرائط 4 × 4، فتُقيَّم كل قناة على 2 × 4 × 4 = 32 موضعًا. عُدّ الأصفار الغامقة في كل شبكة وستخرج أرقام الشريحة بالضبط.

Direction is the only thing people get wrong here, so state it in words: importance falls as APoZ rises. The paper's operating rule, the procedure it names Network Trimming, is to trim the neurons whose APoZ is more than one standard deviation above the layer's mean, which under a Gaussian assumption on APoZ values rejects about 16% of the neurons in a trimmed layer on average. Trimming is iterative: prune a few high-APoZ layers, retrain with the surviving weights initialized from the pre-trim network rather than from scratch, and repeat. The authors show that training the trimmed architecture from scratch leaves more zero-activation neurons than initializing from the trimmed weights does, so the initialization matters.

الاتجاه هو الشيء الوحيد الذي يخطئ فيه الناس هنا، فلنقله بالكلمات: الأهمية تنخفض كلما ارتفعت APoZ. قاعدة العمل في الورقة، أي الإجراء الذي تسميه Network Trimming، هي تشذيب العصبونات التي تزيد APoZ لديها بأكثر من انحراف معياري واحد فوق متوسط الطبقة، وهذا تحت افتراض توزيع غاوسي لقيم APoZ يستبعد في المتوسط نحو 16% من العصبونات في الطبقة المشذَّبة. التشذيب تكراري: قلّم بضع طبقات ذات APoZ مرتفعة، ثم أعِد التدريب مع تهيئة الأوزان الباقية من الشبكة قبل التشذيب بدلًا من البدء من الصفر، وكرّر. ويبيّن المؤلفون أن تدريب المعمارية المشذَّبة من الصفر يترك عصبونات ذات تنشيط صفري أكثر مما تتركه التهيئة من الأوزان المشذَّبة، فالتهيئة مهمة.

The comparison shows a split that matters for your project. Magnitude and OBD are read off the weights and their derivatives. APoZ and the regression criterion of the next concept are data-driven: they need a forward pass over real inputs, so they capture what the network does on your data rather than what its parameters look like, at the price of needing that data available at pruning time.

تُظهر المقارنة انقسامًا مهمًا لمشروعك. المقدار وOBD يُقرآن من الأوزان ومشتقاتها. أما APoZ ومعيار الانحدار في المفهوم التالي فقائمان على البيانات: يحتاجان إلى تمرير أمامي على مدخلات حقيقية، فيلتقطان ما تفعله الشبكة على بياناتك لا شكل معاملاتها، مقابل ثمن هو ضرورة توفر تلك البيانات وقت التقليم.

OBD asked what pruning does to the loss. APoZ looked at what a channel emits. He, Zhang and Sun ask a third question that is easier to answer than the first and more precise than the second: after you remove some input channels of a layer, how well can the survivors reproduce the layer's original output? Take one conv layer and sample b positions from real images (the paper used 5000 images with 10 samples each). Unroll each receptive field into a row of a matrix X of shape b × c_i in the slide's simplified picture. The layer's output at those positions is a matrix multiply.

سأل OBD عمّا يفعله التقليم بالخسارة. ونظر APoZ إلى ما تُصدره القناة. أما He وZhang وSun فيطرحون سؤالًا ثالثًا أسهل في الإجابة من الأول وأدق من الثاني: بعد أن تحذف بعض قنوات المدخلات في طبقة ما، إلى أي حد تستطيع القنوات الباقية إعادة إنتاج المخرجات الأصلية للطبقة؟ خذ طبقة التفاف واحدة واسحب عيّنة من b موضعًا من صور حقيقية (استخدمت الورقة 5000 صورة مع 10 عيّنات من كل منها). افرد كل حقل استقبال (receptive field) في صف من مصفوفة X شكلها b × c_i في الصورة المبسطة التي تعرضها الشريحة. مخرجات الطبقة عند تلك المواضع هي عملية ضرب مصفوفات.

The second equality is the whole idea. A matrix product can be split by the shared dimension: column c of X times row c of W^T is one b × c_o outer product, and Z is the sum of c_i of them, one per input channel. Removing input channel c means removing exactly one term of that sum. Regression-based pruning attaches a switch β_c to each term and asks which switches can be turned off while keeping the sum close to the original.

المساواة الثانية هي الفكرة كلها. يمكن تقسيم حاصل ضرب المصفوفات على البعد المشترك: العمود c من X مضروبًا في الصف c من W^T هو ضرب خارجي (outer product) واحد بالشكل b × c_o، وZ هي مجموع c_i من هذه الحواصل، واحد لكل قناة مدخلات. حذف قناة المدخلات c يعني حذف حد واحد بالضبط من هذا المجموع. يربط regression-based pruning مفتاحًا β_c بكل حد، ويسأل أي المفاتيح يمكن إطفاؤها مع إبقاء المجموع قريبًا من الأصل.

Name every symbol. β is the Channel selection coefficient, a vector of length c_i; β_c = 0 prunes input channel c. N_c is the number of channels allowed to survive, so the L0 norm constraint counts nonzero switches, the same kind of constraint as the pruning formulation of part 01. The objective is the Reconstruction error: the Frobenius norm is the square root of the sum of all squared entries, so its square is just the elementwise squared error summed over the whole b × c_o output. Nothing about the network loss, the labels or the layers downstream appears anywhere.

سمِّ كل رمز. β هو channel selection coefficient، وهو متجه طوله c_i؛ وβ_c = 0 تقلّم قناة المدخلات c. وN_c هو عدد القنوات المسموح لها بالبقاء، فقيد L0 norm يعدّ المفاتيح غير الصفرية، وهو من نوع القيد نفسه في صياغة التقليم في الجزء 01. والهدف هو reconstruction error: معيار Frobenius norm هو الجذر التربيعي لمجموع مربعات كل العناصر، فمربعه ببساطة هو مجموع مربعات الأخطاء عنصرًا بعنصر على كامل المخرجات b × c_o. لا يظهر في أي مكان شيء عن خسارة الشبكة، ولا عن التسميات (labels)، ولا عن الطبقات اللاحقة.

The figure on the slide shows why the input side is the one that shrinks. X_P loses a column and W_P^T loses the row that multiplied it; the two disappear as a pair, because they were only ever used together. The output Ẑ still has b rows and c_o columns. The next layer sees an input of the same shape as before, only slightly perturbed, which is what lets the paper prune a very deep network layer by layer and account for the accumulated error by always regressing toward the un-pruned model's output.

يوضح الشكل في الشريحة لماذا يكون جانب المدخلات هو الذي يصغر. تفقد X_P عمودًا وتفقد W_P^T الصف الذي كان يُضرب فيه؛ يختفيان معًا كزوج، لأنهما لم يُستخدما إلا معًا. أما المخرجات Ẑ فما زال فيها b صفًا وc_o عمودًا. الطبقة التالية ترى مدخلات بالشكل نفسه كما كانت، مع اضطراب طفيف فقط، وهذا ما يسمح للورقة بتقليم شبكة عميقة جدًا طبقة بعد طبقة ومراعاة الخطأ المتراكم بأن تجعل الانحدار دائمًا نحو مخرجات النموذج غير المقلَّم.

Solving it: alternate between selecting and rebuildingالحل: التناوب بين الاختيار وإعادة البناء

The L0 constraint makes the problem NP-hard, so the paper relaxes it to an L1 penalty, adding λ ||β||₁ to the objective. That turns channel selection into LASSO regression, whose solutions are naturally sparse: as λ grows, more β_c are driven exactly to zero. With two unknowns, β and W, the paper alternates.

قيد L0 يجعل المسألة NP-hard، لذلك تُرخيها الورقة إلى عقوبة L1، بإضافة λ ||β||₁ إلى الهدف. هذا يحوّل اختيار القنوات إلى انحدار LASSO، وحلوله متفرقة (sparse) بطبيعتها: كلما كبرت λ دُفعت قيم β_c أكثر إلى الصفر تمامًا. ومع وجود مجهولين، β وW، تتناوب الورقة بينهما.

With W fixed, Ẑ is linear in β, so the objective is an ordinary least-squares fit in β and the added L1 penalty makes it a LASSO problem that picks the channels. With β fixed, the survivors' weights are re-fitted by ordinary least squares so that they rebuild Z as well as possible, in closed form. A constraint ||W_c||_F = 1 on each channel's weights stops the trivial solution of shrinking β while inflating W. In practice the authors run the selection step repeatedly, raising λ until ||β||₀ drops to the target, and then run the reconstruction step once.

عند تثبيت W تكون Ẑ خطية في β، فيصبح الهدف ملاءمة عادية بالمربعات الصغرى في β، وعقوبة L1 المضافة تجعلها مسألة LASSO تختار القنوات. وعند تثبيت β يُعاد ملاءمة أوزان القنوات الباقية بالمربعات الصغرى العادية لتعيد بناء Z بأفضل ما يمكن، بصيغة مغلقة (closed form). ويمنع القيد ||W_c||_F = 1 على أوزان كل قناة الحل التافه الذي يصغّر β بينما يضخّم W. وفي التطبيق يشغّل المؤلفون خطوة الاختيار مرارًا، رافعين λ حتى تنخفض ||β||₀ إلى القيمة المستهدفة، ثم يشغّلون خطوة إعادة البناء مرة واحدة.

The reference list at the end of the deck is a map of where every Pruning criterion in parts 05 and 06 came from, and of what comes next. Reading it as a family tree makes the lecture easier to hold in memory than reading it as nineteen unrelated titles.

قائمة المراجع في نهاية العرض خريطة لمصدر كل pruning criterion في الجزأين 05 و06، ولما يأتي بعدها. قراءتها كشجرة عائلة تجعل المحاضرة أسهل في التذكر من قراءتها كتسعة عشر عنوانًا لا رابط بينها.

Three of the pointers deserve a sentence each. SparseGPT is the modern descendant of Second-order pruning: it prunes GPT-scale models with 175 billion parameters in one shot to 50 to 60% unstructured sparsity with little loss in perplexity, using Hessian information of a layer-wise reconstruction problem very much like the one in the previous concept. ThiNet selects filters using statistics from the next layer rather than the current one, a cousin of Regression-based pruning. Molchanov's first-order Taylor criterion scores units by gradient times value on mini-batches. It is the same expansion as OBD with the gradient term kept and the Hessian dropped.

ثلاث من هذه الإشارات تستحق جملة لكل منها. SparseGPT هو السليل الحديث لـ second-order pruning: يقلّم نماذج بحجم GPT فيها 175 مليار معامل دفعة واحدة إلى تفرّق غير هيكلي (unstructured sparsity) بنسبة 50 إلى 60% مع خسارة قليلة في الـ perplexity، مستخدمًا معلومات الـ Hessian لمسألة إعادة بناء على مستوى الطبقة تشبه كثيرًا تلك التي في المفهوم السابق. ThiNet يختار المرشحات باستخدام إحصاءات من الطبقة التالية بدلًا من الطبقة الحالية، وهو قريب من regression-based pruning. ومعيار تايلور من الدرجة الأولى عند Molchanov يقيّم الوحدات بحاصل ضرب الميل في القيمة على دفعات صغيرة. إنه المفكوك نفسه في OBD مع الإبقاء على حد الميل وإسقاط الـ Hessian.