Fine-tuning, iterative pruning and regularizationالضبط الدقيق والتقليم التكراري والتنظيم

Take the AlexNet that Han, Pool, Tran and Dally started from in 2015: 61 million parameters, five convolution layers and three fully connected ones, 57.2% top-1 accuracy. They kept roughly one weight in nine and ended with a network that was not measurably worse. That is the headline of this part, and the whole trick behind it is what happens after the cut.

خذ شبكة AlexNet التي بدأ منها Han وPool وTran وDally عام 2015: 61 million معامل، وخمس طبقات convolution وثلاث طبقات fully connected، ودقة top-1 قدرها 57.2%. أبقوا تقريبًا وزنًا واحدًا من كل تسعة، وانتهوا بشبكة ليست أسوأ بشكل يمكن قياسه. هذا هو العنوان الرئيسي لهذا الجزء، والحيلة كلها وراءه هي ما يحدث بعد القطع.

Now look at what those hours say. Retraining took more than twice as long as training. The authors did not treat it as optional polish; section 3 of the paper calls the final retraining step critical and states that if the pruned network is used without retraining, accuracy is significantly impacted. So the answer to the outline's fifth question, how to fine-tune a pruned network, is a method, not a footnote: the Pruning mask decides which weights exist, and Fine-tuning decides whether the survivors can still do the job.

انظر الآن إلى ما تقوله تلك الساعات. استغرقت إعادة التدريب أكثر من ضعف مدة التدريب. لم يعامل المؤلفون هذه الخطوة كتلميع اختياري؛ فالقسم 3 من الورقة يصف خطوة إعادة التدريب الأخيرة بأنها حاسمة، ويقرر أنه إذا استُخدمت الشبكة المقلَّمة دون إعادة تدريب فإن الدقة تتأثر بشكل كبير. لذلك فإن جواب السؤال الخامس في المخطط، أي كيف نعمل fine-tune لشبكة مقلَّمة، هو طريقة قائمة بذاتها لا حاشية: الـ mask الخاص بالـ pruning يقرر أي الأوزان موجودة، والـ fine-tuning يقرر هل تستطيع الأوزان الباقية أن تؤدي المهمة.

Why the survivors are wounded, and why the wound healsلماذا تتضرر الأوزان الباقية، ولماذا يلتئم الجرح

A trained layer is a set of weights that were optimized together. Zeroing the smallest of them, the magnitude criterion from lecture 04-1, is a small perturbation to any one output, but a large Pruning ratio removes so many small contributions that the outputs shift and the accuracy drops, more steeply the higher the ratio (this is what the chart on the slide shows for the dashed curve). The survivors are still near a good solution, though. Nothing about them was wrong; the function they were tuned to complete simply lost some of its terms. Fine-tuning continues gradient descent on exactly those survivors, with the removed weights held at zero, so they can absorb the work of the missing ones.

الطبقة المدرَّبة هي مجموعة أوزان جرى تحسينها معًا. تصفير أصغرها، أي magnitude criterion من المحاضرة 04-1، هو اضطراب صغير لأي مخرج منفرد، لكن pruning ratio كبيرة تزيل مساهمات صغيرة كثيرة جدًا، فتنزاح المخرجات وتنخفض الدقة، ويكون الانخفاض أشد كلما ارتفعت النسبة (وهذا ما يُظهره الرسم في الشريحة للمنحنى المتقطع). ومع ذلك تبقى الأوزان الباقية قريبة من حل جيد. لم يكن فيها أي خطأ؛ كل ما في الأمر أن الدالة التي ضُبطت لتكملها فقدت بعض حدودها. الـ fine-tuning يواصل الـ gradient descent على تلك الأوزان الباقية تحديدًا، مع إبقاء الأوزان المحذوفة عند الصفر، فتستطيع أن تتحمّل عمل الأوزان المفقودة.

This is why the learning rate matters so much. The slide states the rule: the fine-tuning learning rate is usually 1/100 or 1/10 of the original learning rate. In the paper, LeNet was retrained at 1/10 of the original rate (section 4.1) and AlexNet at 1/100 of the initial rate (section 4.2). A large step would throw the weights out of the basin in which the magnitude ranking was measured, undoing the very judgement the pruning made. Small steps walk the network back down the loss surface from where the cut left it.

ولهذا يهمّ معدل التعلّم كثيرًا. تذكر الشريحة القاعدة: معدل التعلّم في الـ fine-tuning يكون عادةً 1/100 أو 1/10 من معدل التعلّم الأصلي. في الورقة، أُعيد تدريب LeNet بمعدل 1/10 من المعدل الأصلي (القسم 4.1)، وأُعيد تدريب AlexNet بمعدل 1/100 من المعدل الابتدائي (القسم 4.2). الخطوة الكبيرة سترمي الأوزان خارج الحوض (basin) الذي قيس فيه ترتيب المقادير، فتُلغي الحكم نفسه الذي بنى عليه التقليم قراره. أما الخطوات الصغيرة فتعيد الشبكة نزولًا على سطح الخسارة من المكان الذي تركها فيه القطع.

Slide 41 makes the same point as an optimization statement. Pruning poses the problem as minimizing the loss over the pruned weights W_P subject to a budget N on the L0 norm, the count of nonzero weights. The mask chooses which entries of W_P may be nonzero at all (the constraint), and fine-tuning is the argmin over the survivors with that mask fixed: the best values the kept weights can take.

الشريحة 41 تقول الفكرة نفسها في صيغة مسألة تحسين. التقليم يصوغ المسألة على أنها تقليل الخسارة على الأوزان المقلَّمة W_P بشرط ميزانية N على الـ L0 norm، أي عدد الأوزان غير الصفرية. الـ mask يختار أي عناصر W_P يُسمح لها أصلًا بأن تكون غير صفرية (القيد)، والـ fine-tuning هو الـ argmin على الأوزان الباقية مع تثبيت ذلك الـ mask: أفضل قيم يمكن أن تأخذها الأوزان المحتفَظ بها.

The paper adds a second reason to keep the survivors instead of re-initializing them. Section 3.3 observes that networks contain fragile co-adapted features: gradient descent finds a good solution when the network is first trained, but not after re-initializing some layers and retraining them. Fine-tuning starts from the co-adapted weights and preserves that structure. The paper also notes that during retraining it can help to fix the convolution parameters while the fully connected ones retrain, and vice versa, to avoid vanishing gradients through the sparse layers.

تضيف الورقة سببًا ثانيًا للاحتفاظ بالأوزان الباقية بدل إعادة تهيئتها. يلاحظ القسم 3.3 أن الشبكات تحتوي على سمات هشّة متكيّفة معًا (co-adapted features): الـ gradient descent يجد حلًا جيدًا عند تدريب الشبكة أول مرة، لكنه لا يجده بعد إعادة تهيئة بعض الطبقات وإعادة تدريبها. الـ fine-tuning يبدأ من الأوزان المتكيّفة معًا ويحافظ على تلك البنية. وتذكر الورقة أيضًا أنه قد يفيد أثناء إعادة التدريب تثبيت معاملات الـ convolution بينما يُعاد تدريب طبقات الـ fully connected، والعكس، لتجنّب تلاشي المشتقات (vanishing gradients) عبر الطبقات المتفرّقة.

The three-box pipelineخط المعالجة ذو الصناديق الثلاثة

The figure on the slide is Figure 2 of the paper. The first box, Train Connectivity, is ordinary training, but its purpose is reframed: it learns which connections are important, not their final values. The second box, Prune Connections, applies the magnitude threshold. The third box, Train Weights, retrains the sparse network. In Han et al.'s implementation the threshold was a quality parameter multiplied by the standard deviation of each layer's weights, and Caffe was modified to add a mask that disregards pruned parameters during network operation for each weight tensor.

الشكل في الشريحة هو Figure 2 من الورقة. الصندوق الأول، Train Connectivity، تدريب عادي، لكن غرضه أُعيدت صياغته: هو يتعلّم أي الاتصالات مهمة، لا قيمها النهائية. الصندوق الثاني، Prune Connections، يطبّق عتبة المقدار. والصندوق الثالث، Train Weights، يعيد تدريب الشبكة المتفرّقة. في تطبيق Han et al. كانت العتبة معامل جودة مضروبًا في الانحراف المعياري لأوزان كل طبقة، وعُدّل Caffe بإضافة mask لكل tensor أوزان يتجاهل المعاملات المقلَّمة أثناء تشغيل الشبكة.

Reading the chart on slide 43قراءة الرسم في الشريحة 43

The chart plots accuracy loss against the fraction of parameters pruned away for AlexNet. The dashed purple curve is pruning with no retraining; the green curve adds fine-tuning. Reading the points off the figure gives the following.

يرسم المخطط فقدان الدقة مقابل نسبة المعاملات المقلَّمة في AlexNet. المنحنى البنفسجي المتقطع هو التقليم دون إعادة تدريب؛ والمنحنى الأخضر يضيف الـ fine-tuning. قراءة النقاط من الشكل تعطي ما يلي.

The paper summarizes the same curves in section 5: without retraining, accuracy begins dropping much sooner, at one third of the original connections rather than one tenth. It describes a free lunch of removing half the connections with no loss even without retraining, while with retraining the connections can be reduced by 9x. Read that 9x carefully: it is reached with the iterative scheme of the next two concepts. A single prune and retrain, the green curve, is already at about -1.7% by 90% pruned. Two green points (at about 67% and 75% pruned) sit slightly above zero, which the authors attribute to pruning finding the right capacity of the network and thereby reducing overfitting. Because sparsity and compression ratio are two ways of saying the same thing, keep the conversion at hand: ratio = 1 / (1 - s).

تلخّص الورقة المنحنيات نفسها في القسم 5: دون إعادة تدريب تبدأ الدقة بالانخفاض أبكر بكثير، عند بقاء ثلث الاتصالات الأصلية بدل العُشر. وتصف "وجبة مجانية" (free lunch) هي إزالة نصف الاتصالات دون أي فقدان حتى بلا إعادة تدريب، بينما مع إعادة التدريب يمكن تقليل الاتصالات بمقدار 9x. اقرأ هذا الـ 9x بعناية: فهو يتحقق بالمخطط التكراري في المفهومين التاليين. أما تقليم واحد مع إعادة تدريب واحدة، أي المنحنى الأخضر، فيكون عند نحو -1.7% بالفعل عند 90% مقلَّمة. وتقع نقطتان خضراوان (عند نحو 67% و75% مقلَّمة) فوق الصفر بقليل، ويعزو المؤلفون ذلك إلى أن التقليم يجد السعة المناسبة للشبكة فيقلّل الـ overfitting. ولأن الـ sparsity ونسبة الضغط طريقتان لقول الشيء نفسه، أبقِ التحويل في متناول يدك: النسبة = 1 / (1 - s).

Once retraining is part of the recipe, a natural question follows: why cut to the final sparsity in one go? The slides tell the story as a sequence. Prune to 30%, retrain the weights. Prune to 50%, retrain. Prune to 70%, retrain. The only change to the pipeline figure is a single arrow from Train Weights back up to Prune Connections, and that arrow is the whole idea of Iterative pruning.

ما دامت إعادة التدريب جزءًا من الوصفة، فإن سؤالًا طبيعيًا يتبع: لماذا نقطع إلى الـ sparsity النهائية دفعة واحدة؟ الشرائح تروي القصة كسلسلة. قلّم إلى 30%، وأعِد تدريب الأوزان. قلّم إلى 50%، وأعِد التدريب. قلّم إلى 70%، وأعِد التدريب. التغيير الوحيد في شكل خط المعالجة هو سهم واحد من Train Weights عائدًا إلى Prune Connections، وهذا السهم هو الفكرة كلها في الـ iterative pruning.

Define the unit first: one iteration is a prune followed by a fine-tune. Iterative pruning repeats that unit while gradually increasing the target sparsity in each iteration, instead of jumping to the final sparsity in one step. Han et al. put it plainly in section 3.4: learning the right connections is an iterative process, pruning followed by retraining is one iteration, and after many such iterations the minimum number of connections can be found. Each iteration is a greedy search for the best connections. They also tried pruning parameters probabilistically by absolute value and found it gave worse results.

عرّف الوحدة أولًا: التكرار الواحد هو prune يتبعه fine-tune. الـ iterative pruning يكرر هذه الوحدة مع رفع الـ sparsity المستهدفة تدريجيًا في كل تكرار، بدل القفز إلى الـ sparsity النهائية في خطوة واحدة. يقولها Han et al. بوضوح في القسم 3.4: تعلّم الاتصالات الصحيحة عملية تكرارية، والتقليم متبوعًا بإعادة التدريب تكرار واحد، وبعد تكرارات كثيرة كهذه يمكن الوصول إلى أقل عدد من الاتصالات. كل تكرار هو بحث جشع (greedy search) عن أفضل الاتصالات. وجرّبوا أيضًا تقليم المعاملات احتماليًا بحسب قيمتها المطلقة فوجدوا أنه يعطي نتائج أسوأ.

Why gradual beats one-shotلماذا يتفوّق التدريج على القطع دفعة واحدة

The magnitude criterion ranks weights on the network as it is right now. After a 30% cut and a fine-tune, the survivors have re-settled: some grew to cover the removed terms, some shrank because their job was taken over. The ranking for the next cut is therefore measured on a network that has adapted, and the weights it marks as small really are the least needed. A one-shot cut to 90% ranks all 90% on a network that has never adapted to any loss, so it discards weights that would have become important once their neighbors were gone. Zhu and Gupta describe the same principle in the general form of a sparsity schedule: the binary mask is updated every few hundred steps to gradually increase the sparsity of the network while allowing the training steps to recover from any pruning-induced loss in accuracy. Their cubic schedule prunes quickly at first, when redundant connections are abundant, and slowly near the end.

معيار المقدار يرتّب الأوزان على الشبكة كما هي الآن. بعد قطع 30% وعمل fine-tune، تكون الأوزان الباقية قد استقرّت من جديد: بعضها كبر ليغطي الحدود المحذوفة، وبعضها صغر لأن غيره تولّى عمله. لذلك فإن الترتيب للقطع التالي يُقاس على شبكة تكيّفت، والأوزان التي يعلّمها بأنها صغيرة هي فعلًا الأقل حاجة. أما القطع دفعة واحدة إلى 90% فيرتّب الـ 90% كلها على شبكة لم تتكيّف مع أي فقدان، فيتخلّص من أوزان كانت ستصبح مهمة بعد ذهاب جيرانها. يصف Zhu وGupta المبدأ نفسه في صورته العامة كجدول sparsity: يُحدَّث الـ binary mask كل بضع مئات من الخطوات لرفع sparsity الشبكة تدريجيًا، مع السماح لخطوات التدريب بأن تتعافى من أي فقدان في الدقة سبّبه التقليم. وجدولهم التكعيبي (cubic) يقلّم بسرعة في البداية، حين تكون الاتصالات الزائدة وفيرة، وببطء قرب النهاية.

The schedule in this part uses five hand-picked targets rather than a closed form, but the shape is the same: larger cuts early, smaller ones late. On a 6 x 6 matrix of 36 weights, rounding 36 s gives the following zero counts, which are also what the simulator below shows.

الجدول في هذا الجزء يستخدم خمسة أهداف مختارة يدويًا بدل صيغة مغلقة، لكن الشكل واحد: قطعات أكبر في البداية، وأصغر في النهاية. على مصفوفة 6 x 6 من 36 وزنًا، تقريب 36 s يعطي أعداد الأصفار التالية، وهي أيضًا ما يعرضه المحاكي أدناه.

The loop also connects backwards to part 05. NetAdapt runs a short-term fine-tune after every layer it thins and a long-term fine-tune at the end, which is the same prune-then-fine-tune loop driven by a latency budget instead of a sparsity schedule. Whatever criterion or granularity you choose, the outer loop looks like this figure.

الحلقة ترتبط أيضًا بالجزء 05 السابق. الـ NetAdapt يشغّل short-term fine-tune بعد كل طبقة يرقّقها، وlong-term fine-tune في النهاية، وهذه هي حلقة التقليم ثم الـ fine-tune نفسها لكن تقودها ميزانية زمن استجابة (latency) بدل جدول sparsity. أيًا كان المعيار أو الدقة (granularity) التي تختارها، فإن الحلقة الخارجية تبدو مثل هذا الشكل.

Slide 51 adds one bullet and one curve, and together they carry the number you will be asked for: Iterative pruning boosts the Pruning ratio from 5x to 9x on AlexNet compared to single-step aggressive pruning. The red curve is what that sentence looks like.

تضيف الشريحة 51 نقطة واحدة ومنحنى واحدًا، ومعًا يحملان الرقم الذي ستُسأل عنه: الـ iterative pruning يرفع الـ pruning ratio من 5x إلى 9x على AlexNet مقارنةً بالتقليم العنيف بخطوة واحدة (single-step aggressive pruning). المنحنى الأحمر هو الصورة البيانية لهذه الجملة.

Notice where the curve begins. It does not start at 40% like the others. The paper explains why in section 5: the biggest gain comes from iterative pruning, where the pruned and retrained network of the green curve is pruned and retrained again. The leftmost red dot corresponds to the point on the green line at 80% (5x) pruned further to 8x. There is no accuracy loss at 9x, and not until 10x does the accuracy begin to drop sharply.

لاحظ أين يبدأ المنحنى. فهو لا يبدأ من 40% مثل المنحنيات الأخرى. تشرح الورقة السبب في القسم 5: أكبر مكسب يأتي من الـ iterative pruning، حيث تُقلَّم الشبكة التي قُلّمت وأُعيد تدريبها في المنحنى الأخضر ثم يُعاد تدريبها مرة أخرى. أقصى نقطة حمراء على اليسار تقابل النقطة على الخط الأخضر عند 80% (5x) بعد تقليمها أكثر إلى 8x. لا يوجد فقدان في الدقة عند 9x، ولا تبدأ الدقة بالانخفاض الحاد إلا عند 10x.

The same paper reaches 13x on VGG-16 with five iterations of pruning and retraining, shrinking it to 7.5% of its original size with fc6 and fc7 each pruned to less than 4% of their original size. These pruned networks are the starting point of Deep Compression, which quantizes the surviving weights to 8 bits in convolution layers and 5 bits in fully connected layers and Huffman codes the result to reach 35x on AlexNet (240 MB to 6.9 MB) and 49x on VGG-16. The roughly 90% Weight sparsity that EIE assumes in the next part is this number.

الورقة نفسها تصل إلى 13x على VGG-16 بخمسة تكرارات من التقليم وإعادة التدريب، فتصغّرها إلى 7.5% من حجمها الأصلي، مع تقليم كل من fc6 وfc7 إلى أقل من 4% من حجمها الأصلي. هذه الشبكات المقلَّمة هي نقطة انطلاق Deep Compression، الذي يحوّل الأوزان الباقية بالـ quantization إلى 8 بت في طبقات الـ convolution و5 بت في طبقات الـ fully connected، ثم يرمّز النتيجة بـ Huffman coding ليصل إلى 35x على AlexNet (من 240 MB إلى 6.9 MB) و49x على VGG-16. والـ weight sparsity البالغة نحو 90% التي يفترضها EIE في الجزء التالي هي هذا الرقم.

Fine-tuning repairs the network after the cut. Regularization (for pruning) prepares it before the cut. Follow one weight w = 0.05 through training with a penalty coefficient lambda = 0.01 and a learning rate eta = 0.1, ignoring the data loss for the moment so only the penalty acts.

الـ Fine-tuning يصلح الشبكة بعد القطع. والـ regularization يجهّزها قبل القطع. تتبّع وزنًا واحدًا w = 0.05 عبر التدريب مع معامل عقوبة lambda = 0.01 ومعدل تعلّم eta = 0.1، متجاهلًا خسارة البيانات مؤقتًا حتى تعمل العقوبة وحدها.

The two regularized lossesدالتا الخسارة مع الـ regularization

The slide states the general rule. During training, or during the fine-tuning of a pruned network, a penalty is added to the loss to penalize nonzero parameters and to encourage smaller ones. The two common choices are the L1 and L2 penalties on the weights W, with lambda setting how strongly the penalty competes with the data loss L(x; W).

تذكر الشريحة القاعدة العامة. أثناء التدريب، أو أثناء الـ fine-tuning لشبكة مقلَّمة، تُضاف عقوبة إلى الخسارة لمعاقبة المعاملات غير الصفرية وتشجيع المعاملات الأصغر. الخياران الشائعان هما عقوبتا L1 وL2 على الأوزان W، حيث يحدد lambda مدى قوة منافسة العقوبة لخسارة البيانات L(x; W).

Goodfellow, Bengio and Courville make both halves precise. L2 regularization, commonly known as weight decay, drives the weights closer to the origin; its update multiplicatively shrinks the weight vector by a constant factor on each step (their equation 7.5). L1 regularization, in comparison, results in a solution that is more sparse, where sparsity means that some parameters have an optimal value of exactly zero, and this property is why L1 has been used extensively for feature selection (LASSO). The gradient forms above are the reason. Near zero the L1 gradient lambda sign(w) keeps its full size, so the weight is pushed onto zero and pinned there. The L2 gradient 2 lambda w shrinks with the weight, so the push fades before it arrives.

يجعل Goodfellow وBengio وCourville الجانبين دقيقين. الـ L2 regularization، المعروف عادةً باسم weight decay، يقرّب الأوزان من نقطة الأصل؛ وتحديثه يقلّص متجه الأوزان بشكل ضربي بمعامل ثابت في كل خطوة (معادلتهم 7.5). أما الـ L1 regularization فيؤدي بالمقارنة إلى حل أكثر تفرّقًا (sparse)، حيث يعني التفرّق أن بعض المعاملات قيمتها المثلى صفر تمامًا، وهذه الخاصية هي سبب استخدام الـ L1 على نطاق واسع لاختيار السمات (LASSO). وصيغ المشتقات أعلاه هي السبب. قرب الصفر تحافظ مشتقة الـ L1، lambda sign(w)، على حجمها الكامل، فيُدفع الوزن إلى الصفر ويُثبَّت هناك. أما مشتقة الـ L2، 2 lambda w، فتصغر مع الوزن، فيخفت الدفع قبل أن يصل.

Why both help pruning, and why L2 won anywayلماذا يساعد كلاهما التقليم، ولماذا فاز الـ L2 مع ذلك

Either penalty shrinks the weights the data loss does not defend. That does two things for magnitude pruning. The ranking becomes a cleaner signal, because a weight that stayed large did so against a constant pull, and the mass of the distribution near zero grows, so more weights fall under the threshold at a given accuracy. L1 goes further and parks weights on exactly zero, so removing them changes nothing at all.

أي من العقوبتين يقلّص الأوزان التي لا تدافع عنها خسارة البيانات. وهذا يفيد الـ magnitude pruning بأمرين. يصبح الترتيب إشارة أنظف، لأن الوزن الذي بقي كبيرًا فعل ذلك رغم سحب ثابت، وتزداد كتلة التوزيع قرب الصفر، فيقع عدد أكبر من الأوزان تحت العتبة عند دقة معيّنة. والـ L1 يذهب أبعد فيثبّت الأوزان عند الصفر تمامًا، فلا تغيّر إزالتها شيئًا على الإطلاق.

It is tempting to conclude that L1 must be the better choice for pruning, and this is the classic trap. Han et al. (section 3.1) report that L1 regularization does give better accuracy after pruning but before retraining, since more parameters sit near zero. However, the remaining connections are not as good as with L2, resulting in lower accuracy after retraining, and overall L2 regularization gives the best pruning results. They also tried L1 for the pruning phase followed by L2 for retraining and found it did not beat using L2 for both, because parameters from one mode do not adapt well to the other. That is why the slide says magnitude-based fine-grained pruning applies L2 regularization on weights.

من المغري أن تستنتج أن الـ L1 لا بد أن يكون الخيار الأفضل للتقليم، وهذا هو الفخ الكلاسيكي. يذكر Han et al. (القسم 3.1) أن الـ L1 regularization يعطي فعلًا دقة أفضل بعد التقليم وقبل إعادة التدريب، لأن عددًا أكبر من المعاملات يكون قرب الصفر. لكن الاتصالات الباقية ليست بجودة ما يتركه الـ L2، فتكون الدقة بعد إعادة التدريب أقل، وإجمالًا يعطي الـ L2 regularization أفضل نتائج تقليم. وجرّبوا أيضًا الـ L1 لمرحلة التقليم ثم الـ L2 لإعادة التدريب، فوجدوا أنه لا يتفوّق على استخدام الـ L2 في المرحلتين، لأن المعاملات القادمة من نمط لا تتكيّف جيدًا مع النمط الآخر. ولهذا تقول الشريحة إن الـ magnitude-based fine-grained pruning يطبّق الـ L2 regularization على الأوزان.

Network Slimming: the same penalty on channel scaling factorsNetwork Slimming: العقوبة نفسها على معاملات تحجيم القنوات

The second example on the slide moves the penalty from weights to channels, which connects back to the scaling-based criterion of lecture 04-1. Network Slimming (Liu et al., ICCV 2017) notes that every batch normalization layer already computes z_out = gamma z_hat + beta per channel, so gamma is a free scaling factor for that channel. Their training objective adds a sparsity penalty on those factors.

المثال الثاني في الشريحة ينقل العقوبة من الأوزان إلى القنوات، وهذا يعيدنا إلى المعيار المبني على التحجيم (scaling-based) في المحاضرة 04-1. يلاحظ Network Slimming (Liu et al.، ICCV 2017) أن كل طبقة batch normalization تحسب أصلًا z_out = gamma z_hat + beta لكل قناة، لذلك فإن gamma معامل تحجيم مجاني لتلك القناة. ودالة الهدف في تدريبهم تضيف عقوبة sparsity على تلك المعاملات.

Channels whose gamma has been pushed toward zero contribute almost nothing and are removed with a global percentile threshold (pruning 70% of channels means choosing the 70th percentile of all gamma values), followed by fine-tuning. Because a whole channel goes, this is Channel pruning, the coarse end of Pruning granularity, and the resulting network stays dense. On VGGNet the method reports a 20x smaller model and 5x fewer computing operations. The paper also describes a multi-pass scheme that repeats train, prune and fine-tune, the same loop as the previous concepts, now driven by gamma instead of |w|.

القنوات التي دُفع gamma الخاص بها نحو الصفر لا تساهم بشيء تقريبًا، وتُزال بعتبة مئينية عامة (global percentile threshold)؛ فتقليم 70% من القنوات يعني اختيار المئين 70th من كل قيم gamma، ثم يتبع ذلك fine-tuning. ولأن القناة تُحذف كاملة، فهذا channel pruning، أي الطرف الخشن من pruning granularity، والشبكة الناتجة تبقى كثيفة (dense). على VGGNet تذكر الطريقة نموذجًا أصغر بـ 20x وعمليات حسابية أقل بـ 5x. وتصف الورقة أيضًا مخططًا متعدد المرور يكرر التدريب ثم التقليم ثم الـ fine-tune، وهي الحلقة نفسها في المفاهيم السابقة، لكن يقودها الآن gamma بدل |w|.