Train, prune, fine-tune: what pruning achievesتدريب ثم تقليم ثم ضبط دقيق: ماذا يحقق التقليم

Take AlexNet as Han, Pool, Tran and Dally trained it for their NeurIPS 2015 paper: 57.2% top-1 and 80.3% top-5 on ImageNet. Its first fully connected layer alone holds 38 million weights, and if you histogram them you get a narrow bell centered on zero, almost all of it inside [-0.015, 0.015] by the paper's own account. Now pick a threshold that removes the smallest half of every layer. Nothing happens to accuracy. Remove three quarters, and top-5 accuracy falls by about 2.2%. Remove four fifths, and it falls by about 4%. That single experiment is the whole of slides 7 and 8.

خذ AlexNet كما درّبه Han وPool وTran وDally في ورقتهم في NeurIPS 2015: دقة top-1 قدرها 57.2% وtop-5 قدرها 80.3% على ImageNet. طبقته الأولى المتصلة بالكامل (fully connected) وحدها تحمل 38 million وزن، وإذا رسمت مدرجها التكراري (histogram) حصلت على جرس ضيق متمركز عند الصفر، يقع معظمه داخل [-0.015, 0.015] بحسب الورقة نفسها. الآن اختر عتبة تحذف النصف الأصغر من كل طبقة. لا يحدث شيء للدقة. احذف ثلاثة أرباع الأوزان، فتنخفض دقة top-5 بنحو 2.2%. احذف أربعة أخماسها، فتنخفض بنحو 4%. هذه التجربة الواحدة هي كل محتوى الشريحتين 7 و8.

The rule behind it is a two-step recipe. Step one is ordinary training, but Han reads it differently: the dense network is not trained to learn final weights, it is trained to learn which connections are important. Step two removes every weight whose magnitude falls below a threshold, which the paper sets as a quality parameter times the standard deviation of that layer's weights. A dense layer becomes a sparse layer. This is Pruning at its simplest, Synapse pruning in the vocabulary of Part 01, and it is the plainest form of Magnitude-based pruning: importance is |w| and nothing else. Once connections are gone, some neurons are left with no surviving input or no surviving output. Those neurons contribute nothing and are removed too, so Neuron pruning falls out of synapse pruning for free.

القاعدة وراء ذلك وصفة من خطوتين. الخطوة الأولى تدريب عادي، لكن Han يقرؤه بطريقة مختلفة: الشبكة الكثيفة لا تُدرَّب لتتعلم أوزانها النهائية، بل لتتعلم أي الوصلات مهمة. الخطوة الثانية تحذف كل وزن تقل قيمته المطلقة عن threshold (عتبة)، وتحددها الورقة بأنها معامل جودة مضروب في الانحراف المعياري لأوزان تلك الطبقة. هكذا تتحول الطبقة الكثيفة إلى طبقة متفرقة (sparse). هذا هو pruning في أبسط صوره، وهو Synapse pruning بمصطلحات الجزء 01، وأوضح أشكال Magnitude-based pruning: الأهمية هي |w| ولا شيء غيرها. وبعد حذف الوصلات تبقى بعض العصبونات بلا أي مدخل باقٍ أو بلا أي مخرج باقٍ. هذه العصبونات لا تساهم بشيء فتُحذف هي أيضاً، فيأتي Neuron pruning نتيجة مجانية لتقليم الوصلات.

The right-hand inset of slide 8 shows exactly that gap: the same bell with its center cut out, a hole of width 2t around zero, and nothing else changed. The paper's discussion of its Figure 7 describes the distribution as "centered around zero with tails dropping off quickly" before pruning, then "the center of the distribution" removed. The weights that survive have not moved. They will move in the next concept, and that movement is what retraining does.

الرسم المصغر على يمين الشريحة 8 يُظهر تلك الفجوة بالضبط: الجرس نفسه وقد قُطع مركزه، أي ثقب عرضه 2t حول الصفر، ولم يتغير أي شيء آخر. تصف الورقة في نقاشها لشكلها 7 التوزيع قبل التقليم بأنه «متمركز حول الصفر وأطرافه تهبط بسرعة»، ثم بأن «مركز التوزيع» قد أُزيل. الأوزان الباقية لم تتحرك. ستتحرك في المفهوم التالي، وهذه الحركة هي ما تفعله إعادة التدريب.

Reading the prune-only curveقراءة منحنى التقليم وحده

The chart on slide 8 plots top-5 accuracy loss against the Pruning ratio, the fraction of parameters pruned away, from 40% to 100% on the x axis and from +0.5% to -4.5% on the y axis. The dashed purple curve is what happens with no retraining. It sits at zero up to 50%, which the paper calls a "free lunch of reducing 2x the connections without losing accuracy even without retraining". It reaches about -1% at 67%, about -2.2% at 75%, about -4% at 80%, and leaves the chart just past 82%. Without retraining, the paper says, accuracy "begins dropping much sooner", once only a third of the connections remain.

يرسم مخطط الشريحة 8 فقدان دقة top-5 مقابل Pruning ratio (نسبة التقليم)، أي نسبة المعاملات المحذوفة، من 40% إلى 100% على المحور الأفقي ومن +0.5% إلى -4.5% على المحور الرأسي. المنحنى البنفسجي المتقطع هو ما يحدث دون إعادة تدريب. يبقى عند الصفر حتى 50%، وهو ما تسميه الورقة «وجبة مجانية تخفض الوصلات 2x دون فقدان في الدقة حتى بلا إعادة تدريب». ثم يصل إلى نحو -1% عند 67%، ونحو -2.2% عند 75%، ونحو -4% عند 80%، ويخرج من المخطط بعد 82% بقليل. وتقول الورقة إنه بدون إعادة تدريب «تبدأ الدقة في الانخفاض أبكر بكثير»، أي بمجرد أن يبقى ثلث الوصلات فقط.

The x axis counts what is removed, so you have to translate it into a reduction factor before you can compare with a table that reports "9x". Keeping a fraction 1 - r of the weights makes the model 1 / (1 - r) times smaller.

المحور الأفقي يعدّ ما حُذف، لذلك عليك أن تحوّله إلى reduction factor (معامل التخفيض) قبل أن تقارن بجدول يذكر «9x». الاحتفاظ بنسبة 1 - r من الأوزان يجعل النموذج أصغر بمقدار 1 / (1 - r) مرة.

Where the threshold comes fromمن أين تأتي العتبة

Because the criterion is magnitude, the threshold and the pruning ratio are two views of the same cut. If the weights of a layer are roughly Gaussian with standard deviation sigma, removing a fraction r means removing everything inside ±t where the Gaussian mass inside ±t equals r. That is an inverse normal lookup: t = sigma × z with z = 0.674 for 50%, z = 1.282 for 80% and z = 1.645 for 90%.

بما أن المعيار هو القيمة المطلقة، فالعتبة ونسبة التقليم وجهان للقطع نفسه. إذا كانت أوزان الطبقة قريبة من التوزيع الطبيعي (Gaussian) بانحراف معياري sigma، فإن حذف نسبة r يعني حذف كل ما يقع داخل ±t بحيث تساوي كتلة التوزيع داخل ±t القيمة r. هذا بحث في معكوس التوزيع الطبيعي: t = sigma × z حيث z = 0.674 لنسبة 50%، وz = 1.282 لنسبة 80%، وz = 1.645 لنسبة 90%.

Return to the AlexNet that lost 4% at 80% pruned. Keep the mask fixed, so the removed weights stay at zero, and train the survivors again with a learning rate one hundredth of the original. The loss comes back to 0.0%. That run took 173 hours on a Titan X against 75 hours for the original training, which is why the paper says pruning is "not used when iteratively prototyping the model, but rather used for model reduction when the model is ready for deployment".

عُد إلى AlexNet الذي خسر 4% عند تقليم 80%. ثبّت mask (القناع) بحيث تبقى الأوزان المحذوفة عند الصفر، ثم درّب الأوزان الباقية من جديد بمعدل تعلم يساوي جزءاً من مئة من المعدل الأصلي. يعود الفقدان إلى 0.0%. استغرقت تلك الجولة 173 hours على بطاقة Titan X مقابل 75 hours للتدريب الأصلي، ولهذا تقول الورقة إن التقليم «لا يُستخدم أثناء بناء النموذج وتجريبه بشكل متكرر، بل يُستخدم لتصغير النموذج عندما يكون جاهزاً للنشر».

This is step three of the pipeline, and the paper is blunt about its status: retraining "learns the final weights for the remaining sparse connections. This step is critical. If the pruned network is used without retraining, accuracy is significantly impacted." The lecture calls it Fine-tuning. The green curve on slide 9 shows what it buys. It stays at zero, or a hair above, all the way to 80%, then bends: about -0.25% at 84%, about -0.9% at 88%, about -1.7% at 90%, about -4% at 93%. The paper summarizes the same curve as "with retraining we are able to reduce connections by 9x".

هذه هي الخطوة الثالثة في المسار، والورقة صريحة في وصف مكانتها: إعادة التدريب «تتعلم الأوزان النهائية للوصلات المتفرقة الباقية. هذه الخطوة حاسمة. إذا استُخدمت الشبكة المقلّمة دون إعادة تدريب، تتأثر الدقة بشكل كبير». وتسميها المحاضرة Fine-tuning (الضبط الدقيق). المنحنى الأخضر في الشريحة 9 يُظهر ما تشتريه. يبقى عند الصفر، أو فوقه بشعرة، حتى 80%، ثم ينحني: نحو -0.25% عند 84%، ونحو -0.9% عند 88%، ونحو -1.7% عند 90%، ونحو -4% عند 93%. وتلخص الورقة المنحنى نفسه بقولها «مع إعادة التدريب نستطيع تقليل الوصلات بمقدار 9x».

Two of the green points sit slightly above zero. The authors do not treat that as noise: "We believe this accuracy improvement is due to pruning finding the right capacity of the network and hence reducing overfitting." In other words, Pruning behaves like a regularizer, and an over-parameterized network can lose most of its weights and generalize a little better for it.

نقطتان من النقاط الخضراء تقعان فوق الصفر بقليل. لا يعدّ المؤلفون ذلك ضجيجاً: «نعتقد أن هذا التحسن في الدقة سببه أن التقليم يجد السعة المناسبة للشبكة، وبالتالي يقلل الإفراط في التخصيص (overfitting)». بعبارة أخرى، يتصرف pruning كأداة تنظيم (regularizer)، ويمكن لشبكة ذات معاملات زائدة أن تفقد معظم أوزانها وتعمّم أفضل قليلاً بسبب ذلك.

What retraining does to the weightsماذا تفعل إعادة التدريب بالأوزان

The third inset on slide 9 is the most informative picture in this part. After pruning, the histogram was a bell with a hole. After retraining it is two smooth lobes, one on each side of zero, and the whole distribution is wider. The paper's text on Figure 7 states the numbers: the original weights lived inside [-0.015, 0.015]; after retraining "the parameters form a bimodal distribution and become more spread across the x-axis, between [-0.025, 0.025]". The survivors have grown in magnitude to take over the work of the connections that were removed. Nothing has been restored; the mask still holds the pruned weights at zero.

الرسم المصغر الثالث في الشريحة 9 هو أغنى صورة في هذا الجزء. بعد التقليم كان المدرج التكراري جرساً فيه ثقب. وبعد إعادة التدريب أصبح فصّين ناعمين، واحداً على كل جانب من الصفر، والتوزيع كله أعرض. نص الورقة عن الشكل 7 يذكر الأرقام: الأوزان الأصلية كانت تعيش داخل [-0.015, 0.015]؛ وبعد إعادة التدريب «تشكل المعاملات توزيعاً ثنائي القمة (bimodal) وتصبح أكثر انتشاراً على المحور الأفقي، بين [-0.025, 0.025]». الأوزان الباقية كبرت في قيمتها المطلقة لتتولى عمل الوصلات التي حُذفت. لم يُستعَد أي شيء؛ القناع ما زال يُبقي الأوزان المقلّمة عند الصفر.

Three rules the paper gives for retrainingثلاث قواعد تعطيها الورقة لإعادة التدريب

• Keep the surviving weights; do not reinitialize them. The paper argues that networks contain "fragile co-adapted features" that gradient descent finds when the network is first trained but cannot find again from scratch on a sparse layout.احتفظ بالأوزان الباقية؛ لا تُعِد تهيئتها. تحتج الورقة بأن الشبكات تحتوي على «سمات هشة متكيفة فيما بينها» (fragile co-adapted features) يجدها الانحدار التدرجي (gradient descent) عند تدريب الشبكة أول مرة، لكنه لا يستطيع إيجادها مجدداً من الصفر على بنية متفرقة.
• Shrink dropout. Pruning has already removed capacity, so the retraining dropout D_r is scaled from the original D_o by the square root of the fraction of connections kept.قلّل الـ dropout. التقليم أزال جزءاً من السعة أصلاً، لذلك يُحسب dropout إعادة التدريب D_r من القيمة الأصلية D_o بضربها في الجذر التربيعي لنسبة الوصلات المحتفَظ بها.
• Choose the regularizer for the stage. L1 pushes more weights toward zero and gives better accuracy straight after pruning, but L2 gives better accuracy once the survivors are retrained, so the paper uses L2 for the curves on these slides.اختر أداة التنظيم المناسبة للمرحلة. L1 يدفع أوزاناً أكثر نحو الصفر ويعطي دقة أفضل مباشرة بعد التقليم، لكن L2 يعطي دقة أفضل بعد إعادة تدريب الأوزان الباقية، لذلك تستخدم الورقة L2 في منحنيات هذه الشرائح.

One more observation from the paper's sensitivity study (Figure 6) matters for your own experiments: convolutional layers are more sensitive to pruning than fully connected ones, and the first convolutional layer is the most sensitive of all, because its input has only three channels and there is little redundancy to remove. That is why the per-layer keep rates in the next concepts are so uneven.

ملاحظة أخرى من دراسة الحساسية في الورقة (الشكل 6) تهمك في تجاربك الخاصة: الطبقات الالتفافية أكثر حساسية للتقليم من الطبقات المتصلة بالكامل، والطبقة الالتفافية الأولى هي الأكثر حساسية على الإطلاق، لأن مدخلها له ثلاث قنوات فقط ولا يوجد فيه إلا القليل من التكرار القابل للحذف. ولهذا السبب تتفاوت نسب الاحتفاظ لكل طبقة في المفاهيم التالية تفاوتاً كبيراً.

Start from the retrained network at 80% pruned, the last green point still on the zero line, a 5x model with no loss. Now prune it again, using the retrained magnitudes, and fine-tune again. The paper describes what happens: "The leftmost dot on this curve corresponds to the point on the green line at 80% (5x pruning) pruned to 8x. There's no accuracy loss at 9x. Not until 10x does the accuracy begin to drop sharply." The red curve on slide 10 is that experiment: flat through 90%, about -0.5% at 92%, -1% at 93%, -2% at 94%, and about -4% between 95% and 96%.

ابدأ من الشبكة المعاد تدريبها عند تقليم 80%، وهي آخر نقطة خضراء ما زالت على خط الصفر، نموذج أصغر بـ 5x بلا أي فقدان. الآن قلّمها مرة أخرى باستخدام القيم المطلقة بعد إعادة التدريب، ثم طبّق fine-tune مرة أخرى. تصف الورقة ما يحدث: «النقطة الأولى من اليسار على هذا المنحنى تقابل النقطة على الخط الأخضر عند 80% (تقليم 5x) بعد تقليمها إلى 8x. لا يوجد فقدان في الدقة عند 9x. ولا تبدأ الدقة في الانخفاض الحاد إلا عند 10x». المنحنى الأحمر في الشريحة 10 هو تلك التجربة: مستوٍ حتى 90%، ثم نحو -0.5% عند 92%، و-1% عند 93%، و-2% عند 94%، ونحو -4% بين 95% و96%.

This is Iterative pruning, and the paper states the rule and the payoff in one breath: "Pruning followed by a retraining is one iteration, after many such iterations the minimum number connections could be found. Without loss of accuracy, this method can boost pruning rate from 5x to 9x on AlexNet compared with single-step aggressive pruning." Each iteration is a greedy search. VGG-16 used five rounds; ResNet-50 in Han's thesis used three. The left side of slide 10 draws the loop: train connectivity, prune connections, train weights, and an arrow from train weights back to prune.

هذا هو Iterative pruning (التقليم التكراري)، والورقة تذكر القاعدة والمكسب في نَفَس واحد: «التقليم متبوعاً بإعادة تدريب يمثل تكراراً واحداً، وبعد تكرارات كثيرة من هذا النوع يمكن إيجاد أقل عدد من الوصلات. ودون فقدان في الدقة، يمكن لهذه الطريقة أن ترفع معدل التقليم من 5x إلى 9x على AlexNet مقارنة بالتقليم الحاد بخطوة واحدة». كل تكرار هو بحث جشع (greedy search). استخدم VGG-16 خمس جولات؛ واستخدم ResNet-50 في أطروحة Han ثلاث جولات. الجانب الأيسر من الشريحة 10 يرسم الحلقة: تدريب بنية الوصلات، ثم تقليم الوصلات، ثم تدريب الأوزان، مع سهم يعود من تدريب الأوزان إلى التقليم.

Why several small cuts beat one big cutلماذا تتفوق عدة قطعات صغيرة على قطعة واحدة كبيرة

A single cut to 90% judges every weight by the magnitude it had in the dense network. But the previous concept showed that retraining changes those magnitudes: the survivors grow and the distribution becomes bimodal. Weights that looked expendable in the dense network may become load-bearing after the first round, and weights that looked important may shrink once their neighbours take over. Iterating lets each cut use the freshest evidence. Frankle and Carbin reach the same conclusion in a different setting: iterative pruning over n rounds, each removing p^(1/n) of what remains, "finds winning tickets that match the accuracy of the original network at smaller sizes than does one-shot pruning". The price, which they also state, is that repeated retraining is expensive.

القطع الواحد إلى 90% يحكم على كل وزن بالقيمة المطلقة التي كانت له في الشبكة الكثيفة. لكن المفهوم السابق بيّن أن إعادة التدريب تغيّر هذه القيم: الأوزان الباقية تكبر والتوزيع يصبح ثنائي القمة. أوزان بدت قابلة للاستغناء في الشبكة الكثيفة قد تصبح حاملة للحمل بعد الجولة الأولى، وأوزان بدت مهمة قد تصغر بعد أن تتولى جاراتها عملها. التكرار يتيح لكل قطع أن يعتمد على أحدث دليل. ويصل Frankle وCarbin إلى الاستنتاج نفسه في سياق مختلف: التقليم التكراري على n جولة، تحذف كل منها p^(1/n) مما تبقى، «يجد تذاكر رابحة (winning tickets) تطابق دقة الشبكة الأصلية بأحجام أصغر مما يجده التقليم دفعة واحدة». والثمن، الذي يذكرانه أيضاً، أن إعادة التدريب المتكررة مكلفة.

Look at AlexNet layer by layer, as the paper's Table 4 does. Its first fully connected layer, fc6, holds 38 M weights but costs only 75 M FLOPs, because each weight is used once per image. Its second convolutional layer, conv2, holds 307 K weights but costs 448 M FLOPs, because each weight is reused at every spatial position. Add the layers up and the network splits into two worlds: the three FC layers hold 58.6 M of the 61 M parameters (96.2%, which the paper rounds to 59 M) but only about 117 M of 1.45 G FLOPs (8%), while the five conv layers hold 2.3 M parameters (3.8%) but 1.33 G FLOPs (92%).

انظر إلى AlexNet طبقة طبقة كما يفعل الجدول 4 في الورقة. طبقته الأولى المتصلة بالكامل، fc6، تحمل 38 M وزن لكنها تكلف 75 M عملية FLOP فقط، لأن كل وزن يُستخدم مرة واحدة لكل صورة. وطبقته الالتفافية الثانية، conv2، تحمل 307 K وزن لكنها تكلف 448 M عملية FLOP، لأن كل وزن يُعاد استخدامه في كل موضع مكاني. اجمع الطبقات فتنقسم الشبكة إلى عالمين: طبقات FC الثلاث تحمل 58.6 M من أصل 61 M معامل (96.2%، وتقرّبها الورقة إلى 59 M) لكنها لا تكلف إلا نحو 117 M من أصل 1.45 G عملية FLOP (8%)، بينما تحمل الطبقات الالتفافية الخمس 2.3 M معامل (3.8%) لكنها تكلف 1.33 G عملية FLOP (92%).

That split explains the table on slide 11 before you read it. Pruning fc6 to 9% deletes 34.6 M parameters but only 68 M FLOPs by weight count (73 M once zero activations are skipped as well, which is how Han counts). Pruning conv2 to 38% deletes only 190 K parameters but 278 M FLOPs by weight count (300 M by Han's count). Parameter reduction is a story about FC layers; MAC reduction is a story about conv layers, and the two are pruned to very different depths.

هذا الانقسام يفسر جدول الشريحة 11 قبل أن تقرأه. تقليم fc6 إلى 9% يحذف 34.6 M معامل لكنه لا يحذف إلا 68 M عملية FLOP بحساب عدد الأوزان (73 M إذا تخطينا التفعيلات الصفرية أيضاً، وهي طريقة Han في العدّ). وتقليم conv2 إلى 38% لا يحذف إلا 190 K معامل لكنه يحذف 278 M عملية FLOP بحساب عدد الأوزان (300 M بطريقة Han). تخفيض المعاملات قصة طبقات FC؛ وتخفيض MAC قصة الطبقات الالتفافية، والنوعان يُقلَّمان إلى أعماق مختلفة جداً.

Why the over-parameterized nets compress moreلماذا تنضغط الشبكات ذات المعاملات الزائدة أكثر

AlexNet and VGG-16 get 9x and 12x; GoogleNet, ResNet-50 and SqueezeNet get about 3.2x to 3.5x. The extra column is the reason. VGG-16's fc6 alone holds 103 M of its 138 M weights, and the paper prunes fc6 and fc7 to 4% of their size while conv layers keep 22% to 58%. GoogleNet has one FC layer of about 1 M in 7 M, ResNet-50 one of about 2 M in 25.5 M, and SqueezeNet has none at all, ending in global average pooling. Han's thesis says it directly: the pruning ratio of GoogleNet is smaller than AlexNet and VGG-16 "because convolutional layers dominate GoogleNet, and convolutional layers are much more efficient than fully connected layers". The three conv-dominated networks land in the same place, about 30% of parameters nonzero (GoogleNet 29%, SqueezeNet 31%, ResNet 29%), which is the 3.4x in the table. Their FC rows, where Neuron pruning would delete whole rows of a weight matrix, are too small to matter.

يحصل AlexNet وVGG-16 على 9x و12x؛ بينما يحصل GoogleNet وResNet-50 وSqueezeNet على نحو 3.2x إلى 3.5x. العمود الإضافي هو السبب. طبقة fc6 في VGG-16 وحدها تحمل 103 M من أصل 138 M وزن، والورقة تقلّم fc6 وfc7 إلى 4% من حجمهما بينما تحتفظ الطبقات الالتفافية بما بين 22% و58%. أما GoogleNet فله طبقة FC واحدة بنحو 1 M من أصل 7 M، وResNet-50 طبقة واحدة بنحو 2 M من أصل 25.5 M، وSqueezeNet ليس فيه أي طبقة FC، إذ ينتهي بـ global average pooling. وأطروحة Han تقولها صراحة: نسبة تقليم GoogleNet أصغر من AlexNet وVGG-16 «لأن الطبقات الالتفافية تهيمن على GoogleNet، والطبقات الالتفافية أكفأ بكثير من الطبقات المتصلة بالكامل». الشبكات الثلاث التي تهيمن عليها الطبقات الالتفافية تنتهي في المكان نفسه، نحو 30% من المعاملات غير صفرية (GoogleNet 29%، وSqueezeNet 31%، وResNet 29%)، وهذا هو الـ 3.4x في الجدول. أما صفوف طبقات FC فيها، حيث يحذف Neuron pruning صفوفاً كاملة من مصفوفة الأوزان، فهي أصغر من أن تُحدث فرقاً.

Why MAC reduction is not parameter reductionلماذا لا يساوي تخفيض MAC تخفيض المعاملات

Two mechanisms separate the two columns. The first is the split above: parameters concentrate in FC layers, which are pruned hardest, and MACs concentrate in conv layers, which are pruned least. That is how AlexNet gets 9x on parameters but 3x on MACs, and VGG-16 12x against 5x. The second is how Han counts. A multiply-accumulate is only counted as saved when it is really skipped, and it is skipped when either the weight or the input activation is zero. ReLU produces plenty of zero activations, so the FLOP column in Table 4 is roughly the weight density times the density of the layer's input activations.

آليتان تفصلان العمودين. الأولى هي الانقسام المذكور أعلاه: المعاملات تتركز في طبقات FC، وهي التي تُقلَّم بأشد قدر، وعمليات MAC تتركز في الطبقات الالتفافية، وهي التي تُقلَّم بأقل قدر. وهكذا يحصل AlexNet على 9x في المعاملات لكن 3x فقط في عمليات MAC، ويحصل VGG-16 على 12x مقابل 5x. والثانية هي طريقة Han في العدّ. لا تُحسب عملية الضرب والجمع التراكمي (multiply-accumulate) موفَّرة إلا إذا تُخطّيت فعلاً، وهي تُتخطى عندما يكون الوزن أو تفعيل المدخل صفراً. ودالة ReLU تنتج كثيراً من zero activations (التفعيلات الصفرية)، لذلك فعمود FLOP في الجدول 4 يساوي تقريباً كثافة الأوزان مضروبة في كثافة تفعيلات مدخل الطبقة.

Even where MACs barely fall, the parameter count is worth cutting. A 6.7 M parameter AlexNet fits in on-chip SRAM, and the paper's point from Part 01 stands: at 640 pJ per DRAM access, the energy of fetching weights dominates the energy of multiplying them.

حتى حيث تكاد عمليات MAC لا تنخفض، يستحق عدد المعاملات أن يُخفَّض. نموذج AlexNet بـ 6.7 M معامل يتسع في ذاكرة SRAM على الشريحة، وتبقى فكرة الورقة من الجزء 01 قائمة: عند 640 pJ لكل وصول إلى DRAM، فإن energy of fetching weights (طاقة جلب الأوزان) تطغى على طاقة ضربها.

Everything so far was an image classifier with a huge fully connected tail. NeuralTalk, Karpathy and Fei-Fei's image captioner, is a different animal: a CNN feature extractor feeding an LSTM that writes a sentence one word at a time. Han froze the CNN, pruned every LSTM weight matrix except the word-embedding table to 10% nonzeros, retrained with the original weight decay and batch size, and measured BLEU-1 to BLEU-4 on Flickr-8K. The thesis reports: "Not until pruning away 90% of the parameters does the BLEU score begin to drop sharply."

كل ما سبق كان مصنّفات صور بذيل ضخم من الطبقات المتصلة بالكامل. أما NeuralTalk، مولّد الأوصاف النصية للصور الذي بناه Karpathy وFei-Fei، فهو كائن مختلف: مستخرج سمات من نوع CNN يغذي شبكة LSTM تكتب جملة كلمةً كلمة. جمّد Han شبكة CNN، وقلّم كل مصفوفات أوزان LSTM ما عدا جدول تضمين الكلمات (word embedding) إلى 10% من القيم غير الصفرية، وأعاد التدريب بمعامل اضمحلال الأوزان (weight decay) وحجم الدفعة الأصليين، وقاس BLEU-1 إلى BLEU-4 على Flickr-8K. تقول الأطروحة: «لا تبدأ درجة BLEU في الانخفاض الحاد إلا بعد تقليم 90% من المعاملات».

The recipe did not change. Train, cut the small weights, retrain the survivors: the same three steps, the same knee near 90%, and the same dependence on Fine-tuning, which the thesis says "plays a very important role" when it compares the retrained curve with the one that skips retraining. Slide 12 shows the qualitative check that a BLEU number cannot: the captions themselves.

الوصفة لم تتغير. درّب، اقطع الأوزان الصغيرة، أعد تدريب الباقي: الخطوات الثلاث نفسها، والانحناءة نفسها قرب 90%، والاعتماد نفسه على Fine-tuning، الذي تقول الأطروحة إنه «يؤدي دوراً مهماً جداً» حين تقارن المنحنى المعاد تدريبه بالمنحنى الذي يتخطى إعادة التدريب. وتعرض الشريحة 12 التحقق النوعي الذي لا يستطيعه رقم BLEU: الأوصاف نفسها.

At 90% the pruned model "sometimes produces the same caption, sometimes produces a different word to describe the same thing", and sometimes describes the scene differently but still correctly. Replacing "ball" with "basketball" is arguably an improvement. The fourth image is the warning. At 95% pruned, a 20x model, the sentence starts to stutter: "a red shirt and black and white black shirt" repeats a phrase and loses the word "soccer". That is what crossing the knee of the Pruning ratio curve looks like in a language model: not silence, but drift.

عند 90% فإن النموذج المقلّم «يُنتج أحياناً الوصف نفسه، وأحياناً كلمة مختلفة لوصف الشيء نفسه»، وأحياناً يصف المشهد بطريقة مختلفة لكنها تبقى صحيحة. واستبدال «ball» بـ «basketball» يمكن اعتباره تحسناً. الصورة الرابعة هي التحذير. عند تقليم 95%، أي نموذج أصغر بـ 20x، تبدأ الجملة في التلعثم: «a red shirt and black and white black shirt» تكرر عبارة وتفقد كلمة «soccer». هذا هو شكل تجاوز انحناءة منحنى Pruning ratio في نموذج لغوي: ليس صمتاً، بل انحرافاً.

Take fc6 of AlexNet pruned to 9% and run it with an ordinary dense matrix kernel on a GPU. The kernel does not know the zeros are zeros. It multiplies all 38 M weight-activation pairs, 34.6 M of them by zero, and finishes in exactly the time the dense layer took. Nine times fewer parameters, zero speedup. The reduction table of two concepts ago counted what could be skipped; it did not promise that anything would be. Skipping needs either a custom engine that understands sparse formats or a sparsity pattern that commodity hardware is built for. Slide 13 shows both.

خذ fc6 من AlexNet بعد تقليمها إلى 9% وشغّلها بنواة ضرب مصفوفات كثيفة عادية (dense kernel) على GPU. النواة لا تعرف أن الأصفار أصفار. فهي تضرب كل أزواج الوزن والتفعيل البالغة 38 M، منها 34.6 M مضروبة في صفر، وتنتهي في الزمن نفسه تماماً الذي استغرقته الطبقة الكثيفة. معاملات أقل بتسع مرات، وتسريع صفري. جدول التخفيض قبل مفهومين عدّ ما يمكن تخطيه؛ لم يعد بأن شيئاً سيُتخطى فعلاً. والتخطي يحتاج إما محركاً مخصصاً يفهم الصيغ المتفرقة، وإما نمط ندرة صُمم العتاد التجاري الشائع من أجله. والشريحة 13 تعرض الاثنين.

The commodity route: NVIDIA A100 and 2:4الطريق التجاري: NVIDIA A100 ونمط 2:4

The Ampere whitepaper defines 2:4 sparsity as a structure "that allows two non-zero values in every four-entry vector". Every group of four contiguous weights along a row keeps at most two, so the matrix is exactly half zeros, stored as the nonzero values plus a 2-bit index per survivor. That compression cuts storage and bandwidth "by almost 2x", and the Sparse Tensor Core has a matrix multiply instruction that reads the indices, gathers only the matching activations, and finishes a tile in N/2 cycles instead of N: "a 2x speedup". This is the special case N = 2, M = 4 of N:M sparsity.

تعرّف الورقة البيضاء لمعمارية Ampere 2:4 sparsity بأنها بنية «تسمح بقيمتين غير صفريتين في كل متجه من أربعة عناصر». كل مجموعة من أربعة أوزان متجاورة على طول الصف تحتفظ بوزنين على الأكثر، فتكون المصفوفة نصفها أصفار بالضبط، وتُخزَّن على شكل القيم غير الصفرية مع 2-bit index (فهرس من بتّين) لكل وزن باقٍ. هذا الضغط يخفض التخزين وعرض النطاق «بما يقارب 2x»، ولدى Sparse Tensor Core تعليمة ضرب مصفوفات تقرأ الفهارس، وتجمع التفعيلات المطابقة فقط، وتُنهي البلاطة (tile) في N/2 دورة بدلاً من N: «تسريع 2x». هذه هي الحالة الخاصة N = 2, M = 4 من N:M sparsity.

How does a model get into that pattern? The whitepaper's recipe is the pipeline of this part with one constraint added: the network is "first trained using dense weights, then fine-grained structured pruning is applied, and finally the remaining non-zero weights are fine-tuned". NVIDIA's developer blog reports BERT-Large keeping its SQuAD F1 of 91.9 dense and sparse. The magnitude criterion, the mask and the retraining are all Han's; the only change is that the two smallest of every four are cut instead of the smallest 50% of the layer.

كيف يصل النموذج إلى هذا النمط؟ وصفة الورقة البيضاء هي مسار هذا الجزء مع قيد واحد إضافي: الشبكة «تُدرَّب أولاً بأوزان كثيفة، ثم يُطبَّق تقليم منظم دقيق الحبيبات (fine-grained structured pruning)، وأخيراً تخضع الأوزان غير الصفرية الباقية للضبط الدقيق». وتذكر مدونة المطورين في NVIDIA أن BERT-Large يحافظ على درجة SQuAD F1 البالغة 91.9 في النسختين الكثيفة والمتفرقة. معيار القيمة المطلقة والقناع وإعادة التدريب كلها من Han؛ والتغيير الوحيد أنك تقطع أصغر وزنين من كل أربعة بدلاً من أصغر 50% من الطبقة.

The gap between 2x and 1.5x is the gap between a peak instruction rate and a whole layer. The whitepaper says "up to 2x". NVIDIA's cuSPARSELt measurements on BERT-Large GEMM layers on an A100 give 1.3x for the projection, 1.4x for QKV and FC1, and 1.6x for FC2 over dense cuBLAS, because memory traffic for activations, the non-GEMM parts of the layer and kernel launch costs do not halve. The slide's "1.5X measured BERT speedup" is Han's summary of those numbers. Treat 1.5x as the realistic middle and 2x as the ceiling.

الفجوة بين 2x و1.5x هي الفجوة بين معدل تعليمة في الذروة وطبقة كاملة. الورقة البيضاء تقول «حتى 2x». وقياسات NVIDIA باستخدام cuSPARSELt على طبقات GEMM في BERT-Large على A100 تعطي 1.3x لطبقة الإسقاط (projection)، و1.4x لـ QKV وFC1، و1.6x لـ FC2 مقارنة بـ cuBLAS الكثيف، لأن حركة الذاكرة الخاصة بالتفعيلات والأجزاء غير المتعلقة بـ GEMM في الطبقة وتكاليف إطلاق النوى لا تنخفض إلى النصف. وعبارة الشريحة «1.5X measured BERT speedup» هي تلخيص Han لهذه الأرقام. اعتبر 1.5x القيمة الواقعية في المنتصف و2x السقف.

The custom route: engines built to skip zerosالطريق المخصص: محركات مبنية لتخطي الأصفار

Before 2:4 existed, the way to profit from unstructured sparsity was to build the hardware yourself. The four papers cited on slide 13 are all from Han and his students, and each makes a different thing sparse. EIE, the Efficient Inference Engine, holds the compressed model in on-chip SRAM, so the 640 pJ DRAM access from Part 01 disappears, and it skips both zero weights and the zero activations that ReLU produces, which its authors say "saves another 3x". ESE moves the same idea onto an FPGA for pruned speech-recognition LSTMs, the same recipe the previous concept applied to NeuralTalk. SpArch accelerates multiplying two sparse matrices, and SpAtten prunes tokens and attention heads at run time instead of weights.

قبل ظهور نمط 2:4، كانت طريقة الاستفادة من الندرة غير المنتظمة أن تبني العتاد بنفسك. الأوراق الأربع المذكورة في الشريحة 13 كلها من Han وطلابه، وكل منها يجعل شيئاً مختلفاً متفرقاً. EIE، أي Efficient Inference Engine، يحتفظ بالنموذج المضغوط في ذاكرة SRAM على الشريحة، فيختفي وصول DRAM بتكلفة 640 pJ المذكور في الجزء 01، ويتخطى الأوزان الصفرية وzero activations (التفعيلات الصفرية) التي تنتجها ReLU معاً، وهو ما يقول مؤلفوه إنه «يوفر 3x أخرى». وينقل ESE الفكرة نفسها إلى FPGA لشبكات LSTM المقلّمة الخاصة بالتعرف على الكلام، وهي الوصفة نفسها التي طبقها المفهوم السابق على NeuralTalk. ويسرّع SpArch ضرب مصفوفتين متفرقتين، بينما يقلّم SpAtten الرموز (tokens) ورؤوس الانتباه (attention heads) أثناء التشغيل بدلاً من الأوزان.