Why every layer needs its own pruning ratioلماذا تحتاج كل طبقة نسبة تقليم خاصة بها

Start with a measurement, not a principle. Take MobileNet on ImageNet and run it on a Google Pixel 1 CPU with TensorFlow Lite. The dense network scores 70.6% top-1 at 123.3 ms per image. Now shrink it two different ways to roughly half the work. The first way multiplies every layer's width by 0.75, the built-in MobileNet knob. The second way, AMC, lets every layer keep a different fraction of its channels (He et al., ECCV 2018, Table 4). MMACs counts millions of multiply-accumulate operations per image, a hardware-neutral measure of compute; a FLOPs target asks AMC to halve that compute, while a latency target asks it to halve measured time on the phone.

ابدأ بقياس لا بمبدأ. خذ MobileNet على ImageNet وشغّله على معالج Google Pixel 1 CPU باستخدام TensorFlow Lite. الشبكة الكثيفة (dense) تحقق 70.6% في top-1 بزمن 123.3 ms لكل صورة. الآن صغّرها بطريقتين مختلفتين إلى نحو نصف العمل تقريبًا. الطريقة الأولى تضرب عرض كل طبقة في 0.75، وهو المقبض المدمج في MobileNet. الطريقة الثانية، AMC، تسمح لكل طبقة أن تحتفظ بنسبة مختلفة من قنواتها (He et al., ECCV 2018, Table 4). يعدّ MMACs ملايين عمليات الضرب والتجميع (multiply-accumulate) لكل صورة، وهو مقياس للحوسبة لا يرتبط بعتاد معين. هدف FLOPs يطلب من AMC أن يخفض هذه الحوسبة إلى النصف، بينما هدف زمن الاستجابة (latency) يطلب منه أن يخفض الزمن المقاس على الهاتف إلى النصف.

Read the middle two rows against each other. At nearly the same latency, 72.3 ms versus 68.3 ms, the per-layer version keeps 2.1 points more accuracy. Read the first and third rows together and the gap is even more striking: AMC's 68.3 ms model loses only 0.1 points against the full network at 123.3 ms. Slide 9 plots the same story as a chart (AMC Figure 5b), and the values read off it land in one table.

قارن الصفين الأوسطين أحدهما بالآخر. عند زمن استجابة متقارب جدًا، 72.3 ms مقابل 68.3 ms، تحتفظ النسخة ذات النسب الخاصة بكل طبقة بدقة أعلى بمقدار 2.1 points. واقرأ الصفين الأول والثالث معًا تجد الفجوة أوضح: نموذج AMC ذو 68.3 ms يخسر 0.1 points فقط مقارنة بالشبكة الكاملة عند 123.3 ms. الشريحة 9 ترسم القصة نفسها في مخطط (AMC Figure 5b)، والقيم المقروءة منه مجموعة في جدول واحد.

Every AMC point sits above every uniform point. The uniform line on that chart mixes MobileNet's width multiplier with its input-resolution multiplier, which is why it has four points while Table 4 lists two; either knob shrinks every layer by the same factor.

كل نقطة لـ AMC تقع فوق كل نقطة منتظمة. الخط المنتظم في ذلك المخطط يخلط بين مضاعف العرض (width multiplier) في MobileNet ومضاعف دقة الصورة المدخلة (resolution multiplier)، ولهذا فيه أربع نقاط بينما يذكر Table 4 نقطتين فقط. وأيّ المقبضين استخدمت فإنه يصغّر كل طبقة بالمعامل نفسه.

The two stacks of bars on the slide are the whole idea in one picture. Uniform shrinking keeps every layer the same shape, just thinner: MobileNet's width multiplier alpha "thins a network uniformly at each layer" (Howard et al. 2017, section 3.3). Per-layer channel pruning ends with a ragged stack, some layers barely touched and others cut hard, because each layer got its own pruning ratio.

مكدسا الأعمدة في الشريحة يلخصان الفكرة كلها في صورة واحدة. Uniform shrinking (التصغير المنتظم) يُبقي كل طبقة على شكلها نفسه لكن أنحف: مضاعف العرض alpha في MobileNet "يُنحّف الشبكة بانتظام عند كل طبقة" (Howard et al. 2017, section 3.3). أما channel pruning (تقليم القنوات) لكل طبقة فينتهي بمكدس غير متساوٍ، بعض الطبقات بالكاد مُسّت وأخرى قُصّت بشدة، لأن كل طبقة حصلت على pruning ratio (نسبة تقليم) خاصة بها.

Why the ragged stack winsلماذا يفوز المكدس غير المتساوي

Uniform shrinking rests on a hidden assumption: that every layer has the same slack. It does not. Han et al. (NeurIPS 2015, section 5) found that "the first convolutional layer, which interacts with the input image directly, is most sensitive to pruning", and suspected this sensitivity is "due to the input layer having only 3 channels and thus less redundancy than the other convolutional layers". The AMC paper records the standard hand-crafted rule of thumb that grew from such findings, one it then argues is non-optimal because layers are not independent: "prune less parameters in the first layer which extracts low level features and have the least amount of parameters". To see how little the first layer has to give, count the weights of the first six convolution layers of VGG-11 configuration A (Simonyan and Zisserman 2015, Table 1), each a 3 x 3 kernel over its input channels.

يقوم التصغير المنتظم على افتراض خفي: أن لكل طبقة الهامش نفسه من الفائض. وهذا غير صحيح. وجد Han et al. (NeurIPS 2015, section 5) أن "طبقة الالتفاف الأولى، التي تتعامل مع صورة الدخل مباشرة، هي الأكثر حساسية للتقليم"، ورجّحوا أن هذه الحساسية "سببها أن طبقة الدخل فيها 3 قنوات فقط، وبالتالي فائض أقل من طبقات الالتفاف الأخرى". وتسجّل ورقة AMC قاعدة الإبهام اليدوية المعتادة التي نشأت من مثل هذه النتائج، ثم تجادل بأنها غير مثلى لأن الطبقات ليست مستقلة: "قلّم معاملات أقل في الطبقة الأولى التي تستخرج الميزات منخفضة المستوى وفيها أقل عدد من المعاملات". ولترى كم هو قليل ما تستطيع الطبقة الأولى أن تتخلى عنه، عُدّ أوزان أول ست طبقات التفاف في VGG-11 بالتكوين A (Simonyan and Zisserman 2015, Table 1)، وكل منها نواة 3 x 3 على قنوات دخلها.

Prune 90% of L0 and 173 weights are left to describe every edge and colour detector that the rest of the network depends on. Prune 90% of L5 and 235,930 weights remain. A uniform rule takes the same 90% from a 1,728-weight layer and a 2.36-million-weight layer as if both had the same room to spare. This difference in slack is what the lecture calls sensitivity, and the next concept defines it precisely.

قلّم 90% من L0 فيبقى 173 وزنًا فقط لتصف كل كاشفات الحواف والألوان التي تعتمد عليها بقية الشبكة. وقلّم 90% من L5 فيبقى 235,930 وزنًا. القاعدة المنتظمة تأخذ 90% نفسها من طبقة فيها 1,728 وزنًا ومن طبقة فيها 2.36 مليون وزن، كأن لكلتيهما المساحة نفسها للاستغناء. هذا الفرق في الفائض هو ما تسميه المحاضرة sensitivity (الحساسية)، والمفهوم التالي يعرّفه بدقة.

Here is the same experiment on a network you can count by hand. Train VGG-11 on CIFAR-10 until it reaches about 93% test accuracy. Prune 90% of the weights in L0, the first convolution, and touch nothing else: accuracy falls to about 32%, a drop of about 61 points. RestoreL0, prune 90% of L1 instead: accuracy falls only to about 85%, a drop of about 8. Same ratio, roughly eight times the damage.

إليك التجربة نفسها على شبكة تستطيع أن تعدّ أوزانها بيدك. درّب VGG-11 على CIFAR-10 حتى تصل إلى دقة اختبار تقارب 93%. قلّم 90% من الأوزان في L0، أي طبقة الالتفاف الأولى، ولا تلمس شيئًا آخر: تهبط الدقة إلى نحو 32%، أي انخفاض بنحو 61 points. أعد L0 كما كانت، وقلّم 90% من L1 بدلًا منها: تهبط الدقة إلى نحو 85% فقط، أي انخفاض بنحو 8. النسبة نفسها، وضرر أكبر بنحو ثماني مرات.

That difference is what layer sensitivity measures: how much accuracy the network loses when one layer alone is pruned at a given ratio, with every other layer left dense. Write the dense accuracy as Acc_dense and the accuracy after pruning only layer L_i at ratio r as Acc_r^i. The degradation is their difference.

هذا الفرق هو ما تقيسه layer sensitivity (حساسية الطبقة): مقدار الدقة التي تخسرها الشبكة عندما تُقلَّم طبقة واحدة وحدها بنسبة معينة، وتبقى كل الطبقات الأخرى كثيفة. اكتب الدقة الكثيفة على أنها Acc_dense، والدقة بعد تقليم الطبقة L_i وحدها بالنسبة r على أنها Acc_r^i. التدهور هو الفرق بينهما.

Plot Acc_r^i against r and a sensitive layer gives a steep curve while a redundant layer gives a flat one. Slide 10 states the two ends of the spectrum: some layers are more sensitive, the first layer being the usual example, and some are more redundant. The word "usual" matters, because sensitivity is measured, not assumed, and the reasons the first layer tends to top the list are worth spelling out rather than memorizing.

ارسم Acc_r^i مقابل r، فتعطيك الطبقة الحساسة منحنى حادًا، والطبقة ذات الفائض منحنى مسطحًا. تذكر الشريحة 10 طرفي الطيف: بعض الطبقات أكثر حساسية، والطبقة الأولى هي المثال المعتاد، وبعضها أكثر فائضًا (redundant). وكلمة "المعتاد" مهمة، لأن الحساسية تُقاس ولا تُفترض، والأسباب التي تجعل الطبقة الأولى تتصدر القائمة عادةً تستحق أن تُشرح لا أن تُحفظ.

Three reasons the first layer is usually most sensitiveثلاثة أسباب تجعل الطبقة الأولى عادةً هي الأكثر حساسية

1. Fewest parameters. VGG-11's L0 has 1,728 weights against 73,728 in L1 and millions further in (VGG Table 1 arithmetic). Every weight removed from L0 is a larger share of what the layer knows.أقل عدد من المعاملات. في VGG-11 تحتوي L0 على 1,728 وزنًا مقابل 73,728 في L1 وملايين في الطبقات الأعمق (حساب من VGG Table 1). كل وزن يُزال من L0 يمثل حصة أكبر مما تعرفه الطبقة.
2. Only three input channels. The layer sees raw RGB, so there is little redundancy to absorb a loss. This is the explanation Han et al. (2015) give for AlexNet, where the first convolution was the most sensitive layer in their per-layer sweep (Figure 6).ثلاث قنوات دخل فقط. الطبقة ترى RGB الخام، فلا يوجد فائض يُذكر يمتص الخسارة. وهذا هو التفسير الذي يقدمه Han et al. (2015) لشبكة AlexNet، حيث كانت طبقة الالتفاف الأولى هي الأكثر حساسية في مسحهم لكل طبقة (Figure 6).
3. Everything downstream depends on it. Every feature in L1 through the classifier is a function of L0's output, so an error introduced there is inherited by every later layer rather than corrected.كل ما بعدها يعتمد عليها. كل ميزة من L1 حتى المصنّف هي دالة في مخرج L0، لذا فإن أي خطأ يدخل هناك ترثه كل طبقة لاحقة بدلًا من أن يُصحَّح.

If sensitivity is a curve per layer, the procedure to obtain it is fixed by the definition: isolate one layer, vary its ratio, measure, repeat. Slides 12 to 17 build that chart one curve at a time for VGG-11 on CIFAR-10. Here is the procedure as a whole, carried out on L0, then generalized.

إذا كانت الحساسية منحنى لكل طبقة، فإن طريقة الحصول عليه يحددها التعريف نفسه: اعزل طبقة واحدة، وغيّر نسبتها، وقِس، ثم كرّر. الشرائح من 12 إلى 17 تبني ذلك المخطط منحنى بعد منحنى لـ VGG-11 على CIFAR-10. وإليك الإجراء كاملًا، مطبقًا على L0، ثم معمّمًا.

The completed chart on slide 17 is the payoff. Every layer stays close to 93% until about 50% pruning, which tells you that any one layer can lose half its weights while the rest stay dense; whether every layer can lose half at once is a different question, taken up below. Past that point the layers separate. Values below are read off the slide to the nearest point.

المخطط المكتمل في الشريحة 17 هو الحصيلة. تبقى كل طبقة قريبة من 93% حتى تقليم يقارب 50%، وهذا يخبرك أن أي طبقة واحدة يمكنها أن تخسر نصف أوزانها بينما تبقى البقية كثيفة. أما هل تستطيع كل الطبقات أن تخسر النصف في الوقت نفسه فهذا سؤال مختلف نتناوله أدناه. بعد تلك النقطة تتباعد الطبقات. القيم أدناه مقروءة من الشريحة لأقرب نقطة.

Try the sweep yourself. The simulator holds the chart values, lets you pick the layer being pruned and slide its ratio, and reports the accuracy, the drop and how many of that layer's weights are gone. Leave the ratio at 0.9 and switch between L0 and L1 to feel the difference in one click.

جرّب المسح بنفسك. يحتوي المحاكي على قيم المخطط، ويتيح لك اختيار الطبقة التي تُقلَّم وتحريك نسبتها، ويعرض الدقة، والانخفاض، وكم من أوزان تلك الطبقة قد أُزيل. اترك النسبة عند 0.9 وبدّل بين L0 وL1 لتشعر بالفرق بنقرة واحدة.

Why each layer is swept aloneلماذا تُمسح كل طبقة وحدها

Sweeping one layer while the rest stay dense is what makes the curve interpretable. If two layers were pruned together and accuracy fell, the drop could not be attributed to either one. Isolation buys attribution. It also has a price, which the next part turns into a whole discussion: it assumes the damage from pruning several layers adds up. AMC's authors put it bluntly, the single-layer approach "assumes that errors of different pruned layers can be summed up linearly, which does not stand according to our experiments" (He et al. 2018, section 4). Keep that interaction in mind: the sweep tells you which layers are fragile, not what happens when you prune them all at once.

مسح طبقة واحدة بينما تبقى البقية كثيفة هو ما يجعل المنحنى قابلًا للتفسير. لو قُلّمت طبقتان معًا وهبطت الدقة، لما أمكن نسبة الانخفاض إلى أيٍّ منهما. العزل يشتري لك القدرة على نسبة السبب. لكن له ثمن أيضًا، يحوّله الجزء التالي إلى نقاش كامل: فهو يفترض أن الضرر الناتج عن تقليم عدة طبقات يُجمع جمعًا. ويقولها مؤلفو AMC صراحة، فالنهج أحادي الطبقة "يفترض أن أخطاء الطبقات المقلّمة المختلفة يمكن جمعها خطيًا، وهذا لا يصح بحسب تجاربنا" (He et al. 2018, section 4). أبقِ هذا interaction (التفاعل) في ذهنك: المسح يخبرك أي الطبقات هشة، لا ما يحدث حين تقلّمها كلها دفعة واحدة.

What the sweep costsكم يكلّف المسح

No gradient step runs during a sweep, but every point on every curve is one full pass over the evaluation set. The number of evaluations is the number of layers times the number of ratios, and each evaluation is a forward pass over every test image.

لا تُنفَّذ أي خطوة تدرّج (gradient step) أثناء المسح، لكن كل نقطة على كل منحنى هي مرور كامل على مجموعة التقييم. عدد التقييمات هو عدد الطبقات مضروبًا في عدد النسب، وكل تقييم هو مرور أمامي (forward pass) على كل صورة اختبار.

The CIFAR-10 VGG-11 behind this chart has 9 weight layers (8 convolutions plus a 1-layer classifier), so ten ratios mean 90 evaluations over the 10,000-image CIFAR-10 test set, about 900,000 forward passes. One small saving: r = 0 is the same dense model for every layer, so it only needs to be evaluated once. A 50-layer ImageNet network evaluated on the 50,000 ILSVRC validation images (Russakovsky et al. 2015) needs 25 million. The cost is linear in depth, which is tolerable for VGG-11 and painful for deep networks, and it is one of the reasons the automated methods later in this lecture, AMC and NetAdapt, search the ratios instead of sweeping them.

شبكة VGG-11 الخاصة بـ CIFAR-10 وراء هذا المخطط فيها 9 طبقات أوزان (8 طبقات التفاف ومصنّف من 1 طبقة)، لذا فإن عشر نسب تعني 90 تقييمًا على مجموعة اختبار CIFAR-10 ذات 10,000 صورة، أي نحو 900,000 مرور أمامي. وهناك توفير صغير: r = 0 هو النموذج الكثيف نفسه لكل طبقة، فيكفي تقييمه مرة واحدة. أما شبكة ImageNet من 50 طبقة تُقيَّم على صور التحقق ILSVRC البالغة 50,000 (Russakovsky et al. 2015) فتحتاج 25 million. التكلفة خطية في العمق، وهذا مقبول لـ VGG-11 ومؤلم للشبكات العميقة، وهو أحد أسباب أن الطرق المؤتمتة لاحقًا في هذه المحاضرة، AMC وNetAdapt، تبحث عن النسب بدلًا من مسحها.