Recap: where 04-1 left off, slides 1 to 7

مراجعة: أين توقفت المحاضرة 04-1، الشرائح 1 إلى 7

Pruning is the constrained problem min L(x; W_P) subject to ‖W_P‖₀ ≤ N: keep at most N nonzero weights while keeping the loss as low as possible. Lecture 04-1 answered three of the five questions: the formulation, the granularity (fine-grained, pattern, vector, kernel, channel, from most flexible to most hardware-friendly) and the criterion (magnitude |W| and the others). Example: weights 3, −2, 1, −5 at 50 percent sparsity keep 3 and −5.

التقليم مسألة مقيّدة: min L(x; W_P) بشرط ‖W_P‖₀ ≤ N، أي أبقِ على الأكثر N وزناً غير صفري مع أقل زيادة ممكنة في الخسارة. المحاضرة 04-1 أجابت عن ثلاثة من الأسئلة الخمسة: الصياغة، والـ granularity (من fine-grained إلى pattern وvector وkernel وchannel، من الأكثر مرونة إلى الأنسب للعتاد)، والمعيار (|W| وغيره). مثال: الأوزان 3, −2, 1, −5 عند 50% sparsity يبقى منها 3 و−5.

Lecture 04-2 answers the remaining two: what ratio should each layer get, and how to fine-tune afterwards. This page and the next cover the first.

المحاضرة 04-2 تجيب عن السؤالين الباقيين: ما النسبة التي تأخذها كل طبقة، وكيف نعيد الضبط (fine-tune) بعد ذلك. هذه الصفحة والتي تليها تغطيان السؤال الأول.

Uniform shrink loses to per-layer pruning, slides 8 and 9

التصغير المنتظم يخسر أمام التقليم لكل طبقة، الشريحتان 8 و9

Uniform shrinking scales every layer by the same factor (MobileNet's width multiplier). Channel pruning lets each layer keep a different fraction. On ImageNet with a Pixel 1 phone (AMC, He et al., ECCV 2018) the per-layer version wins at the same latency.

uniform shrinking يصغّر كل طبقة بالعامل نفسه (width multiplier في MobileNet). أما channel pruning فيسمح لكل طبقة بأن تحتفظ بنسبة مختلفة. على ImageNet وهاتف Pixel 1 (AMC، He et al.، ECCV 2018) تفوز النسخة متعددة النسب عند الزمن نفسه.

في الجدول: عند زمن متقارب (72.3 ms مقابل 68.3 ms) تحتفظ النسخة متعددة النسب بـ 2.1 نقطة دقة إضافية، وتقلّ عن الشبكة الكاملة بـ 0.1 نقطة فقط وهي أسرع بنحو 1.8x.

Slide 9 ends with the question this page answers: how should we find ratios for each layer?

تنتهي الشريحة 9 بالسؤال الذي تجيب عنه هذه الصفحة: كيف نجد النسبة المناسبة لكل طبقة؟

Layers differ in sensitivity, slides 10 and 11

الطبقات تختلف في حساسيتها، الشريحتان 10 و11

Some layers are more sensitive (the first layer is the slide's example), some are more redundant. Three reasons the first layer is fragile: it has the fewest weights (VGG-11 L0 is 3 x 3 x 3 x 64 = 1,728 weights, against 73,728 in L1), it sees only 3 input channels (RGB) so there is little redundancy, and every later feature is computed from its output.

بعض الطبقات أكثر حساسية (والطبقة الأولى هي مثال الشريحة)، وبعضها أكثر تكراراً (redundant). ثلاثة أسباب تجعل الطبقة الأولى هشّة: لديها أقل عدد من الأوزان (L0 في VGG-11 هي 3 x 3 x 3 x 64 = 1,728 وزناً، مقابل 73,728 في L1)، وترى 3 قنوات دخل فقط (RGB) فالتكرار فيها قليل، وكل ميزة لاحقة تُحسب من خرجها.

Sensitivity is the whole curve of ΔAcc against r for that layer, not a single number. A steep curve means a sensitive layer; a flat curve means a redundant one.

الحساسية هي المنحنى كاملاً لـ ΔAcc مقابل r لتلك الطبقة، لا رقماً واحداً. المنحنى الحاد يعني طبقة حساسة؛ والمنحنى المسطّح يعني طبقة فيها تكرار.

The sweep, slides 12 to 17

المسح، الشرائح 12 إلى 17

1. Pick a layer L_i in the model. Every other layer stays dense, exactly as trained.

   اختر طبقة L_i من النموذج. كل الطبقات الأخرى تبقى dense كما دُرّبت تماماً.

2. Prune only L_i at r ∈ {0, 0.1, 0.2, ..., 0.9} (or other strides), using magnitude pruning on that one tensor.

   قلّم L_i وحدها عند r ∈ {0, 0.1, 0.2, ..., 0.9} (أو بخطوات أخرى)، باستخدام magnitude pruning على هذا الـ tensor وحده.

3. Observe the accuracy degradation ΔAcc_rⁱ for each ratio by evaluating on the test set. No fine-tuning, no gradient step.

   سجّل تدهور الدقة ΔAcc_rⁱ لكل نسبة بالتقييم على مجموعة الاختبار. لا fine-tuning ولا أي خطوة gradient.

4. Restore L_i and repeat for all layers. Plot every layer's curve on the same axes.

   أعد L_i إلى حالتها وكرر لكل الطبقات. ارسم منحنى كل طبقة على المحاور نفسها.

قيم الدقة (%) مقروءة من الرسم. الطبقة L0 تنهار إلى نحو 32 عند 90%، وL1 تبقى عند نحو 85: النسبة نفسها، وفرق يقارب 53 نقطة. الطبقتان L2 وL4 لهما اللون الأحمر نفسه في وسيلة الإيضاح؛ ترتيب بناء الشرائح يجعل L2 المسطّحة وL4 الحادة.

What the sweep costs

كم يكلف المسح

Each point on each curve is one full evaluation over the test set. The number of evaluations is layers x ratios. CIFAR-10 VGG-11 has 9 weight layers (8 conv plus the classifier), so ten ratios give 90 evaluations, each over 10,000 test images.

كل نقطة على كل منحنى هي تقييم كامل على مجموعة الاختبار. عدد التقييمات هو layers x ratios. نسخة VGG-11 لـ CIFAR-10 فيها 9 طبقات أوزان (8 conv إضافةً إلى المصنّف)، فعشر نسب تعطي 90 تقييماً، كل واحد على 10,000 صورة اختبار.

VGG-11, CIFAR-10
  layers        = 9
  ratios        = 10   (0, 0.1, ..., 0.9)
  evaluations   = 9 x 10 = 90
  forward passes = 90 x 10,000 = 900,000
  (r = 0 is the same dense model for every layer:
   evaluate it once and the count is 9 x 9 + 1 = 82)

50-layer net, ImageNet val (50,000 images)
  evaluations   = 50 x 10 = 500
  forward passes = 500 x 50,000 = 25,000,000

weights left in L0 at r = 0.9:  1,728 x 0.1 = 173
weights left in L5 at r = 0.9:  2,359,296 x 0.1 = 235,930