Pruning ratios, fine-tuning and sparse hardwareنسب التقليم والضبط الدقيق والعتاد المتناثر

Take one layer with 16 weights and suppose the deployment budget allows you to keep only 8 of them. Which eight? That single question is the whole of Pruning. Every answer in lectures 04-1 and 04-2 is a different way of choosing those eight, and every hardware trick at the end of this lecture is a way of profiting from the eight zeros that remain.

خذ طبقة واحدة فيها 16 وزنًا، وافترض أن ميزانية النشر تسمح لك بالاحتفاظ بـ 8 منها فقط. أي ثمانية؟ هذا السؤال الواحد هو كل ما في الـ pruning. كل إجابة في المحاضرتين 04-1 و04-2 هي طريقة مختلفة لاختيار تلك الثمانية، وكل حيلة عتادية في نهاية هذه المحاضرة هي طريقة للاستفادة من الأصفار الثمانية المتبقية.

The general rule states the question as a constrained optimization. Among all weight tensors that have at most N nonzero entries, pick the one that makes the training loss smallest.

القاعدة العامة تصوغ السؤال على أنه مسألة تحسين مقيّدة (constrained optimization): من بين كل موترات الأوزان (weight tensors) التي فيها N قيمة غير صفرية على الأكثر، اختر الموتر الذي يجعل خسارة التدريب (training loss) أصغر ما يمكن.

Read the formula from the inside out. L(x; W_P) asks how badly the network with weights W_P does on the data. The arg min says we want the W_P that makes that number smallest. The constraint says we may only search among tensors whose nonzero count fits the budget. The budget is what connects this formula to the Pruning ratio of the next part: with M weights in the layer and N survivors, the fraction removed is 1 - N / M, so for M = 16 and N = 8 the layer is 50% sparse. The weight count is written M rather than |W|, because |W| below means the element-wise absolute value.

اقرأ الصيغة من الداخل إلى الخارج. L(x; W_P) تسأل: ما مدى سوء أداء الشبكة ذات الأوزان W_P على البيانات؟ والـ arg min تقول إننا نريد W_P التي تجعل هذا الرقم أصغر ما يمكن. والقيد يقول إنه لا يُسمح لنا بالبحث إلا بين الموترات التي يتسع عدد قيمها غير الصفرية ضمن الميزانية. والميزانية هي ما يربط هذه الصيغة بالـ pruning ratio (نسبة التقليم) في الجزء التالي: إذا كان في الطبقة M وزنًا وبقي منها N، فالنسبة المحذوفة هي 1 - N / M، فعند M = 16 وN = 8 تكون الطبقة متناثرة (sparse) بنسبة 50%. نكتب عدد الأوزان M بدلًا من |W| لأن |W| فيما يلي تعني القيمة المطلقة عنصرًا بعنصر.

Why nobody solves this formula directlyلماذا لا يحل أحد هذه الصيغة مباشرة

The formula looks like something you could hand to gradient descent, and that is the trap. The nonzero count is a step function: nudge a weight from 0.30 to 0.31 and the count does not move, set it to exactly zero and the count drops by one. Its gradient is zero almost everywhere and undefined at zero, so no gradient flows through the constraint. Louizos, Welling and Kingma open their ICLR 2018 paper on this exact point: the L0 norm of the weights is non-differentiable, which is why it cannot simply be added to the training objective. Without a gradient, the exact problem is a combinatorial search, choosing which N of the M positions to keep, and for a layer with millions of weights that search is hopeless.

تبدو الصيغة كأنها شيء تستطيع تسليمه إلى خوارزمية الانحدار التدرجي (gradient descent)، وهذا هو الفخ. عدد القيم غير الصفرية دالة درجية (step function): حرّك وزنًا من 0.30 إلى 0.31 ولن يتغير العدد، واجعله صفرًا بالضبط فينقص العدد بواحد. تدرّجها صفر في كل مكان تقريبًا وغير معرّف عند الصفر، لذلك لا يمر أي تدرّج عبر القيد. يفتتح Louizos وWelling وKingma ورقتهم في ICLR 2018 بهذه النقطة بالذات: الـ L0 norm للأوزان غير قابل للاشتقاق، ولهذا لا يمكن ببساطة إضافته إلى هدف التدريب. ومن دون تدرّج تصبح المسألة الدقيقة بحثًا تركيبيًا (combinatorial search)، أي اختيار أي N من المواقع الـ M نحتفظ بها، وفي طبقة فيها ملايين الأوزان يكون هذا البحث ميؤوسًا منه.

The heuristics are not arbitrary. Every one of them is a proxy for the same quantity: how much would L change if this weight were removed. The constraint side of the formula only fixes the budget; the loss side is what actually decides the answer, so the best criterion is the one whose ranking best tracks the change in loss. That is why the slide on selection later in this part says that the less useful the removed neurons are, the better the pruned network performs. Useful means low loss change, nothing else.

هذه المعايير التقريبية ليست عشوائية. كل واحد منها تقريب للكمية نفسها: كم ستتغير L لو حُذف هذا الوزن. جانب القيد في الصيغة يحدد الميزانية فقط، أما جانب الخسارة فهو الذي يحسم الإجابة فعلًا، لذلك أفضل معيار هو الذي يتتبع ترتيبه التغيّر في الخسارة بأدق صورة. ولهذا تقول شريحة الاختيار لاحقًا في هذا الجزء إنه كلما كانت العصبونات المحذوفة أقل فائدة، كان أداء الشبكة بعد التقليم أفضل. وقليل الفائدة يعني تغيّرًا صغيرًا في الخسارة، لا أكثر.

The formulation says nothing about how to find good survivors. Lecture 04-1 gave two practical answers, a shape and a score, and slides 4 to 6 of this deck replay them in the space of one minute. Start with the score on the smallest example that still teaches something: a 2 x 2 weight matrix that must lose half of its entries.

الصياغة لا تقول شيئًا عن كيفية إيجاد الأوزان الجيدة التي تبقى. أعطت المحاضرة 04-1 إجابتين عمليتين: شكلًا ودرجة، والشرائح من 4 إلى 6 في هذا العرض تعيدهما في دقيقة واحدة. ابدأ بالدرجة على أصغر مثال لا يزال يعلّم شيئًا: مصفوفة أوزان 2 x 2 يجب أن تفقد نصف عناصرها.

This is Magnitude-based pruning, and the slide is honest about its status: it is a heuristic criterion. The assumption is that a weight far from zero contributes more to the output, and therefore to the loss, than a weight near zero. Han et al. (NeurIPS 2015) used exactly this threshold rule to produce the 9x and 13x reductions quoted in the first concept, which is strong evidence that the assumption is usually good enough. It is not the only score. Lecture 04-1, part 05, adds scaling factors such as batch-norm gammas for whole channels, and part 06 adds second-order saliency from Optimal Brain Damage, the percentage of zero activations, and regression-based selection. All of them plug into the same three steps: score, sort, keep the top N.

هذا هو الـ magnitude-based pruning، والشريحة صريحة بشأن طبيعته: إنه معيار تقريبي (heuristic). الافتراض أن الوزن البعيد عن الصفر يساهم في المخرجات، وبالتالي في الخسارة، أكثر من الوزن القريب من الصفر. استخدم Han et al. (NeurIPS 2015) قاعدة العتبة هذه بالضبط للوصول إلى التخفيضين 9x و13x المذكورين في المفهوم الأول، وهذا دليل قوي على أن الافتراض جيد بما يكفي في أغلب الأحوال. لكنه ليس الدرجة الوحيدة. تضيف المحاضرة 04-1 في جزئها 05 عوامل القياس (scaling factors) مثل قيم gamma في الـ batch-norm للقنوات الكاملة، ويضيف الجزء 06 أهمية الرتبة الثانية (second-order saliency) من Optimal Brain Damage، ونسبة التنشيطات الصفرية (zero activations)، والاختيار المعتمد على الانحدار (regression). وكلها تدخل في الخطوات الثلاث نفسها: أعطِ درجة، ثم رتّب، ثم احتفظ بأعلى N.

The shape of what is removedشكل ما يُحذف

Scoring weights one at a time and zeroing the smallest gives the pattern the slide calls fine-grained: zeros scattered wherever the small weights happened to be. The pruned network figure on that slide, again from Han et al., shows synapses vanishing at arbitrary positions and whole neurons disappearing once every synapse into them, or every synapse out of them, is gone. Fine-grained removal has the most freedom, since any index may be pruned, and that freedom is what buys it the highest compression ratios. The cost is that the survivors no longer form a dense block. Their positions must be stored as indices, and the hardware needs a sparse kernel that skips the holes. Mao et al. (2017) measured the other end of the trade: coarse-grained pruning reaches a sparsity similar to unstructured pruning without losing accuracy, needs far fewer indices, and saves about 2x the memory references compared with fine-grained sparsity.

إعطاء درجة لكل وزن على حدة وجعل الأصغر صفرًا ينتج النمط الذي تسميه الشريحة fine-grained (دقيق): أصفار متناثرة أينما صادف أن كانت الأوزان الصغيرة. شكل الشبكة بعد التقليم في تلك الشريحة، وهو أيضًا من Han et al.، يُظهر وصلات (synapses) تختفي في مواقع عشوائية، وعصبونات كاملة تختفي بمجرد أن تزول كل الوصلات الداخلة إليها أو كل الوصلات الخارجة منها. الحذف الدقيق يملك أكبر قدر من الحرية، لأن أي فهرس يمكن تقليمه، وهذه الحرية هي التي تمنحه أعلى نسب الضغط. الثمن أن الأوزان الباقية لم تعد تشكّل كتلة كثيفة (dense block). يجب تخزين مواقعها على شكل فهارس (indices)، ويحتاج العتاد إلى نواة حسابية متناثرة (sparse kernel) تتخطى الفراغات. قاس Mao et al. (2017) الطرف الآخر من هذه المقايضة: التقليم الخشن (coarse-grained) يصل إلى sparsity قريبة من التقليم غير المنتظم (unstructured) دون خسارة في الدقة، ويحتاج إلى فهارس أقل بكثير، ويوفّر نحو 2x من مرات الوصول إلى الذاكرة (memory references) مقارنة بالـ sparsity الدقيقة.

That ladder is the Pruning granularity axis, and the two ends pull against each other. Irregular patterns give the criterion freedom and therefore compression; regular patterns give the hardware dense blocks and therefore speed. Every design choice later in this lecture sits somewhere on this axis, and the 2:4 pattern of the tensor-core part is the industry's attempt to sit in both places at once.

هذا السلّم هو محور الـ pruning granularity (درجة تفصيل التقليم)، وطرفاه يتجاذبان في اتجاهين متعاكسين. الأنماط غير المنتظمة تعطي المعيار حرية، وبالتالي ضغطًا أكبر؛ والأنماط المنتظمة تعطي العتاد كتلًا كثيفة، وبالتالي سرعة أكبر. كل قرار تصميمي لاحق في هذه المحاضرة يقع في مكان ما على هذا المحور، ونمط 2:4 في جزء الـ tensor cores هو محاولة الصناعة للوقوف في المكانين معًا.

The coarse end of the ladder deserves one concrete picture, because it explains a sentence that students often quote without understanding: Neuron pruning is coarse-grained weight pruning. Slide 6 draws both cases, the linear layer and the convolution layer, and the same picture in matrix form makes the sentence obvious.

الطرف الخشن من السلّم يستحق صورة واحدة ملموسة، لأنها تشرح جملة يقتبسها الطلاب كثيرًا دون فهم: الـ neuron pruning (تقليم العصبونات) هو تقليم أوزان خشن (coarse-grained). ترسم الشريحة 6 الحالتين، الطبقة الخطية (linear layer) وطبقة الالتفاف (convolution layer)، والصورة نفسها في شكل مصفوفة تجعل هذه الجملة بديهية.

Removing a neuron is removing a rowحذف عصبون هو حذف صف

A linear layer computes y = W x with W of shape out x in. Output neuron i is nothing more than row i of W: its incoming weights are the entries of that row, and its output is that row's dot product with x. Deleting the neuron therefore deletes the whole row at once, which is the white stripe in the slide's weight matrix, and the next layer loses the matching column because that input no longer exists. That is neuron pruning, and it is weight pruning where the removed set is a structured block of in weights chosen together rather than one weight at a time. Lecture 04-1, part 06, first drew this equivalence next to Optimal Brain Damage.

الطبقة الخطية تحسب y = W x حيث شكل W هو out x in. العصبون الخارج i ليس أكثر من الصف i في W: أوزانه الداخلة هي عناصر ذلك الصف، ومخرجه هو حاصل الضرب النقطي لذلك الصف مع x. لذلك فإن حذف العصبون يحذف الصف كله دفعة واحدة، وهو الشريط الأبيض في مصفوفة الأوزان في الشريحة، وتفقد الطبقة التالية العمود المقابل لأن ذلك المدخل لم يعد موجودًا. هذا هو تقليم العصبونات، وهو تقليم أوزان تكون فيه المجموعة المحذوفة كتلة منتظمة من in وزنًا تُختار معًا، لا وزنًا واحدًا في كل مرة. رسمت المحاضرة 04-1، الجزء 06، هذا التكافؤ أول مرة بجانب Optimal Brain Damage.

The convolution version is the same idea one dimension up. A conv layer holds weights of shape C_out x C_in x k x k. Output channel j is produced by filter j, which is the slice of all C_in kernels that feed it. Deleting a channel deletes that entire filter, the two dashed blocks in the slide's stack of six filters and the two white rows of kernels in its weight grid (two of six output channels removed). That is Channel pruning, and its reward is that nothing sparse is left behind: the layer simply has C_out minus the pruned count of channels and runs on the same dense kernels as before.

نسخة الالتفاف هي الفكرة نفسها ببُعد إضافي. طبقة الـ conv تحمل أوزانًا شكلها C_out x C_in x k x k. القناة الخارجة j ينتجها المرشّح j، وهو الشريحة المكوّنة من كل الأنوية (kernels) الـ C_in التي تغذّيها. حذف قناة يحذف ذلك المرشّح بالكامل، وهما الكتلتان المنقّطتان في رزمة المرشّحات الستة في الشريحة، والصفّان الأبيضان من الأنوية في شبكة أوزانها (حُذفت قناتان خارجتان من ست). هذا هو الـ channel pruning، ومكافأته أنه لا يترك خلفه أي شيء متناثر: الطبقة ببساطة يصبح فيها C_out ناقص عدد القنوات المقلّمة، وتعمل على الأنوية الحسابية الكثيفة (dense kernels) نفسها كما كانت من قبل.

Five questions, three answeredخمسة أسئلة، أُجيب عن ثلاثة منها

The outline that opens this deck on slide 2, and returns on slide 7 to close this part, lists five questions, and the same outline appeared three times in lecture 04-1. It is the map of both lectures, so it is worth knowing where each question was answered. The formulation above answers the first. Granularity, the pattern of removal, was answered in 04-1. Criterion, the score used to rank weights, was also answered in 04-1. What remains open is how many weights each layer should lose, and how to recover the accuracy once they are gone.

المخطط الذي يفتتح هذا العرض في الشريحة 2، ويعود في الشريحة 7 ليختم هذا الجزء، يسرد خمسة أسئلة، وقد ظهر المخطط نفسه ثلاث مرات في المحاضرة 04-1. إنه خريطة المحاضرتين، لذلك يستحق أن تعرف أين أُجيب عن كل سؤال. الصياغة أعلاه تجيب عن السؤال الأول. ودرجة التفصيل (granularity)، أي نمط الحذف، أُجيب عنها في 04-1. والمعيار (criterion)، أي الدرجة المستخدمة لترتيب الأوزان، أُجيب عنه أيضًا في 04-1. ما بقي مفتوحًا هو كم وزنًا يجب أن تفقد كل طبقة، وكيف نستعيد الدقة بعد حذفها.

On slide 2 both open questions, ratio and fine-tuning, are highlighted in yellow. On slide 7, which closes this part, ratio turns green while fine-tuning stays yellow: ratio is being opened now, fine-tuning is still queued. The outline also under-sells the deck. After the five questions, parts 07 onward add a story the list never mentions, how EIE, 2:4 sparse tensor cores and sparse convolution engines turn the zeros produced by pruning into real speed and energy savings on hardware.

في الشريحة 2 يظهر السؤالان المفتوحان، النسبة (ratio) وإعادة الضبط (fine-tuning)، مظللين بالأصفر. وفي الشريحة 7، التي تختم هذا الجزء، تتحول النسبة إلى الأخضر بينما يبقى الـ fine-tuning أصفر: النسبة تُفتح الآن، والـ fine-tuning لا يزال في الانتظار. والمخطط أيضًا لا يعطي العرض حقه. فبعد الأسئلة الخمسة، تضيف الأجزاء من 07 فصاعدًا قصة لا تذكرها القائمة أبدًا: كيف تحوّل EIE وtensor cores المتناثرة بنمط 2:4 ومحركات الالتفاف المتناثر (sparse convolution engines) الأصفار الناتجة عن التقليم إلى سرعة حقيقية وتوفير فعلي في الطاقة على العتاد.

Start with a measurement, not a principle. Take MobileNet on ImageNet and run it on a Google Pixel 1 CPU with TensorFlow Lite. The dense network scores 70.6% top-1 at 123.3 ms per image. Now shrink it two different ways to roughly half the work. The first way multiplies every layer's width by 0.75, the built-in MobileNet knob. The second way, AMC, lets every layer keep a different fraction of its channels (He et al., ECCV 2018, Table 4). MMACs counts millions of multiply-accumulate operations per image, a hardware-neutral measure of compute; a FLOPs target asks AMC to halve that compute, while a latency target asks it to halve measured time on the phone.

ابدأ بقياس لا بمبدأ. خذ MobileNet على ImageNet وشغّله على معالج Google Pixel 1 CPU باستخدام TensorFlow Lite. الشبكة الكثيفة (dense) تحقق 70.6% في top-1 بزمن 123.3 ms لكل صورة. الآن صغّرها بطريقتين مختلفتين إلى نحو نصف العمل تقريبًا. الطريقة الأولى تضرب عرض كل طبقة في 0.75، وهو المقبض المدمج في MobileNet. الطريقة الثانية، AMC، تسمح لكل طبقة أن تحتفظ بنسبة مختلفة من قنواتها (He et al., ECCV 2018, Table 4). يعدّ MMACs ملايين عمليات الضرب والتجميع (multiply-accumulate) لكل صورة، وهو مقياس للحوسبة لا يرتبط بعتاد معين. هدف FLOPs يطلب من AMC أن يخفض هذه الحوسبة إلى النصف، بينما هدف زمن الاستجابة (latency) يطلب منه أن يخفض الزمن المقاس على الهاتف إلى النصف.

Read the middle two rows against each other. At nearly the same latency, 72.3 ms versus 68.3 ms, the per-layer version keeps 2.1 points more accuracy. Read the first and third rows together and the gap is even more striking: AMC's 68.3 ms model loses only 0.1 points against the full network at 123.3 ms. Slide 9 plots the same story as a chart (AMC Figure 5b), and the values read off it land in one table.

قارن الصفين الأوسطين أحدهما بالآخر. عند زمن استجابة متقارب جدًا، 72.3 ms مقابل 68.3 ms، تحتفظ النسخة ذات النسب الخاصة بكل طبقة بدقة أعلى بمقدار 2.1 points. واقرأ الصفين الأول والثالث معًا تجد الفجوة أوضح: نموذج AMC ذو 68.3 ms يخسر 0.1 points فقط مقارنة بالشبكة الكاملة عند 123.3 ms. الشريحة 9 ترسم القصة نفسها في مخطط (AMC Figure 5b)، والقيم المقروءة منه مجموعة في جدول واحد.

Every AMC point sits above every uniform point. The uniform line on that chart mixes MobileNet's width multiplier with its input-resolution multiplier, which is why it has four points while Table 4 lists two; either knob shrinks every layer by the same factor.

كل نقطة لـ AMC تقع فوق كل نقطة منتظمة. الخط المنتظم في ذلك المخطط يخلط بين مضاعف العرض (width multiplier) في MobileNet ومضاعف دقة الصورة المدخلة (resolution multiplier)، ولهذا فيه أربع نقاط بينما يذكر Table 4 نقطتين فقط. وأيّ المقبضين استخدمت فإنه يصغّر كل طبقة بالمعامل نفسه.

The two stacks of bars on the slide are the whole idea in one picture. Uniform shrinking keeps every layer the same shape, just thinner: MobileNet's width multiplier alpha "thins a network uniformly at each layer" (Howard et al. 2017, section 3.3). Per-layer channel pruning ends with a ragged stack, some layers barely touched and others cut hard, because each layer got its own pruning ratio.

مكدسا الأعمدة في الشريحة يلخصان الفكرة كلها في صورة واحدة. Uniform shrinking (التصغير المنتظم) يُبقي كل طبقة على شكلها نفسه لكن أنحف: مضاعف العرض alpha في MobileNet "يُنحّف الشبكة بانتظام عند كل طبقة" (Howard et al. 2017, section 3.3). أما channel pruning (تقليم القنوات) لكل طبقة فينتهي بمكدس غير متساوٍ، بعض الطبقات بالكاد مُسّت وأخرى قُصّت بشدة، لأن كل طبقة حصلت على pruning ratio (نسبة تقليم) خاصة بها.

Why the ragged stack winsلماذا يفوز المكدس غير المتساوي

Uniform shrinking rests on a hidden assumption: that every layer has the same slack. It does not. Han et al. (NeurIPS 2015, section 5) found that "the first convolutional layer, which interacts with the input image directly, is most sensitive to pruning", and suspected this sensitivity is "due to the input layer having only 3 channels and thus less redundancy than the other convolutional layers". The AMC paper records the standard hand-crafted rule of thumb that grew from such findings, one it then argues is non-optimal because layers are not independent: "prune less parameters in the first layer which extracts low level features and have the least amount of parameters". To see how little the first layer has to give, count the weights of the first six convolution layers of VGG-11 configuration A (Simonyan and Zisserman 2015, Table 1), each a 3 x 3 kernel over its input channels.

يقوم التصغير المنتظم على افتراض خفي: أن لكل طبقة الهامش نفسه من الفائض. وهذا غير صحيح. وجد Han et al. (NeurIPS 2015, section 5) أن "طبقة الالتفاف الأولى، التي تتعامل مع صورة الدخل مباشرة، هي الأكثر حساسية للتقليم"، ورجّحوا أن هذه الحساسية "سببها أن طبقة الدخل فيها 3 قنوات فقط، وبالتالي فائض أقل من طبقات الالتفاف الأخرى". وتسجّل ورقة AMC قاعدة الإبهام اليدوية المعتادة التي نشأت من مثل هذه النتائج، ثم تجادل بأنها غير مثلى لأن الطبقات ليست مستقلة: "قلّم معاملات أقل في الطبقة الأولى التي تستخرج الميزات منخفضة المستوى وفيها أقل عدد من المعاملات". ولترى كم هو قليل ما تستطيع الطبقة الأولى أن تتخلى عنه، عُدّ أوزان أول ست طبقات التفاف في VGG-11 بالتكوين A (Simonyan and Zisserman 2015, Table 1)، وكل منها نواة 3 x 3 على قنوات دخلها.

Prune 90% of L0 and 173 weights are left to describe every edge and colour detector that the rest of the network depends on. Prune 90% of L5 and 235,930 weights remain. A uniform rule takes the same 90% from a 1,728-weight layer and a 2.36-million-weight layer as if both had the same room to spare. This difference in slack is what the lecture calls sensitivity, and the next concept defines it precisely.

قلّم 90% من L0 فيبقى 173 وزنًا فقط لتصف كل كاشفات الحواف والألوان التي تعتمد عليها بقية الشبكة. وقلّم 90% من L5 فيبقى 235,930 وزنًا. القاعدة المنتظمة تأخذ 90% نفسها من طبقة فيها 1,728 وزنًا ومن طبقة فيها 2.36 مليون وزن، كأن لكلتيهما المساحة نفسها للاستغناء. هذا الفرق في الفائض هو ما تسميه المحاضرة sensitivity (الحساسية)، والمفهوم التالي يعرّفه بدقة.

Here is the same experiment on a network you can count by hand. Train VGG-11 on CIFAR-10 until it reaches about 93% test accuracy. Prune 90% of the weights in L0, the first convolution, and touch nothing else: accuracy falls to about 32%, a drop of about 61 points. RestoreL0, prune 90% of L1 instead: accuracy falls only to about 85%, a drop of about 8. Same ratio, roughly eight times the damage.

إليك التجربة نفسها على شبكة تستطيع أن تعدّ أوزانها بيدك. درّب VGG-11 على CIFAR-10 حتى تصل إلى دقة اختبار تقارب 93%. قلّم 90% من الأوزان في L0، أي طبقة الالتفاف الأولى، ولا تلمس شيئًا آخر: تهبط الدقة إلى نحو 32%، أي انخفاض بنحو 61 points. أعد L0 كما كانت، وقلّم 90% من L1 بدلًا منها: تهبط الدقة إلى نحو 85% فقط، أي انخفاض بنحو 8. النسبة نفسها، وضرر أكبر بنحو ثماني مرات.

That difference is what layer sensitivity measures: how much accuracy the network loses when one layer alone is pruned at a given ratio, with every other layer left dense. Write the dense accuracy as Acc_dense and the accuracy after pruning only layer L_i at ratio r as Acc_r^i. The degradation is their difference.

هذا الفرق هو ما تقيسه layer sensitivity (حساسية الطبقة): مقدار الدقة التي تخسرها الشبكة عندما تُقلَّم طبقة واحدة وحدها بنسبة معينة، وتبقى كل الطبقات الأخرى كثيفة. اكتب الدقة الكثيفة على أنها Acc_dense، والدقة بعد تقليم الطبقة L_i وحدها بالنسبة r على أنها Acc_r^i. التدهور هو الفرق بينهما.

Plot Acc_r^i against r and a sensitive layer gives a steep curve while a redundant layer gives a flat one. Slide 10 states the two ends of the spectrum: some layers are more sensitive, the first layer being the usual example, and some are more redundant. The word "usual" matters, because sensitivity is measured, not assumed, and the reasons the first layer tends to top the list are worth spelling out rather than memorizing.

ارسم Acc_r^i مقابل r، فتعطيك الطبقة الحساسة منحنى حادًا، والطبقة ذات الفائض منحنى مسطحًا. تذكر الشريحة 10 طرفي الطيف: بعض الطبقات أكثر حساسية، والطبقة الأولى هي المثال المعتاد، وبعضها أكثر فائضًا (redundant). وكلمة "المعتاد" مهمة، لأن الحساسية تُقاس ولا تُفترض، والأسباب التي تجعل الطبقة الأولى تتصدر القائمة عادةً تستحق أن تُشرح لا أن تُحفظ.

Three reasons the first layer is usually most sensitiveثلاثة أسباب تجعل الطبقة الأولى عادةً هي الأكثر حساسية

1. Fewest parameters. VGG-11's L0 has 1,728 weights against 73,728 in L1 and millions further in (VGG Table 1 arithmetic). Every weight removed from L0 is a larger share of what the layer knows.أقل عدد من المعاملات. في VGG-11 تحتوي L0 على 1,728 وزنًا مقابل 73,728 في L1 وملايين في الطبقات الأعمق (حساب من VGG Table 1). كل وزن يُزال من L0 يمثل حصة أكبر مما تعرفه الطبقة.
2. Only three input channels. The layer sees raw RGB, so there is little redundancy to absorb a loss. This is the explanation Han et al. (2015) give for AlexNet, where the first convolution was the most sensitive layer in their per-layer sweep (Figure 6).ثلاث قنوات دخل فقط. الطبقة ترى RGB الخام، فلا يوجد فائض يُذكر يمتص الخسارة. وهذا هو التفسير الذي يقدمه Han et al. (2015) لشبكة AlexNet، حيث كانت طبقة الالتفاف الأولى هي الأكثر حساسية في مسحهم لكل طبقة (Figure 6).
3. Everything downstream depends on it. Every feature in L1 through the classifier is a function of L0's output, so an error introduced there is inherited by every later layer rather than corrected.كل ما بعدها يعتمد عليها. كل ميزة من L1 حتى المصنّف هي دالة في مخرج L0، لذا فإن أي خطأ يدخل هناك ترثه كل طبقة لاحقة بدلًا من أن يُصحَّح.

If sensitivity is a curve per layer, the procedure to obtain it is fixed by the definition: isolate one layer, vary its ratio, measure, repeat. Slides 12 to 17 build that chart one curve at a time for VGG-11 on CIFAR-10. Here is the procedure as a whole, carried out on L0, then generalized.

إذا كانت الحساسية منحنى لكل طبقة، فإن طريقة الحصول عليه يحددها التعريف نفسه: اعزل طبقة واحدة، وغيّر نسبتها، وقِس، ثم كرّر. الشرائح من 12 إلى 17 تبني ذلك المخطط منحنى بعد منحنى لـ VGG-11 على CIFAR-10. وإليك الإجراء كاملًا، مطبقًا على L0، ثم معمّمًا.

The completed chart on slide 17 is the payoff. Every layer stays close to 93% until about 50% pruning, which tells you that any one layer can lose half its weights while the rest stay dense; whether every layer can lose half at once is a different question, taken up below. Past that point the layers separate. Values below are read off the slide to the nearest point.

المخطط المكتمل في الشريحة 17 هو الحصيلة. تبقى كل طبقة قريبة من 93% حتى تقليم يقارب 50%، وهذا يخبرك أن أي طبقة واحدة يمكنها أن تخسر نصف أوزانها بينما تبقى البقية كثيفة. أما هل تستطيع كل الطبقات أن تخسر النصف في الوقت نفسه فهذا سؤال مختلف نتناوله أدناه. بعد تلك النقطة تتباعد الطبقات. القيم أدناه مقروءة من الشريحة لأقرب نقطة.

Try the sweep yourself. The simulator holds the chart values, lets you pick the layer being pruned and slide its ratio, and reports the accuracy, the drop and how many of that layer's weights are gone. Leave the ratio at 0.9 and switch between L0 and L1 to feel the difference in one click.

جرّب المسح بنفسك. يحتوي المحاكي على قيم المخطط، ويتيح لك اختيار الطبقة التي تُقلَّم وتحريك نسبتها، ويعرض الدقة، والانخفاض، وكم من أوزان تلك الطبقة قد أُزيل. اترك النسبة عند 0.9 وبدّل بين L0 وL1 لتشعر بالفرق بنقرة واحدة.

Why each layer is swept aloneلماذا تُمسح كل طبقة وحدها

Sweeping one layer while the rest stay dense is what makes the curve interpretable. If two layers were pruned together and accuracy fell, the drop could not be attributed to either one. Isolation buys attribution. It also has a price, which the next part turns into a whole discussion: it assumes the damage from pruning several layers adds up. AMC's authors put it bluntly, the single-layer approach "assumes that errors of different pruned layers can be summed up linearly, which does not stand according to our experiments" (He et al. 2018, section 4). Keep that interaction in mind: the sweep tells you which layers are fragile, not what happens when you prune them all at once.

مسح طبقة واحدة بينما تبقى البقية كثيفة هو ما يجعل المنحنى قابلًا للتفسير. لو قُلّمت طبقتان معًا وهبطت الدقة، لما أمكن نسبة الانخفاض إلى أيٍّ منهما. العزل يشتري لك القدرة على نسبة السبب. لكن له ثمن أيضًا، يحوّله الجزء التالي إلى نقاش كامل: فهو يفترض أن الضرر الناتج عن تقليم عدة طبقات يُجمع جمعًا. ويقولها مؤلفو AMC صراحة، فالنهج أحادي الطبقة "يفترض أن أخطاء الطبقات المقلّمة المختلفة يمكن جمعها خطيًا، وهذا لا يصح بحسب تجاربنا" (He et al. 2018, section 4). أبقِ هذا interaction (التفاعل) في ذهنك: المسح يخبرك أي الطبقات هشة، لا ما يحدث حين تقلّمها كلها دفعة واحدة.

What the sweep costsكم يكلّف المسح

No gradient step runs during a sweep, but every point on every curve is one full pass over the evaluation set. The number of evaluations is the number of layers times the number of ratios, and each evaluation is a forward pass over every test image.

لا تُنفَّذ أي خطوة تدرّج (gradient step) أثناء المسح، لكن كل نقطة على كل منحنى هي مرور كامل على مجموعة التقييم. عدد التقييمات هو عدد الطبقات مضروبًا في عدد النسب، وكل تقييم هو مرور أمامي (forward pass) على كل صورة اختبار.

The CIFAR-10 VGG-11 behind this chart has 9 weight layers (8 convolutions plus a 1-layer classifier), so ten ratios mean 90 evaluations over the 10,000-image CIFAR-10 test set, about 900,000 forward passes. One small saving: r = 0 is the same dense model for every layer, so it only needs to be evaluated once. A 50-layer ImageNet network evaluated on the 50,000 ILSVRC validation images (Russakovsky et al. 2015) needs 25 million. The cost is linear in depth, which is tolerable for VGG-11 and painful for deep networks, and it is one of the reasons the automated methods later in this lecture, AMC and NetAdapt, search the ratios instead of sweeping them.

شبكة VGG-11 الخاصة بـ CIFAR-10 وراء هذا المخطط فيها 9 طبقات أوزان (8 طبقات التفاف ومصنّف من 1 طبقة)، لذا فإن عشر نسب تعني 90 تقييمًا على مجموعة اختبار CIFAR-10 ذات 10,000 صورة، أي نحو 900,000 مرور أمامي. وهناك توفير صغير: r = 0 هو النموذج الكثيف نفسه لكل طبقة، فيكفي تقييمه مرة واحدة. أما شبكة ImageNet من 50 طبقة تُقيَّم على صور التحقق ILSVRC البالغة 50,000 (Russakovsky et al. 2015) فتحتاج 25 million. التكلفة خطية في العمق، وهذا مقبول لـ VGG-11 ومؤلم للشبكات العميقة، وهو أحد أسباب أن الطرق المؤتمتة لاحقًا في هذه المحاضرة، AMC وNetAdapt، تبحث عن النسب بدلًا من مسحها.

Put your finger on the 80% column of the VGG-11 chart and read straight down. The green L1 curve is still at about 92% accuracy. The blue L0 curve has already dropped to about 71%. Same network, same dataset, same pruning ratio, and the two layers are twenty points apart. That gap is the entire reason per-layer pruning ratios exist, and it is what the six curves are there to expose.

ضع إصبعك على عمود 80% في مخطط VGG-11 واقرأ نزولًا. المنحنى الأخضر L1 ما زال عند دقة تقارب 92%، أما المنحنى الأزرق L0 فقد هبط بالفعل إلى نحو 71%. الشبكة نفسها، ومجموعة البيانات نفسها، ونسبة التقليم نفسها، ومع ذلك تفصل بين الطبقتين عشرون نقطة. هذه الفجوة هي السبب الكامل لوجود نسب تقليم خاصة بكل طبقة، وهي ما وُضعت المنحنيات الست لكشفه.

Recall what each curve is. Sensitivity analysis prunes one layer L_i alone at ratios r in {0, 0.1, ..., 0.9}, measures the accuracy at each ratio with every other layer left dense, then moves on to the next layer and repeats. The result is one accuracy versus ratio line per layer. Every line starts at the same place, the dense accuracy of about 93% on CIFAR-10, so the starting point carries no information at all. What differs is the slope: how soon and how steeply each line bends down as r grows. That slope is the layer's sensitivity.

تذكّر ما يمثله كل منحنى. يقوم sensitivity analysis بتقليم طبقة واحدة L_i وحدها عند النسب r ضمن {0, 0.1, ..., 0.9}، ويقيس الدقة عند كل نسبة مع ترك كل الطبقات الأخرى كثيفة (dense)، ثم ينتقل إلى الطبقة التالية ويكرر. النتيجة خط واحد للدقة مقابل النسبة لكل طبقة. كل الخطوط تبدأ من المكان نفسه، أي الدقة الكثيفة التي تقارب 93% على CIFAR-10، لذلك فنقطة البداية لا تحمل أي معلومة على الإطلاق. ما يختلف هو الميل: متى وبأي حدة ينحني كل خط إلى الأسفل كلما كبرت r. هذا الميل هو sensitivity الطبقة، أي حساسيتها.

The rule that falls out of the table is simple. A curve that stays flat as r grows belongs to a redundant layer: most of its weights can go with no visible cost, so it should be pruned hard. A curve that bends early belongs to a sensitive layer: its weights are doing work that nothing else in the network can absorb, so it should be pruned gently. The slide summarizes it as "some layers are less sensitive to pruning" (L1, the flattest) and "some layers are more sensitive to pruning" (L0, the steepest), and the whole point of drawing all six on one axis is that you can rank them by eye.

القاعدة التي تخرج من الجدول بسيطة. المنحنى الذي يبقى مسطحًا كلما كبرت r يعود إلى طبقة فائضة (redundant): يمكن حذف معظم أوزانها دون كلفة ظاهرة، لذلك ينبغي تقليمها بقوة. أما المنحنى الذي ينحني مبكرًا فيعود إلى طبقة حساسة (sensitive): أوزانها تؤدي عملًا لا يستطيع أي جزء آخر من الشبكة أن يعوّضه، لذلك ينبغي تقليمها بلطف. تلخّص الشريحة ذلك بعبارة "some layers are less sensitive to pruning" (أي L1، الأكثر تسطحًا) وعبارة "some layers are more sensitive to pruning" (أي L0، الأكثر انحدارًا)، والهدف كله من رسم المنحنيات الست على محور واحد هو أن تستطيع ترتيبها بالعين.

Why the first layer is the fragile oneلماذا الطبقة الأولى هي الطبقة الهشّة

L0 being the most sensitive is not a quirk of this run. Han et al. (2015), the paper the chart's method comes from, report the same pattern on AlexNet: "The first convolutional layer, which interacts with the input image directly, is most sensitive to pruning. We suspect this sensitivity is due to the input layer having only 3 channels and thus less redundancy than the other convolutional layers" (section 5, Figure 6). Their Figure 6 also shows convolutional layers as a group being more sensitive than fully connected layers, which is the same story at coarser resolution: the layers with the fewest weights per unit of work have the least slack. A 3 x 3 kernel over three input channels has 27 weights per filter; removing 80% of them leaves five, and five numbers cannot describe an edge detector.

كون L0 الأكثر حساسية ليس مصادفة في هذه التجربة. فـ Han et al. (2015)، وهي الورقة التي جاءت منها طريقة المخطط، تذكر النمط نفسه على AlexNet: "The first convolutional layer, which interacts with the input image directly, is most sensitive to pruning. We suspect this sensitivity is due to the input layer having only 3 channels and thus less redundancy than the other convolutional layers" (القسم 5، الشكل 6)، أي أن أول طبقة التفافية، التي تتعامل مع صورة الإدخال مباشرة، هي الأكثر حساسية للتقليم، ويرجّحون أن السبب أن طبقة الإدخال لها 3 قنوات فقط وبالتالي فائض أقل من بقية الطبقات الالتفافية. ويُظهر الشكل 6 لديهم أيضًا أن الطبقات الالتفافية كمجموعة أكثر حساسية من الطبقات المتصلة بالكامل (fully connected)، وهي القصة نفسها بدقة أقل: الطبقات التي تملك أقل عدد من الأوزان لكل وحدة عمل لديها أقل هامش. نواة 3 x 3 على ثلاث قنوات إدخال فيها 27 وزنًا لكل مرشّح (filter)، وحذف 80% منها يُبقي خمسة فقط، وخمسة أرقام لا تكفي لوصف كاشف حواف (edge detector).

Now draw one dashed horizontal line across the chart just under 80% accuracy, where the slide puts it (measured against the gridlines it sits at about 79%). Walk along the blue L0 curve from the left. It sits above the line through 60%, is still above it at 70% (about 83.5%), and has dropped to 71% by 80%. Somewhere between those two grid points it crossed the line, at roughly 73% pruning. That crossing is L0's pruning rate. Do the same for the orange L3 (about 82%) and the steep red L4, whose 80% point sits just under the line: strict interpolation puts the crossing at about 78.5%, and the slide rounds its drawn guide up to 80%. L1, the flat red L2 and L5 never reach the line inside the sweep, so they get the largest tested rate, 90%, which is where the slide draws its last vertical guide.

الآن ارسم خطًا أفقيًا متقطعًا واحدًا عبر المخطط تحت دقة 80% بقليل، حيث تضعه الشريحة (بالقياس على خطوط الشبكة يقع عند نحو 79%). امشِ على المنحنى الأزرق L0 من اليسار. يبقى فوق الخط حتى 60%، وما زال فوقه عند 70% (نحو 83.5%)، ثم يهبط إلى 71% عند 80%. في مكان ما بين نقطتي الشبكة هاتين عبر الخط، عند تقليم يقارب 73%. نقطة العبور هذه هي نسبة تقليم L0. افعل الشيء نفسه مع المنحنى البرتقالي L3 (نحو 82%) ومع المنحنى الأحمر الحاد L4، الذي تقع نقطته عند 80% تحت الخط بقليل: الاستكمال الدقيق (interpolation) يضع العبور عند نحو 78.5%، والشريحة تقرّب خطها الإرشادي المرسوم إلى 80%. أما L1 والأحمر المسطح L2 و L5 فلا تصل إلى الخط أبدًا داخل نطاق المسح، لذلك تأخذ أكبر نسبة مُختبرة، 90%، وهي المكان الذي ترسم فيه الشريحة آخر خط إرشادي رأسي.

That is the whole mechanism, and it deserves to be stated as an algorithm rather than a picture, because the exam version comes as a table, not a chart. Choose an accuracy threshold T. For each layer, the pruning ratio is the largest swept ratio whose accuracy is still at or above T. Layers whose curves never dip below T inside the sweep get the maximum swept ratio.

هذه هي الآلية كلها، وتستحق أن تُصاغ كخوارزمية لا كصورة، لأن نسخة الامتحان تأتي كجدول لا كمخطط. اختر accuracy threshold T، أي عتبة الدقة. لكل طبقة، تكون pruning ratio هي أكبر نسبة مُختبرة ما زالت دقتها عند T أو أعلى منها. والطبقات التي لا تنزل منحنياتها أبدًا تحت T داخل نطاق المسح تأخذ أكبر نسبة مُختبرة.

The read-off table above and the worked example below follow the slide's drawn guides, which use the chart form and interpolate between grid points. By the strict table form L0 and L4 would snap to 70% and L3 to 80%, and exact interpolation puts L4 at about 78.5%, so the slide's 80% guide for L4 is a rounding of its own chart. The formula is the exam rule; the guides are how the slide applies it by eye.

جدول القراءة أعلاه والمثال المحلول أدناه يتبعان الخطوط الإرشادية المرسومة في الشريحة، وهي تستخدم صيغة المخطط وتستكمل بين نقاط الشبكة. وفق صيغة الجدول الصارمة كانت L0 و L4 ستُقرَّبان إلى 70% و L3 إلى 80%، والاستكمال الدقيق يضع L4 عند نحو 78.5%، لذلك فإن خط 80% الإرشادي لـ L4 في الشريحة هو تقريب لمخططها نفسه. المعادلة هي قاعدة الامتحان، والخطوط الإرشادية هي طريقة تطبيق الشريحة لها بالعين.

From six rates to one overall rateمن ست نسب إلى نسبة كلية واحدة

The slide bullet reads "pick a degradation threshold T such that the overall pruning rate is desired", and the word overall hides a calculation students routinely get wrong. The overall rate is not the average of the six numbers. It is the fraction of all weights removed, so each layer's rate is weighted by how many weights that layer has. A 90% rate on a layer with 2.36 million weights removes far more than a 73% rate on a layer with 1,728.

يقول بند الشريحة "pick a degradation threshold T such that the overall pruning rate is desired"، أي اختر عتبة تدهور T بحيث تكون نسبة التقليم الكلية هي المطلوبة، وكلمة overall (الكلية) تخفي حسابًا يخطئ فيه الطلاب كثيرًا. فـ overall rate ليست متوسط الأرقام الستة، بل هي نسبة كل الأوزان المحذوفة، لذلك تُوزن نسبة كل طبقة بعدد أوزانها. نسبة 90% على طبقة فيها 2.36 مليون وزن تحذف أكثر بكثير من نسبة 73% على طبقة فيها 1,728 وزنًا.

T is the one knob. If R comes out below the target, lower T: every curve now runs further right before it crosses, so every r_i grows or stays pinned at the maximum swept ratio, and R never falls. If the pruned network turns out too inaccurate, raise T and no rate can grow. The loop is: pick T, read off six rates, compute R, compare with the target, move T, repeat. It converges in a handful of iterations because R is monotone in T.

T هي المقبض الوحيد. إذا خرجت R أقل من الهدف فاخفض T: كل منحنى يمتد الآن أبعد نحو اليمين قبل أن يعبر، فكل r_i تكبر أو تبقى مثبتة عند أكبر نسبة مُختبرة، و R لا تنخفض أبدًا. وإذا تبيّن أن الشبكة المقلّمة دقتها ضعيفة جدًا فارفع T، وعندها لا يمكن لأي نسبة أن تكبر. الحلقة هي: اختر T، اقرأ ست نسب، احسب R، قارنها بالهدف، حرّك T، كرّر. وهي تتقارب خلال بضع تكرارات لأن R رتيبة (monotone) بالنسبة إلى T.

The simulator below runs this loop on curves digitized from the slide, so at its default T of 79% the interpolated crossings land within about a point and a half of the slide's guides (L4 reads 78.5% against the drawn 80%) and R reads 86.0% against the worked example's 86.3%. Drag T and watch all six vertical guides move at once; switch between snapping to the 10% grid and interpolating between grid points; and read R, the unweighted mean and the compression factor as they update. Try T at 90 first, then 70, and note which direction R moves.

المحاكي أدناه يشغّل هذه الحلقة على منحنيات مُرقمنة من الشريحة، لذلك عند قيمته الافتراضية T = 79% تقع نقاط العبور المستكملة ضمن نحو نقطة ونصف من خطوط الشريحة الإرشادية (L4 تقرأ 78.5% مقابل 80% المرسومة) وتقرأ R القيمة 86.0% مقابل 86.3% في المثال المحلول. اسحب T وراقب الخطوط الإرشادية الرأسية الستة تتحرك معًا؛ وبدّل بين التقريب إلى شبكة 10% والاستكمال بين نقاط الشبكة؛ واقرأ R والمتوسط غير الموزون ومعامل الضغط (compression factor) وهي تتحدث. جرّب T عند 90 أولًا، ثم عند 70، ولاحظ في أي اتجاه تتحرك R.

The exam version: a table instead of a chartنسخة الامتحان: جدول بدلًا من مخطط

On paper you will get an accuracy table for two or three layers, a threshold and a weight count per layer. The procedure is identical. Read each row until the accuracy falls below T, take the last ratio that was still at or above T, weight by the counts, and add.

على الورق ستحصل على جدول دقة لطبقتين أو ثلاث، وعتبة، وعدد أوزان لكل طبقة. الإجراء مطابق: اقرأ كل صف حتى تنزل الدقة تحت T، وخذ آخر نسبة كانت ما تزال عند T أو أعلى، ثم زِن بالأعداد واجمع.

Take two of the rates you just read off. L0 pruned to 73% on its own costs about 14 points (93 down to the line at 79). L4 pruned to 80% on its own costs about 16 points. Now prune both at once. L4 was trained on features that flow through a dense L0. Its tolerance to losing 80% of its weights was measured with those features intact, and that condition no longer holds. The network now sees both perturbations at the same time, and the combined drop is usually larger than either single-layer drop, and the chart contains no measurement of it.

خذ نسبتين من النسب التي قرأتها للتو. تقليم L0 إلى 73% وحدها يكلّف نحو 14 نقطة (من 93 نزولًا إلى الخط عند 79). وتقليم L4 إلى 80% وحدها يكلّف نحو 16 نقطة. الآن قلّم الاثنتين معًا. لقد دُرّبت L4 على ميزات (features) تمر عبر L0 كثيفة. وقد قيس تحمّلها لفقدان 80% من أوزانها وتلك الميزات سليمة، وهذا الشرط لم يعد قائمًا. الشبكة الآن ترى الاضطرابين في الوقت نفسه، والهبوط المشترك يكون عادة أكبر من أي من الهبوطين المنفردين، والمخطط لا يحتوي أي قياس له.

The slide asks "is this optimal?" and answers itself: "maybe not. We do not consider the interaction between layers." The next slide of the source deck puts it even more directly, "sensitivity analysis ignores the interaction between layers, sub-optimal". The reason is built into the procedure. Each curve is a one-dimensional slice of accuracy along one layer's axis, taken with every other layer frozen dense. The read-off then treats those axes as independent, as if you could add up six separate tolerances and get the tolerance of the whole. Layers are not independent. That is the Layer interaction the heuristic leaves out, and it is why T is only a proxy for the accuracy you will actually get, not a guarantee.

تسأل الشريحة "is this optimal?" (هل هذا أمثل؟) وتجيب نفسها: "maybe not. We do not consider the interaction between layers."، أي ربما لا، فنحن لا نأخذ التفاعل بين الطبقات في الحسبان. والشريحة التالية في العرض الأصلي تقولها بشكل أوضح: "sensitivity analysis ignores the interaction between layers, sub-optimal". السبب مبني في الإجراء نفسه. كل منحنى شريحة أحادية البعد من الدقة على محور طبقة واحدة، مأخوذة وكل الطبقات الأخرى مجمّدة كثيفة. ثم تعامل القراءة تلك المحاور كأنها مستقلة، كأنك تستطيع جمع ست قدرات تحمّل منفصلة لتحصل على تحمّل الكل. لكن الطبقات ليست مستقلة. هذا هو layer interaction (التفاعل بين الطبقات) الذي تُغفله هذه الطريقة التقريبية، ولهذا فإن T مجرد مؤشر تقريبي للدقة التي ستحصل عليها فعلًا، وليست ضمانًا.

Why the heuristic ignores interactions on purposeلماذا تتجاهل الطريقة التقريبية التفاعلات عن قصد

The omission is a cost decision, not an oversight. The sweep needs (layers) x (ratios) evaluations, 6 x 9 = 54 here, each a forward pass over the validation set. Measuring every joint setting would need 9^6 = 531,441 evaluations for six layers, and real networks have dozens of layers. The AMC paper says exactly this about hand-crafted rules: "as the layers in deep neural networks are not independent, these rule-based pruning policies are non-optimal, and doesn't transfer from one model to another model", and "the design space has exponential complexity, which is infeasible to be solved by greedy, rule-based methods" (He et al., 2018, section 1). The heuristic trades optimality for a search that finishes in an afternoon.

هذا الإغفال قرار كلفة، لا سهو. يحتاج المسح إلى (عدد الطبقات) x (عدد النسب) من التقييمات، أي 6 x 9 = 54 هنا، وكل تقييم تمرير أمامي (forward pass) على مجموعة التحقق (validation set). أما قياس كل إعداد مشترك فيحتاج إلى 9^6 = 531,441 تقييمًا لست طبقات، والشبكات الحقيقية فيها عشرات الطبقات. وورقة AMC تقول هذا بالضبط عن القواعد المصممة يدويًا: "as the layers in deep neural networks are not independent, these rule-based pruning policies are non-optimal, and doesn't transfer from one model to another model"، أي أن طبقات الشبكات العميقة ليست مستقلة فهذه السياسات القائمة على القواعد ليست مثلى ولا تنتقل من نموذج إلى آخر، و "the design space has exponential complexity, which is infeasible to be solved by greedy, rule-based methods"، أي أن فضاء التصميم أُسّي التعقيد ولا يمكن حله بطرق جشعة (greedy) قائمة على القواعد (He et al., 2018، القسم 1). تقايض هذه الطريقة الأمثلية ببحث ينتهي في فترة ما بعد الظهر.

Two things keep it usable in practice. First, Fine-tuning after pruning (part 06) recovers a large share of the compounded loss, so the read-off does not have to be exact, only in the right region. Second, it is the starting point that the automated methods improve on rather than throw away. NetAdapt removes filters from one layer per iteration, re-measures accuracy after a short fine-tune, and keeps the best proposal, so interactions get folded in one step at a time (Yang et al., 2018). AMC goes further and learns the whole per-layer assignment as one policy, rewarded on the accuracy of the jointly pruned network (He et al., 2018). Both are Automated pruning, and both exist because the single-layer sweep leaves accuracy on the table.

أمران يُبقيانها صالحة للاستخدام عمليًا. الأول أن fine-tuning بعد التقليم (الجزء 06) يستعيد جزءًا كبيرًا من الخسارة المتراكمة، لذلك لا يلزم أن تكون القراءة دقيقة، بل يكفي أن تكون في المنطقة الصحيحة. والثاني أنها نقطة البداية التي تحسّنها الطرق الآلية بدلًا من أن ترميها. فـ NetAdapt تحذف مرشّحات من طبقة واحدة في كل تكرار، وتعيد قياس الدقة بعد ضبط دقيق قصير، وتحتفظ بأفضل اقتراح، فتُدمج التفاعلات خطوة بخطوة (Yang et al., 2018). و AMC تذهب أبعد فتتعلم التوزيع الكامل لكل الطبقات كسياسة (policy) واحدة، مكافأتها دقة الشبكة المقلّمة بشكل مشترك (He et al., 2018). كلتاهما من automated pruning (التقليم الآلي)، وكلتاهما موجودتان لأن المسح على طبقة واحدة يترك دقة ممكنة دون استغلال.

Take a ResNet-50 and allow each of its roughly fifty prunable layers to keep one of ten possible fractions of its weights. That is 10^50 ways to spend one overall budget. The Sensitivity analysis of part 03 escapes the explosion by never looking at combinations at all: it prunes one layer at a time, runs 50 x 10 = 500 single-layer experiments, and reads each layer's Pruning ratio off its own curve where it crosses the accuracy threshold.

خذ شبكة ResNet-50 واسمح لكل طبقة من طبقاتها القابلة للتقليم، وعددها نحو خمسين، بأن تحتفظ بواحد من عشرة كسور ممكنة من أوزانها. هذا يعطي 10^50 طريقة لإنفاق ميزانية إجمالية واحدة. أما sensitivity analysis (تحليل الحساسية) في الجزء 03 فيتجنب هذا الانفجار بألا ينظر إلى التركيبات أبدًا: فهو يقلّم طبقة واحدة في كل مرة، ويجري 50 x 10 = 500 تجربة على طبقة منفردة، ويقرأ pruning ratio (نسبة التقليم) لكل طبقة من منحناها الخاص عند النقطة التي يقطع فيها حدّ الدقة.

The saving comes from a hidden assumption: that the accuracy lost by pruning several layers at once is the sum of what each loses alone. The AMC authors tested exactly this and report that the sensitivity approach "assumes that errors of different pruned layers can be summed up linearly, which does not stand according to our experiments" (He et al., 2018). That is the Layer interaction that slide 24 says the analysis ignores. Pruning layer 3 changes what layer 4 receives, so the curve you measured for layer 4 on a dense network is the wrong curve once layer 3 is thin. The ratios are usable, but they are sub-optimal, and they belong to the network they were measured on. Change the architecture and every curve must be measured again.

يأتي هذا التوفير من افتراض خفي: أن الدقة المفقودة عند تقليم عدة طبقات معًا تساوي مجموع ما تفقده كل طبقة وحدها. اختبر مؤلفو AMC هذا الافتراض تحديدًا، وذكروا أن نهج الحساسية "يفترض أن أخطاء الطبقات المقلّمة المختلفة يمكن جمعها خطيًا، وهذا لا يصمد وفق تجاربنا" (He et al., 2018). هذا هو layer interaction (تفاعل الطبقات) الذي تقول الشريحة 24 إن التحليل يتجاهله. تقليم الطبقة 3 يغيّر ما تستقبله الطبقة 4، لذا فإن المنحنى الذي قسته للطبقة 4 على شبكة كثيفة يصبح المنحنى الخطأ بمجرد أن تصبح الطبقة 3 رفيعة. النسب صالحة للاستخدام، لكنها دون المثلى، وهي تخص الشبكة التي قيست عليها. غيّر المعمارية، وسيلزم قياس كل منحنى من جديد.

The bottleneck is peopleعنق الزجاجة هو البشر

Slide 25 shows the practical consequence. Conventionally the allocation relies on human expertise and trial and error. Three customers with three engineers is a workable shop. Many customers overwhelm even a team of engineers (the red cross and the alarmed manager in the middle column), and every new model, new target device or new budget restarts the trial and error from scratch, because rules such as prune the first layer less and the fully connected layers more are, in the paper's words, "non-optimal, and doesn't transfer from one model to another" (He et al., 2018). The right column serves the same crowd with one engineer and an engine that takes the model and the constraint and returns the compressed network.

تعرض الشريحة 25 النتيجة العملية. تقليديًا، يعتمد توزيع النسب على خبرة البشر وعلى التجربة والخطأ. ثلاثة عملاء مع ثلاثة مهندسين ورشة قابلة للعمل. لكن كثرة العملاء تُغرق حتى فريقًا من المهندسين (العلامة الحمراء والمدير القلق في العمود الأوسط)، وكل نموذج جديد أو جهاز مستهدف جديد أو ميزانية جديدة يعيد التجربة والخطأ من الصفر، لأن قواعد مثل قلّم الطبقة الأولى أقل والطبقات المتصلة بالكامل (fully connected) أكثر هي، بكلمات الورقة، "غير مثلى، ولا تنتقل من نموذج إلى آخر" (He et al., 2018). أما العمود الأيمن فيخدم الحشد نفسه بمهندس واحد ومحرك يأخذ النموذج والقيد ويعيد الشبكة المضغوطة.

Slide 26 names the ambition: a push-the-button solution. Today an efficient network needs someone who is both a machine learning expert and a hardware expert. The goal is that a non-expert plus a hardware-centric AutoML tool reaches the same efficient network. This is the definition of Automated pruning in this lecture: an algorithm, not a person, chooses the per-layer ratios for an overall target, and it does so with the target hardware in the loop.

تسمّي الشريحة 26 الطموح: حلّ بضغطة زر (push-the-button). اليوم تحتاج الشبكة الفعالة إلى شخص خبير في تعلم الآلة وخبير في العتاد معًا. والهدف أن يصل غير الخبير، مع أداة AutoML متمحورة حول العتاد، إلى الشبكة الفعالة نفسها. هذا هو تعريف automated pruning (التقليم المؤتمت) في هذه المحاضرة: خوارزمية، لا شخص، تختار النسب لكل طبقة لتحقيق هدف إجمالي، وتفعل ذلك والعتاد المستهدف داخل الحلقة.

Follow one pass of AMC over MobileNet. Layer t-1 has just been pruned at 30%. The agent now looks at layer t: it receives a short vector describing that layer, its index, its channel counts, its kernel size, its FLOPs, how many FLOPs earlier layers already gave up and how many remain in later layers. It answers with one number, say 50%. The environment removes half of that layer's channels by magnitude and presents layer t+1. When the last layer is done, the whole pruned network is evaluated on a held-out set, and a single number comes back: minus the error. That number is the only feedback the agent ever gets, and it arrives once per pass.

تتبّع مرورًا واحدًا لـ AMC على MobileNet. الطبقة t-1 قُلّمت للتو بنسبة 30%. ينظر الوكيل الآن إلى الطبقة t: يستقبل متجهًا قصيرًا يصف تلك الطبقة، فيه رقمها، وعدد قنواتها، وحجم نواتها (kernel)، وFLOPs الخاصة بها، وكم من FLOPs تخلّت عنه الطبقات السابقة، وكم بقي في الطبقات اللاحقة. ويجيب برقم واحد، لنقل 50%. تزيل البيئة نصف قنوات تلك الطبقة بحسب المقدار (magnitude) وتعرض الطبقة t+1. وعند الانتهاء من الطبقة الأخيرة، تُقيَّم الشبكة المقلّمة كاملة على مجموعة محجوزة، ويعود رقم واحد: سالب الخطأ. هذا الرقم هو التغذية الراجعة الوحيدة التي يحصل عليها الوكيل، ويصل مرة واحدة في كل مرور.

That story contains every ingredient of a reinforcement learning problem, which is what slide 27 means by "pruning as a reinforcement learning problem". The paper's own description: the agent "processes the network in a layer-wise manner", "receives a layer embedding s_t", "outputs a precise compression ratio a_t", and after every layer is compressed the "validation accuracy of the pruned model with all layers compressed is evaluated without fine-tuning, which is an efficient delegate of the fine-tuned accuracy" (He et al., 2018). Only the best network found after the search is fine-tuned.

تحتوي هذه القصة على كل مكونات مسألة تعلم معزز، وهذا ما تعنيه الشريحة 27 بعبارة "التقليم بوصفه مسألة تعلم معزز". وصف الورقة نفسها: الوكيل "يعالج الشبكة طبقة بعد طبقة"، و"يستقبل تضمين الطبقة s_t"، و"يُخرج نسبة ضغط دقيقة a_t"، وبعد ضغط كل الطبقات "تُقيَّم دقة التحقق (validation accuracy) للنموذج المقلّم بكل طبقاته المضغوطة دون ضبط دقيق، وهي بديل فعّال عن الدقة بعد الضبط الدقيق" (He et al., 2018). لا يُضبط ضبطًا دقيقًا إلا أفضل شبكة وُجدت بعد البحث.

Why the action must be continuous, and why an actor and a criticلماذا يجب أن يكون الفعل متصلًا، ولماذا ممثل وناقد

A pruning ratio is a real number, and the compressed model's accuracy is very sensitive to it. A discrete agent would need a grid fine enough to tell 48% from 52%, which explodes the number of actions, and a grid also throws away the order between neighbouring ratios (He et al., 2018), so the agent could not exploit the fact that neighbouring ratios behave alike. DDPG (Lillicrap et al., 2015) is the standard actor-critic method for continuous control: it concurrently learns a Q-function and a policy and can only be used with continuous action spaces (OpenAI Spinning Up). Sutton and Barto give the naming: when a value function is used "to assess, or criticize, the policy's action selections, then the value function is called a critic and the policy is called an actor". In AMC the critic learns, from replayed transitions, how much reward a state and ratio pair leads to; the actor is then nudged by gradient ascent on that estimate to propose ratios the critic scores higher. The critic judges, the actor proposes, and neither ever sees a gradient of the pruned network itself.

نسبة التقليم عدد حقيقي، ودقة النموذج المضغوط حساسة جدًا لها. سيحتاج وكيل متقطع (discrete) إلى شبكة قيم دقيقة بما يكفي للتمييز بين 48% و52%، وهذا يُفجّر عدد الأفعال، كما أن الشبكة المتقطعة تُضيّع الترتيب بين النسب المتجاورة (He et al., 2018)، فلا يستطيع الوكيل الاستفادة من أن النسب المتجاورة تتصرف بشكل متشابه. DDPG (Lillicrap et al., 2015) هي الطريقة القياسية من نوع ممثل وناقد (actor-critic) للتحكم المتصل: تتعلم دالة Q وسياسة في آنٍ واحد، ولا يمكن استخدامها إلا مع فضاءات أفعال متصلة (OpenAI Spinning Up). ويعطي Sutton وBarto أصل التسمية: عندما تُستخدم دالة قيمة "لتقييم اختيارات السياسة للأفعال، أو نقدها، تُسمّى دالة القيمة ناقدًا وتُسمّى السياسة ممثلًا". في AMC يتعلم الناقد، من انتقالات مُعاد تشغيلها (replayed transitions)، مقدار المكافأة التي يؤدي إليها زوج من الحالة والنسبة؛ ثم يُدفع الممثل بالصعود التدرجي (gradient ascent) على هذا التقدير ليقترح نسبًا يمنحها الناقد درجة أعلى. الناقد يحكم، والممثل يقترح، ولا يرى أي منهما تدرجًا (gradient) للشبكة المقلّمة نفسها أبدًا.

Why the reward is minus error under a constraintلماذا المكافأة هي سالب الخطأ تحت قيد

Reinforcement learning maximizes reward, so maximizing -Error is minimizing error. The budget appears as a constraint rather than a bonus on purpose: if the agent were paid for shrinking, it would keep shrinking past the target and lose accuracy for nothing. With a hard constraint there is no reward for finishing under budget, so the agent "can precisely arrive at the target compression ratio" (He et al., 2018). The minus infinity branch is the slide's compact way of saying an infeasible network earns nothing useful.

التعلم المعزز يعظّم المكافأة، لذا فإن تعظيم -Error يعني تقليل الخطأ. تظهر الميزانية كقيد لا كمكافأة إضافية عن قصد: لو كوفئ الوكيل على التصغير، لاستمر في التصغير متجاوزًا الهدف وخسر الدقة بلا مقابل. ومع قيد صارم لا توجد مكافأة على الانتهاء تحت الميزانية، فيستطيع الوكيل "الوصول بدقة إلى نسبة الضغط المستهدفة" (He et al., 2018). وفرع سالب ما لا نهاية هو طريقة الشريحة المختصرة للقول إن الشبكة غير الممكنة (التي تخرق القيد) لا تكسب شيئًا مفيدًا.

A wasted episode teaches the critic nothing, so the paper never lets one happen. Before each action it computes the duty: the share of the removal target alpha W_all that this layer must carry, given what earlier layers already removed (W_reduced) and the most the remaining layers could remove at the cap a_max (0.8 for convolutions and 0.98 for fully connected layers in fine-grained pruning; 0.8 for every layer in channel pruning). If the actor's proposal is too timid, it is raised to the duty. The budget is therefore met by construction, and the minus infinity case is a formal backstop, not a common outcome.

الحلقة المهدرة لا تعلّم الناقد شيئًا، لذا لا تسمح الورقة بحدوثها أبدًا. قبل كل فعل تحسب الحصة الواجبة (duty): نصيب هدف الإزالة alpha W_all الذي يجب أن تتحمله هذه الطبقة، بالنظر إلى ما أزالته الطبقات السابقة (W_reduced) وأقصى ما يمكن أن تزيله الطبقات المتبقية عند السقف a_max (0.8 للالتفافات و0.98 للطبقات المتصلة بالكامل في التقليم الدقيق الحبيبات (fine-grained)؛ و0.8 لكل الطبقات في تقليم القنوات). إذا كان اقتراح الممثل متحفظًا أكثر من اللازم، يُرفع إلى الحصة الواجبة. وهكذا تتحقق الميزانية بحكم البناء، وتكون حالة سالب ما لا نهاية صمام أمان شكليًا، لا نتيجة شائعة.

Slide 28 shows the other protocol. When the goal is the smallest model with no accuracy loss, the budget is unknown in advance, so the reward itself must push on size. The bubble chart on the slide (Canziani et al., 2016) shows that top-1 accuracy rises roughly with the logarithm of the operation count, so multiplying -Error by log(FLOPs) gives, in the paper's words, "a small incentive for reducing FLOPs" while staying "sensitive to Error". The ResNet-50 and MobileNet results in the next two concepts use the constrained reward, not this one.

تعرض الشريحة 28 البروتوكول الآخر. عندما يكون الهدف أصغر نموذج دون أي خسارة في الدقة، تكون الميزانية مجهولة مسبقًا، لذا يجب أن تضغط المكافأة نفسها باتجاه الحجم. مخطط الفقاعات في الشريحة (Canziani et al., 2016) يبيّن أن دقة top-1 ترتفع تقريبًا مع لوغاريتم عدد العمليات، لذا فإن ضرب -Error في log(FLOPs) يعطي، بكلمات الورقة، "حافزًا صغيرًا لتقليل FLOPs" مع البقاء "حساسًا للخطأ". نتائج ResNet-50 وMobileNet في المفهومين التاليين تستخدم المكافأة المقيّدة، لا هذه.

The constraint need not be FLOPs. The paper notes that the resource can be "FLOPs or the actual inference time on mobile device", and slide 29 adds the mechanism: a pre-built Latency lookup table of measured per-layer times on the target phone, the same device-in-the-loop idea NetAdapt uses in part 05. Substituting measured time for FLOPs turns a FLOPs-constrained search into a latency-constrained one, and the MobileNet table at the end of this part shows why that matters.

لا يلزم أن يكون القيد FLOPs. تذكر الورقة أن المورد يمكن أن يكون "FLOPs أو زمن الاستدلال الفعلي على الجهاز المحمول"، وتضيف الشريحة 29 الآلية: جدول بحث مُعدّ مسبقًا latency lookup table فيه أزمنة مقاسة لكل طبقة على الهاتف المستهدف، وهي فكرة الجهاز داخل الحلقة نفسها التي يستخدمها NetAdapt في الجزء 05. استبدال FLOPs بالزمن المقاس يحوّل بحثًا مقيدًا بـFLOPs إلى بحث مقيد بزمن الاستجابة، وجدول MobileNet في نهاية هذا الجزء يبيّن لماذا يهم ذلك.

Slide 30 puts the agent up against Song Han's own hand-pruned ResNet-50 from his PhD thesis. The human expert kept 29% of the weights, a 3.4x reduction. The agent kept 20%, a 5x reduction, at the same accuracy: 76.13% top-1 for the original and 76.11% for AMC (He et al., 2018). This experiment uses fine-grained weight pruning, not channel pruning, and it is run as Iterative pruning in four rounds at 50%, 35%, 25% and 20% overall density with 30 fine-tuning epochs after each round, which is the schedule part 06 explains.

تضع الشريحة 30 الوكيل في مواجهة شبكة ResNet-50 التي قلّمها Song Han بيده في أطروحة الدكتوراه. احتفظ الخبير البشري بـ29% من الأوزان، أي تقليل بمقدار 3.4x. واحتفظ الوكيل بـ20%، أي تقليل بمقدار 5x، عند الدقة نفسها: 76.13% في top-1 للأصلية و76.11% لـ AMC (He et al., 2018). تستخدم هذه التجربة تقليم الأوزان الدقيق الحبيبات (fine-grained)، لا تقليم القنوات، وتُنفَّذ بوصفها iterative pruning (تقليمًا تكراريًا) على أربع جولات عند كثافة إجمالية 50% و35% و25% و20%، مع 30 حقبة من fine-tuning (الضبط الدقيق) بعد كل جولة، وهو الجدول الذي يشرحه الجزء 06.

What the agent noticed inside a residual blockما الذي لاحظه الوكيل داخل الكتلة المتبقية

The per-region bars hide the interesting pattern, which slide 31 shows layer by layer. ResNet-50 is built from bottleneck blocks: a 1x1 convolution that reduces the channel count, a 3x3 convolution, and a 1x1 convolution that restores it (He et al., 2016). Walk along the layer index and the kept density forms a sawtooth. The peaks, where the agent kept more, are the 1x1 layers. The crests, where it cut deep, are the 3x3 layers. The paper draws the conclusion directly: the agent "automatically learns that 3x3 convolution has more redundancy than 1x1 convolution and can be pruned more" (He et al., 2018). Nobody told it about kernel shapes; the kernel size k is just one of the eleven features in the state.

الأعمدة حسب المنطقة تخفي النمط المثير، وتعرضه الشريحة 31 طبقة بطبقة. تتكون ResNet-50 من كتل عنق الزجاجة (bottleneck): التفاف 1x1 يقلّل عدد القنوات، ثم التفاف 3x3، ثم التفاف 1x1 يعيده (He et al., 2016). امشِ على رقم الطبقة وستجد أن الكثافة المحتفظ بها ترسم شكل أسنان المنشار. القمم، حيث احتفظ الوكيل بأكثر، هي طبقات 1x1. والقيعان، حيث قطع بعمق، هي طبقات 3x3. وتستخلص الورقة النتيجة مباشرة: الوكيل "يتعلم تلقائيًا أن التفاف 3x3 فيه تكرار (redundancy) أكثر من التفاف 1x1 ويمكن تقليمه أكثر" (He et al., 2018). لم يخبره أحد عن أشكال الأنوية؛ فحجم النواة k مجرد واحدة من الخصائص الإحدى عشرة في الحالة.

The finding makes sense once you think about where redundancy lives. A 1x1 kernel mixes channels and has no spatial extent, so every weight is a distinct channel-to-channel connection with nothing next to it to stand in for it. A 3x3 kernel has nine spatial taps per channel pair, many of which are near zero after training, and it also holds most of a block's weights: in a stage-3 bottleneck the 3x3 layer carries about 590K of the block's 1.1M parameters against 262K for each 1x1 layer (Han, 2017). Cutting the 3x3 layers hard is where the compression is, and it is also where accuracy is cheapest to spend, which is exactly the trade the reward rewards.

تصبح النتيجة منطقية حين تفكر في مكان وجود التكرار. نواة 1x1 تمزج القنوات وليس لها امتداد مكاني، فكل وزن فيها اتصال مميز بين قناة وقناة، ولا يوجد بجواره ما ينوب عنه. أما نواة 3x3 ففيها تسع نقاط مكانية لكل زوج من القنوات، وكثير منها قريب من الصفر بعد التدريب، كما أنها تحمل معظم أوزان الكتلة: في كتلة عنق زجاجة من المرحلة 3 تحمل طبقة 3x3 نحو 590K من أصل 1.1M معامل في الكتلة، مقابل 262K لكل طبقة 1x1 (Han, 2017). قطع طبقات 3x3 بقوة هو حيث يوجد الضغط، وهو أيضًا حيث تكون الدقة أرخص ما يمكن إنفاقه، وهذه بالضبط المقايضة التي تكافئها المكافأة.

The final slide moves from weights to milliseconds. MobileNet is run with TF-Lite on a Samsung Galaxy S7 Edge with a Qualcomm Snapdragon SoC, single core, batch size 1, which is the latency-oriented setting of a phone serving one image at a time. Four models are measured: the full 1.0 MobileNet, two AMC results and the 0.75 MobileNet baseline, which is the same architecture with every layer's width scaled by 75%.

تنتقل الشريحة الأخيرة من الأوزان إلى الميلي ثواني. تُشغَّل MobileNet باستخدام TF-Lite على هاتف Samsung Galaxy S7 Edge بشريحة Qualcomm Snapdragon SoC، على نواة واحدة، وبحجم دفعة 1، وهو الإعداد الموجّه لزمن الاستجابة لهاتف يخدم صورة واحدة في كل مرة. تُقاس أربعة نماذج: 1.0 MobileNet الكاملة، ونتيجتان من AMC، وخط الأساس 0.75 MobileNet، وهي المعمارية نفسها مع تحجيم عرض كل طبقة إلى 75%.

Two lessons in one tableدرسان في جدول واحد

First, FLOPs are a proxy. Halving the multiply-accumulates bought 1.85x, not 2x, because a phone does not spend time in proportion to arithmetic. MobileNet's depthwise layers have a low ratio of computation to memory traffic, so trimming them saves fewer milliseconds than the MAC count suggests; the paper reports about 2x speedup on the 1x1 convolutions but less on the depthwise ones (He et al., 2018). When the agent is instead constrained by measured time from the lookup table, it removes work where the phone is actually slow, and the search lands at 59.7 ms, a 1.99x speedup that all but hits the 2x target. That allocation is less accuracy-friendly, which is the 0.3 point cost. You choose the target you care about, and you pay in the other currency.

أولًا، FLOPs مجرد بديل تقريبي. تنصيف عمليات الضرب والجمع (multiply-accumulates) أعطى 1.85x، لا 2x، لأن الهاتف لا يقضي وقته بالتناسب مع الحساب. طبقات depthwise في MobileNet نسبة الحساب فيها إلى حركة الذاكرة منخفضة، لذا فتقليصها يوفّر ميلي ثواني أقل مما يوحي به عدد MAC؛ وتذكر الورقة تسريعًا بنحو 2x على التفافات 1x1 وأقل من ذلك على طبقات depthwise (He et al., 2018). وعندما يُقيَّد الوكيل بدلًا من ذلك بالزمن المقاس من جدول البحث، فإنه يزيل العمل حيث يكون الهاتف بطيئًا فعلًا، فيصل البحث إلى 59.7 ms، أي تسريع 1.99x يكاد يصيب هدف 2x. هذا التوزيع أقل رفقًا بالدقة، وهذه هي تكلفة الـ0.3 نقطة. أنت تختار الهدف الذي يهمك، وتدفع بالعملة الأخرى.

Second, non-uniform beats uniform. Uniform shrinking with the width multiplier is a single knob turned on every layer, and the thinner model must be trained from scratch (Howard et al., 2017). AMC prunes a pretrained network with a different ratio per layer, keeps 2.1 (50% FLOPs) or 1.8 (50% Time) more points of accuracy with fewer MACs than 0.75 MobileNet, and does it after a short fine-tune. In the accuracy versus latency plane the AMC points sit above and to the left, which is the definition of a better Pareto frontier.

ثانيًا، غير المنتظم يتفوق على المنتظم. uniform shrinking (التصغير المنتظم) باستخدام مضاعِف العرض مقبض واحد يُدار على كل طبقة، ويجب تدريب النموذج الأرفع من الصفر (Howard et al., 2017). أما AMC فيقلّم شبكة مدرّبة مسبقًا بنسبة مختلفة لكل طبقة، ويحتفظ بـ2.1 (50% FLOPs) أو 1.8 (50% Time) نقطة دقة إضافية مع MACs أقل من 0.75 MobileNet، ويفعل ذلك بعد ضبط دقيق قصير. في مستوى الدقة مقابل زمن الاستجابة تقع نقاط AMC في الأعلى وإلى اليسار، وهذا هو تعريف جبهة Pareto أفضل.