Fine-grained, N:M and channel pruning in practiceالتقليم الدقيق وN:M وتقليم القنوات عمليًا

Go back to the very first picture of this lecture: a network before and after pruning, with individual synapses cut out while every neuron stays. That picture is fine-grained pruning, the synapse pruning of slide 4 seen through the lens of granularity. Slides 19 and 20 bring it back only to attach numbers to it, so treat them as a short callback rather than new material.

عُد إلى أول صورة في هذه المحاضرة: شبكة قبل التقليم وبعده، حيث قُطعت مشابك (synapses) منفردة وبقيت كل الخلايا العصبية. تلك الصورة هي fine-grained pruning (التقليم الدقيق)، أي synapse pruning في الشريحة 4 منظورًا إليه من زاوية granularity (درجة التقليم). الشريحتان 19 و20 تعيدانه فقط لتربطا به أرقامًا، فتعامل معهما على أنهما تذكير قصير لا مادة جديدة.

The numbers are the ones from part 02. Han et al. pruned AlexNet from 61 M to 6.7 M parameters and VGG-16 from 138 M to 10.3 M without losing accuracy, a pruning ratio of roughly 89% and 93% (Han, Pool, Tran and Dally, NIPS 2015). Those results are only possible because the method may zero any single weight, wherever it sits in the tensor. The slide calls this "flexible pruning indices": the set of surviving positions is unconstrained, so the algorithm can find redundant weights anywhere and usually reaches the largest compression ratio of all granularities.

الأرقام هي نفسها من الجزء 02. قلّم Han et al. شبكة AlexNet من 61 M إلى 6.7 M معامل، وشبكة VGG-16 من 138 M إلى 10.3 M، دون خسارة في الدقة، أي pruning ratio (نسبة تقليم) تقارب 89% و93% (Han, Pool, Tran and Dally, NIPS 2015). هذه النتائج ممكنة فقط لأن الطريقة يجوز لها تصفير أي وزن منفرد أينما كان موقعه في الموتّر (tensor). تسمي الشريحة ذلك «flexible pruning indices» (فهارس تقليم مرنة): مجموعة المواقع الباقية غير مقيّدة، فتستطيع الخوارزمية أن تجد الأوزان الزائدة في أي مكان، وعادةً تصل إلى أكبر نسبة ضغط بين كل درجات التقليم.

Why flexibility is expensive at run timeلماذا تكون المرونة مكلفة وقت التشغيل

Now look at what the flexibility leaves behind. After fine-grained pruning the weight tensor still has its original shape; it is simply riddled with zeros at irregular positions. A dense matrix multiply on a GPU does not know the zeros are there and multiplies them anyway, so the work is unchanged. To skip them you must store the weights in a sparse format such as CSR, CSC or COO, where every surviving value carries an index saying where it belongs. Mishra et al. note that these formats make memory accesses data dependent and that the index metadata can cost up to 200% of the weight storage when the weights are 8-bit (Mishra et al., 2021). Zhou et al. summarize the situation in one line: fine-grained sparsity "can achieve a high compression ratio but is not hardware friendly and hence receives limited speed gains" (Zhou et al., ICLR 2021).

انظر الآن إلى ما تتركه المرونة خلفها. بعد التقليم الدقيق يبقى موتّر الأوزان بشكله الأصلي؛ هو فقط مليء بالأصفار في مواقع غير منتظمة. ضرب المصفوفات الكثيف (dense matrix multiply) على GPU لا يعرف أن الأصفار موجودة فيضربها على أي حال، فيبقى العمل كما هو. لكي تتخطاها يجب أن تخزّن الأوزان في sparse format (صيغة متناثرة) مثل CSR أو CSC أو COO، حيث تحمل كل قيمة باقية فهرسًا يحدد مكانها. يشير Mishra et al. إلى أن هذه الصيغ تجعل الوصول إلى الذاكرة معتمدًا على البيانات، وأن البيانات الوصفية للفهارس قد تكلّف حتى 200% من مساحة تخزين الأوزان عندما تكون الأوزان بدقة 8 بت (Mishra et al., 2021). ويلخص Zhou et al. الوضع في سطر واحد: التناثر الدقيق «يمكن أن يحقق نسبة ضغط عالية لكنه غير ملائم للعتاد، ولذلك لا يحصل إلا على مكاسب محدودة في السرعة» (Zhou et al., ICLR 2021).

That is why the red line on slide 20 matters more than the table. Speedup from fine-grained sparsity needs hardware built around indices. Han's own EIE accelerator is the example the MIT source deck names: by reading compressed weights and skipping zero activations, it ran fully-connected layers 189x faster than a CPU and 13x faster than a GPU running the uncompressed network (Han et al., ISCA 2016). With sparse kernels the picture depends on batch size: in EIE's own measurements cuSPARSE ran pruned FC layers 4x to 9x faster than dense at batch 1 on a Titan X, but slower at batch 64, which is why the slide says "not GPU (easily)". On an ordinary GPU with dense kernels, the same pruned network runs at roughly dense speed.

لهذا السبب يهم الخط الأحمر في الشريحة 20 أكثر من الجدول. التسريع من sparsity (التناثر) الدقيق يحتاج إلى عتاد مبني حول الفهارس. مسرّع EIE الذي صممه Han نفسه هو المثال الذي تذكره عروض MIT الأصلية: بقراءة الأوزان المضغوطة وتخطي التفعيلات (activations) الصفرية، شغّل الطبقات المتصلة بالكامل (fully-connected) أسرع بمقدار 189x من CPU وأسرع بمقدار 13x من GPU يشغّل الشبكة غير المضغوطة (Han et al., ISCA 2016). مع النوى المتناثرة (sparse kernels) تعتمد الصورة على حجم الدفعة (batch size): في قياسات EIE نفسها شغّلت مكتبة cuSPARSE طبقات FC المقلّمة أسرع من الكثيفة بمقدار 4x إلى 9x عند دفعة حجمها 1 على Titan X، لكنها كانت أبطأ عند دفعة حجمها 64، ولهذا تقول الشريحة «not GPU (easily)» (ليس على GPU بسهولة). على GPU عادي بنوى كثيفة، تعمل الشبكة المقلّمة نفسها بسرعة قريبة من سرعة الشبكة الكثيفة.

Take one row of eight FP16 weights and split it into two groups of four. In each group keep the two largest magnitudes and zero the other two. Every group now has exactly two zeros and two nonzeros, so the row is 50% sparse, and so is every other row treated the same way. That is 2:4 sparsity, the classic case of N:M sparsity and the reason the lecture lists pattern-based pruning as its own step on the granularity spectrum.

خذ صفًا واحدًا من ثمانية أوزان بصيغة FP16 وقسّمه إلى مجموعتين من أربعة. في كل مجموعة احتفظ بأكبر قيمتين من حيث المقدار (magnitude) وصفّر القيمتين الأخريين. أصبحت كل مجموعة تحتوي بالضبط على صفرين وقيمتين غير صفريتين، فيكون الصف متناثرًا بنسبة 50%، وكذلك كل صف آخر يُعامل بالطريقة نفسها. هذا هو 2:4 sparsity، الحالة الكلاسيكية من N:M sparsity، وهو سبب أن المحاضرة تضع pattern-based pruning (التقليم القائم على نمط) خطوةً مستقلة على طيف درجات التقليم.

The general rule needs one careful sentence, because the slide's sentence is ambiguous. In NVIDIA's definition, which is the one hardware implements, an N:M pattern allows at most N nonzero values in every contiguous group of M. The Ampere whitepaper describes 2:4 as a matrix "that allows two non-zero values in every four-entry vector", and Mishra et al. write of "the 2 nonzero values in each group of 4" (NVIDIA, 2020; Mishra et al., 2021). Slide 21 instead says that "N of them is pruned". For 2:4 the two readings agree, since two kept and two pruned are the same thing. For any other pattern they do not.

القاعدة العامة تحتاج إلى جملة دقيقة، لأن جملة الشريحة غامضة. في تعريف NVIDIA، وهو التعريف الذي ينفّذه العتاد، يسمح نمط N:M بـ N قيم غير صفرية على الأكثر في كل مجموعة متجاورة من M. تصف الورقة البيضاء لمعمارية Ampere نمط 2:4 بأنه مصفوفة «تسمح بقيمتين غير صفريتين في كل متجه من أربعة عناصر»، ويكتب Mishra et al. عن «القيمتين غير الصفريتين في كل مجموعة من 4» (NVIDIA, 2020; Mishra et al., 2021). أما الشريحة 21 فتقول إن «N of them is pruned» (يُقلَّم N منها). في نمط 2:4 تتفق القراءتان، لأن الاحتفاظ باثنتين وتقليم اثنتين شيء واحد. أما في أي نمط آخر فلا تتفقان.

Why a pattern is the middle of the spectrumلماذا يقع النمط في منتصف الطيف

Inside each group of four the pattern is still fine-grained: any two of the four positions may survive, six possible masks, chosen by magnitude. Across the matrix it is rigidly structured: every group holds exactly two values, no more and no fewer. Mishra et al. point out what this buys: because the sparsity is constant across the matrix, "there is no indirection required; a nonzero value's position in memory can be determined from the compression rate directly" (Mishra et al., 2021). The hardware always knows that group g starts at value slot 2g. That is the difference between a lookup and an address calculation, and it is what makes fine-grained-in-the-small, structured-in-the-large worth a place of its own.

داخل كل مجموعة من أربعة يبقى النمط دقيقًا: أي اثنين من المواقع الأربعة يمكن أن يبقيا، أي ستة أقنعة (masks) ممكنة، يُختار منها حسب المقدار. وعلى مستوى المصفوفة كلها هو منظّم بصرامة: كل مجموعة تحمل قيمتين بالضبط، لا أكثر ولا أقل. يوضح Mishra et al. ما يكسبه ذلك: لأن التناثر ثابت عبر المصفوفة، «لا حاجة إلى أي إحالة غير مباشرة (indirection)؛ يمكن تحديد موقع القيمة غير الصفرية في الذاكرة من معدل الضغط مباشرةً» (Mishra et al., 2021). العتاد يعرف دائمًا أن المجموعة g تبدأ عند خانة القيمة 2g. هذا هو الفرق بين البحث في جدول (lookup) وحساب عنوان، وهو ما يجعل النمط «الدقيق على المستوى الصغير، المنظّم على المستوى الكبير» جديرًا بمكان مستقل.

The compressed formatالصيغة المضغوطة

The rule also fixes the storage layout, which is the right-hand panel of slide 21. An R by C dense matrix becomes an R by C/2 block of nonzero values plus an R by C/2 block of 2-bit indices, where each index records the position, 0 to 3, of a kept value inside its group of four. Two bits are enough because a group has only four positions. One corner case keeps the format regular: if a group happens to have three or four zeros after training, two values are stored anyway, padded with zeros as needed (Mishra et al., 2021).

القاعدة تحدد أيضًا تخطيط التخزين، وهو اللوحة اليمنى في الشريحة 21. المصفوفة الكثيفة بحجم R by C تصبح كتلة بحجم R by C/2 من القيم غير الصفرية، مع كتلة بحجم R by C/2 من 2-bit indices (فهارس من بتّين)، حيث يسجّل كل فهرس موقع القيمة المحتفظ بها داخل مجموعتها الرباعية، من 0 إلى 3. البتّان كافيان لأن المجموعة فيها أربعة مواقع فقط. وهناك حالة طرفية واحدة تحفظ انتظام الصيغة: إذا صادف أن مجموعة فيها ثلاثة أصفار أو أربعة بعد التدريب، تُخزَّن قيمتان على أي حال، مع حشوها بأصفار عند الحاجة (Mishra et al., 2021).

The two tables carry an insight that matters when you combine pruning with the quantization lectures: the index costs two bits whatever the value width, so the narrower the value type the more the index costs relatively. Mishra et al. give the same figures, about 44% saved for 16-bit and about 38% for 8-bit weights, which is why NVIDIA says the format cuts storage and bandwidth by "almost" 2x rather than exactly 2x (Mishra et al., 2021; NVIDIA, 2020).

يحمل الجدولان فكرة مهمة عندما تجمع التقليم مع محاضرات التكميم (quantization): الفهرس يكلّف بتّين مهما كان عرض القيمة، فكلما ضاق نوع القيمة زادت كلفة الفهرس نسبيًا. يعطي Mishra et al. الأرقام نفسها، توفير نحو 44% للأوزان بدقة 16 بت ونحو 38% للأوزان بدقة 8 بت، ولهذا تقول NVIDIA إن الصيغة تخفض التخزين وعرض النطاق (bandwidth) «تقريبًا» بمقدار 2x وليس 2x بالضبط (Mishra et al., 2021; NVIDIA, 2020).

Where the 2x speedup comes fromمن أين يأتي تسريع 2x

Storage is only half of the payoff. The Ampere A100 added Sparse Tensor Core instructions that take a 2:4 compressed operand and, in the whitepaper's words, "skip the compute on entries that have zero values, resulting in a doubling of the Tensor Core compute throughput": a 16 x 8 x 16 matrix multiply instruction completes in half the cycles of its dense counterpart (NVIDIA, 2020). Software reaches it through TensorRT 8 and cuSPARSELt; the slide's link covers the TensorRT 8.0 path. Zhou et al. restate the same about 2x for the A100, citing NVIDIA rather than measuring it themselves (Zhou et al., ICLR 2021).

التخزين نصف المكسب فقط. أضافت Ampere A100 تعليمات Sparse Tensor Core التي تأخذ مُعامَلًا (operand) مضغوطًا بنمط 2:4، وبتعبير الورقة البيضاء «تتخطى الحساب على المدخلات ذات القيم الصفرية، مما يؤدي إلى مضاعفة إنتاجية الحساب في Tensor Core»: تعليمة ضرب مصفوفات بحجم 16 x 8 x 16 تكتمل في نصف عدد الدورات التي تحتاجها نظيرتها الكثيفة (NVIDIA, 2020). تصل البرمجيات إليها عبر TensorRT 8 وcuSPARSELt؛ ورابط الشريحة يغطي مسار TensorRT 8.0. ويعيد Zhou et al. ذكر الرقم نفسه، نحو 2x على A100، نقلًا عن NVIDIA لا بقياس خاص بهم (Zhou et al., ICLR 2021).

Try the pattern yourself below. Switch the convention from "N nonzero" to "N pruned" at 2:4 and nothing changes; switch it at 1:4 and the sparsity flips from 75% to 25%, which is exactly the ambiguity flagged above. Then toggle FP16 to INT8 and watch the index overhead double.

جرّب النمط بنفسك في الأسفل. غيّر الاصطلاح من «N nonzero» إلى «N pruned» عند 2:4 ولن يتغير شيء؛ غيّره عند 1:4 وسينقلب التناثر من 75% إلى 25%، وهذا بالضبط الغموض المشار إليه أعلاه. ثم بدّل من FP16 إلى INT8 وراقب كلفة الفهرس الإضافية وهي تتضاعف.

A format that halves storage and doubles matmul throughput is worth nothing if the network gets worse. So look at one row first: ResNet-50 on ImageNet scores 76.1% top-1 dense in FP16 and 76.2% after 2:4 pruning. Half the weights are gone and the accuracy is unchanged; the extra 0.1 is run-to-run noise, not a gain.

صيغة تخفض التخزين إلى النصف وتضاعف إنتاجية ضرب المصفوفات لا قيمة لها إذا ساءت الشبكة. لذلك انظر إلى صف واحد أولًا: ResNet-50 على ImageNet يحقق 76.1% في top-1 وهو كثيف بصيغة FP16، و76.2% بعد تقليم 2:4. ذهب نصف الأوزان وبقيت الدقة كما هي؛ والزيادة 0.1 مجرد ضجيج بين تشغيل وآخر، لا مكسب حقيقي.

The rule that produced that row is NVIDIA's three-step recipe. Train the dense network as usual. Prune it to 2:4 by keeping the two largest magnitudes in every group of four, which fixes the mask. Then retrain with the mask held fixed, using the original schedule and hyperparameters, so the survivors absorb the job of the pruned weights. That last step is the fine-tuning loop of part 02 applied under a structural constraint, and the whitepaper reports "virtually no loss in inferencing accuracy" across dozens of networks with it (NVIDIA, 2020). The choice of mask by magnitude inside each group previews the magnitude criterion of part 05.

القاعدة التي أنتجت ذلك الصف هي وصفة NVIDIA ذات الخطوات الثلاث. درّب الشبكة الكثيفة كالمعتاد. ثم قلّمها إلى 2:4 بالاحتفاظ بأكبر قيمتين من حيث المقدار في كل مجموعة من أربعة، وهذا يثبّت mask (القناع). ثم أعد التدريب مع إبقاء القناع ثابتًا، باستخدام الجدول الزمني والمعاملات الفائقة (hyperparameters) الأصلية، لكي تتولى الأوزان الباقية مهمة الأوزان المقلّمة. هذه الخطوة الأخيرة هي حلقة fine-tuning (الضبط الدقيق) من الجزء 02 مطبّقةً تحت قيد بنيوي، وتذكر الورقة البيضاء «عدم وجود خسارة تُذكر تقريبًا في دقة الاستدلال» عبر عشرات الشبكات باستخدامها (NVIDIA, 2020). واختيار القناع حسب المقدار داخل كل مجموعة يمهّد لمعيار المقدار (magnitude criterion) في الجزء 05.

Read the table across, never down. The seven rows use four different metrics (top-1 accuracy, box AP, BLEU and F1), so the only meaningful comparison is dense versus sparse within one row. Read that way the evidence is unusually broad: image classification, object detection, instance segmentation, translation and question answering, spanning convolutional networks and Transformers, and not one row lost measurable accuracy. The whitepaper's explanation is that after training "only a subset of weights have acquired a meaningful purpose", and the retraining step lets the network re-adapt around the fixed mask (NVIDIA, 2020).

اقرأ الجدول أفقيًا، ولا تقرأه عموديًا أبدًا. الصفوف السبعة تستخدم أربعة مقاييس مختلفة (دقة top-1، وbox AP، وBLEU، وF1)، فالمقارنة الوحيدة ذات المعنى هي الكثيف مقابل المتناثر داخل الصف الواحد. وبهذه القراءة تكون الأدلة واسعة على نحو غير معتاد: تصنيف الصور، واكتشاف الأجسام، وتجزئة المثيلات (instance segmentation)، والترجمة، والإجابة عن الأسئلة، وتشمل الشبكات الالتفافية وTransformers، ولم يخسر صف واحد دقة قابلة للقياس. وتفسير الورقة البيضاء هو أنه بعد التدريب «لا تكتسب إلا مجموعة جزئية من الأوزان غرضًا ذا معنى»، وخطوة إعادة التدريب تسمح للشبكة بأن تتكيف من جديد حول القناع الثابت (NVIDIA, 2020).

Now the coarse end of the spectrum. A convolution layer with 64 output channels is pruned at sparsity 0.5: thirty-two whole filters are deleted and the layer becomes a 32-channel layer. Nothing about the result is sparse. Its weight tensor, in the [c_o, c_i, k_h, k_w] layout of part 03, is simply smaller in the c_o dimension, and the next layer, which consumed those channels, is smaller in its c_i dimension.

الآن الطرف الخشن من الطيف. طبقة التفاف (convolution) لها 64 قناة خرج تُقلَّم بنسبة تناثر 0.5: تُحذف اثنان وثلاثون مرشّحًا (filter) كاملًا وتصبح الطبقة بـ 32 قناة. لا شيء في النتيجة متناثر. موتّر أوزانها، بالتخطيط [c_o, c_i, k_h, k_w] من الجزء 03، صار ببساطة أصغر في البعد c_o، والطبقة التالية التي كانت تستهلك تلك القنوات صارت أصغر في بعدها c_i.

That is the whole argument for channel pruning, and both sides of the slide's trade-off follow from it. Pro: direct speedup on any hardware, because a network with fewer channels does less work in every dense library that exists. Li et al. put it precisely: removing whole filters "does not result in sparse connectivity patterns", so it "does not need the support of sparse convolution libraries and can work with existing efficient BLAS libraries" (Li et al., ICLR 2017). He, Zhang and Sun report a 5x speedup on VGG-16 for a 0.3% increase in error and 2x on ResNet for 1.4% (He, Zhang and Sun, ICCV 2017). Con: a smaller compression ratio, because a channel is a much coarser unit than a weight. Keeping a channel means keeping all of its weights, including the weak ones that fine-grained pruning would have dropped, so you cannot reach the 9x to 13x of slide 20.

هذه هي الحجة الكاملة لصالح channel pruning (تقليم القنوات)، ومنها ينتج طرفا المقايضة في الشريحة. الميزة: تسريع مباشر على أي عتاد، لأن الشبكة ذات القنوات الأقل تؤدي عملًا أقل في كل مكتبة كثيفة موجودة. يعبّر Li et al. عن ذلك بدقة: إزالة مرشّحات كاملة (removing whole filters) «لا تؤدي إلى أنماط اتصال متناثرة»، ولذلك «لا تحتاج إلى دعم مكتبات الالتفاف المتناثر ويمكنها العمل مع مكتبات BLAS الفعالة الموجودة» (Li et al., ICLR 2017). ويذكر He, Zhang and Sun تسريعًا بمقدار 5x على VGG-16 مقابل زيادة في الخطأ قدرها 0.3%، و2x على ResNet مقابل 1.4% (He, Zhang and Sun, ICCV 2017). العيب: نسبة ضغط أصغر، لأن القناة وحدة أخشن بكثير من الوزن. الاحتفاظ بقناة يعني الاحتفاظ بكل أوزانها، بما فيها الأوزان الضعيفة التي كان التقليم الدقيق سيُسقطها، لذلك لا تستطيع الوصول إلى 9x حتى 13x كما في الشريحة 20.

Pruning one layer shrinks twoتقليم طبقة واحدة يصغّر طبقتين

The example above hid a compounding effect that the slide's bar chart depends on. Pruning the output channels of layer l removes rows from its own weight tensor and columns from layer l+1, because the input channels of l+1 are the output channels of l. The per-layer sparsity values on slide 24 therefore do not add up the way they look; they multiply through the chain.

أخفى المثال السابق أثرًا تراكميًا يعتمد عليه المخطط الشريطي في الشريحة. تقليم قنوات الخرج في الطبقة l يزيل صفوفًا من موتّر أوزانها هي وأعمدةً من الطبقة l+1، لأن قنوات الدخل في l+1 هي قنوات الخرج من l. لذلك فإن قيم sparsity (التناثر) لكل طبقة في الشريحة 24 لا تُجمع كما تبدو؛ بل تتضاعف بعضها في بعض عبر السلسلة.

Uniform shrink versus channel pruneالتصغير الموحّد مقابل تقليم القنوات

The inequality on slide 24, "Uniform Shrink < Channel Prune", compares accuracy at a comparable budget. Uniform shrink applies one ratio to every layer, which is what a MobileNet width multiplier does. It ignores the fact that layers differ in how much redundancy they carry: some tolerate 70% removal and others only 20%. Channel pruning proper starts from the trained wide network, chooses a ratio per layer, deletes the least useful channels in each, and fine-tunes. Under the same latency or MAC budget, spending the cuts where they hurt least keeps more accuracy. Slide 24 defers the obvious question, how to find those ratios; the sensitivity analysis of lecture 04-2 (Pruning ratios, fine-tuning and sparse hardware) and the AMC search of the next concept are the answers.

المتباينة في الشريحة 24، «Uniform Shrink < Channel Prune»، تقارن الدقة عند ميزانية متقاربة. التصغير الموحّد يطبّق نسبة واحدة على كل طبقة، وهذا ما يفعله مُضاعِف العرض (width multiplier) في MobileNet. وهو يتجاهل أن الطبقات تختلف في مقدار الزيادة التي تحملها: بعضها يتحمل إزالة 70% وبعضها 20% فقط. أما تقليم القنوات بمعناه الصحيح فيبدأ من الشبكة العريضة المدرّبة، ويختار نسبة لكل طبقة، ويحذف أقل القنوات فائدة في كل منها، ثم يضبطها ضبطًا دقيقًا. تحت ميزانية زمن استجابة أو MACs نفسها، يحافظ توزيع القطع حيث يضر أقل على دقة أكبر. تؤجل الشريحة 24 السؤال البديهي، وهو كيف نجد تلك النسب؛ والجواب هو تحليل الحساسية في المحاضرة 04-2 (Pruning ratios, fine-tuning and sparse hardware) وبحث AMC في المفهوم التالي.

On a Google Pixel 1, the full-width MobileNet takes 123.3 ms per image and scores 70.6% ImageNet top-1. Shrinking it uniformly with the 0.75 width multiplier brings the latency down to 72.3 ms but the accuracy down to 68.4%. The channel-pruned model found by AMC runs in 68.3 ms at 70.5%: as fast as the shrunken model, 2.1 points more accurate, and only 0.1 below the full model at 1.81x its speed (He et al., ECCV 2018).

على هاتف Google Pixel 1، يستغرق MobileNet بكامل عرضه 123.3 ms لكل صورة ويحقق 70.6% في ImageNet top-1. تصغيره تصغيرًا موحّدًا (uniform shrink) بمضاعف العرض 0.75 يخفض زمن الاستجابة إلى 72.3 ms لكنه يخفض الدقة إلى 68.4%. أما النموذج المقلّم القنوات (channel-pruned) الذي وجده AMC فيعمل في 68.3 ms بدقة 70.5%: بسرعة النموذج المصغّر نفسها، وأدق منه بـ 2.1 نقطة، وأقل من النموذج الكامل بـ 0.1 فقط مع سرعة تبلغ 1.81x من سرعته (He et al., ECCV 2018).

AMC (AutoML for Model Compression) is the method behind the red curve on slide 25. It treats the per-layer sparsity ratios as actions for a reinforcement-learning agent, which walks the network layer by layer, proposes a ratio for each, and is rewarded by the accuracy the pruned model reaches under a FLOPs or latency constraint. The pruned model is then fine-tuned. The baseline is the easiest thing one could do instead, which the paper states plainly: "the easiest way to reduce the channels of a model is to use uniform channel shrinkage, i.e. use a width multiplier", and the result is that AMC "consistently outperforms the uniform baselines" (He et al., ECCV 2018).

AMC (AutoML for Model Compression) هي الطريقة وراء المنحنى الأحمر في الشريحة 25. تعامل نسب التناثر لكل طبقة على أنها أفعال (actions) لوكيل تعلم معزّز (reinforcement learning) يمر على الشبكة طبقةً طبقة، ويقترح نسبة لكل منها، ويُكافأ بالدقة التي يبلغها النموذج المقلّم تحت قيد على FLOPs أو على زمن الاستجابة. ثم يُضبط النموذج المقلّم ضبطًا دقيقًا. خط الأساس هو أسهل ما يمكن فعله بدلًا من ذلك، والورقة تقوله صراحةً: «أسهل طريقة لتقليل قنوات نموذج هي استخدام تصغير قنوات موحّد، أي استخدام مضاعف عرض»، والنتيجة أن AMC «يتفوق باستمرار على خطوط الأساس الموحّدة» (He et al., ECCV 2018).

The chart on the slide is AMC's Figure 5b. The four table rows above are exact; the remaining points in the table below are read off the figure and are approximate. Either way the shape is the same. At equal latency the searched ratios are about 1.5 to 2 points better. At similar accuracy they are much faster: the 50% latency-budget model keeps 70.2% at 63.3 ms, 1.95x faster than the 123.3 ms full model at 70.6%, only 0.4 points higher.

المخطط في الشريحة هو الشكل 5b من ورقة AMC. صفوف الجدول الأربعة أعلاه دقيقة؛ أما النقاط الباقية في الجدول أدناه فمقروءة من الشكل وتقريبية. وفي الحالتين الشكل العام واحد. عند زمن استجابة متساوٍ تكون النسب المبحوث عنها أفضل بنحو 1.5 إلى 2 نقطة. وعند دقة متقاربة تكون أسرع بكثير: النموذج ذو ميزانية زمن الاستجابة 50% يحافظ على 70.2% عند 63.3 ms، أي أسرع بمقدار 1.95x من النموذج الكامل البالغ 123.3 ms بدقة 70.6%، الذي يزيد عليه بـ 0.4 نقطة فقط.

Choosing a granularity for a real boardاختيار درجة التقليم للوحة حقيقية

This is where the part comes together for your project. The granularity you pick is a hardware decision, not a compression decision:

هنا يجتمع هذا الجزء في خدمة مشروعك. درجة التقليم التي تختارها قرار يتعلق بالعتاد، لا قرار يتعلق بالضغط:

• Target is an Ampere-class or newer NVIDIA GPU (a Jetson Orin, an A100): prune to 2:4. Half the weights, about 2x on the matmuls, accuracy held by retraining.إذا كان الهدف GPU من NVIDIA من فئة Ampere أو أحدث (Jetson Orin، أو A100): قلّم إلى 2:4. نصف الأوزان، ونحو 2x في ضرب المصفوفات، والدقة محفوظة بإعادة التدريب.
• Target is a phone CPU, a microcontroller or an NPU with dense kernels only: channel pruning with searched per-layer ratios, AMC style. A smaller dense network is the safest choice, since it needs no special kernels. Some mobile runtimes (XNNPACK) do accelerate high unstructured sparsity in 1x1 convolutions, so check what your runtime supports.إذا كان الهدف CPU هاتف، أو متحكمًا دقيقًا (microcontroller)، أو NPU بنوى كثيفة فقط: تقليم القنوات بنسب لكل طبقة مبحوث عنها على طريقة AMC. الشبكة الكثيفة الأصغر هي الخيار الأكثر أمانًا، لأنها لا تحتاج إلى نوى خاصة. بعض بيئات التشغيل على الهواتف (XNNPACK) تسرّع فعلًا التناثر غير المنظّم العالي في الالتفافات 1x1، فتحقق مما تدعمه بيئة التشغيل لديك.
• Target has a sparse accelerator such as EIE, or the constraint is storage and not latency: fine-grained pruning, for the largest compression ratio.إذا كان الهدف فيه مسرّع متناثر مثل EIE، أو كان القيد هو التخزين لا زمن الاستجابة: التقليم الدقيق، للحصول على أكبر نسبة ضغط.