NetAdapt: platform-aware pruning to a latency budgetNetAdapt: تقليم واعٍ بالمنصة حتى ميزانية زمن استجابة

Suppose a pretrained MobileNet runs in 10.0 ms on one core of a Pixel 1 and the product needs 7.0 ms. The Sensitivity analysis of part 03 cannot help directly, because its curves are in accuracy versus Pruning ratio, not milliseconds, and it ignores Layer interaction. AMC (AutoML for Model Compression) from part 04 could be pointed at latency, but it needs a reinforcement learning agent and a training loop of its own. NetAdapt asks a much simpler question, and asks it many times: which single layer can I thin right now so that latency falls by a fixed step while accuracy falls the least?

لنفترض أن شبكة MobileNet مدرَّبة مسبقًا تعمل في 10.0 ms على نواة واحدة من هاتف Pixel 1، والمنتج يحتاج إلى 7.0 ms. لا يستطيع sensitivity analysis من الجزء 03 أن يساعد مباشرة، لأن منحنياته تعبّر عن الدقة مقابل pruning ratio، لا بالملّي ثانية، كما أنه يتجاهل layer interaction. ويمكن توجيه AMC من الجزء 04 نحو الـ latency، لكنه يحتاج إلى وكيل تعلّم معزَّز (reinforcement learning agent) وحلقة تدريب خاصة به. أما NetAdapt فيطرح سؤالًا أبسط بكثير، ويطرحه مرات كثيرة: ما الطبقة الواحدة التي أستطيع ترقيقها الآن بحيث تنخفض الـ latency بخطوة ثابتة بينما تنخفض الدقة بأقل قدر ممكن؟

The slides call it a rule-based iterative, or progressive, method, and every word matters. Rule-based means no learned policy: the decision each round is a comparison of measured numbers. Iterative means the budget is reached in many small steps rather than one cut. Progressive means each step starts from the winner of the previous one. It is Automated pruning in the sense of part 04, because nobody hand-picks per-layer ratios, but the automation is a loop you could run with a spreadsheet.

تسميها الشرائح طريقة تكرارية، أو تدريجية (progressive)، قائمة على القواعد (rule-based)، وكل كلمة هنا مهمة. القائمة على القواعد تعني عدم وجود سياسة متعلَّمة (learned policy): القرار في كل جولة هو مقارنة بين أرقام مقيسة. التكرارية تعني أن الميزانية تُبلغ عبر خطوات صغيرة كثيرة بدل قطع واحد. والتدريجية تعني أن كل خطوة تبدأ من الفائز في الخطوة السابقة. إنها automated pruning بمعنى الجزء 04، لأن أحدًا لا يختار نسب كل طبقة يدويًا، لكن الأتمتة هنا حلقة تستطيع تشغيلها بجدول بيانات (spreadsheet).

The problem, and the trick of tightening it slowlyالمسألة، وحيلة تضييقها ببطء

Yang et al. state the goal as a constrained optimization. Accuracy should be as high as possible while every resource of interest (latency, energy, model size) stays under its budget.

يصوغ Yang et al. الهدف كمسألة تحسين مقيَّدة (constrained optimization). يجب أن تكون الدقة أعلى ما يمكن بينما يبقى كل مورد مهم (الـ latency، والطاقة، وحجم النموذج) تحت ميزانيته.

Solving that in one shot is hopeless, so the paper breaks it into a chain of easier problems. At iteration i the constraint is not the final budget but the previous network's resource use minus a step ΔR.

حل هذه المسألة دفعة واحدة ميؤوس منه، لذلك تقسمها الورقة إلى سلسلة من المسائل الأسهل. عند التكرار i لا يكون القيد هو الميزانية النهائية، بل استهلاك الشبكة السابقة للمورد ناقص خطوة ΔR.

The paper calls ΔR the resource reduction schedule and compares it to a learning-rate schedule. In the small MobileNetV1 experiments it starts at 0.5 ms and decays by 0.96 every iteration; for larger networks the initial step is scaled with the network's latency. The slides simplify this to a manually defined constant, and the worked example below does the same. Think of it as a progressive barrier: each round the wall moves in a little, and the network only has to squeeze past the new wall, never the final one.

تسمي الورقة ΔR بـ resource reduction schedule (جدول تقليص المورد) وتشبّهه بجدول معدل التعلّم (learning-rate schedule). في تجارب MobileNetV1 الصغيرة يبدأ عند 0.5 ms ويتناقص بمعامل 0.96 في كل تكرار؛ أما في الشبكات الأكبر فتُقاس الخطوة الابتدائية بحسب latency الشبكة. تبسّط الشرائح ذلك إلى ثابت يُحدَّد يدويًا، والمثال المحلول أدناه يفعل الشيء نفسه. تخيّله كحاجز تدريجي: في كل جولة يتقدم الجدار قليلًا إلى الداخل، ولا يُطلب من الشبكة إلا أن تعبر من الجدار الجديد، لا من الجدار النهائي أبدًا.

One iteration, step by stepتكرار واحد، خطوة بخطوة

Read slides 34 to 39 as a single loop body. The paper's Algorithm 1 has the same shape, with K equal to the number of convolutional and fully connected layers, so a network with K such layers produces K proposals per iteration.

اقرأ الشرائح من 34 إلى 39 كجسم حلقة واحد. للخوارزمية Algorithm 1 في الورقة الشكل نفسه، حيث K يساوي عدد طبقات الـ convolution والطبقات الكاملة الاتصال (fully connected)، لذلك تنتج شبكة فيها K من هذه الطبقات K مقترحات في كل تكرار.

1. Set the constraint for this round: Con = Res_i minus ΔR_i.حدّد قيد هذه الجولة: Con = Res_i minus ΔR_i.
2. For each layer L_k, choose the number of filters to keep, from the lookup table, so the whole network meets Con; then choose which filters to keep by l2 magnitude.لكل طبقة L_k، اختر من جدول البحث عدد الـ filters التي تُبقيها بحيث تحقق الشبكة كلها Con؛ ثم اختر أي الـ filters تُبقي بحسب l2 magnitude.
3. Short-term fine-tune that proposal (the slides say about 10k iterations) and measure its accuracy on a holdout set.نفّذ short-term fine-tune لذلك المقترح (تقول الشرائح نحو 10k تكرار) وقِس دقته على مجموعة holdout.
4. Keep the proposal with the highest accuracy; it becomes the starting point of the next iteration.احتفظ بالمقترح الأعلى دقة؛ فهو يصبح نقطة البداية للتكرار التالي.
5. Repeat while the latency is still above the budget.كرّر ما دامت الـ latency فوق الميزانية.
6. Long-term fine-tune the final network until convergence.نفّذ long-term fine-tune على الشبكة النهائية حتى التقارب (convergence).

Why a lookup table and not FLOPsلماذا جدول بحث وليس FLOPs

The constraint in Eq. 2 is a latency, so the loop needs to know the latency of every proposal, and there are K of them per iteration. Timing each one on the phone is slow and hard to parallelize. NetAdapt instead builds a Latency lookup table per layer before the loop starts: for every shape a layer might take (input channels, output channels, resolution), measure it once on the device and store the number. Layers that share a shape share an entry. The latency of a whole proposal is then the sum of its layers' entries. The paper's own illustration is a two-layer network where layer 1 with 4 filters on a 3-channel input costs 6 ms, and layer 2 with 6 filters on the 4 channels that layer 1 now produces costs 4 ms, so the network is estimated at 6 + 4 = 10 ms. Notice that the second entry is indexed by the first layer's filter count, which is how the table accounts for the removed input channels. A table indexed by whole networks would grow exponentially with depth; a table per layer grows linearly.

القيد في Eq. 2 هو latency، لذلك تحتاج الحلقة إلى معرفة latency كل مقترح، وعددها K في كل تكرار. قياس كل واحد منها على الهاتف بطيء ويصعب تنفيذه بالتوازي. بدلًا من ذلك يبني NetAdapt جدول latency lookup table لكل طبقة قبل أن تبدأ الحلقة: لكل شكل قد تأخذه الطبقة (قنوات الإدخال، وقنوات الإخراج، والدقة المكانية resolution)، يُقاس مرة واحدة على الجهاز ويُخزَّن الرقم. الطبقات التي تتشارك الشكل نفسه تتشارك المدخل نفسه. عندئذ تكون latency المقترح كله مجموع مدخلات طبقاته. المثال التوضيحي في الورقة شبكة من طبقتين: الطبقة 1 فيها 4 filters على إدخال من 3 قنوات وكلفتها 6 ms، والطبقة 2 فيها 6 filters على القنوات الـ 4 التي تنتجها الطبقة 1 الآن وكلفتها 4 ms، فتُقدَّر الشبكة بـ 6 + 4 = 10 ms. لاحظ أن المدخل الثاني مفهرس بعدد filters الطبقة الأولى، وبهذه الطريقة يحتسب الجدول قنوات الإدخال المحذوفة. الجدول المفهرس بشبكات كاملة سيكبر أُسّيًا مع العمق؛ أما جدول لكل طبقة فيكبر خطيًا.

Why not skip the measurement and count multiply-accumulates? Because MACs are an indirect metric, and their relation to latency is neither linear nor the same across devices. The paper makes the point with a striking table: a network guided by MACs ended up with 19% fewer MACs than the baseline and 29% longer latency on a Pixel 1 CPU.

لماذا لا نتجاوز القياس ونعدّ عمليات الضرب والجمع (multiply-accumulates)؟ لأن الـ MACs مقياس غير مباشر، وعلاقتها بالـ latency ليست خطية وليست واحدة عبر الأجهزة. توضح الورقة ذلك بجدول لافت: شبكة موجَّهة بالـ MACs انتهت بعدد MACs أقل من الأساس (baseline) بنسبة 19% وبـ latency أطول بنسبة 29% على معالج Pixel 1.

The lesson carries over to your own boards. Memory traffic, kernel launch overheads, cache behaviour and how well a library tiles a particular layer shape all change latency without changing the MAC count. The honest number is the one the device reports, and the lookup table is a cheap way to have that number on hand for every candidate. The paper checks the approximation on a Pixel 1 and finds the summed estimate highly correlated with the real measurement. Part 04 noted that AMC can also use a pre-built lookup table to optimize latency; NetAdapt makes it the default rather than an option.

هذا الدرس ينطبق على لوحاتك أنت أيضًا. حركة الذاكرة، وكلفة إطلاق الـ kernel، وسلوك الذاكرة المخبئية (cache)، ومدى جودة تقسيم المكتبة لشكل طبقة معيّن إلى بلاطات (tiling)، كلها تغيّر الـ latency دون أن تغيّر عدد الـ MACs. الرقم الصادق هو الذي يُبلغ عنه الجهاز، وجدول البحث طريقة رخيصة لجعل هذا الرقم متاحًا لكل مرشح. تتحقق الورقة من هذا التقريب على Pixel 1 وتجد أن التقدير بالجمع مرتبط بقوة بالقياس الحقيقي. ذكر الجزء 04 أن AMC يمكنه أيضًا استخدام جدول بحث مبني مسبقًا لتحسين الـ latency؛ أما NetAdapt فيجعله الوضع الافتراضي لا مجرد خيار.

Why fine-tune twiceلماذا نُجري الـ fine-tune مرتين

There are two kinds of Fine-tuning in the loop and they serve different purposes. The short-term fine-tune happens once per proposal, so K times per iteration. Its only job is to make the K accuracies comparable. The paper reports that without it, the accuracy of a small network after pruning rapidly drops to nearly zero, and the algorithm then picks the best proposal solely based on noise. With 10k iterations the accuracy stays above 20% and the ranking becomes meaningful.

في الحلقة نوعان من fine-tuning ولكل منهما غرض مختلف. الـ short-term fine-tune يحدث مرة لكل مقترح، أي K مرة في كل تكرار. وظيفته الوحيدة أن يجعل دقّات المقترحات الـ K قابلة للمقارنة. تذكر الورقة أنه بدونه تنهار دقة الشبكة الصغيرة بعد الـ pruning بسرعة إلى ما يقارب الصفر، فتختار الخوارزمية أفضل مقترح بناءً على الضجيج وحده. ومع 10k تكرار تبقى الدقة فوق 20% ويصبح الترتيب ذا معنى.

The long-term fine-tune happens once, after the loop has stopped, and runs until convergence. This is the step that repairs the damage of all the cuts on the final architecture. In the paper it adds between 1.8 and 4.5 points, 3.4 on average, on top of the last short-term number.

أما الـ long-term fine-tune فيحدث مرة واحدة، بعد توقف الحلقة، ويستمر حتى التقارب. هذه هي الخطوة التي تصلح ضرر كل القطوع على البنية النهائية. في الورقة يضيف ما بين 1.8 و4.5 نقطة، 3.4 في المتوسط، فوق آخر رقم من الـ short-term.

A run you can redo by handتشغيل تستطيع إعادته يدويًا

Take a four-layer network with 32, 64, 64 and 128 filters (layers A to D), a measured latency of 10.0 ms and a budget of 7.0 ms. Fix ΔR = 1.0 ms, ten percent of the starting latency. The lookup tables below are illustrative, the accuracies are synthetic, and the effect of one layer's cut on the next layer's input channels is ignored so the sums stay readable. The paper decays ΔR and accounts for the next layer.

خذ شبكة من أربع طبقات فيها 32 و64 و64 و128 filters (الطبقات من A إلى D)، وlatency مقيسة قدرها 10.0 ms، وميزانية قدرها 7.0 ms. ثبّت ΔR = 1.0 ms، أي عشرة بالمئة من الـ latency الابتدائية. جداول البحث أدناه توضيحية، والدقّات اصطناعية، وتأثير قطع طبقة على قنوات الإدخال في الطبقة التالية مُهمَل كي تبقى المجاميع سهلة القراءة. أما الورقة فتُنقص ΔR تدريجيًا وتحتسب أثر الطبقة التالية.

Now run it yourself. The simulator uses the same tables and the same synthetic accuracy model, so its default run reproduces the example above. Then change the budget or the step and watch which layer gets picked: a smaller ΔR takes more iterations, produces more intermediate models, and tends to end slightly higher in accuracy, which is what the paper's schedule study found.

الآن شغّلها بنفسك. يستخدم المحاكي الجداول نفسها ونموذج الدقة الاصطناعي نفسه، لذلك يعيد تشغيله الافتراضي إنتاج المثال أعلاه. ثم غيّر الميزانية أو الخطوة وراقب أي طبقة تُختار: ΔR الأصغر يحتاج تكرارات أكثر، وينتج نماذج وسيطة أكثر، ويميل إلى الانتهاء بدقة أعلى قليلًا، وهذا ما وجدته دراسة الـ schedule في الورقة.

NetAdapt against AMCNetAdapt مقابل AMC

Both methods answer the question of part 02, which Pruning ratio for which layer, without a human in the loop, and both were published at the same conference. They differ in almost every mechanism, and the NetAdapt paper even uses AMC (under its earlier name, ADC) as a baseline, beating it by 1.2x in latency on the large MobileNetV1.

كلتا الطريقتين تجيبان عن سؤال الجزء 02، أي pruning ratio لأي طبقة، دون إنسان في الحلقة، وكلتاهما نُشرتا في المؤتمر نفسه. وتختلفان في كل آلية تقريبًا، بل إن ورقة NetAdapt تستخدم AMC (باسمه الأقدم ADC) كخط أساس (baseline) وتتفوق عليه بـ 1.2x في الـ latency على MobileNetV1 الكبيرة.

Look back at the worked example. The run was aiming for one network at 7.0 ms, but on the way it produced Net_1 at 9.0 ms and Net_2 at 7.6 ms, and neither took any extra work. Each was the best of its round and each already satisfied its own, slightly looser, constraint. Slide 40 is that observation at full scale: the number of models equals the number of iterations.

عُد إلى المثال المحلول. كان التشغيل يهدف إلى شبكة واحدة عند 7.0 ms، لكنه أنتج في الطريق Net_1 عند 9.0 ms وNet_2 عند 7.6 ms، ولم تتطلب أي منهما عملًا إضافيًا. كل منهما كانت الأفضل في جولتها وكانت تحقق بالفعل قيدها الخاص الأوسع قليلًا. الشريحة 40 هي هذه الملاحظة على نطاق كامل: عدد النماذج يساوي عدد التكرارات.

The paper states it directly. Besides the final network, NetAdapt can generate a sequence of simplified networks, the highest-accuracy network from each iteration Net_1 to Net_i, which together provide the efficient frontier of accuracy and resource consumption trade-offs. The authors call it a family of simplified networks that allows dynamic network selection. With the 0.5 ms initial step and 0.96 decay, the small MobileNetV1 run in Table 2 took 28 iterations, so it delivered 28 networks. The red dots on slide 40 are a series of the same kind plotted the same way, one dot per iteration winner, from about 3.5 ms to 11 ms.

تقول الورقة ذلك صراحة. إلى جانب الشبكة النهائية، يستطيع NetAdapt توليد سلسلة من الشبكات المبسَّطة، أي الشبكة الأعلى دقة من كل تكرار من Net_1 إلى Net_i، وهي معًا تشكّل المنحنى الكفء (efficient frontier) للمفاضلة بين الدقة واستهلاك المورد. ويسميها المؤلفون عائلة من الشبكات المبسَّطة تتيح اختيار الشبكة ديناميكيًا. مع خطوة ابتدائية قدرها 0.5 ms وتناقص بمعامل 0.96، استغرق تشغيل MobileNetV1 الصغيرة في Table 2 عدد 28 تكرارًا، فأعطى 28 شبكة. النقاط الحمراء في الشريحة 40 سلسلة من النوع نفسه مرسومة بالطريقة نفسها، نقطة لكل فائز في تكرار، من نحو 3.5 ms إلى 11 ms.

Reading the chartقراءة الرسم

The horizontal axis is latency on a single large core of a Pixel 1 CPU, measured with TensorFlow Lite as the median of eleven runs. The vertical axis is ImageNet top-1 accuracy. The red dots are the NetAdapt model series for the small MobileNetV1; the green triangles are MobileNetV1 shrunk with the width and resolution multipliers, which is Uniform shrinking from part 02; the blue diamond is MorphNet. The two arrows pick a multiplier point and the MorphNet point and slide left along a horizontal line to the NetAdapt curve, which is where the speedups on the slide come from.

المحور الأفقي هو الـ latency على نواة كبيرة واحدة من معالج Pixel 1، مقيسة باستخدام TensorFlow Lite كوسيط (median) لإحدى عشرة مرة تشغيل. المحور الرأسي هو دقة top-1 على ImageNet. النقاط الحمراء هي model series الخاصة بـ NetAdapt لشبكة MobileNetV1 الصغيرة؛ والمثلثات الخضراء هي MobileNetV1 مصغَّرة بمضاعِفَي العرض والدقة المكانية (width and resolution multipliers)، وهذا هو uniform shrinking من الجزء 02؛ والمعيّن الأزرق هو MorphNet. يختار السهمان نقطة من الـ multiplier ونقطة MorphNet وينزلقان يسارًا على خط أفقي حتى منحنى NetAdapt، ومن هنا تأتي أرقام التسريع في الشريحة.

From about 12.1 ms to about 7.3 ms is 1.7x faster with 0.3% higher accuracy than the multiplier baseline. From about 7.0 ms to about 4.4 ms is 1.6x faster with 0.3% higher accuracy than MorphNet. Across the whole curve the paper summarises it as up to 1.7x faster with the same or higher accuracy. On a mobile GPU (Samsung Galaxy S8 through SNPE) the gain drops to about 1.2x, because about 6.2 ms of that pipeline's latency is overhead that no amount of pruning can remove.

الانتقال من نحو 12.1 ms إلى نحو 7.3 ms يعني تسريعًا بـ 1.7x مع دقة أعلى بـ 0.3% من خط أساس الـ multiplier. والانتقال من نحو 7.0 ms إلى نحو 4.4 ms يعني تسريعًا بـ 1.6x مع دقة أعلى بـ 0.3% من MorphNet. وعلى امتداد المنحنى كله تلخّص الورقة النتيجة بأنها أسرع حتى 1.7x بدقة مساوية أو أعلى. على معالج رسوميات محمول (Samsung Galaxy S8 عبر SNPE) ينخفض المكسب إلى نحو 1.2x، لأن نحو 6.2 ms من latency ذلك المسار كلفة ثابتة (overhead) لا يستطيع أي قدر من الـ pruning إزالتها.

Why does the frontier beat the multipliers at all? A width multiplier thins every layer by the same factor, so it cannot express that some layers matter more. NetAdapt's greedy picks build a non-uniform architecture: the paper's Fig. 10 shows it keeping more filters in layer 6, where the feature map resolution drops, and in the last convolution that feeds the 1000-class classifier, while cutting layers 7 to 10 harder. That is the same lesson as part 02, now discovered by measurement rather than by a sensitivity sweep.

لماذا يتفوق المنحنى على الـ multipliers أصلًا؟ الـ width multiplier يرقّق كل طبقة بالمعامل نفسه، فلا يستطيع التعبير عن أن بعض الطبقات أهم من غيرها. أما اختيارات NetAdapt الـ greedy فتبني بنية غير منتظمة (non-uniform): يُظهر Fig. 10 في الورقة أنها تُبقي filters أكثر في الطبقة 6، حيث تنخفض الدقة المكانية لخريطة الخصائص (feature map)، وفي آخر convolution تغذي المصنِّف ذا الـ 1000 فئة، بينما تقطع الطبقات من 7 إلى 10 بقوة أكبر. هذا هو درس الجزء 02 نفسه، لكنه مكتشف الآن بالقياس لا بمسح الحساسية (sensitivity sweep).

What the schedule does to the seriesماذا يفعل الـ schedule بالسلسلة

Because the series is a by-product of the loop, the step size shapes it. The paper compares three schedules for the same target latency.

بما أن السلسلة ناتج جانبي للحلقة، فإن حجم الخطوة يشكّلها. تقارن الورقة ثلاثة schedules للـ latency المستهدفة نفسها.