Mixed-precision quantization and HAQالتكميم بدقة مختلطة وHAQ

Take a three-layer network quantized the usual way: layer 1 gets 8-bit weights and 8-bit activations, and so do layers 2 and 3. Every value in the model now costs one byte. That is uniform quantization, and it is what you get from a default integer pipeline such as the one by Jacob et al.

خذ شبكة من ثلاث طبقات مكمّمة بالطريقة المعتادة: الطبقة 1 تحصل على أوزان من 8 بت وتنشيطات من 8 بت، وكذلك الطبقتان 2 و3. كل قيمة في النموذج تكلّف الآن بايتًا واحدًا. هذا هو التكميم الموحّد (uniform quantization)، وهو ما تحصل عليه من خط معالجة افتراضي بالأعداد الصحيحة (integer pipeline) مثل الذي قدّمه Jacob et al.

Now suppose you measured each layer and found that layer 1 still works with 4-bit weights and 5-bit activations, layer 2 needs 6 / 7, and layer 3 is happy with 5 / 4. That assignment is Mixed-precision quantization. The weight and activation of the same layer get their own widths, and neighbouring layers can differ freely. Count the bits per weight-activation pair: uniform spends 16 + 16 + 16 = 48, the mixed policy spends 9 + 13 + 9 = 31, about 35% fewer bits for the same three layers.

افترض الآن أنك قست كل طبقة ووجدت أن الطبقة 1 ما زالت تعمل بأوزان من 4 بت وتنشيطات من 5 بت، وأن الطبقة 2 تحتاج 6 / 7، وأن الطبقة 3 تكفيها 5 / 4. هذا التوزيع هو mixed-precision quantization (التكميم بدقة مختلطة). وزن الطبقة الواحدة وتنشيطها يحصل كل منهما على عرضه الخاص، ويمكن للطبقات المتجاورة أن تختلف بحرية. احسب البتات لكل زوج وزن وتنشيط: التكميم الموحّد ينفق 16 + 16 + 16 = 48، والسياسة المختلطة تنفق 9 + 13 + 9 = 31، أي بتات أقل بحوالي 35% للطبقات الثلاث نفسها.

Why layers deserve different widthsلماذا تستحق الطبقات عروضًا مختلفة

Layers are not equal in two separate ways. First, they differ in sensitivity: some layers, often the first and last, lose a lot of accuracy when squeezed, while many middle layers barely notice. Second, they differ in cost: a layer with huge feature maps or huge weight tensors dominates memory traffic or arithmetic, so each bit removed there saves far more time and energy than a bit removed from a tiny layer. Uniform precision ignores both facts. It pays full price in cheap, robust layers and gives no extra protection to fragile ones.

الطبقات ليست متساوية من ناحيتين منفصلتين. أولًا، تختلف في الحساسية (sensitivity): بعض الطبقات، وغالبًا الأولى والأخيرة، تفقد قدرًا كبيرًا من الدقة عند ضغطها، بينما كثير من الطبقات الوسطى بالكاد تتأثر. ثانيًا، تختلف في التكلفة: الطبقة ذات خرائط السمات (feature maps) الضخمة أو موترات الأوزان الضخمة تهيمن على حركة الذاكرة أو على العمليات الحسابية، لذا فكل بت يُزال منها يوفّر وقتًا وطاقة أكثر بكثير من بت يُزال من طبقة صغيرة. الدقة الموحّدة تتجاهل الحقيقتين معًا. فهي تدفع السعر كاملًا في الطبقات الرخيصة المتينة، ولا تعطي أي حماية إضافية للطبقات الهشّة.

Suppose each weight tensor may use any width from 1 to 8 bits, and so may each activation. One layer then has 8 × 8 = 64 possible pairs. Two layers have 64 × 64 = 4,096 combined policies, because every choice in layer 1 can pair with every choice in layer 2. Three layers have 64^3 = 262,144.

افترض أن كل موتر أوزان يمكنه استخدام أي عرض من 1 إلى 8 بت، وكذلك كل تنشيط. عندها يكون للطبقة الواحدة 8 × 8 = 64 زوجًا ممكنًا. وللطبقتين 64 × 64 = 4,096 سياسة مجمّعة، لأن كل خيار في الطبقة 1 يمكن أن يقترن بكل خيار في الطبقة 2. وللطبقات الثلاث 64^3 = 262,144.

The general rule is the multiplication principle. With B_w weight choices, B_a activation choices and n layers, the Mixed-precision design space has

القاعدة العامة هي مبدأ الضرب (multiplication principle). مع B_w خيارًا للأوزان وB_a خيارًا للتنشيطات وn طبقة، يكون حجم design space (فضاء التصميم)

Writing it as a power of two is the exam trick: each layer adds log2(64) = 6 bits of "choice", so the exponent is just 6n. To turn it into a decimal number, multiply the exponent by log10(2) ≈ 0.301.

كتابته كقوة للعدد 2 هي حيلة الامتحان: كل طبقة تضيف log2(64) = 6 بتات من «الاختيار»، فيصبح الأس ببساطة 6n. ولتحويله إلى عدد عشري، اضرب الأس في log10(2) ≈ 0.301.

Picture the search as a game played one layer at a time. The player looks at layer k: how many input and output channels it has, its kernel size, stride, feature map size, number of parameters, whether it is depthwise, and what it chose for the previous step. It then announces a bit width. After it has chosen for every layer, the whole quantized network is run on the accelerator and scored. Over many games, the player learns which choices pay off. That is HAQ (Hardware-Aware Automated Quantization).

تخيّل البحث كلعبة تُلعب طبقة بعد طبقة. ينظر اللاعب إلى الطبقة k: كم قناة دخل وقناة خرج فيها، وحجم النواة (kernel)، والخطوة (stride)، وحجم خريطة السمات، وعدد المعاملات، وهل هي depthwise، وماذا اختار في الخطوة السابقة. ثم يعلن عرض بتات. بعد أن يختار لكل الطبقات، تُشغَّل الشبكة المكمّمة كاملة على المسرّع وتُقيَّم. ومع تكرار اللعب مرات كثيرة، يتعلم اللاعب أي الاختيارات تؤتي ثمارها. هذه هي HAQ.

The reinforcement learning formulationصياغة المسألة كتعلّم معزّز (reinforcement learning)

• Agent. DDPG, an off-policy actor-critic algorithm for continuous actions (Lillicrap et al.). The actor proposes the action; the critic estimates how good that action is in that state, and the actor is trained to raise the critic's estimate.الوكيل (Agent). خوارزمية DDPG، وهي خوارزمية actor-critic خارج السياسة (off-policy) للأفعال المتصلة (Lillicrap et al.). الممثّل (actor) يقترح الفعل، والناقد (critic) يقدّر مدى جودة هذا الفعل في هذه الحالة، ويُدرَّب الممثّل على رفع تقدير الناقد.
• State. A ten-feature vector per layer, normalised to [0, 1]: (k, c_in, c_out, s_kernel, s_stride, s_feat, n_params, i_dw, i_w/a, a_(k-1)). Each layer takes two steps, one for weights and one for activations, flagged by i_w/a.الحالة (State). متجه من عشر خصائص لكل طبقة، مُطبَّع إلى [0, 1]: (k, c_in, c_out, s_kernel, s_stride, s_feat, n_params, i_dw, i_w/a, a_(k-1)). كل طبقة تأخذ خطوتين، واحدة للأوزان وواحدة للتنشيطات، ويميّز بينهما i_w/a.
• Action. A continuous value a_k ∈ [0, 1], rounded to a bit width. A continuous action keeps the order of widths (2 bits is more aggressive than 4, which is more aggressive than 8), which a set of unordered discrete labels would lose.الفعل (Action). قيمة متصلة a_k ∈ [0, 1] تُقرَّب إلى عرض بتات. الفعل المتصل يحافظ على ترتيب العروض (2 بت أشد ضغطًا من 4، و4 أشد ضغطًا من 8)، وهو ترتيب تفقده مجموعة من التسميات المنفصلة غير المرتّبة.
• Reward. Accuracy only, after one epoch of fine-tuning: R = 0.1 × (acc_quant − acc_origin). Resource limits are not in the reward; they are enforced separately, as below.المكافأة (Reward). الدقة فقط، بعد حقبة (epoch) واحدة من الضبط الدقيق: R = 0.1 × (acc_quant − acc_origin). حدود الموارد ليست جزءًا من المكافأة، بل تُفرض بشكل منفصل كما يلي.

Each layer is then quantized linearly, with the clipping range chosen to minimise the KL divergence between the original and quantized weight distributions, the same idea you met for activation clipping earlier in this lecture.

بعد ذلك تُكمَّم كل طبقة خطيًا، ويُختار مدى القص (clipping range) بحيث يقلّل KL divergence بين توزيع الأوزان الأصلي وتوزيعها المكمّم، وهي الفكرة نفسها التي رأيتها في قص التنشيطات سابقًا في هذه المحاضرة.

Hardware in the loopالعتاد داخل الحلقة (hardware in the loop)

The decisive step is how the budget is checked. After the agent proposes a full policy, HAQ maps the quantized model onto a real mixed-precision accelerator, or a cycle-accurate simulator of it, and reads back the latency and energy. If the policy exceeds the budget, HAQ lowers the bit widths layer by layer until it fits, and only then fine-tunes and computes the reward. This is Direct hardware feedback. Three targets were used: the BISMO bit-serial FPGA overlay as an edge design (Zynq-7020) and a cloud design (VU9P), and the BitFusion spatial ASIC, whose processing elements fuse to match each layer's width.

الخطوة الحاسمة هي طريقة التحقق من الميزانية. بعد أن يقترح الوكيل سياسة كاملة، تضع HAQ النموذج المكمّم على مسرّع حقيقي يدعم الدقة المختلطة، أو على محاكٍ دقيق على مستوى الدورة (cycle-accurate simulator) له، وتقرأ زمن الاستجابة والطاقة. إذا تجاوزت السياسة الميزانية، تخفّض HAQ عروض البتات طبقة بعد طبقة حتى تتسع لها، وبعدها فقط تجري الضبط الدقيق وتحسب المكافأة. هذا هو hardware feedback (التغذية الراجعة من العتاد). استُخدمت ثلاثة أهداف: طبقة BISMO التسلسلية على مستوى البت فوق FPGA (bit-serial FPGA overlay) بتصميم للحافة (Zynq-7020) وتصميم للسحابة (VU9P)، ومسرّع BitFusion المكاني (spatial ASIC) الذي تندمج عناصر المعالجة فيه لتطابق عرض كل طبقة.

Why not simply count FLOPs or model size? Because they are proxies, and the proxy can be wrong in exactly the places that matter. Two layers with equal FLOPs can have very different latency: an ordinary convolution reuses each loaded value many times, while a depthwise convolution reuses little and spends its time waiting on memory. Cache locality, kernel launch counts and memory bandwidth all shift the real number. The HAQ paper also shows that a policy tuned for one accelerator is not the best on another, so no single proxy can serve every target.

لماذا لا نكتفي بعدّ FLOPs أو حجم النموذج؟ لأنها مؤشرات تقريبية (proxies)، والمؤشر التقريبي قد يخطئ في المواضع المهمة بالضبط. طبقتان لهما FLOPs متساوية قد يختلف زمن استجابتهما كثيرًا: الالتفاف العادي يعيد استخدام كل قيمة محمَّلة مرات كثيرة، بينما التفاف depthwise يعيد الاستخدام قليلًا ويقضي وقته في انتظار الذاكرة. محلية الذاكرة المخبئية (cache locality) وعدد مرات إطلاق النوى (kernel launches) وعرض نطاق الذاكرة (memory bandwidth) كلها تغيّر الرقم الحقيقي. وتُظهر ورقة HAQ أيضًا أن السياسة المضبوطة لمسرّع واحد ليست الأفضل على مسرّع آخر، فلا يمكن لمؤشر تقريبي واحد أن يخدم كل الأهداف.

Fix a latency budget on the BISMO edge accelerator and ask which MobileNetV1 is most accurate within it. At about 45.5 ms, uniform 4-bit quantization (trained with PACT) reaches 62.44% top-1 on ImageNet. HAQ's mixed policy, at the same 45.5 ms, reaches 67.40%. Same speed, almost five points more accuracy.

ثبّت ميزانية زمن استجابة على مسرّع BISMO للحافة، واسأل: أي نسخة من MobileNetV1 هي الأدق ضمنها؟ عند حوالي 45.5 ms، يصل التكميم الموحّد بـ 4 بت (المدرَّب بطريقة PACT) إلى دقة top-1 قدرها 62.44% على ImageNet. أما السياسة المختلطة من HAQ، عند 45.5 ms نفسها، فتصل إلى 67.40%. السرعة نفسها، وحوالي خمس نقاط دقة إضافية.

Three patterns in slide 71 are worth stating in an exam. First, HAQ is above uniform at every budget. Second, the gap is largest when the budget is tightest, because that is where choosing which layers to squeeze matters most. Third, at about 70 ms HAQ (71.20%) slightly beats even the full 8-bit model (70.82%, the grey dashed line), which needs 96.20 ms. That is roughly a 1.4× speed-up with no accuracy loss. Across settings, the paper reports 1.4× to 1.95× lower latency and 1.9× lower energy than fixed 8-bit quantization with negligible accuracy loss.

ثلاثة أنماط في الشريحة 71 تستحق الذكر في الامتحان. أولًا، HAQ أعلى من التكميم الموحّد عند كل ميزانية. ثانيًا، الفجوة تكون أكبر عندما تكون الميزانية أضيق، لأن هناك بالضبط يصبح اختيار الطبقات التي نضغطها أهم ما يكون. ثالثًا، عند حوالي 70 ms تتفوق HAQ (71.20%) قليلًا حتى على النموذج الكامل بـ 8 بت (70.82%، الخط الرمادي المتقطع)، الذي يحتاج 96.20 ms. أي تسريع بحوالي 1.4× دون خسارة في الدقة. وعبر الإعدادات المختلفة، تذكر الورقة زمن استجابة أقل بمقدار 1.4× إلى 1.95× وطاقة أقل بمقدار 1.9× مقارنة بالتكميم الثابت بـ 8 بت، مع خسارة دقة لا تُذكر.

One method, three budgetsطريقة واحدة، وثلاث ميزانيات

Because the budget is just whatever the hardware or the size counter reports, the same agent can optimise different objectives. Slide 72 shows MobileNetV1 under a model size budget, a latency budget and an energy budget. The shape repeats: HAQ dominates, with the biggest margin at the tightest budget. Under the size budget around 1.1 MB the gap is about 20 points (about 57% versus 37%); under the energy budget around 8 mJ it is about 5 points (about 67.5% versus 62.5%).

لأن الميزانية ببساطة هي أي رقم يعطيه العتاد أو عدّاد الحجم، يستطيع الوكيل نفسه أن يحسّن أهدافًا مختلفة. تعرض الشريحة 72 شبكة MobileNetV1 تحت ميزانية لحجم النموذج، وميزانية لزمن الاستجابة، وميزانية للطاقة. والشكل يتكرر: HAQ تتفوق، وأكبر هامش عند أضيق ميزانية. تحت ميزانية حجم حول 1.1 MB تكون الفجوة حوالي 20 نقطة (حوالي 57% مقابل 37%)، وتحت ميزانية طاقة حول 8 mJ تكون حوالي 5 نقاط (حوالي 67.5% مقابل 62.5%).

Take one block of MobileNetV1 on a 14 × 14 feature map with 512 channels. It has a 3 × 3 depthwise convolution followed by a 1 × 1 pointwise convolution from 512 to 512 channels. Count what each one does and what it moves.

خذ كتلة واحدة من MobileNetV1 على خريطة سمات 14 × 14 بعدد 512 قناة. فيها التفاف depthwise بحجم 3 × 3 يليه التفاف pointwise بحجم 1 × 1 من 512 إلى 512 قناة. احسب ما يفعله كل منهما وما ينقله.

This is the roofline view (Williams, Waterman and Patterson): a layer whose operational intensity sits below the machine's ratio of peak compute to memory bandwidth is limited by memory; above it, by arithmetic. The same layer can land on different sides on different machines, which is exactly why HAQ finds different policies for edge and cloud.

هذه هي نظرة نموذج السقف (roofline) من Williams, Waterman and Patterson: الطبقة التي تقع كثافتها التشغيلية تحت نسبة ذروة الحساب إلى عرض نطاق الذاكرة في الجهاز تكون محدودة بالذاكرة، وإذا كانت فوقها فهي محدودة بالحساب. والطبقة نفسها قد تقع على جانبين مختلفين في أجهزة مختلفة، وهذا بالضبط سبب أن HAQ تجد سياسات مختلفة للحافة والسحابة.

Edge: batch 1, small bandwidthالحافة (edge): دفعة بحجم 1، وعرض نطاق صغير

On the edge accelerator with batch size 1, MobileNetV1's latency is dominated by the depthwise layers. Their time is spent moving feature maps, so the fastest way to speed them up is to shrink those activations. Dropping depthwise activations from 8 to 4 bits cuts this layer's traffic from 205,312 to about 104,960 bytes, nearly halving a memory bound layer's time. So HAQ gives depthwise activations fewer bits and spends the saved budget on pointwise layers.

على مسرّع الحافة بحجم دفعة 1، تهيمن طبقات depthwise على زمن استجابة MobileNetV1. وقتها يُصرف في نقل خرائط السمات، لذا فأسرع طريقة لتسريعها هي تقليص تلك التنشيطات. خفض تنشيطات depthwise من 8 إلى 4 بت يقلّل حركة البيانات في هذه الطبقة من 205,312 إلى حوالي 104,960 بايت، فيكاد يخفض زمن طبقة محدودة بالذاكرة إلى النصف. لذلك تعطي HAQ تنشيطات depthwise بتات أقل، وتنفق الميزانية الموفَّرة على طبقات pointwise.

Cloud: batch 16, large bandwidth and parallelismالسحابة (cloud): دفعة بحجم 16، وعرض نطاق كبير، وتوازٍ عالٍ

On the cloud accelerator, a batch of 16 images reuses every loaded weight 16 times, and the device has much more bandwidth and a bigger processing array. The network now behaves as compute bound, and compute lives in the pointwise layers (the MobileNet paper reports 95% of computation time and 75% of parameters in 1 × 1 convolutions). On a bit-serial engine such as BISMO, the work of a multiply grows with the number of weight bits times activation bits, so cutting pointwise widths saves the most time. Meanwhile HAQ raises depthwise widths to protect accuracy, which costs almost nothing because depthwise layers hold a tiny share of the weights (1.7% in the block above).

على مسرّع السحابة، تعيد دفعة من 16 صورة استخدام كل وزن محمَّل 16 مرة، والجهاز لديه عرض نطاق أكبر بكثير ومصفوفة معالجة أكبر. الشبكة الآن تتصرف كمحدودة بالحساب، والحساب يتركز في طبقات pointwise (تذكر ورقة MobileNet أن 95% من زمن الحساب و75% من المعاملات في التفافات 1 × 1). وفي محرّك تسلسلي على مستوى البت (bit-serial) مثل BISMO، يزداد عمل عملية الضرب مع حاصل ضرب عدد بتات الوزن في عدد بتات التنشيط، لذا فخفض عروض pointwise يوفّر أكبر قدر من الوقت. وفي الوقت نفسه ترفع HAQ عروض depthwise لحماية الدقة، وهذا لا يكلّف شيئًا تقريبًا لأن طبقات depthwise تحمل حصة ضئيلة من الأوزان (1.7% في الكتلة أعلاه).

The figure's annotations add a finer pattern on the cloud: depthwise layers get fewer bits in the first few layers and more in the last few. A reasonable reading, though the paper does not spell it out, is that early layers have large feature maps, so their depthwise traffic still costs time, while late layers have small feature maps, so extra precision there is cheap.

تضيف تعليقات الشكل نمطًا أدق على السحابة: طبقات depthwise تحصل على بتات أقل في الطبقات القليلة الأولى وعلى بتات أكثر في الطبقات القليلة الأخيرة. التفسير المعقول، مع أن الورقة لا تصرّح به، هو أن الطبقات المبكرة لها خرائط سمات كبيرة، فتظل حركة بيانات depthwise فيها مكلفة زمنيًا، بينما الطبقات المتأخرة لها خرائط سمات صغيرة، فتكون الدقة الإضافية فيها رخيصة.

Picture a trained floating-point MobileNet you must ship to a microcontroller next week. This lecture gave you a sequence of decisions, from the cheapest to the most involved, and slide 75 lists them.

تخيّل شبكة MobileNet مدرَّبة بالفاصلة العائمة (floating point) يجب أن تشحنها إلى متحكم دقيق (microcontroller) الأسبوع القادم. أعطتك هذه المحاضرة سلسلة من القرارات، من الأرخص إلى الأكثر تعقيدًا، والشريحة 75 تسردها.

1. Quantize without retraining. Post-training quantization (PTQ) maps each real range onto the integer grid with a scale and zero point. Decide the granularity (per-tensor, per-channel or group) and the range, using min/max, an Exponential moving average (EMA), KL divergence or other clipping.كمّم دون إعادة تدريب. post-training quantization (التكميم بعد التدريب) يربط كل مدى حقيقي بشبكة الأعداد الصحيحة باستخدام scale وzero point. حدّد مستوى الحبيبية (granularity): per-tensor أو per-channel أو group، وحدّد المدى باستخدام min/max أو exponential moving average أو KL divergence أو أنواع أخرى من clipping (القص).
2. Retrain if accuracy drops. Quantization-aware training (QAT) inserts Simulated (fake) quantization in the forward pass and uses the Straight-through estimator (STE) so gradients pass through the rounding.أعد التدريب إذا انخفضت الدقة. quantization-aware training (التدريب المراعي للتكميم) يُدخل fake quantization في التمرير الأمامي (forward pass) ويستخدم straight-through estimator حتى تمر التدرجات عبر عملية التقريب.
3. Go to the extreme if the hardware wants it. Binarization and ternary weights turn multiplies into sign flips or XNOR and popcount.اذهب إلى الحد الأقصى إذا كان العتاد يريد ذلك. binarization (التحويل الثنائي) وternary weights (الأوزان الثلاثية) تحوّلان عمليات الضرب إلى قلب للإشارة أو إلى XNOR وpopcount.
4. Let the bits differ per layer. Mixed precision, searched automatically with the target hardware in the loop, as HAQ does.اجعل البتات تختلف من طبقة لأخرى. الدقة المختلطة (mixed precision)، يُبحث عنها آليًا مع وجود العتاد المستهدف داخل الحلقة، كما تفعل HAQ.

Slide 76 lists the 16 references the lecture draws on, taken from the MIT EfficientML.ai course. The ones worth opening first for this part are HAQ (Wang et al., CVPR 2019), Jacob et al. (CVPR 2018) for integer-only inference, and Krishnamoorthi's 2018 whitepaper for a practical PTQ and QAT guide. The rest map onto this lecture as follows: Deep Compression (Han et al.) and Intel's Distiller docs for the basics; data-free quantization (Nagel et al., listed as "Markus et al."), Banner et al. and NVIDIA's TensorRT talk for PTQ ranges; Hinton's lecture and Bengio et al. for the straight-through estimator; BNN, DoReFa-Net, PACT, WRPN, ABC-Net and INQ for low-bit training.

تسرد الشريحة 76 المراجع الـ 16 التي تعتمد عليها المحاضرة، وهي مأخوذة من مقرر MIT EfficientML.ai. أولى المراجع بالفتح لهذا الجزء هي HAQ (Wang et al., CVPR 2019)، وJacob et al. (CVPR 2018) للاستدلال بالأعداد الصحيحة فقط (integer-only inference)، والورقة البيضاء (whitepaper) لـ Krishnamoorthi عام 2018 كدليل عملي لـ PTQ وQAT. وبقية المراجع ترتبط بالمحاضرة كما يلي: Deep Compression (Han et al.) ووثائق Distiller من Intel للأساسيات؛ والتكميم دون بيانات (data-free quantization) لـ Nagel et al. (المدرج باسم «Markus et al.»)، وBanner et al.، ومحاضرة TensorRT من NVIDIA لمديات PTQ؛ ومحاضرة Hinton وBengio et al. لمقدّر straight-through؛ وBNN وDoReFa-Net وPACT وWRPN وABC-Net وINQ للتدريب منخفض البتات.