Quantization-aware training: fake quantization and the straight-through estimatorالتدريب الواعي بالتكميم (QAT): التكميم الزائف والمقدّر المباشر (STE)

Take the 4×4 weight matrix you have quantized many times already and cluster it with K-means into four values: 2.00, 1.50, 0.00, -1.00. Every weight is now stored as a 2-bit cluster index, and the network only ever sees those four numbers. Its accuracy has dropped. Can a few more training steps win some of it back, even though the weights are no longer free to take any value?

خذ مصفوفة الأوزان 4×4 التي كمّمتها مرات عديدة من قبل، وجمّعها بالـ K-means في أربع قيم: 2.00, 1.50, 0.00, -1.00. أصبح كل وزن الآن مخزَّناً كرقم cluster من 2 بت، والشبكة لا ترى إلا هذه الأرقام الأربعة. لقد انخفضت دقتها. هل يمكن لبضع خطوات تدريب إضافية أن تستعيد جزءاً منها، رغم أن الأوزان لم تعد حرة في أخذ أي قيمة؟

Train with the quantizer, not after itدرّب مع الـ quantizer، لا بعده

Yes, and that is the whole idea of Quantization-aware training (QAT). In Post-training quantization (PTQ), the network was trained without ever seeing rounding, and we rounded it afterwards. The error that rounding adds is a surprise to every later layer. If the network is trained or fine-tuned while its weights and activations are already quantized, gradient descent can steer the remaining free parameters toward a solution that works well on the quantization grid. This matters most for aggressive settings, 4 bits and below, where the grid is so coarse that no choice of scale or rounding alone keeps accuracy.

نعم، وهذه هي فكرة Quantization-aware training (QAT) كلها. في Post-training quantization (PTQ) دُرّبت الشبكة دون أن ترى التقريب أبداً، ثم قرّبناها بعد ذلك. الخطأ الذي يضيفه التقريب يكون مفاجأة لكل طبقة لاحقة. أما إذا دُرّبت الشبكة أو أُجري لها fine-tuning وأوزانها وactivations مكمَّمة أصلاً، فإن الـ gradient descent يستطيع توجيه المعاملات الحرة المتبقية نحو حل يعمل جيداً على شبكة الـ quantization. هذا مهم أكثر ما يكون في الإعدادات الحادة، 4 بتات فأقل، حيث تكون الشبكة خشنة لدرجة أنه لا يوجد اختيار للـ scale أو للتقريب وحده يحافظ على الدقة.

The slides add a practical rule: fine-tune a pretrained floating-point model rather than training a quantized model from scratch. Krishnamoorthi reports the same finding in his INT8 study. The FP model has already found a good region of the loss surface with full freedom. QAT then only has to make small corrections so that the quantized version of that solution works, which is a much easier problem than searching the whole space through a coarse grid.

تضيف الشرائح قاعدة عملية: اعمل fine-tuning لنموذج floating-point مدرَّب مسبقاً بدلاً من تدريب نموذج مكمَّم من الصفر. ويذكر Krishnamoorthi النتيجة نفسها في دراسته عن INT8. نموذج الـ FP وجد أصلاً منطقة جيدة من سطح الخسارة (loss surface) وهو يتمتع بحرية كاملة. وبعدها لا يحتاج الـ QAT إلا إلى تصحيحات صغيرة كي تعمل النسخة المكمَّمة من ذلك الحل، وهذه مسألة أسهل بكثير من البحث في الفضاء كله عبر شبكة خشنة.

QAT for K-means quantization: only the centroids learnQAT في K-means quantization: الـ centroids وحدها تتعلم

With K-means quantization the cluster assignment is frozen. What can still change is the codebook, the four centroid values. Every weight in cluster $k$ equals the centroid $c_k$, so by the chain rule the gradient of the loss with respect to $c_k$ is the sum of the gradients of all weights that point to it. That gives a four-step recipe from Deep Compression (Han et al., ICLR 2016): compute the usual weight gradients, group them by cluster index, reduce each group by summing, then multiply by the learning rate and subtract from the centroid.

في K-means quantization يكون توزيع الأوزان على الـ clusters مجمَّداً. ما يمكن أن يتغير هو الـ codebook، أي قيم الـ centroids الأربع. كل وزن في الـ cluster رقم $k$ يساوي الـ centroid $c_k$، لذلك بقاعدة السلسلة يكون gradient الخسارة بالنسبة إلى $c_k$ هو مجموع gradients كل الأوزان التي تشير إليه. هذا يعطينا وصفة من أربع خطوات من Deep Compression (Han et al., ICLR 2016): احسب gradients الأوزان المعتادة، وجمّعها حسب رقم الـ cluster، واختزل كل مجموعة بالجمع، ثم اضرب في معدل التعلم واطرح من الـ centroid.

Now switch to linear quantization. Suppose one weight is w = 1.48 on the 2-bit grid of slide 43, whose step is S = 1.07. It rounds to the level 1.07. A typical SGD update is tiny, say 0.005. If we stored only the quantized weight and applied the update to it, we would get 1.075, which rounds straight back to 1.07. Every update is erased, forever.

لننتقل الآن إلى الـ linear quantization. افترض أن وزناً واحداً قيمته w = 1.48 على شبكة الـ 2 بت في الشريحة 43، وخطوتها S = 1.07. هذا الوزن يُقرَّب إلى المستوى 1.07. تحديث SGD المعتاد صغير جداً، وليكن 0.005. لو خزّنّا الوزن المكمَّم فقط وطبقنا التحديث عليه لحصلنا على 1.075، وهذه تُقرَّب مباشرة إلى 1.07 من جديد. كل تحديث يُمحى، وإلى الأبد.

Keep a full-precision copy and quantize on the flyاحتفظ بنسخة بالدقة الكاملة وكمّم أثناء التشغيل

The fix is to keep a Full-precision weight copy of the weights $W$ throughout training. The optimizer updates this copy, so small steps accumulate without being rounded away. Every forward pass then quantizes the current copy into $Q(W)$ and uses that. In the example, w = 1.48 must reach the rounding boundary halfway between 1.07 and 2.14, at 1.5 × 1.07 = 1.605. That is 0.125 away, so after about 25 steps of 0.005 the quantized weight jumps to 2.14. The many small steps were not lost, they were stored up. Once training ends the copy is thrown away and only the quantized weights are used for inference.

الحل هو الاحتفاظ بـ Full-precision weight copy للأوزان $W$ طوال التدريب. الـ optimizer يحدّث هذه النسخة، فتتراكم الخطوات الصغيرة دون أن يمحوها التقريب. ثم في كل forward pass نكمّم النسخة الحالية إلى $Q(W)$ ونستخدمها. في المثال، يجب أن يصل w = 1.48 إلى حد التقريب الواقع في منتصف المسافة بين 1.07 و2.14، أي عند 1.5 × 1.07 = 1.605. المسافة 0.125، لذلك بعد نحو 25 خطوة كل منها 0.005 يقفز الوزن المكمَّم إلى 2.14. الخطوات الصغيرة الكثيرة لم تضِع، بل كانت تُدَّخر. وعند انتهاء التدريب تُرمى النسخة ولا تُستخدم في الـ inference إلا الأوزان المكمَّمة.

Fake quantization: discrete values, floating-point arithmeticالـ fake quantization: قيم متقطعة وحساب بالـ floating point

How is $Q(W)$ computed? It is linear quantization followed immediately by dequantization, all in floating point: $W \to S_W\, q_W = Q(W)$. The result is still an FP tensor, but every entry lies exactly on the quantization grid. This is called Simulated (fake) quantization, or simulated quantization, because no integer hardware is involved. Slide 43 shows the arithmetic with the zero point included.

كيف تُحسب $Q(W)$؟ هي linear quantization يتبعه مباشرة dequantization، وكل ذلك بالـ floating point: $W \to S_W\, q_W = Q(W)$. الناتج ما زال tensor من نوع FP، لكن كل عنصر فيه يقع تماماً على شبكة الـ quantization. يسمى هذا Simulated (fake) quantization، أي quantization محاكى، لأنه لا يستخدم أي عتاد للأعداد الصحيحة. الشريحة 43 تعرض الحساب مع إدخال الـ zero point.

Activations get the same treatment. The output $Y$ of a layer is fake-quantized as $Y \to S_Y (q_Y - Z_Y) = Q(Y)$ before it is passed on, so the next layer receives $Q(X)$ as its input. The scale of the activations is not known from the weights; it is tracked during training, typically with an Exponential moving average (EMA) of the observed range.

الـ activations تُعامَل بالطريقة نفسها. مخرج الطبقة $Y$ يمر بـ fake quantization على الشكل $Y \to S_Y (q_Y - Z_Y) = Q(Y)$ قبل أن يُمرَّر، فتستقبل الطبقة التالية $Q(X)$ كمدخل لها. الـ scale الخاص بالـ activations لا يُعرف من الأوزان؛ بل يُتتبَّع أثناء التدريب، عادةً باستخدام Exponential moving average (EMA) للمدى المرصود.

Plot $Q(w) = \operatorname{round}(w)$ for w from 0 to 5. You get a staircase. Pick any point, say w = 2.3, and nudge it slightly: Q stays at 2. The slope there is exactly zero. The same is true at every point except the jumps at 0.5, 1.5, 2.5, …, where the function is not differentiable at all.

ارسم $Q(w) = \operatorname{round}(w)$ لقيم w من 0 إلى 5. ستحصل على درَج. اختر أي نقطة، ولتكن w = 2.3، وحرّكها قليلاً: تبقى Q عند 2. الميل هناك يساوي صفراً تماماً. والأمر نفسه صحيح عند كل نقطة ما عدا القفزات عند 0.5, 1.5, 2.5, …، حيث الدالة غير قابلة للاشتقاق أصلاً.

The true gradient kills learningالـ gradient الحقيقي يقتل التعلم

Backpropagation reaches the weights through the quantizer, so the chain rule multiplies by that slope.

الـ backpropagation يصل إلى الأوزان عبر الـ quantizer، لذلك تضرب قاعدة السلسلة في ذلك الميل.

The layer above still produces a useful signal $\partial L/\partial Q(W)$: it knows whether the effective weight should be larger or smaller. But the zero factor wipes it out. The FP copy would receive a zero gradient on every step and never move. Slide 44 posed exactly this question: how should gradients back-propagate through the simulated quantization?

الطبقة التي فوقها ما زالت تنتج إشارة مفيدة $\partial L/\partial Q(W)$: فهي تعرف هل يجب أن يكون الوزن الفعلي أكبر أم أصغر. لكن العامل الصفري يمحوها. ستستقبل نسخة الـ FP gradient صفرياً في كل خطوة ولن تتحرك أبداً. الشريحة 44 طرحت هذا السؤال بالضبط: كيف يجب أن تنتشر الـ gradients للخلف عبر الـ quantization المحاكى؟

Pretend the quantizer is the identity on the way backتظاهَر بأن الـ quantizer هو دالة الهوية في طريق العودة

The Straight-through estimator (STE) answers it with a deliberate approximation. In the forward pass, quantize as usual. In the backward pass, treat the quantizer as if it were the identity function, the dashed diagonal through the staircase, whose slope is 1. The gradient arriving at $Q(W)$ is passed straight through to $W$. The idea goes back to Hinton's 2012 Coursera lectures and was analysed by Bengio, Léonard and Courville in 2013.

يجيب Straight-through estimator (STE) عن هذا السؤال بتقريب متعمَّد. في الـ forward pass نكمّم كالمعتاد. وفي الـ backward pass نعامل الـ quantizer كأنه دالة الهوية (identity)، أي القطر المتقطع المار عبر الدرَج، وميله 1. الـ gradient الواصل إلى $Q(W)$ يُمرَّر مباشرة إلى $W$. تعود الفكرة إلى محاضرات Hinton على Coursera عام 2012، وحلّلها Bengio وLéonard وCourville عام 2013.

Why is this a reasonable lie? Over a range of many steps the staircase follows the identity line closely: raising $w$ by one step raises $Q(w)$ by one step on average. The STE uses that average slope instead of the local one. Combined with the FP copy, it gives exactly the behaviour you want: the copy drifts in the direction the loss prefers, and $Q(W)$ jumps to the next level once the drift is large enough.

لماذا هذه كذبة معقولة؟ على مدى خطوات كثيرة يتبع الدرَج خط الهوية عن قرب: رفع $w$ بمقدار خطوة واحدة يرفع $Q(w)$ بخطوة واحدة في المتوسط. الـ STE يستخدم ذلك الميل المتوسط بدلاً من الميل المحلي. ومع نسخة الـ FP يعطي بالضبط السلوك المطلوب: تنجرف النسخة في الاتجاه الذي تفضّله الخسارة، وتقفز $Q(W)$ إلى المستوى التالي عندما يكبر الانجراف بما يكفي.

Watch it work on a single weight. Loss L = ½ (Q(w) - 2.3)² wants the effective weight to be 2.3, but the grid only offers integers. Switch between the true gradient and the STE, and step the training loop.

شاهدها تعمل على وزن واحد. الخسارة L = ½ (Q(w) - 2.3)² تريد أن يكون الوزن الفعلي 2.3، لكن الشبكة لا تقدم إلا أعداداً صحيحة. بدّل بين الـ gradient الحقيقي والـ STE، وتقدّم في حلقة التدريب خطوة خطوة.

With the true gradient nothing ever happens. With the STE the FP copy climbs, $Q(w)$ jumps from 0 to 1 to 2, and then the copy settles at the boundary 2.5, flipping between levels 2 and 3. Krishnamoorthi observed the same effect in real networks: during QAT the FP weights converge to the quantization decision boundaries.

مع الـ gradient الحقيقي لا يحدث شيء أبداً. ومع الـ STE تصعد نسخة الـ FP، وتقفز $Q(w)$ من 0 إلى 1 إلى 2، ثم تستقر النسخة عند الحد 2.5 وتتأرجح بين المستويين 2 و3. لاحظ Krishnamoorthi الأثر نفسه في الشبكات الحقيقية: أثناء الـ QAT تتقارب أوزان الـ FP نحو حدود قرار الـ quantization.

Return to the worst number in this lecture. MobileNetV1 has 70.9% top-1 accuracy in floating point. INT8 PTQ with asymmetric Per-tensor quantization collapses it to 0.1%, which is chance level on ImageNet. Fine-tune the same model with QAT and the same per-tensor scheme reaches 70.0%.

لنعد إلى أسوأ رقم في هذه المحاضرة. دقة MobileNetV1 في top-1 هي 70.9% بالـ floating point. الـ INT8 PTQ مع Per-tensor quantization غير المتماثل (asymmetric) يهوي بها إلى 0.1%، وهو مستوى التخمين العشوائي على ImageNet. أجرِ fine-tuning للنموذج نفسه بالـ QAT فيصل المخطط نفسه (per-tensor) إلى 70.0%.

Reading the tableقراءة الجدول

• QAT recovers most of the loss. With Symmetric quantization and Per-channel quantization, MobileNetV1 goes from 59.1% to 70.7%, a gain of 11.6 points, ending only 0.2 below FP. MobileNetV2 goes from 69.8% to 71.1%.الـ QAT يستعيد معظم الخسارة. مع Symmetric quantization وPer-channel quantization ينتقل MobileNetV1 من 59.1% إلى 70.7%، أي مكسب قدره 11.6 نقطة، لينتهي أقل من الـ FP بـ 0.2 فقط. وينتقل MobileNetV2 من 69.8% إلى 71.1%.
• Training makes simple schemes viable. Per-tensor asymmetric quantization is unusable after training (0.1%) but within 1 point of FP with QAT. The network learns to live with one shared scale.التدريب يجعل المخططات البسيطة صالحة للاستخدام. الـ quantization غير المتماثل لكل tensor غير قابل للاستخدام بعد التدريب (0.1%)، لكنه يصبح ضمن 1 نقطة من الـ FP مع الـ QAT. الشبكة تتعلم أن تتعايش مع scale واحد مشترك.
• The models PTQ hurts most gain the most. NASNet-Mobile was already fine after PTQ (72.2%), so QAT adds less than 1 point.النماذج التي يضرّها الـ PTQ أكثر هي التي تكسب أكثر. كان NASNet-Mobile جيداً أصلاً بعد الـ PTQ (72.2%)، لذلك يضيف الـ QAT أقل من 1 نقطة.
• Why MobileNets suffer, and so gain the most. Krishnamoorthi traces almost all of the loss to weight quantization. Batch norm is folded into the conv weights for inference, and its per-channel scaling makes the weight ranges of different kernels in one layer vary enormously. A single per-tensor scale is then sized for the widest kernel, so narrow kernels get only a handful of the 256 levels, or round to zero. Compact networks with few parameters, like MobileNets with their depthwise convolutions, have little redundancy to absorb that error, while larger networks such as ResNets are more robust. Per-channel scales sidestep the range problem, and QAT lets the weights adapt to whatever grid remains.لماذا تعاني شبكات MobileNet، ولذلك تكسب أكثر. يُرجع Krishnamoorthi معظم الخسارة تقريباً إلى quantization الأوزان. الـ batch norm يُدمج (folded) في أوزان الـ conv من أجل الـ inference، والتحجيم الخاص بكل قناة فيه يجعل مدى أوزان الـ kernels المختلفة في الطبقة الواحدة يتفاوت تفاوتاً هائلاً. عندها يُحدَّد الـ scale الواحد لكل tensor على مقاس أعرض kernel، فلا تحصل الـ kernels الضيقة إلا على عدد قليل من المستويات الـ 256، أو تُقرَّب إلى صفر. الشبكات المدمجة ذات المعاملات القليلة، مثل MobileNet بطبقات الـ depthwise convolutions، فيها تكرار (redundancy) قليل يمتص ذلك الخطأ، بينما الشبكات الأكبر مثل ResNet أكثر متانة. الـ scales لكل قناة (per-channel) تتجاوز مشكلة المدى، والـ QAT يسمح للأوزان بالتكيف مع أي شبكة متبقية.
• Two variables change between columns. Each pair of columns changes both symmetry and granularity, so the table compares recipes, not single factors.متغيران يتغيران بين الأعمدة. كل زوج من الأعمدة يغيّر التماثل (symmetry) والدقة الحبيبية (granularity) معاً، لذلك يقارن الجدول وصفات كاملة، لا عوامل منفردة.

Where this leaves usأين يتركنا هذا

Slide 48 repeats the summary table of the two quantization families and points an arrow at a question mark. K-means quantization stores integer indices but still computes in floating point after a codebook lookup. Linear quantization stores integers and computes with integers. QAT works for both, with a different update rule for each. The question mark asks how far the bit width can go. The next part pushes it to the limit, a single bit, with Binarization, where the same STE idea is what makes training possible.

تكرر الشريحة 48 جدول الملخص لعائلتي الـ quantization وتوجّه سهماً نحو علامة استفهام. الـ K-means quantization يخزّن أرقاماً صحيحة (indices) لكنه ما زال يحسب بالـ floating point بعد البحث في الـ codebook. الـ linear quantization يخزّن أعداداً صحيحة ويحسب بأعداد صحيحة. والـ QAT يعمل مع كليهما، بقاعدة تحديث مختلفة لكل منهما. علامة الاستفهام تسأل: إلى أي حد يمكن أن ينخفض عدد البتات؟ الجزء التالي يدفعه إلى أقصى حد، بت واحد، مع binarization، حيث فكرة الـ STE نفسها هي ما يجعل التدريب ممكناً.