The PTQ map (slide 36)

خريطة PTQ (الشريحة 36)

The left half of slide 36 repeats the storage and compute table: floating-point weights use FP storage and FP arithmetic; K-means stores integer indices plus an FP codebook but still computes in FP; linear quantization stores integer weights and computes with integer arithmetic. The right half lists the four decisions you make when you linearly quantize after training:

النصف الأيسر من الشريحة 36 يكرر جدول التخزين والحساب: الأوزان العائمة تستخدم تخزيناً وحساباً FP؛ وK-means يخزّن فهارس صحيحة مع codebook عائم لكنه يحسب بـ FP؛ أما linear quantization فيخزّن أوزاناً صحيحة ويحسب بحساب الأعداد الصحيحة. والنصف الأيمن يسرد القرارات الأربعة عند التكميم الخطي بعد التدريب:

Post-training INT8 results (slides 37 and 38)

نتائج INT8 بعد التدريب (الشريحتان 37 و38)

The table compares two PTQ recipes. Column 1: activations symmetric, per-tensor, range by minimising KL divergence; weights symmetric, per-tensor. Column 2: activations asymmetric, per-tensor, range by EMA; weights symmetric, per-channel. Each entry is the top-1 accuracy change versus the FP model.

يقارن الجدول وصفتين لـ PTQ. العمود 1: التفعيلات متماثلة، لكل tensor، والمدى بتقليل KL divergence؛ والأوزان متماثلة لكل tensor. العمود 2: التفعيلات غير متماثلة، لكل tensor، والمدى بـ EMA؛ والأوزان متماثلة، لكل قناة. كل خانة هي التغير في دقة top-1 مقارنة بنموذج FP.

الشبكات الكبيرة (GoogleNet وResNet-50 وResNet-152) تفقد أقل من 2% في كلا العمودين. أما MobileNetV1 فيفقد 11.8% وMobileNetV2 يفقد 2.1%، والعمود الأول لا يذكر قيمة لهما (−).

Slide 38's verdict: smaller models seem to not respond as well to post-training quantization, presumably due to their smaller representational capacity. MobileNets are already compressed by design (depthwise separable convolutions, few parameters), so there is little redundancy left to absorb rounding noise. The slide then asks: how should we improve performance of quantized models? Slide 39 answers with Quantization-Aware Training.

حكم الشريحة 38: النماذج الأصغر لا تستجيب جيداً لـ post-training quantization، على الأرجح بسبب سعتها التمثيلية الأصغر (representational capacity). نماذج MobileNet مضغوطة بالتصميم أصلاً (depthwise separable convolutions ومعاملات قليلة)، فلا يبقى فيها فائض يمتص ضجيج التقريب. ثم تسأل الشريحة: كيف نحسّن أداء النماذج المكمّاة؟ وتجيب الشريحة 39 بـ Quantization-Aware Training.

QAT: train with quantization in the loop

QAT: التدريب والتكميم داخل الحلقة

Slide 40: to minimise the loss of accuracy, especially for aggressive quantization with 4 bits and lower, the network is trained or fine-tuned with quantized weights and activations. Usually fine-tuning a pre-trained floating-point model gives better accuracy than training from scratch. The slide's example is the K-means fine-tuning you already saw in Deep Compression: gradients are grouped by cluster index, summed per cluster, scaled by the learning rate and subtracted from the centroids.

الشريحة 40: لتقليل فقدان الدقة، خصوصاً مع التكميم العنيف بـ 4 بتات أو أقل، تُدرَّب الشبكة أو تُضبط بأوزان وتفعيلات مكمّاة. وعادةً ضبط نموذج FP مدرَّب مسبقاً يعطي دقة أفضل من التدريب من الصفر. مثال الشريحة هو ضبط K-means الذي رأيته في Deep Compression: تُجمَّع التدرجات حسب فهرس العنقود، وتُجمع لكل عنقود، وتُضرب في معدل التعلم وتُطرح من المراكز (centroids).

blue cluster (index 3): gradients −0.03, 0.12, 0.02, −0.07   reduce: sum = 0.04
centroid 3: 2.00 − 0.04 = 1.96      (slide uses lr = 1)
centroid 2: 1.50 − 0.02 = 1.48
centroid 1: 0.00 − 0.04 = −0.04
centroid 0: −1.00 − (−0.03) = −0.97

هذه أرقام الشريحة 40: مجموع تدرجات العنقود الأزرق 0.04، فيصبح المركز 2.00 − 0.04 = 1.96، وبالمثل 1.48 و−0.04 و−0.97.

For linear quantization, slides 41 to 44 build the training graph. Three bullets repeat on every slide and are the core of QAT:

في linear quantization تبني الشرائح من 41 إلى 44 مخطط التدريب. ثلاث نقاط تتكرر في كل شريحة وهي جوهر QAT:

1. A full-precision copy of the weights W is maintained throughout training.

   تُحفظ نسخة عالية الدقة من الأوزان W طوال التدريب.

2. The small gradients are accumulated without loss of precision.

   تتراكم التدرجات الصغيرة دون فقدان للدقة.

3. Once the model is trained, only the quantized weights are used for inference.

   بعد انتهاء التدريب، تُستخدم الأوزان المكمّمة فقط للاستدلال (inference).

This is simulated (fake) quantization. The weight path is W → S_Wq_W = Q(W): the FP weights are quantized and immediately dequantized, so Q(W) is a float tensor that only takes values on the quantization grid. The activation path is Y → S_Y(q_Y − Z_Y) = Q(Y). Conv, BatchNorm and ReLU still run in full precision; the network simply experiences the same rounding and clipping it will meet at INT8 inference time and learns to tolerate it.

هذا هو التكميم المحاكى (simulated / fake quantization). مسار الأوزان هو W → S_W q_W = Q(W): تُكمَّم الأوزان العائمة ثم يُفك تكميمها فوراً، فـ Q(W) tensor عائم لا يأخذ إلا قيماً على شبكة التكميم. ومسار التفعيلات هو Y → S_Y(q_Y − Z_Y) = Q(Y). أما Conv وBatchNorm وReLU فما زالت تعمل بدقة كاملة؛ الشبكة فقط تختبر نفس التقريب والقص الذي ستواجهه عند الاستدلال بـ INT8 وتتعلم تحمّله.

r = 2.09:  2.09/1.07 − 1 = 0.953  → q = 1   Q = 1.07(1 + 1)  = 2.14
r = −0.98: −0.98/1.07 − 1 = −1.916 → q = −2  Q = 1.07(−2 + 1) = −1.07
r = 0.09:  0.09/1.07 − 1 = −0.916 → q = −1  Q = 1.07(−1 + 1) = 0

Why keep the FP copy?  Let w = 0.09 and each step add 0.01 (−lr·g = +0.01).
Q(w) moves from 0 to 1.07 only when r/S − 1 ≥ −0.5, i.e. r ≥ 0.535.
  with the FP copy:  0.09 + 45 × 0.01 = 0.54 ≥ 0.535  → flips after 45 steps
  storing only Q(w): 0 + 0.01 → rounds back to 0 every step → never moves

The open question (slide 44)

السؤال المفتوح (الشريحة 44)

Slide 44 ends with a red box: how should gradients back-propagate through the (simulated) quantization? Q() is a staircase. Its derivative is 0 on every flat step and undefined at the jumps, so by the chain rule dL/dW = dL/dQ(W) × dQ(W)/dW = 0 and the FP weights would never change. The next page answers this with the Straight-Through Estimator.

تنتهي الشريحة 44 بصندوق أحمر: كيف تنتشر التدرجات عكسياً عبر التكميم (المحاكى)؟ Q() دالة سُلّمية. مشتقتها 0 على كل درجة مستوية وغير معرّفة عند القفزات، فبقاعدة السلسلة dL/dW = dL/dQ(W) × dQ(W)/dW = 0 ولن تتغير الأوزان العائمة أبداً. تجيب الصفحة التالية عن هذا بـ Straight-Through Estimator.