Quantization (III): PTQ granularity, range clipping, rounding, QAT, binary/ternary and mixed precisionالتكميم (Quantization) الجزء الثالث: دقة PTQ، وقص المدى، والتقريب، وQAT، والثنائي والثلاثي، والدقة المختلطة

Suppose a colleague hands you a ResNet trained in FP32 and says: make it run in INT8 on our microcontroller by Friday, and no, you cannot retrain it. You have the weights, perhaps a few hundred unlabeled images, and that is all.

لنفترض أن زميلًا أعطاك شبكة ResNet مدرّبة بدقة FP32 وقال: اجعلها تعمل بـ INT8 على المتحكم الدقيق (microcontroller) لدينا قبل يوم الجمعة، ولا، لا يمكنك إعادة تدريبها. لديك الأوزان، وربما بضع مئات من الصور غير الموسومة، وهذا كل شيء.

That job is Post-training quantization (PTQ). The network’s weights are frozen; the only things you get to choose are the quantization parameters, the scale $S$ and the zero point $Z$, for every tensor you quantize. Its opposite, which the lecture covers later, is Quantization-aware training (QAT), where quantization is simulated during training so the weights can adapt to it. PTQ is cheap and needs no labels; QAT costs a training run but recovers more accuracy at low bit widths.

هذه المهمة هي post-training quantization (التكميم بعد التدريب). أوزان الشبكة مجمّدة، والشيء الوحيد الذي تختاره هو معاملات التكميم: الـ scale $S$ ونقطة الصفر (zero point) $Z$، لكل tensor تكمّمه. ونقيضه، الذي تغطيه المحاضرة لاحقًا، هو quantization-aware training (التدريب الواعي بالتكميم)، حيث يُحاكى التكميم أثناء التدريب كي تتكيّف الأوزان معه. الـ PTQ رخيص ولا يحتاج إلى تسميات (labels)، أما QAT فيكلّف عملية تدريب كاملة لكنه يستعيد دقة أكبر عند عدد بتات منخفض.

The lecture breaks the PTQ question “what are the best $(S, Z)$?” into three independent sub-questions, and the rest of the lecture’s first half answers them in order.

تقسّم المحاضرة سؤال الـ PTQ «ما أفضل $(S, Z)$؟» إلى ثلاثة أسئلة فرعية مستقلة، ويجيب باقي النصف الأول من المحاضرة عنها بالترتيب.

Keep the three apart in your head. Granularity decides who shares a scale. Dynamic range clipping decides how large that scale is, given the values that share it. Rounding decides which level each value lands on once the grid is fixed; the default, Rounding to nearest, turns out not to be optimal. Every one of the three changes the same final number, the error between the original and the dequantized weights, so they interact, but each can be studied with the other two held fixed.

أبقِ الثلاثة منفصلة في ذهنك. الـ granularity تحدد من يتشارك الـ scale. وdynamic range clipping (قصّ المدى الديناميكي) يحدد كم يكون كبيرًا هذا الـ scale، بالنظر إلى القيم التي تتشاركه. والتقريب (rounding) يحدد أي مستوى تقع عليه كل قيمة بعد تثبيت الشبكة؛ والخيار الافتراضي، rounding to nearest (التقريب إلى الأقرب)، يتبيّن أنه ليس الأمثل. كل واحد من الثلاثة يغيّر الرقم النهائي نفسه، أي الخطأ بين الأوزان الأصلية والأوزان بعد إزالة التكميم (dequantized)، لذا فهي تتفاعل فيما بينها، لكن يمكن دراسة كل واحد منها مع تثبيت الاثنين الآخرين.

Picture a convolution weight tensor with 64 output channels, 32 input channels and 3 × 3 kernels: 18,432 numbers. You could give all of them one scale, give each of the 64 filters its own scale, or cut each filter into blocks of 16 and give every block a scale.

تخيّل tensor أوزان لطبقة التفاف (convolution) فيه 64 قناة خرج و32 قناة دخل وkernels بحجم 3 × 3: أي 18,432 رقمًا. يمكنك أن تعطيها كلها scale واحدًا، أو أن تعطي كل واحد من المرشحات (filters) الـ 64 الـ scale الخاص به، أو أن تقطع كل مرشح إلى كتل من 16 وتعطي كل كتلة scale.

That choice is Quantization granularity: how many elements share one scale factor. The lecture lists three levels, from coarse to fine.

هذا الاختيار هو quantization granularity (دقة التكميم): كم عنصرًا يتشارك معامل scale واحدًا. تذكر المحاضرة ثلاثة مستويات، من الخشن إلى الدقيق.

• Per-tensor quantization: one $S$ for the entire tensor. In the example, 18,432 weights share one number.Per-tensor quantization: $S$ واحد للـ tensor كله. في المثال، تتشارك 18,432 وزنًا رقمًا واحدًا.
• Per-channel quantization: one $S_i$ per output channel. Here 64 scales, each shared by the 288 weights of one filter.Per-channel quantization: $S_i$ واحد لكل قناة خرج. هنا 64 قيمة scale، تتشارك كل واحدة منها الأوزانُ الـ 288 لمرشح واحد.
• Group quantization: one scale per small group inside a channel. The lecture’s two flavours are per-vector quantization (VS-Quant (per-vector scaled quantization)) and the Shared micro-exponent (MX) data type; both are the subject of part 2.Group quantization: scale واحد لكل مجموعة صغيرة داخل القناة. النوعان في المحاضرة هما التكميم لكل متجه (VS-Quant) ونوع البيانات MX؛ وكلاهما موضوع الجزء 2.

The trade-off runs in one direction. Finer granularity means each scale only has to fit the values it actually covers, so the step size $S$ shrinks and the rounding error with it. The price is more scales to store and, more importantly, more scales the hardware has to apply. The Qualcomm white paper on quantization (Nagel et al., 2021) puts it plainly: per-tensor is the most common choice because all accumulators use the same scale factor, finer groups improve accuracy at the cost of overhead, and many fixed-point accelerators do not support that extra logic.

المفاضلة تسير في اتجاه واحد. الدقة الأنعم تعني أن كل scale عليه أن يلائم فقط القيم التي يغطيها فعلًا، فيصغر حجم الخطوة $S$ ويصغر معه خطأ التقريب. الثمن هو مزيد من قيم الـ scale التي يجب تخزينها، والأهم من ذلك مزيد من قيم الـ scale التي يجب على العتاد تطبيقها. الورقة البيضاء من Qualcomm عن التكميم (Nagel et al., 2021) تقولها بوضوح: الـ per-tensor هو الخيار الأكثر شيوعًا لأن كل المراكمات (accumulators) تستخدم معامل scale نفسه، والمجموعات الأدق تحسّن الدقة على حساب كلفة إضافية، وكثير من مسرّعات الفاصلة الثابتة (fixed-point accelerators) لا تدعم هذا المنطق الإضافي.

Take two filters in the same layer. One has weights in [-128, 128], the other in (-0.5, 0.5). Quantize both to INT8 with one shared scale: S = 128 / 127 ≈ 1.01. Every weight of the second filter divided by 1.01 is below 0.5 in magnitude, so all of them round to 0. That filter is erased, even with 8 bits.

خذ مرشحين في الطبقة نفسها. أحدهما أوزانه في [-128, 128]، والآخر في (-0.5, 0.5). كمّم الاثنين إلى INT8 بـ scale مشترك واحد: S = 128 / 127 ≈ 1.01. كل وزن من المرشح الثاني بعد قسمته على 1.01 تكون قيمته المطلقة أقل من 0.5، فتُقرَّب كلها إلى 0. هذا المرشح يُمحى تمامًا، حتى مع 8 bits.

This is the example Nagel et al. (ICCV 2019) use, and it is the whole reason this part exists. Before going further, fix the recipe the lecture uses for weights. Weights are roughly centred on zero, so the lecture uses Symmetric quantization: the zero point is $Z = 0$ and the range is set by the largest magnitude.

هذا هو المثال الذي يستخدمه Nagel et al. (ICCV 2019)، وهو السبب الذي يوجد هذا الجزء من أجله أصلًا. قبل المتابعة، ثبّت الوصفة التي تستخدمها المحاضرة للأوزان. الأوزان متمركزة تقريبًا حول الصفر، لذا تستخدم المحاضرة symmetric quantization (التكميم المتماثل): نقطة الصفر $Z = 0$ والمدى تحدده أكبر قيمة مطلقة.

Notice what $q_{\max} = 2^{N-1} - 1$ does to the integer range. An N-bit two’s complement integer can hold -2^(N-1) up to 2^(N-1) - 1, but a symmetric grid uses only -q_max to +q_max, so the most negative code is never produced. For N = 8 that is [-127, 127], exactly the range the TensorFlow Lite (LiteRT) specification mandates for weights. For N = 2 it is dramatic: q_max = 2^1 - 1 = 1, so only the three codes -1, 0, 1 are used, and the fourth code, -2, is wasted.

لاحظ ما تفعله $q_{\max} = 2^{N-1} - 1$ بمدى الأعداد الصحيحة. العدد الصحيح ذو N bit بتمثيل المتمم الثنائي (two’s complement) يمكن أن يحمل القيم من -2^(N-1) حتى 2^(N-1) - 1، لكن الشبكة المتماثلة لا تستخدم إلا من -q_max إلى +q_max، فلا يُنتَج الرمز الأكثر سالبية أبدًا. عند N = 8 يكون ذلك [-127, 127]، وهو بالضبط المدى الذي تفرضه مواصفة TensorFlow Lite (LiteRT) للأوزان. وعند N = 2 يكون الأثر كبيرًا: q_max = 2^1 - 1 = 1، فلا تُستخدم إلا الرموز الثلاثة -1, 0, 1، ويضيع الرمز الرابع -2.

One scale, many channels: the outlier problemscale واحد وقنوات كثيرة: مشكلة القيم الشاذة (outliers)

With one scale per tensor, $|r|_{\max}$ is the largest weight in the entire layer. If one output channel holds that outlier, its range dictates the step size for every channel. Channels whose weights are much smaller collapse onto a handful of levels, often just zero.

مع scale واحد لكل tensor، تكون $|r|_{\max}$ أكبر وزن في الطبقة كلها. إذا كانت قناة خرج واحدة تحمل هذه القيمة الشاذة، فإن مداها يفرض حجم الخطوة على كل القنوات. القنوات ذات الأوزان الأصغر بكثير تنهار إلى عدد قليل من المستويات، وغالبًا إلى الصفر وحده.

The lecture’s evidence is the box plot from Nagel et al.: the per-output-channel weight ranges of the first depthwise-separable layer in MobileNetV2. Most of the 32 channels sit within a few units of zero, while a few stretch to around ±50 to ±100. The lecture’s summary:

دليل المحاضرة هو مخطط الصندوق (box plot) من Nagel et al.: مديات الأوزان لكل قناة خرج في أول طبقة depthwise-separable في MobileNetV2. معظم القنوات الـ 32 تقع في حدود وحدات قليلة حول الصفر، بينما يمتد بعضها إلى نحو ±50 حتى ±100. خلاصة المحاضرة:

• Per-tensor quantization works well for large models but accuracy drops for small models.تكميم per-tensor يعمل جيدًا للنماذج الكبيرة لكن الدقة تنخفض في النماذج الصغيرة.
• The common failure is a large difference, more than 100×, in weight ranges across output channels, caused by outlier weights.الفشل الشائع هو فرق كبير، أكثر من 100×، في مديات الأوزان بين قنوات الخرج، تسببه الأوزان الشاذة.
• The solution is per-channel quantization.الحل هو تكميم per-channel.

The numbers in the paper are stark. MobileNetV2 reaches 71.72% top-1 on ImageNet in FP32. With plain per-tensor INT8 it drops to 0.12%, essentially random guessing; with per-channel INT8 it keeps 70.65%. Depthwise layers are the worst offenders because each output channel has only a few weights (3 × 3 = 9), so one channel can drift far from the others, and folding batch normalization into the weights amplifies the imbalance (Nagel et al., 2021). Large models like ResNets have many weights per channel and smoother ranges, which is why per-tensor survives there.

الأرقام في الورقة صارخة. يصل MobileNetV2 إلى دقة top-1 قدرها 71.72% على ImageNet بدقة FP32. ومع تكميم INT8 عادي من نوع per-tensor تهبط إلى 0.12%، أي ما يعادل التخمين العشوائي؛ ومع INT8 من نوع per-channel تحافظ على 70.65%. طبقات الـ depthwise هي أسوأ المتسببين لأن كل قناة خرج فيها لا تملك إلا أوزانًا قليلة (3 × 3 = 9)، فيمكن لقناة واحدة أن تبتعد كثيرًا عن الأخرى، كما أن دمج الـ batch normalization في الأوزان يضخّم هذا التفاوت (Nagel et al., 2021). أما النماذج الكبيرة مثل ResNets فلديها أوزان كثيرة في كل قناة ومديات أكثر انتظامًا، ولهذا ينجو الـ per-tensor هناك.

Now the lecture’s example, done by hand. Rows are output channels (oc), columns are input channels (ic), and we quantize to N = 2 bits with one scale.

الآن مثال المحاضرة، محلولًا باليد. الصفوف هي قنوات الخرج (oc)، والأعمدة هي قنوات الدخل (ic)، ونكمّم إلى N = 2 bits بـ scale واحد.

Same matrix, same 2 bits, but now each output channel (each row) gets its own scale. With q_max = 1, each scale is simply that row’s largest magnitude.

المصفوفة نفسها، و2 bits نفسها، لكن الآن تحصل كل قناة خرج (كل صف) على scale خاص بها. ومع q_max = 1، يكون كل scale ببساطة أكبر قيمة مطلقة في ذلك الصف.

Where did the improvement come from? Not only from the one flipped code. Break the squared error down by row:

من أين جاء التحسّن؟ ليس فقط من الرمز الواحد الذي انقلب. فكّك الخطأ المربّع حسب الصف:

oc3 gains the most, and none of its codes changed: its nonzero weights 1.87, 1.53, 1.49 are now reconstructed as 1.87 instead of 2.12, much closer. oc2 gains from the flipped code (error on that entry falls from 1.03 to |-1.03 + 1.92| = 0.89) and from 1.92 now being exact. oc1 is unchanged because its scale is unchanged. The lesson: a smaller, better-fitted scale helps both by moving values onto nonzero codes and by placing the levels closer to the values.

oc3 يستفيد أكثر من غيره، ولم يتغير أي من رموزه: أوزانه غير الصفرية 1.87, 1.53, 1.49 يُعاد بناؤها الآن كـ 1.87 بدل 2.12، وهذا أقرب بكثير. ويستفيد oc2 من الرمز المنقلب (ينخفض الخطأ في ذلك المدخل من 1.03 إلى |-1.03 + 1.92| = 0.89) ومن أن 1.92 أصبحت الآن دقيقة تمامًا. أما oc1 فلا يتغير لأن الـ scale الخاص به لم يتغير. الدرس: الـ scale الأصغر والأكثر ملاءمة يساعد بطريقتين: بنقل القيم إلى رموز غير صفرية، وبوضع المستويات أقرب إلى القيم.

Try it live. Switch between the two schemes and watch the highlighted cell; then change the bit width. At 3 and 4 bits per-channel is actually a hair worse on this particular matrix (0.710 versus 0.699 at 3 bits), because its row ranges are almost equal (1.87 to 2.12) and which side of a rounding boundary each value lands on is partly luck. Per-channel wins reliably when ranges differ a lot, which is exactly the MobileNetV2 situation.

جرّبه مباشرة. بدّل بين الطريقتين وراقب الخلية المظلَّلة، ثم غيّر عدد البتات. عند 3 و4 bits يكون per-channel في الواقع أسوأ بفارق ضئيل على هذه المصفوفة بالذات (0.710 مقابل 0.699 عند 3 bits)، لأن مديات صفوفها متساوية تقريبًا (من 1.87 إلى 2.12)، وفي أي جانب من حد التقريب تقع كل قيمة هو جزئيًا مسألة حظ. يفوز per-channel بشكل موثوق عندما تختلف المديات كثيرًا، وهذا بالضبط وضع MobileNetV2.

Why output channels, not input channelsلماذا قنوات الخرج وليس قنوات الدخل

The slides draw the scale arrows along rows, the output channels, and the convolution picture boxes the filter dimension c_o. That is not arbitrary; it is what keeps integer arithmetic possible. Output i of a layer is a dot product over the inputs j. Write the weights as S_i q_ij and the activations as s_x x_j with integer x_j:

ترسم الشرائح أسهم الـ scale على طول الصفوف، أي قنوات الخرج، وصورة الالتفاف تؤطّر بُعد المرشح c_o. هذا ليس اعتباطيًا؛ بل هو ما يُبقي الحساب بالأعداد الصحيحة ممكنًا. الخرج i لطبقة ما هو جداء نقطي (dot product) على المدخلات j. اكتب الأوزان على شكل S_i q_ij والتنشيطات (activations) على شكل s_x x_j حيث x_j عدد صحيح:

Because S_i is the same for every term of the sum, the hardware accumulates Σ_j q_ij x_j in an integer register and applies one multiplication by S_i s_x at the end, a step it already performs per output anyway. If the scale instead varied with the input index j, it would sit inside the sum, and every product would need its own rescale before being added, destroying the point of integer accumulation. The same argument is why per-channel scales on activations are hard: an activation scale per input channel cannot be pulled out of the summation (Nagel et al., 2021). This is also why TensorFlow Lite quantizes convolution weights per axis along the output channel dimension.

لأن S_i هو نفسه في كل حد من حدود المجموع، يراكم العتاد Σ_j q_ij x_j في مسجّل (register) للأعداد الصحيحة ثم يطبّق عملية ضرب واحدة في S_i s_x في النهاية، وهي خطوة يؤديها أصلًا لكل خرج على أي حال. لو كان الـ scale يتغيّر بدلًا من ذلك مع فهرس الدخل j، لبقي داخل المجموع، ولاحتاج كل حاصل ضرب إلى إعادة قياس خاصة به قبل جمعه، مما يُفقد المراكمة بالأعداد الصحيحة فائدتها. والحجة نفسها هي سبب صعوبة مقاييس per-channel على التنشيطات: لا يمكن إخراج scale تنشيط خاص بكل قناة دخل من المجموع (Nagel et al., 2021). ولهذا أيضًا يكمّم TensorFlow Lite أوزان الالتفاف لكل محور (per axis) على طول بُعد قناة الخرج.

Start with one output channel of eight weights, quantized to symmetric INT4. Symmetric INT4 gives you integers from -7 to 7, so $q_{\max} = 7$. Split the channel into two groups of four: group A is [0.13, -0.21, 0.17, 0.06] and group B is [3.15, -0.3, 0.4, 0.1]. The 3.15 is an outlier, the kind every trained layer has a few of.

ابدأ بقناة إخراج واحدة فيها ثمانية أوزان، مكمّمة إلى INT4 متماثل. يعطيك INT4 المتماثل أعدادًا صحيحة من -7 إلى 7، أي أن $q_{\max} = 7$. قسّم القناة إلى مجموعتين من أربعة أوزان: المجموعة A هي [0.13, -0.21, 0.17, 0.06] والمجموعة B هي [3.15, -0.3, 0.4, 0.1]. القيمة 3.15 قيمة شاذة (outlier)، من النوع الذي يوجد منه القليل في كل طبقة مدرَّبة.

That is Group quantization. Slides 14 and 15 place it on the Quantization granularity ladder: Per-tensor quantization shares one scale across the whole tensor, per-channel shares one across each output channel, and group quantization shares one across a small group of elements, typically 16 to 64, inside a channel. The slides name two concrete families: per-vector quantization (VS-Quant) and the shared micro-exponent (MX) data types.

هذا هو group quantization (التكميم بالمجموعات). تضعه الشريحتان 14 و15 على سلّم quantization granularity: per-tensor quantization يشارك مقياسًا واحدًا عبر الموتر كله، وper-channel يشارك مقياسًا واحدًا عبر كل قناة إخراج، والتكميم بالمجموعات يشارك مقياسًا واحدًا عبر مجموعة صغيرة من العناصر داخل القناة، عادة من 16 إلى 64 عنصرًا. تسمّي الشرائح عائلتين محددتين: التكميم لكل متجه (VS-Quant) وأنواع بيانات الأسس الدقيقة المشتركة (MX).

The general rule: the fewer quantization levels you have, the more each scale has to be fitted to its local neighbourhood. At 8 bits you have 255 levels and a channel scale wastes a few of them. At 4 bits you have 15, and wasting most of them on one outlier leaves the bulk of the weights with one or two levels, or none.

القاعدة العامة: كلما قلّ عدد مستويات التكميم، وجب أن يُضبط كل مقياس أكثر على جواره المحلي. عند 8 بت لديك 255 مستوى، ومقياس القناة يهدر بضعة منها فقط. عند 4 بت لديك 15 مستوى فقط، وإهدار معظمها على قيمة شاذة واحدة يترك أغلب الأوزان بمستوى أو مستويين، أو بلا مستوى إطلاقًا.

Why the hardware vendors careلماذا يهتم صانعو العتاد

Slide 16 frames the goal as a balance between quantization accuracy and hardware efficiency, and uses NVIDIA Blackwell as the evidence. Blackwell tensor cores support "micro-tensor scaling" to keep FP4 accurate, and the FP4 path has twice the theoretical throughput of the FP8/FP6/INT8 path: an HGX B200 board (eight GPUs) is rated at 144 PFLOPS FP4 versus 72 PFLOPS FP8/FP6 and 72 POPS INT8. Halving the bits doubles the math per cycle, but only if accuracy survives, and at 4 bits accuracy survives only with fine-grained scales. So the vendor built the group scaling into the tensor core itself: the hardware reads a block of FP4 values together with its scale and applies the scale during the dot product.

تصوغ الشريحة 16 الهدف على أنه توازن بين دقة التكميم وكفاءة العتاد، وتستخدم NVIDIA Blackwell دليلًا على ذلك. تدعم أنوية الموترات (tensor cores) في Blackwell ما يسمى "micro-tensor scaling" للحفاظ على دقة FP4، ومسار FP4 له ضعف الإنتاجية النظرية لمسار FP8/FP6/INT8: لوحة HGX B200 (ثماني وحدات GPU) مصنّفة بـ 144 PFLOPS في FP4 مقابل 72 PFLOPS في FP8/FP6 و72 POPS في INT8. تقليل عدد البتات إلى النصف يضاعف الحساب في كل دورة، لكن فقط إذا صمدت الدقة، وعند 4 بت لا تصمد الدقة إلا بمقاييس دقيقة الحبيبات. لذلك بنى الصانع التحجيم بالمجموعات داخل نواة الموترات نفسها: يقرأ العتاد كتلة من قيم FP4 مع مقياسها، ويطبّق المقياس أثناء حساب الضرب النقطي (dot product).

Back to the example. Group A wanted $S_A = 0.03$ and group B wanted $S_B = 0.45$. Stored as FP16 numbers, these scales would cost 16 bits per group, which for groups of 16 INT4 weights adds a full 1 bit per weight. Worse, the hardware would need a floating-point multiplier next to every small vector unit. VS-Quant (Dai et al., NVIDIA) avoids both by noticing that the per-vector scales inside one channel differ from each other by modest factors. Factor each one as a shared floating-point number times a small integer:

نعود إلى المثال. المجموعة A أرادت $S_A = 0.03$ والمجموعة B أرادت $S_B = 0.45$. لو خُزّنت هذه المقاييس أعدادًا من نوع FP16 لكلّفت 16 بت لكل مجموعة، وهذا يضيف 1 بت كاملًا لكل وزن عندما تكون المجموعات من 16 وزنًا INT4. والأسوأ أن العتاد سيحتاج إلى وحدة ضرب فاصلة عائمة بجانب كل وحدة متجهات صغيرة. يتجنب VS-Quant (Dai et al. من NVIDIA) المشكلتين بملاحظة أن مقاييس المتجهات داخل القناة الواحدة تختلف عن بعضها بعوامل معتدلة. لذلك نحلّل كل واحد منها إلى عدد فاصلة عائمة مشترك مضروبًا في عدد صحيح صغير:

• $\gamma$ is a floating-point, coarse-grained scale, one per channel or per tensor.$\gamma$ مقياس فاصلة عائمة خشن الحبيبات، واحد لكل قناة أو لكل موتر.
• $S_q$ is an integer scale, one per vector of elements (for example 16), stored with only a few bits such as UINT4.$S_q$ مقياس عدد صحيح، واحد لكل متجه من العناصر (مثلًا 16 عنصرًا)، ويُخزَّن ببتات قليلة فقط مثل UINT4.

In the example, pick $\gamma = 0.45 / 15 = 0.03$ so the largest per-vector scale fits in UINT4. Then $S_{q,B} = 15$ and $S_{q,A} = 1$: two 4-bit integers and one FP16 number replace two FP16 scales. In a real layer one $\gamma$ covers thousands of vectors, so its cost all but vanishes. (Real scales rarely divide this neatly; rounding the scale itself adds a small error, which VS-Quant's calibration algorithm accounts for.)

في المثال، اختر $\gamma = 0.45 / 15 = 0.03$ حتى يتسع أكبر مقياس متجه في UINT4. عندها $S_{q,B} = 15$ و$S_{q,A} = 1$: عددان صحيحان من 4 بت وعدد FP16 واحد يحلّون محل مقياسين من FP16. في طبقة حقيقية يغطي $\gamma$ واحد آلاف المتجهات، فتكاد كلفته تختفي. (نادرًا ما تنقسم المقاييس الحقيقية بهذه السهولة، وتقريب المقياس نفسه يضيف خطأً صغيرًا، وتأخذه خوارزمية المعايرة (calibration) في VS-Quant في الحسبان.)

Why the fine scale is the integer oneلماذا يكون المقياس الناعم هو العدد الصحيح

The design rule on slide 17 is: less expensive integer scales at finer granularity, more expensive floating-point scales at coarser granularity. Count how often each scale is stored and used. There is one $S_q$ per vector, so there are many of them, and each one must be both small in memory and cheap to multiply. An integer scale lets the vector MAC unit finish the whole per-vector dot product, scaling included, in integer arithmetic. There is only one $\gamma$ per channel, so it can afford to be a precise floating-point number, applied once to the accumulated result. Put the expensive thing where it is rare.

قاعدة التصميم في الشريحة 17 هي: مقاييس أعداد صحيحة أرخص عند الحبيبات الناعمة، ومقاييس فاصلة عائمة أغلى عند الحبيبات الخشنة. احسب كم مرة يُخزَّن كل مقياس ويُستخدم. هناك $S_q$ واحد لكل متجه، أي أن عددها كبير، ويجب أن يكون كل واحد منها صغيرًا في الذاكرة ورخيصًا في الضرب. المقياس الصحيح يسمح لوحدة MAC المتجهية بإنهاء الضرب النقطي لكل متجه كاملًا، بما في ذلك التحجيم، بحساب الأعداد الصحيحة. وهناك $\gamma$ واحد فقط لكل قناة، فيمكنه أن يكون عدد فاصلة عائمة دقيقًا يُطبَّق مرة واحدة على النتيجة المتراكمة. ضع الشيء المكلف حيث يكون نادرًا.

The memory billفاتورة الذاكرة

Slide 17 gives the overhead: 4-bit elements with a 4-bit per-vector scale for every 16 elements cost $4 + 4/16 = 4.25$ bits per element, a storage overhead of 6.25% over plain INT4. The paper writes this as $M/(VN)$ for $N$-bit elements, $M$-bit scales and vectors of $V$ elements.

تعطي الشريحة 17 الكلفة الإضافية: عناصر من 4 بت مع مقياس متجه من 4 بت لكل 16 عنصرًا تكلّف $4 + 4/16 = 4.25$ بت لكل عنصر، أي كلفة تخزين إضافية قدرها 6.25% فوق INT4 العادي. تكتب الورقة ذلك على الصورة $M/(VN)$ لعناصر من $N$ بت، ومقاييس من $M$ بت، ومتجهات من $V$ عنصرًا.

VS-Quant has two scale levels. Nothing stops you from having more, so slides 18 to 20 write the general Multi-level scaling form. Take one weight, say $w_{11}$. It belongs to a small group (level 0), which belongs to a larger group (level 1), and so on. Its real value is its integer times the product of every scale above it:

لدى VS-Quant مستويان من المقاييس. لا شيء يمنعك من أكثر من ذلك، لذلك تكتب الشرائح من 18 إلى 20 الصيغة العامة لـ multi-level scaling (التحجيم متعدد المستويات). خذ وزنًا واحدًا، مثلًا $w_{11}$. إنه ينتمي إلى مجموعة صغيرة (المستوى 0)، وهذه تنتمي إلى مجموعة أكبر (المستوى 1)، وهكذا. قيمته الحقيقية هي عدده الصحيح مضروبًا في حاصل ضرب كل المقاييس التي فوقه:

VS-Quant is the case $s_{l_0} = S_q$, $s_{l_1} = \gamma$, and plain per-channel quantization is the one-level case. With $z = 0$ the scheme is Symmetric quantization, which is what every row of the slide table uses.

VS-Quant هو الحالة $s_{l_0} = S_q$ و$s_{l_1} = \gamma$، والتكميم العادي لكل قناة هو حالة المستوى الواحد. ومع $z = 0$ يكون المخطط symmetric quantization (تكميمًا متماثلًا)، وهو ما تستخدمه كل صفوف جدول الشريحة.

The effective bit widthعرض البت الفعلي (effective bit width)

Every scale is shared by its group, so its bits are spread over the group's elements. Add the element bits to each level's share:

كل مقياس تشترك فيه مجموعته، فتتوزع بتاته على عناصر المجموعة. أضف إلى بتات العنصر حصة كل مستوى:

Use the calculator to rebuild every row of the slide table and to try the exam case. Notice how the L1 share collapses toward 0 as its group grows, and how the L0 share dominates.

استخدم الحاسبة لإعادة بناء كل صف في جدول الشريحة ولتجربة حالة الاختبار. لاحظ كيف تنهار حصة L1 نحو 0 كلما كبرت مجموعتها، وكيف تهيمن حصة L0.

VS-Quant still multiplies by integer scales. The MX formats of Rouhani et al. (Microsoft and Meta) go one step cheaper: every scale is a pure power of two, stored as an exponent with no mantissa, so applying it is a bit shift. That is the title's joke, "a little shifting goes a long way". Read the MX4 row of slide 21 one field at a time.

ما زال VS-Quant يضرب في مقاييس أعداد صحيحة. صيغ MX التي قدّمها Rouhani et al. (Microsoft وMeta) تخطو خطوة أرخص: كل مقياس قوة خالصة للعدد 2، يُخزَّن أسًّا (exponent) بلا جزء عشري (mantissa)، فيكون تطبيقه إزاحة بتات (shift). وهذه هي الدعابة في عنوان الورقة: "a little shifting goes a long way" (القليل من الإزاحة يوصلك بعيدًا). اقرأ صف MX4 في الشريحة 21 حقلًا حقلًا.

• Element: S1M2, one sign bit and two mantissa (magnitude) bits, 3 bits in total. There is no per-element exponent at all.العنصر: S1M2، أي بت إشارة واحد وبتان للجزء العشري (المقدار)، بمجموع 3 بت. لا يوجد أسّ خاص بكل عنصر إطلاقًا.
• L0: each pair of elements shares an E1M0 scale, a single exponent bit that can shift the pair down by one more power of two when both values are small.L0: كل زوج من العناصر يشترك في مقياس E1M0، وهو بت أسّ واحد يمكنه إزاحة الزوج نزولًا بقوة إضافية واحدة للعدد 2 عندما تكون القيمتان صغيرتين.
• L1: each group of 16 elements shares an E8M0 scale, an 8-bit exponent that sets the overall range like the exponent of a float.L1: كل مجموعة من 16 عنصرًا تشترك في مقياس E8M0، وهو أسّ من 8 بت يحدد المدى العام مثل أسّ العدد العائم (float).

The paper writes the same count as $(m + 1) + d_1/k_1 + d_2/k_2$, with $m$ mantissa bits, the $+1$ for the sign, $d_1 = 8$ bits shared by $k_1 = 16$ elements and $d_2 = 1$ bit shared by $k_2 = 2$. The names are the totals: MX4, MX6 and MX9 average exactly 4, 6 and 9 bits per element.

تكتب الورقة العدّ نفسه على الصورة $(m + 1) + d_1/k_1 + d_2/k_2$، حيث $m$ عدد بتات الجزء العشري، و$+1$ لبت الإشارة، و$d_1 = 8$ بتات يشترك فيها $k_1 = 16$ عنصرًا، و$d_2 = 1$ بت يشترك فيه $k_2 = 2$ عنصران. الأسماء هي المجاميع: MX4 وMX6 وMX9 متوسطها بالضبط 4 و6 و9 بت لكل عنصر.

Paper MX versus the MX standard on real chipsMX في الورقة مقابل معيار MX على الرقاقات الحقيقية

The name MX now also refers to the Open Compute Project Microscaling (MX) v1.0 specification, which is what GPUs implement. It is simpler than the paper: a single level, one E8M0 scale per block of 32 elements, with element types such as FP4 (E2M1), FP6, FP8 and INT8. NVIDIA's own NVFP4, also supported on Blackwell, uses an FP8 E4M3 scale per 16 values plus an FP32 scale per tensor. Same counting rule, different numbers:

صار الاسم MX يشير أيضًا إلى مواصفة Open Compute Project Microscaling (MX) v1.0، وهي ما تنفّذه وحدات GPU. وهي أبسط من الورقة: مستوى واحد، ومقياس E8M0 واحد لكل كتلة من 32 عنصرًا، مع أنواع عناصر مثل FP4 (E2M1) وFP6 وFP8 وINT8. أما صيغة NVFP4 الخاصة بـ NVIDIA، المدعومة أيضًا في Blackwell، فتستخدم مقياس FP8 E4M3 لكل 16 قيمة إضافة إلى مقياس FP32 لكل موتر. قاعدة العدّ نفسها، والأرقام مختلفة:

Take a trained image classifier and look at the output of its third convolution layer. Feed it a dark night photo and the largest activation might be 3.1. Feed it a bright beach photo and the largest might be 11.4. The weights of that layer were identical both times. Only the input changed.

خذ مصنّف صور مدرَّبًا وانظر إلى مخرج طبقة الالتفاف الثالثة فيه. أدخل صورة ليلية مظلمة فقد يكون أكبر تنشيط 3.1. أدخل صورة شاطئ مشرقة فقد يكون الأكبر 11.4. أوزان تلك الطبقة كانت متطابقة في المرتين، والذي تغيّر هو المدخل فقط.

The range is the scaleالمدى هو المقياس

This matters because the range is not a side detail of linear quantization. It is the scale itself. With $r = S(q - Z)$, the scale is fixed by the range you choose to cover:

هذا مهم لأن المدى ليس تفصيلًا جانبيًا في التكميم الخطي، بل هو المقياس نفسه. مع $r = S(q - Z)$، يتحدد المقياس بالمدى الذي تختار أن تغطيه:

So the question on slide 22, how to get the optimal (S, Z) in Post-training quantization (PTQ), is the same question as how to pick the range. The lecture splits it into three topics: granularity (how many scales, the previous two parts), Dynamic range clipping (this part), and rounding (the next part).

إذن سؤال الشريحة 22، أي كيف نحصل على (S, Z) الأمثل في post-training quantization، هو نفسه سؤال كيف نختار المدى. تقسّمه المحاضرة إلى ثلاثة موضوعات: الدقة الحُبيبية (granularity)، أي عدد المقاييس، وهو موضوع الجزأين السابقين، وdynamic range clipping (هذا الجزء)، والتقريب (rounding) في الجزء التالي.

Jacob et al. state the rule plainly: for weights, set the range to the tensor's own min and max. For activations, the range depends on the inputs, so it has to be estimated. Why not just measure each activation's range live, on the device, for every input? You can, and some runtimes do, but it costs an extra pass over every tensor at inference time, and it stops the integer pipeline from folding the scales into fixed constants ahead of time. Edge deployment usually wants fixed scales, so the statistics are gathered before deployment, which is exactly what slide 23 stresses.

يذكر Jacob et al. القاعدة بوضوح: في الأوزان، اجعل المدى هو الحد الأدنى والأعلى للموتر نفسه. أما في التنشيطات فالمدى يعتمد على المدخلات، لذلك يجب تقديره. لماذا لا نقيس مدى كل تنشيط مباشرة على الجهاز لكل مدخل؟ يمكنك ذلك، وبعض بيئات التشغيل تفعله، لكنه يكلّف مرورًا إضافيًا على كل موتر وقت الاستدلال، ويمنع خط المعالجة بالأعداد الصحيحة من دمج المقاييس في ثوابت محددة مسبقًا. النشر على الأجهزة الطرفية يريد عادة مقاييس ثابتة، لذلك تُجمع الإحصاءات قبل النشر، وهذا بالضبط ما تؤكده الشريحة 23.

Suppose you are already training with quantization in the loop. Every training step already computes the activations, so you see their min and max for free. One batch says the max is 6.0, the next says 8.0, the next 5.0. Which one do you believe?

افترض أنك تدرّب النموذج والتكميم داخل الحلقة أصلًا. كل خطوة تدريب تحسب التنشيطات بالفعل، فترى حدها الأدنى والأعلى مجانًا. دفعة تقول إن الحد الأعلى 6.0، والتالية تقول 8.0، والتي بعدها 5.0. أيها تصدّق؟

Smooth the range instead of trusting one batchنعّم المدى بدل أن تثق بدفعة واحدة

None of them alone. Type 1 on slide 24, from Jacob et al., keeps an Exponential moving average (EMA) of the observed extremes. Each step blends the newest observation with the running estimate:

لا واحدة منها وحدها. النوع الأول في الشريحة 24، من Jacob et al.، يحتفظ بـ exponential moving average للقيم القصوى المرصودة. كل خطوة تمزج أحدث رصد مع التقدير الجاري:

Unroll it and the weight on an observation from k steps ago is $\alpha(1-\alpha)^k$. Old batches never vanish, they fade geometrically. That is why the paper says the ranges are smoothed across thousands of training steps: one freak batch moves the estimate by only a fraction α of its surprise.

افرد الصيغة فيصبح وزن رصدٍ جاء قبل k خطوة هو $\alpha(1-\alpha)^k$. الدفعات القديمة لا تختفي أبدًا، بل يتلاشى أثرها هندسيًا. لهذا تقول الورقة إن المديات تُنعَّم عبر آلاف خطوات التدريب: دفعة شاذة واحدة تحرّك التقدير بجزء α فقط من مقدار مفاجأتها.

Now suppose the model is already trained in FP32 and you will not train again. You still need ranges. Type 2 on slide 25 runs a few Calibration batches of ordinary samples through the trained model and records the activations. No labels, no gradients, just forward passes.

افترض الآن أن النموذج مدرَّب مسبقًا بدقة FP32 ولن تدرّبه من جديد. ما زلت تحتاج إلى المديات. النوع الثاني في الشريحة 25 يمرّر بضع calibration batches من العينات العادية عبر النموذج المدرَّب ويسجّل التنشيطات. لا تسميات، ولا تدرجات، مجرد تمريرات أمامية.

One outlier can waste most of the gridقيمة شاذة واحدة قد تهدر معظم الشبكة

The naive choice is the global min and max seen during calibration. Picture four calibration images whose maximum activations in one layer are 5.8, 6.1, 6.0 and 25.0. The last one is a glare spot. With unsigned 8-bit codes and the global max, the step is 25.0 / 255 ≈ 0.098. Nearly all real values live below 6.1, so they get only about 62 of the 255 steps. Three quarters of the codes are reserved for values that almost never occur.

الخيار الساذج هو الحد الأدنى والأعلى الكليّان المرصودان أثناء المعايرة. تخيّل أربع صور معايرة أكبر تنشيطاتها في طبقة ما هي 5.8 و6.1 و6.0 و25.0. الأخيرة بقعة وهج. مع رموز 8 بت بلا إشارة والحد الأعلى الكلي، تكون الخطوة 25.0 / 255 ≈ 0.098. تقريبًا كل القيم الحقيقية تقع تحت 6.1، فلا تحصل إلا على نحو 62 من الخطوات الـ255. ثلاثة أرباع الرموز محجوزة لقيم لا تكاد تظهر أبدًا.

The slide's first fix is to average the per-sample extremes instead of taking the global one: (5.8 + 6.1 + 6.0 + 25.0) / 4 = 10.725. The step becomes 10.725 / 255 ≈ 0.042, more than twice as fine. The glare value now lands beyond the range and is clipped to 10.725. The mean softens the outlier, though it does not remove its pull, which is why the slide also points to analytical methods.

الحل الأول في الشريحة هو أخذ متوسط القيم القصوى لكل عينة بدل القيمة القصوى الكلية: (5.8 + 6.1 + 6.0 + 25.0) / 4 = 10.725. تصبح الخطوة 10.725 / 255 ≈ 0.042، أي أدق بأكثر من الضعف. قيمة الوهج تقع الآن خارج المدى وتُقص إلى 10.725. المتوسط يخفف أثر القيمة الشاذة لكنه لا يزيل جذبها، ولهذا تشير الشريحة أيضًا إلى الطرق التحليلية.

Two errors, one dialخطآن ومقبض واحد

Every clipping decision trades two kinds of error. Values inside the range suffer rounding error, at most half a step and on average $\Delta^2/12$ in squared terms. Values outside suffer clipping error: they are forced to the edge, and the error grows with how far out they were. Widen the range and the clipping error falls but every step grows. Narrow it and the steps shrink but more values are cut. The total has a minimum somewhere in between, and that is what the next three concepts hunt for.

كل قرار قص يقايض بين نوعين من الخطأ. القيم داخل المدى تعاني خطأ التقريب (rounding error)، وهو نصف خطوة على الأكثر، ومتوسطه $\Delta^2/12$ بالقيم المربعة. أما القيم خارج المدى فتعاني خطأ القص (clipping error): تُجبر على الحافة، ويكبر الخطأ كلما كانت أبعد. وسّع المدى فينخفض خطأ القص لكن كل خطوة تكبر. ضيّقه فتصغر الخطوات لكن تُقص قيم أكثر. للمجموع قيمة دنيا في مكان ما بينهما، وهذا ما تبحث عنه المفاهيم الثلاثة التالية.

A calibration run tells you that one layer's activations look like a sharp peak at zero with long, thin tails, and that the mean absolute value is 0.2. You will quantize to 4 bits. Where do you clip?

تخبرك جولة معايرة أن تنشيطات إحدى الطبقات تبدو كقمة حادة عند الصفر مع ذيول طويلة رفيعة، وأن متوسط القيمة المطلقة 0.2. ستكمّم إلى 4 بت. أين تقص؟

Write the error down and minimize itاكتب الخطأ صراحة ثم قلّله

Slide 26 answers with the most direct objective: pick the clip that minimizes the mean squared error between the input X and its reconstruction Q(X).

تجيب الشريحة 26 بالهدف الأكثر مباشرة: اختر حد القص الذي يقلل متوسط مربع الخطأ (MSE) بين المدخل X وإعادة بنائه Q(X).

To solve it you need the distribution of X. Banner et al. observe that activations are often close to Gaussian or Laplace. For a Laplace(0, b) input quantized with M bits over [-α, α] (their notation, α is the clip), the two error terms have a closed form:

لحلها تحتاج إلى توزيع X. يلاحظ Banner et al. أن التنشيطات كثيرًا ما تكون قريبة من التوزيع الغاوسي أو توزيع لابلاس. لمدخل Laplace(0, b) مكمَّم بـM بت على [-α, α] (برموزهم، α هي حد القص)، يكون لحدّي الخطأ صيغة مغلقة:

Set the derivative to zero, $\tfrac{2\alpha}{3\cdot 4^M} - 2b\,e^{-\alpha/b} = 0$, and solve numerically. Because α only ever appears as α/b, the answer is a pure multiple of b. That multiple is the Laplace optimal clipping table:

اجعل المشتقة صفرًا، $\tfrac{2\alpha}{3\cdot 4^M} - 2b\,e^{-\alpha/b} = 0$، وحلّ عدديًا. وبما أن α لا تظهر إلا في الصورة α/b، فالجواب مضاعف خالص لـb. هذا المضاعف هو جدول Laplace clipping:

The scale parameter is estimated from the calibration data as the mean absolute deviation, $b = \mathbb{E}\big[|X - \mathbb{E}[X]|\big]$. For our layer that is the 0.2 we measured.

يُقدَّر معامل المقياس من بيانات المعايرة بوصفه متوسط الانحراف المطلق، $b = \mathbb{E}\big[|X - \mathbb{E}[X]|\big]$. في طبقتنا هذا هو الـ0.2 الذي قسناه.

Look at slide 27's histogram for VGG-19 conv3_4. The counts fall over seven orders of magnitude between 0 and about 25,000. No neat Laplace formula is going to describe that tail, so a clip read from an assumed shape is on shaky ground. NVIDIA's TensorRT took a different route in 2017: compare distributions instead of values.

انظر إلى المدرّج التكراري في الشريحة 27 لطبقة VGG-19 conv3_4. تنخفض الأعداد عبر سبع مراتب عشرية بين 0 ونحو 25,000. لن تصف أي صيغة لابلاس أنيقة ذلك الذيل، لذلك فحد القص المقروء من شكل مفترض يقف على أرض هشة. سلكت TensorRT من NVIDIA طريقًا مختلفًا في 2017: قارن بين التوزيعات بدل القيم.

KL divergence: how much information the quantized histogram losesتباعد KL: كم من المعلومات يفقد المدرّج التكراري المكمَّم

The idea on slide 27 is that the INT8 model should encode the same information as the FP32 model. Information loss between two distributions is measured by KL divergence:

الفكرة في الشريحة 27 أن نموذج INT8 يجب أن يرمّز المعلومات نفسها التي يرمّزها نموذج FP32. فقدان المعلومات بين توزيعين يُقاس بـKL divergence:

How the threshold is chosenكيف تُختار العتبة