Quantization granularity: per-tensor vs per-channel scalesدقة التكميم (Granularity): مقاييس لكل موتر مقابل لكل قناة

Suppose a colleague hands you a ResNet trained in FP32 and says: make it run in INT8 on our microcontroller by Friday, and no, you cannot retrain it. You have the weights, perhaps a few hundred unlabeled images, and that is all.

لنفترض أن زميلًا أعطاك شبكة ResNet مدرّبة بدقة FP32 وقال: اجعلها تعمل بـ INT8 على المتحكم الدقيق (microcontroller) لدينا قبل يوم الجمعة، ولا، لا يمكنك إعادة تدريبها. لديك الأوزان، وربما بضع مئات من الصور غير الموسومة، وهذا كل شيء.

That job is Post-training quantization (PTQ). The network’s weights are frozen; the only things you get to choose are the quantization parameters, the scale $S$ and the zero point $Z$, for every tensor you quantize. Its opposite, which the lecture covers later, is Quantization-aware training (QAT), where quantization is simulated during training so the weights can adapt to it. PTQ is cheap and needs no labels; QAT costs a training run but recovers more accuracy at low bit widths.

هذه المهمة هي post-training quantization (التكميم بعد التدريب). أوزان الشبكة مجمّدة، والشيء الوحيد الذي تختاره هو معاملات التكميم: الـ scale $S$ ونقطة الصفر (zero point) $Z$، لكل tensor تكمّمه. ونقيضه، الذي تغطيه المحاضرة لاحقًا، هو quantization-aware training (التدريب الواعي بالتكميم)، حيث يُحاكى التكميم أثناء التدريب كي تتكيّف الأوزان معه. الـ PTQ رخيص ولا يحتاج إلى تسميات (labels)، أما QAT فيكلّف عملية تدريب كاملة لكنه يستعيد دقة أكبر عند عدد بتات منخفض.

The lecture breaks the PTQ question “what are the best $(S, Z)$?” into three independent sub-questions, and the rest of the lecture’s first half answers them in order.

تقسّم المحاضرة سؤال الـ PTQ «ما أفضل $(S, Z)$؟» إلى ثلاثة أسئلة فرعية مستقلة، ويجيب باقي النصف الأول من المحاضرة عنها بالترتيب.

Keep the three apart in your head. Granularity decides who shares a scale. Dynamic range clipping decides how large that scale is, given the values that share it. Rounding decides which level each value lands on once the grid is fixed; the default, Rounding to nearest, turns out not to be optimal. Every one of the three changes the same final number, the error between the original and the dequantized weights, so they interact, but each can be studied with the other two held fixed.

أبقِ الثلاثة منفصلة في ذهنك. الـ granularity تحدد من يتشارك الـ scale. وdynamic range clipping (قصّ المدى الديناميكي) يحدد كم يكون كبيرًا هذا الـ scale، بالنظر إلى القيم التي تتشاركه. والتقريب (rounding) يحدد أي مستوى تقع عليه كل قيمة بعد تثبيت الشبكة؛ والخيار الافتراضي، rounding to nearest (التقريب إلى الأقرب)، يتبيّن أنه ليس الأمثل. كل واحد من الثلاثة يغيّر الرقم النهائي نفسه، أي الخطأ بين الأوزان الأصلية والأوزان بعد إزالة التكميم (dequantized)، لذا فهي تتفاعل فيما بينها، لكن يمكن دراسة كل واحد منها مع تثبيت الاثنين الآخرين.

Picture a convolution weight tensor with 64 output channels, 32 input channels and 3 × 3 kernels: 18,432 numbers. You could give all of them one scale, give each of the 64 filters its own scale, or cut each filter into blocks of 16 and give every block a scale.

تخيّل tensor أوزان لطبقة التفاف (convolution) فيه 64 قناة خرج و32 قناة دخل وkernels بحجم 3 × 3: أي 18,432 رقمًا. يمكنك أن تعطيها كلها scale واحدًا، أو أن تعطي كل واحد من المرشحات (filters) الـ 64 الـ scale الخاص به، أو أن تقطع كل مرشح إلى كتل من 16 وتعطي كل كتلة scale.

That choice is Quantization granularity: how many elements share one scale factor. The lecture lists three levels, from coarse to fine.

هذا الاختيار هو quantization granularity (دقة التكميم): كم عنصرًا يتشارك معامل scale واحدًا. تذكر المحاضرة ثلاثة مستويات، من الخشن إلى الدقيق.

• Per-tensor quantization: one $S$ for the entire tensor. In the example, 18,432 weights share one number.Per-tensor quantization: $S$ واحد للـ tensor كله. في المثال، تتشارك 18,432 وزنًا رقمًا واحدًا.
• Per-channel quantization: one $S_i$ per output channel. Here 64 scales, each shared by the 288 weights of one filter.Per-channel quantization: $S_i$ واحد لكل قناة خرج. هنا 64 قيمة scale، تتشارك كل واحدة منها الأوزانُ الـ 288 لمرشح واحد.
• Group quantization: one scale per small group inside a channel. The lecture’s two flavours are per-vector quantization (VS-Quant (per-vector scaled quantization)) and the Shared micro-exponent (MX) data type; both are the subject of part 2.Group quantization: scale واحد لكل مجموعة صغيرة داخل القناة. النوعان في المحاضرة هما التكميم لكل متجه (VS-Quant) ونوع البيانات MX؛ وكلاهما موضوع الجزء 2.

The trade-off runs in one direction. Finer granularity means each scale only has to fit the values it actually covers, so the step size $S$ shrinks and the rounding error with it. The price is more scales to store and, more importantly, more scales the hardware has to apply. The Qualcomm white paper on quantization (Nagel et al., 2021) puts it plainly: per-tensor is the most common choice because all accumulators use the same scale factor, finer groups improve accuracy at the cost of overhead, and many fixed-point accelerators do not support that extra logic.

المفاضلة تسير في اتجاه واحد. الدقة الأنعم تعني أن كل scale عليه أن يلائم فقط القيم التي يغطيها فعلًا، فيصغر حجم الخطوة $S$ ويصغر معه خطأ التقريب. الثمن هو مزيد من قيم الـ scale التي يجب تخزينها، والأهم من ذلك مزيد من قيم الـ scale التي يجب على العتاد تطبيقها. الورقة البيضاء من Qualcomm عن التكميم (Nagel et al., 2021) تقولها بوضوح: الـ per-tensor هو الخيار الأكثر شيوعًا لأن كل المراكمات (accumulators) تستخدم معامل scale نفسه، والمجموعات الأدق تحسّن الدقة على حساب كلفة إضافية، وكثير من مسرّعات الفاصلة الثابتة (fixed-point accelerators) لا تدعم هذا المنطق الإضافي.

Take two filters in the same layer. One has weights in [-128, 128], the other in (-0.5, 0.5). Quantize both to INT8 with one shared scale: S = 128 / 127 ≈ 1.01. Every weight of the second filter divided by 1.01 is below 0.5 in magnitude, so all of them round to 0. That filter is erased, even with 8 bits.

خذ مرشحين في الطبقة نفسها. أحدهما أوزانه في [-128, 128]، والآخر في (-0.5, 0.5). كمّم الاثنين إلى INT8 بـ scale مشترك واحد: S = 128 / 127 ≈ 1.01. كل وزن من المرشح الثاني بعد قسمته على 1.01 تكون قيمته المطلقة أقل من 0.5، فتُقرَّب كلها إلى 0. هذا المرشح يُمحى تمامًا، حتى مع 8 bits.

This is the example Nagel et al. (ICCV 2019) use, and it is the whole reason this part exists. Before going further, fix the recipe the lecture uses for weights. Weights are roughly centred on zero, so the lecture uses Symmetric quantization: the zero point is $Z = 0$ and the range is set by the largest magnitude.

هذا هو المثال الذي يستخدمه Nagel et al. (ICCV 2019)، وهو السبب الذي يوجد هذا الجزء من أجله أصلًا. قبل المتابعة، ثبّت الوصفة التي تستخدمها المحاضرة للأوزان. الأوزان متمركزة تقريبًا حول الصفر، لذا تستخدم المحاضرة symmetric quantization (التكميم المتماثل): نقطة الصفر $Z = 0$ والمدى تحدده أكبر قيمة مطلقة.

Notice what $q_{\max} = 2^{N-1} - 1$ does to the integer range. An N-bit two’s complement integer can hold -2^(N-1) up to 2^(N-1) - 1, but a symmetric grid uses only -q_max to +q_max, so the most negative code is never produced. For N = 8 that is [-127, 127], exactly the range the TensorFlow Lite (LiteRT) specification mandates for weights. For N = 2 it is dramatic: q_max = 2^1 - 1 = 1, so only the three codes -1, 0, 1 are used, and the fourth code, -2, is wasted.

لاحظ ما تفعله $q_{\max} = 2^{N-1} - 1$ بمدى الأعداد الصحيحة. العدد الصحيح ذو N bit بتمثيل المتمم الثنائي (two’s complement) يمكن أن يحمل القيم من -2^(N-1) حتى 2^(N-1) - 1، لكن الشبكة المتماثلة لا تستخدم إلا من -q_max إلى +q_max، فلا يُنتَج الرمز الأكثر سالبية أبدًا. عند N = 8 يكون ذلك [-127, 127]، وهو بالضبط المدى الذي تفرضه مواصفة TensorFlow Lite (LiteRT) للأوزان. وعند N = 2 يكون الأثر كبيرًا: q_max = 2^1 - 1 = 1، فلا تُستخدم إلا الرموز الثلاثة -1, 0, 1، ويضيع الرمز الرابع -2.

One scale, many channels: the outlier problemscale واحد وقنوات كثيرة: مشكلة القيم الشاذة (outliers)

With one scale per tensor, $|r|_{\max}$ is the largest weight in the entire layer. If one output channel holds that outlier, its range dictates the step size for every channel. Channels whose weights are much smaller collapse onto a handful of levels, often just zero.

مع scale واحد لكل tensor، تكون $|r|_{\max}$ أكبر وزن في الطبقة كلها. إذا كانت قناة خرج واحدة تحمل هذه القيمة الشاذة، فإن مداها يفرض حجم الخطوة على كل القنوات. القنوات ذات الأوزان الأصغر بكثير تنهار إلى عدد قليل من المستويات، وغالبًا إلى الصفر وحده.

The lecture’s evidence is the box plot from Nagel et al.: the per-output-channel weight ranges of the first depthwise-separable layer in MobileNetV2. Most of the 32 channels sit within a few units of zero, while a few stretch to around ±50 to ±100. The lecture’s summary:

دليل المحاضرة هو مخطط الصندوق (box plot) من Nagel et al.: مديات الأوزان لكل قناة خرج في أول طبقة depthwise-separable في MobileNetV2. معظم القنوات الـ 32 تقع في حدود وحدات قليلة حول الصفر، بينما يمتد بعضها إلى نحو ±50 حتى ±100. خلاصة المحاضرة:

• Per-tensor quantization works well for large models but accuracy drops for small models.تكميم per-tensor يعمل جيدًا للنماذج الكبيرة لكن الدقة تنخفض في النماذج الصغيرة.
• The common failure is a large difference, more than 100×, in weight ranges across output channels, caused by outlier weights.الفشل الشائع هو فرق كبير، أكثر من 100×، في مديات الأوزان بين قنوات الخرج، تسببه الأوزان الشاذة.
• The solution is per-channel quantization.الحل هو تكميم per-channel.

The numbers in the paper are stark. MobileNetV2 reaches 71.72% top-1 on ImageNet in FP32. With plain per-tensor INT8 it drops to 0.12%, essentially random guessing; with per-channel INT8 it keeps 70.65%. Depthwise layers are the worst offenders because each output channel has only a few weights (3 × 3 = 9), so one channel can drift far from the others, and folding batch normalization into the weights amplifies the imbalance (Nagel et al., 2021). Large models like ResNets have many weights per channel and smoother ranges, which is why per-tensor survives there.

الأرقام في الورقة صارخة. يصل MobileNetV2 إلى دقة top-1 قدرها 71.72% على ImageNet بدقة FP32. ومع تكميم INT8 عادي من نوع per-tensor تهبط إلى 0.12%، أي ما يعادل التخمين العشوائي؛ ومع INT8 من نوع per-channel تحافظ على 70.65%. طبقات الـ depthwise هي أسوأ المتسببين لأن كل قناة خرج فيها لا تملك إلا أوزانًا قليلة (3 × 3 = 9)، فيمكن لقناة واحدة أن تبتعد كثيرًا عن الأخرى، كما أن دمج الـ batch normalization في الأوزان يضخّم هذا التفاوت (Nagel et al., 2021). أما النماذج الكبيرة مثل ResNets فلديها أوزان كثيرة في كل قناة ومديات أكثر انتظامًا، ولهذا ينجو الـ per-tensor هناك.

Now the lecture’s example, done by hand. Rows are output channels (oc), columns are input channels (ic), and we quantize to N = 2 bits with one scale.

الآن مثال المحاضرة، محلولًا باليد. الصفوف هي قنوات الخرج (oc)، والأعمدة هي قنوات الدخل (ic)، ونكمّم إلى N = 2 bits بـ scale واحد.

Same matrix, same 2 bits, but now each output channel (each row) gets its own scale. With q_max = 1, each scale is simply that row’s largest magnitude.

المصفوفة نفسها، و2 bits نفسها، لكن الآن تحصل كل قناة خرج (كل صف) على scale خاص بها. ومع q_max = 1، يكون كل scale ببساطة أكبر قيمة مطلقة في ذلك الصف.

Where did the improvement come from? Not only from the one flipped code. Break the squared error down by row:

من أين جاء التحسّن؟ ليس فقط من الرمز الواحد الذي انقلب. فكّك الخطأ المربّع حسب الصف:

oc3 gains the most, and none of its codes changed: its nonzero weights 1.87, 1.53, 1.49 are now reconstructed as 1.87 instead of 2.12, much closer. oc2 gains from the flipped code (error on that entry falls from 1.03 to |-1.03 + 1.92| = 0.89) and from 1.92 now being exact. oc1 is unchanged because its scale is unchanged. The lesson: a smaller, better-fitted scale helps both by moving values onto nonzero codes and by placing the levels closer to the values.

oc3 يستفيد أكثر من غيره، ولم يتغير أي من رموزه: أوزانه غير الصفرية 1.87, 1.53, 1.49 يُعاد بناؤها الآن كـ 1.87 بدل 2.12، وهذا أقرب بكثير. ويستفيد oc2 من الرمز المنقلب (ينخفض الخطأ في ذلك المدخل من 1.03 إلى |-1.03 + 1.92| = 0.89) ومن أن 1.92 أصبحت الآن دقيقة تمامًا. أما oc1 فلا يتغير لأن الـ scale الخاص به لم يتغير. الدرس: الـ scale الأصغر والأكثر ملاءمة يساعد بطريقتين: بنقل القيم إلى رموز غير صفرية، وبوضع المستويات أقرب إلى القيم.

Try it live. Switch between the two schemes and watch the highlighted cell; then change the bit width. At 3 and 4 bits per-channel is actually a hair worse on this particular matrix (0.710 versus 0.699 at 3 bits), because its row ranges are almost equal (1.87 to 2.12) and which side of a rounding boundary each value lands on is partly luck. Per-channel wins reliably when ranges differ a lot, which is exactly the MobileNetV2 situation.

جرّبه مباشرة. بدّل بين الطريقتين وراقب الخلية المظلَّلة، ثم غيّر عدد البتات. عند 3 و4 bits يكون per-channel في الواقع أسوأ بفارق ضئيل على هذه المصفوفة بالذات (0.710 مقابل 0.699 عند 3 bits)، لأن مديات صفوفها متساوية تقريبًا (من 1.87 إلى 2.12)، وفي أي جانب من حد التقريب تقع كل قيمة هو جزئيًا مسألة حظ. يفوز per-channel بشكل موثوق عندما تختلف المديات كثيرًا، وهذا بالضبط وضع MobileNetV2.

Why output channels, not input channelsلماذا قنوات الخرج وليس قنوات الدخل

The slides draw the scale arrows along rows, the output channels, and the convolution picture boxes the filter dimension c_o. That is not arbitrary; it is what keeps integer arithmetic possible. Output i of a layer is a dot product over the inputs j. Write the weights as S_i q_ij and the activations as s_x x_j with integer x_j:

ترسم الشرائح أسهم الـ scale على طول الصفوف، أي قنوات الخرج، وصورة الالتفاف تؤطّر بُعد المرشح c_o. هذا ليس اعتباطيًا؛ بل هو ما يُبقي الحساب بالأعداد الصحيحة ممكنًا. الخرج i لطبقة ما هو جداء نقطي (dot product) على المدخلات j. اكتب الأوزان على شكل S_i q_ij والتنشيطات (activations) على شكل s_x x_j حيث x_j عدد صحيح:

Because S_i is the same for every term of the sum, the hardware accumulates Σ_j q_ij x_j in an integer register and applies one multiplication by S_i s_x at the end, a step it already performs per output anyway. If the scale instead varied with the input index j, it would sit inside the sum, and every product would need its own rescale before being added, destroying the point of integer accumulation. The same argument is why per-channel scales on activations are hard: an activation scale per input channel cannot be pulled out of the summation (Nagel et al., 2021). This is also why TensorFlow Lite quantizes convolution weights per axis along the output channel dimension.

لأن S_i هو نفسه في كل حد من حدود المجموع، يراكم العتاد Σ_j q_ij x_j في مسجّل (register) للأعداد الصحيحة ثم يطبّق عملية ضرب واحدة في S_i s_x في النهاية، وهي خطوة يؤديها أصلًا لكل خرج على أي حال. لو كان الـ scale يتغيّر بدلًا من ذلك مع فهرس الدخل j، لبقي داخل المجموع، ولاحتاج كل حاصل ضرب إلى إعادة قياس خاصة به قبل جمعه، مما يُفقد المراكمة بالأعداد الصحيحة فائدتها. والحجة نفسها هي سبب صعوبة مقاييس per-channel على التنشيطات: لا يمكن إخراج scale تنشيط خاص بكل قناة دخل من المجموع (Nagel et al., 2021). ولهذا أيضًا يكمّم TensorFlow Lite أوزان الالتفاف لكل محور (per axis) على طول بُعد قناة الخرج.