Symmetric Quantization and Bias Handlingالتكميم المتماثل ومعالجة الانحياز (Bias)

Take two tensors. One is a layer of trained weights, with values scattered from about -2 to about +2 and most of them near 0. The other is the output of a ReLU, every value between 0 and 6. Both need to become 8-bit codes. Should both get the same kind of integer grid?

خذ موترين. الأول طبقة من الأوزان المدرّبة، قيمها منتشرة من حوالي -2 إلى حوالي +2 ومعظمها قريب من 0. والثاني مخرجات ReLU، كل قيمها بين 0 و6. كلاهما يجب أن يتحول إلى رموز بـ8 بت. فهل يجب أن يحصل الاثنان على نفس النوع من شبكة الأعداد الصحيحة؟

So far we have used asymmetric quantization: the float range [r_min, r_max] is stretched onto the code range [q_min, q_max], and the zero point Z lands wherever real 0 happens to fall. In the left half of slide 15 that is somewhere in the middle of the dots, and for the running matrix at 2 bits it was Z = -1. Symmetric quantization removes that freedom. It declares Z = 0 up front and, to make that consistent, quantizes a range centred on zero: [-|r|max, |r|max], where |r|max is the largest absolute value in the tensor.

حتى الآن استخدمنا asymmetric quantization (التكميم غير المتماثل): يُمدّ مدى القيم العشرية [r_min, r_max] على مدى الرموز [q_min, q_max]، وتقع zero point (نقطة الصفر) Z حيثما صادف أن وقع الصفر الحقيقي 0. في النصف الأيسر من الشريحة 15 يقع ذلك في مكان ما وسط النقاط، وفي المصفوفة المرافقة عند 2 بت كانت Z = -1. Symmetric quantization (التكميم المتماثل) يلغي هذه الحرية. فهو يعلن Z = 0 مسبقًا، ولكي يكون ذلك متسقًا يكمّم مدى متمركزًا حول الصفر: [-|r|max, |r|max]، حيث |r|max هي أكبر قيمة مطلقة في الموتر.

The integer side does not change. The codes are still signed N-bit integers with q_min and q_max taken from the table on the slide:

جانب الأعداد الصحيحة لا يتغير. الرموز ما زالت أعدادًا صحيحة بإشارة من N-bit، وقيمتا q_min and q_max مأخوذتان من الجدول الموجود في الشريحة:

Notice the range is already lopsided: there is one more negative code than positive. Keep that in mind; it is the root of the clipping problem in the next concept.

لاحظ أن المدى غير متوازن أصلًا: فيه رمز سالب واحد زيادة على عدد الرموز الموجبة. تذكّر هذا، فهو أصل مشكلة القصّ (clipping) في المفهوم التالي.

Who should be symmetric?من الذي يجب أن يكون متماثلًا؟

The answer depends on the shape of the data. Trained weights have a bell-shaped distribution centred near 0, so a range centred on 0 fits them well and almost no codes go to waste. ReLU outputs are the opposite: every value is 0 or positive. A symmetric grid would reserve the entire negative half of its codes for values that never occur.

الإجابة تعتمد على شكل البيانات. الأوزان المدرّبة لها bell-shaped distribution (توزيع على شكل جرس) متمركز قرب 0، لذلك يناسبها مدى متمركز حول 0، ولا يكاد يضيع أي رمز. مخرجات ReLU عكس ذلك: كل قيمة إما 0 أو موجبة. الشبكة المتماثلة ستحجز النصف السالب كله من رموزها لقيم لا تظهر أبدًا.

Run the running matrix through a symmetric quantizer. Its largest magnitude is 2.12, so the range is [-2.12, 2.12]. How big is one step?

مرّر المصفوفة المرافقة عبر مكمِّم متماثل. أكبر قيمة مطلقة فيها هي 2.12، لذلك المدى هو [-2.12, 2.12]. فكم حجم الخطوة الواحدة؟

Slide 16 puts the two scale formulas side by side. The asymmetric one is the familiar endpoint match from part two:

الشريحة 16 تضع صيغتي المقياس جنبًا إلى جنب. صيغة غير المتماثل هي مطابقة الطرفين المألوفة من الجزء الثاني:

The symmetric one comes from matching only the negative end. With Z = 0, the endpoint equation r_min = S(q_min - Z) becomes -|r|max = S q_min, and q_min = -2^(N-1):

أما صيغة المتماثل فتأتي من مطابقة الطرف السالب فقط. مع Z = 0 تصبح معادلة الطرف r_min = S(q_min - Z) هي -|r|max = S q_min، وq_min = -2^(N-1):

This is full range mode: it uses every code from -2^(N-1) up to 2^(N-1) - 1. For the running matrix in INT8, S = 2.12 / 128 = 0.01656.

هذا هو full range mode (نمط المدى الكامل): يستخدم كل الرموز من -2^(N-1) حتى 2^(N-1) - 1. للمصفوفة المرافقة بصيغة INT8 يكون S = 2.12 / 128 = 0.01656.

The value at the top does not fitالقيمة في الأعلى لا تتسع

The scale was fixed by the negative end. Now quantize the positive end: q = round(2.12 / 0.01656) = 128. But q_max = 127. Code 128 does not exist, so the value is clamped to 127 and comes back as 127 x 0.01656 = 2.103. In general, +|r|max maps to 2^(N-1), one step past q_max, because the signed range has one more negative code than positive.

المقياس حُدّد بواسطة الطرف السالب. الآن كمّم الطرف الموجب: q = round(2.12 / 0.01656) = 128. لكن q_max = 127. الرمز 128 غير موجود، لذلك تُحصر القيمة (clamp) إلى 127 وتعود بقيمة 127 x 0.01656 = 2.103. وبشكل عام، تُحوَّل +|r|max إلى 2^(N-1)، أي خطوة واحدة بعد q_max، لأن المدى ذا الإشارة فيه رمز سالب واحد زيادة على الرموز الموجبة.

Restricted range modeنمط المدى المقيّد

Many deployed toolchains give up the lonely -128 code instead. In restricted range mode the codes run from -(2^(N-1) - 1) to 2^(N-1) - 1, which is [-127, 127] for INT8, and the scale divides by q_max instead:

كثير من سلاسل الأدوات المستخدمة فعليًا تتخلى بدلًا من ذلك عن الرمز الوحيد -128. في restricted range mode (نمط المدى المقيّد) تمتد الرموز من -(2^(N-1) - 1) إلى 2^(N-1) - 1، أي [-127, 127] في INT8، ويُقسم المقياس على q_max بدلًا من ذلك:

Now both +|r|max and -|r|max land exactly on a code, and nothing clips. The cost is one code out of 2^N. TensorFlow Lite stores int8 weights in [-127, 127] with zero point 0, and NVIDIA's int8 workflow (Wu et al.) makes the same choice, noting that losing one value of 256 is insignificant at 8 bits but must be reconsidered at lower bit widths.

الآن تقع كل من +|r|max و-|r|max على رمز بالضبط، ولا يُقصّ شيء. الثمن رمز واحد من أصل 2^N. يخزّن TensorFlow Lite أوزان int8 في [-127, 127] مع نقطة صفر 0، وسير عمل int8 من NVIDIA (Wu et al.) يتخذ الاختيار نفسه، مع ملاحظة أن خسارة قيمة واحدة من 256 لا تُذكر عند 8 بت، لكن يجب إعادة النظر فيها عند عروض بتات أقل.

The trade-off, on the same tensorالمقايضة على نفس الموتر

The running matrix is skewed: its values reach +2.12 but only -1.08. Asymmetric INT8 fits that exactly with S = 3.20 / 255 = 0.01255. Symmetric must cover [-2.12, 2.12] and uses S = 0.01656, about 32% coarser, and the codes below round(-1.08 / 0.01656) = -65 are never used: 63 of 256 codes, roughly a quarter, are wasted. Drag the slider below from a balanced range to a fully one-sided one and watch the symmetric grid stay frozen while the asymmetric one follows the data.

المصفوفة المرافقة منحرفة: قيمها تصل إلى +2.12 لكنها لا تنزل إلا إلى -1.08. التكميم غير المتماثل بـINT8 يطابق ذلك تمامًا بـS = 3.20 / 255 = 0.01255. أما المتماثل فيجب أن يغطي [-2.12, 2.12] ويستخدم S = 0.01656، أي أخشن بحوالي 32%، والرموز الأقل من round(-1.08 / 0.01656) = -65 لا تُستخدم أبدًا: 63 رمزًا من 256، أي ربع الرموز تقريبًا، تضيع. حرّك المنزلق أدناه من مدى متوازن إلى مدى في جهة واحدة بالكامل، وراقب كيف تبقى الشبكة المتماثلة ثابتة بينما تتبع الشبكة غير المتماثلة البيانات.

Here is the payoff. Recall the full expansion of a quantized matrix multiplication from part three, with its four terms inside the bracket:

هنا تأتي الفائدة. تذكّر المفكوك الكامل لـquantized matrix multiplication (ضرب المصفوفات المكمّم) من الجزء الثالث، بحدوده الأربعة داخل القوس:

Sort the terms by what they depend on. q_W q_X is the real work: integer multiply-accumulates. Z_X q_W and Z_W Z_X involve only weights and fixed parameters, so they are precomputed offline. That leaves Z_W q_X: it contains the input, so it has to be recomputed for every new input, as an extra sum over the activations. Set Z_W = 0 and both Z_W q_X and Z_W Z_X disappear:

رتّب الحدود بحسب ما تعتمد عليه. q_W q_X هو العمل الحقيقي: عمليات ضرب وتجميع بالأعداد الصحيحة. Z_X q_W وZ_W Z_X لا تتضمنان إلا الأوزان ومعاملات ثابتة، لذلك تُحسبان مسبقًا (precomputed) خارج وقت التشغيل. يبقى Z_W q_X: فهو يحتوي على المُدخل، لذلك يجب إعادة حسابه لكل مُدخل جديد، كمجموع إضافي على قيم التنشيط. اجعل Z_W = 0 فيختفي كل من Z_W q_X وZ_W Z_X:

At inference time the only work inside the bracket is the N-bit integer product q_W q_X, summed in a 32-bit accumulator. The term Z_X q_W is a constant per output, added once. Outside the bracket, the rescale by S_W S_X / S_Y and the addition of Z_Y are unchanged from part three.

وقت الاستدلال، العمل الوحيد داخل القوس هو حاصل الضرب الصحيح بـN بت q_W q_X، الذي يُجمع في 32-bit accumulator (مجمّع بـ32 بت). الحد Z_X q_W ثابت لكل مخرج، ويُضاف مرة واحدة. وخارج القوس، تبقى rescale (إعادة القياس) بـS_W S_X / S_Y وإضافة Z_Y دون تغيير عن الجزء الثالث.

A real fully-connected layer computes Y = WX + b. Say one output has accumulator scale S_W S_X = 0.0005 and bias b = 0.37. The accumulator holds an integer that means 0.0005 per unit. How do we add 0.37 to it without leaving integer arithmetic?

الطبقة كاملة الاتصال الحقيقية تحسب Y = WX + b. لنفترض أن لأحد المخرجات مقياس مجمّع S_W S_X = 0.0005 وانحيازًا b = 0.37. المجمّع يحمل عددًا صحيحًا كل وحدة فيه تعني 0.0005. فكيف نضيف 0.37 إليه دون أن نغادر الحساب بالأعداد الصحيحة؟

Quantize every quantity, bias included, with its own scale and zero point, then substitute r = S(q - Z) into each one:

كمّم كل كمية، بما فيها الانحياز، بـscale (مقياس) ونقطة صفر خاصين بها، ثم عوّض r = S(q - Z) في كل واحدة منها:

Apply Z_W = 0 from the previous concept:

طبّق Z_W = 0 من المفهوم السابق:

The two halves still speak different units. The first is in units of S_W S_X; the second is in units of S_b and carries its own offset Z_b. Slide 18 boxes exactly these two mismatches. Slide 19 removes both by choice:

النصفان ما زالا يتكلمان بوحدات مختلفة. الأول بوحدات S_W S_X، والثاني بوحدات S_b ويحمل إزاحته الخاصة Z_b. الشريحة 18 تضع إطارًا حول هذين الاختلافين بالضبط، والشريحة 19 تزيلهما كليهما بالاختيار:

This is bias quantization in one line. Because S_b equals the accumulator's scale, q_b is already in accumulator units and is simply added to the running sum. Because Z_b = 0, there is no extra offset to subtract. The result is still one rescale and one addition of Z_Y, exactly as before. Any other S_b would force a second rescale, (S_b / S_W S_X) q_b, a fixed-point multiply per bias, just to line the units up.

هذا هو bias quantization (تكميم الانحياز) في سطر واحد. لأن S_b يساوي مقياس المجمّع، فإن q_b يكون أصلًا بوحدات المجمّع ويُضاف ببساطة إلى المجموع الجاري. ولأن Z_b = 0، لا توجد إزاحة إضافية يجب طرحها. النتيجة ما زالت إعادة قياس واحدة وإضافة واحدة لـZ_Y، تمامًا كما كان من قبل. أي قيمة أخرى لـS_b كانت ستفرض إعادة قياس ثانية، (S_b / S_W S_X) q_b، أي ضربًا بالفاصلة الثابتة لكل انحياز، فقط لمواءمة الوحدات.

Why the bias needs 32 bitsلماذا يحتاج الانحياز إلى 32 بت

The pattern is general. S_W S_X is the product of two small numbers, so it is very small, so even a modest bias becomes a large integer. Storing it as int32 costs almost nothing: there is one bias per output neuron or channel, a tiny fraction of the parameters. Jacob et al. add a second reason: each bias entry is added to many outputs, so any rounding error in it acts as a systematic offset, which hurts accuracy. A fine scale and a wide integer keep that error below S_b / 2 = 0.00025.

هذا النمط عام. S_W S_X هو حاصل ضرب عددين صغيرين، لذلك هو صغير جدًا، ولذلك حتى الانحياز المتواضع يصبح عددًا صحيحًا كبيرًا. تخزينه بصيغة int32 لا يكلّف تقريبًا شيئًا: هناك انحياز واحد لكل خلية عصبية مخرجة أو قناة، وهذا جزء ضئيل من المعاملات. ويضيف Jacob et al. سببًا ثانيًا: كل عنصر انحياز يُضاف إلى مخرجات كثيرة، لذلك أي خطأ تقريب فيه يعمل كإزاحة منهجية، وهذا يضرّ بالدقة. المقياس الدقيق والعدد الصحيح العريض يبقيان هذا الخطأ تحت S_b / 2 = 0.00025.