Lecture 05-2 · Quantization II

المحاضرة 05-2 · التكميم (Quantization II)

Quantized FC and conv layers with bias

طبقات FC وconv المكمّمة مع الـ bias

Slides 18–25الشرائح 18–25 P2 SHOULD

Add a bias to the integer matmul and choose its quantization so it drops straight into the int32 accumulator. Then swap the matmul for a convolution, and see what INT8 costs in accuracy.

نضيف bias إلى ضرب المصفوفات الصحيح ونختار تكميمه بحيث يُجمع مباشرة في المجمّع int32. ثم نستبدل الضرب بـ convolution، ونرى كم تكلّف INT8 من الدقة.

The FC derivation, one step at a time

اشتقاق طبقة FC خطوة بخطوة

Start from Y = WX + b and replace every real tensor by its affine form r = S(q − Z) (slide 18):

نبدأ من Y = WX + b ونستبدل كل tensor حقيقي بصيغته r = S(q − Z) (الشريحة 18):

S_Y(q_Y − Z_Y) = S_W(q_W − Z_W) · S_X(q_X − Z_X) + S_b(q_b − Z_b)

Z_W = 0 (symmetric weights): S_Y(q_Y − Z_Y) = S_WS_X(q_Wq_X − Z_Xq_W) + S_b(q_b − Z_b)
Z_W = 0 (أوزان متماثلة): S_Y(q_Y − Z_Y) = S_WS_X(q_Wq_X − Z_Xq_W) + S_b(q_b − Z_b)
Z_b = 0, S_b = S_WS_X (slide 19): the bias now shares the matmul's scale, so it factors out: S_Y(q_Y − Z_Y) = S_WS_X(q_Wq_X − Z_Xq_W + q_b)
Z_b = 0 وS_b = S_WS_X (الشريحة 19): صار للـ bias نفس scale ضرب المصفوفات، فيخرج كعامل مشترك: S_Y(q_Y − Z_Y) = S_WS_X(q_Wq_X − Z_Xq_W + q_b)
Solve for q_Y (slide 20): q_Y = (S_WS_X/S_Y)(q_Wq_X + q_b − Z_Xq_W) + Z_Y
حُلّ لإيجاد q_Y (الشريحة 20): q_Y = (S_WS_X/S_Y)(q_Wq_X + q_b − Z_Xq_W) + Z_Y
Fold the constants: q_bias = q_b − Z_Xq_W, computed once offline.
ادمج الثوابت: q_bias = q_b − Z_Xq_W، ويُحسب مرة واحدة مسبقاً (offline).

الخطوات: (1) Z_W = 0 لأن الأوزان متماثلة. (2) Z_b = 0 وS_b = S_WS_X، فيصبح للـ bias نفس scale الضرب ويخرج كعامل مشترك. (3) نحلّ لـ q_Y. (4) ندمج الثوابت: q_bias = q_b − Z_Xq_W، ويُحسب مرة واحدة مسبقاً.

q_Y = S_WS_XS_Y ( q_Wq_X + q_bias ) + Z_Y

Slide 21 labels the three boxes: S_WS_X/S_Y rescales to N-bit int; q_Wq_X + q_bias is N-bit int multiply with 32-bit int add; + Z_Y is an N-bit int add. Note on the slide: both q_b and q_bias are 32 bits.

تسمّي الشريحة 21 الصناديق الثلاثة: S_WS_X/S_Y يعيد التحجيم إلى عدد صحيح من N بت؛ q_Wq_X + q_bias ضرب صحيح N-bit مع جمع 32-bit؛ + Z_Y جمع صحيح N-bit. وملاحظة الشريحة: q_b وq_bias كلاهما 32 بت.

Why S_b = S_WS_X

لماذا S_b = S_WS_X

The accumulator holds q_Wq_X sums whose real value is S_WS_X per unit. Giving the bias the same unit lets you add q_b directly as an integer, with no extra rescale.

المجمّع يحمل مجاميع q_Wq_X وقيمتها الحقيقية S_WS_X لكل وحدة. إعطاء الـ bias نفس الوحدة يسمح بجمع q_b مباشرة كعدد صحيح، بلا إعادة تحجيم إضافية.

Why 32 bits for the bias

لماذا 32 بت للـ bias

S_WS_X is tiny (product of two small scales), so b / (S_WS_X) is a large integer. It would overflow 8 bits; it lives in the int32 accumulator anyway.

S_WS_X صغير جداً (حاصل ضرب scale صغيرين)، فيكون b / (S_WS_X) عدداً صحيحاً كبيراً لا يتسع في 8 بت؛ وهو يعيش في المجمّع int32 على أي حال.

Worked exampleمثال محلول

One output neuron, two inputs. S_W = 0.01, Z_W = 0, q_W = [20, −10]. S_X = 0.05, Z_X = 10, q_X = [30, 14]. Real bias b = 0.3. Output S_Y = 0.004, Z_Y = −128.

خلية خرج واحدة ومدخلان. S_W = 0.01، Z_W = 0، q_W = [20, −10]. S_X = 0.05، Z_X = 10، q_X = [30, 14]. الـ bias الحقيقي b = 0.3. الخرج S_Y = 0.004، Z_Y = −128.

Offline
  S_b    = S_W S_X = 0.01 x 0.05 = 0.0005
  q_b    = round(0.3 / 0.0005)   = 600          (int32)
  Z_X q_W  (row sum)  = 10 x (20 + (-10)) = 100
  q_bias = 600 - 100             = 500          (int32)
  M      = S_W S_X / S_Y = 0.0005 / 0.004 = 0.125

Runtime
  q_W . q_X = 20x30 + (-10)x14 = 600 - 140 = 460   (8-bit mults, 32-bit add)
  acc       = 460 + 500        = 960
  rescale   = 0.125 x 960      = 120
  q_Y       = 120 + (-128)     = -8

Check in floats
  W = [0.2, -0.1], X = 0.05 x ([30,14] - 10) = [1.0, 0.2]
  Y = 0.2 - 0.02 + 0.3 = 0.48
  S_Y (q_Y - Z_Y) = 0.004 x (-8 + 128) = 0.48   matches

For a fully connected layer, "Z_Xq_W" means Z_X times the sum of that output's row of q_W, because every input x_j carried the same offset Z_X.

في الطبقة fully connected يعني "Z_Xq_W" حاصل ضرب Z_X في مجموع صف ذلك الخرج من q_W، لأن كل مدخل x_j يحمل نفس الإزاحة Z_X.

Convolution: same recipe (slides 22–23)

الـ Convolution: الوصفة نفسها (الشريحتان 22–23)

For Y = Conv(W, X) + b the algebra is identical because convolution is linear. Only the precomputed offset changes:

لـ Y = Conv(W, X) + b الجبر مطابق لأن الـ convolution خطّي. يتغيّر فقط الحد المحسوب مسبقاً:

q_bias = q_b − Conv(q_W, Z_X) q_Y = S_WS_XS_Y ( Conv(q_W, q_X) + q_bias ) + Z_Y

Conv(q_W, Z_X) is the kernel convolved with a constant input equal to Z_X, which for each output channel is Z_X times the sum of that kernel's weights (ignoring padding effects at borders). It depends only on weights and Z_X, so it is folded into the bias offline.

Conv(q_W, Z_X) هو الـ kernel مطبّقاً على مدخل ثابت قيمته Z_X، أي لكل قناة خرج: Z_X مضروباً في مجموع أوزان ذلك الـ kernel (مع تجاهل أثر الـ padding عند الحواف). يعتمد فقط على الأوزان وZ_X، لذا يُدمج في الـ bias مسبقاً.

Every edge carries an integer. The only non-integer constant is the rescale M = S_WS_X/S_Y, which hardware applies as a fixed-point multiply and shift. (The slide's output label reads q_W; it is the output q_Y.)

كل حافة تحمل عدداً صحيحاً. الثابت الوحيد غير الصحيح هو معامل إعادة التحجيم M = S_WS_X/S_Y، ويطبّقه العتاد كضرب fixed-point وإزاحة. (تسمية المخرج في الشريحة مكتوبة q_W، والمقصود هو المخرج q_Y.)

INT8 results and the storage/compute table

نتائج INT8 وجدول التخزين والحساب

Networkالشبكة	Floating-pointعشري (Floating-point)	8-bit integerعدد صحيح 8-bit	Dropالهبوط
ResNet-50	76.4%	74.9%	1.5
Inception-V3	78.4%	75.4%	3.0

نتائج الشريحة 24 (Jacob et al., CVPR 2018): ResNet-50 من 76.4% إلى 74.9% (هبوط 1.5 نقطة)، وInception-V3 من 78.4% إلى 75.4% (هبوط 3.0 نقاط).

The right half of slide 24 plots top-1 accuracy against latency for float and integer-only MobileNets on ImageNet, on Snapdragon 835 big cores. The 8-bit points sit up and to the left of the float points: at the same latency int8 is more accurate, and at the same accuracy it is faster. A small accuracy loss per model buys a better latency-accuracy trade-off overall.

النصف الأيمن من الشريحة 24 يرسم دقة top-1 مقابل الـ latency لنماذج MobileNet العشرية والصحيحة بالكامل على ImageNet، على أنوية Snapdragon 835 الكبيرة. نقاط 8-bit تقع أعلى ويسار نقاط float: عند نفس الـ latency تكون int8 أدق، وعند نفس الدقة تكون أسرع. خسارة دقة صغيرة لكل نموذج تشتري مقايضة أفضل إجمالاً.

	Float baselineالخط الأساسي العشري	K-means quantizationتكميم K-means	Linear quantizationالتكميم الخطي (Linear quantization)
Storageالتخزين	Floating-point weightsأوزان عشرية	Integer weights; floating-point codebookأوزان صحيحة، وcodebook عشري	Integer weightsأوزان صحيحة
Computationالحساب	Floating-point arithmeticحساب عشري	Floating-point arithmeticحساب عشري	Integer arithmeticحساب بالأعداد الصحيحة

جدول الشريحة 25: الـ K-means يوفّر في التخزين فقط (فهارس صحيحة مع codebook عشري) ويبقى الحساب عشرياً، بينما الـ linear quantization يجعل التخزين والحساب كليهما صحيحين. علامة الاستفهام في الشريحة تمهّد للسؤال التالي: كيف نختار S وZ على أفضل وجه؟

Exam trapفخ في الامتحان

S_b is not chosen from the bias's own range. It is forced to S_WS_X, and Z_b = 0. If you compute S_b = |b|_max/127 you can no longer add q_b into the accumulator.

S_b لا يُختار من مدى الـ bias نفسه. بل يُفرض S_b = S_WS_X وZ_b = 0. لو حسبت S_b = |b|_max/127 فلن تستطيع جمع q_b في المجمّع مباشرة.

Sign of the offset. q_bias = q_b minus Z_Xq_W (FC) or minus Conv(q_W, Z_X) (conv). It comes from expanding q_W(q_X − Z_X).

إشارة الإزاحة. q_bias = q_b − Z_Xq_W (في FC) أو q_b − Conv(q_W, Z_X) (في conv). تأتي من فكّ q_W(q_X − Z_X).

Bit widths. Weights and activations: N-bit (8). Products accumulate in 32 bits. q_b and q_bias: 32 bits. Output after rescale and + Z_Y: N bits.

عرض البتات. الأوزان والـ activations: N بت (8). النواتج تُجمع في 32 بت. q_b وq_bias: 32 بت. الخرج بعد إعادة التحجيم وإضافة Z_Y: N بت.

Memory trickحيلة للحفظ

"Conv, add bias, scale, shift." The dataflow from bottom to top: int conv (int32 out), + q_bias (int32), × M, + Z_Y.

"Conv، أضف bias، حجّم، أزِح." مسار البيانات من الأسفل للأعلى: conv صحيح (خرج int32)، + q_bias (int32)، × M، + Z_Y.

Check yourself

اختبر نفسك

In the quantized FC layer, which choice of bias quantization parameters does the lecture make?

في طبقة FC المكمّمة، ما اختيار معاملات تكميم الـ bias في المحاضرة؟

C. Matching the accumulator's unit S_WS_X with no zero point lets q_b be added directly to q_Wq_X. B is a reasonable-looking range-based scale that breaks the direct addition. A and D mix in the output parameters.

C. مطابقة وحدة المُراكِم S_WS_X بلا zero point تسمح بجمع q_b مباشرة مع q_Wq_X. الخيار B scale يبدو معقولاً لأنه مبني على المدى، لكنه يكسر الجمع المباشر. والخياران A وD يخلطان معاملات المخرج.

Z_X = 4 and one output row of q_W is [3, −1, 2]. With q_b = 50, what is q_bias for that output?

Z_X = 4 وصف خرج واحد من q_W هو [3, −1, 2]. مع q_b = 50، ما q_bias لهذا الخرج؟

A. Z_X × row sum = 4 × (3 − 1 + 2) = 16; q_bias = 50 − 16 = 34. B adds instead of subtracting. C subtracts only Z_X. D uses the sum of absolute values (4 × 6 = 24).

A. Z_X × مجموع الصف = 4 × (3 − 1 + 2) = 16؛ وq_bias = 50 − 16 = 34. الخيار B يجمع بدلاً من أن يطرح. والخيار C يطرح Z_X فقط. والخيار D يستخدم مجموع القيم المطلقة (4 × 6 = 24).

How many bits does the lecture assign to q_b and q_bias?

كم بتاً تخصّص المحاضرة لـ q_b وq_bias؟

B. Slide 21 states it explicitly: both q_b and q_bias are 32 bits. Their scale S_WS_X is very small, so the integers are large, and they are added in the int32 accumulator.

B. الشريحة 21 تنص على ذلك صراحة: q_b وq_bias كلاهما 32 بت. الـ scale الخاص بهما S_WS_X صغير جداً، فتكون الأعداد الصحيحة كبيرة، وتُجمع في المُراكِم int32.

Slide 24 reports INT8 accuracy for Inception-V3. What is the top-1 drop from floating point?

تذكر الشريحة 24 دقة INT8 لـ Inception-V3. كم الهبوط في دقة top-1 مقارنة بالعشري؟

D. Inception-V3 goes 78.4% to 75.4%. A is ResNet-50's drop. Knowing both pairs is the safe move.

D. Inception-V3 ينتقل من 78.4% إلى 75.4%. الخيار A هو هبوط ResNet-50. معرفة الزوجين كليهما هي الخطوة الآمنة.

For Y = Conv(W, X) + b, what is precomputed into q_bias?

في Y = Conv(W, X) + b، ما الذي يُحسب مسبقاً داخل q_bias؟

C. The conv analogue of Z_Xq_W is the kernel applied to a constant input Z_X. B contains the runtime input and cannot be precomputed. D is a term that is 0 once Z_W = 0.

C. المقابل في الـ conv للحد Z_Xq_W هو الـ kernel مطبَّقاً على مدخل ثابت Z_X. الخيار B يحتوي على المدخل وقت التشغيل ولا يمكن حسابه مسبقاً. والخيار D حد يصبح 0 بمجرد أن يكون Z_W = 0.