Integer-Only FC and Conv Layers, and INT8 Resultsطبقات FC وConv بالأعداد الصحيحة فقط، ونتائج INT8

Take one output neuron with three inputs. Its float weights are 0.5, -0.3 and 0.2, its inputs are 2.0, 1.0 and 4.0, and its bias is 0.27. In float it computes 1.0 - 0.3 + 0.8 + 0.27 = 1.77. The goal is to get the same answer, to within one output step, without a single floating-point operation at run time.

خذ عصبونًا واحدًا في المخرج له ثلاثة مدخلات. أوزانه العائمة هي 0.5 و-0.3 و0.2، ومدخلاته 2.0 و1.0 و4.0، وانحيازه 0.27. بالفاصلة العائمة يحسب 1.0 - 0.3 + 0.8 + 0.27 = 1.77. الهدف أن نحصل على الجواب نفسه، بفارق لا يتجاوز خطوة مخرج واحدة، دون عملية فاصلة عائمة واحدة وقت التشغيل.

From Y = WX + b to integersمن Y = WX + b إلى الأعداد الصحيحة

Every tensor in the layer is stored with Linear quantization, so each one is replaced by its Affine mapping r = S(q - Z). Three choices from the previous parts make the algebra small. Weights use Symmetric quantization, so Z_W = 0 holds. The bias follows Bias quantization: Z_b = 0 and S_b = S_W S_X, which puts it on exactly the same scale as the products q_W q_X. Activations keep a general Zero point (Z) Z_X, because ReLU outputs are one-sided and suit Asymmetric quantization.

كل موتّر (tensor) في الطبقة مخزَّن بـLinear quantization، لذلك يُستبدل كل واحد منها بـAffine mapping r = S(q - Z). ثلاثة اختيارات من الأجزاء السابقة تجعل الجبر قصيرًا. الأوزان تستخدم Symmetric quantization، فيتحقق Z_W = 0. والانحياز يتبع Bias quantization: Z_b = 0 وS_b = S_W S_X، وهذا يضعه على المقياس نفسه تمامًا الذي عليه حواصل الضرب q_W q_X. أما التنشيطات (activations) فتحتفظ بـZero point (Z) عام Z_X، لأن مخرجات ReLU أحادية الجانب وتناسبها Asymmetric quantization.

This is the Linear quantized fully-connected layer. Read the notation Z_X q_W carefully: it is the weight matrix times a vector whose every entry is Z_X. For output row i it equals $Z_X \sum_j q_W[i,j]$, the zero point times that row’s weight sum. Nothing in it depends on the input image.

هذه هي Linear quantized fully-connected layer. اقرأ الترميز Z_X q_W بعناية: إنه مصفوفة الأوزان مضروبة في متجه كل عناصره تساوي Z_X. في صف المخرج i يساوي $Z_X \sum_j q_W[i,j]$، أي نقطة الصفر مضروبة في مجموع أوزان ذلك الصف. لا شيء فيه يعتمد على صورة المدخل.

Why q_bias can be precomputed, and why it is 32 bitsلماذا يمكن حساب q_bias مسبقًا، ولماذا عرضه 32 بت

q_bias contains three things: q_b, the weights and Z_X. All three are fixed once the model is quantized and calibrated, so the subtraction is done once on the laptop, not once per inference on the device. That is precomputation in the strongest sense: the zero-point correction costs zero run-time operations, because it has been folded into a number the layer has to add anyway.

يحتوي q_bias على ثلاثة أشياء: q_b والأوزان وZ_X. الثلاثة كلها ثابتة بمجرد تكميم النموذج ومعايرته، لذلك يُجرى الطرح مرة واحدة على الحاسوب المحمول، لا مرة مع كل استدلال على الجهاز. هذا هو الحساب المسبق بأقوى معانيه: تصحيح نقطة الصفر لا يكلّف أي عملية وقت التشغيل، لأنه دُمج في عدد على الطبقة أن تجمعه في كل الأحوال.

It must be stored in 32 bits for two reasons. First, its scale S_W S_X is tiny, so its integer values are large: in the example below q_b = 540, already far outside [-128, 127]. Second, it is added straight into the 32-bit accumulator, so it must live in the same format. Jacob et al. add a reason that is easy to miss: each bias entry is added to many output activations, so any rounding error in it acts as a systematic offset rather than noise that averages out. Biases are a tiny fraction of the parameters, so the extra width is nearly free.

يجب أن يُخزَّن بـ32 بت لسببين. أولًا، مقياسه S_W S_X صغير جدًا، فتكون قيمه الصحيحة كبيرة: في المثال أدناه q_b = 540، وهذا بعيد جدًا خارج [-128, 127]. ثانيًا، يُجمع مباشرة داخل 32-bit accumulator، فلا بد أن يكون بالصيغة نفسها. ويضيف Jacob et al. سببًا يسهل أن يفوتك: كل عنصر من الانحياز يُضاف إلى عدد كبير من تنشيطات المخرج، فأي خطأ تقريب فيه يعمل كإزاحة منهجية ثابتة، لا كضجيج يتلاشى بالمتوسط. والانحيازات نسبة ضئيلة من المعاملات، فالعرض الإضافي يكاد يكون مجانيًا.

What each operation costsكم تكلّف كل عملية

Slide 21 boxes the three pieces of the expression and labels their cost.

تحيط الشريحة 21 القطع الثلاث من التعبير بمربعات وتكتب تكلفة كل منها.

• Inside the bracket, q_W q_X is a dot product: N-bit integer multiplies whose products are summed in 32 bits, followed by one 32-bit add of q_bias. This is almost all of the work. The label is “N-bit Int Mult., 32-bit Int Add.”داخل القوس، q_W q_X هو ضرب نقطي (dot product): ضربات أعداد صحيحة بعرض N بت تُجمع حواصلها بعرض 32 بت، يليها جمع واحد بعرض 32 بت لـq_bias. هذا هو تقريبًا كل العمل. التسمية هي «N-bit Int Mult., 32-bit Int Add.».
• The factor S_W S_X / S_Y is the only real number left. It is applied once per output as a Requantization (rescale), implemented by Fixed-point multiplication and a shift (M0 and bit shift). The label is “Rescale to N-bit Int.”المعامل S_W S_X / S_Y هو العدد الحقيقي الوحيد المتبقي. يُطبَّق مرة واحدة لكل مخرج على هيئة Requantization (rescale)، ويُنفَّذ بـFixed-point multiplication وإزاحة (M0 and bit shift). التسمية هي «Rescale to N-bit Int.».
• Finally Z_Y is added. The label is “N-bit Int Add.” In practice the result is then clamped to the output range, which is also where a fused ReLU or ReLU6 is applied.أخيرًا يُضاف Z_Y. التسمية هي «N-bit Int Add.». عمليًا تُقصّ (clamp) النتيجة بعد ذلك إلى مدى المخرج، وهذا أيضًا هو الموضع الذي تُطبَّق فيه ReLU أو ReLU6 المدمجة.

Why 32 bits for the sum? An int8 product is at most 128 × 128 = 16,384 = 2^14 in magnitude, so it needs 16 bits with sign. Summing K of them adds about log2 K bits. A signed 32-bit register holds up to about 2^31, so even a worst-case dot product of about 2^17 = 131,072 terms cannot overflow.

لماذا 32 بت للمجموع؟ حاصل ضرب قيمتين int8 لا تتجاوز قيمته المطلقة 128 × 128 = 16,384 = 2^14، فيحتاج 16 بت مع الإشارة. جمع K من هذه الحواصل يضيف نحو log2 K بت. والسجل الموقَّع بعرض 32 بت يتسع لقيم حتى نحو 2^31، لذلك حتى ضرب نقطي في أسوأ الحالات بنحو 2^17 = 131,072 حدًا لا يمكن أن يفيض.

Picture one 3 × 3 filter sliding over an image whose activations have zero point Z_X = -10. At every position the integer convolution computes $\sum q_W\,(q_X - Z_X)$. The -Z_X part of that sum is the same at every position, because the filter is the same and Z_X is the same. That repetition is the whole trick.

تخيّل مرشّحًا واحدًا بحجم 3 × 3 ينزلق فوق صورة تنشيطاتها لها نقطة صفر Z_X = -10. في كل موضع يحسب الالتفاف الصحيح $\sum q_W\,(q_X - Z_X)$. الجزء -Z_X من هذا المجموع هو نفسه في كل موضع، لأن المرشّح نفسه وZ_X نفسه. هذا التكرار هو الحيلة كلها.

The same expression with Conv in place of a productالتعبير نفسه مع Conv بدل حاصل الضرب

A convolution is linear in its input, exactly like a matrix product, so the fully-connected derivation goes through unchanged. Write Y = Conv(W, X) + b, substitute the affine maps with the same three choices, and use $\mathrm{Conv}(q_W, q_X - Z_X) = \mathrm{Conv}(q_W, q_X) - \mathrm{Conv}(q_W, Z_X)$.

الالتفاف خطي في مدخله، تمامًا مثل ضرب المصفوفات، لذلك يصلح اشتقاق الطبقة المتصلة كليًا دون تغيير. اكتب Y = Conv(W, X) + b، وعوّض بالتحويلات الأفينية مع الاختيارات الثلاثة نفسها، واستخدم $\mathrm{Conv}(q_W, q_X - Z_X) = \mathrm{Conv}(q_W, q_X) - \mathrm{Conv}(q_W, Z_X)$.

This is the Linear quantized convolution layer. The cost labels are identical to the fully-connected case: the convolution is N-bit multiplies with 32-bit adds, the rescale produces N-bit integers, and Z_Y is an N-bit add. Again both q_b and q_bias are32 bits.

هذه هي Linear quantized convolution layer. تسميات التكلفة مطابقة لحالة الطبقة المتصلة كليًا: الالتفاف ضربات بعرض N بت مع جمع بعرض 32 بت، وإعادة التحجيم تنتج أعدادًا صحيحة بعرض N بت، وZ_Y جمع بعرض N بت. ومرة أخرى كلٌّ من q_b وq_bias بعرض 32 بت.

What Conv(q_W, Z_X) actually isما هو Conv(q_W, Z_X) فعلًا

Conv(q_W, Z_X) means convolving the weights with an input tensor in which every entry equals Z_X. Every window of that tensor looks the same, so for output channel k the result is one number repeated at every position:

Conv(q_W, Z_X) يعني التفاف الأوزان مع موتّر مدخل كل عناصره تساوي Z_X. كل نافذة في هذا الموتّر متطابقة، لذلك تكون النتيجة لقناة المخرج k عددًا واحدًا يتكرر في كل موضع:

With the numbers in the figure, the filter’s weights sum to 5, so the correction is -10 × 5 = -50 and q_bias = q_b + 50 for that channel. One subtraction per output channel, done once, replaces a correction that would otherwise be paid at every pixel of every image.

بأرقام الشكل، مجموع أوزان المرشّح 5، فيكون التصحيح -10 × 5 = -50 وq_bias = q_b + 50 لتلك القناة. طرح واحد لكل قناة مخرج، يُجرى مرة واحدة، يحلّ محل تصحيح كان سيُدفع ثمنه عند كل بكسل من كل صورة.

The dataflow, edge by edgeمسار البيانات حافةً بحافة

Slide 23 draws the layer as a small circuit. Follow one output value from the bottom up: integer inputs and integer weights enter the convolution, which emits an int32 sum; q_bias (int32) is added; the result (int32) is multiplied by the scale factor S_W S_X / S_Y; Z_Y (int) is added; out come the quantized outputs.

ترسم الشريحة 23 الطبقة على هيئة دائرة صغيرة. تتبّع قيمة مخرج واحدة من الأسفل إلى الأعلى: المدخلات الصحيحة والأوزان الصحيحة تدخل الالتفاف، الذي يُخرج مجموعًا بصيغة int32؛ ثم يُضاف q_bias (int32)؛ ثم تُضرب النتيجة (int32) في معامل المقياس S_W S_X / S_Y؛ ثم يُضاف Z_Y (int)؛ فتخرج المخرجات المكمَّمة.

The shape to remember is narrow, wide, narrow. Values are stored and moved in 8 bits, which is where the memory and bandwidth savings come from. They are summed in 32 bits so nothing overflows. One rescale per output brings them back to 8 bits for the next layer, which is exactly the input format that layer expects. That is why a whole network can be chained with no float in between: this is Integer-only inference.

الشكل الذي يجب تذكّره هو: ضيّق، عريض، ضيّق. القيم تُخزَّن وتُنقل بعرض 8 بت، ومن هنا يأتي توفير الذاكرة وعرض النطاق. وتُجمع بعرض 32 بت حتى لا يفيض شيء. وإعادة تحجيم واحدة لكل مخرج تعيدها إلى 8 بت للطبقة التالية، وهي بالضبط صيغة المدخل التي تتوقعها تلك الطبقة. لهذا يمكن ربط شبكة كاملة دون أي فاصلة عائمة بين الطبقات: هذا هو Integer-only inference.

Suppose a phone app must classify a camera frame in 33 ms to keep up with 30 frames per second. You can pick any MobileNet size you like. The question is not “which format is more accurate?” but “which format gives the best accuracy inside 33 ms?” Slide 24 answers both questions, and they have different answers.

افترض أن تطبيقًا على الهاتف يجب أن يصنّف إطار الكاميرا خلال 33 ms ليواكب 30 إطارًا في الثانية. يمكنك اختيار أي حجم تريده من MobileNet. السؤال ليس «أي صيغة أدق؟» بل «أي صيغة تعطي أفضل دقة ضمن 33 ms؟». الشريحة 24 تجيب عن السؤالين، وجواباهما مختلفان.

The accuracy table: the price on a fixed networkجدول الدقة: الثمن على شبكة ثابتة

The left half of slide 24 takes two large networks, keeps the architecture fixed and compares float with INT8 top-1 accuracy on ImageNet, from Jacob et al. (CVPR 2018).

يأخذ النصف الأيسر من الشريحة 24 شبكتين كبيرتين، ويثبّت البنية، ويقارن دقة top-1 على ImageNet بين float وINT8، نقلًا عن Jacob et al. (CVPR 2018).

• ResNet-50 drops from 76.4% to 74.9%: 1.5 percentage points, about 2% of its accuracy in relative terms.تنخفض ResNet-50 من 76.4% إلى 74.9%: أي 1.5 نقطة مئوية، وهذا نحو 2% من دقتها بالقيمة النسبية.
• Inception-V3 drops from 78.4% to 75.4%: 3.0 points, about 3.8% relative.تنخفض Inception-V3 من 78.4% إلى 75.4%: أي 3.0 نقاط، ونحو 3.8% بالقيمة النسبية.

So on a fixed network, INT8 is slightly less accurate. That is expected: every tensor now lives on a grid of step S, and the rounding errors add up through dozens of layers. Two details make these numbers better than naive rounding would give. The models were trained with simulated quantization, so the weights adapted to the grid. And the Inception-V3 row is the ReLU6 version; in the paper, plain ReLU loses more (78.3% to 74.2%), because a bounded activation range is easier to quantize finely.

إذن على شبكة ثابتة، INT8 أقل دقة بقليل. وهذا متوقع: كل موتّر يعيش الآن على شبكة خطوتها S، وأخطاء التقريب تتراكم عبر عشرات الطبقات. وتفصيلان يجعلان هذه الأرقام أفضل مما يعطيه التقريب الساذج. النماذج دُرّبت مع تكميم محاكى (simulated quantization)، فتكيّفت الأوزان مع الشبكة. وصف Inception-V3 هو نسخة ReLU6؛ ففي الورقة تخسر ReLU العادية أكثر (من 78.3% إلى 74.2%)، لأن مدى التنشيط المحدود أسهل في التكميم الدقيق.

The latency plot: what the price buysرسم زمن الاستجابة: ماذا يشتري هذا الثمن

The right half plots top-1 accuracy against latency for many MobileNets (different widths and input resolutions) on the big cores of a Snapdragon 835, the chip in the Google Pixel 2. Circles are float models; squares are 8-bit integer-only models. Latency is on a log axis with ticks from 5 ms to 120 ms; the slowest float models lie past the last tick.

يرسم النصف الأيمن دقة top-1 مقابل زمن الاستجابة لعدد كبير من شبكات MobileNet (بعروض ودقّات مدخل مختلفة) على الأنوية الكبيرة لمعالج Snapdragon 835، وهو الشريحة الموجودة في Google Pixel 2. الدوائر نماذج float؛ والمربعات نماذج أعداد صحيحة فقط بعرض 8 بت. زمن الاستجابة على محور لوغاريتمي بعلامات من 5 ms إلى 120 ms؛ وأبطأ نماذج float تقع بعد آخر علامة.

The squares sit up and to the left of the circles. Read it in either direction. Draw a vertical line at any latency budget: the best 8-bit model under it is more accurate than the best float model under it, because the integer version of a larger MobileNet fits where only a smaller float one would. Draw a horizontal line at any accuracy target: the 8-bit model reaches it sooner. This is the Latency-accuracy trade-off, and INT8 moves the whole frontier.

المربعات تقع أعلى ويسار الدوائر. اقرأ ذلك في أي من الاتجاهين. ارسم خطًا عموديًا عند أي ميزانية لزمن الاستجابة: أفضل نموذج 8 بت تحته أدق من أفضل نموذج float تحته، لأن النسخة الصحيحة من MobileNet أكبر تتسع حيث لا يتسع إلا نموذج float أصغر. وارسم خطًا أفقيًا عند أي هدف للدقة: نموذج 8 بت يبلغه أسرع. هذه هي Latency-accuracy trade-off، وINT8 تُزيح الحدّ كله.

The paper also stresses that the gain depends on the hardware. It reports a gap of about 10% top-1 at the 33 ms real-time budget on Snapdragon 835 LITTLE cores, and a smaller effect on the Snapdragon 821, whose floating-point path is better optimized. INT8 wins where integer arithmetic is much cheaper than float, which is exactly the situation on microcontrollers and mobile DSPs.

وتؤكد الورقة أيضًا أن المكسب يعتمد على العتاد. فهي تذكر فجوة نحو 10% في دقة top-1 عند ميزانية الزمن الحقيقي 33 ms على الأنوية الصغيرة (LITTLE) في Snapdragon 835، وأثرًا أصغر على Snapdragon 821 الذي مسار الفاصلة العائمة فيه أفضل تحسينًا. تفوز INT8 حيث تكون حسابات الأعداد الصحيحة أرخص بكثير من float، وهذا بالضبط الوضع في المتحكمات الدقيقة ومعالجات DSP في الهواتف.

Go back to the 4 × 4 weight matrix used earlier in this lecture, with values such as 2.09 and -0.98. You have now seen it stored three ways, and slide 25 sets them side by side with one question for each: what is stored, and what is computed?

عُد إلى مصفوفة الأوزان 4 × 4 التي استُخدمت سابقًا في هذه المحاضرة، بقيم مثل 2.09 و-0.98. رأيتها الآن مخزَّنة بثلاث طرق، والشريحة 25 تضعها جنبًا إلى جنب مع سؤال واحد لكل منها: ما الذي يُخزَّن، وما الذي يُحسب؟

K-means-based quantization stores small integer indices, but each index points into a float Codebook, and the arithmetic is still done in float after looking the value up. It saves memory but not compute. Linear quantization stores integers and, as this part has shown, also computes with integers: the only real-valued constant, S_W S_X / S_Y, is turned into a fixed-point multiply and a shift. That second property is what lets a model run on hardware with no floating-point unit at all.

K-means-based quantization يخزّن فهارس صحيحة صغيرة، لكن كل فهرس يشير إلى Codebook بالفاصلة العائمة، والحساب ما زال يُجرى بالفاصلة العائمة بعد البحث عن القيمة. إنه يوفّر الذاكرة لا الحساب. أما التكميم الخطي فيخزّن أعدادًا صحيحة، وكما بيّن هذا الجزء، يحسب أيضًا بأعداد صحيحة: الثابت الحقيقي الوحيد S_W S_X / S_Y يتحوّل إلى ضرب بالفاصلة الثابتة وإزاحة. هذه الخاصية الثانية هي ما يسمح للنموذج بالعمل على عتاد لا يحتوي وحدة فاصلة عائمة إطلاقًا.

The red arrow and question mark on slide 25 point at the next step: Binary/Ternary quantization, which pushes the Bit width (N) down to one or two bits so that multiplies become sign flips or skips. The same storage-versus-computation question will be the right lens for judging it.

السهم الأحمر وعلامة الاستفهام في الشريحة 25 يشيران إلى الخطوة التالية: Binary/Ternary quantization، الذي يخفض Bit width (N) إلى بت واحد أو بتين بحيث تصبح عمليات الضرب مجرد قلب إشارة أو تخطٍّ. وسؤال التخزين مقابل الحساب نفسه سيكون العدسة الصحيحة للحكم عليه.