Scale and Zero Point: Deriving S and Zالمقياس (Scale) ونقطة الصفر (Zero Point): اشتقاق S وZ

Take the top-left weight of the slide's 4 x 4 matrix, 2.09. After quantization, the chip stores the 2-bit code 1. It also keeps two numbers for the whole matrix: Z = -1 and S = 1.07. To get a real number back it computes (1 - (-1)) x 1.07 = 2.14. That is close to 2.09 but not equal to it.

خذ الوزن في الزاوية العليا اليسرى من مصفوفة الشريحة ذات الحجم 4 x 4، وقيمته 2.09. بعد التكميم تخزّن الشريحة الإلكترونية الرمز ذا البتين 1. وتحتفظ أيضًا بعددين للمصفوفة كلها: Z = -1 وS = 1.07. ولكي تستعيد عددًا حقيقيًا تحسب (1 - (-1)) x 1.07 = 2.14. هذه القيمة قريبة من 2.09 لكنها لا تساويها.

The map and the types of its symbolsالدالة وأنواع رموزها

That recovery rule is Linear quantization written as an Affine mapping: a scale times a shifted integer.

قاعدة الاستعادة هذه هي linear quantization (التكميم الخطي) مكتوبًا على شكل affine mapping (دالة تآلفية): مقياس مضروب في عدد صحيح مُزاح.

Read the map from right to left. Start from the stored integer Quantized value (q), subtract the Zero point (Z), then multiply by the Scale (S). The types matter as much as the formula, and they are a favourite exam detail:

اقرأ الدالة من اليمين إلى اليسار. ابدأ من العدد الصحيح المخزّن quantized value (q)، واطرح منه zero point (Z)، ثم اضرب الناتج في scale (S). الأنواع مهمة بقدر أهمية الصيغة نفسها، وهي تفصيل يحب الامتحان أن يسأل عنه:

The two quantities that live with each value (r and q) are a float and an integer. The two quantization parameters (S and Z) are also a float and an integer. Z has the same type as q, so in the slide example it is a 2-bit signed integer. That is no accident: the paper the slides come from, Jacob et al. (CVPR 2018), defines Z as the quantized value that corresponds to real 0. A value can only be a code if it is an integer in the code's type.

الكميتان المرتبطتان بكل قيمة (r وq) هما عدد عشري وعدد صحيح. ومعاملا التكميم (S وZ) هما أيضًا عدد عشري وعدد صحيح. نوع Z هو نفس نوع q، لذلك في مثال الشرائح هو عدد صحيح بإشارة من بتين. وهذا ليس صدفة: الورقة التي أُخذت منها الشرائح، Jacob et al. (CVPR 2018)، تعرّف Z بأنه القيمة المكمّمة التي تقابل الصفر الحقيقي 0. ولا يمكن لقيمة أن تكون رمزًا إلا إذا كانت عددًا صحيحًا من نوع الرموز.

The picture shows the two operations in order. Subtracting Z slides the integer grid so the code Z sits on zero. Multiplying by S stretches the spacing from 1 to S. The Reconstructed weights therefore always lie on a uniform grid of spacing S. The gap between an original value and its grid point is the Quantization error, at most S/2 for in-range values.

يعرض الشكل العمليتين بالترتيب. طرح Z يزيح شبكة الأعداد الصحيحة بحيث يقع الرمز Z على الصفر. والضرب في S يمدّ المسافة بين النقاط من 1 إلى S. لذلك تقع reconstructed weights (الأوزان المعاد بناؤها) دائمًا على شبكة منتظمة المسافة بين نقاطها S. والفرق بين القيمة الأصلية ونقطة الشبكة الخاصة بها هو quantization error (خطأ التكميم)، ولا يتجاوز S/2 للقيم الواقعة داخل المدى.

With 2 bits you can write exactly four patterns: 00, 01, 10, 11. Read as signed numbers they are 0, 1, -2 and -1. So a 2-bit code lives in [-2, 1], and quantization must squeeze the whole real range of the matrix onto those four points.

باستخدام بتين يمكنك كتابة أربعة أنماط فقط: 00 و01 و10 و11. وإذا قرأتها كأعداد بإشارة فهي 0 و1 و-2 و-1. إذن الرمز ذو البتين يقع في [-2, 1]، وعلى التكميم أن يضغط المدى الحقيقي الكامل للمصفوفة على هذه النقاط الأربع.

Two number linesخطّا أعداد

Picture two parallel lines. The top line is the real axis r. On it, the tensor occupies an interval from r_min and r_max (here -1.08 to 2.12). The bottom line holds the integer codes from q_min and q_max. Quantization ties the two lines at their ends: q_min maps to r_min and q_max maps to r_max. Somewhere between them, the code Z points straight up at real 0. Every derivation in this part is just algebra on that picture.

تخيّل خطين متوازيين. الخط العلوي هو المحور الحقيقي r. وعليه يشغل الموتر فترة تمتد بين r_min and r_max (هنا من -1.08 إلى 2.12). والخط السفلي يحمل الرموز الصحيحة بين q_min and q_max. التكميم يربط الخطين عند طرفيهما: q_min يقابل r_min وq_max يقابل r_max. وفي مكان ما بينهما يشير الرمز Z مباشرة إلى الصفر الحقيقي 0. كل اشتقاق في هذا الجزء هو مجرد جبر على هذه الصورة.

The signed N-bit rangeمدى الأعداد ذات الإشارة بعدد N من البتات

The codes use Two's complement, the standard signed encoding. With a Bit width (N) of N there are 2^N codes. Half of them are negative and the other half are zero plus the positives. That is why the range is lopsided by one:

تستخدم الرموز two's complement (المتمم الثنائي)، وهو الترميز القياسي للأعداد ذات الإشارة. ومع bit width (N) (عرض بتات) يساوي N يوجد 2^N رمزًا. نصفها سالب، والنصف الآخر هو الصفر مع الأعداد الموجبة. لهذا يكون المدى غير متوازن بفارق واحد:

The slide matrix spans -1.08 to 2.12, a real width of 3.20. The 2-bit codes -2, -1, 0, 1 have 3 gaps between them. Stretch three equal gaps over a width of 3.20 and each gap is 3.20 / 3 = 1.0667 real units. That number is the scale.

مصفوفة الشريحة تمتد من -1.08 إلى 2.12، أي بعرض حقيقي قدره 3.20. والرموز ذات البتين -2, -1, 0, 1 بينها 3 فجوات. إذا مددت ثلاث فجوات متساوية على عرض 3.20 فإن كل فجوة تساوي 3.20 / 3 = 1.0667 وحدة حقيقية. هذا العدد هو المقياس.

The derivation (slide 7)الاشتقاق (الشريحة 7)

Now turn the intuition into algebra. Demand that the affine map send each end of the integer range to the matching end of the real range. That gives two equations, both containing the unknowns S and Z:

الآن حوّل هذا الحدس إلى جبر. اشترط أن ترسل الدالة التآلفية كل طرف من مدى الأعداد الصحيحة إلى الطرف المقابل من المدى الحقيقي. هذا يعطي معادلتين، كل منهما تحتوي المجهولين S وZ:

Subtract the second from the first. Expanding gives S q_max - S Z - S q_min + S Z. The two S Z terms cancel, so the zero point disappears:

اطرح الثانية من الأولى. بعد فك الأقواس نحصل على S q_max - S Z - S q_min + S Z. الحدّان S Z يلغي أحدهما الآخر، فتختفي نقطة الصفر:

You now know one integer step is worth 1.0667. The smallest real value -1.08 sits at code -2. Walk up from there: -1.08 is about one step below zero, so real zero must sit about one code above -2, at code -1. That code is the zero point.

أنت تعرف الآن أن الخطوة الصحيحة الواحدة تساوي 1.0667. وأصغر قيمة حقيقية -1.08 تقع عند الرمز -2. اصعد من هناك: -1.08 تقع تحت الصفر بخطوة واحدة تقريبًا، إذن الصفر الحقيقي يجب أن يقع فوق -2 برمز واحد تقريبًا، أي عند الرمز -1. هذا الرمز هو نقطة الصفر.

The derivation (slide 9)الاشتقاق (الشريحة 9)

Take the bottom endpoint equation and solve it for Z, now that S is known:

خذ معادلة الطرف السفلي وحلّها لإيجاد Z، بعد أن أصبح S معروفًا:

Nothing forces that expression to be a whole number, but Z must be a code. So it is rounded:

لا شيء يجبر هذا التعبير على أن يكون عددًا صحيحًا، لكن Z يجب أن يكون رمزًا. لذلك نقرّبه:

Using the top equation instead gives Z = q_max - r_max / S. Before rounding it is the same number, because S was built to make both ends agree.

لو استخدمت المعادلة العليا بدلًا منها لحصلت على Z = q_max - r_max / S. وقبل التقريب هي العدد نفسه، لأن S بُني أصلًا ليجعل الطرفين متوافقين.

Why Z must be an integer: exact zeroلماذا يجب أن يكون Z عددًا صحيحًا: الصفر الدقيق

Rounding Z costs something. The ends of the range no longer land exactly. With the unrounded Z = -0.9875, code 1 would decode to 1.0667 x 1.9875 = 2.12. With Z = -1 it decodes to 1.0667 x 2 = 2.13, and code -2 to -1.07 rather than -1.08. The whole grid slides by 0.0125S, never more than S/2. The design accepts that small shift to buy something more valuable, the Exact representation of zero. If Z is an integer, then the code q = Z exists, and r = S(Z - Z) = 0 exactly.

تقريب Z له ثمن. طرفا المدى لم يعودا يقعان في مكانهما بالضبط. مع القيمة غير المقرّبة Z = -0.9875 كان الرمز 1 سيُفك إلى 1.0667 x 1.9875 = 2.12. ومع Z = -1 يُفك إلى 1.0667 x 2 = 2.13، والرمز -2 يُفك إلى -1.07 بدلًا من -1.08. الشبكة كلها تنزاح بمقدار 0.0125S، ولا يتجاوز ذلك أبدًا S/2. يقبل التصميم هذه الإزاحة الصغيرة ليكسب شيئًا أثمن، وهو exact representation of zero (التمثيل الدقيق للصفر). إذا كان Z عددًا صحيحًا فإن الرمز q = Z موجود، وr = S(Z - Z) = 0 تمامًا.

Real zero is not a rare value in a neural network. It appears all the time:

الصفر الحقيقي ليس قيمة نادرة في الشبكة العصبية. إنه يظهر طوال الوقت:

• Zero padding. Convolutions pad feature maps with zeros at the borders. Jacob et al. give this as the motivation for exact zero.الحشو بالأصفار (zero padding). الالتفافات (convolutions) تحشو خرائط الخصائص بأصفار عند الحواف. ويذكر Jacob et al. هذا بوصفه الدافع لتمثيل الصفر بدقة.
• ReLU outputs. Every negative pre-activation becomes exactly zero, so a large share of the activations after a ReLU are zero.مخرجات ReLU. كل قيمة سالبة قبل التفعيل تصبح صفرًا تمامًا، لذلك تكون نسبة كبيرة من التفعيلات بعد ReLU أصفارًا.
• Pruned weights. The pruning lectures (04-1 and 04-2) set many weights to exactly zero, and quantizing them must keep them zero.الأوزان المقلّمة (pruned weights). محاضرتا التقليم (04-1 و04-2) تجعلان كثيرًا من الأوزان صفرًا تمامًا، ويجب أن يحافظ تكميمها على كونها صفرًا.

Now suppose Z were fractional, say -0.6. No stored integer decodes to zero. The best the hardware can do is the nearest code -1, which decodes to S(-1 - (-0.6)) = -0.4S. Every padded cell then carries the same -0.4S error. It is systematic rather than random, so it does not average out. It adds up in every convolution window that touches the border, which biases the layer output. A fractional zero point would also need a float subtraction inside the integer pipeline, which part 3 works hard to avoid.

افترض الآن أن Z كسري، مثلًا -0.6. لا يوجد عدد صحيح مخزّن يُفك إلى الصفر. أفضل ما يستطيعه العتاد هو أقرب رمز -1، الذي يُفك إلى S(-1 - (-0.6)) = -0.4S. عندها تحمل كل خلية محشوة الخطأ نفسه -0.4S. هذا الخطأ منهجي (systematic) وليس عشوائيًا، لذلك لا يُلغى بالمتوسط. بل يتراكم في كل نافذة التفاف تلامس الحافة، فينحاز خرج الطبقة. كما أن نقطة الصفر الكسرية تتطلب عملية طرح عشرية داخل خط المعالجة الصحيح (integer pipeline)، وهذا ما يجتهد الجزء 3 في تجنّبه.

Try the explorer below. Drag the ends of the shaded range and watch S and Z update, with the teal arrow always running from code Z to real 0. The small ticks above the real axis are the representable values S(q - Z). One of them always sits exactly on zero, while the range ends drift slightly once Z is rounded. The presets load the slide example and both drills below.

جرّب المستكشف أدناه. اسحب طرفي المدى المظلل وراقب S وZ وهما يتحدّثان، مع السهم الأخضر المزرق الذي يمتد دائمًا من الرمز Z إلى الصفر الحقيقي 0. العلامات الصغيرة فوق المحور الحقيقي هي القيم القابلة للتمثيل S(q - Z). إحداها تقع دائمًا على الصفر تمامًا، بينما ينزاح طرفا المدى قليلًا بعد تقريب Z. الإعدادات الجاهزة تحمّل مثال الشرائح والتمرينين أدناه.

Exam drillsتمارين الامتحان