Quantization (I)التكميم (Quantization) الجزء الأول

Take one multiply-accumulate, the operation a neural network repeats billions of times. In 32-bit floating point it costs a multiply (3.7 pJ) plus an add (0.9 pJ), so 4.6 pJ. In 8-bit integers it costs 0.2 pJ plus 0.03 pJ, so 0.23 pJ. The same arithmetic job, done with fewer bits, is about 20x cheaper. That one number is why this lecture exists.

خذ عملية multiply-accumulate واحدة، وهي العملية التي تكررها الشبكة العصبية مليارات المرات. في الـ floating point بحجم 32-bit تكلف عملية ضرب (3.7 pJ) زائد عملية جمع (0.9 pJ)، أي 4.6 pJ. وفي الأعداد الصحيحة بحجم 8-bit تكلف 0.2 pJ زائد 0.03 pJ، أي 0.23 pJ. المهمة الحسابية نفسها، حين تُنفذ ببتات أقل، أرخص بنحو 20x. هذا الرقم وحده هو سبب وجود هذه المحاضرة.

The table every efficiency lecture quotesالجدول الذي تستشهد به كل محاضرة عن الكفاءة

The figures come from Mark Horowitz's ISSCC 2014 keynote, measured for a 45 nm process at 0.9 V. They are rough by design: the exact numbers change with the process node, but the ratios between them have held for a decade. The slide lists four precisions for each of two operations.

تأتي هذه الأرقام من الكلمة الرئيسية لـ Mark Horowitz في مؤتمر ISSCC 2014، وقد قيست لتقنية تصنيع 45 nm عند جهد 0.9 V. وهي تقريبية عن قصد: الأرقام الدقيقة تتغير مع عقدة التصنيع (process node)، لكن النسب بينها ظلت ثابتة لعقد كامل. تعرض الشريحة أربع دقّات (precisions) لكل عملية من العمليتين.

Reading the ratiosقراءة النسب

Why multiplies punish bits more than addsلماذا يعاقب الضرب على البتات أكثر من الجمع

Look at integers only, so the format does not change. Going from 8 to 32 bits is 4x the Bit-width. The add grows from 0.03 to 0.1 pJ, about 3.3x: roughly linear. The multiply grows from 0.2 to 3.1 pJ, about 15.5x, which is close to 4² = 16: roughly quadratic.

انظر إلى الأعداد الصحيحة فقط حتى لا تتغير الصيغة. الانتقال من 8 إلى 32 بتاً يعني 4x في bit-width. يزداد الجمع من 0.03 إلى 0.1 pJ، أي نحو 3.3x: نمو خطي تقريباً. ويزداد الضرب من 0.2 إلى 3.1 pJ، أي نحو 15.5x، وهذا قريب من 4² = 16: نمو تربيعي تقريباً.

The hardware explains the pattern. An n-bit ripple adder is a chain of n full adders, one per bit. An n-bit array multiplier forms n partial products of n bits each and adds them, so it needs on the order of n² cells. Real designs are cleverer, but the growth stays close to these orders.

العتاد يفسر هذا النمط. الجامع المتتابع (ripple adder) بعدد n من البتات هو سلسلة من n جامعات كاملة (full adders)، واحد لكل بت. أما الضارب المصفوفي (array multiplier) بعدد n من البتات فيكوّن n من النواتج الجزئية (partial products) طول كل منها n بت ثم يجمعها، لذلك يحتاج إلى عدد من الخلايا من رتبة n². التصاميم الحقيقية أذكى من ذلك، لكن النمو يبقى قريباً من هذه الرتب.

Floating point adds overhead on top: aligning exponents, normalizing and rounding. That is why a 32-bit float ADD (0.9 pJ) costs 9x a 32-bit int ADD (0.1 pJ) even though both handle 32 bits. A 16-bit float multiply (1.1 pJ) is still cheaper than a 32-bit integer one (3.1 pJ), because its significand is only 11 bits wide. Parts 2 and 3 unpack these float formats.

الـ floating point يضيف عبئاً إضافياً فوق ذلك: محاذاة الأُسس (exponents)، والتطبيع (normalizing)، والتقريب (rounding). لهذا يكلف 32-bit float ADD (0.9 pJ) تسعة أضعاف (9x) 32-bit int ADD (0.1 pJ) رغم أن كليهما يتعامل مع 32 بتاً. ومع ذلك فإن ضرب 16-bit float (1.1 pJ) أرخص من ضرب عدد صحيح 32-bit (3.1 pJ)، لأن الجزء المعنوي (significand) فيه عرضه 11 بتاً فقط. الجزءان 2 و3 يشرحان صيغ الـ float هذه بالتفصيل.

Memory dominates bothالذاكرة تطغى على الاثنين

The bottom line of slide 3 says one DRAM access costs 200x or more than an arithmetic operation. Han et al. quote the same Horowitz table: about 640 pJ for a 32-bit DRAM read and about 5 pJ for a 32-bit on-chip SRAM read. Then 640 / 3.1 ≈ 206, so one fetch from DRAM costs as much as about 200 32-bit integer multiplies, and over 20,000 8-bit integer adds. Horowitz's own paper puts a DRAM access at 1 to 2 nJ, a couple of orders of magnitude above a functional operation.

يقول السطر الأخير في الشريحة 3 إن قراءة واحدة من DRAM تكلف 200x أو أكثر من عملية حسابية. ويستشهد Han et al. بجدول Horowitz نفسه: نحو 640 pJ لقراءة 32-bit من DRAM، ونحو 5 pJ لقراءة 32-bit من SRAM على الشريحة (on-chip). إذن 640 / 3.1 ≈ 206، أي أن جلبة واحدة من DRAM تكلف ما يعادل نحو 200 عملية ضرب لأعداد صحيحة 32-bit، وأكثر من 20,000 عملية جمع لأعداد صحيحة 8-bit. وورقة Horowitz نفسها تقدّر الوصول إلى DRAM بما بين 1 و2 nJ، أي أعلى من العملية الوظيفية بمرتبتين عشريتين تقريباً.

This is why fewer bits help twice. Each operation gets cheaper, and each weight or activation is smaller, so fewer bytes cross the expensive path from DRAM. An 8-bit weight is a quarter of the traffic of a 32-bit one, and a model that shrinks enough may fit in on-chip SRAM, which avoids DRAM almost completely. You saw the memory side of this argument in lecture 03 and in Pruning (lecture 04-1). Quantization attacks the same bill from the other direction: instead of fewer weights, fewer bits per weight.

لهذا تفيد البتات الأقل مرتين. كل عملية تصبح أرخص، وكل وزن (weight) أو تنشيط (activation) يصبح أصغر، فتعبر بايتات أقل المسار المكلف من DRAM. الوزن بحجم 8-bit يمثل ربع حركة البيانات التي يحتاجها وزن بحجم 32-bit، والنموذج الذي يصغر بما يكفي قد يتسع في SRAM على الشريحة، فيتجنب DRAM بالكامل تقريباً. رأيت جانب الذاكرة من هذه الحجة في المحاضرة 03 وفي pruning (المحاضرة 04-1). الـ quantization يهاجم الفاتورة نفسها من الاتجاه الآخر: بدلاً من أوزان أقل، بتات أقل لكل وزن.

Write 49 in binary: 32 + 16 + 1, so 00110001 in eight bits. Now try to store -49. There is no minus sign in a register, only bits, so some bit pattern has to mean "negative". The three classic answers to that question are the three integer formats on slide 5, and each one gives the same pattern a different meaning.

اكتب 49 بالنظام الثنائي: 32 + 16 + 1، أي 00110001 في ثمانية بتات. الآن حاول تخزين -49. لا توجد إشارة سالب داخل المسجل (register)، بل بتات فقط، لذلك لا بد أن يعني نمطٌ ما من البتات "سالب". الإجابات الكلاسيكية الثلاث عن هذا السؤال هي صيغ الأعداد الصحيحة الثلاث في الشريحة 5، وكل منها يعطي النمط نفسه معنى مختلفاً.

Unsigned: every bit is a positive power of twoصيغة unsigned: كل بت قوة موجبة للعدد اثنين

In an Unsigned integer, bit i has weight $2^{i}$, and the value is the sum of the weights of the bits that are set. All zeros gives 0; all ones gives $2^{n}-1$. There is no way to write a negative number.

في unsigned integer يكون وزن البت i هو $2^{i}$، والقيمة هي مجموع أوزان البتات التي قيمتها 1. كل البتات أصفار تعطي 0، وكل البتات آحاد تعطي $2^{n}-1$. لا توجد طريقة لكتابة عدد سالب.

Sign-magnitude: a sign flag in front of an unsigned numberصيغة sign-magnitude: علامة إشارة أمام عدد unsigned

Sign-magnitude spends the top bit on the sign and keeps the other n - 1 bits as an unsigned magnitude. So -49 is the sign 1 followed by 0110001: 10110001. It is how people write numbers on paper, which makes it easy to read. It has two flaws. Both 00000000 and 10000000 mean zero (plus zero and minus zero), which wastes a code and complicates equality tests. And adding a positive and a negative number needs a different circuit from adding two positives, because the hardware must compare magnitudes and subtract.

صيغة sign-magnitude تخصص البت الأعلى للإشارة وتُبقي البتات الأخرى وعددها n - 1 كمقدار (magnitude) بلا إشارة. إذن -49 هو بت الإشارة 1 يليه 0110001: 10110001. هكذا يكتب الناس الأعداد على الورق، ولذلك يسهل قراءتها. لكن لها عيبين. النمطان 00000000 و10000000 كلاهما يعني الصفر (صفر موجب وصفر سالب)، وهذا يهدر رمزاً ويعقّد اختبارات التساوي. كما أن جمع عدد موجب وعدد سالب يحتاج إلى دائرة مختلفة عن جمع عددين موجبين، لأن العتاد يجب أن يقارن المقدارين ثم يطرح.

Two's complement: the top bit has a negative weightصيغة two's complement: للبت الأعلى وزن سالب

Two's complement changes one thing: the top bit is no longer a flag but a weight, and that weight is negative, $-2^{n-1}$. All other bits keep their positive weights. For eight bits the weights are -128, 64, 32, 16, 8, 4, 2, 1.

صيغة two's complement تغيّر شيئاً واحداً: البت الأعلى لم يعد علامة بل وزناً، وهذا الوزن سالب، $-2^{n-1}$. وتحتفظ بقية البتات بأوزانها الموجبة. في حالة ثمانية بتات تكون الأوزان -128, 64, 32, 16, 8, 4, 2, 1.

The second check is the deep reason the format works. A negative value -x is stored as the unsigned pattern of $2^{n}-x$, which is arithmetic modulo $2^{n}$. An ordinary unsigned adder already works modulo $2^{n}$, since the carry out of the top bit is simply dropped. So the same adder handles signed and unsigned numbers, subtraction is "add the negation", and there is a single zero. Practically every CPU, DSP and neural accelerator uses two's complement for signed integers for this reason.

التحقق الثاني هو السبب العميق لنجاح هذه الصيغة. القيمة السالبة -x تُخزَّن على شكل النمط unsigned للعدد $2^{n}-x$، وهذا حساب بباقي القسمة على $2^{n}$ (modulo). والجامع العادي للأعداد unsigned يعمل أصلاً بباقي القسمة على $2^{n}$، لأن المحمول (carry) الخارج من البت الأعلى يُهمل ببساطة. لذلك يتعامل الجامع نفسه مع الأعداد ذات الإشارة والأعداد بلا إشارة، ويصبح الطرح "أضف السالب"، ويوجد صفر واحد فقط. لهذا السبب يستخدم عملياً كل CPU وDSP ومسرّع للشبكات العصبية صيغة two's complement للأعداد الصحيحة ذات الإشارة.

Ranges for 8 and 4 bitsالنطاقات لـ 8 و4 بتات

Count the distinct values. Unsigned and two's complement both use all $2^{n}$ patterns: 256 values for eight bits, 16 for four. Sign-magnitude gets only $2^{n}-1$ distinct values, 255 and 15, because two patterns share zero. The pattern 100...0 shows the difference most sharply: minus zero in sign-magnitude, but $-2^{n-1}$ in two's complement, which is -128 for 8 bits and -8 for 4.

عُدّ القيم المختلفة. صيغتا unsigned وtwo's complement تستخدمان كل الأنماط وعددها $2^{n}$: 256 قيمة لثمانية بتات، و16 لأربعة. أما sign-magnitude فلا تحصل إلا على $2^{n}-1$ من القيم المختلفة، أي 255 و15، لأن نمطين يتشاركان الصفر. والنمط 100...0 يُظهر الفرق بأوضح صورة: هو صفر سالب في sign-magnitude، لكنه $-2^{n-1}$ في two's complement، أي -128 لـ 8 بتات و-8 لـ 4 بتات.

Take the same bits as before, 00110001, and draw a dot between the fourth and fifth bit: 0011.0001. The left part reads 3 and the right part 0001 is one sixteenth, so the number is 3.0625. Nothing about the bits changed. Only our agreement about where the point sits did.

خذ البتات نفسها كما في السابق، 00110001، وارسم نقطة بين البت الرابع والبت الخامس: 0011.0001. الجزء الأيسر يُقرأ 3، والجزء الأيمن 0001 يساوي جزءاً من ستة عشر، إذن العدد هو 3.0625. لم يتغير شيء في البتات. الذي تغير فقط هو اتفاقنا على مكان النقطة.

Reading one: fractional powers of twoالقراءة الأولى: قوى اثنين الكسرية

A Fixed-point number format fixes, once and for all, how many bits sit after the binary point. The slide's format uses eight bits in two's complement: a sign bit, three integer bits and four fraction bits. The weights continue past the point into negative powers of two.

صيغة fixed-point تحدد مرة واحدة وإلى الأبد عدد البتات التي تقع بعد النقطة الثنائية (binary point). الصيغة في الشريحة تستخدم ثمانية بتات بنظام two's complement: بت إشارة، وثلاثة بتات للجزء الصحيح، وأربعة بتات للكسر. وتستمر الأوزان بعد النقطة إلى قوى اثنين السالبة.

Reading two: an integer times a fixed scaleالقراءة الثانية: عدد صحيح مضروب في مقياس ثابت

Now ignore the point and read the eight bits as the two's complement integer 49. Every weight in reading one is exactly the reading-two weight times $2^{-4}$: $-2^{7}\cdot 2^{-4} = -2^{3}$, $2^{0}\cdot 2^{-4} = 2^{-4}$, and so on. So the whole value is the integer times one shared scale.

الآن تجاهل النقطة واقرأ البتات الثمانية كعدد صحيح بصيغة two's complement، فتحصل على 49. كل وزن في القراءة الأولى يساوي بالضبط الوزن المقابل في القراءة الثانية مضروباً في $2^{-4}$: $-2^{7}\cdot 2^{-4} = -2^{3}$، و$2^{0}\cdot 2^{-4} = 2^{-4}$، وهكذا. إذن القيمة كلها هي العدد الصحيح مضروباً في مقياس (scale) واحد مشترك.

This second reading is the one to remember. The binary point is never stored. It is a property of the format, which means fixed point is integer arithmetic plus a fixed scale. Adding two numbers in the same format is a plain integer add, because the scale factors out: $q_1 2^{-4} + q_2 2^{-4} = (q_1 + q_2)\,2^{-4}$. Multiplying is a plain integer multiply whose result has scale $2^{-8}$; shift right by four bits to return to $2^{-4}$. A fixed-point unit is just an integer ALU and a shifter, which is why it is cheap.

هذه القراءة الثانية هي التي يجب أن تتذكرها. النقطة الثنائية لا تُخزَّن أبداً. إنها خاصية للصيغة، وهذا يعني أن الـ fixed point هو حساب أعداد صحيحة زائد مقياس ثابت. جمع عددين من الصيغة نفسها هو جمع أعداد صحيحة عادي، لأن المقياس يخرج عاملاً مشتركاً: $q_1 2^{-4} + q_2 2^{-4} = (q_1 + q_2)\,2^{-4}$. والضرب هو ضرب أعداد صحيحة عادي يكون مقياس ناتجه $2^{-8}$؛ أزِح الناتج إلى اليمين أربعة بتات لتعود إلى $2^{-4}$. وحدة الـ fixed-point ليست سوى ALU للأعداد الصحيحة مع مُزيح (shifter)، ولهذا هي رخيصة.

Resolution and rangeالدقة والنطاق

With four fraction bits the gap between neighbouring values, the resolution, is 2^-4 = 0.0625. The range is the two's complement range [-128, 127] times that scale: from -128 / 16 = -8 (pattern 1000.0000) to 127 / 16 = 7.9375 (pattern 0111.1111). Moving the point one place to the left halves both the step and the range; moving it right doubles both. Fixed point can never have fine steps and a wide range at the same time, which is the gap floating point (part 2) was invented to close.

مع أربعة بتات كسرية تكون المسافة بين قيمتين متجاورتين، أي الدقة (resolution)، هي 2^-4 = 0.0625. والنطاق هو نطاق two's complement أي [-128, 127] مضروباً في هذا المقياس: من -128 / 16 = -8 (النمط 1000.0000) إلى 127 / 16 = 7.9375 (النمط 0111.1111). تحريك النقطة خانة واحدة إلى اليسار يُنصّف الخطوة والنطاق معاً، وتحريكها إلى اليمين يضاعفهما معاً. لا يمكن للـ fixed point أبداً أن يجمع بين خطوات دقيقة ونطاق واسع في الوقت نفسه، وهذه هي الفجوة التي اختُرع الـ floating point (الجزء 2) لسدّها.

Hold on to the equation $v = q \cdot 2^{-4}$. It is linear quantization in disguise: Linear quantization writes $r = S(q - Z)$, a real value $r$ recovered from a stored integer $q$ with a scale $S$ and a zero point $Z$. Fixed point is the special case $S = 2^{-4},\ Z = 0$. Lecture 05-2 lets $S$ be any real number chosen from the data and lets $Z$ shift the grid, so the 256 levels of an 8-bit integer land where a tensor's values actually are.

احتفظ بالمعادلة $v = q \cdot 2^{-4}$. إنها linear quantization متنكّر: linear quantization يكتب $r = S(q - Z)$، أي قيمة حقيقية $r$ نستعيدها من عدد صحيح مخزن $q$ بمقياس $S$ ونقطة صفر (zero point) $Z$. الـ fixed point هو الحالة الخاصة $S = 2^{-4},\ Z = 0$. المحاضرة 05-2 تسمح لـ $S$ أن يكون أي عدد حقيقي يُختار من البيانات، وتسمح لـ $Z$ بإزاحة الشبكة، بحيث تقع المستويات الـ 256 لعدد صحيح 8-bit حيث توجد قيم الـ tensor فعلاً.

• Resolution with four fraction bits: 0.0625.الدقة مع أربعة بتات كسرية: 0.0625.
• Range of the 8-bit format: [-8, 7.9375].نطاق الصيغة ذات 8 بتات: [-8, 7.9375].
• Conversion: $q = \text{round}(v / 2^{-4})$, then $v \approx q \cdot 2^{-4}$.التحويل: $q = \text{round}(v / 2^{-4})$، ثم $v \approx q \cdot 2^{-4}$.

Take the number 0.265625. In binary it is 0.010001₂, because 0.25 + 0.015625 = 0.265625. Slide the binary point two places to the right and you get 1.0001₂ × 2⁻². That is scientific notation in base 2, and it is all a float stores: a sign, a power of two, and the digits after the leading 1.

خذ العدد 0.265625. في النظام الثنائي هو 0.010001₂، لأن 0.25 + 0.015625 = 0.265625. حرّك الفاصلة الثنائية خانتين إلى اليمين فتحصل على 1.0001₂ × 2⁻². هذا هو الترميز العلمي (scientific notation) بالأساس 2، وهو كل ما يخزّنه الـ float: إشارة، وقوة للعدد 2، والأرقام التي تأتي بعد الـ 1 الأول.

Three fields, one formulaثلاثة حقول، ومعادلة واحدة

A Floating-point number number in the IEEE 754 single precision format splits 32 bits into three fields. Bit 31 is the sign $s$. Bits 30 to 23 hold an 8-bit exponent field $E$, read as an unsigned integer from 0 to 255. Bits 22 to 0 hold the 23-bit Fraction (mantissa, significand), read as the binary digits after the point, so its value lies in $[0,\,1-2^{-23}]$. For ordinary numbers the value is

عدد floating-point بصيغة الدقة الأحادية (single precision) في معيار IEEE 754 يقسّم الـ 32 bit إلى ثلاثة حقول. الـ bit رقم 31 هو الإشارة $s$. الـ bits من 30 إلى 23 تحمل حقل أس (exponent) من 8 bits هو $E$، ويُقرأ كعدد صحيح بلا إشارة (unsigned) من 0 إلى 255. والـ bits من 22 إلى 0 تحمل الـ fraction (mantissa) المكوّن من 23 bit، ويُقرأ على أنه الأرقام الثنائية بعد الفاصلة، لذلك تقع قيمته في $[0,\,1-2^{-23}]$. وللأعداد العادية تكون القيمة

Two design choices hide in that formula. The first is the Exponent bias. The field is unsigned, but real exponents must go negative to reach small numbers. Rather than spend a sign bit, IEEE stores $E = e + 127$, where $e$ is the true exponent. The bias is $2^{8-1}-1 = 127$, the middle of the 8-bit range, so true exponents from -126 to +127 fit in stored values 1 to 254. A side effect worth knowing: because bigger exponents are bigger unsigned integers, positive floats sort in the same order as their bit patterns.

في تلك المعادلة قراران تصميميان مخفيّان. الأول هو exponent bias. الحقل بلا إشارة (unsigned)، لكن الأسس الحقيقية يجب أن تصبح سالبة لكي نصل إلى الأعداد الصغيرة. وبدلًا من إنفاق bit للإشارة، يخزّن IEEE القيمة $E = e + 127$، حيث $e$ هو الأس الحقيقي. والـ bias يساوي $2^{8-1}-1 = 127$، أي منتصف مدى الـ 8 bits، لذلك تتسع الأسس الحقيقية من -126 إلى +127 في القيم المخزَّنة من 1 إلى 254. وهناك أثر جانبي يستحق المعرفة: لأن الأسس الأكبر تكون أعدادًا صحيحة بلا إشارة أكبر، فإن الأعداد العشرية الموجبة تُرتَّب بالترتيب نفسه الذي تُرتَّب به أنماط الـ bits الخاصة بها.

The second choice is the hidden bit. Any nonzero binary number can be shifted until it reads 1.something, so the leading 1 carries no information. FP32 does not store it, which buys one extra bit of precision for free: 23 stored fraction bits give a 24-bit significand.

القرار الثاني هو الـ bit المخفي (hidden bit). أي عدد ثنائي غير صفري يمكن إزاحته حتى يصبح على الشكل 1.something، لذلك فإن الـ 1 الأول لا يحمل أي معلومة. صيغة FP32 لا تخزّنه، وهذا يمنحها bit إضافيًا من الدقة مجانًا: 23 bit مخزَّنة في الـ fraction تعطي significand من 24 bit.

Try it yourself. Load the 0.265625 and -6.5 presets in the explorer below, then flip single bits and watch which readout moves. Flipping the lowest exponent bit doubles or halves the value; flipping the lowest fraction bit barely moves it.

جرّب بنفسك. حمّل الإعدادين المسبقين 0.265625 و-6.5 في المستكشف أدناه، ثم اقلب bits منفردة وراقب أي قراءة تتغير. قلب أدنى bit في الأس يضاعف القيمة أو ينصّفها؛ أما قلب أدنى bit في الـ fraction فبالكاد يحرّكها.

The hidden bit that bought free precision has a price: every normal number starts with 1, so the smallest magnitude the normal rule can reach is 1.0 × 2⁻¹²⁶, about 1.18 × 10⁻³⁸. Zero, and everything between zero and that floor, is out of reach.

الـ bit المخفي الذي منحنا دقة مجانية له ثمن: كل عدد normal يبدأ بـ 1، لذلك فإن أصغر مقدار تستطيع قاعدة الـ normal الوصول إليه هو 1.0 × 2⁻¹²⁶، أي نحو 1.18 × 10⁻³⁸. الصفر، وكل ما بين الصفر وذلك الحد الأدنى، خارج متناولها.

The exponent-0 ruleقاعدة الأس 0

IEEE reserves the exponent field 00000000 for a second rule. When the stored exponent is 0, the hidden bit becomes 0 instead of 1, and the scale is fixed at $2^{1-127}$:

يحجز IEEE حقل الأس 00000000 لقاعدة ثانية. عندما يكون الأس المخزَّن 0، يصبح الـ bit المخفي 0 بدلًا من 1، ويُثبَّت المقياس عند $2^{1-127}$:

Values produced this way are subnormal numbers (older texts say denormals). Everything with exponent field 1 to 254 is a Normal number. With fraction 0 the subnormal rule gives exactly $0\times 2^{-126}=0$. Since the sign bit is still free, there are two zeros: 0 00000000 000...0 is +0 and 1 00000000 000...0 is -0. They compare equal, but 1 / +0 = +∞ while 1 / -0 = -∞, so the sign is not cosmetic. You met the same two-zero situation in Sign-magnitude integers, and for the same reason: a separate sign bit.

القيم الناتجة بهذه الطريقة هي subnormal numbers (وتسميها المراجع الأقدم denormals). وكل ما حقل أسه من 1 إلى 254 هو normal number. ومع fraction يساوي 0 تعطي قاعدة الـ subnormal بالضبط $0\times 2^{-126}=0$. وبما أن bit الإشارة ما زال حرًا، يوجد صفران: 0 00000000 000...0 هو +0 و1 00000000 000...0 هو -0. هما متساويان عند المقارنة، لكن 1 / +0 = +∞ بينما 1 / -0 = -∞، لذلك فالإشارة ليست شكلية. لقد قابلت حالة الصفرين نفسها في الأعداد الصحيحة بتمثيل sign-magnitude، وللسبب نفسه: bit إشارة منفصل.

Why 1 - 127 and not 0 - 127لماذا 1 - 127 وليس 0 - 127

The slide says the exponent “should have been” 0 - 127, “but we force” it to 1 - 127. The reason is continuity. The smallest normal number is 2⁻¹²⁶, and normals in the first binade [2⁻¹²⁶, 2⁻¹²⁵) are spaced $2^{-23}\times 2^{-126}=2^{-149}$ apart. With the forced scale 2⁻¹²⁶, subnormals are $k\times 2^{-149}$ for $k=0,1,\dots,2^{23}-1$: the same step, ending one step below 2⁻¹²⁶. The grid runs straight from 0 into the normals without a seam.

تقول الشريحة إن الأس “كان يجب أن يكون” 0 - 127، “لكننا نفرض” أن يكون 1 - 127. السبب هو الاستمرارية. أصغر عدد normal هو 2⁻¹²⁶، والأعداد normal في أول binade [2⁻¹²⁶, 2⁻¹²⁵) تفصل بينها مسافة $2^{-23}\times 2^{-126}=2^{-149}$. ومع المقياس المفروض 2⁻¹²⁶ تكون الـ subnormals هي $k\times 2^{-149}$ حيث $k=0,1,\dots,2^{23}-1$: الخطوة نفسها، وتنتهي قبل 2⁻¹²⁶ بخطوة واحدة. فتمتد الشبكة مباشرة من 0 إلى الأعداد normal دون أي فاصل.

Had IEEE used 2⁻¹²⁷, subnormals would be spaced 2⁻¹⁵⁰ and stop just below 2⁻¹²⁷. The whole interval from 2⁻¹²⁷ to 2⁻¹²⁶ would contain no representable numbers at all, and the spacing would jump by a factor of 2 at the boundary.

لو استخدم IEEE المقياس 2⁻¹²⁷، لكانت المسافة بين الـ subnormals 2⁻¹⁵⁰ ولتوقفت قبل 2⁻¹²⁷ بقليل. ولأصبحت الفترة كاملة من 2⁻¹²⁷ إلى 2⁻¹²⁶ خالية تمامًا من أي عدد قابل للتمثيل، ولقفزت المسافة بين الأعداد بمعامل 2 عند الحد الفاصل.

Compare that with the smallest normal, 0 00000001 000...0. Its exponent field is 1, its fraction is 0, so it equals $(1+0)\times 2^{1-127}=2^{-126}$. The subnormals stretch the bottom of the range by another 23 powers of two, from 2⁻¹²⁶ down to 2⁻¹⁴⁹, one power per fraction bit.

قارن ذلك بأصغر عدد normal، وهو 0 00000001 000...0. حقل أسه 1 والـ fraction فيه 0، لذلك يساوي $(1+0)\times 2^{1-127}=2^{-126}$. الـ subnormals تمد أسفل المدى بـ 23 قوة أخرى للعدد 2، من 2⁻¹²⁶ نزولًا إلى 2⁻¹⁴⁹، قوة واحدة لكل bit في الـ fraction.

Notice what both patterns have in common: exponent field 1 for the normal and exponent field 0 for the subnormal both mean a true exponent of -126. That is the forced 1 - 127 at work. The only difference between the two cases is the hidden bit.

لاحظ القاسم المشترك بين النمطين: حقل الأس 1 في الـ normal وحقل الأس 0 في الـ subnormal كلاهما يعني أسًا حقيقيًا قدره -126. هذا هو أثر الأس المفروض 1 - 127. والفرق الوحيد بين الحالتين هو الـ bit المخفي.

The geometric sum is the step to remember: a run of $n$ ones after the binary point equals $1-2^{-n}$, just as 0.999 is 1 - 10⁻³ in decimal. Apply it to the top of the range and you get the largest normal. Exponent field 11111110 = 254 (255 is reserved) and fraction all ones give

المجموع الهندسي هو الخطوة التي يجب تذكرها: سلسلة من $n$ آحاد بعد الفاصلة الثنائية تساوي $1-2^{-n}$، تمامًا كما أن 0.999 تساوي 1 - 10⁻³ في النظام العشري. طبّقها على أعلى المدى فتحصل على أكبر عدد normal. حقل الأس 11111110 = 254 (لأن 255 محجوز) مع fraction كله آحاد يعطيان

Divide 1.0 by +0, or multiply 3 × 10³⁸ by 10. The true answer is beyond the largest normal, and the hardware still has to return 32 bits. Compute 0 / 0 or √-1 and there is no real answer at all. The all-ones exponent is reserved for exactly these cases.

اقسم 1.0 على +0، أو اضرب 3 × 10³⁸ في 10. الإجابة الحقيقية تتجاوز أكبر عدد normal، ومع ذلك يجب على العتاد أن يعيد 32 bit. واحسب 0 / 0 أو √-1 فلا توجد إجابة حقيقية أصلًا. الأس المكوّن من آحاد فقط محجوز لهذه الحالات بالضبط.

Exponent 255: infinity and NaNالأس 255: اللانهاية (infinity) وNaN

When the exponent field is 11111111 (FFh = 255), the bits no longer encode a number through either formula. With fraction 0 the pattern is infinity: 0 11111111 000...0 is +∞ (0x7F800000) and 1 11111111 000...0 is -∞. With any nonzero fraction it is NaN, “not a number”, and the sign bit is a don’t care, which is why slide 14 draws it as a dash. NaN propagates: any arithmetic with a NaN input yields NaN, so a single bad value in a training run poisons the loss rather than silently turning into a plausible number.

عندما يكون حقل الأس 11111111 (FFh = 255)، لا تعود الـ bits ترمّز عددًا عبر أي من المعادلتين. مع fraction يساوي 0 يكون النمط لانهاية (infinity): 0 11111111 000...0 هو +∞ (0x7F800000) و1 11111111 000...0 هو -∞. ومع أي fraction غير صفري يكون NaN، أي “ليس عددًا” (not a number)، ويكون bit الإشارة غير مهم (don’t care)، ولهذا ترسمه الشريحة 14 على شكل شرطة. وNaN ينتشر: أي عملية حسابية أحد مدخلاتها NaN تعطي NaN، لذلك فإن قيمة واحدة فاسدة أثناء التدريب تُفسد الـ loss بدلًا من أن تتحول بصمت إلى عدد يبدو معقولًا.

The slide’s remark “much waste” is a counting argument. Every nonzero 23-bit fraction is a NaN, so there are $2^{23}-1$ NaN patterns per sign, 2²⁴ - 2 in total, about 16.8 million codes that name no number. In 32 bits that is under 0.4% of all patterns and nobody minds. In an 8-bit format the same rule would burn a whole exponent row out of only 256 codes, which is why FP8 E4M3 drops infinity and keeps a single NaN mantissa (you will see this in the next part).

ملاحظة الشريحة “much waste” (هدر كبير) هي حجة عدّ. كل fraction غير صفري من 23 bit هو NaN، لذلك يوجد $2^{23}-1$ نمطًا لـ NaN لكل إشارة، أي 2²⁴ - 2 إجمالًا، وهي نحو 16.8 مليون رمز لا تسمّي أي عدد. في 32 bit يمثل ذلك أقل من 0.4% من كل الأنماط ولا أحد يهتم. أما في صيغة من 8 bits فإن القاعدة نفسها ستحرق صفًا كاملًا من الأس من بين 256 رمزًا فقط، ولهذا تتخلى FP8 E4M3 عن infinity وتحتفظ بـ mantissa واحد فقط لـ NaN (سترى ذلك في الجزء التالي).

The whole format in one tableالصيغة كاملة في جدول واحد

Read the table as a decision procedure. First look at the exponent field. If it is 0, apply the subnormal formula (and fraction 0 gives a signed zero). If it is 255, the answer is infinity or NaN depending on the fraction. Anything else is normal. Every one of the 2³² bit patterns lands in exactly one cell.

اقرأ الجدول كإجراء لاتخاذ القرار. انظر أولًا إلى حقل الأس. إذا كان 0، فطبّق معادلة الـ subnormal (والـ fraction الذي يساوي 0 يعطي صفرًا بإشارة). وإذا كان 255، فالإجابة infinity أو NaN بحسب الـ fraction. وأي قيمة أخرى تعني normal. وكل نمط من الـ 2³² نمطًا يقع في خلية واحدة بالضبط.

Where the values sit on the number lineأين تقع القيم على خط الأعداد

The bottom of slide 15 places the classes on the positive axis. Subnormals fill [0, 2⁻¹²⁶) with a uniform step of 2⁻¹⁴⁹: in that stretch FP32 behaves like a fixed-point format. From 2⁻¹²⁶ upward the normals take over, and each binade [2^e, 2^(e+1)) holds the same 2²³ values, so the absolute step doubles every time the exponent rises by one while the relative step stays about 2⁻²³. The line ends at (2 - 2⁻²³) × 2¹²⁷, after which comes only +∞.

يضع الجزء السفلي من الشريحة 15 الأصناف على المحور الموجب. الـ subnormals تملأ [0, 2⁻¹²⁶) بخطوة منتظمة قدرها 2⁻¹⁴⁹: في هذا الامتداد تتصرف FP32 مثل صيغة fixed-point. ومن 2⁻¹²⁶ فصاعدًا تتولى الأعداد normal الأمر، وكل binade [2^e, 2^(e+1)) يحوي العدد نفسه من القيم وهو 2²³، لذلك تتضاعف الخطوة المطلقة كلما زاد الأس بواحد، بينما تبقى الخطوة النسبية نحو 2⁻²³. وينتهي الخط عند (2 - 2⁻²³) × 2¹²⁷، ولا يأتي بعده إلا +∞.

Try storing 100,000 and 1000.5 in two different 16-bit formats. FP16 cannot hold 100,000 at all: its largest finite value is 65504, so the number overflows to infinity. BF16 stores it easily, rounding it to 99,840. Now flip the test. FP16 stores 1000.5 exactly (its steps near 1000 are 0.5 wide), while BF16 rounds it to 1000 because its steps near 1000 are a full 4 wide. Same 16 bits, opposite strengths.

جرّب تخزين 100,000 و1000.5 في صيغتين مختلفتين بطول 16 بتًا. لا تستطيعFP16 أن تحمل 100,000 أصلًا: أكبر قيمة منتهية فيها هي 65504، فيتجاوز الرقم المدى (overflow) ويصبح ما لا نهاية. أما BF16 فتخزنه بسهولة وتقرّبه إلى 99,840. الآن اعكس الاختبار. تخزن FP16 القيمة 1000.5 بدقة تامة (خطواتها قرب 1000 عرضها 0.5)، بينما تقرّبها BF16 إلى 1000 لأن خطواتها قرب 1000 عرضها 4 كاملة. البتات نفسها، 16 بتًا، ونقاط القوة متعاكسة.

The rule on the slideالقاعدة في الشريحة

Every Floating-point number number is stored the way Part 2 showed for FP32: a sign bit, an exponent field with a bias, and a fraction. A normal value is

كل رقم floating-point يُخزَّن بالطريقة التي عرضها الجزء الثاني لصيغة FP32: بت إشارة، وحقل أس مع إزاحة (bias)، وكسر. والقيمة العادية (normal) هي

The exponent picks which power of two the number lives near, so more exponent bits reach more powers of two: that is range. The fraction picks a position between two neighbouring powers of two, so more fraction bits slice that interval finer: that is precision. This is the slide headline, Range vs precision: exponent width gives range, fraction width gives precision.

يختار الأس قوة العدد 2 التي يقع الرقم قربها، لذلك تصل بتات الأس الإضافية إلى قوى أكثر للعدد 2: وهذا هو المدى (range). ويختار الكسر موضعًا بين قوتين متجاورتين للعدد 2، لذلك تقسّم بتات الكسر الإضافية هذه الفترة إلى شرائح أدق: وهذه هي الدقة (precision). هذا هو عنوان الشريحة، range vs precision: عرض الأس يعطي المدى، وعرض الكسر يعطي الدقة.

FP16 and BF16 spend the same 16 bits differentlyصيغتا FP16 وBF16 تنفقان البتات الـ16 نفسها بطريقتين مختلفتين

FP16, the IEEE 754 half precision format, keeps 5 exponent bits and 10 fraction bits with bias 15. BF16 (Brain Float), designed at Google for TPUs, keeps all 8 of FP32’s exponent bits with bias 127 and only 7 fraction bits. The Exponent bias follows the same formula everywhere, 2^(e-1) - 1, so you never need to memorize it: e = 5 gives 15, e = 8 gives 127.

صيغة FP16، وهي صيغة نصف الدقة (half precision) في IEEE 754، تحتفظ بـ5 بتات للأس و10 بتات للكسر مع إزاحة 15. أما BF16، التي صممتها Google لوحدات TPU، فتحتفظ ببتات الأس الثماني كلها من FP32 مع إزاحة 127، و7 بتات فقط للكسر. وتتبع exponent bias الصيغة نفسها في كل مكان، 2^(e-1) - 1، فلا تحتاج إلى حفظها: e = 5 تعطي 15، وe = 8 تعطي 127.

The FP16 limits come straight from the widths. The largest exponent field that is not reserved is 11110 = 30, so the top power is 2^(30 - 15) = 2^15, and a full fraction of ten ones gives (2 - 2^-10) × 2^15 = 65504. The smallest normal uses exponent field 1: 2^(1 - 15) = 2^-14. The smallest Subnormal number puts a single 1 in the last fraction bit: 2^-10 × 2^-14 = 2^-24.

حدود FP16 تأتي مباشرة من عرض الحقول. أكبر قيمة لحقل الأس غير محجوزة هي 11110 = 30، فتكون أعلى قوة 2^(30 - 15) = 2^15، وكسر كامل من عشرة آحاد يعطي (2 - 2^-10) × 2^15 = 65504. أصغر قيمة عادية تستخدم حقل أس يساوي 1: 2^(1 - 15) = 2^-14. وأصغر subnormal number تضع 1 واحدًا في آخر بت من الكسر: 2^-10 × 2^-14 = 2^-24.

Why BF16 won for trainingلماذا فازت BF16 في التدريب

Training produces values with a huge dynamic range. Activations can be large, while many gradients are tiny, often below FP16’s 2^-24. NVIDIA reports that for the Multibox SSD detector, 31% of activation gradient values became zero when cast to FP16. The FP16 fix is loss scaling: multiply the loss by a large constant so the gradients shift up into FP16’s range, then divide the update back down, while watching for overflow. BF16 removes the problem at its root. Because its exponent is FP32’s exponent, every FP32 magnitude lands in a BF16 binade too (only a sliver just below FP32’s maximum can round up to infinity), and tiny gradients stay representable. Google describes BF16 as close to a drop-in replacement for FP32 with no loss scaling, and notes that networks are more sensitive to exponent size than to fraction size. The price is precision: about two to three significant decimal digits.

ينتج التدريب قيمًا ذات مدى ديناميكي هائل. قد تكون التنشيطات (activations) كبيرة، بينما كثير من التدرجات (gradients) صغير جدًا، وغالبًا أصغر من 2^-24 في FP16. تذكر NVIDIA أنه في كاشف Multibox SSD أصبحت 31% من قيم تدرجات التنشيط أصفارًا عند تحويلها إلى FP16. الحل في FP16 هو تحجيم الخسارة (loss scaling): تضرب الخسارة في ثابت كبير لترتفع التدرجات إلى داخل مدى FP16، ثم تقسم التحديث ليعود إلى حجمه، مع مراقبة تجاوز المدى (overflow). أما BF16 فتزيل المشكلة من جذورها. لأن أسّها هو أس FP32 نفسه، فكل مقدار في FP32 يقع أيضًا في binade من BF16 (باستثناء شريحة رفيعة تحت أكبر قيمة في FP32 مباشرة قد تُقرَّب إلى ما لا نهاية)، وتبقى التدرجات الصغيرة قابلة للتمثيل. تصف Google صيغة BF16 بأنها بديل شبه مباشر لـFP32 دون الحاجة إلى loss scaling، وتذكر أن الشبكات أكثر حساسية لحجم الأس منها لحجم الكسر. والثمن هو الدقة: نحو رقمين إلى ثلاثة أرقام عشرية معنوية.

Exams love two directions: “here are 16 bits, what number is it?” and “here is a number, what are the bits?” Both reuse the FP32 procedure from Part 2. Only the field widths and the bias change.

تحب الامتحانات اتجاهين: «هذه 16 بتًا، ما الرقم الذي تمثله؟» و«هذا رقم، ما بتاته؟» كلاهما يعيد استخدام إجراء FP32 من الجزء الثاني. لا يتغير سوى عرض الحقول وقيمة الإزاحة.

Bits to decimal: FP16من البتات إلى العشري: FP16

Decimal to bits: BF16من العشري إلى البتات: BF16

Compare this with FP32. In FP32, 2.5 is 0 10000000 01000000000000000000000, which is 0x40200000. The BF16 code is exactly the top 16 bits. That is the whole BF16 conversion story: keep the top half of an FP32 word and round the dropped half to nearest, ties to even. The exponent field is copied as is (rounding can only carry into it), which is why conversion from FP32 practically never overflows.

قارن هذا بـFP32. في FP32 تكون 2.5 هي 0 10000000 01000000000000000000000، أي 0x40200000. رمز BF16 هو بالضبط أعلى 16 بتًا. وهذه هي قصة تحويل BF16 كلها: احتفظ بالنصف الأعلى من كلمة FP32 وقرّب النصف المحذوف إلى الأقرب، مع كسر التعادل نحو الزوجي (ties to even). يُنسخ حقل الأس كما هو (التقريب لا يفعل إلا أن يحمل إليه)، ولهذا لا يكاد التحويل من FP32 يتجاوز المدى أبدًا.

Halve the width again and the range versus precision tension becomes impossible to ignore. With only 8 bits, a single format cannot serve both weights, which want fine steps, and gradients, which swing over many orders of magnitude. So NVIDIA, Arm and Intel proposed two FP8 formats and use each where it fits.

نصّف العرض مرة أخرى فيصبح التوتر بين المدى والدقة مستحيل التجاهل. مع 8 بتات فقط، لا تستطيع صيغة واحدة أن تخدم الأوزان (weights)، التي تريد خطوات دقيقة، والتدرجات، التي تتأرجح عبر رتب كثيرة من المقادير. لذلك اقترحت NVIDIA وArm وIntel صيغتين لـFP8، وتُستخدم كل منهما حيث تناسب.

Two splits of eight bitsتقسيمان للبتات الثماني

FP8 E4M3 spends 4 bits on the exponent and 3 on the mantissa, bias 7. FP8 E5M2 spends 5 on the exponent and 2 on the mantissa, bias 15: it is literally FP16 with the low 8 fraction bits cut off, the same relationship BF16 has with FP32.

تنفق FP8 E4M3 4 بتات على الأس و3 على الجزء العشري (mantissa)، بإزاحة 7. وتنفق FP8 E5M2 5 على الأس و2 على الجزء العشري، بإزاحة 15: إنها حرفيًا FP16 بعد قطع بتات الكسر الثماني الدنيا، وهي العلاقة نفسها التي تربط BF16 بـFP32.

E4M3 reclaims the special codesصيغة E4M3 تستعيد الرموز الخاصة

In IEEE style, an exponent field of all ones is reserved for Infinity and NaN. In a format with only 16 exponent codes, losing a whole binade to special values is expensive. This is the waste flagged at the end of Part 2. E4M3 drops infinity entirely and keeps just one NaN pattern per sign, S.1111.111. Every other code with exponent 1111 becomes an ordinary normal number.

على طريقة IEEE، حقل الأس المكون من آحاد كلها محجوز لـINF وNaN. وفي صيغة ليس فيها سوى 16 رمزًا للأس، خسارة binade كامل لصالح القيم الخاصة مكلفة. وهذا هو الهدر الذي أُشير إليه في نهاية الجزء الثاني. تتخلى E4M3 عن ما لا نهاية تمامًا وتحتفظ بنمط NaN واحد فقط لكل إشارة، S.1111.111. وكل رمز آخر أسّه 1111 يصبح رقمًا عاديًا (normal).

Which tensor gets which formatأي موتّر يأخذ أي صيغة

The FP8 paper by Micikevicius and colleagues recommends E4M3 for weight and activation tensors and E5M2 for gradient tensors. The reasoning follows the rule. In the forward pass, weights and activations of one layer sit in a fairly narrow band and benefit from the extra mantissa bit. In the backward pass, gradients vary over many orders of magnitude, and losing small ones to underflow or large ones to overflow hurts more than coarse steps. In practice each tensor also carries a per-tensor scale factor so its values land inside the format’s range, which is the same idea as loss scaling.

توصي ورقة FP8 التي كتبها Micikevicius وزملاؤه باستخدام E4M3 لموتّرات الأوزان والتنشيطات، وE5M2 لموتّرات التدرجات. والتعليل يتبع القاعدة. في المرور الأمامي (forward pass) تقع أوزان طبقة واحدة وتنشيطاتها في نطاق ضيق نسبيًا وتستفيد من بت الجزء العشري الإضافي. وفي المرور الخلفي (backward pass) تتفاوت التدرجات عبر رتب كثيرة من المقادير، وخسارة الصغيرة منها بسبب underflow أو الكبيرة بسبب overflow تضر أكثر من الخطوات الخشنة. وعمليًا يحمل كل موتّر أيضًا معامل تحجيم خاصًا به (per-tensor scale factor) لتقع قيمه داخل مدى الصيغة، وهي الفكرة نفسها التي يقوم عليها loss scaling.

With 4 bits there are only 16 codes, 8 of them non-negative. That is small enough to list every value, and the lists make the range versus precision rule visible at a glance.

مع 4 بتات لا يوجد سوى 16 رمزًا، منها 8 غير سالبة. وهذا عدد صغير بما يكفي لسرد كل قيمة، والقوائم تجعل قاعدة المدى مقابل الدقة مرئية من نظرة واحدة.

The same eight codes, four waysالرموز الثمانية نفسها بأربع طرق

INT4 treats the bits as a Two's complement integer: 0 to 7 and -1 to -8, evenly spaced. The FP4 (E1M2, E2M1, E3M0) variants instead keep a sign bit and split the remaining three between exponent and mantissa, using the same bias formula 2^(e-1) - 1, which gives 0 for E1M2, 1 for E2M1 and 3 for E3M0. None of them reserves any code for INF or NaN: with so few codes, every pattern must be a number.

تعامل INT4 البتات كعدد صحيح بنظام two's complement: من 0 إلى 7 ومن -1 إلى -8، بتباعد متساوٍ. أما متغيرات FP4 فتحتفظ ببت إشارة وتقسم البتات الثلاثة الباقية بين الأس والجزء العشري، مستخدمة صيغة الإزاحة نفسها 2^(e-1) - 1، التي تعطي 0 لـE1M2 و1 لـE2M1 و3 لـE3M0. ولا تحجز أي منها رمزًا لـINF أو NaN: مع هذا العدد القليل من الرموز، يجب أن يكون كل نمط رقمًا.

Decoding every E2M1 codeفك ترميز كل رمز في E2M1

E2M1 is the one that matters most in practice: it is the FP4 element type in the OCP microscaling (MX) specification and in NVIDIA Blackwell’s FP4. Its fields are one sign bit, two exponent bits and one mantissa bit, with bias 1. Exponent 00 means subnormal, value 0.m × 2^(1 - 1); any other exponent is normal, value 1.m × 2^(E - 1).

E2M1 هي الأهم عمليًا: إنها نوع العنصر في FP4 ضمن مواصفة OCP للتحجيم الدقيق (microscaling, MX) وفي FP4 الخاصة بـNVIDIA Blackwell. حقولها بت إشارة واحد، وبتا أس، وبت واحد للجزء العشري، بإزاحة 1. الأس 00 يعني قيمة دون عادية، قيمتها 0.m × 2^(1 - 1)؛ وأي أس آخر يعني قيمة عادية، قيمتها 1.m × 2^(E - 1).

The other two rows on the slide check out. E1M2 with bias 0: 0001 is subnormal, 0.25 × 2^(1 - 0) = 0.5, and 0111 is (1 + 0.75) × 2^(1 - 0) = 3.5. Its values are exactly INT4 times 0.5, so E1M2 is really a fixed-point format in disguise. E3M0 with bias 3 has no mantissa at all: 0001 is 2^(1 - 3) = 0.25 and 0111 is 2^(7 - 3) = 16. Every value is a power of two.

الصفان الآخران في الشريحة صحيحان. E1M2 بإزاحة 0: الرمز 0001 دون عادي، 0.25 × 2^(1 - 0) = 0.5، والرمز 0111 هو (1 + 0.75) × 2^(1 - 0) = 3.5. قيمها هي بالضبط قيم INT4 مضروبة في 0.5، لذلك فإن E1M2 في الحقيقة صيغة فاصلة ثابتة (fixed-point) متنكرة. وE3M0 بإزاحة 3 ليس فيها جزء عشري إطلاقًا: الرمز 0001 هو 2^(1 - 3) = 0.25 والرمز 0111 هو 2^(7 - 3) = 16. كل قيمة فيها قوة للعدد 2.

What the four grids teachما الذي تعلّمه الشبكات الأربع

• Mantissa bits give even spacing. INT4 and E1M2 are uniform grids; the only difference is the scale.بتات الجزء العشري تعطي تباعدًا متساويًا. INT4 وE1M2 شبكتان منتظمتان؛ والفرق الوحيد بينهما هو المقياس.
• Exponent bits give logarithmic spacing. E3M0 doubles at every step, so it reaches 16 but jumps from 8 to 16 with nothing in between.بتات الأس تعطي تباعدًا لوغاريتميًا. E3M0 تتضاعف عند كل خطوة، لذلك تصل إلى 16 لكنها تقفز من 8 إلى 16 دون أي قيمة بينهما.
• E2M1 is the compromise: two values per binade, reaching 6, dense near zero and coarse near the top. That shape matches the bell-shaped distribution of neural network weights, which is why it is the practical FP4.E2M1 هي الحل الوسط: قيمتان في كل binade، وتصل إلى 6، كثيفة قرب الصفر وخشنة قرب القمة. هذا الشكل يطابق التوزيع الجرسي لأوزان الشبكات العصبية، ولهذا هي صيغة FP4 العملية.