IEEE 754 FP32: normals, subnormals, zero, infinity and NaNIEEE 754 FP32: القيم العادية وتحت العادية والصفر واللانهاية وNaN

Take the number 0.265625. In binary it is 0.010001₂, because 0.25 + 0.015625 = 0.265625. Slide the binary point two places to the right and you get 1.0001₂ × 2⁻². That is scientific notation in base 2, and it is all a float stores: a sign, a power of two, and the digits after the leading 1.

خذ العدد 0.265625. في النظام الثنائي هو 0.010001₂، لأن 0.25 + 0.015625 = 0.265625. حرّك الفاصلة الثنائية خانتين إلى اليمين فتحصل على 1.0001₂ × 2⁻². هذا هو الترميز العلمي (scientific notation) بالأساس 2، وهو كل ما يخزّنه الـ float: إشارة، وقوة للعدد 2، والأرقام التي تأتي بعد الـ 1 الأول.

Three fields, one formulaثلاثة حقول، ومعادلة واحدة

A Floating-point number number in the IEEE 754 single precision format splits 32 bits into three fields. Bit 31 is the sign $s$. Bits 30 to 23 hold an 8-bit exponent field $E$, read as an unsigned integer from 0 to 255. Bits 22 to 0 hold the 23-bit Fraction (mantissa, significand), read as the binary digits after the point, so its value lies in $[0,\,1-2^{-23}]$. For ordinary numbers the value is

عدد floating-point بصيغة الدقة الأحادية (single precision) في معيار IEEE 754 يقسّم الـ 32 bit إلى ثلاثة حقول. الـ bit رقم 31 هو الإشارة $s$. الـ bits من 30 إلى 23 تحمل حقل أس (exponent) من 8 bits هو $E$، ويُقرأ كعدد صحيح بلا إشارة (unsigned) من 0 إلى 255. والـ bits من 22 إلى 0 تحمل الـ fraction (mantissa) المكوّن من 23 bit، ويُقرأ على أنه الأرقام الثنائية بعد الفاصلة، لذلك تقع قيمته في $[0,\,1-2^{-23}]$. وللأعداد العادية تكون القيمة

Two design choices hide in that formula. The first is the Exponent bias. The field is unsigned, but real exponents must go negative to reach small numbers. Rather than spend a sign bit, IEEE stores $E = e + 127$, where $e$ is the true exponent. The bias is $2^{8-1}-1 = 127$, the middle of the 8-bit range, so true exponents from -126 to +127 fit in stored values 1 to 254. A side effect worth knowing: because bigger exponents are bigger unsigned integers, positive floats sort in the same order as their bit patterns.

في تلك المعادلة قراران تصميميان مخفيّان. الأول هو exponent bias. الحقل بلا إشارة (unsigned)، لكن الأسس الحقيقية يجب أن تصبح سالبة لكي نصل إلى الأعداد الصغيرة. وبدلًا من إنفاق bit للإشارة، يخزّن IEEE القيمة $E = e + 127$، حيث $e$ هو الأس الحقيقي. والـ bias يساوي $2^{8-1}-1 = 127$، أي منتصف مدى الـ 8 bits، لذلك تتسع الأسس الحقيقية من -126 إلى +127 في القيم المخزَّنة من 1 إلى 254. وهناك أثر جانبي يستحق المعرفة: لأن الأسس الأكبر تكون أعدادًا صحيحة بلا إشارة أكبر، فإن الأعداد العشرية الموجبة تُرتَّب بالترتيب نفسه الذي تُرتَّب به أنماط الـ bits الخاصة بها.

The second choice is the hidden bit. Any nonzero binary number can be shifted until it reads 1.something, so the leading 1 carries no information. FP32 does not store it, which buys one extra bit of precision for free: 23 stored fraction bits give a 24-bit significand.

القرار الثاني هو الـ bit المخفي (hidden bit). أي عدد ثنائي غير صفري يمكن إزاحته حتى يصبح على الشكل 1.something، لذلك فإن الـ 1 الأول لا يحمل أي معلومة. صيغة FP32 لا تخزّنه، وهذا يمنحها bit إضافيًا من الدقة مجانًا: 23 bit مخزَّنة في الـ fraction تعطي significand من 24 bit.

Try it yourself. Load the 0.265625 and -6.5 presets in the explorer below, then flip single bits and watch which readout moves. Flipping the lowest exponent bit doubles or halves the value; flipping the lowest fraction bit barely moves it.

جرّب بنفسك. حمّل الإعدادين المسبقين 0.265625 و-6.5 في المستكشف أدناه، ثم اقلب bits منفردة وراقب أي قراءة تتغير. قلب أدنى bit في الأس يضاعف القيمة أو ينصّفها؛ أما قلب أدنى bit في الـ fraction فبالكاد يحرّكها.

The hidden bit that bought free precision has a price: every normal number starts with 1, so the smallest magnitude the normal rule can reach is 1.0 × 2⁻¹²⁶, about 1.18 × 10⁻³⁸. Zero, and everything between zero and that floor, is out of reach.

الـ bit المخفي الذي منحنا دقة مجانية له ثمن: كل عدد normal يبدأ بـ 1، لذلك فإن أصغر مقدار تستطيع قاعدة الـ normal الوصول إليه هو 1.0 × 2⁻¹²⁶، أي نحو 1.18 × 10⁻³⁸. الصفر، وكل ما بين الصفر وذلك الحد الأدنى، خارج متناولها.

The exponent-0 ruleقاعدة الأس 0

IEEE reserves the exponent field 00000000 for a second rule. When the stored exponent is 0, the hidden bit becomes 0 instead of 1, and the scale is fixed at $2^{1-127}$:

يحجز IEEE حقل الأس 00000000 لقاعدة ثانية. عندما يكون الأس المخزَّن 0، يصبح الـ bit المخفي 0 بدلًا من 1، ويُثبَّت المقياس عند $2^{1-127}$:

Values produced this way are subnormal numbers (older texts say denormals). Everything with exponent field 1 to 254 is a Normal number. With fraction 0 the subnormal rule gives exactly $0\times 2^{-126}=0$. Since the sign bit is still free, there are two zeros: 0 00000000 000...0 is +0 and 1 00000000 000...0 is -0. They compare equal, but 1 / +0 = +∞ while 1 / -0 = -∞, so the sign is not cosmetic. You met the same two-zero situation in Sign-magnitude integers, and for the same reason: a separate sign bit.

القيم الناتجة بهذه الطريقة هي subnormal numbers (وتسميها المراجع الأقدم denormals). وكل ما حقل أسه من 1 إلى 254 هو normal number. ومع fraction يساوي 0 تعطي قاعدة الـ subnormal بالضبط $0\times 2^{-126}=0$. وبما أن bit الإشارة ما زال حرًا، يوجد صفران: 0 00000000 000...0 هو +0 و1 00000000 000...0 هو -0. هما متساويان عند المقارنة، لكن 1 / +0 = +∞ بينما 1 / -0 = -∞، لذلك فالإشارة ليست شكلية. لقد قابلت حالة الصفرين نفسها في الأعداد الصحيحة بتمثيل sign-magnitude، وللسبب نفسه: bit إشارة منفصل.

Why 1 - 127 and not 0 - 127لماذا 1 - 127 وليس 0 - 127

The slide says the exponent “should have been” 0 - 127, “but we force” it to 1 - 127. The reason is continuity. The smallest normal number is 2⁻¹²⁶, and normals in the first binade [2⁻¹²⁶, 2⁻¹²⁵) are spaced $2^{-23}\times 2^{-126}=2^{-149}$ apart. With the forced scale 2⁻¹²⁶, subnormals are $k\times 2^{-149}$ for $k=0,1,\dots,2^{23}-1$: the same step, ending one step below 2⁻¹²⁶. The grid runs straight from 0 into the normals without a seam.

تقول الشريحة إن الأس “كان يجب أن يكون” 0 - 127، “لكننا نفرض” أن يكون 1 - 127. السبب هو الاستمرارية. أصغر عدد normal هو 2⁻¹²⁶، والأعداد normal في أول binade [2⁻¹²⁶, 2⁻¹²⁵) تفصل بينها مسافة $2^{-23}\times 2^{-126}=2^{-149}$. ومع المقياس المفروض 2⁻¹²⁶ تكون الـ subnormals هي $k\times 2^{-149}$ حيث $k=0,1,\dots,2^{23}-1$: الخطوة نفسها، وتنتهي قبل 2⁻¹²⁶ بخطوة واحدة. فتمتد الشبكة مباشرة من 0 إلى الأعداد normal دون أي فاصل.

Had IEEE used 2⁻¹²⁷, subnormals would be spaced 2⁻¹⁵⁰ and stop just below 2⁻¹²⁷. The whole interval from 2⁻¹²⁷ to 2⁻¹²⁶ would contain no representable numbers at all, and the spacing would jump by a factor of 2 at the boundary.

لو استخدم IEEE المقياس 2⁻¹²⁷، لكانت المسافة بين الـ subnormals 2⁻¹⁵⁰ ولتوقفت قبل 2⁻¹²⁷ بقليل. ولأصبحت الفترة كاملة من 2⁻¹²⁷ إلى 2⁻¹²⁶ خالية تمامًا من أي عدد قابل للتمثيل، ولقفزت المسافة بين الأعداد بمعامل 2 عند الحد الفاصل.

Compare that with the smallest normal, 0 00000001 000...0. Its exponent field is 1, its fraction is 0, so it equals $(1+0)\times 2^{1-127}=2^{-126}$. The subnormals stretch the bottom of the range by another 23 powers of two, from 2⁻¹²⁶ down to 2⁻¹⁴⁹, one power per fraction bit.

قارن ذلك بأصغر عدد normal، وهو 0 00000001 000...0. حقل أسه 1 والـ fraction فيه 0، لذلك يساوي $(1+0)\times 2^{1-127}=2^{-126}$. الـ subnormals تمد أسفل المدى بـ 23 قوة أخرى للعدد 2، من 2⁻¹²⁶ نزولًا إلى 2⁻¹⁴⁹، قوة واحدة لكل bit في الـ fraction.

Notice what both patterns have in common: exponent field 1 for the normal and exponent field 0 for the subnormal both mean a true exponent of -126. That is the forced 1 - 127 at work. The only difference between the two cases is the hidden bit.

لاحظ القاسم المشترك بين النمطين: حقل الأس 1 في الـ normal وحقل الأس 0 في الـ subnormal كلاهما يعني أسًا حقيقيًا قدره -126. هذا هو أثر الأس المفروض 1 - 127. والفرق الوحيد بين الحالتين هو الـ bit المخفي.

The geometric sum is the step to remember: a run of $n$ ones after the binary point equals $1-2^{-n}$, just as 0.999 is 1 - 10⁻³ in decimal. Apply it to the top of the range and you get the largest normal. Exponent field 11111110 = 254 (255 is reserved) and fraction all ones give

المجموع الهندسي هو الخطوة التي يجب تذكرها: سلسلة من $n$ آحاد بعد الفاصلة الثنائية تساوي $1-2^{-n}$، تمامًا كما أن 0.999 تساوي 1 - 10⁻³ في النظام العشري. طبّقها على أعلى المدى فتحصل على أكبر عدد normal. حقل الأس 11111110 = 254 (لأن 255 محجوز) مع fraction كله آحاد يعطيان

Divide 1.0 by +0, or multiply 3 × 10³⁸ by 10. The true answer is beyond the largest normal, and the hardware still has to return 32 bits. Compute 0 / 0 or √-1 and there is no real answer at all. The all-ones exponent is reserved for exactly these cases.

اقسم 1.0 على +0، أو اضرب 3 × 10³⁸ في 10. الإجابة الحقيقية تتجاوز أكبر عدد normal، ومع ذلك يجب على العتاد أن يعيد 32 bit. واحسب 0 / 0 أو √-1 فلا توجد إجابة حقيقية أصلًا. الأس المكوّن من آحاد فقط محجوز لهذه الحالات بالضبط.

Exponent 255: infinity and NaNالأس 255: اللانهاية (infinity) وNaN

When the exponent field is 11111111 (FFh = 255), the bits no longer encode a number through either formula. With fraction 0 the pattern is infinity: 0 11111111 000...0 is +∞ (0x7F800000) and 1 11111111 000...0 is -∞. With any nonzero fraction it is NaN, “not a number”, and the sign bit is a don’t care, which is why slide 14 draws it as a dash. NaN propagates: any arithmetic with a NaN input yields NaN, so a single bad value in a training run poisons the loss rather than silently turning into a plausible number.

عندما يكون حقل الأس 11111111 (FFh = 255)، لا تعود الـ bits ترمّز عددًا عبر أي من المعادلتين. مع fraction يساوي 0 يكون النمط لانهاية (infinity): 0 11111111 000...0 هو +∞ (0x7F800000) و1 11111111 000...0 هو -∞. ومع أي fraction غير صفري يكون NaN، أي “ليس عددًا” (not a number)، ويكون bit الإشارة غير مهم (don’t care)، ولهذا ترسمه الشريحة 14 على شكل شرطة. وNaN ينتشر: أي عملية حسابية أحد مدخلاتها NaN تعطي NaN، لذلك فإن قيمة واحدة فاسدة أثناء التدريب تُفسد الـ loss بدلًا من أن تتحول بصمت إلى عدد يبدو معقولًا.

The slide’s remark “much waste” is a counting argument. Every nonzero 23-bit fraction is a NaN, so there are $2^{23}-1$ NaN patterns per sign, 2²⁴ - 2 in total, about 16.8 million codes that name no number. In 32 bits that is under 0.4% of all patterns and nobody minds. In an 8-bit format the same rule would burn a whole exponent row out of only 256 codes, which is why FP8 E4M3 drops infinity and keeps a single NaN mantissa (you will see this in the next part).

ملاحظة الشريحة “much waste” (هدر كبير) هي حجة عدّ. كل fraction غير صفري من 23 bit هو NaN، لذلك يوجد $2^{23}-1$ نمطًا لـ NaN لكل إشارة، أي 2²⁴ - 2 إجمالًا، وهي نحو 16.8 مليون رمز لا تسمّي أي عدد. في 32 bit يمثل ذلك أقل من 0.4% من كل الأنماط ولا أحد يهتم. أما في صيغة من 8 bits فإن القاعدة نفسها ستحرق صفًا كاملًا من الأس من بين 256 رمزًا فقط، ولهذا تتخلى FP8 E4M3 عن infinity وتحتفظ بـ mantissa واحد فقط لـ NaN (سترى ذلك في الجزء التالي).

The whole format in one tableالصيغة كاملة في جدول واحد

Read the table as a decision procedure. First look at the exponent field. If it is 0, apply the subnormal formula (and fraction 0 gives a signed zero). If it is 255, the answer is infinity or NaN depending on the fraction. Anything else is normal. Every one of the 2³² bit patterns lands in exactly one cell.

اقرأ الجدول كإجراء لاتخاذ القرار. انظر أولًا إلى حقل الأس. إذا كان 0، فطبّق معادلة الـ subnormal (والـ fraction الذي يساوي 0 يعطي صفرًا بإشارة). وإذا كان 255، فالإجابة infinity أو NaN بحسب الـ fraction. وأي قيمة أخرى تعني normal. وكل نمط من الـ 2³² نمطًا يقع في خلية واحدة بالضبط.

Where the values sit on the number lineأين تقع القيم على خط الأعداد

The bottom of slide 15 places the classes on the positive axis. Subnormals fill [0, 2⁻¹²⁶) with a uniform step of 2⁻¹⁴⁹: in that stretch FP32 behaves like a fixed-point format. From 2⁻¹²⁶ upward the normals take over, and each binade [2^e, 2^(e+1)) holds the same 2²³ values, so the absolute step doubles every time the exponent rises by one while the relative step stays about 2⁻²³. The line ends at (2 - 2⁻²³) × 2¹²⁷, after which comes only +∞.

يضع الجزء السفلي من الشريحة 15 الأصناف على المحور الموجب. الـ subnormals تملأ [0, 2⁻¹²⁶) بخطوة منتظمة قدرها 2⁻¹⁴⁹: في هذا الامتداد تتصرف FP32 مثل صيغة fixed-point. ومن 2⁻¹²⁶ فصاعدًا تتولى الأعداد normal الأمر، وكل binade [2^e, 2^(e+1)) يحوي العدد نفسه من القيم وهو 2²³، لذلك تتضاعف الخطوة المطلقة كلما زاد الأس بواحد، بينما تبقى الخطوة النسبية نحو 2⁻²³. وينتهي الخط عند (2 - 2⁻²³) × 2¹²⁷، ولا يأتي بعده إلا +∞.