FP16, BF16, FP8 and FP4: trading range for precisionFP16 وBF16 وFP8 وFP4: مقايضة المدى بالدقة

Try storing 100,000 and 1000.5 in two different 16-bit formats. FP16 cannot hold 100,000 at all: its largest finite value is 65504, so the number overflows to infinity. BF16 stores it easily, rounding it to 99,840. Now flip the test. FP16 stores 1000.5 exactly (its steps near 1000 are 0.5 wide), while BF16 rounds it to 1000 because its steps near 1000 are a full 4 wide. Same 16 bits, opposite strengths.

جرّب تخزين 100,000 و1000.5 في صيغتين مختلفتين بطول 16 بتًا. لا تستطيعFP16 أن تحمل 100,000 أصلًا: أكبر قيمة منتهية فيها هي 65504، فيتجاوز الرقم المدى (overflow) ويصبح ما لا نهاية. أما BF16 فتخزنه بسهولة وتقرّبه إلى 99,840. الآن اعكس الاختبار. تخزن FP16 القيمة 1000.5 بدقة تامة (خطواتها قرب 1000 عرضها 0.5)، بينما تقرّبها BF16 إلى 1000 لأن خطواتها قرب 1000 عرضها 4 كاملة. البتات نفسها، 16 بتًا، ونقاط القوة متعاكسة.

The rule on the slideالقاعدة في الشريحة

Every Floating-point number number is stored the way Part 2 showed for FP32: a sign bit, an exponent field with a bias, and a fraction. A normal value is

كل رقم floating-point يُخزَّن بالطريقة التي عرضها الجزء الثاني لصيغة FP32: بت إشارة، وحقل أس مع إزاحة (bias)، وكسر. والقيمة العادية (normal) هي

The exponent picks which power of two the number lives near, so more exponent bits reach more powers of two: that is range. The fraction picks a position between two neighbouring powers of two, so more fraction bits slice that interval finer: that is precision. This is the slide headline, Range vs precision: exponent width gives range, fraction width gives precision.

يختار الأس قوة العدد 2 التي يقع الرقم قربها، لذلك تصل بتات الأس الإضافية إلى قوى أكثر للعدد 2: وهذا هو المدى (range). ويختار الكسر موضعًا بين قوتين متجاورتين للعدد 2، لذلك تقسّم بتات الكسر الإضافية هذه الفترة إلى شرائح أدق: وهذه هي الدقة (precision). هذا هو عنوان الشريحة، range vs precision: عرض الأس يعطي المدى، وعرض الكسر يعطي الدقة.

FP16 and BF16 spend the same 16 bits differentlyصيغتا FP16 وBF16 تنفقان البتات الـ16 نفسها بطريقتين مختلفتين

FP16, the IEEE 754 half precision format, keeps 5 exponent bits and 10 fraction bits with bias 15. BF16 (Brain Float), designed at Google for TPUs, keeps all 8 of FP32’s exponent bits with bias 127 and only 7 fraction bits. The Exponent bias follows the same formula everywhere, 2^(e-1) - 1, so you never need to memorize it: e = 5 gives 15, e = 8 gives 127.

صيغة FP16، وهي صيغة نصف الدقة (half precision) في IEEE 754، تحتفظ بـ5 بتات للأس و10 بتات للكسر مع إزاحة 15. أما BF16، التي صممتها Google لوحدات TPU، فتحتفظ ببتات الأس الثماني كلها من FP32 مع إزاحة 127، و7 بتات فقط للكسر. وتتبع exponent bias الصيغة نفسها في كل مكان، 2^(e-1) - 1، فلا تحتاج إلى حفظها: e = 5 تعطي 15، وe = 8 تعطي 127.

The FP16 limits come straight from the widths. The largest exponent field that is not reserved is 11110 = 30, so the top power is 2^(30 - 15) = 2^15, and a full fraction of ten ones gives (2 - 2^-10) × 2^15 = 65504. The smallest normal uses exponent field 1: 2^(1 - 15) = 2^-14. The smallest Subnormal number puts a single 1 in the last fraction bit: 2^-10 × 2^-14 = 2^-24.

حدود FP16 تأتي مباشرة من عرض الحقول. أكبر قيمة لحقل الأس غير محجوزة هي 11110 = 30، فتكون أعلى قوة 2^(30 - 15) = 2^15، وكسر كامل من عشرة آحاد يعطي (2 - 2^-10) × 2^15 = 65504. أصغر قيمة عادية تستخدم حقل أس يساوي 1: 2^(1 - 15) = 2^-14. وأصغر subnormal number تضع 1 واحدًا في آخر بت من الكسر: 2^-10 × 2^-14 = 2^-24.

Why BF16 won for trainingلماذا فازت BF16 في التدريب

Training produces values with a huge dynamic range. Activations can be large, while many gradients are tiny, often below FP16’s 2^-24. NVIDIA reports that for the Multibox SSD detector, 31% of activation gradient values became zero when cast to FP16. The FP16 fix is loss scaling: multiply the loss by a large constant so the gradients shift up into FP16’s range, then divide the update back down, while watching for overflow. BF16 removes the problem at its root. Because its exponent is FP32’s exponent, every FP32 magnitude lands in a BF16 binade too (only a sliver just below FP32’s maximum can round up to infinity), and tiny gradients stay representable. Google describes BF16 as close to a drop-in replacement for FP32 with no loss scaling, and notes that networks are more sensitive to exponent size than to fraction size. The price is precision: about two to three significant decimal digits.

ينتج التدريب قيمًا ذات مدى ديناميكي هائل. قد تكون التنشيطات (activations) كبيرة، بينما كثير من التدرجات (gradients) صغير جدًا، وغالبًا أصغر من 2^-24 في FP16. تذكر NVIDIA أنه في كاشف Multibox SSD أصبحت 31% من قيم تدرجات التنشيط أصفارًا عند تحويلها إلى FP16. الحل في FP16 هو تحجيم الخسارة (loss scaling): تضرب الخسارة في ثابت كبير لترتفع التدرجات إلى داخل مدى FP16، ثم تقسم التحديث ليعود إلى حجمه، مع مراقبة تجاوز المدى (overflow). أما BF16 فتزيل المشكلة من جذورها. لأن أسّها هو أس FP32 نفسه، فكل مقدار في FP32 يقع أيضًا في binade من BF16 (باستثناء شريحة رفيعة تحت أكبر قيمة في FP32 مباشرة قد تُقرَّب إلى ما لا نهاية)، وتبقى التدرجات الصغيرة قابلة للتمثيل. تصف Google صيغة BF16 بأنها بديل شبه مباشر لـFP32 دون الحاجة إلى loss scaling، وتذكر أن الشبكات أكثر حساسية لحجم الأس منها لحجم الكسر. والثمن هو الدقة: نحو رقمين إلى ثلاثة أرقام عشرية معنوية.

Exams love two directions: “here are 16 bits, what number is it?” and “here is a number, what are the bits?” Both reuse the FP32 procedure from Part 2. Only the field widths and the bias change.

تحب الامتحانات اتجاهين: «هذه 16 بتًا، ما الرقم الذي تمثله؟» و«هذا رقم، ما بتاته؟» كلاهما يعيد استخدام إجراء FP32 من الجزء الثاني. لا يتغير سوى عرض الحقول وقيمة الإزاحة.

Bits to decimal: FP16من البتات إلى العشري: FP16

Decimal to bits: BF16من العشري إلى البتات: BF16

Compare this with FP32. In FP32, 2.5 is 0 10000000 01000000000000000000000, which is 0x40200000. The BF16 code is exactly the top 16 bits. That is the whole BF16 conversion story: keep the top half of an FP32 word and round the dropped half to nearest, ties to even. The exponent field is copied as is (rounding can only carry into it), which is why conversion from FP32 practically never overflows.

قارن هذا بـFP32. في FP32 تكون 2.5 هي 0 10000000 01000000000000000000000، أي 0x40200000. رمز BF16 هو بالضبط أعلى 16 بتًا. وهذه هي قصة تحويل BF16 كلها: احتفظ بالنصف الأعلى من كلمة FP32 وقرّب النصف المحذوف إلى الأقرب، مع كسر التعادل نحو الزوجي (ties to even). يُنسخ حقل الأس كما هو (التقريب لا يفعل إلا أن يحمل إليه)، ولهذا لا يكاد التحويل من FP32 يتجاوز المدى أبدًا.

Halve the width again and the range versus precision tension becomes impossible to ignore. With only 8 bits, a single format cannot serve both weights, which want fine steps, and gradients, which swing over many orders of magnitude. So NVIDIA, Arm and Intel proposed two FP8 formats and use each where it fits.

نصّف العرض مرة أخرى فيصبح التوتر بين المدى والدقة مستحيل التجاهل. مع 8 بتات فقط، لا تستطيع صيغة واحدة أن تخدم الأوزان (weights)، التي تريد خطوات دقيقة، والتدرجات، التي تتأرجح عبر رتب كثيرة من المقادير. لذلك اقترحت NVIDIA وArm وIntel صيغتين لـFP8، وتُستخدم كل منهما حيث تناسب.

Two splits of eight bitsتقسيمان للبتات الثماني

FP8 E4M3 spends 4 bits on the exponent and 3 on the mantissa, bias 7. FP8 E5M2 spends 5 on the exponent and 2 on the mantissa, bias 15: it is literally FP16 with the low 8 fraction bits cut off, the same relationship BF16 has with FP32.

تنفق FP8 E4M3 4 بتات على الأس و3 على الجزء العشري (mantissa)، بإزاحة 7. وتنفق FP8 E5M2 5 على الأس و2 على الجزء العشري، بإزاحة 15: إنها حرفيًا FP16 بعد قطع بتات الكسر الثماني الدنيا، وهي العلاقة نفسها التي تربط BF16 بـFP32.

E4M3 reclaims the special codesصيغة E4M3 تستعيد الرموز الخاصة

In IEEE style, an exponent field of all ones is reserved for Infinity and NaN. In a format with only 16 exponent codes, losing a whole binade to special values is expensive. This is the waste flagged at the end of Part 2. E4M3 drops infinity entirely and keeps just one NaN pattern per sign, S.1111.111. Every other code with exponent 1111 becomes an ordinary normal number.

على طريقة IEEE، حقل الأس المكون من آحاد كلها محجوز لـINF وNaN. وفي صيغة ليس فيها سوى 16 رمزًا للأس، خسارة binade كامل لصالح القيم الخاصة مكلفة. وهذا هو الهدر الذي أُشير إليه في نهاية الجزء الثاني. تتخلى E4M3 عن ما لا نهاية تمامًا وتحتفظ بنمط NaN واحد فقط لكل إشارة، S.1111.111. وكل رمز آخر أسّه 1111 يصبح رقمًا عاديًا (normal).

Which tensor gets which formatأي موتّر يأخذ أي صيغة

The FP8 paper by Micikevicius and colleagues recommends E4M3 for weight and activation tensors and E5M2 for gradient tensors. The reasoning follows the rule. In the forward pass, weights and activations of one layer sit in a fairly narrow band and benefit from the extra mantissa bit. In the backward pass, gradients vary over many orders of magnitude, and losing small ones to underflow or large ones to overflow hurts more than coarse steps. In practice each tensor also carries a per-tensor scale factor so its values land inside the format’s range, which is the same idea as loss scaling.

توصي ورقة FP8 التي كتبها Micikevicius وزملاؤه باستخدام E4M3 لموتّرات الأوزان والتنشيطات، وE5M2 لموتّرات التدرجات. والتعليل يتبع القاعدة. في المرور الأمامي (forward pass) تقع أوزان طبقة واحدة وتنشيطاتها في نطاق ضيق نسبيًا وتستفيد من بت الجزء العشري الإضافي. وفي المرور الخلفي (backward pass) تتفاوت التدرجات عبر رتب كثيرة من المقادير، وخسارة الصغيرة منها بسبب underflow أو الكبيرة بسبب overflow تضر أكثر من الخطوات الخشنة. وعمليًا يحمل كل موتّر أيضًا معامل تحجيم خاصًا به (per-tensor scale factor) لتقع قيمه داخل مدى الصيغة، وهي الفكرة نفسها التي يقوم عليها loss scaling.

With 4 bits there are only 16 codes, 8 of them non-negative. That is small enough to list every value, and the lists make the range versus precision rule visible at a glance.

مع 4 بتات لا يوجد سوى 16 رمزًا، منها 8 غير سالبة. وهذا عدد صغير بما يكفي لسرد كل قيمة، والقوائم تجعل قاعدة المدى مقابل الدقة مرئية من نظرة واحدة.

The same eight codes, four waysالرموز الثمانية نفسها بأربع طرق

INT4 treats the bits as a Two's complement integer: 0 to 7 and -1 to -8, evenly spaced. The FP4 (E1M2, E2M1, E3M0) variants instead keep a sign bit and split the remaining three between exponent and mantissa, using the same bias formula 2^(e-1) - 1, which gives 0 for E1M2, 1 for E2M1 and 3 for E3M0. None of them reserves any code for INF or NaN: with so few codes, every pattern must be a number.

تعامل INT4 البتات كعدد صحيح بنظام two's complement: من 0 إلى 7 ومن -1 إلى -8، بتباعد متساوٍ. أما متغيرات FP4 فتحتفظ ببت إشارة وتقسم البتات الثلاثة الباقية بين الأس والجزء العشري، مستخدمة صيغة الإزاحة نفسها 2^(e-1) - 1، التي تعطي 0 لـE1M2 و1 لـE2M1 و3 لـE3M0. ولا تحجز أي منها رمزًا لـINF أو NaN: مع هذا العدد القليل من الرموز، يجب أن يكون كل نمط رقمًا.

Decoding every E2M1 codeفك ترميز كل رمز في E2M1

E2M1 is the one that matters most in practice: it is the FP4 element type in the OCP microscaling (MX) specification and in NVIDIA Blackwell’s FP4. Its fields are one sign bit, two exponent bits and one mantissa bit, with bias 1. Exponent 00 means subnormal, value 0.m × 2^(1 - 1); any other exponent is normal, value 1.m × 2^(E - 1).

E2M1 هي الأهم عمليًا: إنها نوع العنصر في FP4 ضمن مواصفة OCP للتحجيم الدقيق (microscaling, MX) وفي FP4 الخاصة بـNVIDIA Blackwell. حقولها بت إشارة واحد، وبتا أس، وبت واحد للجزء العشري، بإزاحة 1. الأس 00 يعني قيمة دون عادية، قيمتها 0.m × 2^(1 - 1)؛ وأي أس آخر يعني قيمة عادية، قيمتها 1.m × 2^(E - 1).

The other two rows on the slide check out. E1M2 with bias 0: 0001 is subnormal, 0.25 × 2^(1 - 0) = 0.5, and 0111 is (1 + 0.75) × 2^(1 - 0) = 3.5. Its values are exactly INT4 times 0.5, so E1M2 is really a fixed-point format in disguise. E3M0 with bias 3 has no mantissa at all: 0001 is 2^(1 - 3) = 0.25 and 0111 is 2^(7 - 3) = 16. Every value is a power of two.

الصفان الآخران في الشريحة صحيحان. E1M2 بإزاحة 0: الرمز 0001 دون عادي، 0.25 × 2^(1 - 0) = 0.5، والرمز 0111 هو (1 + 0.75) × 2^(1 - 0) = 3.5. قيمها هي بالضبط قيم INT4 مضروبة في 0.5، لذلك فإن E1M2 في الحقيقة صيغة فاصلة ثابتة (fixed-point) متنكرة. وE3M0 بإزاحة 3 ليس فيها جزء عشري إطلاقًا: الرمز 0001 هو 2^(1 - 3) = 0.25 والرمز 0111 هو 2^(7 - 3) = 16. كل قيمة فيها قوة للعدد 2.

What the four grids teachما الذي تعلّمه الشبكات الأربع

• Mantissa bits give even spacing. INT4 and E1M2 are uniform grids; the only difference is the scale.بتات الجزء العشري تعطي تباعدًا متساويًا. INT4 وE1M2 شبكتان منتظمتان؛ والفرق الوحيد بينهما هو المقياس.
• Exponent bits give logarithmic spacing. E3M0 doubles at every step, so it reaches 16 but jumps from 8 to 16 with nothing in between.بتات الأس تعطي تباعدًا لوغاريتميًا. E3M0 تتضاعف عند كل خطوة، لذلك تصل إلى 16 لكنها تقفز من 8 إلى 16 دون أي قيمة بينهما.
• E2M1 is the compromise: two values per binade, reaching 6, dense near zero and coarse near the top. That shape matches the bell-shaped distribution of neural network weights, which is why it is the practical FP4.E2M1 هي الحل الوسط: قيمتان في كل binade، وتصل إلى 6، كثيفة قرب الصفر وخشنة قرب القمة. هذا الشكل يطابق التوزيع الجرسي لأوزان الشبكات العصبية، ولهذا هي صيغة FP4 العملية.