Why fewer bits, integers and fixed pointلماذا بتات أقل، والأعداد الصحيحة والفاصلة الثابتة

Take one multiply-accumulate, the operation a neural network repeats billions of times. In 32-bit floating point it costs a multiply (3.7 pJ) plus an add (0.9 pJ), so 4.6 pJ. In 8-bit integers it costs 0.2 pJ plus 0.03 pJ, so 0.23 pJ. The same arithmetic job, done with fewer bits, is about 20x cheaper. That one number is why this lecture exists.

خذ عملية multiply-accumulate واحدة، وهي العملية التي تكررها الشبكة العصبية مليارات المرات. في الـ floating point بحجم 32-bit تكلف عملية ضرب (3.7 pJ) زائد عملية جمع (0.9 pJ)، أي 4.6 pJ. وفي الأعداد الصحيحة بحجم 8-bit تكلف 0.2 pJ زائد 0.03 pJ، أي 0.23 pJ. المهمة الحسابية نفسها، حين تُنفذ ببتات أقل، أرخص بنحو 20x. هذا الرقم وحده هو سبب وجود هذه المحاضرة.

The table every efficiency lecture quotesالجدول الذي تستشهد به كل محاضرة عن الكفاءة

The figures come from Mark Horowitz's ISSCC 2014 keynote, measured for a 45 nm process at 0.9 V. They are rough by design: the exact numbers change with the process node, but the ratios between them have held for a decade. The slide lists four precisions for each of two operations.

تأتي هذه الأرقام من الكلمة الرئيسية لـ Mark Horowitz في مؤتمر ISSCC 2014، وقد قيست لتقنية تصنيع 45 nm عند جهد 0.9 V. وهي تقريبية عن قصد: الأرقام الدقيقة تتغير مع عقدة التصنيع (process node)، لكن النسب بينها ظلت ثابتة لعقد كامل. تعرض الشريحة أربع دقّات (precisions) لكل عملية من العمليتين.

Reading the ratiosقراءة النسب

Why multiplies punish bits more than addsلماذا يعاقب الضرب على البتات أكثر من الجمع

Look at integers only, so the format does not change. Going from 8 to 32 bits is 4x the Bit-width. The add grows from 0.03 to 0.1 pJ, about 3.3x: roughly linear. The multiply grows from 0.2 to 3.1 pJ, about 15.5x, which is close to 4² = 16: roughly quadratic.

انظر إلى الأعداد الصحيحة فقط حتى لا تتغير الصيغة. الانتقال من 8 إلى 32 بتاً يعني 4x في bit-width. يزداد الجمع من 0.03 إلى 0.1 pJ، أي نحو 3.3x: نمو خطي تقريباً. ويزداد الضرب من 0.2 إلى 3.1 pJ، أي نحو 15.5x، وهذا قريب من 4² = 16: نمو تربيعي تقريباً.

The hardware explains the pattern. An n-bit ripple adder is a chain of n full adders, one per bit. An n-bit array multiplier forms n partial products of n bits each and adds them, so it needs on the order of n² cells. Real designs are cleverer, but the growth stays close to these orders.

العتاد يفسر هذا النمط. الجامع المتتابع (ripple adder) بعدد n من البتات هو سلسلة من n جامعات كاملة (full adders)، واحد لكل بت. أما الضارب المصفوفي (array multiplier) بعدد n من البتات فيكوّن n من النواتج الجزئية (partial products) طول كل منها n بت ثم يجمعها، لذلك يحتاج إلى عدد من الخلايا من رتبة n². التصاميم الحقيقية أذكى من ذلك، لكن النمو يبقى قريباً من هذه الرتب.

Floating point adds overhead on top: aligning exponents, normalizing and rounding. That is why a 32-bit float ADD (0.9 pJ) costs 9x a 32-bit int ADD (0.1 pJ) even though both handle 32 bits. A 16-bit float multiply (1.1 pJ) is still cheaper than a 32-bit integer one (3.1 pJ), because its significand is only 11 bits wide. Parts 2 and 3 unpack these float formats.

الـ floating point يضيف عبئاً إضافياً فوق ذلك: محاذاة الأُسس (exponents)، والتطبيع (normalizing)، والتقريب (rounding). لهذا يكلف 32-bit float ADD (0.9 pJ) تسعة أضعاف (9x) 32-bit int ADD (0.1 pJ) رغم أن كليهما يتعامل مع 32 بتاً. ومع ذلك فإن ضرب 16-bit float (1.1 pJ) أرخص من ضرب عدد صحيح 32-bit (3.1 pJ)، لأن الجزء المعنوي (significand) فيه عرضه 11 بتاً فقط. الجزءان 2 و3 يشرحان صيغ الـ float هذه بالتفصيل.

Memory dominates bothالذاكرة تطغى على الاثنين

The bottom line of slide 3 says one DRAM access costs 200x or more than an arithmetic operation. Han et al. quote the same Horowitz table: about 640 pJ for a 32-bit DRAM read and about 5 pJ for a 32-bit on-chip SRAM read. Then 640 / 3.1 ≈ 206, so one fetch from DRAM costs as much as about 200 32-bit integer multiplies, and over 20,000 8-bit integer adds. Horowitz's own paper puts a DRAM access at 1 to 2 nJ, a couple of orders of magnitude above a functional operation.

يقول السطر الأخير في الشريحة 3 إن قراءة واحدة من DRAM تكلف 200x أو أكثر من عملية حسابية. ويستشهد Han et al. بجدول Horowitz نفسه: نحو 640 pJ لقراءة 32-bit من DRAM، ونحو 5 pJ لقراءة 32-bit من SRAM على الشريحة (on-chip). إذن 640 / 3.1 ≈ 206، أي أن جلبة واحدة من DRAM تكلف ما يعادل نحو 200 عملية ضرب لأعداد صحيحة 32-bit، وأكثر من 20,000 عملية جمع لأعداد صحيحة 8-bit. وورقة Horowitz نفسها تقدّر الوصول إلى DRAM بما بين 1 و2 nJ، أي أعلى من العملية الوظيفية بمرتبتين عشريتين تقريباً.

This is why fewer bits help twice. Each operation gets cheaper, and each weight or activation is smaller, so fewer bytes cross the expensive path from DRAM. An 8-bit weight is a quarter of the traffic of a 32-bit one, and a model that shrinks enough may fit in on-chip SRAM, which avoids DRAM almost completely. You saw the memory side of this argument in lecture 03 and in Pruning (lecture 04-1). Quantization attacks the same bill from the other direction: instead of fewer weights, fewer bits per weight.

لهذا تفيد البتات الأقل مرتين. كل عملية تصبح أرخص، وكل وزن (weight) أو تنشيط (activation) يصبح أصغر، فتعبر بايتات أقل المسار المكلف من DRAM. الوزن بحجم 8-bit يمثل ربع حركة البيانات التي يحتاجها وزن بحجم 32-bit، والنموذج الذي يصغر بما يكفي قد يتسع في SRAM على الشريحة، فيتجنب DRAM بالكامل تقريباً. رأيت جانب الذاكرة من هذه الحجة في المحاضرة 03 وفي pruning (المحاضرة 04-1). الـ quantization يهاجم الفاتورة نفسها من الاتجاه الآخر: بدلاً من أوزان أقل، بتات أقل لكل وزن.

Write 49 in binary: 32 + 16 + 1, so 00110001 in eight bits. Now try to store -49. There is no minus sign in a register, only bits, so some bit pattern has to mean "negative". The three classic answers to that question are the three integer formats on slide 5, and each one gives the same pattern a different meaning.

اكتب 49 بالنظام الثنائي: 32 + 16 + 1، أي 00110001 في ثمانية بتات. الآن حاول تخزين -49. لا توجد إشارة سالب داخل المسجل (register)، بل بتات فقط، لذلك لا بد أن يعني نمطٌ ما من البتات "سالب". الإجابات الكلاسيكية الثلاث عن هذا السؤال هي صيغ الأعداد الصحيحة الثلاث في الشريحة 5، وكل منها يعطي النمط نفسه معنى مختلفاً.

Unsigned: every bit is a positive power of twoصيغة unsigned: كل بت قوة موجبة للعدد اثنين

In an Unsigned integer, bit i has weight $2^{i}$, and the value is the sum of the weights of the bits that are set. All zeros gives 0; all ones gives $2^{n}-1$. There is no way to write a negative number.

في unsigned integer يكون وزن البت i هو $2^{i}$، والقيمة هي مجموع أوزان البتات التي قيمتها 1. كل البتات أصفار تعطي 0، وكل البتات آحاد تعطي $2^{n}-1$. لا توجد طريقة لكتابة عدد سالب.

Sign-magnitude: a sign flag in front of an unsigned numberصيغة sign-magnitude: علامة إشارة أمام عدد unsigned

Sign-magnitude spends the top bit on the sign and keeps the other n - 1 bits as an unsigned magnitude. So -49 is the sign 1 followed by 0110001: 10110001. It is how people write numbers on paper, which makes it easy to read. It has two flaws. Both 00000000 and 10000000 mean zero (plus zero and minus zero), which wastes a code and complicates equality tests. And adding a positive and a negative number needs a different circuit from adding two positives, because the hardware must compare magnitudes and subtract.

صيغة sign-magnitude تخصص البت الأعلى للإشارة وتُبقي البتات الأخرى وعددها n - 1 كمقدار (magnitude) بلا إشارة. إذن -49 هو بت الإشارة 1 يليه 0110001: 10110001. هكذا يكتب الناس الأعداد على الورق، ولذلك يسهل قراءتها. لكن لها عيبين. النمطان 00000000 و10000000 كلاهما يعني الصفر (صفر موجب وصفر سالب)، وهذا يهدر رمزاً ويعقّد اختبارات التساوي. كما أن جمع عدد موجب وعدد سالب يحتاج إلى دائرة مختلفة عن جمع عددين موجبين، لأن العتاد يجب أن يقارن المقدارين ثم يطرح.

Two's complement: the top bit has a negative weightصيغة two's complement: للبت الأعلى وزن سالب

Two's complement changes one thing: the top bit is no longer a flag but a weight, and that weight is negative, $-2^{n-1}$. All other bits keep their positive weights. For eight bits the weights are -128, 64, 32, 16, 8, 4, 2, 1.

صيغة two's complement تغيّر شيئاً واحداً: البت الأعلى لم يعد علامة بل وزناً، وهذا الوزن سالب، $-2^{n-1}$. وتحتفظ بقية البتات بأوزانها الموجبة. في حالة ثمانية بتات تكون الأوزان -128, 64, 32, 16, 8, 4, 2, 1.

The second check is the deep reason the format works. A negative value -x is stored as the unsigned pattern of $2^{n}-x$, which is arithmetic modulo $2^{n}$. An ordinary unsigned adder already works modulo $2^{n}$, since the carry out of the top bit is simply dropped. So the same adder handles signed and unsigned numbers, subtraction is "add the negation", and there is a single zero. Practically every CPU, DSP and neural accelerator uses two's complement for signed integers for this reason.

التحقق الثاني هو السبب العميق لنجاح هذه الصيغة. القيمة السالبة -x تُخزَّن على شكل النمط unsigned للعدد $2^{n}-x$، وهذا حساب بباقي القسمة على $2^{n}$ (modulo). والجامع العادي للأعداد unsigned يعمل أصلاً بباقي القسمة على $2^{n}$، لأن المحمول (carry) الخارج من البت الأعلى يُهمل ببساطة. لذلك يتعامل الجامع نفسه مع الأعداد ذات الإشارة والأعداد بلا إشارة، ويصبح الطرح "أضف السالب"، ويوجد صفر واحد فقط. لهذا السبب يستخدم عملياً كل CPU وDSP ومسرّع للشبكات العصبية صيغة two's complement للأعداد الصحيحة ذات الإشارة.

Ranges for 8 and 4 bitsالنطاقات لـ 8 و4 بتات

Count the distinct values. Unsigned and two's complement both use all $2^{n}$ patterns: 256 values for eight bits, 16 for four. Sign-magnitude gets only $2^{n}-1$ distinct values, 255 and 15, because two patterns share zero. The pattern 100...0 shows the difference most sharply: minus zero in sign-magnitude, but $-2^{n-1}$ in two's complement, which is -128 for 8 bits and -8 for 4.

عُدّ القيم المختلفة. صيغتا unsigned وtwo's complement تستخدمان كل الأنماط وعددها $2^{n}$: 256 قيمة لثمانية بتات، و16 لأربعة. أما sign-magnitude فلا تحصل إلا على $2^{n}-1$ من القيم المختلفة، أي 255 و15، لأن نمطين يتشاركان الصفر. والنمط 100...0 يُظهر الفرق بأوضح صورة: هو صفر سالب في sign-magnitude، لكنه $-2^{n-1}$ في two's complement، أي -128 لـ 8 بتات و-8 لـ 4 بتات.

Take the same bits as before, 00110001, and draw a dot between the fourth and fifth bit: 0011.0001. The left part reads 3 and the right part 0001 is one sixteenth, so the number is 3.0625. Nothing about the bits changed. Only our agreement about where the point sits did.

خذ البتات نفسها كما في السابق، 00110001، وارسم نقطة بين البت الرابع والبت الخامس: 0011.0001. الجزء الأيسر يُقرأ 3، والجزء الأيمن 0001 يساوي جزءاً من ستة عشر، إذن العدد هو 3.0625. لم يتغير شيء في البتات. الذي تغير فقط هو اتفاقنا على مكان النقطة.

Reading one: fractional powers of twoالقراءة الأولى: قوى اثنين الكسرية

A Fixed-point number format fixes, once and for all, how many bits sit after the binary point. The slide's format uses eight bits in two's complement: a sign bit, three integer bits and four fraction bits. The weights continue past the point into negative powers of two.

صيغة fixed-point تحدد مرة واحدة وإلى الأبد عدد البتات التي تقع بعد النقطة الثنائية (binary point). الصيغة في الشريحة تستخدم ثمانية بتات بنظام two's complement: بت إشارة، وثلاثة بتات للجزء الصحيح، وأربعة بتات للكسر. وتستمر الأوزان بعد النقطة إلى قوى اثنين السالبة.

Reading two: an integer times a fixed scaleالقراءة الثانية: عدد صحيح مضروب في مقياس ثابت

Now ignore the point and read the eight bits as the two's complement integer 49. Every weight in reading one is exactly the reading-two weight times $2^{-4}$: $-2^{7}\cdot 2^{-4} = -2^{3}$, $2^{0}\cdot 2^{-4} = 2^{-4}$, and so on. So the whole value is the integer times one shared scale.

الآن تجاهل النقطة واقرأ البتات الثمانية كعدد صحيح بصيغة two's complement، فتحصل على 49. كل وزن في القراءة الأولى يساوي بالضبط الوزن المقابل في القراءة الثانية مضروباً في $2^{-4}$: $-2^{7}\cdot 2^{-4} = -2^{3}$، و$2^{0}\cdot 2^{-4} = 2^{-4}$، وهكذا. إذن القيمة كلها هي العدد الصحيح مضروباً في مقياس (scale) واحد مشترك.

This second reading is the one to remember. The binary point is never stored. It is a property of the format, which means fixed point is integer arithmetic plus a fixed scale. Adding two numbers in the same format is a plain integer add, because the scale factors out: $q_1 2^{-4} + q_2 2^{-4} = (q_1 + q_2)\,2^{-4}$. Multiplying is a plain integer multiply whose result has scale $2^{-8}$; shift right by four bits to return to $2^{-4}$. A fixed-point unit is just an integer ALU and a shifter, which is why it is cheap.

هذه القراءة الثانية هي التي يجب أن تتذكرها. النقطة الثنائية لا تُخزَّن أبداً. إنها خاصية للصيغة، وهذا يعني أن الـ fixed point هو حساب أعداد صحيحة زائد مقياس ثابت. جمع عددين من الصيغة نفسها هو جمع أعداد صحيحة عادي، لأن المقياس يخرج عاملاً مشتركاً: $q_1 2^{-4} + q_2 2^{-4} = (q_1 + q_2)\,2^{-4}$. والضرب هو ضرب أعداد صحيحة عادي يكون مقياس ناتجه $2^{-8}$؛ أزِح الناتج إلى اليمين أربعة بتات لتعود إلى $2^{-4}$. وحدة الـ fixed-point ليست سوى ALU للأعداد الصحيحة مع مُزيح (shifter)، ولهذا هي رخيصة.

Resolution and rangeالدقة والنطاق

With four fraction bits the gap between neighbouring values, the resolution, is 2^-4 = 0.0625. The range is the two's complement range [-128, 127] times that scale: from -128 / 16 = -8 (pattern 1000.0000) to 127 / 16 = 7.9375 (pattern 0111.1111). Moving the point one place to the left halves both the step and the range; moving it right doubles both. Fixed point can never have fine steps and a wide range at the same time, which is the gap floating point (part 2) was invented to close.

مع أربعة بتات كسرية تكون المسافة بين قيمتين متجاورتين، أي الدقة (resolution)، هي 2^-4 = 0.0625. والنطاق هو نطاق two's complement أي [-128, 127] مضروباً في هذا المقياس: من -128 / 16 = -8 (النمط 1000.0000) إلى 127 / 16 = 7.9375 (النمط 0111.1111). تحريك النقطة خانة واحدة إلى اليسار يُنصّف الخطوة والنطاق معاً، وتحريكها إلى اليمين يضاعفهما معاً. لا يمكن للـ fixed point أبداً أن يجمع بين خطوات دقيقة ونطاق واسع في الوقت نفسه، وهذه هي الفجوة التي اختُرع الـ floating point (الجزء 2) لسدّها.

Hold on to the equation $v = q \cdot 2^{-4}$. It is linear quantization in disguise: Linear quantization writes $r = S(q - Z)$, a real value $r$ recovered from a stored integer $q$ with a scale $S$ and a zero point $Z$. Fixed point is the special case $S = 2^{-4},\ Z = 0$. Lecture 05-2 lets $S$ be any real number chosen from the data and lets $Z$ shift the grid, so the 256 levels of an 8-bit integer land where a tensor's values actually are.

احتفظ بالمعادلة $v = q \cdot 2^{-4}$. إنها linear quantization متنكّر: linear quantization يكتب $r = S(q - Z)$، أي قيمة حقيقية $r$ نستعيدها من عدد صحيح مخزن $q$ بمقياس $S$ ونقطة صفر (zero point) $Z$. الـ fixed point هو الحالة الخاصة $S = 2^{-4},\ Z = 0$. المحاضرة 05-2 تسمح لـ $S$ أن يكون أي عدد حقيقي يُختار من البيانات، وتسمح لـ $Z$ بإزاحة الشبكة، بحيث تقع المستويات الـ 256 لعدد صحيح 8-bit حيث توجد قيم الـ tensor فعلاً.

• Resolution with four fraction bits: 0.0625.الدقة مع أربعة بتات كسرية: 0.0625.
• Range of the 8-bit format: [-8, 7.9375].نطاق الصيغة ذات 8 بتات: [-8, 7.9375].
• Conversion: $q = \text{round}(v / 2^{-4})$, then $v \approx q \cdot 2^{-4}$.التحويل: $q = \text{round}(v / 2^{-4})$، ثم $v \approx q \cdot 2^{-4}$.