Binary weights: sign, stochastic binarization and the BWN scaleالأوزان الثنائية: sign والتثنيث العشوائي ومقياس BWN

Take the running 4 × 4 weight matrix of this course, the one that starts with 2.09, −0.98, 1.48, 0.09. Lecture 05-1 stored it four ways. As plain FP32 it costs 16 × 32 = 512 bits. K-means replaced each value with a 2-bit index into a four-entry floating-point codebook. Linear quantization stored 2-bit integers and rebuilt values as (q − Z) × S with Z = −1, S = 1.07. The fourth column of the recap slide keeps one bit per weight.

خذ مصفوفة الأوزان 4 × 4 المتكررة في هذا المقرر، تلك التي تبدأ بـ 2.09، −0.98، 1.48، 0.09. خزّنتها المحاضرة 05-1 بأربع طرق. بصيغة FP32 العادية تكلّف 16 × 32 = 512 بت. استبدل تكميم K-means كل قيمة بفهرس من 2 بت يشير إلى دفتر رموز (codebook) من أربع قيم عائمة. وخزّن التكميم الخطي أعدادًا صحيحة من 2 بت وأعاد بناء القيم بالعلاقة (q − Z) × S حيث Z = −1 وS = 1.07. أما العمود الرابع في شريحة المراجعة فيحتفظ ببت واحد لكل وزن.

Reading the table as a ladderقراءة الجدول كسُلّم

Read the table along two axes. The storage row shrinks from left to right, and so does the price of the arithmetic. K-means saves memory but still multiplies floats, because the codebook entries are floats. Linear quantization moves the multiply into cheap integer hardware. Binarization goes one step further: if every weight is +1 or −1, there is nothing left to multiply by, and the computation row becomes bit operations. That is why the slide labels the last column Bit Operations rather than integer arithmetic.

اقرأ الجدول على محورين. صف التخزين يصغر من اليسار إلى اليمين، وكذلك تكلفة العمليات الحسابية. تكميم K-means يوفّر الذاكرة لكنه ما زال يضرب أعدادًا عائمة، لأن مدخلات دفتر الرموز أعداد عائمة. والتكميم الخطي ينقل الضرب إلى عتاد الأعداد الصحيحة الرخيص. أما binarization (التثنئة) فتذهب خطوة أبعد: إذا كان كل وزن +1 أو −1 فلا يبقى شيء نضرب به، ويصبح صف الحساب عمليات على البتات. لهذا تسمّي الشريحة العمود الأخير Bit Operations (عمليات البتات) وليس حسابًا بالأعداد الصحيحة.

Look closely at the binary matrix on the recap slide: it shows 0 and 1, not −1 and +1. That is the stored bit pattern. The bit 1 encodes +1 and the bit 0 encodes −1. Row one, 1 0 1 1, is exactly the sign pattern +1 −1 +1 +1 of 2.09, −0.98, 1.48, 0.09, and the same holds for every row of the BWN matrix you will build in the last concept. Keep this encoding in mind, since part 07 uses it to turn dot products into XNOR and popcount.

انظر جيدًا إلى المصفوفة الثنائية في شريحة المراجعة: إنها تُظهر 0 و1، لا −1 و+1. هذا هو نمط البتات المخزّن. البت 1 يمثّل +1 والبت 0 يمثّل −1. الصف الأول 1 0 1 1 هو بالضبط نمط الإشارات +1 −1 +1 +1 للقيم 2.09, −0.98, 1.48, 0.09، والأمر نفسه ينطبق على كل صف في مصفوفة BWN التي ستبنيها في المفهوم الأخير. احفظ هذا الترميز في ذهنك، لأن الجزء 07 يستخدمه لتحويل حاصل الضرب النقطي إلى XNOR وpopcount.

Every fully connected or convolution layer reduces to dot products. Take one output neuron with weights [8, −3, 5, −1] and inputs [5, 2, 0, 1].

كل طبقة كاملة الاتصال (fully connected) أو طبقة التفاف (convolution) تُختزل إلى حواصل ضرب نقطية. خذ عصبون إخراج واحدًا أوزانه [8, −3, 5, −1] ومدخلاته [5, 2, 0, 1].

Now replace each weight by its sign: [+1, −1, +1, −1]. Multiplying by +1 is just keeping the input, and multiplying by −1 is just negating it. The product terms collapse to the inputs themselves, added or subtracted.

الآن استبدل كل وزن بإشارته: [+1, −1, +1, −1]. الضرب في +1 يعني ببساطة إبقاء المدخل كما هو، والضرب في −1 يعني ببساطة عكس إشارته. فتنهار حدود الضرب إلى المدخلات نفسها، مجموعة أو مطروحة.

Notice that the answer changed from 33 to 2. Signs alone throw away magnitudes, so the raw binary output is not an approximation of the real one in scale. The last concept of this part fixes this with a scale factor: α = (8 + 3 + 5 + 1)/4 = 4.25 would give 4.25 × 2 = 8.5, and the multiply by α happens once per output, not once per weight.

لاحظ أن الناتج تغيّر من 33 إلى 2. الإشارات وحدها تتخلص من المقادير، لذلك فإن الناتج الثنائي الخام ليس تقريبًا للناتج الحقيقي من حيث الحجم. يعالج المفهوم الأخير في هذا الجزء ذلك بمعامل مقياس: القيمة α = (8 + 3 + 5 + 1)/4 = 4.25 تعطي 4.25 × 2 = 8.5، والضرب في α يحدث مرة واحدة لكل مخرج، لا مرة لكل وزن.

Where the 32x and 2x come fromمن أين يأتي الرقمان 32x و2x

• Memory, about 32×. An FP32 weight is 32 bits and a binary weight is 1 bit. It is "about" because a few full-precision numbers remain, such as a scale per layer or filter. For a layer of 1,000,000 weights plus one FP32 scale, the ratio is 32,000,000 / 1,000,032 ≈ 31.999.الذاكرة، نحو 32×. الوزن بصيغة FP32 يشغل 32 بت والوزن الثنائي يشغل 1 بت. نقول "نحو" لأن بعض الأعداد بالدقة الكاملة تبقى، مثل مقياس لكل طبقة أو لكل مرشّح (filter). لطبقة فيها 1,000,000 وزن ومقياس واحد بصيغة FP32، تكون النسبة 32,000,000 / 1,000,032 ≈ 31.999.
• Computation, about 2×. A dot product of length n costs n multiplications and about n additions. Binary weights delete the multiplications and keep the additions and subtractions, so the operation count roughly halves. The real saving in energy and chip area is larger, because a multiplier costs far more than an adder; BinaryConnect makes exactly this point.الحساب، نحو 2×. حاصل الضرب النقطي بطول n يكلّف n عملية ضرب ونحو n عملية جمع. الأوزان الثنائية تحذف عمليات الضرب وتُبقي الجمع والطرح، لذلك ينخفض عدد العمليات إلى النصف تقريبًا. أما التوفير الحقيقي في الطاقة ومساحة الشريحة فأكبر من ذلك، لأن الضارب (multiplier) يكلّف أكثر بكثير من الجامع (adder)، وهذه بالضبط النقطة التي تؤكدها ورقة BinaryConnect.
• Why not more than 2×? The inputs are still real numbers, so the additions are still full precision. Only when activations are binarized as well (the third row of the table, filled in part 07) do the additions become XNOR and popcount.لماذا لا يزيد عن 2×؟ المدخلات ما زالت أعدادًا حقيقية، لذلك تبقى عمليات الجمع بالدقة الكاملة. فقط عندما تُثنّى التنشيطات أيضًا (الصف الثالث في الجدول، الذي يُملأ في الجزء 07) تتحول عمليات الجمع إلى XNOR وpopcount.

Suppose a weight has the real value r = 0.4. One option says: it is positive, so it becomes +1, every time. Another option says: it is positive but not by much, so make it +1 seven times out of ten and −1 three times out of ten. These are the two binarization rules on slide 53.

افترض أن وزنًا قيمته الحقيقية r = 0.4. خيار أول يقول: إنه موجب، إذن يصبح +1 في كل مرة. وخيار ثانٍ يقول: إنه موجب لكن ليس بفارق كبير، إذن اجعله +1 سبع مرات من عشر و−1 ثلاث مرات من عشر. هاتان هما قاعدتا التثنئة في الشريحة 53.

Deterministic binarization: a threshold at zeroالتثنئة الحتمية: عتبة عند الصفر

Deterministic binarization compares the value with a threshold, almost always 0, and outputs the sign.

Deterministic binarization (التثنئة الحتمية) تقارن القيمة بعتبة، وهي 0 في الغالب تقريبًا، وتُخرج الإشارة.

The ≥ matters. Mathematically sign(0) = 0, but a binary weight has no zero level, so this convention sends r = 0 to +1. In the slide matrix the two zeros, at row 3 column 3 and row 4 column 2, both become +1. In hardware the rule is free: for a floating-point or two's complement number the sign bit already is the answer.

العلامة ≥ مهمة. رياضيًا sign(0) = 0، لكن الوزن الثنائي ليس له مستوى صفري، لذلك يرسل هذا الاصطلاح r = 0 إلى +1. في مصفوفة الشريحة يتحول الصفران، في الصف 3 العمود 3 وفي الصف 4 العمود 2، كلاهما إلى +1. وفي العتاد هذه القاعدة مجانية: في العدد العائم أو العدد بصيغة المتمم الثنائي (two's complement) يكون بت الإشارة هو الجواب نفسه.

Stochastic binarization: a coin weighted by the valueالتثنئة العشوائية: عملة مرجّحة بالقيمة

Stochastic binarization draws the bit at random, with a probability set by the value. In BinaryConnect (Courbariaux, Bengio and David, NeurIPS 2015) the probability is the hard sigmoid.

Stochastic binarization (التثنئة العشوائية) تسحب البت عشوائيًا باحتمال تحدده القيمة. في BinaryConnect (Courbariaux و Bengio و David، مؤتمر NeurIPS 2015) يكون هذا الاحتمال هو دالة hard sigmoid.

The hard sigmoid is a straight ramp clipped to [0, 1]: 0 for r ≤ −1, 1 for r ≥ 1, and the line (r + 1)/2 in between. BinaryConnect picked it over the smooth sigmoid because it is far cheaper to compute, in software and in hardware.

دالة hard sigmoid منحدر مستقيم مقصوص إلى المجال [0, 1]: قيمتها 0 عندما r ≤ −1، و1 عندما r ≥ 1، والخط (r + 1)/2 بينهما. اختارتها BinaryConnect بدل دالة sigmoid الناعمة لأنها أرخص بكثير في الحساب، برمجيًا وفي العتاد.

That last line is the whole reason for the randomness. On average the stochastic bit equals the real weight, so rounding errors on different weights and different mini-batches cancel instead of piling up, in the same spirit as DropConnect noise. BinaryConnect also clips the stored real weights to [−1, 1] after each update, which is exactly the range where E[q] = r holds.

هذا السطر الأخير هو السبب الكامل للعشوائية. في المتوسط يساوي البت العشوائي الوزن الحقيقي، لذلك تُلغي أخطاء التقريب في الأوزان المختلفة والدفعات الصغيرة (mini-batches) المختلفة بعضها بعضًا بدل أن تتراكم، بروح ضجيج DropConnect نفسها. كما تقصّ BinaryConnect الأوزان الحقيقية المخزّنة إلى المجال [−1, 1] بعد كل تحديث، وهو بالضبط المجال الذي تتحقق فيه E[q] = r.

Drag r below and watch p, 1 − p and the expected value move, while the deterministic answer only flips at zero.

اسحب r في الأسفل وراقب كيف تتحرك p و1 − p والقيمة المتوقعة، بينما لا يتغير الجواب الحتمي إلا عند الصفر.

Why the deterministic rule wins in practiceلماذا تفوز القاعدة الحتمية عمليًا

The BinaryNet paper (Courbariaux et al., 2016) states the trade-off plainly: stochastic binarization is more appealing in theory, but harder to implement because the hardware must generate random bits every time it quantizes. A random number generator per weight is area, energy and latency that a tiny edge accelerator would rather not spend. So inference uses sign, and the stochastic form, if used at all, lives in training, where it acts as a regularizer.

ورقة BinaryNet (Courbariaux وزملاؤه، 2016) تذكر المفاضلة بوضوح: التثنئة العشوائية أكثر جاذبية نظريًا، لكنها أصعب في التنفيذ لأن العتاد يجب أن يولّد بتات عشوائية في كل مرة يكمّم فيها. مولّد أرقام عشوائية لكل وزن يعني مساحة وطاقة وزمن تأخير يفضّل مسرّع طرفي صغير ألا يدفعها. لذلك يستخدم الاستدلال (inference) دالة sign، أما الصيغة العشوائية، إن استُخدمت أصلًا، فمكانها التدريب حيث تعمل كمنظِّم (regularizer).

Binarize four small, realistic weights: [0.02, −0.05, 0.03, −0.01]. The signs are [+1, −1, +1, −1], and the squared error is 0.98² + 0.95² + 0.97² + 0.99² ≈ 3.78. The weights themselves only have energy 0.0039, so setting them all to zero would be about a thousand times closer. The signs are right; the size is absurd. A single scale fixes it: α = (0.02 + 0.05 + 0.03 + 0.01)/4 = 0.0275 gives ±0.0275 and an error of only 0.000875.

ثنِّ أربعة أوزان صغيرة واقعية: [0.02, −0.05, 0.03, −0.01]. الإشارات هي [+1, −1, +1, −1]، والخطأ المربّع 0.98² + 0.95² + 0.97² + 0.99² ≈ 3.78. أما طاقة الأوزان نفسها فلا تتجاوز 0.0039، لذلك فإن جعلها كلها أصفارًا سيكون أقرب بنحو ألف مرة. الإشارات صحيحة، لكن الحجم سخيف. مقياس واحد يصلح ذلك: α = (0.02 + 0.05 + 0.03 + 0.01)/4 = 0.0275 يعطي ±0.0275 وخطأً قدره 0.000875 فقط.

The Binary Weight Network ruleقاعدة Binary Weight Network

The Binary Weight Network (BWN) of XNOR-Net (Rastegari et al., ECCV 2016) approximates the real tensor as a scale times a sign tensor. The sign is kept from deterministic binarization, and the scale is the mean absolute value.

شبكة Binary Weight Network في ورقة XNOR-Net (Rastegari وزملاؤه، مؤتمر ECCV 2016) تقرّب الموتر الحقيقي بمقياس مضروب في موتر إشارات. الإشارة مأخوذة من التثنئة الحتمية، والمقياس هو متوسط القيم المطلقة.

The scale is stored as one FP32 number and applied once to the output of the dot product, so it costs one multiply per output, not per weight. The XNOR-Net paper later reuses the same idea for activations.

يُخزَّن المقياس كعدد واحد بصيغة FP32 ويُطبَّق مرة واحدة على ناتج حاصل الضرب النقطي، لذلك يكلّف عملية ضرب واحدة لكل مخرج، لا لكل وزن. وتعيد ورقة XNOR-Net لاحقًا استخدام الفكرة نفسها مع التنشيطات.

Why alpha is the mean of |W|لماذا تكون alpha متوسط |W|

This is the derivation from XNOR-Net and a natural exam question. Write the error for a fixed sign vector B ∈ {+1, −1}ⁿ and expand.

هذا هو الاشتقاق من ورقة XNOR-Net، وهو سؤال امتحان طبيعي. اكتب الخطأ لمتجه إشارات ثابت B ∈ {+1, −1}ⁿ ثم افكّه.

1. For any positive α, the error is smallest when WᵀB is largest. Each term w_i b_i is largest when b_i has the sign of w_i, so B* = sign(W) and WᵀB* = Σ|w_i| = ‖W‖₁.لأي α موجبة، يكون الخطأ أصغر ما يمكن عندما يكون WᵀB أكبر ما يمكن. كل حد w_i b_i يكون أكبر ما يمكن عندما تحمل b_i إشارة w_i، إذن B* = sign(W) وWᵀB* = Σ|w_i| = ‖W‖₁.
2. Differentiate in α: dJ/dα = 2αn − 2‖W‖₁. Setting it to zero gives α* = ‖W‖₁ / n, the mean absolute weight. The second derivative 2n is positive, so this is a minimum.اشتق بالنسبة إلى α: dJ/dα = 2αn − 2‖W‖₁. مساواتها بالصفر تعطي α* = ‖W‖₁ / n، أي متوسط القيمة المطلقة للأوزان. والمشتقة الثانية 2n موجبة، إذن هذه قيمة صغرى.
3. Substituting back gives the minimum error J* = WᵀW − ‖W‖₁² / n. On the slide matrix: 26.8432 − 16.78² / 16 = 26.8432 − 17.5980 = 9.2452, matching the worked example.بالتعويض نحصل على أصغر خطأ J* = WᵀW − ‖W‖₁² / n. على مصفوفة الشريحة: 26.8432 − 16.78² / 16 = 26.8432 − 17.5980 = 9.2452، وهو مطابق للمثال المحلول.

What the scale buys on ImageNetماذا يكسب المقياس على ImageNet

XNOR-Net trained AlexNet three ways on ImageNet. Full precision reached 56.6% top-1. BinaryConnect, signs with no scale, reached 35.4%, a drop of 21.2 points. BWN, the same signs plus α, reached 56.8%, 0.2 points above full precision. The paper also tried learning the scale as a separate layer instead of computing it with the formula and got only 46.2%, so the closed-form α is not a detail.

درّبت ورقة XNOR-Net شبكة AlexNet بثلاث طرق على ImageNet. الدقة الكاملة وصلت إلى 56.6% في top-1. وBinaryConnect، أي إشارات بلا مقياس، وصلت إلى 35.4%، بانخفاض 21.2 نقطة. وBWN، أي الإشارات نفسها مع α، وصلت إلى 56.8%، أي أعلى من الدقة الكاملة بـ 0.2 نقطة. وجرّبت الورقة أيضًا تعلّم المقياس كطبقة مستقلة بدل حسابه بالصيغة، فلم تحصل إلا على 46.2%، لذلك فإن α بالصيغة المغلقة ليست تفصيلًا ثانويًا.