Accuracy cost of binarization and ternary quantizationكلفة التثنيث على الدقة والتكميم الثلاثي

Take AlexNet on ImageNet and binarize it three different ways. Binarize only the weights and keep a scale factor: top-1 accuracy goes up by 0.2 points. Binarize weights and activations with scale factors on both: it drops 12.4 points. Binarize both without any scale factors: it drops 28.7 points. Same network, same bit width for the weights, and a spread of almost 29 points.

خذ AlexNet على ImageNet وحوّلها إلى ثنائية بثلاث طرق مختلفة. حوّل الأوزان فقط مع الإبقاء على معامل مقياس: ترتفع دقة top-1 بمقدار 0.2 نقطة. حوّل الأوزان والتنشيطات مع معاملات مقياس على كليهما: تنخفض 12.4 نقطة. حوّل الاثنين دون أي معاملات مقياس: تنخفض 28.7 نقطة. الشبكة نفسها، وعرض البت نفسه للأوزان، ومع ذلك يبلغ الفارق قرابة 29 نقطة.

Two causes, read off the tableسببان نقرؤهما من الجدول

The three rows differ in exactly two switches, so you can isolate each one. Compare XNOR-Net with Binarized Neural Network (BNN): both have 1 bit weights and 1 bit activations, and the only difference is the scale factors. That switch alone is worth about 16.3 points (-12.4 against -28.7). Now compare the Binary Weight Network (BWN) with XNOR-Net: both are scaled, and the only difference is whether activations are binarized. That switch costs 12.6 points (+0.2 against -12.4).

تختلف الصفوف الثلاثة في مفتاحين فقط، لذا يمكنك عزل أثر كل منهما. قارن XNOR-Net مع BNN: كلاهما بأوزان 1 بت وتنشيطات 1 بت، والفرق الوحيد هو معاملات المقياس. هذا المفتاح وحده يساوي نحو 16.3 نقطة (-12.4 مقابل -28.7). الآن قارن BWN مع XNOR-Net: كلاهما يستخدم المقياس، والفرق الوحيد هو هل التنشيطات ثنائية أم لا. هذا المفتاح يكلّف 12.6 نقطة (+0.2 مقابل -12.4).

• Scale factors matter. A sign function throws away magnitude. The scale $\alpha = \tfrac{1}{n}\lVert W \rVert_1$ puts the average magnitude back, so the binarized layer outputs numbers of the right size. Without it, every layer sees signals of the wrong scale, and the errors compound through depth.معاملات المقياس مهمة. دالة الإشارة (sign) تتخلص من المقدار. والمقياس $\alpha = \tfrac{1}{n}\lVert W \rVert_1$ يعيد متوسط المقدار، فتُخرج الطبقة الثنائية أرقامًا بالحجم الصحيح. ومن دونه ترى كل طبقة إشارات بمقياس خاطئ، وتتراكم الأخطاء مع العمق.
• Binarizing activations is the expensive part. Weights are learned, so training can adapt them to a two-level grid. Activations are fresh data at every input. Forcing each one to ±1 discards most of what the previous layer computed, and no amount of training can recover information that never reaches the next layer.تحويل التنشيطات إلى ثنائية هو الجزء المكلف. الأوزان تُتعلَّم، لذا يستطيع التدريب أن يكيّفها مع شبكة من مستويين. أما التنشيطات فهي بيانات جديدة مع كل مدخل. إجبار كل واحدة منها على ±1 يُهدر معظم ما حسبته الطبقة السابقة، ولا يستطيع أي قدر من التدريب أن يستعيد معلومات لم تصل أصلًا إلى الطبقة التالية.

The reward for paying the activation cost is speed. With both operands in ±1, a dot product becomes XNOR and popcount, which is why XNOR-Net reports 58× faster convolutions and 32× less memory. BWN keeps real-valued activations, so it saves memory but still needs additions for every weight. That is the trade the table prices: accuracy against arithmetic.

المكافأة على دفع كلفة التنشيطات هي السرعة. عندما يكون المعاملان كلاهما في ±1، يتحول الضرب النقطي إلى XNOR وpopcount، ولهذا يذكر XNOR-Net التفافات أسرع بـ 58× وذاكرة أقل بـ 32×. أما BWN فيُبقي التنشيطات بقيم حقيقية، فيوفر الذاكرة لكنه يظل يحتاج عمليات جمع لكل وزن. هذه هي المقايضة التي يسعّرها الجدول: الدقة مقابل كلفة العمليات الحسابية.

Look at the running matrix again. Most weights sit near ±1 to ±2, but 0.09, 0.05, -0.14 and the two zeros are tiny. Binarization has no choice but to push them all the way to ±α, about ±1.05. A weight of 0.05 becomes 1.05, an error twenty times its own size. What these weights need is a third option: zero.

انظر مجددًا إلى المصفوفة المرجعية. معظم الأوزان تقع قرب ±1 إلى ±2، لكن 0.09 و0.05 و-0.14 والصفرين صغيرة جدًا. التحويل الثنائي لا يملك خيارًا سوى دفعها كلها إلى ±α، أي نحو ±1.05. فالوزن 0.05 يصبح 1.05، بخطأ يساوي عشرين ضعف حجمه. ما تحتاجه هذه الأوزان هو خيار ثالث: الصفر.

The ternary ruleالقاعدة الثلاثية

Ternary Weight Networks (TWN) (Li, Zhang and Liu, 2016) give every weight three choices. A dead zone of half-width $\Delta$ around zero maps small weights to 0. Everything outside it keeps its sign and takes one shared magnitude $r_t$.

تعطي Ternary Weight Networks (TWN) (Li, Zhang and Liu, 2016) كل وزن ثلاثة خيارات. منطقة ميتة (dead zone) نصف عرضها $\Delta$ حول الصفر تحوّل الأوزان الصغيرة إلى 0. وكل ما يقع خارجها يحتفظ بإشارته ويأخذ مقدارًا واحدًا مشتركًا $r_t$.

Both quantities come from minimizing the squared distance between the real and the ternary weights. For a fixed $\Delta$, the best scale is simply the mean magnitude of the weights that survive, the same logic as the binary $\alpha$ but averaged only over the nonzero positions. The best $\Delta$ has no closed form, so the paper assumes a weight distribution. Uniform weights give $\Delta^\ast \approx \tfrac{2}{3}\,\mathbb{E}(|W|)$; Gaussian weights give $0.6\sigma \approx 0.75\,\mathbb{E}(|W|)$. The rule of thumb 0.7 sits between the two.

الكميتان كلتاهما تأتيان من تقليل المسافة التربيعية بين الأوزان الحقيقية والأوزان الثلاثية. عند تثبيت $\Delta$، يكون أفضل مقياس ببساطة هو متوسط مقدار الأوزان الناجية، وهو المنطق نفسه لـ $\alpha$ في الحالة الثنائية لكن المتوسط يؤخذ فقط على المواقع غير الصفرية. أما أفضل $\Delta$ فليس له صيغة مغلقة، لذا تفترض الورقة توزيعًا للأوزان. الأوزان المنتظمة (uniform) تعطي $\Delta^\ast \approx \tfrac{2}{3}\,\mathbb{E}(|W|)$، والأوزان الغاوسية تعطي $0.6\sigma \approx 0.75\,\mathbb{E}(|W|)$. والقاعدة التقريبية 0.7 تقع بين الحالتين.

What the zero buysماذا يشتري الصفر

Measure squared error on the same matrix. Binary with α = 1.049 gives Σ(r - q)² ≈ 9.25. Ternary with Δ = 0.73 and r_t = 1.5 gives about 2.09, more than four times smaller. Two things happen at once. The tiny weights stop paying a 1.05 penalty, and because they no longer drag the average down, the scale moves up to 1.5, much closer to the large weights that actually carry the signal.

قِس الخطأ التربيعي على المصفوفة نفسها. التحويل الثنائي مع α = 1.049 يعطي Σ(r - q)² ≈ 9.25. والتحويل الثلاثي مع Δ = 0.73 وr_t = 1.5 يعطي نحو 2.09، أي أصغر بأكثر من أربع مرات. يحدث أمران في الوقت نفسه. الأوزان الصغيرة جدًا تتوقف عن دفع عقوبة 1.05، ولأنها لم تعد تسحب المتوسط إلى الأسفل، يرتفع المقياس إلى 1.5، وهو أقرب بكثير إلى الأوزان الكبيرة التي تحمل الإشارة فعلًا.

The price is one extra bit: three states need 2 bits, so the model is 16× smaller than FP32 instead of 32×. The arithmetic stays cheap. A zero weight is skipped, and the others are adds or subtracts followed by one multiply by $r_t$ per output. On the slide’s ResNet-18 numbers the trade is clearly worth it: 65.3 top-1 for TWN against 60.8 for BWN, with full precision at 69.6 (see the erratum below for which backbone the 65.3 really comes from).

الثمن بت إضافي واحد: ثلاث حالات تحتاج 2 بت، فيكون النموذج أصغر بـ 16× من FP32 بدلًا من 32×. وتبقى العمليات الحسابية رخيصة. الوزن الصفري يُتخطّى، والبقية عمليات جمع أو طرح يليها ضرب واحد في $r_t$ لكل مخرج. وبحسب أرقام ResNet-18 في الشريحة، فالمقايضة تستحق بوضوح: 65.3 في top-1 لـ TWN مقابل 60.8 لـ BWN، والدقة الكاملة عند 69.6 (انظر التصحيح أدناه لمعرفة الشبكة الأساسية التي يأتي منها الرقم 65.3 فعلًا).

Split the eleven TWN survivors by sign. The seven positives have mean magnitude 12.50 / 7 ≈ 1.79. The four negatives have mean magnitude 4.00 / 4 = 1.00. TWN forces both sides to share r_t = 1.5, which is too small for the positives and too large for the negatives. If each side had its own scale, the squared error on this matrix would fall from about 2.09 to about 0.52.

قسّم الأوزان الأحد عشر الناجية في TWN حسب الإشارة. الأوزان الموجبة السبعة متوسط مقدارها 12.50 / 7 ≈ 1.79. والسالبة الأربعة متوسط مقدارها 4.00 / 4 = 1.00. يجبر TWN الجانبين على مشاركة r_t = 1.5، وهو صغير جدًا على الموجبة وكبير جدًا على السالبة. لو كان لكل جانب مقياسه الخاص، لانخفض الخطأ التربيعي على هذه المصفوفة من نحو 2.09 إلى نحو 0.52.

Trained Ternary Quantization (TTQ) (Zhu, Han, Mao and Dally, ICLR 2017) takes that idea further: it gives each layer two scales, $w_p$ for positive weights and $w_n$ for negative ones, and it does not compute them from the weights at all. They are parameters, trained by gradient descent along with everything else.

يأخذ Trained Ternary Quantization (TTQ) (Zhu, Han, Mao and Dally, ICLR 2017) هذه الفكرة أبعد: يعطي كل طبقة مقياسين، $w_p$ للأوزان الموجبة و$w_n$ للسالبة، ولا يحسبهما من الأوزان إطلاقًا. إنهما معاملات تُدرَّب بالانحدار التدريجي (gradient descent) مع كل شيء آخر.

The pipelineخط المعالجة

1. Normalize. Divide each layer’s full-precision weights by their largest magnitude so they lie in [-1, 1].التطبيع. اقسم الأوزان كاملة الدقة في كل طبقة على أكبر مقدار فيها حتى تقع في المجال [-1, 1].
2. Quantize. Threshold at ±t to get intermediate weights in {-1, 0, +1}. The paper uses Δ = t × max(|w|) with t = 0.05 for every layer.التكميم. طبّق العتبة عند ±t للحصول على أوزان وسيطة في {-1, 0, +1}. تستخدم الورقة Δ = t × max(|w|) مع t = 0.05 لكل الطبقات.
3. Scale. Multiply the +1 entries by $w_p$ and the -1 entries by $w_n$.التدريج بالمقياس. اضرب العناصر +1 في $w_p$ والعناصر -1 في $w_n$.
4. Train. Backpropagate two gradients: one into $w_p$ and $w_n$ (which learns the ternary values), and one into the Full-precision weight copy of the weights (which learns which weights land in which state).التدريب. مرّر تدرّجين عكسيًا: أحدهما إلى $w_p$ و$w_n$ (وهو الذي يتعلّم القيم الثلاثية)، والآخر إلى النسخة كاملة الدقة full-precision copy من الأوزان (وهو الذي يتعلّم أي وزن يقع في أي حالة).

The latent weights get a Straight-through estimator (STE) style gradient, scaled by $w_p$ or $w_n$ outside the dead zone and passed through unchanged inside it. At inference the full-precision copy is thrown away. Only the 2-bit codes and two FP numbers per layer remain, so storage is still about 16× below FP32.

تحصل الأوزان الكامنة (latent) على تدرّج من نمط straight-through estimator (STE)، مضروب في $w_p$ أو $w_n$ خارج المنطقة الميتة، ويمر كما هو دون تغيير داخلها. عند الاستدلال (inference) تُرمى النسخة كاملة الدقة. ولا يبقى إلا رموز 2 بت ورقمان بالفاصلة العائمة لكل طبقة، فيظل التخزين أقل بنحو 16× من FP32.

Learning the scales from the loss, rather than fitting them to the weights, is the important part. Minimizing weight error is only a proxy; what matters is the network’s output. On ResNet-18 ImageNet, TTQ reaches 66.6 top-1 against 65.3 for TWN, closing the gap to full precision to three points with the same 2 bits per weight. On AlexNet the paper reports TTQ slightly above full precision.

تعلّم المقاييس من دالة الخسارة، بدلًا من ملاءمتها للأوزان، هو الجزء المهم. تقليل خطأ الأوزان ليس إلا بديلًا تقريبيًا؛ ما يهم فعلًا هو مخرج الشبكة. على ResNet-18 مع ImageNet يصل TTQ إلى 66.6 في top-1 مقابل 65.3 لـ TWN، فيقلّص الفجوة مع الدقة الكاملة إلى ثلاث نقاط بالعدد نفسه من البتات، 2 بت لكل وزن. وعلى AlexNet تذكر الورقة أن TTQ أعلى قليلًا من الدقة الكاملة.

The same 4×4 matrix has now been quantized three ways in this course. K-means turned it into 2-bit indices into a codebook of four FP centroids (2.00, 1.50, 0.00, -1.00). Linear quantization turned it into 2-bit signed integers with zero point -1 and scale 1.07, so $r = (q - (-1)) \times 1.07$. Binary or ternary quantization turned it into signs, optionally with zeros. What differs is not only the bit width but what the hardware has to do with the result.

المصفوفة 4×4 نفسها كُمّمت الآن بثلاث طرق في هذا المقرر. حوّلها K-means إلى فهارس من 2 بت تشير إلى دفتر رموز (codebook) من أربعة مراكز بالفاصلة العائمة (2.00، 1.50، 0.00، -1.00). وحوّلها التكميم الخطي إلى أعداد صحيحة بإشارة من 2 بت مع نقطة صفر -1 ومقياس 1.07، أي $r = (q - (-1)) \times 1.07$. وحوّلها التكميم الثنائي أو الثلاثي إلى إشارات، مع أصفار اختياريًا. والاختلاف ليس في عرض البت فقط، بل في ما يجب على العتاد أن يفعله بالنتيجة.

K-means saves memory only. Before every multiply the index is looked up in the codebook and the arithmetic runs in floating point, so it helps a memory-bound model but not a compute-bound one. Linear quantization saves memory and also lets the multiply-accumulate run in integers, which is why it dominates deployed edge inference. Binary and ternary quantization go furthest: multiplications collapse into sign flips, additions, skips for zeros, or Popcount when activations are binary too. The accuracy table from the first concept is the price of that last step.

K-means يوفر الذاكرة فقط. قبل كل عملية ضرب يُبحث عن الفهرس في دفتر الرموز وتُنفَّذ العمليات بالفاصلة العائمة، لذا يفيد النموذج المقيَّد بالذاكرة (memory-bound) لا المقيَّد بالحساب (compute-bound). والتكميم الخطي يوفر الذاكرة ويسمح أيضًا بتنفيذ الضرب والتجميع (multiply-accumulate) بالأعداد الصحيحة، ولهذا يهيمن على الاستدلال المنشور على أجهزة الحافة (edge). أما التكميم الثنائي والثلاثي فيذهبان أبعد: تنهار عمليات الضرب إلى قلب إشارات، وعمليات جمع، وتخطٍّ للأصفار، أو popcount عندما تكون التنشيطات ثنائية أيضًا. وجدول الدقة في المفهوم الأول هو ثمن هذه الخطوة الأخيرة.