The philosophy: weights are correlated

الفلسفة: الأوزان مترابطة

Slide 33 starts from the claim in its title: rounding-to-nearest is not optimal. Rounding each weight on its own minimises each weight's own error, but the layer never uses one weight alone. It uses all of them together in a dot product with the input, so the errors add up. The best rounding for each weight is not the best rounding for the whole tensor.

تبدأ الشريحة 33 من الادعاء الذي في عنوانها: التقريب إلى الأقرب (rounding-to-nearest) ليس الأمثل. تقريب كل وزن وحده يقلّل خطأ ذلك الوزن وحده، لكن الطبقة لا تستخدم وزناً واحداً منفرداً. إنها تستخدمها كلها معاً في حاصل ضرب نقطي (dot product) مع المدخل، فتتجمع الأخطاء. أفضل تقريب لكل وزن ليس أفضل تقريب للـ tensor كله.

So what is optimal? Slide 33 answers: the rounding that reconstructs the original activation the best, which may be very different from nearest rounding. The target is the layer's output Wx, not the weights W. Two scope notes from the slide are exam material: AdaRound is for weight quantization only, and it uses short-term tuning, so it is "(almost) post-training quantization": no labels and no full retraining, only a quick per-layer optimisation on a small batch of calibration inputs.

إذن ما الأمثل؟ تجيب الشريحة 33: التقريب الذي يعيد بناء التفعيل (activation) الأصلي بأفضل شكل، وقد يختلف كثيراً عن التقريب إلى الأقرب. الهدف هو مخرج الطبقة Wx وليس الأوزان W. ملاحظتان من الشريحة مهمتان للامتحان: AdaRound لتكميم الأوزان فقط، ويستخدم ضبطاً قصير المدى (short-term tuning)، لذلك هو "تقريباً post-training quantization": بلا تسميات (labels) وبلا إعادة تدريب كاملة، فقط تحسين سريع لكل طبقة على دفعة صغيرة من مدخلات المعايرة (calibration).

The method: pick floor or ceil, learned

الطريقة: اختيار floor أو ceil بالتعلّم

Slide 34 turns the idea into a search space. Instead of always taking the nearest value ⌊w⌉, choose from the two neighbours {⌊w⌋, ⌈w⌉} to get the best reconstruction. To make the choice learnable, add a continuous offset δ to the floor and then round:

تحوّل الشريحة 34 الفكرة إلى فضاء بحث. بدلاً من أخذ القيمة الأقرب ⌊w⌉ دائماً، نختار من الجارين {⌊w⌋, ⌈w⌉} للحصول على أفضل إعادة بناء. ولجعل الاختيار قابلاً للتعلّم، نضيف إزاحة مستمرة δ إلى الـ floor ثم نقرّب:

w̃ = ⌊ ⌊w⌋ + δ ⌉,    δ ∈ [0, 1]

The inner bracket is floor, the outer one is round-to-nearest. If δ ends near 0 the result is ⌊w⌋ (round down); if δ ends near 1 the result is ⌊w⌋ + 1 = ⌈w⌉ (round up). The weight can never move further than one grid step, so AdaRound only ever decides up or down, which is exactly the title of the paper (Nagel et al., "Up or Down? Adaptive Rounding for Post-Training Quantization", PMLR 2020).

القوس الداخلي هو floor، والخارجي هو التقريب إلى الأقرب. إذا انتهت δ قرب 0 فالنتيجة ⌊w⌋ (تقريب للأسفل)، وإذا انتهت قرب 1 فالنتيجة ⌊w⌋ + 1 = ⌈w⌉ (تقريب للأعلى). لا يمكن للوزن أن يتحرك أكثر من خطوة شبكة واحدة، فـ AdaRound يقرّر دائماً للأعلى أم للأسفل فقط، وهذا بالضبط عنوان الورقة (Nagel et al., "Up or Down? Adaptive Rounding for Post-Training Quantization", PMLR 2020).

The objective on slide 35

الهدف في الشريحة 35

The slide writes the optimisation in two steps (it omits the derivation). First, the quantized weights W̃ should make the layer output match the full-precision output; then W̃ is replaced by the learnable rounding:

تكتب الشريحة التحسين على خطوتين (وتحذف الاشتقاق). أولاً، يجب أن تجعل الأوزان المكمّاة W̃ مخرج الطبقة مطابقاً للمخرج عالي الدقة، ثم تُستبدل W̃ بالتقريب القابل للتعلّم:

W  = [0.3, 0.5, 0.7, 0.2]        x = [1, 1, 2, 1]
Wx = 0.3 + 0.5 + 1.4 + 0.2 = 2.4

nearest   W~ = [0, 1, 1, 0]
  weight error  (0.3, −0.5, −0.3, 0.2)  sum of squares = 0.09+0.25+0.09+0.04 = 0.47
  W~x = 0 + 1 + 2 + 0 = 3      output error = 3 − 2.4 = 0.6   squared 0.36

AdaRound  W~ = [0, 0, 1, 0]
  weight error  (0.3,  0.5, −0.3, 0.2)  sum of squares = 0.47   (same!)
  W~x = 0 + 0 + 2 + 0 = 2      output error = 2 − 2.4 = −0.4  squared 0.16