Minimize loss of information

تقليل فقدان المعلومات

Slide 27 (Migacz, 8-bit Inference with TensorRT, 2017). The idea: the integer model should encode the same information as the original floating-point model. Information loss is measured by the Kullback-Leibler divergence (relative entropy, information divergence). For two discrete distributions P and Q:

الشريحة 27 (Migacz, 8-bit Inference with TensorRT, 2017). الفكرة: النموذج الصحيح يجب أن يحمل نفس المعلومات التي يحملها النموذج العشري الأصلي. ويُقاس فقدان المعلومات بـ Kullback-Leibler divergence (ويسمى أيضاً relative entropy أو information divergence). ولتوزيعين منفصلين P وQ:

تقول المعادلة: نجمع على كل الخانات i حاصل ضرب P(x_i) في لوغاريتم النسبة P(x_i) / Q(x_i).

Intuition from the slide: KL divergence measures the amount of information lost when approximating a given encoding. Here P is the reference: the FP32 activation histogram. Q is its approximation: the histogram after clipping and quantizing to 8 bits. D_KL is 0 only when Q = P, and it is not symmetric: D_KL(P ‖ Q) ≠ D_KL(Q ‖ P) in general.

الحدس من الشريحة: KL divergence يقيس كمية المعلومات المفقودة عند تقريب ترميز معين. وهنا P هو المرجع: histogram الخاص بـ activations بدقة FP32. وQ هو التقريب: الـ histogram بعد القص وquantization إلى 8 بتات. وقيمة D_KL تساوي 0 فقط عندما Q = P، وهي غير متماثلة: عموماً D_KL(P ‖ Q) ≠ D_KL(Q ‖ P).

How TensorRT entropy calibration uses it

كيف تستخدمه معايرة الإنتروبيا في TensorRT

For each layer, the calibration activations are collected into a fine histogram. Then for each candidate threshold T: values above T are folded into the last bin to form P, the range [0, T] is squeezed into the 8-bit levels to form Q, and D_KL(P ‖ Q) is computed. The threshold with the smallest KL wins and becomes r_max. In slide 28 (ResNet-152 res4b30) the "entropy method" line sits near 40 even though activations reach about 500.

لكل طبقة تُجمع activations من بيانات calibration في histogram دقيق. ثم لكل حد مرشح T: القيم الأكبر من T تُضم إلى الخانة الأخيرة لتكوين P، ويُضغط المدى [0, T] إلى مستويات 8 بتات لتكوين Q، ثم يُحسب D_KL(P ‖ Q). والحد ذو أصغر KL يفوز ويصبح r_max. وفي الشريحة 28 (ResNet-152 res4b30) يقع خط entropy method قرب 40 رغم أن القيم تصل إلى حوالي 500.

الرسم histogram بمقياس لوغاريتمي ينخفض بحدة ثم له ذيل طويل متناثر يصل إلى 500. وحد KL يقع قرب 40، وكل ما على يمينه يُقص. معظم الكتلة الاحتمالية تحت 40 تقريباً، وتغطية المدى كله حتى 500 تجعل كل خطوة 8-bit أعرض بحوالي 12 مرة من أجل ذيل لا يحمل تقريباً أي كتلة.

Slide 28's question: what happens if we choose a higher r_max? Answer: larger dynamic range → larger quantization loss. The step size S grows, and the dense region near zero, where almost all values live, gets fewer distinct levels.

سؤال الشريحة 28: ماذا يحدث لو اخترنا r_max أكبر؟ الجواب: مدى أكبر يعني خسارة quantization أكبر. فحجم الخطوة S يكبر، والمنطقة الكثيفة قرب الصفر، حيث تعيش معظم القيم، تحصل على مستويات أقل.

The four histograms on slide 29

المدرّجات التكرارية الأربعة في الشريحة 29

الجدول: في AlexNet pool2 تناقص ناعم ثم قمة في النهاية (حوالي 140)، فيضع KL الحد في النهاية لأن القص سيحذف القمة. وفي GoogLeNet inception_3a/pool سنام ثم قمة عند الحد الأقصى، والحد أيضاً في النهاية. وفي GoogLeNet inception_5a/5x5 تناقص ثابت مع ذيل متناثر حتى 175 تقريباً، والحد حوالي 137. وفي ResNet-152 res4b8_branch2a كل الكتلة تقريباً قرب الصفر مع ذيل طويل حتى 250، والحد منخفض جداً حوالي 15.

The lesson: KL calibration is adaptive. It does not always clip hard. When real mass sits at the top of the range, the KL cost of clipping it is high, so the threshold stays at the max.

الدرس: KL calibration تكيّفية، ولا تقص بقوة دائماً. فعندما توجد كتلة حقيقية في أعلى المدى تكون كلفة قصها في KL عالية، فيبقى الحد عند القيمة القصوى.

reference FP32 histogram, 3 bins:  P  = [0.5, 0.3, 0.2]
candidate A after quantization:    Q1 = [0.4, 0.4, 0.2]
candidate B after quantization:    Q2 = [0.6, 0.3, 0.1]
(natural log, result in nats)

D(P||Q1) = 0.5 ln(0.5/0.4) + 0.3 ln(0.3/0.4) + 0.2 ln(1)
         = 0.5(0.2231) + 0.3(-0.2877) + 0
         = 0.1116 - 0.0863 = 0.0253

D(P||Q2) = 0.5 ln(0.5/0.6) + 0.3 ln(1) + 0.2 ln(0.2/0.1)
         = 0.5(-0.1823) + 0 + 0.2(0.6931)
         = -0.0912 + 0.1386 = 0.0475

pick candidate A (0.0253 < 0.0475)

asymmetry check:
D(Q1||P) = 0.4 ln(0.8) + 0.4 ln(4/3) + 0 = 0.0258  != 0.0253

المثال المحلول: الـ histogram المرجعي P = [0.5, 0.3, 0.2]، ومرشحان بعد quantization: Q1 = [0.4, 0.4, 0.2] وQ2 = [0.6, 0.3, 0.1]. باللوغاريتم الطبيعي: D(P‖Q1) = 0.1116 − 0.0863 = 0.0253، وD(P‖Q2) = −0.0912 + 0.1386 = 0.0475. إذن نختار المرشح A. وللتأكد من عدم التماثل: D(Q1‖P) = 0.0258، وهي لا تساوي 0.0253. لاحظ أن بعض الحدود سالبة، لكن المجموع لا يكون سالباً أبداً.

Minimize MSE with Newton-Raphson: OCTAV

تقليل MSE بطريقة Newton-Raphson: OCTAV

Slides 30 and 31 (Sakr et al., ICML 2022). Compare the two extremes on slide 30, a bell-shaped tensor in [−0.8, 0.8] with almost all mass in [−0.2, 0.2]:

الشريحتان 30 و31 (Sakr et al., ICML 2022). قارن بين الطرفين في الشريحة 30، لـ tensor جرسي الشكل في [−0.8, 0.8] وكل كتلته تقريباً في [−0.2, 0.2]:

الجدول: max-scaled quantization (القص عند ±0.8) ينشر المستويات على منطقة low-density data الفارغة، فيحصل المركز الكثيف على مستويين أو ثلاثة فقط، والنتيجة large quantization noise. أما clipped quantization (القص قرب ±0.2) فيضع كل المستويات حيث توجد البيانات، ويُقص الذيلان الفارغان بكلفة قليلة.

The MSE as a function of the clipping scalar s is convex (slide 31, layer #63 of BERT-Base for 10 different inputs: every curve drops steeply, bottoms out near s ≈ 1, then rises slowly). A convex 1-D function has a single minimum, so Newton-Raphson converges to the global optimum. Because it converges in a few iterations, OCTAV finds the optimal scalars on the fly, recomputing them for each tensor during training instead of in a separate offline search.

قيمة MSE كدالة في clipping scalar s محدّبة convex (الشريحة 31، الطبقة #63 في BERT-Base لـ 10 مدخلات مختلفة: كل منحنى ينخفض بحدة ويصل إلى القاع قرب s ≈ 1 ثم يرتفع ببطء). والدالة المحدبة ذات البعد الواحد لها قاع واحد، لذلك تتقارب Newton-Raphson إلى الحل الأمثل العام. ولأنها تتقارب في خطوات قليلة، فإن OCTAV يجد القيم المثلى أثناء العمل on the fly، ويعيد حسابها لكل tensor أثناء التدريب بدلاً من بحث منفصل.

الرسم منحنى MSE محدب مقابل clipping scalar من 0 إلى 4. على اليسار انخفاض حاد لأن القص كثير، والقاع قرب 1 هو الأمثل الذي يجده OCTAV، وعلى اليمين ارتفاع بطيء لأن الخطوات تصبح خشنة. وعاء واحد وقاع واحد، وNewton-Raphson على مشتقة هذا المنحنى يصل إليه في خطوات قليلة.

For reference (from the paper; the slide only names the method), with B bits the OCTAV update is:

للمرجع (من الورقة البحثية، فالشريحة تذكر اسم الطريقة فقط)، مع B بتات يكون تحديث OCTAV:

تقول المعادلة: القيمة الجديدة لـ s تساوي متوسط |X| للقيم التي تتجاوز s_n، مقسوماً على (4^−B/3) مضروباً في نسبة القيم داخل المدى، زائد نسبة القيم المقصوصة. الحد الأول في المقام يمثل rounding noise والثاني يمثل clipping.

OCTAV results at int4 (slide 31)

نتائج OCTAV بدقة int4 (الشريحة 31)

الجدول: ResNet-50 من 76.07 إلى 75.84 (انخفاض 0.23)، وMobileNet-V2 من 71.71 إلى 70.88 (انخفاض 0.83)، وBERT-Large من 91.00 إلى 87.09 (انخفاض 3.91). الشبكة المدمجة MobileNet-V2 تخسر أكثر من ResNet-50، وBERT-Large هو الأصعب.