Dynamic range clipping for activations: EMA, calibration, MSE and KLقص المدى الديناميكي للتنشيطات: EMA والمعايرة وMSE وKL

Take a trained image classifier and look at the output of its third convolution layer. Feed it a dark night photo and the largest activation might be 3.1. Feed it a bright beach photo and the largest might be 11.4. The weights of that layer were identical both times. Only the input changed.

خذ مصنّف صور مدرَّبًا وانظر إلى مخرج طبقة الالتفاف الثالثة فيه. أدخل صورة ليلية مظلمة فقد يكون أكبر تنشيط 3.1. أدخل صورة شاطئ مشرقة فقد يكون الأكبر 11.4. أوزان تلك الطبقة كانت متطابقة في المرتين، والذي تغيّر هو المدخل فقط.

The range is the scaleالمدى هو المقياس

This matters because the range is not a side detail of linear quantization. It is the scale itself. With $r = S(q - Z)$, the scale is fixed by the range you choose to cover:

هذا مهم لأن المدى ليس تفصيلًا جانبيًا في التكميم الخطي، بل هو المقياس نفسه. مع $r = S(q - Z)$، يتحدد المقياس بالمدى الذي تختار أن تغطيه:

So the question on slide 22, how to get the optimal (S, Z) in Post-training quantization (PTQ), is the same question as how to pick the range. The lecture splits it into three topics: granularity (how many scales, the previous two parts), Dynamic range clipping (this part), and rounding (the next part).

إذن سؤال الشريحة 22، أي كيف نحصل على (S, Z) الأمثل في post-training quantization، هو نفسه سؤال كيف نختار المدى. تقسّمه المحاضرة إلى ثلاثة موضوعات: الدقة الحُبيبية (granularity)، أي عدد المقاييس، وهو موضوع الجزأين السابقين، وdynamic range clipping (هذا الجزء)، والتقريب (rounding) في الجزء التالي.

Jacob et al. state the rule plainly: for weights, set the range to the tensor's own min and max. For activations, the range depends on the inputs, so it has to be estimated. Why not just measure each activation's range live, on the device, for every input? You can, and some runtimes do, but it costs an extra pass over every tensor at inference time, and it stops the integer pipeline from folding the scales into fixed constants ahead of time. Edge deployment usually wants fixed scales, so the statistics are gathered before deployment, which is exactly what slide 23 stresses.

يذكر Jacob et al. القاعدة بوضوح: في الأوزان، اجعل المدى هو الحد الأدنى والأعلى للموتر نفسه. أما في التنشيطات فالمدى يعتمد على المدخلات، لذلك يجب تقديره. لماذا لا نقيس مدى كل تنشيط مباشرة على الجهاز لكل مدخل؟ يمكنك ذلك، وبعض بيئات التشغيل تفعله، لكنه يكلّف مرورًا إضافيًا على كل موتر وقت الاستدلال، ويمنع خط المعالجة بالأعداد الصحيحة من دمج المقاييس في ثوابت محددة مسبقًا. النشر على الأجهزة الطرفية يريد عادة مقاييس ثابتة، لذلك تُجمع الإحصاءات قبل النشر، وهذا بالضبط ما تؤكده الشريحة 23.

Suppose you are already training with quantization in the loop. Every training step already computes the activations, so you see their min and max for free. One batch says the max is 6.0, the next says 8.0, the next 5.0. Which one do you believe?

افترض أنك تدرّب النموذج والتكميم داخل الحلقة أصلًا. كل خطوة تدريب تحسب التنشيطات بالفعل، فترى حدها الأدنى والأعلى مجانًا. دفعة تقول إن الحد الأعلى 6.0، والتالية تقول 8.0، والتي بعدها 5.0. أيها تصدّق؟

Smooth the range instead of trusting one batchنعّم المدى بدل أن تثق بدفعة واحدة

None of them alone. Type 1 on slide 24, from Jacob et al., keeps an Exponential moving average (EMA) of the observed extremes. Each step blends the newest observation with the running estimate:

لا واحدة منها وحدها. النوع الأول في الشريحة 24، من Jacob et al.، يحتفظ بـ exponential moving average للقيم القصوى المرصودة. كل خطوة تمزج أحدث رصد مع التقدير الجاري:

Unroll it and the weight on an observation from k steps ago is $\alpha(1-\alpha)^k$. Old batches never vanish, they fade geometrically. That is why the paper says the ranges are smoothed across thousands of training steps: one freak batch moves the estimate by only a fraction α of its surprise.

افرد الصيغة فيصبح وزن رصدٍ جاء قبل k خطوة هو $\alpha(1-\alpha)^k$. الدفعات القديمة لا تختفي أبدًا، بل يتلاشى أثرها هندسيًا. لهذا تقول الورقة إن المديات تُنعَّم عبر آلاف خطوات التدريب: دفعة شاذة واحدة تحرّك التقدير بجزء α فقط من مقدار مفاجأتها.

Now suppose the model is already trained in FP32 and you will not train again. You still need ranges. Type 2 on slide 25 runs a few Calibration batches of ordinary samples through the trained model and records the activations. No labels, no gradients, just forward passes.

افترض الآن أن النموذج مدرَّب مسبقًا بدقة FP32 ولن تدرّبه من جديد. ما زلت تحتاج إلى المديات. النوع الثاني في الشريحة 25 يمرّر بضع calibration batches من العينات العادية عبر النموذج المدرَّب ويسجّل التنشيطات. لا تسميات، ولا تدرجات، مجرد تمريرات أمامية.

One outlier can waste most of the gridقيمة شاذة واحدة قد تهدر معظم الشبكة

The naive choice is the global min and max seen during calibration. Picture four calibration images whose maximum activations in one layer are 5.8, 6.1, 6.0 and 25.0. The last one is a glare spot. With unsigned 8-bit codes and the global max, the step is 25.0 / 255 ≈ 0.098. Nearly all real values live below 6.1, so they get only about 62 of the 255 steps. Three quarters of the codes are reserved for values that almost never occur.

الخيار الساذج هو الحد الأدنى والأعلى الكليّان المرصودان أثناء المعايرة. تخيّل أربع صور معايرة أكبر تنشيطاتها في طبقة ما هي 5.8 و6.1 و6.0 و25.0. الأخيرة بقعة وهج. مع رموز 8 بت بلا إشارة والحد الأعلى الكلي، تكون الخطوة 25.0 / 255 ≈ 0.098. تقريبًا كل القيم الحقيقية تقع تحت 6.1، فلا تحصل إلا على نحو 62 من الخطوات الـ255. ثلاثة أرباع الرموز محجوزة لقيم لا تكاد تظهر أبدًا.

The slide's first fix is to average the per-sample extremes instead of taking the global one: (5.8 + 6.1 + 6.0 + 25.0) / 4 = 10.725. The step becomes 10.725 / 255 ≈ 0.042, more than twice as fine. The glare value now lands beyond the range and is clipped to 10.725. The mean softens the outlier, though it does not remove its pull, which is why the slide also points to analytical methods.

الحل الأول في الشريحة هو أخذ متوسط القيم القصوى لكل عينة بدل القيمة القصوى الكلية: (5.8 + 6.1 + 6.0 + 25.0) / 4 = 10.725. تصبح الخطوة 10.725 / 255 ≈ 0.042، أي أدق بأكثر من الضعف. قيمة الوهج تقع الآن خارج المدى وتُقص إلى 10.725. المتوسط يخفف أثر القيمة الشاذة لكنه لا يزيل جذبها، ولهذا تشير الشريحة أيضًا إلى الطرق التحليلية.

Two errors, one dialخطآن ومقبض واحد

Every clipping decision trades two kinds of error. Values inside the range suffer rounding error, at most half a step and on average $\Delta^2/12$ in squared terms. Values outside suffer clipping error: they are forced to the edge, and the error grows with how far out they were. Widen the range and the clipping error falls but every step grows. Narrow it and the steps shrink but more values are cut. The total has a minimum somewhere in between, and that is what the next three concepts hunt for.

كل قرار قص يقايض بين نوعين من الخطأ. القيم داخل المدى تعاني خطأ التقريب (rounding error)، وهو نصف خطوة على الأكثر، ومتوسطه $\Delta^2/12$ بالقيم المربعة. أما القيم خارج المدى فتعاني خطأ القص (clipping error): تُجبر على الحافة، ويكبر الخطأ كلما كانت أبعد. وسّع المدى فينخفض خطأ القص لكن كل خطوة تكبر. ضيّقه فتصغر الخطوات لكن تُقص قيم أكثر. للمجموع قيمة دنيا في مكان ما بينهما، وهذا ما تبحث عنه المفاهيم الثلاثة التالية.

A calibration run tells you that one layer's activations look like a sharp peak at zero with long, thin tails, and that the mean absolute value is 0.2. You will quantize to 4 bits. Where do you clip?

تخبرك جولة معايرة أن تنشيطات إحدى الطبقات تبدو كقمة حادة عند الصفر مع ذيول طويلة رفيعة، وأن متوسط القيمة المطلقة 0.2. ستكمّم إلى 4 بت. أين تقص؟

Write the error down and minimize itاكتب الخطأ صراحة ثم قلّله

Slide 26 answers with the most direct objective: pick the clip that minimizes the mean squared error between the input X and its reconstruction Q(X).

تجيب الشريحة 26 بالهدف الأكثر مباشرة: اختر حد القص الذي يقلل متوسط مربع الخطأ (MSE) بين المدخل X وإعادة بنائه Q(X).

To solve it you need the distribution of X. Banner et al. observe that activations are often close to Gaussian or Laplace. For a Laplace(0, b) input quantized with M bits over [-α, α] (their notation, α is the clip), the two error terms have a closed form:

لحلها تحتاج إلى توزيع X. يلاحظ Banner et al. أن التنشيطات كثيرًا ما تكون قريبة من التوزيع الغاوسي أو توزيع لابلاس. لمدخل Laplace(0, b) مكمَّم بـM بت على [-α, α] (برموزهم، α هي حد القص)، يكون لحدّي الخطأ صيغة مغلقة:

Set the derivative to zero, $\tfrac{2\alpha}{3\cdot 4^M} - 2b\,e^{-\alpha/b} = 0$, and solve numerically. Because α only ever appears as α/b, the answer is a pure multiple of b. That multiple is the Laplace optimal clipping table:

اجعل المشتقة صفرًا، $\tfrac{2\alpha}{3\cdot 4^M} - 2b\,e^{-\alpha/b} = 0$، وحلّ عدديًا. وبما أن α لا تظهر إلا في الصورة α/b، فالجواب مضاعف خالص لـb. هذا المضاعف هو جدول Laplace clipping:

The scale parameter is estimated from the calibration data as the mean absolute deviation, $b = \mathbb{E}\big[|X - \mathbb{E}[X]|\big]$. For our layer that is the 0.2 we measured.

يُقدَّر معامل المقياس من بيانات المعايرة بوصفه متوسط الانحراف المطلق، $b = \mathbb{E}\big[|X - \mathbb{E}[X]|\big]$. في طبقتنا هذا هو الـ0.2 الذي قسناه.

Look at slide 27's histogram for VGG-19 conv3_4. The counts fall over seven orders of magnitude between 0 and about 25,000. No neat Laplace formula is going to describe that tail, so a clip read from an assumed shape is on shaky ground. NVIDIA's TensorRT took a different route in 2017: compare distributions instead of values.

انظر إلى المدرّج التكراري في الشريحة 27 لطبقة VGG-19 conv3_4. تنخفض الأعداد عبر سبع مراتب عشرية بين 0 ونحو 25,000. لن تصف أي صيغة لابلاس أنيقة ذلك الذيل، لذلك فحد القص المقروء من شكل مفترض يقف على أرض هشة. سلكت TensorRT من NVIDIA طريقًا مختلفًا في 2017: قارن بين التوزيعات بدل القيم.

KL divergence: how much information the quantized histogram losesتباعد KL: كم من المعلومات يفقد المدرّج التكراري المكمَّم

The idea on slide 27 is that the INT8 model should encode the same information as the FP32 model. Information loss between two distributions is measured by KL divergence:

الفكرة في الشريحة 27 أن نموذج INT8 يجب أن يرمّز المعلومات نفسها التي يرمّزها نموذج FP32. فقدان المعلومات بين توزيعين يُقاس بـKL divergence:

How the threshold is chosenكيف تُختار العتبة

1. Run the calibration batches and build a fine histogram of each layer's activation values.شغّل دفعات المعايرة وابنِ مدرّجًا تكراريًا دقيقًا لقيم التنشيط في كل طبقة.
2. Try many candidate thresholds. For each, form the reference P: the histogram up to the threshold, with every value beyond it counted at the threshold, because that is where clipping will put it. This is the single detached point in the right panel of slide 28.جرّب عتبات مرشحة كثيرة. لكل واحدة كوّن المرجع P: المدرّج التكراري حتى العتبة، مع احتساب كل قيمة تتجاوزها عند العتبة نفسها، لأن القص سيضعها هناك. هذه هي النقطة المنفصلة الوحيدة في اللوحة اليمنى من الشريحة 28.
3. Quantize that histogram into the 8-bit levels to get Q, and compute D_KL(P || Q).كمّم ذلك المدرّج التكراري إلى مستويات 8 بت لتحصل على Q، واحسب D_KL(P || Q).
4. Keep the threshold with the smallest divergence. Repeat for every layer.احتفظ بالعتبة ذات أصغر تباعد. كرّر ذلك لكل طبقة.

Slide 28 shows the trade on ResNet-152 res4b30. The entropy method sets the threshold near 45 although values reach about 470. The slide's question, what happens with a higher r_max, has the answer it gives: a larger dynamic range means larger steps, so a larger quantization (rounding) loss on the dense part of the histogram, where almost all values live.

تُظهر الشريحة 28 المقايضة على طبقة ResNet-152 res4b30. تضع طريقة الإنتروبيا العتبة قرب 45 مع أن القيم تصل إلى نحو 470. وسؤال الشريحة، ماذا يحدث مع r_max أعلى، جوابه كما تعطيه: مدى ديناميكي أكبر يعني خطوات أكبر، أي خسارة تكميم (تقريب) أكبر في الجزء الكثيف من المدرّج التكراري، حيث تعيش تقريبًا كل القيم.

Every layer gets its own answerلكل طبقة جوابها الخاص

Slide 29 is the best evidence that no fixed rule (say, clip at the 99th percentile) would work. The thresholds read from its four panels:

الشريحة 29 هي أفضل دليل على أنه لا توجد قاعدة ثابتة (مثل القص عند المئين 99) تنجح. العتبات المقروءة من لوحاتها الأربع:

The two pooling layers keep their full range because their histograms rise into a spike at the top: many real values sit there, so cutting them would distort the distribution badly. ResNet's branch layer is the opposite: a tall peak near zero and a tail of rare values, so the method clips about 93% of the range away and loses almost no probability mass.

طبقتا التجميع (pooling) تحتفظان بمداهما الكامل لأن مدرّجهما التكراري يرتفع إلى قمة عند الطرف الأعلى: قيم حقيقية كثيرة تقع هناك، فقصها سيشوّه التوزيع بشدة. طبقة الفرع في ResNet هي العكس: قمة عالية قرب الصفر وذيل من القيم النادرة، لذلك تقص الطريقة نحو 93% من المدى ولا تكاد تفقد شيئًا من الكتلة الاحتمالية.

Slide 30 puts two int4 grids over the same tensor. On the left, 16 levels are spread from -0.8 to 0.8, about 0.1 apart. The tensor's density is a narrow peak within roughly ±0.15, so only about three levels touch it: large quantization noise exactly where the data is, and most levels spent on low-density regions. On the right, the grid is clipped to about ±0.2. The same 16 levels are now about 0.025 apart and almost all of them cover the peak.

تضع الشريحة 30 شبكتي int4 فوق الموتر نفسه. على اليسار، 16 مستوى موزعة من -0.8 إلى 0.8، المسافة بينها نحو 0.1. كثافة الموتر قمة ضيقة ضمن نحو ±0.15، فلا يلامسها إلا نحو ثلاثة مستويات: ضجيج تكميم كبير تمامًا حيث توجد البيانات، ومعظم المستويات مهدورة على مناطق منخفضة الكثافة. على اليمين، الشبكة مقصوصة إلى نحو ±0.2. المستويات الـ16 نفسها صارت المسافة بينها نحو 0.025، وتقريبًا كلها تغطي القمة.

Find the MSE minimum without assuming a shapeأوجد أصغر MSE دون افتراض شكل للتوزيع

The Laplace table needs the data to be Laplace. OCTAV (Sakr et al., NVIDIA, ICML 2022) drops that assumption. It writes the clipped quantization MSE as a function of the clip scalar s, using the data itself:

يحتاج جدول لابلاس إلى أن تكون البيانات لابلاسية. أما OCTAV (Sakr et al.، NVIDIA، ICML 2022) فيتخلى عن هذا الافتراض. يكتب MSE التكميم المقصوص دالةً في قيمة القص s، مستخدمًا البيانات نفسها:

Newton-Raphson finds a minimum by repeating $s_{n+1} = s_n - J'(s_n)/J''(s_n)$. Working out the derivatives turns that into one compact update that needs only a few sums over the tensor:

تجد طريقة نيوتن-رافسون القيمة الدنيا بتكرار $s_{n+1} = s_n - J'(s_n)/J''(s_n)$. وبحساب المشتقات يتحول ذلك إلى تحديث واحد مختصر لا يحتاج إلا إلى بضعة مجاميع على الموتر:

Because each step is a handful of reductions over the tensor, OCTAV is cheap enough to rerun every training iteration: it "finds optimal scalars on the fly", as slide 31 puts it. The paper uses only 10 iterations everywhere and reports that the starting guess does not matter.

لأن كل خطوة ليست سوى بضع عمليات اختزال على الموتر، فإن OCTAV رخيص بما يكفي لإعادة تشغيله في كل تكرار تدريب: إنه «يجد القيم المثلى أثناء التشغيل»، كما تقول الشريحة 31. تستخدم الورقة 10 تكرارات فقط في كل مكان، وتذكر أن التخمين الابتدائي لا يهم.

The CNNs lose under one point at 4 bits. BERT-Large loses almost four, a reminder that transformers have harder activation outliers, the same networks Wu et al. found hardest for max calibration.

تخسر شبكات CNN أقل من نقطة واحدة عند 4 بت. أما BERT-Large فيخسر نحو أربع نقاط، وهذا تذكير بأن المحوّلات (transformers) فيها قيم شاذة أصعب في التنشيطات، وهي الشبكات نفسها التي وجدها Wu et al. الأصعب مع معايرة max.