Group quantization: VS-Quant and shared micro-exponent formatsالتكميم بالمجموعات: VS-Quant وصيغ الأس الدقيق المشترك (MX)

Start with one output channel of eight weights, quantized to symmetric INT4. Symmetric INT4 gives you integers from -7 to 7, so $q_{\max} = 7$. Split the channel into two groups of four: group A is [0.13, -0.21, 0.17, 0.06] and group B is [3.15, -0.3, 0.4, 0.1]. The 3.15 is an outlier, the kind every trained layer has a few of.

ابدأ بقناة إخراج واحدة فيها ثمانية أوزان، مكمّمة إلى INT4 متماثل. يعطيك INT4 المتماثل أعدادًا صحيحة من -7 إلى 7، أي أن $q_{\max} = 7$. قسّم القناة إلى مجموعتين من أربعة أوزان: المجموعة A هي [0.13, -0.21, 0.17, 0.06] والمجموعة B هي [3.15, -0.3, 0.4, 0.1]. القيمة 3.15 قيمة شاذة (outlier)، من النوع الذي يوجد منه القليل في كل طبقة مدرَّبة.

That is Group quantization. Slides 14 and 15 place it on the Quantization granularity ladder: Per-tensor quantization shares one scale across the whole tensor, per-channel shares one across each output channel, and group quantization shares one across a small group of elements, typically 16 to 64, inside a channel. The slides name two concrete families: per-vector quantization (VS-Quant) and the shared micro-exponent (MX) data types.

هذا هو group quantization (التكميم بالمجموعات). تضعه الشريحتان 14 و15 على سلّم quantization granularity: per-tensor quantization يشارك مقياسًا واحدًا عبر الموتر كله، وper-channel يشارك مقياسًا واحدًا عبر كل قناة إخراج، والتكميم بالمجموعات يشارك مقياسًا واحدًا عبر مجموعة صغيرة من العناصر داخل القناة، عادة من 16 إلى 64 عنصرًا. تسمّي الشرائح عائلتين محددتين: التكميم لكل متجه (VS-Quant) وأنواع بيانات الأسس الدقيقة المشتركة (MX).

The general rule: the fewer quantization levels you have, the more each scale has to be fitted to its local neighbourhood. At 8 bits you have 255 levels and a channel scale wastes a few of them. At 4 bits you have 15, and wasting most of them on one outlier leaves the bulk of the weights with one or two levels, or none.

القاعدة العامة: كلما قلّ عدد مستويات التكميم، وجب أن يُضبط كل مقياس أكثر على جواره المحلي. عند 8 بت لديك 255 مستوى، ومقياس القناة يهدر بضعة منها فقط. عند 4 بت لديك 15 مستوى فقط، وإهدار معظمها على قيمة شاذة واحدة يترك أغلب الأوزان بمستوى أو مستويين، أو بلا مستوى إطلاقًا.

Why the hardware vendors careلماذا يهتم صانعو العتاد

Slide 16 frames the goal as a balance between quantization accuracy and hardware efficiency, and uses NVIDIA Blackwell as the evidence. Blackwell tensor cores support "micro-tensor scaling" to keep FP4 accurate, and the FP4 path has twice the theoretical throughput of the FP8/FP6/INT8 path: an HGX B200 board (eight GPUs) is rated at 144 PFLOPS FP4 versus 72 PFLOPS FP8/FP6 and 72 POPS INT8. Halving the bits doubles the math per cycle, but only if accuracy survives, and at 4 bits accuracy survives only with fine-grained scales. So the vendor built the group scaling into the tensor core itself: the hardware reads a block of FP4 values together with its scale and applies the scale during the dot product.

تصوغ الشريحة 16 الهدف على أنه توازن بين دقة التكميم وكفاءة العتاد، وتستخدم NVIDIA Blackwell دليلًا على ذلك. تدعم أنوية الموترات (tensor cores) في Blackwell ما يسمى "micro-tensor scaling" للحفاظ على دقة FP4، ومسار FP4 له ضعف الإنتاجية النظرية لمسار FP8/FP6/INT8: لوحة HGX B200 (ثماني وحدات GPU) مصنّفة بـ 144 PFLOPS في FP4 مقابل 72 PFLOPS في FP8/FP6 و72 POPS في INT8. تقليل عدد البتات إلى النصف يضاعف الحساب في كل دورة، لكن فقط إذا صمدت الدقة، وعند 4 بت لا تصمد الدقة إلا بمقاييس دقيقة الحبيبات. لذلك بنى الصانع التحجيم بالمجموعات داخل نواة الموترات نفسها: يقرأ العتاد كتلة من قيم FP4 مع مقياسها، ويطبّق المقياس أثناء حساب الضرب النقطي (dot product).

Back to the example. Group A wanted $S_A = 0.03$ and group B wanted $S_B = 0.45$. Stored as FP16 numbers, these scales would cost 16 bits per group, which for groups of 16 INT4 weights adds a full 1 bit per weight. Worse, the hardware would need a floating-point multiplier next to every small vector unit. VS-Quant (Dai et al., NVIDIA) avoids both by noticing that the per-vector scales inside one channel differ from each other by modest factors. Factor each one as a shared floating-point number times a small integer:

نعود إلى المثال. المجموعة A أرادت $S_A = 0.03$ والمجموعة B أرادت $S_B = 0.45$. لو خُزّنت هذه المقاييس أعدادًا من نوع FP16 لكلّفت 16 بت لكل مجموعة، وهذا يضيف 1 بت كاملًا لكل وزن عندما تكون المجموعات من 16 وزنًا INT4. والأسوأ أن العتاد سيحتاج إلى وحدة ضرب فاصلة عائمة بجانب كل وحدة متجهات صغيرة. يتجنب VS-Quant (Dai et al. من NVIDIA) المشكلتين بملاحظة أن مقاييس المتجهات داخل القناة الواحدة تختلف عن بعضها بعوامل معتدلة. لذلك نحلّل كل واحد منها إلى عدد فاصلة عائمة مشترك مضروبًا في عدد صحيح صغير:

• $\gamma$ is a floating-point, coarse-grained scale, one per channel or per tensor.$\gamma$ مقياس فاصلة عائمة خشن الحبيبات، واحد لكل قناة أو لكل موتر.
• $S_q$ is an integer scale, one per vector of elements (for example 16), stored with only a few bits such as UINT4.$S_q$ مقياس عدد صحيح، واحد لكل متجه من العناصر (مثلًا 16 عنصرًا)، ويُخزَّن ببتات قليلة فقط مثل UINT4.

In the example, pick $\gamma = 0.45 / 15 = 0.03$ so the largest per-vector scale fits in UINT4. Then $S_{q,B} = 15$ and $S_{q,A} = 1$: two 4-bit integers and one FP16 number replace two FP16 scales. In a real layer one $\gamma$ covers thousands of vectors, so its cost all but vanishes. (Real scales rarely divide this neatly; rounding the scale itself adds a small error, which VS-Quant's calibration algorithm accounts for.)

في المثال، اختر $\gamma = 0.45 / 15 = 0.03$ حتى يتسع أكبر مقياس متجه في UINT4. عندها $S_{q,B} = 15$ و$S_{q,A} = 1$: عددان صحيحان من 4 بت وعدد FP16 واحد يحلّون محل مقياسين من FP16. في طبقة حقيقية يغطي $\gamma$ واحد آلاف المتجهات، فتكاد كلفته تختفي. (نادرًا ما تنقسم المقاييس الحقيقية بهذه السهولة، وتقريب المقياس نفسه يضيف خطأً صغيرًا، وتأخذه خوارزمية المعايرة (calibration) في VS-Quant في الحسبان.)

Why the fine scale is the integer oneلماذا يكون المقياس الناعم هو العدد الصحيح

The design rule on slide 17 is: less expensive integer scales at finer granularity, more expensive floating-point scales at coarser granularity. Count how often each scale is stored and used. There is one $S_q$ per vector, so there are many of them, and each one must be both small in memory and cheap to multiply. An integer scale lets the vector MAC unit finish the whole per-vector dot product, scaling included, in integer arithmetic. There is only one $\gamma$ per channel, so it can afford to be a precise floating-point number, applied once to the accumulated result. Put the expensive thing where it is rare.

قاعدة التصميم في الشريحة 17 هي: مقاييس أعداد صحيحة أرخص عند الحبيبات الناعمة، ومقاييس فاصلة عائمة أغلى عند الحبيبات الخشنة. احسب كم مرة يُخزَّن كل مقياس ويُستخدم. هناك $S_q$ واحد لكل متجه، أي أن عددها كبير، ويجب أن يكون كل واحد منها صغيرًا في الذاكرة ورخيصًا في الضرب. المقياس الصحيح يسمح لوحدة MAC المتجهية بإنهاء الضرب النقطي لكل متجه كاملًا، بما في ذلك التحجيم، بحساب الأعداد الصحيحة. وهناك $\gamma$ واحد فقط لكل قناة، فيمكنه أن يكون عدد فاصلة عائمة دقيقًا يُطبَّق مرة واحدة على النتيجة المتراكمة. ضع الشيء المكلف حيث يكون نادرًا.

The memory billفاتورة الذاكرة

Slide 17 gives the overhead: 4-bit elements with a 4-bit per-vector scale for every 16 elements cost $4 + 4/16 = 4.25$ bits per element, a storage overhead of 6.25% over plain INT4. The paper writes this as $M/(VN)$ for $N$-bit elements, $M$-bit scales and vectors of $V$ elements.

تعطي الشريحة 17 الكلفة الإضافية: عناصر من 4 بت مع مقياس متجه من 4 بت لكل 16 عنصرًا تكلّف $4 + 4/16 = 4.25$ بت لكل عنصر، أي كلفة تخزين إضافية قدرها 6.25% فوق INT4 العادي. تكتب الورقة ذلك على الصورة $M/(VN)$ لعناصر من $N$ بت، ومقاييس من $M$ بت، ومتجهات من $V$ عنصرًا.

VS-Quant has two scale levels. Nothing stops you from having more, so slides 18 to 20 write the general Multi-level scaling form. Take one weight, say $w_{11}$. It belongs to a small group (level 0), which belongs to a larger group (level 1), and so on. Its real value is its integer times the product of every scale above it:

لدى VS-Quant مستويان من المقاييس. لا شيء يمنعك من أكثر من ذلك، لذلك تكتب الشرائح من 18 إلى 20 الصيغة العامة لـ multi-level scaling (التحجيم متعدد المستويات). خذ وزنًا واحدًا، مثلًا $w_{11}$. إنه ينتمي إلى مجموعة صغيرة (المستوى 0)، وهذه تنتمي إلى مجموعة أكبر (المستوى 1)، وهكذا. قيمته الحقيقية هي عدده الصحيح مضروبًا في حاصل ضرب كل المقاييس التي فوقه:

VS-Quant is the case $s_{l_0} = S_q$, $s_{l_1} = \gamma$, and plain per-channel quantization is the one-level case. With $z = 0$ the scheme is Symmetric quantization, which is what every row of the slide table uses.

VS-Quant هو الحالة $s_{l_0} = S_q$ و$s_{l_1} = \gamma$، والتكميم العادي لكل قناة هو حالة المستوى الواحد. ومع $z = 0$ يكون المخطط symmetric quantization (تكميمًا متماثلًا)، وهو ما تستخدمه كل صفوف جدول الشريحة.

The effective bit widthعرض البت الفعلي (effective bit width)

Every scale is shared by its group, so its bits are spread over the group's elements. Add the element bits to each level's share:

كل مقياس تشترك فيه مجموعته، فتتوزع بتاته على عناصر المجموعة. أضف إلى بتات العنصر حصة كل مستوى:

Use the calculator to rebuild every row of the slide table and to try the exam case. Notice how the L1 share collapses toward 0 as its group grows, and how the L0 share dominates.

استخدم الحاسبة لإعادة بناء كل صف في جدول الشريحة ولتجربة حالة الاختبار. لاحظ كيف تنهار حصة L1 نحو 0 كلما كبرت مجموعتها، وكيف تهيمن حصة L0.

VS-Quant still multiplies by integer scales. The MX formats of Rouhani et al. (Microsoft and Meta) go one step cheaper: every scale is a pure power of two, stored as an exponent with no mantissa, so applying it is a bit shift. That is the title's joke, "a little shifting goes a long way". Read the MX4 row of slide 21 one field at a time.

ما زال VS-Quant يضرب في مقاييس أعداد صحيحة. صيغ MX التي قدّمها Rouhani et al. (Microsoft وMeta) تخطو خطوة أرخص: كل مقياس قوة خالصة للعدد 2، يُخزَّن أسًّا (exponent) بلا جزء عشري (mantissa)، فيكون تطبيقه إزاحة بتات (shift). وهذه هي الدعابة في عنوان الورقة: "a little shifting goes a long way" (القليل من الإزاحة يوصلك بعيدًا). اقرأ صف MX4 في الشريحة 21 حقلًا حقلًا.

• Element: S1M2, one sign bit and two mantissa (magnitude) bits, 3 bits in total. There is no per-element exponent at all.العنصر: S1M2، أي بت إشارة واحد وبتان للجزء العشري (المقدار)، بمجموع 3 بت. لا يوجد أسّ خاص بكل عنصر إطلاقًا.
• L0: each pair of elements shares an E1M0 scale, a single exponent bit that can shift the pair down by one more power of two when both values are small.L0: كل زوج من العناصر يشترك في مقياس E1M0، وهو بت أسّ واحد يمكنه إزاحة الزوج نزولًا بقوة إضافية واحدة للعدد 2 عندما تكون القيمتان صغيرتين.
• L1: each group of 16 elements shares an E8M0 scale, an 8-bit exponent that sets the overall range like the exponent of a float.L1: كل مجموعة من 16 عنصرًا تشترك في مقياس E8M0، وهو أسّ من 8 بت يحدد المدى العام مثل أسّ العدد العائم (float).

The paper writes the same count as $(m + 1) + d_1/k_1 + d_2/k_2$, with $m$ mantissa bits, the $+1$ for the sign, $d_1 = 8$ bits shared by $k_1 = 16$ elements and $d_2 = 1$ bit shared by $k_2 = 2$. The names are the totals: MX4, MX6 and MX9 average exactly 4, 6 and 9 bits per element.

تكتب الورقة العدّ نفسه على الصورة $(m + 1) + d_1/k_1 + d_2/k_2$، حيث $m$ عدد بتات الجزء العشري، و$+1$ لبت الإشارة، و$d_1 = 8$ بتات يشترك فيها $k_1 = 16$ عنصرًا، و$d_2 = 1$ بت يشترك فيه $k_2 = 2$ عنصران. الأسماء هي المجاميع: MX4 وMX6 وMX9 متوسطها بالضبط 4 و6 و9 بت لكل عنصر.

Paper MX versus the MX standard on real chipsMX في الورقة مقابل معيار MX على الرقاقات الحقيقية

The name MX now also refers to the Open Compute Project Microscaling (MX) v1.0 specification, which is what GPUs implement. It is simpler than the paper: a single level, one E8M0 scale per block of 32 elements, with element types such as FP4 (E2M1), FP6, FP8 and INT8. NVIDIA's own NVFP4, also supported on Blackwell, uses an FP8 E4M3 scale per 16 values plus an FP32 scale per tensor. Same counting rule, different numbers:

صار الاسم MX يشير أيضًا إلى مواصفة Open Compute Project Microscaling (MX) v1.0، وهي ما تنفّذه وحدات GPU. وهي أبسط من الورقة: مستوى واحد، ومقياس E8M0 واحد لكل كتلة من 32 عنصرًا، مع أنواع عناصر مثل FP4 (E2M1) وFP6 وFP8 وINT8. أما صيغة NVFP4 الخاصة بـ NVIDIA، المدعومة أيضًا في Blackwell، فتستخدم مقياس FP8 E4M3 لكل 16 قيمة إضافة إلى مقياس FP32 لكل موتر. قاعدة العدّ نفسها، والأرقام مختلفة: