The definition

التعريف

2:4 sparsity: in every group of four consecutive weights along a row of W, at most two are nonzero. That is exactly 50 percent sparsity. The slides title it "M:N sparsity"; NVIDIA writes 2:4; papers often write N:M. Read any such label as survivors first, block size second.

2:4 sparsity: في كل مجموعة من أربعة أوزان متتالية على طول صف من W، يكون اثنان على الأكثر غير صفريين. هذه بالضبط 50% sparsity. الشرائح تسمّيها "M:N sparsity"، وNVIDIA تكتب 2:4، والأوراق البحثية تكتب غالباً N:M. اقرأ أي تسمية من هذا النوع هكذا: عدد الباقين أولاً، ثم حجم الكتلة.

It is fine-grained in what it removes (single weights, chosen by magnitude inside each block, so accuracy survives) and structured in how many it removes (the count per block is constant, so the hardware knows in advance that every four weights hide exactly two multiplies).

هو fine-grained في ما يحذفه (أوزان مفردة تُختار حسب القيمة المطلقة داخل كل كتلة، فتنجو الدقة)، وstructured في عدد ما يحذفه (العدد ثابت في كل كتلة، فيعرف العتاد مسبقاً أن كل أربعة أوزان تخفي عمليتي ضرب بالضبط).

The compressed format

الصيغة المضغوطة

A 2:4 matrix W of size R x C is stored as an R x C/2 block of nonzero values plus an R x C/2 block of 2-bit indices. Survivors are pushed to the left so every memory line carries useful values; each 2-bit tag records which of the four slots (00, 01, 10, 11) its value came from.

مصفوفة 2:4 بحجم R x C تُخزَّن على شكل كتلة قيم غير صفرية بحجم R x C/2 مع كتلة فهارس بحجم R x C/2 كل فهرس فيها 2 بت. تُدفع القيم الباقية إلى اليسار حتى يحمل كل سطر ذاكرة قيماً مفيدة، وكل وسم من بتّين يسجّل أي خانة من الأربع (00 أو 01 أو 10 أو 11) جاءت منها القيمة.

How the tensor core uses it

كيف تستخدمها tensor core

The sparse tensor core computes sparse A x dense B = dense C. Only the weight operand A (M x K) is compressed, to M x K/2 values plus indices. B (K x N) and C (M x N) stay dense. For each output element the indices pick the K/2 matching elements of the B column, so only half the multiplies run. That is why the pattern must lie along K, the reduction dimension: only there does skipping a weight also skip a multiply.

ينفّذ sparse tensor core العملية sparse A x dense B = dense C. الـ operand الوحيد المضغوط هو الأوزان A بحجم M x K، فيصبح M x K/2 قيمة مع الفهارس. أما B بحجم K x N وC بحجم M x N فيبقيان كثيفين. لكل عنصر خرج تختار الفهارس K/2 عنصراً مطابقاً من عمود B، فتُنفَّذ نصف عمليات الضرب فقط. ولهذا يجب أن يكون النمط على طول K، بُعد الجمع: فهناك فقط يعني تخطّي وزن تخطّي عملية ضرب.

Peak A100 throughput doubles on the sparse path: FP16 312 to 624 TOPS, INT8 624 to 1248 TOPS (TF32 uses a 1:2 pattern, 156 to 312).

تتضاعف الإنتاجية القصوى لـ A100 على المسار المتناثر: FP16 من 312 إلى 624 TOPS، وINT8 من 624 إلى 1248 TOPS (أما TF32 فيستخدم نمط 1:2، من 156 إلى 312).

Worked: compress a 2 x 8 matrix and count bits

مثال محلول: اضغط مصفوفة 2 x 8 واحسب البتات

Prune two smallest |w| in each group of four, then write values and indices.

احذف أصغر وزنين بالقيمة المطلقة في كل مجموعة من أربعة، ثم اكتب القيم والفهارس.

dense W (2 x 8), groups of four along each row
  row 0:  0.9  0.1 -0.4  0.2 | -0.05 0.7  0.3 -1.2
  row 1:  0.2  0.3  0.5 -0.1 | -0.8  0.4  0.1  0.6

keep the 2 largest |w| per group
  row 0:  g0 keep slots 0,2   g1 keep slots 1,3
  row 1:  g0 keep slots 1,2   g1 keep slots 0,3

values  (R x C/2 = 2 x 4)      indices (2 x 4, 2 bits)
  [ 0.9 -0.4  0.7 -1.2 ]         [ 00 10 01 11 ]
  [ 0.3  0.5 -0.8  0.6 ]         [ 01 10 00 11 ]

FP16  dense      = 16 x 16          = 256 bits
      values     =  8 x 16          = 128 bits
      indices    =  8 x 2           =  16 bits
      total      = 144 bits   ratio 144/256 = 0.5625   saving 43.75%

INT8  dense      = 16 x 8           = 128 bits
      total      =  8 x 8 + 8 x 2   =  80 bits   ratio 0.625   saving 37.5%

row 0 times B column:  0.9·b0 - 0.4·b2 + 0.7·b5 - 1.2·b7   (4 MACs, not 8)

الجدول يلخّص كلفة مجموعة واحدة من أربعة أوزان: 64 بت تصبح 36 في FP16 (توفير نحو 44%)، و32 تصبح 20 في INT8 (توفير نحو 38%).

Recipe and accuracy

الوصفة والدقة

1. Train dense, exactly as usual.

   درّب النموذج كثيفاً كالمعتاد تماماً.

2. Prune the two smallest-magnitude weights in every group of four.

   احذف الوزنين الأصغر قيمة مطلقة في كل مجموعة من أربعة.

3. Retrain with the same optimizer, schedule and epochs, zeros held fixed. No hyper-parameter search.

   أعد التدريب بنفس optimizer والجدول وعدد epochs، مع تثبيت الأصفار. لا حاجة لأي بحث عن hyper-parameters.

Result: sparse FP16 and INT8 match dense within run-to-run noise on large ImageNet CNNs, for example ResNet-50 76.1 dense vs 76.2 sparse. Small, parameter-efficient nets (MobileNet v2, EfficientNet B0) lose accuracy under the plain recipe and need channel permutation before pruning to recover.

النتيجة: FP16 وINT8 المتناثران يطابقان الكثيف ضمن ضجيج التشغيل على شبكات ImageNet CNN الكبيرة، مثلاً ResNet-50: 76.1 كثيف مقابل 76.2 متناثر. أما الشبكات الصغيرة الموفّرة للمعاملات (MobileNet v2 وEfficientNet B0) فتفقد دقة مع الوصفة البسيطة وتحتاج channel permutation قبل التقليم كي تستعيدها.

Speedup: a staircase toward 2x

التسريع: درج يصعد نحو 2x

INT8 GEMM on A100 (M = N = 10240) speeds up only about 1.2x at K = 1280 and climbs to about 1.95x at K = 20480. The sparse core halves only the arithmetic; small GEMMs have low arithmetic intensity and are bound by memory traffic and fixed costs. End to end, NVIDIA reports about 1.2x (ResNeXt-101 in TensorRT), because non-GEMM layers and small GEMMs gain little.

ضرب المصفوفات INT8 GEMM على A100 (M = N = 10240) يتسارع بنحو 1.2x فقط عند K = 1280، ويصعد إلى نحو 1.95x عند K = 20480. فالنواة المتناثرة تنصّف الحساب فقط، وGEMM الصغير ذو arithmetic intensity منخفضة ومحكوم بحركة الذاكرة والتكاليف الثابتة. وعلى مستوى النموذج كاملاً تذكر NVIDIA نحو 1.2x (ResNeXt-101 في TensorRT)، لأن الطبقات غير GEMM وGEMM الصغيرة لا تكسب إلا قليلاً.