M:N sparsity on NVIDIA tensor coresتناثر M:N على أنوية NVIDIA tensor cores

Look at the first row of the structured-sparse matrix on the slide. Read it four cells at a time. The first four hold a value, a zero, a zero, a value. The next four hold a zero, a value, a value, a zero. Every group of four consecutive weights along the row has exactly two survivors, and the survivors can sit anywhere inside the group. Mishra et al. write the metadata for that row as [[0, 3], [1, 2]]: the positions of the survivors, group by group.

انظر إلى الصف الأول من المصفوفة المتناثرة البنيوية في الشريحة، واقرأه أربع خلايا في كل مرة. الخلايا الأربع الأولى تحتوي: قيمة، صفر، صفر، قيمة. والأربع التالية تحتوي: صفر، قيمة، قيمة، صفر. كل مجموعة من أربعة أوزان متتالية على طول الصف يبقى فيها وزنان بالضبط، ويمكن أن يقع الناجيان في أي موضع داخل المجموعة. يكتب Mishraوزملاؤه البيانات الوصفية (metadata) لهذا الصف هكذا [[0, 3], [1, 2]]: مواضع الأوزان الباقية، مجموعةً بعد مجموعة.

That is the whole definition of 2:4 sparsity: for each group of four values along a row, at least two must be zero. The general form keeps the same shape. Write a pattern as a:b, where the first number is how many weights survive and the second is the block size. Sparsity is then fixed by the pattern, not by the data.

هذا هو التعريف الكامل لـ 2:4 sparsity: في كل مجموعة من أربع قيم على طول الصف، يجب أن تكون قيمتان على الأقل صفرًا. والصيغة العامة تحافظ على الشكل نفسه. اكتب النمط على هيئة a:b، حيث الرقم الأول هو عدد الأوزان الباقية والثاني هو حجم الكتلة. وبذلك تتحدد نسبة التناثر بالنمط نفسه، لا بالبيانات.

2:4 is the instance that ships. Ampere sparse tensor cores accept it for FP16, BF16 and INT8 weights, and for TF32 the block halves to 1:2, still 50 percent (Mishra et al., section 3.2). NVIDIA describes the pattern as "two non-zero values in every four-entry vector" and calls it fine-grained structured sparsity (NVIDIA Ampere in-depth blog). The A100 whitepaper is explicit that the pattern is enforced along rows.

2:4 هو النمط المطبّق فعليًا في المنتجات. تقبله أنوية الـ tensor المتناثرة في معمارية Ampere لأوزان FP16 وBF16 وINT8، أما في TF32 فتنقسم الكتلة إلى النصف لتصبح 1:2، وتبقى النسبة 50 بالمئة (Mishra et al., section 3.2). تصف NVIDIA النمط بأنه "قيمتان غير صفريتين في كل متجه من أربعة عناصر" وتسمّيه التناثر البنيوي دقيق الحبيبات (fine-grained structured sparsity) (مدونة NVIDIA Ampere in-depth). وتنص الورقة البيضاء لـ A100 صراحةً على أن النمط يُفرض على طول الصفوف.

Fine-grained in what it removes, structured in how manyدقيق الحبيبات في ما يحذفه، بنيوي في عدد ما يحذفه

Lecture 04-1 laid out pruning granularities on a line from irregular fine-grained pruning, which may zero any single weight, to channel pruning, which removes whole filters. 2:4 sits between them and borrows the best of each. It is fine-grained because the unit removed is a single weight, so the pruning criterion still gets to pick within every block, which is why accuracy survives. It is structured because the count per block is constant, so the hardware knows in advance that every four weights hide exactly two multiplies.

عرضت المحاضرة 04-1 مستويات دقة التقليم (pruning granularities) على خط يمتد من التقليم غير المنتظم دقيق الحبيبات، الذي يمكنه تصفير أي وزن منفرد، إلى تقليم القنوات (channel pruning) الذي يحذف مرشحات (filters) كاملة. يقع 2:4 بينهما ويأخذ أفضل ما في كل منهما. فهو دقيق الحبيبات لأن الوحدة المحذوفة وزن واحد، فيبقى معيار التقليم قادرًا على الاختيار داخل كل كتلة، ولهذا تصمد الدقة. وهو بنيوي لأن العدد في كل كتلة ثابت، فيعرف العتاد مسبقًا أن كل أربعة أوزان تخفي عمليتي ضرب بالضبط.

That constancy is the entire engineering payoff. Unstructured sparsity, the kind EIE handles, needs a data-dependent index for every nonzero and a pointer to the start of every column, and the paper notes it leads to poor utilization of cache lines because the survivors land anywhere. With 2:4, the paper points out, the sparsity is constant across the matrix, so no indirection is required: a nonzero's position in memory can be computed directly from the compression rate. Two bits per survivor say which of the four slots it came from, and nothing else needs to be stored.

هذا الثبات هو كل المكسب الهندسي. التناثر غير البنيوي، وهو النوع الذي يتعامل معه EIE، يحتاج إلى فهرس يعتمد على البيانات لكل قيمة غير صفرية، وإلى مؤشر (pointer) لبداية كل عمود، وتذكر الورقة أنه يؤدي إلى استغلال ضعيف لأسطر الذاكرة المخبئية (cache lines) لأن الأوزان الباقية تقع في أي مكان. أما مع 2:4، كما تشير الورقة، فالتناثر ثابت عبر المصفوفة كلها، فلا حاجة إلى أي عنونة غير مباشرة (indirection): يمكن حساب موضع القيمة غير الصفرية في الذاكرة مباشرة من معدل الضغط. بتّان لكل وزن باقٍ تحددان أي خانة من الخانات الأربع جاء منها، ولا حاجة إلى تخزين أي شيء آخر.

One more fact will matter in the next two concepts: the groups of four run along the row of the weight matrix W. In the GEMM that a layer becomes, that row is the reduction dimension, the axis along which products are summed. The pattern has to live there, because that is the only axis on which skipping a weight also skips a multiply.

هناك حقيقة أخرى ستهمّ في المفهومين التاليين: مجموعات الأربعة تمتد على طول صف مصفوفة الأوزان W. وفي عملية GEMM التي تتحول إليها الطبقة، يكون هذا الصف هو بُعد الاختزال (reduction dimension)، أي المحور الذي تُجمع على طوله حواصل الضرب. يجب أن يقع النمط هناك، لأنه المحور الوحيد الذي يعني فيه تخطي وزن تخطي عملية ضرب أيضًا.

Where this sits among the three case studiesأين يقع هذا بين دراسات الحالة الثلاث

The divider slide that opens this section lists three sparse-hardware case studies. EIE (Efficient Inference Engine) came first: a custom accelerator exploiting Weight sparsity and Activation sparsity at once. This part is the middle one, and it takes the opposite bet. It exploits weight sparsity only, at a fixed and modest 50 percent, in exchange for running on a GPU that already sits in every data center. TorchSparse and PointAcc, which follow, go back to activation sparsity in point clouds. Keeping the three apart by which sparsity they exploit and what hardware they need is the fastest way to remember them.

تسرد الشريحة الفاصلة التي تفتتح هذا القسم ثلاث دراسات حالة لعتاد متناثر. جاء EIE (Efficient Inference Engine) أولًا: مسرّع مخصص يستغل Weight sparsity وActivation sparsity في آن واحد. هذا الجزء هو الأوسط، ويراهن رهانًا معاكسًا. فهو يستغل تناثر الأوزان فقط، بنسبة ثابتة ومتواضعة قدرها 50 بالمئة، مقابل أن يعمل على GPU موجود أصلًا في كل مركز بيانات. ثم يعود TorchSparse وPointAcc، اللذان يليانه، إلى تناثر التنشيطات في السحب النقطية (point clouds). التمييز بين الثلاثة بحسب نوع التناثر الذي يستغله كل منها والعتاد الذي يحتاجه هو أسرع طريقة لتذكّرها.

Take one group of four FP16 weights. Dense, it costs 4 x 16 = 64 bits. Under 2:4, only two values are stored, 2 x 16 = 32 bits, plus a 2-bit index for each, 2 x 2 = 4 bits. The group now costs 36 bits, a saving of about 44 percent (Mishra et al., section 3.1). Not 50 percent: the indices are small but they are not free.

خذ مجموعة واحدة من أربعة أوزان FP16. في الصيغة الكثيفة تكلّف 4 x 16 = 64 bits. وتحت نمط 2:4 لا تُخزَّن إلا قيمتان، أي 2 x 16 = 32 bits، مع فهرس من بتين لكل منهما، أي 2 x 2 = 4 bits. فتصبح كلفة المجموعة 36 bits، أي توفير بنحو 44 بالمئة (Mishra et al., section 3.1). ليس 50 بالمئة: الفهارس صغيرة لكنها ليست مجانية.

Scale that to a whole matrix and you get the format on the slide. A structured-sparse W of size R x C is stored as an R x C/2 block of nonzero values and an R x C/2 block of two-bit indices. The slide's instruction is to push all the nonzero elements to the left in memory. The survivors of each row are packed contiguously at half the original width, and the index block, drawn beside them, records where each came from.

عمّم ذلك على مصفوفة كاملة تحصل على الصيغة التي في الشريحة. المصفوفة W المتناثرة بنيويًا بحجم R x C تُخزَّن على هيئة كتلة بحجم R x C/2 من القيم غير الصفرية، وكتلة بحجم R x C/2 من الفهارس ذات البتين. تعليمات الشريحة هي دفع كل العناصر غير الصفرية إلى اليسار في الذاكرة. تُرصّ الأوزان الباقية في كل صف متجاورةً بنصف العرض الأصلي، وكتلة الفهارس المرسومة بجانبها تسجّل من أين جاءت كل قيمة.

The index cost is a fixed 2 bits per stored value, so its weight relative to the values depends on the value width: 2 / 16 = 12.5% overhead for FP16 and 2 / 8 = 25% for INT8, which is why the INT8 saving is the smaller 37.5 percent (Mishra et al., section 3.1). Compare that with the format EIE relied on. CSC stores a 4-bit relative index and a 4-bit weight-sharing code per nonzero, a 16-bit pointer per column, and a padding entry whenever a run of zeros exceeds fifteen (Han et al., EIE, section III). Mishra et al. note that a plain CSR with 8-bit weights and 16-bit column indices can spend up to 200 percent of the value bits on metadata. 2:4 spends 12.5 or 25 percent, with no pointers and no padding, because the pattern itself carries most of the position information.

كلفة الفهرس ثابتة عند بتين لكل قيمة مخزّنة، لذا يعتمد وزنها النسبي مقارنةً بالقيم على عرض القيمة: 2 / 16 = 12.5% كلفة إضافية في FP16 و2 / 8 = 25% في INT8، ولهذا يكون توفير INT8 هو الأصغر بنسبة 37.5 بالمئة (Mishra et al., section 3.1). قارن ذلك بالصيغة التي اعتمد عليها EIE. تخزّن صيغة CSC فهرسًا نسبيًا من 4 بتات ورمزًا من 4 بتات لمشاركة الأوزان (weight-sharing) لكل قيمة غير صفرية، ومؤشرًا من 16 بتًا لكل عمود، ومدخل حشو (padding) كلما تجاوزت سلسلة من الأصفار خمسة عشر (Han et al., EIE, section III). ويشير Mishra وزملاؤه إلى أن صيغة CSR عادية بأوزان من 8 بتات وفهارس أعمدة من 16 بتًا قد تنفق ما يصل إلى 200 بالمئة من بتات القيم على البيانات الوصفية. أما 2:4 فينفق 12.5 أو 25 بالمئة، بلا مؤشرات وبلا حشو، لأن النمط نفسه يحمل معظم معلومات المواضع.

Why insist on pushing everything to the left rather than leaving zeros in place and skipping them? Because memory is read in wide lines. With the survivors contiguous at half width, every byte a memory read brings in is a value the tensor core will use, which the paper describes as letting hardware fully utilize large memory reads. The A100 whitepaper puts the same point as a reduction of memory storage and bandwidth by almost 2x. Zeros left in place would fill half of every line with nothing.

لماذا الإصرار على دفع كل شيء إلى اليسار بدلًا من ترك الأصفار في مكانها وتخطيها؟ لأن الذاكرة تُقرأ في أسطر عريضة. حين تكون الأوزان الباقية متجاورة بنصف العرض، فكل بايت تجلبه عملية قراءة من الذاكرة هو قيمة ستستخدمها نواة الـ tensor، وهو ما تصفه الورقة بأنه يتيح للعتاد استغلال قراءات الذاكرة الكبيرة استغلالًا كاملًا. وتعبّر الورقة البيضاء لـ A100 عن الفكرة نفسها بأنها تقليل لمساحة التخزين وعرض النطاق (bandwidth) بما يقارب 2x. أما الأصفار المتروكة في مكانها فستملأ نصف كل سطر بلا شيء.

Follow one output element through a small GEMM with K = 8. Dense, the tensor core takes a row of A with eight values, a column of B with eight values, multiplies them pairwise and accumulates eight products. Now store that row of A in 2:4 form: four values and four 2-bit indices. The core reads the indices, pulls exactly the four elements of the B column that sit at those positions, multiplies four pairs, and accumulates. The slide's caption says it in one line: the indices are used to mask out the inputs, and only two multiplications will be done out of four.

تتبّع عنصر إخراج واحدًا خلال GEMM صغيرة بـ K = 8. في الحالة الكثيفة، تأخذ نواة الـ tensor صفًا من A فيه ثماني قيم، وعمودًا من B فيه ثماني قيم، فتضربهما زوجًا زوجًا وتراكم ثمانية حواصل ضرب. الآن خزّن ذلك الصف من A بصيغة 2:4: أربع قيم وأربعة فهارس من بتين. تقرأ النواة الفهارس، وتسحب بالضبط العناصر الأربعة من عمود B الواقعة في تلك المواضع، وتضرب أربعة أزواج، ثم تراكم. ويلخص تعليق الشريحة ذلك في سطر واحد: تُستخدم الفهارس لحجب المدخلات (mask out)، ولا تُنفَّذ إلا عمليتا ضرب من كل أربع.

The rule behind the example is worth stating precisely, because exam questions turn on it. A Sparse tensor core performs sparse matrix times dense matrix equals dense matrix. Only the first operand, A of size M x K, is compressed, to M x K/2 values plus indices. The second operand B (K x N) and the output C (M x N) stay dense (Mishra et al., section 3.2). NVIDIA's TensorRT blog describes the mechanism as using the metadata to pull only the necessary values from the other, uncompressed operand. The metadata belongs to the weights, but it is applied to the activations.

القاعدة وراء المثال تستحق أن تُذكر بدقة، لأن أسئلة الامتحان تدور حولها. تنفّذ Sparse tensor core عملية: مصفوفة متناثرة ضرب مصفوفة كثيفة يساوي مصفوفة كثيفة. المعامل الأول وحده، A بحجم M x K، يُضغط إلى M x K/2 من القيم مع الفهارس. أما المعامل الثاني B (K x N) والإخراج C (M x N) فيبقيان كثيفين (Mishra et al., section 3.2). وتصف مدونة TensorRT من NVIDIA الآلية بأنها تستخدم البيانات الوصفية لسحب القيم الضرورية فقط من المعامل الآخر غير المضغوط. البيانات الوصفية تخص الأوزان، لكنها تُطبَّق على التنشيطات.

Halving the pairs halves the work, and the hardware is built so that the saving shows up as time. The A100 whitepaper states that a standard MMA on a 16 x 8 x 16 tile takes some number of cycles N, and the sparse MMA on the same tile takes N/2, a 2x speedup. The paper's Table 1 reports the resulting peak rates.

تقليص الأزواج إلى النصف يقلّص العمل إلى النصف، والعتاد مصمَّم بحيث يظهر هذا التوفير في الزمن. تنص الورقة البيضاء لـ A100 على أن عملية MMA عادية على قطعة بحجم 16 x 8 x 16 تستغرق عددًا من الدورات قدره N، وأن عملية MMA المتناثرة على القطعة نفسها تستغرق N/2، أي تسريع 2x. ويعرض الجدول 1 في الورقة المعدلات القصوى الناتجة.

Why must the pattern run along K? Because K is the axis the selector walks. Each output element is a dot product over K, and a zero weight at position k means the product with B[k, n] can be dropped for every n. Zeros arranged along M or N would zero entire rows or columns of the output, which is a smaller network, not a faster GEMM. This is also why the library has shape rules: the reduction dimension must be a multiple of 16 for 16-bit formats and 32 for INT8, and layers that fail the rule, such as the first convolution of an image network with K = 3 x 7 x 7 = 147, are simply left dense (Mishra et al., sections 3.2 and 5.1). cuSPARSELt exposes the compression and the sparse GEMM to programmers, and TensorRT 8 applies them automatically to a network whose weights already follow the pattern.

لماذا يجب أن يمتد النمط على طول K؟ لأن K هو المحور الذي يسير عليه المُنتقي. كل عنصر إخراج هو جداء نقطي (dot product) على K، والوزن الصفري في الموضع k يعني أن حاصل ضربه في B[k, n] يمكن إسقاطه لكل n. أما الأصفار المرتبة على طول M أو N فستصفّر صفوفًا أو أعمدة كاملة من الإخراج، وهذا يعطي شبكة أصغر لا GEMM أسرع. ولهذا أيضًا للمكتبة قواعد للأبعاد: يجب أن يكون بُعد الاختزال مضاعفًا لـ 16 في الصيغ ذات 16 بتًا ولـ 32 في INT8، والطبقات التي لا تحقق القاعدة، مثل الالتفاف (convolution) الأول في شبكة صور حيث K = 3 x 7 x 7 = 147، تُترك ببساطة كثيفة (Mishra et al., sections 3.2 and 5.1). توفّر مكتبة cuSPARSELt الضغط وGEMM المتناثرة للمبرمجين، ويطبّقهما TensorRT 8 تلقائيًا على الشبكة التي تتبع أوزانها النمط مسبقًا.

What changed since EIEما الذي تغيّر منذ EIE

Set the two designs beside each other and the trade becomes visible. EIE (Efficient Inference Engine) reaches for every zero it can find: about 90 percent in the weights and about 70 percent in the activations, both exploited at once. To do that it needs Leading non-zero detection to find the next live activation, a FIFO in front of each Processing element (PE) to keep Load balance across uneven columns, and a custom chip to hold all of it. The sparse tensor core asks for far less sparsity, exactly 50 percent in the weights alone, which is static and known before the run. That is what lets the whole mechanism collapse into a multiplexer driven by 2-bit tags, small enough to add to a tensor core that every GPU already has.

ضع التصميمين جنبًا إلى جنب وستتضح المقايضة. يسعى EIE (Efficient Inference Engine) إلى كل صفر يمكنه إيجاده: نحو 90 بالمئة في الأوزان ونحو 70 بالمئة في التنشيطات، ويستغلهما معًا. ولفعل ذلك يحتاج إلى Leading non-zero detection لإيجاد التنشيط الحي التالي، وإلى طابور FIFO أمام كل Processing element (PE) للحفاظ على Load balance عبر أعمدة غير متساوية، وإلى شريحة مخصصة تحمل كل ذلك. أما نواة الـ tensor المتناثرة فتطلب تناثرًا أقل بكثير، 50 بالمئة بالضبط في الأوزان وحدها، وهو تناثر static (ساكن) معروف قبل التشغيل. وهذا ما يسمح للآلية كلها بأن تنكمش إلى مُنتقٍ تقوده وسوم من بتين، صغير بما يكفي لإضافته إلى نواة tensor موجودة أصلًا في كل GPU.

ResNet-50 on ImageNet scores 76.1 top-1 dense in FP16. After 2:4 pruning and retraining it scores 76.2 in FP16 and 76.2 in INT8 (Mishra et al., Table 2). Half the weights are gone from almost every layer, the GEMMs can run on the sparse path, and the accuracy did not move. The slide's takeaway is the plain version of this: pruning CNNs with 2:4 sparsity brings a large speedup for GEMM workloads and does not incur a performance drop for the models. The rest of this concept explains how that is achieved, how large the speedup really is, and where both claims stop.

تحقق ResNet-50 على ImageNet دقة top-1 قدرها 76.1 وهي كثيفة بصيغة FP16. وبعد التقليم بنمط 2:4 وإعادة التدريب تحقق 76.2 في FP16 و76.2 في INT8 (Mishra et al., Table 2). اختفى نصف الأوزان من كل الطبقات تقريبًا، وصار بإمكان عمليات GEMM أن تعمل على المسار المتناثر، ولم تتحرك الدقة. والخلاصة في الشريحة هي الصيغة المبسطة لهذا: تقليم شبكات CNN بنمط 2:4 يجلب تسريعًا كبيرًا لأحمال GEMM ولا يسبب تراجعًا في أداء النماذج. بقية هذا المفهوم تشرح كيف يتحقق ذلك، وما حجم التسريع الحقيقي، وأين يتوقف كل من الادعاءين.

The recipe: one prune, one retrain, no searchالوصفة: تقليم واحد، وإعادة تدريب واحدة، ولا بحث

The deck does not show the procedure itself, so take it from the paper (Mishra et al., section 4) and from the A100 whitepaper, which calls it a simple and universal recipe. It has three steps.

لا تعرض الشرائح الإجراء نفسه، لذا خذه من الورقة (Mishra et al., section 4) ومن الورقة البيضاء لـ A100 التي تسمّيه وصفة بسيطة وعامة. وله ثلاث خطوات.

1. Train the model without sparsity, exactly as you normally would.درّب النموذج دون تناثر، تمامًا كما تفعل عادةً.
2. Prune it to 2:4 by magnitude: in every group of four weights along the row, zero the two with the smallest absolute value.قلّمه إلى 2:4 بحسب المقدار (magnitude): في كل مجموعة من أربعة أوزان على طول الصف، صفّر الوزنين صاحبي أصغر قيمة مطلقة.
3. Retrain from those weights using the same optimizer, learning-rate schedule and number of epochs as step 1, with the zeros held fixed so the pattern survives. Optimizer state such as momentum is reset.أعد التدريب انطلاقًا من تلك الأوزان باستخدام المُحسِّن (optimizer) نفسه وجدول معدل التعلم نفسه وعدد الحقب (epochs) نفسه كما في الخطوة 1، مع تثبيت الأصفار كي يبقى النمط. وتُعاد حالة المُحسِّن، مثل الزخم (momentum)، إلى البداية.

Two things distinguish this from the Fine-tuning and Iterative pruning you met earlier in this lecture. It is one-shot: a single prune straight to the target, then a full second training run rather than a short low-learning-rate touch-up. And it needs no hyper-parameter search, because step 3 reuses step 1 wholesale. The paper is candid about the cost, a second full training, and argues it is worth paying once for a workflow with nothing to tune, since deployment amortizes it. NVIDIA packages the procedure as the ASP library for PyTorch.

أمران يميّزان هذا عن Fine-tuning وIterative pruning اللذين قابلتهما سابقًا في هذه المحاضرة. فهو أحادي الخطوة (one-shot): تقليم واحد مباشرة إلى الهدف، ثم جولة تدريب ثانية كاملة بدلًا من تحسين قصير بمعدل تعلم منخفض. ولا يحتاج إلى أي بحث عن المعاملات الفائقة، لأن الخطوة 3 تعيد استخدام الخطوة 1 بالكامل. والورقة صريحة بشأن الكلفة، وهي تدريب كامل ثانٍ، وترى أنها تستحق أن تُدفع مرة واحدة مقابل سير عمل لا شيء فيه يحتاج إلى ضبط، لأن النشر يوزّع هذه الكلفة على المدى. وتحزم NVIDIA هذا الإجراء في مكتبة ASP لـ PyTorch.

How much faster: a staircase toward 2xكم أسرع: درج يصعد نحو 2x

The chart on the slide compares INT8 GEMMs from cuSPARSELt, with one operand in 2:4 form, against dense cuBLAS GEMMs on an A100, at M = N = 10240 and K sweeping from 1280 to 20480. The bars start near 1.2x and climb toward 2x without reaching it. Mishra et al. read it the same way: larger GEMMs achieve nearly a 2x speedup with sparse tensor cores.

يقارن المخطط في الشريحة عمليات GEMM بـ INT8 من cuSPARSELt، حيث أحد المعاملين بصيغة 2:4، مع عمليات GEMM كثيفة من cuBLAS على A100، عند M = N = 10240 وK يتدرج من 1280 إلى 20480. تبدأ الأعمدة قرب 1.2x وتصعد نحو 2x دون أن تبلغه. ويقرأ Mishra وزملاؤه المخطط بالطريقة نفسها: عمليات GEMM الأكبر تحقق تسريعًا يقارب 2x باستخدام sparse tensor cores.

Why does the speedup depend on K at all, when the pattern halves the multiplies at every size? Because the sparse tensor core halves only the arithmetic. A GEMM also has to move its operands in and its result out, and it pays fixed launch and scheduling costs. A small GEMM has low arithmetic intensity: few operations per byte moved, so its time is dominated by memory traffic and overheads that 2:4 does not touch. As K grows, the operations per output element grow while the output traffic does not, the GEMM becomes math bound, and halving the math approaches halving the time. The paper says exactly this: larger GEMMs tend to have higher arithmetic intensity, so they get closer to the 2x speedup.

لماذا يعتمد التسريع على K أصلًا، في حين أن النمط يقلّص عمليات الضرب إلى النصف عند كل حجم؟ لأن نواة الـ tensor المتناثرة لا تقلّص إلا العمليات الحسابية. فعملية GEMM يجب أيضًا أن تنقل معاملاتها إلى الداخل ونتيجتها إلى الخارج، وتدفع كلفة ثابتة للإطلاق والجدولة. لعملية GEMM الصغيرة arithmetic intensity (شدة حسابية) منخفضة: عمليات قليلة لكل بايت منقول، فيهيمن على زمنها نقل البيانات من الذاكرة والكلفة الإضافية التي لا يمسّها 2:4. ومع نمو K تزداد العمليات لكل عنصر إخراج بينما لا يزداد نقل الإخراج، فتصبح GEMM محكومة بالحساب (math bound)، ويقترب تقليص الحساب إلى النصف من تقليص الزمن إلى النصف. والورقة تقول هذا بالضبط: عمليات GEMM الأكبر تميل إلى شدة حسابية أعلى، لذا تقترب أكثر من تسريع 2x.

Accuracy: the table that justifies the claimالدقة: الجدول الذي يبرر الادعاء

The right half of the slide is the paper's Table 2: twenty ImageNet classifiers, each in dense FP16, sparse FP16 and sparse INT8. Read down any row and the three numbers agree to within a few tenths of a point; the widest spread is SUNet-128 at 75.6, 76.0 and 75.4. The paper states that the differences are within run-to-run variation, which is the honest way to say zero loss.

النصف الأيمن من الشريحة هو الجدول 2 في الورقة: عشرون مصنِّفًا على ImageNet، كل منها بصيغة FP16 كثيفة وFP16 متناثرة وINT8 متناثرة. اقرأ أي صف وستجد الأرقام الثلاثة متفقة في حدود بضعة أعشار النقطة؛ وأوسع فارق هو SUNet-128 عند 75.6 و76.0 و75.4. وتنص الورقة على أن الفروق تقع ضمن التفاوت بين التشغيلات (run-to-run variation)، وهذه هي الطريقة الأمينة لقول: لا خسارة.

Two details in that table repay attention. Sparse INT8 matches sparse FP16, so the pruning and INT8 quantization, which this course turns to after pruning, compose without compounding their losses, at least on these networks. And the largest model, ResNeXt-101-32x16 trained with weak supervision, loses 0.2 in FP16 and nothing in INT8, so the pattern is not exploiting a weakness of small or old architectures. VGG, DenseNet, Inception, Xception and the dilated residual networks all behave the same way.

تفصيلان في ذلك الجدول يستحقان الانتباه. أولًا، INT8 المتناثر يطابق FP16 المتناثر، أي أن التقليم والتكميم (quantization) إلى INT8، الذي ينتقل إليه هذا المقرر بعد التقليم، يجتمعان دون أن تتراكم خسائرهما، على الأقل في هذه الشبكات. وثانيًا، أكبر نموذج، ResNeXt-101-32x16 المدرَّب بإشراف ضعيف (weak supervision)، يخسر 0.2 في FP16 ولا شيء في INT8، فالنمط لا يستغل نقطة ضعف في المعماريات الصغيرة أو القديمة. وتتصرف VGG وDenseNet وInception وXception والشبكات المتبقية الموسَّعة (dilated residual networks) كلها بالطريقة نفسها.