Glossaryالمصطلحات

A chosen minimum accuracy on the sensitivity chart; each layer's pruning rate is read where its curve crosses T, and T is adjusted until the overall pruning rate meets the target.حد أدنى للدقة يُختار على مخطط الحساسية؛ تُقرأ نسبة الـ pruning لكل طبقة عند النقطة التي يقطع فيها منحناها الحد T، ثم يُعدَّل T حتى تحقق نسبة الـ pruning الإجمالية الهدف المطلوب.

• Slide 19الشريحة 19
• Slide 20الشريحة 20
• Slide 21الشريحة 21
• Slide 22الشريحة 22

EIE's dataflow: the central control unit scans the input vector for its next nonzero a_j and sends the pair (a_j, j) to every PE at once over an H-tree; each PE multiplies it by the nonzero weights in its own slice of column j and accumulates into outputs it alone owns, so zero activations skip a whole column for all PEs and no partial sums are ever exchanged.تدفق البيانات (dataflow) في EIE: تمسح وحدة التحكم المركزية متجه الإدخال بحثًا عن القيمة غير الصفرية التالية a_j، وترسل الزوج (a_j, j) إلى كل وحدات المعالجة (PEs) دفعة واحدة عبر شجرة H-tree؛ وتضربه كل PE في الأوزان غير الصفرية الموجودة في جزئها من العمود j وتجمع الناتج في مخرجات تملكها وحدها، لذلك يتخطى الـ activation الصفري عمودًا كاملًا لكل الـ PEs، ولا تُتبادل أي مجاميع جزئية (partial sums) إطلاقًا.

• Slide 60الشريحة 60
• Slide 61الشريحة 61
• Slide 62الشريحة 62
• Slide 63الشريحة 63
• Slide 64الشريحة 64

Zeros in the activations produced at run time, typically by ReLU (dynamic sparsity, about 70 percent in EIE), letting hardware skip multiplications since W times 0 = 0.أصفار في الـ activations الناتجة أثناء التشغيل، وغالبًا بسبب ReLU (sparsity ديناميكية، حوالي 70 بالمئة في EIE)، تتيح للعتاد تخطي عمليات الضرب لأن W × 0 = 0.

• Slide 55الشريحة 55
• Slide 57الشريحة 57
• Slide 60الشريحة 60
• Slide 67الشريحة 67
• Slide 71الشريحة 71

TorchSparse's strategy of padding weight-offset groups of similar size so they run as one batched matmul, sitting between separate per-offset matmuls (no waste, irregular) and fully dense batching (regular, large overhead).استراتيجية TorchSparse التي تحشو مجموعات إزاحات الأوزان المتقاربة في الحجم حتى تعمل كعملية matmul واحدة مجمّعة (batched)، وهي تقع بين عمليات matmul منفصلة لكل إزاحة (بلا هدر لكنها غير منتظمة) والتجميع الكثيف الكامل (منتظم لكن بكلفة إضافية كبيرة).

• Slide 101الشريحة 101
• Slide 104الشريحة 104
• Slide 105الشريحة 105

A method by He et al. (ECCV 2018) that casts per-layer pruning ratio selection as reinforcement learning: a DDPG agent receives a layer embedding, outputs a sparsity ratio as a continuous action, and is rewarded by negative error subject to a FLOPs or latency constraint.طريقة قدمها He وزملاؤه (ECCV 2018) تصوغ اختيار نسبة الـ pruning لكل طبقة كمسألة تعلم معزز (reinforcement learning): يستقبل وكيل DDPG تمثيلًا للطبقة (layer embedding)، ويُخرج نسبة sparsity كفعل مستمر (continuous action)، ويُكافأ بسالب الخطأ مع مراعاة قيد على الـ FLOPs أو زمن الاستجابة (latency).

• Slide 27الشريحة 27
• Slide 28الشريحة 28
• Slide 29الشريحة 29
• Slide 30الشريحة 30
• Slide 31الشريحة 31
• Slide 32الشريحة 32

Operations performed per byte moved from memory; a GEMM with small K has low intensity and is bound by memory traffic and launch overhead, so halving its math with 2:4 sparsity barely helps, while a large-K GEMM is math bound and approaches the 2x ceiling.عدد العمليات المنفذة لكل بايت يُنقل من الذاكرة؛ عملية GEMM ذات K صغير تكون شدتها منخفضة ومحدودة بحركة الذاكرة وكلفة الإطلاق (launch overhead)، لذلك لا يفيد تنصيف حساباتها بـ 2:4 sparsity إلا قليلًا، بينما GEMM ذات K كبير تكون محدودة بالحساب (math bound) وتقترب من السقف 2x.

• Slide 83الشريحة 83

Choosing per-layer pruning ratios for an overall compression target with an algorithm instead of hand-tuned heuristics, as in AMC and NetAdapt.اختيار نسب الـ pruning لكل طبقة لتحقيق هدف ضغط إجمالي باستخدام خوارزمية بدلًا من قواعد تجريبية تُضبط يدويًا، كما في AMC و NetAdapt.

• Slide 24الشريحة 24
• Slide 25الشريحة 25
• Slide 26الشريحة 26
• Slide 33الشريحة 33

The EIE retrospective's first principle of efficient AI computing: avoid redundant computation, quickly reject the work, or delay the work; applied as spatial sparsity (SIGE, point clouds), token sparsity and progressive quantization (SpAtten) and temporal sparsity (TSM).المبدأ الأول للحوسبة الفعالة للذكاء الاصطناعي في استعراض EIE: تجنب الحسابات الزائدة، أو ارفض العمل بسرعة، أو أجّل العمل؛ ويُطبق في صورة spatial sparsity (مثل SIGE والسحب النقطية point clouds)، و token sparsity والتكميم التدريجي (SpAtten)، و temporal sparsity (مثل TSM).

• Slide 77الشريحة 77

Removing entire output channels (filters) of a convolution layer, which is coarse-grained weight pruning that shrinks the layer's weight matrix and keeps dense computation.إزالة قنوات إخراج كاملة (filters) من طبقة الالتفاف (convolution)، وهو pruning خشن الحبيبات (coarse-grained) للأوزان يصغّر مصفوفة أوزان الطبقة ويحافظ على الحساب الكثيف (dense).

• Slide 6الشريحة 6
• Slide 9الشريحة 9
• Slide 27الشريحة 27
• Slide 35الشريحة 35

EIE's weight storage format: for each column, the nonzero values with a small relative index (distance from the previous nonzero, padded when the gap is too large) and a pointer to where the column starts.صيغة تخزين الأوزان في EIE: لكل عمود تُخزَّن القيم غير الصفرية مع فهرس نسبي صغير (المسافة عن القيمة غير الصفرية السابقة، مع حشو padding عندما تكون الفجوة كبيرة جدًا) ومؤشر إلى موضع بداية العمود.

• Slide 65الشريحة 65
• Slide 68الشريحة 68

How uniform and batchable the matrix multiplies are; higher regularity uses the GPU better but, for sparse convolution, is bought with padded rows that add computation overhead.مدى تجانس عمليات ضرب المصفوفات وقابليتها للتجميع (batching)؛ الانتظام الأعلى يستغل الـ GPU بشكل أفضل، لكنه في الـ sparse convolution يأتي على حساب صفوف محشوة تضيف كلفة حسابية.

• Slide 102الشريحة 102
• Slide 103الشريحة 103
• Slide 104الشريحة 104
• Slide 105الشريحة 105

Deep Deterministic Policy Gradient, an actor-critic reinforcement learning algorithm for continuous action spaces; AMC uses it because a pruning ratio is a continuous value.اختصار Deep Deterministic Policy Gradient، وهي خوارزمية تعلم معزز من نوع actor-critic مخصصة لفضاءات الأفعال المستمرة؛ ويستخدمها AMC لأن نسبة الـ pruning قيمة مستمرة.

• Slide 27الشريحة 27

Han, Mao and Dally (ICLR 2016): a three-stage pipeline of pruning, trained quantization with a k-means codebook (weight sharing) and Huffman coding that shrinks AlexNet from 240 MB to 6.9 MB (35x) and VGG-16 by 49x with no accuracy loss, small enough to live in on-chip SRAM; EIE runs directly on its output.طريقة Han و Mao و Dally (ICLR 2016): خط معالجة من ثلاث مراحل هي الـ pruning، ثم التكميم المدرَّب (trained quantization) باستخدام codebook من k-means (أي weight sharing)، ثم ترميز Huffman (Huffman coding)؛ يصغّر AlexNet من 240 MB إلى 6.9 MB (35x) و VGG-16 بمقدار 49x دون أي خسارة في الدقة، فيصبح صغيرًا بما يكفي ليسكن في SRAM على الشريحة (on-chip)، ويعمل EIE مباشرةً على ناتجه.

• Slide 56الشريحة 56
• Slide 57الشريحة 57

The first DNN accelerator (Han et al., ISCA 2016) that runs directly on a sparse, compressed model, exploiting weight sparsity, activation sparsity and weight sharing with an array of processing elements and on-chip SRAM.أول مسرّع للشبكات العصبية العميقة (DNN accelerator) (Han وزملاؤه، ISCA 2016) يعمل مباشرةً على نموذج متناثر (sparse) ومضغوط، مستغلًا weight sparsity و activation sparsity و weight sharing عبر مصفوفة من وحدات المعالجة (processing elements) وذاكرة SRAM على الشريحة.

• Slide 55الشريحة 55
• Slide 56الشريحة 56
• Slide 57الشريحة 57
• Slide 58الشريحة 58
• Slide 73الشريحة 73
• Slide 74الشريحة 74
• Slide 75الشريحة 75
• Slide 76الشريحة 76
• Slide 77الشريحة 77

Continuing to train the surviving weights after pruning to recover accuracy, usually with a learning rate 1/10 to 1/100 of the original training rate.متابعة تدريب الأوزان المتبقية بعد الـ pruning لاستعادة الدقة، وعادةً بمعدل تعلم يساوي 1/10 إلى 1/100 من معدل التدريب الأصلي.

• Slide 43الشريحة 43
• Slide 44الشريحة 44
• Slide 51الشريحة 51

The GPU pipeline for sparse convolution: gather the input feature rows named by the map for one weight offset, multiply by that weight matrix, then scatter-accumulate partial sums to the output rows.خط المعالجة على الـ GPU للـ sparse convolution: اجمع (gather) صفوف خصائص الإدخال التي تحددها الـ map لإزاحة وزن واحدة، واضربها في مصفوفة ذلك الوزن، ثم وزّع (scatter) المجاميع الجزئية وأضفها إلى صفوف الإخراج.

• Slide 95الشريحة 95
• Slide 96الشريحة 96
• Slide 97الشريحة 97
• Slide 98الشريحة 98
• Slide 101الشريحة 101

A fused, output-stationary sparse convolution kernel (SpConv v2, TorchSparse++) in which each thread block owns a tile of output rows, walks the kernel weights and fetches matching input rows on demand, overlapping loads with tensor-core work; lockstep execution adds redundant multiplies that row reordering and column splitting trim (12 to 10 to 8 on the slide).نواة sparse convolution مدمجة (fused) من نوع output-stationary (في SpConv v2 و TorchSparse++)، تملك فيها كل كتلة خيوط (thread block) قطعة من صفوف الإخراج، وتمر على أوزان النواة وتجلب صفوف الإدخال المطابقة عند الحاجة، مع مداخلة التحميل مع عمل الـ tensor cores؛ والتنفيذ المتزامن (lockstep) يضيف عمليات ضرب زائدة يقلّصها إعادة ترتيب الصفوف (row reordering) وتقسيم الأعمدة (column splitting) (من 12 إلى 10 إلى 8 في الشريحة).

• Slide 108الشريحة 108
• Slide 109الشريحة 109

Repeating prune-then-fine-tune iterations while gradually raising the target sparsity, which boosted AlexNet's pruning ratio from 5x to 9x compared with single-step aggressive pruning.تكرار دورات pruning ثم ضبط دقيق (fine-tune) مع رفع الـ sparsity المستهدفة تدريجيًا، وقد رفع هذا نسبة الـ pruning في AlexNet من 5x إلى 9x مقارنة بالـ pruning العنيف في خطوة واحدة.

• Slide 44الشريحة 44
• Slide 45الشريحة 45
• Slide 46الشريحة 46
• Slide 47الشريحة 47
• Slide 48الشريحة 48
• Slide 49الشريحة 49
• Slide 50الشريحة 50
• Slide 51الشريحة 51

||W||_0, the count of nonzero entries in a weight tensor; the pruning constraint bounds it by the target number of nonzeros N.||W||_0 هو عدد العناصر غير الصفرية في موتر الأوزان (weight tensor)، وقيد الـ pruning يحدّه بالعدد المستهدف من القيم غير الصفرية N.

• Slide 3الشريحة 3
• Slide 41الشريحة 41
• Slide 53الشريحة 53

Pre-measured per-layer latencies on the target device for different channel counts, used by NetAdapt so that pruning decisions track real latency rather than FLOPs.أزمنة استجابة مقاسة مسبقًا لكل طبقة على الجهاز المستهدف ولأعداد مختلفة من القنوات، يستخدمها NetAdapt حتى تتبع قرارات الـ pruning زمن الاستجابة الحقيقي وليس الـ FLOPs.

• Slide 29الشريحة 29
• Slide 35الشريحة 35

The state vector s_t = [N, C, H, W, i, ...] that AMC feeds its agent, summarizing the current layer's index, shape, kernel size and FLOPs budget context.متجه الحالة s_t = [N, C, H, W, i, ...] الذي يمرره AMC إلى الوكيل، ويلخص رقم الطبقة الحالية وشكلها وحجم النواة (kernel size) وسياق ميزانية الـ FLOPs.

• Slide 27الشريحة 27
• Slide 28الشريحة 28

The compounding effect of pruning several layers at once, which sensitivity analysis ignores because it sweeps one layer at a time, making its per-layer rates sub-optimal.الأثر المتراكم لتطبيق الـ pruning على عدة طبقات في آن واحد، وهو ما يتجاهله تحليل الحساسية (sensitivity analysis) لأنه يمسح طبقة واحدة في كل مرة، فتكون النسب التي يعطيها لكل طبقة غير مثلى.

• Slide 23الشريحة 23
• Slide 24الشريحة 24

How much accuracy a network loses when one layer alone is pruned at a given ratio; sensitive layers such as the first layer lose accuracy quickly, redundant layers tolerate high ratios.مقدار ما تخسره الشبكة من دقة عند تطبيق الـ pruning على طبقة واحدة فقط بنسبة معينة؛ الطبقات الحساسة مثل الطبقة الأولى تفقد دقتها بسرعة، بينما الطبقات التي فيها تكرار (redundant) تتحمل نسبًا عالية.

• Slide 10الشريحة 10
• Slide 18الشريحة 18

The EIE unit that scans an activation vector after ReLU to find the next nonzero activation and its index so zero activations are never broadcast.وحدة في EIE تمسح متجه الـ activations بعد ReLU لإيجاد الـ activation غير الصفري التالي وفهرسه، حتى لا يُبث أي activation صفري أبدًا.

• Slide 65الشريحة 65
• Slide 67الشريحة 67
• Slide 71الشريحة 71

Keeping all PEs busy despite uneven numbers of nonzeros per column, achieved in EIE with an activation FIFO queue that lets PEs run ahead.إبقاء كل وحدات المعالجة (PEs) مشغولة رغم تفاوت عدد القيم غير الصفرية في كل عمود، ويتحقق ذلك في EIE بطابور activations من نوع FIFO يسمح للـ PEs بأن تسبق غيرها.

• Slide 65الشريحة 65
• Slide 66الشريحة 66

The single fine-tune to convergence that NetAdapt runs once the latency budget is met, repairing the accumulated cuts of the final architecture; its result, 1.8 to 4.5 points above the last short-term number in the paper, is the accuracy that gets reported.ضبط دقيق واحد حتى التقارب (convergence) يُجريه NetAdapt بعد تحقق ميزانية زمن الاستجابة، ليصلح القطع المتراكمة في البنية النهائية؛ ونتيجته، التي تزيد في الورقة بمقدار 1.8 إلى 4.5 نقطة عن آخر قيمة قصيرة المدى، هي الدقة التي يُبلَّغ عنها.

• Slide 39الشريحة 39

Fine-grained structured sparsity written a:b, in which at most a of every b consecutive weights along a row are nonzero (the slides write M:N, papers usually N:M); NVIDIA Ampere tensor cores support 2:4, storing R x C/2 values plus R x C/2 two-bit indices.sparsity منظمة دقيقة الحبيبات تُكتب a:b، وفيها يكون على الأكثر a من كل b أوزان متتالية على طول الصف غير صفري (الشرائح تكتب M:N، والأوراق غالبًا تكتب N:M)؛ وتدعم tensor cores في NVIDIA Ampere النمط 2:4، فتخزن R x C/2 قيمة بالإضافة إلى R x C/2 فهرسًا من 2 بت.

• Slide 79الشريحة 79
• Slide 80الشريحة 80
• Slide 81الشريحة 81

A heuristic criterion that treats weights with larger absolute value as more important, Importance = |W| for element-wise pruning, and removes the smallest.معيار تجريبي (heuristic) يعتبر الأوزان ذات القيمة المطلقة الأكبر أكثر أهمية، أي Importance = |W| في الإزالة على مستوى العنصر (element-wise)، ثم يزيل الأصغر منها.

• Slide 5الشريحة 5

PointAcc's hardware block that shifts input coordinates by a kernel offset, merge-sorts them with the output coordinates, and emits an (In, Out, Wgt) tuple for every pair of equal neighbors.كتلة العتاد في PointAcc التي تزيح إحداثيات الإدخال بإزاحة النواة، وتدمجها وترتبها (merge-sort) مع إحداثيات الإخراج، وتُصدر ثلاثية (In, Out, Wgt) لكل زوج من الجيران المتساويين.

• Slide 111الشريحة 111
• Slide 112الشريحة 112

The list of tuples that drives sparse convolution: input point P, output point Q and the kernel weight offset W_(dx,dy) relating them; for each entry f_out = f_out + f_in x W_wgt.قائمة الثلاثيات التي تقود الـ sparse convolution: نقطة الإدخال P ونقطة الإخراج Q وإزاحة وزن النواة W_(dx,dy) التي تربطهما؛ ولكل مُدخل في القائمة f_out = f_out + f_in x W_wgt.

• Slide 89الشريحة 89
• Slide 90الشريحة 90
• Slide 91الشريحة 91
• Slide 93الشريحة 93

A rule-based automatic pruning method (Yang et al., ECCV 2018) that repeatedly reduces latency by a fixed step Delta R by pruning the single layer whose short-term fine-tuned accuracy is highest, using a measured latency lookup table, until a latency budget is met, then long-term fine-tunes.طريقة pruning آلية قائمة على القواعد (Yang وزملاؤه، ECCV 2018) تخفض زمن الاستجابة مرارًا بخطوة ثابتة Delta R، وذلك بتطبيق الـ pruning على الطبقة الواحدة التي تعطي أعلى دقة بعد ضبط دقيق قصير المدى (short-term fine-tuning)، مستعينة بجدول زمن استجابة مُقاس (latency lookup table)، حتى تتحقق ميزانية زمن الاستجابة، ثم تُجري ضبطًا دقيقًا طويل المدى (long-term fine-tuning).

• Slide 33الشريحة 33
• Slide 34الشريحة 34
• Slide 35الشريحة 35
• Slide 36الشريحة 36
• Slide 37الشريحة 37
• Slide 38الشريحة 38
• Slide 39الشريحة 39
• Slide 40الشريحة 40

Liu et al. (ICCV 2017): train with an L1 penalty lambda sum |gamma| on the per-channel batch normalization scaling factors, prune the channels whose gamma falls below a global percentile threshold, then fine-tune; a channel-level use of regularization that reports a 20x smaller VGGNet with 5x fewer operations.طريقة Liu وزملائه (ICCV 2017): التدريب مع عقوبة L1 هي lambda sum |gamma| على معاملات التحجيم لكل قناة في batch normalization، ثم إزالة القنوات التي تقع gamma فيها تحت حد مئيني (percentile) عام، ثم الضبط الدقيق؛ وهو استخدام للـ regularization على مستوى القناة، ويُبلغ عن VGGNet أصغر 20x مع عمليات أقل 5x.

• Slide 52الشريحة 52

Removing whole neurons from a linear layer, equivalent to deleting a full row of its weight matrix.إزالة خلايا عصبية كاملة من طبقة خطية (linear layer)، وهذا يكافئ حذف صف كامل من مصفوفة أوزانها.

• Slide 6الشريحة 6

The fraction of all weights removed when every layer is pruned at its own rate, R = sum_i r_i N_i over sum_i N_i, a parameter-weighted average rather than the mean of the per-layer rates; the threshold T is tuned until R meets the target, and the compression factor is 1 / (1 - R).نسبة كل الأوزان التي أُزيلت عندما تُطبَّق على كل طبقة نسبتها الخاصة، وتساوي R = sum_i r_i N_i مقسومًا على sum_i N_i، أي متوسط مرجّح بعدد المعاملات وليس متوسط نسب الطبقات؛ ويُضبط الحد T حتى تحقق R الهدف، ومعامل الضغط (compression factor) هو 1 / (1 - R).

• Slide 21الشريحة 21
• Slide 22الشريحة 22

A point-cloud accelerator (Lin et al., MICRO 2021) whose mapping unit builds sparse convolution maps in hardware with merge sort instead of hash tables, delivering large speedup and energy savings over GPUs.مسرّع للسحب النقطية (Lin وزملاؤه، MICRO 2021) تبني فيه وحدة الربط (mapping unit) خرائط الـ sparse convolution في العتاد باستخدام merge sort بدلًا من جداول التجزئة (hash tables)، فيحقق تسريعًا كبيرًا وتوفيرًا في الطاقة مقارنة بالـ GPUs.

• Slide 110الشريحة 110
• Slide 111الشريحة 111
• Slide 112الشريحة 112
• Slide 113الشريحة 113

One EIE compute unit that owns a round-robin subset of weight-matrix rows, stores them in compressed form in its own SRAM, and multiplies every broadcast nonzero activation by its matching nonzero weights.وحدة حساب واحدة في EIE تملك مجموعة فرعية من صفوف مصفوفة الأوزان موزعة بالتناوب (round-robin)، وتخزنها بصيغة مضغوطة في SRAM الخاصة بها، وتضرب كل activation غير صفري يُبث إليها في الأوزان غير الصفرية المقابلة له.

• Slide 58الشريحة 58
• Slide 59الشريحة 59
• Slide 60الشريحة 60
• Slide 65الشريحة 65

Removing weights or whole neurons and channels from a trained neural network to reduce parameters and computation, formulated as minimizing the loss L(x; W_P) subject to the number of nonzeros ||W_P||_0 staying at or below a budget N.إزالة أوزان أو خلايا عصبية وقنوات كاملة من شبكة عصبية مدرّبة لتقليل عدد المعاملات والحسابات، وتُصاغ كمسألة تقليل الخسارة L(x; W_P) بشرط أن يبقى عدد القيم غير الصفرية ||W_P||_0 أقل من أو يساوي ميزانية N.

• Slide 3الشريحة 3
• Slide 41الشريحة 41
• Slide 53الشريحة 53
• Slide 114الشريحة 114

The pattern in which weights are removed, from irregular fine-grained (individual weights) through pattern-based, vector and kernel level to regular channel-level pruning; finer is more flexible, coarser is more hardware friendly.النمط الذي تُزال به الأوزان، بدءًا من الإزالة الدقيقة غير المنتظمة (fine-grained، أي أوزان منفردة)، مرورًا بالإزالة القائمة على الأنماط (pattern-based) ثم على مستوى المتجه (vector) والنواة (kernel)، وصولًا إلى الإزالة المنتظمة على مستوى القناة (channel-level)؛ كلما كانت أدق كانت أكثر مرونة، وكلما كانت أخشن كانت أنسب للعتاد.

• Slide 4الشريحة 4
• Slide 6الشريحة 6

The fraction of a layer's weights (or channels) removed by pruning; sparsity is the fraction of zeros that results, and the ratio may differ per layer.نسبة أوزان الطبقة (أو قنواتها) التي يزيلها الـ pruning، أما الـ sparsity فهي نسبة الأصفار الناتجة، ويمكن أن تختلف هذه النسبة من طبقة إلى أخرى.

• Slide 8الشريحة 8
• Slide 10الشريحة 10
• Slide 18الشريحة 18
• Slide 23الشريحة 23

r = 1 minus theoretical FLOPs over actual FLOPs for a padded group of weight offsets; adaptive grouping extends a group while r stays at or below the tolerance epsilon, and a second threshold S decides whether a group runs as a batched matmul or, when its largest map already fills the GPU, as a plain matmul.r = 1 ناقص (الـ FLOPs النظرية مقسومة على الـ FLOPs الفعلية) لمجموعة محشوة من إزاحات الأوزان؛ يوسّع الـ adaptive grouping المجموعة ما دامت r أقل من أو تساوي حد التسامح epsilon، وهناك حد ثانٍ S يقرر هل تعمل المجموعة كـ batched matmul، أم كـ matmul عادي عندما تكون أكبر map فيها تملأ الـ GPU بالفعل.

• Slide 104الشريحة 104
• Slide 105الشريحة 105

Adding a penalty to the training loss to penalize nonzero and encourage smaller parameters: L1 gives L' = L(x; W) + lambda |W| and L2 gives L' = L(x; W) + lambda ||W||^2; magnitude pruning uses L2 on weights and Network Slimming uses an L1 penalty (the slide says smooth-L1) on the batch norm channel scaling factors.إضافة عقوبة (penalty) إلى خسارة التدريب تعاقب المعاملات غير الصفرية وتشجع المعاملات الأصغر: L1 تعطي L' = L(x; W) + lambda |W|، و L2 تعطي L' = L(x; W) + lambda ||W||^2؛ يستخدم الـ magnitude pruning عقوبة L2 على الأوزان، ويستخدم Network Slimming عقوبة L1 (والشريحة تقول smooth-L1) على معاملات التحجيم لكل قناة في batch norm.

• Slide 52الشريحة 52

The amount of latency (or another resource) that each NetAdapt iteration must remove, Con = Res minus Delta R; the slides treat it as a manually defined constant, the paper sets an initial value that decays every iteration, like a learning-rate schedule, and smaller steps take more iterations but end slightly more accurate.مقدار زمن الاستجابة (أو أي مورد آخر) الذي يجب أن تزيله كل تكرار في NetAdapt، أي Con = Res ناقص Delta R؛ تعامله الشرائح كثابت يُحدد يدويًا، أما الورقة فتضع قيمة ابتدائية تتناقص مع كل تكرار، مثل جدول معدل التعلم (learning-rate schedule)، والخطوات الأصغر تحتاج تكرارات أكثر لكنها تنتهي بدقة أعلى قليلًا.

• Slide 34الشريحة 34
• Slide 38الشريحة 38

The procedure of pruning each layer L_i in isolation at ratios r in {0, 0.1, ..., 0.9}, recording the accuracy degradation Delta Acc_r^i, and repeating for all layers to obtain a per-layer accuracy versus ratio curve.إجراء يطبّق الـ pruning على كل طبقة L_i بمفردها بنسب r ضمن {0, 0.1, ..., 0.9}، ويسجّل تراجع الدقة Delta Acc_r^i، ثم يكرر ذلك لكل الطبقات للحصول على منحنى الدقة مقابل النسبة لكل طبقة.

• Slide 11الشريحة 11
• Slide 12الشريحة 12
• Slide 13الشريحة 13
• Slide 14الشريحة 14
• Slide 15الشريحة 15
• Slide 16الشريحة 16
• Slide 17الشريحة 17
• Slide 18الشريحة 18

The by-product of NetAdapt's loop: each iteration's winning network already satisfies its own, slightly looser, constraint, so Net_1 to Net_i form a deployable accuracy versus latency frontier from one run, with the number of models equal to the number of iterations (the slide writes serial of models).ناتج جانبي لحلقة NetAdapt: الشبكة الفائزة في كل تكرار تحقق بالفعل قيدها الخاص الأقل صرامة قليلًا، لذلك تشكّل Net_1 إلى Net_i حدًّا (frontier) من النماذج القابلة للنشر للدقة مقابل زمن الاستجابة من تشغيل واحد، وعدد النماذج يساوي عدد التكرارات (والشريحة تكتبها serial of models).

• Slide 40الشريحة 40

The brief fine-tune (about 10k iterations on the slides) that NetAdapt applies to every per-layer proposal inside an iteration so that their accuracies can be ranked; without it the pruned proposals collapse to near-zero accuracy and the pick becomes noise.ضبط دقيق قصير (حوالي 10k تكرار في الشرائح) يطبقه NetAdapt على كل مقترح طبقة داخل التكرار الواحد حتى يمكن ترتيب دقتها؛ وبدونه تنهار دقة المقترحات بعد الـ pruning إلى ما يقارب الصفر ويصبح الاختيار مجرد ضوضاء.

• Slide 36الشريحة 36
• Slide 37الشريحة 37

Convolution over sparse inputs such as point clouds that computes outputs only at positions where inputs exist, keeping output sparsity equal to input sparsity, implemented as a sparse set of dense matrix multiplies defined by maps.التفاف (convolution) على مدخلات متناثرة مثل السحب النقطية (point clouds) يحسب المخرجات فقط في المواضع التي توجد فيها مدخلات، فتبقى sparsity المخرجات مساوية لـ sparsity المدخلات، ويُنفذ كمجموعة متناثرة من عمليات ضرب مصفوفات كثيفة تحددها الـ maps.

• Slide 86الشريحة 86
• Slide 87الشريحة 87
• Slide 88الشريحة 88
• Slide 91الشريحة 91
• Slide 92الشريحة 92

An Ampere tensor core mode that uses the 2:4 metadata to select only the activation operands paired with nonzero weights, roughly doubling GEMM throughput with no accuracy loss after fine-tuning.وضع في tensor core الخاصة بـ Ampere يستخدم البيانات الوصفية (metadata) لنمط 2:4 لاختيار معاملات الـ activation المقترنة بالأوزان غير الصفرية فقط، فيضاعف تقريبًا إنتاجية GEMM دون أي خسارة في الدقة بعد الضبط الدقيق.

• Slide 82الشريحة 82
• Slide 83الشريحة 83

Static sparsity is fixed at deployment (pruned weights); dynamic sparsity depends on the input at run time (activations after ReLU, point-cloud occupancy), so hardware must detect it on the fly.الـ sparsity الساكنة (static) ثابتة عند النشر (الأوزان التي أُزيلت)، أما الـ sparsity الديناميكية (dynamic) فتعتمد على المدخلات وقت التشغيل (الـ activations بعد ReLU، أو إشغال السحابة النقطية)، لذلك يجب أن يكتشفها العتاد لحظيًا.

• Slide 57الشريحة 57
• Slide 67الشريحة 67
• Slide 86الشريحة 86

Graham et al.'s name for what dense convolution does to sparse input: one active site becomes 3^d active sites after one 3^d convolution and 5^d after two, so a thin surface thickens into a slab and the sparsity is gone within a few layers; on the slide grid 4 of 20 cells become 17 of 20. Submanifold sparse convolution avoids it by computing outputs only at input positions.الاسم الذي أطلقه Graham وزملاؤه على ما يفعله الالتفاف الكثيف بالمدخلات المتناثرة: الموقع النشط الواحد يصبح 3^d موقعًا نشطًا بعد التفاف واحد من حجم 3^d، و 5^d بعد التفافين، فيتحول السطح الرقيق إلى كتلة سميكة وتختفي الـ sparsity خلال طبقات قليلة؛ وفي شبكة الشريحة تصبح 4 من 20 خلية 17 من 20. ويتجنب الـ submanifold sparse convolution ذلك بحساب المخرجات فقط في مواضع المدخلات.

• Slide 86الشريحة 86
• Slide 87الشريحة 87
• Slide 88الشريحة 88

An efficient point-cloud inference engine (Tang et al., MLSys 2022) that speeds sparse convolution with locality-aware gather and scatter and adaptive grouping of matmuls, trading a little padded computation for regularity.محرك استدلال (inference) فعال للسحب النقطية (Tang وزملاؤه، MLSys 2022) يسرّع الـ sparse convolution عبر gather و scatter يراعيان المحلية (locality-aware) وتجميع تكيفي (adaptive grouping) لعمليات matmul، مقابل قليل من الحسابات المحشوة (padded) لكسب الانتظام.

• Slide 101الشريحة 101
• Slide 102الشريحة 102
• Slide 103الشريحة 103
• Slide 104الشريحة 104
• Slide 105الشريحة 105
• Slide 106الشريحة 106
• Slide 107الشريحة 107

The successor engine that overlaps memory movement (gather and scatter) with computation by pipelining the phases, along with a sparse kernel generator and autotuner.المحرك اللاحق الذي يداخل (overlap) حركة الذاكرة (gather و scatter) مع الحساب عبر جعل المراحل تعمل كخط أنابيب (pipelining)، إلى جانب مولّد لنوى الحساب المتناثرة (sparse kernel generator) وأداة ضبط آلي (autotuner).

• Slide 108الشريحة 108
• Slide 109الشريحة 109

Scaling every layer's width by the same factor (for example the 0.75 MobileNet width multiplier); it is dominated by non-uniform per-layer pruning on the accuracy versus latency curve.تصغير عرض كل الطبقات بالمعامل نفسه (مثل معامل العرض 0.75 في MobileNet، أي width multiplier)؛ ويتفوق عليه الـ pruning غير المنتظم الذي يحدد نسبة لكل طبقة على منحنى الدقة مقابل زمن الاستجابة (latency).

• Slide 9الشريحة 9
• Slide 32الشريحة 32
• Slide 40الشريحة 40

Store weights in 4 bits, decode them to 16 bits and compute in 16 bits, the storage trick EIE used with a codebook that the 2023 retrospective sees reborn (with linear integer weights) in single-batch LLM decoding engines such as GPTQ, AWQ, llama.cpp and MLC LLM.تخزين الأوزان بـ 4 بت، وفكها إلى 16 بت، والحساب بـ 16 بت؛ وهي حيلة التخزين التي استخدمها EIE مع codebook، ويرى استعراض 2023 أنها عادت للحياة (مع أوزان صحيحة خطية) في محركات فك ترميز الـ LLM بدفعة واحدة (single-batch) مثل GPTQ و AWQ و llama.cpp و MLC LLM.

• Slide 76الشريحة 76

Quantizing weights to a small per-layer codebook so each weight is stored as a 4-bit index and decoded to a full value at compute time, giving EIE an 8x smaller memory footprint.تكميم الأوزان إلى codebook صغير لكل طبقة بحيث يُخزَّن كل وزن كفهرس من 4 بت (4-bit index) ويُفك إلى قيمته الكاملة وقت الحساب، مما يعطي EIE بصمة ذاكرة أصغر 8x.

• Slide 57الشريحة 57
• Slide 69الشريحة 69

Zeros in the weight matrix that are fixed after training (static sparsity, about 90 percent in EIE's models), letting hardware skip stored values and multiplications since 0 times A = 0.أصفار في مصفوفة الأوزان تكون ثابتة بعد التدريب (sparsity ساكنة، حوالي 90 بالمئة في نماذج EIE)، تتيح للعتاد تخطي القيم المخزنة وعمليات الضرب لأن 0 × A = 0.

• Slide 55الشريحة 55
• Slide 57الشريحة 57
• Slide 68الشريحة 68

The dataflow of the existing GPU sparse convolution: hold one offset's C_in x C_out weight matrix still and stream every map entry for that offset through it as gather, matmul, scatter, launching a separate matmul per weight; contrasted with output-stationary implicit GEMM, where each thread block owns a tile of outputs and walks all the weights.تدفق البيانات في الـ sparse convolution الحالي على الـ GPU: تثبيت مصفوفة الأوزان C_in x C_out لإزاحة واحدة، وتمرير كل مُدخلات الـ map لتلك الإزاحة عبرها بأسلوب gather ثم matmul ثم scatter، مع إطلاق matmul منفصل لكل وزن؛ ويقابله الـ implicit GEMM من نوع output-stationary، حيث تملك كل كتلة خيوط (thread block) قطعة من المخرجات وتمر على كل الأوزان.

• Slide 96الشريحة 96
• Slide 97الشريحة 97