Glossaryالمصطلحات

Two of every four contiguous weights are zero (50 percent sparsity), stored as nonzero values plus 2-bit indices and accelerated about 2x on NVIDIA Ampere GPUs.اثنان من كل أربعة أوزان متجاورة يساويان صفرًا (تفرق sparsity بنسبة 50 بالمئة)، وتُخزن كقيم غير صفرية مع فهارس بعرض 2 بت، ويُسرَّع الحساب بنحو 2x على وحدات NVIDIA Ampere.

• Slide 13الشريحة 13
• Slide 21الشريحة 21
• Slide 22الشريحة 22

Zeros in a layer's activations, mostly produced by ReLU; a MAC is skipped only when the weight or the input activation is zero, and APoZ measures this fraction per channel.الأصفار في مخرجات تنشيط الطبقة (activations)، وأغلبها ناتج عن ReLU؛ لا تُتخطى عملية MAC إلا إذا كان الوزن أو تنشيط الدخل صفرًا، ويقيس APoZ هذه النسبة لكل قناة (channel).

• Slide 11الشريحة 11
• Slide 39الشريحة 39

AutoML for Model Compression, which finds per-layer pruning ratios and achieves higher ImageNet accuracy than uniform scaling at the same latency.AutoML for Model Compression، وهي طريقة تجد نسب تقليم خاصة بكل طبقة وتحقق دقة أعلى على ImageNet من التصغير المنتظم (uniform scaling) عند زمن الاستجابة (latency) نفسه.

• Slide 25الشريحة 25

Average Percentage of Zeros: the fraction of zero ReLU activations of a channel over batch and spatial positions; smaller APoZ means a more important neuron.متوسط نسبة الأصفار Average Percentage of Zeros: نسبة تنشيطات ReLU الصفرية في القناة عبر الدفعة (batch) والمواقع المكانية؛ وكلما صغرت APoZ كان العصبون أكثر أهمية.

• Slide 39الشريحة 39
• Slide 40الشريحة 40

The gamma in z_o = gamma (z_i - mu_B)/sqrt(sigma_B^2 + epsilon) + beta, reused as the per-channel scaling factor for pruning.المعامل gamma في z_o = gamma (z_i - mu_B)/sqrt(sigma_B^2 + epsilon) + beta، ويُعاد استخدامه معاملَ تحجيم (scaling factor) لكل قناة من أجل التقليم.

• Slide 33الشريحة 33

Removing whole channels so the network has fewer channels; gives direct speedup but a smaller compression ratio.حذف قنوات (channels) كاملة بحيث يصبح عدد القنوات في الشبكة أقل؛ يعطي تسريعًا مباشرًا لكن بنسبة ضغط (compression ratio) أصغر.

• Slide 18الشريحة 18
• Slide 23الشريحة 23
• Slide 24الشريحة 24
• Slide 25الشريحة 25
• Slide 41الشريحة 41
• Slide 42الشريحة 42

beta, a vector of length c_i where beta_c = 0 prunes input channel c, constrained by ||beta||_0 <= N_c.beta، متجه طوله c_i حيث beta_c = 0 تعني تقليم قناة الدخل c، مع القيد ||beta||_0 <= N_c.

• Slide 42الشريحة 42

Pruning whole structures such as rows or channels; less flexible, a subset of fine-grained choices, but easy to accelerate because the result is a smaller dense matrix.تقليم بنى كاملة مثل الصفوف أو القنوات (channels)؛ وهو أقل مرونة، وخياراته مجموعة جزئية من خيارات التقليم دقيق الحبيبية (fine-grained)، لكنه سهل التسريع لأن الناتج مصفوفة كثيفة (dense) أصغر.

• Slide 15الشريحة 15
• Slide 38الشريحة 38

A convolution weight tensor has shape [c_o, c_i, k_h, k_w]: output channels (filters), input channels, kernel height and kernel width.موتر أوزان الالتفاف (convolution weight tensor) شكله [c_o, c_i, k_h, k_w]: قنوات الخرج (المرشحات filters)، وقنوات الدخل، وارتفاع النواة (kernel)، وعرض النواة.

• Slide 16الشريحة 16
• Slide 17الشريحة 17

Efficient Inference Engine (Han et al., ISCA 2016), a custom accelerator that holds a pruned model in on-chip SRAM and skips zero weights and activations; the example of hardware that turns fine-grained sparsity into speed.محرك الاستدلال الفعال Efficient Inference Engine (Han et al., ISCA 2016)، وهو مسرّع مخصص (accelerator) يحتفظ بالنموذج المقلَّم في ذاكرة SRAM على الشريحة ويتخطى الأوزان والتنشيطات الصفرية؛ وهو المثال على عتاد يحوّل التفرق دقيق الحبيبية (fine-grained sparsity) إلى سرعة فعلية.

• Slide 13الشريحة 13
• Slide 19الشريحة 19

Removing whole output channels (filters, W[o, :, :, :]) of a convolution layer, which also deletes the matching input channel of the next layer; Li et al. score each filter by the sum of its absolute kernel weights.حذف قنوات خرج كاملة (المرشحات filters، أي W[o, :, :, :]) من طبقة الالتفاف، مما يحذف أيضًا قناة الدخل المقابلة في الطبقة التالية؛ ويقيّم Li et al. كل مرشح بمجموع القيم المطلقة لأوزان نواته.

• Slide 18الشريحة 18
• Slide 32الشريحة 32
• Slide 38الشريحة 38

Pruning any individual weight; most flexible pruning indices and usually the largest compression ratio, but irregular and hard to accelerate on GPUs.تقليم أي وزن مفرد؛ وهو الأكثر مرونة في اختيار مواقع التقليم ويعطي عادة أكبر نسبة ضغط (compression ratio)، لكنه غير منتظم ويصعب تسريعه على وحدات GPU.

• Slide 15الشريحة 15
• Slide 18الشريحة 18
• Slide 19الشريحة 19
• Slide 20الشريحة 20

Retraining the remaining weights after pruning to recover the accuracy lost by removing connections.إعادة تدريب الأوزان المتبقية بعد التقليم لاستعادة الدقة (accuracy) التي فُقدت بحذف الوصلات.

• Slide 9الشريحة 9
• Slide 10الشريحة 10
• Slide 22الشريحة 22

||A||_F, the square root of the sum of the squared entries of a matrix; its square in the reconstruction error is the total squared error over the whole layer output.||A||_F، الجذر التربيعي لمجموع مربعات عناصر المصفوفة؛ ومربعه في خطأ إعادة البناء (reconstruction error) هو مجموع مربعات الخطأ على كامل مخرجات الطبقة.

• Slide 41الشريحة 41
• Slide 42الشريحة 42

The matrix of second derivatives h_ij of the loss with respect to weights; its diagonal h_ii is non-negative and costly to compute.مصفوفة المشتقات الثانية h_ij للخسارة بالنسبة للأوزان؛ قطرها h_ii غير سالب ومكلف حسابيًا.

• Slide 34الشريحة 34
• Slide 36الشريحة 36

The positions a sparse format (CSR, CSC, COO or the 2:4 index strip) stores next to surviving weights; fine-grained pruning pays one index per weight, coarser units share one index per unit, and channel pruning needs none.المواقع (indices) التي يخزنها تنسيق المصفوفات المتفرقة (CSR أو CSC أو COO أو شريط الفهارس في 2:4) بجانب الأوزان الباقية؛ التقليم دقيق الحبيبية يدفع فهرسًا واحدًا لكل وزن، والوحدات الأخشن تتشارك فهرسًا واحدًا لكل وحدة، وتقليم القنوات (channel pruning) لا يحتاج أي فهرس.

• Slide 18الشريحة 18
• Slide 19الشريحة 19
• Slide 21الشريحة 21

Repeating the prune then retrain loop several times, reaching higher pruning ratios without accuracy loss than one-shot pruning.تكرار حلقة التقليم ثم إعادة التدريب عدة مرات، مما يصل إلى نسب تقليم أعلى دون فقدان في الدقة مقارنة بالتقليم دفعة واحدة (one-shot pruning).

• Slide 10الشريحة 10

Removing entire k_h by k_w kernels from a convolution weight tensor.حذف أنوية (kernels) كاملة بحجم k_h في k_w من موتر أوزان الالتفاف (convolution weight tensor).

• Slide 18الشريحة 18

The count of nonzero entries in a weight tensor, written ||W_P||_0; used as the constraint in the pruning formulation.عدد العناصر غير الصفرية في موتر الأوزان (weight tensor)، ويُكتب ||W_P||_0، ويُستخدم قيدًا في الصياغة الرياضية للتقليم.

• Slide 5الشريحة 5
• Slide 42الشريحة 42

Importance of a structural set equal to the sum of absolute values of its weights.أهمية المجموعة البنيوية (structural set) وتساوي مجموع القيم المطلقة لأوزانها.

• Slide 28الشريحة 28
• Slide 29الشريحة 29

Importance of a structural set equal to the square root of the sum of squared weights.أهمية المجموعة البنيوية (structural set) وتساوي الجذر التربيعي لمجموع مربعات أوزانها.

• Slide 30الشريحة 30
• Slide 31الشريحة 31

Replacing the NP-hard L0 constraint on beta with an L1 penalty lambda ||beta||_1, so channel selection becomes a LASSO regression with a sparse solution, alternated with least-squares reconstruction of W.استبدال قيد L0 على beta، وهو مسألة NP-hard، بعقوبة L1 هي lambda ||beta||_1، فيصبح اختيار القنوات انحدار LASSO ذا حل متفرق (sparse)، ويُناوَب ذلك مع إعادة بناء W بطريقة المربعات الصغرى (least-squares).

• Slide 42الشريحة 42

||W^(S)||_p = (sum over i in S of |w_i|^p)^(1/p), the general magnitude measure for a structural set.||W^(S)||_p = (مجموع |w_i|^p على كل i في S)^(1/p)، وهو المقياس العام لمقدار المجموعة البنيوية (structural set).

• Slide 31الشريحة 31

Multiply-accumulate operations, a measure of the compute cost of a network, reported alongside parameter reduction.عمليات الضرب ثم الجمع التراكمي (Multiply-accumulate)، وهي مقياس للتكلفة الحسابية للشبكة، وتُذكر جنبًا إلى جنب مع مقدار تقليل المعاملات (parameters).

• Slide 11الشريحة 11

The cut-off below which weights are removed in magnitude-based pruning; Han et al. set it per layer as a quality parameter times the standard deviation of that layer's weights.الحد الذي تُحذف تحته الأوزان في التقليم المعتمد على المقدار (magnitude-based pruning)؛ وقد حدده Han et al. لكل طبقة على أنه معامل جودة (quality parameter) مضروبًا في الانحراف المعياري لأوزان تلك الطبقة.

• Slide 7الشريحة 7
• Slide 8الشريحة 8
• Slide 28الشريحة 28

A heuristic criterion that treats weights with larger absolute values as more important; element-wise importance is |W|.معيار تجريبي (heuristic) يعدّ الأوزان ذات القيم المطلقة الأكبر أكثر أهمية؛ وأهمية العنصر المفرد هي |W|.

• Slide 28الشريحة 28
• Slide 29الشريحة 29
• Slide 30الشريحة 30
• Slide 31الشريحة 31

A 32-bit DRAM access costs about 640 pJ in 45 nm, roughly 200 times a 32-bit integer multiply, so data movement dominates energy.الوصول إلى DRAM بعرض 32 بت يكلف نحو 640 pJ بتقنية 45 nm، أي قرابة 200 ضعف عملية ضرب أعداد صحيحة بعرض 32 بت، لذلك فإن نقل البيانات هو المهيمن على استهلاك الطاقة.

• Slide 3الشريحة 3

A pattern where every group of M contiguous elements has a fixed number of pruned elements; in NVIDIA's convention at most N of each M are nonzero.نمط تحتوي فيه كل مجموعة من M عنصرًا متجاورًا على عدد ثابت من العناصر المقلَّمة؛ وفي اصطلاح NVIDIA يكون على الأكثر N من كل M عنصرًا غير صفري.

• Slide 21الشريحة 21
• Slide 22الشريحة 22

Liu et al. (2017): train with an L1 penalty on batch norm gamma, prune the channels whose gamma falls below a global percentile threshold, then fine-tune.طريقة Liu et al. (2017): التدريب مع عقوبة L1 على gamma في التطبيع الدفعي (batch norm)، ثم تقليم القنوات التي تقل فيها gamma عن عتبة مئينية عامة (global percentile threshold)، ثم الضبط الدقيق (fine-tune).

• Slide 32الشريحة 32
• Slide 33الشريحة 33

Hu et al. (2016): measure APoZ on validation images, trim the neurons whose APoZ is more than one standard deviation above the layer mean, retrain from the pre-trim weights, and repeat a few layers at a time.طريقة Hu et al. (2016): قياس APoZ على صور التحقق (validation)، ثم تشذيب العصبونات التي تزيد APoZ لها عن متوسط الطبقة بأكثر من انحراف معياري واحد، ثم إعادة التدريب بدءًا من الأوزان التي سبقت التشذيب، وتكرار ذلك على بضع طبقات في كل مرة.

• Slide 39الشريحة 39
• Slide 40الشريحة 40

Removing whole neurons with all their incoming and outgoing connections; a coarse-grained form of weight pruning that deletes a row of a linear layer's weight matrix.حذف عصبونات كاملة مع كل وصلاتها الداخلة والخارجة، وهو شكل خشن الحبيبية (coarse-grained) من تقليم الأوزان يحذف صفًا كاملًا من مصفوفة أوزان الطبقة الخطية (linear layer).

• Slide 4الشريحة 4
• Slide 38الشريحة 38

LeCun et al. (1989) method assuming a nearly quadratic loss, converged training and independent deletion errors, giving importance 1/2 h_ii w_i^2.طريقة LeCun et al. (1989) التي تفترض أن الخسارة شبه تربيعية (quadratic)، وأن التدريب قد تقارب (converged)، وأن أخطاء الحذف مستقلة، فتعطي الأهمية 1/2 h_ii w_i^2.

• Slide 34الشريحة 34
• Slide 35الشريحة 35
• Slide 36الشريحة 36
• Slide 37الشريحة 37

Pruning with fixed shapes of kept weights inside kernels or groups, a semi-regular granularity between fine-grained and vector-level.تقليم بأشكال ثابتة للأوزان المُبقاة داخل الأنوية (kernels) أو المجموعات، وهو حبيبية شبه منتظمة تقع بين التقليم دقيق الحبيبية (fine-grained) والتقليم على مستوى المتجه (vector-level).

• Slide 18الشريحة 18
• Slide 21الشريحة 21

Making a neural network smaller by removing synapses (weights) and neurons whose removal least affects performance.تصغير الشبكة العصبية بحذف الوصلات (synapses أي الأوزان weights) والعصبونات (neurons) التي يكون أثر حذفها على الأداء هو الأقل.

• Slide 4الشريحة 4
• Slide 7الشريحة 7
• Slide 8الشريحة 8

The rule for measuring parameter or neuron importance; removing less important ones yields better pruned performance.القاعدة التي تُقاس بها أهمية المعامل (parameter) أو العصبون؛ وحذف الأقل أهمية يعطي أداءً أفضل للنموذج المقلَّم.

• Slide 26الشريحة 26
• Slide 27الشريحة 27
• Slide 38الشريحة 38

argmin over W_P of L(x; W_P) subject to ||W_P||_0 <= N, where L is the training objective and N the target number of nonzeros.إيجاد W_P التي تحقق argmin لـ L(x; W_P) بشرط ||W_P||_0 <= N، حيث L دالة هدف التدريب و N العدد المستهدف من العناصر غير الصفرية.

• Slide 5الشريحة 5

The structural unit in which weights are removed, ranging from individual weights to whole channels.الوحدة البنيوية التي تُحذف بها الأوزان، وتتدرج من أوزان مفردة إلى قنوات (channels) كاملة.

• Slide 15الشريحة 15
• Slide 18الشريحة 18

The set of weight positions zeroed by pruning; it stays fixed during fine-tuning so pruned weights remain zero, and coarse-grained masks are a subset of fine-grained ones.مجموعة مواقع الأوزان التي صُفّرت بالتقليم؛ تبقى ثابتة أثناء الضبط الدقيق (fine-tuning) حتى تظل الأوزان المقلَّمة صفرًا، والأقنعة خشنة الحبيبية (coarse-grained) مجموعة جزئية من الأقنعة دقيقة الحبيبية (fine-grained).

• Slide 9الشريحة 9
• Slide 10الشريحة 10
• Slide 15الشريحة 15

The percentage of parameters pruned away from a network.النسبة المئوية للمعاملات (parameters) التي حُذفت من الشبكة بالتقليم.

• Slide 7الشريحة 7
• Slide 8الشريحة 8
• Slide 9الشريحة 9
• Slide 10الشريحة 10

||Z - Z_hat||_F^2, the squared Frobenius distance between the original and pruned layer outputs.||Z - Z_hat||_F^2، أي مربع مسافة Frobenius بين مخرجات الطبقة الأصلية ومخرجات الطبقة المقلَّمة.

• Slide 41الشريحة 41
• Slide 42الشريحة 42

How many times smaller the pruned model is, k = 1 / (1 - r) for a pruning ratio r: 80 percent pruned is 5x, 90 percent is 10x.عدد المرات التي صار بها النموذج المقلَّم أصغر، k = 1 / (1 - r) لنسبة تقليم r: تقليم 80 بالمئة يعطي 5x، وتقليم 90 بالمئة يعطي 10x.

• Slide 8الشريحة 8
• Slide 9الشريحة 9
• Slide 10الشريحة 10
• Slide 11الشريحة 11

Channel pruning that minimizes the reconstruction error of a layer's outputs rather than the network loss.تقليم القنوات (channel pruning) بتقليل خطأ إعادة بناء (reconstruction error) مخرجات الطبقة بدلًا من خسارة الشبكة كاملة.

• Slide 41الشريحة 41
• Slide 42الشريحة 42

OBD's name for the estimated loss increase from deleting one parameter, s_k = 1/2 h_kk w_k^2; parameters with the lowest saliency are deleted first.الاسم الذي تستخدمه OBD للزيادة المقدَّرة في الخسارة الناتجة عن حذف معامل واحد، s_k = 1/2 h_kk w_k^2؛ وتُحذف المعاملات ذات saliency الأقل أولًا.

• Slide 36الشريحة 36
• Slide 37الشريحة 37

Filter pruning that attaches a trainable scaling factor to each output channel and prunes channels whose factor magnitude is small.تقليم للمرشحات (filter pruning) يضيف معامل تحجيم (scaling factor) قابلًا للتدريب لكل قناة خرج، ثم يقلّم القنوات التي يكون مقدار معاملها صغيرًا.

• Slide 32الشريحة 32
• Slide 33الشريحة 33

Choosing weights to prune by approximating the loss change with a Taylor series that uses the Hessian.اختيار الأوزان المراد تقليمها بتقريب التغير في الخسارة (loss) بمتسلسلة تايلور (Taylor series) تستخدم مصفوفة Hessian.

• Slide 34الشريحة 34
• Slide 35الشريحة 35
• Slide 36الشريحة 36

The NVIDIA Ampere (A100) unit that reads 2:4 compressed weights with their 2-bit indices and skips the zeros, giving up to 2x matrix-multiply throughput.وحدة في معمارية NVIDIA Ampere (A100) تقرأ الأوزان المضغوطة بنمط 2:4 مع فهارسها ذات 2 بت وتتخطى الأصفار، فتعطي حتى 2x في إنتاجية ضرب المصفوفات (matrix-multiply throughput).

• Slide 13الشريحة 13
• Slide 21الشريحة 21
• Slide 22الشريحة 22

The fraction of weights in a tensor or layer that are zero after pruning.نسبة الأوزان التي أصبحت صفرًا في الموتر (tensor) أو الطبقة بعد التقليم.

• Slide 5الشريحة 5
• Slide 21الشريحة 21
• Slide 23الشريحة 23
• Slide 24الشريحة 24

A group S of parameters, W^(S), such as a row, kernel or channel, scored together for structured pruning.مجموعة S من المعاملات، W^(S)، مثل صف أو نواة (kernel) أو قناة (channel)، تُقيَّم معًا في التقليم المنظَّم (structured pruning).

• Slide 29الشريحة 29
• Slide 30الشريحة 30
• Slide 31الشريحة 31

Removing individual connections (weights) between neurons while the neurons remain.حذف وصلات مفردة (أوزان weights) بين العصبونات مع بقاء العصبونات نفسها.

• Slide 4الشريحة 4
• Slide 19الشريحة 19

Synapses per neuron grow from about 2500 at birth to 15000 at 2 to 4 years, then are pruned to about 7000 in adults.يزداد عدد الوصلات العصبية (synapses) لكل عصبون من نحو 2500 عند الولادة إلى 15000 في عمر 2 إلى 4 سنوات، ثم تُقلَّم إلى نحو 7000 عند البالغين.

• Slide 6الشريحة 6

delta L = sum g_i delta w_i + 1/2 sum h_ii delta w_i^2 + 1/2 sum_{i != j} h_ij delta w_i delta w_j + O(||delta W||^3).delta L = sum g_i delta w_i + 1/2 sum h_ii delta w_i^2 + 1/2 sum_{i != j} h_ij delta w_i delta w_j + O(||delta W||^3)، وهو مفكوك تايلور (Taylor expansion) لتغير الخسارة.

• Slide 34الشريحة 34
• Slide 35الشريحة 35

Reducing every layer's channels by the same ratio, which gives worse accuracy than channel pruning with per-layer sparsity.تقليل قنوات (channels) كل طبقة بالنسبة نفسها، وهذا يعطي دقة أسوأ من تقليم القنوات (channel pruning) بنسبة تفرق (sparsity) خاصة بكل طبقة.

• Slide 24الشريحة 24
• Slide 25الشريحة 25

Removing whole rows or columns of weights within a kernel.حذف صفوف أو أعمدة كاملة من الأوزان داخل النواة (kernel).

• Slide 18الشريحة 18