Pruning ratios, fine-tuning and sparse hardwareنسب التقليم والضبط الدقيق والعتاد المتناثر

AOverviewنظرة عامة

Lecture 04-1 taught you to remove weights. This lecture answers the two questions it left open, how many to remove from each layer and how to get the accuracy back, and then confronts the fact that a network full of zeros runs no faster on ordinary hardware. The second half is about the engines, tensor cores and libraries that were built so that sparsity on paper becomes speed in silicon.

علّمتك المحاضرة 04-1 كيف تحذف الأوزان. هذه المحاضرة تجيب عن السؤالين اللذين بقيا مفتوحين: كم وزنًا نحذف من كل طبقة، وكيف نستعيد الدقة المفقودة. ثم تواجه حقيقة أن شبكة مليئة بالأصفار لا تعمل أسرع على العتاد العادي. أما النصف الثاني فيتناول المحركات وtensor cores والمكتبات التي بُنيت كي تتحول الـsparsity على الورق إلى سرعة حقيقية في السيليكون.

As a PhD student you need it in three places. Exams ask you to run a Sensitivity analysis and read ratios off a threshold, to write the NetAdapt loop or name the state, action and reward of AMC (AutoML for Model Compression), to explain why Fine-tuning uses a tenth of the learning rate, and to trace a sparse matrix-vector product through EIE (Efficient Inference Engine) or a 2:4 block through a Sparse tensor core. Your research project puts a compressed model on a board, and the reviewer will ask the question this lecture drills: you pruned 90% of the weights, so why is it not 10x faster? Beyond the course, any efficient system you design has to choose between irregular sparsity with custom hardware and structured sparsity on commodity chips, and that trade-off is the spine of parts seven to thirteen.

بصفتك طالب دكتوراه تحتاج هذه المادة في ثلاثة مواضع. الامتحانات تطلب منك أن تُجري Sensitivity analysisوتقرأ النسب عند عتبة معينة، وأن تكتب حلقة NetAdapt أو تسمّي الحالة والفعل والمكافأة في AMC (AutoML for Model Compression)، وأن تشرح لماذا يستخدم Fine-tuning عُشر معدل التعلم، وأن تتتبع ضرب مصفوفة متناثرة في متجه عبر EIE (Efficient Inference Engine) أو كتلة 2:4 عبر Sparse tensor core. ومشروعك البحثي يضع نموذجًا مضغوطًا على لوحة، وسيسألك المراجع السؤال الذي تتدرب عليه هذه المحاضرة: حذفتَ 90% من الأوزان، فلماذا لم يصبح النموذج أسرع 10x؟ وخارج المقرر، أي نظام فعّال تصممه عليه أن يختار بين sparsity غير منتظمة مع عتاد مخصص، وsparsity منتظمة على شرائح تجارية عادية، وهذه المفاضلة هي العمود الفقري للأجزاء من السابع إلى الثالث عشر.

The path has five stops. You learn why Uniform shrinking wastes accuracy and how to sweep each layer alone to measure its Layer sensitivity. You hand the search over to machines, an RL agent in AMC and a greedy latency-driven loop in NetAdapt, because humans allocate ratios badly and layers interact. You recover the lost accuracy with fine-tuning and see Iterative pruning lift AlexNet from 5x to 9x. You open EIE, the first engine that computes directly on compressed weights, stage by stage, and weigh what held up seven years later. Finally you follow sparsity into commodity GPUs with M:N sparsity and into point clouds with Sparse convolution, TorchSparse and PointAcc.

يمر المسار بخمس محطات. تتعلم لماذا يُهدر Uniform shrinking الدقة، وكيف تمسح كل طبقة وحدها لتقيس Layer sensitivity الخاصة بها. ثم تسلّم البحث للآلة: وكيل تعلم معزز (RL agent) في AMC، وحلقة جشعة (greedy) يقودها زمن التنفيذ في NetAdapt، لأن البشر يوزعون النسب بشكل سيئ ولأن الطبقات تتفاعل فيما بينها. بعدها تستعيد الدقة المفقودة بالـfine-tuning وترى كيف يرفع Iterative pruning شبكة AlexNet من 5x إلى 9x. ثم تفتح EIE، أول محرك يحسب مباشرة على الأوزان المضغوطة، مرحلة بمرحلة، وتقيّم ما صمد منه بعد سبع سنوات. وأخيرًا تتبع الـsparsity إلى معالجات GPU التجارية عبر M:N sparsity، وإلى السحب النقطية (point clouds) عبر Sparse convolution وTorchSparse وPointAcc.

Numbers you will own by the endأرقام ستتقنها مع نهاية المحاضرة

These are the anchors the parts derive and the exam returns to. Each one is a ratio, and the skill is knowing what it compares and under which conditions it holds.

هذه هي الأرقام المرجعية التي تشتقها الأجزاء ويعود إليها الامتحان. كل واحد منها نسبة، والمهارة هي أن تعرف ماذا تقارن ومتى تكون صحيحة.

Success looks likeعلامات النجاح

• Run a sensitivity sweep on paper, read a per-layer ratio off a threshold for every layer, and compute the parameter-weighted overall rate.أن تُجري مسح حساسية (sensitivity sweep) على الورق، وتقرأ نسبة الحذف لكل طبقة عند العتبة، وتحسب المعدل الكلي الموزون بعدد المعاملات.
• Explain why sensitivity analysis is sub-optimal, then contrast AMC and NetAdapt on who chooses the ratios, what cost model they use and what comes out of one run.أن تشرح لماذا يُعد sensitivity analysis حلًا دون الأمثل، ثم تقارن AMC وNetAdapt من حيث من يختار النسب، وأي نموذج تكلفة يستخدمان، وماذا يخرج من تشغيلة واحدة.
• Write the prune, fine-tune, repeat loop with its learning rate and quote the AlexNet 5x to 9x result, and say what L1 and L2 regularization each do to the weights.أن تكتب حلقة الحذف ثم fine-tune ثم التكرار مع معدل التعلم الخاص بها، وتذكر نتيجة AlexNet من 5x إلى 9x، وتقول ماذا يفعل كل من L1 وL2 regularization بالأوزان.
• Trace one nonzero activation through EIE from broadcast to accumulator, encode a column in relative-index CSC, and rank the four energy factors.أن تتتبع activation واحدة غير صفرية عبر EIE من البث (broadcast) حتى المُجمِّع (accumulator)، وتُرمّز عمودًا بصيغة relative-index CSC، وترتب عوامل الطاقة الأربعة.
• Compress a 2:4 matrix, compute its storage saving, and explain why GEMM speedup approaches 2x while end-to-end inference gains less.أن تضغط مصفوفة 2:4 وتحسب التوفير في التخزين، وتشرح لماذا يقترب تسريع GEMM من 2x بينما يكون المكسب في الاستدلال الكامل (end-to-end inference) أقل.
• Build the (In, Out, Wgt) map for a small sparse grid, cost the gather, matmul, scatter pipeline, and say what TorchSparse and PointAcc each fix.أن تبني خريطة (In, Out, Wgt) لشبكة متناثرة صغيرة، وتحسب تكلفة خط المعالجة gather, matmul, scatter، وتقول ماذا يُصلح كل من TorchSparse وPointAcc.
• Map every kind of sparsity in the lecture, weight, activation, structured and point cloud, to the hardware that exploits it and the granularity it needs.أن تربط كل نوع من أنواع الـsparsity في المحاضرة (في الأوزان، وفي الـactivations، والمنتظمة، وفي السحب النقطية) بالعتاد الذي يستغله وبدرجة الدقة (granularity) التي يحتاجها.

How to study this lectureكيف تذاكر هذه المحاضرة

1. Read parts one to six in order, since each ratio method exists to fix the limit of the one before. Parts seven to thirteen can be read as three shorter arcs: EIE, tensor cores, and point clouds.اقرأ الأجزاء من الأول إلى السادس بالترتيب، لأن كل طريقة لتحديد النسب وُجدت لتعالج حدود الطريقة التي قبلها. أما الأجزاء من السابع إلى الثالث عشر فيمكن قراءتها كثلاثة مسارات أقصر: EIE، وtensor cores، والسحب النقطية.
2. Keep a pencil next to the worked examples. Read ratios off the VGG-11 chart, run three NetAdapt iterations, encode a CSC column and build a sparse convolution map before you reveal the answer.أبقِ قلمًا بجانب الأمثلة المحلولة. اقرأ النسب من رسم VGG-11، ونفّذ ثلاث تكرارات من NetAdapt، ورمّز عمود CSC، وابنِ خريطة sparse convolution قبل أن تكشف الإجابة.
3. Answer every recall prompt in your head before opening it. The numbers that stick are the ones you retrieved.أجب عن كل سؤال استرجاع في ذهنك قبل أن تفتحه. الأرقام التي تبقى في الذاكرة هي التي استرجعتها بنفسك.
4. Take each quiz and read the explanation even when you are right. The wrong options are the exam traps, especially FLOPs versus measured latency and static versus dynamic sparsity.حلّ كل اختبار قصير واقرأ الشرح حتى لو كانت إجابتك صحيحة. الخيارات الخاطئة هي فخاخ الامتحان، وخاصة FLOPs مقابل زمن التنفيذ المقاس (measured latency)، والـsparsity الثابتة (static) مقابل الديناميكية (dynamic).
5. Mark a concept understood only when you could redraw its diagram, the EIE dataflow or the gather, matmul, scatter pipeline, from a blank page.لا تعتبر مفهومًا مفهومًا إلا إذا استطعت إعادة رسم مخططه من صفحة بيضاء، مثل تدفق البيانات في EIE أو خط المعالجة gather, matmul, scatter.
6. Keep the glossary open for terms and the reference sheet for the result table, the CSC format and the 2:4 arithmetic when you solve problems.أبقِ المسرد مفتوحًا للمصطلحات، وورقة المرجع مفتوحة لجدول النتائج وصيغة CSC وحسابات 2:4 أثناء حل المسائل.
7. Come back after a few days and redo the sweeps and traces cold on a network of your own, such as your project model. Spaced practice on a new example is what turns a procedure into a skill.عد بعد بضعة أيام وأعد المسوحات والتتبعات من دون مراجعة، على شبكة من اختيارك مثل نموذج مشروعك. التدرب المتباعد على مثال جديد هو ما يحوّل الإجراء إلى مهارة.

BThe 13 partsالأجزاء الـ13

1. 01Where we are: the pruning problem so farأين وصلنا: مسألة التقليم حتى الآنA compact recap of lecture 04-1: pruning as constrained optimization, the granularity spectrum, magnitude as the default criterion and neuron or channel pruning as coarse-grained weight pruning, setting up the two open questions this lecture answers.مراجعة موجزة للمحاضرة 04-1: التقليم بوصفه تحسينًا مقيدًا، وطيف الدقة (granularity)، والمقدار بوصفه المعيار الافتراضي، وتقليم العصبونات أو القنوات بوصفه تقليمًا خشنًا للأوزان، تمهيدًا للسؤالين المفتوحين اللذين تجيب عنهما هذه المحاضرة.3 concepts3 مفاهيمSlides 1-7الشرائح 1-718 min18 دقيقة
   1. 1.1Pruning is a loss minimization under a nonzero budgetالـ Pruning تقليل للخسارة تحت ميزانية للقيم غير الصفرية
   2. 1.2Magnitude scores and the granularity ladderدرجات المقدار (magnitude) وسلّم درجات التفصيل (granularity)
   3. 1.3Neurons, channels and the two questions still openالعصبونات والقنوات والسؤالان اللذان لا يزالان مفتوحين
2. 02Why every layer needs its own pruning ratioلماذا تحتاج كل طبقة نسبة تقليم خاصة بهاUniform shrinking loses to non-uniform pruning, so each layer needs its own ratio. Sensitivity analysis measures how much accuracy each layer loses as it is pruned harder.التصغير المنتظم يخسر أمام التقليم غير المنتظم، لذا تحتاج كل طبقة نسبتها الخاصة. تحليل الحساسية (sensitivity analysis) يقيس مقدار الدقة التي تفقدها كل طبقة كلما قُلّمت بقوة أكبر.3 concepts3 مفاهيمSlides 8-17الشرائح 8-1718 min18 دقيقة
   1. 2.1Uniform shrinking wastes accuracy: every layer deserves its own ratioالتصغير المنتظم يهدر الدقة: كل طبقة تستحق نسبتها الخاصة
   2. 2.2Sensitivity: how fast accuracy falls when one layer alone is prunedالحساسية: مدى سرعة هبوط الدقة عند تقليم طبقة واحدة وحدها
   3. 2.3The sweep: one layer, ten ratios, repeat for all layersالمسح: طبقة واحدة، عشر نسب، ثم التكرار لكل الطبقات
3. 03From sensitivity curves to per-layer ratiosمن منحنيات الحساسية إلى نسب لكل طبقةPick an accuracy threshold, read off each layer's pruning rate where its curve crosses it, and see why this heuristic ignores the interaction between layers.اختر عتبة للدقة، واقرأ نسبة التقليم لكل طبقة عند النقطة التي يتقاطع فيها منحناها مع العتبة، وافهم لماذا يتجاهل هذا الأسلوب الاستدلالي (heuristic) التفاعل بين الطبقات.3 concepts3 مفاهيمSlides 18-23الشرائح 18-2318 min18 دقيقة
   1. 3.1Reading the chart: which layers are sensitive and which are redundantقراءة المخطط: أي الطبقات حساسة وأيها فائضة
   2. 3.2One horizontal line turns six curves into six ratiosخط أفقي واحد يحوّل ستة منحنيات إلى ست نسب
   3. 3.3Why the read-off is a heuristic: layers are swept alone but pruned togetherلماذا القراءة طريقة تقريبية: الطبقات تُمسح منفردة لكنها تُقلَّم مجتمعة
4. 04AMC: pruning ratios as a reinforcement learning problemAMC: نسب التقليم بوصفها مسألة تعلم معززGiven an overall compression target, AMC lets a DDPG agent choose each layer's sparsity, rewarded by accuracy under a FLOPs or latency constraint, and beats hand-tuned and uniformly scaled MobileNets on a real phone.بإعطاء هدف ضغط إجمالي، يترك AMC وكيلًا من نوع DDPG يختار تناثر كل طبقة، ويكافئه بالدقة تحت قيد على FLOPs أو زمن الاستجابة، ويتفوق على نماذج MobileNet المضبوطة يدويًا والمصغّرة بانتظام على هاتف حقيقي.4 concepts4 مفاهيمSlides 24-32الشرائح 24-3224 min24 دقيقة
   1. 4.1Per-layer ratios are a search, and humans search badlyنسب الطبقات بحثٌ، والبشر يبحثون بشكل سيئ
   2. 4.2AMC: state, action, reward and a DDPG agentAMC: الحالة والفعل والمكافأة ووكيل DDPG
   3. 4.3What the agent discovers on ResNet-50: peaks at 1x1, crests at 3x3ما يكتشفه الوكيل في ResNet-50: قمم عند 1x1 وقيعان عند 3x3
   4. 4.4Targeting measured time: the MobileNet tableاستهداف الزمن المقاس: جدول MobileNet
5. 05NetAdapt: platform-aware pruning to a latency budgetNetAdapt: تقليم واعٍ بالمنصة حتى ميزانية زمن استجابةA rule-based automatic method that removes latency in fixed steps, tries pruning each layer with a measured latency lookup table, keeps the layer whose short fine-tune loses the least accuracy, and produces a whole series of models.طريقة آلية قائمة على القواعد تزيل زمن الاستجابة بخطوات ثابتة، وتجرب تقليم كل طبقة باستخدام جدول بحث لزمن الاستجابة المقاس، وتحتفظ بالطبقة التي يفقد ضبطها الدقيق القصير أقل دقة، وتنتج سلسلة كاملة من النماذج.2 conceptsمفهومانSlides 33-40الشرائح 33-4012 min12 دقيقة
   1. 5.1NetAdapt: shave Delta R of latency per iteration, keep the layer that hurts leastNetAdapt: اقتطع Delta R من الـ latency في كل تكرار، واحتفظ بالطبقة التي يضر تقليمها أقل
   2. 5.2One run, a whole accuracy versus latency frontierتشغيل واحد يعطيك منحنى كاملًا للمفاضلة بين الدقة والـ latency
6. 06Fine-tuning, iterative pruning and regularizationالضبط الدقيق والتقليم التكراري والتنظيمPruning costs accuracy, fine-tuning at a much smaller learning rate recovers it, repeating prune and fine-tune pushes AlexNet from 5x to 9x compression, and L1 or L2 regularization during training makes weights easier to prune.التقليم يكلّف دقة، والضبط الدقيق بمعدل تعلم أصغر بكثير يستعيدها، وتكرار التقليم والضبط الدقيق يرفع ضغط AlexNet من 5x إلى 9x، والتنظيم L1 أو L2 أثناء التدريب يجعل الأوزان أسهل تقليمًا.4 concepts4 مفاهيمSlides 41-52الشرائح 41-5224 min24 دقيقة
   1. 6.1Pruning costs accuracy, and fine-tuning at a tiny learning rate buys it backالتقليم يكلّف دقة، والـ fine-tuning بمعدل تعلّم صغير جدًا يستعيدها
   2. 6.2One iteration is prune then fine-tune, and the loop raises sparsity graduallyالتكرار الواحد هو تقليم ثم fine-tune، والحلقة ترفع الـ sparsity تدريجيًا
   3. 6.3Reading the three curves: iterative pruning takes AlexNet from 5x to 9xقراءة المنحنيات الثلاثة: الـ iterative pruning ينقل AlexNet من 5x إلى 9x
   4. 6.4Regularization: L1 parks weights at zero, L2 shrinks them, both make pruning saferالـ Regularization: الـ L1 يثبّت الأوزان عند الصفر، والـ L2 يقلّصها، وكلاهما يجعل التقليم أكثر أمانًا
7. 07EIE: the first accelerator for sparse, compressed networksEIE: أول مسرّع للشبكات المتناثرة والمضغوطةWhy sparsity needs hardware support, Han's co-design paradigm, and how EIE exploits weight sparsity, activation sparsity and weight sharing by splitting a sparse matrix-vector product across processing elements.لماذا يحتاج التناثر إلى دعم من العتاد، ونموذج التصميم المشترك (co-design) لـHan، وكيف يستغل EIE تناثر الأوزان وتناثر التنشيطات ومشاركة الأوزان بتقسيم ضرب مصفوفة متناثرة في متجه على عناصر المعالجة (PE).3 concepts3 مفاهيمSlides 53-60الشرائح 53-6018 min18 دقيقة
   1. 7.1Sparsity on paper versus sparsity in silicon: why Han built an engineالتناثر على الورق مقابل التناثر في العتاد: لماذا بنى Han محركًا خاصًا
   2. 7.2Three sources of savings: sparse weights, sparse activations, shared weightsثلاثة مصادر للتوفير: أوزان متناثرة، وتفعيلات متناثرة، وأوزان مشتركة
   3. 7.3Interleaving rows across PEs and broadcasting only the nonzero activationsتوزيع الصفوف بالتناوب على وحدات المعالجة وبث التفعيلات غير الصفرية فقط
8. 08Inside EIE: dataflow, the PE and its storage formatsداخل EIE: تدفق البيانات وعنصر المعالجة وصيغ التخزينHow a nonzero activation walks through the PE array, what one processing element contains, how load is balanced, and how activation sparsity, CSC weight storage and 4-bit codebooks are realised in hardware.كيف يمر تنشيط غير صفري عبر مصفوفة عناصر المعالجة (PE)، وما يحتويه عنصر معالجة واحد، وكيف يُوازَن الحمل، وكيف يُنفَّذ تناثر التنشيطات وتخزين الأوزان بصيغة CSC ودفاتر الترميز (codebooks) ذات 4 بت في العتاد.3 concepts3 مفاهيمSlides 61-70الشرائح 61-7018 min18 دقيقة
   1. 8.1The dataflow: one broadcast, many local multiply-addsمسار البيانات: بث واحد، وعمليات ضرب وجمع محلية كثيرة
   2. 8.2Inside one PE: five stages from queue to ReLUداخل PE واحد: خمس مراحل من الطابور إلى ReLU
   3. 8.3Four mechanisms and the storage format that makes them cheapأربع آليات وصيغة التخزين التي تجعلها رخيصة
9. 09EIE results and what came afterنتائج EIE وما جاء بعدهNon-zero detection after ReLU, EIE's special design choices, its throughput and energy lead over CPU, GPU, FPGA and other ASICs, and the retrospective lessons that shaped later sparse hardware.كشف العناصر غير الصفرية بعد ReLU، وخيارات التصميم الخاصة في EIE، وتفوقه في الإنتاجية والطاقة على CPU وGPU وFPGA ودوائر ASIC الأخرى، والدروس المستفادة لاحقًا التي شكّلت عتاد التناثر التالي.5 concepts5 مفاهيمSlides 71-77الشرائح 71-7730 min30 دقيقة
   1. 9.1Closing the loop: ReLU, non-zero detection and why the PE never leaves the chipإغلاق الحلقة: ReLU وكشف القيم غير الصفرية ولماذا لا تغادر البيانات الشريحة
   2. 9.2Nine sparse layers against a CPU, a GPU and a mobile GPUتسع طبقات متناثرة في مواجهة CPU وGPU وGPU للأجهزة المحمولة
   3. 9.3Reading the log-scale charts: order-of-magnitude evidence, not a fair raceقراءة المخططات اللوغاريتمية: دليل على رتبة المقدار، لا سباق عادل
   4. 9.4Seven years later: what held up and what did notبعد سبع سنوات: ما صمد وما لم يصمد
   5. 9.5The first principle: be lazy, and where sparsity went nextالمبدأ الأول: كن كسولًا، وإلى أين اتجه التناثر بعد ذلك
10. 10M:N sparsity on NVIDIA tensor coresتناثر M:N على أنوية NVIDIA tensor coresFine-grained structured sparsity keeps exactly N nonzeros in every block of M weights, compresses the matrix to half plus two-bit indices, and lets Ampere sparse tensor cores double GEMM throughput with no accuracy loss.التناثر المهيكل الدقيق يُبقي N عناصر غير صفرية بالضبط في كل كتلة من M وزنًا، ويضغط المصفوفة إلى النصف مع فهارس من بتين، ويسمح لأنوية tensor cores المتناثرة في Ampere بمضاعفة إنتاجية GEMM دون فقدان في الدقة.4 concepts4 مفاهيمSlides 78-83الشرائح 78-8324 min24 دقيقة
    1. 10.12:4 sparsity: a pattern the hardware can count onتناثر 2:4: نمط يمكن للعتاد الاعتماد عليه
    2. 10.2Push the nonzeros left: half the values plus 2-bit indicesادفع القيم غير الصفرية إلى اليسار: نصف القيم مع فهارس من بتين
    3. 10.3The tensor core multiplies only the columns the indices nameنواة الـ tensor تضرب فقط الأعمدة التي تحددها الفهارس
    4. 10.4Train, prune, retrain: near 2x GEMM speed at zero accuracy costدرّب ثم قلّم ثم أعد التدريب: تسريع GEMM يقارب 2x دون أي خسارة في الدقة
11. 11Sparse inputs and sparse convolutionالمدخلات المتناثرة والالتفاف المتناثرPoint clouds are mostly empty space, so convolution should compute only where inputs exist: sparse convolution keeps output sparsity equal to input sparsity and is a sparse set of dense matrix multiplies driven by an input, output and weight map.سحب النقاط (point clouds) في معظمها فضاء فارغ، لذا يجب أن يحسب الالتفاف فقط حيث توجد مدخلات: الالتفاف المتناثر يُبقي تناثر المخرج مساويًا لتناثر المدخل، وهو مجموعة متناثرة من عمليات ضرب مصفوفات كثيفة تقودها خريطة للمدخل والمخرج والوزن.3 concepts3 مفاهيمSlides 84-96الشرائح 84-9618 min18 دقيقة
    1. 11.1Point clouds are almost empty, and ordinary convolution fills them inالسحب النقطية شبه فارغة، والالتفاف العادي يملؤها
    2. 11.2Maps: a list of (In, Out, Wgt) tuples is the whole computationالخرائط (Maps): قائمة ثلاثيات (In, Out, Wgt) هي الحساب كله
    3. 11.3Weight-stationary: gather, one matmul per offset, scatter-addأسلوب Weight-stationary: تجميع (gather)، ثم matmul واحد لكل إزاحة، ثم إضافة بالتوزيع (scatter-add)
12. 12TorchSparse: regular computation from irregular sparsityTorchSparse: حساب منتظم من تناثر غير منتظمThe gather, matmul, scatter pipeline on GPUs, why separate small matmuls waste the GPU, and how TorchSparse trades a little padding for regularity with adaptive grouping, locality-aware access and, in TorchSparse++, overlapped memory and compute.خط عمل gather ثم matmul ثم scatter على GPU، ولماذا تهدر عمليات الضرب الصغيرة المنفصلة قدرة GPU، وكيف يقايض TorchSparse قليلًا من الحشو مقابل الانتظام عبر التجميع التكيفي والوصول الواعي بالمحلية (locality)، وفي TorchSparse++ عبر تداخل الذاكرة مع الحساب.3 concepts3 مفاهيمSlides 97-109الشرائح 97-10918 min18 دقيقة
    1. 12.1The baseline pipeline: one gather, one matmul and one scatter per weight offsetخط المعالجة الأساسي: عملية gather وعملية matmul وعملية scatter واحدة لكل إزاحة وزن
    2. 12.2Trading a little padding for regularity: separate, dense and adaptive groupingمقايضة قليل من الحشو بالانتظام: الحساب المنفصل والكثيف والتجميع التكيفي
    3. 12.3What grouping buys, and why TorchSparse++ fuses the three phasesماذا يكسب التجميع، ولماذا يدمج TorchSparse++ المراحل الثلاث
13. 13PointAcc, the lecture summary and referencesPointAcc وملخص المحاضرة والمراجعPointAcc builds the sparse convolution map in hardware with a merge-sort based mapping unit, then the lecture closes with what was covered and what quantization brings next.يبني PointAcc خريطة الالتفاف المتناثر في العتاد بوحدة ربط قائمة على الفرز بالدمج (merge sort)، ثم تُختتم المحاضرة بما غُطّي وما يقدمه التكميم (quantization) لاحقًا.4 concepts4 مفاهيمSlides 110-115الشرائح 110-11524 min24 دقيقة
    1. 13.1Building the map in hardware: from hash tables to a merge sortبناء الخريطة في العتاد: من جداول التجزئة إلى الفرز بالدمج
    2. 13.2What the merge sort buys: PointAcc against GPU, TPU and CPUماذا يكسبنا الفرز بالدمج: PointAcc مقابل GPU و TPU و CPU
    3. 13.3What this lecture built and what quantization needs nextما الذي بنته هذه المحاضرة وما الذي يحتاجه التكميم بعدها
    4. 13.4The reading list, and the papers the slides cite but do not listقائمة المراجع، والأوراق التي تستشهد بها الشرائح ولا تدرجها

CGlossary and referenceالمصطلحات والمرجع

• GlossaryالمصطلحاتEvery term from the lecture, defined once, with links back to the slides that use it.كل مصطلح في المحاضرة معرّف مرة واحدة، مع روابط تعيدك إلى الشرائح التي تستخدمه.
• Reference sheetالورقة المرجعيةThe lecture on one printable page, for revision before a quiz or exam.المحاضرة كاملة في صفحة واحدة قابلة للطباعة، للمراجعة قبل الاختبار القصير أو الامتحان.