COE 592Lecture 03المحاضرة 03Glossaryالمصطلحات
Glossaryالمصطلحات
Every term in Neural network efficiency metrics, defined once and used the same way in every part. Each entry links to the slides where the idea appears.كل مصطلح في محاضرة «مقاييس كفاءة الشبكات العصبية»، معرّف مرة واحدة ومستخدم بالمعنى نفسه في كل الأجزاء. كل مدخل يربطك بالشرائح التي تظهر فيها الفكرة.
- Termsالمصطلحات
- 42
- Lettersالحروف
- 17
A
- Activations (#Activations)
The intermediate feature map values produced by layers, counted as C x H x W elements per layer; the main memory bottleneck in CNN inference and training rather than parameters.التنشيطات (#Activations): قيم خرائط السمات (feature maps) الوسيطة التي تنتجها الطبقات، وتُعدّ C x H x W عنصرًا لكل طبقة؛ وهي عنق الزجاجة الرئيسي للذاكرة في استدلال شبكات CNN وتدريبها، لا المعاملات.
- AlexNet
The 2012 ImageNet CNN (Krizhevsky et al.) used as the worked example: five convolution layers, three max-pool layers and three linear layers, about 61M parameters, 932,264 total activations and 724M MACs.شبكة AlexNet: شبكة CNN لمسابقة ImageNet عام 2012 (Krizhevsky et al.) تُستخدم مثالًا محلولًا: خمس طبقات التفاف، وثلاث طبقات max-pool، وثلاث طبقات خطية، ونحو 61M معامل، و 932,264 تنشيطًا كليًا، و 724M عملية MAC.
B
- Batch size (n)
The number of inputs processed together in one pass; larger batches can raise throughput while increasing per-input latency.حجم الدفعة (Batch size, n): عدد المدخلات التي تُعالَج معًا في تمريرة واحدة؛ الدفعات الأكبر قد ترفع الإنتاجية (throughput) لكنها تزيد زمن الاستجابة لكل مدخل.
- Bit width
The number of bits used to store each weight or activation, such as 32-bit floating point or 8-bit integer.عرض البت (Bit width): عدد البتات المستخدمة لتخزين كل وزن أو تنشيط، مثل الفاصلة العائمة 32-bit أو العدد الصحيح 8-bit.
C
- Computation time
The part of latency spent on arithmetic, approximated as the number of operations in the model divided by the number of operations the processor can do per second.زمن الحساب (Computation time): الجزء من زمن الاستجابة الذي يُصرف على العمليات الحسابية، ويُقرَّب بأنه عدد العمليات في النموذج مقسومًا على عدد العمليات التي يستطيع المعالج تنفيذها في الثانية.
- Compute-bound
The regime of the latency model in which computation time exceeds memory time, so latency is set by the operation count over the processor's operations per second and a faster processor lowers it.مقيَّد بالحساب (Compute-bound): الحالة في نموذج زمن الاستجابة التي يتجاوز فيها زمن الحساب زمن الذاكرة، فيتحدد زمن الاستجابة بعدد العمليات مقسومًا على عمليات المعالج في الثانية، ويخفضه معالج أسرع.
- Convolution layer
A layer sliding c_o filters of size c_i x k_h x k_w over the input; it has c_o·c_i·k_h·k_w parameters and c_o·c_i·k_h·k_w·h_o·w_o MACs.طبقة الالتفاف (Convolution layer): طبقة تُمرِّر c_o مرشحًا (filter) حجم كل منها c_i x k_h x k_w على المدخل؛ لها c_o·c_i·k_h·k_w معاملًا و c_o·c_i·k_h·k_w·h_o·w_o عملية MAC.
D
- Data movement energy
The observation that memory access costs far more energy than arithmetic: in 45 nm at 0.9 V a 32-bit DRAM read costs 640 pJ, about 200 times a 32-bit integer multiply at 3.1 pJ.طاقة نقل البيانات (Data movement energy): الملاحظة أن الوصول إلى الذاكرة يكلف طاقة أكثر بكثير من العمليات الحسابية: في تقنية 45 nm وجهد 0.9 V تكلف قراءة 32-bit من DRAM مقدار 640 pJ، أي نحو 200 ضعف عملية ضرب أعداد صحيحة 32-bit التي تكلف 3.1 pJ.
- Depthwise convolution
A grouped convolution with one group per channel, so each channel has its own k_h x k_w filter; it has c_o·k_h·k_w parameters and c_o·k_h·k_w·h_o·w_o MACs.الالتفاف العمقي (Depthwise convolution): التفاف مجمَّع فيه مجموعة واحدة لكل قناة، فيكون لكل قناة مرشحها الخاص بحجم k_h x k_w؛ له c_o·k_h·k_w معاملًا و c_o·k_h·k_w·h_o·w_o عملية MAC.
- DRAM memory access
Reading or writing off-chip dynamic RAM, the most energy expensive operation in the Horowitz table at 640 pJ per 32-bit access.الوصول إلى ذاكرة DRAM (DRAM memory access): قراءة أو كتابة ذاكرة RAM الديناميكية خارج الشريحة (off-chip)، وهي أغلى عملية من حيث الطاقة في جدول Horowitz بمقدار 640 pJ لكل وصول 32-bit.
E
- Efficiency metrics
Quantities used to judge how small, fast and energy frugal a neural network is, grouped into memory-related metrics (#parameters, model size, total and peak #activations) and computation-related metrics (MAC, FLOP, FLOPS, OP, OPS).مقاييس الكفاءة (Efficiency metrics): كميات نحكم بها على مدى صغر الشبكة العصبية وسرعتها واقتصادها في الطاقة، وتنقسم إلى مقاييس متعلقة بالذاكرة (#parameters، وحجم النموذج، والعدد الكلي والأقصى لـ #activations) ومقاييس متعلقة بالحساب (MAC، وFLOP، وFLOPS، وOP، وOPS).
F
- Floating point operation (FLOP)
A single floating point multiply or add; one MAC counts as two FLOPs, so AlexNet's 724M MACs are about 1.4G FLOPs.عملية الفاصلة العائمة (Floating point operation, FLOP): عملية ضرب أو جمع واحدة بالفاصلة العائمة؛ وتُحسب عملية MAC الواحدة عمليتي FLOP، لذا فإن 724M عملية MAC في AlexNet تساوي نحو 1.4G FLOP.
- FLOPS
Floating point operations per second, FLOPs divided by time; a measure of processor speed, distinct from the FLOPs count of a model.مقياس FLOPS: عمليات الفاصلة العائمة في الثانية، أي عدد FLOPs مقسومًا على الزمن؛ وهو مقياس لسرعة المعالج، ويختلف عن عدد FLOPs في النموذج.
G
- General matrix-matrix multiplication (GEMM)
Multiplying two matrices, costing m·n·k MACs for the dimensions m, n and k shown on the slide.الضرب العام لمصفوفة في مصفوفة (GEMM): ضرب مصفوفتين، وكلفته m·n·k عملية MAC للأبعاد m و n و k الموضحة في الشريحة.
- Grouped convolution
A convolution whose channels are split into g independent groups, giving c_o·c_i·k_h·k_w/g parameters and c_o·c_i·k_h·k_w·h_o·w_o/g MACs.الالتفاف المجمَّع (Grouped convolution): التفاف تُقسَّم قنواته إلى g مجموعة مستقلة، فيكون له c_o·c_i·k_h·k_w/g معاملًا و c_o·c_i·k_h·k_w·h_o·w_o/g عملية MAC.
- Groups (g)
The number of independent channel partitions in a grouped convolution; parameters and MACs are divided by g.المجموعات (Groups, g): عدد التقسيمات المستقلة للقنوات في الالتفاف المجمَّع؛ ويُقسَم عدد المعاملات وعدد عمليات MAC على g.
I
- Inverted residual block
The MobileNetV2 building block that expands the channel count about six times with a 1x1 convolution, applies a depthwise 3x3 convolution, then projects back down; cheap in weights and MACs, but the expanded tensor at full spatial resolution gives the early blocks a large peak activation, up to 1372 kB.كتلة البواقي المعكوسة (Inverted residual block): الكتلة الأساسية في MobileNetV2، توسّع عدد القنوات نحو ست مرات بالتفاف 1x1، ثم تطبق التفافًا عمقيًا (depthwise) بحجم 3x3، ثم تُسقط القنوات إلى العدد الأصغر؛ رخيصة في الأوزان وعمليات MAC، لكن الموتر الموسَّع بالدقة المكانية الكاملة يعطي الكتل الأولى ذروة تنشيطات كبيرة تصل إلى 1372 kB.
K
- Kernel height and width (k_h, k_w)
The spatial size of a convolution filter, for example 11x11 in AlexNet's first layer.ارتفاع النواة وعرضها (Kernel height and width, k_h, k_w): الحجم المكاني لمرشح الالتفاف، مثل 11x11 في الطبقة الأولى من AlexNet.
L
- Latency
The delay to complete one specific task, such as processing a single input; approximated as the maximum of computation time and memory (data movement) time.زمن الاستجابة (Latency): التأخير اللازم لإنجاز مهمة محددة واحدة، مثل معالجة مدخل واحد؛ ويُقرَّب بأنه القيمة العظمى بين زمن الحساب وزمن الذاكرة (نقل البيانات).
- Linear layer
A fully connected layer mapping c_i inputs to c_o outputs through a weight matrix; it has c_o·c_i parameters and c_o·c_i MACs.الطبقة الخطية (Linear layer): طبقة متصلة بالكامل (fully connected) تحوّل c_i مدخلًا إلى c_o مخرجًا عبر مصفوفة أوزان؛ لها c_o·c_i معاملًا و c_o·c_i عملية MAC.
M
- Matrix-vector multiplication (MV)
Multiplying an m x n matrix by an n-element vector, costing m·n MACs.ضرب مصفوفة في متجه (Matrix-vector multiplication, MV): ضرب مصفوفة m x n في متجه من n عنصرًا، وكلفته m·n عملية MAC.
- MCU flash budget
The read-only non-volatile flash memory of a microcontroller, where the weights are stored; for a typical MCU of this class such as the STM32F746 used by MCUNet (Lin et al., NeurIPS 2020) it is about 1 MB. The slides do not give a flash size. Flash is bounded by model size, while the separate and smaller SRAM is bounded by peak activations.ميزانية ذاكرة الفلاش في المتحكم الدقيق (MCU flash budget): ذاكرة الفلاش غير المتطايرة للقراءة فقط في المتحكم الدقيق، وفيها تُخزَّن الأوزان؛ وفي متحكم نموذجي من هذه الفئة مثل STM32F746 الذي استخدمته MCUNet (Lin et al., NeurIPS 2020) تبلغ نحو 1 MB. لا تذكر الشرائح حجم الفلاش. الفلاش مقيَّد بحجم النموذج، بينما ذاكرة SRAM المنفصلة والأصغر مقيَّدة بالعدد الأقصى للتنشيطات (peak activations).
- MCU memory constraint
The small runtime memory of a microcontroller, shown as 256 kB, which MobileNetV2's early blocks exceed with a peak of 1372 kB.قيد ذاكرة المتحكم الدقيق (MCU memory constraint): ذاكرة التشغيل الصغيرة في المتحكم الدقيق (microcontroller)، ومقدارها في الشرائح 256 kB، وتتجاوزها الكتل الأولى في MobileNetV2 بذروة تبلغ 1372 kB.
- MCUNet
A tiny deep learning system for IoT devices (Lin et al., NeurIPS 2020) whose per-layer memory shows high activation memory in early layers and high weight memory in late layers.نظام MCUNet: نظام تعلم عميق صغير لأجهزة إنترنت الأشياء (IoT) (Lin et al., NeurIPS 2020)، تُظهر ذاكرته لكل طبقة ذاكرة تنشيطات عالية في الطبقات الأولى وذاكرة أوزان عالية في الطبقات الأخيرة.
- Memory bandwidth
A hardware specification giving how fast a processor can move data to and from memory; it divides model size and activation size to estimate data movement time.عرض نطاق الذاكرة (Memory bandwidth): مواصفة عتادية تحدد سرعة نقل المعالج للبيانات من الذاكرة وإليها؛ ونقسم عليها حجم النموذج وحجم التنشيطات لتقدير زمن نقل البيانات.
- Memory bottleneck
The resource that limits whether a model fits a device; for CNNs it is activation memory, which barely improved from ResNet to MobileNetV2 even though parameters shrank several times.عنق الزجاجة في الذاكرة (Memory bottleneck): المورد الذي يحدد هل يتسع النموذج للجهاز؛ وفي شبكات CNN هو ذاكرة التنشيطات، التي بالكاد تحسنت من ResNet إلى MobileNetV2 رغم أن عدد المعاملات انخفض أضعافًا.
- Memory time
The part of latency spent moving data, approximated as the time to move activations plus the time to move weights.زمن الذاكرة (Memory time): الجزء من زمن الاستجابة الذي يُصرف على نقل البيانات، ويُقرَّب بأنه زمن نقل التنشيطات (activations) مضافًا إليه زمن نقل الأوزان (weights).
- Memory-bound
The regime of the latency model in which memory time exceeds computation time, so latency is set by the bytes of weights and activations moved over the memory bandwidth, and only fewer bytes or more bandwidth lowers it.مقيَّد بالذاكرة (Memory-bound): الحالة في نموذج زمن الاستجابة التي يتجاوز فيها زمن الذاكرة زمن الحساب، فيتحدد زمن الاستجابة بعدد بايتات الأوزان والتنشيطات المنقولة مقسومًا على عرض نطاق الذاكرة، ولا يخفضه إلا تقليل البايتات أو زيادة عرض النطاق.
- MobileNetV2
An efficient CNN built from inverted residual blocks; it has far fewer parameters than ResNet but similar or higher activation memory, with an imbalanced per-block memory profile.شبكة MobileNetV2: شبكة CNN فعّالة مبنية من كتل البواقي المعكوسة (inverted residual blocks)؛ معاملاتها أقل بكثير من ResNet لكن ذاكرة تنشيطاتها مماثلة أو أعلى، مع توزيع غير متوازن للذاكرة بين الكتل.
- Model size
The storage needed for a network's weights, equal to #Parameters x bit width when one data type is used; AlexNet is 244 MB at 32-bit and 61 MB at 8-bit.حجم النموذج (Model size): مساحة التخزين اللازمة لأوزان الشبكة، وتساوي #Parameters x bit width عند استخدام نوع بيانات واحد؛ حجم AlexNet هو 244 MB بدقة 32-bit و 61 MB بدقة 8-bit.
- Multiply-accumulate operation (MAC)
One operation of the form a <- a + b·c, a multiply accumulated into a running sum; the basic unit for counting neural network computation.عملية الضرب والتجميع (Multiply-accumulate, MAC): عملية واحدة على الصورة a <- a + b·c، أي ضرب يُضاف إلى مجموع جارٍ؛ وهي الوحدة الأساسية لعدّ حسابات الشبكات العصبية.
N
- NN specification vs hardware specification
The split in the latency model between terms set by the network (number of operations, model size, activation sizes) and terms set by the processor (operations per second, memory bandwidth).مواصفات الشبكة مقابل مواصفات العتاد (NN specification vs hardware specification): التقسيم في نموذج زمن الاستجابة بين حدود تحددها الشبكة (عدد العمليات، وحجم النموذج، وأحجام التنشيطات) وحدود يحددها المعالج (العمليات في الثانية، وعرض نطاق الذاكرة).
- Number of parameters (#Parameters)
The count of synapses or weights in a neural network, that is the number of elements in its weight tensors; bias is ignored in this lecture.عدد المعاملات (#Parameters): عدد المشابك أو الأوزان في الشبكة العصبية، أي عدد العناصر في موترات الأوزان (weight tensors)؛ ونتجاهل الانحياز (bias) في هذه المحاضرة.
O
- Operation (OP)
A generalized count of operations used when weights and activations are not floating point; AlexNet has about 724M x 2 = 1.4G OPs.العملية (Operation, OP): عدّ معمَّم للعمليات يُستخدم عندما لا تكون الأوزان والتنشيطات بالفاصلة العائمة؛ في AlexNet نحو 724M x 2 = 1.4G OP.
- OPS
Operations per second, OPs divided by time; the general form of FLOPS for any data type.مقياس OPS: العمليات في الثانية، أي عدد OPs مقسومًا على الزمن؛ وهو الصيغة العامة لـ FLOPS لأي نوع بيانات.
- Output height and width (h_o, w_o)
The spatial size of a layer's output feature map; convolution MACs scale with h_o·w_o because every filter is applied at every output position.ارتفاع المخرج وعرضه (Output height and width, h_o, w_o): الحجم المكاني لخريطة السمات الناتجة عن الطبقة؛ وتتناسب عمليات MAC في الالتفاف مع h_o·w_o لأن كل مرشح يُطبَّق عند كل موضع في المخرج.
P
- Peak #activations
The largest number of activations that must be held at once during inference, approximated as the input plus output activations of the worst layer; 150,528 + 290,400 = 440,928 for AlexNet.العدد الأقصى للتنشيطات (Peak #activations): أكبر عدد من التنشيطات يجب الاحتفاظ به في وقت واحد أثناء الاستدلال، ويُقرَّب بأنه تنشيطات المدخل مضافًا إليها تنشيطات المخرج لأسوأ طبقة؛ ويساوي 150,528 + 290,400 = 440,928 في AlexNet.
S
- SRAM cache access
Accessing on-chip static RAM, costing about 5 pJ per 32-bit access, far cheaper than DRAM but costlier than arithmetic.الوصول إلى ذاكرة SRAM المخبئية (SRAM cache access): الوصول إلى ذاكرة RAM الساكنة على الشريحة (on-chip)، ويكلف نحو 5 pJ لكل وصول 32-bit، وهو أرخص بكثير من DRAM لكنه أغلى من العمليات الحسابية.
T
- Throughput
The rate at which data is processed, for example images or videos per second; it can rise through batching or parallelism without lowering latency.الإنتاجية (Throughput): المعدل الذي تُعالَج به البيانات، مثل عدد الصور أو مقاطع الفيديو في الثانية؛ ويمكن رفعها عبر المعالجة على دفعات (batching) أو التوازي دون خفض زمن الاستجابة.
- TinyTL
An on-device learning method (Cai et al., NeurIPS 2020) motivated by the finding that activations, not trainable parameters, dominate training memory.طريقة TinyTL: طريقة للتعلم على الجهاز نفسه (on-device learning) (Cai et al., NeurIPS 2020)، دافعها اكتشاف أن التنشيطات، لا المعاملات القابلة للتدريب، هي التي تهيمن على ذاكرة التدريب.
- Total #activations
The sum of activation elements over the input and all layer outputs; 932,264 for AlexNet.العدد الكلي للتنشيطات (Total #activations): مجموع عناصر التنشيط في المدخل وفي مخرجات جميع الطبقات؛ ويساوي 932,264 في AlexNet.
W
- Weight tensor
The multidimensional array holding a layer's learned weights, for example c_o x c_i for a linear layer or c_o x c_i x k_h x k_w for a convolution.موتر الأوزان (Weight tensor): المصفوفة متعددة الأبعاد التي تحمل الأوزان المتعلَّمة لطبقة ما، مثل c_o x c_i لطبقة خطية أو c_o x c_i x k_h x k_w لطبقة التفاف.