MACs, FLOPs and operationsعمليات MAC وFLOP والعمليات

Start with one neuron that has four inputs. Its output before the activation function is w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄. A processor evaluates that as four identical steps: multiply a weight by an input, add the product to a running total. Each step is one multiply-accumulate operation, and the whole of neural network inference is this step repeated a few hundred million times.

ابدأ بعصبون واحد له أربعة مدخلات. مخرجه قبل دالة التفعيل هو w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄. يحسب المعالج ذلك في أربع خطوات متطابقة: اضرب وزنًا في مدخل، ثم أضف الناتج إلى مجموع جارٍ. كل خطوة هي عملية ضرب وتجميع واحدة (multiply-accumulate operation)، والاستدلال (inference) في الشبكة العصبية بأكمله هو هذه الخطوة مكررة بضع مئات من ملايين المرات.

The definition is standard well beyond this course. The Wikipedia entry on the multiply-accumulate operation gives exactly a ← a + (b × c), and notes that IEEE 754-2008 defines a fused multiply-add that performs the whole step with a single rounding. Sze, Chen, Yang and Emer call the MAC "the fundamental component" of DNN processing in their survey of efficient DNN hardware. Counting MACs is therefore counting what the hardware executes, not an abstraction layered over it.

هذا التعريف معتمد على نطاق أوسع بكثير من هذا المقرر. مدخل ويكيبيديا عن عملية الضرب والتجميع يعطي بالضبط a ← a + (b × c)، ويذكر أن IEEE 754-2008 يعرّف عملية ضرب وجمع مدمجة (fused multiply-add) تنفّذ الخطوة كلها بتقريب واحد فقط. ويصف Sze وChen وYang وEmer عملية MAC بأنها "المكوّن الأساسي" (the fundamental component) لمعالجة الشبكات العصبية العميقة (DNN) في مسحهم لعتاد DNN الكفء. لذلك فإن عدّ MACs هو عدّ لما ينفّذه العتاد فعلًا، وليس تجريدًا مبنيًا فوقه.

From one neuron to a matrix-vector productمن عصبون واحد إلى ضرب مصفوفة في متجه

A layer of m neurons that each read the same n inputs is a matrix-vector multiplication: an m × n weight matrix times an n-vector. Each of the m outputs needs n MACs, one per weight in its row, so the product costs m · n MACs. Notice that this is also the number of weights. In a matrix-vector product, every weight is touched exactly once.

طبقة من m عصبون يقرأ كل منها المدخلات نفسها البالغ عددها n هي ضرب مصفوفة في متجه (matrix-vector multiplication): مصفوفة أوزان حجمها m × n مضروبة في متجه طوله n. كل مخرج من المخرجات الـ m يحتاج n من MACs، واحدة لكل وزن في صفه، لذا يكلف الضرب m · n من MACs. لاحظ أن هذا هو أيضًا عدد الأوزان. في ضرب مصفوفة في متجه، يُستخدم كل وزن مرة واحدة بالضبط.

Feed the layer a batch of inputs at once and the vector becomes a matrix. The slide renames the dimensions here: the input count becomes k and the letter n is reused for the batch, the number of columns of B. The result is a general matrix-matrix multiplication: A of size m × k times B of size k × n gives C of size m × n. Every one of the m · n cells of C is a dot product over the shared dimension k, so it costs k MACs, and the whole product costs m · n · k.

إذا أدخلت إلى الطبقة دفعة (batch) من المدخلات مرة واحدة يصبح المتجه مصفوفة. هنا تعيد الشريحة تسمية الأبعاد: عدد المدخلات يصبح k، ويُعاد استخدام الحرف n للدفعة، أي عدد أعمدة B. الناتج هو الضرب العام لمصفوفة في مصفوفة (general matrix-matrix multiplication): A بحجم m × k مضروبة في B بحجم k × n تعطي C بحجم m × n. كل خلية من خلايا C البالغ عددها m · n هي ضرب نقطي (dot product) على البعد المشترك k، فتكلف k من MACs، ويكلف الضرب كله m · n · k.

Why a whole network reduces to thisلماذا تُختزل الشبكة كلها إلى هذا

A Linear layer is literally a matrix-vector product at batch size one and a GEMM for a batch. Convolution looks different but is executed the same way: frameworks reorder the input patches into columns (the im2col trick described in the CS231n notes) so that a convolution becomes one large GEMM, and the MobileNets paper points out that this is why convolutions can ride on "highly optimized general matrix multiply (GEMM) functions". NVIDIA's performance guide states the cost of a GEMM as 2 · M · N · K floating point operations because "each FMA is 2 operations, a multiply and an add", which previews the FLOP conversion at the end of this part. Once you can count MACs for a matrix product, you can count them for every layer.

الطبقة الخطية (linear layer) هي حرفيًا ضرب مصفوفة في متجه عندما يكون حجم الدفعة (batch size) واحدًا، وهي GEMM عند وجود دفعة. الالتفاف يبدو مختلفًا لكنه يُنفّذ بالطريقة نفسها: تعيد أطر العمل ترتيب رقع المدخل (patches) في أعمدة (حيلة im2col الموصوفة في ملاحظات CS231n) فيصبح الالتفاف عملية GEMM واحدة كبيرة، وتشير ورقة MobileNets إلى أن هذا هو سبب قدرة الالتفاف على الاعتماد على "دوال ضرب المصفوفات العامة (GEMM) المحسّنة للغاية". ويذكر دليل الأداء من NVIDIA أن كلفة GEMM هي 2 · M · N · K عملية فاصلة عائمة لأن "كل FMA عبارة عن عمليتين، ضرب وجمع"، وهذا تمهيد لتحويل FLOP في آخر هذا الجزء. بمجرد أن تستطيع عدّ MACs لضرب المصفوفات، تستطيع عدّها لكل طبقة.

Take the first layer of AlexNet. One filter spans all 3 input channels with an 11 × 11 window, so it holds 3 × 11 × 11 = 363 weights. Producing a single output pixel is one dot product of those 363 weights against a patch of the image: 363 MACs. But the filter does not produce one pixel. It slides to every one of the 55 × 55 = 3,025 output positions, and there are 96 filters. So the layer costs 363 × 3,025 × 96 = 105,415,200 MACs from only 34,848 weights.

خذ الطبقة الأولى من AlexNet. يمتد المرشح (filter) الواحد على قنوات المدخل الـ 3 كلها بنافذة 11 × 11، فيحمل 3 × 11 × 11 = 363 وزنًا. إنتاج بكسل واحد في المخرج هو ضرب نقطي واحد لهذه الأوزان الـ 363 مع رقعة من الصورة: 363 من MACs. لكن المرشح لا ينتج بكسلًا واحدًا، بل ينزلق إلى كل موضع من مواضع المخرج البالغة 55 × 55 = 3,025، وهناك 96 مرشحًا. لذا تكلف الطبقة 363 × 3,025 × 96 = 105,415,200 من MACs انطلاقًا من 34,848 وزنًا فقط.

That example contains the whole rule. In a convolution layer every weight is applied once per output position, so the MAC count is the parameter count from part 02 multiplied by the output height and width:

هذا المثال يحتوي القاعدة كلها. في طبقة الالتفاف (convolution layer) يُطبَّق كل وزن مرة واحدة لكل موضع في المخرج، لذا فإن عدد MACs هو عدد المعاملات (parameter count) من الجزء 02 مضروبًا في ارتفاع المخرج وعرضه (output height and width):

The other rows of the slide's table follow from the same idea. A Linear layer has h_o = w_o = 1, so its MACs equal its parameters, c_o · c_i. A Grouped convolution splits the channels into g groups, so each filter sees only c_i / g input channels and both parameters and MACs are divided by g. A Depthwise convolution is the extreme case g = c_i = c_o: each filter sees exactly one channel, so c_i disappears from the formula entirely and only c_o · k_h · k_w weights remain, each still applied h_o · w_o times.

بقية صفوف جدول الشريحة تنتج من الفكرة نفسها. الطبقة الخطية (linear layer) لها h_o = w_o = 1، لذا فإن MACs فيها تساوي معاملاتها، c_o · c_i. والالتفاف المجمّع (grouped convolution) يقسم القنوات إلى g groups (أي g من المجموعات)، فلا يرى كل مرشح إلا c_i / g من قنوات المدخل، وتُقسم المعاملات وMACs كلاهما على g. أما الالتفاف العمقي (depthwise convolution) فهو الحالة القصوى g = c_i = c_o: كل مرشح يرى قناة واحدة بالضبط، فيختفي c_i من الصيغة تمامًا ولا يبقى إلا c_o · k_h · k_w وزنًا، كل منها لا يزال يُطبَّق h_o · w_o مرة.

How a convolution slides, how padding and stride set the output size, and how groups partition channels were covered in lecture 02, part 02 and part 03. This part only counts, and it takes the kernel size and output shape of each layer as given.

كيف ينزلق الالتفاف، وكيف يحدد الحشو (padding) والخطوة (stride) حجم المخرج، وكيف تقسّم المجموعات القنوات، كل ذلك شُرح في المحاضرة 02، الجزء 02 والجزء 03. هذا الجزء يكتفي بالعدّ، ويأخذ حجم النواة (kernel size) وشكل المخرج لكل طبقة كمعطيات.

Why this mirrors part 02لماذا يعكس هذا الجزء صورة الجزء 02

Goodfellow, Bengio and Courville explain parameter sharing in one sentence that is the whole story of this part: sharing "does not affect the runtime of forward propagation, it is still O(k × n), but it does further reduce the storage requirements of the model to k parameters". Convolution saves storage by reusing weights, and reusing weights is exactly what makes the arithmetic grow. That is why parts 02 and 04 are mirror images. The layers cheapest to store are the most expensive to run.

يشرح Goodfellow وBengio وCourville مشاركة المعاملات (parameter sharing) في جملة واحدة هي قصة هذا الجزء كلها: المشاركة "لا تؤثر في زمن تشغيل الانتشار الأمامي، فهو لا يزال O(k × n)، لكنها تقلل أكثر متطلبات تخزين النموذج إلى k من المعاملات". الالتفاف يوفّر التخزين بإعادة استخدام الأوزان، وإعادة استخدام الأوزان هي بالضبط ما يجعل الحسابات تكبر. لهذا فإن الجزأين 02 و04 صورتان متعاكستان. الطبقات الأرخص تخزينًا هي الأغلى تشغيلًا.

Worked example: the MobileNet block that makes depthwise worth itمثال محلول: كتلة MobileNet التي تجعل الالتفاف العمقي (depthwise) مجديًا

The MobileNets paper replaces one standard 3 × 3 convolution with a depthwise 3 × 3 followed by a pointwise 1 × 1. Its equations 4 and 5 give the depthwise and separable costs, and dividing by the standard cost gives the ratio 1 / N + 1 / D_K², where N is the number of output channels and D_K the kernel size. The formulas in the table let you reproduce that with real numbers.

تستبدل ورقة MobileNets التفافًا قياسيًا واحدًا 3 × 3 بالتفاف عمقي 3 × 3 يتبعه التفاف نقطي (pointwise) 1 × 1. معادلتاها 4 و5 تعطيان كلفة الالتفاف العمقي وكلفة الالتفاف المنفصل (separable)، والقسمة على كلفة الالتفاف القياسي تعطي النسبة 1 / N + 1 / D_K²، حيث N عدد قنوات المخرج وD_K حجم النواة. الصيغ في الجدول تتيح لك إعادة إنتاج ذلك بأرقام حقيقية.

The calculator below lets you scrub every symbol in the table. Its FLOPs, OPs and hardware rows are explained in the last concept of this part; for now watch how parameters and MACs move apart as the output size grows.

تتيح لك الحاسبة أدناه تحريك كل رمز في الجدول. صفوف FLOPs وOPs والعتاد فيها تُشرح في المفهوم الأخير من هذا الجزء؛ أما الآن فراقب كيف يتباعد عدد المعاملات وعدد MACs كلما كبر حجم المخرج.

Slide 25 hands you the eight weighted layers of AlexNet with their output shapes and an empty MACs column. Slide 26 fills it in, except for one layer hidden behind a question mark. Work through the column yourself before you read the answers. Every entry is the formula from the previous concept with the layer's numbers substituted, and the pooling layers contribute nothing because they hold no weights.

تعطيك الشريحة 25 الطبقات الثماني ذات الأوزان في AlexNet مع أشكال مخرجاتها وعمود MACs فارغ. وتملؤه الشريحة 26، باستثناء طبقة واحدة مخفية خلف علامة استفهام. احسب العمود بنفسك قبل أن تقرأ الإجابات. كل خانة هي الصيغة من المفهوم السابق بعد التعويض بأرقام الطبقة، وطبقات التجميع (pooling) لا تضيف شيئًا لأنها لا تحمل أوزانًا.

Put the parameters next to the MACsضع المعاملات بجانب MACs

The total is not the interesting number. The interesting number appears when you place the parameter counts from part 02 beside the MACs and add a column for their ratio, which by the previous concept is just h_o · w_o.

المجموع ليس الرقم المثير للاهتمام. الرقم المثير يظهر عندما تضع أعداد المعاملات من الجزء 02 بجانب MACs وتضيف عمودًا للنسبة بينهما، وهي بحسب المفهوم السابق مجرد h_o · w_o.

The five convolutions hold 2,332,704 parameters, under 4% of the network, yet perform 665,784,864 MACs, 92% of the compute. The three linear layers hold 58,621,952 parameters, 96% of the network, yet perform only 58,621,952 MACs, 8% of the compute. The last column explains it: each conv1 weight is used 3,025 times, each conv3 to conv5 weight 169 times, each linear weight once. Large spatial maps early in the network make convolution compute heavy. Large c_i · c_o products late in the network make the linear layers parameter heavy.

الالتفافات الخمسة تحمل 2,332,704 من المعاملات، أي أقل من 4% من الشبكة، ومع ذلك تنفّذ 665,784,864 من MACs، أي 92% من الحساب. والطبقات الخطية الثلاث تحمل 58,621,952 من المعاملات، أي 96% من الشبكة، ومع ذلك لا تنفّذ إلا 58,621,952 من MACs، أي 8% من الحساب. العمود الأخير يفسّر ذلك: كل وزن في conv1 يُستخدم 3,025 مرة، وكل وزن في conv3 إلى conv5 يُستخدم 169 مرة، وكل وزن خطي مرة واحدة. الخرائط المكانية الكبيرة في بداية الشبكة تجعل الالتفاف ثقيلًا في الحساب. وحواصل الضرب الكبيرة c_i · c_o في نهاية الشبكة تجعل الطبقات الخطية ثقيلة في المعاملات.

What this means for making a model fasterماذا يعني هذا لجعل النموذج أسرع

The inversion sets the strategy for the rest of the course. Pruning or quantizing the linear layers shrinks Model size dramatically, because that is where the weights are, but it barely changes the MAC count and therefore barely changes computation time. To make inference faster you must attack the convolutions: fewer channels, grouped or depthwise filters as in MobileNet, or a lower input resolution so that h_o · w_o shrinks in every layer at once. The pruning lecture that follows will keep returning to this table, and when you profile a model for the research project, report both columns, not one.

هذا الانقلاب يحدد الاستراتيجية لبقية المقرر. التقليم (pruning) أو التكميم (quantization) للطبقات الخطية يقلّص حجم النموذج (model size) بشكل كبير، لأن الأوزان موجودة هناك، لكنه بالكاد يغيّر عدد MACs، وبالتالي بالكاد يغيّر زمن الحساب (computation time). لجعل الاستدلال أسرع يجب أن تستهدف الالتفافات: قنوات أقل، أو مرشحات مجمّعة أو عمقية كما في MobileNet، أو دقة مدخل أقل بحيث يصغر h_o · w_o في كل الطبقات دفعة واحدة. محاضرة التقليم التالية ستعود إلى هذا الجدول مرارًا، وعندما تحلّل نموذجًا في مشروع البحث، اذكر العمودين معًا لا عمودًا واحدًا.

A MAC hides two arithmetic operations: a multiply and an add. When each is counted as one floating point operation, one MAC is two FLOPs, and AlexNet's 724,406,816 MACs become 1,448,813,632 FLOPs. The slide rounds that to 1.4G; the exact figure is 1.449G, and showing the factor of two matters more than the rounding.

تخفي عملية MAC عمليتين حسابيتين: ضربًا وجمعًا. عندما تُعدّ كل منهما عملية فاصلة عائمة (floating point operation) واحدة، تصبح عملية MAC الواحدة اثنتين من FLOPs، وتصبح MACs في AlexNet البالغة 724,406,816 عددًا قدره 1,448,813,632 من FLOPs. تقرّب الشريحة ذلك إلى 1.4G؛ والرقم الدقيق 1.449G، وإظهار معامل الاثنين أهم من التقريب.

The count on its own says nothing about time. To get time you need to know how fast a processor can drain it, and that is a different quantity with an almost identical name. FLOPS, with a capital S, is floating point operations per second: a throughput that belongs to the hardware. FLOPs, with a lowercase s, is a plural count that belongs to the model. TOP500 ranks supercomputers by exactly this rate, reporting Linpack results as Rmax and Rpeak in Flop/s, and NVIDIA's GPU performance background guide writes the time a math-limited kernel takes as its number of operations divided by the processor's math bandwidth, which is FLOPs over FLOPS.

العدد وحده لا يقول شيئًا عن الزمن. لتحصل على الزمن تحتاج أن تعرف مدى سرعة المعالج في استهلاكه، وهذه كمية مختلفة باسم شبه مطابق. FLOPS، بحرف S كبير، هي عدد عمليات الفاصلة العائمة في الثانية: معدل إنتاجية (throughput) يخص العتاد. أما FLOPs، بحرف s صغير، فهي عدد بصيغة الجمع يخص النموذج. تصنّف قائمة TOP500 الحواسيب الفائقة بهذا المعدل بالضبط، إذ تذكر نتائج Linpack على شكل Rmax وRpeak بوحدة Flop/s، ويكتب دليل خلفية أداء وحدات GPU من NVIDIA زمن النواة (kernel) المحدودة بالحساب على أنه عدد عملياتها مقسومًا على عرض النطاق الحسابي للمعالج، أي FLOPs على FLOPS.

This is the computation time term of the latency model on slide 8, where the numerator is a network specification and the denominator a hardware specification. Run AlexNet's count through a few devices and the scale of the answer changes by orders of magnitude while the model does not change at all.

هذا هو حد زمن الحساب (computation time) في نموذج التأخير في الشريحة 8، حيث البسط هو مواصفة الشبكة (network specification) والمقام مواصفة العتاد. مرّر عدد AlexNet عبر عدة أجهزة وسترى أن مقياس الإجابة يتغير بعدة مراتب عشرية بينما لا يتغير النموذج إطلاقًا.

OPs: the same count for any data typeOPs: العدد نفسه لأي نوع من البيانات

The F in FLOP assumes floating point arithmetic. A quantized network, the kind you deploy on a microcontroller or an INT8 accelerator, stores weights and activations at an Bit width of 8 bits and multiplies integers. Those are not floating point operations, but they are still operations, and there are still two per MAC. The lecture therefore generalizes: an operation (OP) is one multiply or add of any data type, AlexNet is 724M × 2 = 1.4G OPs, and OPS is operations per second. The layer compute calculator in the second concept of this part uses OPS in its hardware box for exactly this reason: the formula for time does not care whether the operands were floats.

حرف F في FLOP يفترض حسابًا بالفاصلة العائمة. الشبكة المكمّمة، من النوع الذي تنشره على متحكم دقيق (microcontroller) أو على مسرّع INT8، تخزّن الأوزان والتنشيطات (activations) بعرض بت (bit-width) قدره 8 بتات وتضرب أعدادًا صحيحة. هذه ليست عمليات فاصلة عائمة، لكنها لا تزال عمليات، ولا يزال هناك اثنتان منها لكل MAC. لذلك تعمّم المحاضرة: العملية (operation (OP)) هي ضرب أو جمع واحد لأي نوع من البيانات، وAlexNet يساوي 724M × 2 = 1.4G من OPs، وOPS هي عدد العمليات في الثانية. حاسبة حساب الطبقة في المفهوم الثاني من هذا الجزء تستخدم OPS في خانة العتاد لهذا السبب بالضبط: صيغة الزمن لا تهتم بما إذا كانت المُعامَلات الحسابية (operands) أعدادًا عائمة.

Slide 29 lists the ten works the lecture draws on. Six were used directly in this lecture's counting and examples; the other four appear here as context for the architectures and normalization layers of lecture 02 and the pruning lectures ahead.

تسرد الشريحة 29 الأعمال العشرة التي تستند إليها المحاضرة. ستة منها استُخدمت مباشرة في العدّ والأمثلة في هذه المحاضرة؛ والأربعة الأخرى تظهر هنا كسياق للبنى المعمارية وطبقات التطبيع (normalization) في المحاضرة 02 ولمحاضرات التقليم القادمة.

Used in this lectureمستخدمة في هذه المحاضرة

• Dumoulin and Visin, Convolution arithmetic (GitHub repository and arXiv 1603.07285): the output-shape arithmetic behind every h_o × w_o in this part.Dumoulin وVisin، Convolution arithmetic (مستودع GitHub وarXiv 1603.07285): حسابات شكل المخرج وراء كل h_o × w_o في هذا الجزء.
• Stanford CS231n, lecture 5, Image Classification with CNNs: parameter sharing, the output-size formula and im2col.Stanford CS231n، المحاضرة 5، Image Classification with CNNs: مشاركة المعاملات، وصيغة حجم المخرج، وim2col.
• Krizhevsky, Sutskever and Hinton, ImageNet Classification with Deep Convolutional Neural Networks, NeurIPS 2012: the AlexNet layers counted on slides 25 and 26.Krizhevsky وSutskever وHinton، ImageNet Classification with Deep Convolutional Neural Networks، NeurIPS 2012: طبقات AlexNet المعدودة في الشريحتين 25 و26.
• Sandler et al., MobileNetV2: Inverted Residuals and Linear Bottlenecks, CVPR 2018: the depthwise design that cuts both parameters and MACs, and the "MAdd" convention.Sandler et al.، MobileNetV2: Inverted Residuals and Linear Bottlenecks، CVPR 2018: التصميم العمقي (depthwise) الذي يخفض المعاملات وMACs معًا، واصطلاح "MAdd".
• Deng, Li, Han, Shi and Xie, Model Compression and Hardware Acceleration for Neural Networks: A Comprehensive Survey, Proceedings of the IEEE 108(4), 2020: the wider map of compression techniques that these metrics evaluate.Deng وLi وHan وShi وXie، Model Compression and Hardware Acceleration for Neural Networks: A Comprehensive Survey، Proceedings of the IEEE 108(4), 2020: الخريطة الأوسع لتقنيات الضغط التي تقيّمها هذه المقاييس.
• Song Han, MIT 6.5940 TinyML and Efficient Deep Learning Computing, lecture 2: the direct source of slides 23 to 28.Song Han، MIT 6.5940 TinyML and Efficient Deep Learning Computing، المحاضرة 2: المصدر المباشر للشرائح من 23 إلى 28.

Context for other lecturesسياق لمحاضرات أخرى

• Ioffe and Szegedy, Batch Normalization, ICML 2015.Ioffe وSzegedy، Batch Normalization، ICML 2015.
• Wu and He, Group Normalization, ECCV 2018.Wu وHe، Group Normalization، ECCV 2018.
• Simonyan and Zisserman, Very Deep Convolutional Networks for Large-Scale Image Recognition, ICLR 2015.Simonyan وZisserman، Very Deep Convolutional Networks for Large-Scale Image Recognition، ICLR 2015.
• He, Zhang, Ren and Sun, Deep Residual Learning for Image Recognition, CVPR 2016.He وZhang وRen وSun، Deep Residual Learning for Image Recognition، CVPR 2016.