Activations and peak memoryالتنشيطات وذروة الذاكرة

Take a real target: an STM32F746 microcontroller has a Cortex-M7 core, 1 MB of flash and 320 kB of SRAM. It has no DRAM and no operating system; MCUNet describes such boards as bare-metal devices (Lin et al., 2020). Now take two ImageNet classifiers that both reach about 70 percent top-1 accuracy with every value stored as an 8-bit integer. ResNet-18 needs 11.2 MB for its weights. MobileNetV2 at width 0.75 needs about 2.5 MB as MCUNet's Figure 8 labels the bar, a 4.6x reduction on the slide (strictly 11.2 / 2.5 ≈ 4.5; the paper rounds to 4.6x). If parameters were the memory story, the second model would be the obvious choice.

خذ هدفًا حقيقيًا: الـ microcontroller من نوع STM32F746 فيه نواة Cortex-M7 و1 MB من الـ flash و320 kB من الـ SRAM. لا يوجد فيه DRAM ولا نظام تشغيل؛ وورقة MCUNet تصف هذه اللوحات بأنها أجهزة bare-metal (Lin et al., 2020). الآن خذ مصنّفين على ImageNet يصل كلاهما إلى حوالي 70 percent دقة top-1 مع تخزين كل قيمة كعدد صحيح بـ 8-bit. الـ ResNet-18 يحتاج 11.2 MB لأوزانه. والـ MobileNetV2 بعرض 0.75 يحتاج حوالي 2.5 MB كما يكتبها Figure 8 في MCUNet على العمود، أي تخفيض بـ 4.6x على الشريحة (بدقة 11.2 / 2.5 ≈ 4.5؛ والورقة تقرّبها إلى 4.6x). لو كانت الـ parameters هي كل قصة الذاكرة، لكان النموذج الثاني هو الاختيار البديهي.

Then look at the other pair of bars. The largest amount of activation memory that ResNet-18 needs at any moment is 0.9 MB. For MobileNetV2-0.75 it is 1.7 MB. The efficient model is 1.8x worse on peak activations, and the MCUNet paper says so plainly: MobileNetV2 "reduces the model size by 4.6x compared to ResNet-18, but the peak activation size increases by 1.8x, making it even more difficult to fit the SRAM on microcontrollers" (Lin et al., 2020). Neither model fits 320 kB. The memory bottleneck moved without anyone shrinking it.

ثم انظر إلى الزوج الآخر من الأعمدة. أكبر كمية من ذاكرة الـ activation يحتاجها ResNet-18 في أي لحظة هي 0.9 MB. أما MobileNetV2-0.75 فيحتاج 1.7 MB. النموذج "الكفء" أسوأ بـ 1.8x في peak activations، وورقة MCUNet تقول ذلك صراحة: الـ MobileNetV2 "يقلّل حجم النموذج بـ 4.6x مقارنة بـ ResNet-18، لكن حجم ذروة الـ activation يزيد بـ 1.8x، مما يجعل الاتساع في الـ SRAM على الـ microcontrollers أصعب حتى" (Lin et al., 2020). لا يتّسع أيٌّ من النموذجين في 320 kB. الـ memory bottleneck انتقل من مكانه دون أن يقلّصه أحد.

Two budgets, and the smaller one belongs to activationsميزانيتان، والأصغر منهما تخص الـ activations

The reason the two bars behave differently is that they are paid from different memories. Weights are read-only: they are written once when the firmware is flashed and only read during inference, so they live in flash, the larger and cheaper memory. Activations are produced by one layer and consumed by the next on every single inference, so they must sit in memory that can be written and read at speed, which on a microcontroller is the on-chip SRAM. MCUNet puts it in one sentence: "SRAM constrains the activation size (read&write); Flash constrains the model size (read-only)" (Lin et al., 2020). The model size from part 02 answers the flash question. The peak activation answers the SRAM question, and SRAM is the scarcer of the two by a factor of two to four on every board in MCUNet's list (the STM32F746 has about 3x more flash than SRAM).

السبب في أن العمودين يتصرفان بشكل مختلف هو أنهما يُدفعان من ذاكرتين مختلفتين. الأوزان للقراءة فقط: تُكتب مرة واحدة عند تحميل الـ firmware ولا تُقرأ إلا أثناء الـ inference، لذلك تعيش في الـ flash، وهي الذاكرة الأكبر والأرخص. أما الـ activations فتنتجها طبقة وتستهلكها الطبقة التالية في كل inference، لذلك يجب أن تكون في ذاكرة يمكن الكتابة فيها والقراءة منها بسرعة، وهي على الـ microcontroller الـ SRAM الموجودة على الشريحة. ورقة MCUNet تلخص ذلك في جملة واحدة: "الـ SRAM يقيّد حجم الـ activation (قراءة وكتابة)؛ والـ Flash يقيّد حجم النموذج (قراءة فقط)" (Lin et al., 2020). الـ model size من الجزء 02 يجيب عن سؤال الـ flash. وذروة الـ activation تجيب عن سؤال الـ SRAM، والـ SRAM هي الأندر بين الاثنتين بعامل يتراوح بين اثنين وأربعة في كل لوحة في قائمة MCUNet (الـ STM32F746 فيه flash أكثر من الـ SRAM بحوالي 3x).

This also explains why bit width alone does not rescue MobileNetV2. The slide already assumes 8-bit integers for both weights and activations. Even after that 4x shrink from 32-bit floats, the peak sits at 1.7 MB. MCUNet's Table 1 reports 1.7 MB for full-width int8 MobileNetV2 (6.8 MB in fp32), 5.3x over the 320 kB of an STM32F746, not counting im2col or other runtime buffers. Quantization scales both bars by the same factor; it does not change which bar is the problem.

وهذا يفسر أيضًا لماذا لا يُنقذ الـ bit width وحده الـ MobileNetV2. الشريحة تفترض أصلًا أعدادًا صحيحة بـ 8-bit للأوزان والـ activations معًا. وحتى بعد هذا التقليص بـ 4x من الـ 32-bit floats، تبقى الذروة عند 1.7 MB. الـ Table 1 في MCUNet يذكر 1.7 MB لـ MobileNetV2 بالعرض الكامل وبـ int8 (و6.8 MB بـ fp32)، أي 5.3x فوق الـ 320 kB في STM32F746، دون احتساب im2col أو أي buffers أخرى للـ runtime. الـ quantization يقلّص العمودين بالعامل نفسه؛ ولا يغيّر أي العمودين هو المشكلة.

The MCUNet row comes from Figure 8 of the same paper and is there to show what solving the right problem looks like: its designers shrank the peak activation below 0.5 MB rather than chasing a smaller parameter count, and only then did an ImageNet model fit a 512 kB board. The 4.6x model is not an efficient model for this class of device; it is an efficient model for a phone, where DRAM is plentiful and flash is not the constraint.

صف MCUNet مأخوذ من Figure 8 في الورقة نفسها، وهو موجود ليُظهر شكل حل المشكلة الصحيحة: مصمموه قلّصوا ذروة الـ activation إلى أقل من 0.5 MB بدل مطاردة عدد أصغر من الـ parameters، وعندها فقط اتّسع نموذج ImageNet في لوحة بـ 512 kB. النموذج صاحب الـ 4.6x ليس نموذجًا كفؤًا لهذه الفئة من الأجهزة؛ بل هو نموذج كفء للهاتف، حيث الـ DRAM وفيرة والـ flash ليس هو القيد.

Why MobileNetV2 in particular: an imbalanced profileلماذا MobileNetV2 تحديدًا: مخطط ذاكرة غير متوازن

The right-hand chart explains where MobileNetV2's peak comes from. Plot the memory that each of its eighteen blocks needs and the profile is wildly uneven: block 2 needs 1372 kB, blocks 0, 1, 3 and 4 sit between roughly 500 kB and 600 kB, and the remaining thirteen blocks mostly need 40 kB to 170 kB. Draw the 256 kB constraint of a typical microcontroller and exactly five blocks cross it. MCUNetV2, the follow-up paper that this chart comes from, states it directly: "The first 5 blocks have large peak memory, exceeding the memory constraints of MCUs, while the remaining 13 blocks easily fit 256kB memory constraints. The third block has 8x larger memory usage than the rest of the network" (Lin et al., 2021).

المخطط على اليمين يشرح من أين تأتي ذروة MobileNetV2. ارسم الذاكرة التي يحتاجها كل block من الـ 18 block وستجد المخطط متفاوتًا بشدة: block 2 يحتاج 1372 kB، والـ blocks 0, 1, 3 و4 تقع بين حوالي 500 kB و600 kB، والـ blocks الثلاثة عشر الباقية تحتاج في الغالب من 40 kB إلى 170 kB. ارسم 256 kB constraint الخاص بـ microcontroller نموذجي وستجد أن خمسة blocks بالضبط تتجاوزه. ورقة MCUNetV2، وهي الورقة اللاحقة التي جاء منها هذا المخطط، تقولها مباشرة: "أول 5 blocks لها ذروة ذاكرة كبيرة تتجاوز قيود الذاكرة في الـ MCUs، بينما الـ 13 block الباقية تتسع بسهولة في قيد ذاكرة 256kB. الـ block الثالث يستخدم ذاكرة أكبر بـ 8x من بقية الشبكة" (Lin et al., 2021).

The two charts on the slide come from different papers with different memory accounting: the left bars are MCUNet's (2020) figures for MobileNetV2-0.75, while the right chart is MCUNetV2's analytic input-plus-output count for full-width MobileNetV2 in int8, so the numbers are not directly comparable. Its block 2 peak is 16×112×112 + 96×112×112 = 1,404,928 B, which is 1372 kB in 1024-byte kilobytes.

المخططان على الشريحة يأتيان من ورقتين مختلفتين بطريقتين مختلفتين في حساب الذاكرة: الأعمدة على اليسار هي أرقام MCUNet (2020) لـ MobileNetV2-0.75، بينما المخطط على اليمين هو عدّ تحليلي لـ input زائد output من MCUNetV2 لـ MobileNetV2 بالعرض الكامل وبـ int8، لذلك الأرقام غير قابلة للمقارنة المباشرة. ذروة block 2 فيه هي 16×112×112 + 96×112×112 = 1,404,928 B، وهذا يساوي 1372 kB إذا كان الكيلوبايت 1024 byte.

The cause is the shape of MobileNetV2's inverted residual block. Each block first expands the channel count about six times with a 1×1 convolution, applies a depthwise 3×3, and projects back down. The depthwise step is what makes the block cheap in weights and MACs, exactly as part 02 computed. But the expanded tensor exists at full spatial resolution, and in the early blocks that resolution is 112×112 or 56×56. Six times the channels at a large H×W gives a huge activation in a block that owns almost no parameters. MCUNet's per-block peak memory analysis (Figure 11) measures the same imbalance on a MobileNetV2 scaled to 0.3x width to fit 320 kB: even then one block has 2.2x the peak activation of the average block (Lin et al., 2020). A model can be light in weights and heavy in activations at the same time, and this architecture is the canonical example.

السبب هو شكل الـ inverted residual block في MobileNetV2. كل block يوسّع أولًا عدد الـ channels حوالي ست مرات بـ convolution من نوع 1×1، ثم يطبق depthwise 3×3، ثم يُسقط العدد مرة أخرى إلى الأسفل. خطوة الـ depthwise هي ما يجعل الـ block رخيصًا في الأوزان والـ MACs، تمامًا كما حسب الجزء 02. لكن الـ tensor الموسَّع يوجد بالـ resolution المكانية الكاملة، وفي الـ blocks الأولى تكون هذه الـ resolution 112×112 أو 56×56. ست مرات عدد الـ channels عند H×W كبير تعطي activation ضخمًا في block لا يملك تقريبًا أي parameters. تحليل ذروة الذاكرة لكل block في MCUNet (Figure 11) يقيس عدم التوازن نفسه على MobileNetV2 مصغَّر إلى عرض 0.3x ليتّسع في 320 kB: حتى في هذه الحالة يملك block واحد ذروة activation تساوي 2.2x من ذروة الـ block المتوسط (Lin et al., 2020). يمكن لنموذج أن يكون خفيفًا في الأوزان وثقيلًا في الـ activations في الوقت نفسه، وهذه البنية هي المثال المعياري على ذلك.

Inference keeps a few activations alive; training keeps all of them. Switch to 32-bit floats and a training step of ResNet-50. Its weights take 102 MB. Its activations, for one mini-batch, take 707 MB, about 7x more. Now swap in MobileNetV2 at width 1.4: the weights fall to about 24 MB, a 4.3x reduction, but the activations fall only to about 626 MB, a 1.1x reduction. The TinyTL paper that produced these numbers concludes: "It is the activation that bottlenecks the training memory, not the parameters" (Cai et al., 2020).

الـ inference يُبقي عددًا قليلًا من الـ activations حيًّا؛ أما التدريب فيُبقيها كلها. انتقل إلى 32-bit floats وإلى خطوة تدريب لـ ResNet-50. أوزانه تأخذ 102 MB. والـ activations الخاصة به، لـ mini-batch واحد، تأخذ 707 MB، أي حوالي 7x أكثر. الآن ضع مكانه MobileNetV2 بعرض 1.4: الأوزان تنخفض إلى حوالي 24 MB، أي تخفيض بـ 4.3x، لكن الـ activations تنخفض فقط إلى حوالي 626 MB، أي تخفيض بـ 1.1x. ورقة TinyTL التي أنتجت هذه الأرقام تستنتج: "الـ activation هو ما يخنق ذاكرة التدريب، لا الـ parameters" (Cai et al., 2020).

The mechanism is backpropagation itself. Write one linear layer as a_(i+1) = a_i W + b, where a_i is the layer's input activation. To update the weight you need the gradient of the loss with respect to W, and that gradient is the outer product of the input activation with the gradient flowing back from the next layer.

الآلية هي الـ backpropagation نفسها. اكتب طبقة خطية واحدة على الشكل a_(i+1) = a_i W + b، حيث a_i هو الـ input activation للطبقة. لتحديث الوزن تحتاج إلى gradient الـ loss بالنسبة لـ W، وهذا الـ gradient هو الـ outer product للـ input activation مع الـ gradient العائد من الطبقة التالية.

The forward pass computes a_1, then a_2, and so on up to the loss. The backward pass returns in reverse order, and when it reaches layer i it must still have a_i. So every layer's input has to be held from the moment it is produced until the backward pass comes back to it. Goodfellow, Bengio and Courville make the same point for a multilayer perceptron: "we need to store the input to the nonlinearity of the hidden layer. This value is stored from the time it is computed until the backward pass has returned to the same point," and the cost per layer is O(m·n_h) for a mini-batch of m examples and n_h hidden units (Goodfellow et al., 2016, section 6.5.7). Depth multiplies that cost by the number of layers, and the batch size multiplies it again.

الـ forward pass يحسب a_1، ثم a_2، وهكذا حتى الـ loss. والـ backward pass يعود بالترتيب العكسي، وعندما يصل إلى الطبقة i يجب أن يكون a_i لا يزال موجودًا. إذن يجب الاحتفاظ بـ input كل طبقة من لحظة إنتاجه حتى يعود إليه الـ backward pass. يذكر Goodfellow وBengio وCourville النقطة نفسها عن الـ multilayer perceptron: "نحتاج إلى تخزين الـ input الداخل إلى الـ nonlinearity في الطبقة المخفية. هذه القيمة تُخزَّن من وقت حسابها حتى يعود الـ backward pass إلى النقطة نفسها"، والتكلفة لكل طبقة هي O(m·n_h) لـ mini-batch من m أمثلة وn_h وحدة مخفية (Goodfellow et al., 2016, section 6.5.7). العمق يضرب هذه التكلفة في عدد الطبقات، والـ batch size يضربها مرة أخرى.

The formula also points to the cure that TinyTL proposes and that this course returns to when it reaches on-device learning. The bias gradient in equation 2 needs no stored activation at all. If you freeze the weights and update only biases (plus a small added module), the a_i tensors never have to be kept, and the 707 MB term collapses. That is a memory argument, not an accuracy argument, and it is only visible once you have separated activations from parameters as this slide does. It matters doubly on a microcontroller, because TinyTL notes that DRAM access consumes two orders of magnitude more energy than on-chip SRAM access (Cai et al., 2020), echoing the Horowitz numbers from part 01.

المعادلة تشير أيضًا إلى العلاج الذي تقترحه TinyTL والذي يعود إليه هذا المقرر عندما يصل إلى التعلم على الجهاز (on-device learning). gradient الـ bias في equation 2 لا يحتاج إلى أي activation مخزّن إطلاقًا. إذا جمّدت الأوزان وحدّثت الـ biases فقط (مع وحدة صغيرة مضافة)، فلن تحتاج أبدًا إلى الاحتفاظ بالـ tensors a_i، وينهار حد الـ 707 MB. هذه حجة ذاكرة، لا حجة دقة، ولا تظهر إلا بعد أن تفصل الـ activations عن الـ parameters كما تفعل هذه الشريحة. وتزداد أهميتها على الـ microcontroller، لأن TinyTL تذكر أن الوصول إلى الـ DRAM يستهلك طاقة أكثر برتبتين عشريتين من الوصول إلى الـ SRAM الموجودة على الشريحة (Cai et al., 2020)، وهذا صدى لـ Horowitz numbers من الجزء 01.

Plot, layer by layer, how much memory the activations and the weights of an efficient network take, and a clear shape appears. For MCUNet, a network designed for microcontrollers, the first six layers need 50 kB to 75 kB of activation memory and almost no weight memory, and activation stays the dominant term, mostly 20 kB to 55 kB, out to about layer 17. Around layers 18 to 30 both are small, under about 15 kB. From layer 32 onward the weight memory climbs to 35 kB to 75 kB while activations stay near 5 kB to 10 kB. The total traces a U: expensive at both ends, cheap in the middle, for two different reasons. The chart comes from MCUNet's on-device training work and shows the memory needed to update each layer, which is the stored input activation plus the weight and its gradient. The same geometry governs inference, as the AlexNet arithmetic below shows.

ارسم، طبقة بطبقة، مقدار الذاكرة الذي تأخذه الـ activations والأوزان في شبكة كفؤة، وسيظهر شكل واضح. في MCUNet، وهي شبكة مصممة للـ microcontrollers، تحتاج أول ست طبقات من 50 kB إلى 75 kB من ذاكرة الـ activation وتقريبًا لا شيء من ذاكرة الأوزان، ويبقى الـ activation هو الحد المسيطر، غالبًا بين 20 kB و55 kB، حتى حوالي الطبقة 17. وحول الطبقات 18 إلى 30 يكون الاثنان صغيرين، تحت حوالي 15 kB. ومن الطبقة 32 فصاعدًا ترتفع ذاكرة الأوزان إلى 35 kB حتى 75 kB بينما تبقى الـ activations قرب 5 kB إلى 10 kB. المجموع يرسم حرف U: مكلف في الطرفين ورخيص في المنتصف، لسببين مختلفين. المخطط مأخوذ من عمل MCUNet على التدريب على الجهاز ويعرض الذاكرة اللازمة لتحديث كل طبقة، وهي الـ input activation المخزّن زائد الوزن والـ gradient الخاص به. والهندسة نفسها تحكم الـ inference، كما تبيّن حسابات AlexNet أدناه.

The two counting rules from part 02 predict this. An activation tensor holds C × H × W values. A convolution weight tensor holds C_o × C_i × k_h × k_w values. Now follow a CNN from input to output. At every downsampling stage the spatial size halves in each direction, so H × W drops by 4x, while the channel count typically only doubles. The activation count C × H × W therefore falls by about 2x per stage. The weight count contains C_o × C_i, which grows by about 4x when channels double and does not care about H and W at all. MCUNetV2 states the consequence: "the memory bottleneck tends to appear at the early stage of the network" because resolution shrinks faster than channels grow (Lin et al., 2021).

قاعدتا العدّ من الجزء 02 تتنبآن بهذا. الـ activation tensor يحمل C × H × W قيمة. والـ weight tensor في الـ convolution يحمل C_o × C_i × k_h × k_w قيمة. الآن تتبّع CNN من الـ input إلى الـ output. في كل مرحلة downsampling يتنصّف الـ spatial size في كل اتجاه، فينخفض H × W بـ 4x، بينما يتضاعف عدد الـ channels عادةً مرة واحدة فقط. لذلك ينخفض عدد الـ activations C × H × W بحوالي 2x في كل مرحلة. أما عدد الأوزان فيحتوي على C_o × C_i، الذي ينمو بحوالي 4x عندما تتضاعف الـ channels ولا يهتم بـ H وW إطلاقًا. ورقة MCUNetV2 تذكر النتيجة: "الـ memory bottleneck يميل إلى الظهور في المرحلة المبكرة من الشبكة" لأن الـ resolution تتقلص أسرع مما تنمو الـ channels (Lin et al., 2021).

The same U in numbers you already computedحرف U نفسه بأرقام حسبتها من قبل

You do not have to trust the chart. Take the AlexNet layers from part 02, put each layer's output activation count next to its weight count, and the profile reproduces itself from arithmetic.

لست مضطرًا للثقة في المخطط. خذ طبقات AlexNet من الجزء 02، وضع عدد الـ output activations لكل طبقة بجانب عدد أوزانها، وسيعيد المخطط إنتاج نفسه من الحساب.

The first convolution has 8x more activations than weights: a 55×55 map with 96 channels is large, and an 11×11 filter over only 3 input channels is small. By conv3 the map is 13×13 and the weights are already 14x the activations. The fully connected layers are the extreme: fc6 emits 4,096 values and owns 37.7M weights. Nothing about AlexNet was designed to show this; it is the geometry of every CNN.

الـ convolution الأولى فيها activations أكثر من الأوزان بـ 8x: خريطة 55×55 بـ 96 channel كبيرة، وفلتر 11×11 على 3 input channels فقط صغير. وعند conv3 تكون الخريطة 13×13 والأوزان أصبحت بالفعل 14x من الـ activations. والطبقات الـ fully connected هي الحالة القصوى: fc6 تُخرج 4,096 قيمة وتملك 37.7M وزنًا. لم يُصمَّم شيء في AlexNet ليُظهر هذا؛ إنها هندسة كل CNN.

What each end of the U decidesما الذي يقرره كل طرف من طرفي الـ U

• The early, activation-heavy stage sets the SRAM peak. That is why MobileNetV2's problem in the previous concept was in blocks 0 to 4, and why MCUNetV2 runs only that stage in patches.المرحلة المبكرة، الثقيلة بالـ activations، هي التي تحدد ذروة الـ SRAM. ولهذا كانت مشكلة MobileNetV2 في المفهوم السابق في الـ blocks من 0 إلى 4، ولهذا يشغّل MCUNetV2 تلك المرحلة وحدها على شكل patches.
• The late, weight-heavy stage sets the flash budget and most of the parameter count. Pruning and quantization pay off most there.المرحلة المتأخرة، الثقيلة بالأوزان، هي التي تحدد flash budget ومعظم parameter count. والـ pruning والـ quantization يؤتيان أكبر ثمارهما هناك.
• The cheap middle is where on-device training is affordable: updating a middle layer needs neither a large stored activation nor a large weight gradient. This band is exactly what the training chart above measures, and the paper it comes from exploits exactly that band (Lin et al., 2022).المنتصف الرخيص هو حيث يصبح التدريب على الجهاز ممكنًا من حيث التكلفة: تحديث طبقة في المنتصف لا يحتاج إلى activation مخزّن كبير ولا إلى gradient وزن كبير. وهذا النطاق هو بالضبط ما يقيسه مخطط التدريب أعلاه، والورقة التي جاء منها تستغل هذا النطاق تحديدًا (Lin et al., 2022).

Now make the peak a number you can compute. AlexNet takes a 3×224×224 image: 150,528 values. Its first convolution emits 96×55×55 = 290,400 values. While that convolution runs, both tensors must exist, because the layer is still reading the image as it writes the output: 150,528 + 290,400 = 440,928. When the first pooling layer runs, the image is no longer needed and can be freed, but the convolution output (290,400) and the pooling output (69,984) are both alive: 360,384. Memory rises and falls one layer at a time.

الآن اجعل الذروة رقمًا يمكنك حسابه. AlexNet يأخذ صورة 3×224×224: أي 150,528 قيمة. والـ convolution الأولى فيه تُخرج 96×55×55 = 290,400 قيمة. أثناء تشغيل هذه الـ convolution يجب أن يوجد الـ tensor الاثنان، لأن الطبقة لا تزال تقرأ الصورة وهي تكتب الـ output: 150,528 + 290,400 = 440,928. وعندما تعمل طبقة الـ pooling الأولى، لم تعد الصورة مطلوبة ويمكن تحريرها، لكن output الـ convolution (290,400) وoutput الـ pooling (69,984) كلاهما حي: 360,384. الذاكرة ترتفع وتنخفض طبقة واحدة في كل مرة.

Two counts fall out of this picture. The total number of activations is the sum over the input and every layer output, which for AlexNet is 932,264. The peak number of activations is the largest number alive at any one moment. For a plain chain of layers executed one at a time, that is the largest input plus output pair. MCUNetV2 gives the rule and the reason: "the memory required for a layer is the sum of input and output activation (since weights can be partially fetched from Flash)", and the runtime "allocates the input and output activation buffer in SRAM, and releases the input buffer after the whole layer computation is finished" (Lin et al., 2021).

من هذه الصورة يخرج عدّان. الـ total number of activations هو المجموع على الـ input وكل output لكل طبقة، وهو في AlexNet 932,264. والـ peak number of activations هو أكبر عدد حي في أي لحظة واحدة. في سلسلة بسيطة من الطبقات تُنفَّذ واحدة تلو الأخرى، هذا هو أكبر زوج input زائد output. ورقة MCUNetV2 تعطي القاعدة والسبب: "الذاكرة المطلوبة لطبقة هي مجموع الـ input activation والـ output activation (لأن الأوزان يمكن جلبها جزئيًا من الـ Flash)"، والـ runtime "يحجز buffer الـ input activation والـ output activation في الـ SRAM، ويحرر buffer الـ input بعد انتهاء حساب الطبقة كاملة" (Lin et al., 2021).

The approximation sign carries four assumptions, and an exam answer should name at least one of them. The network runs layer by layer, with no two layers in flight together. Weights are streamed from flash and are not counted in SRAM. There are no residual branches; if there are, MCUNetV2 says to add the memory of all branches alive at the same time, counting a shared input once. And there are no in-place tricks: MCUNet shows that a depthwise layer can overwrite its input channel by channel, needing N + 1 instead of 2N values (Lin et al., 2020). Real runtimes also need scratch buffers for im2col or accumulation, which push the true peak slightly above the formula.

علامة التقريب تحمل أربعة افتراضات، وإجابة الامتحان يجب أن تذكر واحدًا منها على الأقل. الشبكة تعمل طبقة بطبقة، دون أن تعمل طبقتان في الوقت نفسه. الأوزان تُجلب تدريجيًا من الـ flash ولا تُحسب في الـ SRAM. لا توجد residual branches؛ وإن وُجدت، يقول MCUNetV2 أن تجمع ذاكرة كل الـ branches الحية في الوقت نفسه، مع احتساب الـ input المشترك مرة واحدة. ولا توجد حيل in-place: يبيّن MCUNet أن طبقة depthwise يمكنها الكتابة فوق الـ input الخاص بها channel بعد channel، فتحتاج N + 1 بدل 2N قيمة (Lin et al., 2020). والـ runtimes الحقيقية تحتاج أيضًا إلى scratch buffers للـ im2col أو للتجميع (accumulation)، مما يدفع الذروة الحقيقية قليلًا فوق المعادلة.

Sweep through AlexNet yourself before reading the worked example. Watch which two bars are highlighted, how the running peak stops moving after the first layer, and how the bit width and the SRAM preset change whether the same 440,928 values fit.

مُرّ على AlexNet بنفسك قبل قراءة المثال المحلول. لاحظ أي عمودين يُبرزان، وكيف تتوقف الذروة الجارية عن التحرك بعد الطبقة الأولى، وكيف يغيّر الـ bit width والإعداد المسبق للـ SRAM ما إذا كانت الـ 440,928 قيمة نفسها تتّسع أم لا.

The same arithmetic explains why MobileNetV2 failed in the first concept. Its first convolution maps a 3×224×224 image to 32×112×112: 150,528 + 401,408 = 551,936 values, which MCUNetV2 quotes as "539kB even when quantized in int8" (using 1024-byte kilobytes). A 224 input through a standard stem can never run layer by layer on a 256 kB board, whatever happens to the weights afterwards.

الحساب نفسه يفسر لماذا فشل MobileNetV2 في المفهوم الأول. الـ convolution الأولى فيه تحوّل صورة 3×224×224 إلى 32×112×112: 150,528 + 401,408 = 551,936 قيمة، وهو ما يذكره MCUNetV2 بأنه "539kB حتى بعد الـ quantization إلى int8" (باستخدام كيلوبايت من 1024 byte). الـ input بحجم 224 عبر stem قياسي لا يمكن أبدًا أن يعمل طبقة بطبقة على لوحة بـ 256 kB، مهما حدث للأوزان بعد ذلك.

Finally, connect the counts back to latency. Part 01 approximated memory time as the bytes of activations and weights moved divided by the memory bandwidth. The per-layer input plus output is the activation traffic of that layer, so the same column that gives the peak also feeds the latency model. Peak tells you whether the model fits; total tells you how many activation bytes cross the memory interface per inference.

أخيرًا، اربط الأعداد بالـ latency. الجزء 01 قرّب memory time بأنه bytes الـ activations والأوزان المنقولة مقسومة على الـ memory bandwidth. الـ input زائد الـ output لكل طبقة هو حركة الـ activations لتلك الطبقة، لذلك العمود نفسه الذي يعطي الذروة يغذّي أيضًا نموذج الـ latency. الذروة تخبرك هل يتّسع النموذج؛ والعدد الكلي يخبرك كم byte من الـ activations يعبر واجهة الذاكرة في كل inference.