What an activation is

ما هو التنشيط (activation)

An activation is one value of a feature map: an output of some layer that the next layer reads. The number of activations of a layer is just the size of its output tensor, C × H × W. Total #activations sums this over the whole network. Peak #activations is the largest amount that has to be held in memory at the same moment.

activation هي قيمة واحدة من feature map، أي خرج طبقة ما تقرؤه الطبقة التالية. وعدد activations لطبقة هو ببساطة حجم tensor الخرج، أي C × H × W. وtotal #activations هو مجموع ذلك على الشبكة كلها. أما peak #activations فهو أكبر كمية يجب الاحتفاظ بها في الذاكرة في اللحظة نفسها.

Inference: activations, not weights, are the bottleneck

الاستدلال: التنشيطات، لا الأوزان، هي عنق الزجاجة

Slide 18 compares two networks at the same accuracy, about 70% ImageNet top-1, with every parameter and activation stored as an 8-bit integer.

تقارن الشريحة 18 شبكتين بنفس الدقة تقريباً، حوالي 70% في ImageNet top-1، مع تخزين كل وزن وكل activation كعدد صحيح بـ 8 بت.

الجدول يقول: عند الانتقال من ResNet-18 إلى MobileNetV2-0.75 صغُرت الأوزان 4.6 مرة (من حوالي 11.7 MB إلى حوالي 2.5 MB)، لكن peak activation كبُر 1.8 مرة. أي أن النموذج "الكفء" يحتاج SRAM أكثر لا أقل.

The right half of slide 18 shows why. MobileNetV2's memory per block is wildly imbalanced: block 2 peaks at 1372 kB, and the first five blocks (0 to 4) all sit above the 256 kB SRAM line of a typical MCU, while the later blocks are tiny. The inverted residual block expands channels about 6× with a 1×1 conv while the spatial resolution is still high, so the early expanded tensors are huge even though their weights are cheap.

النصف الأيمن من الشريحة 18 يوضح السبب. توزيع الذاكرة على كتل MobileNetV2 غير متوازن إطلاقاً: الكتلة 2 تصل إلى 1372 kB، والكتل الخمس الأولى (من 0 إلى 4) كلها فوق خط 256 kB الخاص بـ SRAM في MCU نموذجي، بينما الكتل المتأخرة صغيرة جداً. والسبب أن inverted residual block يوسّع القنوات حوالي 6× بطبقة 1×1 conv بينما الدقة المكانية ما زالت عالية، فتكون tensors الموسَّعة في البداية ضخمة رغم أن أوزانها رخيصة.

Training: every activation is kept

التدريب: كل التنشيطات تُحفظ

During training the backward pass needs every forward activation, so they are all stored at once, not just the peak pair. Slide 19, fp32, ResNet-50 at batch 8 (TinyTL):

أثناء التدريب يحتاج backward pass كل activations الناتجة في forward pass، فتُخزَّن كلها معاً، لا أكبر زوج فقط. الشريحة 19 بدقة fp32، وResNet-50 بحجم batch 8 (من ورقة TinyTL):

الجدول: في ResNet-50 الأوزان 102 MB وactivations تساوي 707 MB، أي حوالي 7 أضعاف. والانتقال إلى MobileNetV2-1.4 يقلّص الأوزان 4.3× لكنه يقلّص activations بـ 1.1× فقط. أي أن عنق الزجاجة الحقيقي في الذاكرة لا يتحسن تقريباً.

Activations are about 7× the weights, and the "efficient" architecture barely touches them. The slide's sentence: the main memory bottleneck does not improve much.

activations تساوي حوالي 7 أضعاف الأوزان، والمعمارية "الكفؤة" بالكاد تمسّها. وجملة الشريحة: عنق الزجاجة الرئيسي في الذاكرة لا يتحسن كثيراً.

Early layers vs late layers

الطبقات المبكرة مقابل الطبقات المتأخرة

Slide 20 plots MCUNet layer by layer. Early layers have large spatial maps and few channels, so they are activation heavy with tiny weights. Late layers have small maps and many channels, so they are weight heavy with small activations. The middle is cheap in both. The two costs live at opposite ends of the network, which is why a single number like "model size" hides the problem.

ترسم الشريحة 20 شبكة MCUNet طبقة بطبقة. الطبقات الأولى فيها خرائط مكانية كبيرة وقنوات قليلة، فهي ثقيلة في activations وأوزانها صغيرة. والطبقات الأخيرة فيها خرائط صغيرة وقنوات كثيرة، فهي ثقيلة في الأوزان وactivations فيها صغيرة. والوسط رخيص في الاثنين. فالتكلفتان تقعان في طرفين متقابلين من الشبكة، ولهذا يُخفي رقم واحد مثل model size المشكلة.

AlexNet: total and peak by hand

AlexNet: المجموع والذروة باليد

Slides 21 and 22. Count C × H × W for the input and every layer output:

الشريحتان 21 و22. احسب C × H × W للدخل ولخرج كل طبقة:

الجدول يسرد عدد activations لكل tensor: الصورة 150,528، وconv1 يساوي 290,400، وmaxpool1 يساوي 69,984، وconv2 يساوي 186,624، ثم تصغر القيم حتى fc8 بـ 1,000. والمجموع 932,264.

الرسم يُظهر activations لكل tensor في AlexNet كأعمدة. عند التنفيذ طبقة بطبقة لا يجب أن يتعايش في الذاكرة إلا دخل الطبقة وخرجها، فتكون القمة هي أكبر زوج من الأعمدة المتجاورة: الصورة مع خرج conv1، أي 440,928 قيمة. أما المجموع فهو مجموع كل الأعمدة، 932,264.

تقول المعادلة: peak #activations يساوي تقريباً أكبر قيمة، على كل الطبقات، لمجموع activations الدخل وactivations الخرج للطبقة نفسها.

AlexNet peak, checking the candidate pairs

  image + conv1   150,528 + 290,400 = 440,928   <- max
  conv1 + pool1   290,400 +  69,984 = 360,384
  pool1 + conv2    69,984 + 186,624 = 256,608
  conv2 + pool2   186,624 +  43,264 = 229,888
  everything later is smaller

bytes for the peak
  int8   440,928 x 1 B = 440,928 B  = 441 kB
  fp32   440,928 x 4 B = 1,763,712 B = 1.76 MB

does it fit an MCU with 320 kB SRAM (STM32F746 class)?
  441 kB > 320 kB  -> no, not even at int8.
  (and far above the 256 kB line drawn on slide 18)

total, for comparison
  int8   932,264 B = 932 kB     fp32   3.73 MB

المثال المحلول: نفحص الأزواج المرشّحة. الصورة مع conv1 تعطي 440,928 وهي الأكبر، ثم conv1 مع pool1 تعطي 360,384، وما بعدها أصغر. بالبايتات: int8 يعطي 441 kB، وfp32 يعطي 1.76 MB. وفي MCU فيه 320 kB من SRAM لا يتسع النموذج حتى بدقة int8، لأن 441 kB > 320 kB.