The four parameter formulas

صيغ المعاملات الأربع

Slide 15 puts these next to the AlexNet table. Bias is ignored throughout, exactly as the slide says. c_i is input channels, c_o is output channels, k_h × k_w is the kernel, g is the number of groups.

تضع الشريحة 15 هذه المعادلات بجانب جدول AlexNet. ويُهمَل bias في كل الحسابات كما تقول الشريحة. وc_i هو عدد قنوات الدخل، وc_o عدد قنوات الخرج، وk_h × k_w حجم kernel، وg عدد المجموعات.

الجدول يلخّص المعادلات الأربع: linear هو c_o · c_i، وconvolution يضيف حجم kernel، وgrouped convolution يقسم على g، وdepthwise يحذف c_i تماماً لأن كل قناة لها filter واحد خاص بها.

Notice what is missing: the spatial size of the feature map. A conv layer's weights do not care whether the image is 13 × 13 or 224 × 224. Only channels and kernel size count. Pooling layers have no weights at all.

لاحظ ما هو غائب: الحجم المكاني للـ feature map. فأوزان طبقة conv لا تهتم إن كانت الصورة 13 × 13 أو 224 × 224، فقط عدد القنوات وحجم kernel هما المهمان. أما طبقات pooling فليس فيها أوزان إطلاقاً.

The full AlexNet table, by hand

جدول AlexNet كاملاً، باليد

Input 3 × 224 × 224. Shapes are C × H × W after each layer. Groups 2 means split into two halves, which divides the parameters by 2.

الدخل 3 × 224 × 224. والأشكال مكتوبة C × H × W بعد كل طبقة. وgroups 2 تعني التقسيم إلى نصفين، فتنقسم الأوزان على 2.

الجدول يمر على طبقات AlexNet واحدة واحدة: conv1 يساوي 34,848، وconv2 يساوي 307,200، وconv3 يساوي 884,736، وconv4 يساوي 663,552، وconv5 يساوي 442,368، وطبقات maxpool صفر. ثم fc6 وحدها 37,748,736، وfc7 يساوي 16,777,216، وfc8 يساوي 4,096,000. والمجموع 60,954,656، أي حوالي 61M كما تقول الشريحة.

في الرسم أشرطة أفقية بمقياس خطي لعدد الأوزان في كل طبقة. أشرطة طبقات conv الخمس تكاد لا تُرى، ومجموعها 2.33M، أي 3.8% فقط. أما طبقات FC الثلاث فمجموعها 58.6M، أي 96.2%، وfc6 وحدها تحمل 61.9% لأنها تربط كل قيمة من القيم المسطّحة البالغة 9,216 بكل واحد من المخارج 4,096.

Why fc6 is so heavy

لماذا fc6 ثقيلة إلى هذا الحد

After the last maxpool the tensor is 256 × 6 × 6. A linear layer cannot take a 3-D tensor, so it is flattened into a vector of 256 × 6 × 6 = 9,216 values. That 9,216 is c_i for fc6. Multiply by c_o = 4,096 and you get 37,748,736.

بعد آخر maxpool يكون الـ tensor بشكل 256 × 6 × 6. والطبقة الخطية لا تقبل tensor ثلاثي الأبعاد، فيُسطَّح إلى متجه طوله 256 × 6 × 6 = 9,216. هذا الرقم 9,216 هو c_i لطبقة fc6، وبضربه في c_o = 4,096 نحصل على 37,748,736.

A conv layer reuses one small kernel at every spatial position, so its weight count stays small. A linear layer gives every input-output pair its own weight. That is the structural reason FC dominates the parameter count.

طبقة conv تُعيد استخدام kernel صغير واحد في كل موضع مكاني، فيبقى عدد أوزانها صغيراً. أما الطبقة الخطية فتعطي كل زوج دخل وخرج وزناً خاصاً به. وهذا هو السبب البنيوي لهيمنة FC على عدد الأوزان.

Model size = #parameters × bit width

حجم النموذج = #parameters × bit width

Model size is the storage for the weights (slide 17). If every weight uses the same data type:

حجم النموذج model size هو مساحة التخزين اللازمة للأوزان (الشريحة 17). وإذا كانت كل الأوزان من نفس نوع البيانات:

تقول المعادلة: حجم النموذج يساوي عدد الأوزان مضروباً في عدد البتات لكل وزن.

The answer comes out in bits. Divide by 8 to get bytes. 32 bits is 4 bytes, 16 bits is 2 bytes, 8 bits is 1 byte, 4 bits is half a byte.

الناتج يخرج بالبتات، فاقسم على 8 لتحصل على البايتات. 32 بت تساوي 4 بايت، و16 بت تساوي 2 بايت، و8 بت تساوي بايتاً واحداً، و4 بت نصف بايت.

AlexNet, 61M parameters (60,954,656 exactly)

  fp32   61M x 4 B   = 244 MB     (243,818,624 B)
  fp16   61M x 2 B   = 122 MB     (121,909,312 B)
  int8   61M x 1 B   =  61 MB     ( 60,954,656 B)
  int4   61M x 0.5 B = 30.5 MB    ( 30,477,328 B)

MB here is decimal, 10^6 bytes, as on slide 17
(244 x 10^6 bytes). in MiB, 243,818,624 B = 232.5 MiB.

going fp32 to int8 shrinks storage exactly 4x.

المثال المحلول: AlexNet فيها 61M وزن. بدقة fp32 يكون الحجم 61M × 4 B = 244 MB، وبدقة fp16 يكون 122 MB، وبدقة int8 يكون 61 MB، وبدقة int4 يكون 30.5 MB. وMB هنا عشري، أي 10⁶ بايت كما في الشريحة 17. والانتقال من fp32 إلى int8 يقلّص التخزين أربع مرات بالضبط.

What this tells an embedded engineer

ماذا يعني هذا لمهندس الأنظمة المدمجة

Model size decides whether the weights fit in flash. 61 MB at int8 is far beyond a microcontroller's roughly 1 MB of flash, and the target to attack is obvious from the table: the FC layers. Pruning fc6 or replacing the FC head with global average pooling removes most of the weight storage while touching only a few percent of the compute (the MACs page shows the reverse split).

حجم النموذج يحدد هل تتسع الأوزان في ذاكرة flash. و61 MB بدقة int8 أكبر بكثير من ذاكرة flash في microcontroller التي تكون حوالي 1 MB. والهدف واضح من الجدول: طبقات FC. فعمل pruning لـ fc6، أو استبدال رأس FC بـ global average pooling، يزيل معظم تخزين الأوزان مع أنه لا يلمس إلا نسبة صغيرة من الحساب (صفحة MACs تُظهر التوزيع المعكوس).