Uniform versus mixed precision, slides 66 and 67

التكميم الموحّد مقابل الدقة المختلطة، الشريحتان 66 و67

Slide 66 shows uniform quantization: layer 1, layer 2 and layer 3 all store 8-bit weights and 8-bit activations (written "8 bits / 8 bits", weight first, activation second). Every layer pays the same cost whether it needs the precision or not.

تعرض الشريحة 66 الـ uniform quantization: الطبقات 1 و2 و3 كلها تخزّن أوزاناً بعرض 8-bit وactivations بعرض 8-bit (تُكتب "8 bits / 8 bits"، الوزن أولاً ثم الـ activation). كل طبقة تدفع نفس الكلفة سواء احتاجت هذه الدقة أم لا.

Slide 67 shows mixed-precision quantization: layer 1 uses 4-bit weights and 5-bit activations, layer 2 uses 6 / 7, layer 3 uses 5 / 4. Layers that tolerate coarse grids get fewer bits, sensitive layers keep more. The bit strings in the figure literally get shorter or longer per layer: 9 bits for layer 1, 13 for layer 2, 9 for layer 3, against 16 per layer in the uniform model.

تعرض الشريحة 67 الـ mixed-precision quantization: الطبقة 1 تستخدم أوزاناً بعرض 4-bit وactivations بعرض 5-bit، والطبقة 2 تستخدم 6 / 7، والطبقة 3 تستخدم 5 / 4. الطبقات التي تتحمل شبكة خشنة تأخذ بتات أقل، والطبقات الحساسة تحتفظ ببتات أكثر. سلاسل البتات في الشكل تقصر وتطول فعلاً من طبقة لأخرى: 9 بتات للطبقة 1، و13 للطبقة 2، و9 للطبقة 3، مقابل 16 لكل طبقة في النموذج المنتظم.

The challenge: a huge design space, slide 68

التحدي: فضاء تصميم ضخم، الشريحة 68

Each layer chooses a weight width and an activation width independently. With 8 candidate widths for each, one layer has 8 × 8 = 64 choices. Choices in different layers multiply, so a network with n layers has 64ⁿ configurations. Exhaustive search is impossible, and hand-tuning by experts does not scale either.

كل طبقة تختار عرض الأوزان وعرض الـ activations بشكل مستقل. مع 8 عروض مرشحة لكل منهما، يكون للطبقة الواحدة 8 × 8 = 64 خياراً. والخيارات في الطبقات المختلفة تُضرب في بعضها، لذلك الشبكة ذات n طبقة لها 64ⁿ توزيعاً. البحث الشامل مستحيل، والضبط اليدوي من الخبراء لا يتوسع أيضاً.

choices per layer = 8 × 8 = 64     design space = 64ⁿ = 2⁶ⁿ

per layer:  8 weight widths x 8 activation widths = 64

n = 3:   64^3 = 64 x 64 x 64
              = 4,096 x 64
              = 262,144          (= 2^18)

n = 10:  64^10 = 2^60
               = 1,152,921,504,606,846,976
               ~ 1.15 x 10^18

uniform:  600k weights x 8 bits = 4,800k bits = 600 KB

mixed:    100k x 4 =   400k bits
          200k x 6 = 1,200k bits
          300k x 5 = 1,500k bits
                     ----------
                     3,100k bits / 8 = 387.5 KB

saving:   1 - 387.5 / 600 = 35.4 %

HAQ: design automation with the hardware in the loop, slides 69 and 70

HAQ: أتمتة التصميم مع العتاد داخل الحلقة، الشريحتان 69 و70

HAQ (Hardware-Aware Automated Quantization, Wang et al., CVPR 2019) treats bit allocation as reinforcement learning, just as AMC did for pruning ratios. An actor-critic agent walks the network layer by layer. For each layer it receives a state describing that layer and emits an action: the weight and activation bit widths. The quantized model is then mapped onto a hardware accelerator, and the accelerator returns direct feedback, measured latency and energy, which shapes the reward that trains the agent.

HAQ (Hardware-Aware Automated Quantization, Wang et al., CVPR 2019) يعامل توزيع البتات كمسألة reinforcement learning، تماماً كما فعل AMC مع نسب الـ pruning. وكيل actor-critic يمر على الشبكة طبقة طبقة. لكل طبقة يستقبل state يصف تلك الطبقة ويُخرج action: عرض بتات الأوزان والـ activations. بعدها يُرسم النموذج المكمَّم على مسرّع عتادي (hardware mapping)، ويعيد المسرّع direct feedback أي الزمن والطاقة المقاسين فعلاً، وهذا يشكّل الـ reward الذي يدرّب الوكيل.

Why measure instead of counting FLOPs or bits? Because the same bit reduction buys very different speedups depending on the hardware and the layer. Slide 70 shows BISMO, a bit-serial accelerator that processes one bit plane per cycle (cycle 0 is the MSB, cycle T the LSB), so its time grows with the bit widths. BitFusion fuses small bit-level units to match the operand widths. A layer that is memory bound gains from fewer activation bits; a layer that is compute bound gains from fewer bits in the multiply. A FLOP count sees none of this.

لماذا نقيس بدل أن نعدّ الـ FLOPs أو البتات؟ لأن نفس التخفيض في البتات يعطي تسريعاً مختلفاً جداً حسب العتاد والطبقة. تعرض الشريحة 70 مسرّع BISMO، وهو bit-serial يعالج مستوى بت واحداً في كل دورة (الدورة 0 هي الـ MSB والدورة T هي الـ LSB)، فيزداد زمنه مع عرض البتات. أما BitFusion فيدمج وحدات صغيرة على مستوى البت لتناسب عرض المعاملات. الطبقة المحدودة بالذاكرة (memory bound) تستفيد من تقليل بتات الـ activations، والطبقة المحدودة بالحساب (compute bound) تستفيد من تقليل بتات عملية الضرب. وعدّ الـ FLOPs لا يرى أياً من هذا.

Results on MobileNetV1, slides 71 and 72

النتائج على MobileNetV1، الشريحتان 71 و72

Slide 71 plots top-1 accuracy against latency for mixed-precision quantized MobileNetV1. HAQ's curve sits above uniform quantization at every latency, and the gap is largest at the tightest budget. The dashed horizontal line is the full-precision accuracy (about 71%).

ترسم الشريحة 71 دقة top-1 مقابل الزمن لنموذج MobileNetV1 المكمَّم بـ mixed precision. منحنى HAQ أعلى من الـ uniform quantization عند كل زمن، والفجوة أكبر ما تكون عند أضيق ميزانية. والخط الأفقي المتقطع هو دقة النموذج بالدقة الكاملة (حوالي 71%).

الأرقام مقروءة تقريبياً من الرسوم. عند ~45 ms يصل HAQ إلى ~67.4% مقابل ~62.4% للمنتظم. وعند قيد حجم النموذج ~1.1 MB تكون الفجوة حوالي 20 نقطة (~57% مقابل ~37.5%). وعند قيد الطاقة ~8 mJ يصل HAQ إلى ~67.4% مقابل ~62.5%.

Values are read off the plots, so treat them as approximate. The pattern is what matters: slide 72 says HAQ supports multiple objectives. The same agent can be constrained by model size, by latency, or by energy, and in all three it beats uniform quantization, most of all when the budget is tight. As the budget loosens, both curves approach full precision and the gap closes.

القيم مقروءة من الرسوم فاعتبرها تقريبية. المهم هو النمط: تقول الشريحة 72 إن HAQ يدعم أهدافاً متعددة. نفس الوكيل يمكن تقييده بحجم النموذج أو بالزمن أو بالطاقة، وفي الثلاثة يتفوق على الـ uniform quantization، وأكثر ما يكون عندما تكون الميزانية ضيقة. ومع اتساع الميزانية يقترب المنحنيان من الدقة الكاملة وتنغلق الفجوة.

The learned policy: edge versus cloud, slides 73 and 74

السياسة المتعلَّمة: edge مقابل cloud، الشريحتان 73 و74

Slide 73 plots the bits chosen per layer for MobileNet-V2 on BISMO under a latency constraint (slide 74's text discusses MobileNet-V1; the conclusion is the same). Bars above the axis are activation bits, bars below are weight bits; dark colours are pointwise (1×1) layers, light colours are depthwise (3×3) layers. The two hardware targets produce opposite policies for depthwise layers.

ترسم الشريحة 73 البتات المختارة لكل طبقة في MobileNet-V2 على BISMO تحت قيد زمني (ونص الشريحة 74 يتحدث عن MobileNet-V1؛ والاستنتاج واحد). الأعمدة فوق المحور هي بتات الـ activations، والأعمدة تحته هي بتات الأوزان؛ الألوان الداكنة طبقات pointwise (1×1) والفاتحة طبقات depthwise (3×3). والهدفان العتاديان ينتجان سياستين متعاكستين لطبقات depthwise.

يلخّص الجدول الفرق: على الـ edge الـ batch صغير، والزمن تهيمن عليه طبقات depthwise المحدودة بالذاكرة، فتأخذ بتات أقل (خصوصاً الـ activations) وتأخذ طبقات pointwise بتات أكثر. وعلى الـ cloud الـ batch كبير، والزمن تهيمن عليه طبقات pointwise المحدودة بالحساب، فتأخذ بتات أقل، وتأخذ طبقات depthwise بتات أكثر (أقل فقط في الطبقات الأولى، وأكثر في الطبقات الأخيرة).

The reasoning on slide 74: depthwise convolution is memory bound, pointwise convolution is compute bound. On edge devices with a small batch, MobileNet's latency is dominated by the depthwise layers. Feature maps take most of the memory traffic in a depthwise layer (its weights are tiny, only k × k per channel), so the agent cuts their activation bits. On the cloud with a large batch, the pointwise matrix multiplies dominate, so pointwise layers lose bits; depthwise layers get more bits to preserve accuracy at low memory overhead, since they hold only a small share of the total weights.

التبرير في الشريحة 74: الـ depthwise convolution محدود بالذاكرة، والـ pointwise convolution محدود بالحساب. على أجهزة الـ edge مع batch صغير، يهيمن على زمن MobileNet طبقات depthwise. والـ feature maps تأخذ معظم حركة الذاكرة في طبقة depthwise (أوزانها صغيرة جداً، k × k فقط لكل قناة)، لذلك يقلّل الوكيل بتات الـ activations. وعلى الـ cloud مع batch كبير، تهيمن عمليات ضرب المصفوفات في pointwise، فتخسر طبقات pointwise بتات؛ بينما تأخذ طبقات depthwise بتات أكثر للحفاظ على الدقة بكلفة ذاكرة منخفضة، لأنها تحمل حصة صغيرة فقط من مجموع الأوزان.

This is the strongest argument for hardware in the loop. No rule based on FLOPs or parameter counts would flip depthwise from "fewer bits" to "more bits" between two devices. Only measuring on each device reveals where the bottleneck sits, which links back to the roofline idea from lecture 03: latency = max(compute time, memory time).

هذه أقوى حجة لوضع العتاد داخل الحلقة. لا توجد قاعدة مبنية على الـ FLOPs أو عدد المعاملات تقلب طبقات depthwise من "بتات أقل" إلى "بتات أكثر" بين جهازين. القياس على كل جهاز فقط يكشف مكان عنق الزجاجة، وهذا يرتبط بفكرة المحاضرة 03: latency = max(compute time, memory time).

Lecture summary, slide 75

ملخص المحاضرة، الشريحة 75

Slide 75 closes the quantization block with four ideas: post-training quantization (PTQ) of an already-trained floating-point model, including per-tensor vs per-channel vs group quantization and how to set the dynamic range; quantization-aware training (QAT), which emulates inference-time quantization during training or fine-tuning using the straight-through estimator; binary and ternary quantization; and automatic mixed-precision quantization (this page). Its diagram recalls the affine map r = S(q − Z) and the QAT graph with weight and activation quantization nodes around Conv, BatchNorm and ReLU.

تختم الشريحة 75 كتلة الـ quantization بأربع أفكار: الـ post-training quantization (PTQ) لنموذج floating-point مدرَّب مسبقاً، ويشمل per-tensor مقابل per-channel مقابل group quantization وكيفية تحديد الـ dynamic range؛ والـ quantization-aware training (QAT) الذي يحاكي quantization وقت الاستدلال أثناء التدريب أو الـ fine-tuning باستخدام الـ straight-through estimator؛ والـ binary وternary quantization؛ والـ mixed-precision quantization الآلي (هذه الصفحة). ويستعيد رسمها التحويل r = S(q − Z) ورسم QAT بعُقد تكميم الأوزان والـ activations حول Conv وBatchNorm وReLU.