What quantization does to the weight histogram

ماذا يفعل التكميم بالمدرّج التكراري (histogram) للأوزان

Slides 33 to 35 show one AlexNet layer's weights three times. Before quantization the histogram is continuous and bimodal, with a gap around zero: this layer was already pruned, so the small-magnitude weights are gone. After quantization it becomes a set of discrete spikes, one per centroid (about 16 here). After quantization + retraining the spikes are still discrete, just nudged to slightly better positions by centroid fine-tuning. Note the y-axis jumps from 10³ to 10⁴: the same weights now pile into a handful of values.

تعرض الشرائح من 33 إلى 35 أوزان طبقة واحدة من AlexNet ثلاث مرات. قبل التكميم يكون المدرّج التكراري (histogram) continuous وثنائي القمة، مع فجوة حول الصفر: هذه الطبقة مقلَّمة مسبقاً، فالأوزان الصغيرة أُزيلت. بعد التكميم يصبح مجموعة من القمم المنفصلة (discrete)، واحدة لكل centroid (نحو 16 هنا). بعد التكميم وإعادة التدريب تبقى القمم منفصلة، لكنها تُزاح قليلاً إلى مواضع أفضل بفضل ضبط الـ centroids. لاحظ أن المحور الرأسي يقفز من 10³ إلى 10⁴: نفس الأوزان تتكدّس الآن في عدد قليل من القيم.

How many bits? Conv about 4, FC about 2

كم بتاً نحتاج؟ Conv نحو 4، وFC نحو 2

Slide 36 sweeps the bits per effective (non-zero) weight separately for all conv layers and all FC layers of AlexNet. Accuracy holds down to 4 bits for conv layers and 2 bits for FC layers, then collapses (conv at 2 bits and FC at 1 bit are near 0 percent). The pruned + quantized curves sit on top of the quantized-only curves, so pruning first does not make the network harder to quantize.

تمسح الشريحة 36 عدد البتات لكل وزن فعّال (غير صفري) بشكل منفصل لكل طبقات conv ولكل طبقات FC في AlexNet. تصمد الدقة حتى 4 bits لطبقات conv و2 bits لطبقات FC، ثم تنهار (طبقات conv عند 2 bits وطبقات FC عند 1 bit قرب 0%). ومنحنيات pruned + quantized تنطبق على منحنيات quantized only، أي أن الـ pruning أولاً لا يجعل التكميم أصعب.

Why the difference? Conv layers have few weights, each reused at every spatial position, so each weight carries more information. FC layers are huge and highly redundant, so they tolerate coarser values.

لماذا الفرق؟ طبقات conv فيها أوزان قليلة يُعاد استخدام كل منها في كل موضع مكاني، فيحمل كل وزن معلومات أكثر. أما طبقات FC فضخمة وفيها تكرار كبير، فتتحمّل قيماً أخشن.

Huffman coding: variable-length codes

الـ Huffman coding: رموز متغيرة الطول

After quantization each weight is an index into a small codebook, but the indices are not equally common. Slide 37's histogram of 32 effective weights (5-bit indices) is strongly bimodal. Huffman coding gives frequent symbols fewer bits and infrequent symbols more bits. It is applied to both the weights (the cluster indices) and the sparse position index left by pruning. It is lossless, so accuracy is unchanged.

بعد التكميم يصبح كل وزن فهرساً في codebook صغير، لكن الفهارس ليست متساوية التكرار. مدرّج الشريحة 37 لـ 32 وزناً فعّالاً (فهارس 5-bit) ثنائي القمة بوضوح. الـ Huffman coding يعطي الرموز المتكررة بتات أقل، والرموز النادرة بتات أكثر. ويُطبَّق على الأوزان (فهارس المجموعات) وعلى فهرس المواضع المتناثر الذي يتركه الـ pruning. وهو lossless، فلا تتغير الدقة.

Four cluster indices with frequencies 50%, 25%, 12.5%, 12.5%

Fixed-length      every index = 2 bit               average = 2 bit
Huffman codes     A: 0     B: 10    C: 110    D: 111
average bits    = 0.5 x 1 + 0.25 x 2 + 0.125 x 3 + 0.125 x 3
                = 0.5 + 0.5 + 0.375 + 0.375 = 1.75 bit

saving          = 2 / 1.75 = 1.14x on top of quantization, with zero error

The full pipeline

السلسلة الكاملة (pipeline)

Read the ratios as running totals. The low ends of the ranges are AlexNet and the high ends are VGG-16. Dividing consecutive totals gives each stage's own contribution:

اقرأ النسب كمجاميع تراكمية. الطرف الأدنى من كل مدى هو AlexNet والطرف الأعلى هو VGG-16. وبقسمة المجاميع المتتالية تحصل على إسهام كل مرحلة وحدها:

AlexNet   pruning 9x  ->  + quantization 27x  ->  + Huffman 35x
          quantization alone adds 27 / 9  = 3.0x
          Huffman alone adds      35 / 27 = 1.3x
          check  9 x 3.0 x 1.3 = 35.1

VGG-16    13x -> 31x -> 49x
          quantization adds 31 / 13 = 2.4x,  Huffman adds 49 / 31 = 1.6x

AlexNet size   240 MB / 35 = 6.9 MB

Results across networks

النتائج عبر الشبكات

يلخّص الجدول نتائج الشريحة 39. في كل الشبكات لم تنخفض الدقة، بل ارتفعت قليلاً. الشبكات الكبيرة الغنية بطبقات FC (AlexNet وVGG) تنضغط بين 35x و49x، بينما الشبكات المصممة لتكون مدمجة أصلاً (GoogleNet وResNet-18) تنضغط نحو 10x فقط، لأن فيها تكراراً أقل.

Accuracy never drops; it even rises slightly. FC-heavy giants (AlexNet, VGG) compress 35x to 49x, while networks that were already compact by design (GoogleNet, ResNet-18) compress only about 10x because there is less redundancy left.

الدقة لا تنخفض أبداً، بل ترتفع قليلاً، والشبكات المدمجة أصلاً تنضغط أقل لأن التكرار المتبقي فيها أقل.

SqueezeNet: compact by design, then compressed

الـ SqueezeNet: مدمج بالتصميم، ثم مضغوط

SqueezeNet (Iandola et al., 2016) reaches AlexNet-level accuracy with 50x fewer parameters by building the network from fire modules: a 1 x 1 squeeze layer cuts the channels (64 to 16), then a 1 x 1 expand and a 3 x 3 expand (64 channels each) run in parallel and are concatenated to 128 channels.

الـ SqueezeNet (Iandola et al., 2016) يصل إلى دقة بمستوى AlexNet بعدد معاملات أقل بـ 50x، ببناء الشبكة من fire modules: طبقة 1 x 1 squeeze تقلّص القنوات (من 64 إلى 16)، ثم تعمل طبقتا 1 x 1 expand و3 x 3 expand (64 قناة لكل منهما) بالتوازي وتُدمجان (concat) إلى 128 قناة.

Fire module (64 in, 128 out), weights only
  squeeze   1x1, 64 -> 16      64 x 16       =  1,024
  expand    1x1, 16 -> 64      16 x 64       =  1,024
  expand    3x3, 16 -> 64      16 x 64 x 9   =  9,216
  total                                      = 11,264

Plain 3x3 conv, 64 -> 128      64 x 128 x 9  = 73,728
ratio  73,728 / 11,264 = 6.5x fewer weights

نتائج الشريحة 41: الـ SVD يعطي 5x فقط ويخسر دقة (56.0% مقابل 57.2%). الـ Deep Compression على AlexNet يعطي 35x بلا خسارة. والـ SqueezeNet بتصميمه وحده أصغر بـ 50x، ومع Deep Compression يصل إلى 0.47 MB، أي 510x أصغر من AlexNet بدقة top-1 قدرها 57.5%. وإسهام Deep Compression على SqueezeNet وحده هو 4.8 / 0.47 ≈ 10x.

The 510x is relative to AlexNet's 240 MB. Deep Compression's own contribution on SqueezeNet is 4.8 / 0.47 ≈ 10x, consistent with the roughly 10x seen on other compact nets: good architecture design and compression stack multiplicatively (50 x 10 ≈ 510).

النسبة 510x محسوبة نسبة إلى 240 MB لـ AlexNet. والتصميم الجيد للبنية والضغط يتضاعفان معاً (50 x 10 ≈ 510).

At runtime: decode, then compute in float

وقت التشغيل: فك الترميز (decode) ثم الحساب بالأعداد العشرية

Slide 42 closes the K-means story. In storage the model is quantized indices plus a float codebook. At inference a decode step looks up each index in the codebook (a lookup table) and produces float weights; the conv, bias add and ReLU all run in floating point. So K-means-based quantization only saves storage: all computation and memory access during compute are still floating point. Getting integer arithmetic needs linear quantization, the next topic.

الشريحة 42 تختم قصة K-means. في التخزين يكون النموذج فهارس مكمّمة مع codebook عشري. وقت الاستدلال تبحث خطوة decode عن كل فهرس في الـ codebook (جدول بحث، lookup table) فتنتج أوزاناً عشرية، ثم يعمل الـ conv وإضافة الـ bias والـ ReLU كلها بالحساب العشري. لذلك فإن K-means-based quantization يوفّر التخزين فقط: كل الحساب والوصول إلى الذاكرة أثناءه يبقيان عشريين. وللحصول على حساب بالأعداد الصحيحة نحتاج linear quantization، وهو الموضوع التالي.