What quantization is and the three main approachesما التكميم والمناهج الثلاثة الرئيسية

Take a thermometer that reads 23.4718 °C and a display that can only show whole degrees. It shows 23. Anything from 22.5 to just under 23.5 also shows 23. The display has replaced an infinite set of possible temperatures with a short list of integers, and the 0.4718 it dropped is gone for good.

خذ ميزان حرارة يقرأ 23.4718 °C وشاشة لا تعرض إلا الدرجات الكاملة. ستعرض 23. وأي قيمة من 22.5 حتى ما دون 23.5 بقليل ستعرض أيضًا 23. لقد استبدلت الشاشة مجموعة لا نهائية من درجات الحرارة الممكنة بقائمة قصيرة من الأعداد الصحيحة، والجزء 0.4718 الذي حذفته ضاع إلى الأبد.

The definitionالتعريف

That is Quantization, and the lecture defines it in one sentence worth memorizing exactly:

هذا هو quantization (التكميم)، والمحاضرة تعرّفه في جملة واحدة تستحق أن تحفظها بنصّها:

Two phrases carry the meaning. “Continuous or otherwise large” covers both a truly continuous input, such as an analogue voltage, and an input that is already digital but has too many possible values, such as an FP32 weight with about four billion bit patterns. “A discrete set” is the small menu of values the output may take. For neural networks the input is almost always the second kind: weights are already numbers in a computer, just in a format far richer than the network needs.

عبارتان تحملان المعنى. عبارة "متصلة أو كبيرة جدًا" (continuous or otherwise large) تشمل المُدخل المتصل فعلًا، مثل جهد كهربائي تناظري، وتشمل أيضًا المُدخل الرقمي أصلًا لكن له عدد هائل من القيم الممكنة، مثل وزن بصيغة FP32 له قرابة أربعة مليارات نمط بتات. أما "مجموعة منفصلة" (a discrete set) فهي القائمة الصغيرة من القيم التي يُسمح للمُخرج أن يأخذها. في الشبكات العصبية يكون المُدخل دائمًا تقريبًا من النوع الثاني: الأوزان أعداد مخزّنة في الحاسوب أصلًا، لكن بصيغة أغنى بكثير مما تحتاجه الشبكة.

Quantization errorخطأ التكميم

Every quantizer loses something. The lecture names it: the difference between an input value and its quantized value is the Quantization error. For the thermometer it is 23.4718 - 23 = 0.4718. Written as a formula, with $Q(x)$ the quantized value of $x$:

كل مُكمِّم يفقد شيئًا. والمحاضرة تسمّيه: الفرق بين قيمة المُدخل وقيمته بعد التكميم هو quantization error (خطأ التكميم). في مثال ميزان الحرارة يساوي 23.4718 - 23 = 0.4718. وبصيغة رياضية، حيث $Q(x)$ هي القيمة المكمَّمة لـ $x$:

When the allowed values are evenly spaced with step $\Delta$ and you round to the nearest one, an input inside the range can never be more than half a step away from its output, so $|e| \le \Delta/2$. Halve the step and the worst-case error halves. A smaller step needs more levels, and more levels need more bits: that trade between bits and error is the whole subject of this lecture.

عندما تكون القيم المسموح بها متباعدة بانتظام بخطوة $\Delta$ وتقرّب إلى أقربها، فإن أي مُدخل داخل المدى لا يمكن أن يبعد عن مُخرجه أكثر من نصف خطوة، لذلك $|e| \le \Delta/2$. إذا نصّفت الخطوة تنصّف أسوأ خطأ ممكن. لكن الخطوة الأصغر تحتاج مستويات أكثر، والمستويات الأكثر تحتاج بتات أكثر: هذه المقايضة بين عدد البتات والخطأ هي موضوع هذه المحاضرة كله.

The figure on slide 21 shows this on a signal. The continuous curve can take any height. The quantized signal is drawn as stems that may only stop on the dotted levels. Where the curve passes exactly through a level the error is zero; between levels the stem stops short or overshoots, and that gap is the error. Notice that the error is not random noise added on top: it is fully determined by the input and the grid.

الشكل في الشريحة 21 يوضّح هذا على إشارة. المنحنى المتصل يمكن أن يأخذ أي ارتفاع. أما الإشارة المكمَّمة فمرسومة كسيقان (stems) لا يُسمح لها أن تتوقف إلا على المستويات المنقّطة. حيث يمرّ المنحنى تمامًا عبر مستوى يكون الخطأ صفرًا؛ وبين المستويات تتوقف الساق قبل المنحنى أو تتجاوزه، وتلك الفجوة هي الخطأ. لاحظ أن الخطأ ليس ضجيجًا عشوائيًا يُضاف فوق الإشارة: إنه محدَّد بالكامل بالمُدخل وبالشبكة (grid).

Palettization: the same idea for coloursالـ Palettization: الفكرة نفسها مطبَّقة على الألوان

The right half of slide 21 applies quantization to an image. A normal photo stores each pixel as 24 bits of colour, about 16.7 million possible values. The quantized version may use only 16 colours. Those 16 colours are the palette, and with Palettization each pixel stores only which palette entry it uses: a 4-bit index, since 2⁴ = 16.

النصف الأيمن من الشريحة 21 يطبّق التكميم على صورة. الصورة العادية تخزّن كل بكسل في 24 بتًا من اللون، أي قرابة 16.7 million قيمة ممكنة. أما النسخة المكمَّمة فقد تستخدم 16 لونًا فقط. هذه الألوان الـ 16 هي لوحة الألوان (palette)، ومع palettization يخزّن كل بكسل فقط رقم الخانة التي يستخدمها من اللوحة: فهرس (index) من 4-bit، لأن 2⁴ = 16.

This analogy is not loose. The standard way to pick a good 16-colour palette is to run K-means clustering on all the pixel colours and keep the 16 cluster centres. Replace “pixel colours” with “weights” and you have exactly the K-means weight quantization of the next part. Apple’s Core ML tools even call weight clustering “palettization”.

هذا التشبيه ليس تقريبيًا. الطريقة المعتادة لاختيار لوحة جيدة من 16 لونًا هي تشغيل التجميع بـ K-means (K-means clustering) على ألوان كل البكسلات والاحتفاظ بمراكز العناقيد الـ 16. استبدل "ألوان البكسلات" بـ "الأوزان" وستحصل تمامًا على تكميم الأوزان بـ K-means في الجزء التالي. بل إن أدوات Core ML من Apple تسمّي تجميع الأوزان (weight clustering) باسم "palettization".

Hand three engineers the same sixteen FP32 weights and ask each to store them in fewer bits. The first lists the four typical values once and stores, for every weight, which of the four it is closest to. The second lays an evenly spaced integer ruler over the range and stores each weight’s position on that ruler. The third keeps only the sign. Those are the three approaches on slide 22.

أعطِ ثلاثة مهندسين الأوزان الستة عشر نفسها بصيغة FP32، واطلب من كل واحد أن يخزّنها في بتات أقل. الأول يكتب القيم النموذجية الأربع مرة واحدة، ثم يخزّن لكل وزن أيّ هذه القيم الأربع هي الأقرب إليه. الثاني يضع مسطرة أعداد صحيحة متساوية التباعد فوق المدى، ويخزّن موقع كل وزن على تلك المسطرة. الثالث يحتفظ بالإشارة فقط. هذه هي الطرق الثلاث في الشريحة 22.

1. K-means-based quantization. Group the weights into clusters, keep one floating-point value per cluster in a Codebook, and store each weight as a small integer index into it. On the slide, four clusters give the codebook {3: 2.00, 2: 1.50, 1: 0.00, 0: -1.00} and 2-bit indexes. This is K-means-based weight quantization, and it is the rest of this lecture.التكميم المعتمد على K-means. اجمع الأوزان في عناقيد (clusters)، واحتفظ بقيمة واحدة بالفاصلة العائمة لكل عنقود في codebook، وخزّن كل وزن كفهرس صحيح صغير يشير إليه. في الشريحة، أربعة عناقيد تعطي الـ codebook {3: 2.00, 2: 1.50, 1: 0.00, 0: -1.00} وفهارس من 2-bit. هذا هو K-means quantization، وهو موضوع بقية هذه المحاضرة.
2. Linear quantization. Store an integer $q$ per weight and recover the real value with one affine formula shared by the whole tensor. The slide writes (q - (-1)) × 1.07, which is the general form $r = S(q - Z)$ with scale S = 1.07 and zero point Z = -1. This is Linear quantization, the topic of lecture 05-2.التكميم الخطي (Linear quantization). خزّن عددًا صحيحًا $q$ لكل وزن، واسترجع القيمة الحقيقية بصيغة تآلفية (affine) واحدة يشترك فيها الـ tensor كله. الشريحة تكتب (q - (-1)) × 1.07، وهي الصيغة العامة $r = S(q - Z)$ مع scale قيمته S = 1.07 وzero point قيمته Z = -1. هذا هو linear quantization، موضوع المحاضرة 05-2.
3. Binary or ternary quantization. Push to the extreme: one bit per weight (two values) or three values with zero allowed. This is Binary and ternary quantization, covered in lecture 05-3.التكميم الثنائي أو الثلاثي (Binary or ternary quantization). اذهب إلى أقصى حد: بت واحد لكل وزن (قيمتان)، أو ثلاث قيم مع السماح بالصفر. هذا هو binary/ternary quantization، ويُشرح في المحاضرة 05-3.

A quick check makes the linear formula concrete. The top-left weight 2.09 has code q = 1, so it reconstructs as (1 + 1) × 1.07 = 2.14, an error of 2.09 - 2.14 = -0.05. Its codes run from -2 to 1, exactly the range of a 2-bit two’s complement integer from part 1. Leave the derivation of 1.07 and -1 for lecture 05-2; here you only need to recognize the shape.

تحقّق سريع يجعل الصيغة الخطية ملموسة. الوزن في أعلى اليسار 2.09 رمزه q = 1، فيُعاد بناؤه كـ (1 + 1) × 1.07 = 2.14، بخطأ قدره 2.09 - 2.14 = -0.05. رموزه تمتد من -2 إلى 1، وهو تمامًا مدى عدد صحيح من 2-bit بتمثيل المتمم الثنائي (two’s complement) من الجزء 1. اترك اشتقاق 1.07 و-1 للمحاضرة 05-2؛ هنا يكفي أن تتعرّف على شكل الصيغة.

The table that organizes the whole topicالجدول الذي ينظّم الموضوع كله

Slides 22 and 23 do not compare the approaches by accuracy. They ask two engineering questions instead: what is kept in memory (storage), and what kind of arithmetic runs at inference (computation). The baseline network answers “floating-point” to both. Slide 23 fills in the K-means column, and the linear column is filled on slide 43.

الشريحتان 22 و23 لا تقارنان الطرق من حيث الدقة. بل تطرحان سؤالين هندسيين: ماذا يُحفظ في الذاكرة (التخزين، storage)، وما نوع العمليات الحسابية التي تجري أثناء الاستدلال (الحساب، computation). الشبكة الأساسية (baseline) تجيب "فاصلة عائمة" (floating-point) على السؤالين. الشريحة 23 تملأ عمود K-means، والعمود الخطي يُملأ في الشريحة 43.

The K-means column is the surprising one. Its storage really is integer: 2 bits per weight instead of 32. But before a multiply can happen, each index has to be looked up in the codebook, and what comes out is a floating-point number. The multiply-accumulate units therefore still run in floating point. The saving is in memory size and in the bytes moved from DRAM, not in the arithmetic itself. Part 8 shows the lookup step explicitly (slide 42). Linear quantization is the approach that finally changes the second row, because its integers can be multiplied as integers.

عمود K-means هو المفاجئ. تخزينه فعلًا بأعداد صحيحة: 2 بت لكل وزن بدلًا من 32. لكن قبل أن يحدث أي ضرب، يجب البحث عن كل فهرس في الـ codebook، وما يخرج من البحث عدد بالفاصلة العائمة. لذلك تظل وحدات الضرب والجمع التراكمي (multiply-accumulate) تعمل بالفاصلة العائمة. التوفير يكون في حجم الذاكرة وفي عدد البايتات المنقولة من DRAM، لا في العمليات الحسابية نفسها. الجزء 8 يُظهر خطوة البحث صراحةً (الشريحة 42). والتكميم الخطي هو الطريقة التي تغيّر أخيرًا الصف الثاني، لأن أعداده الصحيحة يمكن ضربها كأعداد صحيحة.

Here is the matrix the rest of the lecture lives on: sixteen weights of one layer, each stored as a 32-bit float. Look at it for a moment before reading on and ask which numbers are almost the same.

هذه هي المصفوفة التي تدور حولها بقية المحاضرة: ستة عشر وزنًا من طبقة واحدة، كل منها مخزّن كعدد بالفاصلة العائمة من 32-bit. تأمّلها لحظة قبل أن تكمل القراءة، واسأل نفسك: أيّ هذه الأعداد متقاربة جدًا؟

Sixteen FP32 values cost 16 × 32 = 512 bits, or 64 B. Yet the matrix clearly does not use sixteen independent values. Four of them sit near 2, three near 1.5, four near -1 and five near 0. Slide 25 takes the first group, 2.09, 2.12, 1.92 and 1.87, crosses them out and writes one number in their place: 2.0.

ست عشرة قيمة بصيغة FP32 تكلّف 16 × 32 = 512 بتًا، أي 64 B. ومع ذلك من الواضح أن المصفوفة لا تستخدم ست عشرة قيمة مستقلة. أربع منها قريبة من 2، وثلاث قريبة من 1.5، وأربع قريبة من -1، وخمس قريبة من 0. الشريحة 25 تأخذ المجموعة الأولى، 2.09 و2.12 و1.92 و1.87، وتشطبها وتكتب مكانها عددًا واحدًا: 2.0.

That move is Weight sharing: several weights that are close in value are replaced by one shared value. It is quantization by the definition above, because the four inputs are constrained to a discrete set (here a single value), and each now carries a quantization error.

هذه الخطوة هي weight sharing (مشاركة الأوزان): عدة أوزان متقاربة في القيمة تُستبدل بقيمة واحدة مُشارَكة. إنها تكميم وفق التعريف السابق، لأن المُدخلات الأربعة قُيّدت بمجموعة منفصلة (هنا قيمة واحدة)، وكل منها يحمل الآن خطأ تكميم.

Two facts in that table matter later. First, every error is small compared with the weights themselves, at most 0.13 against values near 2. Second, the errors add up to zero: 0.09 + 0.12 - 0.08 - 0.13 = 0. That is no accident. 2.0 is exactly the mean of the four weights, (2.09 + 2.12 + 1.92 + 1.87) / 4 = 8.00 / 4 = 2.00, and the mean is the single value that minimizes the squared error of a group. In part 5 that mean gets its proper name, the Centroid of a K-means cluster.

حقيقتان في هذا الجدول ستهمّان لاحقًا. أولًا، كل خطأ صغير مقارنة بالأوزان نفسها، فهو لا يتجاوز 0.13 أمام قيم قريبة من 2. ثانيًا، مجموع الأخطاء يساوي صفرًا: 0.09 + 0.12 - 0.08 - 0.13 = 0. وهذا ليس صدفة. القيمة 2.0 هي تمامًا متوسط الأوزان الأربعة، (2.09 + 2.12 + 1.92 + 1.87) / 4 = 8.00 / 4 = 2.00، والمتوسط هو القيمة الوحيدة التي تجعل مجموع مربعات الأخطاء في المجموعة أصغر ما يمكن. في الجزء 5 يأخذ هذا المتوسط اسمه الصحيح: centroid (مركز) عنقود K-means.

Do the same for every group and the matrix needs only four distinct values. Four values can be told apart with 2 bits, since 2² = 4, so each weight can be stored as a 2-bit label pointing at its shared value instead of a 32-bit float. Part 5 turns this into the exact storage bill (64 B down to 20 B), and shows how the network is retrained around the shared values.

افعل الشيء نفسه مع كل مجموعة، فلن تحتاج المصفوفة إلا إلى أربع قيم مختلفة. أربع قيم يمكن التمييز بينها بـ 2 بت، لأن 2² = 4، لذلك يمكن تخزين كل وزن كتسمية (label) من 2-bit تشير إلى قيمته المُشارَكة بدلًا من عدد بالفاصلة العائمة من 32-bit. الجزء 5 يحوّل هذا إلى حساب التخزين الدقيق (من 64 B إلى 20 B)، ويوضّح كيف يُعاد تدريب الشبكة حول القيم المُشارَكة.