Why efficient deep learningلماذا التعلم العميق الكفء

Open the camera on your phone and it finds faces before you press anything. Ask a speaker a question and a language model answers. Paste a screenshot into a chatbot and it reads the text and the picture together. Vision, language and multimodal tasks are all served today by deep networks, and every one of those answers costs billions of arithmetic operations. Classifying a single image with ResNet-50 takes about 3.9 billion multiply-accumulate operations (Sze et al., 2017), and that is a model from 2015 doing the easiest of the three tasks.

افتح كاميرا هاتفك وستجد أنها تكتشف الوجوه قبل أن تضغط أي زر. اسأل مكبّر صوت ذكيًا سؤالًا فيجيبك نموذج لغة. الصق لقطة شاشة في روبوت محادثة فيقرأ النص والصورة معًا. مهام الرؤية واللغة والمهام متعددة الوسائط تخدمها اليوم كلها الشبكات العميقة، وكل إجابة من هذه الإجابات تكلّف مليارات العمليات الحسابية. تصنيف صورة واحدة بـ ResNet-50 يحتاج نحو 3.9 billion عملية ضرب وجمع تراكمي (multiply-accumulate) (Sze et al., 2017)، وهذا نموذج من عام 2015 يؤدي أسهل المهام الثلاث.

That is the whole tension of this course, and slide 2 states it in one line. Machine learning (ML) and deep learning are applied everywhere, they are computationally expensive, and the challenge is to make them lightweight and fast without losing accuracy. Every technique you will learn, from pruning and quantization to architecture search, hardware accelerators and tiny Inference engines, is one answer to that single question. It helps to write the question the way an optimization course would: keep accuracy as high as possible while staying under whatever budget the target device imposes.

هذا هو التوتر الأساسي في المقرر كله، والشريحة 2 تلخصه في سطر واحد. Machine learning (ML) والتعلم العميق يُطبَّقان في كل مكان، وهما مكلفان حسابيًا، والتحدي هو جعلهما خفيفين وسريعين دون خسارة الدقة. كل تقنية ستتعلمها، من التقليم (pruning) والتكميم (quantization) إلى البحث عن المعماريات والمسرّعات العتادية ومحركات Inference الصغيرة، هي إجابة واحدة عن هذا السؤال الوحيد. ومن المفيد أن نكتب السؤال بالطريقة التي يكتبه بها مقرر في التحسين الرياضي (optimization): أبقِ الدقة أعلى ما يمكن مع البقاء تحت أي ميزانية يفرضها الجهاز المستهدف.

The budgets are what change from device to device. A cloud GPU has a generous C and M; a phone has a tight Latency T and a battery; a sensor node has a memory M measured in kilobytes. The accuracy you can afford depends on which row of that constraint list binds, and part 03 puts real numbers on each row.

الميزانيات هي ما يتغير من جهاز إلى آخر. وحدة GPU سحابية لديها C وM سخيّان، والهاتف لديه قيد صارم على Latency T وبطارية، وعقدة الاستشعار لديها ذاكرة M تقاس بالكيلوبايت. الدقة التي تستطيع تحمّلها تعتمد على أي سطر من قائمة القيود هذه هو الذي يقيّدك فعلًا، والجزء 03 يضع أرقامًا حقيقية لكل سطر.

Three pillars, one lens for the whole courseثلاث ركائز، عدسة واحدة للمقرر كله

Slide 3 gives you the lens to organize everything that follows: deep learning advances when three things improve together. Its three pillars are the algorithm (the model and how it is trained), the hardware it runs on, and the data it learns from. None of them is enough alone. The 2012 breakthrough on ImageNet, which the next concept quantifies, needed all three at once: a new deep convolutional architecture, two GPUs able to run it for a week, and a dataset of about 1.2 million labeled images (Krizhevsky et al., 2012).

تعطيك الشريحة 3 العدسة التي تنظّم بها كل ما يأتي: يتقدم التعلم العميق عندما تتحسن ثلاثة أشياء معًا. الركائز الثلاث هي الخوارزمية (النموذج وطريقة تدريبه)، والعتاد الذي يعمل عليه، والبيانات التي يتعلم منها. لا تكفي أي منها وحدها. اختراق عام 2012 على ImageNet، الذي يقيسه المفهوم التالي بالأرقام، احتاج الثلاث في آن واحد: معمارية التفافية عميقة جديدة، ووحدتي GPU قادرتين على تشغيلها لمدة أسبوع، ومجموعة بيانات من نحو 1.2 million صورة موسومة (Krizhevsky et al., 2012).

The same three words tell you where efficiency work happens. Compressing, quantizing and searching for architectures are algorithm-pillar work: the model changes, the chip does not. Building accelerators, from data-center GPUs down to the Hexagon DSP and the Neural Engine, is hardware-pillar work: the chip changes so that the same model runs faster or cooler. The deck returns to this exact slide as slide 17 to open the hardware section, so treat slide 3 as the introduction of the framework and slide 17 as the pivot to its second pillar. The data pillar makes its own appearance on slide 8, where data that cannot leave a device forces learning to happen on the device.

الكلمات الثلاث نفسها تخبرك أين يحدث عمل الكفاءة. الضغط والتكميم والبحث عن المعماريات عمل في ركيزة الخوارزمية: النموذج يتغير والشريحة لا تتغير. بناء المسرّعات، من وحدات GPU في مراكز البيانات نزولًا إلى Hexagon DSP وNeural Engine، عمل في ركيزة العتاد: الشريحة تتغير كي يعمل النموذج نفسه أسرع أو بحرارة أقل. تعود المحاضرة إلى هذه الشريحة نفسها بوصفها الشريحة 17 لتفتتح قسم العتاد، فاعتبر الشريحة 3 مقدمة الإطار والشريحة 17 نقطة الانتقال إلى ركيزته الثانية. أما ركيزة البيانات فتظهر بنفسها في الشريحة 8، حيث تجبر البيانات التي لا يمكنها مغادرة الجهاز التعلمَ على أن يحدث على الجهاز.

Why efficiency matters beyond speedلماذا تهم الكفاءة لما هو أبعد من السرعة

Speed is the obvious reason to want small models, but the exam will ask for more, and the deck gives you at least four. Privacy: a model that fits on the device can process a face or a voice without uploading it. Cost: training and serving large models is billed in GPU hours and, increasingly, in carbon. The Once-for-All paper notes that training a separate specialized network for every deployment target emits as much CO2 as five cars over their lifetimes (Cai et al., 2020). Connectivity: sensors in fields, mines and rural clinics may have no network at all, and MCUNet argues that on-device processing extends AI to areas without Internet access (Lin et al., 2020). Energy: a battery-powered node has a milliwatt budget, and every unnecessary multiply drains it.

السرعة هي السبب الواضح لطلب نماذج صغيرة، لكن الامتحان سيطلب أكثر، والمحاضرة تعطيك أربعة أسباب على الأقل. الخصوصية: النموذج الذي يتسع في الجهاز يستطيع معالجة وجه أو صوت دون رفعه. التكلفة: تدريب النماذج الكبيرة وتشغيلها يُحاسَب بساعات GPU، وبالكربون بشكل متزايد. تذكر ورقة Once-for-All أن تدريب شبكة متخصصة منفصلة لكل هدف نشر يطلق من CO2 ما تطلقه خمس سيارات طوال عمرها (Cai et al., 2020). الاتصال: أجهزة الاستشعار في الحقول والمناجم والعيادات الريفية قد لا يكون لديها أي شبكة، ويحتج MCUNet بأن المعالجة على الجهاز توصل الذكاء الاصطناعي إلى المناطق التي لا يتوفر فيها الإنترنت (Lin et al., 2020). الطاقة: العقدة التي تعمل بالبطارية لديها ميزانية بالمللي واط، وكل عملية ضرب غير ضرورية تستنزفها.

• Privacy: raw data stays where it was collected.الخصوصية: البيانات الخام تبقى حيث جُمعت.
• Cost: fewer GPU hours, smaller cloud bills, less carbon.التكلفة: ساعات GPU أقل، وفواتير سحابية أصغر، وكربون أقل.
• Connectivity: the model works where the network does not.الاتصال: النموذج يعمل حيث لا تعمل الشبكة.
• Energy: milliwatt devices need models sized for milliwatts.الطاقة: الأجهزة التي تعمل بالمللي واط تحتاج نماذج على مقاس المللي واط.

Look at the left panel of slide 4 before the bar chart. It shows six test images (a crop of the eight in the AlexNet paper) with the five classes AlexNet ranked highest for each. For the mushroom photo the top guess is "agaric" and the true label "mushroom" sits second. For the cherry photo the top guess is "dalmatian", followed by grape, elderberry, a bull terrier and currant; "cherry" is nowhere in the list. Under one scoring rule the mushroom counts as correct and the cherry does not; under another rule both are wrong. Which rule you use decides every number on the right of the slide.

انظر إلى اللوحة اليسرى من الشريحة 4 قبل المخطط العمودي. تعرض ست صور اختبار (مقتطعة من الثماني الموجودة في ورقة AlexNet) ومع كل منها الأصناف الخمسة التي رتّبها AlexNet في الأعلى. في صورة الفطر يكون التخمين الأول "agaric" ويأتي الوسم الصحيح "mushroom" في المرتبة الثانية. في صورة الكرز يكون التخمين الأول "dalmatian"، يليه grape وelderberry وbull terrier وcurrant، ولا يظهر "cherry" في القائمة أبدًا. وفق قاعدة تقييم معينة تُحسب صورة الفطر صحيحة وصورة الكرز خاطئة، ووفق قاعدة أخرى تكون الاثنتان خاطئتين. القاعدة التي تستخدمها هي التي تحدد كل رقم على يمين الشريحة.

The rule the contest used is Top-5 error rate. The ImageNet challenge (ILSVRC) let each algorithm return five labels per image and counted the image as correct if any one of them matched the single ground-truth label; the error is the fraction of test images with no match (Russakovsky et al., 2015, Eq. 1). The organizers allowed five guesses because ImageNet photos often contain several objects but carry only one label, and a system that names a visible second object should not be punished. From 2012 the contest reported only top-5 error, since all their measures ranked entries the same way.

القاعدة التي استخدمتها المسابقة هي Top-5 error rate. سمحت مسابقة ImageNet (ILSVRC) لكل خوارزمية بأن تعيد خمسة وسوم لكل صورة، وعدّت الصورة صحيحة إذا طابق أيٌّ منها الوسم الحقيقي الوحيد، والخطأ هو نسبة صور الاختبار التي لا يوجد لها أي تطابق (Russakovsky et al., 2015, Eq. 1). سمح المنظمون بخمسة تخمينات لأن صور ImageNet تحتوي غالبًا على عدة أجسام لكنها تحمل وسمًا واحدًا فقط، والنظام الذي يسمّي جسمًا ثانيًا ظاهرًا في الصورة لا ينبغي أن يُعاقَب. ومنذ عام 2012 لم تعد المسابقة تعلن إلا خطأ top-5، لأن كل مقاييسها كانت ترتب المشاركات بالترتيب نفسه.

The other rule, Top-1 accuracy, keeps only the single highest-scoring class and counts the fraction of images where it matches. It is stricter, so the same model always scores worse on top-1 than on top-5. Slides 5 and 6 use top-1 accuracy; slide 4 uses top-5 error. Keeping the two apart is the single most common slip in reading this part of the deck.

القاعدة الأخرى، Top-1 accuracy، تحتفظ فقط بالصنف صاحب أعلى درجة، وتحسب نسبة الصور التي يطابق فيها الوسم الصحيح. هي أشد صرامة، ولذلك يحصل النموذج نفسه دائمًا على نتيجة أسوأ في top-1 منها في top-5. الشريحتان 5 و6 تستخدمان دقة top-1، والشريحة 4 تستخدم خطأ top-5. الفصل بين الاثنين هو أهم ما يجب الانتباه له، فالخلط بينهما أكثر زلة شيوعًا عند قراءة هذا الجزء من الشرائح.

Eight years of the winning entryثماني سنوات من المشاركة الفائزة

With the metric fixed, the bar chart reads as a history. The winning top-5 error went from 28.2% in 2010 and 25.8% in 2011 to 16.4% in 2012, when SuperVision, the entry now called AlexNet, was the first deep convolutional network to win. The error kept falling as the networks deepened: Clarifai at 11.7% in 2013, GoogLeNet at 6.7% in 2014, ResNet at 3.57% in 2015 with an ensemble of residual networks up to 152 layers deep (He et al., 2016), Trimps-Soushen at 2.99% in 2016 and SENet at 2.25% in 2017 (Hu et al., 2018). The slide rounds those to one decimal.

بعد تثبيت المقياس يُقرأ المخطط العمودي كتاريخ. انتقل خطأ top-5 الفائز من 28.2% في 2010 و25.8% في 2011 إلى 16.4% في 2012، عندما كانت SuperVision، المشاركة التي تسمى الآن AlexNet، أول شبكة التفافية عميقة تفوز. واستمر الخطأ في الانخفاض مع ازدياد عمق الشبكات: Clarifai بنسبة 11.7% في 2013، وGoogLeNet بنسبة 6.7% في 2014، وResNet بنسبة 3.57% في 2015 بمجموعة (ensemble) من الشبكات المتبقية (residual) يصل عمقها إلى 152 طبقة (He et al., 2016)، وTrimps-Soushen بنسبة 2.99% في 2016، وSENet بنسبة 2.25% في 2017 (Hu et al., 2018). الشريحة تقرّب هذه القيم إلى منزلة عشرية واحدة.

What "super-human" actually means hereماذا يعني "أفضل من البشر" هنا فعلًا

The human bar is not an average person. It is one expert annotator who trained on 500 images and then labeled 1500 test images at roughly one per minute, reaching 5.1% top-5 error; a second annotator with less training scored 12.0%, and GoogLeNet scored 6.8% on the same sample (Russakovsky et al., 2015, Sec. 6.4). So "DNNs achieve super-human accuracy" means that from 2015 the winning network beats a well-trained, patient human on the top-5 rule for 1000 fine-grained classes, many of them dog breeds. It says nothing about general vision, and it says nothing about top-1.

العمود البشري لا يمثل شخصًا عاديًا. إنه مُوسِّم خبير واحد تدرّب على 500 صورة ثم وسم 1500 صورة اختبار بمعدل صورة في الدقيقة تقريبًا، فوصل إلى خطأ top-5 قدره 5.1%. ومُوسِّم ثانٍ بتدريب أقل حصل على 12.0%، وحصل GoogLeNet على 6.8% على العينة نفسها (Russakovsky et al., 2015, Sec. 6.4). إذن عبارة "DNNs achieve super-human accuracy" تعني أن الشبكة الفائزة منذ 2015 تتفوق على إنسان مدرَّب جيدًا وصبور وفق قاعدة top-5 على 1000 صنف دقيق التفاصيل، كثير منها سلالات كلاب. ولا تقول شيئًا عن الرؤية العامة، ولا تقول شيئًا عن top-1.

Take two models from the same family. ResNet-50 needs about 3.8 billion multiply-adds per image and ResNet-101 about 7.6 billion, twice as many (He et al., 2016, Table 1). On slide 5 they sit at about 75.3% and 76.4% top-1 accuracy. Doubling the work bought about one percentage point. That one pair is the message of the slide: high accuracy comes at the cost of high computation, and the exchange rate gets worse as you climb.

خذ نموذجين من العائلة نفسها. يحتاج ResNet-50 نحو 3.8 billion عملية ضرب وجمع لكل صورة، وResNet-101 نحو 7.6 billion، أي الضعف (He et al., 2016, Table 1). في الشريحة 5 يقعان عند دقة top-1 تقارب 75.3% و76.4%. مضاعفة العمل اشترت نحو نقطة مئوية واحدة. هذا الزوج وحده هو رسالة الشريحة: الدقة العالية تأتي على حساب حوسبة عالية، وسعر الصرف يسوء كلما صعدت.

To read the chart you need its currency. The horizontal axis counts MACs, multiply-accumulate operations: one multiplication of an input by a weight, immediately added into a running sum. Sze and colleagues call the MAC "the fundamental component" of both convolutional and fully connected layers (Sze et al., 2017). Counting MACs gives a hardware-neutral cost: the number is a property of the model and the input size, not of the chip, unlike latency or energy which change with every device. A convolutional layer's count follows directly from its shape.

لكي تقرأ المخطط تحتاج إلى عملته. المحور الأفقي يعدّ MACs، أي عمليات الضرب والجمع التراكمي: ضرب مدخل واحد في وزن، ثم إضافة الناتج فورًا إلى مجموع جارٍ. يسمي Sze وزملاؤه عملية MAC "المكوّن الأساسي" (the fundamental component) للطبقات الالتفافية والطبقات المتصلة بالكامل معًا (Sze et al., 2017). عدّ MACs يعطي تكلفة مستقلة عن العتاد: الرقم خاصية للنموذج وحجم المدخل، لا للشريحة، بخلاف زمن الاستجابة أو الطاقة اللذين يتغيران مع كل جهاز. وعدد عمليات الطبقة الالتفافية ينتج مباشرة من أبعادها.

How to read a bubble chartكيف تقرأ مخطط الفقاعات

Three quantities share the chart. Horizontal position is cost in billions of MACs, so left is cheaper. Vertical position is Top-1 accuracy on ImageNet, so up is better. Bubble area is Model size, the number of parameters, from 2 M to 64 M according to the legend. Parameters measure storage (how many bytes the weights occupy) and MACs measure work (how many operations each input triggers), and the two are related but not the same. Circles are handcrafted architectures and stars are found by AutoML, which becomes important on the next slide. The goal region is the upper left: high accuracy at low cost.

ثلاث كميات تتشارك المخطط. الموضع الأفقي هو التكلفة بمليارات MACs، فاليسار أرخص. الموضع العمودي هو Top-1 accuracy على ImageNet، فالأعلى أفضل. ومساحة الفقاعة هي Model size، أي عدد المعاملات، من 2 M إلى 64 M وفق مفتاح الرسم. عدد المعاملات يقيس التخزين (كم بايتًا تشغل الأوزان)، وMACs تقيس العمل (كم عملية يطلقها كل مدخل)، والاثنان مرتبطان لكنهما ليسا الشيء نفسه. الدوائر معماريات مصممة يدويًا، والنجوم وجدها AutoML، وهذا يصبح مهمًا في الشريحة التالية. المنطقة المطلوبة هي الزاوية العليا اليسرى: دقة عالية بتكلفة منخفضة.

Diminishing returnsتناقص العائد

Trace the chart from the cheapest model upward and the exchange rate collapses. For each step, divide the accuracy gained by the extra MACs spent. MobileNetV1 is the cheap starting point at 70.6% for 0.57 B MACs (Howard et al., 2017); every other number below is read from the chart.

تتبّع المخطط من أرخص نموذج صعودًا وستجد أن سعر الصرف ينهار. في كل خطوة، اقسم الدقة المكتسبة على MACs الإضافية المنفقة. MobileNetV1 هو نقطة البداية الرخيصة عند 70.6% مقابل 0.57 B MACs (Howard et al., 2017)، وكل رقم آخر أدناه مقروء من المخطط.

The marginal value of computation falls almost fivefold across the chart, from 1.41 to 0.30 points per billion, and the worst trade is inside a single family. Notice also that Xception is itself dominated: DPN-92 is more accurate (79.3%) with fewer MACs (6.5 B).

تنخفض القيمة الحدّية للحوسبة نحو خمسة أضعاف عبر المخطط، من 1.41 إلى 0.30 نقطة لكل مليار، وأسوأ صفقة تقع داخل عائلة واحدة. ولاحظ أيضًا أن Xception نفسه مُهيمَن عليه (dominated): DPN-92 أدق منه (79.3%) وبعدد أقل من MACs (6.5 B).

Now put the stars back on the chart. Once-for-All (OFA) reaches 80.0% top-1 with 595 M MACs (Cai et al., 2020). Xception, the most expensive handcrafted model on the previous slide and within 0.3 points of the most accurate (DPN-92), needed about 8.4 B for 79.0%. Divide and you get 8400 / 595 = 14.1: the same accuracy, or one point more, for one fourteenth of the computation. That is the dashed arrow at the top of slide 6, and it is drawn straight from Figure 2 of the Once-for-All paper.

الآن أعد النجوم إلى المخطط. يصل Once-for-All (OFA) إلى دقة top-1 تبلغ 80.0% بـ 595 M MACs (Cai et al., 2020). أما Xception، أغلى نموذج مصمم يدويًا في الشريحة السابقة والذي يبعد 0.3 نقطة فقط عن الأدق (DPN-92)، فقد احتاج نحو 8.4 B للوصول إلى 79.0%. اقسم فتحصل على 8400 / 595 = 14.1: الدقة نفسها، أو نقطة أكثر، مقابل جزء من أربعة عشر من الحوسبة. هذا هو السهم المتقطع في أعلى الشريحة 6، وهو مرسوم مباشرة من الشكل 2 في ورقة Once-for-All.

The MobileNetV1 row makes the point from the other side: at essentially the same budget, the searched model is 9.4 points more accurate. The stars are all products of Neural architecture search (NAS): rather than a person choosing kernel sizes, widths and depths, an algorithm searches over them under an explicit MAC or latency budget. EfficientNet, NASNet-A, MobileNetV3, ProxylessNAS, AmoebaNet, PNASNet and DARTS all sit inside the boxed region below about 2.5 B MACs, next to two efficient handcrafted models, MobileNetV2 and ShuffleNet. Once-for-All adds one more idea: train a single large network once, then cut specialized sub-networks out of it for each device, which is what makes the 80.0% at 595 M affordable to produce as well as to run.

صف MobileNetV1 يوضح الفكرة من الجهة الأخرى: عند الميزانية نفسها تقريبًا، النموذج الناتج عن البحث أدق بـ 9.4 نقطة. النجوم كلها نتاج Neural architecture search (NAS): بدلًا من أن يختار شخصٌ أحجام النوى والعرض والعمق، تبحث خوارزمية فيها تحت ميزانية صريحة من MACs أو زمن الاستجابة. EfficientNet وNASNet-A وMobileNetV3 وProxylessNAS وAmoebaNet وPNASNet وDARTS كلها تقع داخل المنطقة المحاطة بإطار تحت نحو 2.5 B MACs، بجانب نموذجين كفؤين مصممين يدويًا هما MobileNetV2 وShuffleNet. ويضيف Once-for-All فكرة أخرى: درّب شبكة كبيرة واحدة مرة واحدة، ثم اقتطع منها شبكات فرعية متخصصة لكل جهاز، وهذا ما يجعل 80.0% عند 595 M ميسورة التكلفة في إنتاجها وليس في تشغيلها فقط.

The frontier and why it moves leftالحدّ ولماذا يتحرك نحو اليسار

The two arrows on the slide, "the higher the better" and "the lower the better", state the accuracy-efficiency trade-off as a partial order. Model A dominates model B if A is at least as accurate and at most as costly, with one of the two strictly better. The models nobody dominates form the Pareto frontier, the staircase you saw in the last visual. Every point below or to the right of it is a worse deal than something already available. Architecture search did not just add good models; it moved the entire staircase left, so that the best accuracy at 0.6 B MACs today exceeds the best at 8 B a few years earlier.

السهمان في الشريحة، "the higher the better" (الأعلى أفضل) و"the lower the better" (الأقل أفضل)، يعبّران عن مقايضة الدقة والكفاءة بوصفها ترتيبًا جزئيًا. النموذج A يهيمن على النموذج B إذا كان A بالدقة نفسها على الأقل وبالتكلفة نفسها على الأكثر، مع تفوّق صارم في أحد الاثنين. النماذج التي لا يهيمن عليها أحد تشكّل حدّ باريتو، وهو الدرج الذي رأيته في الشكل الأخير. كل نقطة تحته أو إلى يمينه صفقة أسوأ من شيء متاح بالفعل. البحث عن المعماريات لم يكتفِ بإضافة نماذج جيدة، بل نقل الدرج كله نحو اليسار، بحيث صارت أفضل دقة عند 0.6 B MACs اليوم تتجاوز أفضل دقة عند 8 B قبل بضع سنوات.

The slide names the payoff in two lines. Efficient deep learning enables daily-life applications on mobile phones, which is why the Once-for-All paper defines a "mobile setting" as anything under 600 M MACs and reports being the first to reach 80% inside it. And it enables private on-device Inference and training, the theme of the last concept in this part. Both follow from the same fact: a model that costs fourteen times less can live on a device that has fourteen times less to spend.

تسمّي الشريحة المكسب في سطرين. التعلم العميق الكفء يمكّن تطبيقات الحياة اليومية على الهواتف المحمولة، ولهذا تعرّف ورقة Once-for-All "البيئة المحمولة" (mobile setting) بأنها أي شيء تحت 600 M MACs، وتذكر أنها أول من وصل إلى 80% داخلها. ويمكّن كذلك Inference والتدريب على الجهاز بخصوصية، وهو موضوع المفهوم الأخير في هذا الجزء. كلاهما ينتج من الحقيقة نفسها: النموذج الذي يكلّف أقل بأربع عشرة مرة يمكنه أن يعيش على جهاز لديه أقل بأربع عشرة مرة لينفقه.

Slide 7 shows two photographs of a small camera board on a desk. In one it reports whether the person in front of it wears a face mask; in the other it detects people in an office. There is no phone, no laptop and no network cable in the picture. The board is an OpenMV Cam, whose processor is an ARM Cortex-M7 Microcontroller (MCU), and the software is MCUNet, a framework from the same lab as Once-for-All (Lin et al., 2020).

تعرض الشريحة 7 صورتين للوحة كاميرا صغيرة على مكتب. في إحداهما تخبر اللوحة إن كان الشخص الذي أمامها يرتدي كمامة، وفي الأخرى تكتشف الأشخاص في مكتب. لا يوجد في الصورة هاتف ولا حاسوب محمول ولا كابل شبكة. اللوحة هي OpenMV Cam، ومعالجها Microcontroller (MCU) من نوع ARM Cortex-M7، والبرمجيات هي MCUNet، وهو إطار عمل من المختبر نفسه الذي أنتج Once-for-All (Lin et al., 2020).

This is TinyML: machine learning on devices with kilobytes of memory. MCUNet's reference target, the STM32F746, has 320 kB of SRAM and 1 MB of flash, and its Table 1 lines that up against a phone and a cloud GPU. The OpenMV Cam H7 in the photos is a somewhat larger sibling: STM32H743 at 480 MHz, with 1 MB of RAM in total, of which MCUNet's experiments use the 512 kB main SRAM block, and 2 MB flash (OpenMV). Both are bare-metal devices with no operating system and no DRAM. Slide 23 returns to these exact numbers as the tiny AI column of the hardware tiers. Its cloud and mobile columns are updated to an 80 GB GPU and a 256 GB phone, so expect those two cells to differ from the table below while the microcontroller column stays the same.

هذا هو TinyML: تعلم الآلة على أجهزة ذاكرتها بالكيلوبايت. الهدف المرجعي لـ MCUNet، وهو STM32F746، فيه 320 kB من SRAM و1 MB من flash، والجدول 1 في الورقة يضعه في مقابل الهاتف ووحدة GPU السحابية. لوحة OpenMV Cam H7 في الصور شقيقة أكبر قليلًا: STM32H743 بتردد 480 MHz، مع 1 MB من RAM إجمالًا، تستخدم تجارب MCUNet منها كتلة SRAM الرئيسية البالغة 512 kB، و2 MB من flash (OpenMV). كلا الجهازين يعمل مباشرة على العتاد (bare-metal) بلا نظام تشغيل وبلا DRAM. تعود الشريحة 23 إلى هذه الأرقام نفسها بوصفها عمود الذكاء الاصطناعي الصغير في مستويات العتاد. لكن عموديها للسحابة والهاتف محدّثان إلى GPU بسعة 80 GB وهاتف بسعة 256 GB، فتوقع أن تختلف هاتان الخانتان عن الجدول أدناه بينما يبقى عمود المتحكم الدقيق كما هو.

Why nothing off the shelf fitsلماذا لا يتسع أي نموذج جاهز

The paper gives three failures. ResNet-50's weight storage is about 102 MB, 100x the flash. MobileNetV2 needs about 6.8 MB of peak activation memory, 22x the SRAM (the paper rounds up). Even the int8-quantized MobileNetV2 peaks at 1.7 MB, still 5.3x over, and that is before the runtime's own buffers. Reaching the board required designing the network and the inference engine together: TinyNAS searches architectures under the exact memory limits and TinyEngine executes them without interpreter overhead, and MCUNet as a whole uses 3.5x less SRAM and 5.7x less flash than int8 MobileNetV2 and ResNet-18 at similar accuracy. The result is 70.7% ImageNet top-1 on an STM32H743 (the OpenMV H7 chip, which MCUNet evaluates under a 512 kB SRAM and 2 MB flash budget, although the board has 1 MB of SRAM in total), the first time that bar was reached on an off-the-shelf microcontroller, and about 62% inside the 320 kB / 1 MB budget of the F746 (Lin et al., 2020, Table 4, 4-bit).

تذكر الورقة ثلاثة إخفاقات. تخزين الأوزان في ResNet-50 نحو 102 MB، أي 100x من سعة flash. ويحتاج MobileNetV2 نحو 6.8 MB من ذاكرة التنشيط القصوى، أي 22x من SRAM (الورقة تقرّب إلى الأعلى). وحتى MobileNetV2 المكمَّم بـ int8 تبلغ ذروته 1.7 MB، أي ما زال أكبر بـ 5.3x، وهذا قبل حساب المخازن المؤقتة الخاصة ببيئة التشغيل نفسها. الوصول إلى اللوحة تطلّب تصميم الشبكة ومحرك الاستدلال معًا: TinyNAS يبحث عن المعماريات تحت حدود الذاكرة الدقيقة، وTinyEngine ينفذها دون عبء المفسِّر، وMCUNet ككل يستخدم SRAM أقل بـ 3.5x وflash أقل بـ 5.7x مقارنة بـ MobileNetV2 وResNet-18 المكمَّمين بـ int8 بدقة مماثلة. والنتيجة دقة top-1 على ImageNet قدرها 70.7% على STM32H743 (شريحة OpenMV H7، التي يقيّمها MCUNet تحت ميزانية 512 kB من SRAM و2 MB من flash، مع أن في اللوحة 1 MB من SRAM إجمالًا)، وهي أول مرة يُبلغ فيها هذا المستوى على متحكم دقيق جاهز من السوق، ونحو 62% داخل ميزانية 320 kB / 1 MB الخاصة بـ F746 (Lin et al., 2020, Table 4, 4-bit).

The reasons to bother are the same four from the first concept, now at their most extreme. MCUNet points out that there are around 250 billion microcontrollers in the world, that processing raw sensor data at the source protects privacy because nothing is transmitted, and that inference on the node works in places without Internet access (Lin et al., 2020). A mask detector on a camera board costs a few dollars, runs on milliwatts and never uploads a face.

أسباب تحمّل هذا العناء هي الأسباب الأربعة نفسها من المفهوم الأول، لكنها الآن في أقصى صورها. يشير MCUNet إلى أن في العالم نحو 250 billion متحكم دقيق، وأن معالجة بيانات الاستشعار الخام عند مصدرها تحمي الخصوصية لأنه لا يُرسَل شيء، وأن الاستدلال على العقدة يعمل في أماكن بلا إنترنت (Lin et al., 2020). كاشف الكمامات على لوحة كاميرا يكلّف بضعة دولارات، ويعمل بالمللي واط، ولا يرفع وجهًا أبدًا.

A smart speaker slowly gets better at recognizing the voices in one house. A phone learns its owner's face after the first enrollment. Both need data that arrives after the product shipped, and both kinds of data (a voice, a face) are exactly what users least want uploaded. The figure on slide 8 draws the consequence: new and sensitive data flows from the user to the Edge device, the arrow from the device to the cloud is crossed out for privacy, and a small loop above the device shows the model updating itself where the data is.

مكبّر الصوت الذكي يتحسن تدريجيًا في التعرف على أصوات أهل بيت واحد. والهاتف يتعلم وجه مالكه بعد التسجيل الأول. كلاهما يحتاج بيانات تصل بعد شحن المنتج، وكلا نوعي البيانات (صوت، وجه) هو بالضبط ما لا يريد المستخدمون رفعه. الشكل في الشريحة 8 يرسم النتيجة: بيانات جديدة وحساسة تتدفق من المستخدم إلى Edge device، والسهم من الجهاز إلى السحابة مشطوب لأسباب الخصوصية، وحلقة صغيرة فوق الجهاز تبيّن النموذج وهو يحدّث نفسه حيث توجد البيانات.

That loop is On-device training (learning). The slide lists four benefits. Better privacy, because nothing leaves the device. Lower cost, because there is no upload and no cloud training bill. Customization, because the model adapts to this user, this room, this camera angle. Life-long learning, because the adaptation never has to stop; AI systems, as the slide puts it, need to continually adapt to new data collected locally. Lin and colleagues summarize the goal as letting users benefit from customized models without transferring their data to the cloud (Lin et al., 2022).

هذه الحلقة هي On-device training (learning). تسرد الشريحة أربع فوائد. خصوصية أفضل، لأن لا شيء يغادر الجهاز. تكلفة أقل، لأنه لا يوجد رفع ولا فاتورة تدريب سحابي. التخصيص، لأن النموذج يتكيف مع هذا المستخدم، وهذه الغرفة، وزاوية الكاميرا هذه. التعلم مدى الحياة، لأن التكيف لا يجب أن يتوقف أبدًا، فأنظمة الذكاء الاصطناعي، كما تقول الشريحة، تحتاج إلى التكيف باستمرار مع البيانات الجديدة المجموعة محليًا. ويلخص Lin وزملاؤه الهدف بأنه تمكين المستخدمين من الاستفادة من نماذج مخصصة دون نقل بياناتهم إلى السحابة (Lin et al., 2022).

Why training is so much more expensive than inferenceلماذا التدريب أغلى بكثير من الاستدلال

The third line of the slide is the catch: training is more expensive than Inference, hard to fit in edge memory, and limited by power. All three follow from how backpropagation works. Inference is one forward pass through the layers, and each layer's activations can be discarded as soon as the next layer has consumed them. Training runs the same forward pass, then a backward pass that costs about twice as much: propagating the gradient through each layer is one multiply by the transposed weights, which Goodfellow, Bengio and Courville note has the same cost as the forward multiply (Goodfellow et al., 2016, Sec. 6.5.7), and computing the weight gradient is a second multiply of the same size. So one training step is roughly three times the arithmetic of one inference pass, the convention behind the 6N versus 2N per-token estimate used in scaling studies (Kaplan et al., 2020). The backward pass also needs the activations that the forward pass produced. Goodfellow and colleagues put it directly: the input to each hidden nonlinearity must be stored from the moment it is computed until the backward pass has returned to the same point, so memory grows with the number of examples in the batch and the width of the layers. On top of that, the optimizer keeps its own state: a momentum buffer, or two moment estimates for Adam, each the size of the model.

السطر الثالث في الشريحة هو العقبة: التدريب أغلى من Inference، ويصعب احتواؤه في ذاكرة الحافة، ومحدود بالطاقة. والثلاثة تنتج من طريقة عمل الانتشار العكسي (backpropagation). الاستدلال تمرير أمامي واحد عبر الطبقات، ويمكن التخلص من تنشيطات كل طبقة بمجرد أن تستهلكها الطبقة التالية. أما التدريب فيجري التمرير الأمامي نفسه، ثم تمريرًا عكسيًا يكلّف نحو الضعف: نشر التدرج عبر كل طبقة هو عملية ضرب واحدة في الأوزان المنقولة (transposed)، ويذكر Goodfellow وBengio وCourville أن تكلفتها تساوي تكلفة الضرب الأمامي (Goodfellow et al., 2016, Sec. 6.5.7)، وحساب تدرج الأوزان عملية ضرب ثانية بالحجم نفسه. إذن خطوة تدريب واحدة تساوي تقريبًا ثلاثة أضعاف الحساب في تمرير استدلال واحد، وهذا هو الاصطلاح وراء تقدير 6N مقابل 2N لكل رمز (token) المستخدم في دراسات التوسع (Kaplan et al., 2020). ويحتاج التمرير العكسي أيضًا إلى التنشيطات التي أنتجها التمرير الأمامي. يقولها Goodfellow وزملاؤه صراحة: مدخل كل لاخطية مخفية يجب تخزينه من لحظة حسابه حتى يعود التمرير العكسي إلى النقطة نفسها، فتنمو الذاكرة مع عدد الأمثلة في الدفعة (batch) ومع عرض الطبقات. وفوق ذلك يحتفظ المُحسِّن (optimizer) بحالته الخاصة: مخزن للزخم (momentum)، أو تقديران للعزوم في حالة Adam، كلٌّ منها بحجم النموذج.

Power is the last constraint. A training step roughly triples the arithmetic of every example, and a device that runs on a battery or a solar cell cannot run it continuously. So on-device learning is not merely inference plus a little bookkeeping; it is a harder problem than the one MCUNet solved, and the course treats it as its own topic.

الطاقة هي القيد الأخير. خطوة التدريب تضاعف حساب كل مثال ثلاث مرات تقريبًا، والجهاز الذي يعمل ببطارية أو بخلية شمسية لا يستطيع تشغيلها باستمرار. لذا فالتعلم على الجهاز ليس مجرد استدلال مع قليل من العمليات الإضافية، بل مشكلة أصعب من التي حلّها MCUNet، والمقرر يعاملها موضوعًا مستقلًا.

Picture a head-mounted camera looking at a door, a small label reading id 27, 52 cm, and a green mask painted over one region. A single click on the door produced that mask. That is what promptable means. The user supplies a hint, a point, a box or a phrase, and the model returns the object the hint refers to. The Segment Anything Model (SAM) from Kirillov et al. was trained on SA-1B, over one billion masks on 11 million images, so it can do this for objects it has never been told about.

تخيّل كاميرا مثبتة على الرأس تنظر إلى باب، وملصقًا صغيرًا مكتوبًا فيه id 27, 52 cm، وقناعًا أخضر مرسومًا فوق منطقة واحدة. نقرة واحدة على الباب أنتجت هذا القناع. هذا هو معنى promptable (قابل للتوجيه بالتلميح). يقدّم المستخدم تلميحًا، نقطة أو صندوقًا أو عبارة، فيعيد النموذج الكائن الذي يشير إليه التلميح. نموذج Segment Anything Model (SAM) من Kirillov et al. دُرِّب على SA-1B، أي أكثر من مليار قناع على 11 million صورة، ولذلك يستطيع فعل ذلك مع كائنات لم يُخبَر عنها قط.

The architecture matters more than the demo. SAM is three blocks. An image encoder, a ViT-H pre-trained with masked autoencoding, reads the image once and produces an image embedding. A prompt encoder turns sparse prompts (points, boxes, text) and dense prompts (masks) into prompt embeddings. A lightweight mask decoder combines the two and outputs a valid mask. The paper is explicit about the asymmetry: the image encoder runs once per image, and given a precomputed embedding, the prompt encoder and mask decoder run in a web browser, on a CPU, in about 50 ms. Encode once, expensively; prompt many times, cheaply.

البنية أهم من العرض التوضيحي. يتكون SAM من ثلاث كتل. مُرمِّز الصور (image encoder)، وهو ViT-H مدرّب مسبقًا بطريقة masked autoencoding، يقرأ الصورة مرة واحدة وينتج تضمينًا للصورة (image embedding). ومُرمِّز التلميحات (prompt encoder) يحوّل التلميحات المتناثرة (sparse: نقاط، صناديق، نص) والتلميحات الكثيفة (dense: أقنعة) إلى تضمينات للتلميحات. ومفكِّك أقنعة خفيف (mask decoder) يدمج الاثنين ويُخرج قناعًا صالحًا. الورقة صريحة بشأن هذا التفاوت: مُرمِّز الصور يعمل مرة واحدة لكل صورة، وبوجود تضمين محسوب مسبقًا يعمل مُرمِّز التلميحات ومفكِّك الأقنعة داخل متصفح ويب، على CPU، في نحو 50 ms. رمِّز مرة واحدة بتكلفة عالية، ووجِّه بالتلميحات مرات كثيرة بتكلفة زهيدة.

Attack the block that dominatesهاجم الكتلة المهيمنة

Once you see that the encoder holds 2973 GMACs and the rest is a 50 ms CPU job, the efficiency strategy writes itself. EfficientViT-SAM (Zhang, Cai and Han) keeps SAM's prompt encoder and mask decoder unchanged and replaces only the image encoder with EfficientViT, the multi-scale linear attention backbone from Cai et al. (ICCV 2023). Training happens in two stages: first the new encoder is distilled from SAM's ViT-H encoder as the teacher, then the whole model is trained end to end on SA-1B. Nothing else in the pipeline moves.

بمجرد أن ترى أن المُرمِّز يحمل 2973 GMACs وأن الباقي مهمة على CPU مدتها 50 ms، تتضح استراتيجية الكفاءة من تلقاء نفسها. يُبقي EfficientViT-SAM (Zhang, Cai and Han) مُرمِّز التلميحات ومفكِّك الأقنعة في SAM دون تغيير، ويستبدل مُرمِّز الصور وحده بـ EfficientViT، وهو العمود الفقري (backbone) القائم على attention خطي متعدد المقاييس من Cai et al. (ICCV 2023). يجري التدريب على مرحلتين: أولًا يُقطَّر (distilled) المُرمِّز الجديد من مُرمِّز ViT-H الخاص بـ SAM بوصفه المعلّم، ثم يُدرَّب النموذج كله من البداية إلى النهاية على SA-1B. لا شيء آخر في خط المعالجة يتحرك.

The fair way to judge the swap is accuracy against speed on the same hardware: zero-shot COCO mAP against A100 throughput with TensorRT in FP16. Zero-shot here has a precise meaning: the models were never trained on COCO, and they are evaluated with boxes from a ViTDet detector as prompts. Two speedups get quoted, and they belong to different models. The 16.5x figure is EfficientViT-SAM-XL1, which is faster and more accurate than SAM (47.8 versus 46.5 mAP). The 48.9x headline belongs to EfficientViT-SAM-L2, which matches SAM at 46.6 mAP while running 538 images per second instead of 11. The full table from the paper makes the families visible.

الطريقة العادلة للحكم على هذا الاستبدال هي الدقة مقابل السرعة على العتاد نفسه: zero-shot COCO mAP مقابل throughput (الإنتاجية) على A100 مع TensorRT بصيغة FP16. لمصطلح zero-shot هنا معنى دقيق: النماذج لم تُدرَّب قط على COCO، وتُقيَّم باستخدام صناديق من كاشف ViTDet بوصفها تلميحات. يُستشهد بتسريعين، وهما يخصان نموذجين مختلفين. رقم 16.5x يخص EfficientViT-SAM-XL1، وهو أسرع من SAM وأدق منه (47.8 مقابل 46.5 mAP). أما الرقم الرئيسي 48.9x فيخص EfficientViT-SAM-L2، الذي يساوي SAM عند 46.6 mAP بينما يعالج 538 صورة في الثانية بدلًا من 11. الجدول الكامل من الورقة يُظهر العائلات بوضوح.

The table carries a second lesson. EfficientSAM has 25.3 M encoder parameters, eight times fewer than XL1's 203.3 M, and yet the two run at the same throughput (183 versus 182 img/s), with EfficientSAM losing 3.4 mAP. Model size is about memory; speed is about MACs, memory traffic and kernels. Keep the three apart.

يحمل الجدول درسًا ثانيًا. لدى EfficientSAM عدد 25.3 M من معاملات المُرمِّز، أي أقل بثماني مرات من 203.3 M في XL1، ومع ذلك يعمل الاثنان بالإنتاجية نفسها (183 مقابل 182 img/s)، ويخسر EfficientSAM 3.4 mAP. حجم النموذج (model size) يتعلق بالذاكرة؛ أما السرعة فتتعلق بالـ MACs وحركة البيانات في الذاكرة والنوى. أبقِ الثلاثة منفصلة.

Type "teddy bears working as mad scientists", "a bowl of soup as a planet on a 1960s poster" or "an astronaut riding a horse on Mars" into Midjourney and a finished picture comes back. A diffusion model produced each one from a sentence, by starting from noise and removing a little of it at every step until an image appears. The results look effortless. The bill is not. Emad Mostaque, then CEO of Stability AI, said that training Stable Diffusion used 256 A100 GPUs for about 150,000 GPU-hours at a cost of about $600,000, the figure the lecture uses as Stable Diffusion's training cost.

اكتب "teddy bears working as mad scientists" (دببة محشوة تعمل علماءَ مجانين)، أو "a bowl of soup as a planet on a 1960s poster" (وعاء حساء على هيئة كوكب في ملصق من ستينيات القرن الماضي)، أو "an astronaut riding a horse on Mars" (رائد فضاء يمتطي حصانًا على المريخ) في Midjourney فتعود إليك صورة مكتملة. أنتج نموذج انتشار (diffusion model) كل واحدة منها من جملة، بأن بدأ من ضوضاء وأزال جزءًا صغيرًا منها في كل خطوة حتى تظهر صورة. تبدو النتائج بلا جهد، لكن الفاتورة ليست كذلك. قال Emad Mostaque، الرئيس التنفيذي لـ Stability AI آنذاك، إن تدريب Stable Diffusion استخدم 256 وحدة A100 لنحو 150,000 GPU-hours بتكلفة نحو $600,000، وهو الرقم الذي تستخدمه المحاضرة بوصفه تكلفة تدريب Stable Diffusion.

Why parameters are not the costلماذا لا تمثل المعاملات التكلفة

Training is paid once. Inference is paid on every request, so compare what one forward pass costs in MACs across four very different models. The natural expectation is that the biggest model costs the most. The numbers say otherwise, and the reason is the most important idea in this concept.

يُدفع ثمن التدريب مرة واحدة. أما الاستدلال فيُدفع ثمنه مع كل طلب، لذا قارن تكلفة تمريرة أمامية واحدة بالـ MACs عبر أربعة نماذج مختلفة جدًا. التوقع الطبيعي أن النموذج الأكبر هو الأعلى تكلفة. لكن الأرقام تقول غير ذلك، والسبب هو أهم فكرة في هذا المفهوم.

FLUX.1 has 12 B parameters and CogVideoX has 5.6 B, yet CogVideoX needs 8.9x the MACs per step. Llama 3 8B has more parameters than ViT-H by a factor of thirteen but costs eleven times more, not thirteen, and FLUX.1 with 1.5x the parameters of Llama 3 costs 3.3x as much. Parameters alone predict none of these ratios. What predicts them is how many tokens each model pushes through those parameters. A dense transformer spends roughly one multiply-accumulate (two FLOPs) per parameter per token in its linear layers, and on top of that attention compares every token with every other token.

لدى FLUX.1 12 B معامل ولدى CogVideoX 5.6 B، ومع ذلك يحتاج CogVideoX إلى 8.9x من الـ MACs لكل خطوة. ولدى Llama 3 8B معاملات أكثر من ViT-H بثلاثة عشر ضعفًا، لكنه يكلّف أكثر بأحد عشر ضعفًا لا ثلاثة عشر، وFLUX.1 الذي يملك 1.5x من معاملات Llama 3 يكلّف 3.3x. المعاملات وحدها لا تتنبأ بأي من هذه النسب. ما يتنبأ بها هو عدد الـ tokens التي يمررها كل نموذج عبر تلك المعاملات. ينفق الـ transformer الكثيف تقريبًا عملية ضرب وتجميع واحدة (أي اثنتين من FLOPs) لكل معامل لكل token في طبقاته الخطية، وفوق ذلك يقارن الـ attention كل token بكل token آخر.

Now the numbers make sense. ViT-H sees one 518 × 518 image cut into 14-pixel patches, 37 × 37 = 1,369 tokens: 632 M × 1,370 ≈ 0.87 T for the linear layers, and the attention term adds the rest of the 1.02 T. Llama 3 processes about 1,500 tokens. FLUX.1 works on the latent of a 1K × 1K image, about 4,000 tokens. CogVideoX compresses 49 frames of 480 × 720 video into 13 latent frames and denoises them all at once, about 17,500 tokens, roughly four times FLUX.1. Because the attention term grows with the square of that count, the bill grows far more than four times, and the smaller parameter count cannot save it. Read the linear term as the weights each token actually passes through, not the headline parameter count: for FLUX.1 the naive 12 B × 4,096 ≈ 49 T overshoots the 37.2 T bar because image and text tokens use separate weights in its double-stream blocks. One accounting rule explains the ordering of the chart: compute is parameters times tokens, plus attention.

الآن تصبح الأرقام منطقية. يرى ViT-H صورة واحدة بحجم 518 × 518 مقطّعة إلى رقع بحجم 14-pixel، أي 37 × 37 = 1,369 token: 632 M × 1,370 ≈ 0.87 T للطبقات الخطية، ويضيف حد الـ attention بقية الـ 1.02 T. يعالج Llama 3 نحو 1,500 token. ويعمل FLUX.1 على الفضاء الكامن (latent) لصورة 1K × 1K، أي نحو 4,000 token. ويضغط CogVideoX 49 إطارًا من فيديو 480 × 720 إلى 13 إطارًا كامنًا ويزيل الضوضاء منها كلها دفعة واحدة، أي نحو 17,500 token، قرابة أربعة أضعاف FLUX.1. ولأن حد الـ attention ينمو مع مربع هذا العدد، تنمو الفاتورة أكثر بكثير من أربعة أضعاف، ولا يستطيع العدد الأصغر من المعاملات إنقاذها. اقرأ الحد الخطي على أنه الأوزان التي يمر بها كل token فعلًا، لا عدد المعاملات المعلن: في FLUX.1 يتجاوز التقدير الساذج 12 B × 4,096 ≈ 49 T عمود 37.2 T لأن tokens الصورة والنص تستخدم أوزانًا منفصلة في كتل التدفق المزدوج (double-stream blocks). قاعدة محاسبية واحدة تفسر ترتيب المخطط: الحوسبة هي المعاملات مضروبة في الـ tokens، زائد الـ attention.

One more multiplier hides in the words "single step" under the FLUX.1 and CogVideoX bars. A diffusion model repeats its forward pass once per denoising step. With a 50-step sampler, one 1K FLUX.1 image costs 37.2 T × 50 = 1,860 T MACs, and a CogVideoX clip costs 332 T × 50 = 16,600 T. A classifier pays its bar once; a generator pays it fifty times.

يختبئ مضاعِف آخر في عبارة "single step" (خطوة واحدة) تحت عمودي FLUX.1 وCogVideoX. يكرر نموذج الانتشار تمريرته الأمامية مرة لكل خطوة إزالة ضوضاء (denoising step). مع مُعايِن (sampler) من 50 خطوة، تكلّف صورة FLUX.1 واحدة بدقة 1K مقدار 37.2 T × 50 = 1,860 T MACs، ويكلّف مقطع CogVideoX مقدار 332 T × 50 = 16,600 T. المصنِّف يدفع ثمن عموده مرة واحدة؛ أما النموذج التوليدي فيدفعه خمسين مرة.

Resolution is worse than quadraticالدقة (resolution) أسوأ من التربيعي

Now hold the model fixed and vary only the image side length for FLUX.1, from 1024 to 4096. Going four times wider makes the image sixteen times larger in pixels, so a quadratic law would predict sixteen times the MACs. From the slide's left chart, one step at 1K x 1K costs 37.2 T, and the curve on the right ends near 1,950 T at 4096: a factor of about 52, far above the 16x a quadratic law predicts. This is what the lecture calls super-quadratic scaling, and the formula above explains it. Tokens grow with pixels (16x), the linear term grows with tokens (16x), and the attention term grows with tokens squared (256x). The blend lands at about 52x.

ثبّت النموذج الآن وغيّر فقط طول ضلع الصورة في FLUX.1، من 1024 إلى 4096. جعل الصورة أعرض بأربع مرات يجعلها أكبر بست عشرة مرة في البكسلات، لذا يتنبأ قانون تربيعي بستة عشر ضعفًا من الـ MACs. من المخطط الأيسر في الشريحة، تكلّف خطوة واحدة عند 1K x 1K مقدار 37.2 T، وينتهي المنحنى على اليمين قرب 1,950 T عند 4096: أي عامل يقارب 52، أعلى بكثير من 16x التي يتنبأ بها القانون التربيعي. هذا ما تسميه المحاضرة super-quadratic scaling (تدرّج أسرع من التربيعي)، والصيغة أعلاه تفسّره. تنمو الـ tokens مع البكسلات (16x)، وينمو الحد الخطي مع الـ tokens (16x)، وينمو حد الـ attention مع مربع الـ tokens (256x). والمزيج يستقر عند نحو 52x.

Ask SDXL for a "Romantic painting of a ship sailing in a stormy sea" at high resolution. One GPU paints one ship in 12.3 s. The obvious way to go faster is to cut the canvas into four vertical strips, hand each strip to its own GPU, and let them work without talking. The result is 3.9x faster and wrong: four strips, four ships, four different skies. Each patch generated its own picture because no patch could see the others.

اطلب من SDXL "Romantic painting of a ship sailing in a stormy sea" (لوحة رومانسية لسفينة تبحر في بحر عاصف) بدقة عالية. يرسم GPU واحد سفينة واحدة في 12.3 s. الطريقة البديهية للإسراع هي تقطيع اللوحة إلى أربعة شرائط عمودية، وتسليم كل شريط إلى GPU خاص به، وتركها تعمل دون أن تتواصل. النتيجة أسرع بـ 3.9x لكنها خاطئة: أربعة شرائط، وأربع سفن، وأربع سماوات مختلفة. ولّدت كل رقعة صورتها الخاصة لأنه لم تكن هناك رقعة تستطيع رؤية الأخريات.

DistriFusion (Li et al., CVPR 2024) keeps the split and restores the context. The trick rests on a property of diffusion: consecutive denoising steps produce similar activations, because each step removes only a little noise. So a patch can attend to its neighbours' activations from the previous step instead of waiting for the current one. The paper calls this displaced patch parallelism. The first few denoising steps (the warm-up: the first step plus four more in the paper) run synchronous patch parallelism so everyone starts from the same picture; after that, communication runs asynchronously and hides behind computation. No retraining is needed. The latency drops to 4.16 s, 3.0x faster than one GPU, and the ship is one ship.

يُبقي DistriFusion (Li et al., CVPR 2024) على التقسيم ويستعيد السياق. تعتمد الحيلة على خاصية في الـ diffusion: خطوات إزالة الضوضاء المتتالية (denoising steps) تنتج تنشيطات متشابهة، لأن كل خطوة تزيل قدرًا ضئيلًا من الضوضاء فقط. لذلك تستطيع الرقعة أن تنتبه (attend) إلى تنشيطات جاراتها من الخطوة السابقة بدلًا من انتظار الخطوة الحالية. تسمي الورقة ذلك displaced patch parallelism (توازي الرقع المُزاح). أول بضع خطوات لإزالة الضوضاء (الإحماء warm-up: الخطوة الأولى وأربع خطوات أخرى في الورقة) تعمل بتوازي رقع متزامن حتى يبدأ الجميع من الصورة نفسها؛ وبعد ذلك يجري التواصل بشكل غير متزامن ويختبئ خلف الحوسبة. لا حاجة لإعادة التدريب. ينخفض زمن الاستجابة (latency) إلى 4.16 s، أي أسرع بـ 3.0x من GPU واحد، والسفينة سفينة واحدة.

The pattern is general in distributed systems: splitting work across machines helps only when the compute you save exceeds the communication you add. Here the saving is large because a high-resolution diffusion step is enormous (MACs in the hundreds of trillions), and the communication is hidden behind it. The paper also runs a scaling study on a larger image, 3840 × 3840, shown in the table below. Read down the efficiency column: every added GPU still helps, but each device contributes less than the last, because the communication grows while the per-device work shrinks.

هذا النمط عام في الأنظمة الموزعة: توزيع العمل على عدة أجهزة لا يفيد إلا عندما تتجاوز الحوسبةُ التي توفرها التواصلَ الذي تضيفه. هنا التوفير كبير لأن خطوة الانتشار عالية الدقة ضخمة (MACs بمئات التريليونات)، والتواصل مختبئ خلفها. تجري الورقة أيضًا دراسة تدرّج على صورة أكبر، 3840 × 3840، مبيّنة في الجدول أدناه. اقرأ عمود الكفاءة (efficiency) من الأعلى إلى الأسفل: كل GPU مضافة ما زالت تفيد، لكن كل جهاز يساهم بأقل من سابقه، لأن التواصل ينمو بينما يتقلص العمل لكل جهاز.

A 2015 Toyota Prius V with a roof-mounted Velodyne LiDAR drives a wooded test track. A network reads raw 3D point clouds and produces steering. A car does not care how elegant the network is; it cares whether the answer arrives before the deadline the system sets. Three measurements tell the story: MinkowskiNet at 5 fps is "too slow to drive", the same network with optimised kernels reaches 18 fps, and Fast-LiDARNet reaches 47 fps, above the 30 fps line the slide marks as real time.

سيارة Toyota Prius V موديل 2015 مزودة بجهاز Velodyne LiDAR مثبت على السقف تسير في مضمار اختبار مُشجَّر. تقرأ شبكةٌ سحبَ النقاط ثلاثية الأبعاد الخام (point clouds) وتنتج أوامر التوجيه. لا تهتم السيارة بمدى أناقة الشبكة؛ ما يهمها هو أن تصل الإجابة قبل الموعد النهائي الذي يحدده النظام. ثلاثة قياسات تحكي القصة: MinkowskiNet عند 5 fps "أبطأ من أن يقود" (too slow to drive)، والشبكة نفسها مع نوى محسّنة تصل إلى 18 fps، وFast-LiDARNet تصل إلى 47 fps، فوق خط 30 fps الذي تحدده الشريحة بوصفه الزمن الحقيقي (real time).

The most useful way to read fps is to invert it into a frame time. A stream at 30 fps gives you 33.3 ms per frame, and everything the model does must fit inside that budget.

أنفع طريقة لقراءة الـ fps هي قلبها إلى زمن إطار (frame time). تدفق بمعدل 30 fps يمنحك 33.3 ms لكل إطار، وكل ما يفعله النموذج يجب أن يتسع داخل تلك الميزانية.

The paper (Liu, Amini, Zhu, Karaman, Han and Rus, ICRA 2021) is explicit about the two levers. Their optimised sparse convolution kernel gives a 3.6x acceleration, and their hardware-aware model design reduces latency by another 2.6x. The two multiply: 3.6 × 2.6 ≈ 9.4, which is 47 / 5. The first lever is pure systems work: the same network, the same accuracy, better code for the sparse operations point clouds need. The second is algorithmic: a smaller architecture chosen with the hardware in mind. This pairing is what the lecture means by algorithm and system co-design. Neither lever alone reaches the line. Kernels take the network from 200 ms to 55.6 ms and still miss by 22 ms; the redesign brings it to 21.3 ms.

الورقة (Liu, Amini, Zhu, Karaman, Han and Rus, ICRA 2021) صريحة بشأن الرافعتين. نواة الالتفاف المتناثر (sparse convolution kernel) المحسّنة لديهم تعطي تسريعًا قدره 3.6x، وتصميم النموذج المراعي للعتاد (hardware-aware) يخفض زمن الاستجابة بمقدار 2.6x أخرى. الرافعتان تتضاعفان: 3.6 × 2.6 ≈ 9.4، وهو 47 / 5. الرافعة الأولى عمل أنظمة بحت: الشبكة نفسها، والدقة نفسها، وشيفرة أفضل للعمليات المتناثرة التي تحتاجها سحب النقاط. والثانية خوارزمية: بنية أصغر مختارة مع مراعاة العتاد. هذا الاقتران هو ما تعنيه المحاضرة بـ algorithm and system co-design (التصميم المشترك للخوارزمية والنظام). ولا تصل أي رافعة وحدها إلى الخط. النوى تنقل الشبكة من 200 ms إلى 55.6 ms وتظل متأخرة بـ 22 ms؛ وإعادة التصميم توصلها إلى 21.3 ms.

MT-NLG, the largest model on the lecture's chart, has 530 billion parameters. Store each one in FP16, two bytes, and the weights alone occupy 530 × 10⁹ × 2 = 1,060 GB. The largest GPU of that period, an A100 with 80 GB, holds 40 billion FP16 parameters. The gap between the two is 1,060 / 80 = 13.25, so 14 GPUs of weights before a single activation is computed.

لدى MT-NLG، أكبر نموذج على مخطط المحاضرة، 530 مليار معامل. خزّن كل واحد منها بصيغة FP16، أي بايتين، فتشغل الأوزان وحدها 530 × 10⁹ × 2 = 1,060 GB. أكبر GPU في تلك الفترة، وهي A100 بذاكرة 80 GB، تسع 40 مليار معامل بصيغة FP16. الفجوة بين الاثنين 1,060 / 80 = 13.25، أي 14 وحدة GPU من الأوزان قبل حساب تنشيط واحد.

To compare a model with a chip, put both on one log axis of model size by converting GPU bytes into a parameter count at FP16, which is what the lecture's assumption "data are FP16" means. 16 GB becomes 8 B parameters, 32 GB becomes 16 B, 80 GB becomes 40 B. On that shared axis the two curves tell the story of the large language model era: model size climbs from 0.05 B to 530 B, about 10,000x in roughly four years, while GPU memory climbs from 16 GB to 80 GB, 5x. Models have outgrown the chips they run on, and the distance keeps widening.

لمقارنة نموذج برقاقة، ضع الاثنين على محور لوغاريتمي واحد لحجم النموذج (model size) بتحويل بايتات الـ GPU إلى عدد معاملات بصيغة FP16، وهذا ما يعنيه افتراض المحاضرة "data are FP16". تصبح 16 GB مساوية لـ 8 B معامل، و32 GB مساوية لـ 16 B، و80 GB مساوية لـ 40 B. على هذا المحور المشترك يروي المنحنيان قصة عصر نماذج اللغة الكبيرة (large language model): يصعد حجم النموذج من 0.05 B إلى 530 B، أي نحو 10,000x في قرابة أربع سنوات، بينما تصعد ذاكرة الـ GPU من 16 GB إلى 80 GB، أي 5x. لقد تجاوزت النماذج الرقائق التي تعمل عليها، والمسافة تواصل الاتساع.

Parameters to bytes to GPUsمن المعاملات إلى البايتات إلى وحدات GPU

Every memory question in this course starts with one multiplication. Parameters times bytes per parameter gives the weight memory; divide by the memory of one device and round up to get the device count. The bytes per parameter depend on the numeric format: 4 for FP32, 2 for FP16 or BF16, 1 for INT8, 0.5 for INT4. Quantisation, which later lectures cover in depth, is simply the art of moving down that list without losing accuracy.

كل سؤال عن الذاكرة في هذا المقرر يبدأ بعملية ضرب واحدة. المعاملات مضروبة في البايتات لكل معامل تعطي ذاكرة الأوزان؛ اقسمها على ذاكرة جهاز واحد وقرّب إلى الأعلى لتحصل على عدد الأجهزة. تعتمد البايتات لكل معامل على الصيغة العددية (numeric format): 4 لـ FP32، و2 لـ FP16 أو BF16، و1 لـ INT8، و0.5 لـ INT4. التكميم (quantisation)، الذي تغطيه المحاضرات اللاحقة بعمق، هو ببساطة فن النزول في هذه القائمة دون خسارة الدقة.

Try Llama 3 8B in the calculator. In FP16 it needs 16 GB, four times the 4 GB of RAM slide 23 gives a phone. Slide 23 lists that 4 GB as activation memory and 256 GB as weight storage; in practice LLM inference loads the weights into that same RAM, so the 4 GB is the binding limit. In INT4 the model needs 4 GB, exactly at the line, with nothing left for activations. Now try the 2017 Transformer at 0.05 B against a microcontroller's 1 MB of weight storage: 100 MB in FP16, a hundred times over. The gap between what models need and what edge hardware has is the subject of part 03.

جرّب Llama 3 8B في الحاسبة. بصيغة FP16 يحتاج إلى 16 GB، أي أربعة أضعاف ذاكرة RAM البالغة 4 GB التي تعطيها الشريحة 23 للهاتف. تذكر الشريحة 23 هذه الـ 4 GB بوصفها ذاكرة تنشيطات و256 GB بوصفها تخزينًا للأوزان؛ لكن في الممارسة يحمّل استدلال نماذج LLM الأوزان في ذاكرة RAM نفسها، لذا فإن الـ 4 GB هي القيد الحاكم. وبصيغة INT4 يحتاج النموذج إلى 4 GB، عند الخط تمامًا، دون أن يبقى شيء للتنشيطات. جرّب الآن Transformer عام 2017 بحجم 0.05 B مقابل 1 MB من تخزين الأوزان (weight storage) في متحكم دقيق: 100 MB بصيغة FP16، أي أكثر من المتاح بمئة مرة. الفجوة بين ما تحتاجه النماذج وما يملكه عتاد الحافة هي موضوع الجزء 03.

Why run them at the edge anywayلماذا نشغّلها على الحافة رغم ذلك

If LLMs barely fit in a rack of cloud GPUs, why does the lecture insist on running them on laptops, cars and robots? Three reasons, each one a research direction in this course.

إذا كانت نماذج LLM بالكاد تتسع في رف من وحدات cloud GPUs (وحدات GPU سحابية)، فلماذا تصر المحاضرة على تشغيلها على الحواسيب المحمولة والسيارات والروبوتات؟ ثلاثة أسباب، كل منها اتجاه بحثي في هذا المقرر.

1. Copilot services, such as code completion, office assistants and in-game chat, running locally on the machine that uses them. Latency drops, and the service works in a car or a robot far from any data center.خدمات المساعدة (copilot)، مثل إكمال الشيفرة ومساعدات المكتب والدردشة داخل الألعاب، تعمل محليًا على الجهاز الذي يستخدمها. ينخفض زمن الاستجابة، وتعمل الخدمة في سيارة أو روبوت بعيدًا عن أي مركز بيانات.
2. Resource-constrained, low-power devices that are not always connected. An edge LLM must work when the link is slow or absent.أجهزة محدودة الموارد ومنخفضة الطاقة ليست متصلة دائمًا. يجب أن يعمل edge LLM عندما يكون الاتصال بطيئًا أو غائبًا.
3. Privacy of user data. Prompts contain code, documents and conversations, and a local model never uploads them.خصوصية بيانات المستخدم. تحتوي التلميحات (prompts) على شيفرة ومستندات ومحادثات، والنموذج المحلي لا يرفعها أبدًا.

This is the design space for an on-device assistant, and it is why the rest of the course is about shrinking the memory (quantisation, pruning), the compute (efficient attention, distillation) and the deployment (compilers, kernels) of exactly the models on this chart. For a PhD project on embedded ML, the two-slope chart is the problem statement.

هذا هو فضاء التصميم لمساعد يعمل على الجهاز، ولهذا يدور بقية المقرر حول تقليص الذاكرة (التكميم، التقليم)، والحوسبة (الـ attention الفعّال، التقطير)، والنشر (المترجمات compilers، النوى) لهذه النماذج بالذات الموجودة على هذا المخطط. ولمشروع دكتوراه في تعلم الآلة المدمج، فإن مخطط المنحدرين هو بيان المشكلة.

A single NVIDIA A100 from 2020 performs 312 trillion dense FP16 operations per second and draws 400 W. Four years earlier the P100 managed 18.7 trillion at 250 W. That is a 17x jump in throughput. How much of it came from simply burning more power? Only 1.6x (400 / 250). The other 10x came from architecture: Tensor Cores, faster HBM2e and a 7 nm process node. That single observation is the whole story of the cloud tier, and the rest of this concept just extends it across five generations.

تنفذ وحدة NVIDIA A100 واحدة من عام 2020 عدد 312 تريليون عملية FP16 كثيفة في الثانية، وتستهلك 400 W. وقبل ذلك بأربع سنوات كانت P100 تنجز 18.7 تريليون عند 250 W. هذه قفزة بمقدار 17x في معدل الإنجاز. فكم منها جاء من مجرد حرق قدرة أكبر؟ 1.6x فقط (400 / 250). أما الـ 10x الباقية فجاءت من المعمارية: نوى Tensor Cores، وذاكرة HBM2e أسرع، وعقدة تصنيع 7 nm. هذه الملاحظة الواحدة هي القصة الكاملة للمستوى السحابي، وبقية هذا المفهوم تمدّها فقط عبر خمسة أجيال.

Slide 17 repeats the three pillars from part 01 to mark the pivot: algorithm and data were the first two, and now we ask whether the third, hardware, can absorb the demand growth by itself. Slide 18 answers with four charts for the NVIDIA data center GPU line: P100, V100, A100, H100 and B100: the P100 as a PCIe card (as the errata below explains) and V100 to B100 in the SXM mezzanine form factor used in HGX and DGX servers, which allows a higher power budget than a PCIe card. The four series are performance, memory bandwidth, power and memory capacity, and the lesson lives in how differently they grow.

تعيد الشريحة 17 عرض الركائز الثلاث (three pillars) من الجزء 01 لتعلن نقطة التحول: الخوارزمية والبيانات كانتا الركيزتين الأوليين، والآن نسأل هل تستطيع الثالثة، أي العتاد، أن تستوعب نمو الطلب وحدها. وتجيب الشريحة 18 بأربعة مخططات لخط وحدات data center GPU من NVIDIA: P100 وV100 وA100 وH100 وB100. تظهر P100 كبطاقة PCIe (كما توضح التصويبات أدناه)، ومن V100 إلى B100 بعامل الشكل SXM (بطاقة mezzanine) المستخدم في خوادم HGX وDGX، وهو يسمح بميزانية قدرة (power budget) أعلى من بطاقة PCIe. السلاسل الأربع هي الأداء، وعرض نطاق الذاكرة، والقدرة، وسعة الذاكرة، والدرس يكمن في مدى اختلاف نموها.

Reading the vertical axis: what a TOPS isقراءة المحور الرأسي: ما هي TOPS

TOPS stands for trillions of operations per second. The unit hides two conventions you must know. First, one multiply-accumulate counts as two operations (one multiply, one add), so the MAC counts from part 01 convert with a factor of two. Second, NVIDIA quotes Tensor Core throughput at a specific precision, here FP16, and its spec sheets list two numbers: a dense figure and a figure "with sparsity" that is exactly double. The doubled number applies only when the weights have been pruned to a 2:4 structured pattern (two of every four values zero). The slide uses the dense figures, and so should you when comparing chips. The A100 page reads 312 TFLOPS dense and 624 TFLOPS with sparsity; the H100 SXM lists 1,979 sparse, which is 989 dense, rounded to 990 on the slide (NVIDIA A100 and H100 pages).

TOPS اختصار لتريليونات العمليات في الثانية. وهذه الوحدة تخفي اصطلاحين يجب أن تعرفهما. الأول: عملية ضرب وتجميع واحدة (multiply-accumulate) تُحسب عمليتين (ضرب وجمع)، لذلك تتحول أعداد MAC من الجزء 01 بمعامل اثنين. الثاني: تذكر NVIDIA معدل إنجاز Tensor Core عند دقة عددية (precision) محددة، وهي هنا FP16، وتضع أوراق مواصفاتها رقمين: رقما كثيفا (dense) ورقما «مع التفرق» (with sparsity) يساوي ضعفه تماما. الرقم المضاعف لا ينطبق إلا عندما تُقلَّم الأوزان إلى نمط منظم 2:4 (اثنتان من كل أربع قيم تساوي صفرا). تستخدم الشريحة الأرقام الكثيفة، وكذلك يجب أن تفعل عند مقارنة الشرائح. صفحة A100 تذكر 312 TFLOPS كثيفة و624 TFLOPS مع التفرق، وصفحة H100 SXM تذكر 1,979 مع التفرق، أي 989 كثيفة، مقربة إلى 990 في الشريحة (صفحتا NVIDIA لـ A100 وH100).

Five generations, four very different slopesخمسة أجيال، وأربعة منحدرات مختلفة جدا