Segmentation, generative models and LLMsالتقطيع (Segmentation) والنماذج التوليدية ونماذج LLM

Picture a head-mounted camera looking at a door, a small label reading id 27, 52 cm, and a green mask painted over one region. A single click on the door produced that mask. That is what promptable means. The user supplies a hint, a point, a box or a phrase, and the model returns the object the hint refers to. The Segment Anything Model (SAM) from Kirillov et al. was trained on SA-1B, over one billion masks on 11 million images, so it can do this for objects it has never been told about.

تخيّل كاميرا مثبتة على الرأس تنظر إلى باب، وملصقًا صغيرًا مكتوبًا فيه id 27, 52 cm، وقناعًا أخضر مرسومًا فوق منطقة واحدة. نقرة واحدة على الباب أنتجت هذا القناع. هذا هو معنى promptable (قابل للتوجيه بالتلميح). يقدّم المستخدم تلميحًا، نقطة أو صندوقًا أو عبارة، فيعيد النموذج الكائن الذي يشير إليه التلميح. نموذج Segment Anything Model (SAM) من Kirillov et al. دُرِّب على SA-1B، أي أكثر من مليار قناع على 11 million صورة، ولذلك يستطيع فعل ذلك مع كائنات لم يُخبَر عنها قط.

The architecture matters more than the demo. SAM is three blocks. An image encoder, a ViT-H pre-trained with masked autoencoding, reads the image once and produces an image embedding. A prompt encoder turns sparse prompts (points, boxes, text) and dense prompts (masks) into prompt embeddings. A lightweight mask decoder combines the two and outputs a valid mask. The paper is explicit about the asymmetry: the image encoder runs once per image, and given a precomputed embedding, the prompt encoder and mask decoder run in a web browser, on a CPU, in about 50 ms. Encode once, expensively; prompt many times, cheaply.

البنية أهم من العرض التوضيحي. يتكون SAM من ثلاث كتل. مُرمِّز الصور (image encoder)، وهو ViT-H مدرّب مسبقًا بطريقة masked autoencoding، يقرأ الصورة مرة واحدة وينتج تضمينًا للصورة (image embedding). ومُرمِّز التلميحات (prompt encoder) يحوّل التلميحات المتناثرة (sparse: نقاط، صناديق، نص) والتلميحات الكثيفة (dense: أقنعة) إلى تضمينات للتلميحات. ومفكِّك أقنعة خفيف (mask decoder) يدمج الاثنين ويُخرج قناعًا صالحًا. الورقة صريحة بشأن هذا التفاوت: مُرمِّز الصور يعمل مرة واحدة لكل صورة، وبوجود تضمين محسوب مسبقًا يعمل مُرمِّز التلميحات ومفكِّك الأقنعة داخل متصفح ويب، على CPU، في نحو 50 ms. رمِّز مرة واحدة بتكلفة عالية، ووجِّه بالتلميحات مرات كثيرة بتكلفة زهيدة.

Attack the block that dominatesهاجم الكتلة المهيمنة

Once you see that the encoder holds 2973 GMACs and the rest is a 50 ms CPU job, the efficiency strategy writes itself. EfficientViT-SAM (Zhang, Cai and Han) keeps SAM's prompt encoder and mask decoder unchanged and replaces only the image encoder with EfficientViT, the multi-scale linear attention backbone from Cai et al. (ICCV 2023). Training happens in two stages: first the new encoder is distilled from SAM's ViT-H encoder as the teacher, then the whole model is trained end to end on SA-1B. Nothing else in the pipeline moves.

بمجرد أن ترى أن المُرمِّز يحمل 2973 GMACs وأن الباقي مهمة على CPU مدتها 50 ms، تتضح استراتيجية الكفاءة من تلقاء نفسها. يُبقي EfficientViT-SAM (Zhang, Cai and Han) مُرمِّز التلميحات ومفكِّك الأقنعة في SAM دون تغيير، ويستبدل مُرمِّز الصور وحده بـ EfficientViT، وهو العمود الفقري (backbone) القائم على attention خطي متعدد المقاييس من Cai et al. (ICCV 2023). يجري التدريب على مرحلتين: أولًا يُقطَّر (distilled) المُرمِّز الجديد من مُرمِّز ViT-H الخاص بـ SAM بوصفه المعلّم، ثم يُدرَّب النموذج كله من البداية إلى النهاية على SA-1B. لا شيء آخر في خط المعالجة يتحرك.

The fair way to judge the swap is accuracy against speed on the same hardware: zero-shot COCO mAP against A100 throughput with TensorRT in FP16. Zero-shot here has a precise meaning: the models were never trained on COCO, and they are evaluated with boxes from a ViTDet detector as prompts. Two speedups get quoted, and they belong to different models. The 16.5x figure is EfficientViT-SAM-XL1, which is faster and more accurate than SAM (47.8 versus 46.5 mAP). The 48.9x headline belongs to EfficientViT-SAM-L2, which matches SAM at 46.6 mAP while running 538 images per second instead of 11. The full table from the paper makes the families visible.

الطريقة العادلة للحكم على هذا الاستبدال هي الدقة مقابل السرعة على العتاد نفسه: zero-shot COCO mAP مقابل throughput (الإنتاجية) على A100 مع TensorRT بصيغة FP16. لمصطلح zero-shot هنا معنى دقيق: النماذج لم تُدرَّب قط على COCO، وتُقيَّم باستخدام صناديق من كاشف ViTDet بوصفها تلميحات. يُستشهد بتسريعين، وهما يخصان نموذجين مختلفين. رقم 16.5x يخص EfficientViT-SAM-XL1، وهو أسرع من SAM وأدق منه (47.8 مقابل 46.5 mAP). أما الرقم الرئيسي 48.9x فيخص EfficientViT-SAM-L2، الذي يساوي SAM عند 46.6 mAP بينما يعالج 538 صورة في الثانية بدلًا من 11. الجدول الكامل من الورقة يُظهر العائلات بوضوح.

The table carries a second lesson. EfficientSAM has 25.3 M encoder parameters, eight times fewer than XL1's 203.3 M, and yet the two run at the same throughput (183 versus 182 img/s), with EfficientSAM losing 3.4 mAP. Model size is about memory; speed is about MACs, memory traffic and kernels. Keep the three apart.

يحمل الجدول درسًا ثانيًا. لدى EfficientSAM عدد 25.3 M من معاملات المُرمِّز، أي أقل بثماني مرات من 203.3 M في XL1، ومع ذلك يعمل الاثنان بالإنتاجية نفسها (183 مقابل 182 img/s)، ويخسر EfficientSAM 3.4 mAP. حجم النموذج (model size) يتعلق بالذاكرة؛ أما السرعة فتتعلق بالـ MACs وحركة البيانات في الذاكرة والنوى. أبقِ الثلاثة منفصلة.

Type "teddy bears working as mad scientists", "a bowl of soup as a planet on a 1960s poster" or "an astronaut riding a horse on Mars" into Midjourney and a finished picture comes back. A diffusion model produced each one from a sentence, by starting from noise and removing a little of it at every step until an image appears. The results look effortless. The bill is not. Emad Mostaque, then CEO of Stability AI, said that training Stable Diffusion used 256 A100 GPUs for about 150,000 GPU-hours at a cost of about $600,000, the figure the lecture uses as Stable Diffusion's training cost.

اكتب "teddy bears working as mad scientists" (دببة محشوة تعمل علماءَ مجانين)، أو "a bowl of soup as a planet on a 1960s poster" (وعاء حساء على هيئة كوكب في ملصق من ستينيات القرن الماضي)، أو "an astronaut riding a horse on Mars" (رائد فضاء يمتطي حصانًا على المريخ) في Midjourney فتعود إليك صورة مكتملة. أنتج نموذج انتشار (diffusion model) كل واحدة منها من جملة، بأن بدأ من ضوضاء وأزال جزءًا صغيرًا منها في كل خطوة حتى تظهر صورة. تبدو النتائج بلا جهد، لكن الفاتورة ليست كذلك. قال Emad Mostaque، الرئيس التنفيذي لـ Stability AI آنذاك، إن تدريب Stable Diffusion استخدم 256 وحدة A100 لنحو 150,000 GPU-hours بتكلفة نحو $600,000، وهو الرقم الذي تستخدمه المحاضرة بوصفه تكلفة تدريب Stable Diffusion.

Why parameters are not the costلماذا لا تمثل المعاملات التكلفة

Training is paid once. Inference is paid on every request, so compare what one forward pass costs in MACs across four very different models. The natural expectation is that the biggest model costs the most. The numbers say otherwise, and the reason is the most important idea in this concept.

يُدفع ثمن التدريب مرة واحدة. أما الاستدلال فيُدفع ثمنه مع كل طلب، لذا قارن تكلفة تمريرة أمامية واحدة بالـ MACs عبر أربعة نماذج مختلفة جدًا. التوقع الطبيعي أن النموذج الأكبر هو الأعلى تكلفة. لكن الأرقام تقول غير ذلك، والسبب هو أهم فكرة في هذا المفهوم.

FLUX.1 has 12 B parameters and CogVideoX has 5.6 B, yet CogVideoX needs 8.9x the MACs per step. Llama 3 8B has more parameters than ViT-H by a factor of thirteen but costs eleven times more, not thirteen, and FLUX.1 with 1.5x the parameters of Llama 3 costs 3.3x as much. Parameters alone predict none of these ratios. What predicts them is how many tokens each model pushes through those parameters. A dense transformer spends roughly one multiply-accumulate (two FLOPs) per parameter per token in its linear layers, and on top of that attention compares every token with every other token.

لدى FLUX.1 12 B معامل ولدى CogVideoX 5.6 B، ومع ذلك يحتاج CogVideoX إلى 8.9x من الـ MACs لكل خطوة. ولدى Llama 3 8B معاملات أكثر من ViT-H بثلاثة عشر ضعفًا، لكنه يكلّف أكثر بأحد عشر ضعفًا لا ثلاثة عشر، وFLUX.1 الذي يملك 1.5x من معاملات Llama 3 يكلّف 3.3x. المعاملات وحدها لا تتنبأ بأي من هذه النسب. ما يتنبأ بها هو عدد الـ tokens التي يمررها كل نموذج عبر تلك المعاملات. ينفق الـ transformer الكثيف تقريبًا عملية ضرب وتجميع واحدة (أي اثنتين من FLOPs) لكل معامل لكل token في طبقاته الخطية، وفوق ذلك يقارن الـ attention كل token بكل token آخر.

Now the numbers make sense. ViT-H sees one 518 × 518 image cut into 14-pixel patches, 37 × 37 = 1,369 tokens: 632 M × 1,370 ≈ 0.87 T for the linear layers, and the attention term adds the rest of the 1.02 T. Llama 3 processes about 1,500 tokens. FLUX.1 works on the latent of a 1K × 1K image, about 4,000 tokens. CogVideoX compresses 49 frames of 480 × 720 video into 13 latent frames and denoises them all at once, about 17,500 tokens, roughly four times FLUX.1. Because the attention term grows with the square of that count, the bill grows far more than four times, and the smaller parameter count cannot save it. Read the linear term as the weights each token actually passes through, not the headline parameter count: for FLUX.1 the naive 12 B × 4,096 ≈ 49 T overshoots the 37.2 T bar because image and text tokens use separate weights in its double-stream blocks. One accounting rule explains the ordering of the chart: compute is parameters times tokens, plus attention.

الآن تصبح الأرقام منطقية. يرى ViT-H صورة واحدة بحجم 518 × 518 مقطّعة إلى رقع بحجم 14-pixel، أي 37 × 37 = 1,369 token: 632 M × 1,370 ≈ 0.87 T للطبقات الخطية، ويضيف حد الـ attention بقية الـ 1.02 T. يعالج Llama 3 نحو 1,500 token. ويعمل FLUX.1 على الفضاء الكامن (latent) لصورة 1K × 1K، أي نحو 4,000 token. ويضغط CogVideoX 49 إطارًا من فيديو 480 × 720 إلى 13 إطارًا كامنًا ويزيل الضوضاء منها كلها دفعة واحدة، أي نحو 17,500 token، قرابة أربعة أضعاف FLUX.1. ولأن حد الـ attention ينمو مع مربع هذا العدد، تنمو الفاتورة أكثر بكثير من أربعة أضعاف، ولا يستطيع العدد الأصغر من المعاملات إنقاذها. اقرأ الحد الخطي على أنه الأوزان التي يمر بها كل token فعلًا، لا عدد المعاملات المعلن: في FLUX.1 يتجاوز التقدير الساذج 12 B × 4,096 ≈ 49 T عمود 37.2 T لأن tokens الصورة والنص تستخدم أوزانًا منفصلة في كتل التدفق المزدوج (double-stream blocks). قاعدة محاسبية واحدة تفسر ترتيب المخطط: الحوسبة هي المعاملات مضروبة في الـ tokens، زائد الـ attention.

One more multiplier hides in the words "single step" under the FLUX.1 and CogVideoX bars. A diffusion model repeats its forward pass once per denoising step. With a 50-step sampler, one 1K FLUX.1 image costs 37.2 T × 50 = 1,860 T MACs, and a CogVideoX clip costs 332 T × 50 = 16,600 T. A classifier pays its bar once; a generator pays it fifty times.

يختبئ مضاعِف آخر في عبارة "single step" (خطوة واحدة) تحت عمودي FLUX.1 وCogVideoX. يكرر نموذج الانتشار تمريرته الأمامية مرة لكل خطوة إزالة ضوضاء (denoising step). مع مُعايِن (sampler) من 50 خطوة، تكلّف صورة FLUX.1 واحدة بدقة 1K مقدار 37.2 T × 50 = 1,860 T MACs، ويكلّف مقطع CogVideoX مقدار 332 T × 50 = 16,600 T. المصنِّف يدفع ثمن عموده مرة واحدة؛ أما النموذج التوليدي فيدفعه خمسين مرة.

Resolution is worse than quadraticالدقة (resolution) أسوأ من التربيعي

Now hold the model fixed and vary only the image side length for FLUX.1, from 1024 to 4096. Going four times wider makes the image sixteen times larger in pixels, so a quadratic law would predict sixteen times the MACs. From the slide's left chart, one step at 1K x 1K costs 37.2 T, and the curve on the right ends near 1,950 T at 4096: a factor of about 52, far above the 16x a quadratic law predicts. This is what the lecture calls super-quadratic scaling, and the formula above explains it. Tokens grow with pixels (16x), the linear term grows with tokens (16x), and the attention term grows with tokens squared (256x). The blend lands at about 52x.

ثبّت النموذج الآن وغيّر فقط طول ضلع الصورة في FLUX.1، من 1024 إلى 4096. جعل الصورة أعرض بأربع مرات يجعلها أكبر بست عشرة مرة في البكسلات، لذا يتنبأ قانون تربيعي بستة عشر ضعفًا من الـ MACs. من المخطط الأيسر في الشريحة، تكلّف خطوة واحدة عند 1K x 1K مقدار 37.2 T، وينتهي المنحنى على اليمين قرب 1,950 T عند 4096: أي عامل يقارب 52، أعلى بكثير من 16x التي يتنبأ بها القانون التربيعي. هذا ما تسميه المحاضرة super-quadratic scaling (تدرّج أسرع من التربيعي)، والصيغة أعلاه تفسّره. تنمو الـ tokens مع البكسلات (16x)، وينمو الحد الخطي مع الـ tokens (16x)، وينمو حد الـ attention مع مربع الـ tokens (256x). والمزيج يستقر عند نحو 52x.

Ask SDXL for a "Romantic painting of a ship sailing in a stormy sea" at high resolution. One GPU paints one ship in 12.3 s. The obvious way to go faster is to cut the canvas into four vertical strips, hand each strip to its own GPU, and let them work without talking. The result is 3.9x faster and wrong: four strips, four ships, four different skies. Each patch generated its own picture because no patch could see the others.

اطلب من SDXL "Romantic painting of a ship sailing in a stormy sea" (لوحة رومانسية لسفينة تبحر في بحر عاصف) بدقة عالية. يرسم GPU واحد سفينة واحدة في 12.3 s. الطريقة البديهية للإسراع هي تقطيع اللوحة إلى أربعة شرائط عمودية، وتسليم كل شريط إلى GPU خاص به، وتركها تعمل دون أن تتواصل. النتيجة أسرع بـ 3.9x لكنها خاطئة: أربعة شرائط، وأربع سفن، وأربع سماوات مختلفة. ولّدت كل رقعة صورتها الخاصة لأنه لم تكن هناك رقعة تستطيع رؤية الأخريات.

DistriFusion (Li et al., CVPR 2024) keeps the split and restores the context. The trick rests on a property of diffusion: consecutive denoising steps produce similar activations, because each step removes only a little noise. So a patch can attend to its neighbours' activations from the previous step instead of waiting for the current one. The paper calls this displaced patch parallelism. The first few denoising steps (the warm-up: the first step plus four more in the paper) run synchronous patch parallelism so everyone starts from the same picture; after that, communication runs asynchronously and hides behind computation. No retraining is needed. The latency drops to 4.16 s, 3.0x faster than one GPU, and the ship is one ship.

يُبقي DistriFusion (Li et al., CVPR 2024) على التقسيم ويستعيد السياق. تعتمد الحيلة على خاصية في الـ diffusion: خطوات إزالة الضوضاء المتتالية (denoising steps) تنتج تنشيطات متشابهة، لأن كل خطوة تزيل قدرًا ضئيلًا من الضوضاء فقط. لذلك تستطيع الرقعة أن تنتبه (attend) إلى تنشيطات جاراتها من الخطوة السابقة بدلًا من انتظار الخطوة الحالية. تسمي الورقة ذلك displaced patch parallelism (توازي الرقع المُزاح). أول بضع خطوات لإزالة الضوضاء (الإحماء warm-up: الخطوة الأولى وأربع خطوات أخرى في الورقة) تعمل بتوازي رقع متزامن حتى يبدأ الجميع من الصورة نفسها؛ وبعد ذلك يجري التواصل بشكل غير متزامن ويختبئ خلف الحوسبة. لا حاجة لإعادة التدريب. ينخفض زمن الاستجابة (latency) إلى 4.16 s، أي أسرع بـ 3.0x من GPU واحد، والسفينة سفينة واحدة.

The pattern is general in distributed systems: splitting work across machines helps only when the compute you save exceeds the communication you add. Here the saving is large because a high-resolution diffusion step is enormous (MACs in the hundreds of trillions), and the communication is hidden behind it. The paper also runs a scaling study on a larger image, 3840 × 3840, shown in the table below. Read down the efficiency column: every added GPU still helps, but each device contributes less than the last, because the communication grows while the per-device work shrinks.

هذا النمط عام في الأنظمة الموزعة: توزيع العمل على عدة أجهزة لا يفيد إلا عندما تتجاوز الحوسبةُ التي توفرها التواصلَ الذي تضيفه. هنا التوفير كبير لأن خطوة الانتشار عالية الدقة ضخمة (MACs بمئات التريليونات)، والتواصل مختبئ خلفها. تجري الورقة أيضًا دراسة تدرّج على صورة أكبر، 3840 × 3840، مبيّنة في الجدول أدناه. اقرأ عمود الكفاءة (efficiency) من الأعلى إلى الأسفل: كل GPU مضافة ما زالت تفيد، لكن كل جهاز يساهم بأقل من سابقه، لأن التواصل ينمو بينما يتقلص العمل لكل جهاز.

A 2015 Toyota Prius V with a roof-mounted Velodyne LiDAR drives a wooded test track. A network reads raw 3D point clouds and produces steering. A car does not care how elegant the network is; it cares whether the answer arrives before the deadline the system sets. Three measurements tell the story: MinkowskiNet at 5 fps is "too slow to drive", the same network with optimised kernels reaches 18 fps, and Fast-LiDARNet reaches 47 fps, above the 30 fps line the slide marks as real time.

سيارة Toyota Prius V موديل 2015 مزودة بجهاز Velodyne LiDAR مثبت على السقف تسير في مضمار اختبار مُشجَّر. تقرأ شبكةٌ سحبَ النقاط ثلاثية الأبعاد الخام (point clouds) وتنتج أوامر التوجيه. لا تهتم السيارة بمدى أناقة الشبكة؛ ما يهمها هو أن تصل الإجابة قبل الموعد النهائي الذي يحدده النظام. ثلاثة قياسات تحكي القصة: MinkowskiNet عند 5 fps "أبطأ من أن يقود" (too slow to drive)، والشبكة نفسها مع نوى محسّنة تصل إلى 18 fps، وFast-LiDARNet تصل إلى 47 fps، فوق خط 30 fps الذي تحدده الشريحة بوصفه الزمن الحقيقي (real time).

The most useful way to read fps is to invert it into a frame time. A stream at 30 fps gives you 33.3 ms per frame, and everything the model does must fit inside that budget.

أنفع طريقة لقراءة الـ fps هي قلبها إلى زمن إطار (frame time). تدفق بمعدل 30 fps يمنحك 33.3 ms لكل إطار، وكل ما يفعله النموذج يجب أن يتسع داخل تلك الميزانية.

The paper (Liu, Amini, Zhu, Karaman, Han and Rus, ICRA 2021) is explicit about the two levers. Their optimised sparse convolution kernel gives a 3.6x acceleration, and their hardware-aware model design reduces latency by another 2.6x. The two multiply: 3.6 × 2.6 ≈ 9.4, which is 47 / 5. The first lever is pure systems work: the same network, the same accuracy, better code for the sparse operations point clouds need. The second is algorithmic: a smaller architecture chosen with the hardware in mind. This pairing is what the lecture means by algorithm and system co-design. Neither lever alone reaches the line. Kernels take the network from 200 ms to 55.6 ms and still miss by 22 ms; the redesign brings it to 21.3 ms.

الورقة (Liu, Amini, Zhu, Karaman, Han and Rus, ICRA 2021) صريحة بشأن الرافعتين. نواة الالتفاف المتناثر (sparse convolution kernel) المحسّنة لديهم تعطي تسريعًا قدره 3.6x، وتصميم النموذج المراعي للعتاد (hardware-aware) يخفض زمن الاستجابة بمقدار 2.6x أخرى. الرافعتان تتضاعفان: 3.6 × 2.6 ≈ 9.4، وهو 47 / 5. الرافعة الأولى عمل أنظمة بحت: الشبكة نفسها، والدقة نفسها، وشيفرة أفضل للعمليات المتناثرة التي تحتاجها سحب النقاط. والثانية خوارزمية: بنية أصغر مختارة مع مراعاة العتاد. هذا الاقتران هو ما تعنيه المحاضرة بـ algorithm and system co-design (التصميم المشترك للخوارزمية والنظام). ولا تصل أي رافعة وحدها إلى الخط. النوى تنقل الشبكة من 200 ms إلى 55.6 ms وتظل متأخرة بـ 22 ms؛ وإعادة التصميم توصلها إلى 21.3 ms.

MT-NLG, the largest model on the lecture's chart, has 530 billion parameters. Store each one in FP16, two bytes, and the weights alone occupy 530 × 10⁹ × 2 = 1,060 GB. The largest GPU of that period, an A100 with 80 GB, holds 40 billion FP16 parameters. The gap between the two is 1,060 / 80 = 13.25, so 14 GPUs of weights before a single activation is computed.

لدى MT-NLG، أكبر نموذج على مخطط المحاضرة، 530 مليار معامل. خزّن كل واحد منها بصيغة FP16، أي بايتين، فتشغل الأوزان وحدها 530 × 10⁹ × 2 = 1,060 GB. أكبر GPU في تلك الفترة، وهي A100 بذاكرة 80 GB، تسع 40 مليار معامل بصيغة FP16. الفجوة بين الاثنين 1,060 / 80 = 13.25، أي 14 وحدة GPU من الأوزان قبل حساب تنشيط واحد.

To compare a model with a chip, put both on one log axis of model size by converting GPU bytes into a parameter count at FP16, which is what the lecture's assumption "data are FP16" means. 16 GB becomes 8 B parameters, 32 GB becomes 16 B, 80 GB becomes 40 B. On that shared axis the two curves tell the story of the large language model era: model size climbs from 0.05 B to 530 B, about 10,000x in roughly four years, while GPU memory climbs from 16 GB to 80 GB, 5x. Models have outgrown the chips they run on, and the distance keeps widening.

لمقارنة نموذج برقاقة، ضع الاثنين على محور لوغاريتمي واحد لحجم النموذج (model size) بتحويل بايتات الـ GPU إلى عدد معاملات بصيغة FP16، وهذا ما يعنيه افتراض المحاضرة "data are FP16". تصبح 16 GB مساوية لـ 8 B معامل، و32 GB مساوية لـ 16 B، و80 GB مساوية لـ 40 B. على هذا المحور المشترك يروي المنحنيان قصة عصر نماذج اللغة الكبيرة (large language model): يصعد حجم النموذج من 0.05 B إلى 530 B، أي نحو 10,000x في قرابة أربع سنوات، بينما تصعد ذاكرة الـ GPU من 16 GB إلى 80 GB، أي 5x. لقد تجاوزت النماذج الرقائق التي تعمل عليها، والمسافة تواصل الاتساع.

Parameters to bytes to GPUsمن المعاملات إلى البايتات إلى وحدات GPU

Every memory question in this course starts with one multiplication. Parameters times bytes per parameter gives the weight memory; divide by the memory of one device and round up to get the device count. The bytes per parameter depend on the numeric format: 4 for FP32, 2 for FP16 or BF16, 1 for INT8, 0.5 for INT4. Quantisation, which later lectures cover in depth, is simply the art of moving down that list without losing accuracy.

كل سؤال عن الذاكرة في هذا المقرر يبدأ بعملية ضرب واحدة. المعاملات مضروبة في البايتات لكل معامل تعطي ذاكرة الأوزان؛ اقسمها على ذاكرة جهاز واحد وقرّب إلى الأعلى لتحصل على عدد الأجهزة. تعتمد البايتات لكل معامل على الصيغة العددية (numeric format): 4 لـ FP32، و2 لـ FP16 أو BF16، و1 لـ INT8، و0.5 لـ INT4. التكميم (quantisation)، الذي تغطيه المحاضرات اللاحقة بعمق، هو ببساطة فن النزول في هذه القائمة دون خسارة الدقة.

Try Llama 3 8B in the calculator. In FP16 it needs 16 GB, four times the 4 GB of RAM slide 23 gives a phone. Slide 23 lists that 4 GB as activation memory and 256 GB as weight storage; in practice LLM inference loads the weights into that same RAM, so the 4 GB is the binding limit. In INT4 the model needs 4 GB, exactly at the line, with nothing left for activations. Now try the 2017 Transformer at 0.05 B against a microcontroller's 1 MB of weight storage: 100 MB in FP16, a hundred times over. The gap between what models need and what edge hardware has is the subject of part 03.

جرّب Llama 3 8B في الحاسبة. بصيغة FP16 يحتاج إلى 16 GB، أي أربعة أضعاف ذاكرة RAM البالغة 4 GB التي تعطيها الشريحة 23 للهاتف. تذكر الشريحة 23 هذه الـ 4 GB بوصفها ذاكرة تنشيطات و256 GB بوصفها تخزينًا للأوزان؛ لكن في الممارسة يحمّل استدلال نماذج LLM الأوزان في ذاكرة RAM نفسها، لذا فإن الـ 4 GB هي القيد الحاكم. وبصيغة INT4 يحتاج النموذج إلى 4 GB، عند الخط تمامًا، دون أن يبقى شيء للتنشيطات. جرّب الآن Transformer عام 2017 بحجم 0.05 B مقابل 1 MB من تخزين الأوزان (weight storage) في متحكم دقيق: 100 MB بصيغة FP16، أي أكثر من المتاح بمئة مرة. الفجوة بين ما تحتاجه النماذج وما يملكه عتاد الحافة هي موضوع الجزء 03.

Why run them at the edge anywayلماذا نشغّلها على الحافة رغم ذلك

If LLMs barely fit in a rack of cloud GPUs, why does the lecture insist on running them on laptops, cars and robots? Three reasons, each one a research direction in this course.

إذا كانت نماذج LLM بالكاد تتسع في رف من وحدات cloud GPUs (وحدات GPU سحابية)، فلماذا تصر المحاضرة على تشغيلها على الحواسيب المحمولة والسيارات والروبوتات؟ ثلاثة أسباب، كل منها اتجاه بحثي في هذا المقرر.

1. Copilot services, such as code completion, office assistants and in-game chat, running locally on the machine that uses them. Latency drops, and the service works in a car or a robot far from any data center.خدمات المساعدة (copilot)، مثل إكمال الشيفرة ومساعدات المكتب والدردشة داخل الألعاب، تعمل محليًا على الجهاز الذي يستخدمها. ينخفض زمن الاستجابة، وتعمل الخدمة في سيارة أو روبوت بعيدًا عن أي مركز بيانات.
2. Resource-constrained, low-power devices that are not always connected. An edge LLM must work when the link is slow or absent.أجهزة محدودة الموارد ومنخفضة الطاقة ليست متصلة دائمًا. يجب أن يعمل edge LLM عندما يكون الاتصال بطيئًا أو غائبًا.
3. Privacy of user data. Prompts contain code, documents and conversations, and a local model never uploads them.خصوصية بيانات المستخدم. تحتوي التلميحات (prompts) على شيفرة ومستندات ومحادثات، والنموذج المحلي لا يرفعها أبدًا.

This is the design space for an on-device assistant, and it is why the rest of the course is about shrinking the memory (quantisation, pruning), the compute (efficient attention, distillation) and the deployment (compilers, kernels) of exactly the models on this chart. For a PhD project on embedded ML, the two-slope chart is the problem statement.

هذا هو فضاء التصميم لمساعد يعمل على الجهاز، ولهذا يدور بقية المقرر حول تقليص الذاكرة (التكميم، التقليم)، والحوسبة (الـ attention الفعّال، التقطير)، والنشر (المترجمات compilers، النوى) لهذه النماذج بالذات الموجودة على هذا المخطط. ولمشروع دكتوراه في تعلم الآلة المدمج، فإن مخطط المنحدرين هو بيان المشكلة.