What tokenization is, slide 37

ما التقطيع، الشريحة 37

A model cannot consume a string. It consumes a sequence of discrete items drawn from a fixed, finite inventory. Tokenization is the step that turns raw text into that sequence.

النموذج لا يستهلك نصاً، بل تسلسلاً من عناصر منفصلة مأخوذة من مخزون ثابت ومحدود. وtokenization هي الخطوة التي تحوّل النص الخام إلى ذلك التسلسل.

The slide's definition: tokenization converts raw text into a sequence of tokens, the units a model or NLP pipeline operates on. And tokens can be words, characters, or subwords.

تعريف الشريحة: tokenization يحوّل النص الخام إلى تسلسل من tokens، وهي الوحدات التي يعمل عليها النموذج أو خط معالجة NLP. والـ tokens قد تكون كلمات أو حروفاً أو subwords.

So there is a design choice to make, and the slide gives four criteria for making it:

إذن هناك قرار تصميمي يجب اتخاذه، وتعطي الشريحة أربعة معايير لاتخاذه:

يسرد الجدول المعايير الأربعة من الشريحة 37 ومن يفوز بكل واحد: Coverage أي التغطية بلا tokens مجهولة، وتفوز بها الحروف والـ bytes؛ وCompactness أي تسلسلات أقصر، وتفوز بها الكلمات؛ وMeaningfulness أي وحدات مرتبطة بالمعنى، وتفوز بها الكلمات؛ وCross-lingual applicability أي العمل عبر أنظمة الكتابة، وتفوز بها الحروف والـ bytes. اقرأ العمود الأخير وستجد أن لا خيار واحد يفوز بالأربعة.

Notice that no single option wins all four. Coverage and cross-lingual reach pull toward small units; compactness and meaningfulness pull toward large ones. The slide prints the tension as a spectrum:

لاحظ أن لا خيار واحد يفوز بالمعايير الأربعة. التغطية والمدى بين اللغات تجذبان نحو وحدات صغيرة، والاختصار والمعنى يجذبان نحو وحدات كبيرة. وتطبع الشريحة هذا التوتر على شكل طيف متصل:

يمتد الطيف من الحروف (Characters) في طرف إلى الكلمات (Words) في الطرف الآخر، والـ Subwords في الوسط بينهما.

Subwords sit in the middle on purpose. Everything else on this page is a consequence of that one picture.

الـ subwords تقع في الوسط عن قصد، وكل ما بقي في هذه الصفحة نتيجة لهذه الصورة الواحدة.

Word tokenization, slide 38

التقطيع على مستوى الكلمات، الشريحة 38

Why words feel natural

لماذا تبدو الكلمات طبيعية

• Words are the meaningful building blocks of text.

  الكلمات هي وحدات البناء ذات المعنى في النص.

• They are easy to interpret and they align with downstream tasks, for example lexicons and some linguistic analyses.

  يسهل تفسيرها، وتتوافق مع المهام اللاحقة، مثل المعاجم وبعض التحليلات اللغوية.

The main challenges

التحديات الرئيسية

• "Word" is ambiguous, across languages and even inside one language: punctuation, clitics, compounds, and writing systems with no spaces at all.

  كلمة "word" نفسها غامضة بين اللغات وداخل اللغة الواحدة: علامات الترقيم، والـ clitics، والكلمات المركّبة، وأنظمة كتابة بلا مسافات أصلاً.

• The vocabulary grows very large: every name, technical term and misspelling is its own entry.

  الـ vocabulary ينمو بشكل هائل: كل اسم ومصطلح تقني وخطأ إملائي يصبح مدخلاً مستقلاً.

• That produces rare tokens and, in a fixed vocabulary, unknown words (OOV).

  وهذا ينتج tokens نادرة، وفي vocabulary ثابت ينتج كلمات مجهولة (OOV).

The OOV problem is the fatal one. A fixed word vocabulary has to be closed at some size, and anything outside it collapses to a single <UNK> token. The model then cannot distinguish one unseen word from any other unseen word, no matter how transparent the word is. A model that has seen renew and -ing thousands of times still cannot read renewing if that exact string missed the cut.

مشكلة OOV هي القاتلة. أي vocabulary للكلمات يجب إغلاقه عند حجم معين، وكل ما خرج عنه ينهار إلى token واحد هو <UNK>. فلا يستطيع النموذج بعدها أن يميّز كلمة مجهولة من أخرى، مهما كانت بنيتها واضحة. ونموذج رأى renew و-ing آلاف المرات لا يستطيع قراءة renewing إذا لم تدخل تلك السلسلة بعينها في القائمة.

When words are still preferred

متى تبقى الكلمات مفضّلة

The slide does not dismiss word tokenization. It keeps it for tasks that need explicit word boundaries or interpretability: some POS tagging and parsing settings, and lexicon-driven systems. If your method looks a word up in a dictionary, you need the word.

لا ترفض الشريحة word tokenization، بل تبقيها للمهام التي تحتاج حدود كلمات صريحة أو قابلية تفسير: بعض حالات POS tagging وparsing، والأنظمة المعتمدة على المعاجم. فإذا كانت طريقتك تبحث عن الكلمة في قاموس، فأنت تحتاج الكلمة كاملة.

Character tokenization, slide 39

التقطيع على مستوى الحروف، الشريحة 39

Why characters are attractive

لماذا الحروف جذابة

• A very small vocabulary of letters or bytes, so it is easy to store and train.

  vocabulary صغير جداً من الحروف أو الـ bytes، فيسهل تخزينه وتدريبه.

• No OOV, because any string can be spelled out.

  لا OOV إطلاقاً، لأن أي سلسلة يمكن تهجئتها حرفاً حرفاً.

• Robust to spelling variants and noise.

  مقاوم لاختلافات الإملاء وللتشويش.

The main drawbacks

العيوب الرئيسية

• Very long sequences, which makes long-range context harder to model.

  تسلسلات طويلة جداً، وهذا يصعّب نمذجة السياق بعيد المدى.

• Meaning is spread across many tokens, so semantics are learned more slowly.

  المعنى موزّع على tokens كثيرة، فتُتعلَّم الدلالة ببطء أكبر.

• Slower processing, because a model takes more time steps per sentence.

  معالجة أبطأ، لأن النموذج يحتاج خطوات زمنية أكثر لكل جملة.

When characters are preferred

متى تُفضّل الحروف

Noisy text (OCR output, typo-heavy input), extremely low-resource settings, or very specialized tasks.

النص المشوّش (مخرجات OCR، والمدخلات المليئة بالأخطاء الإملائية)، والحالات شديدة الفقر في الموارد، أو المهام المتخصصة جداً.

The drawback that really hurts is the first one. If one English word is about five characters, then character tokenization makes every sequence roughly five times longer. For an architecture whose cost grows faster than linearly in sequence length, that is not a small tax.

العيب الذي يؤلم فعلاً هو الأول. إذا كانت الكلمة الإنجليزية الواحدة خمسة حروف تقريباً، فإن character tokenization يجعل كل تسلسل أطول بخمس مرات تقريباً. وفي معمارية تنمو تكلفتها أسرع من الخطي مع طول التسلسل، هذه ضريبة ليست صغيرة.

Subword tokenization, slide 40

التقطيع إلى أجزاء فرعية (Subword)، الشريحة 40

The compromise. Keep pieces big enough to carry meaning and small enough that you can build anything out of them.

هذا هو الحل الوسط: أبقِ القطع كبيرة بما يكفي لتحمل معنى، وصغيرة بما يكفي لتبني منها أي شيء.

Why subwords help

لماذا تساعد الأجزاء الفرعية

• Smaller vocabulary than words, so fewer rare and OOV problems.

  vocabulary أصغر من الكلمات، فمشاكل النادر وOOV أقل.

• Shorter sequences than characters, so more efficient.

  تسلسلات أقصر من الحروف، فالكفاءة أعلى.

• They can represent an unseen word by composing subpieces.

  تستطيع تمثيل كلمة لم تُرَ من قبل عن طريق تركيب قطع فرعية.

That third bullet is the whole reason subwords won. An unseen word is no longer a dead end. It gets split into pieces the model has seen, and the model can make something of it.

النقطة الثالثة هي سبب انتصار الـ subwords بالكامل. فالكلمة المجهولة لم تبقَ طريقاً مسدوداً، بل تُقسَّم إلى قطع رآها النموذج من قبل، فيستطيع أن يصنع منها شيئاً.

Morpheme-based subwords

أجزاء فرعية مبنية على المورفيمات

The obvious idea is to cut at morpheme boundaries, since morphemes carry meaning. The slide concedes this seems natural, then says why it is not what modern systems do: morpheme segmentation is hard and ambiguous. It names the reasons: allomorphy, non-concatenative morphology, and clitics. Useful in some applications, but not the most common approach in modern language models.

الفكرة البديهية هي القطع عند حدود الـ morphemes، لأنها تحمل المعنى. وتعترف الشريحة أن هذا يبدو طبيعياً، ثم تذكر لماذا لا تفعله الأنظمة الحديثة: تقطيع الـ morphemes صعب وغامض. وتسمّي الأسباب: allomorphy، وnon-concatenative morphology، والـ clitics. مفيد في بعض التطبيقات، لكنه ليس المنهج الأشيع في النماذج اللغوية الحديثة.

Non-concatenative morphology is worth a second look if you have Arabic in your head, because it is Arabic's root-and-pattern system that the term describes. You cannot segment كتاب and كاتب into a prefix plus a stem; the root letters are interleaved with the pattern. Any segmenter built on "cut the string into contiguous pieces" is defeated before it starts.

يستحق non-concatenative morphology وقفة ثانية إن كانت العربية في ذهنك، فنظام الجذر والوزن العربي هو ما يصفه المصطلح بالضبط. لا تستطيع تقطيع كتاب أو كاتب إلى سابقة وجذع، لأن حروف الجذر متشابكة مع الوزن. وأي مقطّع مبني على فكرة قطع السلسلة إلى قطع متجاورة مهزوم قبل أن يبدأ.

Language-agnostic subwords

أجزاء فرعية مستقلة عن اللغة

So instead of encoding linguistic knowledge, modern tokenizers learn frequent subword units from data. The slide names BPE (byte-pair encoding) and related methods, and gives the reason they are popular: they work across languages and they reduce OOV while staying efficient.

فبدلاً من ترميز المعرفة اللغوية، تقوم المقطّعات الحديثة بـ تعلّم وحدات subword متكررة من البيانات. وتسمّي الشريحة BPE (byte-pair encoding) والطرق القريبة منه، وتذكر سبب شعبيتها: تعمل عبر اللغات، وتقلّل OOV مع بقاء الكفاءة.

Nobody tells BPE what a morpheme is. It finds whatever is frequent. Sometimes the result lines up with a morpheme and sometimes it does not, and the method does not care.

لا أحد يخبر BPE ما هو الـ morpheme. هو يجد ما هو متكرر فقط. وقد يتوافق الناتج مع morpheme أحياناً وقد لا يتوافق، والطريقة لا تهتم.

The three granularities, compared

المستويات الثلاثة، مقارنةً

يقارن الجدول الحبيبات الثلاث (Word وSubword وCharacter) على سبعة أسطر: حجم الـ vocabulary المعتاد، وطول التسلسل، والكلمات المجهولة، وهل يحمل الـ token معنى، والعمل عبر أنظمة الكتابة، وتكلفة مصفوفة الـ embedding، وأفضل استخدام. اقرأه عموداً عموداً لا سطراً سطراً، والعمود الأوسط هو الحل العملي.

Read the table by column and the middle one is unremarkable on every row. That is the point. Subwords are not best at anything; they are never disastrous at anything either.

اقرأ الجدول عمودياً وستجد العمود الأوسط عادياً في كل سطر، وهذا هو المقصود بالضبط: الـ subwords ليست الأفضل في أي شيء، لكنها ليست كارثية في أي شيء كذلك.

يعرض الرسم كلمة renewing مقطّعة بثلاث حبيبات. سطر word: صندوق واحد، أقصر تسلسل، لكن الكلمة المجهولة تصبح UNK. سطر subword: صندوقان هما renew وing، وvocabulary متوسط، والكلمات المجهولة تُركَّب. سطر character: ثمانية صناديق، وvocabulary ضئيل بلا مجهول، لكنه طويل وبطيء. اقرأه من أعلى لأسفل: الـ vocabulary يصغر، والتسلسل يطول، والمعنى في كل token يقل.

Byte-pair encoding, slide 41

ترميز أزواج البايتات (Byte-pair encoding)، الشريحة 41

BPE is widely used in modern language models. The slide makes one structural point before anything else, and it is the point the exam tests:

BPE مستخدم على نطاق واسع في النماذج اللغوية الحديثة. وتطرح الشريحة نقطة بنيوية واحدة قبل أي شيء آخر، وهي النقطة التي يختبرها الامتحان:

ينص المربع على أن خوارزمية BPE لها جزآن: مدرّب (trainer) ومرمّز (encoder). ثبّت هذا التقسيم قبل أي تفصيل.

The trainer looks at a corpus and produces an ordered list of merges plus a vocabulary. It runs once, offline. The encoder takes that list and applies it to new text. It runs every time you feed the model anything, and it never counts, learns or changes anything.

الـ trainer ينظر إلى corpus ويُنتج قائمة مرتّبة من الـ merges مع vocabulary، ويعمل مرة واحدة وخارج الخط. والـ encoder يأخذ تلك القائمة ويطبّقها على نص جديد، ويعمل كل مرة تغذّي النموذج بأي شيء، ولا يعدّ ولا يتعلّم ولا يغيّر شيئاً أبداً.

Training, in the slide's three bullets:

التدريب، في نقاط الشريحة الثلاث:

1. Start with a basic symbol inventory: characters, or bytes.

   ابدأ بمخزون رموز أساسي: حروف، أو bytes.

2. Iteratively merge the most frequent adjacent symbol pair.

   ادمج تكرارياً أكثر زوج رموز متجاورين تكراراً.

3. The merges create a vocabulary of common substrings, which are your subwords.

   الـ merges تُنشئ vocabulary من السلاسل الفرعية الشائعة، وهذه هي الـ subwords عندك.

Read bullet 2 slowly. The thing being counted is a pair of neighbours, not a single symbol. The most frequent symbol in English is e; BPE never merges e with itself for that reason. It merges whichever two-symbol sequence occurs most often side by side.

اقرأ النقطة الثانية ببطء. المعدود هو زوج من الجارَين، لا رمز واحد. أكثر رمز تكراراً في الإنجليزية هو e، ولهذا السبب لا يدمج BPE أبداً e مع نفسه. هو يدمج التسلسل المكوّن من رمزين الذي يظهر متجاوراً أكثر من غيره.

The algorithm, slide 42

الخوارزمية، الشريحة 42

Slide 42 prints the pseudocode. Transcribed:

تطبع الشريحة 42 الكود الوهمي، وهذا نسخه:

function BYTE-PAIR ENCODING(strings C, number of merges k) returns vocab V

  V <- all unique characters in C          # initial set of tokens is characters
  for i = 1 to k do                        # merge tokens k times
      tL, tR <- Most frequent pair of adjacent tokens in C
      tNEW  <- tL + tR                     # make new token by concatenating
      V     <- V + tNEW                    # update the vocabulary
      Replace each occurrence of tL, tR in C with tNEW   # and update the corpus
  return V

يُقرأ الكود الوهمي هكذا: الدخل هو السلاسل C وعدد الـ merges وهو k، والخرج vocab V. ابدأ بـ V يساوي كل الحروف الفريدة في C، ثم كرّر k مرة: جد أكثر زوج tokens متجاورين تكراراً وسمّه tL, tR، وألصقهما في رمز جديد tNEW، وأضف tNEW إلى V، واستبدل كل ظهور للزوج في C بـ tNEW. وفي النهاية أعد V.

Four facts fall straight out of the pseudocode and each one kills a common wrong answer:

أربع حقائق تسقط مباشرة من الكود الوهمي، وكل واحدة منها تقتل جواباً خاطئاً شائعاً:

• k is an input. The loop does not run until something converges. You decide how many merges to do, which is how you set your vocabulary size.

  الـ k دخل، لا ناتج. الحلقة لا تعمل حتى يتقارب شيء. أنت تقرر عدد الـ merges، وبهذا تضبط حجم الـ vocabulary.

• The vocabulary only grows. V <- V + tNEW adds. Nothing is ever removed, so the original characters stay in the vocabulary forever.

  الـ vocabulary ينمو فقط. السطر V <- V + tNEW يضيف ولا يحذف. لا يُزال شيء أبداً، فالحروف الأصلية تبقى في الـ vocabulary إلى الأبد.

• Final vocabulary size = number of distinct starting symbols + k. One new token per iteration, exactly.

  حجم الـ vocabulary النهائي يساوي عدد رموز البداية المميزة زائد k. token جديد واحد في كل دورة، بالضبط.

• The corpus is rewritten in place each round. The counts for round i+1 are taken on the already merged corpus, not the original. Forgetting this is the single most common way a by-hand run goes wrong.

  الـ corpus يُعاد كتابته في مكانه كل دورة. عدّات الدورة i+1 تُؤخذ على الـ corpus المدموج فعلاً، لا على الأصلي. ونسيان هذا هو أشيع طريقة يفسد بها التنفيذ اليدوي.

يرسم الشكل حلقة التدريب في أربع خطوات متتابعة: الأولى عُدّ كل زوج متجاور، موزوناً بتكرار الكلمة. والثانية اختر أكثر الأزواج تكراراً، الزوج لا رمزاً واحداً. والثالثة ادمجه في كل مكان، أي أعد كتابة الـ corpus كله. والرابعة أضف الرمز الجديد إلى V وألحق الـ merge بالقائمة. ثم ارجع إلى الخطوة الأولى وكرّر k مرة، وk تختاره أنت ولا تكتشفه الخوارزمية. البداية: كل حرف رمز بنفسه. النهاية: الـ vocabulary يساوي رموز البداية زائد k.

The lecture's worked example, slides 43 to 46

مثال المحاضرة المحلول، الشرائح 43 إلى 46

Four slides animating one run. The corpus is:

أربع شرائح تحرّك تنفيذاً واحداً. والـ corpus هو:

يطبع المربع الـ corpus الصغير: ست كلمات هي set new new renew reset renew. احفظها، فكل التنفيذ أدناه مبني عليها.

Slide 43 says to start with characters and a space or end-of-word marker, and writes the corpus as the single string set_new_new_renew_reset_renew. So the marker here is a leading space symbol, written _ below. Note the consequence: set is the first word in the corpus and therefore has no marker, while the other words carry one. That is why the slide's table shows s e t on one line and _ r e s e t on another even though they are the same word type. Keep them separate, the slide does.

تقول الشريحة 43 ابدأ بالحروف مع مسافة أو علامة نهاية كلمة، وتكتب الـ corpus كسلسلة واحدة هي set_new_new_renew_reset_renew. فالعلامة هنا رمز مسافة سابق للكلمة، ويُكتب _ أدناه. ولاحظ النتيجة: set هي أول كلمة في الـ corpus فلا تحمل علامة، بينما تحمل الكلمات الأخرى علامة. ولهذا يُظهر جدول الشريحة s e t في سطر و_ r e s e t في سطر آخر، رغم أنهما نوع الكلمة نفسه. أبقِهما منفصلين كما تفعل الشريحة.

Some textbooks instead append an end-of-word marker written </w>. Same idea, opposite side. Follow whichever convention the question gives you.

بعض الكتب تضيف علامة نهاية كلمة تُكتب </w> بدلاً من ذلك. الفكرة نفسها، لكن في الجهة المقابلة. اتبع الاتفاق الذي يعطيك إياه السؤال.

corpus                          vocabulary
 2    _ n e w                    _, e, n, r, s, t, w
 2    _ r e n e w
 1    s e t
 1    _ r e s e t

check the frequencies against "set new new renew reset renew":
  new   appears twice   -> 2
  renew appears twice   -> 2
  set   appears once    -> 1   (no leading marker, it starts the corpus)
  reset appears once    -> 1
vocabulary size = 7 symbols

the maximum is 4, and TWO pairs reach it: (n e) and (e w).
the slide breaks the tie in favour of (n e).

MERGE 1:  n + e  ->  ne

corpus                          vocabulary
 2    _ ne w                     _, e, n, r, s, t, w, ne
 2    _ r e ne w
 1    s e t
 1    _ r e s e t
vocabulary size = 8

the maximum is 4, reached only by (ne w). no tie this time.

MERGE 2:  ne + w  ->  new

corpus                          vocabulary
 2    _ new                      _, e, n, r, s, t, w, ne, new
 2    _ r e new
 1    s e t
 1    _ r e s e t
vocabulary size = 9

the maximum is 3, and again TWO pairs reach it: (_ r) and (r e).
the slide breaks the tie in favour of (_ r), the leftmost one again.

MERGE 3:  _ + r  ->  _r

corpus                          vocabulary
 2    _ new                      _, e, n, r, s, t, w, ne, new, _r
 2    _r e new
 1    s e t
 1    _r e s e t
vocabulary size = 10

the maximum is 3, reached only by (_r e). no tie.

MERGE 4:  _r + e  ->  _re

corpus                          vocabulary
 2    _ new                      _, e, n, r, s, t, w, ne, new, _r, _re
 2    _re new
 1    s e t
 1    _re s e t
vocabulary size = 11   =   7 starting symbols + 4 merges

The merge list, in order

قائمة الدمج، بالترتيب

This ordered list is the actual output of training. The vocabulary is derivable from it; the order is not recoverable from the vocabulary, which is why the list is what gets saved.

هذه القائمة المرتّبة هي الناتج الفعلي للتدريب. الـ vocabulary يمكن استنتاجه منها، لكن الترتيب لا يمكن استرجاعه من الـ vocabulary، ولهذا القائمة هي ما يُحفَظ.

يسرد الجدول الـ merges الأربعة بترتيبها: الأول n + e ينتج ne بعدّ 4 مع تعادل، والثاني ne + w ينتج new بعدّ 4 بلا تعادل، والثالث _ + r ينتج _r بعدّ 3 مع تعادل، والرابع _r + e ينتج _re بعدّ 3 بلا تعادل. هذا الترتيب هو ما تحفظه وتعيد تشغيله عند الـ encoding.

Both ties go to the pair that appears earlier when you scan the corpus left to right. Real implementations fix a deterministic tie-break rule so that training is reproducible, and the lecture's choice is consistent with reading left to right. If an exam corpus gives you a tie, state your rule and apply it consistently; the examiner is looking for the procedure, not a secret convention.

التعادلان كلاهما يذهب إلى الزوج الذي يظهر أولاً عند مسح الـ corpus من اليسار إلى اليمين. والتطبيقات الحقيقية تثبّت قاعدة حتمية لفصل التعادل حتى يكون التدريب قابلاً للتكرار، واختيار المحاضرة متوافق مع القراءة من اليسار إلى اليمين. فإذا أعطاك الامتحان corpus فيه تعادل، فاذكر قاعدتك وطبّقها باتساق، لأن المصحح يبحث عن الإجراء لا عن اتفاق سري.

The vocabulary growing, merge by merge

المفردات تنمو، دمجاً بعد دمج

Starting symbols stay in the vocabulary forever. Each round adds exactly one entry.

رموز البداية تبقى في الـ vocabulary إلى الأبد، وكل دورة تضيف مدخلاً واحداً بالضبط.

Start, 7 symbols

البداية، 7 رموز

After merge 1, 8 symbols

بعد الـ merge الأول، 8 رموز

After merge 2, 9 symbols

بعد الـ merge الثاني، 9 رموز

After merge 3, 10 symbols

بعد الـ merge الثالث، 10 رموز

After merge 4, 11 symbols. This is slide 46.

بعد الـ merge الرابع، 11 رمزاً. وهذه هي الشريحة 46.

BPE encoding, slide 47

الترميز بـ BPE (encoding)، الشريحة 47

Different operation. You now have a merge list and you are handed a new string. The slide's recipe:

عملية مختلفة. عندك الآن قائمة merges وأُعطيت سلسلة جديدة. ووصفة الشريحة:

1. Start with characters or bytes.

   ابدأ بالحروف أو الـ bytes.

2. Apply the learned merges in order, greedily.

   طبّق الـ merges المتعلَّمة بالترتيب، وبطمع.

3. Output the resulting subword sequence. Most words end up as a single token.

   أخرج تسلسل الـ subwords الناتج. وأكثر الكلمات تنتهي إلى token واحد.

And the reason this matters: it ensures deterministic encoding under a fixed merge list. The same string always produces the same tokens, on every machine, forever.

وسبب أهمية هذا: إنه يضمن deterministic encoding تحت قائمة merges ثابتة. فالسلسلة نفسها تُنتج الـ tokens نفسها، على كل جهاز، إلى الأبد.

Nothing here counts anything. There is no corpus, no frequency, no learning. You walk down the merge list once, from merge 1 to merge k, and at each step you replace every occurrence of that pair.

لا شيء هنا يعدّ شيئاً. لا corpus، ولا تكرار، ولا تعلّم. أنت تمشي في قائمة الـ merges مرة واحدة، من الـ merge الأول إلى الـ merge رقم k، وفي كل خطوة تستبدل كل ظهور لذلك الزوج.

EXAMPLE A   encode " renew"   (a word that was in the training corpus)

  start as characters      _ r e n e w
  merge 1  n+e -> ne       _ r e ne w
  merge 2  ne+w -> new     _ r e new
  merge 3  _+r -> _r       _r e new
  merge 4  _r+e -> _re     _re new

  OUTPUT:  _re  new        2 tokens

  this matches line 2 of the slide 46 corpus. it should: encoding a
  training word reproduces the state training left it in.

EXAMPLE B   encode " reset"

  start as characters      _ r e s e t
  merge 1  n+e -> ne       no "n e" anywhere.  no change.
  merge 2  ne+w -> new     no "ne" symbol.     no change.
  merge 3  _+r -> _r       _r e s e t
  merge 4  _r+e -> _re     _re s e t

  OUTPUT:  _re  s  e  t    4 tokens

  note merges 1 and 2 did nothing. you still had to check them,
  and you still had to check them FIRST.

EXAMPLE C   encode " newer"   (never seen in training)

  start as characters      _ n e w e r
  merge 1  n+e -> ne       _ ne w e r
  merge 2  ne+w -> new     _ new e r
  merge 3  _+r -> _r       is there "_ r"? no, "_" is followed by "new".
                           no change.
  merge 4  _r+e -> _re     no "_r" symbol.  no change.

  OUTPUT:  _  new  e  r    4 tokens

  an unseen word still encodes, with no UNK. the known piece "new"
  survives as one token and the leftovers fall back to characters.
  this is the "compose unseen words from subpieces" promise, working.

WHY THE ORDER MATTERS

  merge 4 (_r + e) can only fire if merge 3 already created "_r".
  run them in the other order and merge 4 finds nothing, merge 3
  then produces "_r", and you finish with "_r e new" instead of
  "_re new". different tokens, different embeddings, different model
  input. the list is ordered, and you replay it front to back.

Training versus encoding

التدريب مقابل الترميز

يقابل الجدول بين BPE training وBPE encoding في سبعة أسطر: الدخل، والخرج، وهل يعدّ تكرار الأزواج (نعم، وهو جوهره، مقابل لا أبداً)، وهل يتعلّم شيئاً (نعم مقابل لا، هو يعيد التشغيل)، وكيف تُختار الـ merges (بالتكرار مع إعادة عدّ كل دورة، مقابل بالترتيب المحفوظ)، وكم مرة يعمل (مرة واحدة خارج الخط، مقابل كل مدخل إلى الأبد)، وهل الناتج حتمي. اقرأ العمودين متقابلين، فهذا هو السؤال المتوقع.

BPE in practice, slide 48

BPE عملياً، الشريحة 48

• Most modern tokenizers are BPE-like, or unigram or WordPiece variants.

  أكثر المقطّعات الحديثة شبيهة بـ BPE، أو من صنف unigram أو WordPiece.

• They are often combined with a pre-tokenizer, usually regex-based, which splits text roughly into words and punctuation first.

  وكثيراً ما تُدمج مع pre-tokenizer مبني على regex عادة، يقسّم النص تقريبياً إلى كلمات وعلامات ترقيم أولاً.

• Vocabulary size is a design choice, typically 30k to 100k.

  حجم الـ vocabulary قرار تصميمي، وعادة بين 30k و100k.

• The slide points at https://tiktokenizer.vercel.app/ for visualizing different tokenizers.

  وتشير الشريحة إلى موقع tiktokenizer.vercel.app لتصوّر عمل المقطّعات المختلفة.

The pre-tokenizer matters more than it sounds. Without it, BPE could merge straight across a space in round one and learn tokens that span words. The pre-tokenizer puts up walls that merges may not cross. Hold that thought, because slide 51 is about deliberately taking the walls down.

الـ pre-tokenizer أهم مما يبدو. فبدونه قد يدمج BPE عبر المسافة في الدورة الأولى ويتعلّم tokens تمتد عبر كلمتين. والـ pre-tokenizer يبني أسواراً لا يجوز للـ merges أن تعبرها. أمسك هذه الفكرة، فالشريحة 51 عن إسقاط الأسوار بشكل مقصود.

BPE versus WordPiece versus unigram

BPE مقابل WordPiece مقابل unigram

The slide names the three without defining them. The distinction worth carrying into the exam is what decides the next step, and which direction the algorithm moves.

تسمّي الشريحة الثلاثة دون تعريفها. والتمييز الذي يستحق أن تحمله إلى الامتحان هو ما الذي يقرر الخطوة التالية، وفي أي اتجاه تتحرك الخوارزمية.

يقابل الجدول بين BPE وWordPiece وUnigram في خمسة أسطر: الاتجاه، فـ BPE وWordPiece من الأسفل للأعلى بالدمج، وUnigram من الأعلى للأسفل بالتقليم. ومعيار الاختيار: التكرار الخام، مقابل درجة احتمالية، مقابل أقل خسارة احتمالية عند الحذف. والناتج: قائمة merges مرتّبة، مقابل vocabulary باحتمال لكل قطعة وبلا ترتيب. ثم كيف تُقطَّع سلسلة جديدة، وأخيراً العائلة المرتبطة بكل واحد: GPT، وBERT، وSentencePiece مع T5.

The one-line separation: BPE picks by count, WordPiece picks by likelihood gain, unigram deletes instead of merging.

الفصل في سطر واحد: BPE يختار بالعدّ، وWordPiece يختار بمقدار الربح الاحتمالي، وunigram يحذف بدلاً من أن يدمج.

Byte-level BPE, slide 49

BPE على مستوى البايت، الشريحة 49

Same algorithm, different starting inventory. Run the merges over UTF-8 bytes instead of Unicode characters.

الخوارزمية نفسها، لكن بمخزون بداية مختلف: شغّل الـ merges على UTF-8 bytes بدلاً من Unicode characters.

يقابل الجدول بين character-level BPE وbyte-level BPE: مخزون البداية، وهو كل حرف مميز في الـ corpus مقابل قيم الـ bytes الـ 256 كلها مثبتة مسبقاً. وحجم المخزون، غير محدود مقابل 256 بالضبط. وحرف لم يرد في الـ corpus، يصبح <UNK> مقابل مستحيل أن يحدث. ثم الخطوط الجديدة والرموز التعبيرية والنصوص المشوّشة. وأخيراً هل الـ tokens قابلة للقراءة، نعم مقابل غالباً لا.

The slide's pros are: no OOV characters, works for any script, robust to noisy text. Its single con is: tokens may be less interpretable.

مزايا الشريحة هي: لا OOV في الحروف، ويعمل مع أي نظام كتابة، ومقاوم للنص المشوّش. وعيبه الوحيد: الـ tokens قد تكون أقل قابلية للتفسير.

That con is concrete. From the previous page, the Arabic letter م is the two bytes D9 85. A byte-level tokenizer starts by treating D9 and 85 as two unrelated symbols, and only learns that they belong together because they co-occur constantly. Until that merge is learned, half a letter is a token. Nothing about that is human-readable, and it is the price of never failing on an input.

هذا العيب ملموس. من الصفحة السابقة، الحرف العربي م يساوي الـ bytes D9 85. والمقطّع على مستوى الـ bytes يبدأ بمعاملة D9 و85 كرمزين لا علاقة بينهما، ولا يتعلّم أنهما ينتميان لبعضهما إلا لأنهما يتجاوران باستمرار. وقبل تعلّم ذلك الـ merge، يكون نصف حرف هو token كامل. لا شيء من هذا مقروء للبشر، وهو ثمن ألّا تفشل أبداً على أي مدخل.

Multilingual tokenization, slide 50

التقطيع متعدد اللغات، الشريحة 50

Three statements, and they build on each other:

ثلاث عبارات، وكل واحدة تُبنى على التي قبلها:

• Shared vocabularies favor high-resource languages.

  الـ vocabularies المشتركة تنحاز للغات غنية الموارد.

• Low-resource languages may be over-segmented, which means longer sequences.

  اللغات فقيرة الموارد قد تُقطَّع تقطيعاً مفرطاً، ومعنى ذلك تسلسلات أطول.

• Tokenizer design affects fairness and performance.

  تصميم المقطّع يؤثر على العدالة والأداء.

The mechanism is just BPE's rule turned on a multilingual corpus. Merges are awarded by frequency. If 90 percent of your training text is English, then English character pairs win nearly every round, and nearly every learned subword is an English subword. A fixed vocabulary budget of, say, 50k entries gets spent mostly on one language.

الآلية هي قاعدة BPE نفسها مطبّقة على corpus متعدد اللغات. فالـ merges تُمنح بالتكرار. وإذا كان 90 بالمئة من نص تدريبك إنجليزياً، فأزواج الحروف الإنجليزية تفوز بكل دورة تقريباً، وتصبح كل subword متعلَّمة تقريباً إنجليزية. وميزانية vocabulary ثابتة قدرها 50k مدخل مثلاً تُصرف في معظمها على لغة واحدة.

The languages that lost the auction then have to be spelled out in small pieces, because the big pieces that would have covered them were never learned. Their sequences get longer for the same content.

واللغات التي خسرت المزاد تُهجَّأ بقطع صغيرة، لأن القطع الكبيرة التي كانت ستغطيها لم تُتعلَّم أبداً. فتطول تسلسلاتها للمحتوى نفسه.

That is not just an aesthetic complaint. Longer sequences mean:

وهذه ليست شكوى جمالية فقط. فالتسلسلات الأطول تعني:

1. More compute and more latency for the same sentence.

   حساباً أكثر وزمن استجابة أطول للجملة نفسها.

2. More money, since API pricing is per token.

   مالاً أكثر، لأن تسعير الـ API يكون بالـ token.

3. Less content fits in a fixed context window.

   محتوى أقل يسع في نافذة سياق ثابتة.

4. Harder learning, because the meaning is spread over more positions, which is the same drawback character tokenization had on slide 39.

   تعلّماً أصعب، لأن المعنى موزّع على مواضع أكثر، وهو العيب نفسه الذي كان لـ character tokenization في الشريحة 39.

Which is why the slide's third bullet says fairness, not just efficiency. Speakers of under-represented languages get a worse, slower, more expensive model from the identical system.

ولهذا تقول النقطة الثالثة في الشريحة fairness، أي العدالة، لا الكفاءة فقط. فالناطقون باللغات قليلة التمثيل يحصلون على نموذج أسوأ وأبطأ وأغلى من النظام نفسه بعينه.

The slide does not print token counts, so do not quote any in an exam as if it did. But the underlying asymmetry is visible at the byte level, which is a thing you can compute yourself:

لا تطبع الشريحة أعداد tokens، فلا تنقل أي رقم في الامتحان كأنها طبعته. لكن اللاتماثل الكامن مرئي على مستوى الـ bytes، وهو شيء تستطيع حسابه بنفسك:

"Natural Language Processing"      27 characters, 27 UTF-8 bytes
                                   every character is ASCII, 1 byte each

"معالجة اللغات الطبيعية"           22 characters, 42 UTF-8 bytes
                                   every Arabic letter sits in the
                                   U+0080 to U+07FF range, so 2 bytes each

fewer characters, but more than half again as many bytes.

يقارن المقطع عبارتين. الإنجليزية "Natural Language Processing" فيها 27 حرفاً و27 من الـ bytes، لأن كل حرف ASCII بـ byte واحد. والعربية "معالجة اللغات الطبيعية" فيها 22 حرفاً لكن 42 من الـ bytes، لأن كل حرف عربي يقع في المدى U+0080 إلى U+07FF، أي 2 bytes لكل حرف. الخلاصة: حروف أقل، لكن bytes أكثر بأكثر من النصف.

So before a single merge is learned, a byte-level tokenizer already starts العربية at roughly double the symbol count per letter. Merges can claw that back, but only if the training corpus contained enough Arabic to make Arabic pairs win rounds. That is the whole argument on slide 50, in one sentence.

إذن قبل أن يُتعلَّم merge واحد، يبدأ المقطّع على مستوى الـ bytes بالعربية عند ضعف عدد الرموز لكل حرف تقريباً. والـ merges يمكنها استعادة بعض ذلك، لكن فقط إذا احتوى corpus التدريب عربية كافية لتفوز الأزواج العربية بدورات. وهذه هي حجة الشريحة 50 كاملة، في جملة واحدة.

SuperBPE, slide 51

SuperBPE، الشريحة 51

Remember the pre-tokenizer from slide 48 that stops merges crossing a space. SuperBPE's idea is to let some tokenizers merge across spaces in later stages.

تذكّر الـ pre-tokenizer من الشريحة 48 الذي يمنع الـ merges من عبور المسافة. وفكرة SuperBPE هي السماح لبعض المقطّعات بـ الدمج عبر المسافات في المراحل المتأخرة.

• Goal: encode frequent multiword units for efficiency.

  الهدف: ترميز الوحدات متعددة الكلمات المتكررة من أجل الكفاءة.

• Tradeoff: may reduce compositionality.

  المقابل: قد يقلّل التركيبية (compositionality).

"Later stages" is doing work in that first bullet. You train normally first, so the ordinary within-word subwords get learned, and only then do you lift the space restriction for a second stage. The big multiword tokens get built on top of a normal vocabulary rather than instead of one.

عبارة "later stages" تحمل ثقلاً في النقطة الأولى. أنت تدرّب بشكل عادي أولاً، فتُتعلَّم الـ subwords العادية داخل الكلمات، وبعد ذلك فقط ترفع قيد المسافة لمرحلة ثانية. فتُبنى الـ tokens الكبيرة متعددة الكلمات فوق vocabulary عادي، لا بدلاً منه.

The slide's figure tokenizes one sentence both ways. Counted off the figure:

يقطّع شكل الشريحة جملة واحدة بالطريقتين، وهذا العدّ مأخوذ من الشكل:

يقابل الجدول تقطيع الجملة "By the way, I am a fan of the Milky Way." بالطريقتين: BPE يعطي 13 token، كل كلمة وكل علامة ترقيم على حدة. وSuperBPE يعطي 8 فقط، لأنه يجمع By the way وI am وof the وMilky Way كل واحدة منها في token واحد.

Thirteen tokens down to eight on one sentence, with the merged units being exactly the phrases that always travel together: By the way, of the, Milky Way.

من ثلاثة عشر token إلى ثمانية في جملة واحدة، والوحدات المدموجة هي بالضبط العبارات التي تسافر معاً دائماً: By the way، وof the، وMilky Way.

Now the tradeoff. If Milky Way is a single atomic token, the model's representation of it is no longer built out of Milky and Way. For this phrase that is arguably correct, since the galaxy has little to do with milk. But the same mechanism applies to phrases where the parts do matter, and there the model loses the ability to compose. That is what "may reduce compositionality" means: you traded the ability to build meaning from parts for fewer positions to process.

الآن المقابل. إذا كان Milky Way token واحداً ذرياً، فتمثيل النموذج له لم يُبنَ من Milky وWay. ولهذه العبارة قد يكون ذلك صحيحاً، فالمجرة لا علاقة لها باللبن. لكن الآلية نفسها تنطبق على عبارات تهم أجزاؤها فعلاً، وهناك يفقد النموذج القدرة على التركيب. وهذا معنى "may reduce compositionality": بدّلت القدرة على بناء المعنى من أجزائه بمواضع أقل للمعالجة.

Design checklist, slide 52

قائمة قرارات التصميم، الشريحة 52

The closing slide is a list of decisions you have to make when you build a tokenizer. Each one is a plausible short-answer prompt.

الشريحة الختامية قائمة بالقرارات التي يجب اتخاذها عند بناء مقطّع، وكل قرار منها سؤال قصير محتمل.

يسرد الجدول خمسة قرارات من الشريحة 52 وما يؤثر عليه كل منها: Pre-tokenization، أي هل تقسّم على المسافات وهل تبقي المسافات tokens، ويحدد هل تعبر الـ merges حدود الكلمات. وNormalization، ويحدد هل تصبح السلاسل المتطابقة بصرياً token واحداً. وSpecial tokens، ويحدد حدود التسلسل والتجميع والبديل. والأرقام والـ URLs والرموز التعبيرية، وهي تتفتت بشكل سيئ. والتغطية متعددة اللغات والتحيّز.

The four special tokens are worth being able to name cold: beginning of sequence, end of sequence, unknown, padding. Note that a byte-level tokenizer still carries <UNK> as a slot, it just never has cause to emit it.

الـ tokens الخاصة الأربعة تستحق أن تسمّيها من الذاكرة: بداية التسلسل، ونهاية التسلسل، والمجهول، والحشو. ولاحظ أن المقطّع على مستوى الـ bytes ما زال يحمل <UNK> كخانة، لكنه لا يجد أبداً سبباً لإخراجه.

Thirty-second recap

خلاصة في ثلاثين ثانية