Tokenization units and byte-pair encodingوحدات التقسيم وترميز أزواج البايتات (BPE)

Take the six-word string that the rest of this part will keep returning to: set new new renew reset renew. Split it at spaces and you have one token per word. Split it into characters, keeping a marker for each space, and you have one token per character. Split it with the subword vocabulary this part will learn and you get something in between.

خذ السلسلة ذات الكلمات الست التي سيعود إليها هذا الجزء مرارًا: set new new renew reset renew. قسّمها عند المسافات فتحصل على وحدة لكل كلمة. قسّمها إلى حروف مع الإبقاء على وسم لكل مسافة فتحصل على وحدة لكل حرف. قسّمها بمفردات الوحدات الفرعية التي سيتعلمها هذا الجزء فتحصل على شيء بينهما.

Same text, three very different values of N and |V|. That is the whole subject of Tokenization in one example. Tokenization converts raw text into a sequence of tokens, the units that a model or a pipeline operates on, and the choice of unit fixes three things at once: the Vocabulary the model must learn embeddings for, the length of every input, and what the model can represent at all. Earlier parts of this lecture treated the unit as given and asked what a word is. This part reverses the question: given that we may pick the unit, what should we optimise for?

النص نفسه، وثلاث قيم مختلفة جدًا لـ N و|V|. هذا هو موضوع tokenization كله في مثال واحد. يحوّل التقطيع النص الخام إلى تسلسل من tokens، وهي الوحدات التي يعمل عليها النموذج أو خط المعالجة، واختيار الوحدة يثبّت ثلاثة أشياء دفعة واحدة: المفردات (vocabulary) التي يجب أن يتعلم النموذج تضمينات (embeddings) لها، وطول كل مدخل، وما يستطيع النموذج تمثيله أصلًا. الأجزاء السابقة من هذه المحاضرة عاملت الوحدة على أنها معطاة وسألت: ما الكلمة؟ هذا الجزء يعكس السؤال: إذا كان لنا أن نختار الوحدة، فما الذي ينبغي أن نحسّنه؟

The four criteria pull in different directions, which is why no single unit wins. Coverage asks how often new text contains something the vocabulary cannot represent, the out-of-vocabulary problem from the Zipf and Heaps part: with word tokens the answer is always, because Heaps' law says the word vocabulary never closes. Compactness asks how many tokens the model must process; every token costs attention, memory and, in a hosted API, money. Meaningfulness asks whether one token corresponds to one unit of meaning, which makes downstream tasks such as tagging and parsing easier. Cross-lingual applicability asks whether the same scheme works for Chinese, which has no spaces, and for Arabic, whose clitics glue several words into one whitespace token.

المعايير الأربعة تشدّ في اتجاهات مختلفة، ولهذا لا تفوز وحدة واحدة. التغطية (coverage) تسأل: كم مرة يحتوي نص جديد على شيء لا تستطيع المفردات تمثيله؟ وهذه مشكلة out-of-vocabulary من جزء Zipf وHeaps: مع وحدات الكلمات يكون الجواب دائمًا، لأن Heaps' law ينص على أن مفردات الكلمات لا تنغلق أبدًا. الإيجاز (compactness) يسأل: كم وحدة يجب أن يعالجها النموذج؟ فكل وحدة تكلّف انتباهًا (attention) وذاكرة، وفي واجهة API مستضافة تكلّف مالًا. الدلالة (meaningfulness) تسأل: هل تقابل الوحدة الواحدة وحدة معنى واحدة؟ وهذا يسهّل المهام اللاحقة مثل الوسم والإعراب (tagging، parsing). الصلاحية عبر اللغات تسأل: هل يعمل المخطط نفسه مع الصينية التي لا مسافات فيها، ومع العربية التي تلصق لواحقها (clitics) عدة كلمات في وحدة مسافية واحدة؟

There is also a quieter reason to care. Jurafsky and Martin note that a standardised tokenization is essential for replicability: a perplexity or an F1 score only means something if the units are the same, so the tokenizer is part of the experimental protocol, not a preprocessing detail (SLP3, chapter 2).

وهناك سبب أهدأ للاهتمام. يشير Jurafsky وMartin إلى أن التقطيع الموحَّد ضروري لقابلية تكرار التجارب: قيمة perplexity أو F1 لا تعني شيئًا إلا إذا كانت الوحدات نفسها، لذلك المقطِّع جزء من البروتوكول التجريبي وليس تفصيلًا من تفاصيل المعالجة المسبقة (SLP3، الفصل 2).

Take the word renewed. As a word token it is one unit, but only if it appeared in training; if it did not, it is an unknown. As characters it is 7 letters, eight tokens with the leading space marker, none of which means anything alone. With the subword vocabulary learned later in this part it is four tokens, _re new e d, and the model has seen every one of them before even though it has never seen the word. Those three outcomes are the three granularities, and each buys something by paying for something else.

خذ الكلمة renewed. كوحدة كلمة هي وحدة واحدة، لكن فقط إذا ظهرت في التدريب؛ وإن لم تظهر فهي مجهولة. كحروف هي 7 أحرف، أي ثماني وحدات مع space marker البادئ، ولا يعني أيٌّ منها شيئًا بمفرده. ومع مفردات الوحدات الفرعية التي سنتعلمها لاحقًا في هذا الجزء تصبح أربع وحدات، _re new e d، وقد رأى النموذج كل واحدة منها من قبل رغم أنه لم يرَ الكلمة قط. هذه النتائج الثلاث هي مستويات الدقة (granularity) الثلاثة، وكل منها يكسب شيئًا بدفع ثمن شيء آخر.

Words: meaningful, but the vocabulary never closesالكلمات: ذات معنى، لكن المفردات لا تنغلق أبدًا

Word tokens are the natural first choice. They are meaningful, they line up with dictionaries and with the lexicons that rule-based systems consult, and tasks that need explicit word boundaries, such as part-of-speech tagging, syntactic parsing and lexicon-driven pipelines, are built around them. The problems are the ones the first four parts of this lecture already exposed. "Word" is ambiguous across languages: punctuation, contractions, compounds, clitics and scripts without spaces all give different answers. And the vocabulary is enormous and open-ended. Heaps' law says |V| keeps growing with N, so however large the training corpus, test text brings rare and unseen words, and every one of them is an OOV token the model must lump into a single UNK symbol.

وحدات الكلمات هي الخيار الأول الطبيعي. فهي ذات معنى، وتتوافق مع القواميس ومع المعاجم التي ترجع إليها الأنظمة القائمة على القواعد، والمهام التي تحتاج حدودًا صريحة للكلمات، مثل وسم أقسام الكلام (POS tagging) والإعراب النحوي وخطوط المعالجة المعتمدة على المعاجم، مبنية حولها. المشكلات هي نفسها التي كشفتها الأجزاء الأربعة الأولى من هذه المحاضرة. مفهوم "الكلمة" ملتبس بين اللغات: علامات الترقيم والاختصارات المدمجة (contractions) والكلمات المركبة واللواحق والكتابات التي بلا مسافات كلها تعطي إجابات مختلفة. ثم إن المفردات ضخمة ومفتوحة بلا حد. ينص Heaps' law على أن |V| يستمر في النمو مع N، فمهما كبرت مدوّنة التدريب يأتي نص الاختبار بكلمات نادرة وغير مرئية، وكل واحدة منها وحدة OOV يجب على النموذج أن يجمعها في رمز UNK واحد.

Characters: nothing is unknown, but everything is longالحروف: لا شيء مجهول، لكن كل شيء طويل

Go to the other extreme and tokenize into characters. The vocabulary is tiny, a few dozen letters for Latin script or, at byte level, exactly 256 values. There is no OOV at all, because any string is spelled from the base symbols, and the tokenizer is robust to spelling variants, typos and OCR noise since a damaged word still shares most of its characters with the clean one. The price is paid in sequence length and in meaning. The 6-word string became 29 tokens, roughly five times longer, and attention cost grows with the square of that length. Two words that sit a sentence apart become dozens of positions apart, so a model with a fixed context window sees less of the surrounding text and must learn dependencies across far longer distances. Meaning is spread across many tokens, so the model must spend capacity learning to reassemble words before it can learn anything about them, which makes training slower. Characters are the right call for noisy text, for extremely low-resource languages where no subword vocabulary can be trusted, and for specialised tasks such as transliteration where the character really is the unit.

اذهب إلى الطرف الآخر وقطّع إلى حروف. المفردات صغيرة جدًا: بضع عشرات من الحروف للكتابة اللاتينية، أو بالضبط 256 قيمة على مستوى البايت. لا توجد OOV إطلاقًا، لأن أي سلسلة تُكتب من الرموز الأساسية، والمقطِّع متين أمام اختلافات الإملاء والأخطاء الطباعية وضوضاء OCR، لأن الكلمة المشوّهة تشترك مع السليمة في معظم حروفها. الثمن يُدفع في طول التسلسل وفي المعنى. السلسلة ذات الكلمات 6 صارت 29 وحدة، أي أطول بخمس مرات تقريبًا، وتكلفة الانتباه تنمو مع مربع هذا الطول. كلمتان تفصل بينهما جملة تصبحان على بُعد عشرات المواضع، فيرى نموذج ذو نافذة سياق ثابتة قدرًا أقل من النص المحيط، ويجب أن يتعلم اعتماديات عبر مسافات أطول بكثير. والمعنى موزّع على وحدات كثيرة، فيُنفق النموذج سعته في تعلّم إعادة تجميع الكلمات قبل أن يتعلم أي شيء عنها، وهذا يبطئ التدريب. الحروف هي الخيار الصحيح للنص المليء بالضوضاء، وللغات شديدة الندرة في الموارد حيث لا يمكن الوثوق بأي مفردات فرعية، وللمهام المتخصصة مثل النقحرة (transliteration) حيث يكون الحرف هو الوحدة فعلًا.

Subwords: the middle ground modern models useالوحدات الفرعية: الحل الوسط الذي تستخدمه النماذج الحديثة

Subword tokenization keeps a vocabulary smaller than a word vocabulary and produces sequences shorter than a character sequence, and its decisive property is the third row of the table: an unseen word is composed from pieces that were seen. The GPT-2 paper describes byte-pair encoding as a practical middle ground that interpolates between word-level inputs for frequent symbol sequences and character-level inputs for infrequent ones (Radford et al., 2019). Frequent words stay whole, rare words shatter into recognisable parts, and nothing is ever unknown.

Subword tokenization يحافظ على مفردات أصغر من مفردات الكلمات، وينتج تسلسلات أقصر من تسلسلات الحروف، وخاصيته الحاسمة هي الصف الثالث في الجدول: الكلمة غير المرئية تُركَّب من قطع سبق رؤيتها. تصف ورقة GPT-2 الـ byte-pair encoding بأنه حل وسط عملي يتدرّج بين مدخلات على مستوى الكلمة للتسلسلات الرمزية المتكررة ومدخلات على مستوى الحرف للنادرة (Radford et al., 2019). الكلمات المتكررة تبقى كاملة، والكلمات النادرة تتفتت إلى أجزاء يمكن التعرف عليها، ولا شيء يكون مجهولًا أبدًا.

There are two ways to decide what the pieces are. The linguistically natural way is to cut at morphemes, since morphemes carry meaning by definition. But the morphology parts of this lecture showed why that is hard: allomorphy changes the shape of a morpheme by context, non-concatenative morphology interleaves an Arabic root with a pattern rather than concatenating anything, and clitics blur the boundary between word and affix. Morpheme segmentation needs a linguist, or a model, per language, and it remains ambiguous even then. It is useful in some applications but it is not the common approach in modern language models. The language-agnostic way is to learn frequent substrings from data with no linguistic knowledge at all. That is what byte-pair encoding does, and Jurafsky and Martin name BPE and unigram language modelling as the two families widely used in modern language models (SLP3, section 2.4). They work across languages, reduce OOV and stay efficient, which is why the rest of this part is about one of them.

هناك طريقتان لتحديد ما هي القطع. الطريقة الطبيعية لغويًا هي القطع عند الصرفيمات (morphemes)، لأن الصرفيمات تحمل المعنى بالتعريف. لكن أجزاء الصرف في هذه المحاضرة أظهرت لماذا هذا صعب: التبدّل الصرفي (allomorphy) يغيّر شكل الصرفيم حسب السياق، وnon-concatenative morphology يداخل الجذر العربي مع الوزن بدلًا من وصل شيء بشيء، واللواحق تطمس الحد بين الكلمة والزائدة. تقسيم الصرفيمات يحتاج لغويًا، أو نموذجًا، لكل لغة، ويبقى ملتبسًا حتى مع ذلك. هو مفيد في بعض التطبيقات لكنه ليس النهج الشائع في النماذج اللغوية الحديثة. الطريقة المستقلة عن اللغة هي تعلّم السلاسل الفرعية المتكررة من البيانات دون أي معرفة لغوية على الإطلاق. هذا ما يفعله byte-pair encoding، ويذكر Jurafsky وMartin أن BPE وunigram language modelling هما العائلتان المستخدمتان على نطاق واسع في النماذج اللغوية الحديثة (SLP3، القسم 2.4). تعملان عبر اللغات، وتقللان OOV، وتبقيان فعّالتين، ولهذا خُصّص بقية هذا الجزء لإحداهما.

Here is the smallest corpus that shows the whole idea, borrowed from Jurafsky and Martin: the ten-character string A B D C A B E C A B with the vocabulary {A, B, C, D, E}. Look for the pair of adjacent symbols that occurs most often. It is A B, three times. Replace every A B with a new symbol AB and add it to the vocabulary. Now look again.

إليك أصغر مدوّنة تُظهر الفكرة كلها، مأخوذة من Jurafsky وMartin: السلسلة ذات الحروف العشرة A B D C A B E C A B مع المفردات {A, B, C, D, E}. ابحث عن زوج الرموز المتجاورة الأكثر تكرارًا. إنه A B، ثلاث مرات. استبدل كل A B برمز جديد AB وأضفه إلى المفردات. ثم انظر مجددًا.

That loop is the entire training algorithm of byte-pair encoding. The slide's pseudocode, which is Figure 2.6 of SLP3 adapted from Bostrom and Durrett (2020), reads as follows. Start with V equal to the set of unique characters (or bytes) in the Corpus C. Then repeat k times: find the most frequent pair of adjacent tokens tL, tR in C, form the new token tNEW = tL + tR by concatenation, add it to V, and replace every occurrence of tL tR in C with tNEW. Return V. One iteration of the loop is a Merge.

هذه الحلقة هي خوارزم التدريب الكامل لـ byte-pair encoding. الشيفرة الزائفة في الشريحة، وهي الشكل 2.6 في SLP3 المقتبس من Bostrom and Durrett (2020)، تقول ما يلي. ابدأ بـ V مساوية لمجموعة الحروف (أو البايتات) الفريدة في corpus C. ثم كرّر k مرة: جد زوج الوحدات المتجاورة الأكثر تكرارًا tL, tR في C، وكوّن الوحدة الجديدة tNEW = tL + tR بالوصل، وأضفها إلى V، واستبدل كل ظهور لـ tL tR في C بـ tNEW. أعِد V. التكرار الواحد للحلقة يسمى merge (دمج).

Sennrich, Haddow and Birch, who introduced BPE for neural machine translation, state the consequence plainly: the final symbol vocabulary size is equal to the size of the initial vocabulary plus the number of merge operations, and the number of merges is the only hyperparameter of the algorithm (Sennrich et al., 2016). In the toy example k is 2 or 4. In practice Jurafsky and Martin describe tens of thousands of merges on a very large corpus to produce vocabularies of 50,000, 100,000 or even 200,000 tokens, and GPT-2's vocabulary is 50,257 entries (Radford et al., 2019).

يذكر Sennrich وHaddow وBirch، الذين قدّموا BPE للترجمة الآلية العصبية، النتيجة صراحة: حجم مفردات الرموز النهائي يساوي حجم المفردات الأولية زائد عدد عمليات الدمج، وعدد الدمجات هو المعامل الفائق (hyperparameter) الوحيد للخوارزم (Sennrich et al., 2016). في المثال الصغير k يساوي 2 أو 4. أما عمليًا فيصف Jurafsky وMartin عشرات الآلاف من الدمجات على مدوّنة ضخمة جدًا لإنتاج مفردات من 50,000 أو 100,000 أو حتى 200,000 وحدة، ومفردات GPT-2 فيها 50,257 عنصرًا (Radford et al., 2019).

Two practical details shape the counting. First, merges never cross word boundaries. Sennrich's implementation says it does not consider pairs that cross word boundaries for efficiency, so the corpus is stored as a table of distinct words with their counts, and a pair inside a word that occurs twice in the corpus is counted twice. That is exactly why the slides list the toy corpus as four rows with counts rather than as running text. Second, the base symbols can be characters or bytes. GPT-2 works on UTF-8 bytes because a Unicode Code point vocabulary would start at over 130,000 entries, whereas byte-level BPE starts at exactly 256 and, since every byte is in the vocabulary, there can never be an unknown token (Radford et al., 2019; SLP3, section 2.4).

تفصيلان عمليان يشكّلان طريقة العدّ. أولًا، الدمجات لا تعبر حدود الكلمات أبدًا. ينص تطبيق Sennrich على أنه لا يأخذ في الحسبان الأزواج التي تعبر حدود الكلمات من أجل الكفاءة، لذلك تُخزَّن المدوّنة جدولًا من الكلمات المميزة مع أعدادها، والزوج داخل كلمة تظهر مرتين في المدوّنة يُعدّ مرتين. ولهذا بالضبط تعرض الشرائح المدوّنة الصغيرة أربعة صفوف مع أعدادها بدلًا من نص متصل. ثانيًا، يمكن أن تكون الرموز الأساسية حروفًا أو بايتات. يعمل GPT-2 على بايتات UTF-8 لأن مفردات من code points Unicode كانت ستبدأ بأكثر من 130,000 عنصر، بينما يبدأ byte-level BPE بـ 256 بالضبط، ولأن كل بايت موجود في المفردات لا يمكن أن تظهر وحدة مجهولة أبدًا (Radford et al., 2019؛ SLP3، القسم 2.4).

Where the algorithm came from, and its two halvesمن أين جاء الخوارزم، ونصفاه

The name is older than NLP. Philip Gage published byte pair encoding in 1994 as a data compression method: find the most frequently occurring pair of adjacent bytes in the data, replace all instances with a byte that was not in the original data, and repeat until no further compression is possible (Gage, 1994). Sennrich and colleagues adapted it for word segmentation, and two things changed. The units became characters rather than bytes, and the stopping rule became a fixed k rather than exhaustion, so the merges are no longer a throwaway table for one file but a reusable vocabulary shared by every text the model will ever see.

الاسم أقدم من NLP. نشر Philip Gage خوارزم byte pair encoding عام 1994 طريقةً لضغط البيانات: جد زوج البايتات المتجاورة الأكثر تكرارًا في البيانات، واستبدل كل ظهوراته ببايت لم يكن في البيانات الأصلية، وكرّر حتى لا يعود الضغط ممكنًا (Gage, 1994). كيّفه Sennrich وزملاؤه لتقسيم الكلمات، وتغيّر أمران. صارت الوحدات حروفًا بدلًا من بايتات، وصارت قاعدة التوقف عددًا ثابتًا k بدلًا من الاستنفاد، فلم تعد الدمجات جدولًا يُرمى بعد ملف واحد، بل مفردات قابلة لإعادة الاستخدام يتشاركها كل نص سيراه النموذج.

That reuse is why BPE has two parts. The trainer runs once, over the training corpus, and produces the vocabulary together with the ordered list of merges it performed. The encoder runs every time new text arrives and applies that list. The two must never be confused, and the last concept of this part is devoted to the encoder. The simulator below is the trainer: step through the merges and watch the pair table decide each one, then encode a word of your own in its lower panel; the encoder concept returns to that panel on its own.

إعادة الاستخدام هذه هي سبب وجود جزأين لـ BPE. المدرِّب (trainer) يعمل مرة واحدة على مدوّنة التدريب، وينتج المفردات مع القائمة المرتبة للدمجات التي نفّذها. المرمِّز (encoder) يعمل في كل مرة يصل فيها نص جديد ويطبّق تلك القائمة. يجب ألا يُخلط بينهما أبدًا، والمفهوم الأخير في هذا الجزء مخصص للمرمِّز. المحاكي أدناه هو المدرِّب: تقدّم عبر الدمجات وراقب جدول الأزواج يقرر كل واحدة، ثم رمّز كلمة من اختيارك في لوحته السفلية؛ ويعود مفهوم المرمِّز إلى تلك اللوحة بشكل مستقل.

Now run the BPE trainer by hand on the slide Corpus, set new new renew reset renew, for k = 4. This is the same example as the current SLP3 draft (example 2.11 in section 2.4), so the tables here match both the slides and the book symbol for symbol. The slides show the corpus and the Vocabulary after each Merge but never the pair counts that decided it, so those are worked out in full below.

الآن شغّل مدرِّب BPE يدويًا على corpus الشريحة، set new new renew reset renew، لعدد k = 4. هذا هو المثال نفسه في مسودة SLP3 الحالية (المثال 2.11 في القسم 2.4)، لذلك تطابق الجداول هنا الشرائح والكتاب رمزًا برمز. تعرض الشرائح المدوّنة وvocabulary بعد كل merge، لكنها لا تعرض أبدًا أعداد الأزواج التي حسمته، لذلك نحسبها كاملة أدناه.

First the setup. Every word except the first carries a leading space marker, drawn as an open box on the slides and written _ here. The first word, set, starts the string, so it has none. Grouping equal words gives four rows with counts: 2 × _ n e w, 2 × _ r e n e w, 1 × s e t and 1 × _ r e s e t. The initial vocabulary is the seven symbols _, e, n, r, s, t, w, and the corpus holds 2 × 4 + 2 × 6 + 3 + 6 = 29 symbols. Pair counts are weighted by row count: a pair that occurs once inside _ n e w counts 2.

أولًا الإعداد. كل كلمة ما عدا الأولى تحمل space marker بادئًا، يُرسم مربعًا مفتوحًا في الشرائح ونكتبه _ هنا. الكلمة الأولى، set، تبدأ السلسلة فلا وسم لها. تجميع الكلمات المتساوية يعطي أربعة صفوف مع أعدادها: 2 × _ n e w و2 × _ r e n e w و1 × s e t و1 × _ r e s e t. المفردات الأولية هي الرموز السبعة _, e, n, r, s, t, w، والمدوّنة تحوي 2 × 4 + 2 × 6 + 3 + 6 = 29 رمزًا. أعداد الأزواج موزونة بعدد الصف: الزوج الذي يظهر مرة واحدة داخل _ n e w يُعدّ 2.

Ties: the pseudocode is silent, so state your ruleالتعادل: الشيفرة الزائفة صامتة، فاذكر قاعدتك

Two of the four steps were decided by a tie, and the algorithm as written never says how to break one. Real implementations do have a rule, and it is worth knowing which. The minimal listing in the Sennrich paper (Algorithm 1) picks the best pair with Python's max(pairs, key=pairs.get), which in modern Python (3.7 and later, where dictionaries keep insertion order) returns the first pair encountered while scanning. The released subword-nmt implementation instead selects with max(stats, key=lambda x: (stats[x], x)), which prefers the lexicographically largest pair among the tied ones. On this corpus that rule agrees with the slides at merge 1, choosing (n, e) because n sorts after e, but at merge 3 it chooses (r, e) over (_, r). The Hugging Face course states the first-encountered convention explicitly: when there is a choice of the most frequent pair, the first one encountered is selected. The 🤗 Tokenizers library breaks ties by internal token ids, and the simulator's alphabetical option takes the smallest pair.

خطوتان من الخطوات الأربع حسمهما تعادل، والخوارزم كما هو مكتوب لا يقول أبدًا كيف يُكسر. التطبيقات الحقيقية لها قاعدة فعلًا، ومن المفيد معرفة أيّها. القائمة المختصرة في ورقة Sennrich (الخوارزم 1) تختار أفضل زوج بـ max(pairs, key=pairs.get) في Python، وهذا في Python الحديثة (3.7 وما بعدها، حيث تحافظ القواميس على ترتيب الإدخال) يعيد أول زوج يُصادَف أثناء المسح. أما تطبيق subword-nmt المنشور فيختار بـ max(stats, key=lambda x: (stats[x], x))، الذي يفضّل الزوج الأكبر معجميًا بين المتعادلين. على هذه المدوّنة تتفق هذه القاعدة مع الشرائح في الدمج 1، فتختار (n, e) لأن n تأتي بعد e في الترتيب، لكنها في الدمج 3 تختار (r, e) بدلًا من (_, r). دورة Hugging Face تنص على اصطلاح الظهور الأول صراحة: عندما يكون هناك خيار بين الأزواج الأكثر تكرارًا، يُختار أول زوج يُصادَف. مكتبة 🤗 Tokenizers تكسر التعادل بمعرّفات الوحدات الداخلية، والخيار الأبجدي في المحاكي يأخذ أصغر زوج.

The simulator lets you switch between first-seen and alphabetical order, and on this corpus the very first merge already differs: alphabetical order picks (e, w) over (n, e), so the vocabulary ends with ew where the slides have ne, even though the corpus rows after four merges are identical. That is exactly why an exam answer must state its rule.

يتيح لك المحاكي التبديل بين ترتيب الظهور الأول والترتيب الأبجدي، وعلى هذه المدوّنة يختلف الدمج الأول نفسه: الترتيب الأبجدي يختار (e, w) بدلًا من (n, e)، فتنتهي المفردات بـ ew حيث في الشرائح ne، رغم أن صفوف المدوّنة بعد أربع دمجات متطابقة. ولهذا بالضبط يجب أن تذكر إجابة الامتحان قاعدتها.

The order of the rows matters too, because "first encountered" depends on it. The slides list the four rows by count, most frequent first, and so does SLP3. Jurafsky and Martin continue the same trace past the slides: merges five to seven are _new, _renew and se, each decided by a tie at count 2, and merge eight, set, is then forced because (se, t) is the only pair left at 2. The simulator reproduces that order exactly when its rows are listed the same way.

ترتيب الصفوف مهم أيضًا، لأن "أول ما يُصادَف" يعتمد عليه. الشرائح ترتب الصفوف الأربعة حسب العدد، الأكثر تكرارًا أولًا، وكذلك SLP3. يواصل Jurafsky وMartin التتبّع نفسه بعد الشرائح: الدمجات من الخامس إلى السابع هي _new و_renew وse، وكل منها حسمه تعادل عند العدد 2، ثم يُفرض الدمج الثامن، set، لأن (se, t) هو الزوج الوحيد المتبقي عند 2. يعيد المحاكي إنتاج هذا الترتيب بالضبط عندما تُرتب صفوفه بالطريقة نفسها.

What the space marker does to the learned unitsماذا يفعل وسم المسافة بالوحدات المتعلَّمة

The marker is not cosmetic. Because this deck attaches it to the start of a word, the trainer learned _re, a word-initial piece, and that token is different from a re that occurs inside a word, as in _ c a re, which never merges into _re. Jurafsky and Martin put it this way: the system has essentially induced that there is a word-initial prefix re- (SLP3, section 2.4). This leading-marker convention is the one used by GPT-2, whose byte-level tokenizer shows the space as Ġ, and by SentencePiece, which shows it as ▁ (U+2581); in both, the space rides on the following word (Hugging Face tokenizers documentation). It also explains why set in the trace never carries a marker: it is the first word of the string, so no space precedes it, and s e t and _ s e t are different strings to the trainer.

الوسم ليس تجميليًا. لأن هذه الشرائح تلصقه ببداية الكلمة، تعلّم المدرِّب _re، وهي قطعة في بداية الكلمة، وهذه الوحدة تختلف عن re التي تظهر داخل كلمة، كما في _ c a re، التي لا تندمج أبدًا في _re. يعبّر Jurafsky وMartin عن ذلك هكذا: لقد استنتج النظام فعليًا أن هناك سابقة في بداية الكلمة هي re- (SLP3، القسم 2.4). اصطلاح الوسم البادئ هذا هو الذي يستخدمه GPT-2، الذي يُظهر مقطِّعه على مستوى البايت المسافة على شكل Ġ، وSentencePiece، الذي يُظهرها على شكل ▁ (U+2581)؛ وفي كليهما تركب المسافة على الكلمة التالية (توثيق Hugging Face tokenizers). وهذا يفسر أيضًا لماذا لا تحمل set في التتبّع وسمًا أبدًا: إنها الكلمة الأولى في السلسلة فلا تسبقها مسافة، وs e t و_ s e t سلسلتان مختلفتان بالنسبة للمدرِّب.

The original paper did it the other way round. Sennrich, Haddow and Birch appended a special end-of-word symbol to every word so that the original tokenization could be restored after translation, and older SLP3 drafts followed them with the corpus low lowest newer wider new (Sennrich's own listing uses low lower newest widest). Under that convention every word gets a marker, the marker sits at the end, and the prefix would be learned as plain re.

الورقة الأصلية فعلت العكس. ألحق Sennrich وHaddow وBirch رمزًا خاصًا لنهاية الكلمة بكل كلمة حتى يمكن استعادة التقطيع الأصلي بعد الترجمة، وتبعتهم مسودات SLP3 الأقدم بالمدوّنة low lowest newer wider new (القائمة الخاصة بـ Sennrich تستخدم low lower newest widest). وفق هذا الاصطلاح تحصل كل كلمة على وسم، ويقع الوسم في النهاية، وكانت السابقة ستُتعلَّم على شكل re عادية.

Training is over. The merge list ne, new, _r, _re is frozen, and a word arrives that the trainer never saw: renewed, with its leading space. The encoder does not count anything. It writes the word as characters and replays the four merges, first to last.

انتهى التدريب. قائمة merge وهي ne, new, _r, _re مجمّدة، وتصل كلمة لم يرها المدرِّب قط: renewed، مع مسافتها البادئة. المرمِّز لا يعدّ أي شيء. إنه يكتب الكلمة حروفًا ويعيد تطبيق الدمجات الأربع، من الأول إلى الأخير.

Try the same replay on words of your own. The panel below starts from the four slide merges; type newest, reset or an Arabic transliteration, tick sentence-initial to drop the marker, and raise k to watch _new and set collapse into single tokens once merges five to eight exist.

جرّب إعادة التشغيل نفسها على كلمات من اختيارك. تبدأ اللوحة أدناه من دمجات الشريحة الأربع؛ اكتب newest أو reset أو كلمة عربية منقحرة بحروف لاتينية، وفعّل خيار بداية الجملة لإسقاط الوسم، وارفع k لترى _new وset تنضمّان في وحدات مفردة بمجرد وجود الدمجات من الخامس إلى الثامن.

The rule behind the trace is short. To tokenize a new string, start from characters or bytes, apply the learned merges in the order they were learned, and output the resulting subword sequence. The slide calls this "greedy": each merge fires on every place it matches as soon as its turn comes, the encoder never goes back, and it never searches for the longest vocabulary entry. Jurafsky and Martin are exact about what the encoder does not do: it just runs on the test data the merges learned from the training data, in the order they were learned, and the frequencies in the test data play no role, only the frequencies in the training data (SLP3, section 2.4). Sennrich describes the same procedure: split words into sequences of characters, then apply the learned operations to merge the characters into larger known symbols. Because the list is fixed, the output is deterministic: the same input always yields the same tokens, which is what lets a model trained on one tokenization be served with it later.

القاعدة وراء التتبّع قصيرة. لتقطيع سلسلة جديدة، ابدأ من الحروف أو البايتات، وطبّق الدمجات المتعلَّمة بالترتيب الذي تُعلِّمت به، وأخرج تسلسل الوحدات الفرعية الناتج. تسمي الشريحة هذا "جشعًا" (greedy): كل دمج يُطلَق على كل موضع يطابقه بمجرد أن يحين دوره، والمرمِّز لا يعود إلى الوراء أبدًا، ولا يبحث أبدًا عن أطول عنصر في المفردات. Jurafsky وMartin دقيقان بشأن ما لا يفعله المرمِّز: إنه يشغّل فقط على بيانات الاختبار الدمجات التي تعلّمها من بيانات التدريب، بالترتيب الذي تُعلِّمت به، والتكرارات في بيانات الاختبار لا دور لها، فقط التكرارات في بيانات التدريب (SLP3، القسم 2.4). ويصف Sennrich الإجراء نفسه: قسّم الكلمات إلى تسلسلات من الحروف، ثم طبّق العمليات المتعلَّمة لدمج الحروف في رموز معروفة أكبر. ولأن القائمة ثابتة فالناتج حتمي: المدخل نفسه يعطي دائمًا الوحدات نفسها، وهذا ما يتيح تقديم نموذج دُرِّب على تقطيع معيّن بالتقطيع نفسه لاحقًا.

Order is not a convention but a dependency. Merge 2 joins ne and w, and ne only exists if merge 1 has already run; merge 4 needs _r from merge 3 in the same way. Replaying the list out of order would produce segmentations that never occurred during training, so the model would receive token ids it has no experience of, even though every id is technically in the vocabulary. With tens of thousands of merges, most words in ordinary text are covered by a single token and only rare words break into pieces, which is the interpolation between word and character level that the GPT-2 paper describes (Radford et al., 2019).

الترتيب ليس اصطلاحًا بل اعتمادية. الدمج 2 يضم ne وw، وne لا توجد إلا إذا كان الدمج 1 قد نُفِّذ؛ والدمج 4 يحتاج _r من الدمج 3 بالطريقة نفسها. إعادة تطبيق القائمة بغير ترتيبها ستنتج تقسيمات لم تحدث قط أثناء التدريب، فيتلقى النموذج معرّفات وحدات لا خبرة له بها، رغم أن كل معرّف موجود تقنيًا في المفردات. ومع عشرات الآلاف من الدمجات، تغطي وحدة واحدة معظم الكلمات في النص العادي، ولا تتكسر إلى قطع إلا الكلمات النادرة، وهذا هو التدرّج بين مستوى الكلمة ومستوى الحرف الذي تصفه ورقة GPT-2 (Radford et al., 2019).

One last coverage detail depends on the base symbols. A character-level BPE trained on English letters still has a hole: the Hugging Face course shows mug encoding as [UNK] ug because m never appeared in its toy corpus, so it is not in the vocabulary at all. A byte-level tokenizer starts from all 256 byte values, so any UTF-8 string, including Arabic, emoji and typos, is encodable and the UNK special token is never needed (Radford et al., 2019; Hugging Face tokenizers documentation). The next part looks at what this does to non-Latin scripts.

تفصيل أخير في التغطية يعتمد على الرموز الأساسية. BPE على مستوى الحرف مدرَّب على الحروف الإنجليزية ما زال فيه ثغرة: دورة Hugging Face تُظهر mug تُرمَّز على شكل [UNK] ug لأن m لم تظهر قط في مدوّنتها الصغيرة، فهي ليست في المفردات أصلًا. أما مقطِّع byte-level فيبدأ من كل قيم البايت الـ 256، لذلك أي سلسلة UTF-8، بما في ذلك العربية والرموز التعبيرية والأخطاء الطباعية، قابلة للترميز، ولا حاجة أبدًا إلى special token UNK (Radford et al., 2019؛ توثيق Hugging Face tokenizers). الجزء التالي ينظر في أثر ذلك على الكتابات غير اللاتينية.