Tokenizers in practice and sentence segmentationالمُقسِّمات (Tokenizers) عمليا وتقسيم الجمل

Type the sentence Anyhow, she's seen Jane's 224123 flowers anyhow! into the tiktokenizer web app and pick GPT-4o. You get thirteen tokens, and Jurafsky and Martin use exactly this figure in SLP3 to introduce tokenizers in practice. Three of those tokens are worth staring at before any theory: Anyhow at the start is two tokens, Any and how, while the same word at the end is one token, ·anyhow. Jane's becomes ·Jane plus 's, but she's stays whole. And 224123 becomes 224 and 123, with a lone space token in front of it.

اكتب الجملة Anyhow, she's seen Jane's 224123 flowers anyhow! في تطبيق الويب tiktokenizer واختر GPT-4o. ستحصل على ثلاثة عشر token، وهذا بالضبط الشكل الذي يستخدمه Jurafsky وMartin في SLP3 لتقديم الـ tokenizers في التطبيق العملي. ثلاثة من هذه الـ tokens تستحق التأمل قبل أي نظرية: Anyhow في البداية صارت token اثنين، Any وhow، بينما الكلمة نفسها في النهاية token واحد، ·anyhow. وكلمة Jane's صارت ·Jane زائد 's، لكن she's بقيت كاملة. والعدد 224123 صار 224 و 123، ويسبقه token مستقل لمسافة وحدها.

Every one of these splits has a mechanical explanation, and none of it is in the BPE trainer from part 06. A shipping BPE tokenizer is a pipeline. Hugging Face documents it as four stages: normalization, pre-tokenization, the model (BPE, unigram or WordPiece), and post-processing that adds special tokens. The slide lists the families: most modern tokenizers are BPE-like, with unigram (Kudo 2018) and WordPiece (Schuster and Nakajima 2012) as the variants, and almost all of them sit behind a regex-based Pre-tokenizer.

لكل واحد من هذه التقطيعات تفسير آلي، ولا شيء منها موجود في مدرِّب BPE من الجزء 06. الـ BPE tokenizer المستخدم في المنتجات الحقيقية هو خط معالجة. توثّقه Hugging Face في أربع مراحل: التطبيع (normalization)، ثم pre-tokenization، ثم النموذج (BPE أو unigram أو WordPiece)، ثم معالجة لاحقة (post-processing) تضيف الرموز الخاصة. وتسرد الشريحة العائلات: معظم الـ tokenizers الحديثة شبيهة بـ BPE، مع unigram (Kudo 2018) و WordPiece (Schuster and Nakajima 2012) كنسختين بديلتين، وكلها تقريبًا تعمل خلف pre-tokenizer مبني على التعابير النمطية (regex).

The pre-tokenizer sets the fencesالـ pre-tokenizer يضع الأسوار

The pre-tokenizer is a Regular expression that cuts the text into pieces before any merge is counted. GPT-2 uses one pattern, and cl100k and o200k are tightened variants of it. Its alternatives are tried left to right at every position, which is why the order in the table below matters.

الـ pre-tokenizer هو regular expression يقطع النص إلى قطع قبل أن تُحسب أي عملية دمج. يستخدم GPT-2 نمطًا واحدًا، و cl100k و o200k نسختان مشدّدتان منه. تُجرَّب بدائله من اليسار إلى اليمين عند كل موضع، ولهذا يهمّ الترتيب في الجدول التالي.

On We're 350 dogs! Um, lunch? this regex yields We, 're, ·350, ·dogs, !, ·Um, ,, ·lunch, ?, the example SLP3 prints as Figure 2.15. The consequence for BPE is the single most useful rule of this part. Pair counts during training and merges during encoding are computed inside each piece. A pair whose two halves sit in different pieces is never a candidate, so the pre-tokenizer sets an upper bound: the final tokens are always parts of its pieces, never unions of them.

على الجملة We're 350 dogs! Um, lunch? ينتج هذا الـ regex القطع We، 're، ·350، ·dogs، !، ·Um، ,، ·lunch، ?، وهو المثال الذي يطبعه SLP3 في Figure 2.15. والنتيجة بالنسبة لـ BPE هي أهم قاعدة في هذا الجزء. عدّ الأزواج أثناء التدريب وتطبيق عمليات الدمج (merges) أثناء الترميز يحدثان داخل كل قطعة على حدة. الزوج الذي يقع نصفاه في قطعتين مختلفتين لا يكون مرشحًا أبدًا، لذلك يضع الـ pre-tokenizer حدًا أعلى: الـ tokens النهائية دائمًا أجزاء من قطعه، ولا تكون أبدًا اتحادًا لقطعتين أو أكثر.

Now the three observations explain themselves. The leading space is part of the word piece, so ·anyhow and Anyhow are different byte strings. The lowercase, space-prefixed form is common in running text and earned a merge up to a whole token; the capitalized, sentence-initial form is rarer and stops at Any plus how. Position matters because the space marker is inside the piece. Second, the Clitic 's: under GPT-2 and cl100k the first regex alternative cuts every contraction into its own piece, so ·she and 's can never merge. o200k attaches the contraction to the word alternative, so the piece is ·she's, and since she's is a very frequent English word it has a token of its own, while ·Jane's does not and falls back to ·Jane plus 's. SLP3 states the same asymmetry: clitics are segmented off proper nouns like Jane but counted as part of frequent words like she's. Third, the digits: cl100k and o200k replace ·?\p{N}+ with \p{N}{1,3}, which caps any digit run at three per piece and, because the new alternative has no optional space, leaves the space before 224123 as a piece of its own (token id 220 in both vocabularies).

الآن تفسّر الملاحظات الثلاث نفسها بنفسها. المسافة السابقة جزء من قطعة الكلمة، لذلك ·anyhow و Anyhow سلسلتا بايتات مختلفتان. الشكل الصغير المسبوق بمسافة شائع في النص الجاري، فاستحق عمليات دمج أوصلته إلى token كامل؛ أما الشكل الذي يبدأ بحرف كبير في أول الجملة فأندر، فيتوقف عند Any زائد how. الموضع يهمّ لأن علامة المسافة (space marker) موجودة داخل القطعة. ثانيًا، الـ clitic 's: في GPT-2 و cl100k يقطع البديل الأول في الـ regex كل اختصار (contraction) إلى قطعة خاصة به، فلا يمكن أبدًا دمج ·she و 's. أما o200k فيلحق الاختصار ببديل الكلمة، فتكون القطعة ·she's، وبما أن she's كلمة إنجليزية شائعة جدًا فلها token خاص بها، بينما ·Jane's ليس لها، فترجع إلى ·Jane زائد 's. ويذكر SLP3 عدم التماثل نفسه: الـ clitics تُفصل عن أسماء العلم مثل Jane لكنها تُحسب جزءًا من الكلمات الشائعة مثل she's. ثالثًا، الأرقام: يستبدل cl100k و o200k النمط ·?\p{N}+ بالنمط \p{N}{1,3}، الذي يحدّ أي سلسلة أرقام بثلاثة في القطعة الواحدة، ولأن البديل الجديد لا يتضمن مسافة اختيارية، تبقى المسافة قبل 224123 قطعة مستقلة (رقم الـ token هو 220 في المفردتين كلتيهما).

Vocabulary size is a parameter, not a resultحجم المفردات معامل يُختار، لا نتيجة تخرج من الخوارزمية

The Vocabulary of a BPE tokenizer is its base symbols plus one entry per merge, and the trainer stops after k merges. Nothing in the algorithm chooses k. The slide gives a typical range of 30k to 100k; real systems now go further, and SLP3 quotes 50,000, 100,000 or even 200,000.

المفردات (vocabulary) في BPE tokenizer هي رموزه الأساسية زائد مدخل واحد لكل عملية دمج، والمدرِّب يتوقف بعد k عملية دمج. لا شيء في الخوارزمية يختار k. تعطي الشريحة مدى نموذجيًا من 30k إلى 100k؛ والأنظمة الحقيقية اليوم تذهب أبعد من ذلك، ويذكر SLP3 50,000 أو 100,000 أو حتى 200,000.

A larger vocabulary buys shorter sequences and more whole-word tokens, at the cost of a bigger embedding table and rarer training examples per token. The number is chosen, and the next concept shows that who benefits from that budget is also chosen.

المفردات الأكبر تشتري تسلسلات أقصر و tokens أكثر تمثل كلمات كاملة، مقابل جدول embeddings أكبر وأمثلة تدريب أندر لكل token. الرقم يُختار، والمفهوم التالي يبيّن أن من يستفيد من هذه الميزانية يُختار أيضًا.

Byte-level BPE: 256 symbols and no unknown characterByte-level BPE: 256 رمزًا ولا يوجد حرف مجهول

The base symbols of the toy BPE in part 06 were characters. Radford et al. (2019) explain why GPT-2 did not do that: a base vocabulary of Unicode code points would exceed 130,000 entries before a single merge, while a byte-level version needs only 256. So GPT-2 runs merges over the UTF-8 bytes of the text. That is Byte-level tokenization, and its three advantages on the slide follow from one fact: every string in every script is a sequence of bytes from a set of 256, so there is no OOV character, any script works, and noisy text with typos or stray symbols still tokenizes. GPT-2 also adds a rule that prevents merges across character categories, with an exception for spaces, so that dog., dog! and dog? do not each become a token.

الرموز الأساسية في BPE التجريبي في الجزء 06 كانت حروفًا. ويشرح Radford et al. (2019) لماذا لم يفعل GPT-2 ذلك: مفردات أساسية من نقاط الترميز (code points) في Unicode ستتجاوز 130,000 مدخل قبل أي عملية دمج، بينما النسخة القائمة على البايتات تحتاج 256 فقط. لذلك يجري GPT-2 عمليات الدمج على بايتات UTF-8 للنص. هذا هو byte-level tokenization، ومزاياه الثلاث على الشريحة تنبع من حقيقة واحدة: كل سلسلة في كل نظام كتابة هي تسلسل من بايتات تنتمي إلى مجموعة من 256، فلا يوجد حرف OOV (خارج المفردات)، وأي نظام كتابة يعمل، والنص المليء بالأخطاء الإملائية أو الرموز الشاردة يُقطَّع رغم ذلك. ويضيف GPT-2 أيضًا قاعدة تمنع الدمج عبر فئات الحروف المختلفة، مع استثناء للمسافات، حتى لا تصبح كل من dog. و dog! و dog? token مستقلًا.

The con on the slide, that tokens may be less interpretable, is not abstract for Arabic. Arabic letters live in U+0600 to U+06FF, inside the two-byte range of UTF-8, so every letter is two bytes and a merge boundary can fall between them.

العيب المذكور على الشريحة، أن الـ tokens قد تكون أقل قابلية للتفسير، ليس أمرًا مجردًا بالنسبة للعربية. فالحروف العربية تقع في المدى من U+0600 إلى U+06FF، داخل نطاق البايتين في UTF-8، لذلك كل حرف بايتان، ويمكن أن يقع حدّ الدمج بينهما.

Try both ideas yourself. The playground below runs the GPT-2 regex on any sentence, replays a small merge list inside each piece and reports which merges the fences blocked, and shows the UTF-8 bytes with the token brackets measured above.

جرّب الفكرتين بنفسك. الأداة التفاعلية أدناه تشغّل regex الخاص بـ GPT-2 على أي جملة، وتعيد تطبيق قائمة دمج صغيرة داخل كل قطعة وتخبرك بعمليات الدمج التي منعتها الأسوار، وتعرض بايتات UTF-8 مع أقواس الـ tokens التي قسناها أعلاه.

Take one meaning and write it twice. The book is on the table. is six words and a period, and its Arabic translation الكتاب على الطاولة. is three words and a period. Run both through cl100k and the English costs seven tokens while the Arabic costs twelve. Same meaning, half the words, nearly twice the tokens.

خذ معنى واحدًا واكتبه مرتين. The book is on the table. ست كلمات ونقطة، وترجمتها العربية الكتاب على الطاولة. ثلاث كلمات ونقطة. مرّر الاثنتين عبر cl100k فتكلّف الإنجليزية سبعة tokens بينما تكلّف العربية اثني عشر. المعنى نفسه، ونصف عدد الكلمات، وتقريبًا ضعف عدد الـ tokens.

The o200k column shows the fix: a 200K vocabulary trained on more multilingual text spent merges on Arabic, so كتاب became one token and the Arabic sentence dropped to 6 tokens. The premium comes from how the budget was spent, not from the script.

عمود o200k يبيّن الحل: مفردات بحجم 200K دُرّبت على نص متعدد اللغات أكثر أنفقت عمليات دمج على العربية، فصارت كتاب token واحدًا ونزلت الجملة العربية إلى 6 tokens. الـ premium ينتج عن طريقة إنفاق الميزانية، لا عن نظام الكتابة نفسه.

The cause is the merge budget of the previous concept. BPE spends its k merges where the frequencies are, and English dominates the training text of most large models. English words therefore become single tokens while Arabic words fragment into letter-sized byte tokens. SLP3 puts it plainly: multilingual tokenizers tend to use most of their tokens for English, and other languages get poorer representations. The shared Vocabulary is a budget, and a shared budget favors whoever was most frequent when it was allocated. That is the slide's first two bullets in one sentence: shared vocabularies favor high-resource languages, so low-resource languages are over-segmented into longer sequences.

السبب هو ميزانية الدمج من المفهوم السابق. ينفق BPE عمليات الدمج الـ k حيث توجد الترددات العالية، والإنجليزية تهيمن على نصوص تدريب معظم النماذج الكبيرة. لذلك تصبح الكلمات الإنجليزية tokens مفردة، بينما تتفتت الكلمات العربية إلى tokens بحجم حرف أو بايت. ويقولها SLP3 بوضوح: الـ tokenizers متعددة اللغات تميل إلى استخدام معظم tokens الخاصة بها للإنجليزية، وتحصل اللغات الأخرى على تمثيلات أضعف. المفردات (vocabulary) المشتركة ميزانية، والميزانية المشتركة تحابي من كان الأكثر ترددًا وقت توزيعها. هذا هو البندان الأولان في الشريحة في جملة واحدة: المفردات المشتركة تحابي اللغات عالية الموارد، لذلك تُقطَّع اللغات قليلة الموارد تقطيعًا زائدًا (over-segmented) إلى تسلسلات أطول.

Petrov et al. (2023) turn this into a number. Take parallel sentences, tokenize both, and divide the length for language A by the length for language B. They call the ratio the tokenization premium of A relative to B.

يحوّل Petrov et al. (2023) هذا إلى رقم. خذ جملًا متوازية، وقطّع الاثنتين، واقسم الطول في اللغة A على الطول في اللغة B. يسمّون هذه النسبة tokenization premium للغة A نسبةً إلى B.

Arabic pays 4.40 times the English token count under the GPT-2 vocabulary and 3.04 under cl100k. Shan and Burmese pay over fifteen and eleven times. The ByT5 column shows that even byte and character models, which have no merges at all, are unequal because scripts differ in bytes per character: Petrov et al. report up to fifteen times difference for subword models and over four times between the byte encodings of Burmese or Tibetan and Chinese. Ahia et al. (2023) measured the same effect on ChatGPT across 22 languages, with some needing five times as many tokens as others, and name two causes: how much of the language was in the pretraining data, and inherent properties of the language and its script. In their analysis of the BLOOMZ tokenizer they flag Arabic as an outlier with more tokens than some other mid-resourced languages.

تدفع العربية 4.40 ضعف عدد tokens الإنجليزية تحت مفردات GPT-2، و 3.04 تحت cl100k. وتدفع لغتا Shan و Burmese أكثر من خمسة عشر وأحد عشر ضعفًا على الترتيب. ويبيّن عمود ByT5 أن حتى نماذج البايتات والحروف، التي لا تملك أي عمليات دمج (merges) على الإطلاق، غير متساوية لأن أنظمة الكتابة تختلف في عدد البايتات لكل حرف: يذكر Petrov et al. فرقًا يصل إلى خمسة عشر ضعفًا في نماذج الـ subword، وأكثر من أربعة أضعاف بين ترميزات البايت للغة Burmese أو Tibetan واللغة الصينية. وقاس Ahia et al. (2023) الأثر نفسه على ChatGPT عبر 22 لغة، فبعضها احتاج خمسة أضعاف الـ tokens التي احتاجتها لغات أخرى، وسمّوا سببين: كم كان حجم اللغة في بيانات التدريب المسبق، والخصائص الذاتية للغة ونظام كتابتها. وفي تحليلهم لـ tokenizer الخاص بـ BLOOMZ أشاروا إلى العربية كحالة شاذة تحتاج tokens أكثر من بعض اللغات الأخرى متوسطة الموارد.

Three bills for one over-segmented sentenceثلاث فواتير لجملة واحدة مقطّعة تقطيعًا زائدًا

1. Compute. Every layer processes every token, so three times the tokens is at least three times the work, and self-attention, whose cost grows with the square of sequence length, makes long inputs worse still.الحساب. كل طبقة تعالج كل token، فثلاثة أضعاف الـ tokens تعني ثلاثة أضعاف العمل على الأقل، والـ self-attention، الذي تنمو تكلفته مع مربع طول التسلسل، يجعل المدخلات الطويلة أسوأ من ذلك.
2. Context. A window of fixed token length holds a third as many Arabic words as English words. Ahia et al. note that fewer in-context examples fit, which directly lowers few-shot quality.السياق. النافذة ذات الطول الثابت بالـ tokens تتسع لثلث عدد الكلمات العربية مقارنة بالكلمات الإنجليزية. ويلاحظ Ahia et al. أن عدد الأمثلة التي تتسع لها النافذة (in-context examples) يقلّ، وهذا يخفض جودة الـ few-shot مباشرة.
3. Money and quality. APIs bill per token, so Ahia et al. conclude that speakers of many languages are overcharged while obtaining poorer results, and SLP3 adds that fragmented tokens give poorer representations of meaning.المال والجودة. واجهات الـ API تحاسب لكل token، لذلك يخلص Ahia et al. إلى أن متحدثي لغات كثيرة يدفعون أكثر بينما يحصلون على نتائج أضعف، ويضيف SLP3 أن الـ tokens المفتتة تعطي تمثيلات أضعف للمعنى.

The slide's third bullet, that tokenizer design affects fairness and performance, is an engineering decision you can make differently.

البند الثالث في الشريحة، أن تصميم الـ tokenizer يؤثر في العدالة والأداء، هو قرار هندسي يمكنك أن تتخذه بشكل مختلف.

SuperBPE: letting merges cross the spaceSuperBPE: السماح لعمليات الدمج بعبور المسافة

If fences limit how much a vocabulary can compress, one way to compress more is to remove a fence late in training. Liu et al. (2025) call this SuperBPE: a pretokenization curriculum for BPE that first learns subwords under the ordinary whitespace fences, then continues with merges that are allowed to bridge whitespace and produce superwords. The figure on the slide is their example. Ordinary BPE gives By | the | way | , | I | am | a | fan | of | the | Milky | Way | ., thirteen tokens. SuperBPE gives By the way | , I am | a | fan | of the | Milky Way | ., seven.

إذا كانت الأسوار تحدّ من مقدار ما تستطيع المفردات ضغطه، فإحدى طرق الضغط أكثر هي إزالة سور في مرحلة متأخرة من التدريب. يسمّي Liu et al. (2025) هذا SuperBPE: منهج pretokenization متدرّج لـ BPE يتعلّم أولًا الـ subwords تحت أسوار المسافات المعتادة، ثم يواصل بعمليات دمج مسموح لها بعبور المسافات فتنتج كلمات فائقة (superwords). الشكل في الشريحة هو مثالهم. يعطي BPE العادي By | the | way | , | I | am | a | fan | of | the | Milky | Way | .، أي ثلاثة عشر token. ويعطي SuperBPE By the way | , I am | a | fan | of the | Milky Way | .، أي سبعة.

The gain is the slide's stated goal, efficiency. At a 200K vocabulary SuperBPE beats ordinary BPE on every measure the authors report, so the extra training stage pays for itself.

المكسب هو الهدف المعلن في الشريحة: الكفاءة. عند مفردات بحجم 200K يتفوق SuperBPE على BPE العادي في كل مقياس ذكره المؤلفون، فمرحلة التدريب الإضافية تدفع ثمنها بنفسها.

SLP3 mentions BoundlessBPE (Schmidt et al. 2025) as a sibling method with the same idea.

يذكر SLP3 طريقة BoundlessBPE (Schmidt et al. 2025) كطريقة شقيقة تقوم على الفكرة نفسها.

The tradeoff is the slide's third bullet, Compositionality. Under ordinary BPE, Way in Milky Way and way in By the way share visible structure with every other use of the word. Once Milky Way is one token, the model must learn its relation to way from scratch, and a rare phrase that almost matches a superword is split in an unfamiliar way. Fewer tokens means less shared structure across tokens.

المقايضة هي البند الثالث في الشريحة: التركيبية (compositionality). تحت BPE العادي، تشترك Way في Milky Way و way في By the way في بنية ظاهرة مع كل استخدام آخر للكلمة. وبمجرد أن تصبح Milky Way token واحدًا، يجب على النموذج أن يتعلّم علاقتها بـ way من الصفر، والعبارة النادرة التي تكاد تطابق كلمة فائقة تُقطَّع بطريقة غير مألوفة. tokens أقل تعني بنية مشتركة أقل بين الـ tokens.

Every surprise in this part came from a switch someone set before training: whether the space belongs to the next word, whether digits are capped, whether contractions split, how many merges to make, which languages got the budget. The slide collects those switches into a checklist. Treat each line as a question with a consequence, because that is how an exam or a design review will ask it.

كل مفاجأة في هذا الجزء جاءت من مفتاح ضبطه شخص ما قبل التدريب: هل المسافة تنتمي إلى الكلمة التالية، وهل الأرقام محدودة، وهل تُفصل الاختصارات، وكم عملية دمج تُجرى، وأي اللغات حصلت على الميزانية. تجمع الشريحة هذه المفاتيح في قائمة مراجعة. تعامل مع كل سطر كسؤال له نتيجة، لأن هذه هي الطريقة التي سيُطرح بها في الامتحان أو في مراجعة تصميم.

Three answers to the spaces questionثلاث إجابات عن سؤال المسافات

The slide's pre-tokenization line asks one question with three real answers. Once the text is split on whitespace, what happens to the space? The choice fixes the Space marker (end-of-word marker) convention the model will live with, and it decides whether detokenization can recover the original string.

سطر الـ pre-tokenization في الشريحة يطرح سؤالًا واحدًا له ثلاث إجابات حقيقية. بعد تقسيم النص على المسافات، ماذا يحدث للمسافة؟ هذا القرار يثبّت اصطلاح علامة المسافة (space marker) الذي سيعيش معه النموذج، ويحدد ما إذا كان الـ detokenization قادرًا على استعادة السلسلة الأصلية.

BERT throws the space away, which keeps the alphabet small but makes the token stream lossy: don't and the three tokens don, ', t cannot be told apart from a hyphenless spelling once the spaces are gone. GPT-2 glues the space onto the following piece, so ·world and world are different entries and the original spacing is recoverable. SentencePiece keeps the space as an explicit ▁ symbol, which is exactly reversible: swapping ▁ back to a space restores the input byte for byte. It also means the regex fences from the first concept apply to a text where spaces are ordinary symbols, so SentencePiece can in principle learn a merge that crosses what used to be a word boundary.

يرمي BERT المسافة، وهذا يبقي الأبجدية صغيرة لكنه يجعل تدفق الـ tokens فاقدًا للمعلومات: don't والـ tokens الثلاثة don و ' و t لا يمكن التمييز بينها وبين كتابة بلا شرطة بمجرد أن تختفي المسافات. أما GPT-2 فيلصق المسافة بالقطعة التالية، فتكون ·world و world مدخلين مختلفين ويمكن استعادة المسافات الأصلية. ويحتفظ SentencePiece بالمسافة كرمز صريح ▁، وهذا قابل للعكس تمامًا: استبدال ▁ بمسافة يعيد المدخل بايتًا ببايت. ويعني ذلك أيضًا أن أسوار الـ regex من المفهوم الأول تنطبق على نص تكون فيه المسافات رموزًا عادية، لذلك يمكن لـ SentencePiece من حيث المبدأ أن يتعلّم عملية دمج تعبر ما كان في السابق حدًا بين كلمتين.

The rule that ties the list together is that all of it is frozen with the model. The Unicode normalization form, the case folding decision, the Special tokens and the Pre-tokenizer regex are recorded in the tokenizer file, and Hugging Face's pipeline documentation warns that changing the normalizer or the pre-tokenizer requires retraining the tokenizer, which in turn means the embeddings of the language model no longer match. You cannot fix an English-centric tokenizer after the fact; you choose it before the first gradient step.

القاعدة التي تربط القائمة كلها هي أن كل ما فيها يُجمَّد مع النموذج. شكل التطبيع في Unicode (Unicode normalization)، وقرار توحيد حالة الأحرف (case folding)، و الرموز الخاصة (special tokens)، و regex الـ pre-tokenizer، كلها مسجلة في ملف الـ tokenizer، وتحذّر وثائق خط المعالجة في Hugging Face من أن تغيير الـ normalizer أو الـ pre-tokenizer يتطلب إعادة تدريب الـ tokenizer، وهذا بدوره يعني أن الـ embeddings في النموذج اللغوي لم تعد متطابقة معه. لا يمكنك إصلاح tokenizer متمحور حول الإنجليزية بعد الحدث؛ أنت تختاره قبل أول خطوة gradient.

Here is a passage with six periods, one question mark and one exclamation mark: Dr. Ahmad arrived at 5 p.m. on Monday. He paid 3.50 riyals. Was it enough? Yes! It contains four sentences. A splitter that cuts at every period would produce seven fragments and would glue the last two sentences together. Decide for yourself which marks end a sentence before reading the rules.

إليك مقطعًا فيه ست نقاط، وعلامة استفهام واحدة، وعلامة تعجب واحدة: Dr. Ahmad arrived at 5 p.m. on Monday. He paid 3.50 riyals. Was it enough? Yes! يحتوي على أربع جمل. الأداة التي تقطع عند كل نقطة ستنتج سبع شظايا، وستلصق الجملتين الأخيرتين معًا. قرّر بنفسك أي العلامات تنهي جملة قبل أن تقرأ القواعد.

Sentence segmentation is the task of finding sentence boundaries, and the slide names its usual customers: parsing and machine translation, both of which take one sentence at a time. SLP3 states the difficulty exactly. Question marks and exclamation points are relatively unambiguous markers of sentence boundaries. The period is ambiguous between a sentence boundary and an abbreviation marker such as Dr. or Inc., and it can even do both at once: when a sentence ends in Inc., one period marks the abbreviation and the boundary. Kiss and Strunk (2006) list the period's other jobs too: initials, ordinal numbers and ellipses, and in their corpora abbreviations account for up to 30% of the candidate boundaries.

تقسيم النص إلى جمل (sentence segmentation) هو مهمة إيجاد حدود الجمل، وتسمّي الشريحة المستفيدين المعتادين منه: التحليل النحوي (parsing) والترجمة الآلية، وكلاهما يأخذ جملة واحدة في كل مرة. ويحدد SLP3 الصعوبة بدقة. علامات الاستفهام والتعجب مؤشرات غير غامضة نسبيًا على حدود الجمل. أما النقطة فغامضة بين أن تكون حدًا لجملة وأن تكون علامة اختصار مثل Dr. أو Inc.، بل يمكنها أن تؤدي الدورين معًا: حين تنتهي جملة بـ Inc.، تعلّم نقطة واحدة الاختصار والحد معًا. ويسرد Kiss and Strunk (2006) وظائف النقطة الأخرى أيضًا: الأحرف الأولى من الأسماء، والأعداد الترتيبية، وعلامات الحذف (ellipses)، وفي مدوّناتهم تشكّل الاختصارات ما يصل إلى 30% من الحدود المرشحة.

Rules, lexicons and the joint solutionالقواعد، وقواميس الاختصارات، والحل المشترك

The slide's rule-based heuristics combine punctuation with capitalization patterns, an abbreviation list and quote or bracket balancing. Each rule is a feature that votes on one candidate mark.

القواعد اليدوية في الشريحة تجمع علامات الترقيم مع أنماط الأحرف الكبيرة، وقائمة اختصارات، وموازنة علامات الاقتباس والأقواس. كل قاعدة سمة (feature) تصوّت على علامة مرشحة واحدة.

Notice the conflict in the exercise. After Dr. comes Ahmad, capitalized, so the capitalization rule votes for a boundary and only the abbreviation lexicon overrules it. After p.m. comes on, lowercase, so both rules agree. This is why the slide says segmentation is often done jointly with Tokenization and abbreviation lexicons: if the tokenizer has already kept Dr., p.m. and 3.50 as single tokens, the segmenter never has to look at those periods. Stanford CoreNLP states its rule in exactly that form: a sentence ends when a sentence-ending punctuation mark is not already grouped with other characters into a token, optionally followed by closing quotes or brackets. SLP3 notes the abbreviation dictionary can be hand-built or machine-learned.

لاحظ التعارض في التمرين. بعد Dr. تأتي Ahmad بحرف كبير، فتصوّت قاعدة الأحرف الكبيرة لصالح وجود حد، ولا يلغيها إلا قاموس الاختصارات. وبعد p.m. تأتي on بحرف صغير، فتتفق القاعدتان. لهذا تقول الشريحة إن التقسيم إلى جمل يُجرى غالبًا بالاشتراك مع tokenization وقواميس الاختصارات: إذا كان الـ tokenizer قد أبقى Dr. و p.m. و 3.50 كـ tokens مفردة، فلن يحتاج مقسّم الجمل إلى النظر في تلك النقاط أبدًا. ويصوغ Stanford CoreNLP قاعدته بهذا الشكل بالضبط: تنتهي الجملة حين تكون علامة إنهاء الجملة غير مجمّعة مسبقًا مع حروف أخرى في token واحد، وقد تتبعها اختياريًا علامات اقتباس أو أقواس إغلاق. ويلاحظ SLP3 أن قاموس الاختصارات يمكن بناؤه يدويًا أو تعلّمه آليًا.

Learning the boundaryتعلّم الحد

The statistical approach on the slide replaces hand-tuned votes with a classifier that learns the probability of a boundary from annotated data. Its features are the same evidence the rules used: the token before the mark, whether it is in an abbreviation list, its length, whether the next token is capitalized, whether the next token is a frequent sentence starter, and, in neural models, the surrounding context as a whole. Kiss and Strunk (2006) went one step further and removed the annotation. Their Punkt system, the default sentence tokenizer in NLTK, is unsupervised and language independent. It treats an abbreviation as a very tight collocation of a truncated word and a final period, which can be detected from raw text by asking whether the word occurs with a period far more often than chance, helped by the facts that abbreviations are usually short and sometimes contain internal periods. It also learns frequent sentence starters and collocations across a period. Its measured results on newspaper text are in the table.

النهج الإحصائي في الشريحة يستبدل الأصوات المضبوطة يدويًا بمصنِّف (classifier) يتعلّم احتمال وجود حد من بيانات موسومة. سماته هي الأدلة نفسها التي استخدمتها القواعد: الـ token الذي يسبق العلامة، وهل هو في قائمة الاختصارات، وطوله، وهل الـ token التالي يبدأ بحرف كبير، وهل هو من الكلمات الشائعة في بدايات الجمل، وفي النماذج العصبية السياق المحيط ككل. وذهب Kiss and Strunk (2006) خطوة أبعد فأزالا الحاجة إلى الوسم. نظامهما Punkt، وهو مقسّم الجمل الافتراضي في NLTK، غير موجَّه (unsupervised) ومستقل عن اللغة. يعامل الاختصار كتلازم (collocation) شديد الإحكام بين كلمة مقتطعة ونقطة نهائية، ويمكن اكتشافه من النص الخام بالسؤال عمّا إذا كانت الكلمة تظهر مع نقطة أكثر بكثير مما تتوقعه الصدفة، ويساعده في ذلك أن الاختصارات عادةً قصيرة وأحيانًا تحتوي على نقاط داخلية. ويتعلّم أيضًا الكلمات الشائعة في بدايات الجمل والتلازمات التي تعبر النقطة. ونتائجه المقيسة على نصوص الصحف موجودة في الجدول.