Where this page sits, slide 2

موقع هذه الصفحة، الشريحة 2

Slide 2 lists seven learning goals for the whole lecture. Three of them belong to this page and the next two:

تسرد الشريحة 2 سبعة أهداف تعليمية للمحاضرة كلها. ثلاثة منها تخص هذه الصفحة والصفحتين التاليتين:

• Understand why "word" is not a universal unit across writing systems and languages.

  فهم لماذا "الكلمة" ليست وحدة عالمية عبر أنظمة الكتابة واللغات.

• Distinguish types (vocabulary) from tokens (running words), and why vocabulary keeps growing.

  التمييز بين types (المفردات) وtokens (الكلمات المتتالية في النص)، ولماذا تستمر المفردات في النمو.

• Know what morphemes are and how morphology varies across languages.

  معرفة ما هي morphemes وكيف يختلف الصرف (morphology) من لغة إلى أخرى.

The remaining four goals (Unicode and UTF-8, byte-pair encoding, regular expressions, minimum edit distance) are later pages of the deck.

أما الأهداف الأربعة الباقية (Unicode وUTF-8، وbyte-pair encoding، وregular expressions، وminimum edit distance) فهي في صفحات لاحقة من المحاضرة.

What is a word? Slide 3

ما الكلمة؟ الشريحة 3

Slide 3 does not define a word. It asks a question and then refuses to answer it, which is the point. The sentence it hands you is:

الشريحة 3 لا تعرّف الكلمة. إنها تطرح سؤالاً ثم ترفض الإجابة عنه، وهذا هو المقصود. والجملة التي تعطيك إياها هي:

الجملة تعني: "ذهبوا في نزهة بجانب المسبح، ثم استلقوا على العشب ونظروا إلى النجوم." وهي المثال الذي سنعدّ كلماته.

Ask "how many words is that?" and you immediately discover you cannot answer until somebody tells you the rules. The slide's own wording: in many writing systems, spaces suggest boundaries, but it is not that simple.

اسأل "كم كلمة في هذه الجملة؟" وستكتشف فوراً أنك لا تستطيع الإجابة حتى يخبرك أحد بالقواعد. وعبارة الشريحة نفسها: في كثير من أنظمة الكتابة توحي المسافات بالحدود، لكن الأمر ليس بهذه البساطة.

The slide then lists the decisions that actually determine the number, and frames them as task-dependent, not right or wrong:

ثم تسرد الشريحة القرارات التي تحدد العدد فعلاً، وتقدّمها على أنها تعتمد على المهمة، لا على أنها صواب أو خطأ:

• Is punctuation its own token?

  هل علامة الترقيم token مستقل؟

• Do we lowercase?

  هل نحوّل الحروف إلى صغيرة (lowercase)؟

• How do we treat numbers, URLs, emojis, hashtags?

  كيف نتعامل مع الأرقام وURLs والإيموجي وhashtags؟

• Do we keep disfluencies (uh, um) in speech transcripts?

  هل نُبقي التلعثم (uh وum) في تفريغات الكلام؟

Its example of a disfluent utterance, straight from the slide:

ومثالها على كلام فيه تلعثم، منقول من الشريحة حرفياً:

المتحدث يقول "أنا أعمل في، آه، معا... معالجة بيانات الأعمال أساساً"، أي أن فيه وقفة uh ومحاولة مقطوعة main- قبل mainly.

That string contains a filled pause (uh) and a fragment (main-) which is not a word at all, it is an abandoned attempt at mainly. A speech recognition system studying disfluency wants both kept. A topic classifier wants both thrown away. Same string, two legitimate token counts.

هذه السلسلة فيها وقفة مملوءة (uh) وجزء مقطوع (main-) ليس كلمة أصلاً، بل محاولة متروكة لنطق mainly. نظام التعرف على الكلام الذي يدرس التلعثم يريد إبقاء الاثنين. ومصنّف الموضوعات يريد حذف الاثنين. السلسلة نفسها، وعددان مشروعان من tokens.

Last bullet on the slide, and it matters for the rest of the course: across languages, segmentation can be ambiguous or even absent. Chinese is the named case. Chinese text is written with no spaces between words at all, so there is nothing to split on. The spaces that English gives you for free are an accident of one writing system, not a property of language.

آخر بند في الشريحة، وهو مهم لبقية المقرر: عبر اللغات قد يكون التقطيع (segmentation) غامضاً أو غائباً تماماً. والصينية هي الحالة المذكورة بالاسم. فالنص الصيني يُكتب بلا أي مسافات بين الكلمات، فلا يوجد شيء تقطع عنده. والمسافات التي تعطيك إياها الإنجليزية مجاناً هي مصادفة في نظام كتابة واحد، لا خاصية في اللغة نفسها.

Tokens versus types, slide 4

الـ Tokens مقابل الـ Types، الشريحة 4

This is the slide you must be able to reproduce from memory. It gives two definitions under the heading "Key definitions":

هذه هي الشريحة التي يجب أن تستطيع إعادة كتابتها من الذاكرة. فهي تعطي تعريفين تحت عنوان "Key definitions":

يقول الجدول: Token (instance) هو ظهور واحد في النص المتتالي، ومجموعها هو العدد الكلي ورمزه N. وType هو عنصر مفردات مميز (مختلف)، وعددها هو حجم المفردات ورمزه |V|.

Plain words first, names second. Imagine reading a page out loud. Every single word that leaves your mouth is a token, including the fifteen separate times you said the. Now imagine instead writing down a shopping list of every different word you would need in order to read that page. That list has one entry for the, no matter how often it occurred. The length of that list is the number of types.

الكلمات البسيطة أولاً، ثم الأسماء. تخيل أنك تقرأ صفحة بصوت عالٍ. كل كلمة تخرج من فمك هي token، بما في ذلك المرات الخمس عشرة المنفصلة التي قلت فيها the. والآن تخيل بدلاً من ذلك أنك تكتب قائمة تسوّق بكل كلمة مختلفة ستحتاجها لقراءة تلك الصفحة. هذه القائمة فيها مدخل واحد لـ the مهما تكرر. وطول هذه القائمة هو عدد types.

Tokens are events. Types are entries in a dictionary. The slide's example:

الـ tokens أحداث. والـ types مداخل في قاموس. ومثال الشريحة:

أي أن "to be or not to be" فيها N = 6 من tokens و|V| = 4 من types.

Six words go by as you read it. The distinct set is {to, be, or, not}, which has four members, because to and be each occurred twice.

ست كلمات تمر بك وأنت تقرأها. والمجموعة المميزة هي {to, be, or, not} وفيها أربعة عناصر، لأن to وbe تكررت كل منهما مرتين.

في الرسم صف علوي من ست خانات هي الـ tokens مرقّمة من 1 إلى 6 (N = 6)، وتنزل الأسهم منها إلى صف سفلي من أربع خانات هو المفردات (|V| = 4). الـ tokens رقم 5 و6 (to وbe الثانيتان) لا تنشئان خانات مفردات جديدة، بل ترجعان إلى خانات موجودة أصلاً، فيرتفع N بمقدار 2 بينما يرتفع |V| بمقدار 0. وكل كلمة متكررة في أي corpus تفعل هذا بالضبط.

They picnicked by the pool, then lay back on the grass and looked at the stars.

walk through the tokens, numbering as you go

   1 They        2 picnicked   3 by         4 the
   5 pool        6 then        7 lay        8 back
   9 on         10 the        11 grass     12 and
  13 looked     14 at         15 the       16 stars

N = 16 tokens

now build the vocabulary list, adding a word only the first time you meet it

  They, picnicked, by, the, pool, then, lay, back,
  on, grass, and, looked, at, stars

"the" was met at position 4 and added. positions 10 and 15 added nothing.

|V| = 14 types

check:  16 tokens  -  2 repeats of "the"  =  14 types   ok

N  = 18 tokens
|V| = 16 types

The one comparison to get right

المقارنة الوحيدة التي يجب أن تتقنها

الجدول يقارن بين Token وType. رمز العدد: N مقابل |V|. ما يعدّه: مرات الظهور في النص مقابل عناصر المفردات المميزة. السؤال الذي يجيب عنه: كم طول النص، مقابل كم حجم القاموس. تكرار كلمة: يزيد N في كل مرة، ويزيد |V| في المرة الأولى فقط. ومثال "to be or not to be": 6 مقابل 4. وأيهما أكبر: N ≥ |V| دائماً، ويتساويان فقط إذا لم تتكرر أي كلمة أبداً.

That last row is a free sanity check. If you ever produce |V| larger than N, you have made an arithmetic error, not a discovery.

هذا السطر الأخير اختبار منطقي مجاني. إذا حصلت يوماً على |V| أكبر من N فقد ارتكبت خطأ حسابياً، لا اكتشافاً.

Corpus size varies wildly, slides 5 and 6

حجم الـ corpus يتفاوت بشدة، الشريحتان 5 و6

Slide 5 makes three claims in three bullets:

تطرح الشريحة 5 ثلاث دعاوى في ثلاثة بنود:

• Different corpora have very different |V| and N.

  الـ corpora المختلفة لها قيم |V| وN مختلفة جداً.

• Even within one language, genre and domain shift the vocabulary.

  حتى داخل لغة واحدة، النوع الأدبي (genre) والمجال (domain) يغيّران المفردات.

• Large web-scale corpora contain tens of millions of types.

  الـ corpora الضخمة بحجم الويب تحتوي عشرات الملايين من types.

Slide 6 is the figure that proves it. Its caption reads: rough numbers of wordform types (|V|) and tokens (N) for some English language corpora. These are the slide's numbers, and the two right-hand columns are arithmetic I did on them:

والشريحة 6 هي الشكل الذي يثبت ذلك. وتعليقه: أرقام تقريبية لعدد wordform types (|V|) والـ tokens (N) لبعض corpora الإنجليزية. هذه أرقام الشريحة، والعمودان الأيمنان حسابات أجريتها عليها:

الجدول لكل corpus: Shakespeare فيه 31 ألف type و884 ألف token، أي 28.5 token لكل type ونسبة |V|/N تساوي 3.51%. وBrown corpus: 38 ألفاً و1 مليون، أي 26.3 و3.80%. وSwitchboard (محادثات هاتفية): 20 ألفاً و2.4 مليون، أي 120 و0.83%. وCOCA: 2 مليون و440 مليوناً، أي 220 و0.45%. وGoogle n-grams: 13 مليوناً و1 تريليون، أي 76,900 و0.0013%.

Read the first two columns and notice that they do not move together. Switchboard is almost three times the size of Shakespeare in tokens and yet has a smaller vocabulary: 20 thousand types against 31 thousand. That is the genre effect slide 5 mentions. Switchboard is recorded telephone chat, which reuses a small conversational vocabulary very heavily. Shakespeare is poetry and drama, deliberately inventive.

اقرأ العمودين الأولين ولاحظ أنهما لا يتحركان معاً. Switchboard أكبر من Shakespeare بنحو ثلاث مرات في عدد الـ tokens، ومع ذلك مفرداته أصغر: 20 ألف type مقابل 31 ألفاً. هذا هو أثر النوع (genre) الذي تذكره الشريحة 5. فـ Switchboard دردشة هاتفية مسجلة تعيد استخدام مفردات حوارية صغيرة بكثافة شديدة. أما Shakespeare فشعر ومسرح، ومبتكر عن قصد.

Read the last column and notice how fast it collapses. Going from Brown to Google n-grams multiplies N by a million but multiplies |V| by only about 342. Vocabulary grows, but nowhere near as fast as text. The next page gives that observation a name: Heaps' law.

اقرأ العمود الأخير ولاحظ سرعة انهياره. الانتقال من Brown إلى Google n-grams يضاعف N مليون مرة، لكنه يضاعف |V| نحو 342 مرة فقط. المفردات تنمو، لكن ليس بقريب من سرعة نمو النص. والصفحة التالية تعطي هذه الملاحظة اسماً: Heaps' law.

Why vocabulary is hard, slide 7

لماذا المفردات صعبة، الشريحة 7

Why can you not just write down the English dictionary once and be done? Slide 7 gives three bullets, and each one is a different leak:

لماذا لا تستطيع أن تكتب قاموس الإنجليزية مرة واحدة وتنتهي؟ تعطي الشريحة 7 ثلاثة بنود، وكل واحد منها تسرّب مختلف:

Preprocessing decisions, slide 8

قرارات المعالجة المسبقة، الشريحة 8

Slide 8 lists four knobs you have to set before you can count anything. None of them has a universally correct setting.

تسرد الشريحة 8 أربعة مفاتيح يجب أن تضبطها قبل أن تعدّ أي شيء. ولا يوجد لأي منها ضبط صحيح في كل الحالات.

الجدول: Case folding (مثل Apple وapple) يقلّص |V|، لكنه يدمج الشركة بالفاكهة ويفقد معلومة بداية الجملة. والترقيم (don't مقابل do + n't): التقسيم يرفع N ويُظهر النفي وحدةً مستقلة، وعدم التقسيم يُبقي don't وdo not نوعين لا علاقة بينهما. وNormalization (علامات التشكيل، وصيغ Unicode المختلفة، وعلامات التنصيص والشرطات): يدمج أشكالاً يجب أن تكون واحدة، لكن سلسلتين متطابقتين بصرياً قد تكونان تسلسلَي بايتات مختلفين، وهذا موضوع صفحة Unicode. والأرقام (تُترك خاماً، أو تُحوَّل إلى <NUM>، أو تُقطَّع): تركها خاماً يفجّر |V| بقيم ظهرت مرة واحدة، وتحويلها إلى <NUM> يقلّصه لكنه يمحو القيمة الفعلية.

Apple released a new apple.

tokenize on whitespace, drop the period, do NOT lowercase

  tokens : Apple | released | a | new | apple
  N      = 5
  types  : {Apple, released, a, new, apple}
  |V|    = 5                "Apple" and "apple" are two different strings

now apply case folding and recount

  tokens : apple | released | a | new | apple
  N      = 5                UNCHANGED
  types  : {apple, released, a, new}
  |V|    = 4                one slot saved

I don't know

no split       : I | don't | know          N = 3,  |V| = 3
split the clitic: I | do | n't | know      N = 4,  |V| = 4

Ambiguous boundaries, slide 9

حدود غامضة، الشريحة 9

Slide 8 was about choices you make deliberately. Slide 9 is about places where the text itself is genuinely unclear, so no setting of the knobs rescues you. Four categories, with the slide's own examples:

الشريحة 8 كانت عن اختيارات تتخذها عن قصد. أما الشريحة 9 فعن مواضع يكون فيها النص نفسه غامضاً فعلاً، فلا ينقذك أي ضبط للمفاتيح. أربع فئات، بأمثلة الشريحة نفسها:

Take them one at a time, because the difficulty is different in each.

خذها واحدة واحدة، لأن الصعوبة مختلفة في كل منها.

• Hyphens. state-of-the-art is one adjective but four hyphen-separated pieces. Split it and you get the useless token of plus a verb-like state. Keep it and it is a single type you will almost never see again.

  الشرطات (Hyphens). state-of-the-art صفة واحدة لكنها أربع قطع تفصلها شرطات. قسّمها فتحصل على token عديم الفائدة of ومعه state تشبه الفعل. وأبقها كما هي فتكون type واحداً لن تراه مرة أخرى تقريباً.

• Abbreviations. The period is the problem. Your sentence splitter wants to end a sentence at every period, but U.S., Dr. and e.g. all contain periods that end nothing. Worse, U.S. at the end of a sentence has one period doing both jobs at once.

  الاختصارات (Abbreviations). المشكلة في النقطة. مقطّع الجمل يريد إنهاء الجملة عند كل نقطة، لكن U.S. وDr. وe.g. كلها فيها نقاط لا تُنهي شيئاً. والأسوأ أن U.S. في آخر الجملة فيها نقطة واحدة تؤدي الوظيفتين معاً.

• Clitics. we'll is written as one string but behaves like we plus will. The apostrophe suggests a split, but possessive 's looks identical to contracted is. Page three has the full treatment, since slide 22 argues the apostrophe is not a reliable guide at all.

  الـ Clitics. we'll تُكتب سلسلة واحدة لكنها تتصرف مثل we زائد will. الفاصلة العليا توحي بالتقسيم، لكن 's الدالة على الملكية تبدو مطابقة تماماً لـ is المختصرة. والصفحة الثالثة تتناول الموضوع كاملاً، لأن الشريحة 22 تحتج بأن الفاصلة العليا ليست دليلاً موثوقاً أصلاً.

• Social media. #NLP and @user carry meaning in the punctuation itself. Strip the # and you have destroyed the fact that it was a hashtag. A URL is worse: it is full of slashes, dots, and hyphens that mean nothing like what they mean in prose.

  وسائل التواصل الاجتماعي. #NLP و@user يحملان المعنى في علامة الترقيم نفسها. احذف # وتكون قد محوت حقيقة أنها hashtag. والـ URL أسوأ: فهو مليء بالشرطات المائلة والنقاط والشرطات التي لا تعني فيه شيئاً مما تعنيه في النثر.

Thirty-second recap

خلاصة في ثلاثين ثانية

ملخص الشرائح: token هو ظهور وعددها الكلي N، وtype عنصر مميز وعددها حجم المفردات |V|، وN ≥ |V| دائماً. "to be or not to be": N = 6 و|V| = 4. Shakespeare: |V| = 31k وN = 884k. Switchboard: |V| = 20k وN = 2.4M، نص أكبر ومفردات أصغر. Google n-grams: |V| = 13M وN = 1 trillion. case folding يخفض |V| ويترك N. تقسيم don't إلى do + n't يرفع N. والصينية لا مسافات فيها تقطع عندها.