Part one · Corpora

الجزء الأول · المدونات النصية (Corpora)

What a corpus is, slide 28

ما الـ corpus، الشريحة 28

A corpus is a structured collection of texts, and very often it comes with annotations layered on top (part-of-speech tags, named entities, sentiment labels, parse trees).

الـ corpus مجموعة منظمة من النصوص، وكثيراً ما تأتي معها تعليقات توضيحية (annotations) فوقها (وسوم أقسام الكلام، والكيانات المسماة، وتصنيفات المشاعر، وأشجار الإعراب).

The word "structured" is doing real work. A pile of files is not a corpus. A corpus has been collected deliberately, organized, and usually described.

كلمة "منظمة" تؤدي عملاً حقيقياً. كومة من الملفات ليست corpus. الـ corpus جُمع عن قصد ونُظّم ووُصف في العادة.

The slide lists where the text comes from:

تسرد الشريحة مصادر النص:

• books

  الكتب

• news

  الأخبار

• web crawl

  الزحف على الويب (web crawl)

• social media

  وسائل التواصل الاجتماعي

• speech transcripts

  تفريغات الكلام

And it names the dimensions along which corpora differ from each other. These are the key variation dimensions:

وتسمّي الأبعاد التي تختلف فيها الـ corpora عن بعضها. هذه هي أبعاد التباين الرئيسية:

الجدول خمسة أبعاد. المجال (Domain) يغيّر الموضوع: النص الطبي يستخدم مفردات لم يرها نموذج الأخبار قط. والنوع (Genre) يغيّر نوع الكتابة: العقود القانونية جملها طويلة جداً والتغريدات جملها قصيرة جداً. والزمن (Time) يغيّر فترة الإنتاج: corpus من تسعينيات القرن الماضي لا كلمة فيه لمعظم تقنيات اليوم. والديموغرافيا (Demographics) تغيّر من كتب أو تكلم: العمر والمنطقة والتعليم تشكّل اختيار الكلمات والتهجئة. وتنوع اللغة (Language variety) يغيّر اللهجة أو المستوى: الفصحى المعاصرة واللهجة الخليجية تختلفان بما يكفي لكسر نموذج دُرّب على واحدة منهما فقط.

Why documentation matters, slide 29

لماذا يهم التوثيق، الشريحة 29

This slide makes one claim, and it is the quotable one:

هذه الشريحة تطرح دعوى واحدة، وهي القابلة للاقتباس:

أي: النماذج ترث التحيزات والقيود من الـ corpora التي دُرّبت عليها.

Think about what that means practically. A model has no independent access to the world. Everything it believes about language came from the text it was shown. If that text over-represents one group, one era, or one dialect, the model over-represents them too, and nothing in the training procedure will flag it.

فكّر فيما يعنيه ذلك عملياً. النموذج ليس له وصول مستقل إلى العالم. كل ما يعتقده عن اللغة جاء من النص الذي عُرض عليه. فإذا كان ذلك النص يُفرط في تمثيل فئة واحدة أو حقبة واحدة أو لهجة واحدة، أفرط النموذج في تمثيلها أيضاً، ولن يُنبّه أي شيء في إجراء التدريب إلى ذلك.

So to interpret a result (not just produce one) you need metadata about the corpus. The slide lists exactly five things:

لذلك لكي تفسّر نتيجة (لا أن تنتجها فقط) تحتاج إلى بيانات وصفية (metadata) عن الـ corpus. وتسرد الشريحة خمسة أشياء بالضبط:

1. collection procedure

   إجراء الجمع

2. time period

   الفترة الزمنية

3. languages and varieties

   اللغات وتنوعاتها

4. speaker or author demographics

   ديموغرافيا المتحدثين أو الكتّاب

5. licensing and privacy

   الترخيص والخصوصية

Notice that the last one is not about accuracy at all. It is about whether you are legally and ethically allowed to use the data. That is part of the same documentation requirement.

لاحظ أن الأخير لا علاقة له بالدقة إطلاقاً. إنه يتعلق بما إذا كان مسموحاً لك قانونياً وأخلاقياً أن تستخدم البيانات. وهذا جزء من متطلب التوثيق نفسه.

Data statements and datasheets, slide 30

بيانات الوصف (Data statements) وصحائف البيانات (datasheets)، الشريحة 30

The practice that follows from slide 29: ship structured documentation alongside the dataset, not as an afterthought. Two names for the same idea are in circulation, "data statements" and "datasheets", and the slide treats them together.

الممارسة التي تترتب على الشريحة 29: أرفق توثيقاً منظماً مع مجموعة البيانات، لا كفكرة لاحقة. هناك اسمان متداولان للفكرة نفسها، "data statements" و"datasheets"، والشريحة تعاملهما معاً.

Six things go in it:

ستة أشياء تدخل فيه:

أقسام الجدول وأسئلتها: الدافع والاستخدام المقصود: لماذا بُني هذا، ولأي غرض بُني؟ والتكوين: ما الموجود فيه فعلاً؟ وكم منه، ومن أي أنواع؟ وعملية الجمع: كيف جُمع؟ ومن أنتج النص؟ وهل كانت هناك موافقة؟ والمعالجة المسبقة والتوسيم: ما الذي نُظّف أو صُفّي أو قُطّع أو وُسم، ومن قام بذلك؟ والاعتبارات الأخلاقية: من قد يتضرر منه، وما الموجود فيه مما لا ينبغي أن يكون؟ وقيود التوزيع: من يحق له استخدامه، وبأي ترخيص، وبأي قيود؟

The slide names three benefits: transparency, reproducibility, and responsible use. If you are asked to justify the practice in one line, those three words are the answer.

تسمّي الشريحة ثلاث فوائد: الشفافية (transparency)، وقابلية إعادة الإنتاج (reproducibility)، والاستخدام المسؤول (responsible use). وإذا طُلب منك تبرير هذه الممارسة في سطر واحد، فهذه الكلمات الثلاث هي الجواب.

Part two · Unicode

الجزء الثاني · Unicode

Why Unicode matters, slide 31

لماذا يهم Unicode، الشريحة 31

An NLP system has to represent text from every writing system it might meet: Latin, Cyrillic, Arabic, Han, emoji, and more. You cannot do that with a per-language character set, because then the same number means different things in different files.

نظام NLP يجب أن يمثّل نصاً من كل نظام كتابة قد يصادفه: اللاتيني والسيريلي والعربي والصيني (Han) والإيموجي وغيرها. ولا يمكنك فعل ذلك بمجموعة حروف خاصة بكل لغة، لأن الرقم نفسه سيعني عندئذ أشياء مختلفة في ملفات مختلفة.

Unicode's answer is a single global registry. Every character in every script gets its own number, and that number is called a code point. It is written in the form U+XXXX with hexadecimal digits.

جواب Unicode سجل عالمي واحد. كل حرف في كل نظام كتابة يحصل على رقم خاص به، وهذا الرقم يسمى code point. ويُكتب بالصيغة U+XXXX بأرقام ست عشرية.

أي أن U+0061 هو الـ code point للحرف 'a'.

Then the slide drops the sentence that generates most of the confusion in this area:

ثم تُسقط الشريحة الجملة التي تولّد معظم الالتباس في هذا الموضوع:

أي: الشكل المرئي نفسه (glyph) قد يقابل code points مختلفة، والعكس صحيح.

So the number and the picture are not locked together. One shape, several possible numbers. One number, several possible shapes depending on the font and the position in the word. Hold that thought for slide 33.

إذن الرقم والصورة غير مقفلين معاً. شكل واحد، وعدة أرقام ممكنة. ورقم واحد، وعدة أشكال ممكنة بحسب الخط وموضع الحرف في الكلمة. احتفظ بهذه الفكرة للشريحة 33.

ASCII, slide 32

ASCII، الشريحة 32

Before Unicode there was ASCII, which covers only the basic Latin letters, digits and punctuation, and which needs just 7 bits per character. Slide 32 is a figure of selected ASCII codes. Here is the figure transcribed, with the binary column computed from the hex so you can see the pattern:

قبل Unicode كان هناك ASCII، الذي يغطي فقط الحروف اللاتينية الأساسية والأرقام وعلامات الترقيم، ويحتاج 7 بتات فقط لكل حرف. الشريحة 32 شكل لرموز ASCII مختارة. وهذا هو الشكل منقولاً، مع عمود ثنائي محسوب من الست عشري لترى النمط:

كل صف في الجدول حرف مع قيمته الست عشرية والعشرية والثنائية. مثلاً < هو 3C أي 60 أي 00111100، وA هو 41 أي 65 أي 01000001، وa هو 61 أي 97 أي 01100001. والجدول يمتد من < (60) إلى C (67) في العمود الأيسر، ومن \ (92) إلى c (99) في العمود الأيمن.

Two patterns worth noticing, because they come back later:

نمطان يستحقان الملاحظة، لأنهما يعودان لاحقاً:

• Every binary value starts with a 0. ASCII only uses 7 of the 8 bits. That spare leading 0 is the hook UTF-8 hangs its whole design on.

  كل قيمة ثنائية تبدأ بـ 0. ASCII يستخدم 7 فقط من البتات الثمانية. وهذا الصفر البادئ الفائض هو المشجب الذي يعلّق عليه UTF-8 تصميمه كله.

• Uppercase and lowercase differ by exactly 32 (0x20). A is 65, a is 97. B is 66, b is 98. That is one bit flipped, which is why lowercasing used to be a single bitwise operation. It stops being that simple the moment you leave ASCII.

  الحرف الكبير والصغير يختلفان بـ 32 بالضبط (0x20). A هو 65 وa هو 97. B هو 66 وb هو 98. هذا بت واحد مقلوب، ولهذا كان التحويل إلى حروف صغيرة عملية bitwise واحدة. ويتوقف عن أن يكون بهذه البساطة لحظة خروجك من ASCII.

Code points, glyphs, and normalization, slide 33

نقاط الترميز (Code points) والأشكال المرسومة (glyphs) والتطبيع، الشريحة 33

The slide separates two things that look like one thing:

تفصل الشريحة بين شيئين يبدوان شيئاً واحداً:

• A code point is an abstract identifier. It is a number. It has no shape.

  الـ code point معرّف مجرد. إنه رقم. وليس له شكل.

• A glyph is a rendered shape. It is what the font draws on the screen.

  الـ glyph شكل مرسوم. إنه ما يرسمه الخط على الشاشة.

Then: some characters can be composed in multiple ways. The slide's example is accented characters. The letter é can be stored as one code point that means "e with acute accent", or as two code points that mean "plain e" followed by "add an acute accent to the previous character". Both draw the identical glyph. Neither is wrong.

ثم: بعض الحروف يمكن تركيبها بأكثر من طريقة. ومثال الشريحة الحروف ذات العلامات. الحرف é يمكن تخزينه code point واحداً يعني "e مع علامة حادة"، أو code points اثنين يعنيان "e عادية" يتبعها "أضف علامة حادة للحرف السابق". وكلاهما يرسم الـ glyph نفسه تماماً. ولا أحد منهما خاطئ.

Here is what that actually looks like:

وهكذا يبدو ذلك فعلياً:

composed form (NFC)     U+00E9                 1 code point   2 UTF-8 bytes
decomposed form (NFD)   U+0065 + U+0301        2 code points  3 UTF-8 bytes

both render as:  e with an acute accent
a naive string equality test says they are DIFFERENT

الصيغة المركّبة (NFC) هي U+00E9: code point واحد وبايتان في UTF-8. والصيغة المفكّكة (NFD) هي U+0065 + U+0301: code points اثنان وثلاثة بايتات في UTF-8. كلاهما يُعرض e بعلامة حادة، لكن اختبار مساواة السلاسل الساذج يقول إنهما مختلفان.

That last line is the whole problem. A search for one form silently fails to find the other. Two "identical" words end up as two separate entries in your vocabulary. Your token counts are split in half for no linguistic reason.

هذا السطر الأخير هو المشكلة كلها. البحث عن صيغة يفشل بصمت في إيجاد الأخرى. وكلمتان "متطابقتان" تنتهيان مدخلين منفصلين في مفرداتك. وتنقسم عدّات الـ tokens إلى نصفين بلا أي سبب لغوي.

Normalization is the fix: a defined procedure that rewrites text into one canonical choice of form, so that visually identical text compares equal. The slide's sentence is that normalization can affect matching and tokenization, which is a warning as much as a recommendation. If you normalize, your token boundaries change. If you do not, your matching breaks.

الـ Normalization هو الحل: إجراء محدد يعيد كتابة النص إلى اختيار قانوني (canonical) واحد للصيغة، فيتساوى النص المتطابق بصرياً عند المقارنة. وجملة الشريحة أن الـ normalization قد يؤثر في المطابقة والتقطيع، وهذا تحذير بقدر ما هو توصية. إذا طبّقت normalization تغيرت حدود الـ tokens. وإن لم تطبّقه انكسرت المطابقة.

يُظهر الرسم تسلسلين من الـ code points يؤديان إلى حرف مرئي واحد: المركّب U+00E9 والمفكّك U+0065 + U+0301، وكلاهما يشير إلى الـ glyph نفسه é، وسهم normalize (NFC) يحوّل المفكّك إلى المركّب. ثم يُرمَّز كل منهما بـ UTF-8: الأول بايتان C3 A9، والثاني ثلاثة بايتات 65 CC 81. متطابقان على الشاشة، مختلفان في الذاكرة، وغير متساويين في مقارنة السلاسل. الـ glyph هو ما تراه، والـ code points هي ما يُخزَّن، ولهذا وُجد الـ normalization.

UTF-8, slide 34

UTF-8، الشريحة 34

Unicode assigns numbers. It does not say how to write those numbers into a file. That job belongs to an encoding, and the one that won is UTF-8.

Unicode يعيّن الأرقام. لكنه لا يقول كيف تُكتب هذه الأرقام في ملف. هذه مهمة الترميز (encoding)، والترميز الذي انتصر هو UTF-8.

Slide 34 gives three properties:

تعطي الشريحة 34 ثلاث خصائص:

• UTF-8 is a variable-length encoding of Unicode code points into bytes.

  UTF-8 ترميز متغير الطول (variable-length) لـ code points الخاصة بـ Unicode إلى بايتات.

• ASCII characters use 1 byte; many others use 2 to 4 bytes.

  حروف ASCII تستخدم بايتاً واحداً، وكثير من غيرها يستخدم من 2 إلى 4 بايتات.

• It is backward compatible with ASCII, and it is the common choice in web and NLP pipelines.

  إنه متوافق مع ASCII رجعياً (backward compatible)، وهو الخيار الشائع في الويب ومسارات NLP.

"Variable-length" is the key word. The number of bytes depends on which character it is. Small code points are cheap, large code points are expensive.

"متغير الطول" هي الكلمة المفتاح. عدد البايتات يعتمد على أي حرف هو. الـ code points الصغيرة رخيصة، والكبيرة مكلفة.

Backward compatibility follows directly from the ASCII pattern you saw above. Every ASCII byte has a leading 0, so UTF-8 reserves "leading bit is 0" to mean "this is a one-byte ASCII character" and builds everything else out of bytes whose leading bit is 1. An old ASCII file is therefore already a valid UTF-8 file, unchanged.

التوافق الرجعي ينتج مباشرة من نمط ASCII الذي رأيته أعلاه. كل بايت ASCII يبدأ بـ 0، فيحجز UTF-8 "البت الأول يساوي 0" ليعني "هذا حرف ASCII من بايت واحد"، ويبني كل ما عداه من بايتات بتها الأول 1. لذلك فأي ملف ASCII قديم هو أصلاً ملف UTF-8 صالح، دون أي تغيير.

Unicode to UTF-8 mapping, slide 35

التحويل من Unicode إلى UTF-8، الشريحة 35

Slide 35 is the table that tells you exactly how to lay the bits out. Here it is transcribed:

الشريحة 35 هي الجدول الذي يخبرك بالضبط كيف ترتب البتات. وهذا هو منقولاً:

صفوف الجدول: من U+0000 إلى U+007F بايت واحد 0xxxxxxx. ومن U+0080 إلى U+07FF بايتان 110yyyyy 10xxxxxx. ومن U+0800 إلى U+FFFF ثلاثة بايتات 1110zzzz 10yyyyyy 10xxxxxx. ومن U+010000 إلى U+10FFFF أربعة بايتات 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx. وعمود Bit value يبيّن بتات الـ code point التي تُصبّ في الخانات.

Read the byte patterns, not the ranges. The structure is completely regular:

اقرأ أنماط البايتات لا المدى. البنية منتظمة تماماً:

• A one-byte character starts with 0.

  الحرف ذو البايت الواحد يبدأ بـ 0.

• A lead byte of a multi-byte character starts with as many 1s as there are bytes in total, then a 0. Two bytes gives 110, three gives 1110, four gives 11110.

  البايت القائد (lead byte) لحرف متعدد البايتات يبدأ بعدد من الآحاد يساوي عدد البايتات الكلي، ثم 0. بايتان يعطيان 110، وثلاثة تعطي 1110، وأربعة تعطي 11110.

• Every continuation byte starts with 10. Always. No exceptions.

  كل بايت تكميلي (continuation byte) يبدأ بـ 10. دائماً. بلا استثناءات.

That design means you can land anywhere in a UTF-8 stream and immediately tell whether you are at the start of a character or in the middle of one. The x, y, z, u letters are just the bits of the code point poured into the remaining slots, most significant first.

هذا التصميم يعني أنك تستطيع أن تهبط في أي مكان من تيار UTF-8 وتعرف فوراً هل أنت في بداية حرف أم في وسطه. والحروف x وy وz وu هي مجرد بتات الـ code point مصبوبة في الخانات المتبقية، الأعلى قيمة أولاً.

STEP 1  which row of the table?
  U+0645 is between U+0080 and U+07FF   ->  the 2-byte row
  pattern:  110yyyyy 10xxxxxx

STEP 2  write the code point in binary
  0x0645 = 1605 decimal
  1605 = 1024 + 512 + 64 + 4 + 1
  1605 = 1 1 0 0 1 0 0 0 1 0 1   (11 bits)

STEP 3  the 2-byte row needs 11 payload bits, 5 then 6. split it.
  top 5 bits  (yyyyy)  = 11001
  low 6 bits  (xxxxxx) = 000101

STEP 4  pour the bits into the template
  byte 1 = 110 + 11001 = 11011001 = 0xD9 = 217
  byte 2 = 10  + 000101 = 10000101 = 0x85 = 133

ANSWER
  م  is  D9 85  in UTF-8.   2 bytes for 1 character.

CHECK  byte 1 starts with 110, so "two bytes follow this pattern".
       byte 2 starts with 10, so "I am a continuation". consistent.

يعرض الرسم أربعة حروف مع الـ code point وبايتات UTF-8 لكل منها: A (U+0041) بايت واحد 41. وم (U+0645) بايتان D9 85. و世 (U+4E16) ثلاثة بايتات E4 B8 96. والإيموجي (U+1F600) أربعة بايتات F0 9F 98 80. الحرف الواحد ليس بايتاً واحداً. المربع الملوّن باللون الأساسي هو البايت القائد، والمربعات الرمادية بايتات تكميلية. اقرأ البتات الأولى: 0 يعني بايت ASCII منفرداً، و110 و1110 و11110 تعلن عن حرف من 2 و3 و4 بايتات، وكل بايت تكميلي يبدأ بـ 10.

Why bytes are useful, slide 36

لماذا الـ bytes مفيدة، الشريحة 36

Now the payoff, and the bridge to the tokenization page:

والآن الثمرة، والجسر إلى صفحة الـ tokenization:

• Any text can be represented as bytes, so there is no "unknown character" issue.

  أي نص يمكن تمثيله بايتات، فلا توجد مشكلة "حرف مجهول".

• Byte-level tokenization handles arbitrary scripts, emojis, and typos.

  الـ tokenization على مستوى البايت يتعامل مع أي نظام كتابة، والإيموجي، والأخطاء المطبعية.

• But bytes may lose linguistic structure, so they are often combined with learned merges.

  لكن البايتات قد تفقد البنية اللغوية، لذلك تُدمج غالباً مع دمجات متعلَّمة (learned merges).

Work through why the first point is airtight. There are exactly 256 possible byte values. If your base vocabulary is all 256, then every possible file, in every script, including ones invented after your model was trained, is already fully covered. There is no input you can be handed that contains a symbol you have never seen. Out-of-vocabulary stops being a thing that can happen.

تتبّع لماذا النقطة الأولى محكمة تماماً. هناك 256 قيمة ممكنة بالضبط للبايت. فإذا كانت مفرداتك الأساسية هي الـ 256 كلها، فكل ملف ممكن، بأي نظام كتابة، بما في ذلك ما اختُرع بعد تدريب نموذجك، مغطى بالكامل أصلاً. لا يوجد دخل يمكن أن يُعطى لك فيه رمز لم تره من قبل. ويتوقف الـ out-of-vocabulary عن أن يكون شيئاً ممكن الحدوث.

The cost is in the third bullet. A byte is not a linguistic unit. In the Arabic letter م the bytes D9 and 85 mean nothing on their own, and the model has to learn that they always travel together. That is exactly the job "combined with learned merges" is pointing at, and the method that does it is on the next page.

الثمن في البند الثالث. البايت ليس وحدة لغوية. في الحرف العربي م البايتان D9 و85 لا يعنيان شيئاً منفردين، وعلى النموذج أن يتعلم أنهما يسيران معاً دائماً. وهذه بالضبط المهمة التي تشير إليها عبارة "تُدمج مع دمجات متعلَّمة"، والطريقة التي تؤديها في الصفحة التالية.

Code point versus glyph versus byte

نقطة الترميز مقابل الـ glyph مقابل البايت

Three layers, and exam questions live on the boundaries between them.

ثلاث طبقات، وأسئلة الامتحان تعيش على الحدود بينها.

الجدول يقارن الطبقات الثلاث. ما هو: الـ code point رقم مجرد يعرّف حرفاً، والـ glyph شكل يرسمه خط، والـ byte ثمانية بتات تخزين بقيمة من 0 إلى 255. يُكتب: U+0645، مقابل العلامة المرئية على الشاشة، مقابل D9 أو 217 أو 11011001. من يحدده: معيار Unicode، ومصمم الخط، والترميز وهو هنا UTF-8. كم لكل حرف: عادة 1 وأحياناً تسلسل، وشكل واحد مرسوم يختلف بحسب الخط والموضع، ومن 1 إلى 4 في UTF-8 غير ثابت. هل يختلف اثنان ويبدوان متطابقين: نعم، U+00E9 مقابل U+0065 U+0301، وهذا هو المقصود في الـ glyph فهما يبدوان متطابقين، ونعم في البايتات C3 A9 مقابل 65 CC 81. حجم الأبجدية: أكثر من 1.1 مليون ممكن، وغير محدود ويعتمد على الخط، و256 بالضبط. هل يمكن أن يكون مجهولاً: نعم قد يظهر حرف جديد، ونعم تحصل على مربع الحرف المفقود، ولا في البايتات لأن القيم الـ 256 كلها موجودة دائماً.

The bottom row is the whole argument for byte-level models in one cell.

الصف الأخير هو حجة النماذج على مستوى البايت كلها في خلية واحدة.

Thirty-second recap

خلاصة في ثلاثين ثانية

ملخص: الـ corpus مجموعة منظمة من النصوص وغالباً موسومة، ويختلف بالمجال والنوع والزمن والديموغرافيا والتنوع اللغوي، والنماذج ترث التحيزات من corpora التدريب. والـ data statement يضم الدافع والتكوين والجمع والمعالجة المسبقة والأخلاقيات والتوزيع، وفوائده الشفافية وقابلية إعادة الإنتاج والاستخدام المسؤول. الـ code point هو الرقم، وU+0061 هو 'a'، والـ glyph هو الشكل المرسوم، والـ glyph نفسه قد يكون له code points مختلفة. UTF-8 متغير الطول من 1 إلى 4 بايتات، وASCII بايت واحد فـ UTF-8 متوافق رجعياً، والبايتات التكميلية تبدأ دائماً بـ 10. و256 قيمة للبايت، فلا يوجد حرف مجهول.