Filling the DP table and recovering the alignmentملء جدول DP واستعادة المحاذاة

Start with a route you can check by eye. Take intention, delete the i to get ntention, replace n by e to get etention, replace t by x to get exention, insert u to get exenution, and replace n by c to get execution. Five edits, each of cost 1, and the string arrives exactly where it should.

ابدأ بمسار يمكنك التحقق منه بعينك. خذ intention، واحذف الحرف i لتحصل على ntention، ثم استبدل n بـ e لتحصل على etention، ثم استبدل t بـ x لتحصل على exention، ثم أدرج u لتحصل على exenution، ثم استبدل n بـ c لتحصل على execution. خمسة تعديلات، كلفة كل منها 1، وتصل السلسلة تمامًا إلى حيث يجب أن تصل.

1. intention, delete i, gives ntentionintention، احذف i، فتحصل على ntention
2. ntention, substitute n by e, gives etentionntention، استبدل n بـ e، فتحصل على etention
3. etention, substitute t by x, gives exentionetention، استبدل t بـ x، فتحصل على exention
4. exention, insert u, gives exenutionexention، أدرج u، فتحصل على exenution
5. exenution, substitute n by c, gives executionexenution، استبدل n بـ c، فتحصل على execution

SLP3 states that the unit-cost Minimum edit distance between these two words is exactly 5, so this ladder is not merely a route, it is an optimal one. The interesting question is what optimality implies about the middle rungs. Suppose exention really lies on a shortest path. Then the way we reached exention must itself be the shortest way to reach exention: if a cheaper route to exention existed, we could splice it in and get a cheaper route to execution, which contradicts the assumption that our path was shortest. Every prefix of a shortest path is a shortest path. That property is called Optimal substructure, and it is the license for Dynamic programming: instead of remembering whole edit sequences, remember the best cost for every intermediate state once, and build longer answers out of shorter ones.

ينص SLP3 على أن minimum edit distance بالكلف الأحادية بين هاتين الكلمتين تساوي 5 بالضبط، لذا فهذا السلّم ليس مجرد مسار، بل مسار أمثل. والسؤال المثير هو: ماذا تعني الأمثلية بالنسبة للدرجات الوسطى؟ لنفترض أن exention تقع فعلًا على مسار أقصر. عندئذ يجب أن تكون الطريقة التي وصلنا بها إلى exention هي نفسها أقصر طريق للوصول إلى exention: فلو وُجد طريق أرخص إلى exention لأمكننا تركيبه مكان الجزء الأول والحصول على طريق أرخص إلى execution، وهذا يناقض افتراض أن مسارنا هو الأقصر. إذن كل بادئة (prefix) من مسار أقصر هي نفسها مسار أقصر. تسمى هذه الخاصية optimal substructure (البنية الجزئية المثلى)، وهي المسوّغ لاستخدام dynamic programming (البرمجة الديناميكية): فبدلًا من تذكر تسلسلات تعديل كاملة، نتذكر أفضل كلفة لكل حالة وسيطة مرة واحدة، ونبني الإجابات الأطول من الإجابات الأقصر.

The states themselves are what part 10 introduced: a pair of prefixes, the first i letters of the source and the first j letters of the target. The naive search over edit sequences explodes because thousands of different sequences pass through the same intermediate string, and each one is scored again from scratch. A table indexed by prefix pairs collapses all of those into one cell, and the Alignment you read from the table at the end is just the ladder above, laid out as a path through cells (SLP3, section 2.9.1).

أما الحالات نفسها فهي ما قدّمه الجزء 10: زوج من البادئات، أي أول i حرفًا من المصدر وأول j حرفًا من الهدف. البحث الساذج في تسلسلات التعديل ينفجر حجمه لأن آلاف التسلسلات المختلفة تمر بالسلسلة الوسيطة نفسها، وكل واحد منها يُحسب من الصفر مرة أخرى. أما الجدول المفهرس بأزواج البادئات فيدمج كل ذلك في خلية واحدة، والـ alignment (المحاذاة) التي تقرؤها من الجدول في النهاية ما هي إلا السلّم السابق نفسه، مرسومًا كمسار عبر الخلايا (SLP3، القسم 2.9.1).

Compute the top-left corner of the intention to execution table by hand, using the slide's convention where a substitution costs 2. The empty string needs nothing to become the empty string, so D[0,0] = 0. Turning the one-letter prefix i into nothing takes one deletion, D[1,0] = 1. Building e from nothing takes one insertion, D[0,1] = 1. The first interior cell compares i with e: D[1,1] = min(1 + 1, 1 + 1, 0 + 2) = 2, and all three candidates tie.

احسب الزاوية العليا اليسرى من جدول intention إلى execution يدويًا، باستخدام اصطلاح الشريحة الذي تكون فيه كلفة الاستبدال 2. السلسلة الفارغة لا تحتاج إلى شيء لتصبح سلسلة فارغة، لذا D[0,0] = 0. وتحويل البادئة المكونة من حرف واحد i إلى لا شيء يتطلب حذفًا واحدًا، D[1,0] = 1. وبناء e من لا شيء يتطلب إدراجًا واحدًا، D[0,1] = 1. أول خلية داخلية تقارن i مع e: D[1,1] = min(1 + 1, 1 + 1, 0 + 2) = 2، والمرشحون الثلاثة متعادلون.

That small calculation is the whole algorithm, repeated. SLP3's pseudocode (its Fig. 2.21, reproduced on slide 88) makes it precise. Let n be the length of the source and m the length of the target, and create a matrix D with n + 1 rows and m + 1 columns, the extra row and column standing for the empty prefix. The first column is D[i,0] = D[i-1,0] + del-cost(source[i]), because the only way to turn a length-i prefix into nothing is to delete each of its letters. The first row is D[0,j] = D[0,j-1] + ins-cost(target[j]), because the only way to build a length-j prefix from nothing is to insert each letter. With unit insertion and deletion those two lines reduce to D[i,0] = i and D[0,j] = j. Then, row by row and column by column, every interior cell is the minimum of three candidates, and the answer is D[n,m].

هذا الحساب الصغير هو الخوارزمية كلها، مكررة. والشيفرة الوصفية (pseudocode) في SLP3 (الشكل 2.21 فيه، والمعروض في الشريحة 88) تجعل ذلك دقيقًا. ليكن n طول المصدر وm طول الهدف، وأنشئ مصفوفة D فيها n + 1 صفًا وm + 1 عمودًا، حيث يمثل الصف والعمود الإضافيان البادئة الفارغة. العمود الأول هو D[i,0] = D[i-1,0] + del-cost(source[i])، لأن الطريقة الوحيدة لتحويل بادئة طولها i إلى لا شيء هي حذف كل حرف من حروفها. والصف الأول هو D[0,j] = D[0,j-1] + ins-cost(target[j])، لأن الطريقة الوحيدة لبناء بادئة طولها j من لا شيء هي إدراج كل حرف. ومع كلفة إدراج وحذف أحادية يتبسط هذان السطران إلى D[i,0] = i وD[0,j] = j. ثم، صفًا بعد صف وعمودًا بعد عمود، تكون كل خلية داخلية القيمة الصغرى من ثلاثة مرشحين، والإجابة هي D[n,m].

The Edit distance recurrence looks only at three neighbors: the cell above (delete the source letter source[i], written x_i in the formula), the cell to the left (insert the target letter target[j], written y_j), and the diagonal cell (substitute one for the other, or match for free when they are equal). Nothing else in the two strings is consulted. That locality is what makes the fill order work: going row by row from the top-left, all three neighbors are already computed when you reach a cell. Any order with that property is fine, including column by column or along anti-diagonals, which is how the hover figure below animates it.

تنظر edit distance recurrence (علاقة التكرار لمسافة التعديل) إلى ثلاثة جيران فقط: الخلية العليا (حذف حرف المصدر source[i]، المكتوب x_i في الصيغة)، والخلية اليسرى (إدراج حرف الهدف target[j]، المكتوب y_j)، والخلية القطرية (استبدال أحدهما بالآخر، أو التطابق مجانًا عندما يتساويان). ولا يُرجع إلى أي شيء آخر في السلسلتين. هذه المحلية هي ما يجعل ترتيب الملء صحيحًا: عند السير صفًا بصف من الزاوية العليا اليسرى، تكون الجيران الثلاثة محسوبة مسبقًا عندما تصل إلى أي خلية. وأي ترتيب يحقق هذه الخاصية مقبول، بما في ذلك عمودًا بعمود أو على طول الأقطار المعاكسة (anti-diagonals)، وهي الطريقة التي يحرّك بها الشكل التفاعلي أدناه الملء.

Two conventions, two right answersاصطلاحان، وإجابتان صحيحتان

Slide 86 defined a unit Substitution cost, but the table on slide 89 is SLP3's Fig. 2.20, which charges 2 for a substitution. SLP3 explains the choice: a substitution can always be simulated by one deletion and one insertion, so charging 2 makes the metric coincide with the version of Levenshtein's distance that allows only insertions and deletions. Under that convention intention to execution costs 8; under unit costs it is 5, the length of the ladder from the previous concept. Both numbers are correct in their own world, and an exam answer is correct only if it names the world it lives in.

عرّفت الشريحة 86 substitution cost (كلفة الاستبدال) بأنها أحادية، لكن الجدول في الشريحة 89 هو الشكل 2.20 من SLP3، الذي يحتسب 2 للاستبدال. ويشرح SLP3 هذا الاختيار: يمكن دائمًا محاكاة الاستبدال بحذف واحد وإدراج واحد، لذا فإن احتساب 2 يجعل المقياس مطابقًا لنسخة Levenshtein distance التي لا تسمح إلا بالإدراج والحذف. وفق هذا الاصطلاح يكلف تحويل intention إلى execution القيمة 8؛ أما بالكلف الأحادية فهو 5، أي طول السلّم من المفهوم السابق. كلا الرقمين صحيح في عالمه، وإجابة الامتحان لا تكون صحيحة إلا إذا سمّت العالم الذي تنتمي إليه.

Here is the full table from the slide with the source intention down the rows and the target execution across the columns, followed by the same table under unit costs. Compare any substitution cell: D[1,1] is 2 in the first and 1 in the second, and that one-point gap propagates until the corners read 8 and 5.

إليك الجدول الكامل من الشريحة، والمصدر intention على امتداد الصفوف والهدف execution على امتداد الأعمدة، ويليه الجدول نفسه بالكلف الأحادية. قارن أي خلية استبدال: D[1,1] تساوي 2 في الأول و1 في الثاني، وهذا الفرق بنقطة واحدة ينتشر حتى تصبح قيمتا الزاويتين 8 و5.

Now run the same procedure yourself. The simulator fills any pair of short words one cell at a time, prints the three candidates for each new cell, stores the arrows, and keeps both conventions side by side so you can watch the corner change from 5 to 8 with one toggle. The backtrace button belongs to the next concept; try it after reading on.

الآن نفّذ الإجراء نفسه بنفسك. يملأ المحاكي أي زوج من الكلمات القصيرة خلية في كل مرة، ويطبع المرشحين الثلاثة لكل خلية جديدة، ويخزن الأسهم، ويعرض الاصطلاحين جنبًا إلى جنب حتى ترى قيمة الزاوية تتغير من 5 إلى 8 بنقرة واحدة. أما زر التتبع الرجوعي (Backtrace) فيخص المفهوم التالي؛ جرّبه بعد أن تكمل القراءة.

Put your finger on the 8 in the bottom-right corner of slide 91. That cell holds a single diagonal arrow, because n matches n and the free diagonal was the only candidate that reached 8. Step diagonally to (8,8), still 8, o matches o. Diagonal again to (7,7) for i, and to (6,6) for t. At (5,5) three arrows are drawn; the bold path takes the diagonal, substituting n by u for 2, which is why the value drops from 8 to 6 at (4,4). That cell has only a left arrow: insert c. Then (4,3) matches e for free, (3,2) substitutes t by x, (2,1) substitutes n by e, and (1,0) points up, deleting i, into (0,0).

ضع إصبعك على القيمة 8 في الزاوية السفلى اليمنى من الشريحة 91. تحمل هذه الخلية سهمًا قطريًا واحدًا، لأن n يطابق n والقطر المجاني هو المرشح الوحيد الذي وصل إلى 8. انتقل قطريًا إلى (8,8)، وما زالت القيمة 8، وo يطابق o. ثم قطريًا مرة أخرى إلى (7,7) للحرف i، وإلى (6,6) للحرف t. عند (5,5) رُسمت ثلاثة أسهم؛ والمسار العريض يأخذ القطر، مستبدلًا n بـ u بكلفة 2، ولهذا تنخفض القيمة من 8 إلى 6 عند (4,4). لهذه الخلية سهم واحد فقط إلى اليسار: إدراج c. ثم (4,3) تطابق e مجانًا، و(3,2) تستبدل t بـ x، و(2,1) تستبدل n بـ e، و(1,0) تشير إلى الأعلى، حاذفةً i، وصولًا إلى (0,0).

Reverse the list and you have an edit sequence: delete i, n to e, t to x, match e, insert c, n to u, then four matches. Its cost is 1 + 2 + 2 + 0 + 1 + 2 + 0 + 0 + 0 + 0 = 8, the corner value, and written as rows it is SLP3's Fig. 2.17: INTE*NTION over *EXECUTION with the operation letters d s s i s under the changed columns. This is a different five-edit shape from the ladder in the first concept, yet it costs the same under both conventions, 8 here and 5 at unit costs: the ladder substitutes n by c and then inserts u, the bold path inserts c and then substitutes n by u, and both keep the four free matches at the end. The two diverge exactly at the three-arrow tie in (5,5): the left arrow leads to the ladder, the diagonal to the bold path. That is the tie rule of the next subsection in action.

اعكس القائمة فتحصل على تسلسل تعديل: حذف i، وn إلى e، وt إلى x، ومطابقة e، وإدراج c، وn إلى u، ثم أربع مطابقات. كلفته 1 + 2 + 2 + 0 + 1 + 2 + 0 + 0 + 0 + 0 = 8، أي قيمة الزاوية، وإذا كُتب على شكل صفوف فهو الشكل 2.17 من SLP3: INTE*NTION فوق *EXECUTION مع حروف العمليات d s s i s تحت الأعمدة التي تغيرت. هذا شكل مختلف من خمسة تعديلات عن السلّم في المفهوم الأول، ومع ذلك فكلفته هي نفسها وفق الاصطلاحين، 8 هنا و5 بالكلف الأحادية: السلّم يستبدل n بـ c ثم يدرج u، والمسار العريض يدرج c ثم يستبدل n بـ u، وكلاهما يحتفظ بالمطابقات المجانية الأربع في النهاية. ويفترق الاثنان تمامًا عند التعادل ذي الأسهم الثلاثة في (5,5): السهم الأيسر يقود إلى السلّم، والقطري إلى المسار العريض. هذه هي قاعدة التعادل في القسم الفرعي التالي وهي تعمل.

The general mechanism is what slide 90 states. While filling, each cell records which of its three candidates achieved the minimum, the argmin, as a Backpointer. Up means the source letter was deleted, left means the target letter was inserted, diagonal means substitution or match. After the fill, start at D[n,m] and follow arrows until D[0,0]. SLP3 puts it in one sentence: each complete path between the final cell and the initial cell is a minimum distance Alignment. Every step decreases i, j or both, so the walk takes at most n + m steps, which is why SLP3's lecture slides list the Backtrace as O(n + m).

الآلية العامة هي ما تنص عليه الشريحة 90. أثناء الملء، تسجل كل خلية أيًا من مرشحيها الثلاثة حقق القيمة الصغرى، أي الـ argmin، على شكل backpointer (مؤشر خلفي). السهم إلى الأعلى يعني أن حرف المصدر حُذف، وإلى اليسار يعني أن حرف الهدف أُدرج، والقطري يعني استبدالًا أو مطابقة. بعد الملء، ابدأ من D[n,m] واتبع الأسهم حتى D[0,0]. ويقولها SLP3 في جملة واحدة: كل مسار كامل بين الخلية الأخيرة والخلية الأولى هو alignment بأقل مسافة. وكل خطوة تُنقص i أو j أو كليهما، لذا يستغرق السير n + m خطوة على الأكثر، ولهذا تذكر شرائح محاضرة SLP3 أن backtrace (التتبع الرجوعي) يكلف O(n + m).

Ties are alternative alignmentsالتعادلات محاذاات بديلة

A cell like (1,1) on slide 91 carries three arrows because three candidates reached the same minimum. SLP3 says this directly: some cells have multiple backpointers because the minimum extension could have come from multiple previous cells. Each choice at a tie leads to a different complete path, and every complete path has the same total cost, so ties are exactly the reason multiple optimal alignments exist. For intention to execution there are 134 such paths under the cost-2 convention and 7 under unit costs (both counted for this part by walking every pointer set). Erickson shows a smaller case in his textbook, ALGORITHM to ALTRUISTIC, whose table has exactly three optimal paths. Go back to the simulator, press Backtrace, then Next alignment, and watch the highlighted path change at the teal-dotted cells while the distance stays fixed.

خلية مثل (1,1) في الشريحة 91 تحمل ثلاثة أسهم لأن ثلاثة مرشحين وصلوا إلى القيمة الصغرى نفسها. ويقول SLP3 ذلك صراحة: بعض الخلايا لها عدة مؤشرات خلفية لأن الامتداد الأدنى كان يمكن أن يأتي من عدة خلايا سابقة. كل اختيار عند التعادل يقود إلى مسار كامل مختلف، وكل مسار كامل له الكلفة الإجمالية نفسها، لذا فالتعادلات هي بالضبط سبب وجود عدة محاذاات مثلى. ولتحويل intention إلى execution يوجد 134 مسارًا من هذا النوع وفق اصطلاح الكلفة 2، و7 بالكلف الأحادية (وكلاهما حُسب لهذا الجزء بالمرور على كل مجموعة مؤشرات). ويعرض Erickson حالة أصغر في كتابه، من ALGORITHM إلى ALTRUISTIC، وجدولها فيه ثلاثة مسارات مثلى بالضبط. ارجع إلى المحاكي، واضغط Backtrace ثم Next alignment، وراقب المسار المظلل يتغير عند الخلايا المنقطة باللون الأزرق المخضر بينما تبقى المسافة ثابتة.

The intention to execution table has 10 x 10 = 100 cells, and each cost a glance at three neighbors. Two documents of 100,000 characters each would need 10^10 cells, which is the scale where the accounting starts to matter and where the Stanford CS 262 notes on alignment begin their discussion of space.

جدول intention إلى execution فيه 10 x 10 = 100 خلية، وكل منها كلّف نظرة سريعة إلى ثلاثة جيران. أما وثيقتان طول كل منهما 100,000 حرف فستحتاجان إلى 10^10 خلية، وهذا هو الحجم الذي يبدأ عنده الحساب الدقيق للكلفة بالأهمية، وهو المكان الذي تبدأ فيه ملاحظات Stanford CS 262 عن المحاذاة نقاشها حول الذاكرة.

Time is the easy half. There are (n + 1)(m + 1) cells, each computed in constant time from three already-known neighbors, so the fill runs in O(mn), the bound Wagner and Fischer gave in 1974 and the one Erickson states for his edit distance chapter. Space is where the choices begin. Storing the whole table, as the simulator does, also takes O(mn). But look at the recurrence again: row i reads only row i - 1 and the cells to its own left. If all you want is the distance, keep two rows, the previous one and the one being filled, and throw the rest away. Put the shorter string across the columns and the memory is O(min(m,n)), exactly what slide 92 says.

الزمن هو النصف السهل. هناك (n + 1)(m + 1) خلية، تُحسب كل منها في زمن ثابت من ثلاثة جيران معروفين مسبقًا، لذا يعمل الملء في O(mn)، وهو الحد الذي قدّمه Wagner و Fischer عام 1974 والذي يذكره Erickson في فصله عن مسافة التعديل. أما الذاكرة فهي حيث تبدأ الخيارات. تخزين الجدول كاملًا، كما يفعل المحاكي، يأخذ أيضًا O(mn). لكن انظر إلى علاقة التكرار مرة أخرى: الصف i لا يقرأ إلا الصف i - 1 والخلايا الواقعة على يساره في الصف نفسه. فإذا كان كل ما تريده هو المسافة، فاحتفظ بصفين، السابق والذي يُملأ حاليًا، وتخلّص من الباقي. ضع السلسلة الأقصر على امتداد الأعمدة فتصبح الذاكرة O(min(m,n))، وهذا بالضبط ما تقوله الشريحة 92.

The price of that saving is the third bullet of the slide. The backpointers lived in the rows you discarded, so the two-row version cannot Backtrace. Erickson puts it plainly: by throwing away most of the table, we apparently lose the ability to walk backward. If you need the alignment as well, either keep the full table with its arrows, or recompute cleverly. Hirschberg's 1975 algorithm is the clever recomputation: run the two-row fill forward from the start and backward from the end, meet in the middle column to find which cell of that column the optimal path passes through, then recurse on the two halves. It recovers the full alignment in O(m + n) space while staying O(mn) in time; the CS 262 proof shows the constant roughly doubles, because every level of the recursion refills about half the area of the level above.

ثمن هذا التوفير هو النقطة الثالثة في الشريحة. فالـ backpointers كانت تعيش في الصفوف التي تخلصت منها، لذا لا تستطيع النسخة ذات الصفين إجراء backtrace. ويقولها Erickson بوضوح: بالتخلص من معظم الجدول، نفقد على ما يبدو القدرة على السير رجوعًا. إذا احتجت إلى المحاذاة أيضًا، فإما أن تحتفظ بالجدول كاملًا مع أسهمه، أو تعيد الحساب بذكاء. وHirschberg's 1975 algorithm (خوارزمية Hirschberg عام 1975) هي إعادة الحساب الذكية: نفّذ الملء بصفين إلى الأمام من البداية وإلى الخلف من النهاية، والتقِ في العمود الأوسط لتعرف أي خلية من ذلك العمود يمر بها المسار الأمثل، ثم طبّق العودية على النصفين. وهي تستعيد المحاذاة كاملة في ذاكرة O(m + n) مع بقاء الزمن O(mn)؛ ويبين برهان CS 262 أن الثابت يتضاعف تقريبًا، لأن كل مستوى من العودية يعيد ملء نحو نصف مساحة المستوى الذي فوقه.

Slide 93 closes the lecture with seven lines, and they tell one story. A word is not a universal primitive, so Tokenization is a design decision rather than a fact about text. Whatever units you pick, their frequencies follow a heavy tail (Zipf for rank against frequency, Heaps for vocabulary growth), so a fixed word vocabulary always leaks unseen words, and subwords are the answer.

تختم الشريحة 93 المحاضرة بسبعة أسطر، وهي تروي قصة واحدة. الكلمة ليست وحدة أولية عامة، لذا فإن tokenization (التقطيع) قرار تصميمي وليس حقيقة عن النص. وأيًا كانت الوحدات التي تختارها، فإن تكراراتها تتبع ذيلًا ثقيلًا (Zipf للرتبة مقابل التكرار، وHeaps لنمو المفردات)، لذا فإن أي مفردات كلمات ثابتة ستتسرب منها دائمًا كلمات غير مرئية سابقًا، والوحدات الجزئية (subwords) هي الحل.

Morphology shows that words do have meaningful pieces, morphemes, but that segmenting them cleanly is hard and differs across languages. Unicode and UTF-8 make multilingual text representable at all, and their bytes are the universal fallback when nothing else fits. BPE then learns a compact, reusable subword vocabulary from data, with a regex pre-tokenizer doing the practical work of splitting and normalizing before it. Finally, once text has become strings of units, the Minimum edit distance table you just filled is the foundational dynamic program for saying how similar two of those strings are.

يبين علم الصرف (morphology) أن للكلمات فعلًا أجزاء ذات معنى، هي morphemes (المورفيمات)، لكن تقطيعها بشكل نظيف صعب ويختلف من لغة إلى أخرى. و Unicode وUTF-8 يجعلان النص متعدد اللغات قابلًا للتمثيل أصلًا، وبايتاتهما هي الخيار الاحتياطي العام حين لا يناسب أي شيء آخر. ثم تتعلم BPE مفردات وحدات جزئية مضغوطة وقابلة لإعادة الاستخدام من البيانات، مع مقطّع مسبق (pre-tokenizer) مبني على regex يتولى العمل العملي للتقسيم والتطبيع قبلها. وأخيرًا، بعد أن يصبح النص سلاسل من الوحدات، يكون جدول minimum edit distance الذي ملأته للتو هو البرنامج الديناميكي الأساسي لقياس مدى تشابه سلسلتين من تلك السلاسل.

• Word is not a universal primitive; tokenization is a design decision.الكلمة ليست وحدة أولية عامة؛ والتقطيع (tokenization) قرار تصميمي.
• Vocabulary growth follows a heavy tail (Zipf, Heaps), which motivates subwords.نمو المفردات يتبع ذيلًا ثقيلًا (Zipf، Heaps)، وهذا ما يبرر الوحدات الجزئية (subwords).
• Morphology differs across languages; morphemes are meaningful but not always easy to segment.الصرف يختلف بين اللغات؛ والمورفيمات ذات معنى لكن تقطيعها ليس سهلًا دائمًا.
• Unicode and UTF-8 make multilingual text possible, and bytes are a universal fallback.Unicode وUTF-8 يجعلان النص متعدد اللغات ممكنًا، والبايتات خيار احتياطي عام.
• BPE learns a compact, reusable subword vocabulary.BPE تتعلم مفردات وحدات جزئية مضغوطة وقابلة لإعادة الاستخدام.
• Regex is the practical tool for pre-tokenization and normalization.التعابير النمطية (regex) هي الأداة العملية للتقطيع المسبق والتطبيع.
• Minimum edit distance is the foundational DP algorithm for string similarity.مسافة التعديل الصغرى (minimum edit distance) هي خوارزمية البرمجة الديناميكية الأساسية لقياس تشابه السلاسل النصية.