State-of-the-art spelling systemsأنظمة الإملاء الحديثة

You type "teh" on your phone and it silently becomes "the". You type a colleague's surname and it gets a red underline and nothing else. Same keyboard, same software, two very different behaviours. The difference is how sure the system is about its best candidate.

تكتب «teh» على هاتفك فتتحول بصمت إلى «the». وتكتب اسم عائلة أحد زملائك فيظهر تحته خط أحمر ولا شيء غير ذلك. لوحة المفاتيح نفسها والبرنامج نفسه، لكن السلوكين مختلفان جدًا. والفرق هو مدى تأكد النظام من أفضل مرشح لديه.

Four actions, ordered by confidenceأربعة إجراءات مرتبة حسب الثقة

A spelling corrector produces two things: a ranked list of candidates and, implicitly, a measure of how much better the top candidate is than the rest and than leaving the word alone. The Confidence ladder turns that confidence into an interface decision. When the system is very confident, it performs Autocorrect. When it is less confident, it shows only its single best correction and lets the writer accept it. Less confident still, it offers a correction list. When it is unconfident, it does not guess at all: it just flags the token.

ينتج مصحح الإملاء شيئين: قائمة مرتبة من المرشحين، وضمنيًا مقياسًا لمدى تفوق المرشح الأول على البقية وعلى ترك الكلمة كما هي. يحوّل سلّم الثقة (confidence ladder) هذه الثقة إلى قرار في الواجهة. عندما يكون النظام واثقًا جدًا، ينفّذ التصحيح التلقائي (autocorrect). وعندما تقل ثقته، يعرض أفضل تصحيح واحد فقط ويترك للكاتب أن يقبله. وعندما تقل ثقته أكثر، يعرض قائمة تصحيحات. وعندما لا يكون واثقًا، لا يخمّن أبدًا: يكتفي بتمييز الكلمة (token) على أنها خطأ.

The logic is about the cost of mistakes. A silent wrong replacement is the worst outcome: the writer may never notice that the meaning changed. Each rung down hands more of the decision back to the human, so the system can afford to be less sure. The slides give no rule for choosing the rung; in practice it is a set of thresholds on a confidence signal, such as the score gap between the best candidate and the runner-up, or between the best candidate and the typed word itself.

المنطق قائم على تكلفة الأخطاء. الاستبدال الخاطئ الصامت هو أسوأ نتيجة: قد لا يلاحظ الكاتب أبدًا أن المعنى تغيّر. كل درجة نزولًا تعيد جزءًا أكبر من القرار إلى الإنسان، فيستطيع النظام أن يكون أقل يقينًا. لا تقدم الشرائح قاعدة لاختيار الدرجة؛ وعمليًا هي مجموعة عتبات (thresholds) على إشارة ثقة، مثل فرق الدرجة بين أفضل مرشح والذي يليه، أو بين أفضل مرشح والكلمة المكتوبة نفسها.

This ladder is the interface face of the task ladder from part 1. There, the tasks were Spelling error detection (find the error) and Spelling error correction (propose or apply a fix). Flagging is detection alone. The three upper rungs are correction, delivered with increasing boldness.

هذا السلّم هو الوجه الظاهر في الواجهة لسلّم المهام من الجزء 1. هناك كانت المهمتان هما كشف الأخطاء الإملائية (spelling error detection) أي إيجاد الخطأ، وتصحيح الأخطاء الإملائية (spelling error correction) أي اقتراح إصلاح أو تطبيقه. التمييز (flagging) هو كشف فقط. والدرجات الثلاث العليا تصحيح، يُقدَّم بجرأة متزايدة.

Look again at the acress table. With the plain product, across scores 2.78 × 10⁻⁹ and actress scores 2.70 × 10⁻⁹. A 3% margin decides the answer. Is that really the right balance between "how easy is this typo" and "how common is this word"? Nothing in the model guarantees it.

انظر مجددًا إلى جدول acress. مع حاصل الضرب العادي، تحصل across على 2.78 × 10⁻⁹ وتحصل actress على 2.70 × 10⁻⁹. هامش قدره 3% يحسم الإجابة. فهل هذا حقًا التوازن الصحيح بين «ما مدى سهولة هذا الخطأ المطبعي» و«ما مدى شيوع هذه الكلمة»؟ لا شيء في النموذج يضمن ذلك.

Why the plain product is not trustedلماذا لا نثق بحاصل الضرب العادي

The Noisy channel model multiplies the Channel model P(x|w) by the Prior probability P(w). Bayes' rule says that product is exact, but only for the true distributions. Our two factors are estimates built under different simplifications. The channel assumes a single edit from a confusion matrix. The language model assumes a unigram or bigram history. Because of these independence assumptions, the two numbers are not commensurate: they live on different effective scales, and one can be systematically over- or under-confident relative to the other. So state-of-the-art systems never just multiply them. They weight them.

يضرب نموذج القناة المشوشة (noisy channel model) نموذجَ القناة (channel model) P(x|w) في الاحتمال المسبق (prior probability) P(w). تقول قاعدة بايز (Bayes' rule) إن هذا الحاصل دقيق، لكن فقط للتوزيعات الحقيقية. أما عاملانا فهما تقديران بُنيا تحت تبسيطات مختلفة. القناة تفترض تعديلًا واحدًا مأخوذًا من مصفوفة الالتباس (confusion matrix). ونموذج اللغة يفترض تاريخًا من نوع unigram أو bigram. وبسبب افتراضات الاستقلال هذه، لا يكون الرقمان متكافئين في المقياس (not commensurate): فهما يعيشان على مقاييس فعلية مختلفة، وقد يكون أحدهما مفرط الثقة أو ناقصها بشكل منهجي مقارنة بالآخر. لذلك لا تكتفي الأنظمة المتقدمة (state-of-the-art) بضربهما أبدًا، بل تزنهما.

This is Lambda weighting. The argmax still runs over the vocabulary V. In log space the formula is a weighted sum of two votes, so λ is literally the weight of the language model relative to the channel. λ = 1 is the plain product. λ > 1 gives the prior more say and favours frequent words. λ < 1 gives the channel more say and favours the cheapest edit. The value is not derived; it is learned by trying several values on a Development test set of real misspellings and keeping the one with the best accuracy.

هذا هو وزن لامدا (lambda weighting). ما زال argmax يمر على المفردات V. وفي فضاء اللوغاريتم تصبح المعادلة مجموعًا موزونًا لصوتين، فتكون λ حرفيًا وزن نموذج اللغة نسبةً إلى القناة. λ = 1 هو حاصل الضرب العادي. λ > 1 يعطي الاحتمال المسبق كلمة أكبر ويفضّل الكلمات الشائعة. λ < 1 يعطي القناة كلمة أكبر ويفضّل أرخص تعديل. هذه القيمة لا تُشتق رياضيًا؛ بل تُتعلَّم بتجربة عدة قيم على مجموعة اختبار تطويرية (development test set) من أخطاء إملائية حقيقية، والاحتفاظ بالقيمة التي تعطي أفضل دقة.

Drag the slider and watch the ranking reorder. Note that at small λ the two acres derivations, summed, also climb above across, because their channel probability is high.

حرّك المنزلق وراقب كيف يُعاد الترتيب. لاحظ أنه عند قيم λ الصغيرة، يرتفع اشتقاقا acres (بعد جمعهما) أيضًا فوق across، لأن احتمال القناة لهما مرتفع.

A writer who has only heard the word types "nite" for knight. That is three letters missing (k, g, h) and one letter added (the final e). Within edit distance 1, candidate generation never reaches knight. Yet the two words sound identical, and that is the clue the letter-based model ignores.

كاتب سمع الكلمة فقط ولم يرها يكتب «nite» بدل knight. هذه ثلاثة حروف ناقصة (k وg وh) وحرف واحد زائد (حرف e الأخير). ضمن edit distance 1، لا يصل توليد المرشحين أبدًا إلى knight. ومع ذلك تُنطق الكلمتان نطقًا متطابقًا، وهذا هو الدليل الذي يتجاهله النموذج المبني على الحروف.

Metaphone: a key for how a word soundsMetaphone: مفتاح لطريقة نطق الكلمة

Metaphone, published by Lawrence Philips in 1990, is a set of ordered rewrite rules that maps an English word to a rough pronunciation key. The slide quotes three of them:

Metaphone، الذي نشره Lawrence Philips عام 1990، مجموعة من قواعد إعادة الكتابة المرتبة تحوّل الكلمة الإنجليزية إلى مفتاح نطق تقريبي. تقتبس الشريحة ثلاثًا منها:

• Drop duplicate adjacent letters, except for C. So "accross" and "across" share a key.احذف الحروف المكررة المتجاورة، باستثناء C. لذلك تشترك «accross» و«across» في المفتاح نفسه.
• If the word begins with KN, GN, PN, AE or WR, drop the first letter. So knight starts as NIGHT.إذا بدأت الكلمة بـ KN أو GN أو PN أو AE أو WR، فاحذف الحرف الأول. لذلك تبدأ knight على شكل NIGHT.
• Drop B if it is after M at the end of the word. So thumb and thum both end in M.احذف B إذا جاء بعد M في نهاية الكلمة. لذلك تنتهي thumb وthum كلتاهما بـ M.

The full list continues with rules such as PH becoming F, G dropped before an H that is not followed by a vowel, TH becoming the symbol 0, and all vowels dropped except a first one. The key is not a phonetic transcription; the aspell manual calls it a rough approximation of how the word sounds. What matters is that words that sound alike tend to collide on the same key.

تستمر القائمة الكاملة بقواعد مثل تحويل PH إلى F، وحذف G قبل H لا يليها حرف علة، وتحويل TH إلى الرمز 0، وحذف كل حروف العلة ما عدا حرفًا في أول الكلمة. المفتاح ليس كتابة صوتية دقيقة (phonetic transcription)؛ فدليل aspell يصفه بأنه تقريب خشن لطريقة نطق الكلمة. المهم أن الكلمات المتشابهة في النطق تميل إلى الالتقاء على المفتاح نفسه.

How GNU aspell uses the keyكيف يستخدم GNU aspell المفتاح

GNU aspell builds a Phonetic error model in three steps. First, convert the misspelling to its Metaphone key. Second, collect every dictionary word whose key is within 1 or 2 edits of that key, which is Candidate generation by sound instead of by spelling. Third, score the list with a combination of two distances: the weighted Edit distance from each candidate's spelling to the misspelling, and the edit distance between their pronunciation keys. The lowest scores become the suggestions.

يبني GNU aspell نموذج خطأ صوتيًا (phonetic error model) في ثلاث خطوات. أولًا، يحوّل الخطأ الإملائي إلى مفتاح Metaphone الخاص به. ثانيًا، يجمع كل كلمة في القاموس يقع مفتاحها ضمن تعديل واحد أو تعديلين (1 أو 2) من ذلك المفتاح، وهذا هو توليد المرشحين (candidate generation) عن طريق الصوت بدل الإملاء. ثالثًا، يقيّم القائمة بمزيج من مسافتين: مسافة التعديل (edit distance) الموزونة من إملاء كل مرشح إلى الخطأ الإملائي، ومسافة التعديل بين مفتاحي النطق. وأقل الدرجات تصبح هي الاقتراحات.

Note what this is and is not. Aspell plays the role of the channel model, judging how plausible it is that the writer produced this string, but it is a scoring heuristic, not a probability. It catches Cognitive errors, where the writer spells by ear, which a keyboard-based confusion matrix handles poorly.

انتبه لما هو عليه هذا وما ليس عليه. يؤدي aspell دور نموذج القناة، إذ يحكم على مدى معقولية أن يكون الكاتب قد أنتج هذه السلسلة، لكنه طريقة تقييم تجريبية (heuristic) وليس احتمالًا. وهو يلتقط الأخطاء المعرفية (cognitive errors)، حيث يكتب الكاتب بحسب ما يسمع، وهي أخطاء تتعامل معها مصفوفة الالتباس المبنية على لوحة المفاتيح بشكل سيئ.

Someone types "fisikle" for physical. Counted letter by letter, that is a pile of unrelated edits, and the Kernighan, Church and Gale channel model, which allows one single-letter edit, assigns it almost no probability. But to a human it is obviously three familiar slips: ph written as f, y as i, al as le.

يكتب أحدهم «fisikle» بدل physical. إذا عددناها حرفًا حرفًا، فهي كومة من التعديلات غير المترابطة، ونموذج القناة لـ Kernighan, Church and Gale، الذي يسمح بتعديل واحد على حرف واحد فقط، يعطيها احتمالًا يكاد يكون معدومًا. لكنها بالنسبة للإنسان ثلاث زلّات مألوفة بوضوح: ph كُتبت f، وy كُتبت i، وal كُتبت le.

Multi-letter edits (Brill and Moore 2000)التعديلات متعددة الحروف (Brill and Moore 2000)

Brill and Moore proposed Richer edits: an edit can rewrite a whole substring. The typist is modelled as choosing a word, cutting it into pieces, and typing each piece, possibly wrongly. So the model can learn probabilities such as ent → ant (independent written independant), ph → f, and le → al. Each edit is also conditioned on its position in the word (start, middle, end). The probability of a misspelling is approximated by its best partition, for example:

اقترح Brill وMoore التعديلات الأغنى (richer edits): يمكن للتعديل الواحد أن يعيد كتابة سلسلة فرعية كاملة. يُنمذَج الكاتب على أنه يختار كلمة، ثم يقطّعها إلى أجزاء، ثم يكتب كل جزء، ربما بشكل خاطئ. لذلك يستطيع النموذج أن يتعلّم احتمالات مثل ent → ant (كتابة independent على شكل independant)، وph → f، وle → al. وكل تعديل مشروط أيضًا بموضعه في الكلمة (البداية، الوسط، النهاية). ويُقرَّب احتمال الخطأ الإملائي بأفضل تقسيم (partition) له، مثلًا:

Compare this with Damerau-Levenshtein distance, which only knows four single-character operations. A frequent multi-letter pattern such as ph to f would cost two edits there and get no special weight. Toutanova and Moore (2002) then added pronunciation directly into the channel, combining a letter-based model with a model over pronunciations, so errors like nite get probability mass from sound as well as spelling.

قارن ذلك بمسافة Damerau-Levenshtein، التي لا تعرف إلا أربع عمليات على حرف واحد. نمط شائع متعدد الحروف مثل تحويل ph إلى f سيكلّف هناك تعديلين ولن يحصل على أي وزن خاص. ثم أضاف Toutanova وMoore (2002) النطق مباشرة إلى القناة، بدمج نموذج مبني على الحروف مع نموذج مبني على النطق، فتحصل أخطاء مثل nite على كتلة احتمالية من الصوت ومن الإملاء معًا.

What else shapes P(x|w)ما الذي يشكّل P(x|w) أيضًا

The single-edit model of part 4 conditions on just the source and target letters from a Confusion matrix. The slides list eight factors that actually influence P(misspelling | word).

نموذج التعديل الواحد في الجزء 4 مشروط فقط بالحرف المصدر والحرف الهدف المأخوذين من مصفوفة الالتباس (confusion matrix). وتسرد الشرائح ثمانية عوامل تؤثر فعليًا في P(misspelling | word).

Two of these are about the physical keyboard. Keyboard adjacency: most Typographical errors hit a key next to the intended one, so a Substitution of r for e is far likelier than p for e. Keyboard homology: the same finger on the other hand presses the mirrored key, so e (left middle finger) and i (right middle finger) get confused even though they are far apart. A channel that knows the layout can put probability mass exactly where fingers slip.

اثنان من هذه العوامل يتعلقان بلوحة المفاتيح المادية. تجاور المفاتيح (keyboard adjacency): معظم الأخطاء المطبعية (typographical errors) تصيب مفتاحًا مجاورًا للمفتاح المقصود، لذلك يكون استبدال (substitution) r مكان e أرجح بكثير من p مكان e. التماثل في لوحة المفاتيح (keyboard homology): الإصبع نفسه في اليد الأخرى يضغط المفتاح المقابل له كالمرآة، لذلك يحدث الخلط بين e (الإصبع الأوسط الأيسر) وi (الإصبع الأوسط الأيمن) رغم تباعدهما. والقناة التي تعرف ترتيب لوحة المفاتيح تستطيع أن تضع الكتلة الاحتمالية بالضبط حيث تنزلق الأصابع.

"I don't know weather to go." Every word is in the dictionary, so lookup is silent. The noisy channel with a bigram prior can catch it, but there is a more direct tool: a model trained for exactly this pair.

«I don't know weather to go.» كل كلمة هنا موجودة في القاموس، لذلك يبقى البحث في القاموس صامتًا. القناة المشوشة مع احتمال مسبق من نوع bigram تستطيع التقاط الخطأ، لكن هناك أداة أكثر مباشرة: نموذج مدرَّب على هذا الزوج تحديدًا.

One classifier per confusable pairمصنّف واحد لكل زوج قابل للالتباس

For Real-word errors between a small set of words, often Homophones such as whether and weather, piece and peace, or affect and effect, we can train a Confusion-set classifier. Instead of combining a channel score with a language model score, it reads many features of the context and outputs one of the two words. For whether and weather the slide's features are:

بالنسبة لأخطاء الكلمات الحقيقية (real-word errors) بين مجموعة صغيرة من الكلمات، وغالبًا ما تكون كلمات متشابهة في النطق (homophones) مثل whether وweather، أو piece وpeace، أو affect وeffect، يمكننا تدريب مصنّف مجموعة الالتباس (confusion-set classifier). بدل دمج درجة القناة مع درجة نموذج اللغة، يقرأ هذا المصنّف سمات كثيرة من السياق ويُخرج إحدى الكلمتين. وبالنسبة لـ whether وweather، فإن سمات الشريحة هي:

• "cloudy" within ±10 words: a context word that votes for weather.«cloudy» ضمن ±10 كلمات: كلمة سياقية تصوّت لصالح weather.
• ___ to VERB: a pattern mixing a word and a part-of-speech tag that votes for whether (whether to go).___ to VERB: نمط يمزج كلمة مع وسم نوع الكلمة (part-of-speech tag) ويصوّت لصالح whether (whether to go).
• ___ or not: a collocation that votes for whether.___ or not: تلازم لفظي (collocation) يصوّت لصالح whether.

Each feature is weak alone; a learned classifier weighs them together. Because the decision covers only two words, such classifiers reach very high accuracy, and Golding and Roth showed that a Winnow-based learner over many context features outperformed an earlier Bayesian method. The cost is coverage: you need one classifier and one training set per pair. The slide's final bullet, an end-to-end deep learning system, removes hand-built features: a neural model reads the sentence and outputs the corrected text directly, learning its own features from data.

كل سمة ضعيفة وحدها؛ والمصنّف المتعلَّم يزنها معًا. ولأن القرار يغطي كلمتين فقط، تصل هذه المصنّفات إلى دقة عالية جدًا، وقد أظهر Golding وRoth أن متعلّمًا مبنيًا على Winnow ويعمل على سمات سياقية كثيرة تفوّق على طريقة بايزية (Bayesian) سابقة. الثمن هو التغطية: تحتاج مصنّفًا واحدًا ومجموعة تدريب واحدة لكل زوج. والنقطة الأخيرة في الشريحة، وهي نظام تعلّم عميق من طرف إلى طرف (end-to-end deep learning)، تستغني عن السمات المصنوعة يدويًا: يقرأ نموذج عصبي الجملة ويُخرج النص المصحَّح مباشرة، متعلمًا سماته الخاصة من البيانات.