بنية Kimi K3: حلّ معضلة جدار ذاكرة KV
شرح بنية Kimi K3: كيف يخفّض نموذج Moonshot AI ذو 2.8 تريليون معامل ذاكرة KV بنسبة تصل إلى 75% عبر انتباه دلتا هجين، وما يعنيه ذلك لخدمة السياقات الطويلة.
يمثّل Kimi K3، النموذج الرائد ذو 2.8 تريليون معامل الذي أطلقته Moonshot AI، أوضح إجابة حالية عن مشكلة تحوّلت بهدوء إلى القيد الحاكم للنماذج اللغوية الكبيرة. القيد ليس الحوسبة، بل الذاكرة — وتحديدًا ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) التي يضطر كل نموذج محوّلات (Transformer) إلى حملها كلما طالت المحادثة.
تستحق بنية Kimi K3 الدراسة حتى لو لم تنشرها يومًا؛ لأن الخيارات التصميمية داخلها هي نفسها الخيارات التي بات على كل فريق نماذج جادّ أن يحسمها. هذا المقال جولة في ما يفعله النموذج، ولماذا اتُّخذ كل قرار فيه، وما الذي يغيّره ذلك لكل من يشغّل ذكاءً اصطناعيًا طويل السياق في بيئة الإنتاج.
لماذا أصبحت ذاكرة KV هي عنق الزجاجة
يحتفظ كل نموذج محوّلات حديث بما يُعرف بـذاكرة KV. فبينما يقرأ النموذج الموجّه ويولّد الرد، يخزّن القيم الوسيطة التي حسبها لكل رمز (Token) حتى لا يضطر إلى إعادة حساب التسلسل كاملًا من الصفر في كل خطوة.
هذه الذاكرة هي سبب الإحساس بسرعة التوليد، وهي أيضًا سبب ارتفاع كلفة السياق الطويل؛ إذ تنمو خطيًا مع ثلاثة عوامل في آن واحد: عدد الرموز، وعدد الطبقات، وعدد رؤوس الانتباه في كل طبقة.
عند 2.8 تريليون معامل، لا تكون الذاكرة غير المقيّدة خطأ تقريب هامشيًا؛ بل تصبح الكلفة المهيمنة في ذاكرة خدمة النموذج، وتُنتج ثلاث مشكلات تشغيلية ملموسة:
- استنزاف الذاكرة — تتنافس ذاكرة KV مع أوزان النموذج نفسها على ذاكرة GPU عالية النطاق الترددي.
- عدد أقل من المستخدمين المتزامنين — تحتفظ كل جلسة نشطة بذاكرتها الخاصة، لذا يحدّد حجم الذاكرة مباشرةً عدد الجلسات التي تتسع لها وحدة GPU الواحدة.
- زمن استجابة متصاعد — كلما طالت المحادثة، ازدادت حركة الذاكرة التي يتطلبها كل رمز جديد.
دفعت الفروق في الوصول إلى العتاد المختبراتِ نحو استراتيجيات تحسين متباينة. فالفرق التي تواجه قيودًا أشد على المسرّعات المتقدمة اضطرت إلى انتزاع قدرات أكبر من ميزانية الذاكرة المتاحة لها أصلًا. وKimi K3 هو أوضح برهان حتى الآن على تحويل هذا الضغط إلى ميزة هندسية.
أربع طرق للسيطرة على نمو الذاكرة
تقاربت جهود المجال حول أربع تقنيات متكاملة لضبط فاتورة الذاكرة دون التفريط في السلوك المفيد للسياق الطويل. وقد استند مصممو Kimi K3 إلى الأربع جميعًا، لذا من المفيد فهم كل واحدة منها على حدة.
المشاركة — الانتباه بالاستعلامات المجمّعة (GQA)
رأس الانتباه هو واحد من «زوايا نظر» متوازية عديدة تتخذها الطبقة على التسلسل. وفي الانتباه القياسي، يحتفظ كل رأس بمجموعته الخاصة من المفاتيح والقيم.
يتيح الانتباه بالاستعلامات المجمّعة (Grouped-Query Attention – GQA) لعدة رؤوس أن تتشارك مجموعة واحدة. فهو يزيل النسخ المكررة دون إسقاط أي جزء من التاريخ، ما يجعله أرخص مكسب ممكن — وقد أصبح اليوم المعيار السائد في الصناعة لا مجرد تحسين.
التقليص — الانتباه الكامن متعدد الرؤوس (MLA)
يضغط الانتباه الكامن متعدد الرؤوس (Multi-head Latent Attention – MLA) تمثيل المفاتيح والقيم لكل رمز في متجه كامن أصغر بكثير — خلاصة كثيفة منخفضة الأبعاد — ثم يعيد بناء التمثيل الكامل عند الطلب.
يحقق MLA بأسلوب DeepSeek ضغطًا يقارب 57 ضعفًا لكل مدخل في الذاكرة ويقدم مكاسب كبيرة في الإنتاجية. لكن حدّه بنيوي: الضغط يقلّص كل مدخل، غير أن عدد المدخلات يستمر في النمو مع كل رمز جديد. إنه يغيّر ميل الخط، لا اتجاهه.
النسيان — الانتباه بالنافذة المنزلقة
يفرض الانتباه بالنافذة المنزلقة (Sliding-Window Attention) حدًا صارمًا على التاريخ المحتفظ به. فبمجرد امتلاء النافذة، تُسقَط الرموز الأقدم.
تبقى الذاكرة عندئذٍ ثابتة مهما طالت المحادثة. أما الثمن فهو الاستدعاء الدقيق: المعلومات الواقعة خارج النافذة تضيع فعليًا ما لم يُحتفَظ بمسار انتباه كامل مكمّل في موضع ما من البنية.
الاستبدال — الانتباه الخطي وأساليب دلتا
الخيار الأكثر جذرية يتخلى كليًا عن دفتر الملاحظات المحسوب لكل رمز. يحتفظ كل رأس بدلًا من ذلك بـحالة ثابتة الحجم تُحدَّث في مكانها مع وصول الرموز — أقرب إلى خلاصة جارية منها إلى أرشيف.
تصبح بصمة الذاكرة عندها مستقلة تمامًا عن طول التسلسل. أما التحدي التاريخي فكان الجودة: أساليب الحالة الثابتة عانت في مجاراة الانتباه الكامل في الاستدعاء الدقيق لوقائع سابقة محددة.
| الاستراتيجية | الآلية | سلوك الذاكرة | المفاضلة الرئيسية |
|---|---|---|---|
| المشاركة (GQA) | تتشارك الرؤوس مجموعة واحدة من المفاتيح والقيم | تنمو مع الرموز، لكن بنسخ أقل | ضئيلة؛ مجانية عمليًا |
| التقليص (MLA) | يُضغط كل مدخل إلى متجه كامن | تنمو مع الرموز، وكل مدخل أصغر بنحو 57 مرة | عدد المدخلات يستمر في النمو |
| النسيان (النافذة المنزلقة) | سقف صارم على التاريخ المحتفظ به | ثابتة | فقدان الاستدعاء الدقيق خارج النافذة |
| الاستبدال (الخطي/دلتا) | حالة ثابتة الحجم تُحرَّر في مكانها | ثابتة ومستقلة عن الطول | استدعاء دقيق أضعف تاريخيًا |
آلية Kimi Delta Attention والهجين بنسبة 3:1
يجمع Kimi K3 بين «الاستبدال» و«التقليص» في هجين مهندَس عن قصد بدلًا من الالتزام بأحدهما.
تستخدم ثلاث من كل أربع طبقات انتباه حالة تكرارية ثابتة الحجم تُعرف باسم Kimi Delta Attention (KDA). أما الطبقة الرابعة فتحتفظ بمسار استدعاء كامل مضغوط مبني على صيغة محسّنة من الانتباه الكامن متعدد الرؤوس تُعرف باسم Gated MLA (أي MLA المبوّب).
يعمل KDA كآلة حالة تكرارية: مصفوفة ذاكرة واحدة ثابتة الحجم تُحمَل قدمًا ويحرّرها كل رمز لاحق — فالنموذج لا يراكم سجلًا، بل ينقّح سجلًا واحدًا. ويجعل تحسينان اثنان هذه الحالة الثابتة منافسة للانتباه الكامل لا مجرد بديل أرخص.
قاعدة تحديث بأسلوب دلتا. قبل كتابة قيمة جديدة للمفتاح الحالي، تمحو الآلية الارتباط السابق لذلك المفتاح. من دون ذلك، تتداخل الكتابات المتكررة على مفاتيح متشابهة ويتدهور محتوى الحالة إلى ضجيج. أما إزالة الارتباط القديم أولًا فتُبقي الذاكرة نظيفة وهي تُعاد كتابتها آلاف المرات.
128 معدل تلاشٍ مستقلًا متعلَّمًا، بواقع معدل لكل قناة. فبدلًا من نسيان كل شيء بمعدل موحّد، يتعلم النموذج ما الذي يستحق الاحتفاظ به. تبقى الحقائق المهمة حاضرة عبر آفاق طويلة بينما تتلاشى التفاصيل العابرة. ومن الآثار الجانبية المفيدة أن معلومات التوقيت تصبح مشفّرة في نمط التلاشي نفسه، ما يقلل الاعتماد على ترميزات موضعية منفصلة.
لماذا هذا مهم
النسيان الانتقائي هو النقلة المفاهيمية هنا. أعمال الكفاءة السابقة سألت كيف يمكن تخزين التاريخ نفسه بكلفة أقل. أما KDA فيطرح سؤالًا مختلفًا — أي أجزاء التاريخ لا تزال تستحق الحمل؟ — ويترك للنموذج أن يتعلم الإجابة أثناء التدريب بدلًا من أن يثبّتها مهندس سلفًا.
الدليل وراء نسبة 3:1
الادعاءات المعمارية عند مقياس تريليونات المعاملات سهلة الإطلاق باهظة التحقق. وكان نهج Moonshot هو التحقق من نسبة التناوب بين الطبقات أولًا على منصة اختبار مضبوطة بحجم 48 مليار معامل تُعرف باسم Kimi Linear.
دُرّبت منصة الاختبار هذه على البيانات نفسها وبالوصفات نفسها، ولم تختلف عن نموذج المقارنة إلا في متغير واحد: آلية الانتباه. وهذه هي الطريقة الصحيحة لإجراء التجربة؛ لأنها تعزل أثر البنية عن الأثر المشوِّش لجودة البيانات.
حقق التكوين الهجين ثلاث نتائج في مواجهة توأمه ذي الانتباه الكامل:
- خفض يصل إلى 75% في ذاكرة KV
- إنتاجية أعلى بنحو 6 أضعاف عند سياقات المليون رمز
- نتائج متفوقة في اختبارات السياق الطويل المعيارية — لا مجرد نتائج مقاربة
والأهم أن ذلك جاء دون أي تدهور ملموس في الجودة. ثم وُسّعت هذه الوصفة المثبتة إلى النموذج الرائد ذي 2.8 تريليون معامل، ولهذا يُقرأ التصميم بوصفه قرارًا هندسيًا مدروسًا لا رهانًا.
العناصر المساندة: التناثر والاستقرار والتدريب بدقة 4-بت
كفاءة الذاكرة ليست سوى محور واحد. فثمة آليات مكمّلة عدة تعالج تدفق المعلومات، والتناثر الشديد، واستقرار المُحسِّن، والتدريب الواعي بالتكميم.
- بقايا الانتباه (Attention Residuals) — تستطيع الطبقات المتأخرة الانتباه انتقائيًا إلى مخرجات طبقات أسبق بدلًا من الاعتماد حصرًا على مجرى بقايا واحد، ما يحسّن بقاء المعلومات عبر عمق النموذج.
- مزيج الخبراء الكامن المستقر (Stable Latent MoE) — تصميم مزيج خبراء (Mixture-of-Experts – MoE) يضم 896 خبيرًا لا ينشط منها لكل رمز سوى 16 خبيرًا موجَّهًا واثنين مشتركين، بما يعادل نحو 104 مليارات معامل نشط من أصل 2.8 تريليون. وتُبقي الإسقاطات الكامنة الاتصالات بين وحدات GPU مضغوطة، وهو أمر مهم لأن توجيه الخبراء مشكلة شبكات بقدر ما هو مشكلة نمذجة.
- الموازنة المئينية (Quantile Balancing) — عتبات حمل لكل خبير تُشتق ديناميكيًا من درجات التوجيه، فتمنع الإفراط المزمن في تحميل الخبراء الرائجين دون الحاجة إلى خسائر مساعدة مضبوطة يدويًا.
- مُحسِّن Muon لكل رأس (Per-Head Muon) — مُحسِّن يحدّث كل رأس انتباه على حدة، فيمنع بضعة رؤوس عالية القيم من الهيمنة على ديناميكيات التعلم في كتلة كاملة.
- تدريب لاحق أصيل بدقة 4-بت — تجري مرحلة ما بعد التدريب كاملة تحت قيد أوزان 4-بت، فيتكيف النموذج مع الدقة المنخفضة بدلًا من أن يعاني تشوهات ضغط لاحقة. ويتركز الضغط على معاملات الخبراء التي تهيمن على التخزين.
مبني لوكلاء يعملون لساعات متواصلة
ليس شيء من هذا تحسينًا لذاته. فقد صُمم Kimi K3 صراحةً لأحمال العمل الوكيلية طويلة المدى: مهام تمتد ساعات وتستخدم أدوات متعددة، مثل التنقل في قواعد شيفرة ضخمة وتحريرها، وتحسين نوى GPU، وتدفقات عمل التصميم بمساعدة الحاسوب (CAD)، ومهام استعراضية في تصميم الرقائق على مستوى السجلات.
تشترك هذه الأحمال في خاصية مميزة: فهي تعود مرارًا إلى السياق الكبير نفسه — المستودع نفسه، ومجموعة الوثائق نفسها، ومخططات الأدوات نفسها — على مدى ساعات من التشغيل.
وهذا ما يجعل اقتصاديات التخزين المؤقت للبادئة (Prefix Caching) حاسمة. فمجموعة عمل من مليون رمز مخزّنة بالكامل يمكن إعادة استخدامها بجزء يسير من كلفة التهيئة الباردة، وبذلك يتحدد منحنى كلفة جلسة الوكيل إلى حد بعيد بمدى قدرة البنية على تثبيت سياق مستقر في الذاكرة.
تقرن Moonshot النموذج بنوى مخصصة (FlashKDA)، وطبقات اتصال متوازية الخبراء (MoonEP)، وبيئات وكلاء معزولة قابلة للاستئناف. لقد صُمم النموذج والنوى وطبقة التنسيق معًا لملف الأحمال نفسه: تشغيل طويل محفوظ الحالة — وهذه هي الطريقة الوحيدة التي تتحول بها وفورات الذاكرة النظرية إلى مكاسب فعلية في الإنتاج.
لمشغّلي البنية التحتية للذكاء الاصطناعي
المقياس الذي يستحق المتابعة هو عدد الجلسات المتزامنة لكل GPU، لا الموقع في لوحات النتائج. فخفض ذاكرة KV بنسبة 75% يغيّر عدد المستخدمين الدافعين الذين يدعمهم عنقود الحوسبة على نحو أكثر مباشرة بكثير من أي مكسب هامشي في الدقة. وهذا هو الانضباط نفسه الذي نعتمده عند تخطيط السعة في أعمالنا ضمن حلول مراكز البيانات — سلوك الذاكرة تحت حمل جلسات حقيقي، لا ذروة الإنتاجية على موجّه اصطناعي.
خلاصة القول
القراءة الاستراتيجية واضحة: الميزة التنافسية المقبلة لن تأتي من عدد المعاملات الخام ولا من ذروة عمليات الفاصلة العائمة (FLOPS)؛ بل ستأتي من أنظمة تحافظ على سياق مفيد ومحتفَظ به انتقائيًا عبر آفاق تبلغ مليون رمز، مع تعظيم عدد الجلسات المتزامنة لكل GPU وتقليل كلفة إعادة استخدام السياق.
باتت بنية الذاكرة اليوم بعدًا تصميميًا أساسيًا إلى جانب الحوسبة والترابط الشبكي. وما يجمعه Kimi K3 من انتباه ثابت الحالة، ومسارات استدعاء كامل هجينة، وتناثر شديد في مزيج الخبراء، وتدريب واعٍ بالتكميم، يشكّل استجابة متماسكة للضغط المزدوج بين التوسع وقيود العتاد — وسترسم هذه الأنماط ملامح تطوير النماذج المفتوحة والاقتصاديات العملية لمنصات الوكلاء واسعة السياق على امتداد عامي 2026 و2027.
وهذه هي المفاضلات نفسها التي نشتغل عليها في بناء يحيى، نموذجنا اللغوي العربي أولًا — حيث تهم كفاءة الخدمة وموثوقية السياق الطويل المستخدمين الحقيقيين بقدر ما تهمهم نتائج لوحات الصدارة. وأفضل طريقة لفهم ما تعنيه هذه الخيارات عمليًا أن تخوض بنفسك جلسة طويلة ومُجهِدة: جرّب يحيى في منصة التجربة من نفيد وراقب كيف يسلك النموذج مع نمو السياق.
