مقدمة

في مجال تحليل إشارات الدماغ الكهربائية (EEG) يعتمد الباحثون بشكل كبير على نماذج التعلم الآلي لاستخلاص الأنماط وتصنيف الحالات. ومع ذلك، يواجه المجتمع العلمي سؤالًا أساسيًا: هل يؤدي وجود نفس الأشخاص في مجموعتي التدريب والاختبار إلى تضخيم الأداء الظاهري للنماذج؟ هذه المقالة تستعرض دراسة تم نشرها على موقع Towards Data Science وتفحص تأثير هذا العامل عبر ثلاثة نماذج شائعة.

لماذا يعتبر تقييم المشاركين مهمًا؟

تُظهر التجارب أن الخصائص الفسيولوجية للأفراد (مثل ترددات الموجات، مستوى الضوضاء، والأنماط الفردية) قد تكون مميزة بما يكفي لتُعطي النموذج إشارة غير عامة. عندما يتعلم النموذج من بيانات شخص ما ثم يُختبر على نفس الشخص، قد يستفيد من هذه الخصائص الخاصة بدلاً من تعلم القواعد العامة.

التحديات المرتبطة بالتحقق المتقاطع

• انحياز التقييم (Evaluation bias)
• تعميم ضعيف (Poor generalization)
• صعوبة مقارنة النماذج عبر دراسات مختلفة

المنهجية المستخدمة في الدراسة

اعتمد الباحثون على مجموعة بيانات مفتوحة تضم إشارات EEG لعدد من المتطوعين أثناء أداء مهام مختلفة. تم تطبيق ثلاثة نماذج تعلم آلي:

• دعم المتجهات (SVM)
• شبكة عصبونية تلافيفية (CNN)
• غابة عشوائية (Random Forest)

تم تقييم كل نموذج بطريقتين:

• تقييم عادي (Same‑person): حيث يتقاسم التدريب والاختبار نفس المشاركين.
• تقييم مستقل (Leave‑One‑Subject‑Out): حيث يُستبعد كل مشارك من التدريب ويُختبر النموذج عليه.

نتائج النماذج الثلاثة

النموذج	دقة Same‑person	دقة Leave‑One‑Subject‑Out
SVM	92.4%	68.7%
CNN	95.1%	71.3%
Random Forest	89.8%	66.5%

تظهر الأرقام فرقًا واضحًا بين الطريقتين؛ فالدقة تنخفض بشكل ملحوظ عندما يُختبر النموذج على مشاركين لم يرهم من قبل. وهذا يدل على أن معظم الارتفاع في الأداء في تقييم Same‑person يعود إلى تعلم الخصائص الفردية.

تحليل النتائج

عند فحص الأخطاء، تبين أن نماذج CNN تحتفظ بأعلى نسبة تعميم مقارنةً بـ SVM و Random Forest. يُعزى ذلك إلى قدرة الطبقات التلافيفية على استخراج ميزات مكانية-زمنية أكثر تجريدًا. ومع ذلك، لا يزال الفارق بين الطريقتين كبيرًا، مما يسلط الضوء على ضرورة اعتماد تقييم مستقل في الأبحاث.

أثر حجم العينة

أظهرت التجربة أن زيادة عدد المشاركين في مجموعة التدريب تقلل الفجوة بين الطريقتين، لكن لا يمكن القضاء تمامًا على الانحياز إذا لم يُستخدم Leave‑One‑Subject‑Out.

توصيات للباحثين

• استخدام تقييم Leave‑One‑Subject‑Out كمعيار أساسي لتقارير الأداء.
• الإفصاح عن عدد المشاركين في كل مجموعة وتوزيعهم الجغرافي والديموغرافي.
• تطبيق تقنيات تعزيز التعميم مثل التجميع (Ensemble) وإزالة الخصائص المتخصصة.
• نشر الكود والبيانات المفتوحة لتسهيل إعادة التجربة.

خاتمة

تؤكد الدراسة أن الاعتماد على تقييم Same‑person قد يعطي انطباعًا مبالغًا في كفاءة نماذج EEG. من الضروري للباحثين اعتماد بروتوكولات تقييم أكثر صرامة لضمان أن النماذج التي تُطوَّر قادرة على التعميم على أفراد جدد. بهذه الخطوات، يمكن تحسين موثوقية التطبيقات العملية في الطب النفسي، واجهات الدماغ‑الكمبيوتر، وتحليل النوم.

إذا كنت تبحث عن خطوات تفصيلية إضافية، فقد تناولنا ذلك في مقالنا عن تطبيق ماب كويست: 4 تحولات تقنية قادته لصدارة متجر تطبيقات آبل.