تصل عروض AI في الباثولوجي الرقمي إلى طبيب الباثولوجي عادة عبر رقم واحد: دقة عالية على اختبار WSI، أو أداء قوي في VQA، أو نتيجة zero-shot تبدو مناسبة للنشر في شريحة عرض. المشكلة تبدأ عندما لا يعرف القسم إن كان الاختبار يفصل المرضى والمؤسسات فعلا عن بيانات التدريب. عندها قد يقرأ النموذج أثرا من نفس المريض، أو من نفس المختبر، أكثر مما يقرأ morphology قابلة للتعميم.
ورقة جديدة على arXiv بعنوان Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks تضع هذه النقطة أمام المختبرات التي تراجع WSI VLMs. المؤلفون Wenhao Zhang وZhongliang Zhou وJohn Kang وSheng Li فحصوا اختبارات مبنية على TCGA ووجدوا تداخلا case-level بين التدريب والاختبار يصل إلى 92.3% حتى 100% في بعض benchmarkات مشتقة من TCGA، مع تداخل شبه كامل على مستوى Tissue Source Site.
المشكلة تبدأ من هوية الحالة لا من خوارزمية VQA
في WSI، الحالة الواحدة قد تنتج أكثر من slide. وإذا دخلت slide من نفس case في بيانات التدريب ثم ظهرت slide أخرى من نفس case في الاختبار، تصبح نتيجة النموذج أقل فائدة لطبيب الباثولوجي. النموذج قد يستعيد نمطا شاهده سابقا، أو يلتقط توقيعا مرتبطا بالمريض، بدل أن يثبت قدرة على قراءة عينة جديدة من مختبر آخر.
المستوى الثاني أدق. TCGA يحمل معلومات عن Tissue Source Site، أي المؤسسة التي جاءت منها العينات. هذا يفتح بابا لاختصارات غير مرضية: لون صبغة، scanner signature، طريقة تحضير، أو batch effect. كل هذه الإشارات قد ترتبط بمركز معين. إذا كان التدريب والاختبار يشتركان في نفس TSS، يمكن للنموذج أن يستفيد من أثر المختبر بدل قراءة البنية النسيجية التي يحتاجها الطبيب في عيادته اليومية.
هذا لا يجعل كل WSI VLM بلا قيمة. يجعل طريقة التقييم نفسها موضع سؤال. طبيب الباثولوجي لا يستخدم النموذج على نسخة مرتبة من TCGA داخل ورقة بحثية. يستخدمه على حالات اليوم، من protocol محلي، بألوان scanner محلية، وبجودة tissue لا تشبه دائما بيانات التطوير.
الأرقام التي تستحق التوقف عندها
الورقة تذكر تداخلا case-level بين التدريب والاختبار بنسبة 92.3% إلى 100% في benchmarkات مشتقة من TCGA. كما تشير إلى أن WSI-VQA-test يشارك 100% من حالاته مع WSI-Bench-train. هذه ليست تفصيلة تقنية صغيرة عند تقييم نموذج يدعي أداء zero-shot. إذا رأى النموذج نفس الحالة في التدريب، يصعب اعتبار الإجابة دليلا على تعميم حقيقي.
فريق البحث لم يكتف بتتبع الباركودات. فحص أيضا ما إذا كانت إشارات المريض والمؤسسة تظهر داخل feature space لنماذج foundation. وجد أن هذه الإشارات قابلة للفصل بخطية، وأنها تنتج فجوة قابلة للقياس بين الحالات المتسربة والحالات النظيفة في checkpoint منشور. بعبارة عملية: التلوث في البيانات يظهر داخل تمثيل النموذج نفسه، ثم ينعكس على نتيجة الاختبار.
هذه النتيجة تهم أي لجنة في مستشفى تراجع أداة AI للـ WSI. السؤال العملي يصبح: هل تحسن النموذج لأن الصورة تحمل morphology مفيدة، أم لأن الاختبار سمح له بقراءة أثر patient أو TSS؟ الفرق بين الاحتمالين هو الفرق بين أداة قد تساعد في العمل اليومي وأداة قد تفشل عند أول تغيير في مصدر العينة.
كيف يترجم هذا إلى قرار داخل مختبر الباثولوجي؟
عند وصول عرض من شركة أو فريق بحث، لا يكفي أن تسأل عن AUC أو accuracy. ابدأ بسؤال أبسط: كيف فصلتم الحالات؟ الفصل الصحيح يجب أن يكون على مستوى patient، ومع اختبار خارجي من مؤسسة مستقلة عندما يكون ذلك ممكنا. تقسيم patches أو slides عشوائيا قد يرفع الأرقام، لكنه لا يحاكي طريقة دخول الحالة إلى المختبر.
اسأل أيضا عن مصدر كل WSI في التدريب والاختبار. هل جرى الإعلان عن TCGA barcodes أو case identifiers؟ هل توجد قائمة بالمؤسسات أو TSS؟ هل تمت إزالة أي تداخل قبل حساب النتائج؟ إذا كان الجواب عاما أو غامضا، تعامل مع الرقم كإشارة بحثية أولية، لا كدليل مناسب لاعتماد سريري.
بالنسبة إلى VQA في الباثولوجي، الأمر أكثر حساسية. سؤال النموذج عن grade أو diagnosis أو وصف feature داخل WSI يبدو قريبا من لغة التقرير، لكن تقييمه قد يكون ملوثا بسهولة إذا كانت الأسئلة والصور مشتقة من مصدر واحد. هنا يحتاج الطبيب إلى عينة اختبار محلية أو متعددة المراكز، مع أسئلة مبنية من حالات لم تدخل مرحلة التدريب بأي شكل.
داخل workflow المستشفى، أفضل اختبار ليس الذي يعطي أعلى رقم على benchmark عام. الاختبار المفيد يضع النموذج أمام حالات جديدة، scanners مختلفة، اختلافات staining، وقيود زمنية تشبه العمل اليومي. ثم تقاس النتيجة بما يهم القسم: عدد الحالات التي تحتاج مراجعة إضافية، مواضع الخطأ، تأثيره على زمن القراءة، وطريقة عرض السبب للطبيب داخل viewer أو image management system.
ماذا يطلب طبيب الباثولوجي من مطور AI؟
اطلب تقرير provenance واضحا. يجب أن يشرح التقرير مصادر التدريب، مصادر الاختبار، مستوى الفصل بين المرضى، وجود أي مصادر عامة مثل TCGA، وطريقة تدقيق overlap. وجود أداة automated overlap audit يجب أن يصبح جزءا من ملف التقييم، مثلما نتوقع اليوم وصف cohort، inclusion criteria، وground truth.
اطلب نتائج على data خارجية، ويفضل أن تكون من مؤسسة لم تسهم في التدريب. وإذا كان المنتج سيعمل على عيّنات محلية، فخصص pilot داخل القسم قبل أي اعتماد. لا يحتاج pilot إلى مئات الصفحات. يحتاج إلى أسئلة واضحة: أين يخطئ النموذج؟ هل تتجمع الأخطاء مع نوع scanner أو لون صبغة معين؟ هل يقل الأداء في tissue ضعيف أو necrosis أو fixation مختلف؟
التقييم الجيد يجب أن يربط رقم AI بقرار تشخيصي أو تشغيلي. إذا كان النموذج يقترح إجابة VQA، كيف ستظهر للطبيب؟ هل يعرض موضعا داخل WSI؟ هل يمكن مراجعة patch أو heatmap؟ هل يسجل النظام نسخة القرار داخل LIS أو audit trail؟ هذه الأسئلة تحدد قيمة النموذج أكثر من رقم منشور على مجموعة بيانات ملوثة.
قراءة حذرة للأرقام العالية
الأرقام العالية في WSI AI قد تكون صحيحة، وقد تكون متأثرة ببنية البيانات. الورقة تذكر أن أعلى النتائج المنشورة تميل إلى الظهور في benchmarkات أكثر تعرضا للتلوث. هذه ملاحظة كافية لتغيير طريقة قراءة العروض. عندما يعرض البائع أو الباحث نتيجة zero-shot، اطلب النسخة النظيفة من الاختبار قبل مناقشة السعر أو التكامل.
القيمة العملية لهذه الورقة أنها تعيد المسؤولية إلى تصميم التقييم. طبيب الباثولوجي لا يحتاج إلى رفض AI بسبب خطر التسرب. يحتاج إلى قبول الأدوات التي تخضع لاختبار يفصل المرضى والمؤسسات بوضوح، ويقيس الأداء على حالات تشبه عمل المختبر. عندها يصبح AI جزءا قابلا للمراجعة داخل workflow، لا رقما جميلا خارج سياقه.
مصدر الدراسة: arXiv:2607.12278v1.