في بلدية روتردام ، لا يتم إيلاء اهتمام كاف للمبادئ الأخلاقية في استخدام الخوارزميات. يمكن أن يؤدي ذلك إلى اتخاذ قرارات متحيزة عند اكتشاف الاحتيال المتعلق بالمزايا ، على سبيل المثال. توصلت محكمة روتردام لمراجعة الحسابات إلى هذا الاستنتاج في دراسة حول استخدام الخوارزميات من قبل البلدية.
في عام 2018 ، قدمت بلدية روتردام برنامج العمل القائم على البيانات ، من أجل أن تكون قادرة على العمل بشكل أكثر رقمية وكفاءة. يتم استخدام خوارزميات مختلفة لهذا الغرض. إحدى الخوارزميات التي تم التحقيق فيها هي «الاحتيال في التحليلات والمزايا». عند القيام بذلك ، يستخدم الكمبيوتر خصائص خلفية مختلفة لمتلقي المزايا لتحديد أي منهم معرض لخطر الاحتيال بشكل كبير . ثم يخضع البعض منهم لإعادة الفحص.
وفقًا لمحكمة المراجعين ، تم تدريب خوارزمية تقدير مخاطر الاحتيال في المنافع باستخدام بيانات متحيزة. هناك بيانات مستخدمة بشكل أساسي من قبل متلقي الرعاية الذين تلقوا بالفعل إعادة فحص ، بدلاً من بيانات جميع متلقي الرعاية. نتيجة لذلك ، قد تكون الخوارزمية أكثر عرضة لاختيار الأشخاص ذوي الخصائص المعينة التي ليست بالضرورة ذات صلة بإعادة الفحص.
بسبب تشريعات التمييز ، لا يُسمح بتحديد خصائص خلفية معينة مثل النسب. ولكن بشكل غير مباشر يمكن استنتاج ما إذا كان شخص ما من أصل غير هولندي ، كما تقول محكمة التدقيق ، بشكل غير مباشر يمكن استنتاجه من خلال الخوارزمية: «مثال على ذلك هو مستوى الطلاقة في اللغة الهولندية ، ولكن أيضًا ما إذا كان المواطن بحاجة إلى الاندماج و الحي الذي تم تسجيله فيه «.
تنتقد المحكمة أيضًا الافتقار إلى الشفافية المحيطة بالخوارزمية. يشير البحث إلى أنه «من المستحيل تتبع أي الخيارات تم اتخاذها فيما يتعلق بالقضايا الأخلاقية». بالإضافة إلى ذلك ، «من المستحيل أن يكتسب المواطنون فكرة جيدة عن كيفية قيام الخوارزمية بدور في الدعوة لإعادة الفحص».
لا يوجد مدير مركزي للخوارزميات ولا أحد لديه «مسؤولية نهائية متكاملة». بالإضافة إلى ذلك ، لم يتم تقييم ما إذا كان استخدام الخوارزميات يعمل بشكل أفضل من الطريقة التقليدية. رسميًا ، لا يزال استخدام خوارزمية التوزيع تجريبيًا ، ولكن وفقًا لمحكمة المراجعين ، لم يتم تحديد متى ستعمل الخوارزمية بشكل جيد بما يكفي ليتم استخدامها أخيرًا.
تقييم المخاطر
يمكن لبلدية روتردام أن توافق إلى حد كبير على الدراسة ، لكنها لا توافق على جميع الاستنتاجات ، وفقًا للرد الوارد في التقرير. وفقًا للبلدية ، تهدف الخوارزمية إلى تحميل عدد أقل من المواطنين عبء إعادة الفحص ، إذا لم يكن هناك سبب للقيام بذلك. تقل فرصة اتخاذ قرار متحيز لأن عمليات إعادة التحقيق تتم دائمًا من قبل الأشخاص ، كما تقول البلدية: «نود التأكيد على أن الخوارزمية لا تعطي نتيجة ما إذا كان شخص ما محتالًا أم لا. لتقييم المخاطر. «
في السابق ، أجريت تجربة في جنوب روتردام بنظام SyRI المثير للجدل. تم ربط أنظمة السلطات المختلفة معًا لإعداد ملفات تعريف المخاطر للمحتالين. واسقط القاضي العام الماضي انهار باستخدام سوريا. في بداية هذا العام ، خلص ديوان المحاسبة إلى أنه يجب أن يكون هناك إشراف أفضل على استخدام الخوارزميات من قبل الوكالات الحكومية.
