הולנד: בינה מלאכותית בשימוש המדינה נחשפה כמפלה

תחקיר עיתונאי חושף: רשויות המדינה בהולנד השתמשו במערכת בינה מלאכותית שביצעה פרופיילינג של אוכלוסיות חלשות במיוחד, והובילה לתיוג שגוי של עשרות אלפי אזרחים כחשודים בפלילים.

הולנד נחשבת לאחת המדינות המובילות בעולם בפיתוחים בתחום האלגוריתמיקה, אך גם לאחת המדינות שפועלות באופן הבעייתי ביותר בתחום. בתחילת שנת 2021 נחשף לראשונה כי מודל למידת מכונה ששימש את רשויות הרווחה במדינה, זיהה באופן שגוי כ-20,000 הורים כחשודים בהונאה בתחום קצבאות הילדים. אופן הפעולה של המודל דמה מאוד לאופן פעולתה של מערכת לפרופיילינג המוני (mass profiling) בשם SyRI – שהרגולטור האירופי קבע בשנת 2020 שמפרה את חקיקת זכויות האדם באיחוד האירופי.

במסגרת תחקיר שערך בנושא, מצא ארגון העיתונות העצמאית Lighthouse reports כי המערכת מצויה בשימוש בעיקר בערים או בשכונות ספציפיות שהמעמד הסוציו-אקונומי בהן נמוך יותר. רשימת הפרמטרים לפיהם פעל המודל כללה, בין השאר, את גיל ומגדר ההורים וילדיהם, צריכת החשמל והמים שלהם, מערכות היחסים שלהם עם בני ובנות זוג, כלי הרכב וחשבונות הבנק בהחזקתם, והחובות שלהם. כך למשל, ישנו סיכוי גבוה שהמודל יסמן אם חד הורית לתינוק, שמקבלת תמיכה מהרווחה ושבן הזוג שלה מתגורר מחוץ למדינה, כאזרחית בסיכון לביצוע הונאה.

עוד נחשף בתחקיר, כי המערכת מצויה גם בשימושם של גופים ממשלתיים נוספים, דוגמת רשויות הביטוח הלאומי, המיסוי והתעסוקה.

בעקבות ממצאי התחקיר הודיעה שרת הרווחה ההולנדית כי תפתח בהליך ביקורת בנושא. מקור: Lighthouse Reports.