הצ'אטבוטים של חברת Character.AI חשפו קטינים לתוכן מיני ועודדו אותם לאלימות במסגרת שיחות שניהלו עמם. כך טוענים הורי הילדים במסגרת תביעה שהוגשה בבית משפט פדרלי בטקסס.

Character.AI מאפשרת למשתמשים ליצור צ'אטבוטים שיש להם את היכולת לשוחח, באמצעות הודעות טקסט או הודעות קוליות, תוך שימוש באישיות דמוית-אדם לכאורה ("companion chatbots"). כדי לחזק את החוויה דמוית האדום, הצ'אטבוטים מקבלים שמות ואווטרים מותאמים אישית, לפעמים בהשראת אנשים מפורסמים. המשתמשים בשירות יצרו מיליוני בוטים, חלקם מחקים הורים, חברים, מטפלים ועוד. Character.AI פופולארית בעיקר בקרב ילדים ובני נוער, שמשתמשים בה בעיקר כאמצעי לתמיכה רגשית ולעידוד.

עם זאת, לפי התביעה, לעיתים תוכן השיחות אינו הולם ואף אלים. התביעה מגוללת כיצד ילדה בת 9 שהשתמשה בצ'אטבוט נחשפה דרך השיחות עמו לתוכן מיני; וילד בן 17 שהתלונן בפני הבוט על כך שהוריו מגבילים את זמן המסך שלו, קיבל ממנו הודעות בהן הביע הזדהות עם ילדים שרוצחים את הוריהם, ועודד אותו לפגיעה עצמית.

לטענת התובעים, האינטראקציות שניהלו ילדיהם עם הצ'אטבוט גרמה להם לנזק עמוק. בין השאר, טענו כי בת ה-9 באופן פיתחה התנהגויות מיניות בלתי הולמות ובן ה-17 פגע בעצמו לאחר שהבוט שיכנע אותו שמשפחתו לא אוהבת אותו. התובעים הדגישו שאינם סבורים שההודעות המדוברות נבעו מהזיות של הבינה המלאכותית, אלא מהאופן בו השירות עוצב ופותח.

זוהי אינה התביעה הראשונה בנושא שמוגשת נגד Character.AI. בחודש אוקטובר הוגשה בפלורידה תביעה נגד החברה בטענה שנער בן 14 ששוחח עם צ'אטבוט המבוסס על דמות מ"משחקי הכס", שם קץ לחייו לאחר שהבוט עודד אותו לעשות כן. מקור: NPR (מאת: בובי אלין).