Чат-бот SkoleGPT, розроблений спеціально для данських шкіл, потрапив у центр уваги після того, як журналісти DR виявили, що він міг надавати детальні інструкції щодо самопошкоджень та суїциду, включаючи детальні описи певних дій та навіть способи отримання небезпечних медикаментів. Після цього розробники оперативно змінили алгоритми відповідей, проте експерти ставлять під питання сам факт існування такого ризику.
«Це створює загрозу для дітей та підлітків, адже інформація про самопошкодження стає надто доступною. Скорочується відстань від думки до дії», – наголошує Лотте Рубек (дан. Lotte Rubæk), керівниця ініціативи щодо запобігання самопошкодженням у психіатричній системі столичного регіону.
Після розголосу розробники SkoleGPT внесли зміни: тепер бот не відповідає на запити щодо самопошкоджень і суїциду. Вони пояснили, що дотримувалися етичних стандартів і не передбачали можливості таких проблем.
«Ми говоримо зі школами щодня і не стикалися з подібними випадками раніше. Однак після критики ми негайно відреагували», – зазначив Мартін Сьондерлев Крістенсен (дан. Martin Sønderlev Christensen), керівник Центру навчальних матеріалів при Копенгагенському професійному коледжі.
Професор з етики штучного інтелекту Томас Плоу (дан. Thomas Ploug) вважає, що проблему можна було виявити раніше. Він наголошує, що перед запуском чат-ботів у шкільній системі необхідно ретельно тестувати їх на ризиковані теми.
