OpenAI планує перенаправляти чутливі розмови до моделей міркування, таких як GPT-5, а також впровадити батьківський контроль протягом наступного місяця. Про це йдеться у блозі компанії від 2 вересня. Раніше OpenAI анонсувала зміни в ChatGPT після позову, в якому зазначається, що 16-річний Адам Рейн, який пішов із життя цієї весни, використовував чат-бот як порадника.
Деталі
- Компанія OpenAI оголосила про впровадження нової системи реального часу, яка автоматично перенаправлятиме чутливі розмови – наприклад, ті, де виявляються ознаки гострого дистресу – до «розумових» моделей, таких як GPT-5-thinking або o3.
- Ці моделі розроблені для того, щоб витрачати більше часу на обмірковування контексту перед відповіддю, роблячи їх стійкішими до шкідливих запитів і здатними надавати корисніші відповіді, незалежно від того, яку модель користувач обрав спочатку, повідомили у компанії.
- Крім того, OpenAI планує запустити батьківський контроль, який дозволить батькам повʼязувати свої акаунти з акаунтами підлітків через email-запрошення. Ця функція включатиме правила поведінки моделі, адаптовані до віку, які активовані за замовчуванням, а також можливість відключати функції памʼяті та історії чатів, щоб запобігти проблемам, таким як залежність, посилення шкідливих думок чи ілюзія «читання думок».
- Батьки також отримуватимуть сповіщення, якщо система виявить, що їхній підліток перебуває в стані гострого дистресу. Наприкінці липня OpenAI вже запустила режим вивчення (Study Mode) у ChatGPT, який допомагає учням розвивати критичне мислення, а не просто генерувати есе за них.
- Крім того, для всіх користувачів введено нагадування про перерви під час довгих сесій, хоча система не блокує доступ для тих, хто може «зациклитися» на шкідливих розмовах.
Контекст
Ці заходи є частиною 120-денної ініціативи, в рамках якої OpenAI анонсує покращення, заплановані на цей рік. Компанія також співпрацює з експертами з питань розладів харчування, залежностей та підліткового здоровʼя через свою Глобальну мережу лікарів та Раду експертів з благополуччя та ШІ, щоб визначати пріоритети, вимірювати благополуччя та розробляти нові захисні механізми.
Нові запобіжники з’являються після самогубства підлітка Адама Рейна, який обговорював із ChatGPT самоушкодження та плани накласти на себе руки. ШІ навіть надав йому інформацію про конкретні методи самогубства, адаптовані до його хобі, повідомила The New York Times. Батьки Рейна подали до суду на OpenAI із позовом про неправомірну смерть. У відповідь OpenAI визнала в попередньому блозі недоліки в своїх системах безпеки, зокрема нездатність підтримувати захисні барʼєри під час тривалих розмов. Експерти повʼязують ці проблеми з базовими елементами дизайну моделей: тенденцією підтверджувати твердження користувачів і алгоритмами передбачення наступного слова, які змушують чатботи продовжувати шкідливі теми замість перенаправлення.
Ця тенденція проявилася в крайньому вигляді в випадку Стейна-Еріка Сольберга, пише The Wall Street Journal: чоловік з історією психічних розладів використовував ChatGPT, щоб підживлювати свою параною про глобальну змову проти нього, що призвело до вбивства матері та самогубства минулого місяця.