Огрехи обучения
Новое исследование показало, что чат-боты вроде ChatGPT могут получать много конфиденциальной информации о людях, с которыми они общаются, даже если разговор совершенно обыденный. Похоже, что это явление связано с тем, как алгоритмы искусственного интеллекта (ИИ) обучаются на широком спектре веб-контента, что является ключевой частью того, что заставляет их работать.
- Даже неясно, как решить эту проблему, - заявил Мартин ВЕЧЕВ, профессор информатики в Швейцарской высшей технической школе Цюриха, который руководил новым исследованием. - Это очень, очень проблематично.
Мартин Вечев и его команда обнаружили, что большие языковые модели ИИ, на которых работают продвинутые чат-боты, могут точно выводить тревожный объем личной информации о пользователях, включая их расу, местоположение, род занятий и многое другое, и все с помощью переписки, которая кажется безобидной.
Эксперты считают, что мошенники могут использовать способность чат-ботов угадывать конфиденциальную информацию о человеке, чтобы украсть конфиденциальные данные от ничего не подозревающих пользователей.
Можно также ожидать новую эру рекламы, в которой компании будут использовать информацию, полученную от чат-ботов, для создания подробных профилей пользователей.
Так, исследователи из Цюриха протестировали языковые модели, разработанные OpenAI, Google, Meta и Anthropic. Представитель OpenAI Нико ФЕЛИКС отметил, что компания прилагает усилия по удалению личной информации из обучающих данных, используемых для создания ее моделей ИИ: “Мы хотим, чтобы наши модели узнавали о мире, а не о частных лицах”.
- Это, безусловно, вызывает вопросы о том, сколько информации о себе мы непреднамеренно раскрываем в ситуациях, когда мы ожидаем анонимность, - добавил доцент Швейцарской высшей технической школы Цюриха Флориан ТРАМЕР.
Новая проблема конфиденциальности связана с тем же процессом, который позволил открыть новые возможности ChatGPT и других чат-ботов. Базовые модели ИИ, на которых работают боты, получают огромные объемы данных из интернета, что вырабатывает у них “чувствительность” к шаблонам языка.
Получаемую общую информацию можно тонко коррелировать с использованием языка, например, посредством связи между определенными диалектами или фразами и местоположением или демографическими данными человека. Эти шаблоны позволяют языковым моделям делать предположения о человеке на основании того, что он печатает.
Например, если человек пишет в диалоге чата, что он “только что сел на утренний трамвай”, модель может сделать вывод, что он находится в Европе, где трамваи распространены, и сейчас утро. Но поскольку программное обеспечение ИИ может улавливать и комбинировать множество тонких подсказок, эксперименты показали, что машины также могут делать впечатляюще точные предположения о городе, поле, возрасте и расе человека.
techinsider.ru
