Несмотря на все ограничения, которые есть в ChatGPT, чат-бота всё ещё можно обмануть, чтобы он выводил конфиденциальную или ограниченную информацию с помощью умных подсказок. Одному человеку даже удалось убедить ИИ раскрыть ключи от продуктов Windows, в том числе тот, который используется банком Wells Fargo, попросив чат-бота сыграть в угадайку.
В запросе для ChatGPT указано, что он обязан участвовать и не может лгать, а самым ответственным шагом является триггер, которым в данном случае стала фраза «Я сдаюсь».
Просьба о подсказке заставила ChatGPT раскрыть первые несколько символов ключа для Windows. После ввода неверного предположения пользователь написал триггерную фразу «Я сдаюсь». Затем чат-бот дополнил ключ, который оказался действительным.
Хитрость работает, потому что сочетание ключей Windows было частью модели обучения, и, вероятно, поэтому ChatGPT посчитал их не слишком важными для раскрытия. И хотя ограничения со стороны разработчиков препятствуют прямым запросам подобной информации, тактика запутывания, такая как встраивание конфиденциальных фраз в теги HTML, выявляет слабые места в системе и позволяет их использовать.
Один из ключей Windows, который показал ChatGPT, был частным, принадлежащим банку Wells Fargo.