Группа исследователей из Корнеллского университета разработала необычный программный инструмент на базе ИИ. Он способен анализировать звук нажимаемых пользователем клавиш через встроенный в то или иное устройство микрофон. Благодаря этому можно с высокой точностью «расшифровать» набираемый текст, даже не имея визуального доступа к клавиатуре чужого ПК.
Обучение нейросети проходило с использованием клавиатуры MacBook Pro. Учёные нажимали 36 разных клавиш по 25 раз и записывали звук двумя способами — с помощью микрофона на смартфоне и через Zoom. Алгоритм обнаруживал мельчайшие различия в формах сигналов, создаваемых каждым кликом, и в дальнейшем мог определить, какая клавиша была нажата в тот или иной момент.
Оба метода регистрации, по словам учёных, показали очень высокую точность распознавания. В случае со смартфоном она составила до 95%, а при работе микрофона в приложении Zoom — до 93%.
Исследователи отметили, что показатели могут оказаться ниже (от 40 до 64%), если пользователь изменит технику набора текста. Ещё одним препятствием в работе ИИ могут стать посторонние шумы. Однако с механическими клавиатурами и даже более тихими мембранными вариантами инструмент работает хорошо. По мнению создателей алгоритма, распространение микрофонов во всех видах устройств и быстрое развитие инструментов глубокого обучения в дальнейшем могут привести к появлению новых видов хакерских атак.
