Apple та університет Карнегі-Меллона навчили штучний інтелект визначати звуки, які чутно навколо.

За задумом авторів, завдяки системі не потрібно буде купувати безліч інтелектуальних пристроїв - достатньо буде одного розумного динаміка, наприклад, HomePod.

Команда дослідників з Apple і Університету Карнегі-Меллона представила систему навчання ШІ, яка дозволяє розумним динамікам визначати по звуках, що відбувається, і пропонувати користувачеві варіанти дій.

Система під назвою Listen Learner розпізнає навколишні звуки і інтерпретує їх. Для цього система одноразово взаємодіє з користувачем, питаючи, що вона тільки що почула, і маркує звук. Попередньо навчена модель Listen Learner також дає системі можливість припустити, що може означати той чи інший шум. Це дозволяє зменшити взаємодію з користувачем, зробити його менш відкритим: почувши шум, система задасть уточнююче запитання, наприклад, «це зачинилися двері?», Який зажадає від користувача тільки відповіді «так» або «ні».

Уточнюючі питання можуть бути більш розгорнутими в деяких ситуаціях - наприклад, коли звуки схожі, але все ж означають різні події, скажімо, коли системі потрібно визначити, закрилися вхідні двері або дверцята шафи. Згодом система сама зможе зробити припущення про природу звуку і представити його користувачеві для підтвердження. Інтерпретувавши звук, система запропонує власнику варіанти відповідних дій.

Ще один варіант застосування системи полягає в розпізнаванні кроків окремих членів сім'ї. За задумом авторів розробки, відпаде необхідність в інтелектуальній системі камер з розпізнаванням облич, замість неї HomePod визначатиме, хто йде, по звуку кроків.

Крім цього, автори також торкнулися і питань конфіденційності, які можуть виникнути при впровадженні такої системи, якщо врахувати, як часто буде включатися мікрофон і який обсяг даних про оточення користувача буде обробляти система. Як відзначають дослідники, обробити всю інформацію локально на пристрої не завжди буде можливо.