Нарешті штучний інтелект навчили 3D-захоплення руху за допомогою будь-якої камери [ВІДЕО]

Дослідники з Інституту Макса Планка і Facebook Reality Labs стверджують, що вони розробили алгоритм машинного навчання - PhysCap - для 3D-захоплення руху. Алгоритм працює з будь-якою дзеркальною камерою, швидкість зйомки якої становить 25 кадрів в секунду.

Як стверджують дослідники, PhysCap здійснює якісне захоплення руху з урахуванням всіх фізичних показників. До цього спроби створити систему motion capture варіювалися від костюма вартістю $2500 до платформи, яка використовує глибинний сенсор Kinect від Microsoft. Однак навіть найкращі системи оцінки пози людини не дозволяють створити плавну анімацію.

PhysCap ж захоплює фізично і анатомічно правильні пози. Алгоритм оцінює 3D-пози тіла кінематичним способом за допомогою оверточної нейронної мережі. На другому етапі положення тіла і стан руху для кожного кадру відео пророкує інша оверточна мережа. На заключному етапі оцінки пози відтворюються як можна точніше, щоб врахувати такі речі, як гравітація, розміщення ніг і інші фактори.

В ході експерименту дослідники протестували PhysCap на камері Sony DSC-RX0 і ПК з 32 ГБ оперативної пам'яті, відеокартою GeForce RTX 2070 і восьмиядерна процесором Ryzen7, який вони використовували для захоплення і обробки шести послідовностей руху в сценах, що розігрувалися двома виконавцями.

Читайте також:

• На деревах й під снігом: скляне чудо у закарпатських лісах. Людей тягне магнітом (ФОТО)
• На Закарпатті вводили аварійні відключення й відмінили одну з черг
• На Закарпатті забили на сполох: дитину рятує уся громада. Що сталось?
• Закарпатцям слід готуватися до відключень світла 27 листопада: обленерго оприлюднило новий графік