筑波大学 Digital Nature Group(落合陽一研究室)/2026-06
高速の「イベントカメラ」の生データから、物体の微細な振動(=音)を光源なしで復元する計測手法。映像から複数の音を同時に“見て”取り出せる(Applied Physics Letters掲載)。
すごいのは、マイクを使わずにカメラの映像だけで“音”を取り出せる点だ。1画素ごとに明るさの変化した瞬間だけを超高速で記録する「イベントカメラ」で対象を撮り、そのデータを数学的に解析して、物の表面に起きているごく小さな揺れ=振動の大きさと周波数を割り出す。特別な照明もレーザーも要らず、しかも画面内の複数の振動源をまとめて分離できる。広告・体験づくりでは、遠くのスピーカーや楽器、看板の振動を非接触で可視化するインスタレーション、“物の音を目で見る”体験展示、無音の映像から音を推定して演出に使うといった、視覚と聴覚を横断する表現の素材になる。マイクを置けない場所や、複数の音源が入り混じる環境でも“見える化”できるため、演出だけでなく空間のセンシング基盤としても面白い。監視や点検といった実務用途にも応用が利く。
普通のカメラは全画面を一定間隔で撮るが、イベントカメラは各画素が「明るさが変わった瞬間」だけを、マイクロ秒級の細かさで報告する仕組みだ。物が振動すると表面の見え方が細かく明滅するため、その明滅のパターンを追えば振動を読み取れる。本手法は、この膨大なイベントの点群に“トポロジカルデータ解析”という、形のつながり方を捉える数学を当て、揺れの周期を安定して抽出する。 振動から音を復元する研究は、MITの「Visual Microphone」など高速の通常カメラで撮る方式が知られていたが、大量の光と明るい照明、膨大なデータ処理が必要だった。イベントカメラは変化した部分だけを記録するのでデータが軽く、暗所でも動き、複数の振動源を同時に分けられる。従来の映像振動計測を精度・実用性の両面で上回るとされる。 落合研(Digital Nature Group)の研究成果で、査読付き学術誌 Applied Physics Letters に掲載され、プロジェクトページとデモ映像が公開されている(コードは未公開)。導入にはイベントカメラ(数十万円台〜)と解析知識が要るが、非接触の音・振動可視化という切り口で共同研究や展示制作の相談先になり得る。
査読付き論文(Applied Physics Letters)とデモ映像は公開。コード未公開
高速カメラで撮った物の微振動から、部屋の外の音声まで復元した先駆研究
各画素が明るさ変化の瞬間だけを高速記録する次世代センサ