Tiny Videos と Camsoda

トロント大学の研究者は、大量のビデオ データを圧縮するための新しいシステムを開発しました。彼らのシステムが、ユーザーが関心のあるトピックに関連するビデオを見つけるのに役立つことを望んでいます。新しいシステムでは、ユーザーはニュース記事など、特定のイベントの類似したビデオ報道をさまざまなメディア ソースから検索することもできます。システムは、同じコンテンツのビデオ セグメントを検出し、より有用なタグを割り当てることもできます。

Tiny Videos のパフォーマンスは、最新のビデオ モデルと比較して優れています。それらのランタイムは非常に小さく、これはビデオ モデルでは前例のないことです。それらは、精度 – 実行時間曲線の低実行時間領域と高精度領域で動作します。これは、小規模で低解像度のアプリケーションでは特に重要です。

ビデオ形式が異なれば、サンプリング レートも異なります。 MiT はビデオごとに 37 フレームを使用しますが、MLB と HMDB はそれぞれ 80 フレームを使用します。一方、シャレードは 350 ~ 400 フレームを使用します。これらの違いは、これらのモデルがサンプリングする必要があるフレーム数が異なることに起因します。たとえば、TVN-1 はランダムなフレームを選択して評価しますが、他の 2 つのモデルは 2 フレームごとにサンプリングします。

この新しい方法は、既存のビデオ モデルよりも高速であり、リアルタイム ビデオ理解アプリケーションで幅広い用途があります。エネルギー効率が高く、サーバー側の計算コストを削減します。また、オンライン ロボティクス システム、携帯電話、大規模なビデオ理解処理システムにも使用できます。これにより、研究者はより高度なビデオ アーキテクチャとアプリケーションを探索できるようになります。