Interface 2018年7月号『360°＆マルチ時代　カメラ画像処理』

■特集案内

　Interface7月号では，カメラの画像処理について特集します．4台のカメラで全方位撮影を実現する基本的な処理や超広角レンズでVR的な全天球撮影など，動画や360°画像で広がる世界を解説いたします．また，はじめての動画処理プログラム全集と題して，基本動画処理から特殊な効果まで，さまざまな動画処理のプログラムを解説します．その解説したプログラムは，DVD-ROMに収録されていますので，直ぐに使うことができます．今月のInterfaceもぜひご期待ください．

　ここでは，ラズベリー・パイと4台のカメラ（3台のUSBカメラとPiカメラ）を使って全方位（水平360°の半天球）撮影を行います．4台のカメラの画像を1枚にまとめてH.264動画としてネットワーク経由で配信します．

　高度な動画処理システムを支えているのはどんな動画技術なのか，どんな動画特徴が生かされているのか．あるいは，今まで当たり前のように操作していた単純なビデオ編集技術も，どんな技術によって支えられているのか．基礎的な動画処理に触れることで，理解を深めてみましょう．そのために，付録DVD-ROMに収録したプログラムをぜひ活用してください．

■技1
　フレーム切り出しとは，動画から任意のフレームを切り出して保存する処理です．動画はフレームと呼ばれる静止画が何枚も集まってできています．従って，その中から重要なフレームを切り出すというのは，映像から決定的瞬間を保存する技術であるとも言えます．
■技2
　フレーム間差分処理は，動画の動きを検出することができる処理です．数ある方法の中で最も基本的かつ重要なものの1 つです．フレーム間差分を利用した動物体の検知，追跡方法は，時空間ラプラシアン・フィルタ，オプティカル・フローなど，これまでに数多くの応用が報告されています．また，対象が定点カメラである場合は，この処理だけでも十分に動物体を検知できます．

■技3
　全時間平均画像処理は，動画を1枚の画像情報で表現する方法の1つです．基本的には定点カメラで撮影した動画が対象となり，そこに含まれる物体がどんな動きをしたのか，それを1枚の画像で表現することができます．
■技4
　時空間中央値フィルタ処理は，画像に生じた飛び値のようなノイズを除去する場合に有効です．静止画像処理における中央値フィルタの考え方を，時間軸に対しても適用します．中央値フィルタは代表的なインパルス・ノイズ除去フィルタです．

■技5
　背景差分による異物検出処理は，定点カメラで撮影された動画から，移動物体や本来存在すべきでない異物を検出するための基本処理です．処理のアイデアはフレーム間差分と似ており，非常にシンプルです．しかし適切な状況で使用すれば，実用レベルの精度と効果を期待できます．
■技6
　ここで紹介するのは静止画を動画に合成するため処理です．合成の際に，その位置をフレームに応じて設定していくことで，静止画を動画内で動かすことができます．例えば，移動物体検出を目的とした実験用サンプルを作成したいとき，スタッフ・ロールのように文字を移動させたいとき，単純なコラージュ作品を作りたいときなどに，この処理は活躍します．