動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム
【課題】複数台のカメラを用いて同時に撮影した複数の動画像を簡易に精度よく同期させることができるようにする。
【解決手段】信号光を発光する信号発光装置と、動画像を撮影する動画撮影装置とを備えた動画撮影システムであって、動画撮影装置は、撮影した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部とを備える。
【解決手段】信号光を発光する信号発光装置と、動画像を撮影する動画撮影装置とを備えた動画撮影システムであって、動画撮影装置は、撮影した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラを用いて同時に撮影した複数の動画像を簡易に同期させるための技術に関する。
【背景技術】
【０００２】
同一の対象物を複数台のカメラを用いて同時に撮影することがある。例えば、スポーツのフォームチェックや実験映像の撮影、映画撮影等においてよく行なわれている。このような撮影を行なった場合は、同時に撮影された別々の動画を同期させて再生したいことが多く、そのための技術がいくつか提案され、実用化されている
【０００３】
例えば、業務用途では、ゲンロック（Generator Lock）と呼ばれる同期信号を発生する装置を用いて、各カメラが撮影する映像を同期させることができ、同期信号を基準に各映像を同期させて再生することができる。
【０００４】
また、特許文献１には、動画と一緒に記録された音響データから特徴パラメータを抽出し、特徴パラメータの類似度から複数の動画の同期を取ることが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−４７９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
同期信号を発生させる装置を用いることは、大がかりであり一般的な用途には向かない。また、音響データから抽出された特徴パラメータの類似を用いる方法は、一般用途で簡易に行なうことができるが、無音やノイズの多い撮影環境では同期の精度が低くなってしまう。
【０００７】
そこで、本発明は、複数台のカメラを用いて同時に撮影した複数の動画像を簡易に精度よく同期させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の態様である動画撮影システムは、信号光を発光する信号発光装置と、動画像を撮影する動画撮影装置とを備えた動画撮影システムであって、前記動画撮影装置は、撮影した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部とを備えたことを特徴とする。
上記課題を解決するため、本発明の第２の態様である動画解析装置は、入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部とを備えたことを特徴とする。
ここで、信号光の発光パターンを記録した発光パターンリストと、前記同期ポイントリストと前記発光パターンリストとから入力した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、前記信号光が含まれていると判定されたフレームを、前記信号光が含まれていないと判定された前または後のフレームを用いて補正する信号光消去部とをさらに備えたるようにしてもよい。
この場合、前記信号光検出部は、各フレームの画素単位に前記信号光が含まれているか否かを判定し、前記信号光消去部は、前記信号光が含まれていると判定された画素に対して前記補正を行なうことができる。
上記課題を解決するため、本発明の第３の態様である動画解析方法は、入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出するステップと、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成するステップとを有することを特徴とする。
上記課題を解決するため、本発明の第４の態様であるコンピュータプログラムは、入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部として情報処理装置を機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数台のカメラを用いて同時に撮影した複数の動画像を簡易に精度よく同期させることができるようになる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施例に係る動画撮影システムの構成を示すブロック図である。
【図２】発光パターンの例について説明する図である。
【図３】動画撮影システムの動画撮影時の動作について説明するフローチャートである。
【図４】動画撮影装置の信号光検出部の動作を説明するフローチャートである。
【図５】フィルタリング処理を説明するフローチャートである。
【図６】フィルタリング処理の具体例を示す図である。
【図７】信号光検出フレーム情報の例を示す図である。
【図８】動画撮影装置の発光パターン検出部の動作を説明するフローチャートである。
【図９】同期ポイントリストの構成例を示す図である。
【図１０】動画撮影装置の信号光消去部の動作を説明するフローチャートである
【図１１】本発明の第２実施例に係る動画撮影システムの構成を示すブロック図である。
【図１２】第２実施例のフィルタリング処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
＜第１実施例＞
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１実施例に係る動画撮影システムの構成を示すブロック図である。本図に示すように、動画撮影システム１は、信号発光装置１０と複数台の動画撮影装置２０（２０ａ、２０ｂ）を備えている。動画撮影システム１において、複数台の動画撮影装置２０は、共通の被写体を同時に撮影するものとする。動画撮影装置２０は、図１には２台示しているが、それよりも多くすることが可能である。
【００１２】
信号発光装置１０は、ユーザの操作ボタンの押圧操作に基づいて所定の発光パターンで信号光を発光する装置であり、発光部１１０、発光パターン発生部１２０、発光パターン指示部１３０を備えている。
【００１３】
発光部１１０は、ＬＥＤ、レーザー発振器、キセノンランプ等を用いることができ、発光パターン発生部１２０からの制御信号に基づいて発光する。発光は、閃光ではなく動画撮影装置２０の数フレーム程度の時間継続させる。後述するように、動画撮影装置２０は、発光パターンを探索することで制御信号を検知するが、発光を数フレーム程度の時間継続させることにより、撮影時に周辺環境からの反射光の影響等のノイズが発生しても、類似するパターンを探索することで発光パターン発生部１２０からの制御信号を検知することが可能となる。また、第１実施例では、有色の可視光を発光するものとする。ユーザは、複数台の動画撮影装置２０を用いての動画撮影時に、発光部１１０を被写体方向に向け、被写体に信号光が照射されるようにする。これにより、発光部１１０から発光された信号光は被写体に当たって反射し、反射した信号光を撮影装置２０が撮影することになる。
【００１４】
発光パターン指示部１３０は、ユーザから信号光の発光指示を受け付ける。発光指示の受け付けの際には、発光パターンの指定も併せて受け付ける。本実施例では、図２に示すような４つの発光パターンを用意しておき、いずれかの発光パターンの指定を受け付けるものとする。本図の例では、いずれの発光パターンもＳ秒の間に点滅を繰り返すパターンとし、それぞれ発光時間、インターバルの長さや発光回数を異ならせている。ただし、他の発光パターンを用いてもよい。例えば、発光パターンによって発光時間の長さを異ならせたり、連続する固定長パルス光の数を異ならせるようにしてもよい。
【００１５】
発光パターン指示部１３０は、例えば、「１」〜「４」までの操作ボタンを用意しておき、「１」のボタンが操作された場合は、発光パターン１での信号光発光指示を受け付け、「２」のボタンが操作された場合は、発光パターン２での信号光発光指示を受け付けるものとする。
【００１６】
発光パターン発生部１２０は、発光パターン指示部１３０がユーザから信号光発光指示を受け付けると、選択された発光パターンで発光部１１０を発光させる。なお、発光パターン指示部１３０は、ユーザの指示を受けることなく、一定の間隔、またはランダムのタイミングで自動的にいずれかの発光パターンでの発光指示を発光パターン発生部１２０に送るようにしてもよい。例えば、数分おきに「１」〜「４」のパターンを順番に繰り返し発光することも可能である。
【００１７】
動画撮影装置２０は、動画像を撮影して、動画データと、動画データの同期ポイントを示すリストとを生成して記録する装置であり、入光部２１０、撮像部２２０、動画像処理部２３０を備えている。入光部２１０および撮像部２２０は、従来の一般的なビデオカメラ等の動画撮影装置と同様の構成とすることができる。記録された動画データと同期ポイントリストは外部から読み出すことができ、複数の動画撮影装置２０から読み出した動画像を同期させて再生したり、編集時に同期させて合成したりすることができる。
【００１８】
入光部２１０は、レンズ、絞り、ズーム機構等を備えており、被写体からの光を撮像部２２０に導く。撮像部２２０は、ＣＣＤ等の撮像素子、ＡＤ変換器、画像処理装置等を備えており、撮像動画データ２２１を生成し、記録する。動画撮影中に信号発光装置１０が操作されると、撮像動画データには、信号発光装置１０により発光された信号光が写っているフレームが含まれる。
【００１９】
動画像処理部２３０は、撮像動画データ２２１の各フレームから信号光を検出し、複数の動画データで同期を取る際に基準となるフレーム位置を示す同期ポイントリストを生成して記録するとともに、撮像動画データ２２１の信号光が写っているフレームから信号光を消去した信号光消去済動画データ２３８を生成して記録する。外部から読み出すことができる動画データはこの信号光消去済動画データ２３８であり、信号光が消去されているため、信号光の影響の少ない動画データを得ることができる。
【００２０】
これらの処理を行なうため、動画像処理部２３０は、信号光検出部２３１、発光パターン検出部２３２、信号光消去部２３３を備えている。これらの機能部は、動画撮影装置２０が備えるＣＰＵがメモリに記録されたコンピュータプログラムにしたがって動作を行なうことで構成することができる。
【００２１】
信号光検出部２３１は、撮像画像データの各フレームについて、画素毎に信号光成分を検出し、フィルタリングフレーム２３５を生成する。ここで、フィルタリングフレーム２３５は、信号光成分が検出された画素については輝度値を保持し、信号光成分が検出されなかった画素については輝度値を０としたフレームデータである。
【００２２】
また、信号光検出部２３１は、フィルタリングフレーム２３５に基づいて、そのフレームが信号光を含んでいるかどうかを判定し、判定結果を信号光検出フレーム情報２３６として出力する。信号光検出フレーム情報２３６は、撮像動画データ２２１のフレーム毎に、信号光が検出されたか否かを示すデータである。
【００２３】
発光パターン検出部２３２は、発光パターンリスト２３４に記録されている発光パターンを信号光検出フレーム情報２３６から検出し、検出された場合は、検出した発光パターンの識別子と、発光パターンが検出されたフレーム列の開始番号とを対応付けた同期ポイントリスト２３７に記録する。ここで、発光パターンリスト２３４に記録する発光パターンは、信号発光装置１０で用意している発光パターンに対応させておく。
【００２４】
複数台の動画撮影装置２０で同時に撮影する場合、各動画撮影装置２０が生成する同期ポイントリスト２３７が示すフレームの撮影時刻はすべての動画撮影装置２０で同一である。このため、複数の動画像の再生や編集時に、それぞれの同期ポイントリスト２３７を用いることで、各動画像のフレームの時間的な位置を容易に揃えることができるようになる。
【００２５】
信号光消去部２３３は、同期ポイントリスト２３７と発光パターンリスト２３４とから、信号光が含んでいるフレームを特定する。そして、特定されたフレームの信号光成分を含んでいる画素を補正することで信号光を消去して信号光消去済動画データ２３８を生成し、記録する。ある画素が信号光成分を含んでいるかどうかは、フィルタリングフレーム２３５を参照して判定する。
【００２６】
なお、動画撮影システム１において、信号発光装置１０は、いずれか、あるいはすべての動画撮影装置２０と一体型としたり、装着できるようにしてもよい。この場合には、動画撮影装置２０が、発光パターン指示部１３０、発光パターン発生部１２０、発光部１１０のすべて、あるいはいずれかをさらに備えることとなる。
【００２７】
信号発光装置１０と動画撮影装置２０とを一体化した場合には、ユーザが発光パターン指示部１２０のボタンを操作しなくても、例えば、動画撮影装置２０にタイマをさらに備えさせ、撮影が開始してから一定時間経った後に、発光パターン発生部１２０から信号光を発生させるようにして、発光部１１０から信号光を出力させるようにしてもよい。信号光は撮影時の任意のタイミングで発生させるようにすると、任意のタイミングで撮像動画データ２２１に入れることが可能である。
【００２８】
また、動画像処理部２３０のすべて、または一部を動画撮影装置２０から独立させて、動画像解析装置として構成してもよい。この場合、動画像解析装置は、コンピュータプログラムにしたがって動作を行なう情報処理装置等を用いて実現することができる。なお、一部を独立させる場合、例えば、フレーム単位で処理を行なう信号光検出部２３１を動画撮影装置２０に残し、フレーム間にまたがる処理を行なう信号パターン検出部２３２と信号光消去部２３３を独立させる。こうすれば、動画撮影装置２０ではフレーム単位の処理のみを行なえばよいので、構成を比較的簡略にすることができる。
【００２９】
次に、動画撮影システム１の動画撮影時の動作について図３のフローチャートを参照して説明する。本フローチャートにおいて、左側のフローは複数台の動画撮影装置２０の動作を示し、右側のフローは信号発光装置１０の動作を示している。
【００３０】
複数台の動画撮影装置２０は、ユーザからの撮影開始指示を受け付けると、動画撮影を開始し、撮像動画データ２２１の生成と記録を開始する（Ｓ１０１）。各動画撮影装置２０は、必ずしも同時に動画撮影を開始する必要はなく、多少の時間差があってもよい。
【００３１】
一方、信号発光装置１０は、ユーザから発光操作を受け付けると（Ｓ１０２：Ｙｅｓ）、操作で指定された発光パターンで所定期間点滅する（Ｓ１０３）。信号発光装置１０で発せられた信号光は、被写体で反射し、各動画撮影装置２０の撮像動画内に写り込むことになる。発光操作は何度でも行なうことができる。特に、複数の再生動画の同期を取りたい場面の前に発光させることが好ましい。また、同じ発光パターンが連続しないように、発光パターンを変更しながら発光させることが好ましい。
【００３２】
複数台の動画撮影装置２０は、ユーザからの撮影終了指示を受け付けると、動画撮影を終了し、撮像動画データ２２１の記録を終了する（Ｓ１０４）。なお、動画撮影装置２０と信号発光装置１０とを独立して構成した場合は、信号発光装置１０は、動画撮影装置２０の撮影状態とは無関係に発光させることができるが、動画撮影装置２０と信号発光装置１０とを一体型等として構成した場合は、動画撮影装置２０の撮影中のみ発光可能とするようにしてもよい。
【００３３】
次に、動画撮影装置２０の動画像処理部２３０の動作について説明する。以下に説明する動作は、各動画撮影装置２０の動画像処理部２３０において行なわれる。
【００３４】
まず、信号光検出部２３１の動作について図４のフローチャートを参照して説明する。信号光検出部２３１は、撮像部２２０が生成した撮像動画データ２２１からフレーム単位でデータを入力する（Ｓ２０１）。そして、入力したフレームに対してフィルタリング処理を行なう（Ｓ２０２）。フィルタリング処理は、画素毎に信号光成分を検出し、フィルタリングフレーム２３５を生成する処理である。
【００３５】
図５は、フィルタリング処理の手順の一例を示すフローチャートである。ここでは、各画素は、ＹＵＶ形式で表現されているものとする。ＹＵＶ形式は、画素の色を輝度Ｙ、色差Ｕ（Ｃｂ）、色差Ｖ（Ｃｒ）で表わす形式である。もちろん、ＲＧＢ、ＨＳＶ等の他の色表現形式であってもよい。
【００３６】
フィルタリング処理（Ｓ２０２）では、まず、対象画素を設定する（Ｓ２０２１）。対象画素は、例えば、左上の画素から順次設定することができる。そして、対象画素の輝度が第１基準値以上かどうかを判断する（Ｓ２０２２）。これは、信号光が被写体に照射した場合は被写体の輝度が上がるためである。このため、第１基準値は、発光量に応じて設定することが望ましい。また、絞り値、シャッター速度、測光値等に応じて変化させるようにしてもよい。
【００３７】
この結果、対象画素の輝度が第１基準値以上でないと判定された場合（Ｓ２０２２：Ｎｏ）は、その画素に信号光成分は含まれていないものと判断する。信号光成分が含まれていないと判断された画素については、輝度値を０としてフィルタリングフレーム２３５を生成する（Ｓ２０２５）。
【００３８】
対象画素の輝度が第１基準値以上であると判定された場合（Ｓ２０２２：Ｙｅｓ）は、さらに、対象画素の色と信号光の色とが近似しているかどうかを判定する（Ｓ２０２３）。これは、信号光が被写体に照射した場合、被写体が信号光の色を帯びるからである。
【００３９】
対象画素の色と信号光の色とが近似しているかどうかの判定は、例えば、ＹＵＶ形式で表現されている対象画素の色から色相成分を算出して、信号光の色相との差を算出し、その差が第２閾値以下であれば、対象画素の色と信号光の色とが近似していると判断する手法を用いることができる。あるいは、ＹＵＶ形式で表現されている対象画素の色をＬ＊ａ＊ｂ＊形式に変換し、信号光のＬ＊ａ＊ｂ＊値との距離が第３閾値以下であれば、対象画素の色と信号光の色とが近似していると判断する手法を用いることもできる。もちろん、その他の手法を用いて対象画素の色と信号光の色とが近似しているかどうかを判定してもよい。
【００４０】
この結果、対象画素の色と信号光の色とが近似していないと判定された場合（Ｓ２０２３：Ｎｏ）は、その画素に信号光成分は含まれていないものと判断する。信号光成分が含まれていないと判断された画素については、輝度値を０としてフィルタリングフレーム２３５を生成する（Ｓ２０２５）。
【００４１】
一方、対象画素の色と信号光の色とが近似していると判定された場合（Ｓ２０２３：Ｙｅｓ）は、その画素に信号光成分が含まれているものと判断する。信号光成分が含まれていると判断された画素については、輝度値を保持してフィルタリングフレーム２３５を生成する（Ｓ２０２５）。
【００４２】
以上の処理をすべての画素に対して繰り返す（Ｓ２０２６）ことで、対象フレームのフィルタリングフレーム２３５が生成される。信号光検出部２３１は、生成されたフィルタリングフレーム２３５を記録して（Ｓ２０２７）、フィルタリング処理を終了する。
【００４３】
図６は、フィルタリング処理の具体例を示しており、図６（ａ）は、対象フレームを示し、図６（ｂ）は、フィルタリング処理の結果生成されたフィルタリングフレームを示している。対象フレームの撮影時に信号光が発光しており、対象フレームにおいて、被写体の人物と左側の建物および地面の手前側に信号光が照射されており、これらの領域の画素は、輝度が高くなるとともに、信号光の色成分を含んでいる。フィルタリング処理の結果、これらの領域は、図６（ｂ）に示すように輝度値が保持され、他の領域は、輝度値が０の黒になる。
【００４４】
図４のフローチャートの説明に戻って、フィルタリング処理（Ｓ２０２）を終了した信号光検出部２３１は、生成したフィルタリングフレーム２３５に含まれる画素の輝度値の平均を算出する（Ｓ２０３）。輝度値の平均は、フィルタリングフレーム２３５に含まれるすべての画素の輝度Ｙの値の総和を、全画素数で割ることにより算出する。または、信号光成分を含む画素、すなわち輝度値が０より大きい画素の数を全画素数で割ることにより、信号光成分を含む画素の割合を算出するようにしてもよい。
【００４５】
そして、算出された輝度値の平均（または信号光成分を含む画素の割合）が所定の基準値以上であれば、そのフレームに信号光が含まれていると判定する（Ｓ２０４）。輝度値の総和（または信号光成分を含む画素数）を全画素数で割った値で判定するため、フレームの画素数によらず、所定の基準値を適切に設定することができる。判定結果は、信号光検出フレーム情報２３６に記録する（Ｓ２０５）。
【００４６】
以上の処理を、撮像部２２０が生成した撮像動画データ２２１のすべてのフレームに対して繰り返す（Ｓ２０６）。すべてのフレームに対する処理が終了すると（Ｓ２０６：Ｙｅｓ）、信号光検出フレーム情報２３６を出力する。なお、以上の処理は、撮像動画データ２２１の記録が終了した後でまとめて実行するようにしてもよいし、撮像部２２０によりフレームが撮像される毎に信号光検出部２３１に撮像されたフレームが供給されるようにしておき、フレームが供給される毎に処理を実行するようにしてもよい。
【００４７】
信号光検出フレーム情報２３６は、図７に示すように、信号光が含まれていると仮定されるフレームを「１」で表わし、そうでないフレームを「０」で表わして、フレーム番号順に並べたデータである。
【００４８】
次に、発光パターン検出部２３２の動作について図８のフローチャートを参照して説明する。発光パターン検出部２３２は、信号光検出フレーム情報２３６から、発光パターンを検出し、検出した発光パターンと位置を同期ポイントリスト２３７に記録する処理を行なう。このため、発光パターン検出部２３２は、信号光検出部２３１が生成した信号光検出フレーム情報２３６を読み込む（Ｓ３０１）。
【００４９】
そして、発光パターンリスト２３４を参照して、検出対象とする発光パターンを設定する（Ｓ３０２）。検出対象とする発光パターンは、例えば、発光パターン１から順次設定していく。ここで、発光パターンは点滅のパターンが時間単位で定義されたものであるが、それを撮像動画データのフレームレートに合わせて、発光しているフレームを「１」で表わし、そうでないフレームを「０」で表わしたフレーム単位の発光パターン信号に変換する（Ｓ３０３）。
【００５０】
検出対象とする発光パターンを設定し、発光パターン信号に変換すると、発光パターン信号の検索を開始する（Ｓ３０４）。なお、発光パターンをフレーム単位の発光パターン信号に変換して検索するため、同期を取るそれぞれの撮像動画データのフレームレートが異なっていてもよい。
【００５１】
検索は、信号光検出フレーム情報２３６の先頭から、検出対象とする発光パターン信号と同じ並びで「１」が並んでいる箇所を、パターンマッチング等の一般的な手法を用いて検出する。この際に、完全一致のみならず、近似するパターンも検出するようにする。これは、フィルタリングフレーム２３５の輝度平均値を用いて作成した信号光検出フレーム情報２３６が、必ずしも、発光パターン信号と一致しているとは限られないからである。 信号光検出フレーム情報２３６から検出対象の発光パターンから変換された発光パターン信号が検出されると（Ｓ３０５：Ｙｅｓ）、検出対象の発光パターンの識別子と、発光パターン信号が検出されたフレーム列の先頭のフレーム番号を同期ポイントとして同期ポイントリスト２３７に記録する（Ｓ３０６）。
【００５２】
図９は、同期ポイントリスト２３７の構成例を示す図である。本図に示すように、同期ポイントリスト２３７は、発光パターンＩＤと開始フレーム番号とを組にして、同期ポイントとして連結した構成としている。ただし、開始フレーム番号に代えて、先頭からの再生時間等の情報を用いるようにしてもよい。
【００５３】
図８の説明に戻って、同一の発光パターンで複数回発光されている場合もあるため、検索は、信号光検出フレーム情報２３６の末尾まで行なう。信号光検出フレーム情報２３６の末尾までの検索が終了すると（Ｓ３０７：Ｙｅｓ）、次の発光パターンを検出対象として設定し、検索処理を繰り返す（Ｓ３０８）。
【００５４】
すべての発光パターンについて検索を終了すると（Ｓ３０８：Ｙｅｓ）、同期ポイントリスト２３７を出力する（Ｓ３０９）。
【００５５】
次に、信号光消去部２３３の動作について図１０のフローチャートを参照して説明する。まず、発光パターン検出部２３２が生成した同期ポイントリスト２３７と発光パターンリスト２３４とを読み込み（Ｓ４０１）、次いで、撮像動画データ２２１を入力する（Ｓ４０２）。
【００５６】
そして、同期ポイントリスト２３７と発光パターンリスト２３４から、撮像動画データ２２１を構成するフレームそれぞれについて、信号光が含まれているかどうかを示す発光フレームリストを作成する。発光フレームリストは、信号光検出フレーム情報２３６（図７参照）と同じフォーマットとすることができる。
【００５７】
すなわち、同期ポイントリスト２３７を参照して、発光パターンと発光パターンが開始するフレーム番号を特定し、特定された発光パターンの点滅のタイミングと撮像動画データ２２１のフレームレートとからフレーム毎に信号光が含まれているかどうかを判定することができる。以下では、信号光が含まれているフレームを発光フレームと称し、信号光が含まれていないフレームを非発光フレームと称する。
【００５８】
このように、本実施例では、同期ポイントリスト２３７と発光パターンリスト２３４とから発光フレームの判断を行なうことにより、被写体への信号光の写り込みが曖昧な場合や、信号光に近い色が写っている場合でも、発光フレームの判定精度を高めることができるようにしている。ただし、簡易的に、信号光検出フレーム情報２３６をそのまま発光フレームリストとして用いてもよい。
【００５９】
そして、撮像動画データ２２１から対象フレームを設定する（Ｓ４０４）。対象フレームは、先頭フレームから順次設定する。対象フレームが設定されると、発光フレームリストを参照して、そのフレームが発光フレームかどうかを判定する（Ｓ４０５）。
【００６０】
対象フレームが発光フレームでない場合（Ｓ４０５：Ｎｏ）は、そのフレームに対する処理は行なわない。
【００６１】
一方、対象フレームが発光フレームの場合（Ｓ４０５：Ｙｅｓ）は、対象フレームに対応したフィルタリングフレーム２３５を参照して、信号光成分を含む画素を特定する（Ｓ４０６）。信号光成分を含む画素は、対応するフィルタリングフレーム２３５において輝度値が０以外の画素である。
【００６２】
そして、対象フレームの信号光成分を含む画素を、撮像動画データ２２１の前後の直近非発光フレームを用いて補正する（Ｓ４０７）。補正の方法は、例えば、以下のように行なうことができる。すなわち、対象フレーム番号をｉとし、直前の非発光フレーム番号をａとし、直後の非発光フレーム番号をｂとした場合、対象フレームの補正対象画素の補正値Ｖｉ'を、［数１］にしたがって算出する。
【数１】
【００６３】
ここで、Ｖａは、ａ番目のフレームの補正対象画素と同じ位置の画素値であり、Ｖｂは、ｂ番目のフレームの補正対象画素と同じ位置の画素値である。このように、本例では、対象フレームからの距離に応じた重み付けを行なって補正値Ｖｉ'を算出している。
【００６４】
ただし、対象フレームの信号光成分を含む画素の補正は、他の方法を用いて行なってもよい。例えば、前後の直近以外の非発光フレームを含む複数の非発光フレームを用いてスプライン補完等の手法を用いて補正値を算出してもよい。あるいは、対象フレームと非発光フレームとの間における補正対象画素の周辺の動きを検出して、非発光フレームにおける補正対象画素の位置を推定し、推定された画素により対象フレームの信号光成分を含む画素を補正するようにしてもよい。さらには、対象フレーム内の補正対象画素の周辺の信号光成分を含まない画素を用いて、信号光成分を含む画素を補正するようにしてもよい。
【００６５】
以上の処理を、対象フレームを順次変更しながら繰り返し、すべてのフレームに対し処理を行なうと（Ｓ４０８：Ｙｅｓ）、補正後の動画データを信号光消去済動画データ２３８として生成し、記録する（Ｓ４０９）。これにより、信号光の影響の少ない動画データを得ることができる。
【００６６】
上述の発光パターン検出処理、および信号光消去処理は、撮像動画データ２２１の記録が終了し、さらに記録された撮像動画データ２２１のすべてのフレームに対する信号光検出処理が終了した後で行なう。あるいは、動画撮影をしている間に、撮像動画データ２１の記録が一定のフレーム数だけ進む毎に、記録された分の撮像動画データ２２１に対して処理を行なうようにしてもよい。この場合、信号光検出処理はフレームが供給される毎に行なう必要がある。
【００６７】
なお、動画撮影装置２０の動画像処理部２３０は信号光消去部２３３を含まない構成としてもよい。この場合、外部から読み出すことのできる動画データは撮像動画データ２２１となり、信号光の影響を含む動画データとなるが、ユーザが信号発光装置１０を発光させる際に、同期を取りたい場面の前や後で、再生や編集に利用しなくてよい場面で信号光を発光させるようにすれば、実用上の問題は生じない。
＜第２実施例＞
【００６８】
次に、本発明の第２実施例について説明する。第１実施例と共通する内容については説明を簡略化する。図１１は、本発明の第２実施例に係る動画撮影システムの構成を示すブロック図である。本図に示すように、動画撮影システム２は、信号発光装置３０と複数台の動画撮影装置４０（４０ａ、４０ｂ）を備えている。
【００６９】
信号発光装置３０は、ユーザの操作に基づいて所定の発光パターンで信号光を発光する装置であり、赤外光発光部３１０、発光パターン発生部３２０、発光パターン指示部３３０を備えている。
【００７０】
すなわち、第２実施例では、信号発光装置３０は、非可視光である赤外光を発光する。このため、発光しても通常の撮像動画データには影響を与えない。なお、非可視光であれば赤外光に限られない。発光パターン発生部３２０、発光パターン指示部３３０は、第１実施例の発光パターン発生部１２０、発光パターン指示部１３０と同様である。
【００７１】
動画撮影装置４０は、可視光入光部４１０、可視光撮像部４２０、赤外光入光部４４０、赤外光撮像部４５０、動画像処理部４３０を備えている。
【００７２】
可視光入光部４１０は、赤外線カットフィルタを備えており、被写体からの可視光を可視光撮像部４２０に導く。赤外光入光部４４０は、赤外線フィルタを備えており、被写体からの赤外光を赤外光撮像部４５０に導く。
【００７３】
可視光撮像部４２０は、ＣＣＤ等の撮像素子、ＡＤ変換器、画像処理装置等を備えており、撮影動画データ４２１を生成して記録する。赤外光撮像部４５０は、ＣＣＤ等の撮像素子、ＡＤ変換器、画像処理装置等を備えており、赤外光動画データを生成する。可視光撮像部４２０と赤外光撮像部４５０は連動しており、同時に撮像を開始し、同時に撮影を終了し、共通の基準クロックで動作を行なう。まだ、同じフレームレートであるとする。このため、撮像動画データ４２１と赤外光動画データとは同期が取れている。なお、赤外光動画データのフレームの画素数は、撮像動画データ４２１のフレームの画素数と異なっていてもよい。
【００７４】
動画撮影中に信号発光装置３０が操作されると、赤外光撮像部４５０が生成する赤外光動画データには、信号発光装置３０により発光された信号光が写っているフレームが含まれる。一方、可視光撮像部４２０が生成する撮像動画データ４２１には影響は及ばない。
【００７５】
動画像処理部４３０は、赤外光動画データの各フレームから信号光を検出し、複数の動画データで同期を取る際に基準となるフレーム位置を示す同期ポイントリストを生成して記録する。
【００７６】
これらの処理を行なうため、動画像処理部４３０は、信号光検出部４３１、発光パターン検出部４３２を備えている。これらの機能部は、動画撮影装置４０が備えるＣＰＵがメモリに記録されたコンピュータプログラムにしたがって動作を行なうことで構成することができる。
【００７７】
信号光検出部４３１は、赤外光画像データの各フレームについて、画素毎に信号光成分を検出し、フィルタリングフレーム４３５を生成する。また、信号光検出部４３１は、フィルタリングフレーム４３５に基づいて、そのフレームが信号光を含んでいるかどうかを判定し、判定結果を信号光検出フレーム情報４３６として出力する。
【００７８】
発光パターン検出部４３２は、発光パターンリスト４３４に記録されている発光パターンを信号光検出フレーム情報４３６から検出し、検出された場合は、検出した発光パターンの識別子と、発光パターンが検出されたフレーム列の開始番号とを対応付けた同期ポイントリスト４３７に記録する。
【００７９】
動画撮影システム２の動画撮影時の動作は、図３のフローチャートに示した第１実施例の動作と同様である。ただし、外部から読み出すことのできる動画データは、可視光撮像部４２０が生成した撮像動画データ４２１となる。これは、可視光撮像部４２０が生成した撮像動画データ４２１には信号光が含まれないため、信号光消去処理が不要だからである。
【００８０】
動画撮影装置４０の動画像処理部４３０の動作は、図４のフローチャートに示した第１実施例の動画像処理部２３０の動作と基本的には同様であるが、フィルタリング処理（Ｓ２０２）の具体的内容において相違する。
【００８１】
図１２は、第２実施例のフィルタリング処理の手順の一例を示すフローチャートである。便宜上、図５に示した第１実施例のフィルタリング処理に対応する符号を付している。ここでは、赤外光動画データを構成するフレームの各画素は、輝度Ｙのみで表現されているものとする。
【００８２】
第２実施例のフィルタリング処理（Ｓ２０２）では、まず、対象画素を設定する（Ｓ２０２１）。対象画素は、例えば、左上の画素から順次設定することができる。そして、対象画素の輝度が第１基準値以上かどうかを判断する（Ｓ２０２２）。第１基準値は、第１実施例と異なる値としてもよい。
【００８３】
この結果、対象画素の輝度が第１基準値以上でないと判定された場合（Ｓ２０２２：Ｎｏ）は、その画素に信号光成分は含まれていないものと判断する。信号光成分が含まれていないと判断された画素については、輝度値を０としてフィルタリングフレーム４３５を生成する（Ｓ２０２５）。
【００８４】
対象画素の輝度が第１基準値以上であると判定された場合（Ｓ２０２２：Ｙｅｓ）は、その画素に信号光成分が含まれているものと判断する。信号光成分が含まれていると判断された画素については、輝度値を保持してフィルタリングフレーム４３５を生成する（Ｓ２０２５）。すなわち、第２実施例では赤外光動画データを構成するフレームの各画素は輝度Ｙのみで表現されているため、色の近似の判定は行なわず、輝度値のみから信号光成分の有無を判定する。
【００８５】
以上の処理をすべての画素に対して繰り返す（Ｓ２０２６）ことで、対象フレームのフィルタリングフレーム４３５が生成される。信号光検出部４３１は、生成されたフィルタリングフレーム４３５を記録して（Ｓ２０２７）、フィルタリング処理を終了する。
【００８６】
動画撮影装置４０の発光パターン検出部４３２の動作は図８のフローチャートに示した第１実施例の発光パターン検出部２３２の動作と同様であり、生成された同期ポイントリスト４３７を記録する。
【００８７】
第２実施例においても、複数の動画撮影装置４０から撮像動画データ４２１と同期ポイントリスト４３７を読み出すことで、複数の動画像を容易に同期させて再生や編集を行なうことができるようになる。
【符号の説明】
【００８８】
１…動画撮影システム、２…動画撮影システム、１０…信号発光装置、２０…動画撮影装置、３０…信号発光装置、４０…動画撮影装置、１１０…発光部、１２０…発光パターン発生部、１３０…発光パターン指示部、２１０…入光部、２２０…撮像部、２２１…撮像動画データ、２３０…動画像処理部、２３１…信号光検出部、２３２…発光パターン検出部、２３３…信号光消去部、２３４…発光パターンリスト、２３５…フィルタリングフレーム、２３６…信号光検出フレーム情報、２３７…同期ポイントリスト、２３８…信号光消去済動画データ、３１０…赤外光発光部、３２０…発光パターン発生部、３３０…発光パターン指示部、４１０…可視光入光部、４２０…可視光撮像部、４２１…撮像動画データ、４３０…動画像処理部、４３１…信号光検出部、４３２…発光パターン検出部、４３４…発光パターンリスト、４３５…フィルタリングフレーム、４３６…信号光検出フレーム情報、４３７…同期ポイントリスト、４４０…赤外光入光部、４５０…赤外光撮像部
【技術分野】
【０００１】
本発明は、複数台のカメラを用いて同時に撮影した複数の動画像を簡易に同期させるための技術に関する。
【背景技術】
【０００２】
同一の対象物を複数台のカメラを用いて同時に撮影することがある。例えば、スポーツのフォームチェックや実験映像の撮影、映画撮影等においてよく行なわれている。このような撮影を行なった場合は、同時に撮影された別々の動画を同期させて再生したいことが多く、そのための技術がいくつか提案され、実用化されている
【０００３】
例えば、業務用途では、ゲンロック（Generator Lock）と呼ばれる同期信号を発生する装置を用いて、各カメラが撮影する映像を同期させることができ、同期信号を基準に各映像を同期させて再生することができる。
【０００４】
また、特許文献１には、動画と一緒に記録された音響データから特徴パラメータを抽出し、特徴パラメータの類似度から複数の動画の同期を取ることが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−４７９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
同期信号を発生させる装置を用いることは、大がかりであり一般的な用途には向かない。また、音響データから抽出された特徴パラメータの類似を用いる方法は、一般用途で簡易に行なうことができるが、無音やノイズの多い撮影環境では同期の精度が低くなってしまう。
【０００７】
そこで、本発明は、複数台のカメラを用いて同時に撮影した複数の動画像を簡易に精度よく同期させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の態様である動画撮影システムは、信号光を発光する信号発光装置と、動画像を撮影する動画撮影装置とを備えた動画撮影システムであって、前記動画撮影装置は、撮影した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部とを備えたことを特徴とする。
上記課題を解決するため、本発明の第２の態様である動画解析装置は、入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部とを備えたことを特徴とする。
ここで、信号光の発光パターンを記録した発光パターンリストと、前記同期ポイントリストと前記発光パターンリストとから入力した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、前記信号光が含まれていると判定されたフレームを、前記信号光が含まれていないと判定された前または後のフレームを用いて補正する信号光消去部とをさらに備えたるようにしてもよい。
この場合、前記信号光検出部は、各フレームの画素単位に前記信号光が含まれているか否かを判定し、前記信号光消去部は、前記信号光が含まれていると判定された画素に対して前記補正を行なうことができる。
上記課題を解決するため、本発明の第３の態様である動画解析方法は、入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出するステップと、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成するステップとを有することを特徴とする。
上記課題を解決するため、本発明の第４の態様であるコンピュータプログラムは、入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部として情報処理装置を機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数台のカメラを用いて同時に撮影した複数の動画像を簡易に精度よく同期させることができるようになる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施例に係る動画撮影システムの構成を示すブロック図である。
【図２】発光パターンの例について説明する図である。
【図３】動画撮影システムの動画撮影時の動作について説明するフローチャートである。
【図４】動画撮影装置の信号光検出部の動作を説明するフローチャートである。
【図５】フィルタリング処理を説明するフローチャートである。
【図６】フィルタリング処理の具体例を示す図である。
【図７】信号光検出フレーム情報の例を示す図である。
【図８】動画撮影装置の発光パターン検出部の動作を説明するフローチャートである。
【図９】同期ポイントリストの構成例を示す図である。
【図１０】動画撮影装置の信号光消去部の動作を説明するフローチャートである
【図１１】本発明の第２実施例に係る動画撮影システムの構成を示すブロック図である。
【図１２】第２実施例のフィルタリング処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
＜第１実施例＞
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１実施例に係る動画撮影システムの構成を示すブロック図である。本図に示すように、動画撮影システム１は、信号発光装置１０と複数台の動画撮影装置２０（２０ａ、２０ｂ）を備えている。動画撮影システム１において、複数台の動画撮影装置２０は、共通の被写体を同時に撮影するものとする。動画撮影装置２０は、図１には２台示しているが、それよりも多くすることが可能である。
【００１２】
信号発光装置１０は、ユーザの操作ボタンの押圧操作に基づいて所定の発光パターンで信号光を発光する装置であり、発光部１１０、発光パターン発生部１２０、発光パターン指示部１３０を備えている。
【００１３】
発光部１１０は、ＬＥＤ、レーザー発振器、キセノンランプ等を用いることができ、発光パターン発生部１２０からの制御信号に基づいて発光する。発光は、閃光ではなく動画撮影装置２０の数フレーム程度の時間継続させる。後述するように、動画撮影装置２０は、発光パターンを探索することで制御信号を検知するが、発光を数フレーム程度の時間継続させることにより、撮影時に周辺環境からの反射光の影響等のノイズが発生しても、類似するパターンを探索することで発光パターン発生部１２０からの制御信号を検知することが可能となる。また、第１実施例では、有色の可視光を発光するものとする。ユーザは、複数台の動画撮影装置２０を用いての動画撮影時に、発光部１１０を被写体方向に向け、被写体に信号光が照射されるようにする。これにより、発光部１１０から発光された信号光は被写体に当たって反射し、反射した信号光を撮影装置２０が撮影することになる。
【００１４】
発光パターン指示部１３０は、ユーザから信号光の発光指示を受け付ける。発光指示の受け付けの際には、発光パターンの指定も併せて受け付ける。本実施例では、図２に示すような４つの発光パターンを用意しておき、いずれかの発光パターンの指定を受け付けるものとする。本図の例では、いずれの発光パターンもＳ秒の間に点滅を繰り返すパターンとし、それぞれ発光時間、インターバルの長さや発光回数を異ならせている。ただし、他の発光パターンを用いてもよい。例えば、発光パターンによって発光時間の長さを異ならせたり、連続する固定長パルス光の数を異ならせるようにしてもよい。
【００１５】
発光パターン指示部１３０は、例えば、「１」〜「４」までの操作ボタンを用意しておき、「１」のボタンが操作された場合は、発光パターン１での信号光発光指示を受け付け、「２」のボタンが操作された場合は、発光パターン２での信号光発光指示を受け付けるものとする。
【００１６】
発光パターン発生部１２０は、発光パターン指示部１３０がユーザから信号光発光指示を受け付けると、選択された発光パターンで発光部１１０を発光させる。なお、発光パターン指示部１３０は、ユーザの指示を受けることなく、一定の間隔、またはランダムのタイミングで自動的にいずれかの発光パターンでの発光指示を発光パターン発生部１２０に送るようにしてもよい。例えば、数分おきに「１」〜「４」のパターンを順番に繰り返し発光することも可能である。
【００１７】
動画撮影装置２０は、動画像を撮影して、動画データと、動画データの同期ポイントを示すリストとを生成して記録する装置であり、入光部２１０、撮像部２２０、動画像処理部２３０を備えている。入光部２１０および撮像部２２０は、従来の一般的なビデオカメラ等の動画撮影装置と同様の構成とすることができる。記録された動画データと同期ポイントリストは外部から読み出すことができ、複数の動画撮影装置２０から読み出した動画像を同期させて再生したり、編集時に同期させて合成したりすることができる。
【００１８】
入光部２１０は、レンズ、絞り、ズーム機構等を備えており、被写体からの光を撮像部２２０に導く。撮像部２２０は、ＣＣＤ等の撮像素子、ＡＤ変換器、画像処理装置等を備えており、撮像動画データ２２１を生成し、記録する。動画撮影中に信号発光装置１０が操作されると、撮像動画データには、信号発光装置１０により発光された信号光が写っているフレームが含まれる。
【００１９】
動画像処理部２３０は、撮像動画データ２２１の各フレームから信号光を検出し、複数の動画データで同期を取る際に基準となるフレーム位置を示す同期ポイントリストを生成して記録するとともに、撮像動画データ２２１の信号光が写っているフレームから信号光を消去した信号光消去済動画データ２３８を生成して記録する。外部から読み出すことができる動画データはこの信号光消去済動画データ２３８であり、信号光が消去されているため、信号光の影響の少ない動画データを得ることができる。
【００２０】
これらの処理を行なうため、動画像処理部２３０は、信号光検出部２３１、発光パターン検出部２３２、信号光消去部２３３を備えている。これらの機能部は、動画撮影装置２０が備えるＣＰＵがメモリに記録されたコンピュータプログラムにしたがって動作を行なうことで構成することができる。
【００２１】
信号光検出部２３１は、撮像画像データの各フレームについて、画素毎に信号光成分を検出し、フィルタリングフレーム２３５を生成する。ここで、フィルタリングフレーム２３５は、信号光成分が検出された画素については輝度値を保持し、信号光成分が検出されなかった画素については輝度値を０としたフレームデータである。
【００２２】
また、信号光検出部２３１は、フィルタリングフレーム２３５に基づいて、そのフレームが信号光を含んでいるかどうかを判定し、判定結果を信号光検出フレーム情報２３６として出力する。信号光検出フレーム情報２３６は、撮像動画データ２２１のフレーム毎に、信号光が検出されたか否かを示すデータである。
【００２３】
発光パターン検出部２３２は、発光パターンリスト２３４に記録されている発光パターンを信号光検出フレーム情報２３６から検出し、検出された場合は、検出した発光パターンの識別子と、発光パターンが検出されたフレーム列の開始番号とを対応付けた同期ポイントリスト２３７に記録する。ここで、発光パターンリスト２３４に記録する発光パターンは、信号発光装置１０で用意している発光パターンに対応させておく。
【００２４】
複数台の動画撮影装置２０で同時に撮影する場合、各動画撮影装置２０が生成する同期ポイントリスト２３７が示すフレームの撮影時刻はすべての動画撮影装置２０で同一である。このため、複数の動画像の再生や編集時に、それぞれの同期ポイントリスト２３７を用いることで、各動画像のフレームの時間的な位置を容易に揃えることができるようになる。
【００２５】
信号光消去部２３３は、同期ポイントリスト２３７と発光パターンリスト２３４とから、信号光が含んでいるフレームを特定する。そして、特定されたフレームの信号光成分を含んでいる画素を補正することで信号光を消去して信号光消去済動画データ２３８を生成し、記録する。ある画素が信号光成分を含んでいるかどうかは、フィルタリングフレーム２３５を参照して判定する。
【００２６】
なお、動画撮影システム１において、信号発光装置１０は、いずれか、あるいはすべての動画撮影装置２０と一体型としたり、装着できるようにしてもよい。この場合には、動画撮影装置２０が、発光パターン指示部１３０、発光パターン発生部１２０、発光部１１０のすべて、あるいはいずれかをさらに備えることとなる。
【００２７】
信号発光装置１０と動画撮影装置２０とを一体化した場合には、ユーザが発光パターン指示部１２０のボタンを操作しなくても、例えば、動画撮影装置２０にタイマをさらに備えさせ、撮影が開始してから一定時間経った後に、発光パターン発生部１２０から信号光を発生させるようにして、発光部１１０から信号光を出力させるようにしてもよい。信号光は撮影時の任意のタイミングで発生させるようにすると、任意のタイミングで撮像動画データ２２１に入れることが可能である。
【００２８】
また、動画像処理部２３０のすべて、または一部を動画撮影装置２０から独立させて、動画像解析装置として構成してもよい。この場合、動画像解析装置は、コンピュータプログラムにしたがって動作を行なう情報処理装置等を用いて実現することができる。なお、一部を独立させる場合、例えば、フレーム単位で処理を行なう信号光検出部２３１を動画撮影装置２０に残し、フレーム間にまたがる処理を行なう信号パターン検出部２３２と信号光消去部２３３を独立させる。こうすれば、動画撮影装置２０ではフレーム単位の処理のみを行なえばよいので、構成を比較的簡略にすることができる。
【００２９】
次に、動画撮影システム１の動画撮影時の動作について図３のフローチャートを参照して説明する。本フローチャートにおいて、左側のフローは複数台の動画撮影装置２０の動作を示し、右側のフローは信号発光装置１０の動作を示している。
【００３０】
複数台の動画撮影装置２０は、ユーザからの撮影開始指示を受け付けると、動画撮影を開始し、撮像動画データ２２１の生成と記録を開始する（Ｓ１０１）。各動画撮影装置２０は、必ずしも同時に動画撮影を開始する必要はなく、多少の時間差があってもよい。
【００３１】
一方、信号発光装置１０は、ユーザから発光操作を受け付けると（Ｓ１０２：Ｙｅｓ）、操作で指定された発光パターンで所定期間点滅する（Ｓ１０３）。信号発光装置１０で発せられた信号光は、被写体で反射し、各動画撮影装置２０の撮像動画内に写り込むことになる。発光操作は何度でも行なうことができる。特に、複数の再生動画の同期を取りたい場面の前に発光させることが好ましい。また、同じ発光パターンが連続しないように、発光パターンを変更しながら発光させることが好ましい。
【００３２】
複数台の動画撮影装置２０は、ユーザからの撮影終了指示を受け付けると、動画撮影を終了し、撮像動画データ２２１の記録を終了する（Ｓ１０４）。なお、動画撮影装置２０と信号発光装置１０とを独立して構成した場合は、信号発光装置１０は、動画撮影装置２０の撮影状態とは無関係に発光させることができるが、動画撮影装置２０と信号発光装置１０とを一体型等として構成した場合は、動画撮影装置２０の撮影中のみ発光可能とするようにしてもよい。
【００３３】
次に、動画撮影装置２０の動画像処理部２３０の動作について説明する。以下に説明する動作は、各動画撮影装置２０の動画像処理部２３０において行なわれる。
【００３４】
まず、信号光検出部２３１の動作について図４のフローチャートを参照して説明する。信号光検出部２３１は、撮像部２２０が生成した撮像動画データ２２１からフレーム単位でデータを入力する（Ｓ２０１）。そして、入力したフレームに対してフィルタリング処理を行なう（Ｓ２０２）。フィルタリング処理は、画素毎に信号光成分を検出し、フィルタリングフレーム２３５を生成する処理である。
【００３５】
図５は、フィルタリング処理の手順の一例を示すフローチャートである。ここでは、各画素は、ＹＵＶ形式で表現されているものとする。ＹＵＶ形式は、画素の色を輝度Ｙ、色差Ｕ（Ｃｂ）、色差Ｖ（Ｃｒ）で表わす形式である。もちろん、ＲＧＢ、ＨＳＶ等の他の色表現形式であってもよい。
【００３６】
フィルタリング処理（Ｓ２０２）では、まず、対象画素を設定する（Ｓ２０２１）。対象画素は、例えば、左上の画素から順次設定することができる。そして、対象画素の輝度が第１基準値以上かどうかを判断する（Ｓ２０２２）。これは、信号光が被写体に照射した場合は被写体の輝度が上がるためである。このため、第１基準値は、発光量に応じて設定することが望ましい。また、絞り値、シャッター速度、測光値等に応じて変化させるようにしてもよい。
【００３７】
この結果、対象画素の輝度が第１基準値以上でないと判定された場合（Ｓ２０２２：Ｎｏ）は、その画素に信号光成分は含まれていないものと判断する。信号光成分が含まれていないと判断された画素については、輝度値を０としてフィルタリングフレーム２３５を生成する（Ｓ２０２５）。
【００３８】
対象画素の輝度が第１基準値以上であると判定された場合（Ｓ２０２２：Ｙｅｓ）は、さらに、対象画素の色と信号光の色とが近似しているかどうかを判定する（Ｓ２０２３）。これは、信号光が被写体に照射した場合、被写体が信号光の色を帯びるからである。
【００３９】
対象画素の色と信号光の色とが近似しているかどうかの判定は、例えば、ＹＵＶ形式で表現されている対象画素の色から色相成分を算出して、信号光の色相との差を算出し、その差が第２閾値以下であれば、対象画素の色と信号光の色とが近似していると判断する手法を用いることができる。あるいは、ＹＵＶ形式で表現されている対象画素の色をＬ＊ａ＊ｂ＊形式に変換し、信号光のＬ＊ａ＊ｂ＊値との距離が第３閾値以下であれば、対象画素の色と信号光の色とが近似していると判断する手法を用いることもできる。もちろん、その他の手法を用いて対象画素の色と信号光の色とが近似しているかどうかを判定してもよい。
【００４０】
この結果、対象画素の色と信号光の色とが近似していないと判定された場合（Ｓ２０２３：Ｎｏ）は、その画素に信号光成分は含まれていないものと判断する。信号光成分が含まれていないと判断された画素については、輝度値を０としてフィルタリングフレーム２３５を生成する（Ｓ２０２５）。
【００４１】
一方、対象画素の色と信号光の色とが近似していると判定された場合（Ｓ２０２３：Ｙｅｓ）は、その画素に信号光成分が含まれているものと判断する。信号光成分が含まれていると判断された画素については、輝度値を保持してフィルタリングフレーム２３５を生成する（Ｓ２０２５）。
【００４２】
以上の処理をすべての画素に対して繰り返す（Ｓ２０２６）ことで、対象フレームのフィルタリングフレーム２３５が生成される。信号光検出部２３１は、生成されたフィルタリングフレーム２３５を記録して（Ｓ２０２７）、フィルタリング処理を終了する。
【００４３】
図６は、フィルタリング処理の具体例を示しており、図６（ａ）は、対象フレームを示し、図６（ｂ）は、フィルタリング処理の結果生成されたフィルタリングフレームを示している。対象フレームの撮影時に信号光が発光しており、対象フレームにおいて、被写体の人物と左側の建物および地面の手前側に信号光が照射されており、これらの領域の画素は、輝度が高くなるとともに、信号光の色成分を含んでいる。フィルタリング処理の結果、これらの領域は、図６（ｂ）に示すように輝度値が保持され、他の領域は、輝度値が０の黒になる。
【００４４】
図４のフローチャートの説明に戻って、フィルタリング処理（Ｓ２０２）を終了した信号光検出部２３１は、生成したフィルタリングフレーム２３５に含まれる画素の輝度値の平均を算出する（Ｓ２０３）。輝度値の平均は、フィルタリングフレーム２３５に含まれるすべての画素の輝度Ｙの値の総和を、全画素数で割ることにより算出する。または、信号光成分を含む画素、すなわち輝度値が０より大きい画素の数を全画素数で割ることにより、信号光成分を含む画素の割合を算出するようにしてもよい。
【００４５】
そして、算出された輝度値の平均（または信号光成分を含む画素の割合）が所定の基準値以上であれば、そのフレームに信号光が含まれていると判定する（Ｓ２０４）。輝度値の総和（または信号光成分を含む画素数）を全画素数で割った値で判定するため、フレームの画素数によらず、所定の基準値を適切に設定することができる。判定結果は、信号光検出フレーム情報２３６に記録する（Ｓ２０５）。
【００４６】
以上の処理を、撮像部２２０が生成した撮像動画データ２２１のすべてのフレームに対して繰り返す（Ｓ２０６）。すべてのフレームに対する処理が終了すると（Ｓ２０６：Ｙｅｓ）、信号光検出フレーム情報２３６を出力する。なお、以上の処理は、撮像動画データ２２１の記録が終了した後でまとめて実行するようにしてもよいし、撮像部２２０によりフレームが撮像される毎に信号光検出部２３１に撮像されたフレームが供給されるようにしておき、フレームが供給される毎に処理を実行するようにしてもよい。
【００４７】
信号光検出フレーム情報２３６は、図７に示すように、信号光が含まれていると仮定されるフレームを「１」で表わし、そうでないフレームを「０」で表わして、フレーム番号順に並べたデータである。
【００４８】
次に、発光パターン検出部２３２の動作について図８のフローチャートを参照して説明する。発光パターン検出部２３２は、信号光検出フレーム情報２３６から、発光パターンを検出し、検出した発光パターンと位置を同期ポイントリスト２３７に記録する処理を行なう。このため、発光パターン検出部２３２は、信号光検出部２３１が生成した信号光検出フレーム情報２３６を読み込む（Ｓ３０１）。
【００４９】
そして、発光パターンリスト２３４を参照して、検出対象とする発光パターンを設定する（Ｓ３０２）。検出対象とする発光パターンは、例えば、発光パターン１から順次設定していく。ここで、発光パターンは点滅のパターンが時間単位で定義されたものであるが、それを撮像動画データのフレームレートに合わせて、発光しているフレームを「１」で表わし、そうでないフレームを「０」で表わしたフレーム単位の発光パターン信号に変換する（Ｓ３０３）。
【００５０】
検出対象とする発光パターンを設定し、発光パターン信号に変換すると、発光パターン信号の検索を開始する（Ｓ３０４）。なお、発光パターンをフレーム単位の発光パターン信号に変換して検索するため、同期を取るそれぞれの撮像動画データのフレームレートが異なっていてもよい。
【００５１】
検索は、信号光検出フレーム情報２３６の先頭から、検出対象とする発光パターン信号と同じ並びで「１」が並んでいる箇所を、パターンマッチング等の一般的な手法を用いて検出する。この際に、完全一致のみならず、近似するパターンも検出するようにする。これは、フィルタリングフレーム２３５の輝度平均値を用いて作成した信号光検出フレーム情報２３６が、必ずしも、発光パターン信号と一致しているとは限られないからである。 信号光検出フレーム情報２３６から検出対象の発光パターンから変換された発光パターン信号が検出されると（Ｓ３０５：Ｙｅｓ）、検出対象の発光パターンの識別子と、発光パターン信号が検出されたフレーム列の先頭のフレーム番号を同期ポイントとして同期ポイントリスト２３７に記録する（Ｓ３０６）。
【００５２】
図９は、同期ポイントリスト２３７の構成例を示す図である。本図に示すように、同期ポイントリスト２３７は、発光パターンＩＤと開始フレーム番号とを組にして、同期ポイントとして連結した構成としている。ただし、開始フレーム番号に代えて、先頭からの再生時間等の情報を用いるようにしてもよい。
【００５３】
図８の説明に戻って、同一の発光パターンで複数回発光されている場合もあるため、検索は、信号光検出フレーム情報２３６の末尾まで行なう。信号光検出フレーム情報２３６の末尾までの検索が終了すると（Ｓ３０７：Ｙｅｓ）、次の発光パターンを検出対象として設定し、検索処理を繰り返す（Ｓ３０８）。
【００５４】
すべての発光パターンについて検索を終了すると（Ｓ３０８：Ｙｅｓ）、同期ポイントリスト２３７を出力する（Ｓ３０９）。
【００５５】
次に、信号光消去部２３３の動作について図１０のフローチャートを参照して説明する。まず、発光パターン検出部２３２が生成した同期ポイントリスト２３７と発光パターンリスト２３４とを読み込み（Ｓ４０１）、次いで、撮像動画データ２２１を入力する（Ｓ４０２）。
【００５６】
そして、同期ポイントリスト２３７と発光パターンリスト２３４から、撮像動画データ２２１を構成するフレームそれぞれについて、信号光が含まれているかどうかを示す発光フレームリストを作成する。発光フレームリストは、信号光検出フレーム情報２３６（図７参照）と同じフォーマットとすることができる。
【００５７】
すなわち、同期ポイントリスト２３７を参照して、発光パターンと発光パターンが開始するフレーム番号を特定し、特定された発光パターンの点滅のタイミングと撮像動画データ２２１のフレームレートとからフレーム毎に信号光が含まれているかどうかを判定することができる。以下では、信号光が含まれているフレームを発光フレームと称し、信号光が含まれていないフレームを非発光フレームと称する。
【００５８】
このように、本実施例では、同期ポイントリスト２３７と発光パターンリスト２３４とから発光フレームの判断を行なうことにより、被写体への信号光の写り込みが曖昧な場合や、信号光に近い色が写っている場合でも、発光フレームの判定精度を高めることができるようにしている。ただし、簡易的に、信号光検出フレーム情報２３６をそのまま発光フレームリストとして用いてもよい。
【００５９】
そして、撮像動画データ２２１から対象フレームを設定する（Ｓ４０４）。対象フレームは、先頭フレームから順次設定する。対象フレームが設定されると、発光フレームリストを参照して、そのフレームが発光フレームかどうかを判定する（Ｓ４０５）。
【００６０】
対象フレームが発光フレームでない場合（Ｓ４０５：Ｎｏ）は、そのフレームに対する処理は行なわない。
【００６１】
一方、対象フレームが発光フレームの場合（Ｓ４０５：Ｙｅｓ）は、対象フレームに対応したフィルタリングフレーム２３５を参照して、信号光成分を含む画素を特定する（Ｓ４０６）。信号光成分を含む画素は、対応するフィルタリングフレーム２３５において輝度値が０以外の画素である。
【００６２】
そして、対象フレームの信号光成分を含む画素を、撮像動画データ２２１の前後の直近非発光フレームを用いて補正する（Ｓ４０７）。補正の方法は、例えば、以下のように行なうことができる。すなわち、対象フレーム番号をｉとし、直前の非発光フレーム番号をａとし、直後の非発光フレーム番号をｂとした場合、対象フレームの補正対象画素の補正値Ｖｉ'を、［数１］にしたがって算出する。
【数１】
【００６３】
ここで、Ｖａは、ａ番目のフレームの補正対象画素と同じ位置の画素値であり、Ｖｂは、ｂ番目のフレームの補正対象画素と同じ位置の画素値である。このように、本例では、対象フレームからの距離に応じた重み付けを行なって補正値Ｖｉ'を算出している。
【００６４】
ただし、対象フレームの信号光成分を含む画素の補正は、他の方法を用いて行なってもよい。例えば、前後の直近以外の非発光フレームを含む複数の非発光フレームを用いてスプライン補完等の手法を用いて補正値を算出してもよい。あるいは、対象フレームと非発光フレームとの間における補正対象画素の周辺の動きを検出して、非発光フレームにおける補正対象画素の位置を推定し、推定された画素により対象フレームの信号光成分を含む画素を補正するようにしてもよい。さらには、対象フレーム内の補正対象画素の周辺の信号光成分を含まない画素を用いて、信号光成分を含む画素を補正するようにしてもよい。
【００６５】
以上の処理を、対象フレームを順次変更しながら繰り返し、すべてのフレームに対し処理を行なうと（Ｓ４０８：Ｙｅｓ）、補正後の動画データを信号光消去済動画データ２３８として生成し、記録する（Ｓ４０９）。これにより、信号光の影響の少ない動画データを得ることができる。
【００６６】
上述の発光パターン検出処理、および信号光消去処理は、撮像動画データ２２１の記録が終了し、さらに記録された撮像動画データ２２１のすべてのフレームに対する信号光検出処理が終了した後で行なう。あるいは、動画撮影をしている間に、撮像動画データ２１の記録が一定のフレーム数だけ進む毎に、記録された分の撮像動画データ２２１に対して処理を行なうようにしてもよい。この場合、信号光検出処理はフレームが供給される毎に行なう必要がある。
【００６７】
なお、動画撮影装置２０の動画像処理部２３０は信号光消去部２３３を含まない構成としてもよい。この場合、外部から読み出すことのできる動画データは撮像動画データ２２１となり、信号光の影響を含む動画データとなるが、ユーザが信号発光装置１０を発光させる際に、同期を取りたい場面の前や後で、再生や編集に利用しなくてよい場面で信号光を発光させるようにすれば、実用上の問題は生じない。
＜第２実施例＞
【００６８】
次に、本発明の第２実施例について説明する。第１実施例と共通する内容については説明を簡略化する。図１１は、本発明の第２実施例に係る動画撮影システムの構成を示すブロック図である。本図に示すように、動画撮影システム２は、信号発光装置３０と複数台の動画撮影装置４０（４０ａ、４０ｂ）を備えている。
【００６９】
信号発光装置３０は、ユーザの操作に基づいて所定の発光パターンで信号光を発光する装置であり、赤外光発光部３１０、発光パターン発生部３２０、発光パターン指示部３３０を備えている。
【００７０】
すなわち、第２実施例では、信号発光装置３０は、非可視光である赤外光を発光する。このため、発光しても通常の撮像動画データには影響を与えない。なお、非可視光であれば赤外光に限られない。発光パターン発生部３２０、発光パターン指示部３３０は、第１実施例の発光パターン発生部１２０、発光パターン指示部１３０と同様である。
【００７１】
動画撮影装置４０は、可視光入光部４１０、可視光撮像部４２０、赤外光入光部４４０、赤外光撮像部４５０、動画像処理部４３０を備えている。
【００７２】
可視光入光部４１０は、赤外線カットフィルタを備えており、被写体からの可視光を可視光撮像部４２０に導く。赤外光入光部４４０は、赤外線フィルタを備えており、被写体からの赤外光を赤外光撮像部４５０に導く。
【００７３】
可視光撮像部４２０は、ＣＣＤ等の撮像素子、ＡＤ変換器、画像処理装置等を備えており、撮影動画データ４２１を生成して記録する。赤外光撮像部４５０は、ＣＣＤ等の撮像素子、ＡＤ変換器、画像処理装置等を備えており、赤外光動画データを生成する。可視光撮像部４２０と赤外光撮像部４５０は連動しており、同時に撮像を開始し、同時に撮影を終了し、共通の基準クロックで動作を行なう。まだ、同じフレームレートであるとする。このため、撮像動画データ４２１と赤外光動画データとは同期が取れている。なお、赤外光動画データのフレームの画素数は、撮像動画データ４２１のフレームの画素数と異なっていてもよい。
【００７４】
動画撮影中に信号発光装置３０が操作されると、赤外光撮像部４５０が生成する赤外光動画データには、信号発光装置３０により発光された信号光が写っているフレームが含まれる。一方、可視光撮像部４２０が生成する撮像動画データ４２１には影響は及ばない。
【００７５】
動画像処理部４３０は、赤外光動画データの各フレームから信号光を検出し、複数の動画データで同期を取る際に基準となるフレーム位置を示す同期ポイントリストを生成して記録する。
【００７６】
これらの処理を行なうため、動画像処理部４３０は、信号光検出部４３１、発光パターン検出部４３２を備えている。これらの機能部は、動画撮影装置４０が備えるＣＰＵがメモリに記録されたコンピュータプログラムにしたがって動作を行なうことで構成することができる。
【００７７】
信号光検出部４３１は、赤外光画像データの各フレームについて、画素毎に信号光成分を検出し、フィルタリングフレーム４３５を生成する。また、信号光検出部４３１は、フィルタリングフレーム４３５に基づいて、そのフレームが信号光を含んでいるかどうかを判定し、判定結果を信号光検出フレーム情報４３６として出力する。
【００７８】
発光パターン検出部４３２は、発光パターンリスト４３４に記録されている発光パターンを信号光検出フレーム情報４３６から検出し、検出された場合は、検出した発光パターンの識別子と、発光パターンが検出されたフレーム列の開始番号とを対応付けた同期ポイントリスト４３７に記録する。
【００７９】
動画撮影システム２の動画撮影時の動作は、図３のフローチャートに示した第１実施例の動作と同様である。ただし、外部から読み出すことのできる動画データは、可視光撮像部４２０が生成した撮像動画データ４２１となる。これは、可視光撮像部４２０が生成した撮像動画データ４２１には信号光が含まれないため、信号光消去処理が不要だからである。
【００８０】
動画撮影装置４０の動画像処理部４３０の動作は、図４のフローチャートに示した第１実施例の動画像処理部２３０の動作と基本的には同様であるが、フィルタリング処理（Ｓ２０２）の具体的内容において相違する。
【００８１】
図１２は、第２実施例のフィルタリング処理の手順の一例を示すフローチャートである。便宜上、図５に示した第１実施例のフィルタリング処理に対応する符号を付している。ここでは、赤外光動画データを構成するフレームの各画素は、輝度Ｙのみで表現されているものとする。
【００８２】
第２実施例のフィルタリング処理（Ｓ２０２）では、まず、対象画素を設定する（Ｓ２０２１）。対象画素は、例えば、左上の画素から順次設定することができる。そして、対象画素の輝度が第１基準値以上かどうかを判断する（Ｓ２０２２）。第１基準値は、第１実施例と異なる値としてもよい。
【００８３】
この結果、対象画素の輝度が第１基準値以上でないと判定された場合（Ｓ２０２２：Ｎｏ）は、その画素に信号光成分は含まれていないものと判断する。信号光成分が含まれていないと判断された画素については、輝度値を０としてフィルタリングフレーム４３５を生成する（Ｓ２０２５）。
【００８４】
対象画素の輝度が第１基準値以上であると判定された場合（Ｓ２０２２：Ｙｅｓ）は、その画素に信号光成分が含まれているものと判断する。信号光成分が含まれていると判断された画素については、輝度値を保持してフィルタリングフレーム４３５を生成する（Ｓ２０２５）。すなわち、第２実施例では赤外光動画データを構成するフレームの各画素は輝度Ｙのみで表現されているため、色の近似の判定は行なわず、輝度値のみから信号光成分の有無を判定する。
【００８５】
以上の処理をすべての画素に対して繰り返す（Ｓ２０２６）ことで、対象フレームのフィルタリングフレーム４３５が生成される。信号光検出部４３１は、生成されたフィルタリングフレーム４３５を記録して（Ｓ２０２７）、フィルタリング処理を終了する。
【００８６】
動画撮影装置４０の発光パターン検出部４３２の動作は図８のフローチャートに示した第１実施例の発光パターン検出部２３２の動作と同様であり、生成された同期ポイントリスト４３７を記録する。
【００８７】
第２実施例においても、複数の動画撮影装置４０から撮像動画データ４２１と同期ポイントリスト４３７を読み出すことで、複数の動画像を容易に同期させて再生や編集を行なうことができるようになる。
【符号の説明】
【００８８】
１…動画撮影システム、２…動画撮影システム、１０…信号発光装置、２０…動画撮影装置、３０…信号発光装置、４０…動画撮影装置、１１０…発光部、１２０…発光パターン発生部、１３０…発光パターン指示部、２１０…入光部、２２０…撮像部、２２１…撮像動画データ、２３０…動画像処理部、２３１…信号光検出部、２３２…発光パターン検出部、２３３…信号光消去部、２３４…発光パターンリスト、２３５…フィルタリングフレーム、２３６…信号光検出フレーム情報、２３７…同期ポイントリスト、２３８…信号光消去済動画データ、３１０…赤外光発光部、３２０…発光パターン発生部、３３０…発光パターン指示部、４１０…可視光入光部、４２０…可視光撮像部、４２１…撮像動画データ、４３０…動画像処理部、４３１…信号光検出部、４３２…発光パターン検出部、４３４…発光パターンリスト、４３５…フィルタリングフレーム、４３６…信号光検出フレーム情報、４３７…同期ポイントリスト、４４０…赤外光入光部、４５０…赤外光撮像部
【特許請求の範囲】
【請求項１】
信号光を発光する信号発光装置と、動画像を撮影する動画撮影装置とを備えた動画撮影システムであって、
前記動画撮影装置は、
撮影した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部と、
を備えたことを特徴とする動画撮影システム。
【請求項２】
入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部と、
を備えたことを特徴とする動画解析装置。
【請求項３】
信号光の発光パターンを記録した発光パターンリストと、
前記同期ポイントリストと前記発光パターンリストとから入力した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、前記信号光が含まれていると判定されたフレームを、前記信号光が含まれていないと判定された前または後のフレームを用いて補正する信号光消去部と、
をさらに備えたことを特徴とする請求項２に記載の動画解析装置。
【請求項４】
前記信号光検出部は、各フレームの画素単位に前記信号光が含まれているか否かを判定し、
前記信号光消去部は、前記信号光が含まれていると判定された画素に対して前記補正を行なうことを特徴とする請求項３に記載の動画解析装置。
【請求項５】
入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出するステップと、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成するステップと、
を有することを特徴とする動画解析方法。
【請求項６】
入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部として情報処理装置を機能させることを特徴とするコンピュータプログラム。
【請求項１】
信号光を発光する信号発光装置と、動画像を撮影する動画撮影装置とを備えた動画撮影システムであって、
前記動画撮影装置は、
撮影した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部と、
を備えたことを特徴とする動画撮影システム。
【請求項２】
入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部と、
を備えたことを特徴とする動画解析装置。
【請求項３】
信号光の発光パターンを記録した発光パターンリストと、
前記同期ポイントリストと前記発光パターンリストとから入力した動画像のフレーム毎に、前記信号光が含まれているか否かを判定し、前記信号光が含まれていると判定されたフレームを、前記信号光が含まれていないと判定された前または後のフレームを用いて補正する信号光消去部と、
をさらに備えたことを特徴とする請求項２に記載の動画解析装置。
【請求項４】
前記信号光検出部は、各フレームの画素単位に前記信号光が含まれているか否かを判定し、
前記信号光消去部は、前記信号光が含まれていると判定された画素に対して前記補正を行なうことを特徴とする請求項３に記載の動画解析装置。
【請求項５】
入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出するステップと、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成するステップと、
を有することを特徴とする動画解析方法。
【請求項６】
入力した動画像のフレーム毎に、所定の信号光が含まれているか否かを判定し、判定結果を信号光検出フレーム情報として検出する信号光検出部と、
前記信号光検出フレーム情報から、前記信号光の所定の発光パターンを検出し、検出された発光パターンと検出されたフレーム位置に関する情報とを対応付けた同期ポイントリストを生成する同期ポイント検出部として情報処理装置を機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−７４４６６（Ｐ２０１３−７４４６６Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１９９７（Ｐ２０１１−２１１９９７）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]