表示映像の座標と撮影映像の座標とを対応付ける映像処理装置、システム、プログラム及び方法
【課題】表示映像の座標と、それをカメラで撮影した映像の座標とを対応付け、カメラをポインティングデバイスとして用いる。
【解決手段】カメラの撮影映像におけるキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchを算出し、Ｈkey_cMatchが算出され次第、ＨkeyMatchをＨkey_cMatchによって更新。同時に、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する。次に、Ｈt,keyTrackを算出した際に、Ｈt,keyTrackにＨkeyMatchを乗算し、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出し、撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【解決手段】カメラの撮影映像におけるキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchを算出し、Ｈkey_cMatchが算出され次第、ＨkeyMatchをＨkey_cMatchによって更新。同時に、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する。次に、Ｈt,keyTrackを算出した際に、Ｈt,keyTrackにＨkeyMatchを乗算し、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出し、撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示された表示映像の座標と、その表示映像をカメラによって撮影した撮影映像の座標とを対応付ける映像処理の技術分野に関する。
【背景技術】
【０００２】
従来、ユーザによって視認されている表示装置に、広告用映像を表示するデジタルサイネージの技術がある。「デジタルサイネージ」とは、公共の場所に設置された、例えば平面ディスプレイやプロジェクタのような電子的なディスプレイに、映像（静止画像も含む）を表示する広告媒体技術をいう。デジタルサイネージは、表示装置に広告用映像を表示することによって、ポスターや看板のように用いることができる。
【０００３】
一般に、デジタルサイネージの表示装置は、コンテンツ配信サーバに接続されている。そのコンテンツ配信サーバは、表示装置の設置場所又は時刻に応じて、異なるコンテンツを配信する。また、コンテンツ配信サーバは、その表示装置を視聴している視聴者の属性に応じて、異なるコンテンツを配信することもできる。これにより、広告提供者は、発信力のある広告用映像を、表示装置のディスプレイに表示することができる。
【０００４】
デジタルサイネージシステムによれば、パーソナルコンピュータのポインティングデバイスのように、表示装置のディスプレイに対して、視聴者がポインティングすることができれば、視聴者の好みに応じて広告用映像を表示することができる。しかしながら、表示装置に対して、マウスのような専用のポインティングデバイスを必要とする。
【０００５】
これに対し、カメラを搭載した携帯電話機を用いて、デジタルサイネージのディスプレイに対してポインティングする技術がある（例えば特許文献１参照）。この技術によれば、専用のポインティングデバイスを用いる必要がない。携帯電話機を把持する視聴者は、カメラで、デジタルサイネージのディスプレイに表示された映像の中で、ボタンに相当する部分を撮影する。そのボタン部分の映像は、サーバへ送信される。サーバは、パターン認識処理によって、その映像の中からボタン部分を特定する。サーバは、そのボタン部分を特定したことを表す枠映像を、携帯電話機へ送信する。携帯電話機は、カメラで撮影した映像に、サーバから受信した枠映像を重畳的に表示する。視聴者は、携帯電話機の表示部に表示された枠映像に、ボタン部分が重畳していることを確認し、「決定」ボタンを押下することによって、そのボタンが押下（ポインティング）されたものと認識する。
【０００６】
また、ディスプレイに表示された表示映像の座標と、その表示映像をカメラによって撮影した撮影映像の座標とを対応付ける技術がある（例えば非特許文献１参照）。この技術によれば、携帯電話機を把持するユーザは、カメラで、デジタルサイネージのディスプレイを撮影する。映像処理によって、その撮影映像からディスプレイ枠が検出され、そのディスプレイ枠の四隅の座標が取得される。次に、撮影映像から表示映像への射影変換行列が算出される。これによって、撮影映像の中心座標を、表示映像の座標へ射影変換し、その位置にポインタ（又はカーソル）を移動させることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２３０１９３号公報
【非特許文献】
【０００８】
【非特許文献１】H. Cantzler and C. Hoile、「A Novel Form of aPointing Device」、in Proc. of Vision, Video and Graphics、2003、pp. 57-62.
【非特許文献２】D. G. Lowe、「Distinctive image features fromscale-invariant keypoints」、IJCV、vol. 60、no. 2、pp. 91-110、2004.
【非特許文献３】J. Shi and C. Tomasi、「Good Features to Track」、inProc. of Computer Vision and Pattern Recognition、1994、pp. 593-600.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載された技術によれば、携帯電話機から送信されるボタン部分映像と、デジタルサイネージのディスプレイから送信される枠映像とが、常に転送され続けるために、遅延が大きく、ポインティングデバイスのようなリアルタイムな応答性を得ることができない。また、非特許文献１に記載された技術によれば、デジタルサイネージの表示装置の枠が、他のオブジェクトに隠蔽（オクルージョン）された場合、枠の検出に失敗する。結局、射影変換行列を算出することができなくなり、ロバスト性が低いという問題がある。
【００１０】
そこで、本発明は、ディスプレイに表示された表示映像の座標と、その表示映像をカメラによって撮影した撮影映像の座標とを対応付ける映像処理について、リアルタイムな応答性と、高いロバスト性とを有する映像処理装置、システム、プログラム及び方法を提供することを目的とする。表示映像の座標と撮影映像の座標とを対応付けることによって、ポインティングデバイスとして利用することができる。
【課題を解決するための手段】
【００１１】
本発明によれば、ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ表示装置の映像を撮影するカメラとに接続され、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける映像処理装置であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
を有することを特徴とする。
【００１２】
本発明の映像処理装置における他の実施形態によれば、
座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の中心座標を、表示装置の表示映像の座標へ変換するものであり、
表示映像に、変換された座標を、ポインタとして表示するポインティング指示手段を更に有することも好ましい。
【００１３】
本発明の映像処理装置における他の実施形態によれば、カメラ追跡手段は、現時刻tにおける現撮影フレームＣtから、前の時刻t-1における前撮影フレームＣt-1への射影変換行列Ｈt,t-1Trackを、局所特徴領域の追跡を用いて算出し、射影変換行列Ｈt,t-1Trackを逐次累積的に乗算することによって、現撮影フレームＣtからキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrack（＝Ｈkey+1,keyTrack・...・Ｈt-1,t-2Track・Ｈt,t-1Track）を算出することも好ましい。
【００１４】
本発明の映像処理装置における他の実施形態によれば、キー撮影フレーム照合手段は、キー撮影フレーム候補Ｃkey_c及び表示フレームＤkeyから抽出した局所特徴領域の対応によって、ＣkeyからＤkeyへの第１の射影変換行列ＨkeyMatchを算出することも好ましい。
【００１５】
本発明の映像処理装置における他の実施形態によれば、
キー撮影フレーム照合手段は、
以前に照合された際の第１の射影変換行列ＨkeyMatchの逆行列（ＨkeyMatch）-1を、第４の射影変換行列Ｈkey_cTransとして算出し、
第４の射影変換行列Ｈkey_cTransを用いて、表示フレームＤkey_cを中間表示フレームＤkey_c'へ変換し、
キー撮影フレーム候補Ｃkey_c及び中間表示フレームＤkey_c'から抽出した局所特徴領域の対応によってキー撮影フレーム候補Ｃkey_cからＤkey_c'への第５の射影変換行列Ｈkey_cMatch'を算出し、
第５の射影変換行列Ｈkey_cMatch’に第４の射影変換行列Ｈkey_cTransの逆行列を乗算することによって第１の射影変換行列Ｈkey_cMatchを算出するものであり、
現映像照合手段は、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出するものであり、
座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付けるものであることも好ましい。
【００１６】
本発明の映像処理システムによれば、
前述した映像処理装置は、表示装置に一体的に搭載されたものであり、
カメラは、携帯端末に搭載されたものであり、
ユーザによって把持された携帯端末は、カメラの撮影映像を、表示装置へ送信することを特徴とする。
【００１７】
また、本発明の映像処理システムによれば、
前述した映像処理装置は、セットトップボックスであり、
表示装置は、テレビ装置であり、
携帯端末は、セットトップボックスに対するリモコン装置であることを特徴とする。
【００１８】
更に、本発明の映像処理システムによれば、
前述した映像処理装置及びカメラは、携帯端末に一体的に搭載されたものであり、
ユーザによって把持された携帯端末は、表示装置から表示映像を受信すると共に、カメラの撮影映像の中心座標を表示装置の表示映像の座標へ変換したポインタの座標を、表示装置へ送信することを特徴とする。
【００１９】
更に、本発明の映像処理システムによれば、前述した映像処理装置について、
カメラは、携帯端末に搭載されたものであり、
携帯端末は、カメラ追跡手段を更に有し、当該カメラ追跡手段によって算出された、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、表示装置へ送信し、
表示装置は、キー撮影フレーム照合手段と、現映像照合手段と、座標照合手段とを有し、携帯端末から受信した、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、キー撮影フレーム照合手段へ入力することを特徴とする。
【００２０】
更に、本発明の映像処理システムによれば、
表示装置は、デジタルサイネージ装置であり、
表示装置及び携帯端末は、近距離無線リンク又はケーブルを介して接続されていることも好ましい。
【００２１】
本発明によれば、ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置を、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付けるように機能させる映像処理プログラムであって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
してコンピュータ装置を機能させることを特徴とする。
【００２２】
本発明によれば、ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置が、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける映像処理方法であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する第１のステップと、
第１のステップの実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する第２のステップと、
第２のステップによって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する第３のステップと、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける第４のステップと
を有することを特徴とする。
【発明の効果】
【００２３】
本発明の映像処理装置、システム、プログラム及び方法によれば、表示映像の座標と撮影映像の座標とを対応付ける射影変換行列を少ない計算量で算出することができると共に、全ての撮影映像と全ての表示映像とを照合しないために、リアルタイムな応答性と高いロバスト性とを有することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明におけるデジタルサイネージの使用形態を表す説明図である。
【図２】本発明におけるフローチャートである。
【図３】本発明における表示映像と撮影映像とを対応付ける第１の説明図である。
【図４】本発明における表示映像と撮影映像とを対応付ける第２の説明図である。
【図５】本発明における射影変換行列を表す説明図である。
【図６】本発明の表示装置及び携帯電話機における第１の機能構成図である。
【図７】本発明の表示装置及び携帯電話機における第２の機能構成図である。
【図８】本発明の表示装置及び携帯電話機における第３の機能構成図である。
【図９】本発明の表示装置及び携帯電話機における第４の機能構成図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２６】
図１は、本発明におけるデジタルサイネージの使用形態を表す説明図である。
【００２７】
図１によれば、公共の場に、デジタルサイネージとしての表示装置１が設置されている。表示装置１は、ディスプレイ１０１に様々な広告用映像を表示し、公衆に視聴させる。表示装置１のディスプレイ１０１に表示される映像は、ネットワークを介して、配信サーバから受信されたものであってもよい。
【００２８】
また、図１によれば、表示装置１は、映像を表示するディスプレイ１０１と、携帯電話機２と無線リンクを介して通信するための近距離無線インタフェース部１０２とを有する。近距離無線インタフェース部１０２は、例えばBluetooth又は無線ＬＡＮ(Local Area Network)であってもよい。また、近距離無線に限られず、広域の携帯電話網を介した通信であってもよい。尚、表示装置１は、無線リンクに限られず、例えばＵＳＢ(Universal Serial Bus)ケーブルやＬＡＮケーブルを介して、携帯電話機２に接続されるものであってもよい。
【００２９】
携帯電話機２は、カメラ部２０と、近距離無線インタフェース部２２と、ディスプレイ２２とを有する。視聴者は、表示装置１のディスプレイ１０１に表示されている映像を視聴しているとする。ここで、視聴者は、携帯電話機２を把持し、携帯電話機２のカメラ部２０を表示装置１のディスプレイ１０１へ向ける。これにより、視聴者は、携帯電話機２のディスプレイ２２を閲覧しながら、カメラ部２０によって表示装置１のディスプレイ１０１の映像を撮影することができる。携帯電話機２は、カメラ部２０によって撮影した撮影映像を、近距離無線インタフェース部２２から表示装置１へ送信し続ける。
【００３０】
本発明によれば、表示装置１のディスプレイ１０１に、ポインタが表示される。このポインタは、携帯電話機２のディスプレイ２２に表示される映像の中心点に対応する。即ち、視聴者の認識は、カメラ部２０によって映像を撮影する操作ではなく、表示装置１のディスプレイ１０１に表示されるポインタを動かす操作である。ポインティングデバイスを操作しているものと同じ認識である。これは、撮影映像の中心座標を、表示映像の座標に対応付けることによって実現できる。
【００３１】
図２は、本発明におけるフローチャートである。
【００３２】
［Ｓ２１］視聴者の操作に応じて、携帯電話機２のカメラ部２０は、表示装置１のディスプレイ部１０１へ向けられる。そして、カメラ部２０は、表示装置１のディスプレイ部１０１に表示される映像（撮影映像）を撮影する。
【００３３】
［Ｓ２２］携帯電話機２は、時間的に連続となるその撮影映像を、ストリーミングによって表示装置１へ送信し続ける。
【００３４】
［Ｓ２３］表示装置１は、最初に、カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を開始する。
【００３５】
ここで、「キー撮影フレーム」とは、表示フレームの座標と撮影フレームの座標とが対応付けられた、最後の撮影フレームを意味する。即ち、同一時刻（現時刻tよりも過去時刻key）における両フレームを対応付ける演算処理時間の間であっても、現時刻tにおける撮影フレームＣtは進行している。従って、同一時刻の表示フレームＤkeyの座標と対応付けのための演算処理がなされている撮影フレームＣkeyを、「キー撮影フレーム」とする。また、「キー撮影フレーム候補」とは、第１の射影変換行列Ｈkey_cMatchの演算処理中にある撮影フレームを意味する。
【００３６】
撮影フレームの座標と、表示フレームの座標との間は、射影幾何学によれば線形である。従って、射影変換行列Ｈによって、座標を置き換えることができる。
【数１】
特徴領域の対応から、平面射影変換行列Ｈを算出する。平面射影変換行列Ｈの未知パラメータ数は、８個（h0〜h7）であり、一組の対応点は２個の式を与える。従って、４組以上の対応点があれば、最小二乗法によってこの行列を計算することができる。
【００３７】
そして、表示装置１は、第１の射影変換行列Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する。
【００３８】
第１の射影変換行列Ｈkey_cMatchは、キー撮影フレーム候補Ｃkey_c及び表示フレームＤkey_cから抽出した局所特徴領域の対応によって算出されることも好ましい。ここで、局所特徴領域には、回転やスケールの変化にロバスト性が高く、比較的計算量が大きいものを利用することができる。局所特徴領域の検出には、SIFT、SURF、MSER、Hessian-Affine、Harris-Affine等のアルゴリズムが利用できる。また、特徴領域の記述には、SIFT、SURF、PCA-SIFT等のアルゴリズムが利用できる。これらのアルゴリズムによって抽出された局所特徴を、最近傍探索によって対応付け、その対応組からRANSACアルゴリズムを用いて射影変換行列を推定することができる（例えば非特許文献２参照）。従って、比較的計算量を要する第１の射影変換行列Ｈkey_cMatchの算出に必要な演算処理時間う比較的長い。
【００３９】
［Ｓ２４］Ｓ２３と並行して、表示装置１は、現時刻tにおける現撮影フレームＣtから過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する。ここで、第１の撮影映像の座標と、第２の撮影映像の座標との間も、射影幾何学によれば線形である。従って、射影変換行列Ｈによって、座標を置き換えることができる。
【００４０】
ここで、表示装置１は、現時刻tにおける現撮影フレームＣtから、前の時刻t-1における前撮影フレームＣt-1への射影変換行列Ｈt,t-1Trackを局所特徴領域の追跡を用いて算出する。即ち、射影変換行列Ｈt,t-1Trackを逐次累積的に乗算することによって、現撮影フレームＣtからキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrack（＝Ｈkey+1,keyTrack・...・Ｈt-1,t-2Track・Ｈt,t-1Track）を算出する。このように、カメラによって撮影された撮影フレームを追跡することによって、第２の射影変換行列Ｈt,keyTrackが算出される。
【００４１】
尚、「局所特徴領域」とは、画像の中に、複数の局所領域を設定し、その特徴量を抽出する。これによって、画像の中で、認識対象が隠蔽されていても、見える領域の特徴量を用いることによって認識可能となる。カメラ追跡では、高速且つ計算量の小さい特徴領域を利用する（例えば非特許文献３参照）。また、FASTやSUSANと呼ばれる特徴領域も利用できる。これらの特徴領域から、ＬＫ法などを利用して、オプティカルフローを求める。従って、比較的計算量が小さい第２の射影変換行列Ｈt,keyTrackの算出に必要な演算処理時間は比較的短い。
【００４２】
［Ｓ２５］そして、Ｓ２４によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する。
【００４３】
［Ｓ２６］第３の射影変換行列Ｈ3C→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００４４】
［Ｓ２７］携帯電話機２のカメラをポインティングデバイスとして用いる場合、第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の中心座標を、表示装置の表示映像の座標へ変換する。これによって、視聴者から見ると、携帯電話機２のカメラの向きに応じて、表示装置のディスプレイにポインタが表示される。視聴者は、携帯電話機のカメラの向きに応じてポインティングデバイスを操作しているように認識する。
【００４５】
図３は、本発明における表示映像と撮影映像とを対応付ける第１の説明図である。また、図５は、本発明における射影変換行列を表す説明図である。図３の射影変換行列は、図５の射影変換行列に対応する。
【００４６】
図３によれば、時間経過t=1〜5に対応して、表示装置１の表示映像における表示フレームＤtと、カメラの撮影映像における撮影フレームＣtとが表されている。
【００４７】
（現時刻t=1）最初に、時刻t=1における撮影フレーム候補Ｃ1から、表示フレームＤ1への第１の射影変換行列Ｈ1Matchの計算処理を開始する（図２のＳ２３参照）。現時刻t=1ではまだ、キー撮影フレームが存在しないために、第３の射影変換行列Ｈ1C→Dを算出することはできない。
【００４８】
（現時刻t=2）次に、現時刻t=2における現撮影フレームＣ2から、過去時刻t=1における撮影フレームＣ1への第２の射影変換行列Ｈ2,1Trackを算出する（図２のＳ２４参照）。過去時刻t=1と同様にまだ、第３の射影変換行列Ｈ2C→Dを算出することはできない。
【００４９】
（現時刻t=2.5）現時刻t=2.5で、撮影フレーム候補Ｃ1から表示フレームＤ1への第１の射影変換行列Ｈ1Matchの計算処理が終了したとする。この計算処理には、過去時刻t=1から現時刻t=2.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=1で更新し、第１の射影変換行列ＨkeyMatchをＨ1Matchによって更新する（key=1）。「キー撮影フレーム」とは、過去時刻t-n(=key)における表示フレームＣt-nの座標と撮影フレームＤt-nの座標とが対応付けられた最後の撮影フレームを意味する。
【００５０】
（現時刻t=3）現時刻t=3における現撮影フレームＣ3から、過去時刻t=2における過去フレームＣ2への第２の射影変換行列Ｈ3,2Trackを算出する。現時刻t=3ではキー撮影フレームＣ1が存在するので、第３の射影変換行列Ｈ3C→D算出のためにＨ3,1Trackを算出する。即ち、過去時刻t=2について算出した第２の射影変換行列Ｈ2,1Trackと、現時刻t=3について算出した第２の射影変換行列Ｈ3,2Trackとを乗算することによって、第２の射影変換行列Ｈ3,1Trackを算出する。第２の射影変換行列Ｈ3,1Trackは、現時刻t=3における現撮影フレームＣ3から、過去時刻key=1(=t-2)における撮影フレームＣ1への射影変換行列である。
【００５１】
第２の射影変換行列Ｈ3,1Trackに、第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ3から表示フレームＤ3への第３の射影変換行列Ｈ3C→Dを算出する。射影変換行列Ｈ3C→D用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００５２】
次に、時刻t=3における撮影フレーム候補Ｃ3から、表示フレームＤ3への第１の射影変換行列Ｈ3Matchの計算処理を開始する。
【００５３】
（現時刻t=4）時刻t=3の処理と同様に、現時刻t=4における現撮影フレームＣ4から、過去時刻t=3における過去フレームＣ3への第２の射影変換行列Ｈ4,3Trackを算出する。そして、過去時刻t=3について算出した第２の射影変換行列Ｈ3,1Trackと、現時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackとを乗算することによって、第２の射影変換行列Ｈ4,1Trackを算出する。
【００５４】
更に、第２の射影変換行列Ｈ4,1Trackに第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ4から表示フレームＤ4への第３の射影変換行列Ｈ4C→Dを算出する。第３の射影変換行列Ｈ4C→Dによって、現時刻t=4におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００５５】
（現時刻t=4.5）現時刻t=4.5で、撮影フレーム候補Ｃ3から表示フレームＤ3への第１の射影変換行列Ｈ3Matchの計算処理が終了したとする。この計算処理には、過去時刻t=3から現時刻t=4.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=3で更新し、第１の射影変換行列ＨkeyMatchをＨ3Matchによって更新する（key=3）。
【００５６】
（現時刻t=5）現時刻t=5における現撮影フレームＣ5から、過去時刻t=4における過去フレームＣ4への第２の射影変換行列Ｈ5,4Trackを算出する。現時刻t=5ではキー撮影フレームＣ3が存在するので、第３の射影変換行列Ｈ5C→D算出のためにＨ5,3Trackを算出する。即ち、過去時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackと、現時刻t=5について算出した第２の射影変換行列Ｈ5,4Trackとを乗算することによって、第２の射影変換行列Ｈ5,3Trackを算出する。第２の射影変換行列Ｈ5,3Trackは、現時刻t=5における現撮影フレームＣ5から、過去時刻key=3(=t-2)における撮影フレームＣ3への射影変換行列である。
【００５７】
更に、第２の射影変換行列Ｈ5,3Trackに第１の射影変換行列Ｈ3Matchを乗算することによって、現撮影フレームＣ5から表示フレームＤ5への第３の射影変換行列Ｈ5C→Dを算出する。第３の射影変換行列Ｈ5C→Dによって、現時刻t=5におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００５８】
そして、次に、時刻t=5における撮影フレーム候補Ｃ5から、表示フレームＤ5への第１の射影変換行列Ｈ5Matchの計算処理を開始する。
【００５９】
図４は、本発明における表示映像と撮影映像とを対応付ける第２の説明図である。図４の射影変換行列も、図５の射影変換行列に対応する。
【００６０】
図４によれば、図３と比較して、中間表示フレームＤt'を更に生成している点のみが相違する。
【００６１】
（現時刻t=1）最初に、第４の射影変換行列Ｈ1Transを用いて、表示フレームＤ1を、中間表示フレームＤ1'へ変換する。ここで、Ｈ1Transの初期値は、単位行列である（図５参照）。次に、時刻t=1における撮影フレーム候補Ｃ1から、中間表示フレームＤ1'への第５の射影変換行列Ｈ1Match'の計算処理を開始する。現時刻t=1ではまだ、キー撮影フレームが存在しないために、第３の射影変換行列Ｈ1C→Dを算出することはできない。
【００６２】
（現時刻t=2）次に、現時刻t=2における現撮影フレームＣ2から、過去時刻t=1におけるキー撮影フレームＣ1への第２の射影変換行列Ｈ2,1Trackを算出する。過去時刻t=1と同様にまだ、第３の射影変換行列Ｈ2C→Dを算出することはできない。
【００６３】
（現時刻t=2.5）現時刻t=2.5で、撮影フレーム候補Ｃ1から中間表示フレームＤ1'への第５の射影変換行列Ｈ1Match’の計算処理が終了したとする。この計算処理には、過去時刻t=1から現時刻t=2.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=1で更新し、第１の射影変換行列ＨkeyMatchをＨ1Matchによって更新する（key=1）。また、第５の射影変換行列Ｈ1Match’に、第４の射影変換行列Ｈ1Transの逆行列を乗算することによって、第１の射影変換行列Ｈ1Matchを算出する。
【００６４】
（現時刻t=3）現時刻t=3における現撮影フレームＣ3から、過去時刻t=2における過去フレームＣ2への第２の射影変換行列Ｈ3,2Trackを算出する。現時刻t=3ではキー撮影フレームＣ1が存在するので、第３の射影変換行列Ｈ3C→D算出のためにＨ3,1Trackを算出する。即ち、過去時刻t=2について算出した第２の射影変換行列Ｈ2,1Trackと、現時刻t=3について算出した第２の射影変換行列Ｈ3,2Trackとを乗算することによって、第２の射影変換行列Ｈ3,1Trackを算出する。
【００６５】
第２の射影変換行列Ｈ3,1Trackに、第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ3から表示フレームＤ3への第３の射影変換行列Ｈ3C→Dを算出する。射影変換行列Ｈ3C→D用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００６６】
次に、第４の射影変換行列Ｈ3Transを用いて、表示フレームＤ3を中間表示フレームＤ3'へ変換する。第４の射影変換行列Ｈ3Transは、前の第１の射影変換行列Ｈ1Matchの逆行列である。そして、時刻t=3における撮影フレーム候補Ｃ3から、中間表示フレームＤ3'への第５の射影変換行列Ｈ3Match'の計算処理を開始する。
【００６７】
（現時刻t=4）時刻t=3の処理と同様に、現時刻t=4における現撮影フレームＣ4から、過去時刻t=3における過去フレームＣ3への第２の射影変換行列Ｈ4,3Trackを算出する。そして、過去時刻t=3について算出した第２の射影変換行列Ｈ3,1Trackと、現時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackとを乗算することによって、第２の射影変換行列Ｈ4,1Trackを算出する。
【００６８】
更に、第２の射影変換行列Ｈ4,1Trackに第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ4から表示フレームＤ4への第３の射影変換行列Ｈ4C→Dを算出する。第３の射影変換行列Ｈ4C→Dによって、現時刻t=4におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００６９】
（現時刻t=4.5）現時刻t=4.5で撮影フレーム候補Ｃ3から中間表示フレームＤ3'への第５の射影変換行列Ｈ3Match’の計算処理が終了したとする。この計算処理には、過去時刻t=3から現時刻t=4.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=3で更新し、第１の射影変換行列ＨkeyMatchをＨ3Matchによって更新する（key=3）。また、第５の射影変換行列Ｈ3Match’に、第４の射影変換行列Ｈ3Transの逆行列を乗算することによって、第１の射影変換行列Ｈ3Matchを算出する。
【００７０】
（現時刻t=5）現時刻t=5における現撮影フレームＣ5から、過去時刻t=4における過去フレームＣ4への第２の射影変換行列Ｈ5,4Trackを算出する。現時刻t=5ではキー撮影フレームＣ3が存在するので、第３の射影変換行列Ｈ5C→D算出のためにＨ5,3Trackを算出する。即ち、過去時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackと、現時刻t=5について算出した第２の射影変換行列Ｈ5,4Trackとを乗算することによって、第２の射影変換行列Ｈ5,3Trackを算出する。第２の射影変換行列Ｈ5,3Trackは、現時刻t=5における現撮影フレームＣ5から、過去時刻key=3(=t-2)における撮影フレームＣ3への射影変換行列である。
【００７１】
更に、第２の射影変換行列Ｈ5,3Trackに第１の射影変換行列Ｈ3Matchを乗算することによって、現撮影フレームＣ5から表示フレームＤ5への第３の射影変換行列Ｈ5C→Dを算出する。第３の射影変換行列Ｈ5C→Dによって、現時刻t=5におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００７２】
そして、次に、時刻t=5における撮影フレーム候補Ｃ5から、中間表示フレームＤ5'への第１の射影変換行列Ｈ5Match'の計算処理を開始する。
【００７３】
最後に、本発明の表示装置及び携帯電話機における機能構成について説明する。本発明における各機能構成部は、表示装置、携帯電話機及び映像処理装置それぞれに割り当てることができる。
【００７４】
図６は、本発明の表示装置及び携帯電話機における第１の機能構成図である。
【００７５】
図６によれば、映像処理装置の機能は全て、表示装置１に一体的に搭載されている。また、携帯電話機２は、カメラ部２０と、近距離無線インタフェース部２１とを有する。携帯電話機２は、カメラ部２０によって撮影した撮影映像を、近距離無線インタフェース部２１を介して表示装置１へ送信する。
【００７６】
表示装置１は、映像処理機能として、キー撮影フレーム照合部１１１と、カメラ追跡部１１２と、現映像照合部１１３と、座標照合部１１４と、ポインティング指示部１１５と、映像表示制御部１１６とを有する。これら機能構成部は、表示装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００７７】
キー撮影フレーム照合部１１１は、図２におけるＳ２３と同様の処理を実行する。キー撮影フレーム照合部１１１は、カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する。
【００７８】
また、キー撮影フレーム照合部１１１は、以下のステップを実行するものであってもよい。
（Ｓ１）以前に照合された際の第１の射影変換行列ＨkeyMatchの逆行列（ＨkeyMatch）-1を、第４の射影変換行列Ｈkey_cTransとして算出する。
（Ｓ２）第４の射影変換行列Ｈkey_cTransを用いて、表示フレームＤkey_cを中間表示フレームＤkey_c'へ変換する。
（Ｓ３）キー撮影フレーム候補Ｃkey_c及び中間表示フレームＤkey_c’から抽出した局所特徴領域の対応によってＣkey_cからＤkey_c’への第５の射影変換行列Ｈkey_cMatch’を算出する。
（Ｓ４）第５の射影変換行列Ｈkey_cMatch’に第４の射影変換行列Ｈkey_cTransの逆行列を乗算することによって第１の射影変換行列Ｈkey_cMatchを算出する。
【００７９】
カメラ追跡部１１２は、図２におけるＳ２４と同様の処理を実行する。カメラ追跡部１１２は、キー撮影フレーム照合部１１１の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する。
【００８０】
現映像照合部１１３は、図２におけるＳ２５と同様の処理を実行する。現映像照合部１１３は、カメラ追跡部１１２によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する。
【００８１】
座標照合部１１４は、図２におけるＳ２６と同様の処理を実行する。座標照合部１１４は、第３の射影変換行列ＨtC→D用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００８２】
ポインティング指示部１１５は、図２におけるＳ２７と同様の処理を実行する。ポインティング指示部１１５は、カメラの撮影映像の中心座標を、表示装置の表示映像の座標へ変換し、その位置にポインティングする。
【００８３】
映像表示制御部１１６は、ディスプレイ１０１に対して、例えば広告用映像を表示する。この映像は、ネットワークを介して、コンテンツ配信サーバから受信したものであってもよい。
【００８４】
図７は、本発明の表示装置及び携帯電話機における第２の機能構成図である。
【００８５】
図７のシステムは、テレビ装置である表示装置１と、リモコン装置である携帯電話機２と、セットトップボックスである映像処理装置３とを有する。テレビ装置には、セットトップボックスが接続されている。携帯電話機２は、テレビ装置に表示された表示映像をカメラで撮影すると共に、近距離無線リンクを介してセットトップボックスと通信することができる。セットトップボックスは、近距離無線インタフェース部１０２を有すると共に、映像処理機能として、キー撮影フレーム照合部１１１と、カメラ追跡部１１２と、現映像照合部１１３と、座標照合部１１４と、ポインティング指示部１１５と、映像表示制御部１１６とを有する。これら機能構成部は、セットトップボックスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００８６】
図８は、本発明の表示装置及び携帯電話機における第３の機能構成図である。
【００８７】
図８によれば、携帯電話機に、映像処理機能が一体的に搭載されている。映像処理機能構成部は、携帯電話機に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００８８】
図８によれば、表示装置１は、ディスプレイ１０１に表示している表示映像を、近距離無線リンクを介して、携帯電話機２へ送信する。携帯電話機２は、受信した表示映像を、キー撮影フレーム照合部１１１及び現映像照合部１１３によって処理する。また、携帯電話機２は、カメラの撮影映像の中心座標を表示装置の表示映像の座標へ変換したポインティング座標を、近距離無線リンクを介して、表示装置１へ送信する。これよって、表示装置１は、ディスプレイ１０１に、ポインタを表示することができる。
【００８９】
図９は、本発明の表示装置及び携帯電話機における第４の機能構成図である。
【００９０】
図９によれば、携帯電話機２は、カメラ部２０と、カメラ追跡部１１２と、近距離無線インタフェース部２１とを有する。カメラ追跡部１１２によって算出された、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackは、近距離無線インタフェース２１から表示装置１へ送信される。一方で、表示装置１は、キー撮影フレーム照合部１１１と、現映像照合部１１３と、座標照合部１１４と、ポインティング指示部１１５と、映像表示制御部１１６とを有する。表示装置１は、携帯電話機２から受信した第２の射影変換行列Ｈt,keyTrackを、キー撮影フレーム照合部１１１へ入力する。
【００９１】
以上、詳細に説明したように、本発明の映像処理装置、システム、プログラム及び方法によれば、表示映像の座標と撮影映像の座標とを対応付ける射影変換行列を少ない計算量で算出することができると共に、全ての撮影映像と全ての表示映像とを照合しないために、リアルタイムな応答性と高いロバスト性とを有することができる。
【００９２】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９３】
１ 表示装置
１０１ ディスプレイ部
１０２ 近距離無線インタフェース部
１１１ キー撮影フレーム照合部
１１２ カメラ追跡部
１１３ 現映像照合部
１１４ 座標照合部
１１５ ポインティング表示部
１１６ 映像表示制御部
２ 携帯端末、携帯電話機
２０ カメラ部
２１ 近距離無線インタフェース部
２２ ディスプレイ
３ 映像処理装置、セットトップボックス
【技術分野】
【０００１】
本発明は、ディスプレイに表示された表示映像の座標と、その表示映像をカメラによって撮影した撮影映像の座標とを対応付ける映像処理の技術分野に関する。
【背景技術】
【０００２】
従来、ユーザによって視認されている表示装置に、広告用映像を表示するデジタルサイネージの技術がある。「デジタルサイネージ」とは、公共の場所に設置された、例えば平面ディスプレイやプロジェクタのような電子的なディスプレイに、映像（静止画像も含む）を表示する広告媒体技術をいう。デジタルサイネージは、表示装置に広告用映像を表示することによって、ポスターや看板のように用いることができる。
【０００３】
一般に、デジタルサイネージの表示装置は、コンテンツ配信サーバに接続されている。そのコンテンツ配信サーバは、表示装置の設置場所又は時刻に応じて、異なるコンテンツを配信する。また、コンテンツ配信サーバは、その表示装置を視聴している視聴者の属性に応じて、異なるコンテンツを配信することもできる。これにより、広告提供者は、発信力のある広告用映像を、表示装置のディスプレイに表示することができる。
【０００４】
デジタルサイネージシステムによれば、パーソナルコンピュータのポインティングデバイスのように、表示装置のディスプレイに対して、視聴者がポインティングすることができれば、視聴者の好みに応じて広告用映像を表示することができる。しかしながら、表示装置に対して、マウスのような専用のポインティングデバイスを必要とする。
【０００５】
これに対し、カメラを搭載した携帯電話機を用いて、デジタルサイネージのディスプレイに対してポインティングする技術がある（例えば特許文献１参照）。この技術によれば、専用のポインティングデバイスを用いる必要がない。携帯電話機を把持する視聴者は、カメラで、デジタルサイネージのディスプレイに表示された映像の中で、ボタンに相当する部分を撮影する。そのボタン部分の映像は、サーバへ送信される。サーバは、パターン認識処理によって、その映像の中からボタン部分を特定する。サーバは、そのボタン部分を特定したことを表す枠映像を、携帯電話機へ送信する。携帯電話機は、カメラで撮影した映像に、サーバから受信した枠映像を重畳的に表示する。視聴者は、携帯電話機の表示部に表示された枠映像に、ボタン部分が重畳していることを確認し、「決定」ボタンを押下することによって、そのボタンが押下（ポインティング）されたものと認識する。
【０００６】
また、ディスプレイに表示された表示映像の座標と、その表示映像をカメラによって撮影した撮影映像の座標とを対応付ける技術がある（例えば非特許文献１参照）。この技術によれば、携帯電話機を把持するユーザは、カメラで、デジタルサイネージのディスプレイを撮影する。映像処理によって、その撮影映像からディスプレイ枠が検出され、そのディスプレイ枠の四隅の座標が取得される。次に、撮影映像から表示映像への射影変換行列が算出される。これによって、撮影映像の中心座標を、表示映像の座標へ射影変換し、その位置にポインタ（又はカーソル）を移動させることができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２３０１９３号公報
【非特許文献】
【０００８】
【非特許文献１】H. Cantzler and C. Hoile、「A Novel Form of aPointing Device」、in Proc. of Vision, Video and Graphics、2003、pp. 57-62.
【非特許文献２】D. G. Lowe、「Distinctive image features fromscale-invariant keypoints」、IJCV、vol. 60、no. 2、pp. 91-110、2004.
【非特許文献３】J. Shi and C. Tomasi、「Good Features to Track」、inProc. of Computer Vision and Pattern Recognition、1994、pp. 593-600.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載された技術によれば、携帯電話機から送信されるボタン部分映像と、デジタルサイネージのディスプレイから送信される枠映像とが、常に転送され続けるために、遅延が大きく、ポインティングデバイスのようなリアルタイムな応答性を得ることができない。また、非特許文献１に記載された技術によれば、デジタルサイネージの表示装置の枠が、他のオブジェクトに隠蔽（オクルージョン）された場合、枠の検出に失敗する。結局、射影変換行列を算出することができなくなり、ロバスト性が低いという問題がある。
【００１０】
そこで、本発明は、ディスプレイに表示された表示映像の座標と、その表示映像をカメラによって撮影した撮影映像の座標とを対応付ける映像処理について、リアルタイムな応答性と、高いロバスト性とを有する映像処理装置、システム、プログラム及び方法を提供することを目的とする。表示映像の座標と撮影映像の座標とを対応付けることによって、ポインティングデバイスとして利用することができる。
【課題を解決するための手段】
【００１１】
本発明によれば、ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ表示装置の映像を撮影するカメラとに接続され、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける映像処理装置であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
を有することを特徴とする。
【００１２】
本発明の映像処理装置における他の実施形態によれば、
座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の中心座標を、表示装置の表示映像の座標へ変換するものであり、
表示映像に、変換された座標を、ポインタとして表示するポインティング指示手段を更に有することも好ましい。
【００１３】
本発明の映像処理装置における他の実施形態によれば、カメラ追跡手段は、現時刻tにおける現撮影フレームＣtから、前の時刻t-1における前撮影フレームＣt-1への射影変換行列Ｈt,t-1Trackを、局所特徴領域の追跡を用いて算出し、射影変換行列Ｈt,t-1Trackを逐次累積的に乗算することによって、現撮影フレームＣtからキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrack（＝Ｈkey+1,keyTrack・...・Ｈt-1,t-2Track・Ｈt,t-1Track）を算出することも好ましい。
【００１４】
本発明の映像処理装置における他の実施形態によれば、キー撮影フレーム照合手段は、キー撮影フレーム候補Ｃkey_c及び表示フレームＤkeyから抽出した局所特徴領域の対応によって、ＣkeyからＤkeyへの第１の射影変換行列ＨkeyMatchを算出することも好ましい。
【００１５】
本発明の映像処理装置における他の実施形態によれば、
キー撮影フレーム照合手段は、
以前に照合された際の第１の射影変換行列ＨkeyMatchの逆行列（ＨkeyMatch）-1を、第４の射影変換行列Ｈkey_cTransとして算出し、
第４の射影変換行列Ｈkey_cTransを用いて、表示フレームＤkey_cを中間表示フレームＤkey_c'へ変換し、
キー撮影フレーム候補Ｃkey_c及び中間表示フレームＤkey_c'から抽出した局所特徴領域の対応によってキー撮影フレーム候補Ｃkey_cからＤkey_c'への第５の射影変換行列Ｈkey_cMatch'を算出し、
第５の射影変換行列Ｈkey_cMatch’に第４の射影変換行列Ｈkey_cTransの逆行列を乗算することによって第１の射影変換行列Ｈkey_cMatchを算出するものであり、
現映像照合手段は、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出するものであり、
座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付けるものであることも好ましい。
【００１６】
本発明の映像処理システムによれば、
前述した映像処理装置は、表示装置に一体的に搭載されたものであり、
カメラは、携帯端末に搭載されたものであり、
ユーザによって把持された携帯端末は、カメラの撮影映像を、表示装置へ送信することを特徴とする。
【００１７】
また、本発明の映像処理システムによれば、
前述した映像処理装置は、セットトップボックスであり、
表示装置は、テレビ装置であり、
携帯端末は、セットトップボックスに対するリモコン装置であることを特徴とする。
【００１８】
更に、本発明の映像処理システムによれば、
前述した映像処理装置及びカメラは、携帯端末に一体的に搭載されたものであり、
ユーザによって把持された携帯端末は、表示装置から表示映像を受信すると共に、カメラの撮影映像の中心座標を表示装置の表示映像の座標へ変換したポインタの座標を、表示装置へ送信することを特徴とする。
【００１９】
更に、本発明の映像処理システムによれば、前述した映像処理装置について、
カメラは、携帯端末に搭載されたものであり、
携帯端末は、カメラ追跡手段を更に有し、当該カメラ追跡手段によって算出された、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、表示装置へ送信し、
表示装置は、キー撮影フレーム照合手段と、現映像照合手段と、座標照合手段とを有し、携帯端末から受信した、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、キー撮影フレーム照合手段へ入力することを特徴とする。
【００２０】
更に、本発明の映像処理システムによれば、
表示装置は、デジタルサイネージ装置であり、
表示装置及び携帯端末は、近距離無線リンク又はケーブルを介して接続されていることも好ましい。
【００２１】
本発明によれば、ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置を、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付けるように機能させる映像処理プログラムであって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
してコンピュータ装置を機能させることを特徴とする。
【００２２】
本発明によれば、ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置が、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける映像処理方法であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する第１のステップと、
第１のステップの実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する第２のステップと、
第２のステップによって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する第３のステップと、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける第４のステップと
を有することを特徴とする。
【発明の効果】
【００２３】
本発明の映像処理装置、システム、プログラム及び方法によれば、表示映像の座標と撮影映像の座標とを対応付ける射影変換行列を少ない計算量で算出することができると共に、全ての撮影映像と全ての表示映像とを照合しないために、リアルタイムな応答性と高いロバスト性とを有することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明におけるデジタルサイネージの使用形態を表す説明図である。
【図２】本発明におけるフローチャートである。
【図３】本発明における表示映像と撮影映像とを対応付ける第１の説明図である。
【図４】本発明における表示映像と撮影映像とを対応付ける第２の説明図である。
【図５】本発明における射影変換行列を表す説明図である。
【図６】本発明の表示装置及び携帯電話機における第１の機能構成図である。
【図７】本発明の表示装置及び携帯電話機における第２の機能構成図である。
【図８】本発明の表示装置及び携帯電話機における第３の機能構成図である。
【図９】本発明の表示装置及び携帯電話機における第４の機能構成図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２６】
図１は、本発明におけるデジタルサイネージの使用形態を表す説明図である。
【００２７】
図１によれば、公共の場に、デジタルサイネージとしての表示装置１が設置されている。表示装置１は、ディスプレイ１０１に様々な広告用映像を表示し、公衆に視聴させる。表示装置１のディスプレイ１０１に表示される映像は、ネットワークを介して、配信サーバから受信されたものであってもよい。
【００２８】
また、図１によれば、表示装置１は、映像を表示するディスプレイ１０１と、携帯電話機２と無線リンクを介して通信するための近距離無線インタフェース部１０２とを有する。近距離無線インタフェース部１０２は、例えばBluetooth又は無線ＬＡＮ(Local Area Network)であってもよい。また、近距離無線に限られず、広域の携帯電話網を介した通信であってもよい。尚、表示装置１は、無線リンクに限られず、例えばＵＳＢ(Universal Serial Bus)ケーブルやＬＡＮケーブルを介して、携帯電話機２に接続されるものであってもよい。
【００２９】
携帯電話機２は、カメラ部２０と、近距離無線インタフェース部２２と、ディスプレイ２２とを有する。視聴者は、表示装置１のディスプレイ１０１に表示されている映像を視聴しているとする。ここで、視聴者は、携帯電話機２を把持し、携帯電話機２のカメラ部２０を表示装置１のディスプレイ１０１へ向ける。これにより、視聴者は、携帯電話機２のディスプレイ２２を閲覧しながら、カメラ部２０によって表示装置１のディスプレイ１０１の映像を撮影することができる。携帯電話機２は、カメラ部２０によって撮影した撮影映像を、近距離無線インタフェース部２２から表示装置１へ送信し続ける。
【００３０】
本発明によれば、表示装置１のディスプレイ１０１に、ポインタが表示される。このポインタは、携帯電話機２のディスプレイ２２に表示される映像の中心点に対応する。即ち、視聴者の認識は、カメラ部２０によって映像を撮影する操作ではなく、表示装置１のディスプレイ１０１に表示されるポインタを動かす操作である。ポインティングデバイスを操作しているものと同じ認識である。これは、撮影映像の中心座標を、表示映像の座標に対応付けることによって実現できる。
【００３１】
図２は、本発明におけるフローチャートである。
【００３２】
［Ｓ２１］視聴者の操作に応じて、携帯電話機２のカメラ部２０は、表示装置１のディスプレイ部１０１へ向けられる。そして、カメラ部２０は、表示装置１のディスプレイ部１０１に表示される映像（撮影映像）を撮影する。
【００３３】
［Ｓ２２］携帯電話機２は、時間的に連続となるその撮影映像を、ストリーミングによって表示装置１へ送信し続ける。
【００３４】
［Ｓ２３］表示装置１は、最初に、カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を開始する。
【００３５】
ここで、「キー撮影フレーム」とは、表示フレームの座標と撮影フレームの座標とが対応付けられた、最後の撮影フレームを意味する。即ち、同一時刻（現時刻tよりも過去時刻key）における両フレームを対応付ける演算処理時間の間であっても、現時刻tにおける撮影フレームＣtは進行している。従って、同一時刻の表示フレームＤkeyの座標と対応付けのための演算処理がなされている撮影フレームＣkeyを、「キー撮影フレーム」とする。また、「キー撮影フレーム候補」とは、第１の射影変換行列Ｈkey_cMatchの演算処理中にある撮影フレームを意味する。
【００３６】
撮影フレームの座標と、表示フレームの座標との間は、射影幾何学によれば線形である。従って、射影変換行列Ｈによって、座標を置き換えることができる。
【数１】
特徴領域の対応から、平面射影変換行列Ｈを算出する。平面射影変換行列Ｈの未知パラメータ数は、８個（h0〜h7）であり、一組の対応点は２個の式を与える。従って、４組以上の対応点があれば、最小二乗法によってこの行列を計算することができる。
【００３７】
そして、表示装置１は、第１の射影変換行列Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する。
【００３８】
第１の射影変換行列Ｈkey_cMatchは、キー撮影フレーム候補Ｃkey_c及び表示フレームＤkey_cから抽出した局所特徴領域の対応によって算出されることも好ましい。ここで、局所特徴領域には、回転やスケールの変化にロバスト性が高く、比較的計算量が大きいものを利用することができる。局所特徴領域の検出には、SIFT、SURF、MSER、Hessian-Affine、Harris-Affine等のアルゴリズムが利用できる。また、特徴領域の記述には、SIFT、SURF、PCA-SIFT等のアルゴリズムが利用できる。これらのアルゴリズムによって抽出された局所特徴を、最近傍探索によって対応付け、その対応組からRANSACアルゴリズムを用いて射影変換行列を推定することができる（例えば非特許文献２参照）。従って、比較的計算量を要する第１の射影変換行列Ｈkey_cMatchの算出に必要な演算処理時間う比較的長い。
【００３９】
［Ｓ２４］Ｓ２３と並行して、表示装置１は、現時刻tにおける現撮影フレームＣtから過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する。ここで、第１の撮影映像の座標と、第２の撮影映像の座標との間も、射影幾何学によれば線形である。従って、射影変換行列Ｈによって、座標を置き換えることができる。
【００４０】
ここで、表示装置１は、現時刻tにおける現撮影フレームＣtから、前の時刻t-1における前撮影フレームＣt-1への射影変換行列Ｈt,t-1Trackを局所特徴領域の追跡を用いて算出する。即ち、射影変換行列Ｈt,t-1Trackを逐次累積的に乗算することによって、現撮影フレームＣtからキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrack（＝Ｈkey+1,keyTrack・...・Ｈt-1,t-2Track・Ｈt,t-1Track）を算出する。このように、カメラによって撮影された撮影フレームを追跡することによって、第２の射影変換行列Ｈt,keyTrackが算出される。
【００４１】
尚、「局所特徴領域」とは、画像の中に、複数の局所領域を設定し、その特徴量を抽出する。これによって、画像の中で、認識対象が隠蔽されていても、見える領域の特徴量を用いることによって認識可能となる。カメラ追跡では、高速且つ計算量の小さい特徴領域を利用する（例えば非特許文献３参照）。また、FASTやSUSANと呼ばれる特徴領域も利用できる。これらの特徴領域から、ＬＫ法などを利用して、オプティカルフローを求める。従って、比較的計算量が小さい第２の射影変換行列Ｈt,keyTrackの算出に必要な演算処理時間は比較的短い。
【００４２】
［Ｓ２５］そして、Ｓ２４によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する。
【００４３】
［Ｓ２６］第３の射影変換行列Ｈ3C→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００４４】
［Ｓ２７］携帯電話機２のカメラをポインティングデバイスとして用いる場合、第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の中心座標を、表示装置の表示映像の座標へ変換する。これによって、視聴者から見ると、携帯電話機２のカメラの向きに応じて、表示装置のディスプレイにポインタが表示される。視聴者は、携帯電話機のカメラの向きに応じてポインティングデバイスを操作しているように認識する。
【００４５】
図３は、本発明における表示映像と撮影映像とを対応付ける第１の説明図である。また、図５は、本発明における射影変換行列を表す説明図である。図３の射影変換行列は、図５の射影変換行列に対応する。
【００４６】
図３によれば、時間経過t=1〜5に対応して、表示装置１の表示映像における表示フレームＤtと、カメラの撮影映像における撮影フレームＣtとが表されている。
【００４７】
（現時刻t=1）最初に、時刻t=1における撮影フレーム候補Ｃ1から、表示フレームＤ1への第１の射影変換行列Ｈ1Matchの計算処理を開始する（図２のＳ２３参照）。現時刻t=1ではまだ、キー撮影フレームが存在しないために、第３の射影変換行列Ｈ1C→Dを算出することはできない。
【００４８】
（現時刻t=2）次に、現時刻t=2における現撮影フレームＣ2から、過去時刻t=1における撮影フレームＣ1への第２の射影変換行列Ｈ2,1Trackを算出する（図２のＳ２４参照）。過去時刻t=1と同様にまだ、第３の射影変換行列Ｈ2C→Dを算出することはできない。
【００４９】
（現時刻t=2.5）現時刻t=2.5で、撮影フレーム候補Ｃ1から表示フレームＤ1への第１の射影変換行列Ｈ1Matchの計算処理が終了したとする。この計算処理には、過去時刻t=1から現時刻t=2.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=1で更新し、第１の射影変換行列ＨkeyMatchをＨ1Matchによって更新する（key=1）。「キー撮影フレーム」とは、過去時刻t-n(=key)における表示フレームＣt-nの座標と撮影フレームＤt-nの座標とが対応付けられた最後の撮影フレームを意味する。
【００５０】
（現時刻t=3）現時刻t=3における現撮影フレームＣ3から、過去時刻t=2における過去フレームＣ2への第２の射影変換行列Ｈ3,2Trackを算出する。現時刻t=3ではキー撮影フレームＣ1が存在するので、第３の射影変換行列Ｈ3C→D算出のためにＨ3,1Trackを算出する。即ち、過去時刻t=2について算出した第２の射影変換行列Ｈ2,1Trackと、現時刻t=3について算出した第２の射影変換行列Ｈ3,2Trackとを乗算することによって、第２の射影変換行列Ｈ3,1Trackを算出する。第２の射影変換行列Ｈ3,1Trackは、現時刻t=3における現撮影フレームＣ3から、過去時刻key=1(=t-2)における撮影フレームＣ1への射影変換行列である。
【００５１】
第２の射影変換行列Ｈ3,1Trackに、第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ3から表示フレームＤ3への第３の射影変換行列Ｈ3C→Dを算出する。射影変換行列Ｈ3C→D用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００５２】
次に、時刻t=3における撮影フレーム候補Ｃ3から、表示フレームＤ3への第１の射影変換行列Ｈ3Matchの計算処理を開始する。
【００５３】
（現時刻t=4）時刻t=3の処理と同様に、現時刻t=4における現撮影フレームＣ4から、過去時刻t=3における過去フレームＣ3への第２の射影変換行列Ｈ4,3Trackを算出する。そして、過去時刻t=3について算出した第２の射影変換行列Ｈ3,1Trackと、現時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackとを乗算することによって、第２の射影変換行列Ｈ4,1Trackを算出する。
【００５４】
更に、第２の射影変換行列Ｈ4,1Trackに第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ4から表示フレームＤ4への第３の射影変換行列Ｈ4C→Dを算出する。第３の射影変換行列Ｈ4C→Dによって、現時刻t=4におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００５５】
（現時刻t=4.5）現時刻t=4.5で、撮影フレーム候補Ｃ3から表示フレームＤ3への第１の射影変換行列Ｈ3Matchの計算処理が終了したとする。この計算処理には、過去時刻t=3から現時刻t=4.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=3で更新し、第１の射影変換行列ＨkeyMatchをＨ3Matchによって更新する（key=3）。
【００５６】
（現時刻t=5）現時刻t=5における現撮影フレームＣ5から、過去時刻t=4における過去フレームＣ4への第２の射影変換行列Ｈ5,4Trackを算出する。現時刻t=5ではキー撮影フレームＣ3が存在するので、第３の射影変換行列Ｈ5C→D算出のためにＨ5,3Trackを算出する。即ち、過去時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackと、現時刻t=5について算出した第２の射影変換行列Ｈ5,4Trackとを乗算することによって、第２の射影変換行列Ｈ5,3Trackを算出する。第２の射影変換行列Ｈ5,3Trackは、現時刻t=5における現撮影フレームＣ5から、過去時刻key=3(=t-2)における撮影フレームＣ3への射影変換行列である。
【００５７】
更に、第２の射影変換行列Ｈ5,3Trackに第１の射影変換行列Ｈ3Matchを乗算することによって、現撮影フレームＣ5から表示フレームＤ5への第３の射影変換行列Ｈ5C→Dを算出する。第３の射影変換行列Ｈ5C→Dによって、現時刻t=5におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００５８】
そして、次に、時刻t=5における撮影フレーム候補Ｃ5から、表示フレームＤ5への第１の射影変換行列Ｈ5Matchの計算処理を開始する。
【００５９】
図４は、本発明における表示映像と撮影映像とを対応付ける第２の説明図である。図４の射影変換行列も、図５の射影変換行列に対応する。
【００６０】
図４によれば、図３と比較して、中間表示フレームＤt'を更に生成している点のみが相違する。
【００６１】
（現時刻t=1）最初に、第４の射影変換行列Ｈ1Transを用いて、表示フレームＤ1を、中間表示フレームＤ1'へ変換する。ここで、Ｈ1Transの初期値は、単位行列である（図５参照）。次に、時刻t=1における撮影フレーム候補Ｃ1から、中間表示フレームＤ1'への第５の射影変換行列Ｈ1Match'の計算処理を開始する。現時刻t=1ではまだ、キー撮影フレームが存在しないために、第３の射影変換行列Ｈ1C→Dを算出することはできない。
【００６２】
（現時刻t=2）次に、現時刻t=2における現撮影フレームＣ2から、過去時刻t=1におけるキー撮影フレームＣ1への第２の射影変換行列Ｈ2,1Trackを算出する。過去時刻t=1と同様にまだ、第３の射影変換行列Ｈ2C→Dを算出することはできない。
【００６３】
（現時刻t=2.5）現時刻t=2.5で、撮影フレーム候補Ｃ1から中間表示フレームＤ1'への第５の射影変換行列Ｈ1Match’の計算処理が終了したとする。この計算処理には、過去時刻t=1から現時刻t=2.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=1で更新し、第１の射影変換行列ＨkeyMatchをＨ1Matchによって更新する（key=1）。また、第５の射影変換行列Ｈ1Match’に、第４の射影変換行列Ｈ1Transの逆行列を乗算することによって、第１の射影変換行列Ｈ1Matchを算出する。
【００６４】
（現時刻t=3）現時刻t=3における現撮影フレームＣ3から、過去時刻t=2における過去フレームＣ2への第２の射影変換行列Ｈ3,2Trackを算出する。現時刻t=3ではキー撮影フレームＣ1が存在するので、第３の射影変換行列Ｈ3C→D算出のためにＨ3,1Trackを算出する。即ち、過去時刻t=2について算出した第２の射影変換行列Ｈ2,1Trackと、現時刻t=3について算出した第２の射影変換行列Ｈ3,2Trackとを乗算することによって、第２の射影変換行列Ｈ3,1Trackを算出する。
【００６５】
第２の射影変換行列Ｈ3,1Trackに、第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ3から表示フレームＤ3への第３の射影変換行列Ｈ3C→Dを算出する。射影変換行列Ｈ3C→D用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００６６】
次に、第４の射影変換行列Ｈ3Transを用いて、表示フレームＤ3を中間表示フレームＤ3'へ変換する。第４の射影変換行列Ｈ3Transは、前の第１の射影変換行列Ｈ1Matchの逆行列である。そして、時刻t=3における撮影フレーム候補Ｃ3から、中間表示フレームＤ3'への第５の射影変換行列Ｈ3Match'の計算処理を開始する。
【００６７】
（現時刻t=4）時刻t=3の処理と同様に、現時刻t=4における現撮影フレームＣ4から、過去時刻t=3における過去フレームＣ3への第２の射影変換行列Ｈ4,3Trackを算出する。そして、過去時刻t=3について算出した第２の射影変換行列Ｈ3,1Trackと、現時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackとを乗算することによって、第２の射影変換行列Ｈ4,1Trackを算出する。
【００６８】
更に、第２の射影変換行列Ｈ4,1Trackに第１の射影変換行列Ｈ1Matchを乗算することによって、現撮影フレームＣ4から表示フレームＤ4への第３の射影変換行列Ｈ4C→Dを算出する。第３の射影変換行列Ｈ4C→Dによって、現時刻t=4におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００６９】
（現時刻t=4.5）現時刻t=4.5で撮影フレーム候補Ｃ3から中間表示フレームＤ3'への第５の射影変換行列Ｈ3Match’の計算処理が終了したとする。この計算処理には、過去時刻t=3から現時刻t=4.5まで要している。このとき、キーフレーム時刻t=keyをkey_c=3で更新し、第１の射影変換行列ＨkeyMatchをＨ3Matchによって更新する（key=3）。また、第５の射影変換行列Ｈ3Match’に、第４の射影変換行列Ｈ3Transの逆行列を乗算することによって、第１の射影変換行列Ｈ3Matchを算出する。
【００７０】
（現時刻t=5）現時刻t=5における現撮影フレームＣ5から、過去時刻t=4における過去フレームＣ4への第２の射影変換行列Ｈ5,4Trackを算出する。現時刻t=5ではキー撮影フレームＣ3が存在するので、第３の射影変換行列Ｈ5C→D算出のためにＨ5,3Trackを算出する。即ち、過去時刻t=4について算出した第２の射影変換行列Ｈ4,3Trackと、現時刻t=5について算出した第２の射影変換行列Ｈ5,4Trackとを乗算することによって、第２の射影変換行列Ｈ5,3Trackを算出する。第２の射影変換行列Ｈ5,3Trackは、現時刻t=5における現撮影フレームＣ5から、過去時刻key=3(=t-2)における撮影フレームＣ3への射影変換行列である。
【００７１】
更に、第２の射影変換行列Ｈ5,3Trackに第１の射影変換行列Ｈ3Matchを乗算することによって、現撮影フレームＣ5から表示フレームＤ5への第３の射影変換行列Ｈ5C→Dを算出する。第３の射影変換行列Ｈ5C→Dによって、現時刻t=5におけるカメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００７２】
そして、次に、時刻t=5における撮影フレーム候補Ｃ5から、中間表示フレームＤ5'への第１の射影変換行列Ｈ5Match'の計算処理を開始する。
【００７３】
最後に、本発明の表示装置及び携帯電話機における機能構成について説明する。本発明における各機能構成部は、表示装置、携帯電話機及び映像処理装置それぞれに割り当てることができる。
【００７４】
図６は、本発明の表示装置及び携帯電話機における第１の機能構成図である。
【００７５】
図６によれば、映像処理装置の機能は全て、表示装置１に一体的に搭載されている。また、携帯電話機２は、カメラ部２０と、近距離無線インタフェース部２１とを有する。携帯電話機２は、カメラ部２０によって撮影した撮影映像を、近距離無線インタフェース部２１を介して表示装置１へ送信する。
【００７６】
表示装置１は、映像処理機能として、キー撮影フレーム照合部１１１と、カメラ追跡部１１２と、現映像照合部１１３と、座標照合部１１４と、ポインティング指示部１１５と、映像表示制御部１１６とを有する。これら機能構成部は、表示装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００７７】
キー撮影フレーム照合部１１１は、図２におけるＳ２３と同様の処理を実行する。キー撮影フレーム照合部１１１は、カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する。
【００７８】
また、キー撮影フレーム照合部１１１は、以下のステップを実行するものであってもよい。
（Ｓ１）以前に照合された際の第１の射影変換行列ＨkeyMatchの逆行列（ＨkeyMatch）-1を、第４の射影変換行列Ｈkey_cTransとして算出する。
（Ｓ２）第４の射影変換行列Ｈkey_cTransを用いて、表示フレームＤkey_cを中間表示フレームＤkey_c'へ変換する。
（Ｓ３）キー撮影フレーム候補Ｃkey_c及び中間表示フレームＤkey_c’から抽出した局所特徴領域の対応によってＣkey_cからＤkey_c’への第５の射影変換行列Ｈkey_cMatch’を算出する。
（Ｓ４）第５の射影変換行列Ｈkey_cMatch’に第４の射影変換行列Ｈkey_cTransの逆行列を乗算することによって第１の射影変換行列Ｈkey_cMatchを算出する。
【００７９】
カメラ追跡部１１２は、図２におけるＳ２４と同様の処理を実行する。カメラ追跡部１１２は、キー撮影フレーム照合部１１１の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する。
【００８０】
現映像照合部１１３は、図２におけるＳ２５と同様の処理を実行する。現映像照合部１１３は、カメラ追跡部１１２によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する。
【００８１】
座標照合部１１４は、図２におけるＳ２６と同様の処理を実行する。座標照合部１１４は、第３の射影変換行列ＨtC→D用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける。
【００８２】
ポインティング指示部１１５は、図２におけるＳ２７と同様の処理を実行する。ポインティング指示部１１５は、カメラの撮影映像の中心座標を、表示装置の表示映像の座標へ変換し、その位置にポインティングする。
【００８３】
映像表示制御部１１６は、ディスプレイ１０１に対して、例えば広告用映像を表示する。この映像は、ネットワークを介して、コンテンツ配信サーバから受信したものであってもよい。
【００８４】
図７は、本発明の表示装置及び携帯電話機における第２の機能構成図である。
【００８５】
図７のシステムは、テレビ装置である表示装置１と、リモコン装置である携帯電話機２と、セットトップボックスである映像処理装置３とを有する。テレビ装置には、セットトップボックスが接続されている。携帯電話機２は、テレビ装置に表示された表示映像をカメラで撮影すると共に、近距離無線リンクを介してセットトップボックスと通信することができる。セットトップボックスは、近距離無線インタフェース部１０２を有すると共に、映像処理機能として、キー撮影フレーム照合部１１１と、カメラ追跡部１１２と、現映像照合部１１３と、座標照合部１１４と、ポインティング指示部１１５と、映像表示制御部１１６とを有する。これら機能構成部は、セットトップボックスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００８６】
図８は、本発明の表示装置及び携帯電話機における第３の機能構成図である。
【００８７】
図８によれば、携帯電話機に、映像処理機能が一体的に搭載されている。映像処理機能構成部は、携帯電話機に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００８８】
図８によれば、表示装置１は、ディスプレイ１０１に表示している表示映像を、近距離無線リンクを介して、携帯電話機２へ送信する。携帯電話機２は、受信した表示映像を、キー撮影フレーム照合部１１１及び現映像照合部１１３によって処理する。また、携帯電話機２は、カメラの撮影映像の中心座標を表示装置の表示映像の座標へ変換したポインティング座標を、近距離無線リンクを介して、表示装置１へ送信する。これよって、表示装置１は、ディスプレイ１０１に、ポインタを表示することができる。
【００８９】
図９は、本発明の表示装置及び携帯電話機における第４の機能構成図である。
【００９０】
図９によれば、携帯電話機２は、カメラ部２０と、カメラ追跡部１１２と、近距離無線インタフェース部２１とを有する。カメラ追跡部１１２によって算出された、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackは、近距離無線インタフェース２１から表示装置１へ送信される。一方で、表示装置１は、キー撮影フレーム照合部１１１と、現映像照合部１１３と、座標照合部１１４と、ポインティング指示部１１５と、映像表示制御部１１６とを有する。表示装置１は、携帯電話機２から受信した第２の射影変換行列Ｈt,keyTrackを、キー撮影フレーム照合部１１１へ入力する。
【００９１】
以上、詳細に説明したように、本発明の映像処理装置、システム、プログラム及び方法によれば、表示映像の座標と撮影映像の座標とを対応付ける射影変換行列を少ない計算量で算出することができると共に、全ての撮影映像と全ての表示映像とを照合しないために、リアルタイムな応答性と高いロバスト性とを有することができる。
【００９２】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９３】
１ 表示装置
１０１ ディスプレイ部
１０２ 近距離無線インタフェース部
１１１ キー撮影フレーム照合部
１１２ カメラ追跡部
１１３ 現映像照合部
１１４ 座標照合部
１１５ ポインティング表示部
１１６ 映像表示制御部
２ 携帯端末、携帯電話機
２０ カメラ部
２１ 近距離無線インタフェース部
２２ ディスプレイ
３ 映像処理装置、セットトップボックス
【特許請求の範囲】
【請求項１】
ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ前記表示装置の映像を撮影するカメラとに接続され、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付ける映像処理装置であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
前記キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
前記カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
を有することを特徴とする映像処理装置。
【請求項２】
前記座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、前記カメラの撮影映像の中心座標を、前記表示装置の表示映像の座標へ変換するものであり、
前記表示映像に、変換された前記座標を、ポインタとして表示するポインティング指示手段を更に有することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記カメラ追跡手段は、現時刻tにおける現撮影フレームＣtから、前の時刻t-1における前撮影フレームＣt-1への射影変換行列Ｈt,t-1Trackを、局所特徴領域の追跡を用いて算出し、前記射影変換行列Ｈt,t-1Trackを逐次累積的に乗算することによって、現撮影フレームＣtからキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrack（＝Ｈkey+1,keyTrack・...・Ｈt-1,t-2Track・Ｈt,t-1Track）を算出することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記キー撮影フレーム照合手段は、キー撮影フレーム候補Ｃkey_c及び表示フレームＤkey_cから抽出した局所特徴領域の対応によって、Ｃkey_cからＤkey_cへの第１の射影変換行列Ｈkey_cMatchを算出することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項５】
前記キー撮影フレーム照合手段は、
以前に照合された際の第１の射影変換行列ＨkeyMatchの逆行列（ＨkeyMatch）-1を、第４の射影変換行列Ｈkey_cTransとして算出し、
第４の射影変換行列Ｈkey_cTransを用いて、表示フレームＤkey_cを中間表示フレームＤkey_c'へ変換し、
キー撮影フレーム候補Ｃkey_c及び中間表示フレームＤkey_c'から抽出した局所特徴領域の対応によってキー撮影フレーム候補Ｃkey_cからＤkey_c'への第５の射影変換行列Ｈkey_cMatch'を算出するものであり、
第５の射影変換行列Ｈkey_cMatch’に第４の射影変換行列Ｈkey_cTransの逆行列を乗算することによって第１の射影変換行列Ｈkey_cMatchを算出するものであり、
前記現映像照合手段は、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、前記現撮影フレームＣtから前記表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出するものであり、
前記座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付けるものである
ことを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の映像処理装置は、前記表示装置に一体的に搭載されたものであり、
前記カメラは、携帯端末に搭載されたものであり、
ユーザによって把持された前記携帯端末は、前記カメラの撮影映像を、前記表示装置へ送信する
ことを特徴とする映像処理システム。
【請求項７】
請求項１から５のいずれか１項に記載の映像処理装置は、セットトップボックスであり、
前記表示装置は、テレビ装置であり、
前記携帯端末は、前記セットトップボックスに対するリモコン装置である
ことを特徴とする映像処理システム。
【請求項８】
請求項１から５のいずれか１項に記載の映像処理装置及びカメラは、前記携帯端末に一体的に搭載されたものであり、
ユーザによって把持された前記携帯端末は、前記表示装置から表示映像を受信すると共に、前記カメラの撮影映像の中心座標を前記表示装置の表示映像の座標へ変換したポインタの座標を、前記表示装置へ送信する
ことを特徴とする映像処理システム。
【請求項９】
請求項１から５のいずれか１項に記載の映像処理装置について、
前記カメラは、携帯端末に搭載されたものであり、
前記携帯端末は、前記カメラ追跡手段を更に有し、当該カメラ追跡手段によって算出された、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、前記表示装置へ送信し、
前記表示装置は、前記キー撮影フレーム照合手段と、前記現映像照合手段と、前記座標照合手段とを有し、前記携帯端末から受信した、前記キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、前記キー撮影フレーム照合手段へ入力する
ことを特徴とする映像処理システム。
【請求項１０】
前記表示装置は、デジタルサイネージ装置であり、
前記表示装置及び前記携帯端末は、近距離無線リンク又はケーブルを介して接続されていることを特徴とする請求項６、８又は９のいずれか１項に記載の映像処理システム。
【請求項１１】
ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ前記表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置を、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付けるように機能させる映像処理プログラムであって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
前記キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
前記カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
してコンピュータ装置を機能させることを特徴とする映像処理プログラム。
【請求項１２】
ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ前記表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置が、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付ける映像処理方法であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する第１のステップと、
第１のステップの実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する第２のステップと、
第２のステップによって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する第３のステップと、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける第４のステップと
を有することを特徴とする映像処理方法。
【請求項１】
ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ前記表示装置の映像を撮影するカメラとに接続され、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付ける映像処理装置であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
前記キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
前記カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
を有することを特徴とする映像処理装置。
【請求項２】
前記座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、前記カメラの撮影映像の中心座標を、前記表示装置の表示映像の座標へ変換するものであり、
前記表示映像に、変換された前記座標を、ポインタとして表示するポインティング指示手段を更に有することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記カメラ追跡手段は、現時刻tにおける現撮影フレームＣtから、前の時刻t-1における前撮影フレームＣt-1への射影変換行列Ｈt,t-1Trackを、局所特徴領域の追跡を用いて算出し、前記射影変換行列Ｈt,t-1Trackを逐次累積的に乗算することによって、現撮影フレームＣtからキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrack（＝Ｈkey+1,keyTrack・...・Ｈt-1,t-2Track・Ｈt,t-1Track）を算出することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記キー撮影フレーム照合手段は、キー撮影フレーム候補Ｃkey_c及び表示フレームＤkey_cから抽出した局所特徴領域の対応によって、Ｃkey_cからＤkey_cへの第１の射影変換行列Ｈkey_cMatchを算出することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項５】
前記キー撮影フレーム照合手段は、
以前に照合された際の第１の射影変換行列ＨkeyMatchの逆行列（ＨkeyMatch）-1を、第４の射影変換行列Ｈkey_cTransとして算出し、
第４の射影変換行列Ｈkey_cTransを用いて、表示フレームＤkey_cを中間表示フレームＤkey_c'へ変換し、
キー撮影フレーム候補Ｃkey_c及び中間表示フレームＤkey_c'から抽出した局所特徴領域の対応によってキー撮影フレーム候補Ｃkey_cからＤkey_c'への第５の射影変換行列Ｈkey_cMatch'を算出するものであり、
第５の射影変換行列Ｈkey_cMatch’に第４の射影変換行列Ｈkey_cTransの逆行列を乗算することによって第１の射影変換行列Ｈkey_cMatchを算出するものであり、
前記現映像照合手段は、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、前記現撮影フレームＣtから前記表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出するものであり、
前記座標照合手段は、第３の射影変換行列ＨtC→Dを用いて、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付けるものである
ことを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の映像処理装置は、前記表示装置に一体的に搭載されたものであり、
前記カメラは、携帯端末に搭載されたものであり、
ユーザによって把持された前記携帯端末は、前記カメラの撮影映像を、前記表示装置へ送信する
ことを特徴とする映像処理システム。
【請求項７】
請求項１から５のいずれか１項に記載の映像処理装置は、セットトップボックスであり、
前記表示装置は、テレビ装置であり、
前記携帯端末は、前記セットトップボックスに対するリモコン装置である
ことを特徴とする映像処理システム。
【請求項８】
請求項１から５のいずれか１項に記載の映像処理装置及びカメラは、前記携帯端末に一体的に搭載されたものであり、
ユーザによって把持された前記携帯端末は、前記表示装置から表示映像を受信すると共に、前記カメラの撮影映像の中心座標を前記表示装置の表示映像の座標へ変換したポインタの座標を、前記表示装置へ送信する
ことを特徴とする映像処理システム。
【請求項９】
請求項１から５のいずれか１項に記載の映像処理装置について、
前記カメラは、携帯端末に搭載されたものであり、
前記携帯端末は、前記カメラ追跡手段を更に有し、当該カメラ追跡手段によって算出された、キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、前記表示装置へ送信し、
前記表示装置は、前記キー撮影フレーム照合手段と、前記現映像照合手段と、前記座標照合手段とを有し、前記携帯端末から受信した、前記キー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを、前記キー撮影フレーム照合手段へ入力する
ことを特徴とする映像処理システム。
【請求項１０】
前記表示装置は、デジタルサイネージ装置であり、
前記表示装置及び前記携帯端末は、近距離無線リンク又はケーブルを介して接続されていることを特徴とする請求項６、８又は９のいずれか１項に記載の映像処理システム。
【請求項１１】
ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ前記表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置を、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付けるように機能させる映像処理プログラムであって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新するキー撮影フレーム照合手段と、
前記キー撮影フレーム照合手段の実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出するカメラ追跡手段と、
前記カメラ追跡手段によって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する現映像照合手段と、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける座標照合手段と
してコンピュータ装置を機能させることを特徴とする映像処理プログラム。
【請求項１２】
ユーザによって視認される映像を表示する表示装置と、ユーザに把持され且つ前記表示装置の表示映像を撮影するカメラとに接続されたコンピュータ装置が、前記カメラの撮影映像の座標と前記表示装置の表示映像の座標とを対応付ける映像処理方法であって、
カメラの撮影映像における時刻t=key_cのキー撮影フレーム候補Ｃkey_cから、表示装置の表示映像における表示フレームＤkey_cへの第１の射影変換行列Ｈkey_cMatchの算出処理を実行し、Ｈkey_cMatchが算出され次第、キーフレーム時刻t=keyをkey_cで更新し、第１の射影変換行列ＨkeyMatchをＨkey_cMatchによって更新する第１のステップと、
第１のステップの実行と並行して、カメラの撮影映像について、現時刻t(=key+n)における現撮影フレームＣtから、過去時刻key(=t-n)におけるキー撮影フレームＣkeyへの第２の射影変換行列Ｈt,keyTrackを算出する第２のステップと、
第２のステップによって第２の射影変換行列Ｈt,keyTrackが算出された際に、第２の射影変換行列Ｈt,keyTrackに第１の射影変換行列ＨkeyMatchを乗算することによって、現撮影フレームＣtから表示フレームＤtへの第３の射影変換行列ＨtC→Dを算出する第３のステップと、
第３の射影変換行列ＨtC→Dを用いて、カメラの撮影映像の座標と表示装置の表示映像の座標とを対応付ける第４のステップと
を有することを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１１３３１６（Ｐ２０１１−１１３３１６Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６９１８３（Ｐ２００９−２６９１８３）
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]