動画提示装置
【課題】歪曲広角画像上で任意の追跡対象物を自動追跡する。
【解決手段】魚眼撮影した歪曲広角画像Ｓを、メモリ１３０内にフレーム単位で入力する。変換部１５０は、格納部１７０内の切出条件に基づき、歪曲画像Ｓの点Ｐの位置から、φで示される向きに、サイズｍの画像を切り出し、正則画像Ｔに変換してメモリ１４０に格納する。追跡開始点Ｑを含む追跡開始指示が与えられると、フラグ設定部２２０はフラグをＯＮにし、点Ｑが新たな点Ｐになるよう更新する。基準色抽出部２００は、新たな点Ｐの近傍色を基準色αとして抽出し、基準色格納部１９０に格納する。近隣ブロック抽出部１６０は、点Ｐの近傍ブロックを抽出し、ブロック選択部１８０は、基準色αに近似する画素数が最大となるブロックを選択する。自動変更部２１０は、選択ブロック内の基準色αに最も適合する色をもつ候補領域の中心点を新たな点Ｐとする更新を行う。
【解決手段】魚眼撮影した歪曲広角画像Ｓを、メモリ１３０内にフレーム単位で入力する。変換部１５０は、格納部１７０内の切出条件に基づき、歪曲画像Ｓの点Ｐの位置から、φで示される向きに、サイズｍの画像を切り出し、正則画像Ｔに変換してメモリ１４０に格納する。追跡開始点Ｑを含む追跡開始指示が与えられると、フラグ設定部２２０はフラグをＯＮにし、点Ｑが新たな点Ｐになるよう更新する。基準色抽出部２００は、新たな点Ｐの近傍色を基準色αとして抽出し、基準色格納部１９０に格納する。近隣ブロック抽出部１６０は、点Ｐの近傍ブロックを抽出し、ブロック選択部１８０は、基準色αに近似する画素数が最大となるブロックを選択する。自動変更部２１０は、選択ブロック内の基準色αに最も適合する色をもつ候補領域の中心点を新たな点Ｐとする更新を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画提示装置に関し、特に、広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置に関する。
【背景技術】
【０００２】
魚眼レンズなどの光学系を備えた広角撮影装置を用いて撮影を行うと、極めて広い視野をもった画像が得られる。ただ、このような広角撮影により得られる画像は、本来は曲面に投影されるべき像になるため、平面的なディスプレイ画面上に表示すると歪んだ画像になる。そこで、通常は、魚眼レンズなどを用いた撮影により得られた歪曲広角画像の一部分を切り出して、歪みの少ない平面正則画像に変換する画像処理を施し、これをディスプレイ画面上に表示する方法が採られる。
【０００３】
たとえば、下記の特許文献１〜３には、魚眼レンズを用いて撮影した歪曲広角画像の一部分を、コンピュータを利用して平面正則画像に変換する技術が開示されている。また、特許文献４には、全方位ミラーを用いて撮影した歪曲広角画像の一部分を平面正則画像に変換する技術が開示されており、特許文献５には、自動車に搭載した超広角カメラによって撮影された歪曲広角画像に対してリアルタイムで歪み補正を施す技術が開示されている。
【０００４】
最近は、セキュリティ確保のため、建物の天井や壁面に設置した防犯カメラで撮影した画像をモニタ画面上に表示し、周囲の監視に役立てるシステムが普及している。このような監視システム用のカメラには、魚眼レンズが用いられることが多く、上述の変換技術を利用すれば、魚眼レンズ付きビデオカメラで撮影した歪曲広角画像からなる動画を、平面正則画像からなる動画としてリアルタイムで観察することが可能になり、１８０°の画角をもった監視システムが構築できる。
【０００５】
このような監視システムの産業分野では、古くから動体追跡の技術が研究されてきている。これはフレーム単位で時系列的に得られる撮影画像を、コンピュータによって解析し、カメラの視野内に存在する特定の追跡対象物を自動的に認識して追尾する技術である。このような動体追跡の技術を、魚眼監視システムに導入する試みも提案されている。たとえば、下記の特許文献６および７には、魚眼レンズによって撮影された歪曲広角画像を解析して動体を認識し、当該動体を含む部分を切り出して平面正則画像に変換した上でモニタ画面に表示する技術が開示されている。
【０００６】
一方、広角撮影装置を用いた撮影画像は、再生時に視線方向を任意に設定できるという利点があるため、このような利点を生かした視聴装置も提案されている。たとえば、下記の特許文献８には、広角撮影装置によって得られた歪曲広角画像に基づいて、視聴者が指定した任意の視線方向の平面正則画像をヘッドアップディスプレイ上に提示する技術が開示されている。上記利点を生かして、今後は、様々な景色や室内の様子を魚眼レンズなどを用いて広角撮影することにより、視聴者が視線方向を自由に変更できる映像コンテンツが普及してゆくものと期待される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３０１２１４２号公報
【特許文献２】特許第３０５１１７３号公報
【特許文献３】特開２００９−１７６２７３号公報
【特許文献４】特開２０１０−１４０２９２号公報
【特許文献５】特開２００６−２４０３８３号公報
【特許文献６】特開２００２−３２９２０７号公報
【特許文献７】特開２０１１−０６１５１１号公報
【特許文献８】特開平８−３３６１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したとおり、これまでにも、広角撮影装置によって得られた歪曲広角画像に対して、動体追跡の技術を導入する提案がなされている。しかしながら、従来提案されている方法は、十分に正確な追跡を行うことができなかったり、複雑なプロセスが必要になったりと、いずれも実用上の問題を抱えている。
【０００９】
その根本的な原因は、歪曲広角画像上では追跡対象物に歪みが生じるという点にある。通常の撮影装置によって得られた平面正則画像上では、追跡対象物は移動によってその位置や大きさが変化することはあるが、全体的な形状には大きな変化は生じない。これに対して、歪曲広角画像は、部分ごとに画像の歪み具合が異なるため、追跡対象物が移動すると、位置や大きさが変化するだけではなく、全体的な形状も大きく変化することになる。このため、従来の一般的な動体認識の技術を、そのまま歪曲広角画像に対して適用することは困難である。
【００１０】
前述したとおり、任意の追跡対象物を自動的に追跡する技術は、魚眼カメラを用いた監視システムや、視線方向を自由に変更できる映像コンテンツの再生システムなど、今後、様々な分野で需要が高まってゆく技術である。
【００１１】
そこで本発明は、広角撮影により得られた歪曲広角画像からなる動画について、その一部分を切り出して再生を行う際に、任意の追跡対象物を自動的に追跡する処理を、より単純なプロセスで正確に実行することが可能な動画提示装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
(1) 本発明の第１の態様は、広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置において、
二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される歪曲広角画像を格納する歪曲広角画像用メモリと、
フレーム単位の時系列データとして順次与えられる第ｉ番目（ｉは、時系列で順次増加する整数）のフレームの歪曲広角画像を、歪曲広角画像用メモリに順次格納する画像入力部と、
二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
平面正則画像用メモリに格納されている平面正則画像を読み出して出力する画像出力部と、
歪曲広角画像の一部から平面正則画像を切り出すための条件として、歪曲広角画像上の１点である切出中心点Ｐと、画像の切り出し向きを示すパラメータφと、所定の倍率ｍと、を含む切出条件を格納する切出条件格納部と、
切出条件格納部に格納されている切出条件に基づいて、歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像の切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して第ｉ番目のフレームの平面正則画像として平面正則画像用メモリに格納する画像切出変換部と、
視聴者からの指示を入力する指示入力部と、
指示入力部が、切出条件を変更する切出条件変更指示を入力したときに、当該指示に基づいて、切出条件格納部に格納されている切出条件を変更する切出条件手動変更部と、
指示入力部が、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替えるとともに、追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐとして、切出条件格納部に格納されている切出中心点Ｐを更新する自動追跡開始処理を実行し、指示入力部が、追跡終了指示を入力したときに、自動追跡フラグをＯＦＦに切り替える自動追跡終了処理を実行する自動追跡フラグ設定部と、
自動追跡フラグがＯＮの場合に、平面正則画像用メモリに格納されている第ｉ番目のフレームの平面正則画像もしくは歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像に基づいて、切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐに位置する追跡対象物の色を代表する第ｉ番目のフレームの基準色αを、ｉが更新するごとに逐次抽出する基準色抽出部と、
基準色抽出部によって抽出された最新の基準色を格納する基準色格納部と、
自動追跡フラグがＯＮの場合に、歪曲広角画像用メモリに格納されている第（ｉ＋１）番目のフレームの歪曲広角画像を複数のブロックに分割し、切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐの近隣の複数のブロックを近隣ブロックとして抽出する近隣ブロック抽出部と、
自動追跡フラグがＯＮの場合に、複数の近隣ブロックのそれぞれについて、ブロック内に含まれる個々の画素のうち、基準色格納部に格納されている第ｉ番目のフレームの基準色αに対して所定の近似範囲に入る色をもつ画素の数を示す近似色画素数を求め、この近似色画素数が最大となるブロックを選択するブロック選択部と、
自動追跡フラグがＯＮの場合に、ブロック選択部が選択したブロック内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、基準色格納部に格納されている第ｉ番目の基準色αに最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を第（ｉ＋１）番目のフレームについての切出中心点Ｐとして、切出条件格納部に格納されている切出中心点Ｐを示す情報を更新する切出条件自動変更部と、
を設けるようにしたものである。
【００１３】
(2) 本発明の第２の態様は、上述した第１の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む１画素の色を基準色αとして抽出するようにしたものである。
【００１４】
(3) 本発明の第３の態様は、上述した第１の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素の色の平均値を基準色αとして抽出するようにしたものである。
【００１５】
(4) 本発明の第４の態様は、上述した第１の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素のうち、中心画素の色に対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値を基準色αとして抽出するようにしたものである。
【００１６】
(5) 本発明の第５の態様は、上述した第３または第４の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素を中心とするｎ行ｎ列の正方画素配列を近傍領域と定義するようにしたものである。
【００１７】
(6) 本発明の第６の態様は、上述した第１〜第５の態様に係る動画提示装置において、
近隣ブロック抽出部が、歪曲広角画像を、縦横に整列して配置された複数の矩形状のブロックに分割し、切出中心点Ｐを含むブロックを中心ブロックとして、この中心ブロックおよびその上下左右および斜め四方に位置する隣接ブロックを含めた合計９ブロック（但し、該当位置に存在しないブロックは除く）を近隣ブロックとして抽出するようにしたものである。
【００１８】
(7) 本発明の第７の態様は、上述した第１〜第６の態様に係る動画提示装置において、
切出条件自動変更部が、所定サイズの画素配列を定義し、当該画素配列の枠をブロック内の所定位置に配置した場合の当該枠内の領域を候補領域とし、画素配列の枠の配置を縦横にそれぞれ１画素ずつずらすことにより、互いに位置が異なる複数の候補領域を定義するようにしたものである。
【００１９】
(8) 本発明の第８の態様は、上述した第７の態様に係る動画提示装置において、
切出条件自動変更部が、候補領域内の画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択するようにしたものである。
【００２０】
(9) 本発明の第９の態様は、上述した第７の態様に係る動画提示装置において、
切出条件自動変更部が、候補領域内の画素のうち、基準色αに対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択するようにしたものである。
【００２１】
(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係る動画提示装置において、
ブロック選択部が、予め近似色画素数の最低基準値を設定し、近似色画素数が最低基準値以上となるブロックが存在しない場合には、ブロックの選択を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えるようにしたものである。
【００２２】
(11) 本発明の第１１の態様は、上述した第１〜第１０の態様に係る動画提示装置において、
切出条件自動変更部が、予め基準色αに対する最低適合基準を設定し、適合の程度が最低適合基準以上となる候補領域が存在しない場合には、最適候補領域の選択および切出中心点Ｐを示す情報の更新を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えるようにしたものである。
【００２３】
(12) 本発明の第１２の態様は、上述した第１、第４、第９の態様に係る動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＨＳＶ表色系で表現して色相Ｈの値を０〜３６０°の角度で表した場合に、「第１の画素の色の色相Ｈを表す角度と第２の画素の色の色相Ｈを表す角度との角度差が所定の許容角θ以下である」との条件を用いるようにしたものである。
【００２４】
(13) 本発明の第１３の態様は、上述した第１、第４、第９の態様に係る動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＲＧＢ表色系で表現し、個々の画素の色を三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットした場合に、「２つの画素の座標点間のユークリッド距離が所定値以下である」との条件を用いるようにしたものである。
【００２５】
(14) 本発明の第１４の態様は、上述した第３、第４、第８、第９の態様に係る動画提示装置において、
複数の画素の色の平均値を算出する際に、個々の画素の画素値をＲＧＢ表色系で表現し、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を当該複数の画素の色の平均値とするようにしたものである。
【００２６】
(15) 本発明の第１５の態様は、上述した第１〜第１４の態様に係る動画提示装置において、
指示入力部が、
上下左右に配置された４個のカーソル移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置と、
４個のカーソル移動ボタンの操作に基づいて上下左右に移動するカーソルの位置を画像出力部に対して指示するカーソル位置指示手段と、
を有し、
画像出力部が、平面正則画像上のカーソル位置指示手段によって指示された位置に、カーソルを重畳した画像を出力し、
自動追跡フラグ設定部が、追跡開始指示ボタンが押された場合に、その時点のカーソルの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行するようにしたものである。
【００２７】
(16) 本発明の第１６の態様は、上述した第１〜第１４の態様に係る動画提示装置において、
指示入力部が、上下左右に配置された４個の画面移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置を備え、
切出条件手動変更部が、４個の画面移動ボタンの操作に基づいて、平面正則画像上での切り出し位置が上下左右に移動するように、切出条件格納部に格納されている切出中心点Ｐを変更する機能を有し、
自動追跡フラグ設定部が、追跡開始指示ボタンが押された場合に、その時点の切出中心点Ｐの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行するようにしたものである。
【００２８】
(17) 本発明の第１７の態様は、上述した第１５または第１６の態様に係る動画提示装置において、
自動追跡フラグ設定部が、コントローラ装置に設けられた追跡終了指示ボタンが押された場合、もしくは、自動追跡フラグがＯＮのときに追跡開始指示ボタンが押された場合に、追跡終了指示が入力されたものとして、自動追跡終了処理を実行するようにしたものである。
【００２９】
(18) 本発明の第１８の態様は、上述した第１５〜第１７の態様に係る動画提示装置において、
コントローラ装置が、倍率ｍを増減する倍率変更ボタンと、画像の切り出し向きを示すパラメータφを増減する向き変更ボタンと、を更に備え、
切出条件手動変更部が、倍率変更ボタンもしくは向き変更ボタンが押された場合に、切出条件変更指示が入力されたものとして、切出条件格納部に格納されている倍率ｍもしくはパラメータφを変更するようにしたものである。
【００３０】
(19) 本発明の第１９の態様は、上述した第１〜第１８の態様に係る動画提示装置において、
画像入力部が、魚眼レンズを用いた撮影により得られた円形の歪曲広角画像を入力して、これを歪曲広角画像用メモリに格納し、
近隣ブロック抽出部が、円形の歪曲広角画像を、複数の矩形状のブロックに分割し、円形の歪曲広角画像の輪郭線から一部でも食み出すブロックについては、近隣ブロックとしての抽出を行わないようにしたものである。
【００３１】
(20) 本発明の第２０の態様は、上述した第１〜第１９の態様に係る動画提示装置を、コンピュータにプログラムを組み込むことにより構成したものである。
【発明の効果】
【００３２】
本発明に係る動画提示装置では、前のフレームの画像上で追跡対象物を代表する基準色αを抽出し、この基準色αを手掛かりに、次のフレームの画像上で追跡対象物の位置を推定する追跡方法が採られる。このため、追跡対象物の形状に関する解析は不要になり、歪曲広角画像上で追跡対象物の形状変化が生じても正確な追跡が可能になる。また、次のフレームの画像上で追跡対象物の位置を推定する際に、当該次のフレームの画像を複数のブロックに分割し、前のフレームにおける追跡対象物の位置の近傍にあるブロックを近隣ブロックとして抽出し、その中から基準色αに近似する画素数が最大となるブロックを選択し、この選択ブロック内の基準色αに最も適合する色をもつ候補領域の位置を追跡対象物の位置とする方法を採るため、遠くのブロック内の類似色をもつ領域を追跡対象物と誤検出することを防ぐことができ、しかも演算負担の少ない比較的単純なプロセスにより、正確な追跡処理が可能になる。
【図面の簡単な説明】
【００３３】
【図１】正射影方式の魚眼レンズを用いた撮影により歪曲広角画像Ｓを形成する基本モデルを示す斜視図である。
【図２】魚眼レンズを用いた撮影によって得られた歪曲広角画像Ｓの一例を示す平面図である（歪曲広角画像Ｓの一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図３】歪曲広角画像Ｓの切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出す例を示す平面図である。
【図４】図２に示す歪曲広角画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの一例を示す平面図である。
【図５】図２に示す歪曲広角画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの別な一例を示す平面図である。
【図６】魚眼レンズ付ビデオカメラ４０により、屋外の風景を撮影する状態を示す側面図である。
【図７】図６に示す魚眼レンズ付ビデオカメラ４０を用いた撮影によって得られる歪曲広角画像Ｓの一例を示す平面図である。
【図８】図７に示す歪曲広角画像Ｓ上に、２通りの切出領域Ｅ１，Ｅ２を設定した例を示す平面図である。
【図９】図８に示す２通りの切出領域Ｅ１，Ｅ２に対応して得られる平面正則画像Ｔ１，Ｔ２を示す平面図である。
【図１０】図６に示す魚眼レンズ付ビデオカメラ４０を用いた撮影によって得られる歪曲広角画像Ｓに存在する追跡対象物６０の一例を示す平面図である。
【図１１】図１０に示す歪曲広角画像Ｓ上で、追跡対象物６０が移動した状態を示す平面図である。
【図１２】図１０および図１１に示す歪曲広角画像Ｓについて、追跡対象物６０を追跡することにより得られる平面正則画像を示す平面図である。
【図１３】本発明の基本的実施形態に係る動画提示装置の構成を示すブロック図である。
【図１４】図１３に示す指示入力部２４０のハードウエア構成部分となるコントローラ装置の正面図である。
【図１５】図１３に示す画像切出変換部１５０による第ｉ番目のフレームについての画像切出処理を示す平面図である。
【図１６】図１５に示す画像切出処理によって得られた平面正則画像の一例を示す平面図である。
【図１７】図１６に示す平面正則画像上に十字カーソルＣを表示させた状態を示す平面図である。
【図１８】図１７に示す十字カーソルＣを、追跡対象物６０上に移動させた状態を示す平面図である。
【図１９】図１８に示すように、十字カーソルＣを追跡対象物６０上に移動させた状態で追跡開始指示を与えたときに得られる第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）を示す平面図である。
【図２０】十字カーソルＣを追跡対象物６０上に移動させて追跡開始指示を与えたときの第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）と平面正則画像Ｔ（ｉ）との関係を示す平面図である。
【図２１】図２０に示す状態で追跡開始指示が与えられたときの第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）と平面正則画像Ｔ（ｉ＋１）との関係を示す平面図である。
【図２２】図２０に示す状態で追跡開始指示が与えられたときの基準色抽出処理の実例を示す平面図である。
【図２３】図２２の近傍領域Ｎの周辺の拡大図である。
【図２４】図２３に示す近傍領域Ｎ内の画素についての表色系の変換処理を示す図である。
【図２５】ＨＳＶ表色系における色相Ｈの近似条件の設定例を示す図である。
【図２６】図１３に示す近隣ブロック抽出部１６０によって行われる近隣ブロック抽出処理の一例を示す平面図である。
【図２７】図２６に示す近隣ブロックＢ１〜Ｂ９の中から、１つのブロックを選択する処理を示す図である。
【図２８】図１３に示す切出条件自動変更部２１０によって行われる最適候補領域の選択処理の一例を示す平面図である。
【図２９】図２８に示す第ｋ番目の候補領域Ａ（ｋ）について、基準色αとの近似度を調べる処理手順を示す図である。
【図３０】第（ｉ＋２）番目のフレームの歪曲広角画像Ｓ（ｉ＋２）から、近隣ブロックが抽出される状態を示す平面図である。
【図３１】第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）上で行われる基準色抽出処理の実例を示す平面図である。
【図３２】一般的なＲＧＢ色空間を示す斜視図である。
【図３３】図３２に示すユークリッド距離ｄを求める演算式を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を図示する実施形態に基づいて説明する。
【００３５】
＜＜＜ §１． 歪曲広角画像と平面正則画像との関係 ＞＞＞
本発明は、広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置に係るものである。ここでは、まず、広角撮影により得られる歪曲広角画像とこれを変換して得られる平面正則画像との関係を簡単に説明しておく。広角撮影装置として最も普及している装置は、魚眼レンズを装着したビデオカメラである。そこで、以下、魚眼レンズを用いた撮影により得られた歪曲広角画像を例にとって、平面正則画像との関係を説明する。
【００３６】
魚眼レンズを用いると、半球状の視野をもって外界の景色を撮影することができる。ただ、得られる撮影画像は、歪曲した円形の広角画像になるため、通常のディスプレイ画面上に表示するには、この歪曲広角画像を、歪みの少ない平面正則画像に変換する処理を行う必要がある。以下、魚眼レンズを用いた撮影により得られた歪曲広角画像の一般的な特徴と、その一部分を切り出して、平面正則画像に変換する処理の基本原理を説明する。
【００３７】
図１は、正射影方式の魚眼レンズを用いた撮影により歪曲広角画像Ｓを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図１に示すモデルは、正射影方式の魚眼レンズについてのものである。図１には、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲広角画像Ｓが形成された例が示されている。ここでは、図示のとおり、Ｚ軸を図の上方にとり、Ｚ軸の正の領域側にドーム状の仮想球面Ｈ（半球）を定義した例を示すことにする。
【００３８】
ＸＹ平面上に形成された歪曲広角画像Ｓは、座標系の原点Ｏを中心とした半径ｒの円を構成する画像であり、Ｚ軸の正の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。図２は、魚眼レンズを用いた撮影によって得られた歪曲広角画像Ｓの一例を示す平面図である。このように、歪曲広角画像Ｓには、Ｚ軸の正の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。なお、図２に示す歪曲広角画像Ｓは、魚眼レンズを用いた撮影により得られた歪曲広角画像の一般的なイメージを示すものであり、実際の魚眼レンズを用いて得られる正確な画像を示すものではない。
【００３９】
実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図１に示すような仮想球面Ｈによってモデル化できる。すなわち、歪曲広角画像Ｓの上面に、半径ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図２において歪曲広角画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図１に示す入射光線Ｌ１の延長線上に存在する物体上の１点を示していることになる。いわば、歪曲広角画像Ｓは、半球状のドームＨの内面に描かれた画像をＸＹ平面上に正射影投影した投影像と言うことができる。
【００４０】
もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図１に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。したがって、前掲の特許文献に開示されている画像変換処理でも、このようなモデルを前提とした手法が示されており、本発明における以下の説明においても、このようなモデルを前提とした説明を行うことにする。
【００４１】
本発明に係る装置では、歪曲広角画像Ｓ上の一部分を切り出して、平面正則画像に変換する処理が必要になる。たとえば、図２に示す歪曲広角画像Ｓを見た視聴者が、その左下に描かれている女性の画像を、歪みのない正しい画像で観察したいと考えたとしよう。このような場合、視聴者は、歪曲広角画像Ｓのどの部分を切り出して変換を行うべきかを指定する必要がある。図３は、図２に示す歪曲広角画像Ｓの一部分を切り出す処理の一例を示す平面図である。この例では、扇形をした切出領域Ｅが描かれており、この切出領域Ｅから歪曲広角画像Ｓの一部分が切り出され、平面正則画像に変換されることになる。
【００４２】
図４は、図３に示す歪曲広角画像Ｓの切出領域Ｅ内の部分画像に対して変換処理を施すことにより得られた平面正則画像Ｔを示す平面図である。ここでは、歪曲広角画像Ｓが、図３に示すとおり、二次元ＸＹ直交座標系上に定義された円形の画像であり、平面正則画像Ｔが、図４に示すとおり、二次元ＵＶ直交座標系上に定義された矩形の画像であるものとする。図２の実写例に示されているとおり、歪曲広角画像Ｓ上での女性の画像は歪みを生じているが、図４の実写例に示されているとおり、変換後の平面正則画像Ｔ上では歪みが修正されている。したがって、平面正則画像Ｔをディスプレイ画面上に表示すれば、視聴者に対して違和感のない画像提示が可能になる。
【００４３】
もちろん、視聴者の要望に応じて、図２に示す歪曲広角画像Ｓの任意の一部分を平面正則画像Ｔに変換することが可能であり、女性の画像の代わりに、樹木の画像や建物の画像についての平面正則画像Ｔを得ることもできる。結局、特定の平面正則画像Ｔを得るためには、歪曲広角画像Ｓのどの位置から、どの向きに、どの程度の大きさの部分画像を切り出すか、という切出条件を決めてやればよい。幾何学的には、この切出条件は、切出中心点Ｐ、切り出し向きを示すパラメータφ、倍率ｍという３つの条件によって構成される。
【００４４】
図３に示す例の場合、点Ｐ（ｘｐ，ｙｐ）が切出中心点Ｐということになる。この切出中心点Ｐ（ｘｐ，ｙｐ）は、ＸＹ座標系上の座標値（ｘｐ，ｙｐ）によって定義することができる。図４に示すとおり、切出中心点Ｐは、平面正則画像Ｔ上では画像の中心点となり、ＵＶ座標系上では座標値（０，０）をもつ原点位置を占める。
【００４５】
一方、パラメータφは、一般に「平面傾斜角」と呼ばれている角度を決めるパラメータであり、図３に示すとおり、切出方向線ＤとＹ軸（あるいはＸ軸）とのなす角度として定義される。この角度φは、平面正則画像Ｔの向きを決定するパラメータであり、図３の点Ｐの位置における切出方向線Ｄの微分方向が、図４の点Ｐの位置におけるＵ軸の方向に一致する。角度φの値を変えて、たとえば、切出方向線Ｄが点Ｐから原点Ｏに向かう方向を向くように設定すると、得られる平面正則画像Ｔは、図５に示すように、女性が横向きの画像になる。図４の画像も図５の画像も、同じ切出中心点Ｐ（ｘｐ，ｙｐ）を指定して得られる画像であるから、いずれも点Ｐを中心点とする画像であるが、切出向きを示すパラメータφが異なるため、女性の向きが異なる結果となっている。
【００４６】
倍率ｍは、変換時のスケーリングファクターを決めるパラメータであり、上例の場合、ｍを大きくすれば、平面正則画像Ｔ上の女性の画像は拡大され、ｍを小さくすれば、平面正則画像Ｔ上の女性の画像は縮小される。別言すれば、倍率ｍは、図３に示す切出領域Ｅのサイズを決定するパラメータであり、ｍを大きくすると、切出領域Ｅの面積は小さくなり、ｍを小さくすると、切出領域Ｅの面積は大きくなる。図４に示す画像と図５に示す画像とを比べると、後者の方が女性の画像が拡大されていることがわかる。したがって、両者は、切出向きを示すパラメータφが異なるだけでなく、倍率ｍも異なっている（後者の方が倍率ｍが大きく設定されており、切出領域Ｅの面積は小さくなる）。
【００４７】
平面正則画像Ｔを表示するディスプレイ装置の画面サイズは、通常、一定であるから、図４に示す画像Ｔも図５に示す画像Ｔも、横方向寸法ａ（水平方向の画素数）および縦方向寸法ｂ（垂直方向の画素数）は同じになる。したがって、倍率ｍの設定によって、切出領域Ｅ内の画素の解像度に比べて、平面正則画像Ｔの解像度が高くなったり低くなったりする。前者の場合は、変換時に画素の補間が行われ、後者の場合は、変換時に画素の間引きが行われることになる。
【００４８】
以上の説明により、歪曲広角画像Ｓから特定の平面正則画像Ｔを得るためには、切出中心点Ｐ、切出向きを示すパラメータφ、倍率ｍという３つの切出条件を設定すればよいことがわかる。この３つの切出条件が定まると、幾何学的には、図３に示すＸＹ平面上に定義された歪曲広角画像Ｓ上の点Ｓｉ（ｘｉ，ｙｉ）に対して、図４に示すＵＶ平面上に定義された平面正則画像Ｔ上の点Ｔｉ（ｕｉ，ｖｉ）が１対１に対応することになる。すなわち、互いに対応するＸＹ座標系上の点Ｓｉ（ｘｉ，ｙｉ）とＵＶ座標系上の点Ｔｉ（ｕｉ，ｖｉ）との間の座標変換式が定義できる。
【００４９】
歪曲広角画像Ｓから平面正則画像Ｔへの変換処理は、このような座標変換式に基づく演算処理ということになる。実際には、図４に示す平面正則画像Ｔを構成するａ×ｂ個の画素のそれぞれについて、その中心位置を示す座標（ｕ，ｖ）に対応するＸＹ平面上での対応座標（ｘ，ｙ）を、上記座標変換式に基づいて求め、歪曲広角画像Ｓ上の対応座標（ｘ，ｙ）の位置にある画素を対応画素として、この対応画素の画素値を、平面正則画像Ｔ上の画素の画素値とする（必要に応じて、補間処理を行う）処理を行えばよい。図３に示す切出領域Ｅは、上記処理において対応画素となった画素群の分布領域として定まることになる（図では、便宜上、切出領域Ｅを扇型で示してあるが、実際には、より複雑な形状になる）。
【００５０】
なお、図２に示す実写例は、図１に示すモデルにおけるＸＹ平面が水平面に一致するようにカメラを配置して、街頭の景色を撮影したものであるが、もちろん、ＸＹ平面が鉛直面に一致するようにカメラを配置して撮影することも可能である。図６は、路面１０、樹木２０、ガードレール３０からなる屋外の風景を、ビデオカメラ４０に魚眼レンズ５０を装着した撮影装置で撮影する状態を示す側面図であり、図７は、このような撮影によって得られた歪曲広角画像Ｓを示す平面図である。魚眼レンズ５０のＸＹ平面が鉛直面となっているため、原点Ｏに位置する被写体に着目すると、Ｘ軸が水平線方向、Ｙ軸が鉛直線方向になっている。しかしながら、原点Ｏから離れるほど、画像の歪みは激しくなる。
【００５１】
図１に示すＸＹ平面をどのような向きに配置して撮影したとしても、幾何学的な光学現象に変わりはないので、この図７に示す歪曲広角画像Ｓについても、上述した方法と同様に、一部分を切り出して平面正則画像に変換することができる。図８は、図７に示す歪曲広角画像Ｓ上に、２通りの切出領域Ｅ１，Ｅ２を設定した例を示す平面図であり、図９は、この２通りの切出領域Ｅ１，Ｅ２に対応して得られる平面正則画像Ｔ１，Ｔ２を示す平面図である。図示のとおり、平面正則画像Ｔ１は、樹木２０の部分の画像になり、平面正則画像Ｔ２は、ガードレール３０の部分の画像になっている。
【００５２】
前述したとおり、実際には、切出領域Ｅ１，Ｅ２は、３つの切出条件を設定することにより定まる。すなわち、図８に示す切出領域Ｅ１は、切出中心点Ｐ１の座標と、切出向きφ１（図示の例では、切出方向線Ｄが右に向く方向）と、倍率ｍ１とを指定することにより一義的に定まり、切出領域Ｅ２は、切出中心点Ｐ２の座標と、切出向きφ２（図示の例では、切出方向線Ｄが右やや斜め上に向く方向）と、倍率ｍ２とを指定することにより一義的に定まる。この例の場合、倍率ｍ２＞ｍ１であるため、切出領域Ｅ２の面積はＥ１の面積より小さくなっている。なお、切出領域Ｅ１，Ｅ２の形状は、実際には、曲線の輪郭で囲まれた複雑な形状になるが、図８では、便宜上、四角形の領域として示している。本願では、以後、説明の便宜上、個々の切出領域を四角形の領域として図示することにする。
【００５３】
これまで、１枚の静止画像としての歪曲広角画像Ｓと、その一部分を切り出して得られた平面正則画像Ｔとの関係を説明したが、これらの静止画像を時系列で順次提示すれば、動画の提示が可能になる。たとえば、魚眼レンズを装着したビデオカメラを用いて、１秒間に３０フレームのレートで動画撮影を行えば、図７に示すような歪曲広角画像Ｓが１秒間に３０枚分得られることになる。これら３０枚の歪曲広角画像Ｓから、それぞれ平面正則画像Ｔを切り出して順次提示すれば、平面正則画像からなる１秒間の動画提示が可能になる。
【００５４】
しかも、動画を再生中に、途中で切出条件を変更することも可能なので、同一の歪曲広角画像Ｓからなる動画データを用いたとしても、再生時に視聴者が自由に設定した切出条件によって、ディスプレイ画面に提示される平面正則画像からなる動画の内容は変わってくる。たとえば、動画の前半部分は、切出中心点Ｐ１を指定することにより、図９(a) に示すように、樹木２０を表示させ、後半部分は、切出中心点Ｐ２を指定することにより、図９(b) に示すように、ガードレール３０を表示させる、という動画の提示態様が可能になる。
【００５５】
本発明の目的は、歪曲広角画像からなる動画について、その一部分を切り出して再生を行う際に、任意の追跡対象物を自動的に追跡する処理を行うことにある。たとえば、図１０に示すように、ある時点ｔ１において、歪曲広角画像Ｓ（１）に猫６０が現れたとしよう。この場合、図示のとおり、猫６０の上に切出中心点Ｐ（１）を設定し、切出向きφおよび倍率ｍを適当に設定すれば、猫６０を含む切出領域Ｅ（１）を定めることができる。そして、続く時点ｔ２，ｔ３，... ，ｔ９で猫が左方に移動し、時点ｔ９において、図１１に示すような歪曲広角画像Ｓ（９）が得られたものとしよう。この場合も、図示のとおり、猫６０の上に切出中心点Ｐ（９）を設定し、切出向きφおよび倍率ｍを適当に設定すれば、猫６０を含む切出領域Ｅ（９）を定めることができる。
【００５６】
図１２(a) ，(b) は、このような切出条件に基づいて得られた平面正則画像Ｔ（１），Ｔ（９）を示す平面図である。平面正則画像Ｔ（１）は、図１０に示す時点ｔ１における歪曲広角画像Ｓ（１）内の切出領域Ｅ（１）に対応する画像であり、平面正則画像Ｔ（９）は、図１１に示す時点ｔ９における歪曲広角画像Ｓ（９）内の切出領域Ｅ（９）に対応する画像である。いずれの画像も、猫６０を画面内に含む画像になっている。
【００５７】
視聴者は、動画を再生しながら、切出中心点Ｐの位置を逐次変更する指示を与えるようにすれば、猫６０が常に平面正則画像Ｔ内に表示されるような手動追跡操作を行うことができる。たとえば、時点ｔ１において、図１２(a) に示すような平面正則画像Ｔ（１）が得られるような切出条件を設定したものとしよう。この場合、切出条件が一定のままだと、時点ｔ２，ｔ３と時間が経過するにしたがって、猫６０は画面の左側へと姿を消してゆくことになる。そこで、視聴者は、平面正則画像Ｔ上で切出中心点Ｐを左方向に移動させるような指示操作を行えば、画面枠により猫６０を追っかけることができる。
【００５８】
しかしながら、猫６０の行き先を正確に予測することは困難なため、このような手動による追跡操作は不正確であり、また、視聴者の労力負担も大きくならざるを得ない。本発明は、このような場合に、猫６０を自動追跡することが可能な効率的な方法を提案するものである。本発明に係る動画提示装置を用いると、たとえば時点ｔ１において、図１０に示す猫６０を追跡対象物として指定して追跡開始指示を与えると、時点ｔ２，ｔ３，... ，ｔ９と経過するにしたがって、切出中心点の位置が、自動的にＰ（２），Ｐ（３），... ，Ｐ（９）と更新され、平面正則画像Ｔ上に追跡対象物である猫６０が表示され続けることになる。以下、その具体的な仕組みを説明する。
【００５９】
＜＜＜ §２． 本発明に係る動画提示装置の基本構成および動作 ＞＞＞
図１３は、本発明の基本的実施形態に係る動画提示装置の構成を示すブロック図である。図において、画像入力部１１０は、魚眼レンズを装着したビデオカメラなどの広角撮影装置で撮影した動画画像を入力する構成要素である。前述したとおり、このような動画の画像は、時系列で与えられる複数の歪曲広角画像Ｓによって構成される。一方、画像出力部１２０は、入力した歪曲広角画像Ｓの一部分から切り出されて変換された平面正則画像Ｔを出力する構成要素である。この動画提示装置の根本的な機能は、画像入力部１１０によって入力した歪曲広角画像Ｓに基づいて、平面正則画像Ｔを作成し、これを出力することである。
【００６０】
歪曲広角画像用メモリ１３０は、画像入力部１１０によって入力された歪曲広角画像Ｓを格納する構成要素である。§１で述べたとおり、この歪曲広角画像Ｓは、二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される画像であり、魚眼レンズを用いた撮影を行った場合、円形の画像になる。一方、平面正則画像用メモリ１４０は、変換により得られた平面正則画像Ｔを格納する構成要素である。§１で述べたとおり、この平面正則画像Ｔは、二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画像であり、ここに示す例の場合、通常のディスプレイ画面に表示するのに適した矩形の画像である。
【００６１】
ここでは、画像入力部１１０によって、１秒間に３０フレームのレートで撮影された動画を構成する歪曲広角画像Ｓが入力された場合を例にとって、以下の説明を行うことにする。この場合、画像入力部１１０は、第１番目のフレーム、第２番目のフレーム、第３番目のフレーム、... というように、フレーム単位の時系列データとして順次与えられる第ｉ番目（ｉは、時系列で順次増加する整数）のフレームの歪曲広角画像を、歪曲広角画像用メモリ１３０に順次格納する処理を行うことになる。
【００６２】
歪曲広角画像用メモリ１３０は、画像入力部１１０から順次与えられるフレーム単位の歪曲広角画像Ｓを少なくとも１フレーム分だけ格納する機能を有している。歪曲広角画像用メモリ１３０に格納された歪曲広角画像Ｓは、処理が完了した後は消去することができる。同様に、平面正則画像用メモリ１４０は、変換後のフレーム単位の平面正則画像Ｔを少なくとも１フレーム分だけ格納する機能を有している。この平面正則画像用メモリ１４０に格納されている平面正則画像Ｔは、画像出力部１２０によって読み出され、外部の装置（ディスプレイ装置など）へと出力される。この平面正則画像用メモリ１４０に格納された平面正則画像Ｔも、処理が完了した後は消去することができる。
【００６３】
画像切出変換部１５０は、歪曲広角画像用メモリ１３０に格納されている第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）の一部分を切り出して、平面正則画像に変換し、これを第ｉ番目のフレームの平面正則画像Ｔ（ｉ）として平面正則画像用メモリ１４０に格納する処理を行う。§１で述べたとおり、歪曲広角画像Ｓの一部から平面正則画像Ｔを切り出す処理を行うためには、歪曲広角画像Ｓ上の１点である切出中心点Ｐと、画像の切り出し向きを示すパラメータφと、所定の倍率ｍとを含む切出条件を決定すればよい。
【００６４】
切出条件格納部１７０は、これら３つの切出条件Ｐ，φ，ｍを格納する構成要素である。画像切出変換部１５０は、この切出条件格納部１７０に格納されている切出条件に基づいて、歪曲広角画像用メモリ１３０に格納されている第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）の切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して第ｉ番目のフレームの平面正則画像Ｔ（ｉ）として平面正則画像用メモリ１４０に格納する処理を行うことになる。
【００６５】
§１で述べたとおり、画像切出変換部１５０によって実行される歪曲広角画像Ｓから平面正則画像Ｔへの変換処理は、実際には、平面正則画像Ｔを構成する個々の画素のそれぞれについて、歪曲広角画像用メモリ１３０に格納されている歪曲広角画像Ｓ内の対応画素の画素値を与える処理ということができる。
【００６６】
たとえば、平面正則画像Ｔを構成する特定の画素の画素値を得るには、当該特定の画素の中心位置を示す座標（ｕ，ｖ）を求め、当該座標（ｕ，ｖ）に対応するＸＹ平面上での対応座標（ｘ，ｙ）を、所定の座標変換式に基づいて求める。そして、広角画像用メモリ１３０に格納されている歪曲広角画像Ｓ上の対応座標（ｘ，ｙ）の位置にある画素を対応画素として、この対応画素の画素値を得ればよい。画像切出変換部１５０は、平面正則画像用メモリ１４０内の当該特定の画素について、得られた画素値を書き込む処理を行うことになる。
【００６７】
もちろん、必要に応じて、対応座標（ｘ，ｙ）の近傍にある複数の対応画素を定め、これら複数の対応画素の画素値についての補間演算を行って、最終的な画素値を決定するようにすれば、より正確な画像変換を行うことができる。なお、ＵＶ平面上の任意の座標（ｕ，ｖ）から、これに対応するＸＹ平面上の座標（ｘ，ｙ）を求める座標変換式は、前掲の各特許文献にも掲載されているとおり公知の式であり、ここでは詳細な説明は省略する。
【００６８】
上述したとおり、画像切出変換部１５０は、切出条件格納部１７０に格納されている３つの切出条件Ｐ，φ，ｍに基づいて歪曲広角画像Ｓの一部分を切り出し、平面正則画像Ｔに変換する処理を行うことになるが、この３つの切出条件Ｐ，φ，ｍは、動画の提示を受ける視聴者の操作によって変更することができる。すなわち、視聴者が、指示入力部２４０に対して、切出条件を変更する切出条件変更指示を入力すると、切出条件手動変更部２３０は、当該指示に基づいて、切出条件格納部１７０に格納されている切出条件Ｐ，φ，ｍを変更する処理を行う。
【００６９】
切出条件Ｐ，φ，ｍを変更する指示の具体的な入力方法については後述するが、視聴者は、切出中心点Ｐを変更することにより、歪曲広角画像Ｓ内に撮影されている任意の対象物を中心とする平面正則画像Ｔを表示させることができ、切り出し向きを示すパラメータφを変更することにより、当該平面正則画像Ｔを任意の向きに表示させることができ、倍率ｍを変更することにより、当該平面正則画像Ｔを任意の拡大率で表示させることができる。
【００７０】
以上述べた各構成要素は、この動画提示装置の基本機能を実行する構成要素であり、広角撮影によって得られた動画を提示する機能をもった従来の一般的な動画提示装置が備えている公知の構成要素である。本発明の特徴は、このような公知の動画提示装置に、後述するいくつかの新たな構成要素を付加することにより、視聴者が指定した任意の追跡対象物についての自動追跡機能を実現した点にある。
【００７１】
すなわち、本発明に係る動画提示装置には、更に、近隣ブロック抽出部１６０、ブロック選択部１８０、基準色格納部１９０、基準色抽出部２００、切出条件自動変更部２１０、自動追跡フラグ設定部２２０が付加されており、これらの構成要素により自動追跡機能が実現されることになる。
【００７２】
これら新たな構成要素の機能についての説明を行う前に、ここでは、指示入力部２４０のハードウエア構成部分となるコントローラ装置を説明しておく。図１４は、このコントローラ装置３００の一例を示す正面図である。実用上は、このコントローラ装置３００は、パソコンやゲーム専用機などに接続して用いる汎用のゲーム用コントローラ装置をそのまま流用することが可能である。図示の接続ケーブル３５０は、パソコンやゲーム専用機などに接続するためのケーブルである。指示入力部２４０のソフトウエア構成部分となるプログラムに、当該ゲーム用コントローラ装置からの入力を受け付けるための専用インターフェイスを用意しておけば、視聴者は、当該ゲーム用コントローラ装置を用いて、この動画提示装置に対して所望の指示入力を行うことができる。
【００７３】
図示のとおり、このコントローラ装置３００の正面に設けられた操作パネル部３１０には、多数のボタンが配置されている。画面移動ボタン３２０は、上述した切出中心点Ｐを変更する切出条件変更指示を入力するために用いるボタンである。図示の例では、画面移動ボタン３２０は、１枚の円形操作盤によって構成されているが、当該操作盤は、操作パネル部３１０上で上下左右に傾斜し、実質的に上下左右に配置された４個の画面移動ボタンとして機能する。すなわち、この円形操作盤の上部を押し込んで傾斜させると上方の画面移動ボタンが押されたものと認識され、下部を押し込んで傾斜させると下方の画面移動ボタンが押されたものと認識され、左部を押し込んで傾斜させると左方の画面移動ボタンが押されたものと認識され、右部を押し込んで傾斜させると右方の画面移動ボタンが押されたものと認識される。
【００７４】
切出条件手動変更部２３０は、この４個の画面移動ボタンの操作に基づいて、平面正則画像Ｔ上での切り出し位置が上下左右に移動するように、切出条件格納部１７０に格納されている切出中心点Ｐを変更する処理を行う（具体的には、切出中心点Ｐの座標値ｘｐ，ｙｐを変更する処理を行う）。
【００７５】
ここでは、図１５に示すように、第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）から、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）が切り出された状態を考えてみよう。このような切出処理は、切出条件格納部１７０に格納されている切出条件Ｐ（ｉ），φ（ｉ），ｍ（ｉ）に基づいて行われる。すなわち、画像切出変換部１５０は、歪曲広角画像Ｓ（ｉ）の切出中心点Ｐ（ｉ）で示される切り出し位置から、パラメータφ（ｉ）で示される切り出し向きに、倍率ｍ（ｉ）で示される切り出しサイズの画像を切り出し、これを平面正則画像Ｔ（ｉ）に変換する処理を行う。こうして得られた平面正則画像Ｔ（ｉ）の原点Ｇは、切出中心点Ｐ（ｉ）に対応した点になる。
【００７６】
図１６は、このような切出処理によって得られた第ｉ番目のフレームの平面正則画像Ｔ（ｉ）の平面図である。いま、画像出力部１２０から、このような平面正則画像Ｔ（ｉ）が出力され、ディスプレイ画面上に表示されている状態において、視聴者が、円形操作盤３２０を操作した場合を考えてみる。たとえば、視聴者が、円形操作盤３２０の上部を押し込むと、図１６の上方空間が視野に入るように、切り出し位置がこの画面の上方に移動することになる。すなわち、第（ｉ＋１）番目のフレームの切り出しに用いられる切出中心点Ｐ（ｉ＋１）が、図１５に示すＸＹ平面上で原点Ｏの方向に移動した点になるように、切出条件格納部１７０に対する書き換えが行われる。
【００７７】
同様に、図１６に示すような平面正則画像Ｔ（ｉ）が表示されている状態において、視聴者が、円形操作盤３２０の右部を押し込むと、図１６の右方空間が視野に入るように、切り出し位置がこの画面の右方に移動することになる。すなわち、第（ｉ＋１）番目のフレームの切り出しに用いられる切出中心点Ｐ（ｉ＋１）が、図１５に示す切出中心点Ｐ（ｉ）の位置から、円周方向に沿って反時計回りに移動した点になるように、切出条件格納部１７０に対する書き換えが行われる。その結果、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）では、猫６０がより画面の中央寄りの位置にくる。
【００７８】
このように、視聴者は、ディスプレイ画面上に表示されている平面正則画像Ｔからなる動画を見ながら、画面移動ボタン３２０を上下左右に傾斜させることにより、視線方向を所望の方向に移動させる操作（切出中心点Ｐを手動で変更する操作）を行うことができる。したがって、§１で述べたとおり、常に猫６０がディスプレイ画面に表示されるように、手動による追跡操作を行うことができる。
【００７９】
また、視聴者は、倍率向き変更ボタン３３０を操作することにより、ディスプレイ画面に表示される平面正則画像Ｔの倍率および向きを変更することができる。具体的には、倍率向き変更ボタン３３０は、図示のとおり４つの個別ボタンから構成されている。ここで、倍率変更ボタン３３１は、倍率ｍを増加させるためのボタンであり、当該ボタンを押し続けると、切出条件手動変更部２３０は、切出条件格納部１７０に格納されている倍率ｍを徐々に増加させる処理を行う。また、倍率変更ボタン３３２は、倍率ｍを減少させるためのボタンであり、当該ボタンを押し続けると、切出条件手動変更部２３０は、切出条件格納部１７０に格納されている倍率ｍを徐々に減少させる処理を行う。これらのボタンにより、視聴者は、ディスプレイ画面に表示される平面正則画像Ｔに対して、ズームインおよびズームアウトの操作を行うことができる。
【００８０】
一方、向き変更ボタン３３３および３３４は、画像の切り出し向きを示すパラメータφを増減するためのボタンであり、これらのボタンを押し続けると、パラメータφの値が徐々に増加もしくは減少する。これらのボタンにより、視聴者は、ディスプレイ画面に表示される平面正則画像Ｔを時計回りもしくは反時計回りに回転させる操作を行うことができる。
【００８１】
要するに、切出条件手動変更部２３０は、倍率変更ボタン３３１，３３２もしくは向き変更ボタン３３３，３３４が押された場合に、切出条件変更指示が入力されたものとして、切出条件格納部１７０に格納されている倍率ｍもしくはパラメータφを変更する処理を行うことになる。
【００８２】
これに対して、図１４における操作パネル部３１０の右方に配置されたカーソル移動ボタン３４０は、本発明の特徴となる自動追跡機能を利用するためのボタンである。図示のとおり、このカーソル移動ボタン３４０は、上方向移動ボタン３４１、下方向移動ボタン３４２、左方向移動ボタン３４３、右方向移動ボタン３４４、そして追跡開始指示ボタン３４５という５つの個別ボタンによって構成されている。ここに示す実施形態では、これら５つの個別ボタンのいずれかを押すと、図１７に示すように、ディスプレイの表示画面上の中央に十字カーソルＣが表示される構成になっている。この十字カーソルＣは、追跡対象物を指定するために利用される。
【００８３】
視聴者は、上下左右に配置された個別のカーソル移動ボタン３４１〜３４４を押すことにより、この十字カーソルＣを上下左右に移動させることができ、ディスプレイ画面上の動画を見ながら、任意の対象物の上にカーソルＣを移動させることができる。具体的には、指示入力部２４０のソフトウエア構成部分として、この４個のカーソル移動ボタン３４１〜３４４の操作に基づいて上下左右に移動するカーソルの位置を画像出力部１２０に対して指示するカーソル位置指示手段として機能するプログラムを用意しておき、画像出力部１２０に、平面正則画像Ｔ上のカーソル位置指示手段によって指示された位置に、十字カーソルＣを重畳した画像を出力する機能をもたせておけばよい。
【００８４】
ここでは、視聴者が、画面上に現れた猫６０に興味をもち、画面枠がこの猫６０を自動的に追跡し、常に画面上に猫が表示されるようにしたいと考えたものとしよう。この場合、視聴者は、猫６０を追跡対象物として指定して、追跡開始指示を与える操作を行えばよい。ここに示す実施形態の場合、カーソル移動ボタン３４１〜３４４を押しながら、十字カーソルＣを追跡対象物となる猫６０の上にもってゆき、追跡開始指示ボタン３４５を押す操作を行えばよい。
【００８５】
図１８は、図１７に示す十字カーソルＣを、追跡対象物となる猫６０上に移動させた状態を示す平面図である。視聴者が、この状態で、追跡開始指示ボタン３４５を押すと、自動追跡処理が開始する。ここでは、この追跡開始指示ボタン３４５が押された時点の十字カーソルＣの位置を、追跡開始点Ｑと呼ぶことにする。また、追跡開始指示ボタン３４５が押されたときに表示されていた画像（図１８の画像）が、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）であったものとしよう。この場合、指示入力部２４０は、特定の平面正則画像Ｔ（ｉ）上の追跡開始点Ｑの位置を含む追跡開始指示を入力したことになる。
【００８６】
図１３に示す動画提示装置は、このような追跡開始指示の入力を受けた後、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）が到来すると、切出条件格納部１７０内に格納されていた切出中心点Ｐ（ｉ）を、新たな切出中心点Ｐ（ｉ＋１）に更新する処理を行う機能を有している。その結果、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）に対する切出処理は、新たな切出中心点Ｐ（ｉ＋１）に基づいて行われることになり、図１９に示すように、猫６０が画面の中心に位置する第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）が得られることになる。
【００８７】
以後、視聴者が追跡終了指示を入力するまで（あるいは、後述するように、自動追跡処理に失敗するまで）、自動追跡モードが維持され、常に、追跡対象物たる猫６０が画面の中心にくるように、切出中心点Ｐが自動的に更新されることになる。すなわち、第（ｉ＋２）番目のフレームの歪曲広角画像Ｓ（ｉ＋２）に対する切出処理が、新たな切出中心点Ｐ（ｉ＋２）に基づいて行われ、平面正則画像Ｔ（ｉ＋２）が得られ、続いて、第（ｉ＋３）番目のフレームの歪曲広角画像Ｓ（ｉ＋３）に対する切出処理が、新たな切出中心点Ｐ（ｉ＋３）に基づいて行われ、平面正則画像Ｔ（ｉ＋３）が得られ、... といった具合である。
【００８８】
図１３に示す動画提示装置における自動追跡フラグ設定部２２０は、この自動追跡モードのＯＮ／ＯＦＦ状態を切り替える機能を果たす。すなわち、自動追跡フラグ設定部２２０は、ＯＮ／ＯＦＦ状態を示すフラグを内蔵しており、指示入力部２４０が、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替える自動追跡開始処理を実行し、指示入力部２４０が、追跡終了指示を入力したときに、自動追跡フラグをＯＦＦに切り替える自動追跡終了処理を実行する。
【００８９】
指示入力部２４０のハードウエア構成部分として、図１４に示すコントローラ装置３００を利用した場合、自動追跡フラグ設定部２２０は、追跡開始指示ボタン３４５が押されたときに、その時点の十字カーソルＣの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することになる。
【００９０】
なお、自動追跡フラグ設定部２２０が、追跡開始指示を入力したときに実行する自動追跡開始処理には、自動追跡フラグをＯＮに切り替える処理とともに、もう１つ重要な処理が含まれている。すなわち、自動追跡フラグ設定部２２０は、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替えるとともに、当該追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐとして、切出条件格納部１７０に格納されている切出中心点Ｐを更新する処理を実行する。
【００９１】
たとえば、図１８に示す例のように、猫３０の上の追跡開始点Ｑを指定した追跡開始指示が入力された場合、自動追跡フラグ設定部２２０は、自動追跡フラグをＯＮに切り替えるとともに、この追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐ（ｉ）newとして、切出条件格納部１７０に格納されている切出中心点（ここでは、Ｐ（ｉ）oldと呼ぶ）を更新する処理を実行する（すなわち、Ｐ（ｉ）oldは、Ｐ（ｉ）newに書き換えられる）。図１３に示すブロック図において、自動追跡フラグ設定部２２０から切出条件格納部１７０に向かう、文字Ｐが付された矢印は、このような切出中心点Ｐの更新処理を示している。なお、上記Ｐ（ｉ）newは、図１９に示すＰ（ｉ＋１）とは異なる点である。
【００９２】
ここでは、理解を容易にするために、Ｐ（ｉ）old、Ｐ（ｉ）new、Ｐ（ｉ＋１）の相違を、図２０および図２１を参照しながら簡単に説明しておく。いま、画像入力部１１０によって入力された第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）が歪曲広角画像用メモリ１３０に格納されている状態において、画像切出変換部１５０による切出処理が行われ、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）が得られたものとしよう。図２０の左右に示す２つの画像は、このような第ｉ番目のフレームについての歪曲広角画像Ｓ（ｉ）および平面正則画像Ｔ（ｉ）を示している。このとき、切出条件格納部１７０に格納されている切出条件は、図示のとおり、Ｐ（ｉ）old，φ（ｉ），ｍ（ｉ）である。もっとも、Ｐ（ｉ）oldの記号「old」の部分は、後に生成されるＰ（ｉ）newと区別するために付したものであり、切出処理の実行時には、単にＰ（ｉ）と表しておいてもかまわない。
【００９３】
図２０に示す切出領域Ｅ（ｉ）は、歪曲広角画像Ｓ（ｉ）内の切出中心点Ｐ（ｉ）oldで示される切り出し位置から、パラメータφ（ｉ）で示される切り出し向きに、倍率ｍ（ｉ）で示されるサイズの画像を切り出すための領域であり、この切出領域Ｅ（ｉ）から切り出した画像を変換することにより、平面正則画像Ｔ（ｉ）が得られることになる。そして、この平面正則画像Ｔ（ｉ）の中心点（ＵＶ座標系の原点Ｇ）は、歪曲広角画像Ｓ（ｉ）上の切出中心点Ｐ（ｉ）oldに対応する。
【００９４】
ここで、視聴者が、この平面正則画像Ｔ（ｉ）上の追跡開始点Ｑを指定して、追跡開始指示を入力したものとしよう（具体的には、図１８に示すように、十字カーソルＣを追跡開始点Ｑの位置へもってゆき、追跡開始指示ボタン３４５を押す操作を行えばよい）。すると、自動追跡フラグ設定部２２０は、自動追跡フラグをＯＮに切り替えるとともに、追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐ（ｉ）newとする更新処理を実行する。すなわち、図２０に示す平面正則画像Ｔ（ｉ）上では、Ｐ（ｉ）new（追跡開始点Ｑ）は、Ｐ（ｉ）old（原点Ｇ）の右下に位置する点であり、歪曲広角画像Ｓ（ｉ）上でも、Ｐ（ｉ）newは、Ｐ（ｉ）oldより若干ずれた点（猫６０が居る位置）になる。
【００９５】
図２０のＴ（ｉ）と図２１のＴ（ｉ＋１）とを比べてみると、第（ｉ＋１）番目のフレームの切出条件である切出中心点Ｐ（ｉ＋１）の位置を、Ｐ（ｉ）newと同じ位置に設定してもよいように思えるかもしれないが、実際には、猫が静止していない限り、歪曲広角画像Ｓ（ｉ）上の猫の位置と、歪曲広角画像Ｓ（ｉ＋１）上の猫の位置とは異なるので、Ｐ（ｉ）newの位置をそのまま切出中心点Ｐ（ｉ＋１）の位置とすることは好ましくない。第（ｉ＋１）番目のフレームにとっては、Ｐ（ｉ）newは、猫の過去の位置（１フレーム前の位置）を示す座標にすぎない。
【００９６】
そこで、本発明では、Ｐ（ｉ）newと、平面正則画像Ｔ（ｉ）とを利用して、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）上での猫の新しい位置Ｐ（ｉ＋１）を予測し、これを切出条件格納部１７０内の新たな切出中心点Ｐとして更新する処理を行うのである。なお、本発明では、切出向きを示すパラメータφおよび倍率ｍについての自動変更は行わないので、これらについては、前述した手動変更操作が行われない限り、変更は行われない。すなわち、手動変更操作が行われない限り、パラメータφ（ｉ＋１）はφ（ｉ）と同じであり、倍率ｍ（ｉ＋１）はｍ（ｉ）と同じである。図２１に示す切出条件格納部１７０内の切出条件Ｐ（ｉ＋１），φ（ｉ＋１），ｍ（ｉ＋１）は、このようにして決定されたものである。もちろん、必要に応じて、φやｍも自動更新する運用を採用してもかまわない。たとえば、パラメータφに関しては、常に景色の水平面がＵ軸に平行となるように自動調整するようにしてもよい。
【００９７】
画像切出変換部１５０が、第（ｉ＋１）番目のフレームに関する切出処理を行う際には、これら切出条件Ｐ（ｉ＋１），φ（ｉ＋１），ｍ（ｉ＋１）を用いることになる。図２１の左右に示す２つの画像は、このような第（ｉ＋１）番目のフレームについての歪曲広角画像Ｓ（ｉ＋１）および平面正則画像Ｔ（ｉ＋１）を示している。ここで、切出領域Ｅ（ｉ＋１）は、歪曲広角画像Ｓ（ｉ＋１）内の切出中心点Ｐ（ｉ＋１）で示される切り出し位置から、パラメータφ（ｉ＋１）で示される切り出し向きに、倍率ｍ（ｉ＋１）で示されるサイズの画像を切り出すための領域であり、この切出領域Ｅ（ｉ＋１）から切り出した画像を変換することにより、平面正則画像Ｔ（ｉ＋１）が得られることになる。この平面正則画像Ｔ（ｉ＋１）の中心点（ＵＶ座標系の原点Ｇ）は、歪曲広角画像Ｓ（ｉ＋１）上の切出中心点Ｐ（ｉ＋１）に対応する。
【００９８】
図２１に破線で示す切出領域Ｅ（ｉ）は、図２０に示す第ｉ番目のフレームについての切出領域である。新たな切出中心点Ｐ（ｉ＋１）が正しい位置、すなわち、歪曲広角画像Ｓ（ｉ＋１）上の正しい猫の位置を示していれば、図示のとおり、猫が中心に表示された平面正則画像Ｔ（ｉ＋１）が得られることになる。
【００９９】
図１３に示す近隣ブロック抽出部１６０、ブロック選択部１８０、基準色格納部１９０、基準色抽出部２００、切出条件自動変更部２１０は、自動追跡フラグ設定部２２０内の自動追跡フラグがＯＮの場合（すなわち、自動追跡モードがＯＮになっている場合）に機能する構成要素であり、第ｉ番目のフレームについてのＰ（ｉ）newと、Ｔ（ｉ）とを利用して、第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）を求める処理を実行するための構成要素である。図１３において、自動追跡フラグ設定部２２０から他のブロックへ向かう、文字ＯＮが付された矢印は、自動追跡フラグがＯＮであることを示す信号を示している。以下、これら各構成要素の基本機能を説明する。
【０１００】
まず、基準色抽出部２００は、自動追跡フラグがＯＮの場合に、平面正則画像用メモリ１４０に格納されている第ｉ番目のフレームの平面正則画像Ｔ（ｉ）に基づいて、切出条件格納部１７０に格納されている「第ｉ番目のフレームについての切出中心点Ｐ」に位置する追跡対象物の色を代表する第ｉ番目のフレームの基準色α（ｉ）を、ｉが更新するごとに逐次抽出する処理を行う。
【０１０１】
たとえば、図２０に示すように、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）上で、視聴者が追跡対象物となる猫の上に追跡開始点Ｑを指定して追跡開始指示を入力した場合を考える。この追跡開始指示を受けた自動追跡フラグ設定部２２０は、自動追跡フラグをＯＮに設定するとともに、追跡開始点Ｑを新たな切出中心点Ｐ（ｉ）newとする書き換え処理を、切出条件格納部１７０に対して行う。また、自動追跡フラグがＯＮであることを示す信号を基準色抽出部２００に伝達する。
【０１０２】
これを受けた基準色抽出部２００は、切出条件格納部１７０に格納されている書き換え後の切出中心点Ｐ（ｉ）newを読み出し、平面正則画像用メモリ１４０に格納されている第ｉ番目のフレームの平面正則画像Ｔ（ｉ）について、切出中心点Ｐ（ｉ）newに位置する追跡対象物（この例の場合は、猫）の色を代表する代表色を、第ｉ番目のフレームの基準色α（ｉ）として抽出する処理を行うことになる。基準色αは、たとえば、ＲＧＢ表色系で表現した場合に、（Ｒ，Ｇ，Ｂ）という三原色の画素値の組み合わせになり、１つの原色を８ビットの画素値で表した場合、基準色αは、２４ビットのデータによって構成される。
【０１０３】
なお、追跡対象物の代表色を決定するアルゴリズムは、切出中心点Ｐ（ｉ）newの近傍の画素の画素値に基づいて、切出中心点Ｐ（ｉ）newの近傍を代表する色を決定できるアルゴリズムであれば、どのようなアルゴリズムを用いてもかまわない。具体的な処理アルゴリズムの例については、§３で詳述する。
【０１０４】
基準色格納部１９０は、基準色抽出部２００によって抽出された最新の基準色を格納する機能をもった構成要素である。上述したとおり、基準色抽出部２００は、自動追跡フラグがＯＮの場合に、フレーム番号ｉが更新するごとに基準色を逐次抽出する処理を行うことになる。したがって、基準色格納部１９０には、α（ｉ），α（ｉ＋１），α（ｉ＋２），... とフレームが更新するたびに（ここに示す例の場合、１／３０秒おきに）新たな基準色αが与えられることになるが、基準色格納部１９０は、常に最新の基準色αを格納してゆけばよい。
【０１０５】
このように、追跡対象物の色を代表する基準色αを、フレーム単位で更新する理由は、同一の物理的対象物であっても、撮影画像上では、色が変化する可能性があるためである。たとえば、「茶色の毛並みの猫」を追跡対象物とした場合、当該猫の実際の色は短時間で変化するものではないが、背景の照明環境は時間とともに変化してゆく可能性がある。また、撮影に用いたビデオカメラにホワイトバランスを自動調整する機能が備わっていた場合、背景の色相が変わると、撮影画像上では、猫の色も変化することになる。このような事情から、本発明では、追跡対象物の代表色を示す基準色αの値も、フレームごとに逐次更新させるようにしている。
【０１０６】
こうして、第ｉ番目のフレームに関する基準色α（ｉ）が得られたら、続いて、歪曲広角画像用メモリ１３０内に格納されている第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）の中から、基準色α（ｉ）を手掛かりに、追跡対象物を探索する処理を行うことになる。ただ、基準色α（ｉ）だけを手掛かりに探索を行うことは困難であるため、本発明では、第ｉ番目のフレームの切出中心点Ｐ（ｉ）newの位置（猫の過去の位置）も手掛かりに加えて探索を行う。しかも、歪曲広角画像Ｓ（ｉ＋１）を複数のブロックに分割し、候補となるブロックを絞り込む処理を行う。
【０１０７】
近隣ブロック抽出部１６０は、この切出中心点Ｐ（ｉ）newを手掛かりに、追跡対象物が存在すると推定されるいくつかの近隣ブロックを抽出する機能を果たす。すなわち、近隣ブロック抽出部１６０は、自動追跡フラグがＯＮの場合に、歪曲広角画像用メモリ１３０に格納されている第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）を複数のブロックに分割し、切出条件格納部１７０に格納されている第ｉ番目のフレームについての切出中心点Ｐ（ｉ）newの近隣の複数のブロックを近隣ブロックとして抽出する処理を行う。ここで述べる実施形態の場合、§３で詳述するとおり、切出中心点Ｐ（ｉ）newを含むブロックを含めて合計９個の近隣ブロックＢ１〜Ｂ９を候補として抽出している。
【０１０８】
こうして近隣ブロック抽出部１６０によって抽出された複数の近隣ブロックは、第ｉ番目のフレームにおいて位置Ｐ（ｉ）newに居た追跡対象物（猫６０）が移動する可能性のある領域を示すものになる。このように、候補となるブロックを近隣ブロックのみに絞り込む方法を採れば、演算処理負担を軽減するとともに、遠隔ブロックにおける基準色α（ｉ）に類似する色をもった領域が追跡対象物として誤検出されることを防ぐことができる。
【０１０９】
一方、ブロック選択部１８０は、自動追跡フラグがＯＮの場合に、近隣ブロック抽出部１６０によって抽出された複数の近隣ブロックのそれぞれについて、ブロック内に含まれる個々の画素のうち、基準色格納部１９０に格納されている第ｉ番目のフレームの基準色α（ｉ）に対して所定の近似範囲に入る色をもつ画素の数を示す近似色画素数を求める処理を行い、この近似色画素数が最大となるブロックを選択する機能をもった構成要素である。
【０１１０】
上例の場合、近隣ブロック抽出部１６０は、合計９個の近隣ブロックＢ１〜Ｂ９を抽出することになるが、この９個のブロックのそれぞれについて、基準色α（ｉ）に対して所定の近似範囲に入る色をもつ画素の数がカウントされる。たとえば、「茶色の毛並みの猫」を追跡対象物とすることにより、基準色α（ｉ）が「特定の茶色」を示していた場合、ブロック選択部１８０は、個々の近隣ブロックのそれぞれについて、「特定の茶色」に近似する色をもつ画素の数を調べてカウントすることになる。そして、９個の近隣ブロックＢ１〜Ｂ９の中から、近似色画素数が最大となるブロックＢmaxが選択される。こうして選択されたブロックＢmaxは、追跡対象物（すなわち、「茶色の毛並みの猫」）が存在する可能性が最も高いブロックということになる。
【０１１１】
切出条件自動変更部２１０は、ブロック選択部１８０によって選択されたブロックＢmaxの中に追跡対象物が存在する、との前提で、このブロックＢmax内を探索して、追跡対象物の位置を特定する処理を行う構成要素である。こうして特定された位置は、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）上で、追跡対象物（猫）が存在すると推定される位置であり、第（ｉ＋１）番目の切出中心点Ｐ（ｉ＋１）として利用されることになる。そこで、切出条件自動変更部２１０は、求めた切出中心点Ｐ（ｉ＋１）によって、切出条件格納部１７０内の切出中心点Ｐを書き換える処理を行う。
【０１１２】
ここで、切出条件自動変更部２１０が行う具体的な処理は、自動追跡フラグがＯＮの場合に、ブロック選択部１８０が選択したブロックＢmax内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、基準色格納部１９０に格納されている第ｉ番目の基準色α（ｉ）に最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）として、切出条件格納部１５０に格納されている切出中心点Ｐを示す情報を更新する処理と言うことができる。このような処理の具体的なアルゴリズムについては、§３で詳述する。
【０１１３】
こうして、切出条件格納部１７０内に、第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）が書き込まれると、画像切出変換部１５０は、この切出中心点Ｐ（ｉ＋１）、パラメータφ（ｉ＋１）、倍率ｍ（ｉ＋１）を用いて、図２１に示すように、歪曲広角画像用メモリ１３０内に格納されている歪曲広角画像Ｓ（ｉ＋１）内の切出領域Ｅ（ｉ＋１）から画像を切り出し、これを平面正則画像に変換し、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）として、平面正則画像用メモリ１４０に格納する処理を行うことになる。自動追跡処理が正しく行われていれば、平面正則画像Ｔ（ｉ＋１）の中心（原点Ｇ）には、追跡対象物（猫）が配置されることになる。
【０１１４】
以上、第ｉ番目のフレームから第（ｉ＋１）番目のフレームへの変遷に関して、本発明に係る自動追跡処理を説明したが、以後、自動追跡終了の指示が与えられるまで、ｉを更新しながら同様のプロセスが繰り返されることになる。すなわち、自動追跡フラグがＯＮの状態であれば、基準色抽出部２００は、図２１に示す平面正則画像Ｔ（ｉ＋１）に基づいて、切出中心点Ｐ（ｉ＋１）に位置する追跡対象物の色を代表する第（ｉ＋１）番目のフレームの基準色α（ｉ＋１）を抽出し、基準色格納部１９０が、これを最新の基準色として格納する。
【０１１５】
一方、近隣ブロック抽出部１６０は、第（ｉ＋２）番目のフレームの歪曲広角画像Ｓ（ｉ＋２）から、切出中心点Ｐ（ｉ＋１）の近傍のブロックを抽出し、ブロック選択部１８０は、これら複数の近隣ブロックの中から、基準色α（ｉ＋１）に対して所定の近似範囲に入る色をもつ画素の数が最大のブロックを選択し、切出条件自動変更部２１０は、選択されたブロックの中から基準色α（ｉ＋１）に最も適合する色をもつ最適候補領域を特定し、その中心点を新たな切出中心点Ｐ（ｉ＋２）として、切出条件格納部１７０に書き込む処理を行う。
【０１１６】
なお、上記説明では、第ｉ番目の切出中心点として、Ｐ（ｉ）oldとＰ（ｉ）newとの２通りの点を用いた説明を行ったが、これは視聴者が第ｉ番目の平面正則画像Ｔ（ｉ）上で、追跡開始点Ｑの位置を含む追跡開始指示を入力したため、第ｉ番目のフレームに関して、切出中心点がＰ（ｉ）oldからＰ（ｉ）new（＝Ｑ）に変更されたためである。このように、自動追跡モードに切り替わった当初のフレームに関しては、同一フレーム中で切出中心点の変更が行われるが、それ以後は、１つのフレームに対して１つの切出中心点が定義されることになる。従って、自動追跡モードの途中の任意の第ｉ番目のフレームの切出中心点に関しては、Ｐ（ｉ）oldとＰ（ｉ）newとの区別はない。
【０１１７】
以上、本発明の基本的な実施形態に係る動画提示装置の基本構成および動作を、図１３のブロック図を参照しながら説明したが、この動画提示装置は、コンピュータに専用のプログラムを組み込むことにより構成することができる。その場合、画像入力部１１０，画像出力部１２０，指示入力部２４０は、当該コンピュータ用の入出力機器および入出力インターフェイスによって構成することができ、歪曲広角画像用メモリ１３０，平面正則画像用メモリ１４０，切出条件格納部１７０，基準色格納部１９０は、当該コンピュータ用の記憶装置によって構成することができ、その余の構成要素は、当該コンピュータに組み込まれたブログラムとこのプログラムを実行するコンピュータ内の各手段によって構成することができる。
【０１１８】
最後に、上記実施形態に係る動画提示装置の特徴を簡単にまとめておく。この装置が採用する自動追跡アルゴリズムの大きな特徴は、第ｉ番目のフレームの画像上で追跡対象物を代表する基準色αを抽出し、この基準色αを手掛かりに、第（ｉ＋１）番目のフレームの画像上で追跡対象物の位置を推定する追跡手法を採る点である。基準色αを手掛かりとする探索方法を採るため、追跡対象物の形状に関する解析は不要になる。
【０１１９】
前述したとおり、魚眼レンズなどを利用して撮影した歪曲広角画像Ｓ上では、あらゆる対象物の形状が歪んた状態になり、しかもその歪み具合は、撮影画像上の位置によって変化する。このため、物理的に同一の追跡対象物であっても、撮影画像上の位置によって形状が様々に変化し、追跡対象物をその形状の特徴から把握することは困難である。本発明では、追跡対象物を形状で特定するわけではなく、基準色αという特徴量に基づいて特定する手法を採るため、歪曲広角画像Ｓ上で追跡対象物の形状変化が生じても正確な追跡が可能になる。
【０１２０】
ただ、基準色αという手掛かりだけで追跡を行うと、たまたま類似した色をもつ別な対象物が存在した場合に誤認混同を生じることになる。そこで、本発明では、歪曲広角画像Ｓを複数のブロックに分割し、前のフレームにおける追跡対象物の位置（切出中心点Ｐ）の近傍にあるブロックを抽出し、これら近傍ブロックの中から、追跡対象物を含んでいる可能性の最も高いブロックを選択する、という手法を採る。追跡対象物の移動速度が極めて速い場合を除いて、次のフレームにおける追跡対象物の位置は、現フレームと同じブロック内か、せいぜい隣接する近隣ブロック内と推定されるので、上記手法は多くの場合に非常に有効である。
【０１２１】
このような手法を採ることにより、遠隔のブロックに、たまたま類似した色をもつ別な対象物が存在した場合であっても、当該別な対象物を追跡対象物と誤認する問題を解決することができる。また、近隣ブロックのみを候補とすることにより、演算負担を軽減するメリットも得られる。更に、近隣ブロックの中から１つのブロックを選択する際に、基準色αに対して所定の近似範囲に入る色をもつ画素の数が最大となるブロックを選択するアルゴリズムを採用するため、演算負担が比較的低い処理によってブロック選択を行うことができる。
【０１２２】
一方、１つのブロックが選択された後は、当該選択ブロック内を探索して、追跡対象物が存在すると推定される位置を特定する必要がある。そのために、本発明では、ブロック内に複数の候補領域を定義し、基準色αに最も適合する色をもつ候補領域を最適候補領域として選択する処理を行う。当該処理は、選択ブロックに対してのみ行えばよいので、それほど大きな演算負担にはならない。
【０１２３】
このように、本発明に係る動画提示装置では、広角撮影により得られた歪曲広角画像からなる動画について、その一部分を切り出して再生を行う際に、任意の追跡対象物を自動的に追跡する処理を、より単純なプロセスで正確に実行することが可能である。
【０１２４】
＜＜＜ §３． 具体的な処理アルゴリズム ＞＞＞
ここでは、§２で述べた本発明の基本的実施形態に係る動画提示装置において実行される個々の処理についての具体的なアルゴリズムを例示する。
【０１２５】
＜３−１． 基準色抽出部２００の処理アルゴリズム＞
図１３に示す基準色抽出部２００は、自動追跡フラグがＯＮの場合に、平面正則画像用メモリ１４０に格納されている平面正則画像Ｔに基づいて、切出中心点Ｐに位置する追跡対象物の代表色（基準色α）を抽出する機能を果たす。ここでは、基準色抽出部２００が、この基準色αを抽出する具体的な処理アルゴリズムのいくつかの例を以下に示すことにする。
【０１２６】
最も単純な処理アルゴリズムは、切出中心点Ｐを含む１画素の色を基準色αとしてそのまま抽出する方法である。たとえば、図２０に示すように、平面正則画像Ｔ（ｉ）上で追跡開始点Ｑが指定された場合、当該追跡開始点Ｑが切出中心点Ｐ（ｉ）newとなるが、この切出中心点Ｐ（ｉ）newを含む画素の色を、そのまま基準色α（ｉ）として抽出すればよい。視聴者は、追跡対象物として「茶色の毛並みの猫」を指定するために、図２０に示すような追跡開始点Ｑを指定する操作を行ったわけであるから、当該追跡開始点Ｑを含む画素の色を基準色αとする方法は、追跡対象物の代表色を決める最も単純な方法である。
【０１２７】
以後のフレームでは、図２１に示す例のように、切出中心点Ｐ（ｉ＋１）は平面正則画像Ｔ（ｉ＋１）の原点Ｇに一致するので、原点Ｇを含む画素の色が、そのまま基準色α（ｉ＋１）として抽出されることになる。
【０１２８】
ただ、実際には、追跡対象物はある程度の大きさをもった物体であり、複数の画素の集合体領域を構成する。そして、視聴者は、当該集合体領域の全体を追跡対象物として認識しており、その１点を追跡開始点Ｑとして指定する操作を行うことになる。したがって、視聴者がたまたま追跡開始点Ｑとして指定した１点に位置する画素の色が、必ずしも追跡対象物全体を代表する色になっているとは限らない。たとえば、追跡対象物が「茶色の毛並みの猫」である場合、茶色にも様々なバリエーションがあるため、追跡開始点Ｑとして指定された１点の茶色が、必ずしも猫全体を代表する茶色になっているとは限らない。
【０１２９】
このような点を考慮すると、実用上は、切出中心点Ｐ（追跡開始点Ｑ）の近傍に位置する複数の画素の色の平均値を基準色αとして抽出するアルゴリズムを採るのが好ましい。すなわち、基準色抽出部２００は、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素の色の平均値を基準色αとして抽出すればよい。
【０１３０】
図２２は、このようなアルゴリズムに基づいて、図２０に示す状態で追跡開始指示が与えられたときの基準色抽出処理の実例を示す平面図である。視聴者が、猫６０の腹部近傍の１点を追跡開始点Ｑとして指定したとすると、この追跡開始点Ｑが、新たな切出中心点Ｐ（ｉ）newになる。そこで、この切出中心点Ｐ（ｉ）newを含む画素を中心画素とし、当該中心画素とその周囲の周辺画素からなる近傍領域Ｎを定義する。図示の例では、中心画素を含む７×７画素からなる近傍領域Ｎを定義している。そして、この近傍領域Ｎ内の全４９画素の色の平均値を基準色αとして抽出すればよい。このような方法を採れば、追跡対象物全体を代表する色としてより適切な色を基準色αとして抽出することができる。
【０１３１】
なお、図２２に示す例では、たまたま７×７画素からなる近傍領域Ｎが追跡対象物である猫６０のほぼ全体をカバーする領域になっているが、実際には、近傍領域Ｎが追跡対象物の一部しかカバーできない場合や、追跡対象物のみならず、その周囲の背景部分までもカバーしてしまう場合もありうる。前者の場合、近傍領域Ｎ内の全画素の色の平均値を基準色αとしても問題はないが、後者の場合、周囲の背景の色も含めた平均値が基準色αとなるため、追跡対象物を代表する色としては適切でない色が基準色αとして抽出されてしまう可能性がある。
【０１３２】
このような問題を防ぐには、近傍領域Ｎの大きさが、ある程度以下となるように設定すればよい。すなわち、近傍領域Ｎとしては、一般的には、切出中心点Ｐ（追跡開始点Ｑ）を含む中心画素を中心とするｎ行ｎ列の正方画素配列を定義すればよいが、ｎの値が大きすぎると、周囲の背景部分もカバーする広い近傍領域Ｎが設定されることになるので、平面正則画像Ｔの解像度を考慮して、最適なｎの値を決めるようにすればよい。一般的な解像度をもった動画提示を行う場合、図示の例のように、ｎ＝７程度に設定し、７×７画素程度の大きさをもつ近傍領域Ｎを設定すれば、実用上は大きな支障は生じない。
【０１３３】
周囲の背景の色を排除し、より正確な基準色αを抽出したい場合には、次のようなアルゴリズムを採用すればよい。すなわち、基準色抽出部２００は、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域Ｎを定義し、この近傍領域Ｎ内の画素のうち、中心画素の色に対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値を基準色αとして抽出すればよい。
【０１３４】
このようなアルゴリズムに基づく基準色抽出処理の実例を、図２３を参照しながら具体的に説明しよう。図２３は、図２２の近傍領域Ｎの周辺の拡大図である。上述したとおり、この例の場合、近傍領域Ｎは７行７列に配列された合計４９個の画素によって構成されている。ここでは、この４９個の画素を、１行目の左から右に向かって、画素Ｗ１，Ｗ２，..., Ｗ７と呼び、以下、２〜７行目についても同様の順番で画素Ｗ８〜Ｗ４９と呼ぶことにする。但し、中心画素である画素Ｗ２５については、追跡開始点Ｑを含む画素であることから、特別に画素Ｗｑと呼ぶことにする。なお、図２３では、便宜上、猫６０の輪郭線を滑らかな曲線で描いているため、内部が輪郭線によって分断されている画素が存在するが、実際には、猫６０の輪郭線は、画素の輪郭線（画素を示す正方形の辺）によって構成され、１つの画素には１つの色のみが定義される。
【０１３５】
ここで、この近傍領域Ｎを構成する４９個の画素の色について検討すると、たとえば、画素Ｗ２７は、本来の追跡対象物（猫６０）の色をもった画素であるが、画素Ｗ７は、背景となる画像の色をもった画素ということになる。したがって、追跡対象物の色を代表する基準色αを抽出する際には、画素Ｗ２７の色は考慮すべきであるが、画素Ｗ７の色は考慮すべきではないことになる。そこで、まず、全４９個の画素のうち、考慮すべき画素（参照画素）と考慮すべきでない画素（非参照画素）とのふるい分けを行う。具体的には、中心画素Ｗｑの色に対して所定の近似範囲に入る色をもつ画素を参照画素として、近似範囲外となる色をもつ画素を非参照画素とすればよい。そして、たとえば、４９個の画素のうち、３０個の画素が参照画素とされた場合には、この３０個の参照画素の色の平均値を基準色αとして抽出すればよい。
【０１３６】
舗装された灰色の路面に茶色の猫６０が居た場合、図２３においてハッチングを施した部分は茶色、それ以外の部分は灰色ということになるので、全４９個の画素すべての色の平均を求めてしまうと、灰色と茶色との混合色が基準色αとして抽出されてしまうことになるが、上記アルゴリズムによるふるい分けを行えば、茶色の参照画素の色についての平均色が基準色αとして抽出されるので、より適切な基準色αを得ることができる。
【０１３７】
以上、図２３を参照しながら、第ｉ番目のフレームにおいて追跡開始点Ｑの指定を伴う追跡開始指示が入力された場合に、基準色αを抽出する具体的なアルゴリズムを述べたが、以後、自動追跡終了の指示が与えられるまで繰り返される第（ｉ＋１）番目以降のフレームの基準色抽出処理についても、全く同様のアルゴリズムを適用することができる。すなわち、一般的には、図２３に示す中心画素Ｗｑは、切出中心点Ｐ（ｉ）を含む画素であり、自動追跡処理の中途段階では、ＵＶ座標系の原点Ｇを含む画素ということになる。
【０１３８】
＜３−２． 色の近似判断および平均のアルゴリズム＞
上述したアルゴリズムには、参照画素か非参照画素かのふるい分けを行うために、周辺画素の色が中心画素Ｗｑの色に対して所定の近似範囲に入るか否かの判断を行う必要がある。また、複数の参照画素の色についての平均を求める必要がある。ここでは、色の近似判断を行うための具体的なアルゴリズムと、色の平均を求めるための具体的なアルゴリズムを例示しておく。
【０１３９】
まず、色の平均を求めるためのアルゴリズムの一例を述べる。一般に、ビデオカメラによる撮影で得られた画像データを構成する個々の画素は、ＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）を有しており、１つの原色を８ビットの画素値で表した場合、１画素は２４ビットのデータによって構成される。このように、ＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）をもった複数の画素について、その色の平均値を算出するには、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を当該複数の画素の色の平均値とすればよい。また、画素値がＲＧＢ表色系以外の表色系で表現されていた場合には、画素値をＲＧＢ表色系で表現するための変換を行った上で、上記方法で平均を求めればよい。
【０１４０】
次に、色の近似判断を行うためのアルゴリズムの一例を述べる。ここで述べるアルゴリズムは、ＨＳＶ表色系で表現された画素値（Ｈ，Ｓ，Ｖ）をもった画素について有効である。具体的には、第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＨＳＶ表色系で表現して色相Ｈの値を０〜３６０°の角度で表した場合に、「第１の画素の色の色相Ｈを表す角度と第２の画素の色の色相Ｈを表す角度との角度差が所定の許容角θ以下である」との条件を用い、色の近似判断を行うようにすればよい。
【０１４１】
上述したように、一般に、ビデオカメラによる撮影で得られた画像データは、ＲＧＢ表色系で表現されている。このように、ＲＧＢ表色系で表現されている画素についての色の近似判断を上記アルゴリズムで行うためには、個々の画素のもつ画素値（Ｒ，Ｇ，Ｂ）をＨＳＶ表色系で表現された画素値（Ｈ，Ｓ，Ｖ）に変換し、色相Ｈの値を相互に比較する処理を行えばよい。
【０１４２】
ここでは、図２３に示す実例について、上記アルゴリズムに基づく色の近似判断を行い、更に、色の平均値を求めることにより、基準値αを抽出する手順を説明しよう。いま、図２３に示す４９個の画素Ｗ１〜Ｗ４９が、それぞれＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）をもっているものとしよう。たとえば、第１番目の画素Ｗ１は、（Ｒ１，Ｇ１，Ｂ１）なる画素値を有しており、第ｊ番目の画素Ｗｊは、（Ｒｊ，Ｇｊ，Ｂｊ）なる画素値を有しており、第４９番目の画素Ｗ４９は、（Ｒ４９，Ｇ４９，Ｂ４９）なる画素値を有している。また、第２５番目の画素Ｗ２５、すなわち、中心画素Ｗｑは、（Ｒｑ，Ｇｑ，Ｂｑ）なる画素値を有している。
【０１４３】
ここで、図２４に示すように、各画素Ｗ１〜Ｗ４９の画素値を、ＲＧＢ表色系からＨＳＶ表色系に変換する。たとえば、第ｊ番目の画素Ｗｊのもつ画素値（Ｒｊ，Ｇｊ，Ｂｊ）は、（Ｈｊ，Ｓｊ，Ｖｊ）に変換され、中心画素Ｗｑのもつ画素値（Ｒｑ，Ｇｑ，Ｂｑ）は、（Ｈｑ，Ｓｑ，Ｖｑ）に変換される。
【０１４４】
なお、このＲＧＢ表色系からＨＳＶ表色系への変換処理は、公知の変換式を用いて行うことができる。具体的には、画素値（Ｒ，Ｇ，Ｂ）を画素値（Ｈ，Ｓ，Ｖ）に変換する場合、３つの値Ｒ，Ｇ，Ｂの中の最大のものをMAX、最小のものをMINとして、画素値（Ｈ，Ｓ，Ｖ）は、
Ｈ＝６０×（Ｇ−Ｂ）／（MAX−MIN）＋０，if MAX=Ｒ
Ｈ＝６０×（Ｂ−Ｒ）／（MAX−MIN）＋１２０，if MAX=Ｇ
Ｈ＝６０×（Ｒ−Ｇ）／（MAX−MIN）＋２４０，if MAX=Ｂ
Ｓ＝（MAX−MIN）／MAX
Ｖ＝MAX
で与えられる。ＨＳＶ表色系では、色彩は色相Ｈの値によって示されるので、色の近似判断は、色相Ｈの値を相互に比較することによって行うことができる。なお、色の比較には、色相Ｈの値しか用いないので、実際には、ＨＳＶ表色系に変換する際に、彩度Ｓおよび明度Ｖの値を求める必要はない。
【０１４５】
結局、図２３に示す４８個の周辺画素Ｗ１〜Ｗ２４，Ｗ２６〜Ｗ４９の色が、中心画素Ｗｑ（Ｗ２５）の色の近似範囲に入るか否かを判断するには、ＨＳＶ表色系に変換した際の各周辺画素の色相Ｈ１〜Ｈ２４，Ｈ２６〜Ｈ４９が、中心画素の色相Ｈｑの近似範囲に入るか否かを判断すればよい。色相Ｈは、色環上の０〜３６０°の角度を示すものであるので、「各周辺画素の色の色相Ｈ１〜Ｈ２４，Ｈ２６〜Ｈ４９を表す角度と中心画素の色の色相Ｈｑを表す角度との角度差が所定の許容角θ以下である」との条件を設定しておけば、色の近似判断を行うことができる。
【０１４６】
図２５は、ＨＳＶ表色系における色相Ｈの近似条件の設定例を示す図である。図示のとおり、中心画素の色相Ｈｑの角度に対して、角度差が許容角θ以下となる色相をもつ画素、すなわち、色相がＨｑ−θ〜Ｈｑ＋θの範囲内（色環上の０〜３６０°の角度であるため、負になる場合は３６０°を加えた値とし、３６０°を越える場合は、３６０°を減じた値とする）であれば、近似範囲との判断がなされる。近似範囲を左右する許容角θは、たとえば、θ＝１０°とか、θ＝１５°のように、実際にこの動画提示装置を利用して再生を行う動画の内容を考慮して、適当と思われる値に設定すればよい。
【０１４７】
こうして、中心画素Ｗｑを含めた全４９個の画素のうち、近似範囲内と判断される参照画素が得られたら、前述したとおり、これら参照画素の色の平均Ｗavを求め、これを基準色αとすればよい。ここで、平均色Ｗavを求める際には、上述したとおり、ＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）を用いて、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を平均色Ｗavとすればよい。
【０１４８】
＜３−３． 近隣ブロック抽出部１６０の処理アルゴリズム＞
近隣ブロック抽出部１６０は、自動追跡フラグがＯＮの場合に、歪曲広角画像用メモリ１３０に格納されている第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）を複数のブロックに分割し、切出条件格納部１７０に格納されている第ｉ番目のフレームについての切出中心点Ｐ（ｉ）newの近隣の複数のブロックを近隣ブロックとして抽出する処理を行う。
【０１４９】
図２６は、この近隣ブロック抽出部１６０によって行われる近隣ブロック抽出処理の一例を示す平面図である。ここに示す例の場合、近隣ブロック抽出部１６０は、歪曲広角画像Ｓ（ｉ＋１）を、縦横に整列して配置された複数の矩形状のブロックに分割し、切出中心点Ｐ（ｉ）newを含むブロックを中心ブロックＢ５として、この中心ブロックＢ５およびその上下左右および斜め四方に位置する隣接ブロックを含めた合計９ブロックを近隣ブロックＢ１〜Ｂ９として抽出している。
【０１５０】
このように、合計９ブロックを近隣ブロックとして抽出するようにすれば、追跡対象物が中心ブロックからどの方向に移動したとしても、いずれかの近隣ブロックを通らざるを得ないので、追跡対象物を見失うことを防ぐために効果的である。もちろん、追跡対象物の移動速度が極端に大きい場合には、９個の近隣ブロックの外へ移動してしまうこともありうるので、そのように移動速度が速い追跡対象物についての自動追跡を適切に行うためには、切出中心点Ｐ（ｉ）newを含む中心ブロックを中心として、５×５の合計２５個のブロックを近隣ブロックとして抽出するようにしてもよい。また、歪曲広角画像Ｓ（ｉ＋１）の円周付近に切出中心点Ｐ（ｉ）newが位置する場合は、上下左右および斜め四方に位置する隣接ブロックのうちのいくつかは、該当位置に存在しないケースもあるが、このようなケースでは、当然ながら、該当位置に存在しないブロックは抽出されない。
【０１５１】
なお、抽出対象となる近隣ブロックは、必ずしもｎ行ｎ列の配列にする必要はなく、たとえば、追跡対象物の特性上、Ｙ軸方向への移動速度に比べてＸ軸方向への移動速度が大きいというような事情がある場合には、３行５列の配列を構成する合計１５個の近隣ブロックを抽出するようにしてもかまわない。また、図２６では、個々のブロックを正方形とした例を示したが、個々のブロックの形状は任意であり、長方形、正三角形、正六角形など、平面を隙間なく分割できる図形であれば、任意形状のブロックを採用することができる。もちろん、個々のブロックの大きさも任意であり、実用上、最適と思われる任意の大きさに設定することができる。また、各ブロックは、必ずしも同じ形状、同じサイズのものである必要はないので、理論的には、ジグソーパズルの各ピースのような任意形状のブロックにより、歪曲広角画像Ｓをブロック分割するようにしてもかまわない。
【０１５２】
ここで述べる実施形態は、画像入力部１１０が、魚眼レンズを用いた撮影により得られた歪曲広角画像Ｓを入力する例であるため、図２６に示すとおり、歪曲広角画像Ｓ（ｉ＋１）は円形の画像になる。このような円形の歪曲広角画像では、外周付近の画像情報の圧縮率は極めて高くなる。別言すれば、円形の歪曲広角画像では、その円周付近ほど、歪みの程度が大きく、画像の記録精度が低下することになる。そこで、ここに示す実施形態の場合、近隣ブロック抽出部１６０は、この円形の歪曲広角画像を、複数の矩形状のブロックに分割した後、円形の歪曲広角画像の輪郭線から一部でも食み出すブロックについては、近隣ブロックとしての抽出を行わないようにしている。
【０１５３】
図２６に示す例において、正方形で描かれている個々のブロックはいずれも円形の歪曲広角画像の輪郭線の内側に位置するブロックであり、輪郭線から一部でも食み出すブロックは描かれていない。近隣ブロック抽出部１６０は、この正方形で描かれているブロックの中から近隣ブロックの抽出を行うことになる。このような運用を行うと、円形の歪曲広角画像の外周付近の領域（画像の記録精度が低い領域）は、自動追跡の対象から外されることになるので、精度の低い画像に基づく誤認識が生じることを防ぐ上で有効である。
【０１５４】
＜３−４． ブロック選択部１８０の処理アルゴリズム＞
ブロック選択部１８０は、自動追跡フラグがＯＮの場合に、近隣ブロック抽出部１６０によって抽出された複数の近隣ブロック（図２６に示す例の場合は、９個の近隣ブロックＢ１〜Ｂ９）のそれぞれについて、ブロック内に含まれる個々の画素のうち、基準色格納部１９０に格納されている基準色αに対して所定の近似範囲に入る色をもつ画素数をカウントし、近似色画素数が最大となるブロックを選択する処理を行う。
【０１５５】
ここで、各画素の色が、基準色αに対して所定の近似範囲に入る色か否かを判断するには、§３−２で述べた色の近似判断を行うためのアルゴリズムを利用すればよい。たとえば、図２６に示すブロックＢ１について、近似色画素数をカウントする場合は、次のような手順に従った処理を行えばよい。
【０１５６】
まず、ここでは、説明の便宜上、個々のブロックが３０×３０画素の領域から構成されているものとしよう。この場合、ブロックＢ１には、合計９００個の画素が含まれていることになる。そこで、図２７に示すとおり、この９００個の画素Ｗ１〜Ｗ９００のそれぞれについて、ＲＧＢ表色系の画素値（Ｒ，Ｇ，Ｂ）をＨＳＶ表色系の画素値（Ｈ，Ｓ，Ｖ）に変換する。たとえば、第１番目の画素Ｗ１の画素値（Ｒ１，Ｇ１，Ｂ１）は、画素値（Ｈ１，Ｓ１，Ｖ１）に変換され、第９００番目の画素Ｗ９００の画素値（Ｒ９００，Ｇ９００，Ｂ９００）は、画素値（Ｈ９００，Ｓ９００，Ｖ９００）に変換される（前述したとおり、実際には、彩度Ｓおよび明度Ｖの値は求める必要はない）。
【０１５７】
続いて、基準色格納部１９０に格納されている基準色αについても、ＨＳＶ表色系への変換を行う。§３−２で述べた例の場合、基準色αは、ＲＧＢ表色系で表現された画素値の平均をとった平均色Ｗav（Ｒav，Ｇav，Ｂav）として与えられるので、これをＨＳＶ表色系で表現した色Ｗav（Ｈav，Ｓav，Ｖav）に変換すればよい（この場合も、実際には、彩度Ｓavおよび明度Ｖavの値は求める必要はない）。
【０１５８】
そして、図２７に示すとおり、９００個の画素の各色相Ｈ１〜Ｈ９００を、それぞれ基準色αの色相Ｈavと比較する処理を行い、近似範囲内か否かの判断をする。具体的には、色相Ｈavの角度に対して、角度差が許容角θ以下となる色相をもつ画素、すなわち、色相がＨav−θ〜Ｈav＋θの範囲内（色環上の０〜３６０°の角度であるため、負になる場合は３６０°を加えた値とし、３６０°を越える場合は、３６０°を減じた値とする）であれば、近似範囲との判断を行えばよい。そして、９００個の画素のうち、近似範囲との判断がなされた画素の数をカウントすれば、そのカウント値が、ブロックＢ１についての近似色画素数ということになる。
【０１５９】
ブロック選択部１８０は、同様のカウント処理を、ブロックＢ２〜Ｂ９についても実行し、近似色画素数が最大となるブロックＢmaxを選択する処理を行う。追跡対象物が背景画像にはない特徴的な色相を有していれば、当該特徴的な色相に近い色をもつ画素を多く含むブロックには、追跡対象物が含まれている可能性が高いと考えられる。ブロック選択部１８０によるブロック選択処理は、このような考え方に基づいて、追跡対象物が含まれている可能性が最も高いブロックを選択する処理と言うことができる。
【０１６０】
もちろん、追跡対象物の代表的な色相が、背景画像にも散見される、という環境（たとえば、茶色い猫が、茶色い土の上を歩いているような環境）では、上記アルゴリズムに基づくブロック選択処理は、正しい結果を導くことはできない。また、追跡対象物の代表的な色相に近い色をもった別な対象物が存在する、という環境（たとえば、数匹の茶色い猫がたむろしている環境）でも、上記アルゴリズムに基づくブロック選択処理は、正しい結果を導くことはできない。本発明による追跡対象物の自動追跡処理は、上例のような特殊な環境では失敗し、背景の一部や別な対象物を、追跡対象物と誤って検出してしまうことになる。本発明の基本原理が、色を手掛かりに動体追跡を行うというものである以上、上例のような追跡失敗例が生じることは甘受せざるを得ない。
【０１６１】
なお、追跡対象物が、既に近隣ブロックの外へ移動してしまっている場合にも、誤検出が生じることになる。このような誤検出を避けるには、ブロック選択部１８０が、予め近似色画素数の最低基準値を設定しておき、近似色画素数がこの最低基準値以上となるブロックが存在しない場合には、ブロックの選択を行わずに自動追跡フラグ設定部２２０に対して自動追跡失敗信号を与えるようにし、自動追跡フラグ設定部２２０が、自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替える処理を行うようにしておくのが好ましい。
【０１６２】
すなわち、「近似色画素数が最大となるブロック」というアルゴリズムだけでブロックの選択を行うと、たとえば、他のブロックの近似画素数が０個である場合には、近似色画素数がわずか１個しかないブロックでも選択されてしまうことになる。このように近似色画素数が極めて少ないブロックには、実際には、追跡対象物が含まれていない可能性が高い。そこで、近似色画素数の最低基準値を設定しておき、近似色画素数がこの最低基準値以上となるブロックが存在しない場合には、追跡対象物が、既に近隣ブロックの外へ移動してしまっていると判断し、自動追跡フラグをＯＦＦに切り替え、その後の自動追跡処理を中止するようにするのが好ましい。
【０１６３】
＜３−５． 切出条件自動変更部２１０の処理アルゴリズム＞
切出条件自動変更部２１０は、自動追跡フラグがＯＮの場合に、ブロック選択部１８０が選択したブロック内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、基準色αに最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を次のフレームについての切出中心点Ｐとして、切出条件格納部１７０に格納されている切出中心点Ｐを示す情報を更新する処理を行う。
【０１６４】
図２８は、この切出条件自動変更部２１０によって行われる最適候補領域の選択処理の一例を示す平面図である。図に示すブロックＢmaxは、ブロック選択部１８０によって選択されたブロックである。ここに示す実施形態では、切出条件自動変更部２１０が、所定サイズの画素配列を定義し、当該画素配列の枠をブロック内の所定位置に配置した場合の当該枠内の領域を候補領域とし、この画素配列の枠の配置を縦横にそれぞれ１画素ずつずらすことにより、互いに位置が異なる複数の候補領域を定義している。
【０１６５】
図２８に示す例の場合、７×７の画素配列（基準色αの抽出に用いた近傍領域Ｎと同じサイズの画素配列）が定義されており、この画素配列の枠が太線で示されている。この太線の枠で囲まれた領域が１つの候補領域になる。図では、便宜上、第１番目の候補領域Ａ（１）および第ｋ番目の候補領域Ａ（ｋ）のみが例示されているが、実際には、この７×７の画素配列を、横方向に１画素ずつずらし、縦方向にも１画素ずつずらすことにより、互いに位置が異なる多数の候補領域が定義される。
【０１６６】
たとえば、このブロックＢmaxが、３０×３０画素の配列からなるブロックであったとすると、７×７の画素配列からなる候補領域を配置する横方向のバリエーションは２４通り、縦方向のバリエーションも２４通りであるので、ブロックＢmax上には、互いに位置が異なる２４×２４＝５７６個の候補領域が定義されることになる。切出条件自動変更部２１０は、これら５７６個の候補領域の中から、基準色αに最も適合する色をもつ候補領域を最適候補領域として選択する処理を行う。
【０１６７】
ここで、基準色αに最も適合する色をもつ候補領域を選択するための具体的なアルゴリズムとしては、候補領域内の画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択する方法を採ることができる。たとえば、図示の例の場合、第１の候補領域Ａ（１）については、この太線の枠内に位置する合計４９個の画素の色の平均値を算出し（§３−２で述べたように、ＲＧＢ表色系で表現された３原色それぞれの画素値の平均をとればよい）、これを基準色αと比較し、色の近似度合を調べればよい。２つの色の近似度合を求めるには、§３−２で述べたように、両方の色をＨＳＶ表色系に変換し、色相Ｈの角度差を求めるようにすればよい。全５７６個の候補領域について、それぞれ色相Ｈの角度差を求めれば、角度差が最も小さい候補領域を最適候補領域として選択することができる。
【０１６８】
もっとも、このように４９個の画素のすべてについて色の平均値を求めるようにすると、§３−１でも述べたとおり、追跡対象物の色だけでなく、周囲の背景の色までもが、平均値に寄与することになる。たとえば、第ｋ番目の候補領域Ａ（ｋ）と追跡対象物６０との位置関係が、図２３に示す例のようになっていた場合を考えてみよう。すなわち、図２３に示す近傍領域Ｎが、候補領域Ａ（ｋ）に相当する。この場合、４９個の画素のすべてについて色の平均値を求めてしまうと、追跡対象物（猫）の色に、背景の色が混入してしまうことになるので、せっかく候補領域Ａ（ｋ）内に追跡対象物（猫）が居るのに、基準色αとの近似度は、それほど大きくならない可能性がある。
【０１６９】
このような問題を解消するには、切出条件自動変更部２１０が、候補領域内の画素のうち、基準色αに対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択するようにすればよい。
【０１７０】
上記アルゴリズムに基づく具体的な処理手順を、図２９を参照しながら説明しよう。図２９は、図２８に示す第ｋ番目の候補領域Ａ（ｋ）について、基準色αとの近似度を調べる処理手順を示す図である。第ｋ番目の候補領域Ａ（ｋ）は、上述したとおり、合計４９個の画素によって構成されている。ここでは、この４９個の画素を、画素Ｗ１ｋ〜Ｗ４９ｋと呼ぶことにする。これらの各画素は、それぞれＲＧＢ表色系の画素値（Ｒ，Ｇ，Ｂ）を有している。たとえば、第１番目の画素Ｗ１ｋは、画素値（Ｒ１ｋ，Ｇ１ｋ，Ｂ１ｋ）を有しており、第４９番目の画素Ｗ４９ｋは、画素値（Ｒ４９ｋ，Ｇ４９ｋ，Ｂ４９ｋ）を有している。そこで、まず、これらＲＧＢ表色系の画素値をＨＳＶ表色系の画素値に変換する。たとえば、第１番目の画素Ｗ１ｋの画素値は、画素値（Ｈ１ｋ，Ｓ１ｋ，Ｖ１ｋ）に変換され、第４９番目の画素Ｗ４９ｋの画素値は、画素値（Ｈ４９ｋ，Ｓ４９ｋ，Ｖ４９ｋ）に変換される（前述したとおり、実際には、彩度Ｓおよび明度Ｖの値は求める必要はない）。
【０１７１】
続いて、基準色格納部１９０に格納されている基準色αについても、ＨＳＶ表色系への変換を行う。§３−２で述べた例の場合、基準色αは、ＲＧＢ表色系で表現された画素値の平均をとった平均色Ｗav（Ｒav，Ｇav，Ｂav）として与えられるので、これをＨＳＶ表色系で表現した色Ｗav（Ｈav，Ｓav，Ｖav）に変換すればよい（この場合も、実際には、彩度Ｓavおよび明度Ｖavの値は求める必要はない）。
【０１７２】
そして、図２９に示すとおり、４９個の画素の各色相Ｈ１ｋ〜Ｈ４９ｋを、それぞれ基準色αの色相Ｈavと比較する処理を行い、近似範囲内か否かの判断をする。具体的には、色相Ｈavの角度に対して、角度差が許容角θ以下となる色相をもつ画素、すなわち、色相がＨav−θ〜Ｈav＋θの範囲内（色環上の０〜３６０°の角度であるため、負になる場合は３６０°を加えた値とし、３６０°を越える場合は、３６０°を減じた値とする）であれば、近似範囲との判断を行えばよい。そして、４９個の画素のうち、近似範囲との判断がなされた画素を参照画素として、この参照画素の色の平均Ｗavｋを求める。色の平均値を求める際には、ＲＧＢ表色系の画素値の原色ごとの平均値がとられるので、平均色Ｗavｋは、図２９の下段に示すとおり、三原色の画素値（Ｒavｋ，Ｇavｋ，Ｂavｋ）の組み合わせとして得られることになる。
【０１７３】
こうして得られた色Ｗavｋ（Ｒavｋ，Ｇavｋ，Ｂavｋ）の意味するところは、図２８に示す第ｋ番目の候補領域Ａ（ｋ）内に含まれる４９個の画素のうち、基準色α（Ｗav（Ｒav，Ｇav，Ｂav））に対して所定の近似範囲に入る色をもつ画素の色の平均、ということになる。そこで、最後に、この色Ｗavｋ（Ｒavｋ，Ｇavｋ，Ｂavｋ）と、基準色α（Ｗav（Ｒav，Ｇav，Ｂav））との近似度を算出する。具体的には、色Ｗavｋ（Ｒavｋ，Ｇavｋ，Ｂavｋ）をＨＳＶ表色系に変換してＷavｋ（Ｈavｋ，Ｓavｋ，Ｖavｋ）を求め、基準色α（Ｗav（Ｒav，Ｇav，Ｂav））をＨＳＶ表色系に変換してＷav（Ｈav，Ｓav，Ｖav）を求め、色相Ｈavと色相Ｈavｋとの角度差を求めればよい（この場合も、実際には、彩度Ｓおよび明度Ｖの値は求める必要はない）。当該角度差は、第ｋ番目の候補領域Ａ（ｋ）の色と基準色αとの適合度合を示すパラメータになる（角度差が小さいほど、適合度合が高いことになる）。
【０１７４】
以上は、第ｋ番目の候補領域Ａ（ｋ）についての適合度合を求める手順であるが、同様の手順を、第１番目の候補領域Ａ（１）〜第５７６番目の候補領域Ａ（５７６）について実行し、適合度合が最も高い候補領域（角度差の最も小さい候補領域）を、最適候補領域として選択することになる。こうして選択された最適候補領域の中心点が、次のフレームについての切出中心点Ｐとなる。たとえば、図２８に示すように、第（ｉ＋１）番目の歪曲広角画像Ｓ（ｉ＋１）内の選択ブロックＢmaxについて、第ｋ番目の候補領域Ａ（ｋ）が最適候補領域として選択された場合、当該最適候補領域Ａ（ｋ）の中心点が新たな切出中心点Ｐ（ｉ＋１）となり、切出条件格納部１７０に書き込まれる。
【０１７５】
なお、上記アルゴリズムによって最適候補領域を選択する際にも、切出条件自動変更部２１０が、予め基準色αに対する最低適合基準を設定しておき、適合の程度が最低適合基準以上となる候補領域が存在しない場合には（たとえば、角度差が５°以下となる候補領域が存在しない場合には）、最適候補領域の選択および切出中心点Ｐを示す情報の更新を行わずに自動追跡フラグ設定部２２０に対して自動追跡失敗信号を与えるようにするのが好ましい。自動追跡フラグ設定部２２０は、自動追跡失敗信号が与えられた場合には、自動追跡フラグをＯＦＦに切り替え、その後の自動追跡処理を中止すればよい。
【０１７６】
＜３−６． 隣接ブロックへ移動した後の処理アルゴリズム＞
本発明に係る動画提示装置における自動追跡モードでは、追跡対象物が隣接ブロックへ移動した場合にも、これまで述べてきたアルゴリズムと同様に処理を行うことにより、支障なく自動追跡を継続することができる。
【０１７７】
たとえば、図２６に示すように、歪曲広角画像Ｓ（ｉ＋１）上で、切出中心点Ｐ（ｉ）newを含むブロックを中心として、９個の近隣ブロックＢ１〜Ｂ９が抽出された時点で、既に追跡対象物がブロックＢ５から左のブロックＢ４へ移動していた場合を考えてみよう。この場合、ブロック選択部１８０は、追跡対象物が存在するブロックＢ４を選択することになり、切出条件自動変更部２１０は、このブロックＢ４上の追跡対象物の位置を特定し、当該位置を新たな切出中心点Ｐ（ｉ＋１）として、切出条件格納部１７０に書き込む処理を行う。
【０１７８】
この場合、次のフレームである歪曲広角画像Ｓ（ｉ＋２）上では、図３０に示すように、切出中心点Ｐ（ｉ＋１）を含むブロックＢ４を中心として、９個の近隣ブロックＢ１０，Ｂ１，Ｂ２，Ｂ１１，Ｂ４，Ｂ５，Ｂ１２，Ｂ７，Ｂ８が抽出されることになり、これまで述べてきたアルゴリズムと同様の処理手順で、追跡対象物についての自動追跡が継続される。
【０１７９】
なお、第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）が求まり、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）が平面正則画像用メモリ１４０上に格納されると、基準色抽出部２００は、この平面正則画像Ｔ（ｉ＋１）に基づいて、第（ｉ＋１）番目の基準色α（ｉ＋１）を抽出する処理を実行するが、当該処理も、§３−１で述べたアルゴリズムをそのまま踏襲して行うことができる。図２２で説明した基準色αの抽出アルゴリズムは、追跡開始指示が与えられた当初のフレームについてのアルゴリズムであるため、近傍領域Ｎが追跡開始点Ｑの位置に定義されているが、それ以降のフレームについては、追跡対象物が常に画面の中心に表示されているため、近傍領域Ｎは、画面の中央位置に定義されることになる。
【０１８０】
図３１は、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）上で行われる基準色抽出処理の実例を示す平面図である。上述したように、自動追跡モードの途中のフレームの場合、切出中心点Ｐ（ｉ＋１）は平面正則画像Ｔ（ｉ＋１）の中心位置にくることになり、近傍領域Ｎも、平面正則画像Ｔ（ｉ＋１）の中央に定義される。この場合でも、近傍領域Ｎを利用した基準色抽出処理のアルゴリズム自体に変わりはなく、図示の例の場合、§３−１で述べた例と同様に、平均色Ｗav（Ｒav，Ｇav，Ｂav）が、第（ｉ＋１）番目の基準色α（ｉ＋１）として抽出されることになる。
【０１８１】
＜＜＜ §４． いくつかの変形例 ＞＞＞
最後に、本発明に係る動画提示装置の変形例をいくつか述べておく。
【０１８２】
(1) 色の近似判断の変形例
§３−２では、色の近似判断のアルゴリズムとして、画素値をＨＳＶ表色系の画素値に変換し、色相Ｈの角度差に基づいて近似判断を行う例を述べたが、２つの画素の色の近似判断を行うアルゴリズムは、色相Ｈの角度差に基づく方法に限定されるものではない。
【０１８３】
たとえば、第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＲＧＢ表色系で表現し、個々の画素の色を三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットした場合に、「２つの画素の座標点間のユークリッド距離が所定値以下である」との条件を用いることも可能である。
【０１８４】
図３２は、ＲＧＢ表色系における色の近似条件の設定例を示す図である。各画素の画素値をＲＧＢ表色系で表現した場合、個々の画素の色は、三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットすることができる。たとえば、図３２に示す点ＱαおよびベクトルＶαは、（Ｒα，Ｇα，Ｂα）なる数値で示される１つの座標点およびベクトルであるが、ＲＧＢ表色系で表現した場合に画素値（Ｒα，Ｇα，Ｂα）で表される色を示している。同様に、点ＱβおよびベクトルＶβは、画素値（Ｒβ，Ｇβ，Ｂβ）で表される色を示している。
【０１８５】
ここで、２つの色Ｑα，Ｑβの近似度は、２点Ｑα，Ｑβ間のユークリッド距離ｄで表すことができ、距離ｄが小さければ小さいほど、近似度が高いと言うことができる。ユークリッド距離ｄは、図３３に示す演算式で定義できるので、結局、２つの画素のＲＧＢ表色系の画素値が得られれば、図３３に示す式を用いてユークリッド距離ｄを求めることができ、両画素の色の近似度を求めることができる。したがって、色Ｑαの所定の近似範囲に色Ｑβが入るための条件として、「ユークリッド距離ｄが所定値以下である」との条件を設定し、色の近似判断を行うことができる。
【０１８６】
(2) 基準色の抽出対象の変形例
これまで述べてきた実施形態では、基準色抽出部２００が平面正則画像用メモリ１４０に格納されている平面正則画像Ｔに基づいて、追跡対象物の色を代表する基準色αを抽出する例を述べた。たとえば、図２２に示す近傍領域Ｎや図３１に示す近傍領域Ｎは、いずれも平面正則画像Ｔ上に定義された領域であり、基準色αの抽出処理は、平面正則画像Ｔ上の画素を利用して行われてきた。
【０１８７】
しかしながら、基準色の抽出対象は、必ずしも平面正則画像Ｔに限定されるものではなく、歪曲広角画像用メモリ１３０に格納されている歪曲広角画像Ｓに基づいて、基準色αを抽出することも可能である。切出中心点Ｐは、平面正則画像Ｔ上にも、歪曲広角画像Ｓ上にも定義できる点であるから、歪曲広角画像Ｓ上の切出中心点Ｐを含む画素およびその周辺画素によって近傍領域Ｎを定義することも可能であり、歪曲広角画像Ｓ上の近傍領域Ｎに基づいて、これまで述べてきた方法と同様の方法で、基準色αの抽出を行うことも可能である。
【０１８８】
(3) コントローラ装置３００の変形例
図１４には、指示入力部２４０のハードウエア構成部分となるコントローラ装置３００の一例を示したが、もちろん、コントローラ装置の構成は、図１４に示す例に限定されるものではない。
【０１８９】
図１４に示すコントローラ装置３００では、カーソル移動ボタン３４１〜３４４を利用して、画面上の十字カーソルＣを移動し、この十字カーソルＣによって追跡開始点Ｑの位置を指定する操作を行うことになるが、追跡開始点Ｑの位置指定は、必ずしも、このようなカーソル移動ボタン３４１〜３４４を利用して行う必要はない。
【０１９０】
この図１４に示すコントローラ装置３００には、画面移動ボタン３２０が備わっており、この画面移動ボタン３２０を上下左右に傾斜させることにより、平面正則画像上での切り出し位置を上下左右に移動させることができる。そこで、この画面移動ボタン３２０を利用して、追跡開始点Ｑの位置を指定する操作を行えるようにすることも可能である。たとえば、この画面移動ボタン３２０と、追跡開始指示ボタン３４５とを用いて、追跡開始点Ｑの位置を含む追跡開始指示の入力を行うようにすることができる。そのためには、自動追跡フラグ設定部２２０が、追跡開始指示ボタン３４５が押されたときに、その時点の切出中心点Ｐの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行するようにすればよい。
【０１９１】
この場合の具体的な操作を実例で示そう。たとえば、視聴者が、猫６０を追跡対象物として自動追跡モードに入りたいと考えた場合、猫６０が画面の中心に表示されるように画面移動ボタン３２０を操作し、図１９に示すように、猫６０が画面の中心に表示された時点で、追跡開始指示ボタン３４５が押す操作を行えばよい。そうすれば、自動追跡フラグ設定部２２０は、画面中心の猫６０の位置（すなわち、切出中心点Ｐの位置）を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することができる。
【０１９２】
また、図１４に示すコントローラ装置３００には、追跡終了指示ボタンが示されていないが、実用上は、コントローラ装置３００に追跡終了指示ボタンを用意しておき、自動追跡フラグ設定部２２０が、この追跡終了指示ボタンが押された場合に、追跡終了指示が入力されたものとして、自動追跡フラグをＯＦＦに切り替え、自動追跡終了処理を実行するようにするのが好ましい。もちろん、他のボタンを追跡終了指示ボタンとして兼用させることもできる。たとえば、追跡開始指示ボタン３４５を追跡終了指示ボタンとして兼用させ、自動追跡フラグがＯＮのときに追跡開始指示ボタン３４５が押された場合には、追跡終了指示が入力されたものとして、自動追跡終了処理が実行されるようにしてもよい。
【０１９３】
更に、画像入力部１１０が入力する画像データが、何らかのデジタルコンテンツデータであり、必要に応じて、早送り、巻き戻し、一時停止、スロー再生などを行うことが可能な場合は、コントローラ装置３００に、早送りボタン、巻き戻しボタン、一時停止ボタン、スロー再生ボタンなどを設けておき、これらの操作を行うことができるようにしてもよい。
【０１９４】
(4) 広角撮影装置および撮影環境の変形例
これまで述べた例は、広角撮影装置として、魚眼レンズを装着したビデオカメラを用いた例であるが、本発明に係る動画提示装置によって提示可能な動画は、必ずしも魚眼レンズを装着した撮影装置によって撮影された画像に限定されるものではない。たとえば、全方位ミラーを装着した撮影装置などによって撮影された動画を提示する場合にも、本発明は適用可能である。
【０１９５】
また、動画撮影の環境には、広角撮影装置を固定して定点撮影を行うケースと、広角撮影装置を移動させながら周囲の風景などを撮影する移動撮影を行うケースがあるが、本発明は、いずれのケースで得られた動画の提示にも適用可能である。定点撮影した動画の場合、追跡対象物（動体）は、猫、人、車といった移動物体になるが、移動撮影した動画の場合、追跡対象物（動体）は、移動物体に限定されず、たとえば、建物や標識などの固定物体も追跡対象物として指定可能になる。
【符号の説明】
【０１９６】
１０：路面
２０：樹木
３０：ガードレール
４０：ビデオカメラ
５０：魚眼レンズ
６０：追跡対象物（猫）
１１０：画像入力部
１２０：画像出力部
１３０：歪曲広角画像用メモリ
１４０：平面正則画像用メモリ
１５０：画像切出変換部
１６０：近隣ブロック抽出部
１７０：切出条件格納部
１８０：ブロック選択部
１９０：基準色格納部
２００：基準色抽出部
２１０：切出条件自動変更部
２２０：自動追跡フラグ設定部
２３０：切出条件手動変更部
２４０：指示入力部
３００：コントローラ装置
３１０：操作パネル部
３２０：画面移動ボタン（円形操作盤）
３３０：倍率向き変更ボタン
３３１：倍率変更ボタン（増加）
３３２：倍率変更ボタン（減少）
３３３：向き変更ボタン（反時計回り）
３３４：向き変更ボタン（時計回り）
３４０：カーソル移動ボタン
３４１：上方向移動ボタン
３４２：下方向移動ボタン
３４３：左方向移動ボタン
３４４：右方向移動ボタン
３４５：追跡開始指示ボタン
３５０：接続ケーブル
Ａ（１），Ａ（ｋ）：候補領域
ａ：ディスプレイ画面の横方向寸法（水平方向の画素数）
Ｂ，Ｂα，Ｂβ：青色画素値
Ｂ１〜Ｂ１２，Ｂmax：ブロック
ｂ：ディスプレイ画面の縦方向寸法（垂直方向の画素数）
Ｃ：十字カーソル
Ｄ：切出方向線
ｄ：ユークリッド距離
Ｅ，Ｅ１，Ｅ２，Ｅ（１），Ｅ（９）：切出領域
Ｅ（ｉ），Ｅ（ｉ＋１）：切出領域
Ｇ：二次元ＵＶ座標系の原点
Ｇ，Ｇα，Ｇβ：緑色画素値
Ｈ：仮想球面
Ｈｑ：基準色の色相
Ｈ（ｘ，ｙ，ｚ）：仮想球面Ｈ上の入射点
Ｌ１，Ｌ２：入射光線
ｍ，ｍ（ｉ），ｍ（ｉ＋１）：倍率
Ｎ：近傍領域
Ｏ：三次元ＸＹＺ直交座標系の原点
Ｐ，Ｐ１，Ｐ２，Ｐ（１），Ｐ（９）：切出中心点
Ｐ（ｉ），Ｐ（ｉ）old，Ｐ（ｉ）new，Ｐ（ｉ＋１）：切出中心点
Ｐ（ｘｐ，ｙｐ）：切出中心点
Ｑ：追跡開始点
Ｑα，Ｑβ：ＲＧＢ色空間上の座標点
Ｒ，Ｒα，Ｒβ：赤色画素値
ｒ：歪曲広角画像Ｓの半径（仮想球面Ｈの半径）
Ｓ，Ｓ（１），Ｓ（９）：歪曲広角画像（魚眼レンズで撮影された円形画像）
Ｓ（ｉ），Ｓ（ｉ＋１）：歪曲広角画像（魚眼レンズで撮影された円形画像）
Ｓ（ｘ，ｙ）：二次元ＸＹ直交座標系上の歪曲広角画像Ｓ内の点
Ｓｉ（ｘｉ，ｙｉ）：二次元ＸＹ直交座標系上の歪曲広角画像Ｓ内の点
Ｔ，Ｔ１，Ｔ２：平面正則画像
Ｔ（ｉ），Ｔ（ｉ＋１）：平面正則画像
Ｔｉ（ｕｉ，ｖｉ）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｕ：二次元ＵＶ座標系の座標軸
ｕ：二次元ＵＶ座標系の座標軸Ｕに関する座標値
Ｖ：二次元ＵＶ座標系の座標軸
ｖ：二次元ＵＶ座標系の座標軸Ｖに関する座標値
Ｖα，Ｖβ：ベクトル
Ｗ１〜Ｗ４９：画素
Ｗｑ：中心画素
Ｗｊ（Ｒｊ，Ｇｊ，Ｂｊ）：画素の色（ＲＧＢ表色系）
Ｗｊ（Ｈｊ，Ｓｊ，Ｖｊ）：画素の色（ＨＳＶ表色系）
Ｘ：三次元ＸＹＺ直交座標系の座標軸
ｘ，ｘｐ：二次元ＸＹ直交座標系の座標軸Ｘに関する座標値
Ｙ：三次元ＸＹＺ直交座標系の座標軸
ｙ，ｙｐ：二次元ＸＹ直交座標系の座標軸Ｙに関する座標値
Ｚ：三次元ＸＹＺ直交座標系の座標軸
α：基準色
φ，φ（ｉ），φ（ｉ＋１）：切出方向を示すパラメータ（平面傾斜角）
θ：許容角
【技術分野】
【０００１】
本発明は、動画提示装置に関し、特に、広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置に関する。
【背景技術】
【０００２】
魚眼レンズなどの光学系を備えた広角撮影装置を用いて撮影を行うと、極めて広い視野をもった画像が得られる。ただ、このような広角撮影により得られる画像は、本来は曲面に投影されるべき像になるため、平面的なディスプレイ画面上に表示すると歪んだ画像になる。そこで、通常は、魚眼レンズなどを用いた撮影により得られた歪曲広角画像の一部分を切り出して、歪みの少ない平面正則画像に変換する画像処理を施し、これをディスプレイ画面上に表示する方法が採られる。
【０００３】
たとえば、下記の特許文献１〜３には、魚眼レンズを用いて撮影した歪曲広角画像の一部分を、コンピュータを利用して平面正則画像に変換する技術が開示されている。また、特許文献４には、全方位ミラーを用いて撮影した歪曲広角画像の一部分を平面正則画像に変換する技術が開示されており、特許文献５には、自動車に搭載した超広角カメラによって撮影された歪曲広角画像に対してリアルタイムで歪み補正を施す技術が開示されている。
【０００４】
最近は、セキュリティ確保のため、建物の天井や壁面に設置した防犯カメラで撮影した画像をモニタ画面上に表示し、周囲の監視に役立てるシステムが普及している。このような監視システム用のカメラには、魚眼レンズが用いられることが多く、上述の変換技術を利用すれば、魚眼レンズ付きビデオカメラで撮影した歪曲広角画像からなる動画を、平面正則画像からなる動画としてリアルタイムで観察することが可能になり、１８０°の画角をもった監視システムが構築できる。
【０００５】
このような監視システムの産業分野では、古くから動体追跡の技術が研究されてきている。これはフレーム単位で時系列的に得られる撮影画像を、コンピュータによって解析し、カメラの視野内に存在する特定の追跡対象物を自動的に認識して追尾する技術である。このような動体追跡の技術を、魚眼監視システムに導入する試みも提案されている。たとえば、下記の特許文献６および７には、魚眼レンズによって撮影された歪曲広角画像を解析して動体を認識し、当該動体を含む部分を切り出して平面正則画像に変換した上でモニタ画面に表示する技術が開示されている。
【０００６】
一方、広角撮影装置を用いた撮影画像は、再生時に視線方向を任意に設定できるという利点があるため、このような利点を生かした視聴装置も提案されている。たとえば、下記の特許文献８には、広角撮影装置によって得られた歪曲広角画像に基づいて、視聴者が指定した任意の視線方向の平面正則画像をヘッドアップディスプレイ上に提示する技術が開示されている。上記利点を生かして、今後は、様々な景色や室内の様子を魚眼レンズなどを用いて広角撮影することにより、視聴者が視線方向を自由に変更できる映像コンテンツが普及してゆくものと期待される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３０１２１４２号公報
【特許文献２】特許第３０５１１７３号公報
【特許文献３】特開２００９−１７６２７３号公報
【特許文献４】特開２０１０−１４０２９２号公報
【特許文献５】特開２００６−２４０３８３号公報
【特許文献６】特開２００２−３２９２０７号公報
【特許文献７】特開２０１１−０６１５１１号公報
【特許文献８】特開平８−３３６１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したとおり、これまでにも、広角撮影装置によって得られた歪曲広角画像に対して、動体追跡の技術を導入する提案がなされている。しかしながら、従来提案されている方法は、十分に正確な追跡を行うことができなかったり、複雑なプロセスが必要になったりと、いずれも実用上の問題を抱えている。
【０００９】
その根本的な原因は、歪曲広角画像上では追跡対象物に歪みが生じるという点にある。通常の撮影装置によって得られた平面正則画像上では、追跡対象物は移動によってその位置や大きさが変化することはあるが、全体的な形状には大きな変化は生じない。これに対して、歪曲広角画像は、部分ごとに画像の歪み具合が異なるため、追跡対象物が移動すると、位置や大きさが変化するだけではなく、全体的な形状も大きく変化することになる。このため、従来の一般的な動体認識の技術を、そのまま歪曲広角画像に対して適用することは困難である。
【００１０】
前述したとおり、任意の追跡対象物を自動的に追跡する技術は、魚眼カメラを用いた監視システムや、視線方向を自由に変更できる映像コンテンツの再生システムなど、今後、様々な分野で需要が高まってゆく技術である。
【００１１】
そこで本発明は、広角撮影により得られた歪曲広角画像からなる動画について、その一部分を切り出して再生を行う際に、任意の追跡対象物を自動的に追跡する処理を、より単純なプロセスで正確に実行することが可能な動画提示装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
(1) 本発明の第１の態様は、広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置において、
二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される歪曲広角画像を格納する歪曲広角画像用メモリと、
フレーム単位の時系列データとして順次与えられる第ｉ番目（ｉは、時系列で順次増加する整数）のフレームの歪曲広角画像を、歪曲広角画像用メモリに順次格納する画像入力部と、
二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
平面正則画像用メモリに格納されている平面正則画像を読み出して出力する画像出力部と、
歪曲広角画像の一部から平面正則画像を切り出すための条件として、歪曲広角画像上の１点である切出中心点Ｐと、画像の切り出し向きを示すパラメータφと、所定の倍率ｍと、を含む切出条件を格納する切出条件格納部と、
切出条件格納部に格納されている切出条件に基づいて、歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像の切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して第ｉ番目のフレームの平面正則画像として平面正則画像用メモリに格納する画像切出変換部と、
視聴者からの指示を入力する指示入力部と、
指示入力部が、切出条件を変更する切出条件変更指示を入力したときに、当該指示に基づいて、切出条件格納部に格納されている切出条件を変更する切出条件手動変更部と、
指示入力部が、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替えるとともに、追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐとして、切出条件格納部に格納されている切出中心点Ｐを更新する自動追跡開始処理を実行し、指示入力部が、追跡終了指示を入力したときに、自動追跡フラグをＯＦＦに切り替える自動追跡終了処理を実行する自動追跡フラグ設定部と、
自動追跡フラグがＯＮの場合に、平面正則画像用メモリに格納されている第ｉ番目のフレームの平面正則画像もしくは歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像に基づいて、切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐに位置する追跡対象物の色を代表する第ｉ番目のフレームの基準色αを、ｉが更新するごとに逐次抽出する基準色抽出部と、
基準色抽出部によって抽出された最新の基準色を格納する基準色格納部と、
自動追跡フラグがＯＮの場合に、歪曲広角画像用メモリに格納されている第（ｉ＋１）番目のフレームの歪曲広角画像を複数のブロックに分割し、切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐの近隣の複数のブロックを近隣ブロックとして抽出する近隣ブロック抽出部と、
自動追跡フラグがＯＮの場合に、複数の近隣ブロックのそれぞれについて、ブロック内に含まれる個々の画素のうち、基準色格納部に格納されている第ｉ番目のフレームの基準色αに対して所定の近似範囲に入る色をもつ画素の数を示す近似色画素数を求め、この近似色画素数が最大となるブロックを選択するブロック選択部と、
自動追跡フラグがＯＮの場合に、ブロック選択部が選択したブロック内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、基準色格納部に格納されている第ｉ番目の基準色αに最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を第（ｉ＋１）番目のフレームについての切出中心点Ｐとして、切出条件格納部に格納されている切出中心点Ｐを示す情報を更新する切出条件自動変更部と、
を設けるようにしたものである。
【００１３】
(2) 本発明の第２の態様は、上述した第１の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む１画素の色を基準色αとして抽出するようにしたものである。
【００１４】
(3) 本発明の第３の態様は、上述した第１の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素の色の平均値を基準色αとして抽出するようにしたものである。
【００１５】
(4) 本発明の第４の態様は、上述した第１の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素のうち、中心画素の色に対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値を基準色αとして抽出するようにしたものである。
【００１６】
(5) 本発明の第５の態様は、上述した第３または第４の態様に係る動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素を中心とするｎ行ｎ列の正方画素配列を近傍領域と定義するようにしたものである。
【００１７】
(6) 本発明の第６の態様は、上述した第１〜第５の態様に係る動画提示装置において、
近隣ブロック抽出部が、歪曲広角画像を、縦横に整列して配置された複数の矩形状のブロックに分割し、切出中心点Ｐを含むブロックを中心ブロックとして、この中心ブロックおよびその上下左右および斜め四方に位置する隣接ブロックを含めた合計９ブロック（但し、該当位置に存在しないブロックは除く）を近隣ブロックとして抽出するようにしたものである。
【００１８】
(7) 本発明の第７の態様は、上述した第１〜第６の態様に係る動画提示装置において、
切出条件自動変更部が、所定サイズの画素配列を定義し、当該画素配列の枠をブロック内の所定位置に配置した場合の当該枠内の領域を候補領域とし、画素配列の枠の配置を縦横にそれぞれ１画素ずつずらすことにより、互いに位置が異なる複数の候補領域を定義するようにしたものである。
【００１９】
(8) 本発明の第８の態様は、上述した第７の態様に係る動画提示装置において、
切出条件自動変更部が、候補領域内の画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択するようにしたものである。
【００２０】
(9) 本発明の第９の態様は、上述した第７の態様に係る動画提示装置において、
切出条件自動変更部が、候補領域内の画素のうち、基準色αに対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択するようにしたものである。
【００２１】
(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係る動画提示装置において、
ブロック選択部が、予め近似色画素数の最低基準値を設定し、近似色画素数が最低基準値以上となるブロックが存在しない場合には、ブロックの選択を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えるようにしたものである。
【００２２】
(11) 本発明の第１１の態様は、上述した第１〜第１０の態様に係る動画提示装置において、
切出条件自動変更部が、予め基準色αに対する最低適合基準を設定し、適合の程度が最低適合基準以上となる候補領域が存在しない場合には、最適候補領域の選択および切出中心点Ｐを示す情報の更新を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えるようにしたものである。
【００２３】
(12) 本発明の第１２の態様は、上述した第１、第４、第９の態様に係る動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＨＳＶ表色系で表現して色相Ｈの値を０〜３６０°の角度で表した場合に、「第１の画素の色の色相Ｈを表す角度と第２の画素の色の色相Ｈを表す角度との角度差が所定の許容角θ以下である」との条件を用いるようにしたものである。
【００２４】
(13) 本発明の第１３の態様は、上述した第１、第４、第９の態様に係る動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＲＧＢ表色系で表現し、個々の画素の色を三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットした場合に、「２つの画素の座標点間のユークリッド距離が所定値以下である」との条件を用いるようにしたものである。
【００２５】
(14) 本発明の第１４の態様は、上述した第３、第４、第８、第９の態様に係る動画提示装置において、
複数の画素の色の平均値を算出する際に、個々の画素の画素値をＲＧＢ表色系で表現し、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を当該複数の画素の色の平均値とするようにしたものである。
【００２６】
(15) 本発明の第１５の態様は、上述した第１〜第１４の態様に係る動画提示装置において、
指示入力部が、
上下左右に配置された４個のカーソル移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置と、
４個のカーソル移動ボタンの操作に基づいて上下左右に移動するカーソルの位置を画像出力部に対して指示するカーソル位置指示手段と、
を有し、
画像出力部が、平面正則画像上のカーソル位置指示手段によって指示された位置に、カーソルを重畳した画像を出力し、
自動追跡フラグ設定部が、追跡開始指示ボタンが押された場合に、その時点のカーソルの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行するようにしたものである。
【００２７】
(16) 本発明の第１６の態様は、上述した第１〜第１４の態様に係る動画提示装置において、
指示入力部が、上下左右に配置された４個の画面移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置を備え、
切出条件手動変更部が、４個の画面移動ボタンの操作に基づいて、平面正則画像上での切り出し位置が上下左右に移動するように、切出条件格納部に格納されている切出中心点Ｐを変更する機能を有し、
自動追跡フラグ設定部が、追跡開始指示ボタンが押された場合に、その時点の切出中心点Ｐの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行するようにしたものである。
【００２８】
(17) 本発明の第１７の態様は、上述した第１５または第１６の態様に係る動画提示装置において、
自動追跡フラグ設定部が、コントローラ装置に設けられた追跡終了指示ボタンが押された場合、もしくは、自動追跡フラグがＯＮのときに追跡開始指示ボタンが押された場合に、追跡終了指示が入力されたものとして、自動追跡終了処理を実行するようにしたものである。
【００２９】
(18) 本発明の第１８の態様は、上述した第１５〜第１７の態様に係る動画提示装置において、
コントローラ装置が、倍率ｍを増減する倍率変更ボタンと、画像の切り出し向きを示すパラメータφを増減する向き変更ボタンと、を更に備え、
切出条件手動変更部が、倍率変更ボタンもしくは向き変更ボタンが押された場合に、切出条件変更指示が入力されたものとして、切出条件格納部に格納されている倍率ｍもしくはパラメータφを変更するようにしたものである。
【００３０】
(19) 本発明の第１９の態様は、上述した第１〜第１８の態様に係る動画提示装置において、
画像入力部が、魚眼レンズを用いた撮影により得られた円形の歪曲広角画像を入力して、これを歪曲広角画像用メモリに格納し、
近隣ブロック抽出部が、円形の歪曲広角画像を、複数の矩形状のブロックに分割し、円形の歪曲広角画像の輪郭線から一部でも食み出すブロックについては、近隣ブロックとしての抽出を行わないようにしたものである。
【００３１】
(20) 本発明の第２０の態様は、上述した第１〜第１９の態様に係る動画提示装置を、コンピュータにプログラムを組み込むことにより構成したものである。
【発明の効果】
【００３２】
本発明に係る動画提示装置では、前のフレームの画像上で追跡対象物を代表する基準色αを抽出し、この基準色αを手掛かりに、次のフレームの画像上で追跡対象物の位置を推定する追跡方法が採られる。このため、追跡対象物の形状に関する解析は不要になり、歪曲広角画像上で追跡対象物の形状変化が生じても正確な追跡が可能になる。また、次のフレームの画像上で追跡対象物の位置を推定する際に、当該次のフレームの画像を複数のブロックに分割し、前のフレームにおける追跡対象物の位置の近傍にあるブロックを近隣ブロックとして抽出し、その中から基準色αに近似する画素数が最大となるブロックを選択し、この選択ブロック内の基準色αに最も適合する色をもつ候補領域の位置を追跡対象物の位置とする方法を採るため、遠くのブロック内の類似色をもつ領域を追跡対象物と誤検出することを防ぐことができ、しかも演算負担の少ない比較的単純なプロセスにより、正確な追跡処理が可能になる。
【図面の簡単な説明】
【００３３】
【図１】正射影方式の魚眼レンズを用いた撮影により歪曲広角画像Ｓを形成する基本モデルを示す斜視図である。
【図２】魚眼レンズを用いた撮影によって得られた歪曲広角画像Ｓの一例を示す平面図である（歪曲広角画像Ｓの一般的なイメージを示すものであり、正確な画像を示すものではない）。
【図３】歪曲広角画像Ｓの切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出す例を示す平面図である。
【図４】図２に示す歪曲広角画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの一例を示す平面図である。
【図５】図２に示す歪曲広角画像Ｓの一部分を切り出すことにより、二次元ＵＶ直交座標系上に得られた平面正則画像Ｔの別な一例を示す平面図である。
【図６】魚眼レンズ付ビデオカメラ４０により、屋外の風景を撮影する状態を示す側面図である。
【図７】図６に示す魚眼レンズ付ビデオカメラ４０を用いた撮影によって得られる歪曲広角画像Ｓの一例を示す平面図である。
【図８】図７に示す歪曲広角画像Ｓ上に、２通りの切出領域Ｅ１，Ｅ２を設定した例を示す平面図である。
【図９】図８に示す２通りの切出領域Ｅ１，Ｅ２に対応して得られる平面正則画像Ｔ１，Ｔ２を示す平面図である。
【図１０】図６に示す魚眼レンズ付ビデオカメラ４０を用いた撮影によって得られる歪曲広角画像Ｓに存在する追跡対象物６０の一例を示す平面図である。
【図１１】図１０に示す歪曲広角画像Ｓ上で、追跡対象物６０が移動した状態を示す平面図である。
【図１２】図１０および図１１に示す歪曲広角画像Ｓについて、追跡対象物６０を追跡することにより得られる平面正則画像を示す平面図である。
【図１３】本発明の基本的実施形態に係る動画提示装置の構成を示すブロック図である。
【図１４】図１３に示す指示入力部２４０のハードウエア構成部分となるコントローラ装置の正面図である。
【図１５】図１３に示す画像切出変換部１５０による第ｉ番目のフレームについての画像切出処理を示す平面図である。
【図１６】図１５に示す画像切出処理によって得られた平面正則画像の一例を示す平面図である。
【図１７】図１６に示す平面正則画像上に十字カーソルＣを表示させた状態を示す平面図である。
【図１８】図１７に示す十字カーソルＣを、追跡対象物６０上に移動させた状態を示す平面図である。
【図１９】図１８に示すように、十字カーソルＣを追跡対象物６０上に移動させた状態で追跡開始指示を与えたときに得られる第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）を示す平面図である。
【図２０】十字カーソルＣを追跡対象物６０上に移動させて追跡開始指示を与えたときの第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）と平面正則画像Ｔ（ｉ）との関係を示す平面図である。
【図２１】図２０に示す状態で追跡開始指示が与えられたときの第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）と平面正則画像Ｔ（ｉ＋１）との関係を示す平面図である。
【図２２】図２０に示す状態で追跡開始指示が与えられたときの基準色抽出処理の実例を示す平面図である。
【図２３】図２２の近傍領域Ｎの周辺の拡大図である。
【図２４】図２３に示す近傍領域Ｎ内の画素についての表色系の変換処理を示す図である。
【図２５】ＨＳＶ表色系における色相Ｈの近似条件の設定例を示す図である。
【図２６】図１３に示す近隣ブロック抽出部１６０によって行われる近隣ブロック抽出処理の一例を示す平面図である。
【図２７】図２６に示す近隣ブロックＢ１〜Ｂ９の中から、１つのブロックを選択する処理を示す図である。
【図２８】図１３に示す切出条件自動変更部２１０によって行われる最適候補領域の選択処理の一例を示す平面図である。
【図２９】図２８に示す第ｋ番目の候補領域Ａ（ｋ）について、基準色αとの近似度を調べる処理手順を示す図である。
【図３０】第（ｉ＋２）番目のフレームの歪曲広角画像Ｓ（ｉ＋２）から、近隣ブロックが抽出される状態を示す平面図である。
【図３１】第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）上で行われる基準色抽出処理の実例を示す平面図である。
【図３２】一般的なＲＧＢ色空間を示す斜視図である。
【図３３】図３２に示すユークリッド距離ｄを求める演算式を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を図示する実施形態に基づいて説明する。
【００３５】
＜＜＜ §１． 歪曲広角画像と平面正則画像との関係 ＞＞＞
本発明は、広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置に係るものである。ここでは、まず、広角撮影により得られる歪曲広角画像とこれを変換して得られる平面正則画像との関係を簡単に説明しておく。広角撮影装置として最も普及している装置は、魚眼レンズを装着したビデオカメラである。そこで、以下、魚眼レンズを用いた撮影により得られた歪曲広角画像を例にとって、平面正則画像との関係を説明する。
【００３６】
魚眼レンズを用いると、半球状の視野をもって外界の景色を撮影することができる。ただ、得られる撮影画像は、歪曲した円形の広角画像になるため、通常のディスプレイ画面上に表示するには、この歪曲広角画像を、歪みの少ない平面正則画像に変換する処理を行う必要がある。以下、魚眼レンズを用いた撮影により得られた歪曲広角画像の一般的な特徴と、その一部分を切り出して、平面正則画像に変換する処理の基本原理を説明する。
【００３７】
図１は、正射影方式の魚眼レンズを用いた撮影により歪曲広角画像Ｓを形成する基本モデルを示す斜視図である。一般に、魚眼レンズは、その投影方式によって複数の種類に分けられるが、この図１に示すモデルは、正射影方式の魚眼レンズについてのものである。図１には、三次元ＸＹＺ直交座標系におけるＸＹ平面上に歪曲広角画像Ｓが形成された例が示されている。ここでは、図示のとおり、Ｚ軸を図の上方にとり、Ｚ軸の正の領域側にドーム状の仮想球面Ｈ（半球）を定義した例を示すことにする。
【００３８】
ＸＹ平面上に形成された歪曲広角画像Ｓは、座標系の原点Ｏを中心とした半径ｒの円を構成する画像であり、Ｚ軸の正の領域側における１８０°の画角をもった領域に存在する像を歪ませて記録したものに相当する。図２は、魚眼レンズを用いた撮影によって得られた歪曲広角画像Ｓの一例を示す平面図である。このように、歪曲広角画像Ｓには、Ｚ軸の正の領域側に存在するすべての像が記録されることになるが、その中心部分と周囲部分とでは、像の縮尺倍率が異なっており、記録された像の形状は歪んだものになる。なお、図２に示す歪曲広角画像Ｓは、魚眼レンズを用いた撮影により得られた歪曲広角画像の一般的なイメージを示すものであり、実際の魚眼レンズを用いて得られる正確な画像を示すものではない。
【００３９】
実際の魚眼レンズは、複数の凸レンズや凹レンズを組み合わせた光学系によって構成されるが、その光学的な特性は、図１に示すような仮想球面Ｈによってモデル化できる。すなわち、歪曲広角画像Ｓの上面に、半径ｒをもったドーム状の仮想球面Ｈ（半球）を配置したモデルを考えれば、正射影方式の魚眼レンズの光学的特性は、仮想球面Ｈ上の任意の点Ｈ（ｘ，ｙ，ｚ）に対して法線方向から入射する入射光線Ｌ１は、Ｚ軸に平行な入射光線Ｌ２として、ＸＹ平面上の点Ｓ（ｘ，ｙ）へ向かう振る舞いをする、と考えてよい。逆言すれば、図２において歪曲広角画像Ｓ上の点Ｓ（ｘ，ｙ）に位置する画素は、図１に示す入射光線Ｌ１の延長線上に存在する物体上の１点を示していることになる。いわば、歪曲広角画像Ｓは、半球状のドームＨの内面に描かれた画像をＸＹ平面上に正射影投影した投影像と言うことができる。
【００４０】
もちろん、実際の魚眼レンズで生じている光学的現象は、複数の凸レンズや凹レンズによる屈折により、撮像対象となる物体の特定の点が、ＸＹ平面上の特定の点Ｓ（ｘ，ｙ）上に結像する現象ということになるが、画像変換処理などを行う上では、図１に示すような仮想球面Ｈを用いたモデルに置き換えた議論を行っても何ら支障はない。したがって、前掲の特許文献に開示されている画像変換処理でも、このようなモデルを前提とした手法が示されており、本発明における以下の説明においても、このようなモデルを前提とした説明を行うことにする。
【００４１】
本発明に係る装置では、歪曲広角画像Ｓ上の一部分を切り出して、平面正則画像に変換する処理が必要になる。たとえば、図２に示す歪曲広角画像Ｓを見た視聴者が、その左下に描かれている女性の画像を、歪みのない正しい画像で観察したいと考えたとしよう。このような場合、視聴者は、歪曲広角画像Ｓのどの部分を切り出して変換を行うべきかを指定する必要がある。図３は、図２に示す歪曲広角画像Ｓの一部分を切り出す処理の一例を示す平面図である。この例では、扇形をした切出領域Ｅが描かれており、この切出領域Ｅから歪曲広角画像Ｓの一部分が切り出され、平面正則画像に変換されることになる。
【００４２】
図４は、図３に示す歪曲広角画像Ｓの切出領域Ｅ内の部分画像に対して変換処理を施すことにより得られた平面正則画像Ｔを示す平面図である。ここでは、歪曲広角画像Ｓが、図３に示すとおり、二次元ＸＹ直交座標系上に定義された円形の画像であり、平面正則画像Ｔが、図４に示すとおり、二次元ＵＶ直交座標系上に定義された矩形の画像であるものとする。図２の実写例に示されているとおり、歪曲広角画像Ｓ上での女性の画像は歪みを生じているが、図４の実写例に示されているとおり、変換後の平面正則画像Ｔ上では歪みが修正されている。したがって、平面正則画像Ｔをディスプレイ画面上に表示すれば、視聴者に対して違和感のない画像提示が可能になる。
【００４３】
もちろん、視聴者の要望に応じて、図２に示す歪曲広角画像Ｓの任意の一部分を平面正則画像Ｔに変換することが可能であり、女性の画像の代わりに、樹木の画像や建物の画像についての平面正則画像Ｔを得ることもできる。結局、特定の平面正則画像Ｔを得るためには、歪曲広角画像Ｓのどの位置から、どの向きに、どの程度の大きさの部分画像を切り出すか、という切出条件を決めてやればよい。幾何学的には、この切出条件は、切出中心点Ｐ、切り出し向きを示すパラメータφ、倍率ｍという３つの条件によって構成される。
【００４４】
図３に示す例の場合、点Ｐ（ｘｐ，ｙｐ）が切出中心点Ｐということになる。この切出中心点Ｐ（ｘｐ，ｙｐ）は、ＸＹ座標系上の座標値（ｘｐ，ｙｐ）によって定義することができる。図４に示すとおり、切出中心点Ｐは、平面正則画像Ｔ上では画像の中心点となり、ＵＶ座標系上では座標値（０，０）をもつ原点位置を占める。
【００４５】
一方、パラメータφは、一般に「平面傾斜角」と呼ばれている角度を決めるパラメータであり、図３に示すとおり、切出方向線ＤとＹ軸（あるいはＸ軸）とのなす角度として定義される。この角度φは、平面正則画像Ｔの向きを決定するパラメータであり、図３の点Ｐの位置における切出方向線Ｄの微分方向が、図４の点Ｐの位置におけるＵ軸の方向に一致する。角度φの値を変えて、たとえば、切出方向線Ｄが点Ｐから原点Ｏに向かう方向を向くように設定すると、得られる平面正則画像Ｔは、図５に示すように、女性が横向きの画像になる。図４の画像も図５の画像も、同じ切出中心点Ｐ（ｘｐ，ｙｐ）を指定して得られる画像であるから、いずれも点Ｐを中心点とする画像であるが、切出向きを示すパラメータφが異なるため、女性の向きが異なる結果となっている。
【００４６】
倍率ｍは、変換時のスケーリングファクターを決めるパラメータであり、上例の場合、ｍを大きくすれば、平面正則画像Ｔ上の女性の画像は拡大され、ｍを小さくすれば、平面正則画像Ｔ上の女性の画像は縮小される。別言すれば、倍率ｍは、図３に示す切出領域Ｅのサイズを決定するパラメータであり、ｍを大きくすると、切出領域Ｅの面積は小さくなり、ｍを小さくすると、切出領域Ｅの面積は大きくなる。図４に示す画像と図５に示す画像とを比べると、後者の方が女性の画像が拡大されていることがわかる。したがって、両者は、切出向きを示すパラメータφが異なるだけでなく、倍率ｍも異なっている（後者の方が倍率ｍが大きく設定されており、切出領域Ｅの面積は小さくなる）。
【００４７】
平面正則画像Ｔを表示するディスプレイ装置の画面サイズは、通常、一定であるから、図４に示す画像Ｔも図５に示す画像Ｔも、横方向寸法ａ（水平方向の画素数）および縦方向寸法ｂ（垂直方向の画素数）は同じになる。したがって、倍率ｍの設定によって、切出領域Ｅ内の画素の解像度に比べて、平面正則画像Ｔの解像度が高くなったり低くなったりする。前者の場合は、変換時に画素の補間が行われ、後者の場合は、変換時に画素の間引きが行われることになる。
【００４８】
以上の説明により、歪曲広角画像Ｓから特定の平面正則画像Ｔを得るためには、切出中心点Ｐ、切出向きを示すパラメータφ、倍率ｍという３つの切出条件を設定すればよいことがわかる。この３つの切出条件が定まると、幾何学的には、図３に示すＸＹ平面上に定義された歪曲広角画像Ｓ上の点Ｓｉ（ｘｉ，ｙｉ）に対して、図４に示すＵＶ平面上に定義された平面正則画像Ｔ上の点Ｔｉ（ｕｉ，ｖｉ）が１対１に対応することになる。すなわち、互いに対応するＸＹ座標系上の点Ｓｉ（ｘｉ，ｙｉ）とＵＶ座標系上の点Ｔｉ（ｕｉ，ｖｉ）との間の座標変換式が定義できる。
【００４９】
歪曲広角画像Ｓから平面正則画像Ｔへの変換処理は、このような座標変換式に基づく演算処理ということになる。実際には、図４に示す平面正則画像Ｔを構成するａ×ｂ個の画素のそれぞれについて、その中心位置を示す座標（ｕ，ｖ）に対応するＸＹ平面上での対応座標（ｘ，ｙ）を、上記座標変換式に基づいて求め、歪曲広角画像Ｓ上の対応座標（ｘ，ｙ）の位置にある画素を対応画素として、この対応画素の画素値を、平面正則画像Ｔ上の画素の画素値とする（必要に応じて、補間処理を行う）処理を行えばよい。図３に示す切出領域Ｅは、上記処理において対応画素となった画素群の分布領域として定まることになる（図では、便宜上、切出領域Ｅを扇型で示してあるが、実際には、より複雑な形状になる）。
【００５０】
なお、図２に示す実写例は、図１に示すモデルにおけるＸＹ平面が水平面に一致するようにカメラを配置して、街頭の景色を撮影したものであるが、もちろん、ＸＹ平面が鉛直面に一致するようにカメラを配置して撮影することも可能である。図６は、路面１０、樹木２０、ガードレール３０からなる屋外の風景を、ビデオカメラ４０に魚眼レンズ５０を装着した撮影装置で撮影する状態を示す側面図であり、図７は、このような撮影によって得られた歪曲広角画像Ｓを示す平面図である。魚眼レンズ５０のＸＹ平面が鉛直面となっているため、原点Ｏに位置する被写体に着目すると、Ｘ軸が水平線方向、Ｙ軸が鉛直線方向になっている。しかしながら、原点Ｏから離れるほど、画像の歪みは激しくなる。
【００５１】
図１に示すＸＹ平面をどのような向きに配置して撮影したとしても、幾何学的な光学現象に変わりはないので、この図７に示す歪曲広角画像Ｓについても、上述した方法と同様に、一部分を切り出して平面正則画像に変換することができる。図８は、図７に示す歪曲広角画像Ｓ上に、２通りの切出領域Ｅ１，Ｅ２を設定した例を示す平面図であり、図９は、この２通りの切出領域Ｅ１，Ｅ２に対応して得られる平面正則画像Ｔ１，Ｔ２を示す平面図である。図示のとおり、平面正則画像Ｔ１は、樹木２０の部分の画像になり、平面正則画像Ｔ２は、ガードレール３０の部分の画像になっている。
【００５２】
前述したとおり、実際には、切出領域Ｅ１，Ｅ２は、３つの切出条件を設定することにより定まる。すなわち、図８に示す切出領域Ｅ１は、切出中心点Ｐ１の座標と、切出向きφ１（図示の例では、切出方向線Ｄが右に向く方向）と、倍率ｍ１とを指定することにより一義的に定まり、切出領域Ｅ２は、切出中心点Ｐ２の座標と、切出向きφ２（図示の例では、切出方向線Ｄが右やや斜め上に向く方向）と、倍率ｍ２とを指定することにより一義的に定まる。この例の場合、倍率ｍ２＞ｍ１であるため、切出領域Ｅ２の面積はＥ１の面積より小さくなっている。なお、切出領域Ｅ１，Ｅ２の形状は、実際には、曲線の輪郭で囲まれた複雑な形状になるが、図８では、便宜上、四角形の領域として示している。本願では、以後、説明の便宜上、個々の切出領域を四角形の領域として図示することにする。
【００５３】
これまで、１枚の静止画像としての歪曲広角画像Ｓと、その一部分を切り出して得られた平面正則画像Ｔとの関係を説明したが、これらの静止画像を時系列で順次提示すれば、動画の提示が可能になる。たとえば、魚眼レンズを装着したビデオカメラを用いて、１秒間に３０フレームのレートで動画撮影を行えば、図７に示すような歪曲広角画像Ｓが１秒間に３０枚分得られることになる。これら３０枚の歪曲広角画像Ｓから、それぞれ平面正則画像Ｔを切り出して順次提示すれば、平面正則画像からなる１秒間の動画提示が可能になる。
【００５４】
しかも、動画を再生中に、途中で切出条件を変更することも可能なので、同一の歪曲広角画像Ｓからなる動画データを用いたとしても、再生時に視聴者が自由に設定した切出条件によって、ディスプレイ画面に提示される平面正則画像からなる動画の内容は変わってくる。たとえば、動画の前半部分は、切出中心点Ｐ１を指定することにより、図９(a) に示すように、樹木２０を表示させ、後半部分は、切出中心点Ｐ２を指定することにより、図９(b) に示すように、ガードレール３０を表示させる、という動画の提示態様が可能になる。
【００５５】
本発明の目的は、歪曲広角画像からなる動画について、その一部分を切り出して再生を行う際に、任意の追跡対象物を自動的に追跡する処理を行うことにある。たとえば、図１０に示すように、ある時点ｔ１において、歪曲広角画像Ｓ（１）に猫６０が現れたとしよう。この場合、図示のとおり、猫６０の上に切出中心点Ｐ（１）を設定し、切出向きφおよび倍率ｍを適当に設定すれば、猫６０を含む切出領域Ｅ（１）を定めることができる。そして、続く時点ｔ２，ｔ３，... ，ｔ９で猫が左方に移動し、時点ｔ９において、図１１に示すような歪曲広角画像Ｓ（９）が得られたものとしよう。この場合も、図示のとおり、猫６０の上に切出中心点Ｐ（９）を設定し、切出向きφおよび倍率ｍを適当に設定すれば、猫６０を含む切出領域Ｅ（９）を定めることができる。
【００５６】
図１２(a) ，(b) は、このような切出条件に基づいて得られた平面正則画像Ｔ（１），Ｔ（９）を示す平面図である。平面正則画像Ｔ（１）は、図１０に示す時点ｔ１における歪曲広角画像Ｓ（１）内の切出領域Ｅ（１）に対応する画像であり、平面正則画像Ｔ（９）は、図１１に示す時点ｔ９における歪曲広角画像Ｓ（９）内の切出領域Ｅ（９）に対応する画像である。いずれの画像も、猫６０を画面内に含む画像になっている。
【００５７】
視聴者は、動画を再生しながら、切出中心点Ｐの位置を逐次変更する指示を与えるようにすれば、猫６０が常に平面正則画像Ｔ内に表示されるような手動追跡操作を行うことができる。たとえば、時点ｔ１において、図１２(a) に示すような平面正則画像Ｔ（１）が得られるような切出条件を設定したものとしよう。この場合、切出条件が一定のままだと、時点ｔ２，ｔ３と時間が経過するにしたがって、猫６０は画面の左側へと姿を消してゆくことになる。そこで、視聴者は、平面正則画像Ｔ上で切出中心点Ｐを左方向に移動させるような指示操作を行えば、画面枠により猫６０を追っかけることができる。
【００５８】
しかしながら、猫６０の行き先を正確に予測することは困難なため、このような手動による追跡操作は不正確であり、また、視聴者の労力負担も大きくならざるを得ない。本発明は、このような場合に、猫６０を自動追跡することが可能な効率的な方法を提案するものである。本発明に係る動画提示装置を用いると、たとえば時点ｔ１において、図１０に示す猫６０を追跡対象物として指定して追跡開始指示を与えると、時点ｔ２，ｔ３，... ，ｔ９と経過するにしたがって、切出中心点の位置が、自動的にＰ（２），Ｐ（３），... ，Ｐ（９）と更新され、平面正則画像Ｔ上に追跡対象物である猫６０が表示され続けることになる。以下、その具体的な仕組みを説明する。
【００５９】
＜＜＜ §２． 本発明に係る動画提示装置の基本構成および動作 ＞＞＞
図１３は、本発明の基本的実施形態に係る動画提示装置の構成を示すブロック図である。図において、画像入力部１１０は、魚眼レンズを装着したビデオカメラなどの広角撮影装置で撮影した動画画像を入力する構成要素である。前述したとおり、このような動画の画像は、時系列で与えられる複数の歪曲広角画像Ｓによって構成される。一方、画像出力部１２０は、入力した歪曲広角画像Ｓの一部分から切り出されて変換された平面正則画像Ｔを出力する構成要素である。この動画提示装置の根本的な機能は、画像入力部１１０によって入力した歪曲広角画像Ｓに基づいて、平面正則画像Ｔを作成し、これを出力することである。
【００６０】
歪曲広角画像用メモリ１３０は、画像入力部１１０によって入力された歪曲広角画像Ｓを格納する構成要素である。§１で述べたとおり、この歪曲広角画像Ｓは、二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される画像であり、魚眼レンズを用いた撮影を行った場合、円形の画像になる。一方、平面正則画像用メモリ１４０は、変換により得られた平面正則画像Ｔを格納する構成要素である。§１で述べたとおり、この平面正則画像Ｔは、二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される画像であり、ここに示す例の場合、通常のディスプレイ画面に表示するのに適した矩形の画像である。
【００６１】
ここでは、画像入力部１１０によって、１秒間に３０フレームのレートで撮影された動画を構成する歪曲広角画像Ｓが入力された場合を例にとって、以下の説明を行うことにする。この場合、画像入力部１１０は、第１番目のフレーム、第２番目のフレーム、第３番目のフレーム、... というように、フレーム単位の時系列データとして順次与えられる第ｉ番目（ｉは、時系列で順次増加する整数）のフレームの歪曲広角画像を、歪曲広角画像用メモリ１３０に順次格納する処理を行うことになる。
【００６２】
歪曲広角画像用メモリ１３０は、画像入力部１１０から順次与えられるフレーム単位の歪曲広角画像Ｓを少なくとも１フレーム分だけ格納する機能を有している。歪曲広角画像用メモリ１３０に格納された歪曲広角画像Ｓは、処理が完了した後は消去することができる。同様に、平面正則画像用メモリ１４０は、変換後のフレーム単位の平面正則画像Ｔを少なくとも１フレーム分だけ格納する機能を有している。この平面正則画像用メモリ１４０に格納されている平面正則画像Ｔは、画像出力部１２０によって読み出され、外部の装置（ディスプレイ装置など）へと出力される。この平面正則画像用メモリ１４０に格納された平面正則画像Ｔも、処理が完了した後は消去することができる。
【００６３】
画像切出変換部１５０は、歪曲広角画像用メモリ１３０に格納されている第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）の一部分を切り出して、平面正則画像に変換し、これを第ｉ番目のフレームの平面正則画像Ｔ（ｉ）として平面正則画像用メモリ１４０に格納する処理を行う。§１で述べたとおり、歪曲広角画像Ｓの一部から平面正則画像Ｔを切り出す処理を行うためには、歪曲広角画像Ｓ上の１点である切出中心点Ｐと、画像の切り出し向きを示すパラメータφと、所定の倍率ｍとを含む切出条件を決定すればよい。
【００６４】
切出条件格納部１７０は、これら３つの切出条件Ｐ，φ，ｍを格納する構成要素である。画像切出変換部１５０は、この切出条件格納部１７０に格納されている切出条件に基づいて、歪曲広角画像用メモリ１３０に格納されている第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）の切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して第ｉ番目のフレームの平面正則画像Ｔ（ｉ）として平面正則画像用メモリ１４０に格納する処理を行うことになる。
【００６５】
§１で述べたとおり、画像切出変換部１５０によって実行される歪曲広角画像Ｓから平面正則画像Ｔへの変換処理は、実際には、平面正則画像Ｔを構成する個々の画素のそれぞれについて、歪曲広角画像用メモリ１３０に格納されている歪曲広角画像Ｓ内の対応画素の画素値を与える処理ということができる。
【００６６】
たとえば、平面正則画像Ｔを構成する特定の画素の画素値を得るには、当該特定の画素の中心位置を示す座標（ｕ，ｖ）を求め、当該座標（ｕ，ｖ）に対応するＸＹ平面上での対応座標（ｘ，ｙ）を、所定の座標変換式に基づいて求める。そして、広角画像用メモリ１３０に格納されている歪曲広角画像Ｓ上の対応座標（ｘ，ｙ）の位置にある画素を対応画素として、この対応画素の画素値を得ればよい。画像切出変換部１５０は、平面正則画像用メモリ１４０内の当該特定の画素について、得られた画素値を書き込む処理を行うことになる。
【００６７】
もちろん、必要に応じて、対応座標（ｘ，ｙ）の近傍にある複数の対応画素を定め、これら複数の対応画素の画素値についての補間演算を行って、最終的な画素値を決定するようにすれば、より正確な画像変換を行うことができる。なお、ＵＶ平面上の任意の座標（ｕ，ｖ）から、これに対応するＸＹ平面上の座標（ｘ，ｙ）を求める座標変換式は、前掲の各特許文献にも掲載されているとおり公知の式であり、ここでは詳細な説明は省略する。
【００６８】
上述したとおり、画像切出変換部１５０は、切出条件格納部１７０に格納されている３つの切出条件Ｐ，φ，ｍに基づいて歪曲広角画像Ｓの一部分を切り出し、平面正則画像Ｔに変換する処理を行うことになるが、この３つの切出条件Ｐ，φ，ｍは、動画の提示を受ける視聴者の操作によって変更することができる。すなわち、視聴者が、指示入力部２４０に対して、切出条件を変更する切出条件変更指示を入力すると、切出条件手動変更部２３０は、当該指示に基づいて、切出条件格納部１７０に格納されている切出条件Ｐ，φ，ｍを変更する処理を行う。
【００６９】
切出条件Ｐ，φ，ｍを変更する指示の具体的な入力方法については後述するが、視聴者は、切出中心点Ｐを変更することにより、歪曲広角画像Ｓ内に撮影されている任意の対象物を中心とする平面正則画像Ｔを表示させることができ、切り出し向きを示すパラメータφを変更することにより、当該平面正則画像Ｔを任意の向きに表示させることができ、倍率ｍを変更することにより、当該平面正則画像Ｔを任意の拡大率で表示させることができる。
【００７０】
以上述べた各構成要素は、この動画提示装置の基本機能を実行する構成要素であり、広角撮影によって得られた動画を提示する機能をもった従来の一般的な動画提示装置が備えている公知の構成要素である。本発明の特徴は、このような公知の動画提示装置に、後述するいくつかの新たな構成要素を付加することにより、視聴者が指定した任意の追跡対象物についての自動追跡機能を実現した点にある。
【００７１】
すなわち、本発明に係る動画提示装置には、更に、近隣ブロック抽出部１６０、ブロック選択部１８０、基準色格納部１９０、基準色抽出部２００、切出条件自動変更部２１０、自動追跡フラグ設定部２２０が付加されており、これらの構成要素により自動追跡機能が実現されることになる。
【００７２】
これら新たな構成要素の機能についての説明を行う前に、ここでは、指示入力部２４０のハードウエア構成部分となるコントローラ装置を説明しておく。図１４は、このコントローラ装置３００の一例を示す正面図である。実用上は、このコントローラ装置３００は、パソコンやゲーム専用機などに接続して用いる汎用のゲーム用コントローラ装置をそのまま流用することが可能である。図示の接続ケーブル３５０は、パソコンやゲーム専用機などに接続するためのケーブルである。指示入力部２４０のソフトウエア構成部分となるプログラムに、当該ゲーム用コントローラ装置からの入力を受け付けるための専用インターフェイスを用意しておけば、視聴者は、当該ゲーム用コントローラ装置を用いて、この動画提示装置に対して所望の指示入力を行うことができる。
【００７３】
図示のとおり、このコントローラ装置３００の正面に設けられた操作パネル部３１０には、多数のボタンが配置されている。画面移動ボタン３２０は、上述した切出中心点Ｐを変更する切出条件変更指示を入力するために用いるボタンである。図示の例では、画面移動ボタン３２０は、１枚の円形操作盤によって構成されているが、当該操作盤は、操作パネル部３１０上で上下左右に傾斜し、実質的に上下左右に配置された４個の画面移動ボタンとして機能する。すなわち、この円形操作盤の上部を押し込んで傾斜させると上方の画面移動ボタンが押されたものと認識され、下部を押し込んで傾斜させると下方の画面移動ボタンが押されたものと認識され、左部を押し込んで傾斜させると左方の画面移動ボタンが押されたものと認識され、右部を押し込んで傾斜させると右方の画面移動ボタンが押されたものと認識される。
【００７４】
切出条件手動変更部２３０は、この４個の画面移動ボタンの操作に基づいて、平面正則画像Ｔ上での切り出し位置が上下左右に移動するように、切出条件格納部１７０に格納されている切出中心点Ｐを変更する処理を行う（具体的には、切出中心点Ｐの座標値ｘｐ，ｙｐを変更する処理を行う）。
【００７５】
ここでは、図１５に示すように、第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）から、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）が切り出された状態を考えてみよう。このような切出処理は、切出条件格納部１７０に格納されている切出条件Ｐ（ｉ），φ（ｉ），ｍ（ｉ）に基づいて行われる。すなわち、画像切出変換部１５０は、歪曲広角画像Ｓ（ｉ）の切出中心点Ｐ（ｉ）で示される切り出し位置から、パラメータφ（ｉ）で示される切り出し向きに、倍率ｍ（ｉ）で示される切り出しサイズの画像を切り出し、これを平面正則画像Ｔ（ｉ）に変換する処理を行う。こうして得られた平面正則画像Ｔ（ｉ）の原点Ｇは、切出中心点Ｐ（ｉ）に対応した点になる。
【００７６】
図１６は、このような切出処理によって得られた第ｉ番目のフレームの平面正則画像Ｔ（ｉ）の平面図である。いま、画像出力部１２０から、このような平面正則画像Ｔ（ｉ）が出力され、ディスプレイ画面上に表示されている状態において、視聴者が、円形操作盤３２０を操作した場合を考えてみる。たとえば、視聴者が、円形操作盤３２０の上部を押し込むと、図１６の上方空間が視野に入るように、切り出し位置がこの画面の上方に移動することになる。すなわち、第（ｉ＋１）番目のフレームの切り出しに用いられる切出中心点Ｐ（ｉ＋１）が、図１５に示すＸＹ平面上で原点Ｏの方向に移動した点になるように、切出条件格納部１７０に対する書き換えが行われる。
【００７７】
同様に、図１６に示すような平面正則画像Ｔ（ｉ）が表示されている状態において、視聴者が、円形操作盤３２０の右部を押し込むと、図１６の右方空間が視野に入るように、切り出し位置がこの画面の右方に移動することになる。すなわち、第（ｉ＋１）番目のフレームの切り出しに用いられる切出中心点Ｐ（ｉ＋１）が、図１５に示す切出中心点Ｐ（ｉ）の位置から、円周方向に沿って反時計回りに移動した点になるように、切出条件格納部１７０に対する書き換えが行われる。その結果、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）では、猫６０がより画面の中央寄りの位置にくる。
【００７８】
このように、視聴者は、ディスプレイ画面上に表示されている平面正則画像Ｔからなる動画を見ながら、画面移動ボタン３２０を上下左右に傾斜させることにより、視線方向を所望の方向に移動させる操作（切出中心点Ｐを手動で変更する操作）を行うことができる。したがって、§１で述べたとおり、常に猫６０がディスプレイ画面に表示されるように、手動による追跡操作を行うことができる。
【００７９】
また、視聴者は、倍率向き変更ボタン３３０を操作することにより、ディスプレイ画面に表示される平面正則画像Ｔの倍率および向きを変更することができる。具体的には、倍率向き変更ボタン３３０は、図示のとおり４つの個別ボタンから構成されている。ここで、倍率変更ボタン３３１は、倍率ｍを増加させるためのボタンであり、当該ボタンを押し続けると、切出条件手動変更部２３０は、切出条件格納部１７０に格納されている倍率ｍを徐々に増加させる処理を行う。また、倍率変更ボタン３３２は、倍率ｍを減少させるためのボタンであり、当該ボタンを押し続けると、切出条件手動変更部２３０は、切出条件格納部１７０に格納されている倍率ｍを徐々に減少させる処理を行う。これらのボタンにより、視聴者は、ディスプレイ画面に表示される平面正則画像Ｔに対して、ズームインおよびズームアウトの操作を行うことができる。
【００８０】
一方、向き変更ボタン３３３および３３４は、画像の切り出し向きを示すパラメータφを増減するためのボタンであり、これらのボタンを押し続けると、パラメータφの値が徐々に増加もしくは減少する。これらのボタンにより、視聴者は、ディスプレイ画面に表示される平面正則画像Ｔを時計回りもしくは反時計回りに回転させる操作を行うことができる。
【００８１】
要するに、切出条件手動変更部２３０は、倍率変更ボタン３３１，３３２もしくは向き変更ボタン３３３，３３４が押された場合に、切出条件変更指示が入力されたものとして、切出条件格納部１７０に格納されている倍率ｍもしくはパラメータφを変更する処理を行うことになる。
【００８２】
これに対して、図１４における操作パネル部３１０の右方に配置されたカーソル移動ボタン３４０は、本発明の特徴となる自動追跡機能を利用するためのボタンである。図示のとおり、このカーソル移動ボタン３４０は、上方向移動ボタン３４１、下方向移動ボタン３４２、左方向移動ボタン３４３、右方向移動ボタン３４４、そして追跡開始指示ボタン３４５という５つの個別ボタンによって構成されている。ここに示す実施形態では、これら５つの個別ボタンのいずれかを押すと、図１７に示すように、ディスプレイの表示画面上の中央に十字カーソルＣが表示される構成になっている。この十字カーソルＣは、追跡対象物を指定するために利用される。
【００８３】
視聴者は、上下左右に配置された個別のカーソル移動ボタン３４１〜３４４を押すことにより、この十字カーソルＣを上下左右に移動させることができ、ディスプレイ画面上の動画を見ながら、任意の対象物の上にカーソルＣを移動させることができる。具体的には、指示入力部２４０のソフトウエア構成部分として、この４個のカーソル移動ボタン３４１〜３４４の操作に基づいて上下左右に移動するカーソルの位置を画像出力部１２０に対して指示するカーソル位置指示手段として機能するプログラムを用意しておき、画像出力部１２０に、平面正則画像Ｔ上のカーソル位置指示手段によって指示された位置に、十字カーソルＣを重畳した画像を出力する機能をもたせておけばよい。
【００８４】
ここでは、視聴者が、画面上に現れた猫６０に興味をもち、画面枠がこの猫６０を自動的に追跡し、常に画面上に猫が表示されるようにしたいと考えたものとしよう。この場合、視聴者は、猫６０を追跡対象物として指定して、追跡開始指示を与える操作を行えばよい。ここに示す実施形態の場合、カーソル移動ボタン３４１〜３４４を押しながら、十字カーソルＣを追跡対象物となる猫６０の上にもってゆき、追跡開始指示ボタン３４５を押す操作を行えばよい。
【００８５】
図１８は、図１７に示す十字カーソルＣを、追跡対象物となる猫６０上に移動させた状態を示す平面図である。視聴者が、この状態で、追跡開始指示ボタン３４５を押すと、自動追跡処理が開始する。ここでは、この追跡開始指示ボタン３４５が押された時点の十字カーソルＣの位置を、追跡開始点Ｑと呼ぶことにする。また、追跡開始指示ボタン３４５が押されたときに表示されていた画像（図１８の画像）が、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）であったものとしよう。この場合、指示入力部２４０は、特定の平面正則画像Ｔ（ｉ）上の追跡開始点Ｑの位置を含む追跡開始指示を入力したことになる。
【００８６】
図１３に示す動画提示装置は、このような追跡開始指示の入力を受けた後、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）が到来すると、切出条件格納部１７０内に格納されていた切出中心点Ｐ（ｉ）を、新たな切出中心点Ｐ（ｉ＋１）に更新する処理を行う機能を有している。その結果、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）に対する切出処理は、新たな切出中心点Ｐ（ｉ＋１）に基づいて行われることになり、図１９に示すように、猫６０が画面の中心に位置する第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）が得られることになる。
【００８７】
以後、視聴者が追跡終了指示を入力するまで（あるいは、後述するように、自動追跡処理に失敗するまで）、自動追跡モードが維持され、常に、追跡対象物たる猫６０が画面の中心にくるように、切出中心点Ｐが自動的に更新されることになる。すなわち、第（ｉ＋２）番目のフレームの歪曲広角画像Ｓ（ｉ＋２）に対する切出処理が、新たな切出中心点Ｐ（ｉ＋２）に基づいて行われ、平面正則画像Ｔ（ｉ＋２）が得られ、続いて、第（ｉ＋３）番目のフレームの歪曲広角画像Ｓ（ｉ＋３）に対する切出処理が、新たな切出中心点Ｐ（ｉ＋３）に基づいて行われ、平面正則画像Ｔ（ｉ＋３）が得られ、... といった具合である。
【００８８】
図１３に示す動画提示装置における自動追跡フラグ設定部２２０は、この自動追跡モードのＯＮ／ＯＦＦ状態を切り替える機能を果たす。すなわち、自動追跡フラグ設定部２２０は、ＯＮ／ＯＦＦ状態を示すフラグを内蔵しており、指示入力部２４０が、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替える自動追跡開始処理を実行し、指示入力部２４０が、追跡終了指示を入力したときに、自動追跡フラグをＯＦＦに切り替える自動追跡終了処理を実行する。
【００８９】
指示入力部２４０のハードウエア構成部分として、図１４に示すコントローラ装置３００を利用した場合、自動追跡フラグ設定部２２０は、追跡開始指示ボタン３４５が押されたときに、その時点の十字カーソルＣの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することになる。
【００９０】
なお、自動追跡フラグ設定部２２０が、追跡開始指示を入力したときに実行する自動追跡開始処理には、自動追跡フラグをＯＮに切り替える処理とともに、もう１つ重要な処理が含まれている。すなわち、自動追跡フラグ設定部２２０は、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替えるとともに、当該追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐとして、切出条件格納部１７０に格納されている切出中心点Ｐを更新する処理を実行する。
【００９１】
たとえば、図１８に示す例のように、猫３０の上の追跡開始点Ｑを指定した追跡開始指示が入力された場合、自動追跡フラグ設定部２２０は、自動追跡フラグをＯＮに切り替えるとともに、この追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐ（ｉ）newとして、切出条件格納部１７０に格納されている切出中心点（ここでは、Ｐ（ｉ）oldと呼ぶ）を更新する処理を実行する（すなわち、Ｐ（ｉ）oldは、Ｐ（ｉ）newに書き換えられる）。図１３に示すブロック図において、自動追跡フラグ設定部２２０から切出条件格納部１７０に向かう、文字Ｐが付された矢印は、このような切出中心点Ｐの更新処理を示している。なお、上記Ｐ（ｉ）newは、図１９に示すＰ（ｉ＋１）とは異なる点である。
【００９２】
ここでは、理解を容易にするために、Ｐ（ｉ）old、Ｐ（ｉ）new、Ｐ（ｉ＋１）の相違を、図２０および図２１を参照しながら簡単に説明しておく。いま、画像入力部１１０によって入力された第ｉ番目のフレームの歪曲広角画像Ｓ（ｉ）が歪曲広角画像用メモリ１３０に格納されている状態において、画像切出変換部１５０による切出処理が行われ、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）が得られたものとしよう。図２０の左右に示す２つの画像は、このような第ｉ番目のフレームについての歪曲広角画像Ｓ（ｉ）および平面正則画像Ｔ（ｉ）を示している。このとき、切出条件格納部１７０に格納されている切出条件は、図示のとおり、Ｐ（ｉ）old，φ（ｉ），ｍ（ｉ）である。もっとも、Ｐ（ｉ）oldの記号「old」の部分は、後に生成されるＰ（ｉ）newと区別するために付したものであり、切出処理の実行時には、単にＰ（ｉ）と表しておいてもかまわない。
【００９３】
図２０に示す切出領域Ｅ（ｉ）は、歪曲広角画像Ｓ（ｉ）内の切出中心点Ｐ（ｉ）oldで示される切り出し位置から、パラメータφ（ｉ）で示される切り出し向きに、倍率ｍ（ｉ）で示されるサイズの画像を切り出すための領域であり、この切出領域Ｅ（ｉ）から切り出した画像を変換することにより、平面正則画像Ｔ（ｉ）が得られることになる。そして、この平面正則画像Ｔ（ｉ）の中心点（ＵＶ座標系の原点Ｇ）は、歪曲広角画像Ｓ（ｉ）上の切出中心点Ｐ（ｉ）oldに対応する。
【００９４】
ここで、視聴者が、この平面正則画像Ｔ（ｉ）上の追跡開始点Ｑを指定して、追跡開始指示を入力したものとしよう（具体的には、図１８に示すように、十字カーソルＣを追跡開始点Ｑの位置へもってゆき、追跡開始指示ボタン３４５を押す操作を行えばよい）。すると、自動追跡フラグ設定部２２０は、自動追跡フラグをＯＮに切り替えるとともに、追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐ（ｉ）newとする更新処理を実行する。すなわち、図２０に示す平面正則画像Ｔ（ｉ）上では、Ｐ（ｉ）new（追跡開始点Ｑ）は、Ｐ（ｉ）old（原点Ｇ）の右下に位置する点であり、歪曲広角画像Ｓ（ｉ）上でも、Ｐ（ｉ）newは、Ｐ（ｉ）oldより若干ずれた点（猫６０が居る位置）になる。
【００９５】
図２０のＴ（ｉ）と図２１のＴ（ｉ＋１）とを比べてみると、第（ｉ＋１）番目のフレームの切出条件である切出中心点Ｐ（ｉ＋１）の位置を、Ｐ（ｉ）newと同じ位置に設定してもよいように思えるかもしれないが、実際には、猫が静止していない限り、歪曲広角画像Ｓ（ｉ）上の猫の位置と、歪曲広角画像Ｓ（ｉ＋１）上の猫の位置とは異なるので、Ｐ（ｉ）newの位置をそのまま切出中心点Ｐ（ｉ＋１）の位置とすることは好ましくない。第（ｉ＋１）番目のフレームにとっては、Ｐ（ｉ）newは、猫の過去の位置（１フレーム前の位置）を示す座標にすぎない。
【００９６】
そこで、本発明では、Ｐ（ｉ）newと、平面正則画像Ｔ（ｉ）とを利用して、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）上での猫の新しい位置Ｐ（ｉ＋１）を予測し、これを切出条件格納部１７０内の新たな切出中心点Ｐとして更新する処理を行うのである。なお、本発明では、切出向きを示すパラメータφおよび倍率ｍについての自動変更は行わないので、これらについては、前述した手動変更操作が行われない限り、変更は行われない。すなわち、手動変更操作が行われない限り、パラメータφ（ｉ＋１）はφ（ｉ）と同じであり、倍率ｍ（ｉ＋１）はｍ（ｉ）と同じである。図２１に示す切出条件格納部１７０内の切出条件Ｐ（ｉ＋１），φ（ｉ＋１），ｍ（ｉ＋１）は、このようにして決定されたものである。もちろん、必要に応じて、φやｍも自動更新する運用を採用してもかまわない。たとえば、パラメータφに関しては、常に景色の水平面がＵ軸に平行となるように自動調整するようにしてもよい。
【００９７】
画像切出変換部１５０が、第（ｉ＋１）番目のフレームに関する切出処理を行う際には、これら切出条件Ｐ（ｉ＋１），φ（ｉ＋１），ｍ（ｉ＋１）を用いることになる。図２１の左右に示す２つの画像は、このような第（ｉ＋１）番目のフレームについての歪曲広角画像Ｓ（ｉ＋１）および平面正則画像Ｔ（ｉ＋１）を示している。ここで、切出領域Ｅ（ｉ＋１）は、歪曲広角画像Ｓ（ｉ＋１）内の切出中心点Ｐ（ｉ＋１）で示される切り出し位置から、パラメータφ（ｉ＋１）で示される切り出し向きに、倍率ｍ（ｉ＋１）で示されるサイズの画像を切り出すための領域であり、この切出領域Ｅ（ｉ＋１）から切り出した画像を変換することにより、平面正則画像Ｔ（ｉ＋１）が得られることになる。この平面正則画像Ｔ（ｉ＋１）の中心点（ＵＶ座標系の原点Ｇ）は、歪曲広角画像Ｓ（ｉ＋１）上の切出中心点Ｐ（ｉ＋１）に対応する。
【００９８】
図２１に破線で示す切出領域Ｅ（ｉ）は、図２０に示す第ｉ番目のフレームについての切出領域である。新たな切出中心点Ｐ（ｉ＋１）が正しい位置、すなわち、歪曲広角画像Ｓ（ｉ＋１）上の正しい猫の位置を示していれば、図示のとおり、猫が中心に表示された平面正則画像Ｔ（ｉ＋１）が得られることになる。
【００９９】
図１３に示す近隣ブロック抽出部１６０、ブロック選択部１８０、基準色格納部１９０、基準色抽出部２００、切出条件自動変更部２１０は、自動追跡フラグ設定部２２０内の自動追跡フラグがＯＮの場合（すなわち、自動追跡モードがＯＮになっている場合）に機能する構成要素であり、第ｉ番目のフレームについてのＰ（ｉ）newと、Ｔ（ｉ）とを利用して、第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）を求める処理を実行するための構成要素である。図１３において、自動追跡フラグ設定部２２０から他のブロックへ向かう、文字ＯＮが付された矢印は、自動追跡フラグがＯＮであることを示す信号を示している。以下、これら各構成要素の基本機能を説明する。
【０１００】
まず、基準色抽出部２００は、自動追跡フラグがＯＮの場合に、平面正則画像用メモリ１４０に格納されている第ｉ番目のフレームの平面正則画像Ｔ（ｉ）に基づいて、切出条件格納部１７０に格納されている「第ｉ番目のフレームについての切出中心点Ｐ」に位置する追跡対象物の色を代表する第ｉ番目のフレームの基準色α（ｉ）を、ｉが更新するごとに逐次抽出する処理を行う。
【０１０１】
たとえば、図２０に示すように、第ｉ番目のフレームの平面正則画像Ｔ（ｉ）上で、視聴者が追跡対象物となる猫の上に追跡開始点Ｑを指定して追跡開始指示を入力した場合を考える。この追跡開始指示を受けた自動追跡フラグ設定部２２０は、自動追跡フラグをＯＮに設定するとともに、追跡開始点Ｑを新たな切出中心点Ｐ（ｉ）newとする書き換え処理を、切出条件格納部１７０に対して行う。また、自動追跡フラグがＯＮであることを示す信号を基準色抽出部２００に伝達する。
【０１０２】
これを受けた基準色抽出部２００は、切出条件格納部１７０に格納されている書き換え後の切出中心点Ｐ（ｉ）newを読み出し、平面正則画像用メモリ１４０に格納されている第ｉ番目のフレームの平面正則画像Ｔ（ｉ）について、切出中心点Ｐ（ｉ）newに位置する追跡対象物（この例の場合は、猫）の色を代表する代表色を、第ｉ番目のフレームの基準色α（ｉ）として抽出する処理を行うことになる。基準色αは、たとえば、ＲＧＢ表色系で表現した場合に、（Ｒ，Ｇ，Ｂ）という三原色の画素値の組み合わせになり、１つの原色を８ビットの画素値で表した場合、基準色αは、２４ビットのデータによって構成される。
【０１０３】
なお、追跡対象物の代表色を決定するアルゴリズムは、切出中心点Ｐ（ｉ）newの近傍の画素の画素値に基づいて、切出中心点Ｐ（ｉ）newの近傍を代表する色を決定できるアルゴリズムであれば、どのようなアルゴリズムを用いてもかまわない。具体的な処理アルゴリズムの例については、§３で詳述する。
【０１０４】
基準色格納部１９０は、基準色抽出部２００によって抽出された最新の基準色を格納する機能をもった構成要素である。上述したとおり、基準色抽出部２００は、自動追跡フラグがＯＮの場合に、フレーム番号ｉが更新するごとに基準色を逐次抽出する処理を行うことになる。したがって、基準色格納部１９０には、α（ｉ），α（ｉ＋１），α（ｉ＋２），... とフレームが更新するたびに（ここに示す例の場合、１／３０秒おきに）新たな基準色αが与えられることになるが、基準色格納部１９０は、常に最新の基準色αを格納してゆけばよい。
【０１０５】
このように、追跡対象物の色を代表する基準色αを、フレーム単位で更新する理由は、同一の物理的対象物であっても、撮影画像上では、色が変化する可能性があるためである。たとえば、「茶色の毛並みの猫」を追跡対象物とした場合、当該猫の実際の色は短時間で変化するものではないが、背景の照明環境は時間とともに変化してゆく可能性がある。また、撮影に用いたビデオカメラにホワイトバランスを自動調整する機能が備わっていた場合、背景の色相が変わると、撮影画像上では、猫の色も変化することになる。このような事情から、本発明では、追跡対象物の代表色を示す基準色αの値も、フレームごとに逐次更新させるようにしている。
【０１０６】
こうして、第ｉ番目のフレームに関する基準色α（ｉ）が得られたら、続いて、歪曲広角画像用メモリ１３０内に格納されている第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）の中から、基準色α（ｉ）を手掛かりに、追跡対象物を探索する処理を行うことになる。ただ、基準色α（ｉ）だけを手掛かりに探索を行うことは困難であるため、本発明では、第ｉ番目のフレームの切出中心点Ｐ（ｉ）newの位置（猫の過去の位置）も手掛かりに加えて探索を行う。しかも、歪曲広角画像Ｓ（ｉ＋１）を複数のブロックに分割し、候補となるブロックを絞り込む処理を行う。
【０１０７】
近隣ブロック抽出部１６０は、この切出中心点Ｐ（ｉ）newを手掛かりに、追跡対象物が存在すると推定されるいくつかの近隣ブロックを抽出する機能を果たす。すなわち、近隣ブロック抽出部１６０は、自動追跡フラグがＯＮの場合に、歪曲広角画像用メモリ１３０に格納されている第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）を複数のブロックに分割し、切出条件格納部１７０に格納されている第ｉ番目のフレームについての切出中心点Ｐ（ｉ）newの近隣の複数のブロックを近隣ブロックとして抽出する処理を行う。ここで述べる実施形態の場合、§３で詳述するとおり、切出中心点Ｐ（ｉ）newを含むブロックを含めて合計９個の近隣ブロックＢ１〜Ｂ９を候補として抽出している。
【０１０８】
こうして近隣ブロック抽出部１６０によって抽出された複数の近隣ブロックは、第ｉ番目のフレームにおいて位置Ｐ（ｉ）newに居た追跡対象物（猫６０）が移動する可能性のある領域を示すものになる。このように、候補となるブロックを近隣ブロックのみに絞り込む方法を採れば、演算処理負担を軽減するとともに、遠隔ブロックにおける基準色α（ｉ）に類似する色をもった領域が追跡対象物として誤検出されることを防ぐことができる。
【０１０９】
一方、ブロック選択部１８０は、自動追跡フラグがＯＮの場合に、近隣ブロック抽出部１６０によって抽出された複数の近隣ブロックのそれぞれについて、ブロック内に含まれる個々の画素のうち、基準色格納部１９０に格納されている第ｉ番目のフレームの基準色α（ｉ）に対して所定の近似範囲に入る色をもつ画素の数を示す近似色画素数を求める処理を行い、この近似色画素数が最大となるブロックを選択する機能をもった構成要素である。
【０１１０】
上例の場合、近隣ブロック抽出部１６０は、合計９個の近隣ブロックＢ１〜Ｂ９を抽出することになるが、この９個のブロックのそれぞれについて、基準色α（ｉ）に対して所定の近似範囲に入る色をもつ画素の数がカウントされる。たとえば、「茶色の毛並みの猫」を追跡対象物とすることにより、基準色α（ｉ）が「特定の茶色」を示していた場合、ブロック選択部１８０は、個々の近隣ブロックのそれぞれについて、「特定の茶色」に近似する色をもつ画素の数を調べてカウントすることになる。そして、９個の近隣ブロックＢ１〜Ｂ９の中から、近似色画素数が最大となるブロックＢmaxが選択される。こうして選択されたブロックＢmaxは、追跡対象物（すなわち、「茶色の毛並みの猫」）が存在する可能性が最も高いブロックということになる。
【０１１１】
切出条件自動変更部２１０は、ブロック選択部１８０によって選択されたブロックＢmaxの中に追跡対象物が存在する、との前提で、このブロックＢmax内を探索して、追跡対象物の位置を特定する処理を行う構成要素である。こうして特定された位置は、第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）上で、追跡対象物（猫）が存在すると推定される位置であり、第（ｉ＋１）番目の切出中心点Ｐ（ｉ＋１）として利用されることになる。そこで、切出条件自動変更部２１０は、求めた切出中心点Ｐ（ｉ＋１）によって、切出条件格納部１７０内の切出中心点Ｐを書き換える処理を行う。
【０１１２】
ここで、切出条件自動変更部２１０が行う具体的な処理は、自動追跡フラグがＯＮの場合に、ブロック選択部１８０が選択したブロックＢmax内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、基準色格納部１９０に格納されている第ｉ番目の基準色α（ｉ）に最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）として、切出条件格納部１５０に格納されている切出中心点Ｐを示す情報を更新する処理と言うことができる。このような処理の具体的なアルゴリズムについては、§３で詳述する。
【０１１３】
こうして、切出条件格納部１７０内に、第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）が書き込まれると、画像切出変換部１５０は、この切出中心点Ｐ（ｉ＋１）、パラメータφ（ｉ＋１）、倍率ｍ（ｉ＋１）を用いて、図２１に示すように、歪曲広角画像用メモリ１３０内に格納されている歪曲広角画像Ｓ（ｉ＋１）内の切出領域Ｅ（ｉ＋１）から画像を切り出し、これを平面正則画像に変換し、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）として、平面正則画像用メモリ１４０に格納する処理を行うことになる。自動追跡処理が正しく行われていれば、平面正則画像Ｔ（ｉ＋１）の中心（原点Ｇ）には、追跡対象物（猫）が配置されることになる。
【０１１４】
以上、第ｉ番目のフレームから第（ｉ＋１）番目のフレームへの変遷に関して、本発明に係る自動追跡処理を説明したが、以後、自動追跡終了の指示が与えられるまで、ｉを更新しながら同様のプロセスが繰り返されることになる。すなわち、自動追跡フラグがＯＮの状態であれば、基準色抽出部２００は、図２１に示す平面正則画像Ｔ（ｉ＋１）に基づいて、切出中心点Ｐ（ｉ＋１）に位置する追跡対象物の色を代表する第（ｉ＋１）番目のフレームの基準色α（ｉ＋１）を抽出し、基準色格納部１９０が、これを最新の基準色として格納する。
【０１１５】
一方、近隣ブロック抽出部１６０は、第（ｉ＋２）番目のフレームの歪曲広角画像Ｓ（ｉ＋２）から、切出中心点Ｐ（ｉ＋１）の近傍のブロックを抽出し、ブロック選択部１８０は、これら複数の近隣ブロックの中から、基準色α（ｉ＋１）に対して所定の近似範囲に入る色をもつ画素の数が最大のブロックを選択し、切出条件自動変更部２１０は、選択されたブロックの中から基準色α（ｉ＋１）に最も適合する色をもつ最適候補領域を特定し、その中心点を新たな切出中心点Ｐ（ｉ＋２）として、切出条件格納部１７０に書き込む処理を行う。
【０１１６】
なお、上記説明では、第ｉ番目の切出中心点として、Ｐ（ｉ）oldとＰ（ｉ）newとの２通りの点を用いた説明を行ったが、これは視聴者が第ｉ番目の平面正則画像Ｔ（ｉ）上で、追跡開始点Ｑの位置を含む追跡開始指示を入力したため、第ｉ番目のフレームに関して、切出中心点がＰ（ｉ）oldからＰ（ｉ）new（＝Ｑ）に変更されたためである。このように、自動追跡モードに切り替わった当初のフレームに関しては、同一フレーム中で切出中心点の変更が行われるが、それ以後は、１つのフレームに対して１つの切出中心点が定義されることになる。従って、自動追跡モードの途中の任意の第ｉ番目のフレームの切出中心点に関しては、Ｐ（ｉ）oldとＰ（ｉ）newとの区別はない。
【０１１７】
以上、本発明の基本的な実施形態に係る動画提示装置の基本構成および動作を、図１３のブロック図を参照しながら説明したが、この動画提示装置は、コンピュータに専用のプログラムを組み込むことにより構成することができる。その場合、画像入力部１１０，画像出力部１２０，指示入力部２４０は、当該コンピュータ用の入出力機器および入出力インターフェイスによって構成することができ、歪曲広角画像用メモリ１３０，平面正則画像用メモリ１４０，切出条件格納部１７０，基準色格納部１９０は、当該コンピュータ用の記憶装置によって構成することができ、その余の構成要素は、当該コンピュータに組み込まれたブログラムとこのプログラムを実行するコンピュータ内の各手段によって構成することができる。
【０１１８】
最後に、上記実施形態に係る動画提示装置の特徴を簡単にまとめておく。この装置が採用する自動追跡アルゴリズムの大きな特徴は、第ｉ番目のフレームの画像上で追跡対象物を代表する基準色αを抽出し、この基準色αを手掛かりに、第（ｉ＋１）番目のフレームの画像上で追跡対象物の位置を推定する追跡手法を採る点である。基準色αを手掛かりとする探索方法を採るため、追跡対象物の形状に関する解析は不要になる。
【０１１９】
前述したとおり、魚眼レンズなどを利用して撮影した歪曲広角画像Ｓ上では、あらゆる対象物の形状が歪んた状態になり、しかもその歪み具合は、撮影画像上の位置によって変化する。このため、物理的に同一の追跡対象物であっても、撮影画像上の位置によって形状が様々に変化し、追跡対象物をその形状の特徴から把握することは困難である。本発明では、追跡対象物を形状で特定するわけではなく、基準色αという特徴量に基づいて特定する手法を採るため、歪曲広角画像Ｓ上で追跡対象物の形状変化が生じても正確な追跡が可能になる。
【０１２０】
ただ、基準色αという手掛かりだけで追跡を行うと、たまたま類似した色をもつ別な対象物が存在した場合に誤認混同を生じることになる。そこで、本発明では、歪曲広角画像Ｓを複数のブロックに分割し、前のフレームにおける追跡対象物の位置（切出中心点Ｐ）の近傍にあるブロックを抽出し、これら近傍ブロックの中から、追跡対象物を含んでいる可能性の最も高いブロックを選択する、という手法を採る。追跡対象物の移動速度が極めて速い場合を除いて、次のフレームにおける追跡対象物の位置は、現フレームと同じブロック内か、せいぜい隣接する近隣ブロック内と推定されるので、上記手法は多くの場合に非常に有効である。
【０１２１】
このような手法を採ることにより、遠隔のブロックに、たまたま類似した色をもつ別な対象物が存在した場合であっても、当該別な対象物を追跡対象物と誤認する問題を解決することができる。また、近隣ブロックのみを候補とすることにより、演算負担を軽減するメリットも得られる。更に、近隣ブロックの中から１つのブロックを選択する際に、基準色αに対して所定の近似範囲に入る色をもつ画素の数が最大となるブロックを選択するアルゴリズムを採用するため、演算負担が比較的低い処理によってブロック選択を行うことができる。
【０１２２】
一方、１つのブロックが選択された後は、当該選択ブロック内を探索して、追跡対象物が存在すると推定される位置を特定する必要がある。そのために、本発明では、ブロック内に複数の候補領域を定義し、基準色αに最も適合する色をもつ候補領域を最適候補領域として選択する処理を行う。当該処理は、選択ブロックに対してのみ行えばよいので、それほど大きな演算負担にはならない。
【０１２３】
このように、本発明に係る動画提示装置では、広角撮影により得られた歪曲広角画像からなる動画について、その一部分を切り出して再生を行う際に、任意の追跡対象物を自動的に追跡する処理を、より単純なプロセスで正確に実行することが可能である。
【０１２４】
＜＜＜ §３． 具体的な処理アルゴリズム ＞＞＞
ここでは、§２で述べた本発明の基本的実施形態に係る動画提示装置において実行される個々の処理についての具体的なアルゴリズムを例示する。
【０１２５】
＜３−１． 基準色抽出部２００の処理アルゴリズム＞
図１３に示す基準色抽出部２００は、自動追跡フラグがＯＮの場合に、平面正則画像用メモリ１４０に格納されている平面正則画像Ｔに基づいて、切出中心点Ｐに位置する追跡対象物の代表色（基準色α）を抽出する機能を果たす。ここでは、基準色抽出部２００が、この基準色αを抽出する具体的な処理アルゴリズムのいくつかの例を以下に示すことにする。
【０１２６】
最も単純な処理アルゴリズムは、切出中心点Ｐを含む１画素の色を基準色αとしてそのまま抽出する方法である。たとえば、図２０に示すように、平面正則画像Ｔ（ｉ）上で追跡開始点Ｑが指定された場合、当該追跡開始点Ｑが切出中心点Ｐ（ｉ）newとなるが、この切出中心点Ｐ（ｉ）newを含む画素の色を、そのまま基準色α（ｉ）として抽出すればよい。視聴者は、追跡対象物として「茶色の毛並みの猫」を指定するために、図２０に示すような追跡開始点Ｑを指定する操作を行ったわけであるから、当該追跡開始点Ｑを含む画素の色を基準色αとする方法は、追跡対象物の代表色を決める最も単純な方法である。
【０１２７】
以後のフレームでは、図２１に示す例のように、切出中心点Ｐ（ｉ＋１）は平面正則画像Ｔ（ｉ＋１）の原点Ｇに一致するので、原点Ｇを含む画素の色が、そのまま基準色α（ｉ＋１）として抽出されることになる。
【０１２８】
ただ、実際には、追跡対象物はある程度の大きさをもった物体であり、複数の画素の集合体領域を構成する。そして、視聴者は、当該集合体領域の全体を追跡対象物として認識しており、その１点を追跡開始点Ｑとして指定する操作を行うことになる。したがって、視聴者がたまたま追跡開始点Ｑとして指定した１点に位置する画素の色が、必ずしも追跡対象物全体を代表する色になっているとは限らない。たとえば、追跡対象物が「茶色の毛並みの猫」である場合、茶色にも様々なバリエーションがあるため、追跡開始点Ｑとして指定された１点の茶色が、必ずしも猫全体を代表する茶色になっているとは限らない。
【０１２９】
このような点を考慮すると、実用上は、切出中心点Ｐ（追跡開始点Ｑ）の近傍に位置する複数の画素の色の平均値を基準色αとして抽出するアルゴリズムを採るのが好ましい。すなわち、基準色抽出部２００は、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素の色の平均値を基準色αとして抽出すればよい。
【０１３０】
図２２は、このようなアルゴリズムに基づいて、図２０に示す状態で追跡開始指示が与えられたときの基準色抽出処理の実例を示す平面図である。視聴者が、猫６０の腹部近傍の１点を追跡開始点Ｑとして指定したとすると、この追跡開始点Ｑが、新たな切出中心点Ｐ（ｉ）newになる。そこで、この切出中心点Ｐ（ｉ）newを含む画素を中心画素とし、当該中心画素とその周囲の周辺画素からなる近傍領域Ｎを定義する。図示の例では、中心画素を含む７×７画素からなる近傍領域Ｎを定義している。そして、この近傍領域Ｎ内の全４９画素の色の平均値を基準色αとして抽出すればよい。このような方法を採れば、追跡対象物全体を代表する色としてより適切な色を基準色αとして抽出することができる。
【０１３１】
なお、図２２に示す例では、たまたま７×７画素からなる近傍領域Ｎが追跡対象物である猫６０のほぼ全体をカバーする領域になっているが、実際には、近傍領域Ｎが追跡対象物の一部しかカバーできない場合や、追跡対象物のみならず、その周囲の背景部分までもカバーしてしまう場合もありうる。前者の場合、近傍領域Ｎ内の全画素の色の平均値を基準色αとしても問題はないが、後者の場合、周囲の背景の色も含めた平均値が基準色αとなるため、追跡対象物を代表する色としては適切でない色が基準色αとして抽出されてしまう可能性がある。
【０１３２】
このような問題を防ぐには、近傍領域Ｎの大きさが、ある程度以下となるように設定すればよい。すなわち、近傍領域Ｎとしては、一般的には、切出中心点Ｐ（追跡開始点Ｑ）を含む中心画素を中心とするｎ行ｎ列の正方画素配列を定義すればよいが、ｎの値が大きすぎると、周囲の背景部分もカバーする広い近傍領域Ｎが設定されることになるので、平面正則画像Ｔの解像度を考慮して、最適なｎの値を決めるようにすればよい。一般的な解像度をもった動画提示を行う場合、図示の例のように、ｎ＝７程度に設定し、７×７画素程度の大きさをもつ近傍領域Ｎを設定すれば、実用上は大きな支障は生じない。
【０１３３】
周囲の背景の色を排除し、より正確な基準色αを抽出したい場合には、次のようなアルゴリズムを採用すればよい。すなわち、基準色抽出部２００は、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域Ｎを定義し、この近傍領域Ｎ内の画素のうち、中心画素の色に対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値を基準色αとして抽出すればよい。
【０１３４】
このようなアルゴリズムに基づく基準色抽出処理の実例を、図２３を参照しながら具体的に説明しよう。図２３は、図２２の近傍領域Ｎの周辺の拡大図である。上述したとおり、この例の場合、近傍領域Ｎは７行７列に配列された合計４９個の画素によって構成されている。ここでは、この４９個の画素を、１行目の左から右に向かって、画素Ｗ１，Ｗ２，..., Ｗ７と呼び、以下、２〜７行目についても同様の順番で画素Ｗ８〜Ｗ４９と呼ぶことにする。但し、中心画素である画素Ｗ２５については、追跡開始点Ｑを含む画素であることから、特別に画素Ｗｑと呼ぶことにする。なお、図２３では、便宜上、猫６０の輪郭線を滑らかな曲線で描いているため、内部が輪郭線によって分断されている画素が存在するが、実際には、猫６０の輪郭線は、画素の輪郭線（画素を示す正方形の辺）によって構成され、１つの画素には１つの色のみが定義される。
【０１３５】
ここで、この近傍領域Ｎを構成する４９個の画素の色について検討すると、たとえば、画素Ｗ２７は、本来の追跡対象物（猫６０）の色をもった画素であるが、画素Ｗ７は、背景となる画像の色をもった画素ということになる。したがって、追跡対象物の色を代表する基準色αを抽出する際には、画素Ｗ２７の色は考慮すべきであるが、画素Ｗ７の色は考慮すべきではないことになる。そこで、まず、全４９個の画素のうち、考慮すべき画素（参照画素）と考慮すべきでない画素（非参照画素）とのふるい分けを行う。具体的には、中心画素Ｗｑの色に対して所定の近似範囲に入る色をもつ画素を参照画素として、近似範囲外となる色をもつ画素を非参照画素とすればよい。そして、たとえば、４９個の画素のうち、３０個の画素が参照画素とされた場合には、この３０個の参照画素の色の平均値を基準色αとして抽出すればよい。
【０１３６】
舗装された灰色の路面に茶色の猫６０が居た場合、図２３においてハッチングを施した部分は茶色、それ以外の部分は灰色ということになるので、全４９個の画素すべての色の平均を求めてしまうと、灰色と茶色との混合色が基準色αとして抽出されてしまうことになるが、上記アルゴリズムによるふるい分けを行えば、茶色の参照画素の色についての平均色が基準色αとして抽出されるので、より適切な基準色αを得ることができる。
【０１３７】
以上、図２３を参照しながら、第ｉ番目のフレームにおいて追跡開始点Ｑの指定を伴う追跡開始指示が入力された場合に、基準色αを抽出する具体的なアルゴリズムを述べたが、以後、自動追跡終了の指示が与えられるまで繰り返される第（ｉ＋１）番目以降のフレームの基準色抽出処理についても、全く同様のアルゴリズムを適用することができる。すなわち、一般的には、図２３に示す中心画素Ｗｑは、切出中心点Ｐ（ｉ）を含む画素であり、自動追跡処理の中途段階では、ＵＶ座標系の原点Ｇを含む画素ということになる。
【０１３８】
＜３−２． 色の近似判断および平均のアルゴリズム＞
上述したアルゴリズムには、参照画素か非参照画素かのふるい分けを行うために、周辺画素の色が中心画素Ｗｑの色に対して所定の近似範囲に入るか否かの判断を行う必要がある。また、複数の参照画素の色についての平均を求める必要がある。ここでは、色の近似判断を行うための具体的なアルゴリズムと、色の平均を求めるための具体的なアルゴリズムを例示しておく。
【０１３９】
まず、色の平均を求めるためのアルゴリズムの一例を述べる。一般に、ビデオカメラによる撮影で得られた画像データを構成する個々の画素は、ＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）を有しており、１つの原色を８ビットの画素値で表した場合、１画素は２４ビットのデータによって構成される。このように、ＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）をもった複数の画素について、その色の平均値を算出するには、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を当該複数の画素の色の平均値とすればよい。また、画素値がＲＧＢ表色系以外の表色系で表現されていた場合には、画素値をＲＧＢ表色系で表現するための変換を行った上で、上記方法で平均を求めればよい。
【０１４０】
次に、色の近似判断を行うためのアルゴリズムの一例を述べる。ここで述べるアルゴリズムは、ＨＳＶ表色系で表現された画素値（Ｈ，Ｓ，Ｖ）をもった画素について有効である。具体的には、第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＨＳＶ表色系で表現して色相Ｈの値を０〜３６０°の角度で表した場合に、「第１の画素の色の色相Ｈを表す角度と第２の画素の色の色相Ｈを表す角度との角度差が所定の許容角θ以下である」との条件を用い、色の近似判断を行うようにすればよい。
【０１４１】
上述したように、一般に、ビデオカメラによる撮影で得られた画像データは、ＲＧＢ表色系で表現されている。このように、ＲＧＢ表色系で表現されている画素についての色の近似判断を上記アルゴリズムで行うためには、個々の画素のもつ画素値（Ｒ，Ｇ，Ｂ）をＨＳＶ表色系で表現された画素値（Ｈ，Ｓ，Ｖ）に変換し、色相Ｈの値を相互に比較する処理を行えばよい。
【０１４２】
ここでは、図２３に示す実例について、上記アルゴリズムに基づく色の近似判断を行い、更に、色の平均値を求めることにより、基準値αを抽出する手順を説明しよう。いま、図２３に示す４９個の画素Ｗ１〜Ｗ４９が、それぞれＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）をもっているものとしよう。たとえば、第１番目の画素Ｗ１は、（Ｒ１，Ｇ１，Ｂ１）なる画素値を有しており、第ｊ番目の画素Ｗｊは、（Ｒｊ，Ｇｊ，Ｂｊ）なる画素値を有しており、第４９番目の画素Ｗ４９は、（Ｒ４９，Ｇ４９，Ｂ４９）なる画素値を有している。また、第２５番目の画素Ｗ２５、すなわち、中心画素Ｗｑは、（Ｒｑ，Ｇｑ，Ｂｑ）なる画素値を有している。
【０１４３】
ここで、図２４に示すように、各画素Ｗ１〜Ｗ４９の画素値を、ＲＧＢ表色系からＨＳＶ表色系に変換する。たとえば、第ｊ番目の画素Ｗｊのもつ画素値（Ｒｊ，Ｇｊ，Ｂｊ）は、（Ｈｊ，Ｓｊ，Ｖｊ）に変換され、中心画素Ｗｑのもつ画素値（Ｒｑ，Ｇｑ，Ｂｑ）は、（Ｈｑ，Ｓｑ，Ｖｑ）に変換される。
【０１４４】
なお、このＲＧＢ表色系からＨＳＶ表色系への変換処理は、公知の変換式を用いて行うことができる。具体的には、画素値（Ｒ，Ｇ，Ｂ）を画素値（Ｈ，Ｓ，Ｖ）に変換する場合、３つの値Ｒ，Ｇ，Ｂの中の最大のものをMAX、最小のものをMINとして、画素値（Ｈ，Ｓ，Ｖ）は、
Ｈ＝６０×（Ｇ−Ｂ）／（MAX−MIN）＋０，if MAX=Ｒ
Ｈ＝６０×（Ｂ−Ｒ）／（MAX−MIN）＋１２０，if MAX=Ｇ
Ｈ＝６０×（Ｒ−Ｇ）／（MAX−MIN）＋２４０，if MAX=Ｂ
Ｓ＝（MAX−MIN）／MAX
Ｖ＝MAX
で与えられる。ＨＳＶ表色系では、色彩は色相Ｈの値によって示されるので、色の近似判断は、色相Ｈの値を相互に比較することによって行うことができる。なお、色の比較には、色相Ｈの値しか用いないので、実際には、ＨＳＶ表色系に変換する際に、彩度Ｓおよび明度Ｖの値を求める必要はない。
【０１４５】
結局、図２３に示す４８個の周辺画素Ｗ１〜Ｗ２４，Ｗ２６〜Ｗ４９の色が、中心画素Ｗｑ（Ｗ２５）の色の近似範囲に入るか否かを判断するには、ＨＳＶ表色系に変換した際の各周辺画素の色相Ｈ１〜Ｈ２４，Ｈ２６〜Ｈ４９が、中心画素の色相Ｈｑの近似範囲に入るか否かを判断すればよい。色相Ｈは、色環上の０〜３６０°の角度を示すものであるので、「各周辺画素の色の色相Ｈ１〜Ｈ２４，Ｈ２６〜Ｈ４９を表す角度と中心画素の色の色相Ｈｑを表す角度との角度差が所定の許容角θ以下である」との条件を設定しておけば、色の近似判断を行うことができる。
【０１４６】
図２５は、ＨＳＶ表色系における色相Ｈの近似条件の設定例を示す図である。図示のとおり、中心画素の色相Ｈｑの角度に対して、角度差が許容角θ以下となる色相をもつ画素、すなわち、色相がＨｑ−θ〜Ｈｑ＋θの範囲内（色環上の０〜３６０°の角度であるため、負になる場合は３６０°を加えた値とし、３６０°を越える場合は、３６０°を減じた値とする）であれば、近似範囲との判断がなされる。近似範囲を左右する許容角θは、たとえば、θ＝１０°とか、θ＝１５°のように、実際にこの動画提示装置を利用して再生を行う動画の内容を考慮して、適当と思われる値に設定すればよい。
【０１４７】
こうして、中心画素Ｗｑを含めた全４９個の画素のうち、近似範囲内と判断される参照画素が得られたら、前述したとおり、これら参照画素の色の平均Ｗavを求め、これを基準色αとすればよい。ここで、平均色Ｗavを求める際には、上述したとおり、ＲＧＢ表色系で表現された画素値（Ｒ，Ｇ，Ｂ）を用いて、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を平均色Ｗavとすればよい。
【０１４８】
＜３−３． 近隣ブロック抽出部１６０の処理アルゴリズム＞
近隣ブロック抽出部１６０は、自動追跡フラグがＯＮの場合に、歪曲広角画像用メモリ１３０に格納されている第（ｉ＋１）番目のフレームの歪曲広角画像Ｓ（ｉ＋１）を複数のブロックに分割し、切出条件格納部１７０に格納されている第ｉ番目のフレームについての切出中心点Ｐ（ｉ）newの近隣の複数のブロックを近隣ブロックとして抽出する処理を行う。
【０１４９】
図２６は、この近隣ブロック抽出部１６０によって行われる近隣ブロック抽出処理の一例を示す平面図である。ここに示す例の場合、近隣ブロック抽出部１６０は、歪曲広角画像Ｓ（ｉ＋１）を、縦横に整列して配置された複数の矩形状のブロックに分割し、切出中心点Ｐ（ｉ）newを含むブロックを中心ブロックＢ５として、この中心ブロックＢ５およびその上下左右および斜め四方に位置する隣接ブロックを含めた合計９ブロックを近隣ブロックＢ１〜Ｂ９として抽出している。
【０１５０】
このように、合計９ブロックを近隣ブロックとして抽出するようにすれば、追跡対象物が中心ブロックからどの方向に移動したとしても、いずれかの近隣ブロックを通らざるを得ないので、追跡対象物を見失うことを防ぐために効果的である。もちろん、追跡対象物の移動速度が極端に大きい場合には、９個の近隣ブロックの外へ移動してしまうこともありうるので、そのように移動速度が速い追跡対象物についての自動追跡を適切に行うためには、切出中心点Ｐ（ｉ）newを含む中心ブロックを中心として、５×５の合計２５個のブロックを近隣ブロックとして抽出するようにしてもよい。また、歪曲広角画像Ｓ（ｉ＋１）の円周付近に切出中心点Ｐ（ｉ）newが位置する場合は、上下左右および斜め四方に位置する隣接ブロックのうちのいくつかは、該当位置に存在しないケースもあるが、このようなケースでは、当然ながら、該当位置に存在しないブロックは抽出されない。
【０１５１】
なお、抽出対象となる近隣ブロックは、必ずしもｎ行ｎ列の配列にする必要はなく、たとえば、追跡対象物の特性上、Ｙ軸方向への移動速度に比べてＸ軸方向への移動速度が大きいというような事情がある場合には、３行５列の配列を構成する合計１５個の近隣ブロックを抽出するようにしてもかまわない。また、図２６では、個々のブロックを正方形とした例を示したが、個々のブロックの形状は任意であり、長方形、正三角形、正六角形など、平面を隙間なく分割できる図形であれば、任意形状のブロックを採用することができる。もちろん、個々のブロックの大きさも任意であり、実用上、最適と思われる任意の大きさに設定することができる。また、各ブロックは、必ずしも同じ形状、同じサイズのものである必要はないので、理論的には、ジグソーパズルの各ピースのような任意形状のブロックにより、歪曲広角画像Ｓをブロック分割するようにしてもかまわない。
【０１５２】
ここで述べる実施形態は、画像入力部１１０が、魚眼レンズを用いた撮影により得られた歪曲広角画像Ｓを入力する例であるため、図２６に示すとおり、歪曲広角画像Ｓ（ｉ＋１）は円形の画像になる。このような円形の歪曲広角画像では、外周付近の画像情報の圧縮率は極めて高くなる。別言すれば、円形の歪曲広角画像では、その円周付近ほど、歪みの程度が大きく、画像の記録精度が低下することになる。そこで、ここに示す実施形態の場合、近隣ブロック抽出部１６０は、この円形の歪曲広角画像を、複数の矩形状のブロックに分割した後、円形の歪曲広角画像の輪郭線から一部でも食み出すブロックについては、近隣ブロックとしての抽出を行わないようにしている。
【０１５３】
図２６に示す例において、正方形で描かれている個々のブロックはいずれも円形の歪曲広角画像の輪郭線の内側に位置するブロックであり、輪郭線から一部でも食み出すブロックは描かれていない。近隣ブロック抽出部１６０は、この正方形で描かれているブロックの中から近隣ブロックの抽出を行うことになる。このような運用を行うと、円形の歪曲広角画像の外周付近の領域（画像の記録精度が低い領域）は、自動追跡の対象から外されることになるので、精度の低い画像に基づく誤認識が生じることを防ぐ上で有効である。
【０１５４】
＜３−４． ブロック選択部１８０の処理アルゴリズム＞
ブロック選択部１８０は、自動追跡フラグがＯＮの場合に、近隣ブロック抽出部１６０によって抽出された複数の近隣ブロック（図２６に示す例の場合は、９個の近隣ブロックＢ１〜Ｂ９）のそれぞれについて、ブロック内に含まれる個々の画素のうち、基準色格納部１９０に格納されている基準色αに対して所定の近似範囲に入る色をもつ画素数をカウントし、近似色画素数が最大となるブロックを選択する処理を行う。
【０１５５】
ここで、各画素の色が、基準色αに対して所定の近似範囲に入る色か否かを判断するには、§３−２で述べた色の近似判断を行うためのアルゴリズムを利用すればよい。たとえば、図２６に示すブロックＢ１について、近似色画素数をカウントする場合は、次のような手順に従った処理を行えばよい。
【０１５６】
まず、ここでは、説明の便宜上、個々のブロックが３０×３０画素の領域から構成されているものとしよう。この場合、ブロックＢ１には、合計９００個の画素が含まれていることになる。そこで、図２７に示すとおり、この９００個の画素Ｗ１〜Ｗ９００のそれぞれについて、ＲＧＢ表色系の画素値（Ｒ，Ｇ，Ｂ）をＨＳＶ表色系の画素値（Ｈ，Ｓ，Ｖ）に変換する。たとえば、第１番目の画素Ｗ１の画素値（Ｒ１，Ｇ１，Ｂ１）は、画素値（Ｈ１，Ｓ１，Ｖ１）に変換され、第９００番目の画素Ｗ９００の画素値（Ｒ９００，Ｇ９００，Ｂ９００）は、画素値（Ｈ９００，Ｓ９００，Ｖ９００）に変換される（前述したとおり、実際には、彩度Ｓおよび明度Ｖの値は求める必要はない）。
【０１５７】
続いて、基準色格納部１９０に格納されている基準色αについても、ＨＳＶ表色系への変換を行う。§３−２で述べた例の場合、基準色αは、ＲＧＢ表色系で表現された画素値の平均をとった平均色Ｗav（Ｒav，Ｇav，Ｂav）として与えられるので、これをＨＳＶ表色系で表現した色Ｗav（Ｈav，Ｓav，Ｖav）に変換すればよい（この場合も、実際には、彩度Ｓavおよび明度Ｖavの値は求める必要はない）。
【０１５８】
そして、図２７に示すとおり、９００個の画素の各色相Ｈ１〜Ｈ９００を、それぞれ基準色αの色相Ｈavと比較する処理を行い、近似範囲内か否かの判断をする。具体的には、色相Ｈavの角度に対して、角度差が許容角θ以下となる色相をもつ画素、すなわち、色相がＨav−θ〜Ｈav＋θの範囲内（色環上の０〜３６０°の角度であるため、負になる場合は３６０°を加えた値とし、３６０°を越える場合は、３６０°を減じた値とする）であれば、近似範囲との判断を行えばよい。そして、９００個の画素のうち、近似範囲との判断がなされた画素の数をカウントすれば、そのカウント値が、ブロックＢ１についての近似色画素数ということになる。
【０１５９】
ブロック選択部１８０は、同様のカウント処理を、ブロックＢ２〜Ｂ９についても実行し、近似色画素数が最大となるブロックＢmaxを選択する処理を行う。追跡対象物が背景画像にはない特徴的な色相を有していれば、当該特徴的な色相に近い色をもつ画素を多く含むブロックには、追跡対象物が含まれている可能性が高いと考えられる。ブロック選択部１８０によるブロック選択処理は、このような考え方に基づいて、追跡対象物が含まれている可能性が最も高いブロックを選択する処理と言うことができる。
【０１６０】
もちろん、追跡対象物の代表的な色相が、背景画像にも散見される、という環境（たとえば、茶色い猫が、茶色い土の上を歩いているような環境）では、上記アルゴリズムに基づくブロック選択処理は、正しい結果を導くことはできない。また、追跡対象物の代表的な色相に近い色をもった別な対象物が存在する、という環境（たとえば、数匹の茶色い猫がたむろしている環境）でも、上記アルゴリズムに基づくブロック選択処理は、正しい結果を導くことはできない。本発明による追跡対象物の自動追跡処理は、上例のような特殊な環境では失敗し、背景の一部や別な対象物を、追跡対象物と誤って検出してしまうことになる。本発明の基本原理が、色を手掛かりに動体追跡を行うというものである以上、上例のような追跡失敗例が生じることは甘受せざるを得ない。
【０１６１】
なお、追跡対象物が、既に近隣ブロックの外へ移動してしまっている場合にも、誤検出が生じることになる。このような誤検出を避けるには、ブロック選択部１８０が、予め近似色画素数の最低基準値を設定しておき、近似色画素数がこの最低基準値以上となるブロックが存在しない場合には、ブロックの選択を行わずに自動追跡フラグ設定部２２０に対して自動追跡失敗信号を与えるようにし、自動追跡フラグ設定部２２０が、自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替える処理を行うようにしておくのが好ましい。
【０１６２】
すなわち、「近似色画素数が最大となるブロック」というアルゴリズムだけでブロックの選択を行うと、たとえば、他のブロックの近似画素数が０個である場合には、近似色画素数がわずか１個しかないブロックでも選択されてしまうことになる。このように近似色画素数が極めて少ないブロックには、実際には、追跡対象物が含まれていない可能性が高い。そこで、近似色画素数の最低基準値を設定しておき、近似色画素数がこの最低基準値以上となるブロックが存在しない場合には、追跡対象物が、既に近隣ブロックの外へ移動してしまっていると判断し、自動追跡フラグをＯＦＦに切り替え、その後の自動追跡処理を中止するようにするのが好ましい。
【０１６３】
＜３−５． 切出条件自動変更部２１０の処理アルゴリズム＞
切出条件自動変更部２１０は、自動追跡フラグがＯＮの場合に、ブロック選択部１８０が選択したブロック内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、基準色αに最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を次のフレームについての切出中心点Ｐとして、切出条件格納部１７０に格納されている切出中心点Ｐを示す情報を更新する処理を行う。
【０１６４】
図２８は、この切出条件自動変更部２１０によって行われる最適候補領域の選択処理の一例を示す平面図である。図に示すブロックＢmaxは、ブロック選択部１８０によって選択されたブロックである。ここに示す実施形態では、切出条件自動変更部２１０が、所定サイズの画素配列を定義し、当該画素配列の枠をブロック内の所定位置に配置した場合の当該枠内の領域を候補領域とし、この画素配列の枠の配置を縦横にそれぞれ１画素ずつずらすことにより、互いに位置が異なる複数の候補領域を定義している。
【０１６５】
図２８に示す例の場合、７×７の画素配列（基準色αの抽出に用いた近傍領域Ｎと同じサイズの画素配列）が定義されており、この画素配列の枠が太線で示されている。この太線の枠で囲まれた領域が１つの候補領域になる。図では、便宜上、第１番目の候補領域Ａ（１）および第ｋ番目の候補領域Ａ（ｋ）のみが例示されているが、実際には、この７×７の画素配列を、横方向に１画素ずつずらし、縦方向にも１画素ずつずらすことにより、互いに位置が異なる多数の候補領域が定義される。
【０１６６】
たとえば、このブロックＢmaxが、３０×３０画素の配列からなるブロックであったとすると、７×７の画素配列からなる候補領域を配置する横方向のバリエーションは２４通り、縦方向のバリエーションも２４通りであるので、ブロックＢmax上には、互いに位置が異なる２４×２４＝５７６個の候補領域が定義されることになる。切出条件自動変更部２１０は、これら５７６個の候補領域の中から、基準色αに最も適合する色をもつ候補領域を最適候補領域として選択する処理を行う。
【０１６７】
ここで、基準色αに最も適合する色をもつ候補領域を選択するための具体的なアルゴリズムとしては、候補領域内の画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択する方法を採ることができる。たとえば、図示の例の場合、第１の候補領域Ａ（１）については、この太線の枠内に位置する合計４９個の画素の色の平均値を算出し（§３−２で述べたように、ＲＧＢ表色系で表現された３原色それぞれの画素値の平均をとればよい）、これを基準色αと比較し、色の近似度合を調べればよい。２つの色の近似度合を求めるには、§３−２で述べたように、両方の色をＨＳＶ表色系に変換し、色相Ｈの角度差を求めるようにすればよい。全５７６個の候補領域について、それぞれ色相Ｈの角度差を求めれば、角度差が最も小さい候補領域を最適候補領域として選択することができる。
【０１６８】
もっとも、このように４９個の画素のすべてについて色の平均値を求めるようにすると、§３−１でも述べたとおり、追跡対象物の色だけでなく、周囲の背景の色までもが、平均値に寄与することになる。たとえば、第ｋ番目の候補領域Ａ（ｋ）と追跡対象物６０との位置関係が、図２３に示す例のようになっていた場合を考えてみよう。すなわち、図２３に示す近傍領域Ｎが、候補領域Ａ（ｋ）に相当する。この場合、４９個の画素のすべてについて色の平均値を求めてしまうと、追跡対象物（猫）の色に、背景の色が混入してしまうことになるので、せっかく候補領域Ａ（ｋ）内に追跡対象物（猫）が居るのに、基準色αとの近似度は、それほど大きくならない可能性がある。
【０１６９】
このような問題を解消するには、切出条件自動変更部２１０が、候補領域内の画素のうち、基準色αに対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択するようにすればよい。
【０１７０】
上記アルゴリズムに基づく具体的な処理手順を、図２９を参照しながら説明しよう。図２９は、図２８に示す第ｋ番目の候補領域Ａ（ｋ）について、基準色αとの近似度を調べる処理手順を示す図である。第ｋ番目の候補領域Ａ（ｋ）は、上述したとおり、合計４９個の画素によって構成されている。ここでは、この４９個の画素を、画素Ｗ１ｋ〜Ｗ４９ｋと呼ぶことにする。これらの各画素は、それぞれＲＧＢ表色系の画素値（Ｒ，Ｇ，Ｂ）を有している。たとえば、第１番目の画素Ｗ１ｋは、画素値（Ｒ１ｋ，Ｇ１ｋ，Ｂ１ｋ）を有しており、第４９番目の画素Ｗ４９ｋは、画素値（Ｒ４９ｋ，Ｇ４９ｋ，Ｂ４９ｋ）を有している。そこで、まず、これらＲＧＢ表色系の画素値をＨＳＶ表色系の画素値に変換する。たとえば、第１番目の画素Ｗ１ｋの画素値は、画素値（Ｈ１ｋ，Ｓ１ｋ，Ｖ１ｋ）に変換され、第４９番目の画素Ｗ４９ｋの画素値は、画素値（Ｈ４９ｋ，Ｓ４９ｋ，Ｖ４９ｋ）に変換される（前述したとおり、実際には、彩度Ｓおよび明度Ｖの値は求める必要はない）。
【０１７１】
続いて、基準色格納部１９０に格納されている基準色αについても、ＨＳＶ表色系への変換を行う。§３−２で述べた例の場合、基準色αは、ＲＧＢ表色系で表現された画素値の平均をとった平均色Ｗav（Ｒav，Ｇav，Ｂav）として与えられるので、これをＨＳＶ表色系で表現した色Ｗav（Ｈav，Ｓav，Ｖav）に変換すればよい（この場合も、実際には、彩度Ｓavおよび明度Ｖavの値は求める必要はない）。
【０１７２】
そして、図２９に示すとおり、４９個の画素の各色相Ｈ１ｋ〜Ｈ４９ｋを、それぞれ基準色αの色相Ｈavと比較する処理を行い、近似範囲内か否かの判断をする。具体的には、色相Ｈavの角度に対して、角度差が許容角θ以下となる色相をもつ画素、すなわち、色相がＨav−θ〜Ｈav＋θの範囲内（色環上の０〜３６０°の角度であるため、負になる場合は３６０°を加えた値とし、３６０°を越える場合は、３６０°を減じた値とする）であれば、近似範囲との判断を行えばよい。そして、４９個の画素のうち、近似範囲との判断がなされた画素を参照画素として、この参照画素の色の平均Ｗavｋを求める。色の平均値を求める際には、ＲＧＢ表色系の画素値の原色ごとの平均値がとられるので、平均色Ｗavｋは、図２９の下段に示すとおり、三原色の画素値（Ｒavｋ，Ｇavｋ，Ｂavｋ）の組み合わせとして得られることになる。
【０１７３】
こうして得られた色Ｗavｋ（Ｒavｋ，Ｇavｋ，Ｂavｋ）の意味するところは、図２８に示す第ｋ番目の候補領域Ａ（ｋ）内に含まれる４９個の画素のうち、基準色α（Ｗav（Ｒav，Ｇav，Ｂav））に対して所定の近似範囲に入る色をもつ画素の色の平均、ということになる。そこで、最後に、この色Ｗavｋ（Ｒavｋ，Ｇavｋ，Ｂavｋ）と、基準色α（Ｗav（Ｒav，Ｇav，Ｂav））との近似度を算出する。具体的には、色Ｗavｋ（Ｒavｋ，Ｇavｋ，Ｂavｋ）をＨＳＶ表色系に変換してＷavｋ（Ｈavｋ，Ｓavｋ，Ｖavｋ）を求め、基準色α（Ｗav（Ｒav，Ｇav，Ｂav））をＨＳＶ表色系に変換してＷav（Ｈav，Ｓav，Ｖav）を求め、色相Ｈavと色相Ｈavｋとの角度差を求めればよい（この場合も、実際には、彩度Ｓおよび明度Ｖの値は求める必要はない）。当該角度差は、第ｋ番目の候補領域Ａ（ｋ）の色と基準色αとの適合度合を示すパラメータになる（角度差が小さいほど、適合度合が高いことになる）。
【０１７４】
以上は、第ｋ番目の候補領域Ａ（ｋ）についての適合度合を求める手順であるが、同様の手順を、第１番目の候補領域Ａ（１）〜第５７６番目の候補領域Ａ（５７６）について実行し、適合度合が最も高い候補領域（角度差の最も小さい候補領域）を、最適候補領域として選択することになる。こうして選択された最適候補領域の中心点が、次のフレームについての切出中心点Ｐとなる。たとえば、図２８に示すように、第（ｉ＋１）番目の歪曲広角画像Ｓ（ｉ＋１）内の選択ブロックＢmaxについて、第ｋ番目の候補領域Ａ（ｋ）が最適候補領域として選択された場合、当該最適候補領域Ａ（ｋ）の中心点が新たな切出中心点Ｐ（ｉ＋１）となり、切出条件格納部１７０に書き込まれる。
【０１７５】
なお、上記アルゴリズムによって最適候補領域を選択する際にも、切出条件自動変更部２１０が、予め基準色αに対する最低適合基準を設定しておき、適合の程度が最低適合基準以上となる候補領域が存在しない場合には（たとえば、角度差が５°以下となる候補領域が存在しない場合には）、最適候補領域の選択および切出中心点Ｐを示す情報の更新を行わずに自動追跡フラグ設定部２２０に対して自動追跡失敗信号を与えるようにするのが好ましい。自動追跡フラグ設定部２２０は、自動追跡失敗信号が与えられた場合には、自動追跡フラグをＯＦＦに切り替え、その後の自動追跡処理を中止すればよい。
【０１７６】
＜３−６． 隣接ブロックへ移動した後の処理アルゴリズム＞
本発明に係る動画提示装置における自動追跡モードでは、追跡対象物が隣接ブロックへ移動した場合にも、これまで述べてきたアルゴリズムと同様に処理を行うことにより、支障なく自動追跡を継続することができる。
【０１７７】
たとえば、図２６に示すように、歪曲広角画像Ｓ（ｉ＋１）上で、切出中心点Ｐ（ｉ）newを含むブロックを中心として、９個の近隣ブロックＢ１〜Ｂ９が抽出された時点で、既に追跡対象物がブロックＢ５から左のブロックＢ４へ移動していた場合を考えてみよう。この場合、ブロック選択部１８０は、追跡対象物が存在するブロックＢ４を選択することになり、切出条件自動変更部２１０は、このブロックＢ４上の追跡対象物の位置を特定し、当該位置を新たな切出中心点Ｐ（ｉ＋１）として、切出条件格納部１７０に書き込む処理を行う。
【０１７８】
この場合、次のフレームである歪曲広角画像Ｓ（ｉ＋２）上では、図３０に示すように、切出中心点Ｐ（ｉ＋１）を含むブロックＢ４を中心として、９個の近隣ブロックＢ１０，Ｂ１，Ｂ２，Ｂ１１，Ｂ４，Ｂ５，Ｂ１２，Ｂ７，Ｂ８が抽出されることになり、これまで述べてきたアルゴリズムと同様の処理手順で、追跡対象物についての自動追跡が継続される。
【０１７９】
なお、第（ｉ＋１）番目のフレームについての切出中心点Ｐ（ｉ＋１）が求まり、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）が平面正則画像用メモリ１４０上に格納されると、基準色抽出部２００は、この平面正則画像Ｔ（ｉ＋１）に基づいて、第（ｉ＋１）番目の基準色α（ｉ＋１）を抽出する処理を実行するが、当該処理も、§３−１で述べたアルゴリズムをそのまま踏襲して行うことができる。図２２で説明した基準色αの抽出アルゴリズムは、追跡開始指示が与えられた当初のフレームについてのアルゴリズムであるため、近傍領域Ｎが追跡開始点Ｑの位置に定義されているが、それ以降のフレームについては、追跡対象物が常に画面の中心に表示されているため、近傍領域Ｎは、画面の中央位置に定義されることになる。
【０１８０】
図３１は、第（ｉ＋１）番目のフレームの平面正則画像Ｔ（ｉ＋１）上で行われる基準色抽出処理の実例を示す平面図である。上述したように、自動追跡モードの途中のフレームの場合、切出中心点Ｐ（ｉ＋１）は平面正則画像Ｔ（ｉ＋１）の中心位置にくることになり、近傍領域Ｎも、平面正則画像Ｔ（ｉ＋１）の中央に定義される。この場合でも、近傍領域Ｎを利用した基準色抽出処理のアルゴリズム自体に変わりはなく、図示の例の場合、§３−１で述べた例と同様に、平均色Ｗav（Ｒav，Ｇav，Ｂav）が、第（ｉ＋１）番目の基準色α（ｉ＋１）として抽出されることになる。
【０１８１】
＜＜＜ §４． いくつかの変形例 ＞＞＞
最後に、本発明に係る動画提示装置の変形例をいくつか述べておく。
【０１８２】
(1) 色の近似判断の変形例
§３−２では、色の近似判断のアルゴリズムとして、画素値をＨＳＶ表色系の画素値に変換し、色相Ｈの角度差に基づいて近似判断を行う例を述べたが、２つの画素の色の近似判断を行うアルゴリズムは、色相Ｈの角度差に基づく方法に限定されるものではない。
【０１８３】
たとえば、第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＲＧＢ表色系で表現し、個々の画素の色を三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットした場合に、「２つの画素の座標点間のユークリッド距離が所定値以下である」との条件を用いることも可能である。
【０１８４】
図３２は、ＲＧＢ表色系における色の近似条件の設定例を示す図である。各画素の画素値をＲＧＢ表色系で表現した場合、個々の画素の色は、三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットすることができる。たとえば、図３２に示す点ＱαおよびベクトルＶαは、（Ｒα，Ｇα，Ｂα）なる数値で示される１つの座標点およびベクトルであるが、ＲＧＢ表色系で表現した場合に画素値（Ｒα，Ｇα，Ｂα）で表される色を示している。同様に、点ＱβおよびベクトルＶβは、画素値（Ｒβ，Ｇβ，Ｂβ）で表される色を示している。
【０１８５】
ここで、２つの色Ｑα，Ｑβの近似度は、２点Ｑα，Ｑβ間のユークリッド距離ｄで表すことができ、距離ｄが小さければ小さいほど、近似度が高いと言うことができる。ユークリッド距離ｄは、図３３に示す演算式で定義できるので、結局、２つの画素のＲＧＢ表色系の画素値が得られれば、図３３に示す式を用いてユークリッド距離ｄを求めることができ、両画素の色の近似度を求めることができる。したがって、色Ｑαの所定の近似範囲に色Ｑβが入るための条件として、「ユークリッド距離ｄが所定値以下である」との条件を設定し、色の近似判断を行うことができる。
【０１８６】
(2) 基準色の抽出対象の変形例
これまで述べてきた実施形態では、基準色抽出部２００が平面正則画像用メモリ１４０に格納されている平面正則画像Ｔに基づいて、追跡対象物の色を代表する基準色αを抽出する例を述べた。たとえば、図２２に示す近傍領域Ｎや図３１に示す近傍領域Ｎは、いずれも平面正則画像Ｔ上に定義された領域であり、基準色αの抽出処理は、平面正則画像Ｔ上の画素を利用して行われてきた。
【０１８７】
しかしながら、基準色の抽出対象は、必ずしも平面正則画像Ｔに限定されるものではなく、歪曲広角画像用メモリ１３０に格納されている歪曲広角画像Ｓに基づいて、基準色αを抽出することも可能である。切出中心点Ｐは、平面正則画像Ｔ上にも、歪曲広角画像Ｓ上にも定義できる点であるから、歪曲広角画像Ｓ上の切出中心点Ｐを含む画素およびその周辺画素によって近傍領域Ｎを定義することも可能であり、歪曲広角画像Ｓ上の近傍領域Ｎに基づいて、これまで述べてきた方法と同様の方法で、基準色αの抽出を行うことも可能である。
【０１８８】
(3) コントローラ装置３００の変形例
図１４には、指示入力部２４０のハードウエア構成部分となるコントローラ装置３００の一例を示したが、もちろん、コントローラ装置の構成は、図１４に示す例に限定されるものではない。
【０１８９】
図１４に示すコントローラ装置３００では、カーソル移動ボタン３４１〜３４４を利用して、画面上の十字カーソルＣを移動し、この十字カーソルＣによって追跡開始点Ｑの位置を指定する操作を行うことになるが、追跡開始点Ｑの位置指定は、必ずしも、このようなカーソル移動ボタン３４１〜３４４を利用して行う必要はない。
【０１９０】
この図１４に示すコントローラ装置３００には、画面移動ボタン３２０が備わっており、この画面移動ボタン３２０を上下左右に傾斜させることにより、平面正則画像上での切り出し位置を上下左右に移動させることができる。そこで、この画面移動ボタン３２０を利用して、追跡開始点Ｑの位置を指定する操作を行えるようにすることも可能である。たとえば、この画面移動ボタン３２０と、追跡開始指示ボタン３４５とを用いて、追跡開始点Ｑの位置を含む追跡開始指示の入力を行うようにすることができる。そのためには、自動追跡フラグ設定部２２０が、追跡開始指示ボタン３４５が押されたときに、その時点の切出中心点Ｐの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行するようにすればよい。
【０１９１】
この場合の具体的な操作を実例で示そう。たとえば、視聴者が、猫６０を追跡対象物として自動追跡モードに入りたいと考えた場合、猫６０が画面の中心に表示されるように画面移動ボタン３２０を操作し、図１９に示すように、猫６０が画面の中心に表示された時点で、追跡開始指示ボタン３４５が押す操作を行えばよい。そうすれば、自動追跡フラグ設定部２２０は、画面中心の猫６０の位置（すなわち、切出中心点Ｐの位置）を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することができる。
【０１９２】
また、図１４に示すコントローラ装置３００には、追跡終了指示ボタンが示されていないが、実用上は、コントローラ装置３００に追跡終了指示ボタンを用意しておき、自動追跡フラグ設定部２２０が、この追跡終了指示ボタンが押された場合に、追跡終了指示が入力されたものとして、自動追跡フラグをＯＦＦに切り替え、自動追跡終了処理を実行するようにするのが好ましい。もちろん、他のボタンを追跡終了指示ボタンとして兼用させることもできる。たとえば、追跡開始指示ボタン３４５を追跡終了指示ボタンとして兼用させ、自動追跡フラグがＯＮのときに追跡開始指示ボタン３４５が押された場合には、追跡終了指示が入力されたものとして、自動追跡終了処理が実行されるようにしてもよい。
【０１９３】
更に、画像入力部１１０が入力する画像データが、何らかのデジタルコンテンツデータであり、必要に応じて、早送り、巻き戻し、一時停止、スロー再生などを行うことが可能な場合は、コントローラ装置３００に、早送りボタン、巻き戻しボタン、一時停止ボタン、スロー再生ボタンなどを設けておき、これらの操作を行うことができるようにしてもよい。
【０１９４】
(4) 広角撮影装置および撮影環境の変形例
これまで述べた例は、広角撮影装置として、魚眼レンズを装着したビデオカメラを用いた例であるが、本発明に係る動画提示装置によって提示可能な動画は、必ずしも魚眼レンズを装着した撮影装置によって撮影された画像に限定されるものではない。たとえば、全方位ミラーを装着した撮影装置などによって撮影された動画を提示する場合にも、本発明は適用可能である。
【０１９５】
また、動画撮影の環境には、広角撮影装置を固定して定点撮影を行うケースと、広角撮影装置を移動させながら周囲の風景などを撮影する移動撮影を行うケースがあるが、本発明は、いずれのケースで得られた動画の提示にも適用可能である。定点撮影した動画の場合、追跡対象物（動体）は、猫、人、車といった移動物体になるが、移動撮影した動画の場合、追跡対象物（動体）は、移動物体に限定されず、たとえば、建物や標識などの固定物体も追跡対象物として指定可能になる。
【符号の説明】
【０１９６】
１０：路面
２０：樹木
３０：ガードレール
４０：ビデオカメラ
５０：魚眼レンズ
６０：追跡対象物（猫）
１１０：画像入力部
１２０：画像出力部
１３０：歪曲広角画像用メモリ
１４０：平面正則画像用メモリ
１５０：画像切出変換部
１６０：近隣ブロック抽出部
１７０：切出条件格納部
１８０：ブロック選択部
１９０：基準色格納部
２００：基準色抽出部
２１０：切出条件自動変更部
２２０：自動追跡フラグ設定部
２３０：切出条件手動変更部
２４０：指示入力部
３００：コントローラ装置
３１０：操作パネル部
３２０：画面移動ボタン（円形操作盤）
３３０：倍率向き変更ボタン
３３１：倍率変更ボタン（増加）
３３２：倍率変更ボタン（減少）
３３３：向き変更ボタン（反時計回り）
３３４：向き変更ボタン（時計回り）
３４０：カーソル移動ボタン
３４１：上方向移動ボタン
３４２：下方向移動ボタン
３４３：左方向移動ボタン
３４４：右方向移動ボタン
３４５：追跡開始指示ボタン
３５０：接続ケーブル
Ａ（１），Ａ（ｋ）：候補領域
ａ：ディスプレイ画面の横方向寸法（水平方向の画素数）
Ｂ，Ｂα，Ｂβ：青色画素値
Ｂ１〜Ｂ１２，Ｂmax：ブロック
ｂ：ディスプレイ画面の縦方向寸法（垂直方向の画素数）
Ｃ：十字カーソル
Ｄ：切出方向線
ｄ：ユークリッド距離
Ｅ，Ｅ１，Ｅ２，Ｅ（１），Ｅ（９）：切出領域
Ｅ（ｉ），Ｅ（ｉ＋１）：切出領域
Ｇ：二次元ＵＶ座標系の原点
Ｇ，Ｇα，Ｇβ：緑色画素値
Ｈ：仮想球面
Ｈｑ：基準色の色相
Ｈ（ｘ，ｙ，ｚ）：仮想球面Ｈ上の入射点
Ｌ１，Ｌ２：入射光線
ｍ，ｍ（ｉ），ｍ（ｉ＋１）：倍率
Ｎ：近傍領域
Ｏ：三次元ＸＹＺ直交座標系の原点
Ｐ，Ｐ１，Ｐ２，Ｐ（１），Ｐ（９）：切出中心点
Ｐ（ｉ），Ｐ（ｉ）old，Ｐ（ｉ）new，Ｐ（ｉ＋１）：切出中心点
Ｐ（ｘｐ，ｙｐ）：切出中心点
Ｑ：追跡開始点
Ｑα，Ｑβ：ＲＧＢ色空間上の座標点
Ｒ，Ｒα，Ｒβ：赤色画素値
ｒ：歪曲広角画像Ｓの半径（仮想球面Ｈの半径）
Ｓ，Ｓ（１），Ｓ（９）：歪曲広角画像（魚眼レンズで撮影された円形画像）
Ｓ（ｉ），Ｓ（ｉ＋１）：歪曲広角画像（魚眼レンズで撮影された円形画像）
Ｓ（ｘ，ｙ）：二次元ＸＹ直交座標系上の歪曲広角画像Ｓ内の点
Ｓｉ（ｘｉ，ｙｉ）：二次元ＸＹ直交座標系上の歪曲広角画像Ｓ内の点
Ｔ，Ｔ１，Ｔ２：平面正則画像
Ｔ（ｉ），Ｔ（ｉ＋１）：平面正則画像
Ｔｉ（ｕｉ，ｖｉ）：二次元ＵＶ直交座標系上の平面正則画像Ｔ内の点
Ｕ：二次元ＵＶ座標系の座標軸
ｕ：二次元ＵＶ座標系の座標軸Ｕに関する座標値
Ｖ：二次元ＵＶ座標系の座標軸
ｖ：二次元ＵＶ座標系の座標軸Ｖに関する座標値
Ｖα，Ｖβ：ベクトル
Ｗ１〜Ｗ４９：画素
Ｗｑ：中心画素
Ｗｊ（Ｒｊ，Ｇｊ，Ｂｊ）：画素の色（ＲＧＢ表色系）
Ｗｊ（Ｈｊ，Ｓｊ，Ｖｊ）：画素の色（ＨＳＶ表色系）
Ｘ：三次元ＸＹＺ直交座標系の座標軸
ｘ，ｘｐ：二次元ＸＹ直交座標系の座標軸Ｘに関する座標値
Ｙ：三次元ＸＹＺ直交座標系の座標軸
ｙ，ｙｐ：二次元ＸＹ直交座標系の座標軸Ｙに関する座標値
Ｚ：三次元ＸＹＺ直交座標系の座標軸
α：基準色
φ，φ（ｉ），φ（ｉ＋１）：切出方向を示すパラメータ（平面傾斜角）
θ：許容角
【特許請求の範囲】
【請求項１】
広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置であって、
二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される歪曲広角画像を格納する歪曲広角画像用メモリと、
フレーム単位の時系列データとして順次与えられる第ｉ番目（ｉは、時系列で順次増加する整数）のフレームの歪曲広角画像を、前記歪曲広角画像用メモリに順次格納する画像入力部と、
二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
前記平面正則画像用メモリに格納されている平面正則画像を読み出して出力する画像出力部と、
歪曲広角画像の一部から平面正則画像を切り出すための条件として、歪曲広角画像上の１点である切出中心点Ｐと、画像の切り出し向きを示すパラメータφと、所定の倍率ｍと、を含む切出条件を格納する切出条件格納部と、
前記切出条件格納部に格納されている切出条件に基づいて、前記歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像の切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して第ｉ番目のフレームの平面正則画像として前記平面正則画像用メモリに格納する画像切出変換部と、
視聴者からの指示を入力する指示入力部と、
前記指示入力部が、切出条件を変更する切出条件変更指示を入力したときに、当該指示に基づいて、前記切出条件格納部に格納されている切出条件を変更する切出条件手動変更部と、
前記指示入力部が、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替えるとともに、前記追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐとして、前記切出条件格納部に格納されている切出中心点Ｐを更新する自動追跡開始処理を実行し、前記指示入力部が、追跡終了指示を入力したときに、前記自動追跡フラグをＯＦＦに切り替える自動追跡終了処理を実行する自動追跡フラグ設定部と、
前記自動追跡フラグがＯＮの場合に、前記平面正則画像用メモリに格納されている第ｉ番目のフレームの平面正則画像もしくは前記歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像に基づいて、前記切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐに位置する追跡対象物の色を代表する第ｉ番目のフレームの基準色αを、ｉが更新するごとに逐次抽出する基準色抽出部と、
前記基準色抽出部によって抽出された最新の基準色を格納する基準色格納部と、
前記自動追跡フラグがＯＮの場合に、前記歪曲広角画像用メモリに格納されている第（ｉ＋１）番目のフレームの歪曲広角画像を複数のブロックに分割し、前記切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐの近隣の複数のブロックを近隣ブロックとして抽出する近隣ブロック抽出部と、
前記自動追跡フラグがＯＮの場合に、前記複数の近隣ブロックのそれぞれについて、ブロック内に含まれる個々の画素のうち、前記基準色格納部に格納されている第ｉ番目のフレームの基準色αに対して所定の近似範囲に入る色をもつ画素の数を示す近似色画素数を求め、この近似色画素数が最大となるブロックを選択するブロック選択部と、
前記自動追跡フラグがＯＮの場合に、前記ブロック選択部が選択したブロック内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、前記基準色格納部に格納されている第ｉ番目の基準色αに最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を第（ｉ＋１）番目のフレームについての切出中心点Ｐとして、前記切出条件格納部に格納されている切出中心点Ｐを示す情報を更新する切出条件自動変更部と、
を備えることを特徴とする動画提示装置。
【請求項２】
請求項１に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む１画素の色を基準色αとして抽出することを特徴とする動画提示装置。
【請求項３】
請求項１に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素の色の平均値を基準色αとして抽出することを特徴とする動画提示装置。
【請求項４】
請求項１に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素のうち、前記中心画素の色に対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値を基準色αとして抽出することを特徴とする動画提示装置。
【請求項５】
請求項３または４に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素を中心とするｎ行ｎ列の正方画素配列を近傍領域と定義することを特徴とする動画提示装置。
【請求項６】
請求項１〜５のいずれかに記載の動画提示装置において、
近隣ブロック抽出部が、歪曲広角画像を、縦横に整列して配置された複数の矩形状のブロックに分割し、切出中心点Ｐを含むブロックを中心ブロックとして、この中心ブロックおよびその上下左右および斜め四方に位置する隣接ブロックを含めた合計９ブロック（但し、該当位置に存在しないブロックは除く）を近隣ブロックとして抽出することを特徴とする動画提示装置。
【請求項７】
請求項１〜６のいずれかに記載の動画提示装置において、
切出条件自動変更部が、所定サイズの画素配列を定義し、当該画素配列の枠をブロック内の所定位置に配置した場合の当該枠内の領域を候補領域とし、前記画素配列の枠の配置を縦横にそれぞれ１画素ずつずらすことにより、互いに位置が異なる複数の候補領域を定義することを特徴とする動画提示装置。
【請求項８】
請求項７に記載の動画提示装置において、
切出条件自動変更部が、候補領域内の画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択することを特徴とする動画提示装置。
【請求項９】
請求項７に記載の動画提示装置において、
切出条件自動変更部が、候補領域内の画素のうち、基準色αに対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択することを特徴とする動画提示装置。
【請求項１０】
請求項１〜９のいずれか記載の動画提示装置において、
ブロック選択部が、予め近似色画素数の最低基準値を設定し、近似色画素数が前記最低基準値以上となるブロックが存在しない場合には、ブロックの選択を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、前記自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えることを特徴とする動画提示装置。
【請求項１１】
請求項１〜１０のいずれかに記載の動画提示装置において、
切出条件自動変更部が、予め基準色αに対する最低適合基準を設定し、適合の程度が前記最低適合基準以上となる候補領域が存在しない場合には、最適候補領域の選択および切出中心点Ｐを示す情報の更新を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、前記自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えることを特徴とする動画提示装置。
【請求項１２】
請求項１、４または９に記載の動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＨＳＶ表色系で表現して色相Ｈの値を０〜３６０°の角度で表した場合に、「第１の画素の色の色相Ｈを表す角度と第２の画素の色の色相Ｈを表す角度との角度差が所定の許容角θ以下である」との条件を用いることを特徴とする動画提示装置。
【請求項１３】
請求項１、４または９に記載の動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＲＧＢ表色系で表現し、個々の画素の色を三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットした場合に、「２つの画素の座標点間のユークリッド距離が所定値以下である」との条件を用いることを特徴とする動画提示装置。
【請求項１４】
請求項３、４、８または９に記載の動画提示装置において、
複数の画素の色の平均値を算出する際に、個々の画素の画素値をＲＧＢ表色系で表現し、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を当該複数の画素の色の平均値とすることを特徴とする動画提示装置。
【請求項１５】
請求項１〜１４のいずれかに記載の動画提示装置において、
指示入力部が、
上下左右に配置された４個のカーソル移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置と、
前記４個のカーソル移動ボタンの操作に基づいて上下左右に移動するカーソルの位置を画像出力部に対して指示するカーソル位置指示手段と、
を有し、
画像出力部が、平面正則画像上の前記カーソル位置指示手段によって指示された位置に、カーソルを重畳した画像を出力し、
自動追跡フラグ設定部が、前記追跡開始指示ボタンが押された場合に、その時点の前記カーソルの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することを特徴とする動画提示装置。
【請求項１６】
請求項１〜１４のいずれかに記載の動画提示装置において、
指示入力部が、上下左右に配置された４個の画面移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置を備え、
切出条件手動変更部が、前記４個の画面移動ボタンの操作に基づいて、平面正則画像上での切り出し位置が上下左右に移動するように、切出条件格納部に格納されている切出中心点Ｐを変更する機能を有し、
自動追跡フラグ設定部が、前記追跡開始指示ボタンが押された場合に、その時点の切出中心点Ｐの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することを特徴とする動画提示装置。
【請求項１７】
請求項１５または１６に記載の動画提示装置において、
自動追跡フラグ設定部が、コントローラ装置に設けられた追跡終了指示ボタンが押された場合、もしくは、自動追跡フラグがＯＮのときに追跡開始指示ボタンが押された場合に、追跡終了指示が入力されたものとして、自動追跡終了処理を実行することを特徴とする動画提示装置。
【請求項１８】
請求項１５〜１７のいずれかに記載の動画提示装置において、
コントローラ装置が、倍率ｍを増減する倍率変更ボタンと、画像の切り出し向きを示すパラメータφを増減する向き変更ボタンと、を更に備え、
切出条件手動変更部が、前記倍率変更ボタンもしくは前記向き変更ボタンが押された場合に、切出条件変更指示が入力されたものとして、切出条件格納部に格納されている倍率ｍもしくはパラメータφを変更することを特徴とする動画提示装置。
【請求項１９】
請求項１〜１８のいずれかに記載の動画提示装置において、
画像入力部が、魚眼レンズを用いた撮影により得られた円形の歪曲広角画像を入力して、これを歪曲広角画像用メモリに格納し、
近隣ブロック抽出部が、前記円形の歪曲広角画像を、複数の矩形状のブロックに分割し、前記円形の歪曲広角画像の輪郭線から一部でも食み出すブロックについては、近隣ブロックとしての抽出を行わないことを特徴とする動画提示装置。
【請求項２０】
請求項１〜１９のいずれかに記載の動画提示装置としてコンピュータを機能させるためのプログラム。
【請求項１】
広角撮影により得られた動画の各フレームを構成する歪曲広角画像の一部分を切り出して、平面正則画像に変換し、これを順次出力して動画の提示を行う動画提示装置であって、
二次元ＸＹ座標系上の座標（ｘ，ｙ）で示される位置に配置された多数の画素の集合体によって構成される歪曲広角画像を格納する歪曲広角画像用メモリと、
フレーム単位の時系列データとして順次与えられる第ｉ番目（ｉは、時系列で順次増加する整数）のフレームの歪曲広角画像を、前記歪曲広角画像用メモリに順次格納する画像入力部と、
二次元ＵＶ座標系上の座標（ｕ，ｖ）で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像用メモリと、
前記平面正則画像用メモリに格納されている平面正則画像を読み出して出力する画像出力部と、
歪曲広角画像の一部から平面正則画像を切り出すための条件として、歪曲広角画像上の１点である切出中心点Ｐと、画像の切り出し向きを示すパラメータφと、所定の倍率ｍと、を含む切出条件を格納する切出条件格納部と、
前記切出条件格納部に格納されている切出条件に基づいて、前記歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像の切出中心点Ｐで示される切り出し位置から、パラメータφで示される切り出し向きに、倍率ｍで示される切り出しサイズの画像を切り出し、これを平面正則画像に変換して第ｉ番目のフレームの平面正則画像として前記平面正則画像用メモリに格納する画像切出変換部と、
視聴者からの指示を入力する指示入力部と、
前記指示入力部が、切出条件を変更する切出条件変更指示を入力したときに、当該指示に基づいて、前記切出条件格納部に格納されている切出条件を変更する切出条件手動変更部と、
前記指示入力部が、特定の平面正則画像上の追跡開始点Ｑの位置を含む追跡開始指示を入力したときに、自動追跡フラグをＯＮに切り替えるとともに、前記追跡開始点Ｑに対応する二次元ＸＹ座標系上の点を新たな切出中心点Ｐとして、前記切出条件格納部に格納されている切出中心点Ｐを更新する自動追跡開始処理を実行し、前記指示入力部が、追跡終了指示を入力したときに、前記自動追跡フラグをＯＦＦに切り替える自動追跡終了処理を実行する自動追跡フラグ設定部と、
前記自動追跡フラグがＯＮの場合に、前記平面正則画像用メモリに格納されている第ｉ番目のフレームの平面正則画像もしくは前記歪曲広角画像用メモリに格納されている第ｉ番目のフレームの歪曲広角画像に基づいて、前記切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐに位置する追跡対象物の色を代表する第ｉ番目のフレームの基準色αを、ｉが更新するごとに逐次抽出する基準色抽出部と、
前記基準色抽出部によって抽出された最新の基準色を格納する基準色格納部と、
前記自動追跡フラグがＯＮの場合に、前記歪曲広角画像用メモリに格納されている第（ｉ＋１）番目のフレームの歪曲広角画像を複数のブロックに分割し、前記切出条件格納部に格納されている第ｉ番目のフレームについての切出中心点Ｐの近隣の複数のブロックを近隣ブロックとして抽出する近隣ブロック抽出部と、
前記自動追跡フラグがＯＮの場合に、前記複数の近隣ブロックのそれぞれについて、ブロック内に含まれる個々の画素のうち、前記基準色格納部に格納されている第ｉ番目のフレームの基準色αに対して所定の近似範囲に入る色をもつ画素の数を示す近似色画素数を求め、この近似色画素数が最大となるブロックを選択するブロック選択部と、
前記自動追跡フラグがＯＮの場合に、前記ブロック選択部が選択したブロック内に互いに位置が異なる複数の候補領域を定義し、これら複数の候補領域の中から、前記基準色格納部に格納されている第ｉ番目の基準色αに最も適合する色をもつ候補領域を最適候補領域として選択し、選択した最適候補領域の中心点を第（ｉ＋１）番目のフレームについての切出中心点Ｐとして、前記切出条件格納部に格納されている切出中心点Ｐを示す情報を更新する切出条件自動変更部と、
を備えることを特徴とする動画提示装置。
【請求項２】
請求項１に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む１画素の色を基準色αとして抽出することを特徴とする動画提示装置。
【請求項３】
請求項１に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素の色の平均値を基準色αとして抽出することを特徴とする動画提示装置。
【請求項４】
請求項１に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素およびその周囲の周辺画素からなる近傍領域を定義し、この近傍領域内の画素のうち、前記中心画素の色に対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値を基準色αとして抽出することを特徴とする動画提示装置。
【請求項５】
請求項３または４に記載の動画提示装置において、
基準色抽出部が、切出中心点Ｐを含む中心画素を中心とするｎ行ｎ列の正方画素配列を近傍領域と定義することを特徴とする動画提示装置。
【請求項６】
請求項１〜５のいずれかに記載の動画提示装置において、
近隣ブロック抽出部が、歪曲広角画像を、縦横に整列して配置された複数の矩形状のブロックに分割し、切出中心点Ｐを含むブロックを中心ブロックとして、この中心ブロックおよびその上下左右および斜め四方に位置する隣接ブロックを含めた合計９ブロック（但し、該当位置に存在しないブロックは除く）を近隣ブロックとして抽出することを特徴とする動画提示装置。
【請求項７】
請求項１〜６のいずれかに記載の動画提示装置において、
切出条件自動変更部が、所定サイズの画素配列を定義し、当該画素配列の枠をブロック内の所定位置に配置した場合の当該枠内の領域を候補領域とし、前記画素配列の枠の配置を縦横にそれぞれ１画素ずつずらすことにより、互いに位置が異なる複数の候補領域を定義することを特徴とする動画提示装置。
【請求項８】
請求項７に記載の動画提示装置において、
切出条件自動変更部が、候補領域内の画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択することを特徴とする動画提示装置。
【請求項９】
請求項７に記載の動画提示装置において、
切出条件自動変更部が、候補領域内の画素のうち、基準色αに対して所定の近似範囲に入る色をもつ画素を参照画素として、この参照画素の色の平均値が基準色αに最も近い候補領域を最適候補領域として選択することを特徴とする動画提示装置。
【請求項１０】
請求項１〜９のいずれか記載の動画提示装置において、
ブロック選択部が、予め近似色画素数の最低基準値を設定し、近似色画素数が前記最低基準値以上となるブロックが存在しない場合には、ブロックの選択を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、前記自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えることを特徴とする動画提示装置。
【請求項１１】
請求項１〜１０のいずれかに記載の動画提示装置において、
切出条件自動変更部が、予め基準色αに対する最低適合基準を設定し、適合の程度が前記最低適合基準以上となる候補領域が存在しない場合には、最適候補領域の選択および切出中心点Ｐを示す情報の更新を行わずに自動追跡フラグ設定部に対して自動追跡失敗信号を与え、
自動追跡フラグ設定部が、前記自動追跡失敗信号が与えられたときに、自動追跡フラグをＯＦＦに切り替えることを特徴とする動画提示装置。
【請求項１２】
請求項１、４または９に記載の動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＨＳＶ表色系で表現して色相Ｈの値を０〜３６０°の角度で表した場合に、「第１の画素の色の色相Ｈを表す角度と第２の画素の色の色相Ｈを表す角度との角度差が所定の許容角θ以下である」との条件を用いることを特徴とする動画提示装置。
【請求項１３】
請求項１、４または９に記載の動画提示装置において、
第１の画素の色の所定の近似範囲に第２の画素の色が入るための条件として、各画素の画素値をＲＧＢ表色系で表現し、個々の画素の色を三次元ＲＧＢ座標系で示される色空間上に座標点としてプロットした場合に、「２つの画素の座標点間のユークリッド距離が所定値以下である」との条件を用いることを特徴とする動画提示装置。
【請求項１４】
請求項３、４、８または９に記載の動画提示装置において、
複数の画素の色の平均値を算出する際に、個々の画素の画素値をＲＧＢ表色系で表現し、画素値Ｒの平均値Ｒav、画素値Ｇの平均値Ｇav、画素値Ｂの平均値Ｂavを求め、これら画素値（Ｒav，Ｇav，Ｂav）によって示される色を当該複数の画素の色の平均値とすることを特徴とする動画提示装置。
【請求項１５】
請求項１〜１４のいずれかに記載の動画提示装置において、
指示入力部が、
上下左右に配置された４個のカーソル移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置と、
前記４個のカーソル移動ボタンの操作に基づいて上下左右に移動するカーソルの位置を画像出力部に対して指示するカーソル位置指示手段と、
を有し、
画像出力部が、平面正則画像上の前記カーソル位置指示手段によって指示された位置に、カーソルを重畳した画像を出力し、
自動追跡フラグ設定部が、前記追跡開始指示ボタンが押された場合に、その時点の前記カーソルの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することを特徴とする動画提示装置。
【請求項１６】
請求項１〜１４のいずれかに記載の動画提示装置において、
指示入力部が、上下左右に配置された４個の画面移動ボタンと、追跡開始指示ボタンと、を有するコントローラ装置を備え、
切出条件手動変更部が、前記４個の画面移動ボタンの操作に基づいて、平面正則画像上での切り出し位置が上下左右に移動するように、切出条件格納部に格納されている切出中心点Ｐを変更する機能を有し、
自動追跡フラグ設定部が、前記追跡開始指示ボタンが押された場合に、その時点の切出中心点Ｐの位置を追跡開始点Ｑとする追跡開始指示が入力されたものとして、自動追跡開始処理を実行することを特徴とする動画提示装置。
【請求項１７】
請求項１５または１６に記載の動画提示装置において、
自動追跡フラグ設定部が、コントローラ装置に設けられた追跡終了指示ボタンが押された場合、もしくは、自動追跡フラグがＯＮのときに追跡開始指示ボタンが押された場合に、追跡終了指示が入力されたものとして、自動追跡終了処理を実行することを特徴とする動画提示装置。
【請求項１８】
請求項１５〜１７のいずれかに記載の動画提示装置において、
コントローラ装置が、倍率ｍを増減する倍率変更ボタンと、画像の切り出し向きを示すパラメータφを増減する向き変更ボタンと、を更に備え、
切出条件手動変更部が、前記倍率変更ボタンもしくは前記向き変更ボタンが押された場合に、切出条件変更指示が入力されたものとして、切出条件格納部に格納されている倍率ｍもしくはパラメータφを変更することを特徴とする動画提示装置。
【請求項１９】
請求項１〜１８のいずれかに記載の動画提示装置において、
画像入力部が、魚眼レンズを用いた撮影により得られた円形の歪曲広角画像を入力して、これを歪曲広角画像用メモリに格納し、
近隣ブロック抽出部が、前記円形の歪曲広角画像を、複数の矩形状のブロックに分割し、前記円形の歪曲広角画像の輪郭線から一部でも食み出すブロックについては、近隣ブロックとしての抽出を行わないことを特徴とする動画提示装置。
【請求項２０】
請求項１〜１９のいずれかに記載の動画提示装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１３−３３３２１（Ｐ２０１３−３３３２１Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８０８０（Ｐ２０１１−１６８０８０）
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]