画像処理装置、画像処理方法、及びプログラム
【課題】 連続するフレーム画像で構成されるビデオ画像から、太陽の反射や雲などによる遮蔽の影響を軽減したパノラマ静止画像を生成できるようにする。
【解決手段】 入力されるビデオ画像から所定間隔でフレーム画像を抽出するフレーム抽出部１と、抽出されたフレーム画像を複数記憶するフレームメモリ２と、その各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた同じ部分に対応する複数の部分画像から対象部を最も多く含む部分画像を選択する画像選択部３と、選択された部分画像とは異なる部分画像を透明にして抽出された複数のフレーム画像を順次接合しパノラマ静止画像を生成するフレーム接合部４とを備え、被写体の同じ部分に対応する複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択してパノラマ静止画像を生成するようにして、遮蔽の影響を軽減できるようにする。
【解決手段】 入力されるビデオ画像から所定間隔でフレーム画像を抽出するフレーム抽出部１と、抽出されたフレーム画像を複数記憶するフレームメモリ２と、その各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた同じ部分に対応する複数の部分画像から対象部を最も多く含む部分画像を選択する画像選択部３と、選択された部分画像とは異なる部分画像を透明にして抽出された複数のフレーム画像を順次接合しパノラマ静止画像を生成するフレーム接合部４とを備え、被写体の同じ部分に対応する複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択してパノラマ静止画像を生成するようにして、遮蔽の影響を軽減できるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、航空機等により空撮されたビデオ画像に基づいて一枚のパノラマ静止画像を生成する画像処理装置、画像処理方法、及びプログラムに用いて好適なものである。
【背景技術】
【０００２】
航空機やヘリコプタから鉛直下向き方向に撮影された、いわゆる航空機等により空撮されたビデオ画像を基に、繋ぎ目の目立たない一枚のパノラマ静止画像を生成する技術がある（例えば、特許文献１参照。）。このパノラマ静止画像の生成方法は、オルソ画像生成法あるいはモザイク画像生成法などとも呼ばれている。
【０００３】
特に、航空機等での空撮により得られた空撮画像の場合には、航空機の速度や高度、あるいは画像を撮影するカメラの撮影方向が必ずしも一定に保たれないため、衛星画像を用いたリモートセンシングと比べて、撮像画像が歪んでしまうという問題がある。この撮像画像の歪みによる影響を低減する１つの方法として、画像中の特徴点を利用したモザイク画像生成法が提案されている（例えば、非特許文献１参照。）。
【０００４】
【特許文献１】特開２００３−９１４４号公報
【非特許文献１】金澤靖、金谷健一、共著、“段階的マッチングによる画像モザイク生成”、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８６−ＤＩＩ，Ｎｏ．６，ｐｐ．８１６−８２４，２００３．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
パノラマ静止画像の生成処理について、河川流水部のパノラマ画像を生成する場合を一例として説明する。
【０００６】
例えば、図７に示すような実際の河川流水部の様子を航空機等での空撮を行うことにより連続する複数のフレーム画像で構成されるビデオ画像が得られ、さらに所定間隔でのフレーム間引きを施すことで図８（Ａ）に示すような右横方向に繋がるべき複数のフレーム画像８０１、８０２、８０３が得られたとする。図８（Ａ）に示した例では、各フレーム画像は、そのおよそ（２／３）が前後のフレーム画像と互いに重畳している。
【０００７】
このようにして得られるフレームＡ８０１とフレームＢ８０２とが接合されてパノラマ画像が生成される。このとき、フレームＡ８０１の右側部分とフレームＢ８０２の左側部分との重畳位置が検出され、その検出結果に基づいてフレームＡ８０１とフレームＢ８０２とが接合される。さらに、フレームＡ８０１及びフレームＢ８０２を接合して得られたパノラマ画像と、新たに入力されるフレームＣ８０３とが、同様にして接合され、図８（Ｂ）に示すようなパノラマ画像８０４が得られる。
【０００８】
上述のようにして空撮により得られたビデオ画像の各フレームを順次接合させることにより、撮影した河川流水部全体を見渡せる一枚のパノラマ画像が生成される。
【０００９】
ここで、空撮の途中にビデオ画像を構成する一部のフレームにおいて、小さな雲などにより撮影対象が遮蔽されてしまうことがある。例えば、図８（Ａ）に示したフレームＣ８０３には、小さな雲などにより河川流水部が遮蔽されている遮蔽部分８０５（白抜きで図示）が示されているが、この遮蔽部分８０５は図８（Ｂ）に示したように最終的に得られるパノラマ画像８０４にも残ってしまう。その結果、パノラマ画像を用いた河川流水部の監視に障害をきたしてしまう。
【００１０】
また、このような撮影対象である河川流水部の遮蔽は、太陽が水面に映り込む場合にも同様に発生し、河川の濁度や土砂の堆積度あるいは水中の生態系を観測する際に、流水部の色彩が太陽光の反射により遮蔽され障害を来たす。また、人工衛星に比べて低空を飛ぶ航空機等からの撮像では太陽の映り込みが高い確率で発生するため、その回避方法が待たれている。
【００１１】
本発明は、撮影して得られるビデオ画像から、太陽の反射や雲などによる遮蔽の影響を軽減し良好なパノラマ静止画像を生成可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出手段と、上記抽出手段により抽出したフレーム画像を複数記憶する記憶手段と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択手段と、上記画像選択手段により選択した部分画像とは異なる部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合しパノラマ静止画像を生成する接合手段とを備えることを特徴とする。
本発明の画像処理方法は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする。
本発明のプログラムは、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、連続するフレーム画像で構成されるビデオ画像から所定間隔で抽出した各フレーム画像を複数の部分画像に分割し、互いに異なるフレーム画像より得られた同じ部分に係る複数の部分画像から対象部が最も多く含まれる部分画像を選択する。そして、その選択した部分画像とは異なる部分画像を透明にして、抽出した複数のフレーム画像を順次接合し一枚のパノラマ静止画像を生成する。これにより、同じ部分に係る複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択し、それをパノラマ静止画像の生成に用いることで、撮影途中に一部のフレーム画像において太陽の反射や雲などにより撮影対象部が遮蔽されても、遮蔽の影響を軽減し良好なパノラマ静止画像を生成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像処理装置の構成例を示すブロック図である。本実施形態による画像処理装置は、空撮ビデオ画像などの入力されるビデオ画像を基に一枚のパノラマ静止画像を生成する画像処理装置であり、図１に示すように、フレーム抽出部１、フレームメモリ２、画像選択部３、及びフレーム接合部４を有する。
【００１５】
以下、図１に示した画像処理装置の各機能部について詳細に説明する。なお、以下の説明においては、必要に応じて、図７に示したような実際の河川流水部の様子を航空機等での空撮により撮影し、そのビデオ画像に基づいて河川流水部のパノラマ静止画像を生成する場合を適宜例示し説明する。
【００１６】
（フレーム抽出部１）
フレーム抽出部１は、連続する複数のフレーム画像で構成されたビデオ画像が入力され、このビデオ画像から所定の間隔でフレーム画像を抽出する。言い換えれば、フレーム抽出部１は、ビデオ画像を構成する連続するフレーム画像をある間隔で間引く。
【００１７】
具体的には、フレーム抽出部１は、１秒あたり３０枚乃至６０枚の割合で撮影されたフレーム画像と呼ばれるディジタル画像が連続して入力される。フレーム抽出部１は、１秒あたりＮ枚のフレーム画像を有するように、連続して入力されるフレーム画像の中から所定間隔でフレーム画像を取り出す。
【００１８】
ここで、抽出後の１秒あたりのフレーム画像数Ｎは次式（１）により決定される。
Ｎ＝（ｖＤ）／｛（１−ｘ）Ｌ｝…（１）
式（１）において、ｖは撮影時の単位時間あたりの移動距離、すなわちカメラなど撮像装置の単位時間あたりの移動距離である移動速度［ｍ／秒］、Ｄは撮影して得られた画像において移動方向の単位距離（移動方向に沿った単位距離）に含まれる画素の数を示す画素密度［画素／ｍ］である。また、Ｌは移動方向への１フレーム画像あたりの画素数、ｘ（ここで０＜ｘ＜１）は抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合である。例えば、上述した図８（Ａ）に示す例の場合には、矢印８１０で示した移動方向のフレーム画像の画素数がＬ画素であり、隣のフレーム画像とは各フレーム画像全体の略（１００ｘ）［％］の（ｘＬ）画素が重畳している。図８（Ａ）の場合には、ｘ＝２／３であり、フレーム画像全体の２／３×１００＝６６．７［％］が重畳している。このように抽出後のフレーム画像間で重畳させる割合に応じてｘの値は適宜決定すれば良い。
【００１９】
なお、入力されるビデオ画像を例えば航空機を使用した空撮により得る場合には、実際の撮像時における航空機の速度、つまり撮影時の移動速度ｖが一定であるとは限らない。そこで、撮影時の移動速度ｖの代わりに撮影時における航空機の最高速度、つまり撮影時の移動速度の最高速度を用い、抽出後の１秒あたりのフレーム画像数Ｎの代わりにそれよりも若干大きい値を用いるようにしても良い。これにより、撮影時の移動速度ｖが変化する場合でも、抽出後のフレーム画像間の連続的な繋がりを保証することができる。
【００２０】
（フレームメモリ２）
フレームメモリ２は、フレーム抽出部１で抽出されたフレーム画像を複数保持する。フレームメモリ２は、フレーム抽出部１にて１秒あたりのフレーム画像数がＮ枚となるようにビデオ画像から所定の間隔で抽出され出力されるフレーム画像のうち、連続するＳ＝１／（１−ｘ）枚のフレーム画像を記憶し蓄積する。
【００２１】
ここで、ｘは式（１）と同様に抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合であり、ｘの値はＳの値が整数となるように選定することが望ましい。しかし、Ｓ＝１／（１−ｘ）の値が整数とならない場合には、Ｓの値の小数第一位を四捨五入した値をフレームメモリ２に記憶するフレーム画像数にすれば良い。例えば、上述した図８（Ａ）の場合には、ｘ＝２／３であるのでＳ＝３となり、フレームメモリ２に記憶するフレーム画像数は３枚となる。
【００２２】
（画像選択部３）
画像選択部３は、フレームメモリ２に保持された各フレーム画像を互いに重複しない複数の部分画像に分割する。また、画像選択部３は、複数のフレーム画像より得られた撮影対象物の同じ部分に対応する複数の部分画像の中から、遮蔽の影響が最も少ない、対象部分の画像が最も良好な部分画像を選択する。
【００２３】
具体的には、画像選択部３は、フレームメモリ２より得られたＳ枚のフレーム画像のそれぞれを、撮影時における撮像装置の移動方向（例えば航空機を使用した空撮の場合には、航空機の移動方向）にＳ等分する。これにより、各フレーム画像は、互いに重複しないＳ個の部分画像に分割される。例えば、各フレーム画像は、撮影時における撮像装置の移動方向に対して長辺が交差する（望ましくは直交する）Ｓ個の短冊状の部分画像に分割される。
【００２４】
画像選択部３は、上述のようにして互いに異なるフレーム画像より得られた被写体の同じ部分に対応するＳ個の部分画像について、最も遮蔽の影響が少なく撮影対象を最も良く映し出している部分画像、すなわち撮影対象の部分が最も多く含まれる部分画像をひとつだけ選択する。そして、画像選択部３は、選択した部分画像以外の部分画像に対して透明として扱うためのラベル付けを行う。言い換えれば、画像選択部３は、被写体の同じ部分に対応するＳ個の部分画像から遮蔽の影響が最も少ない部分画像を１つ選択し、それ以外の部分画像を透明として扱うための重み付け処理を行う。
画像選択部３のより詳細な構成については後述する。
【００２５】
（フレーム接合部４）
フレーム接合部４は、抽出された複数のフレーム画像を順次接合してパノラマ静止画像を生成し出力する。フレーム接合部４は、フレーム画像を接合するとき、画像選択部３により選択された部分画像以外の部分画像、つまり透明として扱うラベルが付された部分画像を透明にしてフレーム画像を接合する。具体的には、フレーム接合部４は、上述のように画像選択部３により重み付け処理されたフレーム画像が入力され、その重み付け処理されたフレーム画像と既に得られているパノラマ静止画像とを接合する。
【００２６】
これにより、互いに異なるフレーム画像より得られた被写体の同じ部分に対応するＳ個の部分画像のうち、対象部を最も多く含む１つの部分画像だけがフレーム接合部４に入力され、その部分画像と既に得られているパノラマ静止画像とが接合される。
【００２７】
ここで、フレーム画像の接合手法としては種々の方法が知られているが、例えば、文献「G.Borgefors, "Hierarchical chamfer matching: A parametric edge matching algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.10, No.6, pp.849-865, 1988」に記載のエッジマッチング手法が適用できる。このエッジマッチング手法は、２つずつフレーム画像を取り出してエッジ抽出した後に、抽出したエッジに関し相互相関が最大となる画像間変位量を算出し、その画像間変位量に基づきフレーム画像を接合する。
【００２８】
図２は、画像選択部３の詳細な構成を示すブロック図である。
図２に示すように、画像選択部３は、画像分割部１１、部分画像記憶部１２、特徴抽出部１３、領域判別部１４、占有率算出部１５、及び部分画像選択部１６を有する。
【００２９】
画像分割部１１は、フレームメモリ２から得られる各フレーム画像を撮影時における撮像装置の移動方向にＳ等分することにより、互いに重複しない複数（ここではＳ個）の部分画像に分割する。部分画像記憶部１２は、画像分割部１１により分割して得られた複数の部分画像を記憶する。
【００３０】
特徴抽出部１３は、部分画像記憶部１２に記憶された部分画像（言い換えればフレーム画像）を所定の大きさの分割画像に分割して、分割画像毎に特徴抽出を行う。本実施形態では、特徴抽出部１３は、分割画像に含まれる各画素について、着目画素とその近隣にある複数の画素とを入力信号とする線形変換を行うことで、その出力信号として各画素値について特徴ベクトルを算出する。この特徴抽出部１３での特徴ベクトルの計算方法としては、例えばガボールフィルタを用いたフィルタ処理が適用可能である。分割画像にガボールフィルタを施し、フィルタ出力として得られる複素数の振幅成分（実部と虚部の２乗和）を特徴ベクトルとすれば良い。
【００３１】
領域判別部１４は、特徴抽出部１３での特徴抽出結果を基に、分割画像を所定の領域部に選択的に分類する。本実施形態では、領域判別部１４は、比較部１７、教師画像データ記憶部１８、及び領域決定部１９を有し、最尤推定法により分割画像を分類する。
【００３２】
比較部１７は、特徴抽出部１３にて算出された特徴ベクトルと各領域部に対応する教師画像の特徴ベクトルとを比較する。ここで、教師画像の特徴ベクトルは、各領域部に対応して指定された教師画像に基づいて予め算出され教師画像データ記憶部１８に記憶されている。領域決定部１９は、比較部１７における特徴ベクトルの比較結果に基づいて、教師画像として予め指定した複数の領域部のうち最も似ている（尤もらしい）領域部に分割画像を分類する。
【００３３】
図３は、領域判別部１４による領域判別結果の一例を示す図である。なお、図３に示す例では、対象とするもとの画像３１を、例えば流水部、市街部、及び森林部の各領域部（クラス）に分類した場合を示している。教師画像３２としては、流水部の教師画像３２Ａ、市街部の教師画像３２Ｂ、及び森林部の教師画像３２Ｃが予め指定されており、その特徴ベクトルが教師画像データ記憶部１８に記憶されている。上述したようにして比較部１７が処理対象となる画像の特徴ベクトルと教師画像の特徴ベクトルとを比較し、領域決定部１９が比較結果に基づいて処理対象となる画像がどの領域部（クラス）に属するかを判別し尤もらしい領域部に分類する。その処理を対象とするもとの画像３１全体にわたって行うことで、模式的に結果画像５１に示すように各画素が流水部、市街部、及び森林部の何れかの領域部（クラス）に分類される。
【００３４】
このようにして、特徴抽出部１３が特徴ベクトルを算出し、それを基に領域判別部１４が予め指定されている各領域部の教師画像のいずれに最も似ているかを判別することで、領域部への分類が行われる。
【００３５】
なお、上述した特徴抽出部１３及び領域判別部１４によるガボールフィルタと最尤推定法を用いた判別方法については、例えば文献「田中秀郎，吉田靖夫，深見公彦，中野広毅，“ガボールフィルタの振幅及び位相情報を用いたテクスチャ画像の領域分割”，電子情報通信学会論文誌，Vol.J-84-D-II, No.12, pp.2565-2576, Dec.2003」などにも記載されている。
【００３６】
また、上述した領域判別に係る処理においては、ビデオカメラなどの撮像装置から得られるＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の何れかの信号を用いる。あるいは、ＲＧＢ信号をＹ（輝度）、Ｕ（色差）、Ｖ（色差）に変換した後の何れかの成分を用いる。あるいは、ＲＧＢ信号を主成分分析した結果として得られる成分を用いる。
【００３７】
占有率算出部１５は、領域判別部１４での判別結果から、部分画像において対象とする領域部と判別された画素の占有率を算出する。
【００３８】
部分画像選択部１６は、占有率算出部１５により算出された占有率に基づいて、異なるフレーム画像より得られ部分画像記憶部１２に記憶された被写体の同じ部分に対応するＳ個の部分画像から、遮蔽の影響が最も少ない、すなわち対象とする領域（対象部）を最も多く含む部分画像を選択する。具体的には、部分画像選択部１６は、占有率算出部１５により算出された占有率に基づき、被写体の同じ部分に対応するＳ個の部分画像のうち対象とする領域（対象部）の占有率が最も高い部分画像以外の（Ｓ−１）個の部分画像に透明として扱うためのラベルを付して出力する。
【００３９】
例えば、図７に示すような実際の河川流水部の様子を撮影したビデオ画像から所定間隔でフレーム画像を抽出することにより、図４（Ａ）に示すようなフレーム画像４０１、４０２、４０３が得られたとする。なお、図４（Ａ）には領域判別部１４によって各領域部に分類した後の画像を示している。
【００４０】
図４（Ａ）に示すように、各フレーム画像４０１、４０２、４０３がそれぞれ移動方向に３等分されることで、異なるフレーム画像より得られる被写体（撮影対象物）の同じ部分に対応した３つの部分画像ＰＡ、ＰＢ、ＰＣが得られる。
【００４１】
ここで、本実施形態では、図４（Ａ）に示す各フレーム画像中において白色により示された流水部について良好な画像が得られるパノラマ静止画像を生成するため、部分画像選択部１６は、流水部について遮蔽の影響が最も少ない、つまり流水部と判別された領域を最も多く含む部分画像を選択する。
【００４２】
図４（Ａ）に示す例では図から明らかなように、遮蔽部分４０４が流水部に含まれる部分画像ＰＣは選択されず、部分画像ＰＡ又は部分画像ＰＢが選択される。このように、いずれを選択しても占有率に大差の無い複数の部分画像ＰＡ、ＰＢが存在する場合には、部分画像選択部１６は、フレーム画像において、より中心にある部分画像を選択する。中心部分の映像はレンズによる歪みの影響が少ないため、部分画像選択部１６がフレーム画像の中心との距離が短い方の部分画像を選択することで、レンズによる歪みの影響を低減することができる。
【００４３】
以上のように図４（Ａ）に示す例において、部分画像選択部１６は、被写体の同じ部分に対応した３つの部分画像ＰＡ、ＰＢ、ＰＣの中から、フレーム画像Ｂ４０２の部分画像ＰＢを選択する。したがって、部分画像選択部１６は、図４（Ｂ）に示すように部分画像ＰＡ、ＰＣにそれぞれ対応するフレーム画像Ａ４０６の部分画像ＩＡ、フレーム画像Ｃ４０８の部分画像ＩＣについては透明として扱うためのラベルを付して出力する。一方、部分画像選択部１６により選択された部分画像ＰＢに対応するフレーム画像Ｂ４０７の部分画像ＩＢには透明として扱うためのラベルを付さない。
【００４４】
このようにして、画像選択部３により部分画像に対する重み付け処理が行われたフレーム画像がフレーム接合部４に出力される。フレーム接合部４は、図５（Ａ）に示すように透明として扱うラベルが付された部分画像ＩＡ、ＩＣを透明にしてフレーム画像４０６、４０７、４０８を接合する。具体的には、フレーム接合部４は、フレーム画像４０６とフレーム画像４０７とを接合してパノラマ画像を生成し、その生成したパノラマ画像にフレーム画像４０８を接合する。これにより、図５（Ｂ）に示すように、遮蔽の影響が最も少ないフレーム画像Ｂ４０７の部分画像ＩＢにより部分画像ＩＭＧが得られ、図４に示した遮蔽部分４０４を含まないパノラマ静止画像４１０を得ることができる。
【００４５】
以上、説明したように本実施形態によれば、下記に示すような効果を得ることができる。従来のパノラマ静止画像の生成処理では、対象とする部分についての遮蔽の有無を判断することなく、単にフレーム画像を順次接合してパノラマ静止画像を生成していた。そのため、例えば河川流水部のパノラマ静止画像生成においては、太陽の水面への映り込みや小さな雲などにより、流水部の一部が遮蔽されてしまい、流水部の詳細な監視などに障害を来たすという問題があった。
【００４６】
それに対して、本実施形態では、入力されるビデオ画像からフレーム抽出部１により所定間隔でフレーム画像を抽出して、抽出した複数のフレーム画像をフレームメモリ２に記憶する。画像選択部３は、抽出された各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた被写体の同じ部分に対応する複数の部分画像から対象部が最も多く含まれる部分画像を選択する。フレーム接合部４は、画像選択部３により選択された部分画像とは異なる部分画像を透明にして、複数のフレーム画像を順次接合し一枚のパノラマ静止画像を生成する。これにより、同じ部分に対応する部分画像の中から遮蔽の影響が最も少ない部分画像が選択されてパノラマ静止画像が生成されるので、撮影途中に一部のフレーム画像において太陽の反射や雲などにより撮影対象部が遮蔽されても遮蔽の影響を軽減し、遮蔽の影響が少ない良好なパノラマ静止画像を生成することが可能になる。例えば、本実施形態による画像処理装置を用い、空撮して得られたビデオ画像を基に河川流水部のパノラマ静止画像を生成することで、河川の濁度や土砂の堆積度、あるいは水中の生態系の詳細な観測に非常に有用である。
【００４７】
なお、上述した実施形態では、画像選択部３は、まず入力されるフレーム画像を画像分割部１１にて複数の部分画像に分割するようにしているが、これに限定されるものではない。フレーム画像を複数の部分画像に分割する処理は、占有率算出部１５にて占有率を算出する前までに行われていれば良く、そのように動作可能な限り、画像分割部１１を設ける位置は任意である。
【００４８】
（本発明の他の実施形態）
なお、以上に説明した本実施形態の画像処理装置は、コンピュータのＣＰＵ又はＭＰＵ、ＲＡＭ、ＲＯＭ等で構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００４９】
例えば、本実施形態の画像処理装置は、図６に示すようなコンピュータ機能６００を有し、そのＣＰＵ６０１により上述した実施形態での動作が実施される。
コンピュータ機能６００は、図６に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、キーボード（ＫＢ）６０９のキーボードコントローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（ＣＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及びフレキシブルディスク（ＦＤ）６１２のディスクコントローラ（ＤＫＣ）６０７と、ネットワークインタフェースカード（ＮＩＣ）６０８とが、システムバス６０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ６０１は、ＲＯＭ６０２又はＨＤ６１１に記憶されたソフトウェア、又はＦＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ６０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ６０２、ＨＤ６１１、又はＦＤ６１２から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ又はワークエリア等として機能する。
ＫＢＣ６０５は、ＫＢ６０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を制御する。
ＤＫＣ６０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するＨＤ６１１及びＦＤ６１２とのアクセスを制御する。
ＮＩＣ６０８はネットワーク６１３上の他の装置と双方向にデータをやりとりする。
【００５０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態による画像処理装置の構成例を示すブロック図である。
【図２】画像選択部の構成例を示すブロック図である。
【図３】領域の判別結果の一例を示す図である。
【図４】部分画像の重み付け処理を説明するための図である。
【図５】本実施形態のパノラマ静止画像の生成処理を説明するための図である。
【図６】本実施形態における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【図７】撮影対象とする河川流水部の一例を示す図である。
【図８】従来のパノラマ静止画像の生成処理を説明するための図である。
【符号の説明】
【００５２】
１ フレーム抽出部
２ フレームメモリ
３ 画像選択部
４ フレーム接合部
１１ 画像分割部
１２ 部分画像記憶部
１３ 特徴抽出部
１４ 領域判別部
１５ 占有率算出部
１６ 部分画像選択部
１７ 比較部
１８ 教師画像データ記憶部
１９ 領域決定部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、航空機等により空撮されたビデオ画像に基づいて一枚のパノラマ静止画像を生成する画像処理装置、画像処理方法、及びプログラムに用いて好適なものである。
【背景技術】
【０００２】
航空機やヘリコプタから鉛直下向き方向に撮影された、いわゆる航空機等により空撮されたビデオ画像を基に、繋ぎ目の目立たない一枚のパノラマ静止画像を生成する技術がある（例えば、特許文献１参照。）。このパノラマ静止画像の生成方法は、オルソ画像生成法あるいはモザイク画像生成法などとも呼ばれている。
【０００３】
特に、航空機等での空撮により得られた空撮画像の場合には、航空機の速度や高度、あるいは画像を撮影するカメラの撮影方向が必ずしも一定に保たれないため、衛星画像を用いたリモートセンシングと比べて、撮像画像が歪んでしまうという問題がある。この撮像画像の歪みによる影響を低減する１つの方法として、画像中の特徴点を利用したモザイク画像生成法が提案されている（例えば、非特許文献１参照。）。
【０００４】
【特許文献１】特開２００３−９１４４号公報
【非特許文献１】金澤靖、金谷健一、共著、“段階的マッチングによる画像モザイク生成”、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８６−ＤＩＩ，Ｎｏ．６，ｐｐ．８１６−８２４，２００３．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
パノラマ静止画像の生成処理について、河川流水部のパノラマ画像を生成する場合を一例として説明する。
【０００６】
例えば、図７に示すような実際の河川流水部の様子を航空機等での空撮を行うことにより連続する複数のフレーム画像で構成されるビデオ画像が得られ、さらに所定間隔でのフレーム間引きを施すことで図８（Ａ）に示すような右横方向に繋がるべき複数のフレーム画像８０１、８０２、８０３が得られたとする。図８（Ａ）に示した例では、各フレーム画像は、そのおよそ（２／３）が前後のフレーム画像と互いに重畳している。
【０００７】
このようにして得られるフレームＡ８０１とフレームＢ８０２とが接合されてパノラマ画像が生成される。このとき、フレームＡ８０１の右側部分とフレームＢ８０２の左側部分との重畳位置が検出され、その検出結果に基づいてフレームＡ８０１とフレームＢ８０２とが接合される。さらに、フレームＡ８０１及びフレームＢ８０２を接合して得られたパノラマ画像と、新たに入力されるフレームＣ８０３とが、同様にして接合され、図８（Ｂ）に示すようなパノラマ画像８０４が得られる。
【０００８】
上述のようにして空撮により得られたビデオ画像の各フレームを順次接合させることにより、撮影した河川流水部全体を見渡せる一枚のパノラマ画像が生成される。
【０００９】
ここで、空撮の途中にビデオ画像を構成する一部のフレームにおいて、小さな雲などにより撮影対象が遮蔽されてしまうことがある。例えば、図８（Ａ）に示したフレームＣ８０３には、小さな雲などにより河川流水部が遮蔽されている遮蔽部分８０５（白抜きで図示）が示されているが、この遮蔽部分８０５は図８（Ｂ）に示したように最終的に得られるパノラマ画像８０４にも残ってしまう。その結果、パノラマ画像を用いた河川流水部の監視に障害をきたしてしまう。
【００１０】
また、このような撮影対象である河川流水部の遮蔽は、太陽が水面に映り込む場合にも同様に発生し、河川の濁度や土砂の堆積度あるいは水中の生態系を観測する際に、流水部の色彩が太陽光の反射により遮蔽され障害を来たす。また、人工衛星に比べて低空を飛ぶ航空機等からの撮像では太陽の映り込みが高い確率で発生するため、その回避方法が待たれている。
【００１１】
本発明は、撮影して得られるビデオ画像から、太陽の反射や雲などによる遮蔽の影響を軽減し良好なパノラマ静止画像を生成可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出手段と、上記抽出手段により抽出したフレーム画像を複数記憶する記憶手段と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択手段と、上記画像選択手段により選択した部分画像とは異なる部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合しパノラマ静止画像を生成する接合手段とを備えることを特徴とする。
本発明の画像処理方法は、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする。
本発明のプログラムは、連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、連続するフレーム画像で構成されるビデオ画像から所定間隔で抽出した各フレーム画像を複数の部分画像に分割し、互いに異なるフレーム画像より得られた同じ部分に係る複数の部分画像から対象部が最も多く含まれる部分画像を選択する。そして、その選択した部分画像とは異なる部分画像を透明にして、抽出した複数のフレーム画像を順次接合し一枚のパノラマ静止画像を生成する。これにより、同じ部分に係る複数の部分画像の中から遮蔽の影響が最も少ない部分画像を選択し、それをパノラマ静止画像の生成に用いることで、撮影途中に一部のフレーム画像において太陽の反射や雲などにより撮影対象部が遮蔽されても、遮蔽の影響を軽減し良好なパノラマ静止画像を生成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像処理装置の構成例を示すブロック図である。本実施形態による画像処理装置は、空撮ビデオ画像などの入力されるビデオ画像を基に一枚のパノラマ静止画像を生成する画像処理装置であり、図１に示すように、フレーム抽出部１、フレームメモリ２、画像選択部３、及びフレーム接合部４を有する。
【００１５】
以下、図１に示した画像処理装置の各機能部について詳細に説明する。なお、以下の説明においては、必要に応じて、図７に示したような実際の河川流水部の様子を航空機等での空撮により撮影し、そのビデオ画像に基づいて河川流水部のパノラマ静止画像を生成する場合を適宜例示し説明する。
【００１６】
（フレーム抽出部１）
フレーム抽出部１は、連続する複数のフレーム画像で構成されたビデオ画像が入力され、このビデオ画像から所定の間隔でフレーム画像を抽出する。言い換えれば、フレーム抽出部１は、ビデオ画像を構成する連続するフレーム画像をある間隔で間引く。
【００１７】
具体的には、フレーム抽出部１は、１秒あたり３０枚乃至６０枚の割合で撮影されたフレーム画像と呼ばれるディジタル画像が連続して入力される。フレーム抽出部１は、１秒あたりＮ枚のフレーム画像を有するように、連続して入力されるフレーム画像の中から所定間隔でフレーム画像を取り出す。
【００１８】
ここで、抽出後の１秒あたりのフレーム画像数Ｎは次式（１）により決定される。
Ｎ＝（ｖＤ）／｛（１−ｘ）Ｌ｝…（１）
式（１）において、ｖは撮影時の単位時間あたりの移動距離、すなわちカメラなど撮像装置の単位時間あたりの移動距離である移動速度［ｍ／秒］、Ｄは撮影して得られた画像において移動方向の単位距離（移動方向に沿った単位距離）に含まれる画素の数を示す画素密度［画素／ｍ］である。また、Ｌは移動方向への１フレーム画像あたりの画素数、ｘ（ここで０＜ｘ＜１）は抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合である。例えば、上述した図８（Ａ）に示す例の場合には、矢印８１０で示した移動方向のフレーム画像の画素数がＬ画素であり、隣のフレーム画像とは各フレーム画像全体の略（１００ｘ）［％］の（ｘＬ）画素が重畳している。図８（Ａ）の場合には、ｘ＝２／３であり、フレーム画像全体の２／３×１００＝６６．７［％］が重畳している。このように抽出後のフレーム画像間で重畳させる割合に応じてｘの値は適宜決定すれば良い。
【００１９】
なお、入力されるビデオ画像を例えば航空機を使用した空撮により得る場合には、実際の撮像時における航空機の速度、つまり撮影時の移動速度ｖが一定であるとは限らない。そこで、撮影時の移動速度ｖの代わりに撮影時における航空機の最高速度、つまり撮影時の移動速度の最高速度を用い、抽出後の１秒あたりのフレーム画像数Ｎの代わりにそれよりも若干大きい値を用いるようにしても良い。これにより、撮影時の移動速度ｖが変化する場合でも、抽出後のフレーム画像間の連続的な繋がりを保証することができる。
【００２０】
（フレームメモリ２）
フレームメモリ２は、フレーム抽出部１で抽出されたフレーム画像を複数保持する。フレームメモリ２は、フレーム抽出部１にて１秒あたりのフレーム画像数がＮ枚となるようにビデオ画像から所定の間隔で抽出され出力されるフレーム画像のうち、連続するＳ＝１／（１−ｘ）枚のフレーム画像を記憶し蓄積する。
【００２１】
ここで、ｘは式（１）と同様に抽出後のフレーム画像において時間的に隣り合うフレーム画像間での重畳の割合であり、ｘの値はＳの値が整数となるように選定することが望ましい。しかし、Ｓ＝１／（１−ｘ）の値が整数とならない場合には、Ｓの値の小数第一位を四捨五入した値をフレームメモリ２に記憶するフレーム画像数にすれば良い。例えば、上述した図８（Ａ）の場合には、ｘ＝２／３であるのでＳ＝３となり、フレームメモリ２に記憶するフレーム画像数は３枚となる。
【００２２】
（画像選択部３）
画像選択部３は、フレームメモリ２に保持された各フレーム画像を互いに重複しない複数の部分画像に分割する。また、画像選択部３は、複数のフレーム画像より得られた撮影対象物の同じ部分に対応する複数の部分画像の中から、遮蔽の影響が最も少ない、対象部分の画像が最も良好な部分画像を選択する。
【００２３】
具体的には、画像選択部３は、フレームメモリ２より得られたＳ枚のフレーム画像のそれぞれを、撮影時における撮像装置の移動方向（例えば航空機を使用した空撮の場合には、航空機の移動方向）にＳ等分する。これにより、各フレーム画像は、互いに重複しないＳ個の部分画像に分割される。例えば、各フレーム画像は、撮影時における撮像装置の移動方向に対して長辺が交差する（望ましくは直交する）Ｓ個の短冊状の部分画像に分割される。
【００２４】
画像選択部３は、上述のようにして互いに異なるフレーム画像より得られた被写体の同じ部分に対応するＳ個の部分画像について、最も遮蔽の影響が少なく撮影対象を最も良く映し出している部分画像、すなわち撮影対象の部分が最も多く含まれる部分画像をひとつだけ選択する。そして、画像選択部３は、選択した部分画像以外の部分画像に対して透明として扱うためのラベル付けを行う。言い換えれば、画像選択部３は、被写体の同じ部分に対応するＳ個の部分画像から遮蔽の影響が最も少ない部分画像を１つ選択し、それ以外の部分画像を透明として扱うための重み付け処理を行う。
画像選択部３のより詳細な構成については後述する。
【００２５】
（フレーム接合部４）
フレーム接合部４は、抽出された複数のフレーム画像を順次接合してパノラマ静止画像を生成し出力する。フレーム接合部４は、フレーム画像を接合するとき、画像選択部３により選択された部分画像以外の部分画像、つまり透明として扱うラベルが付された部分画像を透明にしてフレーム画像を接合する。具体的には、フレーム接合部４は、上述のように画像選択部３により重み付け処理されたフレーム画像が入力され、その重み付け処理されたフレーム画像と既に得られているパノラマ静止画像とを接合する。
【００２６】
これにより、互いに異なるフレーム画像より得られた被写体の同じ部分に対応するＳ個の部分画像のうち、対象部を最も多く含む１つの部分画像だけがフレーム接合部４に入力され、その部分画像と既に得られているパノラマ静止画像とが接合される。
【００２７】
ここで、フレーム画像の接合手法としては種々の方法が知られているが、例えば、文献「G.Borgefors, "Hierarchical chamfer matching: A parametric edge matching algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.10, No.6, pp.849-865, 1988」に記載のエッジマッチング手法が適用できる。このエッジマッチング手法は、２つずつフレーム画像を取り出してエッジ抽出した後に、抽出したエッジに関し相互相関が最大となる画像間変位量を算出し、その画像間変位量に基づきフレーム画像を接合する。
【００２８】
図２は、画像選択部３の詳細な構成を示すブロック図である。
図２に示すように、画像選択部３は、画像分割部１１、部分画像記憶部１２、特徴抽出部１３、領域判別部１４、占有率算出部１５、及び部分画像選択部１６を有する。
【００２９】
画像分割部１１は、フレームメモリ２から得られる各フレーム画像を撮影時における撮像装置の移動方向にＳ等分することにより、互いに重複しない複数（ここではＳ個）の部分画像に分割する。部分画像記憶部１２は、画像分割部１１により分割して得られた複数の部分画像を記憶する。
【００３０】
特徴抽出部１３は、部分画像記憶部１２に記憶された部分画像（言い換えればフレーム画像）を所定の大きさの分割画像に分割して、分割画像毎に特徴抽出を行う。本実施形態では、特徴抽出部１３は、分割画像に含まれる各画素について、着目画素とその近隣にある複数の画素とを入力信号とする線形変換を行うことで、その出力信号として各画素値について特徴ベクトルを算出する。この特徴抽出部１３での特徴ベクトルの計算方法としては、例えばガボールフィルタを用いたフィルタ処理が適用可能である。分割画像にガボールフィルタを施し、フィルタ出力として得られる複素数の振幅成分（実部と虚部の２乗和）を特徴ベクトルとすれば良い。
【００３１】
領域判別部１４は、特徴抽出部１３での特徴抽出結果を基に、分割画像を所定の領域部に選択的に分類する。本実施形態では、領域判別部１４は、比較部１７、教師画像データ記憶部１８、及び領域決定部１９を有し、最尤推定法により分割画像を分類する。
【００３２】
比較部１７は、特徴抽出部１３にて算出された特徴ベクトルと各領域部に対応する教師画像の特徴ベクトルとを比較する。ここで、教師画像の特徴ベクトルは、各領域部に対応して指定された教師画像に基づいて予め算出され教師画像データ記憶部１８に記憶されている。領域決定部１９は、比較部１７における特徴ベクトルの比較結果に基づいて、教師画像として予め指定した複数の領域部のうち最も似ている（尤もらしい）領域部に分割画像を分類する。
【００３３】
図３は、領域判別部１４による領域判別結果の一例を示す図である。なお、図３に示す例では、対象とするもとの画像３１を、例えば流水部、市街部、及び森林部の各領域部（クラス）に分類した場合を示している。教師画像３２としては、流水部の教師画像３２Ａ、市街部の教師画像３２Ｂ、及び森林部の教師画像３２Ｃが予め指定されており、その特徴ベクトルが教師画像データ記憶部１８に記憶されている。上述したようにして比較部１７が処理対象となる画像の特徴ベクトルと教師画像の特徴ベクトルとを比較し、領域決定部１９が比較結果に基づいて処理対象となる画像がどの領域部（クラス）に属するかを判別し尤もらしい領域部に分類する。その処理を対象とするもとの画像３１全体にわたって行うことで、模式的に結果画像５１に示すように各画素が流水部、市街部、及び森林部の何れかの領域部（クラス）に分類される。
【００３４】
このようにして、特徴抽出部１３が特徴ベクトルを算出し、それを基に領域判別部１４が予め指定されている各領域部の教師画像のいずれに最も似ているかを判別することで、領域部への分類が行われる。
【００３５】
なお、上述した特徴抽出部１３及び領域判別部１４によるガボールフィルタと最尤推定法を用いた判別方法については、例えば文献「田中秀郎，吉田靖夫，深見公彦，中野広毅，“ガボールフィルタの振幅及び位相情報を用いたテクスチャ画像の領域分割”，電子情報通信学会論文誌，Vol.J-84-D-II, No.12, pp.2565-2576, Dec.2003」などにも記載されている。
【００３６】
また、上述した領域判別に係る処理においては、ビデオカメラなどの撮像装置から得られるＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の何れかの信号を用いる。あるいは、ＲＧＢ信号をＹ（輝度）、Ｕ（色差）、Ｖ（色差）に変換した後の何れかの成分を用いる。あるいは、ＲＧＢ信号を主成分分析した結果として得られる成分を用いる。
【００３７】
占有率算出部１５は、領域判別部１４での判別結果から、部分画像において対象とする領域部と判別された画素の占有率を算出する。
【００３８】
部分画像選択部１６は、占有率算出部１５により算出された占有率に基づいて、異なるフレーム画像より得られ部分画像記憶部１２に記憶された被写体の同じ部分に対応するＳ個の部分画像から、遮蔽の影響が最も少ない、すなわち対象とする領域（対象部）を最も多く含む部分画像を選択する。具体的には、部分画像選択部１６は、占有率算出部１５により算出された占有率に基づき、被写体の同じ部分に対応するＳ個の部分画像のうち対象とする領域（対象部）の占有率が最も高い部分画像以外の（Ｓ−１）個の部分画像に透明として扱うためのラベルを付して出力する。
【００３９】
例えば、図７に示すような実際の河川流水部の様子を撮影したビデオ画像から所定間隔でフレーム画像を抽出することにより、図４（Ａ）に示すようなフレーム画像４０１、４０２、４０３が得られたとする。なお、図４（Ａ）には領域判別部１４によって各領域部に分類した後の画像を示している。
【００４０】
図４（Ａ）に示すように、各フレーム画像４０１、４０２、４０３がそれぞれ移動方向に３等分されることで、異なるフレーム画像より得られる被写体（撮影対象物）の同じ部分に対応した３つの部分画像ＰＡ、ＰＢ、ＰＣが得られる。
【００４１】
ここで、本実施形態では、図４（Ａ）に示す各フレーム画像中において白色により示された流水部について良好な画像が得られるパノラマ静止画像を生成するため、部分画像選択部１６は、流水部について遮蔽の影響が最も少ない、つまり流水部と判別された領域を最も多く含む部分画像を選択する。
【００４２】
図４（Ａ）に示す例では図から明らかなように、遮蔽部分４０４が流水部に含まれる部分画像ＰＣは選択されず、部分画像ＰＡ又は部分画像ＰＢが選択される。このように、いずれを選択しても占有率に大差の無い複数の部分画像ＰＡ、ＰＢが存在する場合には、部分画像選択部１６は、フレーム画像において、より中心にある部分画像を選択する。中心部分の映像はレンズによる歪みの影響が少ないため、部分画像選択部１６がフレーム画像の中心との距離が短い方の部分画像を選択することで、レンズによる歪みの影響を低減することができる。
【００４３】
以上のように図４（Ａ）に示す例において、部分画像選択部１６は、被写体の同じ部分に対応した３つの部分画像ＰＡ、ＰＢ、ＰＣの中から、フレーム画像Ｂ４０２の部分画像ＰＢを選択する。したがって、部分画像選択部１６は、図４（Ｂ）に示すように部分画像ＰＡ、ＰＣにそれぞれ対応するフレーム画像Ａ４０６の部分画像ＩＡ、フレーム画像Ｃ４０８の部分画像ＩＣについては透明として扱うためのラベルを付して出力する。一方、部分画像選択部１６により選択された部分画像ＰＢに対応するフレーム画像Ｂ４０７の部分画像ＩＢには透明として扱うためのラベルを付さない。
【００４４】
このようにして、画像選択部３により部分画像に対する重み付け処理が行われたフレーム画像がフレーム接合部４に出力される。フレーム接合部４は、図５（Ａ）に示すように透明として扱うラベルが付された部分画像ＩＡ、ＩＣを透明にしてフレーム画像４０６、４０７、４０８を接合する。具体的には、フレーム接合部４は、フレーム画像４０６とフレーム画像４０７とを接合してパノラマ画像を生成し、その生成したパノラマ画像にフレーム画像４０８を接合する。これにより、図５（Ｂ）に示すように、遮蔽の影響が最も少ないフレーム画像Ｂ４０７の部分画像ＩＢにより部分画像ＩＭＧが得られ、図４に示した遮蔽部分４０４を含まないパノラマ静止画像４１０を得ることができる。
【００４５】
以上、説明したように本実施形態によれば、下記に示すような効果を得ることができる。従来のパノラマ静止画像の生成処理では、対象とする部分についての遮蔽の有無を判断することなく、単にフレーム画像を順次接合してパノラマ静止画像を生成していた。そのため、例えば河川流水部のパノラマ静止画像生成においては、太陽の水面への映り込みや小さな雲などにより、流水部の一部が遮蔽されてしまい、流水部の詳細な監視などに障害を来たすという問題があった。
【００４６】
それに対して、本実施形態では、入力されるビデオ画像からフレーム抽出部１により所定間隔でフレーム画像を抽出して、抽出した複数のフレーム画像をフレームメモリ２に記憶する。画像選択部３は、抽出された各フレーム画像を部分画像に分割し、異なるフレーム画像より得られた被写体の同じ部分に対応する複数の部分画像から対象部が最も多く含まれる部分画像を選択する。フレーム接合部４は、画像選択部３により選択された部分画像とは異なる部分画像を透明にして、複数のフレーム画像を順次接合し一枚のパノラマ静止画像を生成する。これにより、同じ部分に対応する部分画像の中から遮蔽の影響が最も少ない部分画像が選択されてパノラマ静止画像が生成されるので、撮影途中に一部のフレーム画像において太陽の反射や雲などにより撮影対象部が遮蔽されても遮蔽の影響を軽減し、遮蔽の影響が少ない良好なパノラマ静止画像を生成することが可能になる。例えば、本実施形態による画像処理装置を用い、空撮して得られたビデオ画像を基に河川流水部のパノラマ静止画像を生成することで、河川の濁度や土砂の堆積度、あるいは水中の生態系の詳細な観測に非常に有用である。
【００４７】
なお、上述した実施形態では、画像選択部３は、まず入力されるフレーム画像を画像分割部１１にて複数の部分画像に分割するようにしているが、これに限定されるものではない。フレーム画像を複数の部分画像に分割する処理は、占有率算出部１５にて占有率を算出する前までに行われていれば良く、そのように動作可能な限り、画像分割部１１を設ける位置は任意である。
【００４８】
（本発明の他の実施形態）
なお、以上に説明した本実施形態の画像処理装置は、コンピュータのＣＰＵ又はＭＰＵ、ＲＡＭ、ＲＯＭ等で構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００４９】
例えば、本実施形態の画像処理装置は、図６に示すようなコンピュータ機能６００を有し、そのＣＰＵ６０１により上述した実施形態での動作が実施される。
コンピュータ機能６００は、図６に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、キーボード（ＫＢ）６０９のキーボードコントローラ（ＫＢＣ）６０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６１０のＣＲＴコントローラ（ＣＲＴＣ）６０６と、ハードディスク（ＨＤ）６１１及びフレキシブルディスク（ＦＤ）６１２のディスクコントローラ（ＤＫＣ）６０７と、ネットワークインタフェースカード（ＮＩＣ）６０８とが、システムバス６０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ６０１は、ＲＯＭ６０２又はＨＤ６１１に記憶されたソフトウェア、又はＦＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ６０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ６０２、ＨＤ６１１、又はＦＤ６１２から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ又はワークエリア等として機能する。
ＫＢＣ６０５は、ＫＢ６０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ６０６は、ＣＲＴ６１０の表示を制御する。
ＤＫＣ６０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するＨＤ６１１及びＦＤ６１２とのアクセスを制御する。
ＮＩＣ６０８はネットワーク６１３上の他の装置と双方向にデータをやりとりする。
【００５０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態による画像処理装置の構成例を示すブロック図である。
【図２】画像選択部の構成例を示すブロック図である。
【図３】領域の判別結果の一例を示す図である。
【図４】部分画像の重み付け処理を説明するための図である。
【図５】本実施形態のパノラマ静止画像の生成処理を説明するための図である。
【図６】本実施形態における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【図７】撮影対象とする河川流水部の一例を示す図である。
【図８】従来のパノラマ静止画像の生成処理を説明するための図である。
【符号の説明】
【００５２】
１ フレーム抽出部
２ フレームメモリ
３ 画像選択部
４ フレーム接合部
１１ 画像分割部
１２ 部分画像記憶部
１３ 特徴抽出部
１４ 領域判別部
１５ 占有率算出部
１６ 部分画像選択部
１７ 比較部
１８ 教師画像データ記憶部
１９ 領域決定部
【特許請求の範囲】
【請求項１】
連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出手段と、
上記抽出手段により抽出したフレーム画像を複数記憶する記憶手段と、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択手段と、
上記画像選択手段により選択した部分画像とは異なる部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合しパノラマ静止画像を生成する接合手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記画像選択手段は、上記対象部を最も多く含む部分画像とは異なる部分画像に所定のラベルを付し、
上記接合手段は、上記所定のラベルが付された部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記ビデオ画像は、上記対象部を空撮して得られたビデオ画像であって、
上記画像選択手段は、上記抽出した各フレーム画像を上記空撮における移動方向に対して長辺が交差する複数の短冊状の部分画像に分割することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
上記画像選択手段は、上記対象部を最も多く含む部分画像が複数得られた場合には、それらのうち上記フレーム画像の中心との距離が最も短い１つの部分画像を上記対象部を最も多く含む部分画像として選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
上記画像選択手段は、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出手段と、
上記特徴抽出手段での特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別手段と、
上記領域判定手段での結果から上記部分画像における上記対象部の占有率を算出する占有率算出手段とを有し、
上記占有率算出手段により算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記特徴抽出手段は、上記分割画像毎に上記分割画像の特徴ベクトルを算出し、
上記領域判別手段は、上記所定の領域部に対応して予め指定された教師画像の特徴ベクトルと、上記特徴抽出手段により得られた上記分割画像の特徴ベクトルとを比較し、比較結果に基づいて当該分割画像を上記所定の領域部に選択的に分類することを特徴とする請求項５記載の画像処理装置。
【請求項７】
連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、
上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、
上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする画像処理方法。
【請求項８】
上記画像選択工程は、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出工程と、
上記特徴抽出工程での特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別工程と、
上記領域判定工程での結果から上記部分画像における上記対象部の占有率を算出する占有率算出工程とを有し、
上記占有率算出工程にて算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項７記載の画像処理方法。
【請求項９】
連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、
上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、
上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させるためのプログラム。
【請求項１０】
上記画像選択ステップは、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出ステップと、
上記特徴抽出ステップでの特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別ステップと、
上記領域判定ステップでの結果から上記部分画像における上記対象部の占有率を算出する占有率算出ステップとを有し、
上記占有率算出ステップにて算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項９記載のプログラム。
【請求項１】
連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出手段と、
上記抽出手段により抽出したフレーム画像を複数記憶する記憶手段と、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択手段と、
上記画像選択手段により選択した部分画像とは異なる部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合しパノラマ静止画像を生成する接合手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記画像選択手段は、上記対象部を最も多く含む部分画像とは異なる部分画像に所定のラベルを付し、
上記接合手段は、上記所定のラベルが付された部分画像を透明にして、上記抽出した複数のフレーム画像を順次接合することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記ビデオ画像は、上記対象部を空撮して得られたビデオ画像であって、
上記画像選択手段は、上記抽出した各フレーム画像を上記空撮における移動方向に対して長辺が交差する複数の短冊状の部分画像に分割することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
上記画像選択手段は、上記対象部を最も多く含む部分画像が複数得られた場合には、それらのうち上記フレーム画像の中心との距離が最も短い１つの部分画像を上記対象部を最も多く含む部分画像として選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
上記画像選択手段は、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出手段と、
上記特徴抽出手段での特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別手段と、
上記領域判定手段での結果から上記部分画像における上記対象部の占有率を算出する占有率算出手段とを有し、
上記占有率算出手段により算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記特徴抽出手段は、上記分割画像毎に上記分割画像の特徴ベクトルを算出し、
上記領域判別手段は、上記所定の領域部に対応して予め指定された教師画像の特徴ベクトルと、上記特徴抽出手段により得られた上記分割画像の特徴ベクトルとを比較し、比較結果に基づいて当該分割画像を上記所定の領域部に選択的に分類することを特徴とする請求項５記載の画像処理装置。
【請求項７】
連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出工程と、
上記抽出工程で抽出したフレーム画像を記憶手段に複数記憶させる記憶工程と、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択工程と、
上記画像選択工程で選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合工程とを有することを特徴とする画像処理方法。
【請求項８】
上記画像選択工程は、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出工程と、
上記特徴抽出工程での特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別工程と、
上記領域判定工程での結果から上記部分画像における上記対象部の占有率を算出する占有率算出工程とを有し、
上記占有率算出工程にて算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項７記載の画像処理方法。
【請求項９】
連続する複数のフレーム画像で構成されるビデオ画像から所定間隔で上記フレーム画像を抽出する抽出ステップと、
上記抽出ステップにて抽出したフレーム画像を記憶手段に複数記憶させる記憶ステップと、
上記記憶手段に記憶された各フレーム画像を複数の部分画像に分割するとともに、互いに異なる上記フレーム画像より得られた同じ部分に係る複数の部分画像から、対象部を最も多く含む部分画像を選択する画像選択ステップと、
上記画像選択ステップで選択した部分画像とは異なる部分画像を透明にし、上記抽出した複数のフレーム画像を順次接合する接合ステップとをコンピュータに実行させるためのプログラム。
【請求項１０】
上記画像選択ステップは、
上記記憶手段に記憶されたフレーム画像を所定の大きさに分割して得られる分割画像毎に特徴抽出を行う特徴抽出ステップと、
上記特徴抽出ステップでの特徴抽出結果に基づいて、上記分割画像を上記対象部を含む所定の領域部に選択的に分類する領域判別ステップと、
上記領域判定ステップでの結果から上記部分画像における上記対象部の占有率を算出する占有率算出ステップとを有し、
上記占有率算出ステップにて算出した上記対象部の占有率に基づいて、上記対象部を最も多く含む部分画像を選択することを特徴とする請求項９記載のプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【公開番号】特開２００７−６６０４１（Ｐ２００７−６６０４１Ａ）
【公開日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願番号】特願２００５−２５１９９１（Ｐ２００５−２５１９９１）
【出願日】平成１７年８月３１日（２００５．８．３１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１７年３月７日 社団法人電子情報通信学会発行の「ＥｉＣ電子情報通信学会 ２００５年総合大会講演論文集」に発表
【出願人】（３０４０２１２８８）国立大学法人長岡技術科学大学 (458)
【Ｆターム（参考）】
【公開日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願日】平成１７年８月３１日（２００５．８．３１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１７年３月７日 社団法人電子情報通信学会発行の「ＥｉＣ電子情報通信学会 ２００５年総合大会講演論文集」に発表
【出願人】（３０４０２１２８８）国立大学法人長岡技術科学大学 (458)
【Ｆターム（参考）】
[ Back to top ]