画像処理装置、画像処理プログラム、及び画像処理方法
【課題】対象物を表す複数の画像に基づいて精度良く対象物の立体画像を生成できる画像処理装置、画像処理プログラム、及び画像処理方法を提供する。
【解決手段】画像処理装置１００は、対象物を表す第１画像を特徴付ける複数の第１特徴点と、対象物を異なる方向から表す第２画像を特徴付ける第２特徴点とを抽出する特徴点抽出部１２０と、第１特徴点との相対距離が所定の距離範囲に属する他の第１特徴点の数で当該第１特徴点を特徴付ける第１相対位置特徴量と、第２特徴点との相対距離が距離範囲に属する他の第２特徴点の数で当該第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出部１３０と、第１相対位置特徴量と第２相対位置特徴量とで第１特徴点と第２特徴点とを対応させる特徴点対応部１５０と、対応した第１特徴点と第２特徴点とを用いて対象物を表す立体画像を生成する立体画像生成部１８０と、を備える。
【解決手段】画像処理装置１００は、対象物を表す第１画像を特徴付ける複数の第１特徴点と、対象物を異なる方向から表す第２画像を特徴付ける第２特徴点とを抽出する特徴点抽出部１２０と、第１特徴点との相対距離が所定の距離範囲に属する他の第１特徴点の数で当該第１特徴点を特徴付ける第１相対位置特徴量と、第２特徴点との相対距離が距離範囲に属する他の第２特徴点の数で当該第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出部１３０と、第１相対位置特徴量と第２相対位置特徴量とで第１特徴点と第２特徴点とを対応させる特徴点対応部１５０と、対応した第１特徴点と第２特徴点とを用いて対象物を表す立体画像を生成する立体画像生成部１８０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を生成する画像処理装置、画像処理プログラム、及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、複数の方向から対象物を撮影するためにカメラが移動した平行移動量をセンサーが検出した加速度を用いて算出すると共に、算出した平行移動量に基づいて対象物の立体画像を生成できるカメラについて開示されている。
【０００３】
また、１つのカメラで複数の位置から同一の対象物を撮影した複数の画像間において、対象物上のある点が画像上で位置を変化させた変化量を算出すると共に、算出した変化量に基づいて対象物の立体画像を生成する方法が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１に係る技術は、カメラが加速度センサーを備えなければならない。また、対象物を表す複数の画像を用いて対象物の立体画像を生成する方法では、センサーを必要としないが、画像に表された対象物の大きさ（スケール）の変化、又は他の物体に隠れて画像上に表示されない対象物の部分（オクルージョン）の変化がそれぞれの画像間で生じる場合がある。このため、それぞれの画像に表された対象物上の点を精度良く対応付けることができず、対象物の立体画像を精度良く生成できないという問題があった。
【０００６】
そこで、本発明は、このような点に鑑み、その目的とするところは、対象物を表す複数の画像に基づいて精度良く対象物の立体画像を生成できる画像処理装置、画像処理プログラム、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第一の観点に係る画像処理装置は、
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、を備えることを特徴としている。
【０００８】
また上記目的を達成するため、本発明の第二の観点に係る画像処理プログラムは、
コンピュータを、
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、して機能させることを特徴としている。
【０００９】
また上記目的を達成するため、本発明の第三の観点に係る画像処理方法は、
コンピュータが、対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出ステップと、
前記コンピュータが、前記特徴点抽出ステップで抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出ステップと、
前記コンピュータが、前記相対位置特徴量算出ステップで算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応ステップと、
前記コンピュータが、前記特徴点対応ステップで対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成ステップと、
を有することを特徴としている。
【発明の効果】
【００１０】
本発明に係る画像処理装置、画像処理プログラム、及び画像処理方法によれば、対象物を表す複数の画像に基づいて精度良く対象物の立体画像を生成できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置の一構成例を表すハードウェア構成図である。
【図２】図２（ａ）は、第１画像の一例を表す図であり、図２（ｂ）は、第２画像の一例を表す図である。
【図３】第１の実施形態に係る画像処理装置が実行する立体画像生成処理の一例を表すフローチャートである。
【図４】図４（ａ）は、第１の実施形態に係る画像処理装置が有する機能の一例を表す機能ブロック図であり、図４（ｂ）は、相対位置特徴量算出部の一例を表す機能ブロック図である。
【図５】図５（ａ）は、第１特徴点の一例を表す図であり、図５（ｂ）は、第２特徴点の一例を表す図である。
【図６】相対位置特徴量算出部が実行する相対位置特徴量算出処理の一例を表すフローチャートである。
【図７】投票箱の一例を表す図である。
【図８】視差ベクトルの一例を表す図である。
【図９】視差ベクトルの分布の一例を表す図である。
【図１０】第２の実施形態に係る画像処理装置が実行する立体画像生成処理の一例を表すフローチャートである。
【図１１】第２の実施形態に係る画像処理装置が有する機能の一例を表す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の最良の実施形態について添付図面を参照しつつ説明する。
【００１３】
＜第１実施形態＞
第１実施形態に係る画像処理装置１００は、図１に示す様なハードウェア構成を有するパーソナルコンピュータである。尚、画像処理装置１００は、デジタルカメラ又はデジタルビデオカメラに内蔵されても良い。画像処理装置１００は、図２（ａ）に示す様な第１画像と、図２（ｂ）に示す様な第２画像とを用いて、第１画像及び第２画像に表された対象物（被写体）の立体画像を生成する。尚、第２画像は、第１画像よりも下側の位置から対象物を撮影した画像である。
【００１４】
画像処理装置１００は、ＣＰＵ（Central Processing Unit）１００ａ、ＲＯＭ（Read Only Memory）１００ｂ、ＲＡＭ（Random Access Memory）１００ｃ、ハードディスク１００ｄ、メディアコントローラ１００ｅ、ＬＡＮ（Local Area Network）カード１００ｆ、ビデオカード１００ｇ、ＬＣＤ（Liquid Crystal Display）１００ｈ、及びキーボード１００ｉを備える。
【００１５】
ＣＰＵ１００ａは、ＲＯＭ１００ｂ又はハードディスク１００ｄに保存されたプログラムに従ってソフトウェア処理を実行することで、画像処理装置１００の全体制御を行う。ＲＡＭ１００ｃは、ＣＰＵ１００ａによるプログラムの実行時において、処理対象とする情報（データ）を一時的に記憶する。
【００１６】
メディアコントローラ１００ｅは、例えば、フラッシュメモリカード等の記録媒体から画像データを読み出す。メディアコントローラ１００ｅによってデータを読み書きされる記録媒体及びハードディスク１００ｄは、画像を表す画像データ及びプログラムを記憶している。ＬＡＮカード１００ｆは、画像処理装置１００に接続する装置（又はインターネット）から画像データを受信（又はダウンロード）する。ビデオカード１００ｇは、ＣＰＵ１００ａに制御されて、ＬＣＤ１００ｈの表示を制御する。ＬＣＤ１００ｈ及びキーボード１００ｉは、ユーザーインターフェースを提供する。
【００１７】
次に、画像処理装置１００が、図１に示したハードウェアを用いて立体画像を生成するために実行するソフトウェア処理について説明を行う。図１のＣＰＵ１００ａは、図３に示す様な立体画像生成処理を実行することで、図４（ａ）に示す様な、画像取得部１１０、特徴点抽出部１２０、相対位置特徴量算出部１３０、費用表作成部１４０、特徴点対応部１５０、対応判定部１６０、誤対応除去部１７０、立体画像生成部１８０、立体画像表示制御部１９０、及び立体画像保存部１９５として機能する。
【００１８】
図３の立体画像生成処理が開始されると、図４（ａ）の画像取得部１１０は、図１のメディアコントローラ１００ｅから、第１画像を表す第１画像データと、第２画像を表す第２画像データとを取得する（ステップＳ０１）。尚、画像処理装置１００は、ハードディスク１００ｄ又はＬＡＮカード１００ｆから第１画像データと第２画像データとを取得しても良い。
【００１９】
次に、特徴点抽出部１２０は、ハリスのコーナー（角）検出法を用いて、第１画像を特徴付けるコーナー特徴量（以下、第１コーナー特徴量という）と、第２画像のコーナー特徴量（以下、第２コーナー特徴量という）とを算出する（ステップＳ０２）。
【００２０】
次に、特徴点抽出部１２０は、第１画像を所定の半径を有する円状の領域に分割すると共に、分割した領域において第１コーナー特徴量が最大となる点（以下、第１コーナー点という）を抽出する。また、特徴点抽出部１２０は、同様に分割した領域において第２コーナー特徴量が最大となる点（以下、第２コーナー点という）を抽出する。（ステップＳ０３）。
【００２１】
その後、特徴点抽出部１２０は、第１コーナー点の内で、第１コーナー特徴量が大きい（強い）点から順に１００個の点を抽出して、図５（ａ）に示す様な第１特徴点とすると共に、第２コーナー点から同様に１００個の点を抽出して、図５（ｂ）に示す様な第２特徴点とする（ステップＳ０４）。次に、特徴点抽出部１２０は、第１コーナー特徴量が大きい順に、第１特徴点に対して１番から１００番までの番号を付すと共に、第２特徴点に対して同様に番号を付す。尚、図５（ａ）及び（ｂ）は、それぞれ第１画像及び第２画像の左上の角を原点とした画像座標系における第１特徴点及び第２特徴点の位置を表す。
【００２２】
次に、図４（ａ）の相対位置特徴量算出部１３０は、第１特徴点の相対位置特徴量（以下、第１相対位置特徴量という）と第２特徴点の相対位置特徴量（以下、第２相対位置特徴量という）とを算出する相対位置特徴量算出処理を実行する（ステップＳ０５）。尚、相対位置特徴量算出部１３０が算出する相対位置特徴量は、シェイプコンテクスト（Serge Belonie著、「Shape Matching and Object Recognition Using Shape Contexts」、２００２年４月発行、第５０９頁から第５２２頁 参照）である。また、相対位置特徴量算出部１３０は、図６に示す様な相対位置特徴量算出処理を実行することで、図４（ｂ）に示す様な相対距離算出部１３１、距離正規化係数算出部１３２、投票箱設定部１３３、角度算出部１３４、投票部１３５、及び集計部１３６として機能する。
【００２３】
図６の相対位置特徴量算出処理の実行が開始されると、図４（ｂ）の相対距離算出部１３１は、先ず、１番の第１特徴点と１番以外（つまり、２番から１００番）の第１特徴点との相対距離をそれぞれ算出する。また、相対距離算出部１３１は、２番から１００番の第１特徴点及び１番から１００番の第２特徴点についても同様に相対距離を算出する（ステップＳ２１）。尚、以下単に、第１特徴点同士の相対距離を第１相対距離といい、第２特徴点同士の相対距離を第２相対距離という。
【００２４】
次に、距離正規化係数算出部１３２は、第１相対距離を正規化する正規化係数と、第２相対距離を正規化する正規化係数とを算出する（ステップＳ２２）。次に、距離正規化係数算出部１３２は、算出した正規化係数を用いて第１相対距離と第２相対距離とを正規化する。対象物の画像上の大きさが異なる場合でも、特徴点の相対距離を画像間で比較可能にするためである。尚、距離正規化係数算出部１３２は、処理精度を重視する場合には相乗平均を正規化係数とし、処理速度を重視する場合には相加平均を正規化係数とする。
【００２５】
次に、投票箱設定部１３３は、図７に示す様な投票箱１３３ａを第１特徴点毎及び第２特徴点毎に設定する（ステップＳ２３）。投票箱１３３ａは、投票箱１３３ａに設定された第１特徴点（又は第２特徴点）を表す点を中心点とした５つの同心円と、互いに同じ角度を成す１２個の半径とで構成されたグラフである。投票箱１３３ａに描かれた点ＣＰは、中心点で表される第１特徴点（又は第２特徴点）以外の第１特徴点（又は第２特徴点）を表す。点ＣＰと中心点との距離は、中心点で表される特徴点と点ＣＰで表される特徴点との相対的な対数距離を表し、点ＣＰと中心点とを結んだ直線の方向（角度）は、中心点で表される特徴点と点ＣＰで表される特徴点とを結んだ直線の方向（角度）を表す。つまり、投票箱１３３ａは、距離で５分割され、かつ角度で１２分割されているので、投票箱１３３ａは、距離が所定範囲に属し、かつ角度が所定の範囲に属する６０個の投票領域に分割されている。これらの投票領域は、投票箱設定部１３３によって１番から６０番まで順に番号が付されている。
【００２６】
図６のステップＳ２３が実行された後に、図４（ｂ）の角度算出部１３４は、１番の第１特徴点から他の（つまり、２番から１００番の）第１特徴点への方向をそれぞれ算出する。また、角度算出部１３４は、２番から１００番の第１特徴点及び１番から１００番の第２特徴点についても同様に方向を算出する（ステップＳ２４）。
【００２７】
その後、投票部１３５は、１番の第１特徴点に対応した投票箱１３３ａへ、１番の第１特徴点と１番以外の第１特徴点との相対距離及び角度を座標値にして、１番以外の第１特徴点を表す点をそれぞれ書き込む（以下、投票するという）。また、投票部１３５は、２番から１００番の第１特徴点に対応した投票箱１３３ａ及び１番から１００番の第２特徴点に対応した投票箱１３３ａへ同様に投票を行う（ステップＳ２５）。
【００２８】
次に、集計部１３６は、１番の第１特徴点に対応する投票箱１３３ａの１番から６０番の投票領域について、それぞれの投票領域の獲得票数（つまり、Shape Context）を集計する。また、集計部１３６は、２番から１００番の第１特徴点に対応する投票箱１３３ａ及び１番から１００番の第２特徴点に対応する投票箱１３３ａについても同様に集計を行う（ステップＳ２６）。これは、ある第１特徴点（又は第２特徴点）を投票箱１３３ａの中心に重ねた場合に、投票箱１３３ａを構成するそれぞれ投票領域に投票される他の第１特徴点の数（又は他の第２特徴点の数）を用いて当該第１特徴点を特徴付けるためである。
【００２９】
次に、集計部１３６は、投票領域に投票された票の数（投票領域の獲得票数）を、正規化する（ステップＳ２７）。具体的には、集計部１３６は、ある投票箱１３３ａへ投票された点の総数から当該投票箱１３３ａを外れた点を差し引いた数（つまり、有効投票数）で、当該投票箱１３３ａの投票領域毎の獲票数を除算する。投票箱１３３ａ間で各投票領域の得票数を比較するためである。その後、図４（ｂ）の相対位置特徴量算出部１３０は、相対位置特徴量算出処理の実行を終了する。
【００３０】
図３のステップＳ０５の実行が終了されると、図４（ａ）の費用表作成部１４０は、表１に示す様な、第１特徴点と第２特徴点との照合コストを表す費用表（照合コスト表）を作成する（ステップＳ０６）。尚、照合コストは、第１特徴点の相対位置特徴量と、第２特徴点の相対位置特徴量とが相違する程度を表す指標であり、照合対象とする２つの相対位置特徴量が相違する程大きい値となる。よって、費用表作成部１４０は、所定の閾値よりも大きい照合コストをコスト表から取り除く。相対位置特徴量で表される特徴が所定よりも相違する特徴点同士を対応させないためである。
【００３１】
【表１】
【００３２】
但し、表１は、変数ｉで特徴点抽出部１２０が付した第１特徴点の番号を表し、変数ｊで第２特徴点の番号を表す。また、Ｃｉｊは、数式１に示す様な式を用いて算出されるｉ番の第１特徴点とｊ番の第２特徴点との照合コストを表す。尚、費用表作成部１４０は、ｉ≦ｊとなるＣｉｊを算出すればＣｊｉを計算する必要がない。
【００３３】
【数１】
【００３４】
但し、Ｋは、投票箱１３３ａが有する投票領域の総数６０であり、ｈｉ（ｋ）は、ｉ番の第１特徴点に設定された投票箱１３３ａのｋ番の投票領域の正規化された得票数であり、ｈｊ（ｋ）は、ｊ番の第２特徴点に設定された投票箱１３３ａのｋ番の投票領域の正規化された得票数である。
【００３５】
図３のステップＳ０６が実行された後に、図４（ａ）の特徴点対応部１５０は、照合コスト表に基づいて第１特徴点と第２特徴点とを対応付ける（ステップＳ０７）。具体的には、特徴点対応部１５０は、先ず、１番の第１特徴点との照合コストが最も低い第２特徴点を、１番から１００番まで１００個の第２特徴点から選択した後に、選択した第２特徴点との照合コストが最も低いものが１番の第１特徴点となる場合にのみ、選択した第２特徴点を１番の第１特徴点の対応点とする。次に、特徴点対応部１５０は、同様の処理を、２番から１００番の第１特徴点に対して行う。
【００３６】
この構成によれば、ある第１特徴点との照合コストが最小となる第２特徴点を、当該特徴点１に対応させるため、少ない算出量で第１特徴点と第２特徴点とを精度良く対応させることができる。特に、第１特徴点と第２特徴点との対応の考えられる全組合せの内で、第１特徴点と第２特徴点との照合コストの総和が最も少ない組み合わせを、例えば、ハンガリアン法を用いて算出する手法（「Shape Matching and Object Recognition Using Shape Contexts」参照）と比べて、算出量が少ないにも関わらず、第１特徴点と第２特徴点とを精度良く対応させることができる。
【００３７】
これは、ハンガリアン法を用いた手法では、例えば、片方の画像にしか表されていない特徴点（対応相手が無い点）の照合コストと、対応相手がある点の照合コストとを加算して算出される照合コストの総和を最小化しているため、対応相手が無い点を他の点に対応させることで生じる対応精度の低下が、対応相手が有る点同士の対応精度の低下をもたらすためである。一方で、特徴点対応部１５０は、対応相手が有るか否かに関わらず最も照合コストの低い点同士を対応させるため、対応相手が無い点を他の点に対応させることで生じる対応精度の低下が、対応相手が有る点同士の対応精度の低下をもたらすことがないだけでなく、ハンガリアン法を用いる場合よりも計算量が少ない。
【００３８】
尚、対応相手が無い特徴点は、第１画像と第２画像とでオクルージョンが変化した場合、又は第１画像の撮影タイミングと第２画像の撮影タイミングとの違いによって一方の画像のみにノイズが生じた場合に生じることが多い。
【００３９】
図３のステップＳ０７が実行された後に、図４（ａ）の対応判定部１６０は、図８に示す様な視差ベクトルと、図９に示す様な視差ベクトルの分布とを算出する（ステップＳ０８）。尚、視差ベクトルは、特徴点対応部１５０が対応付けた第１特徴点から第２特徴点へ向かうベクトルであって、第１特徴点の座標値と第２特徴点の座標値との差分で表される。また、図８は、図５（ａ）と図５（ｂ）を重ねて表示すると共に、図５（ａ）の第１特徴点から図５（ｂ）の第２特徴点へ向かう視差ベクトルを表す。図９は、それぞれの視差ベクトルの始点をΔＸ軸とΔＹ軸とで表される座標の原点に揃えて表示している。
【００４０】
図３のステップＳ０８が実行された後に、図４（ａ）の対応判定部１６０は、視差ベクトルの分布に基づいて、視差ベクトルの始点である第１特徴点と終点である第２特徴点との対応が正しい対応（正対応）であるか誤った対応（誤対応）であるかを判定する（ステップＳ０９）。尚、正対応は、同じ対象物上の同じ点を表す第１特徴点と第２特徴点との対応をいう。
【００４１】
具体的には、対応判定部１６０は、視差ベクトルの分散共分散行列を算出すると共に、算出した分散共分散行列の固有ベクトルと固有値とに基づいて、視差ベクトルが分布から所定値よりも外れているか否かを判定する。次に、対応判定部１６０は、分布から所定値よりも外れている視差ベクトル（以下、誤対応の視差ベクトルという）の始点である第１特徴点と終点である第２特徴点との対応を誤対応と判定する。
【００４２】
その後、図４（ａ）の誤対応除去部１７０は、誤対応の視差ベクトルを、視差ベクトルの分布から除去する（ステップＳ１０）。つまり、画像処理装置１００は、誤対応と判定された第１特徴点と第２特徴点とを、以降の処理に用いない。
【００４３】
次に、立体画像生成部１８０は、誤対応の視差ベクトルが除去された分布に属する（つまり、正対応と判定された）視差ベクトルに基づいて、対象物の立体画像を生成する（ステップＳ１１）。この構成によれば、正対応であると判定した特徴点を用いて算出された視差ベクトルに基づいて対象物を表す立体画像を生成するため、精度良く立体画像を生成できる。
【００４４】
その後、立体画像表示制御部１９０は、対象物の立体画像を表示するよう図１のＬＣＤ１００ｈを制御する（ステップＳ１２）。次に、立体画像保存部１９５は、立体画像を表す立体画像データを、図１のハードディスク１００ｄへ保存する（ステップＳ１３）。その後、画像処理装置１００は、処理の実行を終了する。
【００４５】
これらの構成によれば、相対位置特徴量の差異に基づいて異なる画像間の特徴点を対応させるため、画像間で対象物の大きさ（スケール）が所定の範囲内で全体的に又は部分的に異なる場合、又は画像間で対象物の向きが所定の範囲内で全体的に又は部分的に異なる場合でも、異なる画像間の特徴点を精度良く対応付けることができる。また、画像間でオクルージョンが変化した場合、又は片方の画像にノイズがある、若しくは画像間で異なるノイズがある場合でも、異なる画像間の特徴点を精度良く対応付けることができる。つまり、第１画像及び第２画像を撮影するカメラの移動、カメラの移動によるオクルージョンの変化、及び第１画像と第２画像とにおけるノイズの相違に対してロバスト性が高い特徴点の照合を行うことができる。このため、画像処理装置１００は、対象物を表す第１画像及び第２画像を用いて対象物の立体画像を精度の良く生成できる。
【００４６】
＜第２実施形態＞
次に、第２実施形態について説明を行う。
第２実施形態に係る画像処理装置２００は、第１画像を基準として第２画像が対象物をどの程度だけ回転させて表すかによって投票箱１３３ａが有する投票領域の広さを変更する。尚、第１実施形態と共通する部分については詳細な説明を省略する。
【００４７】
画像処理装置２００は、図１０に示す様な立体画像生成処理を実行することで、図１１に示す様な、画像取得部２１０、特徴点抽出部２２０、相対位置特徴量算出部２３０、費用表作成部２４０、特徴点対応部２５０、対応判定部２６０、範囲変更部２６５、誤対応除去部２７０、立体画像生成部２８０、立体画像表示制御部２９０、及び立体画像保存部２９５として機能する。
【００４８】
図１０の画像取得部２１０、特徴点抽出部２２０、相対位置特徴量算出部２３０、費用表作成部２４０、特徴点対応部２５０、及び対応判定部２６０は、図３のステップＳ０１からＳ０９と同様の処理を実行する（ステップＳ３１からＳ３９）。
【００４９】
ステップＳ３９が実行された後に、範囲変更部２６５は、ステップＳ３９で誤対応であると判定された対応の数が所定値を超えたため、所定の精度で立体画像を生成するためには、投票箱１３３ａの投票領域の範囲を再設定する必要があると判定する（ステップＳ４０；Ｙｅｓ）。
【００５０】
次に、範囲変更部２６５は、投票箱１３３ａの投票領域を、誤対応の数に基づいて既に設定したよりも広く再設定する（ステップＳ４１）。具体的には、範囲変更部２６５は、誤対応の数が多くなる程、投票箱１３３ａの分割数を減らすことで、投票領域の角度範囲を既定よりも広く設定する。この構成によれば、第１画像と第２画像とで対象物を表す方向の差異が既定よりも大きい場合でも、第１特徴点と第２特徴点とを対応付けることができる。
【００５１】
次に、図１１の相対位置特徴量算出部２３０は、再設定された投票箱１３３ａを用いて、図６のステップ２５及びＳ２６と同様の処理を実行することで、第１相対位置特徴量及び第２相対位置特徴量を再算出する（ステップＳ４２）。
【００５２】
その後、費用表作成部２４０は、再算出された第１相対位置特徴量及び第２相対位置特徴量に対して、図３のステップＳ０６と同様の処理を実行することで、照合コスト表を再作成する（ステップＳ３６）。次に、特徴点対応部２５０は、再作成された照合コスト表を用いて、図３のステップＳ０７と同様の処理を実行することで第１特徴点と第２特徴点とを再度対応付ける（ステップＳ３７）。
【００５３】
次に、対応判定部２６０は、ステップＳ０８と同様の処理を実行することで、再度対応付けられた第１特徴点と第２特徴点との視差ベクトルの分布を再算出し（ステップＳ３８）、ステップＳ０９と同様の処理を実行することで、再算出された視差ベクトルの分布から誤対応を判定する（ステップＳ３９）。その後、範囲変更部２６５は、誤対応と判定された対応の数が所定値を超えないため、投票箱１３３ａを再設定する必要がないと判定する（ステップＳ４０；Ｎｏ）。
【００５４】
次に、誤対応除去部２７０、立体画像生成部２８０、立体画像表示制御部２９０、及び立体画像保存部２９５は、再算出された視差ベクトルを用いて、図３のステップＳ１０からＳ１３と同様の処理を順に実行する（ステップＳ４３からＳ４６）。その後、画像処理装置２００は、処理の実行を終了する。
【００５５】
また、第２実施形態において、範囲変更部２６５は、投票箱１３３ａの分割数を減らすことで、投票領域の角度範囲を変更前よりも広く設定するとして説明した。しかし、範囲変更部２６５は、投票領域同士を一部重複させることで、投票領域の角度範囲を変更前よりも広く設定する構成を採用できる。例えば、範囲変更部２６５は、投票領域同士が互いに接する境界線から所定の距離までの境界部分において、投票領域が重なり合う様に設定し直す構成を採用できる。境界部分に投票される点を、境界に接する投票領域の双方が得票する様にするためである。また、範囲変更部２６５は、誤対応と判定された対応の数が増える程、投票領域が重なり合う境界部分を拡大させる構成を採用できる。
【００５６】
第２実施形態において、範囲変更部２６５は、誤対応の数に基づいて投票箱１３３ａを再設定する必要があるか否かを判断するとして説明した。しかし、範囲変更部２６５は、対応判定部２６０が算出した視差ベクトルの分散共分散行列の固有値及び固有ベクトルに基づいて視差ベクトルの分布の広がりを判断すると共に、視差ベクトルの分布の広がりが所定よりも広い場合に、投票箱１３３ａを再設定する必要があると判断する構成を採用できる。また、範囲変更部２６５は、視差ベクトルの分布の広がりが広い程、投票領域の角度範囲を既定よりも広く設定する又は投票領域同士を重複させる領域を広く設定する構成を採用できる。視差ベクトルの分布の広がりが広い程、第２画像は、第１画像に比べて対象物を回転させて表示するためである。
【００５７】
尚、本発明に係る機能を実現するための構成を予め備えた画処理信装置として提供できることはもとより、プログラムの適用により、既存の画像処理装置を本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１００による各機能構成を実現させるための画像処理プログラムを、既存の画像処理装置を制御するコンピュータ（ＣＰＵなど）が実行できる様に適用することで、本発明に係る画像処理装置１００として機能させることができる。また、本発明に係る画像処理方法は、上記実施形態で例示した画像処理装置１００を用いて実施できる。
【００５８】
この様プログラムの配布方法は任意であり、例えば、メモリカード、ＣＤ−ＲＯＭ、又はＤＶＤ−ＲＯＭなどの記録媒体に格納して配布できる他、インターネットなどの通信媒体を介して配布することもできる。
【００５９】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００６０】
１００，２００・・・画像処理装置、１００ａ・・・ＣＰＵ、１００ｂ・・・ＲＯＭ、１００ｃ・・・ＲＡＭ、１００ｄ・・・ハードディスク、１００ｅ・・・メディアコントローラ、１００ｆ・・・ＬＡＮカード、１００ｇ・・・ビデオカード、１００ｈ・・・ＬＣＤ、１００ｉ・・・キーボード、１１０，２１０・・・画像取得部、１２０，２２０・・・特徴点抽出部、１３０，２３０・・・相対位置特徴量算出部、１３１・・・相対距離算出部、１３２・・・距離正規化係数算出部、１３３・・・投票箱設定部、１３３ａ・・投票箱、１３４・・・角度算出部、１３５・・・投票部、１３６・・・集計部、１４０，２４０・・・費用表作成部、１５０，２５０・・・特徴点対応部、１６０，２６０・・・対応判定部、１７０，２７０・・・誤対応除去部、１８０，２８０・・・立体画像生成部、１９０，２９０・・・立体画像表示制御部、１９５，２９５・・・立体画像保存部、２６５・・・範囲変更部
【技術分野】
【０００１】
本発明は、立体画像を生成する画像処理装置、画像処理プログラム、及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、複数の方向から対象物を撮影するためにカメラが移動した平行移動量をセンサーが検出した加速度を用いて算出すると共に、算出した平行移動量に基づいて対象物の立体画像を生成できるカメラについて開示されている。
【０００３】
また、１つのカメラで複数の位置から同一の対象物を撮影した複数の画像間において、対象物上のある点が画像上で位置を変化させた変化量を算出すると共に、算出した変化量に基づいて対象物の立体画像を生成する方法が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１に係る技術は、カメラが加速度センサーを備えなければならない。また、対象物を表す複数の画像を用いて対象物の立体画像を生成する方法では、センサーを必要としないが、画像に表された対象物の大きさ（スケール）の変化、又は他の物体に隠れて画像上に表示されない対象物の部分（オクルージョン）の変化がそれぞれの画像間で生じる場合がある。このため、それぞれの画像に表された対象物上の点を精度良く対応付けることができず、対象物の立体画像を精度良く生成できないという問題があった。
【０００６】
そこで、本発明は、このような点に鑑み、その目的とするところは、対象物を表す複数の画像に基づいて精度良く対象物の立体画像を生成できる画像処理装置、画像処理プログラム、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第一の観点に係る画像処理装置は、
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、を備えることを特徴としている。
【０００８】
また上記目的を達成するため、本発明の第二の観点に係る画像処理プログラムは、
コンピュータを、
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、して機能させることを特徴としている。
【０００９】
また上記目的を達成するため、本発明の第三の観点に係る画像処理方法は、
コンピュータが、対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出ステップと、
前記コンピュータが、前記特徴点抽出ステップで抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出ステップと、
前記コンピュータが、前記相対位置特徴量算出ステップで算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応ステップと、
前記コンピュータが、前記特徴点対応ステップで対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成ステップと、
を有することを特徴としている。
【発明の効果】
【００１０】
本発明に係る画像処理装置、画像処理プログラム、及び画像処理方法によれば、対象物を表す複数の画像に基づいて精度良く対象物の立体画像を生成できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る画像処理装置の一構成例を表すハードウェア構成図である。
【図２】図２（ａ）は、第１画像の一例を表す図であり、図２（ｂ）は、第２画像の一例を表す図である。
【図３】第１の実施形態に係る画像処理装置が実行する立体画像生成処理の一例を表すフローチャートである。
【図４】図４（ａ）は、第１の実施形態に係る画像処理装置が有する機能の一例を表す機能ブロック図であり、図４（ｂ）は、相対位置特徴量算出部の一例を表す機能ブロック図である。
【図５】図５（ａ）は、第１特徴点の一例を表す図であり、図５（ｂ）は、第２特徴点の一例を表す図である。
【図６】相対位置特徴量算出部が実行する相対位置特徴量算出処理の一例を表すフローチャートである。
【図７】投票箱の一例を表す図である。
【図８】視差ベクトルの一例を表す図である。
【図９】視差ベクトルの分布の一例を表す図である。
【図１０】第２の実施形態に係る画像処理装置が実行する立体画像生成処理の一例を表すフローチャートである。
【図１１】第２の実施形態に係る画像処理装置が有する機能の一例を表す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の最良の実施形態について添付図面を参照しつつ説明する。
【００１３】
＜第１実施形態＞
第１実施形態に係る画像処理装置１００は、図１に示す様なハードウェア構成を有するパーソナルコンピュータである。尚、画像処理装置１００は、デジタルカメラ又はデジタルビデオカメラに内蔵されても良い。画像処理装置１００は、図２（ａ）に示す様な第１画像と、図２（ｂ）に示す様な第２画像とを用いて、第１画像及び第２画像に表された対象物（被写体）の立体画像を生成する。尚、第２画像は、第１画像よりも下側の位置から対象物を撮影した画像である。
【００１４】
画像処理装置１００は、ＣＰＵ（Central Processing Unit）１００ａ、ＲＯＭ（Read Only Memory）１００ｂ、ＲＡＭ（Random Access Memory）１００ｃ、ハードディスク１００ｄ、メディアコントローラ１００ｅ、ＬＡＮ（Local Area Network）カード１００ｆ、ビデオカード１００ｇ、ＬＣＤ（Liquid Crystal Display）１００ｈ、及びキーボード１００ｉを備える。
【００１５】
ＣＰＵ１００ａは、ＲＯＭ１００ｂ又はハードディスク１００ｄに保存されたプログラムに従ってソフトウェア処理を実行することで、画像処理装置１００の全体制御を行う。ＲＡＭ１００ｃは、ＣＰＵ１００ａによるプログラムの実行時において、処理対象とする情報（データ）を一時的に記憶する。
【００１６】
メディアコントローラ１００ｅは、例えば、フラッシュメモリカード等の記録媒体から画像データを読み出す。メディアコントローラ１００ｅによってデータを読み書きされる記録媒体及びハードディスク１００ｄは、画像を表す画像データ及びプログラムを記憶している。ＬＡＮカード１００ｆは、画像処理装置１００に接続する装置（又はインターネット）から画像データを受信（又はダウンロード）する。ビデオカード１００ｇは、ＣＰＵ１００ａに制御されて、ＬＣＤ１００ｈの表示を制御する。ＬＣＤ１００ｈ及びキーボード１００ｉは、ユーザーインターフェースを提供する。
【００１７】
次に、画像処理装置１００が、図１に示したハードウェアを用いて立体画像を生成するために実行するソフトウェア処理について説明を行う。図１のＣＰＵ１００ａは、図３に示す様な立体画像生成処理を実行することで、図４（ａ）に示す様な、画像取得部１１０、特徴点抽出部１２０、相対位置特徴量算出部１３０、費用表作成部１４０、特徴点対応部１５０、対応判定部１６０、誤対応除去部１７０、立体画像生成部１８０、立体画像表示制御部１９０、及び立体画像保存部１９５として機能する。
【００１８】
図３の立体画像生成処理が開始されると、図４（ａ）の画像取得部１１０は、図１のメディアコントローラ１００ｅから、第１画像を表す第１画像データと、第２画像を表す第２画像データとを取得する（ステップＳ０１）。尚、画像処理装置１００は、ハードディスク１００ｄ又はＬＡＮカード１００ｆから第１画像データと第２画像データとを取得しても良い。
【００１９】
次に、特徴点抽出部１２０は、ハリスのコーナー（角）検出法を用いて、第１画像を特徴付けるコーナー特徴量（以下、第１コーナー特徴量という）と、第２画像のコーナー特徴量（以下、第２コーナー特徴量という）とを算出する（ステップＳ０２）。
【００２０】
次に、特徴点抽出部１２０は、第１画像を所定の半径を有する円状の領域に分割すると共に、分割した領域において第１コーナー特徴量が最大となる点（以下、第１コーナー点という）を抽出する。また、特徴点抽出部１２０は、同様に分割した領域において第２コーナー特徴量が最大となる点（以下、第２コーナー点という）を抽出する。（ステップＳ０３）。
【００２１】
その後、特徴点抽出部１２０は、第１コーナー点の内で、第１コーナー特徴量が大きい（強い）点から順に１００個の点を抽出して、図５（ａ）に示す様な第１特徴点とすると共に、第２コーナー点から同様に１００個の点を抽出して、図５（ｂ）に示す様な第２特徴点とする（ステップＳ０４）。次に、特徴点抽出部１２０は、第１コーナー特徴量が大きい順に、第１特徴点に対して１番から１００番までの番号を付すと共に、第２特徴点に対して同様に番号を付す。尚、図５（ａ）及び（ｂ）は、それぞれ第１画像及び第２画像の左上の角を原点とした画像座標系における第１特徴点及び第２特徴点の位置を表す。
【００２２】
次に、図４（ａ）の相対位置特徴量算出部１３０は、第１特徴点の相対位置特徴量（以下、第１相対位置特徴量という）と第２特徴点の相対位置特徴量（以下、第２相対位置特徴量という）とを算出する相対位置特徴量算出処理を実行する（ステップＳ０５）。尚、相対位置特徴量算出部１３０が算出する相対位置特徴量は、シェイプコンテクスト（Serge Belonie著、「Shape Matching and Object Recognition Using Shape Contexts」、２００２年４月発行、第５０９頁から第５２２頁 参照）である。また、相対位置特徴量算出部１３０は、図６に示す様な相対位置特徴量算出処理を実行することで、図４（ｂ）に示す様な相対距離算出部１３１、距離正規化係数算出部１３２、投票箱設定部１３３、角度算出部１３４、投票部１３５、及び集計部１３６として機能する。
【００２３】
図６の相対位置特徴量算出処理の実行が開始されると、図４（ｂ）の相対距離算出部１３１は、先ず、１番の第１特徴点と１番以外（つまり、２番から１００番）の第１特徴点との相対距離をそれぞれ算出する。また、相対距離算出部１３１は、２番から１００番の第１特徴点及び１番から１００番の第２特徴点についても同様に相対距離を算出する（ステップＳ２１）。尚、以下単に、第１特徴点同士の相対距離を第１相対距離といい、第２特徴点同士の相対距離を第２相対距離という。
【００２４】
次に、距離正規化係数算出部１３２は、第１相対距離を正規化する正規化係数と、第２相対距離を正規化する正規化係数とを算出する（ステップＳ２２）。次に、距離正規化係数算出部１３２は、算出した正規化係数を用いて第１相対距離と第２相対距離とを正規化する。対象物の画像上の大きさが異なる場合でも、特徴点の相対距離を画像間で比較可能にするためである。尚、距離正規化係数算出部１３２は、処理精度を重視する場合には相乗平均を正規化係数とし、処理速度を重視する場合には相加平均を正規化係数とする。
【００２５】
次に、投票箱設定部１３３は、図７に示す様な投票箱１３３ａを第１特徴点毎及び第２特徴点毎に設定する（ステップＳ２３）。投票箱１３３ａは、投票箱１３３ａに設定された第１特徴点（又は第２特徴点）を表す点を中心点とした５つの同心円と、互いに同じ角度を成す１２個の半径とで構成されたグラフである。投票箱１３３ａに描かれた点ＣＰは、中心点で表される第１特徴点（又は第２特徴点）以外の第１特徴点（又は第２特徴点）を表す。点ＣＰと中心点との距離は、中心点で表される特徴点と点ＣＰで表される特徴点との相対的な対数距離を表し、点ＣＰと中心点とを結んだ直線の方向（角度）は、中心点で表される特徴点と点ＣＰで表される特徴点とを結んだ直線の方向（角度）を表す。つまり、投票箱１３３ａは、距離で５分割され、かつ角度で１２分割されているので、投票箱１３３ａは、距離が所定範囲に属し、かつ角度が所定の範囲に属する６０個の投票領域に分割されている。これらの投票領域は、投票箱設定部１３３によって１番から６０番まで順に番号が付されている。
【００２６】
図６のステップＳ２３が実行された後に、図４（ｂ）の角度算出部１３４は、１番の第１特徴点から他の（つまり、２番から１００番の）第１特徴点への方向をそれぞれ算出する。また、角度算出部１３４は、２番から１００番の第１特徴点及び１番から１００番の第２特徴点についても同様に方向を算出する（ステップＳ２４）。
【００２７】
その後、投票部１３５は、１番の第１特徴点に対応した投票箱１３３ａへ、１番の第１特徴点と１番以外の第１特徴点との相対距離及び角度を座標値にして、１番以外の第１特徴点を表す点をそれぞれ書き込む（以下、投票するという）。また、投票部１３５は、２番から１００番の第１特徴点に対応した投票箱１３３ａ及び１番から１００番の第２特徴点に対応した投票箱１３３ａへ同様に投票を行う（ステップＳ２５）。
【００２８】
次に、集計部１３６は、１番の第１特徴点に対応する投票箱１３３ａの１番から６０番の投票領域について、それぞれの投票領域の獲得票数（つまり、Shape Context）を集計する。また、集計部１３６は、２番から１００番の第１特徴点に対応する投票箱１３３ａ及び１番から１００番の第２特徴点に対応する投票箱１３３ａについても同様に集計を行う（ステップＳ２６）。これは、ある第１特徴点（又は第２特徴点）を投票箱１３３ａの中心に重ねた場合に、投票箱１３３ａを構成するそれぞれ投票領域に投票される他の第１特徴点の数（又は他の第２特徴点の数）を用いて当該第１特徴点を特徴付けるためである。
【００２９】
次に、集計部１３６は、投票領域に投票された票の数（投票領域の獲得票数）を、正規化する（ステップＳ２７）。具体的には、集計部１３６は、ある投票箱１３３ａへ投票された点の総数から当該投票箱１３３ａを外れた点を差し引いた数（つまり、有効投票数）で、当該投票箱１３３ａの投票領域毎の獲票数を除算する。投票箱１３３ａ間で各投票領域の得票数を比較するためである。その後、図４（ｂ）の相対位置特徴量算出部１３０は、相対位置特徴量算出処理の実行を終了する。
【００３０】
図３のステップＳ０５の実行が終了されると、図４（ａ）の費用表作成部１４０は、表１に示す様な、第１特徴点と第２特徴点との照合コストを表す費用表（照合コスト表）を作成する（ステップＳ０６）。尚、照合コストは、第１特徴点の相対位置特徴量と、第２特徴点の相対位置特徴量とが相違する程度を表す指標であり、照合対象とする２つの相対位置特徴量が相違する程大きい値となる。よって、費用表作成部１４０は、所定の閾値よりも大きい照合コストをコスト表から取り除く。相対位置特徴量で表される特徴が所定よりも相違する特徴点同士を対応させないためである。
【００３１】
【表１】
【００３２】
但し、表１は、変数ｉで特徴点抽出部１２０が付した第１特徴点の番号を表し、変数ｊで第２特徴点の番号を表す。また、Ｃｉｊは、数式１に示す様な式を用いて算出されるｉ番の第１特徴点とｊ番の第２特徴点との照合コストを表す。尚、費用表作成部１４０は、ｉ≦ｊとなるＣｉｊを算出すればＣｊｉを計算する必要がない。
【００３３】
【数１】
【００３４】
但し、Ｋは、投票箱１３３ａが有する投票領域の総数６０であり、ｈｉ（ｋ）は、ｉ番の第１特徴点に設定された投票箱１３３ａのｋ番の投票領域の正規化された得票数であり、ｈｊ（ｋ）は、ｊ番の第２特徴点に設定された投票箱１３３ａのｋ番の投票領域の正規化された得票数である。
【００３５】
図３のステップＳ０６が実行された後に、図４（ａ）の特徴点対応部１５０は、照合コスト表に基づいて第１特徴点と第２特徴点とを対応付ける（ステップＳ０７）。具体的には、特徴点対応部１５０は、先ず、１番の第１特徴点との照合コストが最も低い第２特徴点を、１番から１００番まで１００個の第２特徴点から選択した後に、選択した第２特徴点との照合コストが最も低いものが１番の第１特徴点となる場合にのみ、選択した第２特徴点を１番の第１特徴点の対応点とする。次に、特徴点対応部１５０は、同様の処理を、２番から１００番の第１特徴点に対して行う。
【００３６】
この構成によれば、ある第１特徴点との照合コストが最小となる第２特徴点を、当該特徴点１に対応させるため、少ない算出量で第１特徴点と第２特徴点とを精度良く対応させることができる。特に、第１特徴点と第２特徴点との対応の考えられる全組合せの内で、第１特徴点と第２特徴点との照合コストの総和が最も少ない組み合わせを、例えば、ハンガリアン法を用いて算出する手法（「Shape Matching and Object Recognition Using Shape Contexts」参照）と比べて、算出量が少ないにも関わらず、第１特徴点と第２特徴点とを精度良く対応させることができる。
【００３７】
これは、ハンガリアン法を用いた手法では、例えば、片方の画像にしか表されていない特徴点（対応相手が無い点）の照合コストと、対応相手がある点の照合コストとを加算して算出される照合コストの総和を最小化しているため、対応相手が無い点を他の点に対応させることで生じる対応精度の低下が、対応相手が有る点同士の対応精度の低下をもたらすためである。一方で、特徴点対応部１５０は、対応相手が有るか否かに関わらず最も照合コストの低い点同士を対応させるため、対応相手が無い点を他の点に対応させることで生じる対応精度の低下が、対応相手が有る点同士の対応精度の低下をもたらすことがないだけでなく、ハンガリアン法を用いる場合よりも計算量が少ない。
【００３８】
尚、対応相手が無い特徴点は、第１画像と第２画像とでオクルージョンが変化した場合、又は第１画像の撮影タイミングと第２画像の撮影タイミングとの違いによって一方の画像のみにノイズが生じた場合に生じることが多い。
【００３９】
図３のステップＳ０７が実行された後に、図４（ａ）の対応判定部１６０は、図８に示す様な視差ベクトルと、図９に示す様な視差ベクトルの分布とを算出する（ステップＳ０８）。尚、視差ベクトルは、特徴点対応部１５０が対応付けた第１特徴点から第２特徴点へ向かうベクトルであって、第１特徴点の座標値と第２特徴点の座標値との差分で表される。また、図８は、図５（ａ）と図５（ｂ）を重ねて表示すると共に、図５（ａ）の第１特徴点から図５（ｂ）の第２特徴点へ向かう視差ベクトルを表す。図９は、それぞれの視差ベクトルの始点をΔＸ軸とΔＹ軸とで表される座標の原点に揃えて表示している。
【００４０】
図３のステップＳ０８が実行された後に、図４（ａ）の対応判定部１６０は、視差ベクトルの分布に基づいて、視差ベクトルの始点である第１特徴点と終点である第２特徴点との対応が正しい対応（正対応）であるか誤った対応（誤対応）であるかを判定する（ステップＳ０９）。尚、正対応は、同じ対象物上の同じ点を表す第１特徴点と第２特徴点との対応をいう。
【００４１】
具体的には、対応判定部１６０は、視差ベクトルの分散共分散行列を算出すると共に、算出した分散共分散行列の固有ベクトルと固有値とに基づいて、視差ベクトルが分布から所定値よりも外れているか否かを判定する。次に、対応判定部１６０は、分布から所定値よりも外れている視差ベクトル（以下、誤対応の視差ベクトルという）の始点である第１特徴点と終点である第２特徴点との対応を誤対応と判定する。
【００４２】
その後、図４（ａ）の誤対応除去部１７０は、誤対応の視差ベクトルを、視差ベクトルの分布から除去する（ステップＳ１０）。つまり、画像処理装置１００は、誤対応と判定された第１特徴点と第２特徴点とを、以降の処理に用いない。
【００４３】
次に、立体画像生成部１８０は、誤対応の視差ベクトルが除去された分布に属する（つまり、正対応と判定された）視差ベクトルに基づいて、対象物の立体画像を生成する（ステップＳ１１）。この構成によれば、正対応であると判定した特徴点を用いて算出された視差ベクトルに基づいて対象物を表す立体画像を生成するため、精度良く立体画像を生成できる。
【００４４】
その後、立体画像表示制御部１９０は、対象物の立体画像を表示するよう図１のＬＣＤ１００ｈを制御する（ステップＳ１２）。次に、立体画像保存部１９５は、立体画像を表す立体画像データを、図１のハードディスク１００ｄへ保存する（ステップＳ１３）。その後、画像処理装置１００は、処理の実行を終了する。
【００４５】
これらの構成によれば、相対位置特徴量の差異に基づいて異なる画像間の特徴点を対応させるため、画像間で対象物の大きさ（スケール）が所定の範囲内で全体的に又は部分的に異なる場合、又は画像間で対象物の向きが所定の範囲内で全体的に又は部分的に異なる場合でも、異なる画像間の特徴点を精度良く対応付けることができる。また、画像間でオクルージョンが変化した場合、又は片方の画像にノイズがある、若しくは画像間で異なるノイズがある場合でも、異なる画像間の特徴点を精度良く対応付けることができる。つまり、第１画像及び第２画像を撮影するカメラの移動、カメラの移動によるオクルージョンの変化、及び第１画像と第２画像とにおけるノイズの相違に対してロバスト性が高い特徴点の照合を行うことができる。このため、画像処理装置１００は、対象物を表す第１画像及び第２画像を用いて対象物の立体画像を精度の良く生成できる。
【００４６】
＜第２実施形態＞
次に、第２実施形態について説明を行う。
第２実施形態に係る画像処理装置２００は、第１画像を基準として第２画像が対象物をどの程度だけ回転させて表すかによって投票箱１３３ａが有する投票領域の広さを変更する。尚、第１実施形態と共通する部分については詳細な説明を省略する。
【００４７】
画像処理装置２００は、図１０に示す様な立体画像生成処理を実行することで、図１１に示す様な、画像取得部２１０、特徴点抽出部２２０、相対位置特徴量算出部２３０、費用表作成部２４０、特徴点対応部２５０、対応判定部２６０、範囲変更部２６５、誤対応除去部２７０、立体画像生成部２８０、立体画像表示制御部２９０、及び立体画像保存部２９５として機能する。
【００４８】
図１０の画像取得部２１０、特徴点抽出部２２０、相対位置特徴量算出部２３０、費用表作成部２４０、特徴点対応部２５０、及び対応判定部２６０は、図３のステップＳ０１からＳ０９と同様の処理を実行する（ステップＳ３１からＳ３９）。
【００４９】
ステップＳ３９が実行された後に、範囲変更部２６５は、ステップＳ３９で誤対応であると判定された対応の数が所定値を超えたため、所定の精度で立体画像を生成するためには、投票箱１３３ａの投票領域の範囲を再設定する必要があると判定する（ステップＳ４０；Ｙｅｓ）。
【００５０】
次に、範囲変更部２６５は、投票箱１３３ａの投票領域を、誤対応の数に基づいて既に設定したよりも広く再設定する（ステップＳ４１）。具体的には、範囲変更部２６５は、誤対応の数が多くなる程、投票箱１３３ａの分割数を減らすことで、投票領域の角度範囲を既定よりも広く設定する。この構成によれば、第１画像と第２画像とで対象物を表す方向の差異が既定よりも大きい場合でも、第１特徴点と第２特徴点とを対応付けることができる。
【００５１】
次に、図１１の相対位置特徴量算出部２３０は、再設定された投票箱１３３ａを用いて、図６のステップ２５及びＳ２６と同様の処理を実行することで、第１相対位置特徴量及び第２相対位置特徴量を再算出する（ステップＳ４２）。
【００５２】
その後、費用表作成部２４０は、再算出された第１相対位置特徴量及び第２相対位置特徴量に対して、図３のステップＳ０６と同様の処理を実行することで、照合コスト表を再作成する（ステップＳ３６）。次に、特徴点対応部２５０は、再作成された照合コスト表を用いて、図３のステップＳ０７と同様の処理を実行することで第１特徴点と第２特徴点とを再度対応付ける（ステップＳ３７）。
【００５３】
次に、対応判定部２６０は、ステップＳ０８と同様の処理を実行することで、再度対応付けられた第１特徴点と第２特徴点との視差ベクトルの分布を再算出し（ステップＳ３８）、ステップＳ０９と同様の処理を実行することで、再算出された視差ベクトルの分布から誤対応を判定する（ステップＳ３９）。その後、範囲変更部２６５は、誤対応と判定された対応の数が所定値を超えないため、投票箱１３３ａを再設定する必要がないと判定する（ステップＳ４０；Ｎｏ）。
【００５４】
次に、誤対応除去部２７０、立体画像生成部２８０、立体画像表示制御部２９０、及び立体画像保存部２９５は、再算出された視差ベクトルを用いて、図３のステップＳ１０からＳ１３と同様の処理を順に実行する（ステップＳ４３からＳ４６）。その後、画像処理装置２００は、処理の実行を終了する。
【００５５】
また、第２実施形態において、範囲変更部２６５は、投票箱１３３ａの分割数を減らすことで、投票領域の角度範囲を変更前よりも広く設定するとして説明した。しかし、範囲変更部２６５は、投票領域同士を一部重複させることで、投票領域の角度範囲を変更前よりも広く設定する構成を採用できる。例えば、範囲変更部２６５は、投票領域同士が互いに接する境界線から所定の距離までの境界部分において、投票領域が重なり合う様に設定し直す構成を採用できる。境界部分に投票される点を、境界に接する投票領域の双方が得票する様にするためである。また、範囲変更部２６５は、誤対応と判定された対応の数が増える程、投票領域が重なり合う境界部分を拡大させる構成を採用できる。
【００５６】
第２実施形態において、範囲変更部２６５は、誤対応の数に基づいて投票箱１３３ａを再設定する必要があるか否かを判断するとして説明した。しかし、範囲変更部２６５は、対応判定部２６０が算出した視差ベクトルの分散共分散行列の固有値及び固有ベクトルに基づいて視差ベクトルの分布の広がりを判断すると共に、視差ベクトルの分布の広がりが所定よりも広い場合に、投票箱１３３ａを再設定する必要があると判断する構成を採用できる。また、範囲変更部２６５は、視差ベクトルの分布の広がりが広い程、投票領域の角度範囲を既定よりも広く設定する又は投票領域同士を重複させる領域を広く設定する構成を採用できる。視差ベクトルの分布の広がりが広い程、第２画像は、第１画像に比べて対象物を回転させて表示するためである。
【００５７】
尚、本発明に係る機能を実現するための構成を予め備えた画処理信装置として提供できることはもとより、プログラムの適用により、既存の画像処理装置を本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１００による各機能構成を実現させるための画像処理プログラムを、既存の画像処理装置を制御するコンピュータ（ＣＰＵなど）が実行できる様に適用することで、本発明に係る画像処理装置１００として機能させることができる。また、本発明に係る画像処理方法は、上記実施形態で例示した画像処理装置１００を用いて実施できる。
【００５８】
この様プログラムの配布方法は任意であり、例えば、メモリカード、ＣＤ−ＲＯＭ、又はＤＶＤ−ＲＯＭなどの記録媒体に格納して配布できる他、インターネットなどの通信媒体を介して配布することもできる。
【００５９】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００６０】
１００，２００・・・画像処理装置、１００ａ・・・ＣＰＵ、１００ｂ・・・ＲＯＭ、１００ｃ・・・ＲＡＭ、１００ｄ・・・ハードディスク、１００ｅ・・・メディアコントローラ、１００ｆ・・・ＬＡＮカード、１００ｇ・・・ビデオカード、１００ｈ・・・ＬＣＤ、１００ｉ・・・キーボード、１１０，２１０・・・画像取得部、１２０，２２０・・・特徴点抽出部、１３０，２３０・・・相対位置特徴量算出部、１３１・・・相対距離算出部、１３２・・・距離正規化係数算出部、１３３・・・投票箱設定部、１３３ａ・・投票箱、１３４・・・角度算出部、１３５・・・投票部、１３６・・・集計部、１４０，２４０・・・費用表作成部、１５０，２５０・・・特徴点対応部、１６０，２６０・・・対応判定部、１７０，２７０・・・誤対応除去部、１８０，２８０・・・立体画像生成部、１９０，２９０・・・立体画像表示制御部、１９５，２９５・・・立体画像保存部、２６５・・・範囲変更部
【特許請求の範囲】
【請求項１】
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１相対位置特徴量は、前記第１特徴点との相対距離が前記距離範囲に属し、かつ前記第１特徴点からの角度が所定の角度範囲に属する他の前記第１特徴点の数で、前記第１特徴点を特徴付け、
前記第２相対位置特徴量は、前記第２特徴点との相対距離が前記距離範囲に属し、かつ前記第２特徴点からの角度が所定の角度範囲に属する他の前記第２特徴点の数で、前記第２特徴点を特徴付ける、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とで算出される視差ベクトルの分散共分散行列を算出すると共に、算出した前記分散共分散行列の固有ベクトルと固有値とに基づいて、前記第１特徴点と前記第２特徴点との対応が正対応であるか誤対応であるかを判定する対応判定手段を、さらに備え、
前記立体画像生成手段は、前記対応判定手段が正対応であると判定した前記第１特徴点と前記第２特徴点とを用いて算出された前記視差ベクトルに基づいて、前記対象物を表す前記立体画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対応判定手段が誤対応であると判定した対応の数に基づいて、前記角度範囲を変更する範囲変更手段をさらに備え、
前記相対位置特徴量算出手段は、前記範囲変更手段が変更した前記角度範囲を用いて、前記第１相対位置特徴量と前記第２相対位置特徴量とを再度算出し、
前記特徴点対応手段は、前記特徴点対応手段が再度算出した前記第１相対位置特徴量と前記第２相対位置特徴量とを用いて、前記第１特徴点と前記第２特徴点とを再度対応させ、
前記立体画像生成手段は、前記特徴点対応手段が再度対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す前記立体画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記対応判定手段が算出した前記分散共分散行列の前記固有ベクトルと前記固有値とに基づいて、前記角度範囲を変更する範囲変更手段をさらに備え、
前記相対位置特徴量算出手段は、前記範囲変更手段が変更した前記角度範囲を用いて前記第１相対位置特徴量と前記第２相対位置特徴量とを再算出し、
前記特徴点対応手段は、前記特徴点対応手段が再算出した前記第１相対位置特徴量と前記第２相対位置特徴量とを用いて、前記第１特徴点と前記第２特徴点とを再対応させ、
前記立体画像生成手段は、前記特徴点対応手段が再対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す前記立体画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記相対位置特徴量算出手段は、前記第２特徴点毎に前記第２相対位置特徴量を算出し、
前記特徴点対応手段は、前記第１特徴点を特徴付ける前記第１相対位置特徴量と最も近似している前記第２相対位置特徴量で特徴付けられる前記第２特徴点を、前記第１特徴点に対して対応付けることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
コンピュータを、
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、
して機能させることを特徴とする画像処理プログラム。
【請求項８】
コンピュータが、対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出ステップと、
前記コンピュータが、前記特徴点抽出ステップで抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出ステップと、
前記コンピュータが、前記相対位置特徴量算出ステップで算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応ステップと、
前記コンピュータが、前記特徴点対応ステップで対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成ステップと、
を有することを特徴とする画像処理方法。
【請求項１】
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１相対位置特徴量は、前記第１特徴点との相対距離が前記距離範囲に属し、かつ前記第１特徴点からの角度が所定の角度範囲に属する他の前記第１特徴点の数で、前記第１特徴点を特徴付け、
前記第２相対位置特徴量は、前記第２特徴点との相対距離が前記距離範囲に属し、かつ前記第２特徴点からの角度が所定の角度範囲に属する他の前記第２特徴点の数で、前記第２特徴点を特徴付ける、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とで算出される視差ベクトルの分散共分散行列を算出すると共に、算出した前記分散共分散行列の固有ベクトルと固有値とに基づいて、前記第１特徴点と前記第２特徴点との対応が正対応であるか誤対応であるかを判定する対応判定手段を、さらに備え、
前記立体画像生成手段は、前記対応判定手段が正対応であると判定した前記第１特徴点と前記第２特徴点とを用いて算出された前記視差ベクトルに基づいて、前記対象物を表す前記立体画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対応判定手段が誤対応であると判定した対応の数に基づいて、前記角度範囲を変更する範囲変更手段をさらに備え、
前記相対位置特徴量算出手段は、前記範囲変更手段が変更した前記角度範囲を用いて、前記第１相対位置特徴量と前記第２相対位置特徴量とを再度算出し、
前記特徴点対応手段は、前記特徴点対応手段が再度算出した前記第１相対位置特徴量と前記第２相対位置特徴量とを用いて、前記第１特徴点と前記第２特徴点とを再度対応させ、
前記立体画像生成手段は、前記特徴点対応手段が再度対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す前記立体画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記対応判定手段が算出した前記分散共分散行列の前記固有ベクトルと前記固有値とに基づいて、前記角度範囲を変更する範囲変更手段をさらに備え、
前記相対位置特徴量算出手段は、前記範囲変更手段が変更した前記角度範囲を用いて前記第１相対位置特徴量と前記第２相対位置特徴量とを再算出し、
前記特徴点対応手段は、前記特徴点対応手段が再算出した前記第１相対位置特徴量と前記第２相対位置特徴量とを用いて、前記第１特徴点と前記第２特徴点とを再対応させ、
前記立体画像生成手段は、前記特徴点対応手段が再対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す前記立体画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記相対位置特徴量算出手段は、前記第２特徴点毎に前記第２相対位置特徴量を算出し、
前記特徴点対応手段は、前記第１特徴点を特徴付ける前記第１相対位置特徴量と最も近似している前記第２相対位置特徴量で特徴付けられる前記第２特徴点を、前記第１特徴点に対して対応付けることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
コンピュータを、
対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得手段と、
前記画像取得手段が取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出手段と、
前記特徴点抽出手段が抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出手段と、
前記相対位置特徴量算出手段が算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応手段と、
前記特徴点対応手段が対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成手段と、
して機能させることを特徴とする画像処理プログラム。
【請求項８】
コンピュータが、対象物を表す第１画像と、前記第１画像と異なる方向から前記対象物を表す第２画像とを取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した前記第１画像を特徴付ける複数の第１特徴点を前記第１画像から抽出すると共に、前記第２画像を特徴付ける複数の第２特徴点を前記第２画像から抽出する特徴点抽出ステップと、
前記コンピュータが、前記特徴点抽出ステップで抽出した前記第１特徴点との相対距離が所定の距離範囲に属する他の前記第１特徴点の数で前記第１特徴点を特徴付ける第１相対位置特徴量と、前記第２特徴点との相対距離が前記距離範囲に属する他の前記第２特徴点の数で前記第２特徴点を特徴付ける第２相対位置特徴量とを算出する相対位置特徴量算出ステップと、
前記コンピュータが、前記相対位置特徴量算出ステップで算出した前記第１相対位置特徴量と前記第２相対位置特徴量との差異に基づいて、前記第１相対位置特徴量で特徴付けられる前記第１特徴点と、前記第２相対位置特徴量で特徴付けられる前記第２特徴点とを対応させる特徴点対応ステップと、
前記コンピュータが、前記特徴点対応ステップで対応させた前記第１特徴点と前記第２特徴点とを用いて、前記対象物を表す立体画像を生成する立体画像生成ステップと、
を有することを特徴とする画像処理方法。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【公開番号】特開２０１１−１６３９００（Ｐ２０１１−１６３９００Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２６５７４（Ｐ２０１０−２６５７４）
【出願日】平成２２年２月９日（２０１０．２．９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月９日（２０１０．２．９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]