三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
【課題】ズーム機能を用いた場合であっても、精度よく三次元モデルを作成する。
【解決手段】画像取得部１１は、ペア画像を取得する。特徴点対応抽出部１２Ｂは、画像取得部１１が取得したペア画像のそれぞれの画像から、特徴点対応の組を抽出する。誤対応除去部１２Ｃは、特徴点対応抽出部１２Ｂによって抽出された特徴点対応の組において、垂直座標の差が所定値以上ある組を誤対応として除去する。第１補正部１２Ｄは、誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、画像取得部１１が取得したペア画像を、三次元モデル作成に適した画像に補正する。三次元モデル生成部１３は、画像取得部１１が取得し、画像補正部１２が補正したペア画像から、被写体の三次元モデルを生成する。
【解決手段】画像取得部１１は、ペア画像を取得する。特徴点対応抽出部１２Ｂは、画像取得部１１が取得したペア画像のそれぞれの画像から、特徴点対応の組を抽出する。誤対応除去部１２Ｃは、特徴点対応抽出部１２Ｂによって抽出された特徴点対応の組において、垂直座標の差が所定値以上ある組を誤対応として除去する。第１補正部１２Ｄは、誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、画像取得部１１が取得したペア画像を、三次元モデル作成に適した画像に補正する。三次元モデル生成部１３は、画像取得部１１が取得し、画像補正部１２が補正したペア画像から、被写体の三次元モデルを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を適切に三次元モデリングするための三次元モデリング装置、三次元モデリング方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
人間、動物、あるいは、美術品などの被写体を右眼用撮像部と左目用撮像部とを備えるステレオカメラを用いて撮像し、撮像により得られたステレオ画像（右眼用画像と左眼用画像）から、被写体の三次元モデルを構築する技術が知られている。
【０００３】
また、カメラのズーム機能を使用して撮像したステレオ画像から三次元モデルを構築することを可能にした技術についても開示されている。
【０００４】
例えば、特許文献１に記載の発明では、ズーム位置毎に、予め測定した補正用データ（カメラ情報）をテーブルに格納しておく。そして、ステレオ画像を撮像した際に、撮像制御部から当該撮像したズーム位置を特定する。そして、特定したズーム位置に対応した補正用データをテーブルから取得し、取得した補正データに基づいて、ステレオ画像の歪み補正と平行化とを行うことで、ズーム機能を使用して撮像されたステレオ画像から三次元モデルを作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４１４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ステレオカメラの左右の撮像部は、経年劣化や機械的な「遊び」による影響により、焦点距離等の内部パラメータに誤差が生じることが多い。このような誤差が生じている場合は、特許文献１に記載の発明のようにズーム位置毎に記憶された補正データを用いて、ステレオ画像の歪み補正と平行化とを行ったとしても、左右画像でエピ極線の高さが異なるため、作成される三次元モデルの精度が低下してしまうという問題があった。
【０００７】
また、特許文献１に記載の発明では、ズームさせるためにカメラのレンズ位置を移動させるモータ等の駆動装置にばらつきがあるため、ズーム位置毎の補正データの測定を細かいステップで事前に行なう必要がある。従って、測定に多大な時間がかかり製品の生産性が低下するという問題があった。
【０００８】
本発明は上記実情に鑑みてなされたものであり、ズーム機能を用いた場合であっても、精度よく三次元モデルを作成することができる三次元モデリング装置、三次元モデリング方法、ならびに、プログラムを提供することを目的とする。
また、ズーム位置毎の補正データの測定にかかる時間を短縮することができる三次元モデリング装置、三次元モデリング方法、ならびに、プログラムを提供することを他の目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明の三次元モデリング装置は、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正手段と、
前記第１画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ズーム機能を用いた場合であっても、精度よく三次元モデルを作成することができる。また、ズーム位置毎の補正データの測定にかかる時間を短縮することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るステレオカメラの外観構成を示す図であり、（Ａ）は、前面側を示し、（Ｂ）は背面側を示す。
【図２】本実施形態のステレオカメラの電気的構成を示すブロック図である。
【図３】本実施形態のステレオカメラにおいて、ステレオ撮影モードに係る主要な機能構成を示すブロック図である。
【図４】本実施形態における３次元モデリング処理の手順を示すフローチャートである。
【図５】本実施形態における画像補正処理の手順を示すフローチャートである。
【図６】本実施形態における画像の補正について説明するための図であり、（Ａ）は誤対応除去前の画像を示し、（Ｂ）は誤対応除去後の画像を示す。
【図７】本実施形態における三次元モデル生成処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。本実施形態では、本発明をデジタル式のステレオカメラに適用した例を示す。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。
【００１３】
図１（Ａ）、（Ｂ）は、本実施形態に係るステレオカメラ１の外観図である。図１（Ａ）に示すように、このステレオカメラ１の前面には、レンズ１１１Ａと、レンズ１１１Ｂと、ストロボ発光部４００と、が設けられ、上面には、シャッタボタン３３１が設けられている。レンズ１１１Ａとレンズ１１１Ｂは、シャッタボタン３３１が上になる方向で、ステレオカメラ１を水平にした場合に、各々の中心位置が水平方向で同一線上となるように、所定の間隔を隔てて配置されている。ストロボ発光部４００は、必要に応じて被写体に向けてストロボ光を照射する。シャッタボタン３３１は、ユーザからのシャッタ動作指示を受け付けるためのボタンである。
【００１４】
ステレオカメラ１の背面には、図１（Ｂ）に示すように、表示部３１０と、操作キー３３２と、電源ボタン３３３と、ズームボタン３３４と、が設けられている。表示部３１０は、例えば、液晶表示装置等から構成され、ステレオカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示するための電子ビューファインダとして機能する。
【００１５】
操作キー３３２は、十字キーや決定キー等を含み、モード切替や表示切替等、ユーザからの各種の操作を受け付ける。電源ボタン３３３は、ステレオカメラ１の電源のオン・オフをユーザから受け付けるためのボタンである。
【００１６】
ズームボタン３３４は、ステレオカメラ１のズーム機能を動作させるためのボタンである。ズームボタン３３４を押下することで、第１撮像部１００Ａと第２撮像部１００Ｂとの撮像倍率が同時に変更される。
【００１７】
図２は、ステレオカメラ１の電気的構成を示すブロック図である。図２に示すように、ステレオカメラ１は、第１撮像部１００Ａと、第２撮像部１００Ｂと、データ処理部２００と、Ｉ／Ｆ部３００と、ストロボ発光部４００と、を備える。
【００１８】
第１撮像部１００Ａ及び第２撮像部１００Ｂは、それぞれ被写体を撮像する機能を担う部分である。ステレオカメラ１は、いわゆる複眼カメラであり、このように２つの撮像部を有する構成であるが、第１撮像部１００Ａと第２撮像部１００Ｂは同一の構成である。以下、第１撮像部１００Ａについての構成には参照符号の末尾に「Ａ」を付し、第２撮像部１００Ｂについての構成には参照符号の末尾に「Ｂ」を付す。
【００１９】
図２に示すように、第１撮像部１００Ａ（第２撮像部１００Ｂ）は、光学装置１１０Ａ（１１０Ｂ）、イメージセンサ部１２０Ａ（１２０Ｂ）、及び、レンズ駆動部１３０Ａ（１３０Ｂ）等から構成されている。光学装置１１０Ａ（１１０Ｂ）は、例えば、可動可能なレンズ、絞り機構、シャッタ機構、等を含み、撮像に係る光学的動作を行う。即ち、光学装置１１０Ａ（１１０Ｂ）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピード等といった、画角やピント、露出等にかかる光学的要素の調整がなされる。
【００２０】
なお、光学装置１１０Ａ（１１０Ｂ）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０Ａ（１１０Ｂ）にシャッタ機構が含まれていなくてもよい。また、光学装置１１０Ａ（１１０Ｂ）は、後述する制御部２１０による制御によって動作する。
【００２１】
イメージセンサ部１２０Ａ（１２０Ｂ）は、光学装置１１０Ａ（１１０Ｂ）によって集光された入射光に応じた電気信号を生成する。イメージセンサ部１２０Ａ（１２０Ｂ）は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）等のイメージセンサから構成され、光電変換を行うことで、受光した光の強度に応じた電気信号を生成し、生成した電気信号をデータ処理部２００に出力する。
【００２２】
レンズ駆動部１３０Ａ（１３０Ｂ）は、ステッピングモータやアクチュエータなどから構成され、制御部２１０の指示に基づいて、光学装置１１０Ａ（１１０Ｂ）のレンズを図１の紙面に垂直方向に移動させる。レンズが移動することにより被写体の撮像倍率が変化し、ズーム機能が達成される。なお、本実施形態では、両レンズ駆動部１３０Ａ，１３０Ｂはほぼ同時に駆動制御され、ズーム機能を用いても、第１撮像部と第２撮像部の撮像倍率は同一に制御される。しかし、実際には、レンズ駆動部１３０Ａ，１３０Ｂの経年劣化や機械的な「遊び」の影響により、ズーム機能を用いた場合、第１撮像部と第２撮像部の撮像倍率に誤差が生じている可能性が高い。
【００２３】
なお、上述したように、第１撮像部１００Ａと第２撮像部１００Ｂとは同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積等の各仕様が全て同一である。第１撮像部１００Ａと第２撮像部１００Ｂとを同時に動作させた場合、同一被写体について２つの画像（ペア画像）が撮像されるが、光軸位置は横方向で異なっている。
【００２４】
データ処理部２００は、第１撮像部１００Ａ及び第２撮像部１００Ｂによる撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成すると共に、撮像画像に対する画像処理等を行う。データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、カメラ情報記憶部２７０等から構成される。
【００２５】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＡＭ（Random Access Memory）等の主記憶装置等から構成され、記憶部２５０等に格納されているプログラムを実行することで、ステレオカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する三次元モデリング処理等にかかる機能が制御部２１０によって実現する。
【００２６】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）等から構成され、イメージセンサ部１２０Ａ及び１２０Ｂによって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。即ち、イメージセンサ部１２０Ａ（１２０Ｂ）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンが、いわゆる現像処理等を行うことで、画質の調整やデータ圧縮等を行う。
【００２７】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリ等の記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データ等を一時的に保存する。
【００２８】
画像出力部２４０は、例えば、ＲＧＢ信号を生成する回路等から構成され、画像メモリ２３０に格納された画像データをＲＧＢ信号等に変換して表示画面（表示部３１０等）に出力する。
【００２９】
記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の記憶装置から構成され、ステレオカメラ１の動作に必要なプログラムやデータ等を格納する。本実施形態では、制御部２１０等が実行する動作プログラムや、その実行時に必要となるパラメータや演算式等のデータが記憶部２５０に格納されているものとする。
【００３０】
外部記憶部２６０は、例えば、メモリカード等といった、ステレオカメラ１に着脱可能な記憶装置から構成され、ステレオカメラ１で撮像した画像データ、三次元モデルデータ等を格納する。
【００３１】
カメラ情報記憶部２７０には、第１撮像部１００Ａおよび第２撮像部１００Ｂが撮像したペア画像から三次元モデルを作成するために必要な情報（カメラ情報）が格納されている。
カメラ情報は、具体的には、第１撮像部１００Ａおよび第２撮像部１００Ｂそれぞれの解像度、画角、フォーカス距離、焦点距離係数、画像の角度係数、レンズの歪み係数等の情報である。なお、カメラ情報のうち、第１撮像部１００Ａ（第２撮像部１００Ｂ）のズーム状態に応じて変化する情報（焦点距離係数、画像の角度係数、レンズの歪み係数等）については、複数のズーム状態毎に、対応した情報がカメラ情報記憶部２７０に複数格納される。また、カメラ情報は、工場出荷時の初期調整時に、校正パターンなどを用いた既存のカメラキャリブレーションの手法を用いて計測し、事前にカメラ情報記憶部２７０に格納すればよい。
【００３２】
Ｉ／Ｆ部３００は、ステレオカメラ１と、ユーザあるいは外部装置との間のインタフェースに係る機能を担う処理部であり、表示部３１０、外部Ｉ／Ｆ部３２０、操作部３３０等から構成される。
【００３３】
表示部３１０は、上述したように、例えば、液晶表示装置等から構成され、ユーザがステレオカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）等に基づいて撮像画像等の表示出力が行われる。
【００３４】
外部Ｉ／Ｆ部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子等から構成され、外部のコンピュータ装置への画像データの出力や外部モニタ装置への撮像画像の表示出力等を行う。
【００３５】
操作部３３０は、ステレオカメラ１の外面上に設けられている各種ボタン等によって構成され、ユーザによる操作に応じた入力信号を生成して制御部２１０に送出する。操作部３３０を構成するボタンには、上述したように、シャッタボタン３３１、操作キー３３２、電源ボタン３３３、ズームボタン３３４等が含まれる。
【００３６】
ストロボ発光部４００は、例えば、キセノンランプ（キセノンフラッシュ）により構成される。ストロボ発光部４００は、制御部２１０の制御に従って被写体にストロボ光を照射する。
【００３７】
以上、本発明を実現するために必要となるステレオカメラ１の構成について説明したが、ステレオカメラ１は、このほかにも、一般的なステレオカメラの機能を実現するための構成を備えているものとする。
【００３８】
続いて、ステレオカメラ１の動作の内、ステレオ撮影モードに係る動作について説明する。
【００３９】
図３は、ステレオカメラ１における、ステレオ撮影モードに係る動作を実現するための主要な機能構成を示すブロック図である。図３に示すように、ステレオカメラ１は、機能的に、画像取得部１１と、画像補正部１２と、三次元モデル生成部１３と、を備える。なお、これらの各部は、例えば、制御部２１０により構成される。
【００４０】
画像取得部１１は、第１撮像部１００Ａおよび第２撮像部１００Ｂが同一被写体を異なる角度から撮像した画像のペア（以下、ペア画像とする）を取得する。なお、この際、画像取得部１１は、ペア画像とともに、当該ペア画像を撮像した際の第１撮像部１００Ａおよび第２撮像部１００Ｂのズーム状態を示すズーム制御情報を取得する。
【００４１】
画像補正部１２は、三次元モデル作成に適した画像になるように画像取得部１１が取得したペア画像を補正する。画像補正部１２は、図３に示すように、第２補正部１２Ａと、特徴点対応抽出部１２Ｂと、誤対応除去部１２Ｃと、第１補正部１２Ｄとを備える。
【００４２】
第２補正部１２Ａは、ズーム制御情報に基づいて、ペア画像を構成する各画像のレンズ歪みを補正する処理、及び、各画像間で画像上の対応する点が同一の水平ラインに並ぶように補正する平行化処理を行う。
【００４３】
特徴点対応抽出部１２Ｂは、第２補正部１２Ａが補正したペア画像の各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組（ペア画像の画像間で対応する特徴点の組）を抽出する。
【００４４】
誤対応除去部１２Ｃは、特徴点対応抽出部１２Ｂによって抽出された特徴点対応の組において、垂直座標の差が所定値以上ある組を誤対応として除去する。
【００４５】
第１補正部１２Ｄは、誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、第２補正部１２Ａが補正したペア画像を、三次元モデル作成に適した画像に補正する。
【００４６】
三次元モデル生成部１３は、画像取得部１１が取得し、画像補正部１２が補正したペア画像から、被写体の三次元モデルを生成する。
【００４７】
続いて、図４に示すフローチャートを用いて、ステレオ撮影モードに係る動作時の処理（三次元モデリング処理）について説明する。三次元モデリング処理は、ユーザが、操作キー３３２等の操作部３３０を操作することで、ステレオ撮影モードが選択されたことを契機に開始される。
【００４８】
三次元モデリング処理が開始されると、まず、制御部２１０は、終了イベントが発生したか否かを判定する（ステップＳ１０１）。終了イベントは、例えば、ユーザにより、再生モード等へのモード移行操作が行われた場合や、ステレオカメラ１の電源がオフされた場合等に発生する。
【００４９】
終了イベントが発生している場合（ステップＳ１０１；Ｙｅｓ）、三次元モデリング処理は終了する。一方、終了イベントが発生していない場合（ステップＳ１０１；Ｎｏ）、制御部２１０は、一方の撮像部（例えば、第１撮像部１００Ａ）を介して得られた画像データに基づく画像（いわゆる、ライブビュー画像）を表示部３１０に表示させる（ステップＳ１０２）。
【００５０】
続いて、制御部２１０は、ズームボタン３３４が押下されているか否かを判定する（ステップＳ１０３）。ズームボタン３３４が押下されていない場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０５に処理は移る。
【００５１】
一方、ズームボタン３３４が押下されている場合（ステップＳ１０３；Ｙｅｓ）、制御部２１０は、被写体を撮像する第１撮像部１００Ａ及び第２撮像部１００Ｂのズーム状態（撮像倍率）を変化させる（ステップＳ１０４）。具体的には、制御部２１０は、両レンズ駆動部１３０Ａ，１３０Ｂを制御して、光学装置１１０Ａ，１１０Ｂのレンズ位置を、ズームボタン３３４の押下時間や押下位置に応じて移動させることでズーム状態を変化させる。なお、ズーム状態の変化に応じて、表示部に表示されるライブビュー画像のズーム状態も適宜変化する。
【００５２】
続いて、制御部２１０は、シャッタボタン３３１が押下されているか否かを判定する（ステップＳ１０５）。シャッタボタン３３１が押下されていない場合（ステップＳ１０５；Ｎｏ）、制御部２１０は、再度、ステップＳ１０１の処理を実行する。一方、シャッタボタン３３１が押下されている場合（ステップＳ１０５；Ｙｅｓ）、制御部２１０は、第１撮像部１００Ａ、第２撮像部１００Ｂ、及び、画像処理部２２０を制御して、被写体を撮像する（ステップＳ１０６）。
【００５３】
続いて、制御部２１０（画像取得部１１）は、第１撮像部１００Ａ及び第２撮像部１００Ｂが撮像した２枚のステレオ画像（ペア画像）を、画像メモリ２３０に保存する（ステップＳ１０７）。なお、この際、制御部２１０は、両レンズ駆動部１３０Ａ，１３０Ｂから撮像時のズーム状態を示すズーム制御情報を取得し、画像メモリ２３０又は記憶部２５０に記憶する。例えば、レンズ駆動部１３０Ａ，１３０Ｂがステッピングモータから構成される場合、制御部２１０は、ステッピングモータのステップ数を示す情報をズーム制御情報として取得して保存すればよい。なお、以降の説明において、ペア画像の内、第１撮像部１００Ａによる撮像の結果得られた画像を画像Ａ０、第２撮像部１００Ｂによる撮像の結果得られた画像を画像Ｂ０とする。
【００５４】
続いて、制御部２１０（画像補正部１２）は、画像メモリ２３０に保存したペア画像を、三次元モデル作成に適した画像に補正する画像補正処理を実行する（ステップＳ１０８）。
【００５５】
ここで、画像補正処理の詳細について、図５のフローチャートを参照して説明する。
【００５６】
まず、制御部２１０（第２補正部１２Ａ）は、ペア画像とともに格納したズーム制御情報に基づいて、レンズ歪みの補正、および、平行化処理を行う（ステップＳ２０１）。
具体的には、まず、制御部２１０は、レンズ歪み補正と平行化に必要なカメラ情報をカメラ情報記憶部２７０から取得する。この際、ズーム制御情報に応じて変化するカメラ情報については、ペア画像とともに保存したズーム制御情報に対応したカメラ情報を取得する。なお、ズーム制御情報に対応したカメラ情報がカメラ情報記憶部２７０に記憶されていない場合は、近傍のズーム制御情報で対応するカメラ情報が記憶されている場合はそのカメラ情報を代用して取得する。または、近傍の対応するカメラ情報が存在する複数のズーム制御情報を参照し、実際のズーム制御情報との関係から重みを付けてカメラ情報を線形補間することで精度の良いカメラ情報を取得してもよい。そして、制御部２１０は、このようにして取得したカメラ情報を用いてレンズ歪み補正と平行化処理とを行えばよい。なお、本処理を行った結果、ペア画像（画像Ａ０、画像Ｂ０）が、ペア画像（画像Ａ１、画像Ｂ１）に補正されたものとして以下説明する。
【００５７】
ここで、ステップＳ２０１の処理により、レンズ歪み補正、および、平行化がなされたペア画像（画像Ａ１、画像Ｂ１）の例を図６（Ａ）に示す。この段階では、両レンズ駆動部１３０Ａ，１３０Ｂの経年劣化や機械的な遊びの影響により、ペア画像の平行化がなされていても、画像Ａ１と画像Ｂ１との間で、対応する点同士の破線で示すエピ極線の高さにずれが発生している。
【００５８】
図５に戻り、続いて、制御部２１０（特徴点対応抽出部１２Ｂ）は、レンズ歪み補正及び平行化処理がなされたペア画像の各々から、特徴点を取得する（ステップＳ２０２）。
例えば、制御部２１０は、画像のスケール変化にロバストな特徴量をもつ特徴点、例えばＳＵＲＦ（Speeded-Up Robust Features）特徴点やＳＩＦＴ（Scale-invariant feature transform）特徴点を特徴点として画像Ａ１、Ｂ１から取得すればよい。
【００５９】
続いて、制御部２１０（特徴点対応抽出部１２Ｂ）は、特徴量マッチングを実行し、画像Ａ１の各特徴点と画像Ｂ１の各特徴点の対応付けから特徴点対応の組を抽出する（ステップＳ２０３）。具体的には、制御部２１０は、特徴量空間で互いに最近傍かつ他に近い距離の特徴点が存在しないものを対応付ける。
【００６０】
続いて、制御部２１０（誤対応除去部１２Ｃ）は、抽出した特徴点対応の組のうち、誤った対応付けがなされている組を除去する（ステップＳ２０４）。
具体的には、制御部２１０は、対応する特徴点の垂直座標の差が所定の閾値以上ある場合に、この特徴点対応の組を除去すればよい。なお、この所定の閾値は、ズーム機構の遊びを考慮に入れた適切な値を事前に実験等により求めて設定すればよい。
【００６１】
続いて制御部２１０（第１補正部１２Ｄ）は、誤対応が除去された特徴点対応の組の垂直座標から、ペア画像（画像Ａ１、画像Ｂ１）を補正（変換）するための係数（補正係数）を求める（ステップＳ２０５）。
具体的には、制御部２１０は、ペア画像の両画像で被写体の表示倍率が略一致し（所定の倍率範囲内に収まり）、且つ、各特徴点と対応点との垂直座標が略一致する（所定値内に収まる）ように、画像Ａ１と画像Ｂ２とが補正（変換）されるような補正係数を、公知の幾何学的手法を用いて求める。
【００６２】
続いて、制御部２１０（第１補正部１２Ｄ）は、求めた補正係数を用いて、画像Ａ１、画像Ｂ１を補正（変換）する（ステップＳ２０６）。なお、この補正処理により、画像Ａ２、画像Ｂ２が生成されたものとする。また、補正された画像Ａ２と画像Ｂ２は、例えば、画像メモリ２３０に記憶される。このステップＳ２０６の処理により、図６（Ｂ）に示すように、画像Ａ２と画像Ｂ２とで、対応する点同士のエピ極線の高さはほぼ一致する。従って、画像Ａ２と画像Ｂ２とから、精度のよい三次元モデルを作成することが可能となる。
勿論、画像Ａ１、画像Ｂ１の代わりに、画像Ａ０、画像Ｂ０から画像Ａ２、画像Ｂ２を生成されるようにしてもよい。一般的には画像変換は２回実行するよりも、１回で済ませるほうが画像の劣化が少ないので、状況によってはこちらの方が望ましい。
【００６３】
図４に戻り、画像補正処理（ステップＳ１０８）が完了すると、制御部２１０（三次元モデル生成部１３）は、画像メモリ２３０に記憶されている補正後のペア画像（画像Ａ２と画像Ｂ２）から三次元モデルを生成する三次元モデル生成処理を実行する（ステップＳ１０９）。
【００６４】
ここで、図７に示すフローチャートを参照して、三次元モデル生成処理について説明する。
【００６５】
まず、制御部２１０は、特徴点の候補を抽出する（ステップＳ３０１）。例えば、制御部２１０は、画像Ａ２に対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
【００６６】
続いて、制御部２１０は、ステップＳ３０１の処理を完了すると、ステレオマッチングを実行し、画像Ａ２の特徴点に対応する点（対応点）を画像Ｂ２から探す（ステップＳ３０２）。具体的には、制御部２１０は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの（相違度が所定閾値以下かつ最小のもの）を対応点とする。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関など、様々な既知の技法が利用可能である。
【００６７】
続いて、制御部２１０は、ステップＳ３０２において見つけられた対応点の視差情報（水平座標の差）、および、第１撮像部１００Ａおよび第２撮像部１００Ｂのカメラ情報（画角、基線長など）に基づいて、特徴点の位置情報を算出する（ステップＳ３０３）。生成された特徴点の位置情報は、例えば、記憶部２５０に記憶される。
【００６８】
続いて、制御部２１０は、ステップＳ３０３において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行する（ステップＳ３０４）。生成されたポリゴン情報は、例えば、記憶部２５０に記憶される。制御部２１０は、ステップＳ３０４の処理を完了すると、三次元モデル生成処理を終了する。
【００６９】
図４に戻り、制御部２１０は、上記の三次元モデル生成処理（ステップＳ１０９）を終了すると、生成した三次元モデルデータを表示する（ステップＳ１１０）。具体的には、制御部２１０は、生成した三次元モデルデータを確認用の二次元データに変換して表示部３１０に表示する。そして、制御部２１０は、三次元モデルデータを外部記憶部２６０等に保存し（ステップＳ１１１）、ステップＳ１０１の処理に戻る。
【００７０】
このように、本実施形態に係るステレオカメラ１によれば、レンズ歪み補正と平行化処理とを行ったペア画像から抽出した特徴点対応の組のうち、誤って対応付けられた組を除去する。そして、除去後の特徴点対応の組の位置関係から、ペア画像の両画像で対応点のエピ極線の高さがほぼ一致するようにペア画像を補正し、当該補正したペア画像から三次元モデルを生成する。従って、ズーム機能を用いて撮像されたペア画像から、精度よく三次元モデルを作成することができる。
【００７１】
また、本実施形態に係るステレオカメラ１では、レンズ歪み補正と平行化処理は、必ずしも精度良く行う必要はない。従って、レンズ歪み補正と平行化処理のために、ズーム状態ごとに測定しておく補正データ（カメラ情報）を、細かい段階で測定して記憶しておく必要がなく、測定時間を短縮することができ、生産効率を向上させることができる。
【００７２】
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００７３】
例えば、上記実施形態では、画像補正処理における誤対応の組の除去（図５のステップＳ２０４）の際、対応する特徴点の垂直座標の差が所定の閾値以上ある組を誤対応であるとして除去した。しかしながら、この条件に加えて、さらに、以下の条件Ａ〜条件Ｃにより誤対応の組を除去してもよい。このようにすることで、より精度よく誤対応の組を除去することが可能となるため、より精度のよい三次元モデルを作成することができる。
【００７４】
（条件Ａ）
オートフォーカス機能などを用いてステレオカメラ１と被写体と間の大まかな距離を求め、求めた距離から画像Ａ１と画像Ｂ１との間の視差のとるべき範囲を求める。そして、対応する特徴点の水平座標から求めた視差がこの範囲内に無い場合に、当該特徴点対応の組を誤対応として除去する。
【００７５】
（条件Ｂ）
画像Ａ１と画像Ｂ１の各々の特徴点対応に対して、周囲の他の特徴点対応の配置を示す情報（例えば、Shape Context）を求める。そして、求めた配置を示す情報間の類似度が所定値以下である場合に、この特徴点対応の組を誤対応として除去する。
【００７６】
（条件Ｃ）
各特徴点対応の組の垂直座標に対し、補正係数の推定をＲＡＮＳＡＣ（RANdom SAmple Consensus）法や最小メジアン法等のロバスト推定法を用いて行い、ノイズ（誤対応の組）を除去する。
【００７７】
また、上記実施形態では、第１撮像部１００Ａと第２撮像部１００Ｂとのズーム機能による撮像倍率は同時に制御されるものとしているが、第１撮像部１００Ａと第２撮像部１００Ｂとで個別に撮像倍率を変化させることができるステレオカメラにも、本発明は適用可能である。
【００７８】
また、カメラ（撮像部）の数は２に限定するものではなく、それ以上の任意の数の撮像部を備えて、２以上の撮像画像から三次元モデルを作成するカメラにも、本発明は適用可能である。
【００７９】
また、画像補正処理において、レンズ歪みの補正、および、平行化処理（ステップＳ２０１）を必ずしも実施する必要は無い。この場合、制御部２１０は、ステレオカメラ１が撮像したペア画像から直接特徴点対応の組を抽出し、誤対応の組を除去した後、エピ極線の高さがほぼ一致するようにペア画像を補正すればよい。
【００８０】
また、既存のステレオカメラ等を本発明に係る三次元モデリング装置として機能させることも可能である。即ち、上述した制御部２１０が実行したようなプログラムを既存のステレオカメラ等に適用し、そのステレオカメラ等のＣＰＵ等が当該プログラムを実行することで、当該ステレオカメラ等を本発明に係る三次元モデリング装置として機能させることができる。
【００８１】
このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
【００８２】
この場合、上述した本発明に係る機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などでは、アプリケーションプログラム部分のみを記録媒体等に格納してもよい。
【００８３】
これまで、本発明のいくつかの実施形態を説明したが、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００８４】
（付記１）
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正手段と、
前記第１画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする三次元モデリング装置。
【００８５】
（付記２）
前記画像取得手段は、
同一被写体を異なる角度から撮像した複数の画像を、該複数の画像を撮像した各撮像装置のズーム状態を示すズーム制御情報とともに取得し、
前記三次元モデリング装置は、
前記画像取得手段が複数の画像とともに取得したズーム制御情報に基づいて、該複数の画像間の平行化及びレンズ歪みの補正を行う第２画像補正手段を更に備え、
前記特徴点対応取得手段は、
前記画像取得手段が取得し、更に前記第２画像補正手段が補正した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得し、
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記第２画像補正手段が補正した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記第２画像補正手段が補正した画像をさらに補正する、
ことを特徴とする付記１に記載の三次元モデリング装置。
【００８６】
（付記３）
前記特徴点対応取得手段は、
前記各々の画像からスケールにロバストな特徴量を持つ特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する、
ことを特徴とする付記１又は２に記載の三次元モデリング装置。
【００８７】
（付記４）
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の組の水平座標に基づいて視差を求め、該視差が所定範囲内に無い場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする付記１乃至３の何れか１つに記載の三次元モデリング装置。
【００８８】
（付記５）
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の各々について、周囲の他の特徴点対応の配置を示す情報を求め、求めた配置を示す情報間の類似度が所定値以下である場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする付記１乃至４の何れか１つに記載の三次元モデリング装置。
【００８９】
（付記６）
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に対して、ＲＡＮＳＡＣ法、又は最小メジアン法によるロバスト推定法を用いて画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるような補正係数求め、該補正係数を用いて前記画像を補正する、
ことを特徴とする付記１乃至５の何れか１つに記載の三次元モデリング装置。
【００９０】
（付記７）
三次元モデリング方法であって、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得ステップと、
前記特徴点対応取得ステップで取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去ステップと、
前記特徴点対応取得ステップで取得され、前記誤対応除去ステップで誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得ステップで取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正ステップと、
前記第１画像補正ステップで補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成ステップと、
を含むことを特徴とする三次元モデリング方法。
【００９１】
（付記８）
コンピュータに、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得機能、
前記画像取得機能が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得機能、
前記特徴点対応取得機能が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去機能、
前記特徴点対応取得機能により取得され、前記誤対応除去機能により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得機能が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正機能、
前記第１画像補正機能が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成機能、
を実現させることを特徴とするプログラム。
【符号の説明】
【００９２】
１…ステレオカメラ、１１…画像取得部、１２…画像補正部、１２Ａ…第２補正部、１２Ｂ…特徴点対応抽出部、１２Ｃ…誤対応除去部、１２Ｄ…第１補正部、１３…三次元モデル生成部
【技術分野】
【０００１】
本発明は、被写体を適切に三次元モデリングするための三次元モデリング装置、三次元モデリング方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
人間、動物、あるいは、美術品などの被写体を右眼用撮像部と左目用撮像部とを備えるステレオカメラを用いて撮像し、撮像により得られたステレオ画像（右眼用画像と左眼用画像）から、被写体の三次元モデルを構築する技術が知られている。
【０００３】
また、カメラのズーム機能を使用して撮像したステレオ画像から三次元モデルを構築することを可能にした技術についても開示されている。
【０００４】
例えば、特許文献１に記載の発明では、ズーム位置毎に、予め測定した補正用データ（カメラ情報）をテーブルに格納しておく。そして、ステレオ画像を撮像した際に、撮像制御部から当該撮像したズーム位置を特定する。そして、特定したズーム位置に対応した補正用データをテーブルから取得し、取得した補正データに基づいて、ステレオ画像の歪み補正と平行化とを行うことで、ズーム機能を使用して撮像されたステレオ画像から三次元モデルを作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４１４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ステレオカメラの左右の撮像部は、経年劣化や機械的な「遊び」による影響により、焦点距離等の内部パラメータに誤差が生じることが多い。このような誤差が生じている場合は、特許文献１に記載の発明のようにズーム位置毎に記憶された補正データを用いて、ステレオ画像の歪み補正と平行化とを行ったとしても、左右画像でエピ極線の高さが異なるため、作成される三次元モデルの精度が低下してしまうという問題があった。
【０００７】
また、特許文献１に記載の発明では、ズームさせるためにカメラのレンズ位置を移動させるモータ等の駆動装置にばらつきがあるため、ズーム位置毎の補正データの測定を細かいステップで事前に行なう必要がある。従って、測定に多大な時間がかかり製品の生産性が低下するという問題があった。
【０００８】
本発明は上記実情に鑑みてなされたものであり、ズーム機能を用いた場合であっても、精度よく三次元モデルを作成することができる三次元モデリング装置、三次元モデリング方法、ならびに、プログラムを提供することを目的とする。
また、ズーム位置毎の補正データの測定にかかる時間を短縮することができる三次元モデリング装置、三次元モデリング方法、ならびに、プログラムを提供することを他の目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明の三次元モデリング装置は、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正手段と、
前記第１画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ズーム機能を用いた場合であっても、精度よく三次元モデルを作成することができる。また、ズーム位置毎の補正データの測定にかかる時間を短縮することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るステレオカメラの外観構成を示す図であり、（Ａ）は、前面側を示し、（Ｂ）は背面側を示す。
【図２】本実施形態のステレオカメラの電気的構成を示すブロック図である。
【図３】本実施形態のステレオカメラにおいて、ステレオ撮影モードに係る主要な機能構成を示すブロック図である。
【図４】本実施形態における３次元モデリング処理の手順を示すフローチャートである。
【図５】本実施形態における画像補正処理の手順を示すフローチャートである。
【図６】本実施形態における画像の補正について説明するための図であり、（Ａ）は誤対応除去前の画像を示し、（Ｂ）は誤対応除去後の画像を示す。
【図７】本実施形態における三次元モデル生成処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。本実施形態では、本発明をデジタル式のステレオカメラに適用した例を示す。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。
【００１３】
図１（Ａ）、（Ｂ）は、本実施形態に係るステレオカメラ１の外観図である。図１（Ａ）に示すように、このステレオカメラ１の前面には、レンズ１１１Ａと、レンズ１１１Ｂと、ストロボ発光部４００と、が設けられ、上面には、シャッタボタン３３１が設けられている。レンズ１１１Ａとレンズ１１１Ｂは、シャッタボタン３３１が上になる方向で、ステレオカメラ１を水平にした場合に、各々の中心位置が水平方向で同一線上となるように、所定の間隔を隔てて配置されている。ストロボ発光部４００は、必要に応じて被写体に向けてストロボ光を照射する。シャッタボタン３３１は、ユーザからのシャッタ動作指示を受け付けるためのボタンである。
【００１４】
ステレオカメラ１の背面には、図１（Ｂ）に示すように、表示部３１０と、操作キー３３２と、電源ボタン３３３と、ズームボタン３３４と、が設けられている。表示部３１０は、例えば、液晶表示装置等から構成され、ステレオカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示するための電子ビューファインダとして機能する。
【００１５】
操作キー３３２は、十字キーや決定キー等を含み、モード切替や表示切替等、ユーザからの各種の操作を受け付ける。電源ボタン３３３は、ステレオカメラ１の電源のオン・オフをユーザから受け付けるためのボタンである。
【００１６】
ズームボタン３３４は、ステレオカメラ１のズーム機能を動作させるためのボタンである。ズームボタン３３４を押下することで、第１撮像部１００Ａと第２撮像部１００Ｂとの撮像倍率が同時に変更される。
【００１７】
図２は、ステレオカメラ１の電気的構成を示すブロック図である。図２に示すように、ステレオカメラ１は、第１撮像部１００Ａと、第２撮像部１００Ｂと、データ処理部２００と、Ｉ／Ｆ部３００と、ストロボ発光部４００と、を備える。
【００１８】
第１撮像部１００Ａ及び第２撮像部１００Ｂは、それぞれ被写体を撮像する機能を担う部分である。ステレオカメラ１は、いわゆる複眼カメラであり、このように２つの撮像部を有する構成であるが、第１撮像部１００Ａと第２撮像部１００Ｂは同一の構成である。以下、第１撮像部１００Ａについての構成には参照符号の末尾に「Ａ」を付し、第２撮像部１００Ｂについての構成には参照符号の末尾に「Ｂ」を付す。
【００１９】
図２に示すように、第１撮像部１００Ａ（第２撮像部１００Ｂ）は、光学装置１１０Ａ（１１０Ｂ）、イメージセンサ部１２０Ａ（１２０Ｂ）、及び、レンズ駆動部１３０Ａ（１３０Ｂ）等から構成されている。光学装置１１０Ａ（１１０Ｂ）は、例えば、可動可能なレンズ、絞り機構、シャッタ機構、等を含み、撮像に係る光学的動作を行う。即ち、光学装置１１０Ａ（１１０Ｂ）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピード等といった、画角やピント、露出等にかかる光学的要素の調整がなされる。
【００２０】
なお、光学装置１１０Ａ（１１０Ｂ）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０Ａ（１１０Ｂ）にシャッタ機構が含まれていなくてもよい。また、光学装置１１０Ａ（１１０Ｂ）は、後述する制御部２１０による制御によって動作する。
【００２１】
イメージセンサ部１２０Ａ（１２０Ｂ）は、光学装置１１０Ａ（１１０Ｂ）によって集光された入射光に応じた電気信号を生成する。イメージセンサ部１２０Ａ（１２０Ｂ）は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）等のイメージセンサから構成され、光電変換を行うことで、受光した光の強度に応じた電気信号を生成し、生成した電気信号をデータ処理部２００に出力する。
【００２２】
レンズ駆動部１３０Ａ（１３０Ｂ）は、ステッピングモータやアクチュエータなどから構成され、制御部２１０の指示に基づいて、光学装置１１０Ａ（１１０Ｂ）のレンズを図１の紙面に垂直方向に移動させる。レンズが移動することにより被写体の撮像倍率が変化し、ズーム機能が達成される。なお、本実施形態では、両レンズ駆動部１３０Ａ，１３０Ｂはほぼ同時に駆動制御され、ズーム機能を用いても、第１撮像部と第２撮像部の撮像倍率は同一に制御される。しかし、実際には、レンズ駆動部１３０Ａ，１３０Ｂの経年劣化や機械的な「遊び」の影響により、ズーム機能を用いた場合、第１撮像部と第２撮像部の撮像倍率に誤差が生じている可能性が高い。
【００２３】
なお、上述したように、第１撮像部１００Ａと第２撮像部１００Ｂとは同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積等の各仕様が全て同一である。第１撮像部１００Ａと第２撮像部１００Ｂとを同時に動作させた場合、同一被写体について２つの画像（ペア画像）が撮像されるが、光軸位置は横方向で異なっている。
【００２４】
データ処理部２００は、第１撮像部１００Ａ及び第２撮像部１００Ｂによる撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成すると共に、撮像画像に対する画像処理等を行う。データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、カメラ情報記憶部２７０等から構成される。
【００２５】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＡＭ（Random Access Memory）等の主記憶装置等から構成され、記憶部２５０等に格納されているプログラムを実行することで、ステレオカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する三次元モデリング処理等にかかる機能が制御部２１０によって実現する。
【００２６】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）等から構成され、イメージセンサ部１２０Ａ及び１２０Ｂによって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。即ち、イメージセンサ部１２０Ａ（１２０Ｂ）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンが、いわゆる現像処理等を行うことで、画質の調整やデータ圧縮等を行う。
【００２７】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリ等の記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データ等を一時的に保存する。
【００２８】
画像出力部２４０は、例えば、ＲＧＢ信号を生成する回路等から構成され、画像メモリ２３０に格納された画像データをＲＧＢ信号等に変換して表示画面（表示部３１０等）に出力する。
【００２９】
記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の記憶装置から構成され、ステレオカメラ１の動作に必要なプログラムやデータ等を格納する。本実施形態では、制御部２１０等が実行する動作プログラムや、その実行時に必要となるパラメータや演算式等のデータが記憶部２５０に格納されているものとする。
【００３０】
外部記憶部２６０は、例えば、メモリカード等といった、ステレオカメラ１に着脱可能な記憶装置から構成され、ステレオカメラ１で撮像した画像データ、三次元モデルデータ等を格納する。
【００３１】
カメラ情報記憶部２７０には、第１撮像部１００Ａおよび第２撮像部１００Ｂが撮像したペア画像から三次元モデルを作成するために必要な情報（カメラ情報）が格納されている。
カメラ情報は、具体的には、第１撮像部１００Ａおよび第２撮像部１００Ｂそれぞれの解像度、画角、フォーカス距離、焦点距離係数、画像の角度係数、レンズの歪み係数等の情報である。なお、カメラ情報のうち、第１撮像部１００Ａ（第２撮像部１００Ｂ）のズーム状態に応じて変化する情報（焦点距離係数、画像の角度係数、レンズの歪み係数等）については、複数のズーム状態毎に、対応した情報がカメラ情報記憶部２７０に複数格納される。また、カメラ情報は、工場出荷時の初期調整時に、校正パターンなどを用いた既存のカメラキャリブレーションの手法を用いて計測し、事前にカメラ情報記憶部２７０に格納すればよい。
【００３２】
Ｉ／Ｆ部３００は、ステレオカメラ１と、ユーザあるいは外部装置との間のインタフェースに係る機能を担う処理部であり、表示部３１０、外部Ｉ／Ｆ部３２０、操作部３３０等から構成される。
【００３３】
表示部３１０は、上述したように、例えば、液晶表示装置等から構成され、ユーザがステレオカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）等に基づいて撮像画像等の表示出力が行われる。
【００３４】
外部Ｉ／Ｆ部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子等から構成され、外部のコンピュータ装置への画像データの出力や外部モニタ装置への撮像画像の表示出力等を行う。
【００３５】
操作部３３０は、ステレオカメラ１の外面上に設けられている各種ボタン等によって構成され、ユーザによる操作に応じた入力信号を生成して制御部２１０に送出する。操作部３３０を構成するボタンには、上述したように、シャッタボタン３３１、操作キー３３２、電源ボタン３３３、ズームボタン３３４等が含まれる。
【００３６】
ストロボ発光部４００は、例えば、キセノンランプ（キセノンフラッシュ）により構成される。ストロボ発光部４００は、制御部２１０の制御に従って被写体にストロボ光を照射する。
【００３７】
以上、本発明を実現するために必要となるステレオカメラ１の構成について説明したが、ステレオカメラ１は、このほかにも、一般的なステレオカメラの機能を実現するための構成を備えているものとする。
【００３８】
続いて、ステレオカメラ１の動作の内、ステレオ撮影モードに係る動作について説明する。
【００３９】
図３は、ステレオカメラ１における、ステレオ撮影モードに係る動作を実現するための主要な機能構成を示すブロック図である。図３に示すように、ステレオカメラ１は、機能的に、画像取得部１１と、画像補正部１２と、三次元モデル生成部１３と、を備える。なお、これらの各部は、例えば、制御部２１０により構成される。
【００４０】
画像取得部１１は、第１撮像部１００Ａおよび第２撮像部１００Ｂが同一被写体を異なる角度から撮像した画像のペア（以下、ペア画像とする）を取得する。なお、この際、画像取得部１１は、ペア画像とともに、当該ペア画像を撮像した際の第１撮像部１００Ａおよび第２撮像部１００Ｂのズーム状態を示すズーム制御情報を取得する。
【００４１】
画像補正部１２は、三次元モデル作成に適した画像になるように画像取得部１１が取得したペア画像を補正する。画像補正部１２は、図３に示すように、第２補正部１２Ａと、特徴点対応抽出部１２Ｂと、誤対応除去部１２Ｃと、第１補正部１２Ｄとを備える。
【００４２】
第２補正部１２Ａは、ズーム制御情報に基づいて、ペア画像を構成する各画像のレンズ歪みを補正する処理、及び、各画像間で画像上の対応する点が同一の水平ラインに並ぶように補正する平行化処理を行う。
【００４３】
特徴点対応抽出部１２Ｂは、第２補正部１２Ａが補正したペア画像の各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組（ペア画像の画像間で対応する特徴点の組）を抽出する。
【００４４】
誤対応除去部１２Ｃは、特徴点対応抽出部１２Ｂによって抽出された特徴点対応の組において、垂直座標の差が所定値以上ある組を誤対応として除去する。
【００４５】
第１補正部１２Ｄは、誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、第２補正部１２Ａが補正したペア画像を、三次元モデル作成に適した画像に補正する。
【００４６】
三次元モデル生成部１３は、画像取得部１１が取得し、画像補正部１２が補正したペア画像から、被写体の三次元モデルを生成する。
【００４７】
続いて、図４に示すフローチャートを用いて、ステレオ撮影モードに係る動作時の処理（三次元モデリング処理）について説明する。三次元モデリング処理は、ユーザが、操作キー３３２等の操作部３３０を操作することで、ステレオ撮影モードが選択されたことを契機に開始される。
【００４８】
三次元モデリング処理が開始されると、まず、制御部２１０は、終了イベントが発生したか否かを判定する（ステップＳ１０１）。終了イベントは、例えば、ユーザにより、再生モード等へのモード移行操作が行われた場合や、ステレオカメラ１の電源がオフされた場合等に発生する。
【００４９】
終了イベントが発生している場合（ステップＳ１０１；Ｙｅｓ）、三次元モデリング処理は終了する。一方、終了イベントが発生していない場合（ステップＳ１０１；Ｎｏ）、制御部２１０は、一方の撮像部（例えば、第１撮像部１００Ａ）を介して得られた画像データに基づく画像（いわゆる、ライブビュー画像）を表示部３１０に表示させる（ステップＳ１０２）。
【００５０】
続いて、制御部２１０は、ズームボタン３３４が押下されているか否かを判定する（ステップＳ１０３）。ズームボタン３３４が押下されていない場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０５に処理は移る。
【００５１】
一方、ズームボタン３３４が押下されている場合（ステップＳ１０３；Ｙｅｓ）、制御部２１０は、被写体を撮像する第１撮像部１００Ａ及び第２撮像部１００Ｂのズーム状態（撮像倍率）を変化させる（ステップＳ１０４）。具体的には、制御部２１０は、両レンズ駆動部１３０Ａ，１３０Ｂを制御して、光学装置１１０Ａ，１１０Ｂのレンズ位置を、ズームボタン３３４の押下時間や押下位置に応じて移動させることでズーム状態を変化させる。なお、ズーム状態の変化に応じて、表示部に表示されるライブビュー画像のズーム状態も適宜変化する。
【００５２】
続いて、制御部２１０は、シャッタボタン３３１が押下されているか否かを判定する（ステップＳ１０５）。シャッタボタン３３１が押下されていない場合（ステップＳ１０５；Ｎｏ）、制御部２１０は、再度、ステップＳ１０１の処理を実行する。一方、シャッタボタン３３１が押下されている場合（ステップＳ１０５；Ｙｅｓ）、制御部２１０は、第１撮像部１００Ａ、第２撮像部１００Ｂ、及び、画像処理部２２０を制御して、被写体を撮像する（ステップＳ１０６）。
【００５３】
続いて、制御部２１０（画像取得部１１）は、第１撮像部１００Ａ及び第２撮像部１００Ｂが撮像した２枚のステレオ画像（ペア画像）を、画像メモリ２３０に保存する（ステップＳ１０７）。なお、この際、制御部２１０は、両レンズ駆動部１３０Ａ，１３０Ｂから撮像時のズーム状態を示すズーム制御情報を取得し、画像メモリ２３０又は記憶部２５０に記憶する。例えば、レンズ駆動部１３０Ａ，１３０Ｂがステッピングモータから構成される場合、制御部２１０は、ステッピングモータのステップ数を示す情報をズーム制御情報として取得して保存すればよい。なお、以降の説明において、ペア画像の内、第１撮像部１００Ａによる撮像の結果得られた画像を画像Ａ０、第２撮像部１００Ｂによる撮像の結果得られた画像を画像Ｂ０とする。
【００５４】
続いて、制御部２１０（画像補正部１２）は、画像メモリ２３０に保存したペア画像を、三次元モデル作成に適した画像に補正する画像補正処理を実行する（ステップＳ１０８）。
【００５５】
ここで、画像補正処理の詳細について、図５のフローチャートを参照して説明する。
【００５６】
まず、制御部２１０（第２補正部１２Ａ）は、ペア画像とともに格納したズーム制御情報に基づいて、レンズ歪みの補正、および、平行化処理を行う（ステップＳ２０１）。
具体的には、まず、制御部２１０は、レンズ歪み補正と平行化に必要なカメラ情報をカメラ情報記憶部２７０から取得する。この際、ズーム制御情報に応じて変化するカメラ情報については、ペア画像とともに保存したズーム制御情報に対応したカメラ情報を取得する。なお、ズーム制御情報に対応したカメラ情報がカメラ情報記憶部２７０に記憶されていない場合は、近傍のズーム制御情報で対応するカメラ情報が記憶されている場合はそのカメラ情報を代用して取得する。または、近傍の対応するカメラ情報が存在する複数のズーム制御情報を参照し、実際のズーム制御情報との関係から重みを付けてカメラ情報を線形補間することで精度の良いカメラ情報を取得してもよい。そして、制御部２１０は、このようにして取得したカメラ情報を用いてレンズ歪み補正と平行化処理とを行えばよい。なお、本処理を行った結果、ペア画像（画像Ａ０、画像Ｂ０）が、ペア画像（画像Ａ１、画像Ｂ１）に補正されたものとして以下説明する。
【００５７】
ここで、ステップＳ２０１の処理により、レンズ歪み補正、および、平行化がなされたペア画像（画像Ａ１、画像Ｂ１）の例を図６（Ａ）に示す。この段階では、両レンズ駆動部１３０Ａ，１３０Ｂの経年劣化や機械的な遊びの影響により、ペア画像の平行化がなされていても、画像Ａ１と画像Ｂ１との間で、対応する点同士の破線で示すエピ極線の高さにずれが発生している。
【００５８】
図５に戻り、続いて、制御部２１０（特徴点対応抽出部１２Ｂ）は、レンズ歪み補正及び平行化処理がなされたペア画像の各々から、特徴点を取得する（ステップＳ２０２）。
例えば、制御部２１０は、画像のスケール変化にロバストな特徴量をもつ特徴点、例えばＳＵＲＦ（Speeded-Up Robust Features）特徴点やＳＩＦＴ（Scale-invariant feature transform）特徴点を特徴点として画像Ａ１、Ｂ１から取得すればよい。
【００５９】
続いて、制御部２１０（特徴点対応抽出部１２Ｂ）は、特徴量マッチングを実行し、画像Ａ１の各特徴点と画像Ｂ１の各特徴点の対応付けから特徴点対応の組を抽出する（ステップＳ２０３）。具体的には、制御部２１０は、特徴量空間で互いに最近傍かつ他に近い距離の特徴点が存在しないものを対応付ける。
【００６０】
続いて、制御部２１０（誤対応除去部１２Ｃ）は、抽出した特徴点対応の組のうち、誤った対応付けがなされている組を除去する（ステップＳ２０４）。
具体的には、制御部２１０は、対応する特徴点の垂直座標の差が所定の閾値以上ある場合に、この特徴点対応の組を除去すればよい。なお、この所定の閾値は、ズーム機構の遊びを考慮に入れた適切な値を事前に実験等により求めて設定すればよい。
【００６１】
続いて制御部２１０（第１補正部１２Ｄ）は、誤対応が除去された特徴点対応の組の垂直座標から、ペア画像（画像Ａ１、画像Ｂ１）を補正（変換）するための係数（補正係数）を求める（ステップＳ２０５）。
具体的には、制御部２１０は、ペア画像の両画像で被写体の表示倍率が略一致し（所定の倍率範囲内に収まり）、且つ、各特徴点と対応点との垂直座標が略一致する（所定値内に収まる）ように、画像Ａ１と画像Ｂ２とが補正（変換）されるような補正係数を、公知の幾何学的手法を用いて求める。
【００６２】
続いて、制御部２１０（第１補正部１２Ｄ）は、求めた補正係数を用いて、画像Ａ１、画像Ｂ１を補正（変換）する（ステップＳ２０６）。なお、この補正処理により、画像Ａ２、画像Ｂ２が生成されたものとする。また、補正された画像Ａ２と画像Ｂ２は、例えば、画像メモリ２３０に記憶される。このステップＳ２０６の処理により、図６（Ｂ）に示すように、画像Ａ２と画像Ｂ２とで、対応する点同士のエピ極線の高さはほぼ一致する。従って、画像Ａ２と画像Ｂ２とから、精度のよい三次元モデルを作成することが可能となる。
勿論、画像Ａ１、画像Ｂ１の代わりに、画像Ａ０、画像Ｂ０から画像Ａ２、画像Ｂ２を生成されるようにしてもよい。一般的には画像変換は２回実行するよりも、１回で済ませるほうが画像の劣化が少ないので、状況によってはこちらの方が望ましい。
【００６３】
図４に戻り、画像補正処理（ステップＳ１０８）が完了すると、制御部２１０（三次元モデル生成部１３）は、画像メモリ２３０に記憶されている補正後のペア画像（画像Ａ２と画像Ｂ２）から三次元モデルを生成する三次元モデル生成処理を実行する（ステップＳ１０９）。
【００６４】
ここで、図７に示すフローチャートを参照して、三次元モデル生成処理について説明する。
【００６５】
まず、制御部２１０は、特徴点の候補を抽出する（ステップＳ３０１）。例えば、制御部２１０は、画像Ａ２に対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
【００６６】
続いて、制御部２１０は、ステップＳ３０１の処理を完了すると、ステレオマッチングを実行し、画像Ａ２の特徴点に対応する点（対応点）を画像Ｂ２から探す（ステップＳ３０２）。具体的には、制御部２１０は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの（相違度が所定閾値以下かつ最小のもの）を対応点とする。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関など、様々な既知の技法が利用可能である。
【００６７】
続いて、制御部２１０は、ステップＳ３０２において見つけられた対応点の視差情報（水平座標の差）、および、第１撮像部１００Ａおよび第２撮像部１００Ｂのカメラ情報（画角、基線長など）に基づいて、特徴点の位置情報を算出する（ステップＳ３０３）。生成された特徴点の位置情報は、例えば、記憶部２５０に記憶される。
【００６８】
続いて、制御部２１０は、ステップＳ３０３において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行する（ステップＳ３０４）。生成されたポリゴン情報は、例えば、記憶部２５０に記憶される。制御部２１０は、ステップＳ３０４の処理を完了すると、三次元モデル生成処理を終了する。
【００６９】
図４に戻り、制御部２１０は、上記の三次元モデル生成処理（ステップＳ１０９）を終了すると、生成した三次元モデルデータを表示する（ステップＳ１１０）。具体的には、制御部２１０は、生成した三次元モデルデータを確認用の二次元データに変換して表示部３１０に表示する。そして、制御部２１０は、三次元モデルデータを外部記憶部２６０等に保存し（ステップＳ１１１）、ステップＳ１０１の処理に戻る。
【００７０】
このように、本実施形態に係るステレオカメラ１によれば、レンズ歪み補正と平行化処理とを行ったペア画像から抽出した特徴点対応の組のうち、誤って対応付けられた組を除去する。そして、除去後の特徴点対応の組の位置関係から、ペア画像の両画像で対応点のエピ極線の高さがほぼ一致するようにペア画像を補正し、当該補正したペア画像から三次元モデルを生成する。従って、ズーム機能を用いて撮像されたペア画像から、精度よく三次元モデルを作成することができる。
【００７１】
また、本実施形態に係るステレオカメラ１では、レンズ歪み補正と平行化処理は、必ずしも精度良く行う必要はない。従って、レンズ歪み補正と平行化処理のために、ズーム状態ごとに測定しておく補正データ（カメラ情報）を、細かい段階で測定して記憶しておく必要がなく、測定時間を短縮することができ、生産効率を向上させることができる。
【００７２】
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００７３】
例えば、上記実施形態では、画像補正処理における誤対応の組の除去（図５のステップＳ２０４）の際、対応する特徴点の垂直座標の差が所定の閾値以上ある組を誤対応であるとして除去した。しかしながら、この条件に加えて、さらに、以下の条件Ａ〜条件Ｃにより誤対応の組を除去してもよい。このようにすることで、より精度よく誤対応の組を除去することが可能となるため、より精度のよい三次元モデルを作成することができる。
【００７４】
（条件Ａ）
オートフォーカス機能などを用いてステレオカメラ１と被写体と間の大まかな距離を求め、求めた距離から画像Ａ１と画像Ｂ１との間の視差のとるべき範囲を求める。そして、対応する特徴点の水平座標から求めた視差がこの範囲内に無い場合に、当該特徴点対応の組を誤対応として除去する。
【００７５】
（条件Ｂ）
画像Ａ１と画像Ｂ１の各々の特徴点対応に対して、周囲の他の特徴点対応の配置を示す情報（例えば、Shape Context）を求める。そして、求めた配置を示す情報間の類似度が所定値以下である場合に、この特徴点対応の組を誤対応として除去する。
【００７６】
（条件Ｃ）
各特徴点対応の組の垂直座標に対し、補正係数の推定をＲＡＮＳＡＣ（RANdom SAmple Consensus）法や最小メジアン法等のロバスト推定法を用いて行い、ノイズ（誤対応の組）を除去する。
【００７７】
また、上記実施形態では、第１撮像部１００Ａと第２撮像部１００Ｂとのズーム機能による撮像倍率は同時に制御されるものとしているが、第１撮像部１００Ａと第２撮像部１００Ｂとで個別に撮像倍率を変化させることができるステレオカメラにも、本発明は適用可能である。
【００７８】
また、カメラ（撮像部）の数は２に限定するものではなく、それ以上の任意の数の撮像部を備えて、２以上の撮像画像から三次元モデルを作成するカメラにも、本発明は適用可能である。
【００７９】
また、画像補正処理において、レンズ歪みの補正、および、平行化処理（ステップＳ２０１）を必ずしも実施する必要は無い。この場合、制御部２１０は、ステレオカメラ１が撮像したペア画像から直接特徴点対応の組を抽出し、誤対応の組を除去した後、エピ極線の高さがほぼ一致するようにペア画像を補正すればよい。
【００８０】
また、既存のステレオカメラ等を本発明に係る三次元モデリング装置として機能させることも可能である。即ち、上述した制御部２１０が実行したようなプログラムを既存のステレオカメラ等に適用し、そのステレオカメラ等のＣＰＵ等が当該プログラムを実行することで、当該ステレオカメラ等を本発明に係る三次元モデリング装置として機能させることができる。
【００８１】
このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
【００８２】
この場合、上述した本発明に係る機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などでは、アプリケーションプログラム部分のみを記録媒体等に格納してもよい。
【００８３】
これまで、本発明のいくつかの実施形態を説明したが、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００８４】
（付記１）
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正手段と、
前記第１画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする三次元モデリング装置。
【００８５】
（付記２）
前記画像取得手段は、
同一被写体を異なる角度から撮像した複数の画像を、該複数の画像を撮像した各撮像装置のズーム状態を示すズーム制御情報とともに取得し、
前記三次元モデリング装置は、
前記画像取得手段が複数の画像とともに取得したズーム制御情報に基づいて、該複数の画像間の平行化及びレンズ歪みの補正を行う第２画像補正手段を更に備え、
前記特徴点対応取得手段は、
前記画像取得手段が取得し、更に前記第２画像補正手段が補正した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得し、
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記第２画像補正手段が補正した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記第２画像補正手段が補正した画像をさらに補正する、
ことを特徴とする付記１に記載の三次元モデリング装置。
【００８６】
（付記３）
前記特徴点対応取得手段は、
前記各々の画像からスケールにロバストな特徴量を持つ特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する、
ことを特徴とする付記１又は２に記載の三次元モデリング装置。
【００８７】
（付記４）
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の組の水平座標に基づいて視差を求め、該視差が所定範囲内に無い場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする付記１乃至３の何れか１つに記載の三次元モデリング装置。
【００８８】
（付記５）
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の各々について、周囲の他の特徴点対応の配置を示す情報を求め、求めた配置を示す情報間の類似度が所定値以下である場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする付記１乃至４の何れか１つに記載の三次元モデリング装置。
【００８９】
（付記６）
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に対して、ＲＡＮＳＡＣ法、又は最小メジアン法によるロバスト推定法を用いて画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるような補正係数求め、該補正係数を用いて前記画像を補正する、
ことを特徴とする付記１乃至５の何れか１つに記載の三次元モデリング装置。
【００９０】
（付記７）
三次元モデリング方法であって、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得ステップと、
前記特徴点対応取得ステップで取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去ステップと、
前記特徴点対応取得ステップで取得され、前記誤対応除去ステップで誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得ステップで取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正ステップと、
前記第１画像補正ステップで補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成ステップと、
を含むことを特徴とする三次元モデリング方法。
【００９１】
（付記８）
コンピュータに、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得機能、
前記画像取得機能が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得機能、
前記特徴点対応取得機能が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去機能、
前記特徴点対応取得機能により取得され、前記誤対応除去機能により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得機能が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正機能、
前記第１画像補正機能が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成機能、
を実現させることを特徴とするプログラム。
【符号の説明】
【００９２】
１…ステレオカメラ、１１…画像取得部、１２…画像補正部、１２Ａ…第２補正部、１２Ｂ…特徴点対応抽出部、１２Ｃ…誤対応除去部、１２Ｄ…第１補正部、１３…三次元モデル生成部
【特許請求の範囲】
【請求項１】
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正手段と、
前記第１画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする三次元モデリング装置。
【請求項２】
前記画像取得手段は、
同一被写体を異なる角度から撮像した複数の画像を、該複数の画像を撮像した各撮像装置のズーム状態を示すズーム制御情報とともに取得し、
前記三次元モデリング装置は、
前記画像取得手段が複数の画像とともに取得したズーム制御情報に基づいて、該複数の画像間の平行化及びレンズ歪みの補正を行う第２画像補正手段を更に備え、
前記特徴点対応取得手段は、
前記画像取得手段が取得し、更に前記第２画像補正手段が補正した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得し、
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記第２画像補正手段が補正した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記第２画像補正手段が補正した画像をさらに補正する、
ことを特徴とする請求項１に記載の三次元モデリング装置。
【請求項３】
前記特徴点対応取得手段は、
前記各々の画像からスケールにロバストな特徴量を持つ特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する、
ことを特徴とする請求項１又は２に記載の三次元モデリング装置。
【請求項４】
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の組の水平座標に基づいて視差を求め、該視差が所定範囲内に無い場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする請求項１乃至３の何れか１項に記載の三次元モデリング装置。
【請求項５】
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の各々について、周囲の他の特徴点対応の配置を示す情報を求め、求めた配置を示す情報間の類似度が所定値以下である場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする請求項１乃至４の何れか１項に記載の三次元モデリング装置。
【請求項６】
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に対して、ＲＡＮＳＡＣ法、又は最小メジアン法によるロバスト推定法を用いて画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるような補正係数求め、該補正係数を用いて前記画像を補正する、
ことを特徴とする請求項１乃至５の何れか１項に記載の三次元モデリング装置。
【請求項７】
三次元モデリング方法であって、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得ステップと、
前記特徴点対応取得ステップで取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去ステップと、
前記特徴点対応取得ステップで取得され、前記誤対応除去ステップで誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得ステップで取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正ステップと、
前記第１画像補正ステップで補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成ステップと、
を含むことを特徴とする三次元モデリング方法。
【請求項８】
コンピュータに、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得機能、
前記画像取得機能が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得機能、
前記特徴点対応取得機能が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去機能、
前記特徴点対応取得機能により取得され、前記誤対応除去機能により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得機能が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正機能、
前記第１画像補正機能が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成機能、
を実現させることを特徴とするプログラム。
【請求項１】
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得手段と、
前記特徴点対応取得手段が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去手段と、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得手段が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正手段と、
前記第１画像補正手段が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成手段と、
を備えることを特徴とする三次元モデリング装置。
【請求項２】
前記画像取得手段は、
同一被写体を異なる角度から撮像した複数の画像を、該複数の画像を撮像した各撮像装置のズーム状態を示すズーム制御情報とともに取得し、
前記三次元モデリング装置は、
前記画像取得手段が複数の画像とともに取得したズーム制御情報に基づいて、該複数の画像間の平行化及びレンズ歪みの補正を行う第２画像補正手段を更に備え、
前記特徴点対応取得手段は、
前記画像取得手段が取得し、更に前記第２画像補正手段が補正した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得し、
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記第２画像補正手段が補正した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記第２画像補正手段が補正した画像をさらに補正する、
ことを特徴とする請求項１に記載の三次元モデリング装置。
【請求項３】
前記特徴点対応取得手段は、
前記各々の画像からスケールにロバストな特徴量を持つ特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する、
ことを特徴とする請求項１又は２に記載の三次元モデリング装置。
【請求項４】
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の組の水平座標に基づいて視差を求め、該視差が所定範囲内に無い場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする請求項１乃至３の何れか１項に記載の三次元モデリング装置。
【請求項５】
前記誤対応除去手段は、前記特徴点対応取得手段が取得した特徴点対応の各々について、周囲の他の特徴点対応の配置を示す情報を求め、求めた配置を示す情報間の類似度が所定値以下である場合に、該特徴点対応の組を誤対応として除去する、
ことを特徴とする請求項１乃至４の何れか１項に記載の三次元モデリング装置。
【請求項６】
前記第１画像補正手段は、
前記特徴点対応取得手段により取得され、前記誤対応除去手段により誤対応が除去された後の特徴点対応の組の垂直座標に対して、ＲＡＮＳＡＣ法、又は最小メジアン法によるロバスト推定法を用いて画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるような補正係数求め、該補正係数を用いて前記画像を補正する、
ことを特徴とする請求項１乃至５の何れか１項に記載の三次元モデリング装置。
【請求項７】
三次元モデリング方法であって、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得ステップと、
前記特徴点対応取得ステップで取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去ステップと、
前記特徴点対応取得ステップで取得され、前記誤対応除去ステップで誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得ステップで取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正ステップと、
前記第１画像補正ステップで補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成ステップと、
を含むことを特徴とする三次元モデリング方法。
【請求項８】
コンピュータに、
同一被写体を異なる角度から撮像した複数の画像を取得する画像取得機能、
前記画像取得機能が取得した各々の画像から特徴点を取得し、取得した特徴点の対応付けにより特徴点対応の組を取得する特徴点対応取得機能、
前記特徴点対応取得機能が取得した特徴点対応の組のうち、垂直座標の差が所定値以上である組を誤対応として除去する誤対応除去機能、
前記特徴点対応取得機能により取得され、前記誤対応除去機能により誤対応が除去された後の特徴点対応の組の垂直座標に基づいて、前記画像取得機能が取得した画像間で被写体の表示倍率の差と垂直座標の差とが所定範囲内になるように、前記画像を補正する第１画像補正機能、
前記第１画像補正機能が補正した各画像から、前記被写体の三次元モデルを生成する三次元モデル生成機能、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２０２９４２（Ｐ２０１２−２０２９４２Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−７０３４９（Ｐ２０１１−７０３４９）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]