撮像装置、画像処理方法及びプログラム
【課題】簡単な構成で高精度な三次元データを得る。
【解決手段】カラー画像を撮像する撮像部（１０１−１１７）と、モノクロ画像を撮像する複数の撮像部（１１８−１２５）と、モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、被写体の三次元データを算出する三次元データ算出部と、カラー画像を撮像する撮像部で得られるカラー画像と、三次元データとを対応付けたカラー３次元画像データを生成する合成部と、を具備する多眼方式の撮像装置。
【解決手段】カラー画像を撮像する撮像部（１０１−１１７）と、モノクロ画像を撮像する複数の撮像部（１１８−１２５）と、モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、被写体の三次元データを算出する三次元データ算出部と、カラー画像を撮像する撮像部で得られるカラー画像と、三次元データとを対応付けたカラー３次元画像データを生成する合成部と、を具備する多眼方式の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる複数の視点位置から撮像可能な撮像部を有する多眼方式の撮像装置を使用して、被写体カラー三次元データを生成する画像取得方法およびそれを用いた撮像装置、プログラムに関するものである。
【背景技術】
【０００２】
近年、被写体の三次元データを計測し、その被写体のカラー画像と計測値とを合成したカラー三次元画像を用いて、被写体を立体的に可視可能に表示する要求が高まっている。被写体の三次元データを計測する方法の１つには、モノクロ（白黒）のステレオカメラによって撮像された、視差のある複数の画像を用いて、画像間の相関に基づくステレオマッチング処理する方法がある。この方法において、被写体の三次元データの計測精度を向上させるために、視差の異なる３枚以上の画像を使用して、被写体の三次元データを計測する多眼方式が知られている。
【０００３】
また、被写体の三次元データの他に、カラーカメラによって撮像された被写体のカラー画像とステレオマッチングによって得られた被写体の三次元データとを合成して、被写体のカラー三次元画像データを生成する手法が提案されている（例えば、特許文献１参照。）。
【０００４】
特許文献１によると、視差画像を得る撮像装置は、モノクロカメラとカラーカメラを各1台備えるステレオカメラである。カラーカメラで取得されたカラー画像Ｃをモノクロ画像ＧＡに変換した後、モノクロカメラで取得されたモノクロ画像ＧＢとモノクロ画像ＧＡを用いて、ステレオマッチング処理により被写体の三次元データを計測する。計測された被写体の三次元データとカラー画像Ｃとを対応付けることで、被写体のカラー三次元画像データを生成する。
【０００５】
更に、１台の撮像装置の撮像素子上にカラー撮影領域とモノクロ撮像領域を合わせ持ち、被写体のカラー三次元画像データを生成する手法が提案されている（例えば、特許文献２参照。）。特許文献２によると、撮像装置の光軸上で撮像素子の手前にレンズアレイを配置し、１台の撮像装置で視差の異なる画像を生成する構成である。該撮像装置の撮像装置の撮像素子上に設定される複数のモノクロ撮像領域から得られる画像データから被写体の三次元データを算出する。同一の撮像素子上に設定されるカラー撮像領域から被写体のカラー画像を取得する。そして、これらの被写体の三次元データとカラー画像を合成することにより、被写体のカラー三次元画像データを生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１９３２９２号明細書
【特許文献２】特開２００９−２８４１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で提案される手法では、カラーカメラで取得されたカラー画像からモノクロ画像を生成する際には、カラー画像の注目画素の近傍にある、異なる色情報を持つ複数の画素から補間処理によって、輝度値（モノクロ値）を計算によって求めている。したがって、モノクロカメラで得られたモノクロ画像と解像度を合わせようとすると、補間処理による誤差が必然的に発生するために、高精度な三次元データを得ることができない。更に、カラー画像を取得するめには、カラーフィルタを撮像素子上に配置する必要があるため、モノクロカメラで得られる画像と比較すると、画像中に発生するノイズが目立ちやすくなる。このノイズは、ステレオマッチングの精度を低下させるため、獲得したい三次元データの算出精度に影響を及ぼすといった問題が発生する。したがって、特許文献１に記載の手法には、高精度な視差画像を得ることができない課題が存在する。
【０００８】
また、特許文献２で提案される手法では、１台の撮像装置によって視差画像を得るため、視差の大きさが撮像装置の主レンズ、レンズアレイ、並びに撮像素子の大きさに依存するという課題がある。つまり、視差を大きく確保すれば三次元データの推定精度が向上するが、その一方で撮像装置のコストが高くなる問題が発生する。従来の撮像装置で対応すると、視差が十分に確保できずに、高精度な三次元データデータが得られなくなる。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、カラー画像を撮像する撮像部と、モノクロ画像を撮像する複数の撮像部と、前記モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、被写体の三次元データを算出する三次元データ算出部と、前記カラー画像を撮像する撮像部で得られるカラー画像と、前記三次元データとを対応付けたカラー３次元画像データを生成する合成部と、を具備する多眼方式の撮像装置。
【発明の効果】
【００１０】
本発明により、簡単な構成で高精度な三次元データを得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る複数の撮像部を備えた多眼方式の撮像装置の一例を表す図である。
【図２】図１の多眼方式の撮像装置の構成を示すブロック図である。
【図３】撮像部の詳細を説明する図である。
【図４】本発明の実施形態に係る画像処理部２１２の構成を示すブロック図である。
【図５】画像処理の流れを示すフローチャートである。
【図６】センサ上の画素位置における被写体の三次元データを算出する過程を模式的に示した図である。
【図７】被写体の三次元データを算出する過程を模式的に示した図である。
【図８】三次元データ算出処理の流れを示すフローチャートである。
【図９】複数の撮像部を備えた多眼方式の撮像装置のその他の例を表す図である。
【図１０】撮像部の配置が異なる多眼方式の撮像装置の一例を表す図である。
【図１１】モノクロ撮像部のセンサ画素数をカラー撮像部のセンサ画素数よりも相対的に少なくした場合の一例を表す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明における第一実施形態である２５個の撮像部を備えた多眼方式による撮像装置である。図１中の１０１〜１２５は各撮像部を示す。そのうち１０１〜１１７はカラー画像を取得するカラー撮像部であり、１１８〜１２５はモノクロ画像を取得するモノクロ撮像部である。カラー撮像部とモノクロ撮像部の詳細については後述する。１２６は撮影ボタン、１２７は撮像装置の筺体を例示したものである。後述する３次元データの生成時にモノクロ画像が使用されるため、モノクロ撮像部間の間隔は、カラー撮像部間の間隔に比べて広く設定することが好ましい。更に、図１に示すように、撮像部の中心付近、すなわち各撮像部１０１〜１２５が図１のように所定の間隔で配置されているときに中心に配置される撮像部として、カラー撮像部が配置される。例えば、カラー撮像部１０４〜１１４。さらに、それらカラー撮像部１０４〜１１４を取り囲むようにモノクロ撮像部１１８〜１２５が外側に配置される構成がより好ましい。このような構成により、被写体を異なる複数の視点位置から撮像した画像を得ることができる。
【００１３】
図２は、図１の多眼方式の撮像装置を構成する各処理部を示す。カラー撮像部１０１〜１１７及びモノクロ撮像部１１８〜１２５は、被写体の光情報をセンサ（撮像素子）で受光し、A/D変換を実施した後、データ転送経路であるバス２１３にデジタルデータを出力する。
【００１４】
中央処理装置（CPU）２０３は、各構成の処理全てに関わり、ROM２０１やRAM２０２に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ROM２０１とRAM２０２は、その処理に必要なプログラム、データ、作業領域などをCPU２０３に提供する。
【００１５】
操作部２０４は、ボタンやモードダイヤルなどから構成され、入力されたユーザ指示を受け取る。撮像部制御部２０７は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU２０３から指示された撮像系の制御を行う。
【００１６】
デジタル信号処理部１３４は、バス２１３から供給されるデジタルデータにホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。エンコーダ部２０９は、上記デジタルデータをJpegやMpegなどのファイルフォーマットに変換する処理を行う。
【００１７】
外部メモリ制御部２１０は、PCその他メディア２１１（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）に接続するためのインターフェースである。
【００１８】
表示部２０６は、一般的には液晶ディスプレイが広く用いられており、後述の画像処理部２１２から受け取った撮影画像や文字の表示を行う。また、表示部２０６は、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部２０４の入力として扱うことも可能である。表示制御部２０５は、表示部２０６に表示される撮影画像や文字の表示制御を行う。
【００１９】
画像処理部２１２は、撮像部１０１〜１２５から得られたデジタル画像或いは、デジタル信号処理部２０８から出力されるデジタル画像群を利用して画像処理を実施し、その結果をバス２１３へ出力する。なお、同等の機能を備えるように各構成要素を組み合わせることにより、装置の構成要素を上記以外の構成とすることも可能である。なお、本発明の撮像装置は、撮像部１０１〜１２５と画像処理部２１２に特徴を有する。
【００２０】
次に、図３を用いて、撮像部１０１〜１２５の詳細を説明する。図３（ａ）に示すカラー撮像部３１１は、カラー撮像部１０１〜１１７の具体的な構成を示す。
【００２１】
カラー撮像部３１１は、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、iRカットフィルタ３０７、カラーフィルタ３０８、センサ３０９、A/D変換部３１０を備える。
【００２２】
カラー撮像部３１１は、３０１〜３０９に示す構成要素により被写体の光量を検知する。そして、A/D変換部３１０は、検知された被写体の光量をデジタル値に変換する。なお、図３（ｂ）に示すモノクロ撮像部３１２は、カラー撮像部３１２に対して、カラーフィルタ３０８を取り除いた構成となっている。
【００２３】
＜画像処理部の構成図＞
図４は、図２に示す画像処理部２１２の構成を示すブロック図である。画像処理部２１２は、カラー画像取得部４０１、モノクロ画像取得部４０２、三次元データ算出部４０３、カメラパラメータＤＢ４０４、合成部４０５から構成される。
【００２４】
カラー画像取得部４０１は、カラー撮像部１０１〜１１７からバス２１３を経由して供給されるカラー画像群を取得する。本実施例１では、１７台のカラー撮像部１０１〜１１７からそれぞれ１枚のカラー画像が供給される。すなわち、カラー画像取得部４０１は、１７枚のカラー画像を取得する。
【００２５】
モノクロ画像取得部４０２は、バス２１３を経由してモノクロ撮像部１１８〜１２５から供給されるモノクロ画像を取得する。本実施形態では、８台のモノクロ撮像部を有しており、各モノクロ撮像部から１枚のモノクロ画像が供給される。すなわち、モノクロ画像取得部４０２は、８枚のモノクロ画像を取得する。
【００２６】
三次元データ算出部４０３は、モノクロ画像取得部４０２から取得したモノクロ画像群と、図1に示す撮像装置に関わるカメラパラメータを用いて、被写体の三次元データを算出する。なお、該カメラパラメータは、三次元データの算出に先立ってカメラパラメータデータベース（ＤＢ）に格納されているものである。本実施例１で使用するカメラパラメータは、各撮像部の相対位置、センササイズ、センサ画素数、センサピッチ、画角などである。
【００２７】
合成部４０５は、三次元データ算出部４０３で算出された被写体の三次元データと、カラー画像取得部４０１から取得した被写体のカラー画像を対応付けた後、画像データとして合成し、出力する。なお、各処理部はCPU２０３により制御されている。
【００２８】
次に、画像処理部２１２で行なわれる画像処理方法を図５のフローチャートを用いて説明する。まず、モノクロ撮像部１１８〜１２５で撮影されたモノクロ画像群が入力される（ステップＳ５０１）。本実施例１では、各モノクロ撮像部で撮影されたモノクロ画像が各１枚、全体で８枚のモノクロ画像が入力される。
【００２９】
次に、３次元データ算出時の基準となる基準カメラを設定する（ステップＳ５０２）。基準カメラは、カラー撮像部１０１〜１１７のうちの選択された１台のカラー撮像部である。本実施形態では、まず、カラー撮像部１０１を基準カメラに設定する。
【００３０】
次に、基準カメラで撮像されたカラー画像を入力する（ステップＳ５０３）。
【００３１】
次に、ステップＳ５０４において、ステップＳ５０１で入力された複数のモノクロ画像に基づいて基準カメラの画素位置に対応する三次元データを算出する。三次元データの算出方法の詳細については後述する。
【００３２】
三次元データの算出が完了したら、ステップＳ５０３で入力された基準カメラのカラー画像と、ステップＳ５０５で算出された３次元データを合成し、カラー３次元画像データを生成する（ステップＳ５０５）。
【００３３】
次に、全てのカラー撮像部で取得されたカラー画像に対して、三次元データの算出処理が完了したか否かを確認する（ステップＳ５０６）。
【００３４】
未処理のカラー画像がある場合（Ｓ５０６；ＮＯ）には、カラー撮像部１０１〜１１７のうち未選択のカラー撮像部を選択して基準カメラを変更する（ステップＳ５０７）。全ての全てのカラー撮像部で取得されたカラー画像に対して、三次元データの算出処理が完了するまで、ステップＳ５０４からステップＳ５０６までの処理が繰り返し行われる。なお、Ｓ５０７における基準カメラの変更は、例えば、カラー撮像部１０２に対する処理が完了すると、カラー撮像部１０３を基準カメラに設定する。
【００３５】
ステップＳ５０６で、全てのカラー画像に対して三次元データの算出処理が完了したと判断されると（Ｓ５０６；ＹＥＳ）、各カラー撮像部に対する合成データ（カラー三次元画像データ）を出力し（ステップＳ５０８）、全ての画像処理が完了する。
【００３６】
＜三次元データの算出処理＞
Ｓ５０４の三次元データの算出処理では、基準カメラとして選択されたカラー撮像部の各画素位置における三次元データを、モノクロ撮像部にて取得された画像群を用いて算出する。なお、本実施例１で使用する三次元データの算出処理は、Vincent Nozick, Francois de Sorbier and Hideo Saito, ”Plane-Sweep Algorithm: Various Tools for Computer Vision”, IEICE Technical Report, PRMU2007-259，2008年 3月に開示されるPlane Sweep 法に基づいて実施することができる。
【００３７】
図６と図７は、Plane Sweep 法によって三次元データを算出する処理を模式的に示した図である。
【００３８】
図６は、基準カメラの仮想センサ上における画素位置Poutに対応する被写体の三次元データを算出する様子を模式的に示した図である。図６において、Xoutは基準カメラの物理的な位置を表す。物理的な位置とは、ワールド座標系から観察したときの座標位置のことである。Xcはモノクロ撮像部の物理的な位置を表す。Xd,outは基準カメラの画面上方向を指すベクトルである。Yd,outは基準カメラの画面右方向を指すベクトルである。Zd,outは基準カメラの方向を指すベクトルである。Xd,out、Yd,out、Zd,outは方向を表すだけのベクトルであるため、長さは１とする。これらのベクトルを表す座標系には、演算時の基準となる面（基準面）をx-y平面として、高さ方向をz軸とする座標系を用いる。
【００３９】
図７は、基準面の位置をｚ方向に変化させながら、モノクロ撮像部から得られるモノクロ画像を用いて、基準カメラから観察した被写体の三次元データを生成する過程を模式的に示している。z = 0の原点位置から基準面をｚ方向に変化させ、基準カメラのセンサの画素位置に対応するモノクロ画像の画素値を考慮することにより三次元データを算出するのが、上記Plane Sweep法である。
【００４０】
図８は、三次元データの算出手順を示すフローチャートである。
【００４１】
まず、各撮像部の相対位置、センササイズ、センサ画素数、センサピッチ、画角などのカメラパラメータを入力する（ステップＳ８０１）。
【００４２】
次に、基準カメラの仮想センサ上における画素位置Ｐoutを設定する（ステップＳ８０２）。
【００４３】
続いて、画素位置Poutに対応する三次元データを算出するに当たり、基準面の初期高さを設定する（ステップＳ８０３）。ここでは、z = 0となる位置に基準面を設定する。なお、図６では、z = Zbaseの位置に基準面がある場合を示している。
【００４４】
次に、ステップＳ８０４において、画素Poutの延長線上にあり、基準平面上に対応する点の物理的な位置Xpを算出する。位置Xpは、以下の式１〜式４で求められる。
【００４５】
【数１】
【００４６】
【数２】
【００４７】
【数３】
【００４８】
【００４９】
式１において、Xpixelは画素位置Poutの物理的な位置である。式２において、θv,outは基準カメラの垂直半画角である。式３において、Poutは、画素値を決定しようとしている画素Poutの座標である。Pout,centerは、基準カメラの仮想センサの中心座標である。houtは、基準カメラに具備されるセンサの垂直方向の画素数である。式４において、Xp,zおよびXpixel,zは、それぞれXpおよびXpixelのｚ成分である。
【００５０】
次に、参照するｃ番目のモノクロ撮像部（以下、モノクロカメラｃ）を選択し（ステップＳ８０５）、選択されたモノクロ撮像部のセンサ上に対応する画素位置を算出する（ステップＳ８０６）。ステップＳ８０６は、モノクロカメラｃにおいて、位置Xpが写っている仮想センサ上での画素位置Pp,cを求めるステップである。画素位置Pp,cは、以下の式５〜８によって求められる。
【００５１】
【数４】
【００５２】
【数５】
【００５３】
【数６】
【００５４】
【数７】
【００５５】
ここで、式５のXp,c,x、Xp,c,y、Xp,c,zは、それぞれXp,cのｘ、ｙ、ｚ成分である。θh,c、θv,cはモノクロカメラｃの水平半画角と垂直半画角である。式７のXcはモノクロカメラｃの位置である。また、式８のXd,c、Yd,c、Zd,cは、それぞれモノクロカメラｃの上方向、右方向、および向きを表す方向ベクトルである。これらのベクトルの長さは１とする。これら一連の操作は、ビュー変換、射影変換、スクリーン変換と一般に呼ばれる、３つの変換操作をまとめた操作である。
【００５６】
次に、画素位置Pp,cに対応する画素値Ip,cを算出する（ステップＳ８０７）。画素位置Pp,cは、非整数値を持つ可能性があるため、近傍画素の画素値を用いて補間処理などにより画素値Ip,cを求める。補間処理としては線形補間、キュービック補間などを用いることができる。
【００５７】
そして、全てのモノクロカメラについて、位置Xpに対応する画素値の算出が完了したか否かを判定する（ステップＳ８０８）。未処理のモノクロカメラがある場合には、ステップＳ８０９に進み、モノクロカメラｃを変更する。その後、ステップＳ８０６、Ｓ８０７の処理を繰り返し行う。全てのモノクロカメラに対して画素値Ip,cの算出が完了すると、ステップＳ８１０に進み、三次元データを定めるための評価値Ep,zを算出する。評価値Ep,zは式９によって求める。
【００５８】
【数８】
【００５９】
ここで、std()は標準偏差値を求める関数である。式９では、撮像装置に具備される全てのモノクロカメラに対応する画素値Ip,cの標準偏差値を、高さｚにおける基準面の評価値として算出する。
【００６０】
次に、予め規定される全ての高さｚについて評価値Ep,zを算出したか否かを判断し（ステップＳ８１１）、未処理の高さがある場合には、基準面の高さを更新し（ステップＳ８１２）、ステップＳ８０４からステップＳ８１１までの処理を繰り返し行う。
【００６１】
ステップ８１３は、評価値Ep,zを用いて画素Poutにおける高さを決定するステップである。各高さｚにおける評価値Ep,zのうち、最小となる値を示す高さｚを画素Poutにおける高さと規定する。つまり、各モノクロカメラのセンサ上に対応する画素値を算出し、それらの画素値の標準偏差の値が最小となる基準面の高さを、画素Poutにおける高さとする。
【００６２】
次に、基準カメラの仮想センサ上における全画素について高さが決定したか否かを判定し（ステップＳ８１４）、未処理の画素がある場合には画素位置を更新し（ステップＳ８１５）、ステップＳ８０３からステップＳ８１４までの処理を繰り返し行う。
【００６３】
基準カメラの全画素に対して高さが決定されると、画素位置と併せて三次元データとして出力する（ステップＳ８１６）。以上で、三次元データの算出処理が完了する。
【００６４】
なお、図８に示す三次元データの算出処理の過程で導出した評価値Ep,zは、画素値Ip,cの標準偏差値であったが、その他の評価値でも差支えない。一例として、画素値Ip,cをヒストグラムにした場合の最大頻度としてもよい。また、三次元データの算出処理の過程では、撮像装置に具備される全てのモノクロ撮像部を参照したが、具備される一部のモノクロ撮像部を参照する構成でも差支えない。
【００６５】
本実施例１では、図１に示すようなカラー撮像部とモノクロ撮像部の配置となる多眼方式の撮像装置について言及したが、カラー撮像部とモノクロ撮像部の配置、および台数はこの限りではない。
【００６６】
例えば、図９の符号９０１に示すように、３次元データの算出に用いるモノクロ撮像部の台数を図１の構成と比べてさらに増やし、カラー撮像部の台数を減らしても構わない。このようにモノクロ撮像部の台数を増やすと、より精度の高い３次元データの算出が可能となる。また、符号９０２に示すように、モノクロ撮像部の台数を削減しても構わない。更には、符号９０３に示すように、撮像部の左右端部の周辺部にのみモノクロ撮像部を配置する構成でも差支えない。
【００６７】
図１０には、撮像部の台数を減らした構成を備える撮像装置の一例を示す。カラー撮像部、モノクロ撮像部が混在する構成であれば、符号１００１に示すように、撮像部の台数、配置は図１の構成に限定されない。例えば、符号１００２及び符号１００３に示すように、カラー撮像部を１台に削減しても差し支えない。前述のように、モノクロ画像は三次元データの生成時に使用されるため、モノクロ撮像部の間隔は、カラー撮像部の間隔に比べて広く設定することが好ましい。モノクロ撮像部の間隔を広く設定することにより、より高精度な三次元データを得ることが可能となる。
【００６８】
なお、本実施形態では、図３に示すように、カラー撮像部に具備されるセンサ画素数（解像度）とモノクロ撮像部に具備されるセンサ画素数が同一となる構成であったが、カラー撮像部のセンサ画素数とモノクロ撮像部のセンサ画素数が一致しない場合でも構わない。本発明に係る三次元データの算出処理は、その様な場合にも、三次元データの算出処理が成立する構成となっている。モノクロ撮像部のセンサ画素数を相対的に減少させた構成でも差支えない。モノクロ撮像部のセンサ画素数を相対的に減少させることで、撮像装置の筺体サイズを小さくすることができる。
【００６９】
図１１には、モノクロ撮像部のセンサ画素数を、カラー撮像部のセンサ画素数の１／４に設定した例を示している。符号１１０１は、カラー撮像部のセンサとセンサ面に配置されるカラーフィルタを示している。Ｒは赤色領域を透過するフィルタ、Ｇは緑領域を透過するフィルタ、Ｂは青色域を透過するフィルタを表している。符号１１０２は、モノクロ撮像部のセンサを示しており、Ｙが各画素を示している。図１１では、カラー撮像部の４画素に対して、モノクロ撮像部の１画素が対応する形態となっている。それ以外にも、カラー撮像部の９画素に対して、モノクロ撮像部の１画素が対応する形態でも構わない。
【００７０】
以上説明したように、本発明によれば、モノクロ撮像部で撮像されたモノクロ画像から生成した三次元データと、カラー撮像部で撮像されたカラー画像とを合成することにより、高解像度なカラー三次元データを得ることが可能となる。
【００７１】
（その他の実施形態）
上述した実施例の機能（例えば、図５、図８のフローチャートに示す手順を実行する機能）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した本発明の機能を実現することができる。
【技術分野】
【０００１】
本発明は、異なる複数の視点位置から撮像可能な撮像部を有する多眼方式の撮像装置を使用して、被写体カラー三次元データを生成する画像取得方法およびそれを用いた撮像装置、プログラムに関するものである。
【背景技術】
【０００２】
近年、被写体の三次元データを計測し、その被写体のカラー画像と計測値とを合成したカラー三次元画像を用いて、被写体を立体的に可視可能に表示する要求が高まっている。被写体の三次元データを計測する方法の１つには、モノクロ（白黒）のステレオカメラによって撮像された、視差のある複数の画像を用いて、画像間の相関に基づくステレオマッチング処理する方法がある。この方法において、被写体の三次元データの計測精度を向上させるために、視差の異なる３枚以上の画像を使用して、被写体の三次元データを計測する多眼方式が知られている。
【０００３】
また、被写体の三次元データの他に、カラーカメラによって撮像された被写体のカラー画像とステレオマッチングによって得られた被写体の三次元データとを合成して、被写体のカラー三次元画像データを生成する手法が提案されている（例えば、特許文献１参照。）。
【０００４】
特許文献１によると、視差画像を得る撮像装置は、モノクロカメラとカラーカメラを各1台備えるステレオカメラである。カラーカメラで取得されたカラー画像Ｃをモノクロ画像ＧＡに変換した後、モノクロカメラで取得されたモノクロ画像ＧＢとモノクロ画像ＧＡを用いて、ステレオマッチング処理により被写体の三次元データを計測する。計測された被写体の三次元データとカラー画像Ｃとを対応付けることで、被写体のカラー三次元画像データを生成する。
【０００５】
更に、１台の撮像装置の撮像素子上にカラー撮影領域とモノクロ撮像領域を合わせ持ち、被写体のカラー三次元画像データを生成する手法が提案されている（例えば、特許文献２参照。）。特許文献２によると、撮像装置の光軸上で撮像素子の手前にレンズアレイを配置し、１台の撮像装置で視差の異なる画像を生成する構成である。該撮像装置の撮像装置の撮像素子上に設定される複数のモノクロ撮像領域から得られる画像データから被写体の三次元データを算出する。同一の撮像素子上に設定されるカラー撮像領域から被写体のカラー画像を取得する。そして、これらの被写体の三次元データとカラー画像を合成することにより、被写体のカラー三次元画像データを生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１９３２９２号明細書
【特許文献２】特開２００９−２８４１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で提案される手法では、カラーカメラで取得されたカラー画像からモノクロ画像を生成する際には、カラー画像の注目画素の近傍にある、異なる色情報を持つ複数の画素から補間処理によって、輝度値（モノクロ値）を計算によって求めている。したがって、モノクロカメラで得られたモノクロ画像と解像度を合わせようとすると、補間処理による誤差が必然的に発生するために、高精度な三次元データを得ることができない。更に、カラー画像を取得するめには、カラーフィルタを撮像素子上に配置する必要があるため、モノクロカメラで得られる画像と比較すると、画像中に発生するノイズが目立ちやすくなる。このノイズは、ステレオマッチングの精度を低下させるため、獲得したい三次元データの算出精度に影響を及ぼすといった問題が発生する。したがって、特許文献１に記載の手法には、高精度な視差画像を得ることができない課題が存在する。
【０００８】
また、特許文献２で提案される手法では、１台の撮像装置によって視差画像を得るため、視差の大きさが撮像装置の主レンズ、レンズアレイ、並びに撮像素子の大きさに依存するという課題がある。つまり、視差を大きく確保すれば三次元データの推定精度が向上するが、その一方で撮像装置のコストが高くなる問題が発生する。従来の撮像装置で対応すると、視差が十分に確保できずに、高精度な三次元データデータが得られなくなる。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、カラー画像を撮像する撮像部と、モノクロ画像を撮像する複数の撮像部と、前記モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、被写体の三次元データを算出する三次元データ算出部と、前記カラー画像を撮像する撮像部で得られるカラー画像と、前記三次元データとを対応付けたカラー３次元画像データを生成する合成部と、を具備する多眼方式の撮像装置。
【発明の効果】
【００１０】
本発明により、簡単な構成で高精度な三次元データを得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る複数の撮像部を備えた多眼方式の撮像装置の一例を表す図である。
【図２】図１の多眼方式の撮像装置の構成を示すブロック図である。
【図３】撮像部の詳細を説明する図である。
【図４】本発明の実施形態に係る画像処理部２１２の構成を示すブロック図である。
【図５】画像処理の流れを示すフローチャートである。
【図６】センサ上の画素位置における被写体の三次元データを算出する過程を模式的に示した図である。
【図７】被写体の三次元データを算出する過程を模式的に示した図である。
【図８】三次元データ算出処理の流れを示すフローチャートである。
【図９】複数の撮像部を備えた多眼方式の撮像装置のその他の例を表す図である。
【図１０】撮像部の配置が異なる多眼方式の撮像装置の一例を表す図である。
【図１１】モノクロ撮像部のセンサ画素数をカラー撮像部のセンサ画素数よりも相対的に少なくした場合の一例を表す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明における第一実施形態である２５個の撮像部を備えた多眼方式による撮像装置である。図１中の１０１〜１２５は各撮像部を示す。そのうち１０１〜１１７はカラー画像を取得するカラー撮像部であり、１１８〜１２５はモノクロ画像を取得するモノクロ撮像部である。カラー撮像部とモノクロ撮像部の詳細については後述する。１２６は撮影ボタン、１２７は撮像装置の筺体を例示したものである。後述する３次元データの生成時にモノクロ画像が使用されるため、モノクロ撮像部間の間隔は、カラー撮像部間の間隔に比べて広く設定することが好ましい。更に、図１に示すように、撮像部の中心付近、すなわち各撮像部１０１〜１２５が図１のように所定の間隔で配置されているときに中心に配置される撮像部として、カラー撮像部が配置される。例えば、カラー撮像部１０４〜１１４。さらに、それらカラー撮像部１０４〜１１４を取り囲むようにモノクロ撮像部１１８〜１２５が外側に配置される構成がより好ましい。このような構成により、被写体を異なる複数の視点位置から撮像した画像を得ることができる。
【００１３】
図２は、図１の多眼方式の撮像装置を構成する各処理部を示す。カラー撮像部１０１〜１１７及びモノクロ撮像部１１８〜１２５は、被写体の光情報をセンサ（撮像素子）で受光し、A/D変換を実施した後、データ転送経路であるバス２１３にデジタルデータを出力する。
【００１４】
中央処理装置（CPU）２０３は、各構成の処理全てに関わり、ROM２０１やRAM２０２に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ROM２０１とRAM２０２は、その処理に必要なプログラム、データ、作業領域などをCPU２０３に提供する。
【００１５】
操作部２０４は、ボタンやモードダイヤルなどから構成され、入力されたユーザ指示を受け取る。撮像部制御部２０７は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU２０３から指示された撮像系の制御を行う。
【００１６】
デジタル信号処理部１３４は、バス２１３から供給されるデジタルデータにホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。エンコーダ部２０９は、上記デジタルデータをJpegやMpegなどのファイルフォーマットに変換する処理を行う。
【００１７】
外部メモリ制御部２１０は、PCその他メディア２１１（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）に接続するためのインターフェースである。
【００１８】
表示部２０６は、一般的には液晶ディスプレイが広く用いられており、後述の画像処理部２１２から受け取った撮影画像や文字の表示を行う。また、表示部２０６は、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部２０４の入力として扱うことも可能である。表示制御部２０５は、表示部２０６に表示される撮影画像や文字の表示制御を行う。
【００１９】
画像処理部２１２は、撮像部１０１〜１２５から得られたデジタル画像或いは、デジタル信号処理部２０８から出力されるデジタル画像群を利用して画像処理を実施し、その結果をバス２１３へ出力する。なお、同等の機能を備えるように各構成要素を組み合わせることにより、装置の構成要素を上記以外の構成とすることも可能である。なお、本発明の撮像装置は、撮像部１０１〜１２５と画像処理部２１２に特徴を有する。
【００２０】
次に、図３を用いて、撮像部１０１〜１２５の詳細を説明する。図３（ａ）に示すカラー撮像部３１１は、カラー撮像部１０１〜１１７の具体的な構成を示す。
【００２１】
カラー撮像部３１１は、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、iRカットフィルタ３０７、カラーフィルタ３０８、センサ３０９、A/D変換部３１０を備える。
【００２２】
カラー撮像部３１１は、３０１〜３０９に示す構成要素により被写体の光量を検知する。そして、A/D変換部３１０は、検知された被写体の光量をデジタル値に変換する。なお、図３（ｂ）に示すモノクロ撮像部３１２は、カラー撮像部３１２に対して、カラーフィルタ３０８を取り除いた構成となっている。
【００２３】
＜画像処理部の構成図＞
図４は、図２に示す画像処理部２１２の構成を示すブロック図である。画像処理部２１２は、カラー画像取得部４０１、モノクロ画像取得部４０２、三次元データ算出部４０３、カメラパラメータＤＢ４０４、合成部４０５から構成される。
【００２４】
カラー画像取得部４０１は、カラー撮像部１０１〜１１７からバス２１３を経由して供給されるカラー画像群を取得する。本実施例１では、１７台のカラー撮像部１０１〜１１７からそれぞれ１枚のカラー画像が供給される。すなわち、カラー画像取得部４０１は、１７枚のカラー画像を取得する。
【００２５】
モノクロ画像取得部４０２は、バス２１３を経由してモノクロ撮像部１１８〜１２５から供給されるモノクロ画像を取得する。本実施形態では、８台のモノクロ撮像部を有しており、各モノクロ撮像部から１枚のモノクロ画像が供給される。すなわち、モノクロ画像取得部４０２は、８枚のモノクロ画像を取得する。
【００２６】
三次元データ算出部４０３は、モノクロ画像取得部４０２から取得したモノクロ画像群と、図1に示す撮像装置に関わるカメラパラメータを用いて、被写体の三次元データを算出する。なお、該カメラパラメータは、三次元データの算出に先立ってカメラパラメータデータベース（ＤＢ）に格納されているものである。本実施例１で使用するカメラパラメータは、各撮像部の相対位置、センササイズ、センサ画素数、センサピッチ、画角などである。
【００２７】
合成部４０５は、三次元データ算出部４０３で算出された被写体の三次元データと、カラー画像取得部４０１から取得した被写体のカラー画像を対応付けた後、画像データとして合成し、出力する。なお、各処理部はCPU２０３により制御されている。
【００２８】
次に、画像処理部２１２で行なわれる画像処理方法を図５のフローチャートを用いて説明する。まず、モノクロ撮像部１１８〜１２５で撮影されたモノクロ画像群が入力される（ステップＳ５０１）。本実施例１では、各モノクロ撮像部で撮影されたモノクロ画像が各１枚、全体で８枚のモノクロ画像が入力される。
【００２９】
次に、３次元データ算出時の基準となる基準カメラを設定する（ステップＳ５０２）。基準カメラは、カラー撮像部１０１〜１１７のうちの選択された１台のカラー撮像部である。本実施形態では、まず、カラー撮像部１０１を基準カメラに設定する。
【００３０】
次に、基準カメラで撮像されたカラー画像を入力する（ステップＳ５０３）。
【００３１】
次に、ステップＳ５０４において、ステップＳ５０１で入力された複数のモノクロ画像に基づいて基準カメラの画素位置に対応する三次元データを算出する。三次元データの算出方法の詳細については後述する。
【００３２】
三次元データの算出が完了したら、ステップＳ５０３で入力された基準カメラのカラー画像と、ステップＳ５０５で算出された３次元データを合成し、カラー３次元画像データを生成する（ステップＳ５０５）。
【００３３】
次に、全てのカラー撮像部で取得されたカラー画像に対して、三次元データの算出処理が完了したか否かを確認する（ステップＳ５０６）。
【００３４】
未処理のカラー画像がある場合（Ｓ５０６；ＮＯ）には、カラー撮像部１０１〜１１７のうち未選択のカラー撮像部を選択して基準カメラを変更する（ステップＳ５０７）。全ての全てのカラー撮像部で取得されたカラー画像に対して、三次元データの算出処理が完了するまで、ステップＳ５０４からステップＳ５０６までの処理が繰り返し行われる。なお、Ｓ５０７における基準カメラの変更は、例えば、カラー撮像部１０２に対する処理が完了すると、カラー撮像部１０３を基準カメラに設定する。
【００３５】
ステップＳ５０６で、全てのカラー画像に対して三次元データの算出処理が完了したと判断されると（Ｓ５０６；ＹＥＳ）、各カラー撮像部に対する合成データ（カラー三次元画像データ）を出力し（ステップＳ５０８）、全ての画像処理が完了する。
【００３６】
＜三次元データの算出処理＞
Ｓ５０４の三次元データの算出処理では、基準カメラとして選択されたカラー撮像部の各画素位置における三次元データを、モノクロ撮像部にて取得された画像群を用いて算出する。なお、本実施例１で使用する三次元データの算出処理は、Vincent Nozick, Francois de Sorbier and Hideo Saito, ”Plane-Sweep Algorithm: Various Tools for Computer Vision”, IEICE Technical Report, PRMU2007-259，2008年 3月に開示されるPlane Sweep 法に基づいて実施することができる。
【００３７】
図６と図７は、Plane Sweep 法によって三次元データを算出する処理を模式的に示した図である。
【００３８】
図６は、基準カメラの仮想センサ上における画素位置Poutに対応する被写体の三次元データを算出する様子を模式的に示した図である。図６において、Xoutは基準カメラの物理的な位置を表す。物理的な位置とは、ワールド座標系から観察したときの座標位置のことである。Xcはモノクロ撮像部の物理的な位置を表す。Xd,outは基準カメラの画面上方向を指すベクトルである。Yd,outは基準カメラの画面右方向を指すベクトルである。Zd,outは基準カメラの方向を指すベクトルである。Xd,out、Yd,out、Zd,outは方向を表すだけのベクトルであるため、長さは１とする。これらのベクトルを表す座標系には、演算時の基準となる面（基準面）をx-y平面として、高さ方向をz軸とする座標系を用いる。
【００３９】
図７は、基準面の位置をｚ方向に変化させながら、モノクロ撮像部から得られるモノクロ画像を用いて、基準カメラから観察した被写体の三次元データを生成する過程を模式的に示している。z = 0の原点位置から基準面をｚ方向に変化させ、基準カメラのセンサの画素位置に対応するモノクロ画像の画素値を考慮することにより三次元データを算出するのが、上記Plane Sweep法である。
【００４０】
図８は、三次元データの算出手順を示すフローチャートである。
【００４１】
まず、各撮像部の相対位置、センササイズ、センサ画素数、センサピッチ、画角などのカメラパラメータを入力する（ステップＳ８０１）。
【００４２】
次に、基準カメラの仮想センサ上における画素位置Ｐoutを設定する（ステップＳ８０２）。
【００４３】
続いて、画素位置Poutに対応する三次元データを算出するに当たり、基準面の初期高さを設定する（ステップＳ８０３）。ここでは、z = 0となる位置に基準面を設定する。なお、図６では、z = Zbaseの位置に基準面がある場合を示している。
【００４４】
次に、ステップＳ８０４において、画素Poutの延長線上にあり、基準平面上に対応する点の物理的な位置Xpを算出する。位置Xpは、以下の式１〜式４で求められる。
【００４５】
【数１】
【００４６】
【数２】
【００４７】
【数３】
【００４８】
【００４９】
式１において、Xpixelは画素位置Poutの物理的な位置である。式２において、θv,outは基準カメラの垂直半画角である。式３において、Poutは、画素値を決定しようとしている画素Poutの座標である。Pout,centerは、基準カメラの仮想センサの中心座標である。houtは、基準カメラに具備されるセンサの垂直方向の画素数である。式４において、Xp,zおよびXpixel,zは、それぞれXpおよびXpixelのｚ成分である。
【００５０】
次に、参照するｃ番目のモノクロ撮像部（以下、モノクロカメラｃ）を選択し（ステップＳ８０５）、選択されたモノクロ撮像部のセンサ上に対応する画素位置を算出する（ステップＳ８０６）。ステップＳ８０６は、モノクロカメラｃにおいて、位置Xpが写っている仮想センサ上での画素位置Pp,cを求めるステップである。画素位置Pp,cは、以下の式５〜８によって求められる。
【００５１】
【数４】
【００５２】
【数５】
【００５３】
【数６】
【００５４】
【数７】
【００５５】
ここで、式５のXp,c,x、Xp,c,y、Xp,c,zは、それぞれXp,cのｘ、ｙ、ｚ成分である。θh,c、θv,cはモノクロカメラｃの水平半画角と垂直半画角である。式７のXcはモノクロカメラｃの位置である。また、式８のXd,c、Yd,c、Zd,cは、それぞれモノクロカメラｃの上方向、右方向、および向きを表す方向ベクトルである。これらのベクトルの長さは１とする。これら一連の操作は、ビュー変換、射影変換、スクリーン変換と一般に呼ばれる、３つの変換操作をまとめた操作である。
【００５６】
次に、画素位置Pp,cに対応する画素値Ip,cを算出する（ステップＳ８０７）。画素位置Pp,cは、非整数値を持つ可能性があるため、近傍画素の画素値を用いて補間処理などにより画素値Ip,cを求める。補間処理としては線形補間、キュービック補間などを用いることができる。
【００５７】
そして、全てのモノクロカメラについて、位置Xpに対応する画素値の算出が完了したか否かを判定する（ステップＳ８０８）。未処理のモノクロカメラがある場合には、ステップＳ８０９に進み、モノクロカメラｃを変更する。その後、ステップＳ８０６、Ｓ８０７の処理を繰り返し行う。全てのモノクロカメラに対して画素値Ip,cの算出が完了すると、ステップＳ８１０に進み、三次元データを定めるための評価値Ep,zを算出する。評価値Ep,zは式９によって求める。
【００５８】
【数８】
【００５９】
ここで、std()は標準偏差値を求める関数である。式９では、撮像装置に具備される全てのモノクロカメラに対応する画素値Ip,cの標準偏差値を、高さｚにおける基準面の評価値として算出する。
【００６０】
次に、予め規定される全ての高さｚについて評価値Ep,zを算出したか否かを判断し（ステップＳ８１１）、未処理の高さがある場合には、基準面の高さを更新し（ステップＳ８１２）、ステップＳ８０４からステップＳ８１１までの処理を繰り返し行う。
【００６１】
ステップ８１３は、評価値Ep,zを用いて画素Poutにおける高さを決定するステップである。各高さｚにおける評価値Ep,zのうち、最小となる値を示す高さｚを画素Poutにおける高さと規定する。つまり、各モノクロカメラのセンサ上に対応する画素値を算出し、それらの画素値の標準偏差の値が最小となる基準面の高さを、画素Poutにおける高さとする。
【００６２】
次に、基準カメラの仮想センサ上における全画素について高さが決定したか否かを判定し（ステップＳ８１４）、未処理の画素がある場合には画素位置を更新し（ステップＳ８１５）、ステップＳ８０３からステップＳ８１４までの処理を繰り返し行う。
【００６３】
基準カメラの全画素に対して高さが決定されると、画素位置と併せて三次元データとして出力する（ステップＳ８１６）。以上で、三次元データの算出処理が完了する。
【００６４】
なお、図８に示す三次元データの算出処理の過程で導出した評価値Ep,zは、画素値Ip,cの標準偏差値であったが、その他の評価値でも差支えない。一例として、画素値Ip,cをヒストグラムにした場合の最大頻度としてもよい。また、三次元データの算出処理の過程では、撮像装置に具備される全てのモノクロ撮像部を参照したが、具備される一部のモノクロ撮像部を参照する構成でも差支えない。
【００６５】
本実施例１では、図１に示すようなカラー撮像部とモノクロ撮像部の配置となる多眼方式の撮像装置について言及したが、カラー撮像部とモノクロ撮像部の配置、および台数はこの限りではない。
【００６６】
例えば、図９の符号９０１に示すように、３次元データの算出に用いるモノクロ撮像部の台数を図１の構成と比べてさらに増やし、カラー撮像部の台数を減らしても構わない。このようにモノクロ撮像部の台数を増やすと、より精度の高い３次元データの算出が可能となる。また、符号９０２に示すように、モノクロ撮像部の台数を削減しても構わない。更には、符号９０３に示すように、撮像部の左右端部の周辺部にのみモノクロ撮像部を配置する構成でも差支えない。
【００６７】
図１０には、撮像部の台数を減らした構成を備える撮像装置の一例を示す。カラー撮像部、モノクロ撮像部が混在する構成であれば、符号１００１に示すように、撮像部の台数、配置は図１の構成に限定されない。例えば、符号１００２及び符号１００３に示すように、カラー撮像部を１台に削減しても差し支えない。前述のように、モノクロ画像は三次元データの生成時に使用されるため、モノクロ撮像部の間隔は、カラー撮像部の間隔に比べて広く設定することが好ましい。モノクロ撮像部の間隔を広く設定することにより、より高精度な三次元データを得ることが可能となる。
【００６８】
なお、本実施形態では、図３に示すように、カラー撮像部に具備されるセンサ画素数（解像度）とモノクロ撮像部に具備されるセンサ画素数が同一となる構成であったが、カラー撮像部のセンサ画素数とモノクロ撮像部のセンサ画素数が一致しない場合でも構わない。本発明に係る三次元データの算出処理は、その様な場合にも、三次元データの算出処理が成立する構成となっている。モノクロ撮像部のセンサ画素数を相対的に減少させた構成でも差支えない。モノクロ撮像部のセンサ画素数を相対的に減少させることで、撮像装置の筺体サイズを小さくすることができる。
【００６９】
図１１には、モノクロ撮像部のセンサ画素数を、カラー撮像部のセンサ画素数の１／４に設定した例を示している。符号１１０１は、カラー撮像部のセンサとセンサ面に配置されるカラーフィルタを示している。Ｒは赤色領域を透過するフィルタ、Ｇは緑領域を透過するフィルタ、Ｂは青色域を透過するフィルタを表している。符号１１０２は、モノクロ撮像部のセンサを示しており、Ｙが各画素を示している。図１１では、カラー撮像部の４画素に対して、モノクロ撮像部の１画素が対応する形態となっている。それ以外にも、カラー撮像部の９画素に対して、モノクロ撮像部の１画素が対応する形態でも構わない。
【００７０】
以上説明したように、本発明によれば、モノクロ撮像部で撮像されたモノクロ画像から生成した三次元データと、カラー撮像部で撮像されたカラー画像とを合成することにより、高解像度なカラー三次元データを得ることが可能となる。
【００７１】
（その他の実施形態）
上述した実施例の機能（例えば、図５、図８のフローチャートに示す手順を実行する機能）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した本発明の機能を実現することができる。
【特許請求の範囲】
【請求項１】
カラー画像を撮像する撮像部と、
モノクロ画像を撮像する複数の撮像部と、
前記モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、被写体の三次元データを算出する三次元データ算出部と、
前記カラー画像を撮像する撮像部で得られるカラー画像と、前記三次元データとを対応付けたカラー３次元画像データを生成する合成部と、
を具備する多眼方式の撮像装置。
【請求項２】
前記モノクロ画像を撮像する複数の撮像部は、前記カラー画像を撮像する撮像部よりも外側に配置されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記モノクロ画像を撮像する複数の撮像部に具備される撮像素子の画素数は、前記カラー画像を撮像する撮像部に具備される撮像素子の画素数よりも少ないことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
カラー画像を撮像する撮像部とモノクロ画像を撮像する複数の撮像部を有する多眼方式の撮像装置によって得られた画像からカラー三次元画像データを生成する画像処理方法であって、
前記モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、前記被写体の三次元データを算出する三次元データ算出ステップと、
前記カラー画像を撮像する撮像部で得られるカラー画像と、前記三次元データ算出ステップで得られた三次元データとを対応付けて、カラー三次元画像データを生成する合成ステップと、
を具備する画像処理方法。
【請求項５】
前記三次元データは、前記多眼方式の撮像装置のカメラパラメータに基づいて決定されることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記カメラパラメータは、前記多眼方式の撮像装置の各撮像部の相対位置、センササイズ、センサ画素数、センサピッチ、画角のいずれかひとつ以上であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の画像処理方法を、コンピュータに実行させるためのプログラム。
【請求項１】
カラー画像を撮像する撮像部と、
モノクロ画像を撮像する複数の撮像部と、
前記モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、被写体の三次元データを算出する三次元データ算出部と、
前記カラー画像を撮像する撮像部で得られるカラー画像と、前記三次元データとを対応付けたカラー３次元画像データを生成する合成部と、
を具備する多眼方式の撮像装置。
【請求項２】
前記モノクロ画像を撮像する複数の撮像部は、前記カラー画像を撮像する撮像部よりも外側に配置されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記モノクロ画像を撮像する複数の撮像部に具備される撮像素子の画素数は、前記カラー画像を撮像する撮像部に具備される撮像素子の画素数よりも少ないことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
カラー画像を撮像する撮像部とモノクロ画像を撮像する複数の撮像部を有する多眼方式の撮像装置によって得られた画像からカラー三次元画像データを生成する画像処理方法であって、
前記モノクロ画像を撮像する複数の撮像部で得られるモノクロ画像に基づいて、前記被写体の三次元データを算出する三次元データ算出ステップと、
前記カラー画像を撮像する撮像部で得られるカラー画像と、前記三次元データ算出ステップで得られた三次元データとを対応付けて、カラー三次元画像データを生成する合成ステップと、
を具備する画像処理方法。
【請求項５】
前記三次元データは、前記多眼方式の撮像装置のカメラパラメータに基づいて決定されることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記カメラパラメータは、前記多眼方式の撮像装置の各撮像部の相対位置、センササイズ、センサ画素数、センサピッチ、画角のいずれかひとつ以上であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の画像処理方法を、コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２４４５８３（Ｐ２０１２−２４４５８３Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１５９８４（Ｐ２０１１−１１５９８４）
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]