立体物体の撮像装置
【課題】複眼撮像手段によって撮像された複数の個眼像に基づいて再構成画像を作成する立体物体の撮像装置において、精細度の高い再構成画像を得る。
【解決手段】マイクロプロセッサは、複眼撮像装置から複数の個眼像を取得し（Ｓ２１）、画素ごとの距離を算出する（Ｓ２２）。次に、各個眼像から低周波数成分を抽出して低周波数成分個眼像を作成し（Ｓ２３）、元の個眼像から低周波数成分個眼像を減算して高周波数成分個眼像を作成する（Ｓ２４）。さらに、各高周波数成分個眼像を、画素ごとに、固有の画素距離へ再配置して１つの高周波数成分再構成画像を作成し（Ｓ２５）、低周波数成分個眼像の中からノイズの少ない１つの低周波数成分個眼像を選択し（Ｓ２６）、画素ごとに、固有の画素距離へ再配置して１つの低周波数成分逆投影画像を作成する（Ｓ２７）。最後に、高周波数成分再構成画像と低周波数成分逆投影画像を加算して再構成画像を得る（Ｓ２８）。
【解決手段】マイクロプロセッサは、複眼撮像装置から複数の個眼像を取得し（Ｓ２１）、画素ごとの距離を算出する（Ｓ２２）。次に、各個眼像から低周波数成分を抽出して低周波数成分個眼像を作成し（Ｓ２３）、元の個眼像から低周波数成分個眼像を減算して高周波数成分個眼像を作成する（Ｓ２４）。さらに、各高周波数成分個眼像を、画素ごとに、固有の画素距離へ再配置して１つの高周波数成分再構成画像を作成し（Ｓ２５）、低周波数成分個眼像の中からノイズの少ない１つの低周波数成分個眼像を選択し（Ｓ２６）、画素ごとに、固有の画素距離へ再配置して１つの低周波数成分逆投影画像を作成する（Ｓ２７）。最後に、高周波数成分再構成画像と低周波数成分逆投影画像を加算して再構成画像を得る（Ｓ２８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体物体の撮像装置に関し、詳しくは、複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する立体物体の撮像装置に関する。
【背景技術】
【０００２】
複数のマイクロレンズを有する複眼式カメラを用いて取得した複数の個眼像から単一の画像を画像処理によって再構成する装置が知られている（例えば、特許文献１参照）。複眼式カメラは、薄型に構成できる上に容易に明るい像を得ることができるという長所を有する反面、撮像された各個眼像は精細度が低いという欠点を有していることから、複数の個眼像を単一の画像に再構成する画像処理工程において精細度を高めるために相加平均法、擬似逆行列法、画素再配置法等の種々の手法が開発されている。
【０００３】
相加平均法は、個眼像の重心位置を基準として画像を重ね合わせる手法であり、擬似逆行列法は、被写体である物体と個眼像とをベクトルで表現し、光学系の点像分布関数を行列で記述し、点像分布関数の逆行列を数学的に演算することによって１つの再構成画像を作成する手法である。
【０００４】
上記特許文献１には、複数の個眼像を精細度の高い単一の画像に再構成する手法の１つである画素再配置法が開示されている。ここで、特許文献１に記載された画像構成装置について、図１６、１７を参照して簡単に説明する。特許文献１に記載された画像構成装置１００は、図１６に示されるように、複眼式カメラ１０１と、複眼式カメラ１０１によって撮像された画像を処理するプロセッサ１０２から構成され、プロセッサ１０２は、図１７に示されるように、複眼式カメラ１０１によって撮像された各個眼像Ｑ１、Ｑ２、Ｑ３の画素をシフト量（各個眼像間の相対位置のずれ）に応じて少しずつずらして同一領域Ｍ上に再配置する。画像構成装置１００は、各個眼像Ｑ１、Ｑ２、Ｑ３の画素を同一領域Ｍ上に再配置するに際してシフト量を、各個眼像Ｑ１、Ｑ２、Ｑ３間の相関関数に基づいて算出している。
【０００５】
また、被写体に対して移動するカメラによって撮像される複数の画像に基づいて被写体までの距離分布を導出し、導出した距離分布に基づいて被写体の２次元画像を生成する３次元形状抽出装置（例えば、特許文献２参照）や、複数のイメージセンサによって撮像される像における視差に基づいて三角測量の原理により被写体までの距離を導出し、対象とする物体の存在範囲を検出する方法（例えば、特許文献３参照）が知られている。
【０００６】
さらに、ＣＣＤ撮像素子によって撮像された画像における画像領域を、距離センサによって測定された距離分布に基づいて距離ごとに分離し、所定の合成画像を作成する撮影装置（例えば、特許文献４参照）が知られている。
【特許文献１】特開２００５−１６７４８４号公報
【特許文献２】特開平９−１８７０３８号公報
【特許文献３】特許第３５７５１７８号公報
【特許文献４】特開２００１−１６７２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記特許文献１に示された画像構成装置は、画素再配置法を採用して複数の個眼像から２次元画像を再構成するものであり、相加平均法や擬似逆行列法等に比べると精細度の高い再構成画像が得られるが、複数の個眼像を、画素ごとに再配置して２次元画像に再構成するときの再配置平面が、複眼式カメラから一定の距離（物体が元々配置されていた位置）に設定された固定平面であるので、物体が奥行きのある立体物体であるときには、精細度の高い再構成画像を得ることが困難であるし、物体の複眼式カメラからの距離が既知である場合にしか適用できないという欠点があった。
【０００８】
なお、特許文献１には、第２の発明として、物体と複眼式カメラとの距離が未知である場合に、シフト量と、複眼式カメラの各レンズ間距離、レンズの焦点距離等の既知のパラメータから物体と複眼式カメラ間の距離を導出する旨の記載があるが、具体的な距離導出の手法は開示されていない上に、撮像工程とは別の工程において予めパラメータとなる数値を取得しておかなければならないという問題がある。
【０００９】
また、特許文献２に記載の装置は、撮像手段が複眼式カメラではなく、単眼式カメラの移動に伴ってシャッタを複数回切ることによって視点の異なる複数枚の画像を取得するものであるので、物体と撮像手段との間の距離が撮像の都度異なり、精細度の高い再構成画像を得ることができない。
【００１０】
そこで、本発明は、複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する立体物体の撮像装置において、簡素な工程によって容易に精細度の高い再構成画像を得ることができる、立体物体の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１の発明は、複眼撮像手段と、前記複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する画像再構成手段と、を備える立体物体の撮像装置において、前記画像再構成手段は、前記複眼撮像手段から取得した複数の個眼像に基づいて、個眼像を構成する画素ごとの立体物体と前記複眼撮像手段間の距離（以下、画素距離という）を算出する距離算出手段と、前記複数の個眼像を、画素ごとに前記画素距離へ再配置することによって、再構成画像を作成する再構成画像作成手段と、を備えることを特徴とする。
【００１２】
請求項２の発明は、請求項１に記載の発明において、前記再構成画像作成手段は、前記複数の個眼像からそれぞれ高周波数成分を抽出して、複数の高周波数成分個眼像を作成する高周波数成分個眼像作成手段と、前記複数の個眼像からそれぞれ低周波数成分を抽出して、複数の低周波数成分個眼像を作成する低周波数成分個眼像作成手段と、前記高周波数成分個眼像作成手段によって作成された複数の高周波数成分個眼像を、画素ごとに前記画素距離へ再配置することによって高周波数成分再構成画像を作成する高周波数成分再構成画像作成手段と、前記低周波数成分個眼像作成手段によって作成された複数の低周波数成分個眼像の中からノイズの少ない低周波数成分個眼像を選択する画像選択手段と、前記画像選択手段によって選択された低周波数成分個眼像を、画素ごとに前記画素距離へ逆投影することによって低周波数成分逆投影画像を作成する低周波数成分逆投影画像作成手段と、前記高周波数成分再構成画像作成手段によって作成された高周波数成分再構成画像と、前記低周波数成分逆投影画像作成手段によって作成された低周波数成分逆投影画像と、を加算して前記再構成画像を得る加算手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
請求項１の発明によれば、複眼撮像手段によって撮像した複数の個眼像の画素ごとに立体物体と複眼撮像手段との間の距離（以下、画素距離という）を算出し、各個眼像を、画素ごとに画素距離へ再配置するので、簡素な工程によって容易に精細度の高い再構成画像を得ることができる。
【００１４】
請求項２の発明によれば、複眼撮像手段によって撮像した複数の個眼像を、高周波数成分と低周波数成分に分けた上で、それぞれから高周波数成分再構成画像と低周波数成分逆投影画像とを作成し、高周波数成分再構成画像と、最もノイズの少ない低周波数成分逆投影画像とを加算することによって再構成画像を得るので、複眼撮像手段を用いることによって生じがちな低周波数ノイズの影響を低減することができ、さらに精細度の高い再構成画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
（第１の実施形態）
以下、本発明の第１の実施形態に係る立体物体の撮像装置について、図１乃至図１４を参照して説明する。本実施形態の立体物体の撮像装置１は、図１に示されるように、複眼撮像装置２と、複眼撮像装置２によって撮像された画像情報をＡＤ変換器３を介して取込み、取込んだディジタルの画像情報に基づいて画素ごとに立体物体と複眼撮像装置２との間の距離（以下、画素距離という）を算出し、算出した画素距離に基づいて再構成画像を作成するマイクロプロセッサ４を主体とする画像再構成装置５を備える。複眼撮像装置２の前方には、大きさの異なる２個の球状物体Ｓｂ１、Ｓｂ２と、１個の立方体Ｓｃが異なる距離ｄ１、ｄ２、ｄ３に載置されている。
【００１６】
複眼撮像装置２は、同一平面に３行３列のアレイ状に配置された９個（本実施形態では、９個としているが、実際には多い方が望ましい）の光学レンズＬからなる光学レンズアレイ６と、各光学レンズＬの焦点位置にそれぞれ形成される９個の個眼像ｋ１、ｋ２・・ｋ９を撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成された固体撮像素子７と、を備える（図２（ａ）参照）。
【００１７】
ここで、光学レンズアレイ６と、光学レンズアレイ６の前方に置かれた物体と、各光学レンズＬによって形成される固体撮像素子７上の個眼像ｋ１、ｋ２・・ｋ９との位置関係等について、図２（ａ）、（ｂ）を参照して説明する。物体は、説明の都合上２次元平面に倒立した文字「Ａ」が描かれた板状のもの（以下、物体Ａという）とし、光学レンズアレイ６は、図２（ａ）におけるＸＹ平面に平行に配置され、固体撮像素子７は光学レンズアレイ６に平行に配置されている。
【００１８】
物体Ａからの光が、９個の光学レンズＬによって固体撮像素子７上にそれぞれ集光されて３行３列の９個の個眼像ｋ１、ｋ２・・ｋ９を形成する。いま、物体Ａと光学レンズアレイ６との距離をＤ、光学レンズアレイ６と固体撮像素子７との距離（焦点距離）をｆ、物体Ａの縦長（大きさ）をＨ、各個眼像ｋ１、ｋ２・・ｋ９における縦長（大きさ）をｈとすると、ｈ＝Ｈ×ｆ／Ｄが成立する。実際の複眼撮像装置２では、焦点距離ｆが極めて小さな値になり、個眼像の大きさｈも小さな値になる。
【００１９】
また、各個眼像ｋ１、ｋ２・・ｋ９は、互いに視差を有する画像になっている。例えば、中央の光学レンズＬによって形成される個眼像ｋ５と、中央の光学レンズＬに対して左右に位置する光学レンズＬによって形成される個眼像ｋ４、ｋ６とは視点が左右に、光学レンズＬ間の距離ｄずつずれるために、図２（ｂ）に示されるように、互いに左右方向の視差角θを有することになる。ｔａｎθ＝ｄ／Ｄである。
【００２０】
図１に示される画像再構成装置５は、マイクロプロセッサ４と、マイクロプロセッサ４の動作プログラム等を格納したＲＯＭ８と、画像データ等を一時的に記憶するＲＡＭ９と、大規模容量のメモリ１１とを備え、マイクロプロセッサ４は、複眼撮像装置２から取込んだ各個眼像ｋ１、ｋ２・・ｋ９の画像情報に基づいて再構成画像を作成し、液晶パネル等の表示装置１０へ表示する。
【００２１】
次に、マイクロプロセッサ４が実行する再構成画像の作成手順について、図３及び図４のフローチャートを参照して説明する。マイクロプロセッサ４は、図３のフローチャートに示されるように、固体撮像素子７によって撮像された９個の個眼像ｋ１、ｋ２・・ｋ９をディジタルの画像情報として取込み（Ｓ１）、各個眼像ｋ１、ｋ２・・ｋ９に基づいて画素距離を算出し（距離画像を作成し）（Ｓ２）、各個眼像ｋ１、ｋ２・・ｋ９を距離画像に基づいて再配置し、再構成画像を作成する（Ｓ３）。
【００２２】
以下、Ｓ２の画素距離の算出工程について、図４のフローチャート、及び図５乃至図９を参照して詳細に説明する。物体は、ここでは説明の煩雑を避けるために未知の距離Ｄに載置された平面物体Ａ（図２参照）を用いて説明するが、奥行きのある立体物体は、異なった未知の距離Ｄに載置された複数の平面物体が連続したものと考えることができる。
【００２３】
マイクロプロセッサ４は、まず、予め設定された複数の仮距離Ｄｎの中から最初の仮距離Ｄ１を読出してきて設定する（Ｓ１１）。仮距離Ｄｎは、光学レンズアレイ６と物体間の距離Ｄの候補であって、ＲＯＭ８、又はメモリ１１内に離散した値として予め多数記憶されて用意されるが、実際には遠方にある物体ほど視差角θが小さくなって個眼像間のずれに基づく距離判別が困難になるので、光学レンズアレイ６に近い（近距離）領域では比較的短い間隔で多数の仮距離が設定され、光学レンズアレイ６から遠い（遠距離）領域では比較的長い間隔で少数の仮距離が設定される。例えば、仮距離Ｄｎは、指数関数（ｕ＝ａｖ）で定義される離散的なｕの値であってもよい。
【００２４】
次に、マイクロプロセッサ４は、設定した仮距離Ｄ１に基づいて、記憶している９個の個眼像ｋ１、ｋ２・・ｋ９から１つの再構成画像を作成する（Ｓ１２）。この再構成画像作成工程は、特許文献１に記載された画素再配置法と同等の手法により行うことができる。再構成画像作成工程について、図５及び図６を参照して説明する。マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９のｘｙ座標平面における同一座標位置の画素ｇごとに、当該画素ｇの値を光学レンズアレイ６から仮距離Ｄ１の位置にある平面に投影するようにして再配置する（図５参照）。以下の説明では、各個眼像ｋ１、ｋ２・・ｋ９ごとの座標は、ｘｙ座標として示し、２次元平面ＸＹと区別する。
【００２５】
具体的には、マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９の座標（ｘ＝１、ｙ＝１）の位置の画素ｇ（１、１）が、それぞれ対応する光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に配置され、次に座標（ｘ＝２、ｙ＝１）の位置の画素ｇ（２、１）が、それぞれ対応する光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に配置され、・・という工程を繰返して１つの再構成画像Ａｄ１を作成する。従って、作成された再構成画像Ａｄ１における画素ｇ（ｘ、ｙ）に相当する領域Ｇ（ｘ、ｙ）は、図６に示されるように、仮の視差角θ１（ｔａｎθ１＝ｄ／Ｄ１）が反映したずれ量だけずらされて配置された各個眼像ｋ１、ｋ２・・ｋ９からの画素ｇ（ｘ、ｙ）によって構成される。上記のようにして作成された１つの再構成画像Ａｄ１は、メモリ１１等に記憶される。
【００２６】
なお、図５において、未知の距離Ｄにある平面に再構成される場合の再構成画像Ａｄが点線で示される。ここで、仮距離Ｄ１が未知の距離Ｄとずれている場合には、再構成画像Ａｄ１は、再構成画像Ａｄに比べて精細度が劣り、仮距離Ｄ１が未知の距離Ｄに等しい場合には、高い精細度の再構成画像Ａｄ１が得られる。
【００２７】
次に、マイクロプロセッサ４は、仮距離Ｄ１に基づいて、記憶している９個の個眼像ｋ１、ｋ２・・ｋ９から９個の逆投影画像を作成する（Ｓ１３）。この逆投影画像作成工程について、図７及び図８を参照して説明する。代表的に中央の個眼像ｋ５について逆投影画像を作成する工程について説明する。マイクロプロセッサ４は、個眼像ｋ５の画素ｇごとに、当該画素ｇの値を光学レンズアレイ６から仮距離Ｄ１の位置にある平面に投影するようにして作成する（図７）。
【００２８】
具体的には、マイクロプロセッサ４は、図８に示されるように、中央の個眼像ｋ５の座標（ｘ＝１、ｙ＝１）の画素ｇ（１、１）が、中央の光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に拡大して配置され、次に座標（ｘ＝２、ｙ＝１）の画素ｇ（２、１）が、中央の光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に拡大して配置され、・・という工程を繰返して１つの逆投影画像Ａｒｄ１を作成する。従って、作成された逆投影画像Ａｒｄ１における画素ｇ（ｘ、ｙ）に相当する領域Ｇ（ｘ、ｙ）は、１つの画素ｇ（ｘ、ｙ）から構成される。そして、マイクロプロセッサ４は、上記の逆投影画像作成工程を、各個眼像ｋ１、ｋ２・・ｋ９について繰返し、９個の逆投影画像Ａｒｄ１を作成する。作成された９個の逆投影画像Ａｒｄ１は、メモリ１１等に記憶される。
【００２９】
次に、マイクロプロセッサ４は、作成した１つの再構成画像Ａｄ１と、９個の逆投影画像Ａｒｄ１と、に基づいてｘｙ座標の画素ごとに評価値を算出する（Ｓ１４）。具体的には、評価値ＳＳＤ（ｘ、ｙ）は、次の式によって与えられる。
【数１】
この式において、ｉは個眼像の番号、Ｒｉ（ｘ、ｙ）は、ｉ個目の個眼像ｋｉにおける逆投影画像Ａｒｄ１におけるｘｙ座標位置の画素Ｇの値であり、Ｂ（ｘ、ｙ）は、再構成画像Ａｄ１におけるｘｙ座標位置の画素Ｇの値である。ｎは、個眼像の個数であり、本実施形態では９である。
【００３０】
具体的には、マイクロプロセッサ４は、ｘｙ座標の各画素ｇについて、１個目の個眼像ｋ１に関する逆投影画像Ａｒｄ１と再構成画像Ａｄ１との差を二乗して１個目の個眼像ｋ１の逆投影画像Ａｒｄ１についての偏差を算出し、同様にして２個目の個眼像ｋ２の逆投影画像Ａｒｄ２についての偏差を算出し、・・同様にして９個目の個眼像ｋ９の逆投影画像Ａｒｄ９についての偏差を算出し、最後に９個の偏差を合計して評価値ＳＳＤ（ｘ、ｙ）を算出する。算出された評価値ＳＳＤ（ｘ、ｙ）は、ＲＡＭ９等に記憶される。
【００３１】
次に、マイクロプロセッサ４は、Ｓ１１において設定した仮距離Ｄｎが全て終了したか否かを判断し（Ｓ１５）、全て終了していない場合（Ｓ１５でＮＯ）は、再びＳ１１に戻って仮距離Ｄｎを更新する（Ｓ１１）。具体的には、仮距離Ｄ１の設定を仮距離Ｄ２へ更新する。仮距離Ｄ１より仮距離Ｄ２の方が大きい場合には、光学レンズアレイ６からより遠ざかった位置に１つの再構成画像Ａｄ２が作成され（Ｓ１２）、９個の逆投影画像Ａｒｄ２が作成され（Ｓ１３）、評価値ＳＳＤ（ｘ、ｙ）が算出される。
【００３２】
以上の工程を繰返すことによって、メモリ１１内には、仮距離Ｄｎの個数分の評価値ＳＳＤ（ｘ、ｙ）が評価値群として記憶される。メモリ１１内に記憶された評価値群が、図９に模式的に示される。ここで、メモリ１１は、図９に示される各ｘｙ座標位置に対応した評価値ＳＳＤを記憶している。
【００３３】
そして、マイクロプロセッサ４は、Ｓ１５において、全ての仮距離Ｄｎについての評価値ＳＳＤ（ｘ、ｙ）の算出が終了したと判断したときに（Ｓ１５でＹＥＳ）、各ｘｙ座標位置の画素ｇ（ｘ、ｙ）についての評価値ＳＳＤ（ｘ、ｙ）のうち、どの仮距離Ｄｎにおける評価値ＳＳＤ（ｘ、ｙ）が最小であるかを判定し、評価値ＳＳＤ（ｘ、ｙ）が最小になる仮距離Ｄｎを各ｘｙ座標位置の画素ｇについての距離Ｄであるとして決定する（Ｓ１６）。
【００３４】
換言すると、マイクロプロセッサ４は、図９に示された評価値群の中から、ｘｙ座標の各画素ｇについて、ｚ方向に沿って評価値ＳＳＤを検索することによって、評価値ＳＳＤが最小になる仮距離Ｄｎを検出する。最後に、マイクロプロセッサ４は、Ｓ１６において決定したｘｙ座標の各画素ｇに関する距離Ｄを画面の濃淡に変換した距離画像を作成する（Ｓ１７）。
【００３５】
図１０は、撮像される物体が、図１に示されるように、異なる距離に配置された２個の球状物体Ｓｂ１、Ｓｂ２と、１個の立方体Ｓｃである場合の、各個眼像ｋ１、ｋ２・・ｋ９を示す。図１１は、複眼撮像装置２からの距離が、それぞれ球状物体Ｓｂ１がｄ１＝５３ｃｍ、球状物体Ｓｂ２がｄ２＝２３ｃｍ、立方体Ｓｃがｄ３＝３ｃｍである場合において、仮距離Ｄｎが２３ｃｍであるときの再構成画像Ａｄｎを示し、図１２は、上記Ｓ７で導出された距離画像ＰＤを示す。
【００３６】
図１１に示された再構成画像Ａｄｎは、仮距離Ｄｎが球状物体Ｓｂ２の複眼撮像装置２からの距離（２３ｃｍ）と同等の位置に設定されている場合の再構成画像であり、球状物体Ｓｂ２は、高い精細度で再構成されるが、球状物体Ｓｂ１と立方体Ｓｃは、精細度が低い。
【００３７】
また、図１２に示された距離画像ＰＤでは、遠方にある球状物体Ｓｂ１は、距離ｄ１＝５３ｃｍを表す濃色に表示され、中間の位置にある球状物体Ｓｂ２は、距離ｄ２＝２３ｃｍを表す淡色に表示され、極めて近い位置にある立方体Ｓｃは、距離ｄ３＝３ｃｍを表す白色に表示されており、色の濃淡がｘｙ座標の各画素における画素距離ＰＤ（ｘｙ）を表す。
【００３８】
次に、マイクロプロセッサ４は、上記のようにして導出した距離画像ＰＤに基づいて、各個眼像ｋ１、ｋ２・・ｋ９を、画素ｇごとに固有の位置（画素距離）に再配置して再構成画像を作成する（Ｓ３）。この再構成工程を、立体物体が上記の３つの物体Ｓｂ１、Ｓｂ２、Ｓｃである場合を例にとり、かつ各物体Ｓｂ１、Ｓｂ２、Ｓｃを構成する各画素についての画素距離の相違を無視して説明する（各物体Ｓｂ１、Ｓｂ２、Ｓｃは、擬似的に奥行きのない平面物体であるとして説明する）。
【００３９】
マイクロプロセッサ４は、図１４に概念的に示されるように、球状物体Ｓｂ１の画像ＰＳｂ１を距離画像ＰＤに基づいて光学レンズアレイ６から５３ｃｍの距離ｄ１（画素距離）に再配置し、球状物体Ｓｂ２の画像ＰＳｂ２を距離画像ＰＤに基づいて光学レンズアレイ６から２３ｃｍの距離ｄ２（画素距離）に再配置し、立方体Ｓｃの画像ＰＳｃを距離画像ＰＤに基づいて光学レンズアレイ６から３ｃｍの距離ｄ３（画素距離）に再配置する。
【００４０】
換言すると、マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９を、画素ごとに、距離画像ＰＤによって規定される固有の画素距離ＰＤ（ｘｙ）に再配置して再構成画像ＲＰ（図１３）を作成する。従って、作成された再構成画像ＲＰでは、いずれの物体Ｓｂ１、Ｓｂ２、Ｓｃについても焦点が正しく調整されて高い精細度で再構成される。マイクロプロセッサ４は、作成した再構成画像ＲＰを、表示装置１０へ表示する。
【００４１】
なお、本実施形態における画素距離の算出工程（Ｓ２）では、個眼像ｋ１、ｋ２・・ｋ９から再構成された再構成画像Ａｄと、各個眼像ｋ１、ｋ２・・ｋ９から逆投影された逆投影画像Ａｒｄとの偏差から算出された評価値ＳＳＤの大きさに基づいて画素距離ＰＤ（ｘｙ）が算出されたが、画素距離は他の手法によって算出されてもよい。
【００４２】
（第２の実施形態）
次に、第２の実施形態について、図１５を参照して説明する。第２の実施形態は、第１の実施形態に対して、ハード構成が同一であり、マイクロプロセッサ４が実行する再構成画像の作成手順についても画素距離の算出工程（Ｓ２）までが同一である。具体的には、図１５のフローチャートにおける個眼像の取得工程（Ｓ２１）と、画素距離の算出工程（Ｓ２２）は、第１の実施形態における個眼像の取得工程（Ｓ１）と、画素距離の算出工程（Ｓ２）と同一であるので説明を省略し、以下、Ｓ２３以降について説明する。
【００４３】
マイクロプロセッサ４は、Ｓ２１において取得した各個眼像ｋ１、ｋ２・・ｋ９に公知の平滑化フィルタを適用することによって、それぞれ低周波数成分を抽出し、低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９を作成する（Ｓ２３）。次に、マイクロプロセッサ４は、元の各個眼像ｋ１、ｋ２・・ｋ９から、それぞれ低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９を減算して高周波数成分個眼像ｋｈ１、ｋｈ２・・ｋｈ９を作成する（Ｓ２４）。作成された低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９、及び高周波数成分個眼像ｋｈ１、ｋｈ２・・ｋｈ９は、メモリ１１等に記憶される。
【００４４】
さらに、マイクロプロセッサ４は、画素距離の算出工程（Ｓ２２）において取得した距離画像ＰＤに基づいて、高周波数成分個眼像ｋｈ１、ｋｈ２・・ｋｈ９を、画素ごとに各画素距離ＰＤ（ｘｙ）へ再配置することによって１つの高周波数成分再構成画像を作成する（Ｓ２５）。この高周波数成分再構成画像の作成工程は、第１の実施形態における再構成工程（Ｓ３）と同様に、各個眼像ｋｈ１、ｋｈ２・・ｋｈ９を、画素ごとに、距離画像ＰＤによって規定される固有の画素距離ＰＤ（ｘｙ）に再配置する工程である。作成された高周波数成分再構成画像は、メモリ１１に記憶される。
【００４５】
次に、マイクロプロセッサ４は、Ｓ２３において作成した低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９の中から明るさが所定の閾値よりも低いとか、１つの低周波数成分個眼像の中で大きなグラデュエーションがある等のノイズが少ない１つの低周波数成分個眼像を選択する（Ｓ２６）。
【００４６】
ここで、複眼撮像装置２は、光学レンズアレイ６の構造上、周辺の個眼像（例えば、個眼像ｋ１、ｋ３、ｋ７、ｋ９）が、中央の個眼像（例えば、個眼像ｋ５）に比較して暗く（周辺減光という）、マイクロプロセッサ４は、明るさの値、グラデュエーションの程度等を基準にして最も明るく、ノイズの少ない低周波数成分個眼像（例えばｋｌ５）を選択する。そして、マイクロプロセッサ４は、その低周波数成分個眼像ｋｌ５に対して、画素距離の算出工程（Ｓ２２）において取得した距離画像ＰＤに基づいて、画素ごとにその画素距離ＰＤ（ｘｙ）へ逆投影することによって１つの低周波数成分逆投影画像を作成する（Ｓ２７）。作成された低周波数成分逆投影画像は、メモリ１１に記憶される。
【００４７】
最後に、マイクロプロセッサ４は、メモリ１１に記憶された高周波数成分再構成画像と低周波数成分逆投影画像とを読出してきて、両画像を加算して再構成画像とする（Ｓ２８）。この加算工程（Ｓ２８）において、マイクロプロセッサ４は、加算に先立って高周波数成分再構成画像の各画素の値に１以上の係数を掛けておき、高周波数成分再構成画像を強調することによって画像の先鋭化を図ることができる。
【００４８】
以上のように、第２の実施形態の立体物体の撮像装置では、複眼撮像装置２によって撮像した複数の個眼像ｋ１、ｋ２・・ｋ９を、高周波数成分と低周波数成分に分けた上で、それぞれの成分から高周波数成分再構成画像と低周波数成分個眼像とを作成し、最もノイズの少ない低周波数成分個眼像（例えば、個眼像ｋｌ５）から作成した低周波数成分逆投影画像と高周波数成分再構成画像を加算することによって再構成画像を得るので、複眼撮像装置２を用いることによって生じがちな周辺減光等の影響を低減することができて、さらに精細度の高い再構成画像を得ることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施形態に係る立体物体の撮像装置の概略構成を示すブロック図。
【図２】（ａ）は同立体物体の撮像装置における物体と光学レンズアレイと個眼像との位置関係を示す斜視説明図、（ｂ）は同立体物体の撮像装置における物体と光学レンズアレイと個眼像との位置関係を示す平面説明図。
【図３】同立体物体の撮像装置における再構成画像の作成手順を示すフローチャート。
【図４】同立体物体の撮像装置における距離算出手順のフローチャート。
【図５】同立体物体の撮像装置における再構成画像の作成原理を示す斜視説明図。
【図６】同立体物体の撮像装置における再構成画像の作成原理を示す説明図。
【図７】同立体物体の撮像装置における逆投影画像の作成原理を示す斜視説明図。
【図８】同立体物体の撮像装置における逆投影画像の作成原理を示す説明図。
【図９】同立体物体の撮像装置においてメモリに蓄積される評価値データの説明図。
【図１０】同立体物体の撮像装置において複眼撮像装置によって撮像された個眼像の例を示す図。
【図１１】同立体物体の撮像装置における１つの仮距離が設定されたときの再構成画像の例を示す図。
【図１２】同立体物体の撮像装置における距離画像の例を示す図。
【図１３】同立体物体の撮像装置における距離画像に基いて作成された再構成画像の例を示す図。
【図１４】同立体物体の撮像装置における立体物体が３つであるときの再構成画像の作成原理を示す斜視説明図。
【図１５】本発明の第２の実施形態に係る立体物体の撮像装置における再構成画像の作成手順を示すフローチャート。
【図１６】従来の画像構成装置における概略構成を示すブロック図。
【図１７】同従来の画像構成装置における画像の再構成手法を示す説明図。
【符号の説明】
【００５０】
１ 立体物体の撮像装置
２ 複眼撮像装置（複眼撮像手段）
４ マイクロプロセッサ（距離算出手段、再構成画像作成手段、高周波数成分個眼像作成手段、低周波数成分個眼像作成手段、高周波数成分再構成画像作成手段、画像選択手段、低周波数成分逆投影画像作成手段、加算手段）
５ 画像再構成装置（画像再構成手段）
Ａ 物体
Ａｄｎ 再構成画像
Ａｒｄｎ 逆投影画像
Ｄ 距離
ＰＤ 距離画像（画素距離）
Ｓｂ１、Ｓｂ２ 球状物体（立体物体）
Ｓｃ 立方体（立体物体）
ｇ 画素
ｋ１、ｋ２、・・ｋ９ 個眼像
【技術分野】
【０００１】
本発明は、立体物体の撮像装置に関し、詳しくは、複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する立体物体の撮像装置に関する。
【背景技術】
【０００２】
複数のマイクロレンズを有する複眼式カメラを用いて取得した複数の個眼像から単一の画像を画像処理によって再構成する装置が知られている（例えば、特許文献１参照）。複眼式カメラは、薄型に構成できる上に容易に明るい像を得ることができるという長所を有する反面、撮像された各個眼像は精細度が低いという欠点を有していることから、複数の個眼像を単一の画像に再構成する画像処理工程において精細度を高めるために相加平均法、擬似逆行列法、画素再配置法等の種々の手法が開発されている。
【０００３】
相加平均法は、個眼像の重心位置を基準として画像を重ね合わせる手法であり、擬似逆行列法は、被写体である物体と個眼像とをベクトルで表現し、光学系の点像分布関数を行列で記述し、点像分布関数の逆行列を数学的に演算することによって１つの再構成画像を作成する手法である。
【０００４】
上記特許文献１には、複数の個眼像を精細度の高い単一の画像に再構成する手法の１つである画素再配置法が開示されている。ここで、特許文献１に記載された画像構成装置について、図１６、１７を参照して簡単に説明する。特許文献１に記載された画像構成装置１００は、図１６に示されるように、複眼式カメラ１０１と、複眼式カメラ１０１によって撮像された画像を処理するプロセッサ１０２から構成され、プロセッサ１０２は、図１７に示されるように、複眼式カメラ１０１によって撮像された各個眼像Ｑ１、Ｑ２、Ｑ３の画素をシフト量（各個眼像間の相対位置のずれ）に応じて少しずつずらして同一領域Ｍ上に再配置する。画像構成装置１００は、各個眼像Ｑ１、Ｑ２、Ｑ３の画素を同一領域Ｍ上に再配置するに際してシフト量を、各個眼像Ｑ１、Ｑ２、Ｑ３間の相関関数に基づいて算出している。
【０００５】
また、被写体に対して移動するカメラによって撮像される複数の画像に基づいて被写体までの距離分布を導出し、導出した距離分布に基づいて被写体の２次元画像を生成する３次元形状抽出装置（例えば、特許文献２参照）や、複数のイメージセンサによって撮像される像における視差に基づいて三角測量の原理により被写体までの距離を導出し、対象とする物体の存在範囲を検出する方法（例えば、特許文献３参照）が知られている。
【０００６】
さらに、ＣＣＤ撮像素子によって撮像された画像における画像領域を、距離センサによって測定された距離分布に基づいて距離ごとに分離し、所定の合成画像を作成する撮影装置（例えば、特許文献４参照）が知られている。
【特許文献１】特開２００５−１６７４８４号公報
【特許文献２】特開平９−１８７０３８号公報
【特許文献３】特許第３５７５１７８号公報
【特許文献４】特開２００１−１６７２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、上記特許文献１に示された画像構成装置は、画素再配置法を採用して複数の個眼像から２次元画像を再構成するものであり、相加平均法や擬似逆行列法等に比べると精細度の高い再構成画像が得られるが、複数の個眼像を、画素ごとに再配置して２次元画像に再構成するときの再配置平面が、複眼式カメラから一定の距離（物体が元々配置されていた位置）に設定された固定平面であるので、物体が奥行きのある立体物体であるときには、精細度の高い再構成画像を得ることが困難であるし、物体の複眼式カメラからの距離が既知である場合にしか適用できないという欠点があった。
【０００８】
なお、特許文献１には、第２の発明として、物体と複眼式カメラとの距離が未知である場合に、シフト量と、複眼式カメラの各レンズ間距離、レンズの焦点距離等の既知のパラメータから物体と複眼式カメラ間の距離を導出する旨の記載があるが、具体的な距離導出の手法は開示されていない上に、撮像工程とは別の工程において予めパラメータとなる数値を取得しておかなければならないという問題がある。
【０００９】
また、特許文献２に記載の装置は、撮像手段が複眼式カメラではなく、単眼式カメラの移動に伴ってシャッタを複数回切ることによって視点の異なる複数枚の画像を取得するものであるので、物体と撮像手段との間の距離が撮像の都度異なり、精細度の高い再構成画像を得ることができない。
【００１０】
そこで、本発明は、複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する立体物体の撮像装置において、簡素な工程によって容易に精細度の高い再構成画像を得ることができる、立体物体の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、請求項１の発明は、複眼撮像手段と、前記複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する画像再構成手段と、を備える立体物体の撮像装置において、前記画像再構成手段は、前記複眼撮像手段から取得した複数の個眼像に基づいて、個眼像を構成する画素ごとの立体物体と前記複眼撮像手段間の距離（以下、画素距離という）を算出する距離算出手段と、前記複数の個眼像を、画素ごとに前記画素距離へ再配置することによって、再構成画像を作成する再構成画像作成手段と、を備えることを特徴とする。
【００１２】
請求項２の発明は、請求項１に記載の発明において、前記再構成画像作成手段は、前記複数の個眼像からそれぞれ高周波数成分を抽出して、複数の高周波数成分個眼像を作成する高周波数成分個眼像作成手段と、前記複数の個眼像からそれぞれ低周波数成分を抽出して、複数の低周波数成分個眼像を作成する低周波数成分個眼像作成手段と、前記高周波数成分個眼像作成手段によって作成された複数の高周波数成分個眼像を、画素ごとに前記画素距離へ再配置することによって高周波数成分再構成画像を作成する高周波数成分再構成画像作成手段と、前記低周波数成分個眼像作成手段によって作成された複数の低周波数成分個眼像の中からノイズの少ない低周波数成分個眼像を選択する画像選択手段と、前記画像選択手段によって選択された低周波数成分個眼像を、画素ごとに前記画素距離へ逆投影することによって低周波数成分逆投影画像を作成する低周波数成分逆投影画像作成手段と、前記高周波数成分再構成画像作成手段によって作成された高周波数成分再構成画像と、前記低周波数成分逆投影画像作成手段によって作成された低周波数成分逆投影画像と、を加算して前記再構成画像を得る加算手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
請求項１の発明によれば、複眼撮像手段によって撮像した複数の個眼像の画素ごとに立体物体と複眼撮像手段との間の距離（以下、画素距離という）を算出し、各個眼像を、画素ごとに画素距離へ再配置するので、簡素な工程によって容易に精細度の高い再構成画像を得ることができる。
【００１４】
請求項２の発明によれば、複眼撮像手段によって撮像した複数の個眼像を、高周波数成分と低周波数成分に分けた上で、それぞれから高周波数成分再構成画像と低周波数成分逆投影画像とを作成し、高周波数成分再構成画像と、最もノイズの少ない低周波数成分逆投影画像とを加算することによって再構成画像を得るので、複眼撮像手段を用いることによって生じがちな低周波数ノイズの影響を低減することができ、さらに精細度の高い再構成画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
（第１の実施形態）
以下、本発明の第１の実施形態に係る立体物体の撮像装置について、図１乃至図１４を参照して説明する。本実施形態の立体物体の撮像装置１は、図１に示されるように、複眼撮像装置２と、複眼撮像装置２によって撮像された画像情報をＡＤ変換器３を介して取込み、取込んだディジタルの画像情報に基づいて画素ごとに立体物体と複眼撮像装置２との間の距離（以下、画素距離という）を算出し、算出した画素距離に基づいて再構成画像を作成するマイクロプロセッサ４を主体とする画像再構成装置５を備える。複眼撮像装置２の前方には、大きさの異なる２個の球状物体Ｓｂ１、Ｓｂ２と、１個の立方体Ｓｃが異なる距離ｄ１、ｄ２、ｄ３に載置されている。
【００１６】
複眼撮像装置２は、同一平面に３行３列のアレイ状に配置された９個（本実施形態では、９個としているが、実際には多い方が望ましい）の光学レンズＬからなる光学レンズアレイ６と、各光学レンズＬの焦点位置にそれぞれ形成される９個の個眼像ｋ１、ｋ２・・ｋ９を撮像するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサから構成された固体撮像素子７と、を備える（図２（ａ）参照）。
【００１７】
ここで、光学レンズアレイ６と、光学レンズアレイ６の前方に置かれた物体と、各光学レンズＬによって形成される固体撮像素子７上の個眼像ｋ１、ｋ２・・ｋ９との位置関係等について、図２（ａ）、（ｂ）を参照して説明する。物体は、説明の都合上２次元平面に倒立した文字「Ａ」が描かれた板状のもの（以下、物体Ａという）とし、光学レンズアレイ６は、図２（ａ）におけるＸＹ平面に平行に配置され、固体撮像素子７は光学レンズアレイ６に平行に配置されている。
【００１８】
物体Ａからの光が、９個の光学レンズＬによって固体撮像素子７上にそれぞれ集光されて３行３列の９個の個眼像ｋ１、ｋ２・・ｋ９を形成する。いま、物体Ａと光学レンズアレイ６との距離をＤ、光学レンズアレイ６と固体撮像素子７との距離（焦点距離）をｆ、物体Ａの縦長（大きさ）をＨ、各個眼像ｋ１、ｋ２・・ｋ９における縦長（大きさ）をｈとすると、ｈ＝Ｈ×ｆ／Ｄが成立する。実際の複眼撮像装置２では、焦点距離ｆが極めて小さな値になり、個眼像の大きさｈも小さな値になる。
【００１９】
また、各個眼像ｋ１、ｋ２・・ｋ９は、互いに視差を有する画像になっている。例えば、中央の光学レンズＬによって形成される個眼像ｋ５と、中央の光学レンズＬに対して左右に位置する光学レンズＬによって形成される個眼像ｋ４、ｋ６とは視点が左右に、光学レンズＬ間の距離ｄずつずれるために、図２（ｂ）に示されるように、互いに左右方向の視差角θを有することになる。ｔａｎθ＝ｄ／Ｄである。
【００２０】
図１に示される画像再構成装置５は、マイクロプロセッサ４と、マイクロプロセッサ４の動作プログラム等を格納したＲＯＭ８と、画像データ等を一時的に記憶するＲＡＭ９と、大規模容量のメモリ１１とを備え、マイクロプロセッサ４は、複眼撮像装置２から取込んだ各個眼像ｋ１、ｋ２・・ｋ９の画像情報に基づいて再構成画像を作成し、液晶パネル等の表示装置１０へ表示する。
【００２１】
次に、マイクロプロセッサ４が実行する再構成画像の作成手順について、図３及び図４のフローチャートを参照して説明する。マイクロプロセッサ４は、図３のフローチャートに示されるように、固体撮像素子７によって撮像された９個の個眼像ｋ１、ｋ２・・ｋ９をディジタルの画像情報として取込み（Ｓ１）、各個眼像ｋ１、ｋ２・・ｋ９に基づいて画素距離を算出し（距離画像を作成し）（Ｓ２）、各個眼像ｋ１、ｋ２・・ｋ９を距離画像に基づいて再配置し、再構成画像を作成する（Ｓ３）。
【００２２】
以下、Ｓ２の画素距離の算出工程について、図４のフローチャート、及び図５乃至図９を参照して詳細に説明する。物体は、ここでは説明の煩雑を避けるために未知の距離Ｄに載置された平面物体Ａ（図２参照）を用いて説明するが、奥行きのある立体物体は、異なった未知の距離Ｄに載置された複数の平面物体が連続したものと考えることができる。
【００２３】
マイクロプロセッサ４は、まず、予め設定された複数の仮距離Ｄｎの中から最初の仮距離Ｄ１を読出してきて設定する（Ｓ１１）。仮距離Ｄｎは、光学レンズアレイ６と物体間の距離Ｄの候補であって、ＲＯＭ８、又はメモリ１１内に離散した値として予め多数記憶されて用意されるが、実際には遠方にある物体ほど視差角θが小さくなって個眼像間のずれに基づく距離判別が困難になるので、光学レンズアレイ６に近い（近距離）領域では比較的短い間隔で多数の仮距離が設定され、光学レンズアレイ６から遠い（遠距離）領域では比較的長い間隔で少数の仮距離が設定される。例えば、仮距離Ｄｎは、指数関数（ｕ＝ａｖ）で定義される離散的なｕの値であってもよい。
【００２４】
次に、マイクロプロセッサ４は、設定した仮距離Ｄ１に基づいて、記憶している９個の個眼像ｋ１、ｋ２・・ｋ９から１つの再構成画像を作成する（Ｓ１２）。この再構成画像作成工程は、特許文献１に記載された画素再配置法と同等の手法により行うことができる。再構成画像作成工程について、図５及び図６を参照して説明する。マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９のｘｙ座標平面における同一座標位置の画素ｇごとに、当該画素ｇの値を光学レンズアレイ６から仮距離Ｄ１の位置にある平面に投影するようにして再配置する（図５参照）。以下の説明では、各個眼像ｋ１、ｋ２・・ｋ９ごとの座標は、ｘｙ座標として示し、２次元平面ＸＹと区別する。
【００２５】
具体的には、マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９の座標（ｘ＝１、ｙ＝１）の位置の画素ｇ（１、１）が、それぞれ対応する光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に配置され、次に座標（ｘ＝２、ｙ＝１）の位置の画素ｇ（２、１）が、それぞれ対応する光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に配置され、・・という工程を繰返して１つの再構成画像Ａｄ１を作成する。従って、作成された再構成画像Ａｄ１における画素ｇ（ｘ、ｙ）に相当する領域Ｇ（ｘ、ｙ）は、図６に示されるように、仮の視差角θ１（ｔａｎθ１＝ｄ／Ｄ１）が反映したずれ量だけずらされて配置された各個眼像ｋ１、ｋ２・・ｋ９からの画素ｇ（ｘ、ｙ）によって構成される。上記のようにして作成された１つの再構成画像Ａｄ１は、メモリ１１等に記憶される。
【００２６】
なお、図５において、未知の距離Ｄにある平面に再構成される場合の再構成画像Ａｄが点線で示される。ここで、仮距離Ｄ１が未知の距離Ｄとずれている場合には、再構成画像Ａｄ１は、再構成画像Ａｄに比べて精細度が劣り、仮距離Ｄ１が未知の距離Ｄに等しい場合には、高い精細度の再構成画像Ａｄ１が得られる。
【００２７】
次に、マイクロプロセッサ４は、仮距離Ｄ１に基づいて、記憶している９個の個眼像ｋ１、ｋ２・・ｋ９から９個の逆投影画像を作成する（Ｓ１３）。この逆投影画像作成工程について、図７及び図８を参照して説明する。代表的に中央の個眼像ｋ５について逆投影画像を作成する工程について説明する。マイクロプロセッサ４は、個眼像ｋ５の画素ｇごとに、当該画素ｇの値を光学レンズアレイ６から仮距離Ｄ１の位置にある平面に投影するようにして作成する（図７）。
【００２８】
具体的には、マイクロプロセッサ４は、図８に示されるように、中央の個眼像ｋ５の座標（ｘ＝１、ｙ＝１）の画素ｇ（１、１）が、中央の光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に拡大して配置され、次に座標（ｘ＝２、ｙ＝１）の画素ｇ（２、１）が、中央の光学レンズＬの集光路を逆に辿って仮距離Ｄ１の位置にある平面に拡大して配置され、・・という工程を繰返して１つの逆投影画像Ａｒｄ１を作成する。従って、作成された逆投影画像Ａｒｄ１における画素ｇ（ｘ、ｙ）に相当する領域Ｇ（ｘ、ｙ）は、１つの画素ｇ（ｘ、ｙ）から構成される。そして、マイクロプロセッサ４は、上記の逆投影画像作成工程を、各個眼像ｋ１、ｋ２・・ｋ９について繰返し、９個の逆投影画像Ａｒｄ１を作成する。作成された９個の逆投影画像Ａｒｄ１は、メモリ１１等に記憶される。
【００２９】
次に、マイクロプロセッサ４は、作成した１つの再構成画像Ａｄ１と、９個の逆投影画像Ａｒｄ１と、に基づいてｘｙ座標の画素ごとに評価値を算出する（Ｓ１４）。具体的には、評価値ＳＳＤ（ｘ、ｙ）は、次の式によって与えられる。
【数１】
この式において、ｉは個眼像の番号、Ｒｉ（ｘ、ｙ）は、ｉ個目の個眼像ｋｉにおける逆投影画像Ａｒｄ１におけるｘｙ座標位置の画素Ｇの値であり、Ｂ（ｘ、ｙ）は、再構成画像Ａｄ１におけるｘｙ座標位置の画素Ｇの値である。ｎは、個眼像の個数であり、本実施形態では９である。
【００３０】
具体的には、マイクロプロセッサ４は、ｘｙ座標の各画素ｇについて、１個目の個眼像ｋ１に関する逆投影画像Ａｒｄ１と再構成画像Ａｄ１との差を二乗して１個目の個眼像ｋ１の逆投影画像Ａｒｄ１についての偏差を算出し、同様にして２個目の個眼像ｋ２の逆投影画像Ａｒｄ２についての偏差を算出し、・・同様にして９個目の個眼像ｋ９の逆投影画像Ａｒｄ９についての偏差を算出し、最後に９個の偏差を合計して評価値ＳＳＤ（ｘ、ｙ）を算出する。算出された評価値ＳＳＤ（ｘ、ｙ）は、ＲＡＭ９等に記憶される。
【００３１】
次に、マイクロプロセッサ４は、Ｓ１１において設定した仮距離Ｄｎが全て終了したか否かを判断し（Ｓ１５）、全て終了していない場合（Ｓ１５でＮＯ）は、再びＳ１１に戻って仮距離Ｄｎを更新する（Ｓ１１）。具体的には、仮距離Ｄ１の設定を仮距離Ｄ２へ更新する。仮距離Ｄ１より仮距離Ｄ２の方が大きい場合には、光学レンズアレイ６からより遠ざかった位置に１つの再構成画像Ａｄ２が作成され（Ｓ１２）、９個の逆投影画像Ａｒｄ２が作成され（Ｓ１３）、評価値ＳＳＤ（ｘ、ｙ）が算出される。
【００３２】
以上の工程を繰返すことによって、メモリ１１内には、仮距離Ｄｎの個数分の評価値ＳＳＤ（ｘ、ｙ）が評価値群として記憶される。メモリ１１内に記憶された評価値群が、図９に模式的に示される。ここで、メモリ１１は、図９に示される各ｘｙ座標位置に対応した評価値ＳＳＤを記憶している。
【００３３】
そして、マイクロプロセッサ４は、Ｓ１５において、全ての仮距離Ｄｎについての評価値ＳＳＤ（ｘ、ｙ）の算出が終了したと判断したときに（Ｓ１５でＹＥＳ）、各ｘｙ座標位置の画素ｇ（ｘ、ｙ）についての評価値ＳＳＤ（ｘ、ｙ）のうち、どの仮距離Ｄｎにおける評価値ＳＳＤ（ｘ、ｙ）が最小であるかを判定し、評価値ＳＳＤ（ｘ、ｙ）が最小になる仮距離Ｄｎを各ｘｙ座標位置の画素ｇについての距離Ｄであるとして決定する（Ｓ１６）。
【００３４】
換言すると、マイクロプロセッサ４は、図９に示された評価値群の中から、ｘｙ座標の各画素ｇについて、ｚ方向に沿って評価値ＳＳＤを検索することによって、評価値ＳＳＤが最小になる仮距離Ｄｎを検出する。最後に、マイクロプロセッサ４は、Ｓ１６において決定したｘｙ座標の各画素ｇに関する距離Ｄを画面の濃淡に変換した距離画像を作成する（Ｓ１７）。
【００３５】
図１０は、撮像される物体が、図１に示されるように、異なる距離に配置された２個の球状物体Ｓｂ１、Ｓｂ２と、１個の立方体Ｓｃである場合の、各個眼像ｋ１、ｋ２・・ｋ９を示す。図１１は、複眼撮像装置２からの距離が、それぞれ球状物体Ｓｂ１がｄ１＝５３ｃｍ、球状物体Ｓｂ２がｄ２＝２３ｃｍ、立方体Ｓｃがｄ３＝３ｃｍである場合において、仮距離Ｄｎが２３ｃｍであるときの再構成画像Ａｄｎを示し、図１２は、上記Ｓ７で導出された距離画像ＰＤを示す。
【００３６】
図１１に示された再構成画像Ａｄｎは、仮距離Ｄｎが球状物体Ｓｂ２の複眼撮像装置２からの距離（２３ｃｍ）と同等の位置に設定されている場合の再構成画像であり、球状物体Ｓｂ２は、高い精細度で再構成されるが、球状物体Ｓｂ１と立方体Ｓｃは、精細度が低い。
【００３７】
また、図１２に示された距離画像ＰＤでは、遠方にある球状物体Ｓｂ１は、距離ｄ１＝５３ｃｍを表す濃色に表示され、中間の位置にある球状物体Ｓｂ２は、距離ｄ２＝２３ｃｍを表す淡色に表示され、極めて近い位置にある立方体Ｓｃは、距離ｄ３＝３ｃｍを表す白色に表示されており、色の濃淡がｘｙ座標の各画素における画素距離ＰＤ（ｘｙ）を表す。
【００３８】
次に、マイクロプロセッサ４は、上記のようにして導出した距離画像ＰＤに基づいて、各個眼像ｋ１、ｋ２・・ｋ９を、画素ｇごとに固有の位置（画素距離）に再配置して再構成画像を作成する（Ｓ３）。この再構成工程を、立体物体が上記の３つの物体Ｓｂ１、Ｓｂ２、Ｓｃである場合を例にとり、かつ各物体Ｓｂ１、Ｓｂ２、Ｓｃを構成する各画素についての画素距離の相違を無視して説明する（各物体Ｓｂ１、Ｓｂ２、Ｓｃは、擬似的に奥行きのない平面物体であるとして説明する）。
【００３９】
マイクロプロセッサ４は、図１４に概念的に示されるように、球状物体Ｓｂ１の画像ＰＳｂ１を距離画像ＰＤに基づいて光学レンズアレイ６から５３ｃｍの距離ｄ１（画素距離）に再配置し、球状物体Ｓｂ２の画像ＰＳｂ２を距離画像ＰＤに基づいて光学レンズアレイ６から２３ｃｍの距離ｄ２（画素距離）に再配置し、立方体Ｓｃの画像ＰＳｃを距離画像ＰＤに基づいて光学レンズアレイ６から３ｃｍの距離ｄ３（画素距離）に再配置する。
【００４０】
換言すると、マイクロプロセッサ４は、各個眼像ｋ１、ｋ２・・ｋ９を、画素ごとに、距離画像ＰＤによって規定される固有の画素距離ＰＤ（ｘｙ）に再配置して再構成画像ＲＰ（図１３）を作成する。従って、作成された再構成画像ＲＰでは、いずれの物体Ｓｂ１、Ｓｂ２、Ｓｃについても焦点が正しく調整されて高い精細度で再構成される。マイクロプロセッサ４は、作成した再構成画像ＲＰを、表示装置１０へ表示する。
【００４１】
なお、本実施形態における画素距離の算出工程（Ｓ２）では、個眼像ｋ１、ｋ２・・ｋ９から再構成された再構成画像Ａｄと、各個眼像ｋ１、ｋ２・・ｋ９から逆投影された逆投影画像Ａｒｄとの偏差から算出された評価値ＳＳＤの大きさに基づいて画素距離ＰＤ（ｘｙ）が算出されたが、画素距離は他の手法によって算出されてもよい。
【００４２】
（第２の実施形態）
次に、第２の実施形態について、図１５を参照して説明する。第２の実施形態は、第１の実施形態に対して、ハード構成が同一であり、マイクロプロセッサ４が実行する再構成画像の作成手順についても画素距離の算出工程（Ｓ２）までが同一である。具体的には、図１５のフローチャートにおける個眼像の取得工程（Ｓ２１）と、画素距離の算出工程（Ｓ２２）は、第１の実施形態における個眼像の取得工程（Ｓ１）と、画素距離の算出工程（Ｓ２）と同一であるので説明を省略し、以下、Ｓ２３以降について説明する。
【００４３】
マイクロプロセッサ４は、Ｓ２１において取得した各個眼像ｋ１、ｋ２・・ｋ９に公知の平滑化フィルタを適用することによって、それぞれ低周波数成分を抽出し、低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９を作成する（Ｓ２３）。次に、マイクロプロセッサ４は、元の各個眼像ｋ１、ｋ２・・ｋ９から、それぞれ低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９を減算して高周波数成分個眼像ｋｈ１、ｋｈ２・・ｋｈ９を作成する（Ｓ２４）。作成された低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９、及び高周波数成分個眼像ｋｈ１、ｋｈ２・・ｋｈ９は、メモリ１１等に記憶される。
【００４４】
さらに、マイクロプロセッサ４は、画素距離の算出工程（Ｓ２２）において取得した距離画像ＰＤに基づいて、高周波数成分個眼像ｋｈ１、ｋｈ２・・ｋｈ９を、画素ごとに各画素距離ＰＤ（ｘｙ）へ再配置することによって１つの高周波数成分再構成画像を作成する（Ｓ２５）。この高周波数成分再構成画像の作成工程は、第１の実施形態における再構成工程（Ｓ３）と同様に、各個眼像ｋｈ１、ｋｈ２・・ｋｈ９を、画素ごとに、距離画像ＰＤによって規定される固有の画素距離ＰＤ（ｘｙ）に再配置する工程である。作成された高周波数成分再構成画像は、メモリ１１に記憶される。
【００４５】
次に、マイクロプロセッサ４は、Ｓ２３において作成した低周波数成分個眼像ｋｌ１、ｋｌ２・・ｋｌ９の中から明るさが所定の閾値よりも低いとか、１つの低周波数成分個眼像の中で大きなグラデュエーションがある等のノイズが少ない１つの低周波数成分個眼像を選択する（Ｓ２６）。
【００４６】
ここで、複眼撮像装置２は、光学レンズアレイ６の構造上、周辺の個眼像（例えば、個眼像ｋ１、ｋ３、ｋ７、ｋ９）が、中央の個眼像（例えば、個眼像ｋ５）に比較して暗く（周辺減光という）、マイクロプロセッサ４は、明るさの値、グラデュエーションの程度等を基準にして最も明るく、ノイズの少ない低周波数成分個眼像（例えばｋｌ５）を選択する。そして、マイクロプロセッサ４は、その低周波数成分個眼像ｋｌ５に対して、画素距離の算出工程（Ｓ２２）において取得した距離画像ＰＤに基づいて、画素ごとにその画素距離ＰＤ（ｘｙ）へ逆投影することによって１つの低周波数成分逆投影画像を作成する（Ｓ２７）。作成された低周波数成分逆投影画像は、メモリ１１に記憶される。
【００４７】
最後に、マイクロプロセッサ４は、メモリ１１に記憶された高周波数成分再構成画像と低周波数成分逆投影画像とを読出してきて、両画像を加算して再構成画像とする（Ｓ２８）。この加算工程（Ｓ２８）において、マイクロプロセッサ４は、加算に先立って高周波数成分再構成画像の各画素の値に１以上の係数を掛けておき、高周波数成分再構成画像を強調することによって画像の先鋭化を図ることができる。
【００４８】
以上のように、第２の実施形態の立体物体の撮像装置では、複眼撮像装置２によって撮像した複数の個眼像ｋ１、ｋ２・・ｋ９を、高周波数成分と低周波数成分に分けた上で、それぞれの成分から高周波数成分再構成画像と低周波数成分個眼像とを作成し、最もノイズの少ない低周波数成分個眼像（例えば、個眼像ｋｌ５）から作成した低周波数成分逆投影画像と高周波数成分再構成画像を加算することによって再構成画像を得るので、複眼撮像装置２を用いることによって生じがちな周辺減光等の影響を低減することができて、さらに精細度の高い再構成画像を得ることができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施形態に係る立体物体の撮像装置の概略構成を示すブロック図。
【図２】（ａ）は同立体物体の撮像装置における物体と光学レンズアレイと個眼像との位置関係を示す斜視説明図、（ｂ）は同立体物体の撮像装置における物体と光学レンズアレイと個眼像との位置関係を示す平面説明図。
【図３】同立体物体の撮像装置における再構成画像の作成手順を示すフローチャート。
【図４】同立体物体の撮像装置における距離算出手順のフローチャート。
【図５】同立体物体の撮像装置における再構成画像の作成原理を示す斜視説明図。
【図６】同立体物体の撮像装置における再構成画像の作成原理を示す説明図。
【図７】同立体物体の撮像装置における逆投影画像の作成原理を示す斜視説明図。
【図８】同立体物体の撮像装置における逆投影画像の作成原理を示す説明図。
【図９】同立体物体の撮像装置においてメモリに蓄積される評価値データの説明図。
【図１０】同立体物体の撮像装置において複眼撮像装置によって撮像された個眼像の例を示す図。
【図１１】同立体物体の撮像装置における１つの仮距離が設定されたときの再構成画像の例を示す図。
【図１２】同立体物体の撮像装置における距離画像の例を示す図。
【図１３】同立体物体の撮像装置における距離画像に基いて作成された再構成画像の例を示す図。
【図１４】同立体物体の撮像装置における立体物体が３つであるときの再構成画像の作成原理を示す斜視説明図。
【図１５】本発明の第２の実施形態に係る立体物体の撮像装置における再構成画像の作成手順を示すフローチャート。
【図１６】従来の画像構成装置における概略構成を示すブロック図。
【図１７】同従来の画像構成装置における画像の再構成手法を示す説明図。
【符号の説明】
【００５０】
１ 立体物体の撮像装置
２ 複眼撮像装置（複眼撮像手段）
４ マイクロプロセッサ（距離算出手段、再構成画像作成手段、高周波数成分個眼像作成手段、低周波数成分個眼像作成手段、高周波数成分再構成画像作成手段、画像選択手段、低周波数成分逆投影画像作成手段、加算手段）
５ 画像再構成装置（画像再構成手段）
Ａ 物体
Ａｄｎ 再構成画像
Ａｒｄｎ 逆投影画像
Ｄ 距離
ＰＤ 距離画像（画素距離）
Ｓｂ１、Ｓｂ２ 球状物体（立体物体）
Ｓｃ 立方体（立体物体）
ｇ 画素
ｋ１、ｋ２、・・ｋ９ 個眼像
【特許請求の範囲】
【請求項１】
複眼撮像手段と、前記複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する画像再構成手段と、を備える立体物体の撮像装置において、
前記画像再構成手段は、
前記複眼撮像手段から取得した複数の個眼像に基づいて、個眼像を構成する画素ごとの立体物体と前記複眼撮像手段との間の距離（以下、画素距離という）を算出する距離算出手段と、
前記複数の個眼像を、画素ごとに前記画素距離へ再配置することによって、再構成画像を作成する再構成画像作成手段と、を備えることを特徴とする立体物体の撮像装置。
【請求項２】
前記再構成画像作成手段は、
前記複数の個眼像からそれぞれ高周波数成分を抽出して、複数の高周波数成分個眼像を作成する高周波数成分個眼像作成手段と、
前記複数の個眼像からそれぞれ低周波数成分を抽出して、複数の低周波数成分個眼像を作成する低周波数成分個眼像作成手段と、
前記高周波数成分個眼像作成手段によって作成された複数の高周波数成分個眼像を、画素ごとに前記画素距離へ再配置することによって高周波数成分再構成画像を作成する高周波数成分再構成画像作成手段と、
前記低周波数成分個眼像作成手段によって作成された複数の低周波数成分個眼像の中からノイズの少ない低周波数成分個眼像を選択する画像選択手段と、
前記画像選択手段によって選択された低周波数成分個眼像を、画素ごとに前記画素距離へ逆投影することによって低周波数成分逆投影画像を作成する低周波数成分逆投影画像作成手段と、
前記高周波数成分再構成画像作成手段によって作成された高周波数成分再構成画像と、前記低周波数成分逆投影画像作成手段によって作成された低周波数成分逆投影画像と、を加算して前記再構成画像を得る加算手段と、を備えることを特徴とする請求項１に記載の立体物体の撮像装置。
【請求項１】
複眼撮像手段と、前記複眼撮像手段によって撮像された複数の個眼像に基づいて立体物体の画像を再構成する画像再構成手段と、を備える立体物体の撮像装置において、
前記画像再構成手段は、
前記複眼撮像手段から取得した複数の個眼像に基づいて、個眼像を構成する画素ごとの立体物体と前記複眼撮像手段との間の距離（以下、画素距離という）を算出する距離算出手段と、
前記複数の個眼像を、画素ごとに前記画素距離へ再配置することによって、再構成画像を作成する再構成画像作成手段と、を備えることを特徴とする立体物体の撮像装置。
【請求項２】
前記再構成画像作成手段は、
前記複数の個眼像からそれぞれ高周波数成分を抽出して、複数の高周波数成分個眼像を作成する高周波数成分個眼像作成手段と、
前記複数の個眼像からそれぞれ低周波数成分を抽出して、複数の低周波数成分個眼像を作成する低周波数成分個眼像作成手段と、
前記高周波数成分個眼像作成手段によって作成された複数の高周波数成分個眼像を、画素ごとに前記画素距離へ再配置することによって高周波数成分再構成画像を作成する高周波数成分再構成画像作成手段と、
前記低周波数成分個眼像作成手段によって作成された複数の低周波数成分個眼像の中からノイズの少ない低周波数成分個眼像を選択する画像選択手段と、
前記画像選択手段によって選択された低周波数成分個眼像を、画素ごとに前記画素距離へ逆投影することによって低周波数成分逆投影画像を作成する低周波数成分逆投影画像作成手段と、
前記高周波数成分再構成画像作成手段によって作成された高周波数成分再構成画像と、前記低周波数成分逆投影画像作成手段によって作成された低周波数成分逆投影画像と、を加算して前記再構成画像を得る加算手段と、を備えることを特徴とする請求項１に記載の立体物体の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１２】
【公開番号】特開２００８−２４２６５８（Ｐ２００８−２４２６５８Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８０１７２（Ｐ２００７−８０１７２）
【出願日】平成１９年３月２６日（２００７．３．２６）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【出願人】（５０４１７６９１１）国立大学法人大阪大学 (1,536)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２６日（２００７．３．２６）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【出願人】（５０４１７６９１１）国立大学法人大阪大学 (1,536)
【Ｆターム（参考）】
[ Back to top ]