画像処理ユニット、複眼撮像装置、画像処理方法、および画像処理プログラム
【課題】撮像画像に含まれているデフォーカスによる再構成画像の解像度の低下を抑え、高精細な再構成画像を生成することができる画像処理ユニットを提供する。
【解決手段】画像処理部４は、撮像部３で撮像された被写体の複数の個眼像間の視差を検出し、ここで検出した個眼像間の視差を用いて被写体の表面形状を検出する。また、画像処理部４は、検出した被写体の表面形状に基づいて被写体表面を小領域に分割し、ここで分割した被写体表面の小領域毎に、その小領域の色を検出し、中間画像を生成する。さらに、先に検出した被写体の表面形状に基づく光線追跡により、被写体表面の各小領域がイメージセンサ２３の各画素に与える影響の度合い、すなわちデフォーカスによる各画素の影響の度合い、を推定する。そして、この推定結果に基づいて、再構成画像を生成する。
【解決手段】画像処理部４は、撮像部３で撮像された被写体の複数の個眼像間の視差を検出し、ここで検出した個眼像間の視差を用いて被写体の表面形状を検出する。また、画像処理部４は、検出した被写体の表面形状に基づいて被写体表面を小領域に分割し、ここで分割した被写体表面の小領域毎に、その小領域の色を検出し、中間画像を生成する。さらに、先に検出した被写体の表面形状に基づく光線追跡により、被写体表面の各小領域がイメージセンサ２３の各画素に与える影響の度合い、すなわちデフォーカスによる各画素の影響の度合い、を推定する。そして、この推定結果に基づいて、再構成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被写体の撮像画像を、その被写体の３次元情報を用いて高精細化した再構成画像を生成する画像処理ユニット、この画像処理ユニットを適用した複眼撮像装置に関する。また、被写体の撮像画像を、その被写体の３次元情報を用いて高精細化した再構成画像を生成する画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、被写体の撮像画像と、その被写体の３次元情報（立体形状データ）と、を用いて高精細化した再構成画像を生成する画像高精細化方法が提案されている（特許文献１、２等参照）。被写体の３次元情報は、例えば、その被写体を異なる方向から撮像した複数の撮像画像の視差情報から取得できる。被写体の撮像画像を高精細化する画像処理の方法としては、画素再配置法や、ＩＢＰ（Ｉｔｅｒａｔｉｖｅ Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）法等がある。
【０００３】
また、特許文献２に示されているように、複数のレンズを配置したレンズアレイを用いた複眼撮像装置は、レンズ毎の撮像画像が視差を有しているので、これらの複眼像から被写体の３次元情報を得ることができる。また、レンズアレイの各レンズの厚みが数ｍｍに抑えられるので、撮像光学系を小型化できる。このため、マイクロロボットの視覚装置や、立体内視鏡などへの利用が考えられている。
【特許文献１】特開平５−３４４４２２号公報
【特許文献２】特開２００７−７４０７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な複眼撮像装置の撮像光学系は、近距離から遠距離までピントが合わせられるパンフォーカスではあるが、被写体に近接させて撮像した場合には、デフォーカス（焦点ボケ）が生じる。また、上述した画素再配置法や、ＩＢＰ法等は、撮像画像に生じているデフォーカスの影響を考慮しない画像処理方法であった。このため、撮像画像にデフォーカスが生じている場合、十分な解像度の再構成画像を生成することができなかった。
【０００５】
特に、マイクロロボットの視覚装置や、立体内視鏡などに利用する場合、被写体に近接させて撮像した撮像画像を処理する頻度が高く、撮像画像にデフォーカスが生じている場合であっても、十分な解像度の再構成画像を生成することができる技術の開発が要望されている。
【０００６】
この発明の目的は、撮像画像にデフォーカスが生じている場合であっても、十分な解像度の再構成画像を生成することができる画像処理ユニット、画像処理方法、および画像処理プログラムを提供することにある。
【０００７】
また、この発明は、上記画像処理ユニットを適用することで、被写体との距離に関係なく、その被写体について高精細な再構成画像が得られる複眼撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の画像処理ユニットは、上記課題を解決し、その目的を達するために以下のように構成している。
【０００９】
この画像処理ユニットは、複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する。具体的には、推定手段が、前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する。例えば、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを、その小領域から入射される光線の本数に基づいて推定する。これにより、デフォーカスが生じる光学系をモデル化できる。また、算出手段が、被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定手段の推定結果と、に基づいて、色を算出する。そして、再構成画像生成手段が、前記算出手段が算出した各小領域の色に基づいて再構成画像を生成する。
【００１０】
このように、被写体の３次元情報を用いた光線追跡により、デフォーカスが生じた光学系をモデル化し、そのモデルに基づいて再構成画像を生成する。したがって、撮像画像に含まれているデフォーカスの影響を抑えた再構成画像を生成することができる。このため、連続的な距離変化やオクルージョンを持つ被写体の撮像画像についても、高精細な再構成画像を生成することができる。
【００１１】
また、算出手段は、隣接する小領域間での色の変化量に制限加えて、各小領域の色を算出するようにしてもよい。このようにすれば、再構成画像のエッジが抑えられる。
【００１２】
なお、ここで言うエッジとは、ノイズ等によって周辺の画素間で生じる急激な変化である。
【００１３】
また、上記画像処理ユニットを、複数のレンズを配置したレンズアレイを有し、個々のレンズが撮像素子上に投影した被写体の個眼像を撮像する撮像手段を備えた複眼撮像装置に適用することで、マイクロロボットの視覚装置や、立体内視鏡などへの利用が好適に行える。
【発明の効果】
【００１４】
この発明によれば、撮像画像に含まれているデフォーカスの影響を抑えた、高精細な再構成画像を生成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施形態について説明する。
【００１６】
図１は、複眼撮像装置の主要部の構成を示すブロック図である。この複眼撮像装置１は、制御部２と、撮像部３と、画像処理部４と、出力部５と、を備えている。この複眼撮像装置１は、被写体を撮像した複眼像から高精細な再構成画像を生成して出力する。複眼像は、低解像度の複数の個眼像からなる。制御部２は、複眼撮像装置１本体各部の動作を制御する。
【００１７】
図２は、撮像部の構成を示す分解斜視図である。撮像部３は、マイクロレンズアレイ２１と、光学隔壁２２と、イメージセンサ２３と、を有している。マイクロレンズアレイ２１は、複数のマイクロレンズ２１ａを有している。図２では、合計９個のマイクロレンズ２１ａを３×３のマトリクス状に配置したマイクロレンズアレイ２１を示している。イメージセンサ２３は、マイクロレンズアレイ２１に対向して配置されている。マイクロレンズアレイ２１と、イメージセンサ２３との間には、光学隔壁２２が配置されている。この光学隔壁２２は、マイクロレンズアレイ２１のマイクロレンズ２１ａ毎に、被写体の撮像画像を投影されるイメージセンサ２３の領域を区切る。具体的には、光学隔壁２２は、イメージセンサ２３の全領域を、各マイクロレンズ２１ａによって被写体の撮像画像が投影される９つの個眼像領域に区切る。例えば、イメージセンサ２３が、１２８０×１０２４画素のＣＭＯＳイメージセンサである場合、光学隔壁２２は、イメージセンサ２３を、３４０×２６０画素の９つの個眼像領域に区切る。また、光学隔壁２２は、各個眼像領域に対して、その個眼像領域に対応しないマイクロレンズ２１ａからの被写体の投影光を遮光する。したがって、各個眼像領域では、対応しないマイクロレンズ２１ａの影響が抑えられている。
【００１８】
また、イメージセンサ２３には、図示していないがベイヤ配列のカラーフィルタが設けられている。各個眼像領域には、対応するマイクロレンズによって投影された被写体の撮像画像（個眼像）が投影される。ここでは、イメージセンサ２３に投影されている複数の個眼像を、まとめて複眼像と言う。
【００１９】
なお、マイクロレンズアレイ２１の各マイクロレンズ２１ａは、物理的に位置が異なっているので、複眼像を構成する９つの個眼像間には視差が存在している。
【００２０】
画像処理部４は、撮像部３で撮像された被写体の複数の個眼像間の視差を検出し、ここで検出した個眼像間の視差を用いて被写体の表面形状（被写体の３次元情報）を検出する。また、画像処理部４は、検出した被写体の表面形状に基づいて被写体表面を小領域に分割し、ここで分割した被写体表面の小領域毎に、その小領域の色を検出し、中間画像を生成する。さらに、先に検出した被写体の表面形状に基づく光線追跡により、イメージセンサ２３の各画素について、被写体表面の各小領域が与える影響の度合いを推定する。すなわち、イメージセンサ２３の画素毎に、影響を与える被写体表面の小領域の抽出、および、抽出した小領域が与える影響の度合い、を推定する。そして、この推定結果に基づいて、再構成画像を生成する。この画像処理部４が、この発明で言う画像処理ユニットに相当する。画像処理部４は、例えば画像処理チップで構成される。
【００２１】
出力部５は、画像処理部４で生成された再構成画像を出力する。例えば、出力部５は、外部機器と接続するインタフェースを有し、画像処理部４で生成された再構成画像を、接続されている外部機器（表示装置や印刷装置等）へ出力する。また、表示器を有し、画像処理部４で生成された再構成画像をこの表示器に表示する構成であってもよい。
【００２２】
次に、この複眼撮像装置１の動作について詳細に説明する。
【００２３】
図３は、複眼画像生成装置の動作を示すフローチャートである。この複眼撮像装置１は、図示していないシャッタが操作されると、撮像部３のイメージセンサ２３に投影されている複眼像を取り込む（ｓ１）。ｓ１では、公知のローリングシャッタ方式により、イメージセンサ２３に投影されている複数の個眼像を、複眼像として取り込む。
【００２４】
画像処理部４は、ｓ１で取り込んだ複眼像に含まれている、個眼像間の視差を検出する（ｓ２）。画像処理部４は、ｓ２で検出した個眼像間の視差に基づいて、被写体までの距離を計測する（ｓ３）。ｓ３では、例えば公知のマルチベースラインステレオ法で被写体までの距離を計測すればよい。画像処理部４は、ｓ３の計測結果に基づいて、被写体表面の３次元情報を生成する（ｓ４）。ｓ４では、ｓ３で計測した距離に基づいて、被写体の表面を三角形の小領域の集合で構成した表面形状データを生成する。
【００２５】
画像処理部４は、ｓ４で生成した表面形状データにおける被写体の表面を構成する三角形の小領域毎に、色を検出する（ｓ５）。ｓ５では、被写体の表面を構成する三角形の各小領域の色を、ｓ１で取り込んだ複眼像を用いた公知の画素再配置法により検出する（図４参照）。画像処理部４は、被写体の表面を構成する三角形の各小領域に、ｓ５で検出した色を与え、これを射影変換した中間画像を生成する（ｓ６）。
【００２６】
なお、上記の説明では、ｓ４で生成した表面形状データにおける被写体の表面を構成する三角形の小領域毎に色を検出するとしたが、隣接する２つの三角形の小領域を合わせた４角形の領域毎に色を検出するようにしてもよい。このようにすれば、ｓ５にかかる処理量が抑えられる。
【００２７】
ｓ６で生成される中間画像は、従来の一般的な複眼撮像装置で生成されていた再構成画像である。この中間画像は、上述の説明から明らかなように、ｓ１で取り込んだ複眼像を構成する個眼像に生じているデフォーカスを考慮していない画像である。
【００２８】
デフォーカスが生じていると、このデフォーカスの影響を受け
さらに、画像処理部４は、ｓ６で生成した中間画像に対して、デフォーカスによる影響を補正するデフォーカス補正処理を行う（ｓ７）。ｓ７にかかるデフォーカス補正処理は、被写体からの光がマイクロレンズ２１ａを通って、イメージセンサ２３の各画素に到達する関係を、十分な光線追跡によりモデル化し、ここで求めたモデルに基づいて、ｓ６で生成した中間画像を補正する処理である。
【００２９】
具体的に言うと、イメージセンサ２３の画素毎に、入射する各光線を逆追跡し、その光線が被写体の表面を構成する三角形のどの小領域からの光線であるかを検出する。この光線の逆追跡は、ＯｐｅｎＧＬ等の３次元レンダリングライブラリを用いて行えばよい。
【００３０】
ここで、イメージセンサ２３の各画素が出力する画素値は、その画素に入射する光線の光強度の和である。また、光線の光強度は、その光線を発する被写体の表面の小領域の色（輝度）によって決まる。したがって、被写体の表面の各小領域の位置を、図５（Ａ）に示すように、（ｘ，ｙ）で表し、イメージセンサ２３の各画素の位置を、図５（Ｂ）に示すように（ａ，ｂ）で表すと、イメージセンサ２３の画素ｉ（ａ，ｂ）の出力画素値Ｉ(a,b)は、被写体の表面の小領域（ｘ，ｙ）の輝度Ｒ(x,y)を用いれば、
【００３１】
【数１】
【００３２】
で表すことができる。この［数１］における、［ｋ(a,b)(x,y)］は、小領域（ｘ，ｙ）の輝度Ｒ(x,y)が、画素ｉ（ａ，ｂ）の出力画素値Ｉ(a,b)に与える影響を示す係数である。ここでは、画素ｉ（ａ，ｂ）に入射する光線の本数をＮ本、小領域（ｘ，ｙ）から画素ｉ（ａ，ｂ）に入射する光線の本数を［ｎ(a,b)(x,y)］、とした場合、
［ｋ(a,b)(x,y)］＝［ｎ(a,b)(x,y)］／Ｎ
と定義した。この、［ｋ(a,b)(x,y)］は、上述した光線追跡によるモデル化で得られる。
【００３３】
ここで、イメージセンサ２３の全ての画素について、上述した［数１］が成立するＲ(x,y)の組が理想値である。しかし、ノイズ等による影響があることから、ほとんどの場合、イメージセンサ２３の全ての画素について、［数１］が成立するＲ(x,y)の組が存在することは稀である。
【００３４】
そこで、画像処理部４は、［数１］における左辺から右辺を引いて２乗したものを、全ての画素について合計した自乗誤差の合計ｅ（Ｒ）
【００３５】
【数２】
【００３６】
が最小になるＲ(x,y)の組を算出する。そして、画像処理部４は、ここで求めたＲ(x,y)の組による画像をデフォーカス補正を行った再構成画像として生成する（ｓ８）。
【００３７】
また、［数２］では、上下左右に隣接する画素間の輝度の変化量に制限がかからないので、再構成画像にノイズ等によるエッジがあらわれる可能性がある。ここで言うエッジとは、ノイズ等によって周辺の画素間で生じる急激な変化である。
【００３８】
そこで、上述の［数２］を、
【００３９】
【数３】
【００４０】
に置き換え、上下左右に隣接する画素間の輝度の変化量に制限がかかるようにしてもよい。［数３］におけるＣは、再構成画像の滑らかさの度合いを示す係数として作用する。このＣを小さくするにつれて、再構成画像は鮮鋭になるが、ノイズ等によるエッジがあらわれやすくなる。
【００４１】
さらに、上下左右に隣接する画素間だけでなく、斜めに隣接する画素間についても、輝度の変化量に制限がかかるように、、上述の［数２］、または［数３］を、
【００４２】
【数４】
【００４３】
に置き換えてもよい。
【００４４】
なお、上述の［数２］、［数３］、または［数４］のいずれであっても、公知の共役勾配法等でＲ(x,y)の組を求めればよい。また、このときの初期値には、ｓ６で生成した中間画像を用いればよい。
【００４５】
このように、被写体の３次元情報を用いた光線追跡により、デフォーカスが生じた光学系をモデル化し、そのモデルに基づいて再構成画像を生成する。したがって、撮像画像に含まれているデフォーカスの影響を抑えた再構成画像を生成することができる。このため、連続的な距離変化やオクルージョンを持つ被写体の撮像画像についても、高精細な再構成画像を生成することができる。
【００４６】
複眼撮像装置１は、ｓ７にかかるデフォーカス補正処理を行って生成した再構成画像を出力し（ｓ８）、本処理を終了する。
【００４７】
次に、この複眼撮像装置１で撮像した複眼画像から、再構成画像を生成する処理を、上述した［数４］を用いて行ったので、その結果について説明する。図６は、被写体の撮像環境を示す図である。被写体は、図６（Ａ）に示す、絵画である。この絵画は、図６（Ｂ）に示すように、レンズアレイ２１に対して、６０度傾けた状態に配置した。また、被写体の大きさは、縦×横＝１０．２４ｍｍ×１０．２４ｍｍである。
【００４８】
図７は、図６に示す撮像環境で撮像された複眼像である。また、図８は、ｓ６で生成された中間画像を示している。図９、および図１０は、ｓ７にかかるデフォーカス補正処理を行った再構成画像である。図９は、［数４］におけるＣを０．０１とした場合であり、図１０は、［数４］におけるＣを０．１とした場合である。
【００４９】
図８〜図１０から明らかなように、ｓ７にかかるデフォーカス補正処理を行うことで、高精細な再構成画像が得られることがわかる。また、Ｃを大きくすることにより、再構成画像のエッジが抑えられる。
【００５０】
なお、上記実施形態では、本願発明を複眼撮像装置に適用した場合を例にして説明したが、単眼の撮像装置であっても、撮像した被写体の３次元情報が得られれば、その撮像画像を高精細化することができる。
【図面の簡単な説明】
【００５１】
【図１】複眼撮像装置の主要部の構成を示すブロック図である。
【図２】撮像部の構成を示す分解斜視図である。
【図３】複眼画像生成装置の動作を示すフローチャートである。
【図４】画素再配置法を説明する図である。
【図５】被写体表面の小領域の位置、およびイメージセンサの各画素の位置を説明する図である。
【図６】被写体の撮像環境を示す図である。
【図７】撮像された複眼像を示す図である。
【図８】ｓ６で生成された中間画像を示す図である。
【図９】ｓ８で生成した再構成画像を示す図である。
【図１０】ｓ８で生成した再構成画像を示す図である。
【符号の説明】
【００５２】
１−複眼撮像装置
２−制御部
３−撮像部
４−画像処理部
５−出力部
２１−マイクロレンズアレイ
２１ａ−マイクロレンズ
２２−光学隔壁
２３−イメージセンサ
【技術分野】
【０００１】
この発明は、被写体の撮像画像を、その被写体の３次元情報を用いて高精細化した再構成画像を生成する画像処理ユニット、この画像処理ユニットを適用した複眼撮像装置に関する。また、被写体の撮像画像を、その被写体の３次元情報を用いて高精細化した再構成画像を生成する画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、被写体の撮像画像と、その被写体の３次元情報（立体形状データ）と、を用いて高精細化した再構成画像を生成する画像高精細化方法が提案されている（特許文献１、２等参照）。被写体の３次元情報は、例えば、その被写体を異なる方向から撮像した複数の撮像画像の視差情報から取得できる。被写体の撮像画像を高精細化する画像処理の方法としては、画素再配置法や、ＩＢＰ（Ｉｔｅｒａｔｉｖｅ Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）法等がある。
【０００３】
また、特許文献２に示されているように、複数のレンズを配置したレンズアレイを用いた複眼撮像装置は、レンズ毎の撮像画像が視差を有しているので、これらの複眼像から被写体の３次元情報を得ることができる。また、レンズアレイの各レンズの厚みが数ｍｍに抑えられるので、撮像光学系を小型化できる。このため、マイクロロボットの視覚装置や、立体内視鏡などへの利用が考えられている。
【特許文献１】特開平５−３４４４２２号公報
【特許文献２】特開２００７−７４０７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な複眼撮像装置の撮像光学系は、近距離から遠距離までピントが合わせられるパンフォーカスではあるが、被写体に近接させて撮像した場合には、デフォーカス（焦点ボケ）が生じる。また、上述した画素再配置法や、ＩＢＰ法等は、撮像画像に生じているデフォーカスの影響を考慮しない画像処理方法であった。このため、撮像画像にデフォーカスが生じている場合、十分な解像度の再構成画像を生成することができなかった。
【０００５】
特に、マイクロロボットの視覚装置や、立体内視鏡などに利用する場合、被写体に近接させて撮像した撮像画像を処理する頻度が高く、撮像画像にデフォーカスが生じている場合であっても、十分な解像度の再構成画像を生成することができる技術の開発が要望されている。
【０００６】
この発明の目的は、撮像画像にデフォーカスが生じている場合であっても、十分な解像度の再構成画像を生成することができる画像処理ユニット、画像処理方法、および画像処理プログラムを提供することにある。
【０００７】
また、この発明は、上記画像処理ユニットを適用することで、被写体との距離に関係なく、その被写体について高精細な再構成画像が得られる複眼撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の画像処理ユニットは、上記課題を解決し、その目的を達するために以下のように構成している。
【０００９】
この画像処理ユニットは、複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する。具体的には、推定手段が、前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する。例えば、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを、その小領域から入射される光線の本数に基づいて推定する。これにより、デフォーカスが生じる光学系をモデル化できる。また、算出手段が、被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定手段の推定結果と、に基づいて、色を算出する。そして、再構成画像生成手段が、前記算出手段が算出した各小領域の色に基づいて再構成画像を生成する。
【００１０】
このように、被写体の３次元情報を用いた光線追跡により、デフォーカスが生じた光学系をモデル化し、そのモデルに基づいて再構成画像を生成する。したがって、撮像画像に含まれているデフォーカスの影響を抑えた再構成画像を生成することができる。このため、連続的な距離変化やオクルージョンを持つ被写体の撮像画像についても、高精細な再構成画像を生成することができる。
【００１１】
また、算出手段は、隣接する小領域間での色の変化量に制限加えて、各小領域の色を算出するようにしてもよい。このようにすれば、再構成画像のエッジが抑えられる。
【００１２】
なお、ここで言うエッジとは、ノイズ等によって周辺の画素間で生じる急激な変化である。
【００１３】
また、上記画像処理ユニットを、複数のレンズを配置したレンズアレイを有し、個々のレンズが撮像素子上に投影した被写体の個眼像を撮像する撮像手段を備えた複眼撮像装置に適用することで、マイクロロボットの視覚装置や、立体内視鏡などへの利用が好適に行える。
【発明の効果】
【００１４】
この発明によれば、撮像画像に含まれているデフォーカスの影響を抑えた、高精細な再構成画像を生成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施形態について説明する。
【００１６】
図１は、複眼撮像装置の主要部の構成を示すブロック図である。この複眼撮像装置１は、制御部２と、撮像部３と、画像処理部４と、出力部５と、を備えている。この複眼撮像装置１は、被写体を撮像した複眼像から高精細な再構成画像を生成して出力する。複眼像は、低解像度の複数の個眼像からなる。制御部２は、複眼撮像装置１本体各部の動作を制御する。
【００１７】
図２は、撮像部の構成を示す分解斜視図である。撮像部３は、マイクロレンズアレイ２１と、光学隔壁２２と、イメージセンサ２３と、を有している。マイクロレンズアレイ２１は、複数のマイクロレンズ２１ａを有している。図２では、合計９個のマイクロレンズ２１ａを３×３のマトリクス状に配置したマイクロレンズアレイ２１を示している。イメージセンサ２３は、マイクロレンズアレイ２１に対向して配置されている。マイクロレンズアレイ２１と、イメージセンサ２３との間には、光学隔壁２２が配置されている。この光学隔壁２２は、マイクロレンズアレイ２１のマイクロレンズ２１ａ毎に、被写体の撮像画像を投影されるイメージセンサ２３の領域を区切る。具体的には、光学隔壁２２は、イメージセンサ２３の全領域を、各マイクロレンズ２１ａによって被写体の撮像画像が投影される９つの個眼像領域に区切る。例えば、イメージセンサ２３が、１２８０×１０２４画素のＣＭＯＳイメージセンサである場合、光学隔壁２２は、イメージセンサ２３を、３４０×２６０画素の９つの個眼像領域に区切る。また、光学隔壁２２は、各個眼像領域に対して、その個眼像領域に対応しないマイクロレンズ２１ａからの被写体の投影光を遮光する。したがって、各個眼像領域では、対応しないマイクロレンズ２１ａの影響が抑えられている。
【００１８】
また、イメージセンサ２３には、図示していないがベイヤ配列のカラーフィルタが設けられている。各個眼像領域には、対応するマイクロレンズによって投影された被写体の撮像画像（個眼像）が投影される。ここでは、イメージセンサ２３に投影されている複数の個眼像を、まとめて複眼像と言う。
【００１９】
なお、マイクロレンズアレイ２１の各マイクロレンズ２１ａは、物理的に位置が異なっているので、複眼像を構成する９つの個眼像間には視差が存在している。
【００２０】
画像処理部４は、撮像部３で撮像された被写体の複数の個眼像間の視差を検出し、ここで検出した個眼像間の視差を用いて被写体の表面形状（被写体の３次元情報）を検出する。また、画像処理部４は、検出した被写体の表面形状に基づいて被写体表面を小領域に分割し、ここで分割した被写体表面の小領域毎に、その小領域の色を検出し、中間画像を生成する。さらに、先に検出した被写体の表面形状に基づく光線追跡により、イメージセンサ２３の各画素について、被写体表面の各小領域が与える影響の度合いを推定する。すなわち、イメージセンサ２３の画素毎に、影響を与える被写体表面の小領域の抽出、および、抽出した小領域が与える影響の度合い、を推定する。そして、この推定結果に基づいて、再構成画像を生成する。この画像処理部４が、この発明で言う画像処理ユニットに相当する。画像処理部４は、例えば画像処理チップで構成される。
【００２１】
出力部５は、画像処理部４で生成された再構成画像を出力する。例えば、出力部５は、外部機器と接続するインタフェースを有し、画像処理部４で生成された再構成画像を、接続されている外部機器（表示装置や印刷装置等）へ出力する。また、表示器を有し、画像処理部４で生成された再構成画像をこの表示器に表示する構成であってもよい。
【００２２】
次に、この複眼撮像装置１の動作について詳細に説明する。
【００２３】
図３は、複眼画像生成装置の動作を示すフローチャートである。この複眼撮像装置１は、図示していないシャッタが操作されると、撮像部３のイメージセンサ２３に投影されている複眼像を取り込む（ｓ１）。ｓ１では、公知のローリングシャッタ方式により、イメージセンサ２３に投影されている複数の個眼像を、複眼像として取り込む。
【００２４】
画像処理部４は、ｓ１で取り込んだ複眼像に含まれている、個眼像間の視差を検出する（ｓ２）。画像処理部４は、ｓ２で検出した個眼像間の視差に基づいて、被写体までの距離を計測する（ｓ３）。ｓ３では、例えば公知のマルチベースラインステレオ法で被写体までの距離を計測すればよい。画像処理部４は、ｓ３の計測結果に基づいて、被写体表面の３次元情報を生成する（ｓ４）。ｓ４では、ｓ３で計測した距離に基づいて、被写体の表面を三角形の小領域の集合で構成した表面形状データを生成する。
【００２５】
画像処理部４は、ｓ４で生成した表面形状データにおける被写体の表面を構成する三角形の小領域毎に、色を検出する（ｓ５）。ｓ５では、被写体の表面を構成する三角形の各小領域の色を、ｓ１で取り込んだ複眼像を用いた公知の画素再配置法により検出する（図４参照）。画像処理部４は、被写体の表面を構成する三角形の各小領域に、ｓ５で検出した色を与え、これを射影変換した中間画像を生成する（ｓ６）。
【００２６】
なお、上記の説明では、ｓ４で生成した表面形状データにおける被写体の表面を構成する三角形の小領域毎に色を検出するとしたが、隣接する２つの三角形の小領域を合わせた４角形の領域毎に色を検出するようにしてもよい。このようにすれば、ｓ５にかかる処理量が抑えられる。
【００２７】
ｓ６で生成される中間画像は、従来の一般的な複眼撮像装置で生成されていた再構成画像である。この中間画像は、上述の説明から明らかなように、ｓ１で取り込んだ複眼像を構成する個眼像に生じているデフォーカスを考慮していない画像である。
【００２８】
デフォーカスが生じていると、このデフォーカスの影響を受け
さらに、画像処理部４は、ｓ６で生成した中間画像に対して、デフォーカスによる影響を補正するデフォーカス補正処理を行う（ｓ７）。ｓ７にかかるデフォーカス補正処理は、被写体からの光がマイクロレンズ２１ａを通って、イメージセンサ２３の各画素に到達する関係を、十分な光線追跡によりモデル化し、ここで求めたモデルに基づいて、ｓ６で生成した中間画像を補正する処理である。
【００２９】
具体的に言うと、イメージセンサ２３の画素毎に、入射する各光線を逆追跡し、その光線が被写体の表面を構成する三角形のどの小領域からの光線であるかを検出する。この光線の逆追跡は、ＯｐｅｎＧＬ等の３次元レンダリングライブラリを用いて行えばよい。
【００３０】
ここで、イメージセンサ２３の各画素が出力する画素値は、その画素に入射する光線の光強度の和である。また、光線の光強度は、その光線を発する被写体の表面の小領域の色（輝度）によって決まる。したがって、被写体の表面の各小領域の位置を、図５（Ａ）に示すように、（ｘ，ｙ）で表し、イメージセンサ２３の各画素の位置を、図５（Ｂ）に示すように（ａ，ｂ）で表すと、イメージセンサ２３の画素ｉ（ａ，ｂ）の出力画素値Ｉ(a,b)は、被写体の表面の小領域（ｘ，ｙ）の輝度Ｒ(x,y)を用いれば、
【００３１】
【数１】
【００３２】
で表すことができる。この［数１］における、［ｋ(a,b)(x,y)］は、小領域（ｘ，ｙ）の輝度Ｒ(x,y)が、画素ｉ（ａ，ｂ）の出力画素値Ｉ(a,b)に与える影響を示す係数である。ここでは、画素ｉ（ａ，ｂ）に入射する光線の本数をＮ本、小領域（ｘ，ｙ）から画素ｉ（ａ，ｂ）に入射する光線の本数を［ｎ(a,b)(x,y)］、とした場合、
［ｋ(a,b)(x,y)］＝［ｎ(a,b)(x,y)］／Ｎ
と定義した。この、［ｋ(a,b)(x,y)］は、上述した光線追跡によるモデル化で得られる。
【００３３】
ここで、イメージセンサ２３の全ての画素について、上述した［数１］が成立するＲ(x,y)の組が理想値である。しかし、ノイズ等による影響があることから、ほとんどの場合、イメージセンサ２３の全ての画素について、［数１］が成立するＲ(x,y)の組が存在することは稀である。
【００３４】
そこで、画像処理部４は、［数１］における左辺から右辺を引いて２乗したものを、全ての画素について合計した自乗誤差の合計ｅ（Ｒ）
【００３５】
【数２】
【００３６】
が最小になるＲ(x,y)の組を算出する。そして、画像処理部４は、ここで求めたＲ(x,y)の組による画像をデフォーカス補正を行った再構成画像として生成する（ｓ８）。
【００３７】
また、［数２］では、上下左右に隣接する画素間の輝度の変化量に制限がかからないので、再構成画像にノイズ等によるエッジがあらわれる可能性がある。ここで言うエッジとは、ノイズ等によって周辺の画素間で生じる急激な変化である。
【００３８】
そこで、上述の［数２］を、
【００３９】
【数３】
【００４０】
に置き換え、上下左右に隣接する画素間の輝度の変化量に制限がかかるようにしてもよい。［数３］におけるＣは、再構成画像の滑らかさの度合いを示す係数として作用する。このＣを小さくするにつれて、再構成画像は鮮鋭になるが、ノイズ等によるエッジがあらわれやすくなる。
【００４１】
さらに、上下左右に隣接する画素間だけでなく、斜めに隣接する画素間についても、輝度の変化量に制限がかかるように、、上述の［数２］、または［数３］を、
【００４２】
【数４】
【００４３】
に置き換えてもよい。
【００４４】
なお、上述の［数２］、［数３］、または［数４］のいずれであっても、公知の共役勾配法等でＲ(x,y)の組を求めればよい。また、このときの初期値には、ｓ６で生成した中間画像を用いればよい。
【００４５】
このように、被写体の３次元情報を用いた光線追跡により、デフォーカスが生じた光学系をモデル化し、そのモデルに基づいて再構成画像を生成する。したがって、撮像画像に含まれているデフォーカスの影響を抑えた再構成画像を生成することができる。このため、連続的な距離変化やオクルージョンを持つ被写体の撮像画像についても、高精細な再構成画像を生成することができる。
【００４６】
複眼撮像装置１は、ｓ７にかかるデフォーカス補正処理を行って生成した再構成画像を出力し（ｓ８）、本処理を終了する。
【００４７】
次に、この複眼撮像装置１で撮像した複眼画像から、再構成画像を生成する処理を、上述した［数４］を用いて行ったので、その結果について説明する。図６は、被写体の撮像環境を示す図である。被写体は、図６（Ａ）に示す、絵画である。この絵画は、図６（Ｂ）に示すように、レンズアレイ２１に対して、６０度傾けた状態に配置した。また、被写体の大きさは、縦×横＝１０．２４ｍｍ×１０．２４ｍｍである。
【００４８】
図７は、図６に示す撮像環境で撮像された複眼像である。また、図８は、ｓ６で生成された中間画像を示している。図９、および図１０は、ｓ７にかかるデフォーカス補正処理を行った再構成画像である。図９は、［数４］におけるＣを０．０１とした場合であり、図１０は、［数４］におけるＣを０．１とした場合である。
【００４９】
図８〜図１０から明らかなように、ｓ７にかかるデフォーカス補正処理を行うことで、高精細な再構成画像が得られることがわかる。また、Ｃを大きくすることにより、再構成画像のエッジが抑えられる。
【００５０】
なお、上記実施形態では、本願発明を複眼撮像装置に適用した場合を例にして説明したが、単眼の撮像装置であっても、撮像した被写体の３次元情報が得られれば、その撮像画像を高精細化することができる。
【図面の簡単な説明】
【００５１】
【図１】複眼撮像装置の主要部の構成を示すブロック図である。
【図２】撮像部の構成を示す分解斜視図である。
【図３】複眼画像生成装置の動作を示すフローチャートである。
【図４】画素再配置法を説明する図である。
【図５】被写体表面の小領域の位置、およびイメージセンサの各画素の位置を説明する図である。
【図６】被写体の撮像環境を示す図である。
【図７】撮像された複眼像を示す図である。
【図８】ｓ６で生成された中間画像を示す図である。
【図９】ｓ８で生成した再構成画像を示す図である。
【図１０】ｓ８で生成した再構成画像を示す図である。
【符号の説明】
【００５２】
１−複眼撮像装置
２−制御部
３−撮像部
４−画像処理部
５−出力部
２１−マイクロレンズアレイ
２１ａ−マイクロレンズ
２２−光学隔壁
２３−イメージセンサ
【特許請求の範囲】
【請求項１】
複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する画像処理ユニットにおいて、
前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する推定手段と、
被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定手段の推定結果と、に基づいて、色を算出する算出手段と、
前記算出手段が算出した各小領域の色に基づいて再構成画像を生成する再構成画像生成手段と、を備えた画像処理ユニット。
【請求項２】
前記推定手段は、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを、その小領域から入射される光線の本数に基づいて推定する手段である、請求項１に記載の画像処理ユニット。
【請求項３】
前記算出手段は、隣接する小領域間での色の変化量に制限加えて、各小領域の色を算出する手段である、請求項１、または２に記載の画像処理ユニット。
【請求項４】
複数のレンズを配置したレンズアレイを有し、個々のレンズが撮像素子上に投影した被写体の個眼像を撮像する撮像手段を備えた複眼撮像装置において、
請求項１〜３のいずれかに記載の画像処理ユニットを備え、
前記画像処理ユニットは、前記撮像手段が撮像した複数の個眼像を用いて、被写体の３次元情報を取得する３次元情報取得手段を備え、
前記推定手段は、前記３次元情報取得手段が取得した被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する手段である、複眼撮像装置。
【請求項５】
複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する画像処理方法において、
前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する推定ステップと、
被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定ステップの推定結果と、に基づいて、色を算出する算出ステップと、
前記算出ステップが算出した各小領域の色に基づいて再構成画像を生成する再構成画像生成ステップと、を備えた画像処理方法。
【請求項６】
複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する処理をコンピュータに実行させる画像処理プログラムにおいて、
コンピュータを、
前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する推定手段と、
被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定手段の推定結果と、に基づいて、色を算出する算出手段と、
前記算出手段が算出した各小領域の色に基づいて再構成画像を生成する再構成画像生成手段と、して機能させる画像処理プログラム。
【請求項１】
複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する画像処理ユニットにおいて、
前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する推定手段と、
被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定手段の推定結果と、に基づいて、色を算出する算出手段と、
前記算出手段が算出した各小領域の色に基づいて再構成画像を生成する再構成画像生成手段と、を備えた画像処理ユニット。
【請求項２】
前記推定手段は、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを、その小領域から入射される光線の本数に基づいて推定する手段である、請求項１に記載の画像処理ユニット。
【請求項３】
前記算出手段は、隣接する小領域間での色の変化量に制限加えて、各小領域の色を算出する手段である、請求項１、または２に記載の画像処理ユニット。
【請求項４】
複数のレンズを配置したレンズアレイを有し、個々のレンズが撮像素子上に投影した被写体の個眼像を撮像する撮像手段を備えた複眼撮像装置において、
請求項１〜３のいずれかに記載の画像処理ユニットを備え、
前記画像処理ユニットは、前記撮像手段が撮像した複数の個眼像を用いて、被写体の３次元情報を取得する３次元情報取得手段を備え、
前記推定手段は、前記３次元情報取得手段が取得した被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する手段である、複眼撮像装置。
【請求項５】
複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する画像処理方法において、
前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する推定ステップと、
被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定ステップの推定結果と、に基づいて、色を算出する算出ステップと、
前記算出ステップが算出した各小領域の色に基づいて再構成画像を生成する再構成画像生成ステップと、を備えた画像処理方法。
【請求項６】
複数の画素をマトリクス状に配置した撮像素子に投影された被写体の撮像画像から、その被写体の３次元情報を用いて再構成画像を生成する処理をコンピュータに実行させる画像処理プログラムにおいて、
コンピュータを、
前記撮像素子に投影された被写体の３次元情報を用いた光線追跡により、前記撮像素子の画素毎に、被写体の表面を分割した各小領域が与える影響の度合いを推定する推定手段と、
被写体の表面を分割した小領域毎に、前記撮像素子の各画素の画素値と、前記推定手段の推定結果と、に基づいて、色を算出する算出手段と、
前記算出手段が算出した各小領域の色に基づいて再構成画像を生成する再構成画像生成手段と、して機能させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２１１２５４（Ｐ２００９−２１１２５４Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５１８０８（Ｐ２００８−５１８０８）
【出願日】平成２０年３月３日（２００８．３．３）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月３日（２００８．３．３）
【出願人】（５０６１２２３２７）公立大学法人大阪市立大学 (122)
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
[ Back to top ]