画像処理装置、画像処理方法、およびプログラム
【課題】多眼カメラにて撮影された複数枚の画像における対応点探索精度を向上させると共に、被写体についてのより多くの色情報を取得すること。
【解決手段】多眼カメラにより撮影された複数の撮影画像の画素値から第一の色情報を算出し、前記算出された第一の色情報を用いて前記複数の撮影画像間の対応点を算出する。算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する。被写体の色を忠実に再現するために用いる第二の色情報を前記複数の撮影画像の画素値から算出する。前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する。
【解決手段】多眼カメラにより撮影された複数の撮影画像の画素値から第一の色情報を算出し、前記算出された第一の色情報を用いて前記複数の撮影画像間の対応点を算出する。算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する。被写体の色を忠実に再現するために用いる第二の色情報を前記複数の撮影画像の画素値から算出する。前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数のカメラを並べて撮影する多眼カメラに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像デバイスを複数配置した、所謂、多眼カメラアレイを用いた技術が開発されている。多眼カメラによる撮影により、被写体の３次元情報を取得し、任意の視点、視線方向の画像を生成したり、３次元画像表示のための視差画像を生成したりすることが可能である。あるいは、撮影後にフォーカス位置や、被写界深度を変更した画像を生成することも可能である。
【０００３】
上述した多眼カメラにおいて、各カメラの位置や光軸方向だけでなく、撮影条件を変えて撮影を行うことにより、より多くの被写体情報を得る技術がある。
【０００４】
例えば、特許文献１には、各カメラの焦点位置や露出を変化させて撮影を行う方法について述べられている。
【０００５】
また、特許文献２には、各カメラに分光透過特性の異なる光学フィルタ装着して撮影することにより、被写体の分光情報を取得する方法について述べられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−５１３１８号公報
【特許文献２】特開２００８−１２８７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術においては、取得される色情報は、全てのカメラで同一（例えば、RGB値）である。そのため、複数枚の画像を合成する際には、冗長なデータが多く含まれることになり無駄が多いという問題がある。
【０００８】
また、特許文献２に記載の技術においては、カメラごとに撮影される画像の色情報は、それぞれ異なる特性のカラーフィルタを通して取得されたものである。そのため、同一の被写体を撮影した場合でも、画像の画素値がカメラごとに異なる値となってしまい、カメラ間の対応点を算出する精度が低下してしまうという問題があった。
【０００９】
本発明の課題は、多眼カメラにて撮影された複数枚の画像における対応点探索精度を向上させると共に、被写体についてのより多くの色情報を取得可能な画像処理装置、画像処理方法、およびプログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理装置であって、前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出手段と、前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出手段と、前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、多眼カメラにて撮影された複数枚の画像における対応点探索精度を向上させると共に、被写体についてのより多くの色情報を取得可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の画像処理装置の構成を示すブロック図である。
【図２】実施例１の画像処理装置における処理を示すフローチャートである。
【図３】一実施形態における多眼カメラのカラーフィルタ構成の一例を示す図である。
【図４】一実施形態におけるカラーフィルタの画素配置の一例を示す図である。
【図５】一実施形態におけるカラーフィルタの分光透過率特性の一例を示す図である。
【図６】一実施形態における対応点探索処理を説明するための図である。
【図７】一実施形態における第一の色情報の算出方法を説明するための図である。
【図８】一実施形態における距離情報の算出方法を説明するための図である。
【図９】実施例１における、合成条件設定のためのＵＩの一例を示す図である。
【図１０】絞り値とボケ量の関係を説明するための図である。
【図１１】実施例２の画像処理装置の構成を示すブロック図である。
【図１２】実施例２の画像処理装置における処理を示すフローチャートである。
【図１３】実施例２における、合成条件設定のためのＵＩの一例を示す図である。
【図１４】実施例２における、画像データフォーマットの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照してこの発明の好適な実施形態を詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１４】
図１に示すブロック図を参照して、本実施形態の画像処理装置の構成を説明する。符号１は、多眼カメラにて撮影された複数枚の画像を合成するための画像処理装置である。符号２は、複数のデジタルカメラ等の画像取得装置をアレイ状に配置した多眼カメラである。符号３は、多眼カメラ２にて撮影された複数枚の撮影画像を合成する際の条件を設定するための画像合成条件設定部である。符号４は、画像を表示するためのディスプレイ等の画像出力装置である。
【００１５】
符号５は、多眼カメラ２にて撮影された画像データを、画像処理装置１に読み込むための撮影画像入力部である。符号６は、撮影画像入力部５にて入力された画像データに対し、デモザイク処理を行うためのデモザイク処理部である。符号７は、デモザイク処理部６にてデモザイク処理を行った撮影画像を用い、後述する対応点算出に用いるための第一の色情報（本実施例では輝度値としている）を算出するための第一の色情報算出部である。符号８は、第一の色情報算出部７にて算出した各画素の第一の色情報を用いて、撮影画像間の対応点を算出するための対応点算出部である。符号９は、対応点算出部８にて算出した対応点情報を用いて、被写体の距離情報（被写体の奥行き情報）を算出するための距離情報算出部である。符号１０は、デモザイク処理部６にてデモザイク処理を行った撮影画像と、対応点算出部８にて算出した対応点情報とを用いて、被写体の第二の色情報（本実施例では分光反射率としている）を算出するための第二の色情報算出部である。第二の色情報は、被写体の忠実な色情報であり、被写体の色を忠実に再現するために用いられる情報である。符号１１は、画像合成条件設定部３に設定された画像合成条件と、距離情報算出部９にて算出した距離情報と、第二の色情報算出部１０にて算出した第二の色情報とを用いて、出力用の合成画像を作成するための画像合成部である。符号１２は、画像合成部１１にて作成した合成画像を、画像表示装置４にて表示するために出力する画像出力部である。
【００１６】
符号１００は、上記の構成を備える多眼カメラシステムである。なお、多眼カメラ２及び画像出力装置４は、画像処理装置１との接続を切り離すことも可能である。
【００１７】
なお、本実施例において、第一の色情報を輝度値とし、第二の色情報を分光反射率としているが、これに限定されない。第一の色情報は、例えば、Ｌａｂ値やｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）値でもよく、複数の画像間の画素値を共通の色空間における色情報に変換したものであればよい。また、第二の色情報は、例えば、分光放射輝度などの他の分光情報であってもよく、ＲＧＢなどだけでは表現できない被写体の色を忠実に再現するため情報であればよい。
【００１８】
図２は、多眼カメラシステム１００にて行われる画像処理を示すフローチャートである。まず、Ｓ２０１では、多眼カメラ２にて、撮影対象である被写体を、複数の視点から撮影する。
【００１９】
Ｓ２０２では、撮影画像入力部５は、Ｓ２０１で撮影された複数の撮影画像を画像処理装置１に読み込む。Ｓ２０３では、デモザイク処理部６は、Ｓ２０２で読み込んだ複数の撮影画像に対してデモザイク処理を行う。Ｓ２０４では、第一の色情報算出部７は、Ｓ２０３でデモザイク処理された画像の各画素について、第一の色情報である輝度値を算出する（詳細は後述）。Ｓ２０５では、対応点算出部８は、Ｓ２０４で算出した輝度信号を用いて、複数の画像間の対応点を算出する（詳細は後述）。Ｓ２０６は、距離情報算出部９にて、Ｓ２０５で算出した対応点情報を用いて、各画素の距離情報を算出する（詳細は後述）。Ｓ２０７では、第二の色情報算出部１０は、Ｓ２０３でデモザイク処理した画像の各画素について、第二の色情報である分光反射率をＳ２０５にて算出した対応点情報を用いて算出する（詳細は後述）。
【００２０】
Ｓ２０８では、ユーザからの指示又は外部装置からのコマンドに応じて、画像合成条件設定部３は、Ｓ２０２で読み込まれた複数の撮影画像の合成のための条件設定を行う。
【００２１】
Ｓ２０９では、画像合成部１１は、Ｓ２０６にて算出した距離情報と、Ｓ２０７にて算出した第二の色情報とを用いて、Ｓ２０８にて設定した合成条件に基づき、画像合成を行う（詳細は後述）。Ｓ２１０では、画像出力部１２は、Ｓ２０９にて合成した合成画像を画像出力装置４に出力する。
【００２２】
＜多眼カメラのカラーフィルタ構成＞
図３に、一実施形態における多眼カメラ２のカラーフィルタ構成を示す。図３（ａ）には、例として、５×５台の、合計２５台の単眼カメラを並べ、多眼カメラ２を構成した例を図示している。図３（ａ）では、フィルタセットAを搭載した単眼カメラと、フィルタセットBを搭載した単眼カメラを市松状に配置している。すなわち、フィルタセットAを搭載した単眼カメラと、フィルタセットBを搭載した単眼カメラは、交互に配置されている。各単眼カメラをこのように配置することによって、各単眼カメラで撮影された撮影画像を合成する際に、冗長なデータを合成するという無駄を低減させることができる。
【００２３】
ここで、例えば、フィルタセットAの透過特性は、図４（ａ）に示した３色のカラーフィルタ（f_A1, f_A2, f_A3）、フィルタセットBの透過特性は、図４（ｂ）に示した３色のカラーフィルタ（f_B1, f_B2, f_B3）を用いる。図４において、各単眼カメラの画角および単眼カメラ間の距離に応じて、フィルタセットAを搭載したカメラと、フィルタセットBを搭載したカメラの画角がオーバーラップしている。図３（ｂ）中の斜線で示す領域は、被写体において各カメラの画角がオーバーラップしている領域の例を示している。このように画角がオーバラップしていることにより、６色分のカラーフィルタの情報を取得することが可能となる。
【００２４】
また、本実施例では、６色のカラーフィルタが３色ずつの２セットのフィルタセットに分けられている。また、各単眼カメラは、これらのフィルタセットのうちいずれかを搭載し、マルチバンドで撮影を行う。そのため、全てのカメラに６色フィルタを搭載した場合に比べ、高い解像度での撮影が可能である。
【００２５】
なお、本実施例では、フィルタセットは２種類であるが、これに限定されない。３種類以上（すなわち、２種類以上）のフィルタセットのいずれかを各単眼カメラが搭載していることとしても良い。
【００２６】
＜輝度信号の算出＞
ここでは、Ｓ２０４における第一の色情報の算出処理として、輝度信号の算出処理について詳細に説明する。
【００２７】
本実施例においては、多眼カメラ２を構成する各単眼カメラにより撮影されたそれぞれの撮影画像から、単独で輝度信号（Y値）を算出可能な構成としている。例えば、１つの単眼カメラで図４（ａ）に示すような、３色のフィルタ（f_A1, f_A2, f_A3）を用いて撮影した場合を考える。この時、画像中の座標(i, j)における画素の輝度値Y(i,j)Aは、デモザイク処理後の画素値(VA1, VA2, VA3)を用いて、次の式にて算出する。
【００２８】
【数１】
式（１）における係数（αA1, αA2, αA3, γA1, γA2, γA3）は、予め、既知の輝度を持つ被写体を撮影した際の画素値を用いて、最適化した値を用いる。同様に、図４（ｂ）に示す３色のフィルタ（f_B1, f_B2, f_B3）を用いて撮影した画像の輝度値Y(i,j)Bは、デモザイク処理後の画素値（VA1, VB2, VB3）を用いて、次の式にて算出する。
【００２９】
【数２】
式（２）における係数（αB1, αB2, αB3, γB1, γB2, γB3）は、予め、既知の輝度を持つ被写体を撮影した際の画素値を用いて、最適化した値を用いる。
【００３０】
この時、最適化に用いる被写体を、フィルタセットAおよびBで共通化することにより、同一輝度の被写体に対して、同一の輝度値を算出することが可能となり、後述する対応点探索の精度が向上する。
【００３１】
ただし、画素値を輝度値へ変換するための上記の方法は、式（１）および（２）のような線形変換に限られるものではなく、例えば、下記の式（３）および式（４）のように、２次項を使用し、センサ出力の非線形性を補正するような変換を行ってもよい。
【００３２】
【数３】
【００３３】
【数４】
図７を参照して、上述のデモザイク処理および輝度信号算出処理の関係を説明する。フィルタセットAを搭載した単眼カメラにおいて撮影された画像には、図７（ａ）に示すように、３種類のカラーフィルタ（f_A1, f_A2, f_A3）に対応した画素値（VA1, VA2, VA3）が、ベイヤー状に配置されている。ここで、Ｓ２０３にて行われるデモザイク処理により、３種類のカラーフィルタに対応した３バンドの画像データが、補間処理により生成される。さらにＳ２０４にて行われる輝度算出処理により、輝度値Yが各画素において算出される。本実施例において、後述の対応点算出は、各画素の輝度値を用いて処理するものとする。
【００３４】
なお、第一の色情報がＬａｂ値やｓＲＧＢである場合も、画素値から所定の係数を用いて算出するなど、既知の方法を用いて第一の色情報を算出することができる。
【００３５】
＜対応点の算出＞
ここでは、Ｓ２０５における、複数画像間の対応点の算出処理について詳細に説明する。複数画像間の対応点は、当該複数の画像間の第一の色情報の差分を用いて算出される。
【００３６】
図６（ａ）は、被写体と複数のカメラ（多眼カメラ）との位置関係を示す図である。ただし、ここでは、簡単のため、多眼カメラを３台として説明する。中央のカメラ６０３には、カラーフィルタとして、フィルタセットA（f_A1, f_A2, f_A3）、左右２台のカメラ６０２および６０４にはフィルタセットB（f_B1, f_B2, f_B3）が搭載されているものとする。
【００３７】
図６（ｂ）は、被写体６０１をそれぞれカメラ６０２、６０３、および６０４で撮影した画像を示している。ここで、中央にあるカメラ６０３では、被写体上の点L、M、Nの全てが撮影されている。これに対し、カメラ６０２では、点L、Mは撮影されているものの、点Nは、オクルージョンにより撮影されていない。一方、カメラ６０４では、点M、Nは撮影されているものの、点Lは撮影されていない。そこで、第一の色情報を用いて、ステレオマッチング法等、パターンマッチング手法により、中央のカメラ６０３を基準とし、対応点を探索する。この場合、点Lの対応点は、カメラ６０２の撮影画像より求め、点Nの対応点は、カメラ６０４の撮影画像より求める。その結果、あるカメラでは撮影されているものの、他のカメラでは他の被写体の陰となり撮影されない、所謂、オクルージョンの影響を受けずに、対応点を算出し、色情報の再現や後述の距離情報算出処理を行うことができる。
【００３８】
＜距離情報の算出＞
ここでは、Ｓ２０６における距離情報算出処理について詳細に説明する。図８（ａ）に示すような、２つのカメラ（カメラ１、およびカメラ２）により撮影された撮影データから距離情報を算出する方法を考える。ここで、カメラ１の光軸がZ軸と一致するように座標軸を設定する。また、カメラ１とカメラ２の光軸は平行であり、X軸に平行に並んでいるものとする。図８（ｂ）は、図８（ａ）をX-Z平面に投影した図である。３次元空間における、カメラ１の焦点を原点としたときの被写体のある一点の座標を（XO, YO, ZO）とする。また、カメラ１の撮影画像の中心を原点としたときに、被写体のこの一点が、カメラ１の撮影画像で結像する点の座標を（xL, yL）とする。さらに、カメラ２の撮影画像の中心を原点としたときに、被写体のこの一点（対応点）が、カメラ２の撮影画像で結像する点の座標を（xR, yR）とする。このとき、次の式（５）が成り立つ。
【００３９】
【数５】
ただし、fはカメラの焦点距離、Bは２つのカメラ間の光軸距離である。図８で示した幾何学条件では、カメラ１とカメラ２は、X軸に平行に並んでいるため、yL ＝ yRとなる。また、常にxL ≧ xRであるため、式（５）を変形することにより、カメラ１又はカメラ２のセンサから被写体までの距離ZOは、次の式（６）で求めることができる。
【００４０】
【数６】
また、算出した距離情報ZOを用いて、（XO, YO, ZO）は、次の式（７）にて算出できる。
【００４１】
【数７】
以上のとおり、Ｓ２０６の処理によれば、Ｓ２０５で算出された対応点情報を用いて、各画素におけるカメラのセンサから被写体までの距離を算出することができる。すなわち、被写体の奥行き情報を算出することができる。
【００４２】
＜分光反射率の算出＞
ここでは、Ｓ２０７における第二の色情報の算出処理として、分光反射率の算出処理について詳細に説明する。多眼カメラにて撮影された複数枚の撮影画像は、Ｓ２０５において、画素ごとに、画像間の対応点が算出されている。従って、各画素の色情報は、１枚の画像では、３色の色情報しか持たないものの、他の画像の対応点の情報を用いることにより、６色の色情報を持つことになる。そこで、各画素の分光反射率は、６色分の画素データ（VA1, VA2, VA3, VB1, VB2, VB3）を用いて、次の式（８）にて算出する。
【００４３】
【数８】
式（８）において、分光データ算出のための係数aは、予め、分光反射率Rsamが既知である被写体（サンプル数：n）を撮影し、各フィルタを通して撮影した画素値Vsamとの対応関係から、Wiener推定等の手法により算出する。Wiener推定による係数算出の式は、次の式（９）にて表される。
【００４４】
【数９】
なお、第二の色情報が分光放射輝度などの他の分光情報である場合も、画素値から所定の係数を用いて算出するなど、既知の方法を用いて第二の色情報を算出することができる。
【００４５】
＜画像合成処理＞
ここでは、Ｓ２０９における画像合成処理について詳細に説明する。本実施例においては、上述したように、多眼カメラによって撮影した画像（すなわち、撮影画像入力部５から読み込まれた撮影画像）間の対応点を算出することにより、各画素についての距離情報および分光情報を算出可能である。また、予め、Ｓ２０８にて、例えば図９に示すようなユーザーインターフェース（以下ＵＩと記す）により合成条件が入力され、画像合成条件設定部３に当該条件が設定されている。画像合成部１１は、該合成条件に基づき、距離情報及び分光情報を用いて、撮影画像入力部５から読み込まれた複数枚の撮影画像を１枚の画像に合成する。
【００４６】
詳細には、まず、画像合成条件設定部３に設定された視点位置および視線方向により、カメラと被写体の幾何学的な配置が決定される。
【００４７】
次に、画像合成条件設定部３に設定された焦点距離に応じて、図１０に示すように、フォーカスの合う距離が決定し、設定された絞り値に応じて、焦点距離からずれた位置にある被写体のボケ量を決定する。すなわち、絞り値が大きい場合には、図１０（ａ）に示すように、焦点距離から離れた点のボケ量は大きくなり、絞り値が小さくなるにつれ、図１０（ｂ）に示すように、焦点距離から離れた点のボケ量は小さくなる。Ｓ２０６で算出された被写体の距離情報に応じたボケ量になるよう、ボケを生じさせるフィルタ等のパラメータを決定する。
【００４８】
最後に、画像合成条件設定部３に設定された再現時の照明条件に応じて、Ｓ２０７で算出された被写体の分光反射率特性を合成される画像に掛け合わせることで、再現画像の色を算出することができる。その後、上記決定したパラメータを用いたフィルタ及び算出された再現画像の色により、合成画像を生成する。
【００４９】
上述の通り、画像合成時の条件を設定することにより、当該条件に応じた合成画像を作成することが可能となる。
【００５０】
ただし、画像の合成条件を設定する方法は、ユーザが画像合成に必要な条件を十分に設定可能な方法であればよく、図９に示すＵＩに限定されるものではない。
【００５１】
以上説明した処理制御を行うことで、多眼カメラによる撮影において、解像度を低下させずにマルチバンド撮影が可能である。また、フィルタセット構成が異なるカメラにより得られた画像データから被写体の分光情報を取得しつつ、当該画像データ間の対応点を高精度に算出することが可能である。
【実施例２】
【００５２】
実施例１では、多眼カメラにより撮影された画像を、任意の視点位置、視線方向、焦点距離、絞り値、観察光源等を設定し、新たな画像として合成・出力する方法について説明した。実施例２では、多眼カメラにより撮影された画像から距離情報及び第二の色情報を算出し、アーカイブ画像として記録する方法について説明する。
【００５３】
実施例２における画像処理装置のブロック図を図１１に示す。尚、画像処理装置１、多眼カメラ２、および、撮影画像入力部５から第二の色情報算出部１０までは、実施例１における画像処理装置と同一であるため、説明を省略する。
【００５４】
図１１において、符号１１０１は、モザイク処理部６で処理された画像データと、距離情報算出部９で算出された距離情報と、第二の色情報算出部１０にて算出された第二の色情報とを合成するための画像合成部である。符号１１０２は、多眼カメラにて撮影された複数枚の撮影画像を合成する際の条件を設定するための合成条件設定部である。符号１１０３は、画像合成部１１０１にて合成された画像データを記憶しておくための画像データ記憶部である。
【００５５】
ここで、図１２は、実施例２にて行われる画像処理のフローチャートである。以下、実施例２の実施形態を、図面を用いて詳細に説明する。ただし、Ｓ２０１における多眼カメラによる多視点画像撮影から、Ｓ２０７における第二の色情報算出までは、実施例１と同一であるため、説明を省略する。
【００５６】
Ｓ１２０１では、画像合成条件設定部１１０２にて、複数画像を合成するための条件設定を行う。ここで、図１３は、本実施例における合成条件設定のためのＵＩの一例である。本実施例では、画像データをアーカイブ画像として保存することを目的としているため、第一の実施例で設定した焦点距離、絞り値、照明光源に関する条件設定は不要である。
【００５７】
Ｓ１２０２では、画像の各画素について、Ｓ２０６にて算出した距離情報、および、Ｓ２０７にて算出した第二の色情報を、例えば、図１４に示すような情報に変換する。一般的な画像データは、図１４（ａ）に示すように、位置(i, j)における情報は、ＲＧＢ値すなわちR (i, j)、G(i, j)、B(i, j)のみである。一方、本実施例においては、このような情報に加えて、図１４（ｂ）に示すように、各画素の距離D(i, j)、および分光反射率R380 (i, j)〜R780 (i, j)を合成するものとする。
【００５８】
Ｓ１２０３では、Ｓ１２０２にて合成した画像データを、画像データ記憶部１１０３に記憶する。
【００５９】
以上説明した処理制御を行うことで、多眼カメラを用いた画像撮データから、被写体の距離情報、および、分光情報を持つ画像データを記録することが可能となる。
【００６０】
＜他の実施例＞
上記、実施例１および実施例２において、フィルタ構成は、フィルタセットＡとして３種類、フィルタセットＢとして３種類のカラーフィルタを用いるとして説明したが、これに限定されるものではない。すなわち、４種類以上のカラーフィルタを、異なる種類のフィルタセットに分類し、かつ、各カメラに搭載されるフィルタセットが、それぞれ同一の色情報を算出可能な構成であれば、その詳細を限定するものではない。
【００６１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は複数のカメラを並べて撮影する多眼カメラに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像デバイスを複数配置した、所謂、多眼カメラアレイを用いた技術が開発されている。多眼カメラによる撮影により、被写体の３次元情報を取得し、任意の視点、視線方向の画像を生成したり、３次元画像表示のための視差画像を生成したりすることが可能である。あるいは、撮影後にフォーカス位置や、被写界深度を変更した画像を生成することも可能である。
【０００３】
上述した多眼カメラにおいて、各カメラの位置や光軸方向だけでなく、撮影条件を変えて撮影を行うことにより、より多くの被写体情報を得る技術がある。
【０００４】
例えば、特許文献１には、各カメラの焦点位置や露出を変化させて撮影を行う方法について述べられている。
【０００５】
また、特許文献２には、各カメラに分光透過特性の異なる光学フィルタ装着して撮影することにより、被写体の分光情報を取得する方法について述べられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−５１３１８号公報
【特許文献２】特開２００８−１２８７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術においては、取得される色情報は、全てのカメラで同一（例えば、RGB値）である。そのため、複数枚の画像を合成する際には、冗長なデータが多く含まれることになり無駄が多いという問題がある。
【０００８】
また、特許文献２に記載の技術においては、カメラごとに撮影される画像の色情報は、それぞれ異なる特性のカラーフィルタを通して取得されたものである。そのため、同一の被写体を撮影した場合でも、画像の画素値がカメラごとに異なる値となってしまい、カメラ間の対応点を算出する精度が低下してしまうという問題があった。
【０００９】
本発明の課題は、多眼カメラにて撮影された複数枚の画像における対応点探索精度を向上させると共に、被写体についてのより多くの色情報を取得可能な画像処理装置、画像処理方法、およびプログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理装置であって、前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出手段と、前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出手段と、前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、多眼カメラにて撮影された複数枚の画像における対応点探索精度を向上させると共に、被写体についてのより多くの色情報を取得可能な画像処理装置、画像処理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の画像処理装置の構成を示すブロック図である。
【図２】実施例１の画像処理装置における処理を示すフローチャートである。
【図３】一実施形態における多眼カメラのカラーフィルタ構成の一例を示す図である。
【図４】一実施形態におけるカラーフィルタの画素配置の一例を示す図である。
【図５】一実施形態におけるカラーフィルタの分光透過率特性の一例を示す図である。
【図６】一実施形態における対応点探索処理を説明するための図である。
【図７】一実施形態における第一の色情報の算出方法を説明するための図である。
【図８】一実施形態における距離情報の算出方法を説明するための図である。
【図９】実施例１における、合成条件設定のためのＵＩの一例を示す図である。
【図１０】絞り値とボケ量の関係を説明するための図である。
【図１１】実施例２の画像処理装置の構成を示すブロック図である。
【図１２】実施例２の画像処理装置における処理を示すフローチャートである。
【図１３】実施例２における、合成条件設定のためのＵＩの一例を示す図である。
【図１４】実施例２における、画像データフォーマットの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照してこの発明の好適な実施形態を詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１４】
図１に示すブロック図を参照して、本実施形態の画像処理装置の構成を説明する。符号１は、多眼カメラにて撮影された複数枚の画像を合成するための画像処理装置である。符号２は、複数のデジタルカメラ等の画像取得装置をアレイ状に配置した多眼カメラである。符号３は、多眼カメラ２にて撮影された複数枚の撮影画像を合成する際の条件を設定するための画像合成条件設定部である。符号４は、画像を表示するためのディスプレイ等の画像出力装置である。
【００１５】
符号５は、多眼カメラ２にて撮影された画像データを、画像処理装置１に読み込むための撮影画像入力部である。符号６は、撮影画像入力部５にて入力された画像データに対し、デモザイク処理を行うためのデモザイク処理部である。符号７は、デモザイク処理部６にてデモザイク処理を行った撮影画像を用い、後述する対応点算出に用いるための第一の色情報（本実施例では輝度値としている）を算出するための第一の色情報算出部である。符号８は、第一の色情報算出部７にて算出した各画素の第一の色情報を用いて、撮影画像間の対応点を算出するための対応点算出部である。符号９は、対応点算出部８にて算出した対応点情報を用いて、被写体の距離情報（被写体の奥行き情報）を算出するための距離情報算出部である。符号１０は、デモザイク処理部６にてデモザイク処理を行った撮影画像と、対応点算出部８にて算出した対応点情報とを用いて、被写体の第二の色情報（本実施例では分光反射率としている）を算出するための第二の色情報算出部である。第二の色情報は、被写体の忠実な色情報であり、被写体の色を忠実に再現するために用いられる情報である。符号１１は、画像合成条件設定部３に設定された画像合成条件と、距離情報算出部９にて算出した距離情報と、第二の色情報算出部１０にて算出した第二の色情報とを用いて、出力用の合成画像を作成するための画像合成部である。符号１２は、画像合成部１１にて作成した合成画像を、画像表示装置４にて表示するために出力する画像出力部である。
【００１６】
符号１００は、上記の構成を備える多眼カメラシステムである。なお、多眼カメラ２及び画像出力装置４は、画像処理装置１との接続を切り離すことも可能である。
【００１７】
なお、本実施例において、第一の色情報を輝度値とし、第二の色情報を分光反射率としているが、これに限定されない。第一の色情報は、例えば、Ｌａｂ値やｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）値でもよく、複数の画像間の画素値を共通の色空間における色情報に変換したものであればよい。また、第二の色情報は、例えば、分光放射輝度などの他の分光情報であってもよく、ＲＧＢなどだけでは表現できない被写体の色を忠実に再現するため情報であればよい。
【００１８】
図２は、多眼カメラシステム１００にて行われる画像処理を示すフローチャートである。まず、Ｓ２０１では、多眼カメラ２にて、撮影対象である被写体を、複数の視点から撮影する。
【００１９】
Ｓ２０２では、撮影画像入力部５は、Ｓ２０１で撮影された複数の撮影画像を画像処理装置１に読み込む。Ｓ２０３では、デモザイク処理部６は、Ｓ２０２で読み込んだ複数の撮影画像に対してデモザイク処理を行う。Ｓ２０４では、第一の色情報算出部７は、Ｓ２０３でデモザイク処理された画像の各画素について、第一の色情報である輝度値を算出する（詳細は後述）。Ｓ２０５では、対応点算出部８は、Ｓ２０４で算出した輝度信号を用いて、複数の画像間の対応点を算出する（詳細は後述）。Ｓ２０６は、距離情報算出部９にて、Ｓ２０５で算出した対応点情報を用いて、各画素の距離情報を算出する（詳細は後述）。Ｓ２０７では、第二の色情報算出部１０は、Ｓ２０３でデモザイク処理した画像の各画素について、第二の色情報である分光反射率をＳ２０５にて算出した対応点情報を用いて算出する（詳細は後述）。
【００２０】
Ｓ２０８では、ユーザからの指示又は外部装置からのコマンドに応じて、画像合成条件設定部３は、Ｓ２０２で読み込まれた複数の撮影画像の合成のための条件設定を行う。
【００２１】
Ｓ２０９では、画像合成部１１は、Ｓ２０６にて算出した距離情報と、Ｓ２０７にて算出した第二の色情報とを用いて、Ｓ２０８にて設定した合成条件に基づき、画像合成を行う（詳細は後述）。Ｓ２１０では、画像出力部１２は、Ｓ２０９にて合成した合成画像を画像出力装置４に出力する。
【００２２】
＜多眼カメラのカラーフィルタ構成＞
図３に、一実施形態における多眼カメラ２のカラーフィルタ構成を示す。図３（ａ）には、例として、５×５台の、合計２５台の単眼カメラを並べ、多眼カメラ２を構成した例を図示している。図３（ａ）では、フィルタセットAを搭載した単眼カメラと、フィルタセットBを搭載した単眼カメラを市松状に配置している。すなわち、フィルタセットAを搭載した単眼カメラと、フィルタセットBを搭載した単眼カメラは、交互に配置されている。各単眼カメラをこのように配置することによって、各単眼カメラで撮影された撮影画像を合成する際に、冗長なデータを合成するという無駄を低減させることができる。
【００２３】
ここで、例えば、フィルタセットAの透過特性は、図４（ａ）に示した３色のカラーフィルタ（f_A1, f_A2, f_A3）、フィルタセットBの透過特性は、図４（ｂ）に示した３色のカラーフィルタ（f_B1, f_B2, f_B3）を用いる。図４において、各単眼カメラの画角および単眼カメラ間の距離に応じて、フィルタセットAを搭載したカメラと、フィルタセットBを搭載したカメラの画角がオーバーラップしている。図３（ｂ）中の斜線で示す領域は、被写体において各カメラの画角がオーバーラップしている領域の例を示している。このように画角がオーバラップしていることにより、６色分のカラーフィルタの情報を取得することが可能となる。
【００２４】
また、本実施例では、６色のカラーフィルタが３色ずつの２セットのフィルタセットに分けられている。また、各単眼カメラは、これらのフィルタセットのうちいずれかを搭載し、マルチバンドで撮影を行う。そのため、全てのカメラに６色フィルタを搭載した場合に比べ、高い解像度での撮影が可能である。
【００２５】
なお、本実施例では、フィルタセットは２種類であるが、これに限定されない。３種類以上（すなわち、２種類以上）のフィルタセットのいずれかを各単眼カメラが搭載していることとしても良い。
【００２６】
＜輝度信号の算出＞
ここでは、Ｓ２０４における第一の色情報の算出処理として、輝度信号の算出処理について詳細に説明する。
【００２７】
本実施例においては、多眼カメラ２を構成する各単眼カメラにより撮影されたそれぞれの撮影画像から、単独で輝度信号（Y値）を算出可能な構成としている。例えば、１つの単眼カメラで図４（ａ）に示すような、３色のフィルタ（f_A1, f_A2, f_A3）を用いて撮影した場合を考える。この時、画像中の座標(i, j)における画素の輝度値Y(i,j)Aは、デモザイク処理後の画素値(VA1, VA2, VA3)を用いて、次の式にて算出する。
【００２８】
【数１】
式（１）における係数（αA1, αA2, αA3, γA1, γA2, γA3）は、予め、既知の輝度を持つ被写体を撮影した際の画素値を用いて、最適化した値を用いる。同様に、図４（ｂ）に示す３色のフィルタ（f_B1, f_B2, f_B3）を用いて撮影した画像の輝度値Y(i,j)Bは、デモザイク処理後の画素値（VA1, VB2, VB3）を用いて、次の式にて算出する。
【００２９】
【数２】
式（２）における係数（αB1, αB2, αB3, γB1, γB2, γB3）は、予め、既知の輝度を持つ被写体を撮影した際の画素値を用いて、最適化した値を用いる。
【００３０】
この時、最適化に用いる被写体を、フィルタセットAおよびBで共通化することにより、同一輝度の被写体に対して、同一の輝度値を算出することが可能となり、後述する対応点探索の精度が向上する。
【００３１】
ただし、画素値を輝度値へ変換するための上記の方法は、式（１）および（２）のような線形変換に限られるものではなく、例えば、下記の式（３）および式（４）のように、２次項を使用し、センサ出力の非線形性を補正するような変換を行ってもよい。
【００３２】
【数３】
【００３３】
【数４】
図７を参照して、上述のデモザイク処理および輝度信号算出処理の関係を説明する。フィルタセットAを搭載した単眼カメラにおいて撮影された画像には、図７（ａ）に示すように、３種類のカラーフィルタ（f_A1, f_A2, f_A3）に対応した画素値（VA1, VA2, VA3）が、ベイヤー状に配置されている。ここで、Ｓ２０３にて行われるデモザイク処理により、３種類のカラーフィルタに対応した３バンドの画像データが、補間処理により生成される。さらにＳ２０４にて行われる輝度算出処理により、輝度値Yが各画素において算出される。本実施例において、後述の対応点算出は、各画素の輝度値を用いて処理するものとする。
【００３４】
なお、第一の色情報がＬａｂ値やｓＲＧＢである場合も、画素値から所定の係数を用いて算出するなど、既知の方法を用いて第一の色情報を算出することができる。
【００３５】
＜対応点の算出＞
ここでは、Ｓ２０５における、複数画像間の対応点の算出処理について詳細に説明する。複数画像間の対応点は、当該複数の画像間の第一の色情報の差分を用いて算出される。
【００３６】
図６（ａ）は、被写体と複数のカメラ（多眼カメラ）との位置関係を示す図である。ただし、ここでは、簡単のため、多眼カメラを３台として説明する。中央のカメラ６０３には、カラーフィルタとして、フィルタセットA（f_A1, f_A2, f_A3）、左右２台のカメラ６０２および６０４にはフィルタセットB（f_B1, f_B2, f_B3）が搭載されているものとする。
【００３７】
図６（ｂ）は、被写体６０１をそれぞれカメラ６０２、６０３、および６０４で撮影した画像を示している。ここで、中央にあるカメラ６０３では、被写体上の点L、M、Nの全てが撮影されている。これに対し、カメラ６０２では、点L、Mは撮影されているものの、点Nは、オクルージョンにより撮影されていない。一方、カメラ６０４では、点M、Nは撮影されているものの、点Lは撮影されていない。そこで、第一の色情報を用いて、ステレオマッチング法等、パターンマッチング手法により、中央のカメラ６０３を基準とし、対応点を探索する。この場合、点Lの対応点は、カメラ６０２の撮影画像より求め、点Nの対応点は、カメラ６０４の撮影画像より求める。その結果、あるカメラでは撮影されているものの、他のカメラでは他の被写体の陰となり撮影されない、所謂、オクルージョンの影響を受けずに、対応点を算出し、色情報の再現や後述の距離情報算出処理を行うことができる。
【００３８】
＜距離情報の算出＞
ここでは、Ｓ２０６における距離情報算出処理について詳細に説明する。図８（ａ）に示すような、２つのカメラ（カメラ１、およびカメラ２）により撮影された撮影データから距離情報を算出する方法を考える。ここで、カメラ１の光軸がZ軸と一致するように座標軸を設定する。また、カメラ１とカメラ２の光軸は平行であり、X軸に平行に並んでいるものとする。図８（ｂ）は、図８（ａ）をX-Z平面に投影した図である。３次元空間における、カメラ１の焦点を原点としたときの被写体のある一点の座標を（XO, YO, ZO）とする。また、カメラ１の撮影画像の中心を原点としたときに、被写体のこの一点が、カメラ１の撮影画像で結像する点の座標を（xL, yL）とする。さらに、カメラ２の撮影画像の中心を原点としたときに、被写体のこの一点（対応点）が、カメラ２の撮影画像で結像する点の座標を（xR, yR）とする。このとき、次の式（５）が成り立つ。
【００３９】
【数５】
ただし、fはカメラの焦点距離、Bは２つのカメラ間の光軸距離である。図８で示した幾何学条件では、カメラ１とカメラ２は、X軸に平行に並んでいるため、yL ＝ yRとなる。また、常にxL ≧ xRであるため、式（５）を変形することにより、カメラ１又はカメラ２のセンサから被写体までの距離ZOは、次の式（６）で求めることができる。
【００４０】
【数６】
また、算出した距離情報ZOを用いて、（XO, YO, ZO）は、次の式（７）にて算出できる。
【００４１】
【数７】
以上のとおり、Ｓ２０６の処理によれば、Ｓ２０５で算出された対応点情報を用いて、各画素におけるカメラのセンサから被写体までの距離を算出することができる。すなわち、被写体の奥行き情報を算出することができる。
【００４２】
＜分光反射率の算出＞
ここでは、Ｓ２０７における第二の色情報の算出処理として、分光反射率の算出処理について詳細に説明する。多眼カメラにて撮影された複数枚の撮影画像は、Ｓ２０５において、画素ごとに、画像間の対応点が算出されている。従って、各画素の色情報は、１枚の画像では、３色の色情報しか持たないものの、他の画像の対応点の情報を用いることにより、６色の色情報を持つことになる。そこで、各画素の分光反射率は、６色分の画素データ（VA1, VA2, VA3, VB1, VB2, VB3）を用いて、次の式（８）にて算出する。
【００４３】
【数８】
式（８）において、分光データ算出のための係数aは、予め、分光反射率Rsamが既知である被写体（サンプル数：n）を撮影し、各フィルタを通して撮影した画素値Vsamとの対応関係から、Wiener推定等の手法により算出する。Wiener推定による係数算出の式は、次の式（９）にて表される。
【００４４】
【数９】
なお、第二の色情報が分光放射輝度などの他の分光情報である場合も、画素値から所定の係数を用いて算出するなど、既知の方法を用いて第二の色情報を算出することができる。
【００４５】
＜画像合成処理＞
ここでは、Ｓ２０９における画像合成処理について詳細に説明する。本実施例においては、上述したように、多眼カメラによって撮影した画像（すなわち、撮影画像入力部５から読み込まれた撮影画像）間の対応点を算出することにより、各画素についての距離情報および分光情報を算出可能である。また、予め、Ｓ２０８にて、例えば図９に示すようなユーザーインターフェース（以下ＵＩと記す）により合成条件が入力され、画像合成条件設定部３に当該条件が設定されている。画像合成部１１は、該合成条件に基づき、距離情報及び分光情報を用いて、撮影画像入力部５から読み込まれた複数枚の撮影画像を１枚の画像に合成する。
【００４６】
詳細には、まず、画像合成条件設定部３に設定された視点位置および視線方向により、カメラと被写体の幾何学的な配置が決定される。
【００４７】
次に、画像合成条件設定部３に設定された焦点距離に応じて、図１０に示すように、フォーカスの合う距離が決定し、設定された絞り値に応じて、焦点距離からずれた位置にある被写体のボケ量を決定する。すなわち、絞り値が大きい場合には、図１０（ａ）に示すように、焦点距離から離れた点のボケ量は大きくなり、絞り値が小さくなるにつれ、図１０（ｂ）に示すように、焦点距離から離れた点のボケ量は小さくなる。Ｓ２０６で算出された被写体の距離情報に応じたボケ量になるよう、ボケを生じさせるフィルタ等のパラメータを決定する。
【００４８】
最後に、画像合成条件設定部３に設定された再現時の照明条件に応じて、Ｓ２０７で算出された被写体の分光反射率特性を合成される画像に掛け合わせることで、再現画像の色を算出することができる。その後、上記決定したパラメータを用いたフィルタ及び算出された再現画像の色により、合成画像を生成する。
【００４９】
上述の通り、画像合成時の条件を設定することにより、当該条件に応じた合成画像を作成することが可能となる。
【００５０】
ただし、画像の合成条件を設定する方法は、ユーザが画像合成に必要な条件を十分に設定可能な方法であればよく、図９に示すＵＩに限定されるものではない。
【００５１】
以上説明した処理制御を行うことで、多眼カメラによる撮影において、解像度を低下させずにマルチバンド撮影が可能である。また、フィルタセット構成が異なるカメラにより得られた画像データから被写体の分光情報を取得しつつ、当該画像データ間の対応点を高精度に算出することが可能である。
【実施例２】
【００５２】
実施例１では、多眼カメラにより撮影された画像を、任意の視点位置、視線方向、焦点距離、絞り値、観察光源等を設定し、新たな画像として合成・出力する方法について説明した。実施例２では、多眼カメラにより撮影された画像から距離情報及び第二の色情報を算出し、アーカイブ画像として記録する方法について説明する。
【００５３】
実施例２における画像処理装置のブロック図を図１１に示す。尚、画像処理装置１、多眼カメラ２、および、撮影画像入力部５から第二の色情報算出部１０までは、実施例１における画像処理装置と同一であるため、説明を省略する。
【００５４】
図１１において、符号１１０１は、モザイク処理部６で処理された画像データと、距離情報算出部９で算出された距離情報と、第二の色情報算出部１０にて算出された第二の色情報とを合成するための画像合成部である。符号１１０２は、多眼カメラにて撮影された複数枚の撮影画像を合成する際の条件を設定するための合成条件設定部である。符号１１０３は、画像合成部１１０１にて合成された画像データを記憶しておくための画像データ記憶部である。
【００５５】
ここで、図１２は、実施例２にて行われる画像処理のフローチャートである。以下、実施例２の実施形態を、図面を用いて詳細に説明する。ただし、Ｓ２０１における多眼カメラによる多視点画像撮影から、Ｓ２０７における第二の色情報算出までは、実施例１と同一であるため、説明を省略する。
【００５６】
Ｓ１２０１では、画像合成条件設定部１１０２にて、複数画像を合成するための条件設定を行う。ここで、図１３は、本実施例における合成条件設定のためのＵＩの一例である。本実施例では、画像データをアーカイブ画像として保存することを目的としているため、第一の実施例で設定した焦点距離、絞り値、照明光源に関する条件設定は不要である。
【００５７】
Ｓ１２０２では、画像の各画素について、Ｓ２０６にて算出した距離情報、および、Ｓ２０７にて算出した第二の色情報を、例えば、図１４に示すような情報に変換する。一般的な画像データは、図１４（ａ）に示すように、位置(i, j)における情報は、ＲＧＢ値すなわちR (i, j)、G(i, j)、B(i, j)のみである。一方、本実施例においては、このような情報に加えて、図１４（ｂ）に示すように、各画素の距離D(i, j)、および分光反射率R380 (i, j)〜R780 (i, j)を合成するものとする。
【００５８】
Ｓ１２０３では、Ｓ１２０２にて合成した画像データを、画像データ記憶部１１０３に記憶する。
【００５９】
以上説明した処理制御を行うことで、多眼カメラを用いた画像撮データから、被写体の距離情報、および、分光情報を持つ画像データを記録することが可能となる。
【００６０】
＜他の実施例＞
上記、実施例１および実施例２において、フィルタ構成は、フィルタセットＡとして３種類、フィルタセットＢとして３種類のカラーフィルタを用いるとして説明したが、これに限定されるものではない。すなわち、４種類以上のカラーフィルタを、異なる種類のフィルタセットに分類し、かつ、各カメラに搭載されるフィルタセットが、それぞれ同一の色情報を算出可能な構成であれば、その詳細を限定するものではない。
【００６１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理装置であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出手段と、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出手段と、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第一の色情報は、輝度値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の色情報は、分光反射率であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数の撮影画像のそれぞれは、６色のカラーフィルタを３色ずつ２セットに分けたフィルタセットのうちいずれかを搭載した単眼カメラにより撮影されたものであることを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
撮影画像の合成条件を入力するための合成条件設定手段を備え、
前記合成手段は、前記入力された合成条件に基づいて合成を行うことを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラと、
前記多眼カメラにより撮影された複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出手段と、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出手段と、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段と
を備えることを特徴とする多眼カメラシステム。
【請求項７】
前記多眼カメラは、異なるフィルタセットが搭載された単眼カメラが交互に配置されていることを特徴とする請求項６に記載の多眼カメラシステム。
【請求項８】
２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理方法であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出ステップと、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出ステップと、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出ステップと、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出ステップと、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成ステップと
を備えることを特徴とする画像処理方法。
【請求項９】
コンピュータに、２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理方法であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出ステップと、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出ステップと、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出ステップと、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出ステップと、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成ステップと
を備えた画像処理方法を実行させるためのプログラム。
【請求項１】
２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理装置であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出手段と、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出手段と、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第一の色情報は、輝度値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の色情報は、分光反射率であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数の撮影画像のそれぞれは、６色のカラーフィルタを３色ずつ２セットに分けたフィルタセットのうちいずれかを搭載した単眼カメラにより撮影されたものであることを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
撮影画像の合成条件を入力するための合成条件設定手段を備え、
前記合成手段は、前記入力された合成条件に基づいて合成を行うことを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラと、
前記多眼カメラにより撮影された複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出手段と、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出手段と、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出手段と、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出手段と、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成手段と
を備えることを特徴とする多眼カメラシステム。
【請求項７】
前記多眼カメラは、異なるフィルタセットが搭載された単眼カメラが交互に配置されていることを特徴とする請求項６に記載の多眼カメラシステム。
【請求項８】
２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理方法であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出ステップと、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出ステップと、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出ステップと、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出ステップと、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成ステップと
を備えることを特徴とする画像処理方法。
【請求項９】
コンピュータに、２種類以上のフィルタセットのうちいずれかを搭載した単眼カメラをアレイ状に配置した多眼カメラにより撮影された複数の撮影画像に対して処理を行う画像処理方法であって、
前記複数の撮影画像の画素値から共通の色空間における色情報である第一の色情報を算出する第一の色情報算出ステップと、
前記算出された第一の色情報を用いて、前記複数の撮影画像間の対応点を算出する対応点算出ステップと、
前記算出された対応点を用いて、前記撮影画像の被写体の奥行き情報を算出する距離情報算出ステップと、
前記被写体の色を忠実に再現するために用いられる色情報である第二の色情報を前記複数の撮影画像の画素値から算出する第二の色情報算出ステップと、
前記算出された奥行き情報及び第二の色情報を用いて、前記複数の撮影画像を合成する合成ステップと
を備えた画像処理方法を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１８６７５５（Ｐ２０１２−１８６７５５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−５００９２（Ｐ２０１１−５００９２）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]