撮像装置および画像処理方法
【課題】実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能な撮像装置を提供する。
【解決手段】撮像装置１は、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３および画像処理部１４を備える。撮像レンズ１１、レンズアレイ１２およびイメージセンサ１３を用いて取得された撮像データＤ０に基づいて複数の撮影視点画像を生成し、これらのうち２以上の撮影視点画像を合成する。合成の際には、２以上の撮影視点画像を、それらの撮影視点と仮想視点との位置関係に応じた重みづけを行う。処理能力の高いＣＰＵやＧＰＵを必要とする複雑な演算処理を行うことなく、仮想視点画像を生成する。
【解決手段】撮像装置１は、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３および画像処理部１４を備える。撮像レンズ１１、レンズアレイ１２およびイメージセンサ１３を用いて取得された撮像データＤ０に基づいて複数の撮影視点画像を生成し、これらのうち２以上の撮影視点画像を合成する。合成の際には、２以上の撮影視点画像を、それらの撮影視点と仮想視点との位置関係に応じた重みづけを行う。処理能力の高いＣＰＵやＧＰＵを必要とする複雑な演算処理を行うことなく、仮想視点画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズアレイを用いた撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている（非特許文献１）。また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズの焦点面にレンズアレイを配置し、更にこのレンズアレイの焦点面にイメージセンサを設けたものである。これにより、レンズアレイ上に結像する被写体の映像を、イメージセンサにおいて、各視点方向の光線に分割しつつ受光し、同時刻に多視点の画像を取得することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような撮像装置では、レンズアレイにおける１つのレンズに、イメージセンサ上の複数の画素が割り当てられており、そのレンズに割り当てられた画素数分の視点画像を取得可能である。例えば、１つのレンズが３×３の画素（９画素）に割り当てられている場合には、９視点分の画像を取得することができる。これらの視点画像は、例えば立体映像表示の際の左右の視点画像として利用可能である。
【０００５】
このように、レンズに割り当てられた画素と同数の視点画像が取得されるが、実際の撮影視点とは異なる新たな視点（仮想視点）における視点画像（仮想視点画像）を生成することも可能である。しかしながら、この場合、複雑な画像演算処理が必要となる。そのため、制御部に処理能力の高いＣＰＵを集積させる必要が生じ、コストが増大するという問題がある。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能な撮像装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像レンズと、撮像レンズの結像面に配置されたレンズアレイと、撮像レンズおよびレンズアレイの通過光線を受光して撮像データを取得する撮像素子と、撮像データに対して画像処理を施す画像処理部とを備えたものである。画像処理部は、撮像データに基づいて複数の撮影視点画像を生成する第１視点画像生成部と、複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、撮影視点画像とは異なる仮想視点画像を生成する第２視点画像生成部とを有している。第２視点画像生成部は、２以上の撮影視点画像を合成する際、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じた重みづけを行う。
【０００８】
本発明の画像処理方法は、撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、その撮像データに基づいて複数の撮影視点画像を生成し、複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、撮影視点画像とは異なる仮想視点画像を生成する。２以上の撮影視点画像を合成する際、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じた重みづけを行う。
【０００９】
本発明の撮像装置および画像処理方法では、撮像レンズを通過した被写体からの光線は、レンズアレイによって視点方向毎に分割され、撮像素子において受光される（撮像データが得られる）。画像処理部は、得られた撮像データに基づいて複数の撮影視点画像を生成し、それらのうち２以上の撮影視点画像を、それらの撮影視点および仮想視点との位置関係に応じた重みづけを行いつつ合成することにより、仮想視点画像を生成する。
【発明の効果】
【００１０】
本発明の撮像装置および画像処理方法によれば、撮像レンズ、レンズアレイおよび撮像素子と、撮像素子により取得された撮像データに基づいて視点画像を生成する画像処理部とを備え、画像処理部において２以上の視点画像を合成して仮想視点画像を生成する。２以上の視点画像を、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じて重みづけを行いつつ合成することにより、複雑な演算処理を行うことなく、仮想視点画像を生成することができる。実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係る撮像装置の全体構成を表す図である。
【図２】レンズアレイとイメージセンサの配置関係を表す模式図である。
【図３】図１に示した画像処理部における詳細構成を表す機能ブロック図である。
【図４】視点方向毎の光線分割について説明するための模式図である。
【図５】図１に示した撮像装置により取得される撮像データの模式図である。
【図６】図５に示した撮像データから得られる各視点画像を説明するための模式図である。
【図７】図６に示した視点画像の一例を表す模式図である。
【図８】視点画像間の視差量について説明するための模式図である。
【図９】画像合成処理動作（仮想視点生成処理動作）について説明するための模式図である。
【図１０】ＬX＝ＬH／２，ＬY＝ＬV／２の場合の仮想視点と撮影視点との位置関 係を表した模式図である。
【図１１】ＬX＝０の場合の仮想視点と撮影視点との位置関係を表した模式図である 。
【図１２】ＬY＝０の場合の仮想視点と撮影視点との位置関係を表した模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
実施の形態（４枚の撮影視点画像を所定の比率で合成して仮想視点画像を生成する画像処理例）
【００１３】
＜実施の形態＞
［全体構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、被写体２を撮像して所定の画像処理を施すことにより、視点画像としての画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、レンズアレイ１２Ａと、イメージセンサ１３と、画像処理部１４と、イメージセンサ駆動部１５と、制御部１６とを備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。また、本発明の画像処理方法は、画像処理部１４の構成および動作によって具現化されるものであるため、その説明を省略する。
【００１４】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。
【００１５】
レンズアレイ１２は、撮像レンズ１１の焦点面（結像面）に配置され、例えばガラスなどの基板上に複数のレンズ（マイクロレンズ）１２ａがＸ方向およびＹ方向に沿って２次元配置されたものである。これら複数のレンズ１２ａは、フォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板上に、例えばレジストリフロー法やナノインプリント法を用いて、形成されたものである。あるいは、基板表面にエッチング処理を施して形成されたものであってもよい。このレンズアレイ１２の焦点面には、イメージセンサ１３が配設されている。
【００１６】
イメージセンサ１３は、レンズアレイ１２を通過した光線を受光して撮像データＤ０を取得するものである。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。
【００１７】
図２は、レンズアレイ１２とイメージセンサ１３の配置構成について模式的に表したものである。レンズアレイ１２およびイメージセンサ１３は、光軸Ｚに沿って所定の間隔（レンズアレイ１２の焦点距離分）をあけて、かつ１つのレンズ１２ａに、イメージセンサ１３におけるｍ×ｎの画素領域Ｕが割り当てられるように配置されている。レンズ１２ａのＸＹ平面形状は、例えばｍ×ｎの画素領域Ｕに等しい方形状である。尚、ｍ，ｎは１以上の整数であり、ｍ×ｎの値が大きくなるに従って、即ち１つのマイクロレンズに割り当てられる画素の数が多くなるに従って、視点画像数（視点数）が多くなる。一方、レンズへの割り当て画素数が少なくなる（ｍ×ｎの値が小さくなる）に従って、各視点画像における画素数（解像度）が高くなる。以下では、１つのレンズ１２ａに３×３（ｍ＝ｎ＝３）の画素領域Ｕが割り当てられている場合を例に挙げて説明する。
【００１８】
イメージセンサ１３の受光面上には、図示しないカラーフィルタが設けられていてもよい。カラーフィルタとしては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の各色のフィルタが例えば１：２：１の比率で配列（ベイヤー配列）してなるものを用いることができる。
【００１９】
画像処理部１４は、イメージセンサ１３において取得された撮像データＤ０に対して所定の画像処理を施し、例えば視点画像としての画像データＤoutを出力するものである。図３に、画像処理部１４の詳細構成について示す。画像処理部１４は、例えば、撮影視点画像生成部１４０（第１視点画像生成部）、仮想視点画像生成部１４１（第２視点画像生成部）および画像補正処理部１４２を有している。尚、本明細書では、上記レンズ割り当て画素（ｍ×ｎ）に応じて取得される視点画像（実際の撮影視点における視点画像）を「撮影視点画像」と称し、この撮影視点画像を用いて生成した仮想的な視点における視点画像を「仮想視点画像」と称する。この画像処理部１４の具体的な画像処理動作については後述する。
【００２０】
イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。
【００２１】
制御部１６は、画像処理部１４およびイメージセンサ駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２２】
［作用、効果］
（１．撮像データの取得）
撮像装置１では、撮像レンズ１１およびイメージセンサ１３間の所定の位置にレンズアレイ１２が設けられていることにより、イメージセンサ１３において、被写体２からの光線は、その強度分布に加え進行方向（視点方向）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点方向毎に分割され、イメージセンサ１３の異なる画素において受光される。例えば、図４に示したように、レンズ１２ａの通過光線のうち、ある視点方向（第１視点）からの光線（光束）ＬＡは画素「Ａ」、それとは異なる視点方向（第２，３視点）からの光線ＬＢ，ＬＣは、画素「Ｂ」「Ｃ」において、それぞれ受光される。このように、レンズ１２ａに割り当てられた画素領域Ｕでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。
【００２３】
図５に、撮像データＤ０における画素データ配列について模式的に示す。本実施の形態のように、１つのレンズ１２ａに３×３の画素領域Ｕが割り当てられている場合、イメージセンサ１３では、その画素領域Ｕ毎に、計９つの視点方向からの光線が受光され、３×３のＡ〜Ｉの画素データが取得される。尚、図５では、簡便化のため、イメージセンサ１３の９×９の画素領域（９つの画素領域Ｕ）から得られる撮像データについて示している。また、イメージセンサ１３の受光面側に、カラーフィルタが配置されている場合には、撮像データＤ０は、このカラーフィルタの色配列に対応したカラーデータとして記録される。上記のようにして得られた撮像データＤ０は、画像処理部１４へ出力される。
【００２４】
（２．撮影視点画像生成）
画像処理部１４は、図３に示したように、撮影視点画像生成部１４０、仮想視点画像生成部１４１および画像補正処理部１４２を有し、イメージセンサ１３から出力された撮像データＤ０に基づいて所定の画像処理を行い、画像データＤoutを出力する。
【００２５】
具体的には、まず、撮影視点画像生成部１４０が、撮像データＤ０に基づいて複数の撮影視点画像を生成する処理を行う。即ち、図５に示した撮像データＤ０に対し、同一の視点方向の画素データ（画素領域Ｕ間において互いに同一の位置にある画素から抽出される画素データ）同士を合成する。例えば、撮像データＤ０の中から全ての画素データ「Ａ」を抽出してこれらを合成する（図６（Ａ））。他の画素データ「Ｂ」〜「Ｉ」についても同様の処理を行う（図６（Ｂ）〜（Ｉ））。このようにして、撮影視点画像生成部１４０は、撮像データＤ０に基づいて、複数の撮影視点画像（ここでは、第１〜９視点の計９つの撮影視点画像）を生成する。これらの撮影視点画像は、視点画像データＤ１として、仮想視点画像生成部１４１へ出力される。
【００２６】
ここで、図７（Ａ）〜（Ｉ）に、図６（Ａ）〜（Ｉ）に示したデータ配列に対応する撮影視点画像の一具体例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像として、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを例に挙げて説明する。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。このような視点画像Ｒ１〜Ｒ９は、１つの撮像レンズを用いた単眼方式のカメラで撮影したものであるので、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図７（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。
【００２７】
上記のような９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、例えば左視点方向および右視点方向における２つの視点画像を用いて、立体映像表示を行うことができる。この場合、表示される映像の立体感は、それら２つの視点画像間の視差量に応じたものとなる。例えば、図７（Ｄ）に示した視点画像Ｒ４と、図７（Ｆ）に示した視点画像Ｒ６とを上記２つの視点画像として選択した場合、表示映像における立体感は、次のようなものとなる。即ち、「山」は「人」よりも奥まって見えるが、その度合いは、図８（Ａ），（Ｂ）に示したように、視点画像Ｒ４における画像Ｒｂ４と視点画像Ｒ６における画像Ｒｂ６との位置ずれ量（視差量）Ｗｂに応じたものとなる。一方、「花」は「人」よりも手前に飛び出して見えるが、その度合いは、視点画像Ｒ４における画像Ｒｃ４と視点画像Ｒ６における画像Ｒｃ６との位置ずれ量Ｗｃに応じたものとなる。そして、位置ずれ量Ｗｂ，Ｗｃが大きければ大きい程、「山」はより奥まって、「花」はより飛び出して、それぞれ観察されることとなる。
【００２８】
（３．仮想視点画像生成（撮影視点画像合成））
上記のように、レンズ１２ａに割り当てられた画素と同数の撮影視点画像（ここでは、３×３＝９つの視点画像）が取得されるが、本実施の形態では、これらの撮影視点画像を用いて、実際の撮影視点とは異なる新たな視点（仮想視点）における視点画像（仮想視点画像）を生成する。即ち、仮想視点画像生成部１４１は、入力された視点画像データＤ１における複数の撮影視点画像に対し、以下に説明するような画像合成処理を施す。
【００２９】
ここで、図９（Ａ），（Ｂ）に、撮影視点Ａ〜Ｉと仮想視点Ｖとの位置関係について示す。本実施の形態では、このような９つの撮影視点Ａ〜Ｉとは異なる仮想視点Ｖから、あたかも被写体２を撮影したかのような仮想視点画像を、２以上の撮影視点画像を合成する（足し合わせる）ことにより生成する。望ましくは、仮想視点Ｖの近隣の４つの撮影視点（ここではＡ，Ｂ，Ｄ，Ｅ）における撮影視点画像を合成する。
【００３０】
具体的には、４つの撮影視点Ａ，Ｂ，Ｄ，Ｅにおける撮影視点画像（例えば図７に示した視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５）に対し、これら４つの撮影視点Ａ，Ｂ，Ｄ，Ｅと仮想視点Ｖとの位置関係に応じた重みづけを行いつつ合成する。この合成処理は、以下の式（１）のように表すことができる。但し、Ｒｖを仮想視点画像とし、係数α，β，δ，εはそれぞれ、視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５の合成比率を表すものとする。これらの係数α，β，δ，εとしては、例えば、以下の式（２）〜（５）により表されるものを用いることができる。但し、撮影視点間の水平方向における距離をＬH，垂直方向における距離をＬV，仮想視点の水平方向における撮影視点からのずれをＬX（０≦ＬX≦ＬH），垂直方向における撮影視点からのずれをＬY（０≦ＬY≦ＬV）とする。また、撮影視点画像の各係数の合計が１となるように各係数を設定するとよい。これにより、Ｒ１，Ｒ２，Ｒ４，Ｒ５が同等の明るさの映像である場合、Ｒｖもこれらと同等の明るさの映像とすることができる。
Ｒｖ＝（α×Ｒ１＋β×Ｒ２＋δ×Ｒ４＋ε×Ｒ５） ………（１）
α＝（ＬX／ＬH）×（ＬY／ＬV） ………（２）
β＝（１−ＬX／ＬH）×（ＬY／ＬV） ………（３）
δ＝（ＬX／ＬH）×（１−ＬY／ＬV） ………（４）
ε＝（１−ＬX／ＬH）×（１−ＬY／ＬV） ………（５）
α＋β＋δ＋ε＝１ ………（６）
【００３１】
例えば、図１０に示したように、仮想視点Ｖが４つの撮影視点Ａ，Ｂ，Ｄ，Ｅによって囲まれる領域の中心に位置するときには、上記式（２）〜（５）において、係数α，β，δ，εはいずれも０．２５となり、４枚の撮影視点画像（視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５）を均等な比率で合成すればよい。
【００３２】
このように、本実施の形態では、仮想視点と撮影視点との位置関係に応じた重みづけを行いつつ、撮影視点画像を合成することにより、仮想視点画像を生成することができる。生成された仮想視点画像についての視点画像データＤ２は、画像補正処理部１４２へ出力される。
【００３３】
画像補正処理部１４２は、入力された視点画像データＤ２に対し、例えばデモザイク処理等のカラー補間処理やホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像データを画像データＤoutとして出力する。この画像データＤoutは、撮像装置１の外部へ出力されるようにしてもよいし、撮像装置１の内部に設けられた記憶部（図示せず）に記憶するようにしてもよい。
【００３４】
尚、上記視点画像データＤ２および画像データＤoutは、合成処理によって生成された仮想視点画像に対応するデータのみであってもよいし、元々の撮影視点画像（ここでは９つの視点画像Ｒ１〜Ｒ９）に対応するデータを含んでいてもよい。あるいは、これらの撮影視点画像および仮想視点画像に対応するデータが混在して含まれていてもよい。また、生成される仮想視点画像は１枚であってもよいし、複数枚であってもよい。
【００３５】
以上のように本実施の形態では、撮像レンズ１１、レンズアレイ１２およびイメージセンサ１３を用いて取得された撮像データＤ０に基づいて複数の撮影視点画像を生成し、これらのうち２以上の撮影視点画像を合成する。この際、仮想視点Ｖの近隣の撮影視点Ａ，Ｂ，Ｄ，Ｅにおける４枚の撮影視点画像（視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５）を、仮想視点Ｖと撮影視点Ａ，Ｂ，Ｄ，Ｅとの位置関係に応じた重みづけを行いつつ合成する。即ち、複雑な演算処理を行うことなく、仮想視点画像を生成することができる。従って、処理能力の高いＣＰＵ（Central Processing Unit）を使用したり、グラフィック専用のＧＰＵ（Graphics Processing Unit）を別途搭載したりすることなく、仮想視点画像を生成できる。よって、実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能となる。
【００３６】
尚、上記実施の形態では、仮想視点画像生成部１４１において、仮想視点Ｖの近隣の４つの撮影視点における撮影視点画像を用いて合成処理を行う場合を例に挙げたが、必ずしも４つの撮影視点画像を用いる必要はない（上記４つの係数のうちいずれかが０（ゼロ）であってもよい）。例えば図１１に示したように、ＬX＝０のときには、上記式（２）〜（５）において、係数α，β，δ，εは以下のように表される。つまり、仮想視点Ｖにおける仮想視点画像を、２つの撮影視点Ｂ，Ｅにおける視点画像Ｒ２，Ｒ４のみを用いて生成することができる。
α＝０ ………（２）
β＝（ＬY／ＬV） ………（３）
δ＝０ ………（４）
ε＝（１−ＬY／ＬV） ………（５）
【００３７】
あるいは、例えば図１２に示したように、ＬY＝０のときには、上記式（２）〜（５）において、係数α，β，δ，εは以下のようになる。つまり、仮想視点Ｖにおける仮想視点画像を、２つの撮影視点Ｄ，Ｅにおける視点画像Ｒ３，Ｒ４のみを用いて生成することができる。
α＝０ ………（２）
β＝０ ………（３）
δ＝（ＬX／ＬH） ………（４）
ε＝（１−ＬX／ＬH） ………（５）
【００３８】
また、複数枚の仮想視点画像を生成してもよく、この場合には、各仮想視点毎に上述のような視点同士の位置関係に応じた重みづけを行いつつ撮影視点画像を合成すればよい。尚、合成処理によって新たに生成された仮想視点画像を、他の仮想視点画像の生成処理に用いるようにしてもよい。即ち、例えば、ある仮想視点Ｖ１における仮想視点画像Ｒｖ１を所定の撮影視点画像を用いて生成した後、仮想視点Ｖ１近傍の仮想視点Ｖ２における仮想視点画像Ｒｖ２を、仮想視点画像Ｒｖ１と、他の撮影視点画像とを、各視点の位置関係に応じて重みづけを行いつつ合成してもよい。
【００３９】
以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素（画素領域）ｍ×ｎ＝３×３である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばｍ，ｎが１，２または４以上であってもよい。
【００４０】
更に、上記実施の形態等では、本発明の画像処理方法の一例（画像処理部１４によって具現化される画像処理方法）では、撮像レンズ、レンズアレイおよびイメージセンサを有する１つの撮像装置内において撮像データを取得し、この撮像データに基づいて所定の画像処理を行うようにしたが、画像処理対象となる撮像データは、必ずしも１つの装置内で取得されたものでなくともよい。即ち、複数の視点画像に対応する撮像データを、外部から取得するようにしてもよく、外部から取得した撮像データに対して、所定の画像処理を施してもよい。
【符号の説明】
【００４１】
１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…レンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１４０…撮影視点画像生成部、１４１…仮想視点画像生成部、１４２…画像補正処理部、２…被写体、Ｄ０…撮像データ、Ｄ１，Ｄ２…視点画像データ、Ｄout…画像データ、Ｒ１〜Ｒ９…視点画像。
【技術分野】
【０００１】
本発明は、レンズアレイを用いた撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている（非特許文献１）。また、撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズの焦点面にレンズアレイを配置し、更にこのレンズアレイの焦点面にイメージセンサを設けたものである。これにより、レンズアレイ上に結像する被写体の映像を、イメージセンサにおいて、各視点方向の光線に分割しつつ受光し、同時刻に多視点の画像を取得することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような撮像装置では、レンズアレイにおける１つのレンズに、イメージセンサ上の複数の画素が割り当てられており、そのレンズに割り当てられた画素数分の視点画像を取得可能である。例えば、１つのレンズが３×３の画素（９画素）に割り当てられている場合には、９視点分の画像を取得することができる。これらの視点画像は、例えば立体映像表示の際の左右の視点画像として利用可能である。
【０００５】
このように、レンズに割り当てられた画素と同数の視点画像が取得されるが、実際の撮影視点とは異なる新たな視点（仮想視点）における視点画像（仮想視点画像）を生成することも可能である。しかしながら、この場合、複雑な画像演算処理が必要となる。そのため、制御部に処理能力の高いＣＰＵを集積させる必要が生じ、コストが増大するという問題がある。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能な撮像装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像レンズと、撮像レンズの結像面に配置されたレンズアレイと、撮像レンズおよびレンズアレイの通過光線を受光して撮像データを取得する撮像素子と、撮像データに対して画像処理を施す画像処理部とを備えたものである。画像処理部は、撮像データに基づいて複数の撮影視点画像を生成する第１視点画像生成部と、複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、撮影視点画像とは異なる仮想視点画像を生成する第２視点画像生成部とを有している。第２視点画像生成部は、２以上の撮影視点画像を合成する際、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じた重みづけを行う。
【０００８】
本発明の画像処理方法は、撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、その撮像データに基づいて複数の撮影視点画像を生成し、複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、撮影視点画像とは異なる仮想視点画像を生成する。２以上の撮影視点画像を合成する際、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じた重みづけを行う。
【０００９】
本発明の撮像装置および画像処理方法では、撮像レンズを通過した被写体からの光線は、レンズアレイによって視点方向毎に分割され、撮像素子において受光される（撮像データが得られる）。画像処理部は、得られた撮像データに基づいて複数の撮影視点画像を生成し、それらのうち２以上の撮影視点画像を、それらの撮影視点および仮想視点との位置関係に応じた重みづけを行いつつ合成することにより、仮想視点画像を生成する。
【発明の効果】
【００１０】
本発明の撮像装置および画像処理方法によれば、撮像レンズ、レンズアレイおよび撮像素子と、撮像素子により取得された撮像データに基づいて視点画像を生成する画像処理部とを備え、画像処理部において２以上の視点画像を合成して仮想視点画像を生成する。２以上の視点画像を、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じて重みづけを行いつつ合成することにより、複雑な演算処理を行うことなく、仮想視点画像を生成することができる。実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係る撮像装置の全体構成を表す図である。
【図２】レンズアレイとイメージセンサの配置関係を表す模式図である。
【図３】図１に示した画像処理部における詳細構成を表す機能ブロック図である。
【図４】視点方向毎の光線分割について説明するための模式図である。
【図５】図１に示した撮像装置により取得される撮像データの模式図である。
【図６】図５に示した撮像データから得られる各視点画像を説明するための模式図である。
【図７】図６に示した視点画像の一例を表す模式図である。
【図８】視点画像間の視差量について説明するための模式図である。
【図９】画像合成処理動作（仮想視点生成処理動作）について説明するための模式図である。
【図１０】ＬX＝ＬH／２，ＬY＝ＬV／２の場合の仮想視点と撮影視点との位置関 係を表した模式図である。
【図１１】ＬX＝０の場合の仮想視点と撮影視点との位置関係を表した模式図である 。
【図１２】ＬY＝０の場合の仮想視点と撮影視点との位置関係を表した模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
実施の形態（４枚の撮影視点画像を所定の比率で合成して仮想視点画像を生成する画像処理例）
【００１３】
＜実施の形態＞
［全体構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、被写体２を撮像して所定の画像処理を施すことにより、視点画像としての画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、レンズアレイ１２Ａと、イメージセンサ１３と、画像処理部１４と、イメージセンサ駆動部１５と、制御部１６とを備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。また、本発明の画像処理方法は、画像処理部１４の構成および動作によって具現化されるものであるため、その説明を省略する。
【００１４】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。
【００１５】
レンズアレイ１２は、撮像レンズ１１の焦点面（結像面）に配置され、例えばガラスなどの基板上に複数のレンズ（マイクロレンズ）１２ａがＸ方向およびＹ方向に沿って２次元配置されたものである。これら複数のレンズ１２ａは、フォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板上に、例えばレジストリフロー法やナノインプリント法を用いて、形成されたものである。あるいは、基板表面にエッチング処理を施して形成されたものであってもよい。このレンズアレイ１２の焦点面には、イメージセンサ１３が配設されている。
【００１６】
イメージセンサ１３は、レンズアレイ１２を通過した光線を受光して撮像データＤ０を取得するものである。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。
【００１７】
図２は、レンズアレイ１２とイメージセンサ１３の配置構成について模式的に表したものである。レンズアレイ１２およびイメージセンサ１３は、光軸Ｚに沿って所定の間隔（レンズアレイ１２の焦点距離分）をあけて、かつ１つのレンズ１２ａに、イメージセンサ１３におけるｍ×ｎの画素領域Ｕが割り当てられるように配置されている。レンズ１２ａのＸＹ平面形状は、例えばｍ×ｎの画素領域Ｕに等しい方形状である。尚、ｍ，ｎは１以上の整数であり、ｍ×ｎの値が大きくなるに従って、即ち１つのマイクロレンズに割り当てられる画素の数が多くなるに従って、視点画像数（視点数）が多くなる。一方、レンズへの割り当て画素数が少なくなる（ｍ×ｎの値が小さくなる）に従って、各視点画像における画素数（解像度）が高くなる。以下では、１つのレンズ１２ａに３×３（ｍ＝ｎ＝３）の画素領域Ｕが割り当てられている場合を例に挙げて説明する。
【００１８】
イメージセンサ１３の受光面上には、図示しないカラーフィルタが設けられていてもよい。カラーフィルタとしては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の各色のフィルタが例えば１：２：１の比率で配列（ベイヤー配列）してなるものを用いることができる。
【００１９】
画像処理部１４は、イメージセンサ１３において取得された撮像データＤ０に対して所定の画像処理を施し、例えば視点画像としての画像データＤoutを出力するものである。図３に、画像処理部１４の詳細構成について示す。画像処理部１４は、例えば、撮影視点画像生成部１４０（第１視点画像生成部）、仮想視点画像生成部１４１（第２視点画像生成部）および画像補正処理部１４２を有している。尚、本明細書では、上記レンズ割り当て画素（ｍ×ｎ）に応じて取得される視点画像（実際の撮影視点における視点画像）を「撮影視点画像」と称し、この撮影視点画像を用いて生成した仮想的な視点における視点画像を「仮想視点画像」と称する。この画像処理部１４の具体的な画像処理動作については後述する。
【００２０】
イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。
【００２１】
制御部１６は、画像処理部１４およびイメージセンサ駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２２】
［作用、効果］
（１．撮像データの取得）
撮像装置１では、撮像レンズ１１およびイメージセンサ１３間の所定の位置にレンズアレイ１２が設けられていることにより、イメージセンサ１３において、被写体２からの光線は、その強度分布に加え進行方向（視点方向）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点方向毎に分割され、イメージセンサ１３の異なる画素において受光される。例えば、図４に示したように、レンズ１２ａの通過光線のうち、ある視点方向（第１視点）からの光線（光束）ＬＡは画素「Ａ」、それとは異なる視点方向（第２，３視点）からの光線ＬＢ，ＬＣは、画素「Ｂ」「Ｃ」において、それぞれ受光される。このように、レンズ１２ａに割り当てられた画素領域Ｕでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。
【００２３】
図５に、撮像データＤ０における画素データ配列について模式的に示す。本実施の形態のように、１つのレンズ１２ａに３×３の画素領域Ｕが割り当てられている場合、イメージセンサ１３では、その画素領域Ｕ毎に、計９つの視点方向からの光線が受光され、３×３のＡ〜Ｉの画素データが取得される。尚、図５では、簡便化のため、イメージセンサ１３の９×９の画素領域（９つの画素領域Ｕ）から得られる撮像データについて示している。また、イメージセンサ１３の受光面側に、カラーフィルタが配置されている場合には、撮像データＤ０は、このカラーフィルタの色配列に対応したカラーデータとして記録される。上記のようにして得られた撮像データＤ０は、画像処理部１４へ出力される。
【００２４】
（２．撮影視点画像生成）
画像処理部１４は、図３に示したように、撮影視点画像生成部１４０、仮想視点画像生成部１４１および画像補正処理部１４２を有し、イメージセンサ１３から出力された撮像データＤ０に基づいて所定の画像処理を行い、画像データＤoutを出力する。
【００２５】
具体的には、まず、撮影視点画像生成部１４０が、撮像データＤ０に基づいて複数の撮影視点画像を生成する処理を行う。即ち、図５に示した撮像データＤ０に対し、同一の視点方向の画素データ（画素領域Ｕ間において互いに同一の位置にある画素から抽出される画素データ）同士を合成する。例えば、撮像データＤ０の中から全ての画素データ「Ａ」を抽出してこれらを合成する（図６（Ａ））。他の画素データ「Ｂ」〜「Ｉ」についても同様の処理を行う（図６（Ｂ）〜（Ｉ））。このようにして、撮影視点画像生成部１４０は、撮像データＤ０に基づいて、複数の撮影視点画像（ここでは、第１〜９視点の計９つの撮影視点画像）を生成する。これらの撮影視点画像は、視点画像データＤ１として、仮想視点画像生成部１４１へ出力される。
【００２６】
ここで、図７（Ａ）〜（Ｉ）に、図６（Ａ）〜（Ｉ）に示したデータ配列に対応する撮影視点画像の一具体例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像として、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを例に挙げて説明する。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。このような視点画像Ｒ１〜Ｒ９は、１つの撮像レンズを用いた単眼方式のカメラで撮影したものであるので、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図７（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。
【００２７】
上記のような９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、例えば左視点方向および右視点方向における２つの視点画像を用いて、立体映像表示を行うことができる。この場合、表示される映像の立体感は、それら２つの視点画像間の視差量に応じたものとなる。例えば、図７（Ｄ）に示した視点画像Ｒ４と、図７（Ｆ）に示した視点画像Ｒ６とを上記２つの視点画像として選択した場合、表示映像における立体感は、次のようなものとなる。即ち、「山」は「人」よりも奥まって見えるが、その度合いは、図８（Ａ），（Ｂ）に示したように、視点画像Ｒ４における画像Ｒｂ４と視点画像Ｒ６における画像Ｒｂ６との位置ずれ量（視差量）Ｗｂに応じたものとなる。一方、「花」は「人」よりも手前に飛び出して見えるが、その度合いは、視点画像Ｒ４における画像Ｒｃ４と視点画像Ｒ６における画像Ｒｃ６との位置ずれ量Ｗｃに応じたものとなる。そして、位置ずれ量Ｗｂ，Ｗｃが大きければ大きい程、「山」はより奥まって、「花」はより飛び出して、それぞれ観察されることとなる。
【００２８】
（３．仮想視点画像生成（撮影視点画像合成））
上記のように、レンズ１２ａに割り当てられた画素と同数の撮影視点画像（ここでは、３×３＝９つの視点画像）が取得されるが、本実施の形態では、これらの撮影視点画像を用いて、実際の撮影視点とは異なる新たな視点（仮想視点）における視点画像（仮想視点画像）を生成する。即ち、仮想視点画像生成部１４１は、入力された視点画像データＤ１における複数の撮影視点画像に対し、以下に説明するような画像合成処理を施す。
【００２９】
ここで、図９（Ａ），（Ｂ）に、撮影視点Ａ〜Ｉと仮想視点Ｖとの位置関係について示す。本実施の形態では、このような９つの撮影視点Ａ〜Ｉとは異なる仮想視点Ｖから、あたかも被写体２を撮影したかのような仮想視点画像を、２以上の撮影視点画像を合成する（足し合わせる）ことにより生成する。望ましくは、仮想視点Ｖの近隣の４つの撮影視点（ここではＡ，Ｂ，Ｄ，Ｅ）における撮影視点画像を合成する。
【００３０】
具体的には、４つの撮影視点Ａ，Ｂ，Ｄ，Ｅにおける撮影視点画像（例えば図７に示した視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５）に対し、これら４つの撮影視点Ａ，Ｂ，Ｄ，Ｅと仮想視点Ｖとの位置関係に応じた重みづけを行いつつ合成する。この合成処理は、以下の式（１）のように表すことができる。但し、Ｒｖを仮想視点画像とし、係数α，β，δ，εはそれぞれ、視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５の合成比率を表すものとする。これらの係数α，β，δ，εとしては、例えば、以下の式（２）〜（５）により表されるものを用いることができる。但し、撮影視点間の水平方向における距離をＬH，垂直方向における距離をＬV，仮想視点の水平方向における撮影視点からのずれをＬX（０≦ＬX≦ＬH），垂直方向における撮影視点からのずれをＬY（０≦ＬY≦ＬV）とする。また、撮影視点画像の各係数の合計が１となるように各係数を設定するとよい。これにより、Ｒ１，Ｒ２，Ｒ４，Ｒ５が同等の明るさの映像である場合、Ｒｖもこれらと同等の明るさの映像とすることができる。
Ｒｖ＝（α×Ｒ１＋β×Ｒ２＋δ×Ｒ４＋ε×Ｒ５） ………（１）
α＝（ＬX／ＬH）×（ＬY／ＬV） ………（２）
β＝（１−ＬX／ＬH）×（ＬY／ＬV） ………（３）
δ＝（ＬX／ＬH）×（１−ＬY／ＬV） ………（４）
ε＝（１−ＬX／ＬH）×（１−ＬY／ＬV） ………（５）
α＋β＋δ＋ε＝１ ………（６）
【００３１】
例えば、図１０に示したように、仮想視点Ｖが４つの撮影視点Ａ，Ｂ，Ｄ，Ｅによって囲まれる領域の中心に位置するときには、上記式（２）〜（５）において、係数α，β，δ，εはいずれも０．２５となり、４枚の撮影視点画像（視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５）を均等な比率で合成すればよい。
【００３２】
このように、本実施の形態では、仮想視点と撮影視点との位置関係に応じた重みづけを行いつつ、撮影視点画像を合成することにより、仮想視点画像を生成することができる。生成された仮想視点画像についての視点画像データＤ２は、画像補正処理部１４２へ出力される。
【００３３】
画像補正処理部１４２は、入力された視点画像データＤ２に対し、例えばデモザイク処理等のカラー補間処理やホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像データを画像データＤoutとして出力する。この画像データＤoutは、撮像装置１の外部へ出力されるようにしてもよいし、撮像装置１の内部に設けられた記憶部（図示せず）に記憶するようにしてもよい。
【００３４】
尚、上記視点画像データＤ２および画像データＤoutは、合成処理によって生成された仮想視点画像に対応するデータのみであってもよいし、元々の撮影視点画像（ここでは９つの視点画像Ｒ１〜Ｒ９）に対応するデータを含んでいてもよい。あるいは、これらの撮影視点画像および仮想視点画像に対応するデータが混在して含まれていてもよい。また、生成される仮想視点画像は１枚であってもよいし、複数枚であってもよい。
【００３５】
以上のように本実施の形態では、撮像レンズ１１、レンズアレイ１２およびイメージセンサ１３を用いて取得された撮像データＤ０に基づいて複数の撮影視点画像を生成し、これらのうち２以上の撮影視点画像を合成する。この際、仮想視点Ｖの近隣の撮影視点Ａ，Ｂ，Ｄ，Ｅにおける４枚の撮影視点画像（視点画像Ｒ１，Ｒ２，Ｒ４，Ｒ５）を、仮想視点Ｖと撮影視点Ａ，Ｂ，Ｄ，Ｅとの位置関係に応じた重みづけを行いつつ合成する。即ち、複雑な演算処理を行うことなく、仮想視点画像を生成することができる。従って、処理能力の高いＣＰＵ（Central Processing Unit）を使用したり、グラフィック専用のＧＰＵ（Graphics Processing Unit）を別途搭載したりすることなく、仮想視点画像を生成できる。よって、実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能となる。
【００３６】
尚、上記実施の形態では、仮想視点画像生成部１４１において、仮想視点Ｖの近隣の４つの撮影視点における撮影視点画像を用いて合成処理を行う場合を例に挙げたが、必ずしも４つの撮影視点画像を用いる必要はない（上記４つの係数のうちいずれかが０（ゼロ）であってもよい）。例えば図１１に示したように、ＬX＝０のときには、上記式（２）〜（５）において、係数α，β，δ，εは以下のように表される。つまり、仮想視点Ｖにおける仮想視点画像を、２つの撮影視点Ｂ，Ｅにおける視点画像Ｒ２，Ｒ４のみを用いて生成することができる。
α＝０ ………（２）
β＝（ＬY／ＬV） ………（３）
δ＝０ ………（４）
ε＝（１−ＬY／ＬV） ………（５）
【００３７】
あるいは、例えば図１２に示したように、ＬY＝０のときには、上記式（２）〜（５）において、係数α，β，δ，εは以下のようになる。つまり、仮想視点Ｖにおける仮想視点画像を、２つの撮影視点Ｄ，Ｅにおける視点画像Ｒ３，Ｒ４のみを用いて生成することができる。
α＝０ ………（２）
β＝０ ………（３）
δ＝（ＬX／ＬH） ………（４）
ε＝（１−ＬX／ＬH） ………（５）
【００３８】
また、複数枚の仮想視点画像を生成してもよく、この場合には、各仮想視点毎に上述のような視点同士の位置関係に応じた重みづけを行いつつ撮影視点画像を合成すればよい。尚、合成処理によって新たに生成された仮想視点画像を、他の仮想視点画像の生成処理に用いるようにしてもよい。即ち、例えば、ある仮想視点Ｖ１における仮想視点画像Ｒｖ１を所定の撮影視点画像を用いて生成した後、仮想視点Ｖ１近傍の仮想視点Ｖ２における仮想視点画像Ｒｖ２を、仮想視点画像Ｒｖ１と、他の撮影視点画像とを、各視点の位置関係に応じて重みづけを行いつつ合成してもよい。
【００３９】
以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素（画素領域）ｍ×ｎ＝３×３である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばｍ，ｎが１，２または４以上であってもよい。
【００４０】
更に、上記実施の形態等では、本発明の画像処理方法の一例（画像処理部１４によって具現化される画像処理方法）では、撮像レンズ、レンズアレイおよびイメージセンサを有する１つの撮像装置内において撮像データを取得し、この撮像データに基づいて所定の画像処理を行うようにしたが、画像処理対象となる撮像データは、必ずしも１つの装置内で取得されたものでなくともよい。即ち、複数の視点画像に対応する撮像データを、外部から取得するようにしてもよく、外部から取得した撮像データに対して、所定の画像処理を施してもよい。
【符号の説明】
【００４１】
１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…レンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１４０…撮影視点画像生成部、１４１…仮想視点画像生成部、１４２…画像補正処理部、２…被写体、Ｄ０…撮像データ、Ｄ１，Ｄ２…視点画像データ、Ｄout…画像データ、Ｒ１〜Ｒ９…視点画像。
【特許請求の範囲】
【請求項１】
撮像レンズと、
前記撮像レンズの結像面に配置されたレンズアレイと、
前記撮像レンズおよび前記レンズアレイの通過光線を受光して撮像データを取得する撮像素子と、
前記撮像データに対して画像処理を施す画像処理部とを備え、
前記画像処理部は、
前記撮像データに基づいて複数の撮影視点画像を生成する第１視点画像生成部と、
前記複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成する第２視点画像生成部とを有し、
前記第２視点画像生成部は、前記２以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う
撮像装置。
【請求項２】
前記第２視点画像生成部は、前記仮想視点の近隣の４つの撮影視点における撮影視点画像同士を合成する
請求項１に記載の撮像装置。
【請求項３】
撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、
前記撮像データに基づいて複数の撮影視点画像を生成し、
前記複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成し、かつ
前記２以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う
画像処理方法。
【請求項４】
前記仮想視点の近隣の４つの撮影視点における撮影視点画像同士を合成する
請求項３に記載の画像処理方法。
【請求項１】
撮像レンズと、
前記撮像レンズの結像面に配置されたレンズアレイと、
前記撮像レンズおよび前記レンズアレイの通過光線を受光して撮像データを取得する撮像素子と、
前記撮像データに対して画像処理を施す画像処理部とを備え、
前記画像処理部は、
前記撮像データに基づいて複数の撮影視点画像を生成する第１視点画像生成部と、
前記複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成する第２視点画像生成部とを有し、
前記第２視点画像生成部は、前記２以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う
撮像装置。
【請求項２】
前記第２視点画像生成部は、前記仮想視点の近隣の４つの撮影視点における撮影視点画像同士を合成する
請求項１に記載の撮像装置。
【請求項３】
撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、
前記撮像データに基づいて複数の撮影視点画像を生成し、
前記複数の撮影視点画像のうちの２以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成し、かつ
前記２以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う
画像処理方法。
【請求項４】
前記仮想視点の近隣の４つの撮影視点における撮影視点画像同士を合成する
請求項３に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１９１３５１（Ｐ２０１２−１９１３５１Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２００１（Ｐ２０１１−５２００１）
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]