撮像装置
【課題】視点間のクロストークに起因する画質劣化を抑制することが可能な撮像装置を提供する。
【解決手段】撮像装置は、撮像レンズと、撮像レンズの通過光線を互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を有すると共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、複数の画素から得られた画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部とを備える。
【解決手段】撮像装置は、撮像レンズと、撮像レンズの通過光線を互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を有すると共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、複数の画素から得られた画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、レンズアレイを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている（非特許文献１）。また、撮像信号に対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズとイメージセンサとの間に、レンズアレイを配置したものである。被写体からの入射光線は、レンズアレイにおいて各視点の光線に分離された後、イメージセンサで受光される。イメージセンサから得られる画素信号を用いて、同時刻に多視点の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０２１６８３号公報
【非特許文献】
【０００４】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような撮像装置では、レンズアレイの１つのレンズを通過した光線は、イメージセンサ上のｍ×ｎ（ｍ，ｎは１以上の整数、但しｍ＝ｎ＝１を除く）の画素において受光される。各レンズに対応する画素数（ｍ×ｎ個）分の視点画像を得ることができる。
【０００６】
従って、レンズアレイとイメージセンサとの間で相対的な位置ずれが生じると、互いに異なる視点からの光線が同一の画素で受光されてしまい、光線のクロストーク（以下、視点間クロストーク、あるいは単にクロストークという）が生じる。このような視点間クロストークは、例えば被写体の画像が二重像になる等、画質劣化を招くことから、抑制されることが望まれしい。
【０００７】
本開示はかかる問題点に鑑みてなされたもので、その目的は、視点間のクロストークに起因する画質劣化を抑制することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本開示の撮像装置は、撮像レンズと、撮像レンズの通過光線を互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を有すると共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、複数の画素から得られた画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部とを備えたものである。
【０００９】
本開示の撮像装置では、撮像レンズの通過光線は、視点分離素子によって複数の視点からの光線に分離され、撮像素子の各画素において受光されることにより、その受光量に基づく画素信号が得られる。視点分離素子と撮像素子との相対的な位置ずれが生じた場合、その位置ずれに起因して視点間クロストークが生じるが、各画素から得られた画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行うことができる。
【発明の効果】
【００１０】
本開示の撮像装置によれば、撮像レンズの通過光線を、視点分離素子によって複数の視点からの光線に分離し、撮像素子の各画素において受光することにより、その受光量に基づく画素信号を得ることができる。視点分離素子と撮像素子との相対的な位置ずれが生じた場合であっても、各画素から得られた画素信号の一部または全部を用いた補正により、視点間クロストークを抑制することができる。よって、視点間クロストークに起因する画質劣化を抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】イメージセンサとレンズアレイとの理想的な配置について表す模式図である。
【図３】視点分離について説明するための模式図である。
【図４】イメージセンサにより取得される撮像信号を表す模式図である。
【図５】図３に示した撮像信号に基づいて生成される各視点画像を説明するための模式図である。
【図６】視点画像の一例を表す模式図である。
【図７】イメージセンサとレンズアレイとの相対的な位置ずれ（Ｘ方向に沿って生じたずれ）について示す模式図である。
【図８】図７の位置ずれが生じた場合の各画素への入射光線の模式図である。
【図９】ＣＴ補正部の機能構成を説明するためのブロック図である。
【図１０】（Ａ）〜（Ｃ）は、Ｘ方向に沿った各ラインにおける１次変換の行列演算式の一例を表したものである。
【図１１】（Ａ），（Ｂ）は、Ｘ方向の中央ラインの画素信号の集合に着目した場合の表現行列の導出について説明するための模式図である。
【図１２】変形例１に係るイメージセンサとレンズアレイとの相対的な位置ずれ（Ｙ方向）について表した模式図である。
【図１３】（Ａ）〜（Ｃ）は、Ｙ方向に沿った各ラインにおける１次変換の行列演算式の一例を表したものである。
【図１４】変形例２に係るイメージセンサとレンズアレイとの相対的な位置ずれ（ＸＹ平面において生じたずれ）について示す模式図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（Ｘ方向に沿った各ラインの画素信号の集合に対して１次変換を施す撮像装置の例）
２．変形例１（Ｙ方向に沿った各ラインを補正対象とした場合の例）
３．変形例２（Ｘ，Ｙ方向の各ラインを補正対象とした場合の例）
【００１３】
＜実施の形態＞
［全体構成］
図１は、本開示の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、例えば被写体２を撮像して所定の画像処理を施すことにより、多視点の画像（画像信号Ｄout）を出力するものである。この撮像装置１は、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３、画像処理部１４、イメージセンサ駆動部１５、ＣＴ（クロストーク）補正部１７および制御部１６を備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。
【００１４】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。
【００１５】
レンズアレイ１２は、撮像レンズ１１の結像面（焦点面）に配置されることにより、入射光線を、互いに異なる視点からの光線として、画素単位で分離するための視点分離素子である。レンズアレイ１２では、複数のマイクロレンズ１２ａがＸ方向（行方向）およびＹ方向（列方向）に沿って２次元配置されている。このようなレンズアレイ１２では、各マイクロレンズ１２ａに割り当てられた画素数（（イメージセンサ１３の全画素数）／（レンズアレイ１２のレンズ数））分の視点分離が可能である。換言すると、１つのマイクロレンズ１２ａに割り当てられた画素（後述のマトリクス領域Ｕ）の範囲内で画素単位での視点分離が可能である。尚、「視点分離」とは、換言すると、撮像レンズ１１の通過光線が撮像レンズ１１のどの領域を通過してきたものであるかをその方向性を含めて、イメージセンサの画素単位で記録しておくことである。このレンズアレイ１２の結像面には、イメージセンサ１３が配設されている。
【００１６】
イメージセンサ１３は、例えばマトリクス状に配列した複数の画素センサ（以下、単に画素という）を有し、レンズアレイ１２を通過した光線を受光して撮像信号Ｄ０を取得するものである。撮像信号Ｄ０は、いわゆるＲＡＷ画像信号であり、イメージセンサ１３上の各画素が受光した光強度を示す電気信号（画素信号）の集合である。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。このイメージセンサ１３の光入射側（レンズアレイ１２の側）には、例えば図示しないカラーフィルタが設けられていてもよい。
【００１７】
図２は、これらのレンズアレイ１２とイメージセンサ１３との理想的な配置例（相対的な位置ずれなし）を表したものである。この例では、１つのマイクロレンズ１２ａに対し、イメージセンサ１３上の３×３の画素Ａ〜Ｉ（マトリクス領域Ｕ）が割り当てられている。これにより、各マイクロレンズ１２ａを通過した光線は、マトリクス領域Ｕ内の各画素Ａ〜Ｉ単位で視点分離されつつ受光されるようになっている。
【００１８】
画像処理部１４は、イメージセンサ１３により取得された撮像信号Ｄ０に対して所定の画像処理を施し、例えば視点画像としての画像信号Ｄoutを出力するものである。画像処理部１４は、例えば、視点画像生成部と、デモザイク処理、ホワイトバランス調整処理およびガンマ補正処理等を行う画像補正処理部とを備えている。視点画像生成部は、詳細は後述するが、画素配列に対応して得られた撮像信号Ｄ０において選択的な画素信号同士を合成する（並べ替える）ことにより、互いに異なる複数の視点画像を生成する。
【００１９】
イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。
【００２０】
ＣＴ補正部１７は、視点間クロストークを抑制する補正を行う演算処理部である。尚、本明細書および本開示において、視点間クロストークとは、互いに異なる視点からの光線が同一の画素で受光されてしまうこと、即ち完全な視点分離ができず、視点の異なる光線が混在して受光されることを示す。この視点間クロストークは、レンズアレイ１２とイメージセンサ１３との距離と、イメージセンサ１３およびレンズアレイ１２の相対的な位置関係とに起因して生じる。特に、イメージセンサ１３およびレンズアレイ１２の相対的な位置関係が図２のような理想的な配置となるように位置合わせされていない場合、即ち位置ずれが生じている場合に、発生し易い。あるいは、この視点間クロストークは、イメージセンサ１３およびレンズアレイ１２と撮像レンズ１１との３次元的な相対位置関係、およびマイクロレンズ１２ａの成形精度等にも影響を受ける。ＣＴ補正部１７は、イメージセンサ１３から得られた撮像信号Ｄ０のうち、選択的な画素信号の集合に対して１次変換を施すことにより、上記のような視点間クロストークを抑制する補正を行う。このＣＴ補正部１７の詳細な機能構成および補正動作については、後述する。
【００２１】
制御部１６は、画像処理部１４、イメージセンサ駆動部１５およびＣＴ補正部１７の各動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２２】
［作用、効果］
（撮像信号の取得）
撮像装置１では、撮像レンズ１１の結像面にレンズアレイ１２が設けられ、このレンズアレイ１２の結像面にイメージセンサ１３が設けられることにより、イメージセンサ１３の各画素には、被写体２からの光線が、その強度分布に加え進行方向（視点）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点毎に分離され、イメージセンサ１３の異なる画素において受光される。
【００２３】
例えば、図３に示したように、撮像レンズ１１を通過してマイクロレンズ１２ａへ入射した光線のうち、互いに異なる視点における光線（光束）Ｌｄ，Ｌｅ，Ｌｆは、それぞれ互いに異なる３つの画素（Ｄ，Ｅ，Ｆ）において受光される。このように、マイクロレンズ１２ａに割り当てられたマトリクス領域Ｕでは、互いに異なる視点の光線が、画素毎に受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像信号Ｄ０が取得される。尚、この際、本実施の形態では、イメージセンサ１３のＸ方向に沿ったライン単位で信号読み出しがなされ、撮像信号Ｄ０は、Ｘ方向に沿って画素信号が配列してなるライン信号の集合として取得される。
【００２４】
図４は、このようにして得られた撮像信号Ｄ０（ＲＡＷ画像信号）を模式的に表したものである。本実施の形態のように、１つのマイクロレンズ１２ａに３×３のマトリクス領域Ｕが割り当てられている場合、イメージセンサ１３では、上述のようにマトリクス領域Ｕ毎に、計９つの視点の光線がそれぞれ互いに異なる画素（画素センサー）Ａ〜Ｉにおいて受光される。このため、撮像信号Ｄ０は、マトリクス領域Ｕに対応した、３×３の配列の画素信号（図４中のＵａ）を含んでいる。尚、図４の撮像信号Ｄ０では、説明上、各画素信号に対応する画素Ａ〜Ｉの符号を付している。各画素Ａ〜Ｉから得られる画素信号は、イメージセンサ１３上に設けられたカラーフィルタ（図示せず）の色配列に対応したカラーの信号として記録される。このような画素信号を有する撮像信号Ｄ０は、ＣＴ補正部１７へ出力される。
【００２５】
ＣＴ補正部１７は、詳細は後述するが、撮像信号Ｄ０に対し、この撮像信号Ｄ０のうちの一部または全部の画素信号を用いて、視点間クロストークを抑制する補正を施す。クロストーク補正後の撮像信号（撮像信号Ｄ１）は、画像処理部１４へ出力される。
【００２６】
（視点画像の生成）
画像処理部１４は、撮像信号Ｄ０に基づく撮像信号（ＣＴ補正部１７から出力された撮像信号Ｄ１）に対し、所定の画像処理を行い、複数の視点画像を生成する。即ち、撮像信号Ｄ０に対し、各マトリクス領域Ｕ同士の間において互いに同一の位置にある画素から抽出される画素信号同士を合成する（撮像信号Ｄ１における各画素信号を並べ替える）。例えば、図４に示したようなＲＡＷ画像データの配列において、各マトリクス領域Ｕにおける画素Ａから得られた画素信号同士を合成する（図５（Ａ））。他の画素Ｂ〜Ｉから得られた画素信号についても同様の処理を行う（図５（Ｂ）〜（Ｉ））。このようにして、画像処理部１４は、撮像信号Ｄ１に基づいて、複数の視点画像（ここでは、９つの視点画像）を生成する。このようにして生成された視点画像は、画像信号Ｄoutとして外部あるいは図示しない記憶部へ出力される。尚、実際には、後述するように、各画素データには隣接画素で受光すべき光線についての信号成分も含んでいるが、図５（Ａ）〜（Ｉ）では、説明上各画素データ「Ａ」〜「Ｉ」のみを用いて、各視点画像を表している。
【００２７】
尚、画像処理部１４は、上記視点画像に対し、他の画像処理、例えばデモザイク処理等のカラー補間処理、ホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像信号を画像信号Ｄoutとして出力してもよい。この画像信号Ｄoutは、撮像装置１の外部へ出力されるようにしてもよいし、撮像装置１の内部に設けられた記憶部（図示せず）に記憶するようにしてもよい。
【００２８】
但し、上記画像信号Ｄoutは、視点画像に対応する信号であってもよいし、視点画像生成前の撮像信号Ｄ０であってもよい。即ち、上記のような視点画像生成処理（画素信号の並べ替え処理）を行わずに、イメージセンサ１３から読み出された信号配列のままの撮像信号（クロストーク補正後の撮像信号Ｄ１）を外部へ出力するか、あるいは記憶部に記憶するようにしてもよい。
【００２９】
ここで、図６（Ａ）〜（Ｉ）に、図５（Ａ）〜（Ｉ）の信号配列に対応する視点画像の一例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像としては、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを示している。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。単眼方式の撮像装置１では、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図６（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。
【００３０】
これらの９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、これらの視点画像Ｒ１〜Ｒ９のうち、例えば左視点および右視点に対応する２つの視点画像を利用して、立体映像表示を行うことができる。例えば、図６（Ｄ）に示した視点画像Ｒ４を左視点画像、図６（Ｆ）に示した視点画像Ｒ６を右視点画像として用いることができる。このような左右２枚の視点画像を、所定の立体表示システムを用いて表示することにより、「山」は「人」よりも奥まって、「花」は「人」よりも手前に飛び出して、それぞれ観察される。
【００３１】
ここで、撮像装置１では、上述のように、レンズアレイ１２の１つのマイクロレンズ１２ａに、イメージセンサ１３のマトリクス領域Ｕを割り当てて配置し、受光を行うことにより視点分離を行う。このため、各マイクロレンズ１２ａとマトリクス領域Ｕとが精度良く位置合わせされることが望ましい。また、レンズアレイ１２およびイメージセンサ１３と撮像レンズ１１との相対的な位置精度やマイクロレンズ１２ａの成形精度についても、許容範囲内に納まっていることが望ましい。例えば、３×３のマトリクス領域Ｕに対して１つのマイクロレンズ１２ａを割り当てた場合、イメージセンサ１３とレンズアレイ１２とがサブミクロンオーダーの精度で位置合わせされていることが望ましい。これは、以下のような理由による。
【００３２】
即ち、例えば図７に示したように、マトリクス領域Ｕとマイクロレンズ１２ａとの間に、Ｘ方向に沿った相対的な位置ずれ（ｄｒ）が生じている場合、実際には、異なる視点からの光線が同一画素で受光されてしまい、各画素信号に異なる視点成分の信号が混在してしまう。具体的には、図８に示したように、３つの視点成分の光線Ｌｄ，Ｌｅ，Ｌｆが、それぞれ対応する画素Ｄ，Ｅ，Ｆにおいてのみ受光されるのではなく、それぞれの一部が隣接する画素に跨って受光されてしまう。例えば、画素Ｄで受光されるべき光線Ｌｄの一部が画素Ｅにおいて受光されてしまう。このような視点間クロストーク（Ｃｔ）が生じると、画像処理部１４において生成される視点画像では、被写体の画像が二重像になる等の画質劣化が生じる。しかしながら、量産性等を考慮すると、上記のような位置ずれが生じないように、イメージセンサ１３とレンズアレイ１２との相対的位置精度をサブミクロンオーダーで確保することは非常に困難である。
【００３３】
そこで、本実施の形態では、画像処理部１４による画像処理動作を行う前（視点画像を生成する前）に、イメージセンサ１３から出力された撮像信号Ｄ０に対し、次のようなクロストーク補正処理を行う。
【００３４】
（視点間クロストーク補正）
図９は、ＣＴ補正部１７の機能ブロック構成を表したものである。ＣＴ補正部１７は、例えばＲＡＷデータ分離部１７１、演算部１７２、行列パラメータレジスタ１７３およびライン選択部１７４を備えている。尚、本実施の形態では、Ｘ方向に沿ってレンズアレイ１２とイメージセンサ１３との相対的な位置ずれが生じており、撮像信号Ｄ０においてＸ方向に沿って配列する画素信号の集合に対して線形変換を施す場合について説明する。
【００３５】
ＲＡＷデータ分離部１７１は、各画素Ａ〜Ｉから得られた画素信号から構成される撮像信号Ｄ０を、複数のライン信号に分離する処理回路である。例えば、図４に示したように、撮像信号Ｄ０を、３行分のライン信号Ｄ０ａ（Ａ，Ｂ，Ｃ，Ａ，Ｂ，Ｃ，…）、Ｄ０ｂ（Ｄ，Ｅ，Ｆ，Ｄ，Ｅ，Ｆ，…）、Ｄ０ｃ（Ｇ，Ｈ，Ｉ，Ｇ，Ｈ，Ｉ…）に分離し、これらのライン信号Ｄ０ａ，Ｄ０ｂ，Ｄ０ｃを、演算部１７２へ出力する。
【００３６】
演算部１７２は、ライン信号Ｄ０ａ，Ｄ０ｂ，Ｄ０ｃのそれぞれに対し、マトリクス領域Ｕの一部または全部の画素から得られた画素信号の集合に対して所定の線形変換（１次変換）を施すものであり、１次変換部１７２ａ，１７２ｂ，１７２ｃを有している。これらの１次変換部１７２ａ，１７２ｂ，１７２ｃは、入力されたライン信号Ｄ０ａ，Ｄ０ｂ，Ｄ０ｃのそれぞれに対応した表現行列を保持している。表現行列としては、マトリクス領域Ｕの行方向および列方向の画素数以下の次元数を有する正方行列が用いられる。例えば、３×３の画素配列を有するマトリクス領域Ｕに対しては、３次元または２次元の正方行列を用いる。尚、２次元の正方行列を表現行列として用いる場合には、３×３のマトリクス領域Ｕのうちの一部（選択的な２×２の画素領域）についてのみ１次変換を施すか、あるいは２以上の画素を組み合わせたブロック領域を１画素と見做して、２×２の画素領域を形成してもよい。
【００３７】
図１０（Ａ）〜（Ｃ）は、表現行列を用いた演算処理の一例を表したものである。図１０（Ａ）は、マトリクス領域Ｕにおける３つの画素Ａ，Ｂ，Ｃに着目し、これらの画素信号に対する１次変換（ライン信号Ｄ０ａに対する１次変換）について表したものである。同様に、図１０（Ｂ）は、画素Ｄ，Ｅ，Ｆの画素信号に対する１次変換（ライン信号Ｄ０ｂに対する１次変換）について、図１０（Ｃ）は、画素Ｇ，Ｈ，Ｉの画素信号に対する１次変換（ライン信号Ｄ０ｃに対する１次変換）についてそれぞれ表したものである。尚、各図において、ＸＡ(n)〜ＸＩ(n)は、画素Ａ〜Ｉから得られた画素信号（受光感度値）であり、ＹＡ(n)〜ＹＩ(n)は、補正後の画素信号（クロストークがない場合の電気信号）に相当する。また、画素Ａ，Ｂ，Ｃの画素信号の集合に対する１次変換の表現行列をＭａ、画素Ｄ，Ｅ，Ｆの画素信号の集合に対する１次変換の表現行列をＭｂ、画素Ｇ，Ｈ，Ｉの画素信号の集合に対する１次変換の表現行列をＭｃとする。
【００３８】
表現行列Ｍａ，Ｍｂ，Ｍｃは、この例では、３次元の正方行列（３×３の行列マトリクス）からなり、いずれも対角成分が「１」に設定されている。これらの表現行列Ｍａ，Ｍｂ，Ｍｃでは、対角成分以外の成分については、マトリクスパラメータとして適切な設定値が与えられる。具体的には、表現行列Ｍａ，Ｍｂ，Ｍｃのマトリクスパラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）（ａ”，ｂ”，ｃ”，ｄ”，ｅ”，ｆ”）はそれぞれ、行列パラメータレジスタ１７３ａ，１７３ｂ，１７３ｃに保持されている。これらのマトリクスパラメータａ〜ｆ，ａ’〜ｆ’，ａ”〜ｆ”は、上述したようなイメージセンサ１３およびレンズアレイ１２の相対的位置精度、これらと撮像レンズ１１との相対的位置精度、マイクロレンズ１２ａの成形精度等に応じて、規定値として予め保持されている。あるいは、図示しないコントロールバスを通じて外部入力されてもよい。外部入力による場合には、例えば外部接続されたＰＣからカメラコントローラソフトにより、上記マトリクスパラメータを設定可能である。これにより、例えばユーザによるキャリブレーションが可能となり、また使用環境や経年劣化等に起因して各部材の位置ずれやレンズ形状の変化が生じた場合にも適切な補正が可能となる。
【００３９】
（表現行列，マトリクスパラメータの導出）
ここで、上記のような表現行列Ｍａ，Ｍｂ，Ｍｃの導出について、表現行列Ｍｂを例に挙げて説明する。即ち、図１０（Ｂ）に示した１次変換の式の導出について説明する。但し、ここでは、イメージセンサ１３およびレンズアレイ１２の相対的な位置ずれがＸ方向に沿ってのみ生じている場合を想定する。
【００４０】
図１１（Ａ），（Ｂ）は、イメージセンサ１３およびレンズアレイ１２の相対的位置ずれについて模式的に表したものである。図１１（Ａ）は、イメージセンサ１３がレンズアレイ１２に対してＸ方向負の向き（Ｘ１）にシフトしている場合、図１１（Ｂ）は、イメージセンサ１３がレンズアレイ１２に対してＸ方向正の向き（Ｘ２）にシフトしている場合についてそれぞれ表している。各図では、あるマトリクス領域ＵのＸ方向に沿った３ラインのうちの中央ラインに配置された画素Ｄ，Ｅ，Ｆを、Ｄ(n)，Ｅ(n)，Ｆ(n)とし、これに隣接するマトリクス領域Ｕの画素Ｄ，Ｅ，Ｆを、Ｄ(n-1)，Ｅ(n-1)，Ｆ(n-1)およびＤ(n+1)，Ｅ(n+1)，Ｆ(n+1)としている。
【００４１】
まず、図１１（Ａ）に示したように、イメージセンサ１３の位置ずれがＸ方向負の向きである場合、画素Ｄ(n)，Ｅ(n)，Ｆ(n)からそれぞれ出力される画素信号ＸＤ(n)，ＸＥ(n)，ＸＦ(n)は、上記位置ずれによるクロストークを考慮すると次の式（１）〜（３）のように表すことができる。但し、α1，α2，α3はそれぞれ、異なる視点からの光線が本来の視点からの光線に混在する割合（クロストーク量）を表す係数であり、０＜α1，α2，α3＜＜１である。これらのα1，α2，α3は、例えば、サンプル画像を撮影し、そのサンプル画像における二重像（実像とクロストークによる虚像）の輝度をいくつか測定し、これらの測定値の平均（平均輝度値）の比から画素毎に設定することができる。
ＸＤ(n)＝ＹＤ(n)＋α1・ＹＦ(n-1) ………（１）
ＸＥ(n)＝ＹＥ(n)＋α2・ＹＤ(n) ………（２）
ＸＦ(n)＝ＹＦ(n)＋α3・ＹＥ(n) ………（３）
【００４２】
これらの式（１）〜（３）から、ＹＤ(n)，ＹＥ(n)，ＹＦ(n)をそれぞれ、Ｘの項を用いて表されるように変形する。例えば、ＹＤ(n)は式（４）のように表されるが、この式（４）中のＹの項（ＹＦ(n-1)）は、式（３）を用いて消すことができ、式（５）のように表される。また、式（５）中のＹの項（ＹＥ(n-1)）は、式（２）を用いて消すことができ、式（６）のように表される。
ＹＤ(n)＝ＸＤ(n)−α1・ＹＦ(n-1) ………（４）
ＹＤ(n)＝ＸＤ(n)−α1・｛ＸＦ(n-1)−α3・ＹＥ(n-1)｝ ………（５）
ＹＤ(n)＝ＸＤ(n)−α1・［ＸＦ(n-1)−α3・｛ＸＥ(n-1)−α2・ＹＤ(n-1)｝］…（６）
【００４３】
ここで、α1，α2，α3は、１よりも極めて小さな値である（α1，α2，α3＜＜１）と見做せるので、これらの３乗以上の項については無視する（０（ゼロ）と近似する）ことができる。従って、ＹＤ(n)は次の式（７）のように表すことができる。ＹＥ(n)，ＹＦ(n)についても、式（１）〜（３）を用いて上記と同様の変形を行うことにより、以下の式（８），（９）のように表すことができる。
ＹＤ(n)＝ＸＤ(n)−α1・ＸＦ(n-1)＋α1・α3・ＸＥ(n-1) ………（７）
ＹＥ(n)＝ＸＥ(n)−α2・ＸＤ(n)＋α1・α2・ＸＦ(n-1) ………（８）
ＹＦ(n)＝ＸＦ(n)−α3・ＸＥ(n)＋α2・α3・ＸＤ(n) ………（９）
【００４４】
同様に、図１１（Ｂ）に示したように、イメージセンサ１３の位置ずれがＸ方向正の向きである場合には、ＹＦ(n)，ＹＥ(n)，ＹＤ(n)はそれぞれ、以下の式（１０）〜（１２）のように表すことができる。
ＹＦ(n)＝ＸＦ(n)−β1・ＸＤ(n+1)＋β1・β3・ＸＥ(n+1) ………（１０）
ＹＥ(n)＝ＸＥ(n)−β2・ＸＦ(n)＋β1・β2・ＸＤ(n+1) ………（１１）
ＹＤ(n)＝ＸＤ(n)−β3・ＸＥ(n)＋β2・β3・ＸＦ(n) ………（１２）
【００４５】
そして、隣接画素間の画素値がほぼ等しいと仮定した場合、Ｘｘ(n-1)およびＸｘ(n+1)の各項を区別することなく、Ｘｘ(n)として扱えるので、ＹＤ(n)は、上記式（７），（１２）から以下の式（１３）のように表すことができる。同様に、ＹＥ(n)は上記式（８），（１１）から以下の式（１４）、ＹＦ(n)は上記式（９），（１０）から以下の式（１５）のようにそれぞれ表すことができる。
ＹＤ(n)＝ＸＤ(n)−(β3−α1・α3）ＸＥ(n)−(α1−β2・β3）ＸＦ(n)…（１３）
ＹＥ(n)＝−(α2−β1・β2）ＸＤ(n)＋ＸＥ(n)−(β2−α1・α2）ＸＦ(n)…（１４）
ＹＦ(n)＝−(β1−α2・α3）ＸＤ(n)−(α3−β1・β3）ＸＥ(n)＋ＸＦ(n)…（１５）
【００４６】
これらの式（１３）〜（１５）が、図１０（Ｂ）に示した１次変換の式に対応する。但し、図１０（Ｂ）におけるマトリクスパラメータ（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）はそれぞれ、以下のように表される。
ａ’＝α1・α3−β3
ｂ’＝β2・β3−α1
ｃ’＝β1・β2−α2
ｄ’＝α1・α2−β2
ｅ’＝α2・α3−β1
ｆ’＝β1・β3−α3
【００４７】
尚、Ｚ方向に位置ずれが生じた場合や、レンズ形状不良の場合にも、上記式（１３）〜（１５）が有効である。但し、位置ずれの向きが１方向のみの場合には、その位置ずれの向きに応じて上記式（７）〜（９）または式（１０）〜（１２）を使い分けるようにしてもよい。位置ずれの向きは、例えば、サンプル画像を撮影し、そのサンプル画像に基づく各視点画像における二重像（実像とクロストークによる虚像）において実像に対する虚像の生じる方向から判断することが可能である。例えば、位置ずれの向きがＸ１である場合には、マトリクスパラメータ（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）はそれぞれ、以下のように表される。
ａ’＝α1・α3
ｂ’＝−α1
ｃ’＝−α2
ｄ’＝α1・α2
ｅ’＝α2・α3
ｆ’＝−α3
【００４８】
あるいは、位置ずれの向きがＸ２である場合には、マトリクスパラメータ（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）はそれぞれ、以下のように表される。
ａ’＝−β3
ｂ’＝β2・β3
ｃ’＝β1・β2
ｄ’＝−β2
ｅ’＝−β1
ｆ’＝β1・β3
【００４９】
上記のような手順により、画素Ｄ，Ｅ，Ｆにおける画素信号を補正するための表現行列Ｍｂおよびマトリクスパラメータａ’〜ｆ’を設定することができる。また、他の画素ラインに着目すれば、表現行列Ｍａ，Ｍｃおよびマトリクスパラメータａ〜ｆ，ａ”〜ｆ”を上記と同様の導出手順により設定することができる。但し、これらのマトリクスパラメータａ〜ｆ，ａ’〜ｆ’，ａ”〜ｆ”は、補正の必要がなければ、その一部または全部を０（ゼロ）に設定することもできる。
【００５０】
このようにして設定された表現行列Ｍａ，Ｍｂ，Ｍｃを用いて、演算部１７２（１次変換部１７２ａ〜１７２ｃ）は、撮像信号Ｄ０のうちの一部の画素信号（ここでは、Ｘ方向に沿って配列する３つの画素信号の集合）に対して、１次変換を施す。例えば、１次変換部１７２ｂは、中央ラインの３つの画素（Ｄ，Ｅ，Ｆ）から得られた画素信号（ＸＤ(n)，ＸＥ(n)，ＸＦ(n)）に対して、表現行列Ｍｂを乗じて、クロストーク排除後の画素信号（ＹＤ(n)，ＹＥ(n)，ＹＦ(n)）を算出する。同様に、１次変換部１７２ａは、画素（Ａ，Ｂ，Ｃ）の画素信号（ＸＡ(n)，ＸＢ(n)，ＸＣ(n)）に対して表現行列Ｍａを乗じ、クロストーク排除後の画素信号（ＹＡ(n)，ＹＢ(n)，ＹＣ(n)）を算出する。同様に、１次変換部１７２ｃは、画素（Ｇ，Ｈ，Ｉ）の画素信号（ＸＧ(n)，ＸＨ(n)，ＸＩ(n)）に対して表現行列Ｍｃを乗じ、クロストーク排除後の画素信号（ＹＧ(n)，ＹＨ(n)，ＹＩ(n)）を算出する。
【００５１】
上記処理を各ラインにおいて３画素ずつ連続して行うことにより、ある画素において混在して取得された隣接画素情報を排除すると同時に、それを本来の画素へ戻すことが可能である。つまり、画素単位で良好な視点分離がなされた（視点間クロストークの低減された）ライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃが得られる。これらのライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃはライン選択部１７４へ出力される。
【００５２】
ライン選択部１７４は、演算部１７２の１次変換部１７２ａ，１７２ｂ，１７２ｃからそれぞれ出力されたライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃを、１ラインに並べ替えて出力するものである。このライン選択部１７４により、３ライン分のライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃが、１ライン分のライン信号（撮像信号Ｄ１）に変換され、後段の画像処理部１４へ出力される。画像処理部１４では、この補正後の撮像信号Ｄ１に基づいて、上述したような画像処理が行われ、複数の視点画像が生成される。
【００５３】
以上のように本実施の形態では、撮像レンズ１１の通過光線を、レンズアレイ１２によって複数の視点からの光線に分離しつつ、イメージセンサ１３の各画素において受光し、受光量に基づく画素信号を取得する。イメージセンサ１３とレンズアレイ１２との相対的な位置ずれが生じた場合であっても、各画素から出力された画素信号の一部または全部を用いて、視点間クロストークを抑制し、画素単位で精度良く視点分離を行うことができる。よって、視点間クロストークに起因する画質劣化を抑制することが可能となる。これにより、サブミクロンオーダーでマイクロレンズが形成されたレンズアレイ１２とイメージセンサ１３との位置合わせ精度が十分に得られない場合であっても、クロストークによる画質劣化を抑制することができ、量産性の向上につながると共に、新たな製造設備投資が少なくて済む。また、製造時の光学的な位置ずれ、レンズ形状不良等に起因するクロストークに限らず、経年劣化や衝撃等に起因して生じるクロストークについても補正可能であるため、高い信頼性を維持することができる。
【００５４】
尚、上記実施の形態では、ＣＴ補正部１７において、撮像信号Ｄ０に対し、Ｘ方向に沿ったライン毎に１次変換を行うことで、全ての画素信号を用いてクロストーク補正を行ったが、必ずしも全ての画素信号を用いる必要はない。例えば、本実施の形態では、上述のように、撮像信号Ｄ１に基づいて、マトリクス領域Ｕの画素数分（ここでは９つ）の視点画像を生成可能であるが、例えば立体表示用途としては、左右２枚の視点画像が得られればよく、９枚全ての視点画像を要しない場合もある。このような場合には、マトリクス領域Ｕのうちの一部の画素（例えば左右の視点画像を得るための画素Ｄ，Ｆ）の画素信号を含む中央ラインについてのみ、１次変換を施してもよい。
【００５５】
以下、上記実施の形態の変形例（変形例１，２）に係るクロストーク補正手法ついて説明する。変形例１，２では、上記実施の形態と同様、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３、画像処理部１４、イメージセンサ駆動部１５、ＣＴ補正部１７および制御部１６を備えた撮像装置１において、ＣＴ補正部１７が上記実施の形態と異なる画素に着目して１次変換を行うようになっている。尚、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【００５６】
＜変形例１＞
図１２は、変形例１に係るレンズアレイ１２（マイクロレンズ１２ａ）とイメージセンサ１３との相対的な位置ずれを表したものである。変形例１では、上記実施の形態と異なり、レンズアレイ１２とイメージセンサ１３との相対的な位置ずれｄｒが、Ｙ方向に沿って生じている場合を想定したものである。このようにＹ方向に沿って位置ずれｄｒが生じている場合には、マトリクス領域Ｕのうち、Ｙ方向に沿って配列する画素から得られる画素信号の集合に対して線形変換を施す。尚、位置ずれがＸ方向およびＹ方向のうちのどちらの方向に生じているかについては、例えば、サンプル画像を撮影し、そのサンプル画像に基づく各視点画像における二重像（実像とクロストークによる虚像）において実像に対する虚像の生じる方向から判断することが可能である。Ｘ方向およびＹ方向のどちらに沿って補正を施すかは、予め保持されていてもよいし、外部入力信号により設定されるようにしてもよい。
【００５７】
本変形例においても、上記実施の形態と同様、ＣＴ補正部１７が図９に示したような機能構成を有し、ＲＡＷデータ分離部１７１、演算部１７２、行列パラメータレジスタ１７３およびライン選択部１７４を備えている。但し、上述のように、イメージセンサ１３からの信号読み出しがＸ方向に沿ったライン単位で行われる場合には、次のような構成とする必要がある。即ち、本変形例では、Ｙ方向に沿って配列した画素信号に対して１次変換を施すので、上記実施の形態と異なり、３行分のライン信号を一時的に記憶しておくためのバッファメモリ（図示せず）が必要となる。従って、例えばＲＡＷデータ分離部１７１と演算部１７２との間、もしくは演算部１７２において、上記のようなバッファメモリを設け、このバッファメモリに記憶された３行分のライン信号を用いて、Ｙ方向に配列する画素信号の集合に対して、１次変換を施す。
【００５８】
具体的には、演算部１７２は、上記のような３行分ライン信号に基づき、マトリクス領域Ｕ内でＹ方向に沿って配列する３つの画素（Ａ，Ｄ，Ｇ）（Ｂ，Ｅ，Ｈ）（Ｃ，Ｆ，Ｉ）から得られた各画素信号の集合に対して１次変換を施す。本変形例においても、演算部１７２は、それぞれの画素信号の集合に対応する３つの１次変換部を有しており、１次変換部毎に表現行列（後述の表現行列Ｍｄ，Ｍｅ，Ｍｆ）を保持している。表現行列としては、上記実施の形態の場合と同様、マトリクス領域Ｕの行方向および列方向の画素数以下の次元数を有する正方行列が用いられる。
【００５９】
図１３（Ａ）〜（Ｃ）は、本変形例における表現行列を用いた演算処理の一例を表したものである。図１３（Ａ）は、マトリクス領域Ｕにおける３つの画素Ａ，Ｄ，Ｇに着目し、これらの画素信号に対する１次変換について表したものである。同様に、図１３（Ｂ）は、画素Ｂ，Ｅ，Ｈの画素信号に対する１次変換について、図１３（Ｃ）は、画素Ｃ，Ｆ，Ｉの画素信号に対する１次変換についてそれぞれ表したものである。尚、各図において、ＸＡ(n)〜ＸＩ(n)は、画素（画素センサー）Ａ〜Ｉから得られた画素信号（受光感度値）であり、ＹＡ(n)〜ＹＩ(n)は、補正後の電気信号（クロストークがない場合の電気信号）に相当する。また、画素Ａ，Ｄ，Ｇの画素信号の集合に対する１次変換の表現行列をＭｄ、画素Ｂ，Ｅ，Ｈの画素信号の集合に対する１次変換の表現行列をＭｅ、画素Ｃ，Ｆ，Ｉの画素信号の集合に対する１次変換の表現行列をＭｆとする。
【００６０】
表現行列Ｍｄ，Ｍｅ，Ｍｆは、上記実施の形態の表現行列Ｍａ，Ｍｂ，Ｍｃと同様、３次元の正方行列（３×３の行列マトリクス）からなり、いずれも対角成分が「１」に設定されている。また、これらの表現行列Ｍｄ，Ｍｅ，Ｍｆでは、対角成分以外の成分については、マトリクスパラメータとして適切な設定値が与えられる。具体的には、表現行列Ｍｄ，Ｍｅ，Ｍｆのマトリクスパラメータ（ｇ，ｈ，ｉ，ｊ，ｋ，ｍ）（ｇ’，ｈ’，ｉ’，ｊ’，ｋ’，ｍ’）（ｇ”，ｈ”，ｉ”，ｊ”，ｋ”，ｍ”）はそれぞれ、行列パラメータレジスタ１７３ａ，１７３ｂ，１７３ｃに保持されている。これらのマトリクスパラメータｇ〜ｍ，ｇ’〜ｍ’，ｇ”〜ｍ”は、上記実施の形態のマトリクスパラメータと同様、イメージセンサ１３およびレンズアレイ１２の相対的位置精度等に応じて、規定値として予め保持されているか、あるいは外部入力されるようになっている。尚、本変形例においても、上記のような表現行列Ｍｄ，Ｍｅ，Ｍｆおよびマトリクスパラメータｇ〜ｍ，ｇ’〜ｍ’，ｇ”〜ｍ”は、上記実施の形態と同様にして導出可能である。
【００６１】
本変形例では、上記のような表現行列Ｍｄ，Ｍｅ，Ｍｆを用いて、撮像信号Ｄ０のうちの一部の画素信号（Ｙ方向に沿って配列する３つの画素信号の集合）に対して、１次変換を施す。例えば、３つの画素センサー（Ａ，Ｄ，Ｇ）から得られた画素信号（ＸＡ(n)，ＸＤ(n)，ＸＧ(n)）に対して、表現行列Ｍｄを乗じて、クロストーク排除後の画素信号（ＹＡ(n)，ＹＤ(n)，ＹＧ(n)）を算出する。同様に、画素（Ｂ，Ｅ，Ｈ）の画素信号（ＸＢ(n)，ＸＥ(n)，ＸＨ(n)）に対して表現行列Ｍｅを乗じ、クロストーク排除後の画素信号（ＹＢ(n)，ＹＥ(n)，ＹＨ(n)）を算出する。同様に、画素（Ｃ，Ｆ，Ｉ）の画素信号（ＸＣ(n)，ＸＦ(n)，ＸＩ(n)）に対して表現行列Ｍｆを乗じ、クロストーク排除後の画素信号（ＹＣ(n)，ＹＦ(n)，ＹＩ(n)）を算出する。
【００６２】
上記処理をＹ方向に沿って配列した３画素分ずつ連続して行うことにより、ある画素において混在して取得された隣接画素情報を排除すると同時に、それを本来の画素へ戻すことが可能である。つまり、画素単位で良好な視点分離がなされた（視点間クロストークの低減された）撮像信号Ｄ１が得られる。従って、本変形例においても、イメージセンサ１３とレンズアレイ１２との相対的な位置ずれが生じた場合であっても、各画素から出力された画素信号の一部または全部を用いて、視点間クロストークを抑制し、画素単位で精度良く視点分離を行うことができる。よって、上記実施の形態と同等の効果を得ることができる。
【００６３】
＜変形例２＞
図１４は、変形例２に係るレンズアレイ１２（マイクロレンズ１２ａ）とイメージセンサ１３との相対的な位置ずれを表したものである。変形例２では、上記実施の形態と異なり、レンズアレイ１２とイメージセンサ１３との相対的な位置ずれｄｒが、Ｘ方向だけでなくＹ方向にも生じている場合を想定したものである。このようにＸＹ平面に沿って位置ずれｄｒが生じている場合には、マトリクス領域Ｕのうち、Ｘ方向に沿って配列する画素から得られる画素信号の集合に対する線形変換と、Ｙ方向に沿って配列する画素から得られる画素信号の集合に対する線形変換とを、順次施す。
【００６４】
本変形例においても、上記実施の形態と同様、ＣＴ補正部１７が図９に示したような機能構成を有し、ＲＡＷデータ分離部１７１、演算部１７２、行列パラメータレジスタ１７３およびライン選択部１７４を備えている。また、イメージセンサ１３からの信号読み出しがＸ方向に沿ったライン単位で行われる場合には、上記変形例１と同様、Ｙ方向に沿って配列した画素信号に対して１次変換を施す処理を含むので、３行分のライン信号を一時的に記憶しておくためのバッファメモリ（図示せず）を更に備えている。
【００６５】
具体的には、演算部１７２は、まず、上記実施の形態と同様にして、図１０（Ａ）〜（Ｃ）に示したように、表現行列Ｍａ，Ｍｂ，Ｍｃを用いて、撮像信号Ｄ０のうちのＸ方向に沿って配列する３つの画素信号の集合に対して、１次変換を施す。例えば、３つの画素（Ｄ，Ｅ，Ｆ）から得られた画素信号（ＸＤ(n)，ＸＥ(n)，ＸＦ(n)）に対して、表現行列Ｍｂを乗じて、クロストーク排除後の画素信号（ＹＤ(n)，ＹＥ(n)，ＹＦ(n)）を算出する。同様に、画素（Ａ，Ｂ，Ｃ）の画素信号（ＸＡ(n)，ＸＢ(n)，ＸＣ(n)）に対して表現行列Ｍａを乗じ、クロストーク排除後の画素信号（ＹＡ(n)，ＹＢ(n)，ＹＣ(n)）を算出する。同様に、画素（Ｇ，Ｈ，Ｉ）の画素信号（ＸＧ(n)，ＸＨ(n)，ＸＩ(n)）に対して表現行列Ｍｃを乗じ、クロストーク排除後の画素信号（ＹＧ(n)，ＹＨ(n)，ＹＩ(n)）を算出する。
【００６６】
続いて、上記変形例１と同様にして、図１３（Ａ）〜（Ｃ）に示したように、表現行列Ｍｄ，Ｍｅ，Ｍｆを用いて、撮像信号Ｄ０のうちのＹ方向に沿って配列する３つの画素信号の集合に対して、１次変換を施す。例えば、３つの画素（Ａ，Ｄ，Ｇ）から得られた画素信号（ＸＡ(n)，ＸＤ(n)，ＸＧ(n)）に対して、表現行列Ｍｄを乗じて、クロストーク排除後の画素信号（ＹＡ(n)，ＹＤ(n)，ＹＧ(n)）を算出する。同様に、画素（Ｂ，Ｅ，Ｈ）の画素信号（ＸＢ(n)，ＸＥ(n)，ＸＨ(n)）に対して表現行列Ｍｅを乗じ、クロストーク排除後の画素信号（ＹＢ(n)，ＹＥ(n)，ＹＨ(n)）を算出する。同様に、画素（Ｃ，Ｆ，Ｉ）の画素信号（ＸＣ(n)，ＸＦ(n)，ＸＩ(n)）に対して表現行列Ｍｆを乗じ、クロストーク排除後の画素信号（ＹＣ(n)，ＹＦ(n)，ＹＩ(n)）を算出する。
【００６７】
上記のように、Ｘ方向に沿った画素信号の集合に対する１次変換と、Ｙ方向に沿った画素信号の集合に対する１次変換とを順次連続して行うことにより、ＸＹ平面において位置ずれ（ｄｒ１，ｄｒ２）が生じている場合であっても、ある画素において混在して取得された隣接画素情報を排除すると同時に、それを本来の画素へ戻すことが可能である。つまり、画素単位で良好な視点分離がなされた（視点間クロストークの低減された）撮像信号Ｄ１が得られる。従って、本変形例においても、イメージセンサ１３とレンズアレイ１２との相対的な位置ずれが生じた場合であっても、各画素から出力された画素信号の一部または全部を用いて、視点間クロストークを抑制し、画素単位で精度良く視点分離を行うことができる。よって、上記実施の形態と同等の効果を得ることができる。
【００６８】
尚、上記変形例２では、Ｘ方向に沿った画素信号の集合に対する１次変換を行った後、Ｙ方向に沿った画素信号の集合に対する１次変換を行うようにしたが、これらの１次変換の順序は逆でもよい。即ち、Ｙ方向に沿った画素信号の集合に対する１次変換を行った後、Ｘ方向に沿った画素信号の集合に対する１次変換を行うようにしてもよい。また、これらの実施順序については、予め設定されていてもよいし、外部入力信号により設定されるようにしてもよい。いずれの場合であっても、順次１次変換を施すことにより、各方向に沿った位置ずれに起因する視点間クロストークを抑制することができる。
【００６９】
以上、実施の形態および変形例を挙げたが、本開示内容は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、１つのマイクロレンズに割り当てられる画素（マトリクス領域Ｕ）が３×３＝９個である場合を例に挙げて説明したが、マトリクス領域Ｕは、これに限定されず、任意のｍ×ｎ（ｍ，ｎは１以上の整数。但し、ｍ＝ｎ＝１を除く。）の画素から構成することができ、ｍ，ｎが互いに異なっていてもよい。
【００７０】
また、上記実施の形態等では、視点分離素子としてレンズアレイを例示したが、光線の視点成分を分離可能な素子であれば、レンズアレイに限定されない。例えば、撮像レンズと、イメージセンサとの間に、ＸＹ平面において複数領域に分割され、各領域において開閉を切り替えることが可能な液晶シャッターを視点分離素子として配置した構成であってもよい。あるいは、ＸＹ平面に複数の孔が形成された、いわゆるピンホールを利用した視点分離素子を用いてもよい。
【００７１】
更に、上記実施の形態等では、本開示の撮像装置の一例として、視点画像を生成する画像処理部を備えたものを例に挙げて説明したが、この画像処理部については必ずしも備えていなくともよい。
【００７２】
尚、本開示は以下のような構成を取ることも可能である。
（１）撮像レンズと、前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を有すると共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、前記複数の画素から得られる画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部とを備えた撮像装置。
（２）前記補正部は、２以上の画素信号の集合に対して１次変換を施すことにより、前記補正を行う上記(1)に記載の撮像装置。
（３）前記視点分離素子はレンズアレイであり、前記レンズアレイの１つのレンズを通過した光線は、前記撮像素子の２以上の画素からなる単位領域において受光される上記(1)または(2)に記載の撮像装置。
（４）前記補正部は、前記単位領域のうちの一部または全部の画素から出力された画素信号の集合に対して前記１次変換を施す上記(3)に記載の撮像装置。
（５）前記単位領域は、２以上の画素を行列状に２次元配置したものであり、前記補正部は、前記１次変換の際の表現行列として、前記単位領域の行方向または列方向の画素数以下の次元数を有する正方行列を用いる上記(3)または(4)に記載の撮像装置。
（６）前記表現行列の各成分は、前記単位領域と前記マイクロレンズとの相対的な位置ずれに基づいて予め設定されるか、あるいは外部入力信号に基づいて設定可能となっている上記(3)〜(5)のいずれかに記載の撮像装置。
（７）前記表現行列の対角成分は１である上記(5)または(6)に記載の撮像装置。
（８）前記補正部は、前記単位領域において行方向に配置された画素から得られた画素信号の集合、および列方向に配置された画素から得られた画素信号の集合のうち、どちらか一方に対してのみ前記１次変換を施すか、または両方に対して順次一回ずつ前記１次変換を施す上記(3)〜(7)のいずれかに記載の撮像装置。
（９）前記１次変換を施す画素信号の行方向および列方向の実施選択または実施順序選択は、予め設定されているか、あるいは外部入力信号に基づいて設定可能となっている上記(3)〜(8)のいずれかに記載の撮像装置。
（１０）前記補正部による補正後の画素信号に基づいて画像処理を行う画像処理部を更に備えた上記(1)〜(9)のいずれかに記載の撮像装置。
（１１）前記画像処理部は、前記補正後の画素信号を含む撮像信号に対して並べ替え処理を施すことにより、複数の視点画像を生成する上記(1)〜(10)のいずれかに記載の撮像装置。
【符号の説明】
【００７３】
１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…マイクロレンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１７…ＣＴ補正部、２…被写体、Ｄ０，Ｄ１…撮像信号、Ｄout…画像信号、Ｕ…マトリクス領域、Ａ〜Ｉ…画素（画素信号）、Ｒ１〜Ｒ９…視点画像。
【技術分野】
【０００１】
本開示は、レンズアレイを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、様々な撮像装置が提案され、開発されている（非特許文献１）。また、撮像信号に対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズとイメージセンサとの間に、レンズアレイを配置したものである。被写体からの入射光線は、レンズアレイにおいて各視点の光線に分離された後、イメージセンサで受光される。イメージセンサから得られる画素信号を用いて、同時刻に多視点の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０２１６８３号公報
【非特許文献】
【０００４】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような撮像装置では、レンズアレイの１つのレンズを通過した光線は、イメージセンサ上のｍ×ｎ（ｍ，ｎは１以上の整数、但しｍ＝ｎ＝１を除く）の画素において受光される。各レンズに対応する画素数（ｍ×ｎ個）分の視点画像を得ることができる。
【０００６】
従って、レンズアレイとイメージセンサとの間で相対的な位置ずれが生じると、互いに異なる視点からの光線が同一の画素で受光されてしまい、光線のクロストーク（以下、視点間クロストーク、あるいは単にクロストークという）が生じる。このような視点間クロストークは、例えば被写体の画像が二重像になる等、画質劣化を招くことから、抑制されることが望まれしい。
【０００７】
本開示はかかる問題点に鑑みてなされたもので、その目的は、視点間のクロストークに起因する画質劣化を抑制することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本開示の撮像装置は、撮像レンズと、撮像レンズの通過光線を互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を有すると共に、各画素において視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、複数の画素から得られた画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部とを備えたものである。
【０００９】
本開示の撮像装置では、撮像レンズの通過光線は、視点分離素子によって複数の視点からの光線に分離され、撮像素子の各画素において受光されることにより、その受光量に基づく画素信号が得られる。視点分離素子と撮像素子との相対的な位置ずれが生じた場合、その位置ずれに起因して視点間クロストークが生じるが、各画素から得られた画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行うことができる。
【発明の効果】
【００１０】
本開示の撮像装置によれば、撮像レンズの通過光線を、視点分離素子によって複数の視点からの光線に分離し、撮像素子の各画素において受光することにより、その受光量に基づく画素信号を得ることができる。視点分離素子と撮像素子との相対的な位置ずれが生じた場合であっても、各画素から得られた画素信号の一部または全部を用いた補正により、視点間クロストークを抑制することができる。よって、視点間クロストークに起因する画質劣化を抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】イメージセンサとレンズアレイとの理想的な配置について表す模式図である。
【図３】視点分離について説明するための模式図である。
【図４】イメージセンサにより取得される撮像信号を表す模式図である。
【図５】図３に示した撮像信号に基づいて生成される各視点画像を説明するための模式図である。
【図６】視点画像の一例を表す模式図である。
【図７】イメージセンサとレンズアレイとの相対的な位置ずれ（Ｘ方向に沿って生じたずれ）について示す模式図である。
【図８】図７の位置ずれが生じた場合の各画素への入射光線の模式図である。
【図９】ＣＴ補正部の機能構成を説明するためのブロック図である。
【図１０】（Ａ）〜（Ｃ）は、Ｘ方向に沿った各ラインにおける１次変換の行列演算式の一例を表したものである。
【図１１】（Ａ），（Ｂ）は、Ｘ方向の中央ラインの画素信号の集合に着目した場合の表現行列の導出について説明するための模式図である。
【図１２】変形例１に係るイメージセンサとレンズアレイとの相対的な位置ずれ（Ｙ方向）について表した模式図である。
【図１３】（Ａ）〜（Ｃ）は、Ｙ方向に沿った各ラインにおける１次変換の行列演算式の一例を表したものである。
【図１４】変形例２に係るイメージセンサとレンズアレイとの相対的な位置ずれ（ＸＹ平面において生じたずれ）について示す模式図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。
１．実施の形態（Ｘ方向に沿った各ラインの画素信号の集合に対して１次変換を施す撮像装置の例）
２．変形例１（Ｙ方向に沿った各ラインを補正対象とした場合の例）
３．変形例２（Ｘ，Ｙ方向の各ラインを補正対象とした場合の例）
【００１３】
＜実施の形態＞
［全体構成］
図１は、本開示の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、いわゆる単眼方式のライトフィールドカメラであり、例えば被写体２を撮像して所定の画像処理を施すことにより、多視点の画像（画像信号Ｄout）を出力するものである。この撮像装置１は、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３、画像処理部１４、イメージセンサ駆動部１５、ＣＴ（クロストーク）補正部１７および制御部１６を備える。尚、以下では、光軸Ｚ１に沿った方向をＺとし、光軸Ｚ１に直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。
【００１４】
撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。
【００１５】
レンズアレイ１２は、撮像レンズ１１の結像面（焦点面）に配置されることにより、入射光線を、互いに異なる視点からの光線として、画素単位で分離するための視点分離素子である。レンズアレイ１２では、複数のマイクロレンズ１２ａがＸ方向（行方向）およびＹ方向（列方向）に沿って２次元配置されている。このようなレンズアレイ１２では、各マイクロレンズ１２ａに割り当てられた画素数（（イメージセンサ１３の全画素数）／（レンズアレイ１２のレンズ数））分の視点分離が可能である。換言すると、１つのマイクロレンズ１２ａに割り当てられた画素（後述のマトリクス領域Ｕ）の範囲内で画素単位での視点分離が可能である。尚、「視点分離」とは、換言すると、撮像レンズ１１の通過光線が撮像レンズ１１のどの領域を通過してきたものであるかをその方向性を含めて、イメージセンサの画素単位で記録しておくことである。このレンズアレイ１２の結像面には、イメージセンサ１３が配設されている。
【００１６】
イメージセンサ１３は、例えばマトリクス状に配列した複数の画素センサ（以下、単に画素という）を有し、レンズアレイ１２を通過した光線を受光して撮像信号Ｄ０を取得するものである。撮像信号Ｄ０は、いわゆるＲＡＷ画像信号であり、イメージセンサ１３上の各画素が受光した光強度を示す電気信号（画素信号）の集合である。このイメージセンサ１３は、複数の画素がマトリクス状に（Ｘ方向およびＹ方向に沿って）配置したものであり、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子により構成されている。このイメージセンサ１３の光入射側（レンズアレイ１２の側）には、例えば図示しないカラーフィルタが設けられていてもよい。
【００１７】
図２は、これらのレンズアレイ１２とイメージセンサ１３との理想的な配置例（相対的な位置ずれなし）を表したものである。この例では、１つのマイクロレンズ１２ａに対し、イメージセンサ１３上の３×３の画素Ａ〜Ｉ（マトリクス領域Ｕ）が割り当てられている。これにより、各マイクロレンズ１２ａを通過した光線は、マトリクス領域Ｕ内の各画素Ａ〜Ｉ単位で視点分離されつつ受光されるようになっている。
【００１８】
画像処理部１４は、イメージセンサ１３により取得された撮像信号Ｄ０に対して所定の画像処理を施し、例えば視点画像としての画像信号Ｄoutを出力するものである。画像処理部１４は、例えば、視点画像生成部と、デモザイク処理、ホワイトバランス調整処理およびガンマ補正処理等を行う画像補正処理部とを備えている。視点画像生成部は、詳細は後述するが、画素配列に対応して得られた撮像信号Ｄ０において選択的な画素信号同士を合成する（並べ替える）ことにより、互いに異なる複数の視点画像を生成する。
【００１９】
イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。
【００２０】
ＣＴ補正部１７は、視点間クロストークを抑制する補正を行う演算処理部である。尚、本明細書および本開示において、視点間クロストークとは、互いに異なる視点からの光線が同一の画素で受光されてしまうこと、即ち完全な視点分離ができず、視点の異なる光線が混在して受光されることを示す。この視点間クロストークは、レンズアレイ１２とイメージセンサ１３との距離と、イメージセンサ１３およびレンズアレイ１２の相対的な位置関係とに起因して生じる。特に、イメージセンサ１３およびレンズアレイ１２の相対的な位置関係が図２のような理想的な配置となるように位置合わせされていない場合、即ち位置ずれが生じている場合に、発生し易い。あるいは、この視点間クロストークは、イメージセンサ１３およびレンズアレイ１２と撮像レンズ１１との３次元的な相対位置関係、およびマイクロレンズ１２ａの成形精度等にも影響を受ける。ＣＴ補正部１７は、イメージセンサ１３から得られた撮像信号Ｄ０のうち、選択的な画素信号の集合に対して１次変換を施すことにより、上記のような視点間クロストークを抑制する補正を行う。このＣＴ補正部１７の詳細な機能構成および補正動作については、後述する。
【００２１】
制御部１６は、画像処理部１４、イメージセンサ駆動部１５およびＣＴ補正部１７の各動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。
【００２２】
［作用、効果］
（撮像信号の取得）
撮像装置１では、撮像レンズ１１の結像面にレンズアレイ１２が設けられ、このレンズアレイ１２の結像面にイメージセンサ１３が設けられることにより、イメージセンサ１３の各画素には、被写体２からの光線が、その強度分布に加え進行方向（視点）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過した光線は、視点毎に分離され、イメージセンサ１３の異なる画素において受光される。
【００２３】
例えば、図３に示したように、撮像レンズ１１を通過してマイクロレンズ１２ａへ入射した光線のうち、互いに異なる視点における光線（光束）Ｌｄ，Ｌｅ，Ｌｆは、それぞれ互いに異なる３つの画素（Ｄ，Ｅ，Ｆ）において受光される。このように、マイクロレンズ１２ａに割り当てられたマトリクス領域Ｕでは、互いに異なる視点の光線が、画素毎に受光される。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像信号Ｄ０が取得される。尚、この際、本実施の形態では、イメージセンサ１３のＸ方向に沿ったライン単位で信号読み出しがなされ、撮像信号Ｄ０は、Ｘ方向に沿って画素信号が配列してなるライン信号の集合として取得される。
【００２４】
図４は、このようにして得られた撮像信号Ｄ０（ＲＡＷ画像信号）を模式的に表したものである。本実施の形態のように、１つのマイクロレンズ１２ａに３×３のマトリクス領域Ｕが割り当てられている場合、イメージセンサ１３では、上述のようにマトリクス領域Ｕ毎に、計９つの視点の光線がそれぞれ互いに異なる画素（画素センサー）Ａ〜Ｉにおいて受光される。このため、撮像信号Ｄ０は、マトリクス領域Ｕに対応した、３×３の配列の画素信号（図４中のＵａ）を含んでいる。尚、図４の撮像信号Ｄ０では、説明上、各画素信号に対応する画素Ａ〜Ｉの符号を付している。各画素Ａ〜Ｉから得られる画素信号は、イメージセンサ１３上に設けられたカラーフィルタ（図示せず）の色配列に対応したカラーの信号として記録される。このような画素信号を有する撮像信号Ｄ０は、ＣＴ補正部１７へ出力される。
【００２５】
ＣＴ補正部１７は、詳細は後述するが、撮像信号Ｄ０に対し、この撮像信号Ｄ０のうちの一部または全部の画素信号を用いて、視点間クロストークを抑制する補正を施す。クロストーク補正後の撮像信号（撮像信号Ｄ１）は、画像処理部１４へ出力される。
【００２６】
（視点画像の生成）
画像処理部１４は、撮像信号Ｄ０に基づく撮像信号（ＣＴ補正部１７から出力された撮像信号Ｄ１）に対し、所定の画像処理を行い、複数の視点画像を生成する。即ち、撮像信号Ｄ０に対し、各マトリクス領域Ｕ同士の間において互いに同一の位置にある画素から抽出される画素信号同士を合成する（撮像信号Ｄ１における各画素信号を並べ替える）。例えば、図４に示したようなＲＡＷ画像データの配列において、各マトリクス領域Ｕにおける画素Ａから得られた画素信号同士を合成する（図５（Ａ））。他の画素Ｂ〜Ｉから得られた画素信号についても同様の処理を行う（図５（Ｂ）〜（Ｉ））。このようにして、画像処理部１４は、撮像信号Ｄ１に基づいて、複数の視点画像（ここでは、９つの視点画像）を生成する。このようにして生成された視点画像は、画像信号Ｄoutとして外部あるいは図示しない記憶部へ出力される。尚、実際には、後述するように、各画素データには隣接画素で受光すべき光線についての信号成分も含んでいるが、図５（Ａ）〜（Ｉ）では、説明上各画素データ「Ａ」〜「Ｉ」のみを用いて、各視点画像を表している。
【００２７】
尚、画像処理部１４は、上記視点画像に対し、他の画像処理、例えばデモザイク処理等のカラー補間処理、ホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像信号を画像信号Ｄoutとして出力してもよい。この画像信号Ｄoutは、撮像装置１の外部へ出力されるようにしてもよいし、撮像装置１の内部に設けられた記憶部（図示せず）に記憶するようにしてもよい。
【００２８】
但し、上記画像信号Ｄoutは、視点画像に対応する信号であってもよいし、視点画像生成前の撮像信号Ｄ０であってもよい。即ち、上記のような視点画像生成処理（画素信号の並べ替え処理）を行わずに、イメージセンサ１３から読み出された信号配列のままの撮像信号（クロストーク補正後の撮像信号Ｄ１）を外部へ出力するか、あるいは記憶部に記憶するようにしてもよい。
【００２９】
ここで、図６（Ａ）〜（Ｉ）に、図５（Ａ）〜（Ｉ）の信号配列に対応する視点画像の一例（視点画像Ｒ１〜Ｒ９）を示す。被写体２の画像としては、奥行き方向において互いに異なる位置に配置された３つの被写体「人」，「山」，「花」の画像Ｒａ，Ｒｂ，Ｒｃを示している。視点画像Ｒ１〜Ｒ９は、上記３つの被写体のうち「人」に撮像レンズの焦点が合うようにして撮影されたものであり、「人」よりも奥にある「山」の画像Ｒｂと、「人」よりも手前にある「花」の画像Ｒｃとについてはデフォーカスした画像となっている。単眼方式の撮像装置１では、フォーカスした「人」の画像Ｒａは、視点が変わってもシフトしないが、デフォーカスした画像Ｒｂ，Ｒｃは、視点毎に互いに異なる位置にシフトする。尚、図６（Ａ）〜（Ｉ）では、各視点画像間の位置シフト（画像Ｒｂ，Ｒｃの位置シフト）を誇張して示している。
【００３０】
これらの９つの視点画像Ｒ１〜Ｒ９は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、これらの視点画像Ｒ１〜Ｒ９のうち、例えば左視点および右視点に対応する２つの視点画像を利用して、立体映像表示を行うことができる。例えば、図６（Ｄ）に示した視点画像Ｒ４を左視点画像、図６（Ｆ）に示した視点画像Ｒ６を右視点画像として用いることができる。このような左右２枚の視点画像を、所定の立体表示システムを用いて表示することにより、「山」は「人」よりも奥まって、「花」は「人」よりも手前に飛び出して、それぞれ観察される。
【００３１】
ここで、撮像装置１では、上述のように、レンズアレイ１２の１つのマイクロレンズ１２ａに、イメージセンサ１３のマトリクス領域Ｕを割り当てて配置し、受光を行うことにより視点分離を行う。このため、各マイクロレンズ１２ａとマトリクス領域Ｕとが精度良く位置合わせされることが望ましい。また、レンズアレイ１２およびイメージセンサ１３と撮像レンズ１１との相対的な位置精度やマイクロレンズ１２ａの成形精度についても、許容範囲内に納まっていることが望ましい。例えば、３×３のマトリクス領域Ｕに対して１つのマイクロレンズ１２ａを割り当てた場合、イメージセンサ１３とレンズアレイ１２とがサブミクロンオーダーの精度で位置合わせされていることが望ましい。これは、以下のような理由による。
【００３２】
即ち、例えば図７に示したように、マトリクス領域Ｕとマイクロレンズ１２ａとの間に、Ｘ方向に沿った相対的な位置ずれ（ｄｒ）が生じている場合、実際には、異なる視点からの光線が同一画素で受光されてしまい、各画素信号に異なる視点成分の信号が混在してしまう。具体的には、図８に示したように、３つの視点成分の光線Ｌｄ，Ｌｅ，Ｌｆが、それぞれ対応する画素Ｄ，Ｅ，Ｆにおいてのみ受光されるのではなく、それぞれの一部が隣接する画素に跨って受光されてしまう。例えば、画素Ｄで受光されるべき光線Ｌｄの一部が画素Ｅにおいて受光されてしまう。このような視点間クロストーク（Ｃｔ）が生じると、画像処理部１４において生成される視点画像では、被写体の画像が二重像になる等の画質劣化が生じる。しかしながら、量産性等を考慮すると、上記のような位置ずれが生じないように、イメージセンサ１３とレンズアレイ１２との相対的位置精度をサブミクロンオーダーで確保することは非常に困難である。
【００３３】
そこで、本実施の形態では、画像処理部１４による画像処理動作を行う前（視点画像を生成する前）に、イメージセンサ１３から出力された撮像信号Ｄ０に対し、次のようなクロストーク補正処理を行う。
【００３４】
（視点間クロストーク補正）
図９は、ＣＴ補正部１７の機能ブロック構成を表したものである。ＣＴ補正部１７は、例えばＲＡＷデータ分離部１７１、演算部１７２、行列パラメータレジスタ１７３およびライン選択部１７４を備えている。尚、本実施の形態では、Ｘ方向に沿ってレンズアレイ１２とイメージセンサ１３との相対的な位置ずれが生じており、撮像信号Ｄ０においてＸ方向に沿って配列する画素信号の集合に対して線形変換を施す場合について説明する。
【００３５】
ＲＡＷデータ分離部１７１は、各画素Ａ〜Ｉから得られた画素信号から構成される撮像信号Ｄ０を、複数のライン信号に分離する処理回路である。例えば、図４に示したように、撮像信号Ｄ０を、３行分のライン信号Ｄ０ａ（Ａ，Ｂ，Ｃ，Ａ，Ｂ，Ｃ，…）、Ｄ０ｂ（Ｄ，Ｅ，Ｆ，Ｄ，Ｅ，Ｆ，…）、Ｄ０ｃ（Ｇ，Ｈ，Ｉ，Ｇ，Ｈ，Ｉ…）に分離し、これらのライン信号Ｄ０ａ，Ｄ０ｂ，Ｄ０ｃを、演算部１７２へ出力する。
【００３６】
演算部１７２は、ライン信号Ｄ０ａ，Ｄ０ｂ，Ｄ０ｃのそれぞれに対し、マトリクス領域Ｕの一部または全部の画素から得られた画素信号の集合に対して所定の線形変換（１次変換）を施すものであり、１次変換部１７２ａ，１７２ｂ，１７２ｃを有している。これらの１次変換部１７２ａ，１７２ｂ，１７２ｃは、入力されたライン信号Ｄ０ａ，Ｄ０ｂ，Ｄ０ｃのそれぞれに対応した表現行列を保持している。表現行列としては、マトリクス領域Ｕの行方向および列方向の画素数以下の次元数を有する正方行列が用いられる。例えば、３×３の画素配列を有するマトリクス領域Ｕに対しては、３次元または２次元の正方行列を用いる。尚、２次元の正方行列を表現行列として用いる場合には、３×３のマトリクス領域Ｕのうちの一部（選択的な２×２の画素領域）についてのみ１次変換を施すか、あるいは２以上の画素を組み合わせたブロック領域を１画素と見做して、２×２の画素領域を形成してもよい。
【００３７】
図１０（Ａ）〜（Ｃ）は、表現行列を用いた演算処理の一例を表したものである。図１０（Ａ）は、マトリクス領域Ｕにおける３つの画素Ａ，Ｂ，Ｃに着目し、これらの画素信号に対する１次変換（ライン信号Ｄ０ａに対する１次変換）について表したものである。同様に、図１０（Ｂ）は、画素Ｄ，Ｅ，Ｆの画素信号に対する１次変換（ライン信号Ｄ０ｂに対する１次変換）について、図１０（Ｃ）は、画素Ｇ，Ｈ，Ｉの画素信号に対する１次変換（ライン信号Ｄ０ｃに対する１次変換）についてそれぞれ表したものである。尚、各図において、ＸＡ(n)〜ＸＩ(n)は、画素Ａ〜Ｉから得られた画素信号（受光感度値）であり、ＹＡ(n)〜ＹＩ(n)は、補正後の画素信号（クロストークがない場合の電気信号）に相当する。また、画素Ａ，Ｂ，Ｃの画素信号の集合に対する１次変換の表現行列をＭａ、画素Ｄ，Ｅ，Ｆの画素信号の集合に対する１次変換の表現行列をＭｂ、画素Ｇ，Ｈ，Ｉの画素信号の集合に対する１次変換の表現行列をＭｃとする。
【００３８】
表現行列Ｍａ，Ｍｂ，Ｍｃは、この例では、３次元の正方行列（３×３の行列マトリクス）からなり、いずれも対角成分が「１」に設定されている。これらの表現行列Ｍａ，Ｍｂ，Ｍｃでは、対角成分以外の成分については、マトリクスパラメータとして適切な設定値が与えられる。具体的には、表現行列Ｍａ，Ｍｂ，Ｍｃのマトリクスパラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）（ａ”，ｂ”，ｃ”，ｄ”，ｅ”，ｆ”）はそれぞれ、行列パラメータレジスタ１７３ａ，１７３ｂ，１７３ｃに保持されている。これらのマトリクスパラメータａ〜ｆ，ａ’〜ｆ’，ａ”〜ｆ”は、上述したようなイメージセンサ１３およびレンズアレイ１２の相対的位置精度、これらと撮像レンズ１１との相対的位置精度、マイクロレンズ１２ａの成形精度等に応じて、規定値として予め保持されている。あるいは、図示しないコントロールバスを通じて外部入力されてもよい。外部入力による場合には、例えば外部接続されたＰＣからカメラコントローラソフトにより、上記マトリクスパラメータを設定可能である。これにより、例えばユーザによるキャリブレーションが可能となり、また使用環境や経年劣化等に起因して各部材の位置ずれやレンズ形状の変化が生じた場合にも適切な補正が可能となる。
【００３９】
（表現行列，マトリクスパラメータの導出）
ここで、上記のような表現行列Ｍａ，Ｍｂ，Ｍｃの導出について、表現行列Ｍｂを例に挙げて説明する。即ち、図１０（Ｂ）に示した１次変換の式の導出について説明する。但し、ここでは、イメージセンサ１３およびレンズアレイ１２の相対的な位置ずれがＸ方向に沿ってのみ生じている場合を想定する。
【００４０】
図１１（Ａ），（Ｂ）は、イメージセンサ１３およびレンズアレイ１２の相対的位置ずれについて模式的に表したものである。図１１（Ａ）は、イメージセンサ１３がレンズアレイ１２に対してＸ方向負の向き（Ｘ１）にシフトしている場合、図１１（Ｂ）は、イメージセンサ１３がレンズアレイ１２に対してＸ方向正の向き（Ｘ２）にシフトしている場合についてそれぞれ表している。各図では、あるマトリクス領域ＵのＸ方向に沿った３ラインのうちの中央ラインに配置された画素Ｄ，Ｅ，Ｆを、Ｄ(n)，Ｅ(n)，Ｆ(n)とし、これに隣接するマトリクス領域Ｕの画素Ｄ，Ｅ，Ｆを、Ｄ(n-1)，Ｅ(n-1)，Ｆ(n-1)およびＤ(n+1)，Ｅ(n+1)，Ｆ(n+1)としている。
【００４１】
まず、図１１（Ａ）に示したように、イメージセンサ１３の位置ずれがＸ方向負の向きである場合、画素Ｄ(n)，Ｅ(n)，Ｆ(n)からそれぞれ出力される画素信号ＸＤ(n)，ＸＥ(n)，ＸＦ(n)は、上記位置ずれによるクロストークを考慮すると次の式（１）〜（３）のように表すことができる。但し、α1，α2，α3はそれぞれ、異なる視点からの光線が本来の視点からの光線に混在する割合（クロストーク量）を表す係数であり、０＜α1，α2，α3＜＜１である。これらのα1，α2，α3は、例えば、サンプル画像を撮影し、そのサンプル画像における二重像（実像とクロストークによる虚像）の輝度をいくつか測定し、これらの測定値の平均（平均輝度値）の比から画素毎に設定することができる。
ＸＤ(n)＝ＹＤ(n)＋α1・ＹＦ(n-1) ………（１）
ＸＥ(n)＝ＹＥ(n)＋α2・ＹＤ(n) ………（２）
ＸＦ(n)＝ＹＦ(n)＋α3・ＹＥ(n) ………（３）
【００４２】
これらの式（１）〜（３）から、ＹＤ(n)，ＹＥ(n)，ＹＦ(n)をそれぞれ、Ｘの項を用いて表されるように変形する。例えば、ＹＤ(n)は式（４）のように表されるが、この式（４）中のＹの項（ＹＦ(n-1)）は、式（３）を用いて消すことができ、式（５）のように表される。また、式（５）中のＹの項（ＹＥ(n-1)）は、式（２）を用いて消すことができ、式（６）のように表される。
ＹＤ(n)＝ＸＤ(n)−α1・ＹＦ(n-1) ………（４）
ＹＤ(n)＝ＸＤ(n)−α1・｛ＸＦ(n-1)−α3・ＹＥ(n-1)｝ ………（５）
ＹＤ(n)＝ＸＤ(n)−α1・［ＸＦ(n-1)−α3・｛ＸＥ(n-1)−α2・ＹＤ(n-1)｝］…（６）
【００４３】
ここで、α1，α2，α3は、１よりも極めて小さな値である（α1，α2，α3＜＜１）と見做せるので、これらの３乗以上の項については無視する（０（ゼロ）と近似する）ことができる。従って、ＹＤ(n)は次の式（７）のように表すことができる。ＹＥ(n)，ＹＦ(n)についても、式（１）〜（３）を用いて上記と同様の変形を行うことにより、以下の式（８），（９）のように表すことができる。
ＹＤ(n)＝ＸＤ(n)−α1・ＸＦ(n-1)＋α1・α3・ＸＥ(n-1) ………（７）
ＹＥ(n)＝ＸＥ(n)−α2・ＸＤ(n)＋α1・α2・ＸＦ(n-1) ………（８）
ＹＦ(n)＝ＸＦ(n)−α3・ＸＥ(n)＋α2・α3・ＸＤ(n) ………（９）
【００４４】
同様に、図１１（Ｂ）に示したように、イメージセンサ１３の位置ずれがＸ方向正の向きである場合には、ＹＦ(n)，ＹＥ(n)，ＹＤ(n)はそれぞれ、以下の式（１０）〜（１２）のように表すことができる。
ＹＦ(n)＝ＸＦ(n)−β1・ＸＤ(n+1)＋β1・β3・ＸＥ(n+1) ………（１０）
ＹＥ(n)＝ＸＥ(n)−β2・ＸＦ(n)＋β1・β2・ＸＤ(n+1) ………（１１）
ＹＤ(n)＝ＸＤ(n)−β3・ＸＥ(n)＋β2・β3・ＸＦ(n) ………（１２）
【００４５】
そして、隣接画素間の画素値がほぼ等しいと仮定した場合、Ｘｘ(n-1)およびＸｘ(n+1)の各項を区別することなく、Ｘｘ(n)として扱えるので、ＹＤ(n)は、上記式（７），（１２）から以下の式（１３）のように表すことができる。同様に、ＹＥ(n)は上記式（８），（１１）から以下の式（１４）、ＹＦ(n)は上記式（９），（１０）から以下の式（１５）のようにそれぞれ表すことができる。
ＹＤ(n)＝ＸＤ(n)−(β3−α1・α3）ＸＥ(n)−(α1−β2・β3）ＸＦ(n)…（１３）
ＹＥ(n)＝−(α2−β1・β2）ＸＤ(n)＋ＸＥ(n)−(β2−α1・α2）ＸＦ(n)…（１４）
ＹＦ(n)＝−(β1−α2・α3）ＸＤ(n)−(α3−β1・β3）ＸＥ(n)＋ＸＦ(n)…（１５）
【００４６】
これらの式（１３）〜（１５）が、図１０（Ｂ）に示した１次変換の式に対応する。但し、図１０（Ｂ）におけるマトリクスパラメータ（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）はそれぞれ、以下のように表される。
ａ’＝α1・α3−β3
ｂ’＝β2・β3−α1
ｃ’＝β1・β2−α2
ｄ’＝α1・α2−β2
ｅ’＝α2・α3−β1
ｆ’＝β1・β3−α3
【００４７】
尚、Ｚ方向に位置ずれが生じた場合や、レンズ形状不良の場合にも、上記式（１３）〜（１５）が有効である。但し、位置ずれの向きが１方向のみの場合には、その位置ずれの向きに応じて上記式（７）〜（９）または式（１０）〜（１２）を使い分けるようにしてもよい。位置ずれの向きは、例えば、サンプル画像を撮影し、そのサンプル画像に基づく各視点画像における二重像（実像とクロストークによる虚像）において実像に対する虚像の生じる方向から判断することが可能である。例えば、位置ずれの向きがＸ１である場合には、マトリクスパラメータ（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）はそれぞれ、以下のように表される。
ａ’＝α1・α3
ｂ’＝−α1
ｃ’＝−α2
ｄ’＝α1・α2
ｅ’＝α2・α3
ｆ’＝−α3
【００４８】
あるいは、位置ずれの向きがＸ２である場合には、マトリクスパラメータ（ａ’，ｂ’，ｃ’，ｄ’，ｅ’，ｆ’）はそれぞれ、以下のように表される。
ａ’＝−β3
ｂ’＝β2・β3
ｃ’＝β1・β2
ｄ’＝−β2
ｅ’＝−β1
ｆ’＝β1・β3
【００４９】
上記のような手順により、画素Ｄ，Ｅ，Ｆにおける画素信号を補正するための表現行列Ｍｂおよびマトリクスパラメータａ’〜ｆ’を設定することができる。また、他の画素ラインに着目すれば、表現行列Ｍａ，Ｍｃおよびマトリクスパラメータａ〜ｆ，ａ”〜ｆ”を上記と同様の導出手順により設定することができる。但し、これらのマトリクスパラメータａ〜ｆ，ａ’〜ｆ’，ａ”〜ｆ”は、補正の必要がなければ、その一部または全部を０（ゼロ）に設定することもできる。
【００５０】
このようにして設定された表現行列Ｍａ，Ｍｂ，Ｍｃを用いて、演算部１７２（１次変換部１７２ａ〜１７２ｃ）は、撮像信号Ｄ０のうちの一部の画素信号（ここでは、Ｘ方向に沿って配列する３つの画素信号の集合）に対して、１次変換を施す。例えば、１次変換部１７２ｂは、中央ラインの３つの画素（Ｄ，Ｅ，Ｆ）から得られた画素信号（ＸＤ(n)，ＸＥ(n)，ＸＦ(n)）に対して、表現行列Ｍｂを乗じて、クロストーク排除後の画素信号（ＹＤ(n)，ＹＥ(n)，ＹＦ(n)）を算出する。同様に、１次変換部１７２ａは、画素（Ａ，Ｂ，Ｃ）の画素信号（ＸＡ(n)，ＸＢ(n)，ＸＣ(n)）に対して表現行列Ｍａを乗じ、クロストーク排除後の画素信号（ＹＡ(n)，ＹＢ(n)，ＹＣ(n)）を算出する。同様に、１次変換部１７２ｃは、画素（Ｇ，Ｈ，Ｉ）の画素信号（ＸＧ(n)，ＸＨ(n)，ＸＩ(n)）に対して表現行列Ｍｃを乗じ、クロストーク排除後の画素信号（ＹＧ(n)，ＹＨ(n)，ＹＩ(n)）を算出する。
【００５１】
上記処理を各ラインにおいて３画素ずつ連続して行うことにより、ある画素において混在して取得された隣接画素情報を排除すると同時に、それを本来の画素へ戻すことが可能である。つまり、画素単位で良好な視点分離がなされた（視点間クロストークの低減された）ライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃが得られる。これらのライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃはライン選択部１７４へ出力される。
【００５２】
ライン選択部１７４は、演算部１７２の１次変換部１７２ａ，１７２ｂ，１７２ｃからそれぞれ出力されたライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃを、１ラインに並べ替えて出力するものである。このライン選択部１７４により、３ライン分のライン信号Ｄ１ａ，Ｄ１ｂ，Ｄ１ｃが、１ライン分のライン信号（撮像信号Ｄ１）に変換され、後段の画像処理部１４へ出力される。画像処理部１４では、この補正後の撮像信号Ｄ１に基づいて、上述したような画像処理が行われ、複数の視点画像が生成される。
【００５３】
以上のように本実施の形態では、撮像レンズ１１の通過光線を、レンズアレイ１２によって複数の視点からの光線に分離しつつ、イメージセンサ１３の各画素において受光し、受光量に基づく画素信号を取得する。イメージセンサ１３とレンズアレイ１２との相対的な位置ずれが生じた場合であっても、各画素から出力された画素信号の一部または全部を用いて、視点間クロストークを抑制し、画素単位で精度良く視点分離を行うことができる。よって、視点間クロストークに起因する画質劣化を抑制することが可能となる。これにより、サブミクロンオーダーでマイクロレンズが形成されたレンズアレイ１２とイメージセンサ１３との位置合わせ精度が十分に得られない場合であっても、クロストークによる画質劣化を抑制することができ、量産性の向上につながると共に、新たな製造設備投資が少なくて済む。また、製造時の光学的な位置ずれ、レンズ形状不良等に起因するクロストークに限らず、経年劣化や衝撃等に起因して生じるクロストークについても補正可能であるため、高い信頼性を維持することができる。
【００５４】
尚、上記実施の形態では、ＣＴ補正部１７において、撮像信号Ｄ０に対し、Ｘ方向に沿ったライン毎に１次変換を行うことで、全ての画素信号を用いてクロストーク補正を行ったが、必ずしも全ての画素信号を用いる必要はない。例えば、本実施の形態では、上述のように、撮像信号Ｄ１に基づいて、マトリクス領域Ｕの画素数分（ここでは９つ）の視点画像を生成可能であるが、例えば立体表示用途としては、左右２枚の視点画像が得られればよく、９枚全ての視点画像を要しない場合もある。このような場合には、マトリクス領域Ｕのうちの一部の画素（例えば左右の視点画像を得るための画素Ｄ，Ｆ）の画素信号を含む中央ラインについてのみ、１次変換を施してもよい。
【００５５】
以下、上記実施の形態の変形例（変形例１，２）に係るクロストーク補正手法ついて説明する。変形例１，２では、上記実施の形態と同様、撮像レンズ１１、レンズアレイ１２、イメージセンサ１３、画像処理部１４、イメージセンサ駆動部１５、ＣＴ補正部１７および制御部１６を備えた撮像装置１において、ＣＴ補正部１７が上記実施の形態と異なる画素に着目して１次変換を行うようになっている。尚、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【００５６】
＜変形例１＞
図１２は、変形例１に係るレンズアレイ１２（マイクロレンズ１２ａ）とイメージセンサ１３との相対的な位置ずれを表したものである。変形例１では、上記実施の形態と異なり、レンズアレイ１２とイメージセンサ１３との相対的な位置ずれｄｒが、Ｙ方向に沿って生じている場合を想定したものである。このようにＹ方向に沿って位置ずれｄｒが生じている場合には、マトリクス領域Ｕのうち、Ｙ方向に沿って配列する画素から得られる画素信号の集合に対して線形変換を施す。尚、位置ずれがＸ方向およびＹ方向のうちのどちらの方向に生じているかについては、例えば、サンプル画像を撮影し、そのサンプル画像に基づく各視点画像における二重像（実像とクロストークによる虚像）において実像に対する虚像の生じる方向から判断することが可能である。Ｘ方向およびＹ方向のどちらに沿って補正を施すかは、予め保持されていてもよいし、外部入力信号により設定されるようにしてもよい。
【００５７】
本変形例においても、上記実施の形態と同様、ＣＴ補正部１７が図９に示したような機能構成を有し、ＲＡＷデータ分離部１７１、演算部１７２、行列パラメータレジスタ１７３およびライン選択部１７４を備えている。但し、上述のように、イメージセンサ１３からの信号読み出しがＸ方向に沿ったライン単位で行われる場合には、次のような構成とする必要がある。即ち、本変形例では、Ｙ方向に沿って配列した画素信号に対して１次変換を施すので、上記実施の形態と異なり、３行分のライン信号を一時的に記憶しておくためのバッファメモリ（図示せず）が必要となる。従って、例えばＲＡＷデータ分離部１７１と演算部１７２との間、もしくは演算部１７２において、上記のようなバッファメモリを設け、このバッファメモリに記憶された３行分のライン信号を用いて、Ｙ方向に配列する画素信号の集合に対して、１次変換を施す。
【００５８】
具体的には、演算部１７２は、上記のような３行分ライン信号に基づき、マトリクス領域Ｕ内でＹ方向に沿って配列する３つの画素（Ａ，Ｄ，Ｇ）（Ｂ，Ｅ，Ｈ）（Ｃ，Ｆ，Ｉ）から得られた各画素信号の集合に対して１次変換を施す。本変形例においても、演算部１７２は、それぞれの画素信号の集合に対応する３つの１次変換部を有しており、１次変換部毎に表現行列（後述の表現行列Ｍｄ，Ｍｅ，Ｍｆ）を保持している。表現行列としては、上記実施の形態の場合と同様、マトリクス領域Ｕの行方向および列方向の画素数以下の次元数を有する正方行列が用いられる。
【００５９】
図１３（Ａ）〜（Ｃ）は、本変形例における表現行列を用いた演算処理の一例を表したものである。図１３（Ａ）は、マトリクス領域Ｕにおける３つの画素Ａ，Ｄ，Ｇに着目し、これらの画素信号に対する１次変換について表したものである。同様に、図１３（Ｂ）は、画素Ｂ，Ｅ，Ｈの画素信号に対する１次変換について、図１３（Ｃ）は、画素Ｃ，Ｆ，Ｉの画素信号に対する１次変換についてそれぞれ表したものである。尚、各図において、ＸＡ(n)〜ＸＩ(n)は、画素（画素センサー）Ａ〜Ｉから得られた画素信号（受光感度値）であり、ＹＡ(n)〜ＹＩ(n)は、補正後の電気信号（クロストークがない場合の電気信号）に相当する。また、画素Ａ，Ｄ，Ｇの画素信号の集合に対する１次変換の表現行列をＭｄ、画素Ｂ，Ｅ，Ｈの画素信号の集合に対する１次変換の表現行列をＭｅ、画素Ｃ，Ｆ，Ｉの画素信号の集合に対する１次変換の表現行列をＭｆとする。
【００６０】
表現行列Ｍｄ，Ｍｅ，Ｍｆは、上記実施の形態の表現行列Ｍａ，Ｍｂ，Ｍｃと同様、３次元の正方行列（３×３の行列マトリクス）からなり、いずれも対角成分が「１」に設定されている。また、これらの表現行列Ｍｄ，Ｍｅ，Ｍｆでは、対角成分以外の成分については、マトリクスパラメータとして適切な設定値が与えられる。具体的には、表現行列Ｍｄ，Ｍｅ，Ｍｆのマトリクスパラメータ（ｇ，ｈ，ｉ，ｊ，ｋ，ｍ）（ｇ’，ｈ’，ｉ’，ｊ’，ｋ’，ｍ’）（ｇ”，ｈ”，ｉ”，ｊ”，ｋ”，ｍ”）はそれぞれ、行列パラメータレジスタ１７３ａ，１７３ｂ，１７３ｃに保持されている。これらのマトリクスパラメータｇ〜ｍ，ｇ’〜ｍ’，ｇ”〜ｍ”は、上記実施の形態のマトリクスパラメータと同様、イメージセンサ１３およびレンズアレイ１２の相対的位置精度等に応じて、規定値として予め保持されているか、あるいは外部入力されるようになっている。尚、本変形例においても、上記のような表現行列Ｍｄ，Ｍｅ，Ｍｆおよびマトリクスパラメータｇ〜ｍ，ｇ’〜ｍ’，ｇ”〜ｍ”は、上記実施の形態と同様にして導出可能である。
【００６１】
本変形例では、上記のような表現行列Ｍｄ，Ｍｅ，Ｍｆを用いて、撮像信号Ｄ０のうちの一部の画素信号（Ｙ方向に沿って配列する３つの画素信号の集合）に対して、１次変換を施す。例えば、３つの画素センサー（Ａ，Ｄ，Ｇ）から得られた画素信号（ＸＡ(n)，ＸＤ(n)，ＸＧ(n)）に対して、表現行列Ｍｄを乗じて、クロストーク排除後の画素信号（ＹＡ(n)，ＹＤ(n)，ＹＧ(n)）を算出する。同様に、画素（Ｂ，Ｅ，Ｈ）の画素信号（ＸＢ(n)，ＸＥ(n)，ＸＨ(n)）に対して表現行列Ｍｅを乗じ、クロストーク排除後の画素信号（ＹＢ(n)，ＹＥ(n)，ＹＨ(n)）を算出する。同様に、画素（Ｃ，Ｆ，Ｉ）の画素信号（ＸＣ(n)，ＸＦ(n)，ＸＩ(n)）に対して表現行列Ｍｆを乗じ、クロストーク排除後の画素信号（ＹＣ(n)，ＹＦ(n)，ＹＩ(n)）を算出する。
【００６２】
上記処理をＹ方向に沿って配列した３画素分ずつ連続して行うことにより、ある画素において混在して取得された隣接画素情報を排除すると同時に、それを本来の画素へ戻すことが可能である。つまり、画素単位で良好な視点分離がなされた（視点間クロストークの低減された）撮像信号Ｄ１が得られる。従って、本変形例においても、イメージセンサ１３とレンズアレイ１２との相対的な位置ずれが生じた場合であっても、各画素から出力された画素信号の一部または全部を用いて、視点間クロストークを抑制し、画素単位で精度良く視点分離を行うことができる。よって、上記実施の形態と同等の効果を得ることができる。
【００６３】
＜変形例２＞
図１４は、変形例２に係るレンズアレイ１２（マイクロレンズ１２ａ）とイメージセンサ１３との相対的な位置ずれを表したものである。変形例２では、上記実施の形態と異なり、レンズアレイ１２とイメージセンサ１３との相対的な位置ずれｄｒが、Ｘ方向だけでなくＹ方向にも生じている場合を想定したものである。このようにＸＹ平面に沿って位置ずれｄｒが生じている場合には、マトリクス領域Ｕのうち、Ｘ方向に沿って配列する画素から得られる画素信号の集合に対する線形変換と、Ｙ方向に沿って配列する画素から得られる画素信号の集合に対する線形変換とを、順次施す。
【００６４】
本変形例においても、上記実施の形態と同様、ＣＴ補正部１７が図９に示したような機能構成を有し、ＲＡＷデータ分離部１７１、演算部１７２、行列パラメータレジスタ１７３およびライン選択部１７４を備えている。また、イメージセンサ１３からの信号読み出しがＸ方向に沿ったライン単位で行われる場合には、上記変形例１と同様、Ｙ方向に沿って配列した画素信号に対して１次変換を施す処理を含むので、３行分のライン信号を一時的に記憶しておくためのバッファメモリ（図示せず）を更に備えている。
【００６５】
具体的には、演算部１７２は、まず、上記実施の形態と同様にして、図１０（Ａ）〜（Ｃ）に示したように、表現行列Ｍａ，Ｍｂ，Ｍｃを用いて、撮像信号Ｄ０のうちのＸ方向に沿って配列する３つの画素信号の集合に対して、１次変換を施す。例えば、３つの画素（Ｄ，Ｅ，Ｆ）から得られた画素信号（ＸＤ(n)，ＸＥ(n)，ＸＦ(n)）に対して、表現行列Ｍｂを乗じて、クロストーク排除後の画素信号（ＹＤ(n)，ＹＥ(n)，ＹＦ(n)）を算出する。同様に、画素（Ａ，Ｂ，Ｃ）の画素信号（ＸＡ(n)，ＸＢ(n)，ＸＣ(n)）に対して表現行列Ｍａを乗じ、クロストーク排除後の画素信号（ＹＡ(n)，ＹＢ(n)，ＹＣ(n)）を算出する。同様に、画素（Ｇ，Ｈ，Ｉ）の画素信号（ＸＧ(n)，ＸＨ(n)，ＸＩ(n)）に対して表現行列Ｍｃを乗じ、クロストーク排除後の画素信号（ＹＧ(n)，ＹＨ(n)，ＹＩ(n)）を算出する。
【００６６】
続いて、上記変形例１と同様にして、図１３（Ａ）〜（Ｃ）に示したように、表現行列Ｍｄ，Ｍｅ，Ｍｆを用いて、撮像信号Ｄ０のうちのＹ方向に沿って配列する３つの画素信号の集合に対して、１次変換を施す。例えば、３つの画素（Ａ，Ｄ，Ｇ）から得られた画素信号（ＸＡ(n)，ＸＤ(n)，ＸＧ(n)）に対して、表現行列Ｍｄを乗じて、クロストーク排除後の画素信号（ＹＡ(n)，ＹＤ(n)，ＹＧ(n)）を算出する。同様に、画素（Ｂ，Ｅ，Ｈ）の画素信号（ＸＢ(n)，ＸＥ(n)，ＸＨ(n)）に対して表現行列Ｍｅを乗じ、クロストーク排除後の画素信号（ＹＢ(n)，ＹＥ(n)，ＹＨ(n)）を算出する。同様に、画素（Ｃ，Ｆ，Ｉ）の画素信号（ＸＣ(n)，ＸＦ(n)，ＸＩ(n)）に対して表現行列Ｍｆを乗じ、クロストーク排除後の画素信号（ＹＣ(n)，ＹＦ(n)，ＹＩ(n)）を算出する。
【００６７】
上記のように、Ｘ方向に沿った画素信号の集合に対する１次変換と、Ｙ方向に沿った画素信号の集合に対する１次変換とを順次連続して行うことにより、ＸＹ平面において位置ずれ（ｄｒ１，ｄｒ２）が生じている場合であっても、ある画素において混在して取得された隣接画素情報を排除すると同時に、それを本来の画素へ戻すことが可能である。つまり、画素単位で良好な視点分離がなされた（視点間クロストークの低減された）撮像信号Ｄ１が得られる。従って、本変形例においても、イメージセンサ１３とレンズアレイ１２との相対的な位置ずれが生じた場合であっても、各画素から出力された画素信号の一部または全部を用いて、視点間クロストークを抑制し、画素単位で精度良く視点分離を行うことができる。よって、上記実施の形態と同等の効果を得ることができる。
【００６８】
尚、上記変形例２では、Ｘ方向に沿った画素信号の集合に対する１次変換を行った後、Ｙ方向に沿った画素信号の集合に対する１次変換を行うようにしたが、これらの１次変換の順序は逆でもよい。即ち、Ｙ方向に沿った画素信号の集合に対する１次変換を行った後、Ｘ方向に沿った画素信号の集合に対する１次変換を行うようにしてもよい。また、これらの実施順序については、予め設定されていてもよいし、外部入力信号により設定されるようにしてもよい。いずれの場合であっても、順次１次変換を施すことにより、各方向に沿った位置ずれに起因する視点間クロストークを抑制することができる。
【００６９】
以上、実施の形態および変形例を挙げたが、本開示内容は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、１つのマイクロレンズに割り当てられる画素（マトリクス領域Ｕ）が３×３＝９個である場合を例に挙げて説明したが、マトリクス領域Ｕは、これに限定されず、任意のｍ×ｎ（ｍ，ｎは１以上の整数。但し、ｍ＝ｎ＝１を除く。）の画素から構成することができ、ｍ，ｎが互いに異なっていてもよい。
【００７０】
また、上記実施の形態等では、視点分離素子としてレンズアレイを例示したが、光線の視点成分を分離可能な素子であれば、レンズアレイに限定されない。例えば、撮像レンズと、イメージセンサとの間に、ＸＹ平面において複数領域に分割され、各領域において開閉を切り替えることが可能な液晶シャッターを視点分離素子として配置した構成であってもよい。あるいは、ＸＹ平面に複数の孔が形成された、いわゆるピンホールを利用した視点分離素子を用いてもよい。
【００７１】
更に、上記実施の形態等では、本開示の撮像装置の一例として、視点画像を生成する画像処理部を備えたものを例に挙げて説明したが、この画像処理部については必ずしも備えていなくともよい。
【００７２】
尚、本開示は以下のような構成を取ることも可能である。
（１）撮像レンズと、前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、複数の画素を有すると共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、前記複数の画素から得られる画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部とを備えた撮像装置。
（２）前記補正部は、２以上の画素信号の集合に対して１次変換を施すことにより、前記補正を行う上記(1)に記載の撮像装置。
（３）前記視点分離素子はレンズアレイであり、前記レンズアレイの１つのレンズを通過した光線は、前記撮像素子の２以上の画素からなる単位領域において受光される上記(1)または(2)に記載の撮像装置。
（４）前記補正部は、前記単位領域のうちの一部または全部の画素から出力された画素信号の集合に対して前記１次変換を施す上記(3)に記載の撮像装置。
（５）前記単位領域は、２以上の画素を行列状に２次元配置したものであり、前記補正部は、前記１次変換の際の表現行列として、前記単位領域の行方向または列方向の画素数以下の次元数を有する正方行列を用いる上記(3)または(4)に記載の撮像装置。
（６）前記表現行列の各成分は、前記単位領域と前記マイクロレンズとの相対的な位置ずれに基づいて予め設定されるか、あるいは外部入力信号に基づいて設定可能となっている上記(3)〜(5)のいずれかに記載の撮像装置。
（７）前記表現行列の対角成分は１である上記(5)または(6)に記載の撮像装置。
（８）前記補正部は、前記単位領域において行方向に配置された画素から得られた画素信号の集合、および列方向に配置された画素から得られた画素信号の集合のうち、どちらか一方に対してのみ前記１次変換を施すか、または両方に対して順次一回ずつ前記１次変換を施す上記(3)〜(7)のいずれかに記載の撮像装置。
（９）前記１次変換を施す画素信号の行方向および列方向の実施選択または実施順序選択は、予め設定されているか、あるいは外部入力信号に基づいて設定可能となっている上記(3)〜(8)のいずれかに記載の撮像装置。
（１０）前記補正部による補正後の画素信号に基づいて画像処理を行う画像処理部を更に備えた上記(1)〜(9)のいずれかに記載の撮像装置。
（１１）前記画像処理部は、前記補正後の画素信号を含む撮像信号に対して並べ替え処理を施すことにより、複数の視点画像を生成する上記(1)〜(10)のいずれかに記載の撮像装置。
【符号の説明】
【００７３】
１…撮像装置、１１…撮像レンズ、１２…レンズアレイ、１２ａ…マイクロレンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１７…ＣＴ補正部、２…被写体、Ｄ０，Ｄ１…撮像信号、Ｄout…画像信号、Ｕ…マトリクス領域、Ａ〜Ｉ…画素（画素信号）、Ｒ１〜Ｒ９…視点画像。
【特許請求の範囲】
【請求項１】
撮像レンズと、
前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、
複数の画素を有すると共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、
前記複数の画素から得られる画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部と
を備えた撮像装置。
【請求項２】
前記補正部は、２以上の画素信号の集合に対して１次変換を施すことにより、前記補正を行う
請求項１に記載の撮像装置。
【請求項３】
前記視点分離素子はレンズアレイであり、
前記レンズアレイの１つのレンズを通過した光線は、前記撮像素子の２以上の画素からなる単位領域において受光される
請求項２に記載の撮像装置。
【請求項４】
前記補正部は、前記単位領域のうちの一部または全部の画素から出力された画素信号の集合に対して前記１次変換を施す
請求項３に記載の撮像装置。
【請求項５】
前記単位領域は、２以上の画素を行列状に２次元配置したものであり、
前記補正部は、前記１次変換の際の表現行列として、前記単位領域の行方向または列方向の画素数以下の次元数を有する正方行列を用いる
請求項４に記載の撮像装置。
【請求項６】
前記表現行列の各成分は、前記単位領域と前記マイクロレンズとの相対的な位置ずれに基づいて予め設定されるか、あるいは外部入力信号に基づいて設定可能となっている
請求項５に記載の撮像装置。
【請求項７】
前記表現行列の対角成分は１である
請求項６に記載の撮像装置。
【請求項８】
前記補正部は、前記単位領域において行方向に配置された画素から得られた画素信号の集合、および列方向に配置された画素から得られた画素信号の集合のうち、どちらか一方に対してのみ前記１次変換を施すか、または両方に対して順次一回ずつ前記１次変換を施す
請求項５に記載の撮像装置。
【請求項９】
前記１次変換を施す画素信号の行方向および列方向の実施選択または実施順序選択は、予め設定されているか、あるいは外部入力信号に基づいて設定可能となっている
請求項８に記載の撮像装置。
【請求項１０】
前記補正部による補正後の画素信号に基づいて画像処理を行う画像処理部を更に備えた
請求項１に記載の撮像装置。
【請求項１１】
前記画像処理部は、前記補正後の画素信号を含む撮像信号に対して並べ替え処理を施すことにより、複数の視点画像を生成する
請求項１０に記載の撮像装置。
【請求項１】
撮像レンズと、
前記撮像レンズの通過光線を、互いに異なる複数の視点からの光線に分離する視点分離素子と、
複数の画素を有すると共に、各画素において前記視点分離素子の通過光線を受光し、その受光量に基づく画素信号を得る撮像素子と、
前記複数の画素から得られる画素信号の一部または全部を用いて、視点間クロストークを抑制する補正を行う補正部と
を備えた撮像装置。
【請求項２】
前記補正部は、２以上の画素信号の集合に対して１次変換を施すことにより、前記補正を行う
請求項１に記載の撮像装置。
【請求項３】
前記視点分離素子はレンズアレイであり、
前記レンズアレイの１つのレンズを通過した光線は、前記撮像素子の２以上の画素からなる単位領域において受光される
請求項２に記載の撮像装置。
【請求項４】
前記補正部は、前記単位領域のうちの一部または全部の画素から出力された画素信号の集合に対して前記１次変換を施す
請求項３に記載の撮像装置。
【請求項５】
前記単位領域は、２以上の画素を行列状に２次元配置したものであり、
前記補正部は、前記１次変換の際の表現行列として、前記単位領域の行方向または列方向の画素数以下の次元数を有する正方行列を用いる
請求項４に記載の撮像装置。
【請求項６】
前記表現行列の各成分は、前記単位領域と前記マイクロレンズとの相対的な位置ずれに基づいて予め設定されるか、あるいは外部入力信号に基づいて設定可能となっている
請求項５に記載の撮像装置。
【請求項７】
前記表現行列の対角成分は１である
請求項６に記載の撮像装置。
【請求項８】
前記補正部は、前記単位領域において行方向に配置された画素から得られた画素信号の集合、および列方向に配置された画素から得られた画素信号の集合のうち、どちらか一方に対してのみ前記１次変換を施すか、または両方に対して順次一回ずつ前記１次変換を施す
請求項５に記載の撮像装置。
【請求項９】
前記１次変換を施す画素信号の行方向および列方向の実施選択または実施順序選択は、予め設定されているか、あるいは外部入力信号に基づいて設定可能となっている
請求項８に記載の撮像装置。
【請求項１０】
前記補正部による補正後の画素信号に基づいて画像処理を行う画像処理部を更に備えた
請求項１に記載の撮像装置。
【請求項１１】
前記画像処理部は、前記補正後の画素信号を含む撮像信号に対して並べ替え処理を施すことにより、複数の視点画像を生成する
請求項１０に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８１０８７（Ｐ２０１３−８１０８７Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０２３０（Ｐ２０１１−２２０２３０）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]