撮像装置
【課題】光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像を従来よりも高速に生成することが可能な撮像装置を提供する。
【解決手段】画像処理部14において、撮像素子13から得られた撮像データD0に基づいてリフォーカス画像を生成する。この際、並び替え処理部142において、撮像データD1に基づいて、複数の任意視点画像V1〜V9からなる撮像データD2を生成する。この撮像データD2は、データ記憶部17へ格納される。そののち、再構築画像合成部145において、各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データを、一括して読み出す。これにより、複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部17から画像処理部14へのデータ転送回数が、従来と比べて少なくなる。
【解決手段】画像処理部14において、撮像素子13から得られた撮像データD0に基づいてリフォーカス画像を生成する。この際、並び替え処理部142において、撮像データD1に基づいて、複数の任意視点画像V1〜V9からなる撮像データD2を生成する。この撮像データD2は、データ記憶部17へ格納される。そののち、再構築画像合成部145において、各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データを、一括して読み出す。これにより、複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部17から画像処理部14へのデータ転送回数が、従来と比べて少なくなる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像レンズおよび撮像素子を用いた撮像装置に関する。
【背景技術】
【0002】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【0003】
例えば、特許文献1および非特許文献1には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。このような撮像装置では、メインレンズとしての撮像レンズと、マイクロレンズアレイと、複数の画素が2次元配列した撮像素子とを備えている。また、一つのマイクロレンズに対して複数の画素が割り当てられており、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。これにより、画像処理部において、任意の視点や方向(以下、単に視野という)、任意のフォーカス(焦点)からの観察画像を再構築できるようになっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第06/039486号パンフレット
【非特許文献】
【0005】
【非特許文献1】Ren.Ng、他7名,「Light Field Photography with a Hand-Held Plenoptic Camera」,Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、このような手法により得られた撮像データでは、最終的に1画素として表示される情報が、光の進行方向に応じて複数画素に分割して記録されるようになっている。そのため、一般に高精細な画像を得ようとすると、撮像データのデータ量が膨大になってしまうという一面がある。
【0007】
したがって、任意の焦点からの画像(リフォーカス画像)を再構築しようとする場合、そのような処理の際に、撮像データが格納されている記憶装置からの大量のデータ転送が生じることになる。しかも、上記のように、最終的に1画素に対応する情報が複数の画素に分割して記憶されているため、フォーカス位置によって計算される記憶装置上の離散的なアドレスから、画素データを集めてくる必要がある。この場合、各画素データに局所性がないため、キャッシュメモリ等を用いてデータ転送回数を減らすことは困難である。また、例えばDMA(Direct Memory Access)を用いてデータ転送を行うとしても、非連続アドレスのデータ転送の場合、連続アドレスのデータ転送に比べ、圧倒的に多いサイクル数を要することになる。
【0008】
このようにして従来の撮像装置では、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて任意の焦点に設定された画像(リフォーカス画像)を生成する場合、そのような画像を生成するのに時間がかかってしまうという問題があった。したがって、画像の生成速度の高速化が望まれていた。
【0009】
本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像を従来よりも高速に生成することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【0010】
本発明の撮像装置は、撮像レンズと、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間において撮像レンズの焦点面上に配置されると共に、撮像素子の複数の画素に対して1つのマイクロレンズを有するマイクロレンズアレイ部と、撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と、この画像処理部における画像処理の際の撮像データを格納しておくためのデータ記憶部とを備えたものである。また、上記画像処理部は、撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する際に、撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の任意視点画像を生成すると共に、それらの各任意視点画像をデータ記憶部へ格納し、このデータ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すと共に、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、上記リフォーカス画像を生成するようになっている。
【0011】
本発明の撮像装置では、上記撮像レンズ、マイクロレンズアレイ部および撮像素子によって、光線の進行方向を含む撮像データが得られると共に、この撮像データに基づいて所定の画像処理が行われることにより、再構築画像が生成される。このとき、画像処理の際の撮像データは、データ記憶部に格納される。ここで、撮像データに基づいて上記リフォーカス画像を生成する際には、撮像データに基づいて上記複数の任意視点画像が生成されると共に、それらの各任意視点画像がデータ記憶部へ格納される。そして、このデータ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データが読み出し単位として一括して読み出されると共に、読み出されたそれらの画素データに基づいて所定の並び替え処理および積分処理が行われることにより、上記リフォーカス画像が生成される。このようにして、撮像データに基づいて複数の任意視点画像が生成されてデータ記憶部へ格納されたのち、これらの各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データが一括して読み出されることにより、リフォーカス画像を生成する際に必要となるデータ記憶部からのデータ転送回数(データ転送のサイクル数)が、従来と比べて少なくなる。
【発明の効果】
【0012】
本発明の撮像装置によれば、撮像素子から得られた撮像データに基づいてリフォーカス画像を生成する際に、撮像データに基づいて複数の任意視点画像を生成してデータ記憶部へ格納したのち、各任意視点画像から互いに隣接する画素位置に記憶されている複数の画素データを一括して読み出すようにしたので、そのような複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部からのデータ転送回数が、従来と比べて少なくなる。よって、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像(リフォーカス画像)を従来よりも高速に生成することが可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施の形態に係る撮像装置の全体構成を表す図である。
【図2】撮像レンズとマイクロレンズアレイのFナンバーの設定について説明するための図である。
【図3】図1に示した画像処理部の詳細構成を表す機能ブロック図である。
【図4】図1に示した撮像素子上の受光領域を表す平面図である。
【図5】撮像素子に入射する光線の情報を説明するための図である。
【図6】図3に示した再構築画像合成部によるリフォーカス演算処理について説明するための図である。
【図7】比較例に係る従来の撮像装置におけるリフォーカス演算処理の一例を表す流れ図である。
【図8】図7に示した比較例に係るリフォーカス演算処理の際の画素データの配置例を表す模式図である。
【図9】図7に示した比較例に係るリフォーカス演算処理に用いる撮像データの一例を表す写真図である。
【図10】実施の形態に係るリフォーカス演算処理の一例を表す流れ図である。
【図11】図10に示した実施の形態に係るリフォーカス演算処理の際の画素データの配置例を表す模式図である。
【図12】図10に示した実施の形態に係るリフォーカス演算処理に用いる撮像データ(任意視点画像からなる撮像データ)の一例を表す写真図である。
【図13】本発明の撮像装置の適用例1に係るデジタルカメラの外観構成を表す図である。
【図14】本発明の変形例に係るリフォーカス演算処理の際の任意視点画像における画素データの一括転送単位について説明するための模式図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態(任意視点画像を用いた高速なリフォーカス演算処理の例)
2.撮像装置の適用例(適用例1:デジタルカメラ、適用例2:3次元表示装置)
3.変形例
【0015】
<1.実施の形態>
[撮像装置の全体構成例]
図1は、本発明の一実施の形態に係る撮像装置(撮像装置1)の全体構成を表したものである。この撮像装置1は、撮像対象物(被写体)2を撮像して撮像データDoutを出力するものであり、被写体2の側から、開口絞り10と、撮像レンズ11と、マイクロレンズアレイ12と、撮像素子13とを備えている。また、撮像装置1はこの他に、画像処理部14と、撮像素子駆動部15と、制御部16と、データ記憶部17とを備えている。
【0016】
開口絞り10は、撮像レンズ11の光学的な開口絞りである。この開口絞り10の開口部10Aの形状は、図1中に示したように例えば円形状であり、この形状の相似形となる撮像対象物2の像(後述のユニット像)が、撮像素子13上にマイクロレンズごとに形成されるようになっている。
【0017】
撮像レンズ11は、被写体2を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【0018】
マイクロレンズアレイ12は、複数のマイクロレンズが2次元配列したものであり、撮像レンズ11の焦点面(結像面;図中の符号f1は、撮像レンズ11の焦点距離を表している)に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。
【0019】
ここで、撮像レンズ11のFナンバーFMLと、マイクロレンズアレイ12のFナンバーFMLAとは、概ね等しくなっていることが好ましい。これは、図2(A)に示したように、撮像レンズ11のFナンバーFMLがマイクロレンズアレイ12のFナンバーFMLAよりも小さい場合(FML<FMLAの場合)、隣接するマイクロレンズによる撮像光線間で重なりが生じるためである。そのような重なりが生じた場合、クロストークが発生し、再構築画像の画質が劣化してしまうことになる。また一方で、図2(B)に示したように、撮像レンズ11のFナンバーFMLがマイクロレンズアレイ12のFナンバーFMLAよりも大きい場合(FML>FMLAの場合)、マイクロレンズによる撮像光線が受光されない撮像画素が生じるためである。そのような撮像画素が生じた場合、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうことになる。なお、本発明においては、これらのFナンバーが完全に同一である場合には限定されず、誤差等を含んでいてもよいものとする。
【0020】
撮像素子13は、マイクロレンズアレイ12からの光を受光して撮像データD0を取得するものであり、マイクロレンズアレイ12の焦点面(図中の符号f2は、マイクロレンズアレイ12の焦点距離を表している)に配置されている。この撮像素子13は、複数の画素(後述する画素P)をマトリクス状に2次元配列したものであり、各画素は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などにより構成されている。
【0021】
このような撮像素子13の受光面(マイクロレンズアレイ12側の面)には、M×N(M,N:整数)個の画素がマトリクス状に配置され、複数の画素に対してマイクロレンズアレイ12内の1つのマイクロレンズが割り当てられるようになっている。この受光面上の画素の個数は、例えば、M×N=3720×2520=9374400個である。ここで、各マイクロレンズに割り当てられる画素数(m×n)は、後述する再構築画像の任意の視野での分解能となる。このため、これらm,nの値が大きくなるにしたがって、再構築画像の任意の視野、任意のフォーカスでの分解能が高くなる。一方、(M/m),(N/n)は、再構築画像の画素数(解像度)となる。このため、これら(M/m),(N/n)の値が大きくなるに従って、再構築画像の画素数が増加する。したがって、再構築画像の任意の視野での分解能と画素数とは、トレードオフの関係となっている。
【0022】
画像処理部14は、後述する制御部16から供給される制御信号Soutに従って、撮像素子13で得られた撮像データD0に対して所定の画像処理を施すことにより、撮像データDoutを生成・出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理(所定の並び替え処理等)を行うことにより、任意の視野や任意の焦点面に設定した観察画像(再構築画像)を生成するようになっている。なお、この画像処理部14の詳細構成については、後述する(図3)。
【0023】
データ記憶部17は、画像処理部14における上記画像処理の際の撮像データを格納しておくための記憶部である。このデータ記憶部17は、例えば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の種々のメモリにより構成されている。
【0024】
撮像素子駆動部15は、撮像素子13を駆動してその受光動作の制御を行うものである。
【0025】
制御部16は、画像処理部14および撮像素子駆動部15の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
【0026】
[画像処理部の詳細構成例]
次に、図3を参照して、画像処理部14の詳細構成について説明する。図3は、画像処理部14の機能ブロック構成を、データ記憶部17と共に表したものである。この画像処理部14は、欠陥補正部140と、クランプ処理部141と、並べ替え処理部142と、ノイズ低減処理部143と、ホワイトバランス処理部144と、再構築画像合成部145と、ガンマ補正処理部146とから構成されている。
【0027】
欠陥補正部140は、撮像素子13から得られる撮像データD0に含まれる黒とび等の欠陥(撮像素子13の素子自体の異常に起因した欠陥)を補正するものである。
【0028】
クランプ処理部141は、欠陥補正部140による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理(クランプ処理)を行うものである。
【0029】
並べ替え処理部142は、クランプ処理部142から供給される撮像データ(画像データ)D1に対して所定の並べ替え処理を施すことにより、互いに異なる複数の視点からの画像に対応する複数の任意視点画像からなる撮像データD2を生成するものである。このような任意視点画像は、撮像素子13上で受光したユニット像(後述する再構築画素領域13Dにおける像)同士の間で、同一の位置に配置された画素Pで取得された画素データを抽出して合成することにより、生成することができる。このため、生成される任意視点画像の数は、1つのマイクロレンズに割り当てられた画素と同数となる。
【0030】
ここで、本実施の形態では、このようにして生成された各任意視点画像において、複数の画素Pにおける画素データ(複数の画素データ)が互いに隣接する画素位置に記憶されることとなるように、各任意視点画像をデータ記憶部17へ格納するようになっている。これにより、後述する再構築画像合成部145におけるリフォーカス演算処理の際に、データ転送のサイクル数が従来と比べて削減されるようになっている。なお、この並び替え処理部142が、本発明における「任意視点画像生成部」の一具体例に対応する。また、このような任意視点画像の詳細については、後述する(図10〜図12)。
【0031】
ノイズ低減処理部143は、並べ替え処理部142から供給される撮像データD2に含まれるノイズ(例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ)を低減する処理を行うものである。
【0032】
ホワイトバランス処理部144は、ノイズ低減処理部143から供給される撮像データに対してホワイトバランス調整処理を施すことにより、撮像データD3を生成するものである。このようなホワイトバランス調整処理としては、例えば、カラーフィルタの通過特性や撮像素子13の分光感度などのデバイスの個体差や、照明条件などの影響に起因した色バランスの調整処理などが挙げられる。なお、ホワイトバランス処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。
【0033】
再構築画像合成部145は、ホワイトバランス処理部144から供給される撮像データD3に対し、所定の合成処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すものである。そして、このような合成処理により、リフォーカス画像としての再構築画像(撮像データD4)が生成されるようになっている。
【0034】
このようなリフォーカス演算処理の際、本実施の形態では、データ記憶部17に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すようになっている。そして、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、上記リフォーカス画像を生成する。具体的には、合成処理の際に、各任意視点画像から、複数の画素データを連続して任意視点画像の回数分転送しておき、各々の画素データに対して積分処理を施すようになっている。なお、この再構築画像合成部145が、本発明における「リフォーカス画像生成部」の一具体例に対応する。また、このようなリフォーカス演算処理の詳細については、後述する(図6,図10〜図12)。
【0035】
ガンマ補正処理部146は、再構築画像合成部145から供給される撮像データD4に対して所定のガンマ補正(明暗やコントラストの補正)を施すことにより、撮像データDoutを生成するものである。
【0036】
[撮像装置の作用・効果]
次に、本実施の形態の撮像装置1の作用および効果について説明する。
【0037】
(撮像装置の基本的な作用)
最初に、図1〜図6を参照して、撮像装置1の基本的な作用について説明する。
【0038】
この撮像装置1では、図4に示したように、撮像レンズ11による被写体2の像は、開口絞り10によってその光束が絞られ、マイクロレンズアレイ12上に結像する。そしてマイクロレンズアレイ12への入射光線が、このマイクロレンズアレイ12を介して撮像素子13で受光される。このとき、マイクロレンズアレイ12への入射光線は、その進行方向に応じて、撮像素子13上の異なる位置(異なる画素P)で受光される。具体的には、例えば図4に示したように、開口絞り10の開口形状(ここでは、円形状)の相似形となる撮像対象物2の像(ユニット像)13−1が、マイクロレンズごとに結像する。なお、このユニット像13−1、すなわち一つのマイクロレンズに割り当てられた画素Pによって構成される領域(再構築画素領域13D)が、再構築される画像の一画素分に相当する。
【0039】
ここで、図5を参照して、撮像素子13で受光される光線について説明する。まず、撮像レンズ11の撮像レンズ面上において直交座標系(u,v)を、撮像素子13の撮像面上において直交座標系(x,y)をそれぞれ考え、撮像レンズ11の撮像レンズ面と撮像素子13の撮像面との距離をFとする。すると、図中に示したような撮像レンズ11および撮像素子13を通る光線L1は、4次元関数LF(x,y,u,v)で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子13に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Pの配置によって、光線の入射方向が決まることとなり、これにより光線の進行方向を含む撮像データD0が得られる。
【0040】
このようにして撮像素子13において受光がなされると、撮像素子駆動部15による駆動動作に従って撮像素子13から撮像データD0が得られ、この撮像データD0が画像処理部14へ入力される。画像処理部14では、制御部16の制御に従って、撮像データD0に対し、所定の画像処理(並び替え処理)を施す。例えば、任意の視野の画像(任意視点画像)を再構築する際には、マイクロレンズごとに同一の列にある画素データを抽出し、これらを合成する処理を行う。また、任意の焦点(フォーカス)での画像(リフォーカス画像)を再構築する際には、画素データの並び替え処理および積分処理を行う。このとき、画像処理の際の撮像データは、データ記憶部17へ一時的に格納される。このような画像処理により、撮像データDoutとして、任意の視野や任意の焦点での再構築画像が出力される。
【0041】
具体的には、本実施の形態の画像処理部14では、撮像データD0が入力されると、最初に欠陥補正部140において欠陥補正を行ったのち、クランプ処理部142においてクランプ処理を行う。次いで、並べ替え処理部142において並べ替え処理を行ったのち、ノイズ低減処理部143においてノイズ低減処理を行うと共に、ホワイトバランス処理部144においてホワイトバランス処理を行う。これにより、撮像データD3が再構築画像合成部145へ入力される。
【0042】
次に、再構築画像合成部145では、撮像データD3に対し、前述したように、例えば「Light Field Photography」と呼ばれる手法を用いた画素データの並び替え処理および積分処理(リフォーカス演算処理)を施し、再構築画像(撮像データD4)を生成する。
【0043】
具体的には、図6に示したように、リフォーカス係数αによって規定されるリフォーカス面120上の座標(s,t)の撮像面130上における検出強度LF'は、以下の(1)式のように表される。また、リフォーカス面120で得られるイメージEF'(s,t)は、上記検出強度LF'をレンズ口径に関して積分したものとなるため、以下の(2)式のように表される。したがって、この(2)式からリフォーカス演算処理を行うことにより、任意の焦点(リフォーカス係数αによって規定されるリフォーカス面120)に設定された画像(リフォーカス画像)が再構築される。なお、図中の撮像レンズ面110は、撮像レンズ11の撮像レンズ面を表している。
【0044】
【数1】
【0045】
そして、このようにして生成された再構築画像のデータ(撮像データD4)に対し、ガンマ補正処理部149において、ガンマ補正を行う。これにより、撮像データDoutが生成され、画像処理部14から出力される。
【0046】
(撮像装置における特徴的な作用)
次に、図7〜図12を参照して、本実施の形態の撮像装置1における特徴的な作用(主にリフォーカス演算処理)について、比較例と比較しつつ詳細に説明する。ここで、図7〜図9は、比較例に係る従来の撮像装置(図示せず)におけるリフォーカス演算処理を表すものである。また、図10〜図12は、本実施の形態の撮像装置1におけるリフォーカス演算処理の一例を表すものである。これらのうち、図7は、比較例に係るリフォーカス演算処理の一例を流れ図で表したものであり、図10は、本実施の形態に係るリフォーカス演算処理の一例を流れ図で表したものである。また、図9は、比較例に係るリフォーカス演算処理に用いる撮像データの一例を写真図で表したものであり、図12は、本実施の形態に係るリフォーカス演算処理に用いる撮像データ(任意視点画像からなる撮像データ)の一例を写真図で表したものである。
【0047】
なお、以下の説明(図7,図8,図10,図11)では、一例として、M×N=15×15=225個の画素Pからなる撮像素子13(撮像データD0〜D3)を用いるものとする。また、マイクロレンズアレイ12内の各マイクロレンズに対し、m×n=3×3=9個の画素Pが割り当てられているものとする。したがって、マイクロレンズアレイ12内のマイクロレンズの数は、(15/3)×(15/3)=5×5=25個であるものとする。また、後述する任意視点画像では、9個の任意視点画像V1〜V9が存在すると共に、各任意視点画像では、5×5=25個の画素Pから構成されることになる。さらに、各撮像データにおける画素データには、図5において説明したように、(x,y,u,v)の各座標系(座標軸)によって規定される4次元座標が設定されるようになっている。
【0048】
(比較例のリフォーカス演算処理)
最初に、比較例のリフォーカス演算処理では、図8中の「A」,「B」,「C」で示した各画素データを基に、リフォーカス画像における画素データを生成する場合について説明する。具体的には、「A」,「B」,「C」で示した各画素データに対して並び替え処理および積分処理を施すことにより、図中の符号Pa,Pb,Pcでそれぞれ示した画素位置に、リフォーカス画像における画素データを生成するというものである。
【0049】
ここではまず、図8に示したように、「A」で示した9個の画素データがそれぞれ、互いに離散された画素位置に配置されているため、それら9個の画素データを離散アドレスにより、データ記憶部から再構築画像合成部へと転送する。そして、それら9個の画素データを積分して「9」で割る(除算する)ことにより、図中の符号Paで示した画素位置に、リフォーカス画像における画素データを生成する(図7のステップS91)。
【0050】
次いで、図8に示したように、「B」,「C」で示した9個の画素データも同様に、互いに離散された画素位置に配置されているため、それぞれの9個の画素データを離散アドレスにより、データ記憶部から再構築画像合成部へと転送する。そして、それら9個の画素データを積分して「9」で割る(除算する)ことにより、図中の符号Pb,Pcで示した画素位置に、リフォーカス画像における画素データを生成する(ステップS91,S92)。これにより、図7に示したリフォーカス演算処理が完了となる。そして、このような処理を繰り返すことにより、リフォーカス画像全体が生成される。
【0051】
ここで、比較例のリフォーカス演算処理では、リフォーカス画像において最終的に1画素となる「A」〜「C」等の画素データがそれぞれ、撮像データD0,D1における複数の画素Pに分割してデータ記憶部に記憶されている。したがって、リフォーカス画像を生成する際に、そのようなデータ記憶部における離散的な画素位置(アドレス)から画素データを集めてくる必要がある。よって、データ転送のサイクル数が非常に多くなってしまい(この場合、9回×3=27回)、転送効率が非常に悪いため、リフォーカス画像を生成するのに時間がかかってしまうことになる。
【0052】
(本実施の形態のリフォーカス演算処理)
これに対し、本実施の形態のリフォーカス演算処理の際には、まず、並び替え処理部142において、撮像データD1に対して所定の並べ替え処理を施すことにより、複数の任意視点画像からなる撮像データD2を生成する。具体的には、例えば図8に示した再構築画素領域13D同士の間で、同一の位置に配置された画素Pで取得された画素データを抽出して合成することにより、任意視点画像を生成する。これにより、例えば図11および図12に示したような、複数の任意視点画像が生成される。ここで、図8中に示した「A」〜「C」で示した各画素データは、以下のような4次元座標(x,y,u,v)を有している。したがって、撮像データD0,D1(図8)と、任意視点画像からなる撮像データD2,D3(図11)との間で、(x,y)座標系と(u,v)座標系とが変換(交換)されることにより、図11に示したような任意視点画像V1〜V9が生成される。
・「A」の画素データ:(x,y,u,v)=(0,1,0,0)、(1,1,1,0)、(2,1,2,0)、(0,2,0,1)、(1,2,1,1)、(2,2,2,1)、(0,3,0,2)、(1,3,1,2)、(2,3,2,2)
・「B」の画素データ:(x,y,u,v)=(1,1,0,0)、(2,1,1,0)、(3,1,2,0)、(1,2,0,1)、(2,2,1,1)、(3,2,2,1)、(1,3,0,2)、(2,3,1,2)、(3,3,2,2)
・「C」の画素データ:(x,y,u,v)=(2,1,0,0)、(3,1,1,0)、(4,1,2,0)、(2,2,0,1)、(3,2,1,1)、(4,2,2,1)、(2,3,0,2)、(3,3,1,2)、(4,3,2,2)
【0053】
そして、本実施の形態では、このようにして生成された各任意視点画像V1〜V9において、複数の画素Pにおける画素データ(複数の画素データ)が互いに隣接する画素位置(アドレス)に記憶されるように、撮像データD2がデータ記憶部17へ格納される。具体的には、撮像データD2における各任意視点画像V1〜V9では、図11中の符号P1〜P9に示したように、図8中に示した「A」〜「C」で示した各画素データが、同一の配列によって互いに隣接して連続した画素位置(アドレス)に格納されることになる。また、符号P1〜P9に示した「ABC」の配列からなる画素データ列は、ここでは、任意視点画像V1〜V9内のx軸方向に沿って配置されると共に、任意視点画像ごとに、その画素データ列の位置がx軸,y軸方向に順次ずれていくようになっている。
【0054】
したがって、本実施の形態では、次に再構築画像合成部145において、このような任意視点画像V1〜V9からなる撮像データD2,D3を利用して、以下説明するリフォーカス演算処理を行う。具体的には、再構築画像合成部145は最初に、データ記憶部17に格納されている各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データを読み出し単位として、一括して画素データを読み出す。より具体的には、図11中の符号P1〜P9で示した「ABC」の画素データの組み合わせ(画素データ列)を一括転送単位として、各任意視点画像間での離散アドレスにより9個(9単位)転送する(図10のステップS11)。
【0055】
そして、9個ずつの「A」〜「C」の各画素データをそれぞれ積分して「9」で割る(除算する)ことにより、リフォーカス画像における画素データを生成する(ステップS12〜S14)。すなわち、再構築画像合成部145は、各任意視点画像V1〜V9から読み出した複数の画素データにおいて、「A」〜「C」の各画素データ単位で並び替え処理および積分処理を行うことにより、リフォーカス画像を生成する。これにより、図10に示したリフォーカス演算処理が完了となる。そして、このような処理を繰り返すことにより、撮像データD4を構成するリフォーカス画像全体が生成される。
【0056】
このようにして本実施の形態のリフォーカス演算処理では、撮像素子13から得られる撮像データD0に基づいて、複数の任意視点画像V1〜V9からなる撮像データD2が生成され、データ記憶部17へ格納される。そののち、各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データが一括して読み出され、撮像データD4を構成するリフォーカス画像が生成される。これにより、リフォーカス画像を生成する際に必要となるデータ記憶部17から画像処理部14へのデータ転送回数(データ転送のサイクル数)が、従来と比べて少なくなる。具体的には、比較例では9回×3=27回のデータ転送回数を要するのに対し、本実施の形態では、9回×1=9回のデータ転送回数で済む(この場合、1/3のデータ転送回数で済む)ことになる。
【0057】
以上のように本実施の形態では、撮像素子13から得られた撮像データD0に基づいてリフォーカス画像を生成する際に、撮像データD0に基づいて複数の任意視点画像V1〜V9を生成してデータ記憶部17へ格納したのち、各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データを一括して読み出すようにしたので、そのような複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部17からのデータ転送回数が、従来と比べて少なくなる。よって、光線の進行方向の情報をも含むようにして取得した撮像データD0に基づいて、任意の焦点に設定された画像(リフォーカス画像)を従来よりも高速に生成することが可能となる。
【0058】
<2.撮像装置の適用例>
本発明の撮像装置は、例えば、以下説明するようなデジタルカメラ3(適用例1)や3次元表示装置(適用例2)の他、カムコーダや位置センサ、生体センサ、光学顕微鏡、FTV(Free viewpoint TV)などの用途の撮像装置に適用することができる。
【0059】
(適用例1)
図13(A)および図13(B)は、撮像装置1を搭載したデジタルカメラ3の概略構成を表すものであり、(A)は正面図、(B)は側面図である。このデジタルカメラ3は、筐体300の内部に上記実施の形態の撮像装置1を備えており、筐体300の上部には、シャッタ181、フラッシュ182およびファインダ光学系183などが設けられている。
【0060】
(適用例2)
また、本発明の撮像装置は、例えば、ステレオ方式の3次元画像表示装置に適用することができる。ここで、一般的なステレオ方式の3次元画像表示は、例えば次のようにして実現される。例えば、人間の眼に相当する2台のカメラで撮影した左眼用および右眼用の2枚の画像(2枚の視差画像)を、2台の投射型表示装置を用いてスクリーン上に同時に投影し、このスクリーン上の映像を視聴者が偏光眼鏡をかけて観ることにより実現される。このとき、2台プロジェクタでは、左眼用および右眼用の各投射光に互いに直交する偏光が用いられ、偏光眼鏡として、左眼と右眼とにおいて互いに直交する偏光のみをそれぞれ透過するものが用いられる。これにより、左眼用の画像を左眼、右眼用の画像を右眼でそれぞれ観察することにより、観察者には、奥行き感のある立体画像として認識される。
【0061】
上記実施の形態で得られた画像をこのようなステレオ方式の3次元表示に用いる場合には、左右2枚の任意視点画像(視差画像)を生成し、生成した視差画像を上記のようなプロジェクタを用いてスクリーン上に投影し、これを偏光眼鏡で観察することで実現できる。このように、左眼用および右眼用の視差画像を、2台のカメラを用いることなく取得することができる。よって、簡易な構成で十分な表示品質を有する3次元表示システムを実現することができる。ただし、左眼用および右眼用の視差画像を、2台のカメラを用いることにより取得するようにしてもよい。
【0062】
<3.変形例>
以上、実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【0063】
例えば、上記実施の形態等では、図11中の符号P1〜P9に示した「ABC」の配列からなる画素データ列が、任意視点画像V1〜V9内のx軸方向に沿って配置されている場合について説明したが、この場合には限られない。具体的には、例えば図14(A)に示した任意視点画像V11のように、P11に示した「ABC」の配列からなる画素データ列が、任意視点画像V11内のy軸方向に沿って配置されているようにしてもよい。また、例えば図14(B)に示した任意視点画像V12のように、P12に示した「ABCD」の配列からなる画素データ列が、任意視点画像V12内のx軸方向およびy軸方向の双方に沿って配置されているようにしてもよい。
【0064】
さらに、上記実施の形態等では、画像処理部14を撮像装置1の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばPC(Personal Computer;パーソナルコンピュータ)などに設けておき、撮像装置で得られた撮像データをPCへ転送し、PCにおいて画像処理を施すようにしてもよい。
【0065】
加えて、上記実施の形態等では、開口絞り10の位置を、撮像レンズ11の撮像対象物2側(入射側)に配置した構成としているが、これに限定されず、撮像レンズ11の像側(出射側)あるいは、撮像レンズ11内部に設けられた構成であってもよい。
【0066】
加えてまた、撮像素子13の受光面上には、例えば図示しないカラーフィルタを画素Pごとに色分けして、2次元配置するようにしてもよい。このようなカラーフィルタとしては、例えば、赤(R)、緑(G)および青(B)の3原色のカラーフィルタがR:G:B=1:2:1の比率で市松状に配置されたBayer配列のカラーフィルタ(原色フィルタ)を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子13により得られた撮像データD0を、カラーフィルタの色に対応した複数の色(この場合、3原色)の画素データとすることができ、再構築画像をカラー画像とすることが可能となる。また、各マイクロレンズに対応する画素領域ごとに色分けしたカラーフィルタを用いるようにした場合には、マイクロレンズごとに同一の位置に配置された画素を抽出した場合、抽出後も同一のカラー配列とすることができる。よって、例えば色補間などの処理を施し易くなり、偽色の発生も抑えることが可能となる。
【符号の説明】
【0067】
1…撮像装置、10…開口絞り、10A…開口部、11…撮像レンズ、110…撮像レンズ面、12…マイクロレンズアレイ、120…リフォーカス面、13…撮像素子、130…撮像面、13−1…撮像対象物の像(ユニット像)、13D…再構築画素領域、14…画像処理部、140…欠陥補正部、141…クランプ処理部、142…並び替え処理部、143…ノイズ低減処理部、144…ホワイトバランス処理部、145…再構築画像合成部、146…ガンマ補正処理部、15…撮像素子駆動部、16…制御部、17…データ記憶部、181…シャッタ、182…フラッシュ、183…ファインダ光学系、2…撮像対象物(被写体)、3…デジタルカメラ、300…筐体、f1,f2…焦点距離、Sout…制御信号、D0,D1〜D4,Dout…撮像データ(画像データ)、FML,FMLA…Fナンバー(F値)、P…画素、x,y,u,v…座標軸、V1〜V9,V11,V12…任意視点画像、L1…光線。
【技術分野】
【0001】
本発明は、撮像レンズおよび撮像素子を用いた撮像装置に関する。
【背景技術】
【0002】
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。
【0003】
例えば、特許文献1および非特許文献1には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。このような撮像装置では、メインレンズとしての撮像レンズと、マイクロレンズアレイと、複数の画素が2次元配列した撮像素子とを備えている。また、一つのマイクロレンズに対して複数の画素が割り当てられており、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。これにより、画像処理部において、任意の視点や方向(以下、単に視野という)、任意のフォーカス(焦点)からの観察画像を再構築できるようになっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第06/039486号パンフレット
【非特許文献】
【0005】
【非特許文献1】Ren.Ng、他7名,「Light Field Photography with a Hand-Held Plenoptic Camera」,Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、このような手法により得られた撮像データでは、最終的に1画素として表示される情報が、光の進行方向に応じて複数画素に分割して記録されるようになっている。そのため、一般に高精細な画像を得ようとすると、撮像データのデータ量が膨大になってしまうという一面がある。
【0007】
したがって、任意の焦点からの画像(リフォーカス画像)を再構築しようとする場合、そのような処理の際に、撮像データが格納されている記憶装置からの大量のデータ転送が生じることになる。しかも、上記のように、最終的に1画素に対応する情報が複数の画素に分割して記憶されているため、フォーカス位置によって計算される記憶装置上の離散的なアドレスから、画素データを集めてくる必要がある。この場合、各画素データに局所性がないため、キャッシュメモリ等を用いてデータ転送回数を減らすことは困難である。また、例えばDMA(Direct Memory Access)を用いてデータ転送を行うとしても、非連続アドレスのデータ転送の場合、連続アドレスのデータ転送に比べ、圧倒的に多いサイクル数を要することになる。
【0008】
このようにして従来の撮像装置では、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて任意の焦点に設定された画像(リフォーカス画像)を生成する場合、そのような画像を生成するのに時間がかかってしまうという問題があった。したがって、画像の生成速度の高速化が望まれていた。
【0009】
本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像を従来よりも高速に生成することが可能な撮像装置を提供することにある。
【課題を解決するための手段】
【0010】
本発明の撮像装置は、撮像レンズと、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間において撮像レンズの焦点面上に配置されると共に、撮像素子の複数の画素に対して1つのマイクロレンズを有するマイクロレンズアレイ部と、撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と、この画像処理部における画像処理の際の撮像データを格納しておくためのデータ記憶部とを備えたものである。また、上記画像処理部は、撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する際に、撮像データに基づいて、マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の任意視点画像を生成すると共に、それらの各任意視点画像をデータ記憶部へ格納し、このデータ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すと共に、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、上記リフォーカス画像を生成するようになっている。
【0011】
本発明の撮像装置では、上記撮像レンズ、マイクロレンズアレイ部および撮像素子によって、光線の進行方向を含む撮像データが得られると共に、この撮像データに基づいて所定の画像処理が行われることにより、再構築画像が生成される。このとき、画像処理の際の撮像データは、データ記憶部に格納される。ここで、撮像データに基づいて上記リフォーカス画像を生成する際には、撮像データに基づいて上記複数の任意視点画像が生成されると共に、それらの各任意視点画像がデータ記憶部へ格納される。そして、このデータ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データが読み出し単位として一括して読み出されると共に、読み出されたそれらの画素データに基づいて所定の並び替え処理および積分処理が行われることにより、上記リフォーカス画像が生成される。このようにして、撮像データに基づいて複数の任意視点画像が生成されてデータ記憶部へ格納されたのち、これらの各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データが一括して読み出されることにより、リフォーカス画像を生成する際に必要となるデータ記憶部からのデータ転送回数(データ転送のサイクル数)が、従来と比べて少なくなる。
【発明の効果】
【0012】
本発明の撮像装置によれば、撮像素子から得られた撮像データに基づいてリフォーカス画像を生成する際に、撮像データに基づいて複数の任意視点画像を生成してデータ記憶部へ格納したのち、各任意視点画像から互いに隣接する画素位置に記憶されている複数の画素データを一括して読み出すようにしたので、そのような複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部からのデータ転送回数が、従来と比べて少なくなる。よって、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像(リフォーカス画像)を従来よりも高速に生成することが可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施の形態に係る撮像装置の全体構成を表す図である。
【図2】撮像レンズとマイクロレンズアレイのFナンバーの設定について説明するための図である。
【図3】図1に示した画像処理部の詳細構成を表す機能ブロック図である。
【図4】図1に示した撮像素子上の受光領域を表す平面図である。
【図5】撮像素子に入射する光線の情報を説明するための図である。
【図6】図3に示した再構築画像合成部によるリフォーカス演算処理について説明するための図である。
【図7】比較例に係る従来の撮像装置におけるリフォーカス演算処理の一例を表す流れ図である。
【図8】図7に示した比較例に係るリフォーカス演算処理の際の画素データの配置例を表す模式図である。
【図9】図7に示した比較例に係るリフォーカス演算処理に用いる撮像データの一例を表す写真図である。
【図10】実施の形態に係るリフォーカス演算処理の一例を表す流れ図である。
【図11】図10に示した実施の形態に係るリフォーカス演算処理の際の画素データの配置例を表す模式図である。
【図12】図10に示した実施の形態に係るリフォーカス演算処理に用いる撮像データ(任意視点画像からなる撮像データ)の一例を表す写真図である。
【図13】本発明の撮像装置の適用例1に係るデジタルカメラの外観構成を表す図である。
【図14】本発明の変形例に係るリフォーカス演算処理の際の任意視点画像における画素データの一括転送単位について説明するための模式図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態(任意視点画像を用いた高速なリフォーカス演算処理の例)
2.撮像装置の適用例(適用例1:デジタルカメラ、適用例2:3次元表示装置)
3.変形例
【0015】
<1.実施の形態>
[撮像装置の全体構成例]
図1は、本発明の一実施の形態に係る撮像装置(撮像装置1)の全体構成を表したものである。この撮像装置1は、撮像対象物(被写体)2を撮像して撮像データDoutを出力するものであり、被写体2の側から、開口絞り10と、撮像レンズ11と、マイクロレンズアレイ12と、撮像素子13とを備えている。また、撮像装置1はこの他に、画像処理部14と、撮像素子駆動部15と、制御部16と、データ記憶部17とを備えている。
【0016】
開口絞り10は、撮像レンズ11の光学的な開口絞りである。この開口絞り10の開口部10Aの形状は、図1中に示したように例えば円形状であり、この形状の相似形となる撮像対象物2の像(後述のユニット像)が、撮像素子13上にマイクロレンズごとに形成されるようになっている。
【0017】
撮像レンズ11は、被写体2を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
【0018】
マイクロレンズアレイ12は、複数のマイクロレンズが2次元配列したものであり、撮像レンズ11の焦点面(結像面;図中の符号f1は、撮像レンズ11の焦点距離を表している)に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。
【0019】
ここで、撮像レンズ11のFナンバーFMLと、マイクロレンズアレイ12のFナンバーFMLAとは、概ね等しくなっていることが好ましい。これは、図2(A)に示したように、撮像レンズ11のFナンバーFMLがマイクロレンズアレイ12のFナンバーFMLAよりも小さい場合(FML<FMLAの場合)、隣接するマイクロレンズによる撮像光線間で重なりが生じるためである。そのような重なりが生じた場合、クロストークが発生し、再構築画像の画質が劣化してしまうことになる。また一方で、図2(B)に示したように、撮像レンズ11のFナンバーFMLがマイクロレンズアレイ12のFナンバーFMLAよりも大きい場合(FML>FMLAの場合)、マイクロレンズによる撮像光線が受光されない撮像画素が生じるためである。そのような撮像画素が生じた場合、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうことになる。なお、本発明においては、これらのFナンバーが完全に同一である場合には限定されず、誤差等を含んでいてもよいものとする。
【0020】
撮像素子13は、マイクロレンズアレイ12からの光を受光して撮像データD0を取得するものであり、マイクロレンズアレイ12の焦点面(図中の符号f2は、マイクロレンズアレイ12の焦点距離を表している)に配置されている。この撮像素子13は、複数の画素(後述する画素P)をマトリクス状に2次元配列したものであり、各画素は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などにより構成されている。
【0021】
このような撮像素子13の受光面(マイクロレンズアレイ12側の面)には、M×N(M,N:整数)個の画素がマトリクス状に配置され、複数の画素に対してマイクロレンズアレイ12内の1つのマイクロレンズが割り当てられるようになっている。この受光面上の画素の個数は、例えば、M×N=3720×2520=9374400個である。ここで、各マイクロレンズに割り当てられる画素数(m×n)は、後述する再構築画像の任意の視野での分解能となる。このため、これらm,nの値が大きくなるにしたがって、再構築画像の任意の視野、任意のフォーカスでの分解能が高くなる。一方、(M/m),(N/n)は、再構築画像の画素数(解像度)となる。このため、これら(M/m),(N/n)の値が大きくなるに従って、再構築画像の画素数が増加する。したがって、再構築画像の任意の視野での分解能と画素数とは、トレードオフの関係となっている。
【0022】
画像処理部14は、後述する制御部16から供給される制御信号Soutに従って、撮像素子13で得られた撮像データD0に対して所定の画像処理を施すことにより、撮像データDoutを生成・出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理(所定の並び替え処理等)を行うことにより、任意の視野や任意の焦点面に設定した観察画像(再構築画像)を生成するようになっている。なお、この画像処理部14の詳細構成については、後述する(図3)。
【0023】
データ記憶部17は、画像処理部14における上記画像処理の際の撮像データを格納しておくための記憶部である。このデータ記憶部17は、例えば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の種々のメモリにより構成されている。
【0024】
撮像素子駆動部15は、撮像素子13を駆動してその受光動作の制御を行うものである。
【0025】
制御部16は、画像処理部14および撮像素子駆動部15の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
【0026】
[画像処理部の詳細構成例]
次に、図3を参照して、画像処理部14の詳細構成について説明する。図3は、画像処理部14の機能ブロック構成を、データ記憶部17と共に表したものである。この画像処理部14は、欠陥補正部140と、クランプ処理部141と、並べ替え処理部142と、ノイズ低減処理部143と、ホワイトバランス処理部144と、再構築画像合成部145と、ガンマ補正処理部146とから構成されている。
【0027】
欠陥補正部140は、撮像素子13から得られる撮像データD0に含まれる黒とび等の欠陥(撮像素子13の素子自体の異常に起因した欠陥)を補正するものである。
【0028】
クランプ処理部141は、欠陥補正部140による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理(クランプ処理)を行うものである。
【0029】
並べ替え処理部142は、クランプ処理部142から供給される撮像データ(画像データ)D1に対して所定の並べ替え処理を施すことにより、互いに異なる複数の視点からの画像に対応する複数の任意視点画像からなる撮像データD2を生成するものである。このような任意視点画像は、撮像素子13上で受光したユニット像(後述する再構築画素領域13Dにおける像)同士の間で、同一の位置に配置された画素Pで取得された画素データを抽出して合成することにより、生成することができる。このため、生成される任意視点画像の数は、1つのマイクロレンズに割り当てられた画素と同数となる。
【0030】
ここで、本実施の形態では、このようにして生成された各任意視点画像において、複数の画素Pにおける画素データ(複数の画素データ)が互いに隣接する画素位置に記憶されることとなるように、各任意視点画像をデータ記憶部17へ格納するようになっている。これにより、後述する再構築画像合成部145におけるリフォーカス演算処理の際に、データ転送のサイクル数が従来と比べて削減されるようになっている。なお、この並び替え処理部142が、本発明における「任意視点画像生成部」の一具体例に対応する。また、このような任意視点画像の詳細については、後述する(図10〜図12)。
【0031】
ノイズ低減処理部143は、並べ替え処理部142から供給される撮像データD2に含まれるノイズ(例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ)を低減する処理を行うものである。
【0032】
ホワイトバランス処理部144は、ノイズ低減処理部143から供給される撮像データに対してホワイトバランス調整処理を施すことにより、撮像データD3を生成するものである。このようなホワイトバランス調整処理としては、例えば、カラーフィルタの通過特性や撮像素子13の分光感度などのデバイスの個体差や、照明条件などの影響に起因した色バランスの調整処理などが挙げられる。なお、ホワイトバランス処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。
【0033】
再構築画像合成部145は、ホワイトバランス処理部144から供給される撮像データD3に対し、所定の合成処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すものである。そして、このような合成処理により、リフォーカス画像としての再構築画像(撮像データD4)が生成されるようになっている。
【0034】
このようなリフォーカス演算処理の際、本実施の形態では、データ記憶部17に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すようになっている。そして、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、上記リフォーカス画像を生成する。具体的には、合成処理の際に、各任意視点画像から、複数の画素データを連続して任意視点画像の回数分転送しておき、各々の画素データに対して積分処理を施すようになっている。なお、この再構築画像合成部145が、本発明における「リフォーカス画像生成部」の一具体例に対応する。また、このようなリフォーカス演算処理の詳細については、後述する(図6,図10〜図12)。
【0035】
ガンマ補正処理部146は、再構築画像合成部145から供給される撮像データD4に対して所定のガンマ補正(明暗やコントラストの補正)を施すことにより、撮像データDoutを生成するものである。
【0036】
[撮像装置の作用・効果]
次に、本実施の形態の撮像装置1の作用および効果について説明する。
【0037】
(撮像装置の基本的な作用)
最初に、図1〜図6を参照して、撮像装置1の基本的な作用について説明する。
【0038】
この撮像装置1では、図4に示したように、撮像レンズ11による被写体2の像は、開口絞り10によってその光束が絞られ、マイクロレンズアレイ12上に結像する。そしてマイクロレンズアレイ12への入射光線が、このマイクロレンズアレイ12を介して撮像素子13で受光される。このとき、マイクロレンズアレイ12への入射光線は、その進行方向に応じて、撮像素子13上の異なる位置(異なる画素P)で受光される。具体的には、例えば図4に示したように、開口絞り10の開口形状(ここでは、円形状)の相似形となる撮像対象物2の像(ユニット像)13−1が、マイクロレンズごとに結像する。なお、このユニット像13−1、すなわち一つのマイクロレンズに割り当てられた画素Pによって構成される領域(再構築画素領域13D)が、再構築される画像の一画素分に相当する。
【0039】
ここで、図5を参照して、撮像素子13で受光される光線について説明する。まず、撮像レンズ11の撮像レンズ面上において直交座標系(u,v)を、撮像素子13の撮像面上において直交座標系(x,y)をそれぞれ考え、撮像レンズ11の撮像レンズ面と撮像素子13の撮像面との距離をFとする。すると、図中に示したような撮像レンズ11および撮像素子13を通る光線L1は、4次元関数LF(x,y,u,v)で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子13に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Pの配置によって、光線の入射方向が決まることとなり、これにより光線の進行方向を含む撮像データD0が得られる。
【0040】
このようにして撮像素子13において受光がなされると、撮像素子駆動部15による駆動動作に従って撮像素子13から撮像データD0が得られ、この撮像データD0が画像処理部14へ入力される。画像処理部14では、制御部16の制御に従って、撮像データD0に対し、所定の画像処理(並び替え処理)を施す。例えば、任意の視野の画像(任意視点画像)を再構築する際には、マイクロレンズごとに同一の列にある画素データを抽出し、これらを合成する処理を行う。また、任意の焦点(フォーカス)での画像(リフォーカス画像)を再構築する際には、画素データの並び替え処理および積分処理を行う。このとき、画像処理の際の撮像データは、データ記憶部17へ一時的に格納される。このような画像処理により、撮像データDoutとして、任意の視野や任意の焦点での再構築画像が出力される。
【0041】
具体的には、本実施の形態の画像処理部14では、撮像データD0が入力されると、最初に欠陥補正部140において欠陥補正を行ったのち、クランプ処理部142においてクランプ処理を行う。次いで、並べ替え処理部142において並べ替え処理を行ったのち、ノイズ低減処理部143においてノイズ低減処理を行うと共に、ホワイトバランス処理部144においてホワイトバランス処理を行う。これにより、撮像データD3が再構築画像合成部145へ入力される。
【0042】
次に、再構築画像合成部145では、撮像データD3に対し、前述したように、例えば「Light Field Photography」と呼ばれる手法を用いた画素データの並び替え処理および積分処理(リフォーカス演算処理)を施し、再構築画像(撮像データD4)を生成する。
【0043】
具体的には、図6に示したように、リフォーカス係数αによって規定されるリフォーカス面120上の座標(s,t)の撮像面130上における検出強度LF'は、以下の(1)式のように表される。また、リフォーカス面120で得られるイメージEF'(s,t)は、上記検出強度LF'をレンズ口径に関して積分したものとなるため、以下の(2)式のように表される。したがって、この(2)式からリフォーカス演算処理を行うことにより、任意の焦点(リフォーカス係数αによって規定されるリフォーカス面120)に設定された画像(リフォーカス画像)が再構築される。なお、図中の撮像レンズ面110は、撮像レンズ11の撮像レンズ面を表している。
【0044】
【数1】
【0045】
そして、このようにして生成された再構築画像のデータ(撮像データD4)に対し、ガンマ補正処理部149において、ガンマ補正を行う。これにより、撮像データDoutが生成され、画像処理部14から出力される。
【0046】
(撮像装置における特徴的な作用)
次に、図7〜図12を参照して、本実施の形態の撮像装置1における特徴的な作用(主にリフォーカス演算処理)について、比較例と比較しつつ詳細に説明する。ここで、図7〜図9は、比較例に係る従来の撮像装置(図示せず)におけるリフォーカス演算処理を表すものである。また、図10〜図12は、本実施の形態の撮像装置1におけるリフォーカス演算処理の一例を表すものである。これらのうち、図7は、比較例に係るリフォーカス演算処理の一例を流れ図で表したものであり、図10は、本実施の形態に係るリフォーカス演算処理の一例を流れ図で表したものである。また、図9は、比較例に係るリフォーカス演算処理に用いる撮像データの一例を写真図で表したものであり、図12は、本実施の形態に係るリフォーカス演算処理に用いる撮像データ(任意視点画像からなる撮像データ)の一例を写真図で表したものである。
【0047】
なお、以下の説明(図7,図8,図10,図11)では、一例として、M×N=15×15=225個の画素Pからなる撮像素子13(撮像データD0〜D3)を用いるものとする。また、マイクロレンズアレイ12内の各マイクロレンズに対し、m×n=3×3=9個の画素Pが割り当てられているものとする。したがって、マイクロレンズアレイ12内のマイクロレンズの数は、(15/3)×(15/3)=5×5=25個であるものとする。また、後述する任意視点画像では、9個の任意視点画像V1〜V9が存在すると共に、各任意視点画像では、5×5=25個の画素Pから構成されることになる。さらに、各撮像データにおける画素データには、図5において説明したように、(x,y,u,v)の各座標系(座標軸)によって規定される4次元座標が設定されるようになっている。
【0048】
(比較例のリフォーカス演算処理)
最初に、比較例のリフォーカス演算処理では、図8中の「A」,「B」,「C」で示した各画素データを基に、リフォーカス画像における画素データを生成する場合について説明する。具体的には、「A」,「B」,「C」で示した各画素データに対して並び替え処理および積分処理を施すことにより、図中の符号Pa,Pb,Pcでそれぞれ示した画素位置に、リフォーカス画像における画素データを生成するというものである。
【0049】
ここではまず、図8に示したように、「A」で示した9個の画素データがそれぞれ、互いに離散された画素位置に配置されているため、それら9個の画素データを離散アドレスにより、データ記憶部から再構築画像合成部へと転送する。そして、それら9個の画素データを積分して「9」で割る(除算する)ことにより、図中の符号Paで示した画素位置に、リフォーカス画像における画素データを生成する(図7のステップS91)。
【0050】
次いで、図8に示したように、「B」,「C」で示した9個の画素データも同様に、互いに離散された画素位置に配置されているため、それぞれの9個の画素データを離散アドレスにより、データ記憶部から再構築画像合成部へと転送する。そして、それら9個の画素データを積分して「9」で割る(除算する)ことにより、図中の符号Pb,Pcで示した画素位置に、リフォーカス画像における画素データを生成する(ステップS91,S92)。これにより、図7に示したリフォーカス演算処理が完了となる。そして、このような処理を繰り返すことにより、リフォーカス画像全体が生成される。
【0051】
ここで、比較例のリフォーカス演算処理では、リフォーカス画像において最終的に1画素となる「A」〜「C」等の画素データがそれぞれ、撮像データD0,D1における複数の画素Pに分割してデータ記憶部に記憶されている。したがって、リフォーカス画像を生成する際に、そのようなデータ記憶部における離散的な画素位置(アドレス)から画素データを集めてくる必要がある。よって、データ転送のサイクル数が非常に多くなってしまい(この場合、9回×3=27回)、転送効率が非常に悪いため、リフォーカス画像を生成するのに時間がかかってしまうことになる。
【0052】
(本実施の形態のリフォーカス演算処理)
これに対し、本実施の形態のリフォーカス演算処理の際には、まず、並び替え処理部142において、撮像データD1に対して所定の並べ替え処理を施すことにより、複数の任意視点画像からなる撮像データD2を生成する。具体的には、例えば図8に示した再構築画素領域13D同士の間で、同一の位置に配置された画素Pで取得された画素データを抽出して合成することにより、任意視点画像を生成する。これにより、例えば図11および図12に示したような、複数の任意視点画像が生成される。ここで、図8中に示した「A」〜「C」で示した各画素データは、以下のような4次元座標(x,y,u,v)を有している。したがって、撮像データD0,D1(図8)と、任意視点画像からなる撮像データD2,D3(図11)との間で、(x,y)座標系と(u,v)座標系とが変換(交換)されることにより、図11に示したような任意視点画像V1〜V9が生成される。
・「A」の画素データ:(x,y,u,v)=(0,1,0,0)、(1,1,1,0)、(2,1,2,0)、(0,2,0,1)、(1,2,1,1)、(2,2,2,1)、(0,3,0,2)、(1,3,1,2)、(2,3,2,2)
・「B」の画素データ:(x,y,u,v)=(1,1,0,0)、(2,1,1,0)、(3,1,2,0)、(1,2,0,1)、(2,2,1,1)、(3,2,2,1)、(1,3,0,2)、(2,3,1,2)、(3,3,2,2)
・「C」の画素データ:(x,y,u,v)=(2,1,0,0)、(3,1,1,0)、(4,1,2,0)、(2,2,0,1)、(3,2,1,1)、(4,2,2,1)、(2,3,0,2)、(3,3,1,2)、(4,3,2,2)
【0053】
そして、本実施の形態では、このようにして生成された各任意視点画像V1〜V9において、複数の画素Pにおける画素データ(複数の画素データ)が互いに隣接する画素位置(アドレス)に記憶されるように、撮像データD2がデータ記憶部17へ格納される。具体的には、撮像データD2における各任意視点画像V1〜V9では、図11中の符号P1〜P9に示したように、図8中に示した「A」〜「C」で示した各画素データが、同一の配列によって互いに隣接して連続した画素位置(アドレス)に格納されることになる。また、符号P1〜P9に示した「ABC」の配列からなる画素データ列は、ここでは、任意視点画像V1〜V9内のx軸方向に沿って配置されると共に、任意視点画像ごとに、その画素データ列の位置がx軸,y軸方向に順次ずれていくようになっている。
【0054】
したがって、本実施の形態では、次に再構築画像合成部145において、このような任意視点画像V1〜V9からなる撮像データD2,D3を利用して、以下説明するリフォーカス演算処理を行う。具体的には、再構築画像合成部145は最初に、データ記憶部17に格納されている各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データを読み出し単位として、一括して画素データを読み出す。より具体的には、図11中の符号P1〜P9で示した「ABC」の画素データの組み合わせ(画素データ列)を一括転送単位として、各任意視点画像間での離散アドレスにより9個(9単位)転送する(図10のステップS11)。
【0055】
そして、9個ずつの「A」〜「C」の各画素データをそれぞれ積分して「9」で割る(除算する)ことにより、リフォーカス画像における画素データを生成する(ステップS12〜S14)。すなわち、再構築画像合成部145は、各任意視点画像V1〜V9から読み出した複数の画素データにおいて、「A」〜「C」の各画素データ単位で並び替え処理および積分処理を行うことにより、リフォーカス画像を生成する。これにより、図10に示したリフォーカス演算処理が完了となる。そして、このような処理を繰り返すことにより、撮像データD4を構成するリフォーカス画像全体が生成される。
【0056】
このようにして本実施の形態のリフォーカス演算処理では、撮像素子13から得られる撮像データD0に基づいて、複数の任意視点画像V1〜V9からなる撮像データD2が生成され、データ記憶部17へ格納される。そののち、各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データが一括して読み出され、撮像データD4を構成するリフォーカス画像が生成される。これにより、リフォーカス画像を生成する際に必要となるデータ記憶部17から画像処理部14へのデータ転送回数(データ転送のサイクル数)が、従来と比べて少なくなる。具体的には、比較例では9回×3=27回のデータ転送回数を要するのに対し、本実施の形態では、9回×1=9回のデータ転送回数で済む(この場合、1/3のデータ転送回数で済む)ことになる。
【0057】
以上のように本実施の形態では、撮像素子13から得られた撮像データD0に基づいてリフォーカス画像を生成する際に、撮像データD0に基づいて複数の任意視点画像V1〜V9を生成してデータ記憶部17へ格納したのち、各任意視点画像V1〜V9から、互いに隣接する画素位置(アドレス)に記憶されている複数の画素データを一括して読み出すようにしたので、そのような複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部17からのデータ転送回数が、従来と比べて少なくなる。よって、光線の進行方向の情報をも含むようにして取得した撮像データD0に基づいて、任意の焦点に設定された画像(リフォーカス画像)を従来よりも高速に生成することが可能となる。
【0058】
<2.撮像装置の適用例>
本発明の撮像装置は、例えば、以下説明するようなデジタルカメラ3(適用例1)や3次元表示装置(適用例2)の他、カムコーダや位置センサ、生体センサ、光学顕微鏡、FTV(Free viewpoint TV)などの用途の撮像装置に適用することができる。
【0059】
(適用例1)
図13(A)および図13(B)は、撮像装置1を搭載したデジタルカメラ3の概略構成を表すものであり、(A)は正面図、(B)は側面図である。このデジタルカメラ3は、筐体300の内部に上記実施の形態の撮像装置1を備えており、筐体300の上部には、シャッタ181、フラッシュ182およびファインダ光学系183などが設けられている。
【0060】
(適用例2)
また、本発明の撮像装置は、例えば、ステレオ方式の3次元画像表示装置に適用することができる。ここで、一般的なステレオ方式の3次元画像表示は、例えば次のようにして実現される。例えば、人間の眼に相当する2台のカメラで撮影した左眼用および右眼用の2枚の画像(2枚の視差画像)を、2台の投射型表示装置を用いてスクリーン上に同時に投影し、このスクリーン上の映像を視聴者が偏光眼鏡をかけて観ることにより実現される。このとき、2台プロジェクタでは、左眼用および右眼用の各投射光に互いに直交する偏光が用いられ、偏光眼鏡として、左眼と右眼とにおいて互いに直交する偏光のみをそれぞれ透過するものが用いられる。これにより、左眼用の画像を左眼、右眼用の画像を右眼でそれぞれ観察することにより、観察者には、奥行き感のある立体画像として認識される。
【0061】
上記実施の形態で得られた画像をこのようなステレオ方式の3次元表示に用いる場合には、左右2枚の任意視点画像(視差画像)を生成し、生成した視差画像を上記のようなプロジェクタを用いてスクリーン上に投影し、これを偏光眼鏡で観察することで実現できる。このように、左眼用および右眼用の視差画像を、2台のカメラを用いることなく取得することができる。よって、簡易な構成で十分な表示品質を有する3次元表示システムを実現することができる。ただし、左眼用および右眼用の視差画像を、2台のカメラを用いることにより取得するようにしてもよい。
【0062】
<3.変形例>
以上、実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【0063】
例えば、上記実施の形態等では、図11中の符号P1〜P9に示した「ABC」の配列からなる画素データ列が、任意視点画像V1〜V9内のx軸方向に沿って配置されている場合について説明したが、この場合には限られない。具体的には、例えば図14(A)に示した任意視点画像V11のように、P11に示した「ABC」の配列からなる画素データ列が、任意視点画像V11内のy軸方向に沿って配置されているようにしてもよい。また、例えば図14(B)に示した任意視点画像V12のように、P12に示した「ABCD」の配列からなる画素データ列が、任意視点画像V12内のx軸方向およびy軸方向の双方に沿って配置されているようにしてもよい。
【0064】
さらに、上記実施の形態等では、画像処理部14を撮像装置1の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばPC(Personal Computer;パーソナルコンピュータ)などに設けておき、撮像装置で得られた撮像データをPCへ転送し、PCにおいて画像処理を施すようにしてもよい。
【0065】
加えて、上記実施の形態等では、開口絞り10の位置を、撮像レンズ11の撮像対象物2側(入射側)に配置した構成としているが、これに限定されず、撮像レンズ11の像側(出射側)あるいは、撮像レンズ11内部に設けられた構成であってもよい。
【0066】
加えてまた、撮像素子13の受光面上には、例えば図示しないカラーフィルタを画素Pごとに色分けして、2次元配置するようにしてもよい。このようなカラーフィルタとしては、例えば、赤(R)、緑(G)および青(B)の3原色のカラーフィルタがR:G:B=1:2:1の比率で市松状に配置されたBayer配列のカラーフィルタ(原色フィルタ)を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子13により得られた撮像データD0を、カラーフィルタの色に対応した複数の色(この場合、3原色)の画素データとすることができ、再構築画像をカラー画像とすることが可能となる。また、各マイクロレンズに対応する画素領域ごとに色分けしたカラーフィルタを用いるようにした場合には、マイクロレンズごとに同一の位置に配置された画素を抽出した場合、抽出後も同一のカラー配列とすることができる。よって、例えば色補間などの処理を施し易くなり、偽色の発生も抑えることが可能となる。
【符号の説明】
【0067】
1…撮像装置、10…開口絞り、10A…開口部、11…撮像レンズ、110…撮像レンズ面、12…マイクロレンズアレイ、120…リフォーカス面、13…撮像素子、130…撮像面、13−1…撮像対象物の像(ユニット像)、13D…再構築画素領域、14…画像処理部、140…欠陥補正部、141…クランプ処理部、142…並び替え処理部、143…ノイズ低減処理部、144…ホワイトバランス処理部、145…再構築画像合成部、146…ガンマ補正処理部、15…撮像素子駆動部、16…制御部、17…データ記憶部、181…シャッタ、182…フラッシュ、183…ファインダ光学系、2…撮像対象物(被写体)、3…デジタルカメラ、300…筐体、f1,f2…焦点距離、Sout…制御信号、D0,D1〜D4,Dout…撮像データ(画像データ)、FML,FMLA…Fナンバー(F値)、P…画素、x,y,u,v…座標軸、V1〜V9,V11,V12…任意視点画像、L1…光線。
【特許請求の範囲】
【請求項1】
撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間において前記撮像レンズの焦点面上に配置されると共に、前記撮像素子の複数の画素に対して1つのマイクロレンズを有するマイクロレンズアレイ部と、
前記撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と、
前記画像処理部における画像処理の際の撮像データを格納しておくためのデータ記憶部と
を備え、
前記画像処理部は、前記撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する際に、
前記撮像データに基づいて、前記マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の任意視点画像を生成すると共に、それらの各任意視点画像を前記データ記憶部へ格納し、
前記データ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すと共に、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、前記リフォーカス画像を生成する
撮像装置。
【請求項2】
前記画像処理部は、
前記撮像データに基づいて前記複数の任意視点画像を生成する任意視点画像生成部と、
前記データ記憶部に格納されている各任意視点画像から読み出した前記複数の画素データに基づいて、前記リフォーカス画像を生成するリフォーカス画像生成部とを含む
請求項1に記載の撮像装置。
【請求項3】
前記リフォーカス画像生成部は、各任意視点画像から読み出した前記複数の画素データにおいて、各画素データ単位で前記並び替え処理および積分処理を行うことにより、前記リフォーカス画像を生成する
請求項2に記載の撮像装置。
【請求項4】
前記画像処理部は、前記データ記憶部に格納されている各任意視点画像から、少なくとも1つの画素方向に沿って隣接する前記複数の画素データを一括して読み出す
請求項1ないし請求項3のいずれか1項に記載の撮像装置。
【請求項5】
前記画像処理部は、前記データ記憶部に格納されている各任意視点画像から、互いに異なる2つの画素方向に沿って隣接する前記複数の画素データを一括して読み出す
請求項4に記載の撮像装置。
【請求項1】
撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間において前記撮像レンズの焦点面上に配置されると共に、前記撮像素子の複数の画素に対して1つのマイクロレンズを有するマイクロレンズアレイ部と、
前記撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と、
前記画像処理部における画像処理の際の撮像データを格納しておくためのデータ記憶部と
を備え、
前記画像処理部は、前記撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する際に、
前記撮像データに基づいて、前記マイクロレンズ単位で形成される画像領域同士で互いに同一の位置にある画素の画素データをそれぞれ抽出して合成することにより、複数の任意視点画像を生成すると共に、それらの各任意視点画像を前記データ記憶部へ格納し、
前記データ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すと共に、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、前記リフォーカス画像を生成する
撮像装置。
【請求項2】
前記画像処理部は、
前記撮像データに基づいて前記複数の任意視点画像を生成する任意視点画像生成部と、
前記データ記憶部に格納されている各任意視点画像から読み出した前記複数の画素データに基づいて、前記リフォーカス画像を生成するリフォーカス画像生成部とを含む
請求項1に記載の撮像装置。
【請求項3】
前記リフォーカス画像生成部は、各任意視点画像から読み出した前記複数の画素データにおいて、各画素データ単位で前記並び替え処理および積分処理を行うことにより、前記リフォーカス画像を生成する
請求項2に記載の撮像装置。
【請求項4】
前記画像処理部は、前記データ記憶部に格納されている各任意視点画像から、少なくとも1つの画素方向に沿って隣接する前記複数の画素データを一括して読み出す
請求項1ないし請求項3のいずれか1項に記載の撮像装置。
【請求項5】
前記画像処理部は、前記データ記憶部に格納されている各任意視点画像から、互いに異なる2つの画素方向に沿って隣接する前記複数の画素データを一括して読み出す
請求項4に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2010−183316(P2010−183316A)
【公開日】平成22年8月19日(2010.8.19)
【国際特許分類】
【出願番号】特願2009−24469(P2009−24469)
【出願日】平成21年2月5日(2009.2.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成22年8月19日(2010.8.19)
【国際特許分類】
【出願日】平成21年2月5日(2009.2.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]