撮像装置およびその制御方法
【課題】 ライブビュー表示画像を、ピント位置の判別しやすい画像に変換する為の技術を提供すること。
【解決手段】 撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサ、から出力された画像信号から生成された撮像画像を取得する。撮像センサ上の各画素位置について、該画素位置に入光する光線の撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する。撮像レンズ上の座標の並び順に従って該座標に対応する撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する。
【解決手段】 撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサ、から出力された画像信号から生成された撮像画像を取得する。撮像センサ上の各画素位置について、該画素位置に入光する光線の撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する。撮像レンズ上の座標の並び順に従って該座標に対応する撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像技術に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラでは、撮影レンズによって被写体像を撮像素子に形成し、撮像素子で得られた画像情報をＬＣＤ（Liquid Crystal Display）に表示していた。そしてデジタルカメラは、ＬＣＤに形成される画像情報を観察するようにした電子ビューファインダー（ＥＶＦ）を備えている（特許文献１）。
【０００３】
また、撮像素子の全面に配置されたシャッタを開放状態にして、被写体像を撮像素子に投影させることにより、その映像を画像表示用ＬＣＤに表示するようにしたライブビュー表示のデジタルカメラが知られている（特許文献２）。
【０００４】
また、特許文献３および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３４２９４号公報
【特許文献２】特開２００１−１８６４０１号公報
【特許文献３】国際公開第０６／０３９４８６号パンフレット
【非特許文献】
【０００６】
【非特許文献１】Ren.Ng、他７名，”Light Field Photography with a Hand-Held Plenoptic Camera”，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、撮像素子の前にマイクロレンズアレイを設置した撮像装置において、円形状の開口部を有する開口絞りを用いて図２０（ａ）のような被写体を写した場合、ライブビュー表示画像は図２０（ｂ）の如く、画像内に非受光領域が存在する画像となる。このため、ユーザがピント位置を判別することが難しいという課題があった。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、ライブビュー表示画像を、ピント位置の判別しやすい画像に変換する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の撮像装置は、撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサから出力された画像信号から生成された撮像画像を取得する手段と、前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成手段と、前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成手段と、前記生成手段が生成した画像を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、ライブビュー表示画像を、ピント位置の判別しやすい画像に変換することができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の構成例を示すブロック図。
【図２】信号処理部１０６の機能構成例を示すブロック図。
【図３】開口絞り１０２を示す図。
【図４】位置関係を説明する図。
【図５】撮像センサ１０４の受光面上におけるマイクロレンズ毎の受光領域の一例を示す図。
【図６】信号処理部１０６が行う処理のフローチャート。
【図７】ｍ＝３、ｎ＝３の場合の撮像レンズ１０１の領域分割とそのインデックスの例の図。
【図８】撮像レンズ上の座標（ｕ、ｖ）を説明する図。
【図９】ライトフィールドの構成例を示す図。
【図１０】ライトフィールドの作成方法を説明する図。
【図１１】視差画像の配置例を示す図。
【図１２】視差画像の作成例を示す図。
【図１３】撮像センサ１０４の受光面上におけるマイクロレンズ毎の受光領域の一例を示す図。
【図１４】表示部１１６の表示画面上における表示例を示す図。
【図１５】ｍ＝５、ｎ＝５のとき、全ての視差画像を抽出開始座標に応じて配置した例の図。
【図１６】平均画素値が閾値以上の視差画像のみ配置して表示した例を示す図。
【図１７】視差画像の配置例を示す図。
【図１８】ＧＵＩの表示例を示す図。
【図１９】視差画像の配置例を示す図。
【図２０】第１の実施形態の効果を説明する図。
【図２１】開口絞り１０２を絞った場合における撮像センサ１０４上の受光領域の概略図。
【図２２】視差数５×５の視差画像を示す図。
【図２３】視差数３×３の視差画像を示す図。
【図２４】視差数７×７の視差画像を示す図。
【図２５】信号処理部１０６の機能構成例を示すブロック図。
【図２６】リフォーカス評価用情報生成の処理のフローチャート。
【図２７】メイン被写体選択情報を取得するための処理を説明する図。
【図２８】中心座標を説明する図。
【図２９】表示部１１６における表示例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
本実施形態では、レンズアレイを保持する撮像装置において、ライブビューを表示する表示部にピント位置を合わせやすい画像に変換して表示する例について述べる。
【００１４】
＜撮像装置の構成例について＞
先ず、本実施形態に係る撮像装置の構成例について、図１のブロック図を用いて説明する。なお、図１は、以下に説明する各処理を行うための主要な構成の一例を示すものであり、本実施形態に適用可能な撮像装置の構成は、図１に示した構成に限定するものではない。即ち、図１に示した構成に更なる構成を追加しても良いし、図１に示した各部のうち幾つかを統合しても良いし、１つの構成用件を２以上の構成用件に分解してもよい。また、ある構成用件が行うものとして後述する処理を、他の構成用件に分担させても良い。
【００１５】
撮像レンズ１０１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的なズームレンズ、フォーカスレンズ、ぶれ補正レンズ等により構成される。
【００１６】
開口絞り１０２は、撮像レンズ１０１に対する光学的な開口絞りである。この開口絞り１０２は、例えば図３に示す如く、その中央部に１つの円形の開口部を有している。黒枠の部分は、ある程度絞ったことにより発生する非開口部である。以下では、この開口部の直径（撮像レンズ１０１の有効径）をＤと表記する。また、開口絞り１０２は、マイクロレンズアレイ１０３と距離がＬだけ離間するように配置されている。
【００１７】
マイクロレンズアレイ１０３は、例えば、複数のマイクロレンズをマトリクス状に２次元的に配列した２次元配列であり、撮像レンズ１０１の結像面上に配置されている。各マイクロレンズは、その平面形状が円形や六角形などとなっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。また、撮像レンズ１０１と、開口絞り１０２と、マイクロレンズアレイ１０３と、撮像センサ（撮像素子）１０４を合わせて撮像部１００と呼ぶ。
【００１８】
ここで、撮像レンズ１０１、開口絞り１０２、マイクロレンズアレイ１０３、撮像センサ１０４、の位置関係を図４に示す。ここで、ｍは、マイクロレンズアレイ１０３において、各マイクロレンズの一方向（図４では縦方向）に割り当てられる画素の数（画素数）を表す。ｓは、撮像センサ１０４を構成する撮像素子（画素）の一辺方向（図４では縦方向）のサイズ（画素サイズ）を表す。Ｌは上記の通り、開口絞り１０２とマイクロレンズアレイ１０３との間の距離を表す。なお、撮像レンズ１０１と開口絞り１０２との間の距離は無視できるほどに小さいので、図４では、Ｌは撮像レンズ１０１とマイクロレンズアレイ１０３との間の距離を示している。Ｄは上記の通り、撮像レンズ１０１の有効径を表している。ｆは、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離を表している。
【００１９】
ここで割り当て画素数ｍは、換言すれば、１つのマイクロレンズを透過して入光した光を撮像センサ１０４上で受光する領域（受光領域）の一方向（図４では縦方向）の画素数を表すが、この割り当て画素数ｍは以下の式（１）から計算することができる。
【００２０】
（ｍ×ｓ）：ｆ＝Ｄ：Ｌ
ｍ＝Ｄ×ｆ／（Ｌ×ｓ） （１）
但し当然ながら、ｍとしては正の整数しか採用できないため、この式（１）を計算した結果、ｍが実数となった場合、小数点第一位を切り上げて整数とする。
【００２１】
図１に戻って、撮像センサ１０４は、マイクロレンズアレイ１０３（それぞれのマイクロレンズ）を介して入光した光を受光し、被写体の光量を取得するものであり、マイクロレンズアレイ１０３（それぞれのマイクロレンズ）の焦点面に配置されている。この撮像センサ１０４は、マトリクス状に２次元配列された複数の撮像素子から構成されている。撮像素子には、ＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などを採用することができる。もちろん、撮像センサ１０４の受光面上の位置と、撮像センサ１０４から出力される画像上の位置と、の対応関係が取れるのであれば、撮像センサ１０４の構成は特に限定するものではない。
【００２２】
本実施形態では、撮像センサ１０４の受光面上には、Ｍ画素×Ｎ画素の画素（撮像素子）がマトリクス状に２次元的に配置されており、１つのマイクロレンズを透過した光は、複数画素から成る領域（受光領域）で受光される。この受光面上の画素の個数は、例えば、Ｍ×Ｎ＝５１８０×３４５０＝１７８７１０００個である。
【００２３】
ここで、この受光領域の水平方向について式（１）を用いて計算した画素数（水平方向に対する割り当て画素数）をｍ、垂直方向について式（１）を用いて計算した画素数（垂直方向に対する割り当て画素数）をｎとする。この場合、画素数ｍ、ｎは、最終的に生成する視差画像の任意の視点での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、視差画像の任意の視点での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、視差画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、視差画像の画素数が高くなる。したがって、視差画像の任意の視点での分解能と画素数とはトレードオフの関係となっている。
【００２４】
また、撮像センサ１０４の受光面上には、例えば、図１には図示していないカラーフィルタが画素単位で２次元的に配置されている。このカラーフィルタは、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタである。このようなカラーフィルタが撮像センサ１０４の受光面上に設けられていることにより、カラーフィルタの色に対応した複数の色の画素が得られる。
【００２５】
Ａ／Ｄ変換部１０５は、撮像センサ１０４から出力された、被写体の光量を表すアナログ信号（それぞれの撮像素子から出力された画素の画素値を表すアナログ信号（画像信号））を、デジタル信号に変換する。
【００２６】
信号処理部１０６は、Ａ／Ｄ変換部１０５から出力されたデジタル信号に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、撮像画像のデータ（撮像画像データ）を生成する。そして信号処理部１０６は、視差画像のデータ（視差画像データ）を生成する。具体的には、撮像センサ１０４上の画素における一辺方向の画素サイズｓ、開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌ、撮像レンズ１０１の有効径Ｄ、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆに基づいて生成する。次に、信号処理部１０６は、操作部１１３の指示に応じて表示部１１６に表示するための画像データ（表示画像データ）を生成する。視差画像データ生成の処理および表示画像データ生成の処理は後述する。
【００２７】
エンコーダ部１０７は、信号処理部１０６が生成した視差画像データをjpegやmpegなどのファイルフォーマットに変換する処理を行う。メディアインターフェース部１０８は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。Ｄ／Ａ変換部１０９は、信号処理部１０６が生成した視差画像データに対してアナログ変換を行う。
【００２８】
ＣＰＵ１１０は、ＲＯＭ１１１やＲＡＭ１１２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、撮像装置を構成する各部の動作制御を行う。
【００２９】
ＲＯＭ１１１には、撮像装置の起動プログラムや初期設定データ、撮像装置の各部の動作制御をＣＰＵ１１０に実行させるためのコンピュータプログラムやデータ、本実施形態以降で既知の情報として説明する様々な情報、が格納されている。
【００３０】
ＲＡＭ１１２は、ＲＯＭ１１１からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリア、ＣＰＵ１１０やその他の各部が処理を実行する際に用いるワークエリアなどを有する。即ち、ＲＡＭ１１２は、様々なエリアを適宜提供することができる。
【００３１】
操作部１１３は、ボタンやモードダイヤルなどにより構成されており、ユーザがこの操作部１１３を操作することで入力した操作指示は、ＣＰＵ１１０に通知される。もちろん、操作部１１３の機能の一部、例えば、モード選択ボタンの機能は、後述する表示部１１６の表示画面上にボタン画像を表示し、このボタン画像をユーザが指などで指示することで、このモード選択ボタンの機能をＣＰＵ１１０が実行しても良い。
【００３２】
撮像系制御部１１４は、フォーカスをあわせる、シャッタを開く、絞りを調節するなどの、撮像部１００の制御を行う。キャラクタジェネレーション部１１５は、文字やグラフィックなどを生成するものであり、例えば、ＧＵＩ（グラフィカルユーザインターフェース）などを生成することができる。生成した文字やグラフィック、ＧＵＩなどは、後述する表示部１１６の表示画面上に表示される。
【００３３】
表示部１１６は、一般的にはＬＣＤが広く用いられており、キャラクタジェネレーション部１１５が生成した文字やグラフィック、信号処理部１０６が生成した表示画像、等の表示を行う。また、表示部１１６はタッチスクリーン機能を有していても良く、その場合は上記の通り、操作部１１３の一部の機能を実現できる。もちろん、操作部１１３の機能以外の機能を実現させることもできる。
【００３４】
次に、信号処理部１０６の構成例について、図２のブロック図を用いて説明する。視差数算出部２０１は、各マイクロレンズが撮像センサ上に受光させうる画素数を算出する。以下では各マイクロレンズが撮像センサ上に受光させうる画素数を視差数と呼ぶ。
【００３５】
LF作成部２０２は、視差数に基づいて、撮像装置のライトフィールドを作成する。ここで、ライトフィールドとは、撮像レンズのある位置を通過する光線が、撮像素子のどの位置で受光する、という関係を表す。
【００３６】
画像再構成部２０３は、ライトフィールドに基づいて、バッファ２０４に保持した撮像画像データの画素を並べ替え、異なる視点から観察した視差画像データを生成する。視差画像抽出部２０５は、視差画像データを操作部１１３の表示モード情報に基づいて選択・抽出し、エンコーダ部１０７、Ｄ／Ａ変換部１０９に送信する。
【００３７】
＜撮像装置の動作について＞
次に、本実施形態に係る撮像装置の動作について説明する。撮像レンズ１０１、開口絞り１０２を介してマイクロレンズアレイ１０３に入光した光（被写体の像）は、マイクロレンズの形状に応じて撮像センサ１０４の受光面上に結像する。即ち、撮像センサ１０４の受光面上には、マイクロレンズを透過した光を受光する領域（受光領域）が、マイクロレンズ毎に形成される。撮像センサ１０４の受光面上におけるマイクロレンズ毎の受光領域の一例を図５に示す。
【００３８】
ここでは、開口絞り１０２による開口部は図３に示す如く円形としているため、撮像センサ１０４の受光面上には、マイクロレンズ毎に円形の受光領域が形成されている。このとき、マイクロレンズアレイ１０３への入射光線は、撮像レンズ１０１上の入射位置応じて、撮像センサ１０４の受光面上の異なる位置に受光される。
【００３９】
次に、撮像センサ１０４を構成する各撮像素子は、受光した光の光量に応じたアナログ信号を出力するので、結果として撮像センサ１０４からは、画素毎のアナログ信号が出力される。Ａ／Ｄ変換部１０５は、この画素毎のアナログ信号をデジタル信号に変換（Ａ／Ｄ変換）することで、画素毎のデジタル信号を生成する。このＡ／Ｄ変換は一般的なものでよく、例えば被写体の光量を光電変換により信号に変換し、14bitのデジタル値を表すデジタル信号に変換すればよい。
【００４０】
次に、信号処理部１０６は、Ａ／Ｄ変換部１０５により変換された画素毎のデジタル信号に対して、一般的なＢａｙｅｒ配列に対するデモザイキング処理や、ホワイトバランス処理、ガンマ処理を行い、撮像画像のデータを生成する。さらに信号処理部１０６は、撮像画像データをライトフィールドに基づいて視差画像データに再構成し、表示部１１６に表示するための表示画像データを生成する。以下、視差画像データ生成の処理および表示画像データ生成の処理を、図６のフローチャートを用いて説明する。
【００４１】
ステップＳ６０１において、視差数算出部２０１は、撮像部１００から撮像部パラメータを取得する。ここで、撮像部パラメータとは、撮像素子上の画素における一辺方向の画素サイズｓ、開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌ、撮像レンズ１０１の有効径Ｄ、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆ、を示す。上記では撮像部パラメータは撮像部１００から取得するとしたが、例えば、撮像部パラメータを予めＲＯＭ１１１に格納しておき、視差数算出部２０１がＲＯＭ１１１からこの撮像部パラメータを取得するようにしても良い。また、表示部１１６にパラメータ入力欄を表示し、ユーザが操作部１１３を操作してこのパラメータ入力欄に入力したものを撮像部パラメータとして用いても良い。他にも、例えば、開口絞り１０２を最大に開放したときの有効径Ｄ０をＲＯＭ１１１に格納しておき、絞りのＦナンバーＦｎｕｍが得られた場合に、以下の式（２）を計算することで、有効径Ｄを求めても良い。
【００４２】
Ｄ＝Ｄ０／Ｆｎｕｍ （２）
また、開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌやマイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆは、それぞれに測距用のレーダ装置を設け、これらのレーダ装置を用いてそれぞれの距離Ｌ、ｆを検出するようにしても良い。なお、撮像部パラメータは撮像レンズ１０１とマイクロレンズアレイ１０３、撮像センサ１０４の距離関係や絞りが変更になった時などに再取得するとしてもよい。
【００４３】
ステップＳ６０２において、視差数算出部２０１は、ステップＳ６０１で取得した撮像パラメータに基づいて視差数を算出する。ここで、撮像部パラメータと撮像レンズ１０１、開口絞り１０２、マイクロレンズアレイ１０３、撮像センサ１０４の位置関係は図４のようになる。このとき、各マイクロレンズが受光させる素子数ｍは以下の式（３）で表されるようになっている。ただしｍは正の整数とする。
【００４４】
【数１】
【００４５】
上記式から撮像素子上で受光する素子数ｍ×ｎを算出する。視差数算出部２０１は、この素子数ｍ×ｎを、本実施形態における撮像装置の視差数として、LF作成部２０２に送出する。なお、視差数の算出はレンズアレイを保持する撮像装置の一形態の例に過ぎず、これに限られるものではない。例えば、ＲＯＭ１１１から視差数を取得するとしてもよい。また、撮像部パラメータが再取得された場合、視差数も再算出をする。
【００４６】
ステップＳ６０３において、LF作成部２０２は、視差数に基づいて撮像レンズ１０１を領域分割し、領域ごとにインデックスを振る。視差数算出部２０１で算出した、各マイクロレンズの受光させる素子数が視差数となる。そこで、視差数がｍ×ｎである場合、撮像レンズをｍ×ｎで領域分割し、領域ごとにＭＬ（１，１）、ＭＬ（２、１）、・・・、ＭＬ（ｍ、ｎ）とインデックスを振る。例えば、ｍ＝３、ｎ＝３の場合の撮像レンズ１０１の領域分割とそのインデックスの例を図７に図示する。
【００４７】
ステップＳ６０４でＬＦ作成部２０２は、撮像部パラメータと撮像レンズの領域分割から、各撮像素子の座標（ｘ、ｙ）と該撮像素子に入射する光線の撮像レンズ１０１上の座標（ｕ、ｖ）との対応関係が登録されたリストであるライトフィールドを作成する。
【００４８】
ここで、撮像レンズ上の座標（ｕ、ｖ）は図８に示すように、撮像レンズを含むような座標系において規定されるものであり、撮像レンズの中心位置を原点とする。例えば、図８のようにｕｖ座標系が−１から１までの系であるとする。作成するライトフィールドは図９に示すように各画素の座標（画素位置）（ｘ、ｙ）に対応する座標（ｕ、ｖ）と、該座標（ｕ、ｖ）が含まれる分割領域のインデックスのテーブルである。本撮像装置におけるライトフィールドは図１０に示すように、各画素と各マイクロレンズの中心とを通過する直線（線分）を引いたときに、撮像レンズを通過（交差）する座標（ｕ、ｖ）を取得し、これを該画素に対応する座標とする。上記の動作を全画素に対して行うことでライトフィールドを作成する。
【００４９】
なお、図１０に図示されるようなライトフィールドは撮像部１００内の構成の位置関係における一例であり、撮像レンズ１０１上の座標（ｕ、ｖ）と撮像センサ１０４上における画素の座標（ｘ、ｙ）との対応関係を示すものであればこれに限るものではない。また、ライトフィールドは、撮像部１００内の開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌ、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆが変わった際に再作成するとしてもよい。
【００５０】
ステップＳ６０５において、Ａ／Ｄ変換部１０５から入力されたデジタル信号を撮像画像データとしてバッファ２０４に格納する。ステップＳ６０６において、画像再構成部２０３は、バッファ２０４に保持している撮像画像データを、LF作成部２０２から得たライトフィールドに基づいて視差画像データに再構成する。具体的には、ライトフィールドの座標（ｕ、ｖ）においてｕが左から右に、ｖが上から下に増加するように撮像画像データ中の画素を並べ替える。即ち、並べ替え後の画素の座標を（ｘ’、ｙ’）とすると、下記の式のような並べ替えを行う。
【００５１】
（ｘ’、ｙ’）＝（ｕ、ｖ） （４）
これにより、撮像レンズの領域分割数と同数の視差をもつ視差画像データ（視差画像群）を再構成することができる。ここで、視差画像とは、図１２（ａ）のような被写体を撮像した場合、図１２（ｂ）に示すように、中央に対して上から被写体を撮像した画像、右から被写体を撮像した画像というように視差をもった画像群を示す。
【００５２】
そしてステップＳ６０７において画像再構成部２０３は、再構成した視差画像データをバッファ２０４に格納する。また、画像再構成部２０３は、すでに視差画像データがバッファ２０４に格納されている場合は、このすでに格納されている視差画像データを更新する。また、画像再構成部２０３は、同様にライトフィールドもバッファ２０４に格納する。
【００５３】
ステップＳ６０８において、画像再構成部２０３は、ライトフィールドの撮像部パラメータの変更がないか否かを判定する。この判定の結果、変更がない場合、更新完了と判定して処理はステップＳ６０９へ進む。一方、撮像部パラメータの変更があると判定した場合、処理はステップＳ６０１へ進む。
【００５４】
ステップＳ６０９において、画像再構成部２０３は、ライトフィールド内の重複判定を行う。ここで、重複判定とは各画素に対応する撮像レンズの座標が２種類以上あるかどうかの判定である。重複があると判定された場合、処理はステップＳ６１０に進む。重複がないと判定された場合、処理はステップＳ６１１へ進む。例えば、撮像センサ１０４上の受光領域が図１３に示すような状態を仮定する。図１３のように、各受光領域が広い場合、重なり領域が発生する。
【００５５】
ステップＳ６１０において、画像再構成部２０３は、重複と判定された画素に対応するライトフィールドに重複があることを示す重複情報を付与し、バッファ２０４内のライトフィールドを更新する。ステップＳ６１１において、視差画像抽出部２０５は現在設定されている表示モードを確認する。ユーザは操作部１１３を操作して何れかの表示モードを設定することができる。より具体的には、ユーザが表示モードを選択するための指示を操作部１１３を用いて入力すると、キャラクタジェネレーション部１１５は表示モード選択画面（ＧＵＩ）を生成して表示部１１６の表示画面上に表示する。表示部１１６の表示画面上における表示例を図１４に示す。
【００５６】
ＧＵＩとして示した３×３のマトリクスは、３×３個の視差画像に対応するもので、例えば、左上隅の位置の四角形を操作部１１３を用いて指示すると、被写体を左上から撮像した視差画像ＭＬ（−１，−１）を指定することができる。このように、左上隅から右方向にｉ（図１４の場合、１≦ｉ≦３）番目、下方向にｊ（図１４の場合、１≦ｊ≦３）番目の四角形を操作部１１３を用いて指示すると、視差画像ＭＬ（−２＋ｉ，−２＋ｊ）を指定することができる。もちろん、視差画像の指定方法やそのためのＧＵＩの構成についてはこれに限るものではない。
【００５７】
何れにせよ、ユーザが操作部１１３を用いて１つの四角形を指示すると、その指示位置に応じた視差画像が指定されると共に、１視差表示モードが設定されたことになる。また、ユーザが全ての四角形（ＧＵＩを構成する全ての四角形）を選択するための操作を、操作部１１３を用いて指示した場合には、全視差表示モードが設定されたことになる。なお、１視差表示モード、全視差表示モードの設定方法についてはこれに限るものではなく、他にも、例えば、キャラクタジェネレーション部１１５が生成したチェックボックスから全視差表示モードか１視差表示モードのどちらかを選択するようにしても良い。また、ここでは表示モードが２種類の場合について説明しているが、これに限るものではなく、いくつかの視差画像を選択して表示するモードなどがあってもよい。
【００５８】
何れにせよ、ユーザが操作部１１３を用いて何れかの表示モードを設定すると、設定した表示モードを示すデータ（１視差表示モードが設定された場合、このデータには、指示した視差画像を示すデータが含まれる）がＲＡＭ１１２に書き込まれる。然るにステップＳ６１１では、このＲＡＭ１１２に書き込まれている、表示モードを示すデータを参照し、このデータが何れの表示モードを指し示しているのかを判断する。
【００５９】
そしてステップＳ６１１での判断の結果、１視差表示モードが設定された場合には、処理はステップＳ６１２に進む。一方、全視差表示モードが設定された場合には、視差画像抽出部２０５は、視差画像データをそのまま、図１１のように視差ごとに配置し、表示画像データとして、エンコーダ部１０７とＤ／Ａ変換部１０９とに出力する。
【００６０】
もちろん、それぞれの視差画像の並べ方や表示の方法についてはこれに限るものではない。例えば、図１１のように視差画像を配置したとき、一部の視差画像を抽出して配置し、表示画像としてもよい。また、平均画素値がある閾値以下となる視差画像については、「暗すぎる」という理由で、表示対象外としても良い。
【００６１】
図１５に、ｍ＝５、ｎ＝５のとき、全ての視差画像を抽出開始座標に応じて配置した例を示す。このとき、開口絞り１０２の開口部の形状が図３のように円形であるとすると、撮像センサ１０４上では図５のように受光が起こらない非受光領域が生じる。図１５において、以下に列挙する視差画像（図１５における斜線部）は、その非受光領域から抽出した画素から成る視差画像となるため、他の視差画像に比べて暗くなる。
【００６２】
・ 表示画像データの領域ＭＬ（１，１）、ＭＬ（２，１）、ＭＬ（４，１）、ＭＬ（５，１）、ＭＬ（１，２）、ＭＬ（５，２）、ＭＬ（１，４）、ＭＬ（５，４）、ＭＬ（１，５）、ＭＬ（２，５）、ＭＬ（４，５）、ＭＬ（５，５）
そこで、平均画素値が閾値以上となる視差画像のみを図１６に示す如く配置して表示部１１６の表示画面上に表示しても良い。さらに、暗い視差画像については各画素値に対してゲインを掛けて明るくしてから表示しても良いし、近隣の視差画像を足し合わせてもよい。
【００６３】
また、図１７のように視差画像を抽出して３×３マトリクスに配置、拡大することによって、表示部１１６の表示画面上に表示しても良い。また、ステップＳ６１０において重複情報を付与されている視差画像については、表示対象外としても良い。また、図１９のように、重複情報を付与されている視差画像については視差画像の代わりに「重複が発生している旨を示す情報」を表示しても良い。
【００６４】
図６に戻って、ステップＳ６１２では、視差画像抽出部２０５は、１視差表示モードを示すデータに含まれている「指示された視差画像を示すデータ」を参照するか否かを判断する。参照するか否かは予め設定しておいても良いし、ユーザが選択しても良い。そして参照する場合には処理はステップＳ６１３に進むし、参照しない場合には、処理はステップＳ６１４に進む。なお、上記のマトリクス状のＧＵＩ以外のＧＵＩを用いて、単に１視差表示モードを選択する旨の指示を入力した場合には、どの視差画像を指示したのかを示すデータは存在しないので、この場合、処理はステップＳ６１４に進む。
【００６５】
ステップＳ６１３では、視差画像抽出部２０５は、指示された視差画像を適宜拡大し、拡大した視差画像データを表示画像データとしてＤ／Ａ変換部１０９に出力する。例えば、図１１の場合、上記のＧＵＩの例では３×３のマトリクス状のＧＵＩを用いることになるが、このＧＵＩにおいて左上隅の位置の四角形が指示されると、視差画像データＭＬ（１，１）が抽出され、適宜拡大され、Ｄ／Ａ変換部１０９に出力される。拡大方法は既存の方法でよく、バイキュービック法などでよい。また、拡大の倍率は、表示部１１６の表示画面の画素数から算出すればよい。もちろん、拡大処理は必須ではないし、拡大の代わりに縮小を行うようにしても良い。
【００６６】
さらに、ＧＵＩへの操作（表示対象の視差画像の切替）は表示部１１６に表示画像を表示している最中に行っても構わない。例えば、表示部１１６に何らかの表示画像を表示している最中に、操作部１１３を用いて異なる視差画像を指示した場合、指示された視差画像から表示画像を生成し、Ｄ／Ａ変換部１０９に出力する。
【００６７】
なお、表示部１１６の表示画面上における表示構成については上記の例に限るものではなく、例えば、表示部１１６の上部に表示画像、下部に視差画像を表示し、下部から視差画像を選択するという、図１８に示すようなＧＵＩを表示部１１６に表示しても良い。図１８のＧＵＩの場合、ステップＳ６０７で生成したそれぞれの視差画像データを表示部１１６の下段に縮小して配置し、選択された視差画像を拡大して上段に配置する。また、重複情報が付与されている視差画像は選択できないようにしても良いし、視差画像データをそのまま、図１１のように視差ごとに配置し、表示画像データとして、エンコーダ部１０７とＤ／Ａ変換部１０９とに出力するようにしてもよい。
【００６８】
ステップＳ６１４では、視差画像抽出部２０５は、視差画像データのうち中央に位置する領域ＭＬをステップＳ６１３と同様に適宜拡大し、拡大した視差画像を表示画像としてＤ／Ａ変換部１０９に出力する。もちろん、拡大処理は必須ではないし、拡大の代わりに縮小を行うようにしても良い。なお、表示部１１６は、Ｄ／Ａ変換部１０９から受け取る表示画像データを、例えばＬＣＤ上に表示画像として表示する。
【００６９】
以上の説明により、本実施形態によれば、マイクロレンズアレイ１０３を備えた撮像装置が取得する視差画像のピントが合っているかどうかを、ユーザが表示部１１６を通して確認することが可能となる。例えば、被写体が図２０（ａ）のような平面チャートの場合、従来はマイクロレンズアレイ１０３により図２０（ｂ）のような表示画像となるため、平面チャートにピントが合っているか確認することができなかった。しかし、本実施形態によれば、図２０（ｃ）のように中央視点の画像などを拡大表示することで、平面チャートにピントが合っていることを確認することが可能となる。
【００７０】
［第２の実施形態］
第１の実施形態で説明した一連の処理は一定時間ごとに行って、表示画像をリアルタイムに更新することで、ライブビュー表示とすることが可能となる。また、割り当て画素数算出パラメータやレンズ位置が更新されるごとに、上記処理を行うことで、リアルタイムに撮影時の焦点距離や開口絞り、レンズや撮像素子の移動などの影響を表示画像に反映することができる。例えば、焦点距離や開口絞り１０２を変更すると、撮像センサ１０４上の受光領域は変化する。
【００７１】
開口絞り１０２を絞った場合における撮像センサ１０４上の受光領域の概略図を図２１に、開口絞り１０２を開いた場合の受光領域の概略図を図１３に示す。このとき、撮像部パラメータが変化するため、信号処理部１０６のフローをステップＳ６０１から再度行い、新たにライトフィールドを作成することで対応できる。例えば開口絞り１０２を絞ることで、図２１のように受光領域が減少するため、式（２）、（３）から視差数ｍ×ｎは減少する。視差画像データの視差数が５×５であり、開口絞りを絞ることで視差数が３×３に減少したとする。このとき、ライトフィールドが再作成され、視差画像データは図２２から視差数が減少し、図２３のようになる。このように、開口絞り１０２の絞りや距離Ｌを伸ばすといった受光領域を狭める場合においても、視差画像データを正しく生成することが可能となる。
【００７２】
さらに、開口絞り１０２を開き、撮像センサ１０４上の受光領域を広げると、式（２）、（３）から視差数が増加する。例えば視差数が５×５から７×７へ増大したとすると、視差画像データは図２４のようになる。このように、開口絞りを広げる、距離Ｌを縮めるといった受光領域を広げる場合においても、視差画像データを正しく生成することが可能である。
【００７３】
また、上記は視差画像を表示することでピントの確認ができることを述べたが、これ以外に利用できることは言うまでもない。例えば、表示画像を用いてコントラストＡＦの処理をＣＰＵ１１０および撮像系制御部１１４から行ってもよい。
【００７４】
また、上記処理は焦点距離や開口絞り１０２、撮像レンズ１０１や撮像センサ１０４の移動がありうる撮像装置の場合を説明したが、単焦点、単開口絞りのように、撮像センサ１０４上の受光領域の大きさが変化しない撮像装置の場合はこの限りではない。この撮像装置の場合、ライトフィールドを撮像部パラメータから再作成することがないため、ＲＯＭ１１１などであらかじめ保持しておくとしてもよい。また、撮像部１００の位置関係により、開口絞りの絞りにかかわらずライトフィールドが変わらない撮像装置においても、同様の処理でよい。ライトフィールド作成後の処理は上記のステップＳ６０５以降と同一である。
【００７５】
［第３の実施形態］
本実施形態では、レンズアレイを保持する撮像装置が行う撮影後のピント調整処理（以降、リフォーカスと呼ぶ）が可能かどうか、ユーザが確認しやすい表示を行う例について述べる。以下では、第１の実施形態と異なる点について重点的に説明する。
【００７６】
＜撮像装置の構成例について＞
図２５は、本実施形態における信号処理部１０６の機能構成例を示すブロック図である。信号処理部１０６は視差数算出部２０１と、LF作成部２０２と、画像再構成部２０３と、バッファ２０４と、視差画像抽出部２０５と、メイン被写体抽出部２５０１と、視差量算出部２５０２とを備えている。視差数算出部２０１、LF作成部２０２、画像再構成部２０３、バッファ２０４、については第１の実施形態と同一であるため説明を省略する。
【００７７】
視差画像抽出部２０５は、バッファ２０４に格納された視差画像データの中央視点からの視差画像を抽出し拡大してＤ／Ａ変換部１０９へ送出する。
【００７８】
メイン被写体抽出部２５０１は、表示部１１６のタッチパネルや操作部１１３を通してユーザが指定したメイン被写体の情報を取得し、視差画像データ内からメイン被写体を抽出する。
【００７９】
視差量算出部２５０２は、各視差画像データ内から抽出されたメイン被写体から、各視差画像座標系におけるメイン被写体の重心座標を算出し、中央視点の視差画像の重心座標との距離から視差量を算出する。次に、視差量に応じてメイン被写体がリフォーカスに十分な視差があるか判定する。次に、メイン被写体の映る各視差画像と視差量からリフォーカス判定情報を生成、視差画像に付与し、Ｄ／Ａ変換部１０９に送信する。
【００８０】
＜撮像装置の動作について＞
次に、本実施形態に係る撮像装置の動作について説明する。
【００８１】
信号処理部１０６の撮像画像データ生成までの処理は第１の実施形態と同一であるため説明を省略する。以下、リフォーカス評価用情報生成の処理を図２６のフローチャートを用いて説明する。
【００８２】
ステップＳ２６０１からステップＳ２６１０までの処理は上記のステップＳ６０１からステップＳ６１０までの処理と同一であるため説明を省略する。
【００８３】
ステップＳ２６１１において、視差画像抽出部２０５は、視差画像データの中央視点の視差画像を抽出し、拡大してＤ／Ａ変換部１０９へ送信する。また、メイン被写体の選択をさせる旨のメッセージを表示部１１６へ表示させる。
【００８４】
ステップＳ２６１２において、メイン被写体抽出部２５０１は、操作部１１３からメイン被写体選択情報を取得する。ここで、メイン被写体選択情報とは、ステップＳ２６１１で表示部１１６へ表示させた中央視点の視差画像からユーザが操作部１１３を用いて選択した、中央視点の視差画像データのｘ”ｙ”座標系内における点（ｘ”ｃ、ｙ”ｃ）である。例えば、図２７のように中央視点の視差画像データにおいて、顔画像が撮像されているとする。そして、ユーザが黒丸で示した点を指定し、顔をメイン被写体として指定すると、この黒丸のx”y”座標がメイン被写体選択情報としてＲＡＭ１１２に格納される。これをメイン被写体抽出部２５０１は取得する。
【００８５】
ステップＳ２６１３において、メイン被写体抽出部２５０１は、バッファ２０４から中央視点の視差画像データを取得し、メイン被写体選択情報に基づいてオブジェクト抽出を行い、抽出したオブジェクトの中心座標（x”0,y”0）を算出する。中心座標は、図２８のようにオブジェクトを矩形で囲み、矩形の中心をとる。なお、オブジェクト抽出は公知の方法でよいものとする。
【００８６】
ステップＳ２６１４において、メイン被写体抽出部２５０１は、バッファ２０４から中央視点以外の視差画像データを取得し、ステップＳ２６１３で抽出したオブジェクトを各視差画像データから抽出する。なお、抽出方法はパターンマッチングなどの公知の方法でよいものとする。次に、ステップＳ２６１３と同様にオブジェクトの中心座標（x”1,y”1）、（x”2,y”2）、（x”3,y”3）・・・と各視差画像について算出する。次に、メイン被写体抽出部２５０１は、オブジェクトを抽出できた全ての視差画像の中心座標を視差量算出部２５０２に送出する。
【００８７】
ステップＳ２６１５において、視差量算出部２５０２は、ユーザが指定したオブジェクトが存在する各視差画像の視差量を算出する。例えば、オブジェクトの中心座標（x”1,y”1）を持つ視差画像の視差量Ｅ１を下記の式から算出する。
【００８８】
【数２】
【００８９】
同様に、オブジェクトを抽出できた視差画像に対して視差量Ｅ２、Ｅ３、・・・を算出する。
【００９０】
ステップＳ２６１６において、視差量算出部２５０２は、ステップＳ２６１５で算出した視差量に基づいてリフォーカス評価用情報を生成し、対応する視差画像データにリフォーカス評価用情報を付与する。そして、全視差画像データを表示画像データとしてＤ／Ａ変換部１０９へ送信する。ここで、リフォーカス評価用情報は○か×の１ビット情報であり、該視差画像内にオブジェクトがあり且つ、リフォーカスに十分必要な閾値Ｔｈより該視差画像データの視差量が大きいとき、該視差画像データに○のリフォーカス評価用情報を付与する。また、閾値Ｔｈより小さいとき、該視差画像データに×のリフォーカス評価用情報を付与する。また、リフォーカス評価用情報の判定条件は上記に限らず、視差画像データが中央視点の視差画像データから遠いほど閾値Ｔｈを大きくするとしてもよい。また、上記では判定条件に視差量のスカラー量しか用いていないが、方向も組み合わせてもよい。例えば、中央視点の視差画像データに対して上の視差画像データであれば、オブジェクトの視差量ベクトルは上向きである必要があるので、上を向いているか判定する、などでもよい。
【００９１】
次に、表示部１１６は表示画像データを、例えばＬＣＤ上に表示画像として表示する。表示方法としては例えば図２９に示すように全視差モードで表示してもよい。このとき、ステップＳ２６１６において付与されたリフォーカス評価用情報に基づき、リフォーカス評価用情報の○×を各視差画像の右上に表示する。また、表示方法はこれに限るものではなく、リフォーカス評価用情報が付与された視差画像のみを１枚ずつ表示部１１６に表示し、時間経過に応じて切り換えるとしてもよい。このとき、該視差画像のリフォーカス評価用情報も同時に表示するものとする。
【００９２】
以上、説明した処理を行って表示画像を表示部１１６に表示することで、次のような効果がある。即ち、マイクロレンズアレイ１０３を備えた撮像装置が取得する撮像画像のメイン被写体が、後の処理であるリフォーカスに十分な視差量を有しているか否かを、ユーザが容易に表示部１１６を通して確認することが可能となる。
【００９３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像技術に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラでは、撮影レンズによって被写体像を撮像素子に形成し、撮像素子で得られた画像情報をＬＣＤ（Liquid Crystal Display）に表示していた。そしてデジタルカメラは、ＬＣＤに形成される画像情報を観察するようにした電子ビューファインダー（ＥＶＦ）を備えている（特許文献１）。
【０００３】
また、撮像素子の全面に配置されたシャッタを開放状態にして、被写体像を撮像素子に投影させることにより、その映像を画像表示用ＬＣＤに表示するようにしたライブビュー表示のデジタルカメラが知られている（特許文献２）。
【０００４】
また、特許文献３および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３４２９４号公報
【特許文献２】特開２００１−１８６４０１号公報
【特許文献３】国際公開第０６／０３９４８６号パンフレット
【非特許文献】
【０００６】
【非特許文献１】Ren.Ng、他７名，”Light Field Photography with a Hand-Held Plenoptic Camera”，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、撮像素子の前にマイクロレンズアレイを設置した撮像装置において、円形状の開口部を有する開口絞りを用いて図２０（ａ）のような被写体を写した場合、ライブビュー表示画像は図２０（ｂ）の如く、画像内に非受光領域が存在する画像となる。このため、ユーザがピント位置を判別することが難しいという課題があった。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、ライブビュー表示画像を、ピント位置の判別しやすい画像に変換する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の撮像装置は、撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサから出力された画像信号から生成された撮像画像を取得する手段と、前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成手段と、前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成手段と、前記生成手段が生成した画像を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成によれば、ライブビュー表示画像を、ピント位置の判別しやすい画像に変換することができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の構成例を示すブロック図。
【図２】信号処理部１０６の機能構成例を示すブロック図。
【図３】開口絞り１０２を示す図。
【図４】位置関係を説明する図。
【図５】撮像センサ１０４の受光面上におけるマイクロレンズ毎の受光領域の一例を示す図。
【図６】信号処理部１０６が行う処理のフローチャート。
【図７】ｍ＝３、ｎ＝３の場合の撮像レンズ１０１の領域分割とそのインデックスの例の図。
【図８】撮像レンズ上の座標（ｕ、ｖ）を説明する図。
【図９】ライトフィールドの構成例を示す図。
【図１０】ライトフィールドの作成方法を説明する図。
【図１１】視差画像の配置例を示す図。
【図１２】視差画像の作成例を示す図。
【図１３】撮像センサ１０４の受光面上におけるマイクロレンズ毎の受光領域の一例を示す図。
【図１４】表示部１１６の表示画面上における表示例を示す図。
【図１５】ｍ＝５、ｎ＝５のとき、全ての視差画像を抽出開始座標に応じて配置した例の図。
【図１６】平均画素値が閾値以上の視差画像のみ配置して表示した例を示す図。
【図１７】視差画像の配置例を示す図。
【図１８】ＧＵＩの表示例を示す図。
【図１９】視差画像の配置例を示す図。
【図２０】第１の実施形態の効果を説明する図。
【図２１】開口絞り１０２を絞った場合における撮像センサ１０４上の受光領域の概略図。
【図２２】視差数５×５の視差画像を示す図。
【図２３】視差数３×３の視差画像を示す図。
【図２４】視差数７×７の視差画像を示す図。
【図２５】信号処理部１０６の機能構成例を示すブロック図。
【図２６】リフォーカス評価用情報生成の処理のフローチャート。
【図２７】メイン被写体選択情報を取得するための処理を説明する図。
【図２８】中心座標を説明する図。
【図２９】表示部１１６における表示例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１３】
［第１の実施形態］
本実施形態では、レンズアレイを保持する撮像装置において、ライブビューを表示する表示部にピント位置を合わせやすい画像に変換して表示する例について述べる。
【００１４】
＜撮像装置の構成例について＞
先ず、本実施形態に係る撮像装置の構成例について、図１のブロック図を用いて説明する。なお、図１は、以下に説明する各処理を行うための主要な構成の一例を示すものであり、本実施形態に適用可能な撮像装置の構成は、図１に示した構成に限定するものではない。即ち、図１に示した構成に更なる構成を追加しても良いし、図１に示した各部のうち幾つかを統合しても良いし、１つの構成用件を２以上の構成用件に分解してもよい。また、ある構成用件が行うものとして後述する処理を、他の構成用件に分担させても良い。
【００１５】
撮像レンズ１０１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的なズームレンズ、フォーカスレンズ、ぶれ補正レンズ等により構成される。
【００１６】
開口絞り１０２は、撮像レンズ１０１に対する光学的な開口絞りである。この開口絞り１０２は、例えば図３に示す如く、その中央部に１つの円形の開口部を有している。黒枠の部分は、ある程度絞ったことにより発生する非開口部である。以下では、この開口部の直径（撮像レンズ１０１の有効径）をＤと表記する。また、開口絞り１０２は、マイクロレンズアレイ１０３と距離がＬだけ離間するように配置されている。
【００１７】
マイクロレンズアレイ１０３は、例えば、複数のマイクロレンズをマトリクス状に２次元的に配列した２次元配列であり、撮像レンズ１０１の結像面上に配置されている。各マイクロレンズは、その平面形状が円形や六角形などとなっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。また、撮像レンズ１０１と、開口絞り１０２と、マイクロレンズアレイ１０３と、撮像センサ（撮像素子）１０４を合わせて撮像部１００と呼ぶ。
【００１８】
ここで、撮像レンズ１０１、開口絞り１０２、マイクロレンズアレイ１０３、撮像センサ１０４、の位置関係を図４に示す。ここで、ｍは、マイクロレンズアレイ１０３において、各マイクロレンズの一方向（図４では縦方向）に割り当てられる画素の数（画素数）を表す。ｓは、撮像センサ１０４を構成する撮像素子（画素）の一辺方向（図４では縦方向）のサイズ（画素サイズ）を表す。Ｌは上記の通り、開口絞り１０２とマイクロレンズアレイ１０３との間の距離を表す。なお、撮像レンズ１０１と開口絞り１０２との間の距離は無視できるほどに小さいので、図４では、Ｌは撮像レンズ１０１とマイクロレンズアレイ１０３との間の距離を示している。Ｄは上記の通り、撮像レンズ１０１の有効径を表している。ｆは、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離を表している。
【００１９】
ここで割り当て画素数ｍは、換言すれば、１つのマイクロレンズを透過して入光した光を撮像センサ１０４上で受光する領域（受光領域）の一方向（図４では縦方向）の画素数を表すが、この割り当て画素数ｍは以下の式（１）から計算することができる。
【００２０】
（ｍ×ｓ）：ｆ＝Ｄ：Ｌ
ｍ＝Ｄ×ｆ／（Ｌ×ｓ） （１）
但し当然ながら、ｍとしては正の整数しか採用できないため、この式（１）を計算した結果、ｍが実数となった場合、小数点第一位を切り上げて整数とする。
【００２１】
図１に戻って、撮像センサ１０４は、マイクロレンズアレイ１０３（それぞれのマイクロレンズ）を介して入光した光を受光し、被写体の光量を取得するものであり、マイクロレンズアレイ１０３（それぞれのマイクロレンズ）の焦点面に配置されている。この撮像センサ１０４は、マトリクス状に２次元配列された複数の撮像素子から構成されている。撮像素子には、ＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などを採用することができる。もちろん、撮像センサ１０４の受光面上の位置と、撮像センサ１０４から出力される画像上の位置と、の対応関係が取れるのであれば、撮像センサ１０４の構成は特に限定するものではない。
【００２２】
本実施形態では、撮像センサ１０４の受光面上には、Ｍ画素×Ｎ画素の画素（撮像素子）がマトリクス状に２次元的に配置されており、１つのマイクロレンズを透過した光は、複数画素から成る領域（受光領域）で受光される。この受光面上の画素の個数は、例えば、Ｍ×Ｎ＝５１８０×３４５０＝１７８７１０００個である。
【００２３】
ここで、この受光領域の水平方向について式（１）を用いて計算した画素数（水平方向に対する割り当て画素数）をｍ、垂直方向について式（１）を用いて計算した画素数（垂直方向に対する割り当て画素数）をｎとする。この場合、画素数ｍ、ｎは、最終的に生成する視差画像の任意の視点での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、視差画像の任意の視点での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、視差画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、視差画像の画素数が高くなる。したがって、視差画像の任意の視点での分解能と画素数とはトレードオフの関係となっている。
【００２４】
また、撮像センサ１０４の受光面上には、例えば、図１には図示していないカラーフィルタが画素単位で２次元的に配置されている。このカラーフィルタは、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタである。このようなカラーフィルタが撮像センサ１０４の受光面上に設けられていることにより、カラーフィルタの色に対応した複数の色の画素が得られる。
【００２５】
Ａ／Ｄ変換部１０５は、撮像センサ１０４から出力された、被写体の光量を表すアナログ信号（それぞれの撮像素子から出力された画素の画素値を表すアナログ信号（画像信号））を、デジタル信号に変換する。
【００２６】
信号処理部１０６は、Ａ／Ｄ変換部１０５から出力されたデジタル信号に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、撮像画像のデータ（撮像画像データ）を生成する。そして信号処理部１０６は、視差画像のデータ（視差画像データ）を生成する。具体的には、撮像センサ１０４上の画素における一辺方向の画素サイズｓ、開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌ、撮像レンズ１０１の有効径Ｄ、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆに基づいて生成する。次に、信号処理部１０６は、操作部１１３の指示に応じて表示部１１６に表示するための画像データ（表示画像データ）を生成する。視差画像データ生成の処理および表示画像データ生成の処理は後述する。
【００２７】
エンコーダ部１０７は、信号処理部１０６が生成した視差画像データをjpegやmpegなどのファイルフォーマットに変換する処理を行う。メディアインターフェース部１０８は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。Ｄ／Ａ変換部１０９は、信号処理部１０６が生成した視差画像データに対してアナログ変換を行う。
【００２８】
ＣＰＵ１１０は、ＲＯＭ１１１やＲＡＭ１１２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、撮像装置を構成する各部の動作制御を行う。
【００２９】
ＲＯＭ１１１には、撮像装置の起動プログラムや初期設定データ、撮像装置の各部の動作制御をＣＰＵ１１０に実行させるためのコンピュータプログラムやデータ、本実施形態以降で既知の情報として説明する様々な情報、が格納されている。
【００３０】
ＲＡＭ１１２は、ＲＯＭ１１１からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリア、ＣＰＵ１１０やその他の各部が処理を実行する際に用いるワークエリアなどを有する。即ち、ＲＡＭ１１２は、様々なエリアを適宜提供することができる。
【００３１】
操作部１１３は、ボタンやモードダイヤルなどにより構成されており、ユーザがこの操作部１１３を操作することで入力した操作指示は、ＣＰＵ１１０に通知される。もちろん、操作部１１３の機能の一部、例えば、モード選択ボタンの機能は、後述する表示部１１６の表示画面上にボタン画像を表示し、このボタン画像をユーザが指などで指示することで、このモード選択ボタンの機能をＣＰＵ１１０が実行しても良い。
【００３２】
撮像系制御部１１４は、フォーカスをあわせる、シャッタを開く、絞りを調節するなどの、撮像部１００の制御を行う。キャラクタジェネレーション部１１５は、文字やグラフィックなどを生成するものであり、例えば、ＧＵＩ（グラフィカルユーザインターフェース）などを生成することができる。生成した文字やグラフィック、ＧＵＩなどは、後述する表示部１１６の表示画面上に表示される。
【００３３】
表示部１１６は、一般的にはＬＣＤが広く用いられており、キャラクタジェネレーション部１１５が生成した文字やグラフィック、信号処理部１０６が生成した表示画像、等の表示を行う。また、表示部１１６はタッチスクリーン機能を有していても良く、その場合は上記の通り、操作部１１３の一部の機能を実現できる。もちろん、操作部１１３の機能以外の機能を実現させることもできる。
【００３４】
次に、信号処理部１０６の構成例について、図２のブロック図を用いて説明する。視差数算出部２０１は、各マイクロレンズが撮像センサ上に受光させうる画素数を算出する。以下では各マイクロレンズが撮像センサ上に受光させうる画素数を視差数と呼ぶ。
【００３５】
LF作成部２０２は、視差数に基づいて、撮像装置のライトフィールドを作成する。ここで、ライトフィールドとは、撮像レンズのある位置を通過する光線が、撮像素子のどの位置で受光する、という関係を表す。
【００３６】
画像再構成部２０３は、ライトフィールドに基づいて、バッファ２０４に保持した撮像画像データの画素を並べ替え、異なる視点から観察した視差画像データを生成する。視差画像抽出部２０５は、視差画像データを操作部１１３の表示モード情報に基づいて選択・抽出し、エンコーダ部１０７、Ｄ／Ａ変換部１０９に送信する。
【００３７】
＜撮像装置の動作について＞
次に、本実施形態に係る撮像装置の動作について説明する。撮像レンズ１０１、開口絞り１０２を介してマイクロレンズアレイ１０３に入光した光（被写体の像）は、マイクロレンズの形状に応じて撮像センサ１０４の受光面上に結像する。即ち、撮像センサ１０４の受光面上には、マイクロレンズを透過した光を受光する領域（受光領域）が、マイクロレンズ毎に形成される。撮像センサ１０４の受光面上におけるマイクロレンズ毎の受光領域の一例を図５に示す。
【００３８】
ここでは、開口絞り１０２による開口部は図３に示す如く円形としているため、撮像センサ１０４の受光面上には、マイクロレンズ毎に円形の受光領域が形成されている。このとき、マイクロレンズアレイ１０３への入射光線は、撮像レンズ１０１上の入射位置応じて、撮像センサ１０４の受光面上の異なる位置に受光される。
【００３９】
次に、撮像センサ１０４を構成する各撮像素子は、受光した光の光量に応じたアナログ信号を出力するので、結果として撮像センサ１０４からは、画素毎のアナログ信号が出力される。Ａ／Ｄ変換部１０５は、この画素毎のアナログ信号をデジタル信号に変換（Ａ／Ｄ変換）することで、画素毎のデジタル信号を生成する。このＡ／Ｄ変換は一般的なものでよく、例えば被写体の光量を光電変換により信号に変換し、14bitのデジタル値を表すデジタル信号に変換すればよい。
【００４０】
次に、信号処理部１０６は、Ａ／Ｄ変換部１０５により変換された画素毎のデジタル信号に対して、一般的なＢａｙｅｒ配列に対するデモザイキング処理や、ホワイトバランス処理、ガンマ処理を行い、撮像画像のデータを生成する。さらに信号処理部１０６は、撮像画像データをライトフィールドに基づいて視差画像データに再構成し、表示部１１６に表示するための表示画像データを生成する。以下、視差画像データ生成の処理および表示画像データ生成の処理を、図６のフローチャートを用いて説明する。
【００４１】
ステップＳ６０１において、視差数算出部２０１は、撮像部１００から撮像部パラメータを取得する。ここで、撮像部パラメータとは、撮像素子上の画素における一辺方向の画素サイズｓ、開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌ、撮像レンズ１０１の有効径Ｄ、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆ、を示す。上記では撮像部パラメータは撮像部１００から取得するとしたが、例えば、撮像部パラメータを予めＲＯＭ１１１に格納しておき、視差数算出部２０１がＲＯＭ１１１からこの撮像部パラメータを取得するようにしても良い。また、表示部１１６にパラメータ入力欄を表示し、ユーザが操作部１１３を操作してこのパラメータ入力欄に入力したものを撮像部パラメータとして用いても良い。他にも、例えば、開口絞り１０２を最大に開放したときの有効径Ｄ０をＲＯＭ１１１に格納しておき、絞りのＦナンバーＦｎｕｍが得られた場合に、以下の式（２）を計算することで、有効径Ｄを求めても良い。
【００４２】
Ｄ＝Ｄ０／Ｆｎｕｍ （２）
また、開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌやマイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆは、それぞれに測距用のレーダ装置を設け、これらのレーダ装置を用いてそれぞれの距離Ｌ、ｆを検出するようにしても良い。なお、撮像部パラメータは撮像レンズ１０１とマイクロレンズアレイ１０３、撮像センサ１０４の距離関係や絞りが変更になった時などに再取得するとしてもよい。
【００４３】
ステップＳ６０２において、視差数算出部２０１は、ステップＳ６０１で取得した撮像パラメータに基づいて視差数を算出する。ここで、撮像部パラメータと撮像レンズ１０１、開口絞り１０２、マイクロレンズアレイ１０３、撮像センサ１０４の位置関係は図４のようになる。このとき、各マイクロレンズが受光させる素子数ｍは以下の式（３）で表されるようになっている。ただしｍは正の整数とする。
【００４４】
【数１】
【００４５】
上記式から撮像素子上で受光する素子数ｍ×ｎを算出する。視差数算出部２０１は、この素子数ｍ×ｎを、本実施形態における撮像装置の視差数として、LF作成部２０２に送出する。なお、視差数の算出はレンズアレイを保持する撮像装置の一形態の例に過ぎず、これに限られるものではない。例えば、ＲＯＭ１１１から視差数を取得するとしてもよい。また、撮像部パラメータが再取得された場合、視差数も再算出をする。
【００４６】
ステップＳ６０３において、LF作成部２０２は、視差数に基づいて撮像レンズ１０１を領域分割し、領域ごとにインデックスを振る。視差数算出部２０１で算出した、各マイクロレンズの受光させる素子数が視差数となる。そこで、視差数がｍ×ｎである場合、撮像レンズをｍ×ｎで領域分割し、領域ごとにＭＬ（１，１）、ＭＬ（２、１）、・・・、ＭＬ（ｍ、ｎ）とインデックスを振る。例えば、ｍ＝３、ｎ＝３の場合の撮像レンズ１０１の領域分割とそのインデックスの例を図７に図示する。
【００４７】
ステップＳ６０４でＬＦ作成部２０２は、撮像部パラメータと撮像レンズの領域分割から、各撮像素子の座標（ｘ、ｙ）と該撮像素子に入射する光線の撮像レンズ１０１上の座標（ｕ、ｖ）との対応関係が登録されたリストであるライトフィールドを作成する。
【００４８】
ここで、撮像レンズ上の座標（ｕ、ｖ）は図８に示すように、撮像レンズを含むような座標系において規定されるものであり、撮像レンズの中心位置を原点とする。例えば、図８のようにｕｖ座標系が−１から１までの系であるとする。作成するライトフィールドは図９に示すように各画素の座標（画素位置）（ｘ、ｙ）に対応する座標（ｕ、ｖ）と、該座標（ｕ、ｖ）が含まれる分割領域のインデックスのテーブルである。本撮像装置におけるライトフィールドは図１０に示すように、各画素と各マイクロレンズの中心とを通過する直線（線分）を引いたときに、撮像レンズを通過（交差）する座標（ｕ、ｖ）を取得し、これを該画素に対応する座標とする。上記の動作を全画素に対して行うことでライトフィールドを作成する。
【００４９】
なお、図１０に図示されるようなライトフィールドは撮像部１００内の構成の位置関係における一例であり、撮像レンズ１０１上の座標（ｕ、ｖ）と撮像センサ１０４上における画素の座標（ｘ、ｙ）との対応関係を示すものであればこれに限るものではない。また、ライトフィールドは、撮像部１００内の開口絞り１０２とマイクロレンズアレイ１０３との間の距離Ｌ、マイクロレンズアレイ１０３と撮像センサ１０４との間の距離ｆが変わった際に再作成するとしてもよい。
【００５０】
ステップＳ６０５において、Ａ／Ｄ変換部１０５から入力されたデジタル信号を撮像画像データとしてバッファ２０４に格納する。ステップＳ６０６において、画像再構成部２０３は、バッファ２０４に保持している撮像画像データを、LF作成部２０２から得たライトフィールドに基づいて視差画像データに再構成する。具体的には、ライトフィールドの座標（ｕ、ｖ）においてｕが左から右に、ｖが上から下に増加するように撮像画像データ中の画素を並べ替える。即ち、並べ替え後の画素の座標を（ｘ’、ｙ’）とすると、下記の式のような並べ替えを行う。
【００５１】
（ｘ’、ｙ’）＝（ｕ、ｖ） （４）
これにより、撮像レンズの領域分割数と同数の視差をもつ視差画像データ（視差画像群）を再構成することができる。ここで、視差画像とは、図１２（ａ）のような被写体を撮像した場合、図１２（ｂ）に示すように、中央に対して上から被写体を撮像した画像、右から被写体を撮像した画像というように視差をもった画像群を示す。
【００５２】
そしてステップＳ６０７において画像再構成部２０３は、再構成した視差画像データをバッファ２０４に格納する。また、画像再構成部２０３は、すでに視差画像データがバッファ２０４に格納されている場合は、このすでに格納されている視差画像データを更新する。また、画像再構成部２０３は、同様にライトフィールドもバッファ２０４に格納する。
【００５３】
ステップＳ６０８において、画像再構成部２０３は、ライトフィールドの撮像部パラメータの変更がないか否かを判定する。この判定の結果、変更がない場合、更新完了と判定して処理はステップＳ６０９へ進む。一方、撮像部パラメータの変更があると判定した場合、処理はステップＳ６０１へ進む。
【００５４】
ステップＳ６０９において、画像再構成部２０３は、ライトフィールド内の重複判定を行う。ここで、重複判定とは各画素に対応する撮像レンズの座標が２種類以上あるかどうかの判定である。重複があると判定された場合、処理はステップＳ６１０に進む。重複がないと判定された場合、処理はステップＳ６１１へ進む。例えば、撮像センサ１０４上の受光領域が図１３に示すような状態を仮定する。図１３のように、各受光領域が広い場合、重なり領域が発生する。
【００５５】
ステップＳ６１０において、画像再構成部２０３は、重複と判定された画素に対応するライトフィールドに重複があることを示す重複情報を付与し、バッファ２０４内のライトフィールドを更新する。ステップＳ６１１において、視差画像抽出部２０５は現在設定されている表示モードを確認する。ユーザは操作部１１３を操作して何れかの表示モードを設定することができる。より具体的には、ユーザが表示モードを選択するための指示を操作部１１３を用いて入力すると、キャラクタジェネレーション部１１５は表示モード選択画面（ＧＵＩ）を生成して表示部１１６の表示画面上に表示する。表示部１１６の表示画面上における表示例を図１４に示す。
【００５６】
ＧＵＩとして示した３×３のマトリクスは、３×３個の視差画像に対応するもので、例えば、左上隅の位置の四角形を操作部１１３を用いて指示すると、被写体を左上から撮像した視差画像ＭＬ（−１，−１）を指定することができる。このように、左上隅から右方向にｉ（図１４の場合、１≦ｉ≦３）番目、下方向にｊ（図１４の場合、１≦ｊ≦３）番目の四角形を操作部１１３を用いて指示すると、視差画像ＭＬ（−２＋ｉ，−２＋ｊ）を指定することができる。もちろん、視差画像の指定方法やそのためのＧＵＩの構成についてはこれに限るものではない。
【００５７】
何れにせよ、ユーザが操作部１１３を用いて１つの四角形を指示すると、その指示位置に応じた視差画像が指定されると共に、１視差表示モードが設定されたことになる。また、ユーザが全ての四角形（ＧＵＩを構成する全ての四角形）を選択するための操作を、操作部１１３を用いて指示した場合には、全視差表示モードが設定されたことになる。なお、１視差表示モード、全視差表示モードの設定方法についてはこれに限るものではなく、他にも、例えば、キャラクタジェネレーション部１１５が生成したチェックボックスから全視差表示モードか１視差表示モードのどちらかを選択するようにしても良い。また、ここでは表示モードが２種類の場合について説明しているが、これに限るものではなく、いくつかの視差画像を選択して表示するモードなどがあってもよい。
【００５８】
何れにせよ、ユーザが操作部１１３を用いて何れかの表示モードを設定すると、設定した表示モードを示すデータ（１視差表示モードが設定された場合、このデータには、指示した視差画像を示すデータが含まれる）がＲＡＭ１１２に書き込まれる。然るにステップＳ６１１では、このＲＡＭ１１２に書き込まれている、表示モードを示すデータを参照し、このデータが何れの表示モードを指し示しているのかを判断する。
【００５９】
そしてステップＳ６１１での判断の結果、１視差表示モードが設定された場合には、処理はステップＳ６１２に進む。一方、全視差表示モードが設定された場合には、視差画像抽出部２０５は、視差画像データをそのまま、図１１のように視差ごとに配置し、表示画像データとして、エンコーダ部１０７とＤ／Ａ変換部１０９とに出力する。
【００６０】
もちろん、それぞれの視差画像の並べ方や表示の方法についてはこれに限るものではない。例えば、図１１のように視差画像を配置したとき、一部の視差画像を抽出して配置し、表示画像としてもよい。また、平均画素値がある閾値以下となる視差画像については、「暗すぎる」という理由で、表示対象外としても良い。
【００６１】
図１５に、ｍ＝５、ｎ＝５のとき、全ての視差画像を抽出開始座標に応じて配置した例を示す。このとき、開口絞り１０２の開口部の形状が図３のように円形であるとすると、撮像センサ１０４上では図５のように受光が起こらない非受光領域が生じる。図１５において、以下に列挙する視差画像（図１５における斜線部）は、その非受光領域から抽出した画素から成る視差画像となるため、他の視差画像に比べて暗くなる。
【００６２】
・ 表示画像データの領域ＭＬ（１，１）、ＭＬ（２，１）、ＭＬ（４，１）、ＭＬ（５，１）、ＭＬ（１，２）、ＭＬ（５，２）、ＭＬ（１，４）、ＭＬ（５，４）、ＭＬ（１，５）、ＭＬ（２，５）、ＭＬ（４，５）、ＭＬ（５，５）
そこで、平均画素値が閾値以上となる視差画像のみを図１６に示す如く配置して表示部１１６の表示画面上に表示しても良い。さらに、暗い視差画像については各画素値に対してゲインを掛けて明るくしてから表示しても良いし、近隣の視差画像を足し合わせてもよい。
【００６３】
また、図１７のように視差画像を抽出して３×３マトリクスに配置、拡大することによって、表示部１１６の表示画面上に表示しても良い。また、ステップＳ６１０において重複情報を付与されている視差画像については、表示対象外としても良い。また、図１９のように、重複情報を付与されている視差画像については視差画像の代わりに「重複が発生している旨を示す情報」を表示しても良い。
【００６４】
図６に戻って、ステップＳ６１２では、視差画像抽出部２０５は、１視差表示モードを示すデータに含まれている「指示された視差画像を示すデータ」を参照するか否かを判断する。参照するか否かは予め設定しておいても良いし、ユーザが選択しても良い。そして参照する場合には処理はステップＳ６１３に進むし、参照しない場合には、処理はステップＳ６１４に進む。なお、上記のマトリクス状のＧＵＩ以外のＧＵＩを用いて、単に１視差表示モードを選択する旨の指示を入力した場合には、どの視差画像を指示したのかを示すデータは存在しないので、この場合、処理はステップＳ６１４に進む。
【００６５】
ステップＳ６１３では、視差画像抽出部２０５は、指示された視差画像を適宜拡大し、拡大した視差画像データを表示画像データとしてＤ／Ａ変換部１０９に出力する。例えば、図１１の場合、上記のＧＵＩの例では３×３のマトリクス状のＧＵＩを用いることになるが、このＧＵＩにおいて左上隅の位置の四角形が指示されると、視差画像データＭＬ（１，１）が抽出され、適宜拡大され、Ｄ／Ａ変換部１０９に出力される。拡大方法は既存の方法でよく、バイキュービック法などでよい。また、拡大の倍率は、表示部１１６の表示画面の画素数から算出すればよい。もちろん、拡大処理は必須ではないし、拡大の代わりに縮小を行うようにしても良い。
【００６６】
さらに、ＧＵＩへの操作（表示対象の視差画像の切替）は表示部１１６に表示画像を表示している最中に行っても構わない。例えば、表示部１１６に何らかの表示画像を表示している最中に、操作部１１３を用いて異なる視差画像を指示した場合、指示された視差画像から表示画像を生成し、Ｄ／Ａ変換部１０９に出力する。
【００６７】
なお、表示部１１６の表示画面上における表示構成については上記の例に限るものではなく、例えば、表示部１１６の上部に表示画像、下部に視差画像を表示し、下部から視差画像を選択するという、図１８に示すようなＧＵＩを表示部１１６に表示しても良い。図１８のＧＵＩの場合、ステップＳ６０７で生成したそれぞれの視差画像データを表示部１１６の下段に縮小して配置し、選択された視差画像を拡大して上段に配置する。また、重複情報が付与されている視差画像は選択できないようにしても良いし、視差画像データをそのまま、図１１のように視差ごとに配置し、表示画像データとして、エンコーダ部１０７とＤ／Ａ変換部１０９とに出力するようにしてもよい。
【００６８】
ステップＳ６１４では、視差画像抽出部２０５は、視差画像データのうち中央に位置する領域ＭＬをステップＳ６１３と同様に適宜拡大し、拡大した視差画像を表示画像としてＤ／Ａ変換部１０９に出力する。もちろん、拡大処理は必須ではないし、拡大の代わりに縮小を行うようにしても良い。なお、表示部１１６は、Ｄ／Ａ変換部１０９から受け取る表示画像データを、例えばＬＣＤ上に表示画像として表示する。
【００６９】
以上の説明により、本実施形態によれば、マイクロレンズアレイ１０３を備えた撮像装置が取得する視差画像のピントが合っているかどうかを、ユーザが表示部１１６を通して確認することが可能となる。例えば、被写体が図２０（ａ）のような平面チャートの場合、従来はマイクロレンズアレイ１０３により図２０（ｂ）のような表示画像となるため、平面チャートにピントが合っているか確認することができなかった。しかし、本実施形態によれば、図２０（ｃ）のように中央視点の画像などを拡大表示することで、平面チャートにピントが合っていることを確認することが可能となる。
【００７０】
［第２の実施形態］
第１の実施形態で説明した一連の処理は一定時間ごとに行って、表示画像をリアルタイムに更新することで、ライブビュー表示とすることが可能となる。また、割り当て画素数算出パラメータやレンズ位置が更新されるごとに、上記処理を行うことで、リアルタイムに撮影時の焦点距離や開口絞り、レンズや撮像素子の移動などの影響を表示画像に反映することができる。例えば、焦点距離や開口絞り１０２を変更すると、撮像センサ１０４上の受光領域は変化する。
【００７１】
開口絞り１０２を絞った場合における撮像センサ１０４上の受光領域の概略図を図２１に、開口絞り１０２を開いた場合の受光領域の概略図を図１３に示す。このとき、撮像部パラメータが変化するため、信号処理部１０６のフローをステップＳ６０１から再度行い、新たにライトフィールドを作成することで対応できる。例えば開口絞り１０２を絞ることで、図２１のように受光領域が減少するため、式（２）、（３）から視差数ｍ×ｎは減少する。視差画像データの視差数が５×５であり、開口絞りを絞ることで視差数が３×３に減少したとする。このとき、ライトフィールドが再作成され、視差画像データは図２２から視差数が減少し、図２３のようになる。このように、開口絞り１０２の絞りや距離Ｌを伸ばすといった受光領域を狭める場合においても、視差画像データを正しく生成することが可能となる。
【００７２】
さらに、開口絞り１０２を開き、撮像センサ１０４上の受光領域を広げると、式（２）、（３）から視差数が増加する。例えば視差数が５×５から７×７へ増大したとすると、視差画像データは図２４のようになる。このように、開口絞りを広げる、距離Ｌを縮めるといった受光領域を広げる場合においても、視差画像データを正しく生成することが可能である。
【００７３】
また、上記は視差画像を表示することでピントの確認ができることを述べたが、これ以外に利用できることは言うまでもない。例えば、表示画像を用いてコントラストＡＦの処理をＣＰＵ１１０および撮像系制御部１１４から行ってもよい。
【００７４】
また、上記処理は焦点距離や開口絞り１０２、撮像レンズ１０１や撮像センサ１０４の移動がありうる撮像装置の場合を説明したが、単焦点、単開口絞りのように、撮像センサ１０４上の受光領域の大きさが変化しない撮像装置の場合はこの限りではない。この撮像装置の場合、ライトフィールドを撮像部パラメータから再作成することがないため、ＲＯＭ１１１などであらかじめ保持しておくとしてもよい。また、撮像部１００の位置関係により、開口絞りの絞りにかかわらずライトフィールドが変わらない撮像装置においても、同様の処理でよい。ライトフィールド作成後の処理は上記のステップＳ６０５以降と同一である。
【００７５】
［第３の実施形態］
本実施形態では、レンズアレイを保持する撮像装置が行う撮影後のピント調整処理（以降、リフォーカスと呼ぶ）が可能かどうか、ユーザが確認しやすい表示を行う例について述べる。以下では、第１の実施形態と異なる点について重点的に説明する。
【００７６】
＜撮像装置の構成例について＞
図２５は、本実施形態における信号処理部１０６の機能構成例を示すブロック図である。信号処理部１０６は視差数算出部２０１と、LF作成部２０２と、画像再構成部２０３と、バッファ２０４と、視差画像抽出部２０５と、メイン被写体抽出部２５０１と、視差量算出部２５０２とを備えている。視差数算出部２０１、LF作成部２０２、画像再構成部２０３、バッファ２０４、については第１の実施形態と同一であるため説明を省略する。
【００７７】
視差画像抽出部２０５は、バッファ２０４に格納された視差画像データの中央視点からの視差画像を抽出し拡大してＤ／Ａ変換部１０９へ送出する。
【００７８】
メイン被写体抽出部２５０１は、表示部１１６のタッチパネルや操作部１１３を通してユーザが指定したメイン被写体の情報を取得し、視差画像データ内からメイン被写体を抽出する。
【００７９】
視差量算出部２５０２は、各視差画像データ内から抽出されたメイン被写体から、各視差画像座標系におけるメイン被写体の重心座標を算出し、中央視点の視差画像の重心座標との距離から視差量を算出する。次に、視差量に応じてメイン被写体がリフォーカスに十分な視差があるか判定する。次に、メイン被写体の映る各視差画像と視差量からリフォーカス判定情報を生成、視差画像に付与し、Ｄ／Ａ変換部１０９に送信する。
【００８０】
＜撮像装置の動作について＞
次に、本実施形態に係る撮像装置の動作について説明する。
【００８１】
信号処理部１０６の撮像画像データ生成までの処理は第１の実施形態と同一であるため説明を省略する。以下、リフォーカス評価用情報生成の処理を図２６のフローチャートを用いて説明する。
【００８２】
ステップＳ２６０１からステップＳ２６１０までの処理は上記のステップＳ６０１からステップＳ６１０までの処理と同一であるため説明を省略する。
【００８３】
ステップＳ２６１１において、視差画像抽出部２０５は、視差画像データの中央視点の視差画像を抽出し、拡大してＤ／Ａ変換部１０９へ送信する。また、メイン被写体の選択をさせる旨のメッセージを表示部１１６へ表示させる。
【００８４】
ステップＳ２６１２において、メイン被写体抽出部２５０１は、操作部１１３からメイン被写体選択情報を取得する。ここで、メイン被写体選択情報とは、ステップＳ２６１１で表示部１１６へ表示させた中央視点の視差画像からユーザが操作部１１３を用いて選択した、中央視点の視差画像データのｘ”ｙ”座標系内における点（ｘ”ｃ、ｙ”ｃ）である。例えば、図２７のように中央視点の視差画像データにおいて、顔画像が撮像されているとする。そして、ユーザが黒丸で示した点を指定し、顔をメイン被写体として指定すると、この黒丸のx”y”座標がメイン被写体選択情報としてＲＡＭ１１２に格納される。これをメイン被写体抽出部２５０１は取得する。
【００８５】
ステップＳ２６１３において、メイン被写体抽出部２５０１は、バッファ２０４から中央視点の視差画像データを取得し、メイン被写体選択情報に基づいてオブジェクト抽出を行い、抽出したオブジェクトの中心座標（x”0,y”0）を算出する。中心座標は、図２８のようにオブジェクトを矩形で囲み、矩形の中心をとる。なお、オブジェクト抽出は公知の方法でよいものとする。
【００８６】
ステップＳ２６１４において、メイン被写体抽出部２５０１は、バッファ２０４から中央視点以外の視差画像データを取得し、ステップＳ２６１３で抽出したオブジェクトを各視差画像データから抽出する。なお、抽出方法はパターンマッチングなどの公知の方法でよいものとする。次に、ステップＳ２６１３と同様にオブジェクトの中心座標（x”1,y”1）、（x”2,y”2）、（x”3,y”3）・・・と各視差画像について算出する。次に、メイン被写体抽出部２５０１は、オブジェクトを抽出できた全ての視差画像の中心座標を視差量算出部２５０２に送出する。
【００８７】
ステップＳ２６１５において、視差量算出部２５０２は、ユーザが指定したオブジェクトが存在する各視差画像の視差量を算出する。例えば、オブジェクトの中心座標（x”1,y”1）を持つ視差画像の視差量Ｅ１を下記の式から算出する。
【００８８】
【数２】
【００８９】
同様に、オブジェクトを抽出できた視差画像に対して視差量Ｅ２、Ｅ３、・・・を算出する。
【００９０】
ステップＳ２６１６において、視差量算出部２５０２は、ステップＳ２６１５で算出した視差量に基づいてリフォーカス評価用情報を生成し、対応する視差画像データにリフォーカス評価用情報を付与する。そして、全視差画像データを表示画像データとしてＤ／Ａ変換部１０９へ送信する。ここで、リフォーカス評価用情報は○か×の１ビット情報であり、該視差画像内にオブジェクトがあり且つ、リフォーカスに十分必要な閾値Ｔｈより該視差画像データの視差量が大きいとき、該視差画像データに○のリフォーカス評価用情報を付与する。また、閾値Ｔｈより小さいとき、該視差画像データに×のリフォーカス評価用情報を付与する。また、リフォーカス評価用情報の判定条件は上記に限らず、視差画像データが中央視点の視差画像データから遠いほど閾値Ｔｈを大きくするとしてもよい。また、上記では判定条件に視差量のスカラー量しか用いていないが、方向も組み合わせてもよい。例えば、中央視点の視差画像データに対して上の視差画像データであれば、オブジェクトの視差量ベクトルは上向きである必要があるので、上を向いているか判定する、などでもよい。
【００９１】
次に、表示部１１６は表示画像データを、例えばＬＣＤ上に表示画像として表示する。表示方法としては例えば図２９に示すように全視差モードで表示してもよい。このとき、ステップＳ２６１６において付与されたリフォーカス評価用情報に基づき、リフォーカス評価用情報の○×を各視差画像の右上に表示する。また、表示方法はこれに限るものではなく、リフォーカス評価用情報が付与された視差画像のみを１枚ずつ表示部１１６に表示し、時間経過に応じて切り換えるとしてもよい。このとき、該視差画像のリフォーカス評価用情報も同時に表示するものとする。
【００９２】
以上、説明した処理を行って表示画像を表示部１１６に表示することで、次のような効果がある。即ち、マイクロレンズアレイ１０３を備えた撮像装置が取得する撮像画像のメイン被写体が、後の処理であるリフォーカスに十分な視差量を有しているか否かを、ユーザが容易に表示部１１６を通して確認することが可能となる。
【００９３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサから出力された画像信号から生成された撮像画像を取得する手段と、
前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成手段と、
前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記作成手段は、前記撮像センサ上の各画素位置について、該画素位置と前記マイクロレンズの中心位置とを通る線分が前記撮像レンズと交差する座標と、該画素位置の座標と、の対応関係を登録したリストを作成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力手段は、
前記視差画像群のうち１枚の視差画像を出力する旨の指示を取得した場合、該１枚の視差画像を表示画面に対して出力して表示させ、
前記視差画像群を出力する旨の指示を取得した場合、前記生成手段が生成した画像を前記表示画面に対して出力し、該画像を前記表示画面に表示させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記出力手段は、平均画素値が閾値以上の視差画像のみを前記表示画面に対して出力することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記出力手段は、視差画像を生成するために用いた画素が、他の視差画像を生成するために用いた画素と重複している場合には、該視差画像及び該他の視差画像、以外の視差画像を前記表示画面に対して出力することを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサを有する撮像装置の制御方法であって、
前記撮像センサから出力された画像信号から生成された撮像画像を取得する工程と、
前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成工程と、
前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項１】
撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサから出力された画像信号から生成された撮像画像を取得する手段と、
前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成手段と、
前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成手段と、
前記生成手段が生成した画像を出力する出力手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記作成手段は、前記撮像センサ上の各画素位置について、該画素位置と前記マイクロレンズの中心位置とを通る線分が前記撮像レンズと交差する座標と、該画素位置の座標と、の対応関係を登録したリストを作成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力手段は、
前記視差画像群のうち１枚の視差画像を出力する旨の指示を取得した場合、該１枚の視差画像を表示画面に対して出力して表示させ、
前記視差画像群を出力する旨の指示を取得した場合、前記生成手段が生成した画像を前記表示画面に対して出力し、該画像を前記表示画面に表示させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記出力手段は、平均画素値が閾値以上の視差画像のみを前記表示画面に対して出力することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記出力手段は、視差画像を生成するために用いた画素が、他の視差画像を生成するために用いた画素と重複している場合には、該視差画像及び該他の視差画像、以外の視差画像を前記表示画面に対して出力することを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮像レンズ、複数のマイクロレンズから成る２次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサを有する撮像装置の制御方法であって、
前記撮像センサから出力された画像信号から生成された撮像画像を取得する工程と、
前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成工程と、
前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成工程と、
前記生成工程で生成した画像を出力する出力工程と
を備えることを特徴とする撮像装置の制御方法。
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図１】
【図６】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図１】
【図６】
【公開番号】特開２０１２−１４２９１８（Ｐ２０１２−１４２９１８Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−２５１０２４（Ｐ２０１１−２５１０２４）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]