撮像システム
【課題】広い範囲の仮想像面位置における任意焦点画像から高解像度任意焦点画像を生成することが可能な撮像システムを提供する。
【解決手段】本発明に係る撮像システムは、撮像光学系１と、撮像光学系１の開口の異なる領域を通過した光を分離して射出するマイクロレンズアレイ２と、マイクロレンズアレイ２によって形成された像を電気信号に変換して撮影データを生成する光電変換素子３とを有する撮影手段と、所定範囲内の任意の像面位置における画像である任意焦点画像を再構成することが可能な任意焦点画像構成部８と、複数回の撮影で生成された撮影データに基づいて複数枚の任意焦点画像を構成させる撮像制御手段５と、複数枚の任意焦点画像を用いて高解像度任意焦点画像を生成する高解像度化処理部９とを備えることを特徴とするものである。
【解決手段】本発明に係る撮像システムは、撮像光学系１と、撮像光学系１の開口の異なる領域を通過した光を分離して射出するマイクロレンズアレイ２と、マイクロレンズアレイ２によって形成された像を電気信号に変換して撮影データを生成する光電変換素子３とを有する撮影手段と、所定範囲内の任意の像面位置における画像である任意焦点画像を再構成することが可能な任意焦点画像構成部８と、複数回の撮影で生成された撮影データに基づいて複数枚の任意焦点画像を構成させる撮像制御手段５と、複数枚の任意焦点画像を用いて高解像度任意焦点画像を生成する高解像度化処理部９とを備えることを特徴とするものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムに関し、特に像面位置の異なる任意焦点画像を高い解像度で得ることのできる撮像システムに関する。
【背景技術】
【０００２】
近年、ある像面位置で撮影された画像からユーザが指定した異なる像面位置における画像を再構成できるカメラとして、ライトフィールドカメラ（Light Field Camera）が開発されている（例えば、非特許文献１参照）。このライトフィールドカメラは、ライトフィールドフォトグラフィー（ライトフィールドフォトレンダリング）という手法を用いたカメラであり、実質的に所定範囲内の任意のピント位置における画像（任意焦点画像）を１回の撮影で得られるという特徴を持つ。
【０００３】
ライトフィールドフォトグラフィーでは、撮像光学系と光電変換素子の間にマイクロレンズアレイを配置することにより、撮像光学系の開口の異なる領域を通過しマイクロレンズアレイの各マイクロレンズに収束する光を、それぞれ光電変換素子の異なる画素に分離結像し、得られた撮像データからユーザが設定した像面位置での任意焦点画像を再構成することが可能である。１つのマイクロレンズに入射する光は、入射方向別（通過する撮像光学系の開口の領域別）にマイクロレンズの下流にある光電変換素子の異なる画素に分離結像される。またユーザが設定できる像面位置（以下、仮想像面位置という）の範囲は、１つのマイクロレンズに対する光電変換素子の画素数が多いほど広くなる。
【非特許文献１】レン・イング（Ren Ng）、他５名、"Light Field Photograph with a Hand-held Plenoptic Camera"、Stanford Tech Report CTSR 2005-02、p.1-11
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし上記のライトフィールドカメラでは（例えば、非特許文献１参照）、生成される任意焦点画像の画素数（解像度）がマイクロレンズアレイのマイクロレンズ数と同じになり、光電変換素子の画素数と比べて画素数が大幅に減少してしまうという問題点があった。
【０００５】
また生成される任意焦点画像の画素数（解像度）を保つためにマイクロレンズの数を多くすると、１つのマイクロレンズに対する光電変換素子の画素数が少なくなるため、設定できる仮想像面位置の範囲が狭くなってしまうという問題点があった。
【０００６】
本発明は、上記のような問題点を鑑みてなされたものであり、広い範囲の仮想像面位置における任意焦点画像から高解像度任意焦点画像を生成することが可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像システムは、被写界からの光が通過する撮像光学系と、撮像光学系を通過した光が入射され、撮像光学系の開口の異なる領域を通過した光を分離して射出する分離光学系と、分離光学系によって分離して射出された光が入射され、分離光学系によって形成された像を電気信号に変換して撮影データを生成する光電変換素子とを有する撮影手段と、光電変換素子によって生成された撮影データに基づいて、所定範囲内の任意の像面位置における画像である任意焦点画像を再構成することが可能な任意焦点画像構成手段と、撮影手段に複数回の撮影を行わせ、任意焦点画像構成手段に複数回の撮影で生成された撮影データに基づいて複数枚の任意焦点画像を構成させる撮像制御手段と、複数枚の任意焦点画像を用いて、任意焦点画像よりも解像度の高い高解像度任意焦点画像を生成する高解像度化処理手段と、を備えることを特徴とするものである。
【発明の効果】
【０００８】
本発明に係る撮像システムでは、広い範囲の仮想像面位置における任意焦点画像を高解像度化した高解像度任意焦点画像を生成することが可能となる。
【発明を実施するための最良の形態】
【０００９】
（実施形態１）
以下、図面を参照しながら本発明の実施形態１に係る撮像システムについて説明する。図１は、本発明の実施形態１に係る撮像システムの構成を示すブロック図である。図１には、撮像システムの例として静止画像を撮影するライトフィールドカメラを示している。なお、撮像システムの構成は図１に示すものに限定されず、必要に応じて他の構成要素を追加したり、不必要な構成要素を省略することができる。
【００１０】
本実施形態に係る撮像システムは、図１に示すように撮像光学系１、マイクロレンズアレイ２、光電変換素子３、駆動回路４、撮像制御部５、メモリ６、ユーザＩ／Ｆ（インターフェース）部７、任意焦点画像構成部８、高解像度化処理部９、画像間変化量検出部１０および画像選択部１１によって構成される。本実施形態では、これらの構成要素が１つの撮像装置（カメラ等）に搭載されており、撮像システムによる画像の撮影がハンドヘルド（手持ち）の状態で実施されるものとする。
【００１１】
撮像光学系１は例えば複数のレンズ群から構成され、撮像光学系１を通過した被写界からの光は撮像光学系１の焦点面近傍に像を形成する。撮像光学系１の焦点面近傍には分離光学系としてのマイクロレンズアレイ２が配置されており、撮像光学系１を通過した光はマイクロレンズアレイ２に入射される。マイクロレンズアレイ２は、後に示すように撮像光学系１の開口の異なる領域を通過した光を分離して射出する。マイクロレンズアレイ２の後方には光電変換素子３が配置されており、マイクロレンズアレイ２によって分離して射出された光が入射する。光電変換素子３は、例えばＣＣＤやＣＭＯＳを用いたものであり、マイクロレンズアレイ２を構成するマイクロレンズ２０の焦点距離付近に配置されている。なお本実施形態では、撮像光学系１、マイクロレンズアレイ２、光電変換素子３が光軸Ａに沿って配置されているものとする。
【００１２】
マイクロレンズアレイ２を通過した光は光電変換素子３において像を形成し、光電変換素子３はこの像を電気信号に変換して例えばアナログ形式の撮影データを生成する。そして駆動回路４は、光電変換素子３が生成した撮影データを例えばデジタル形式の撮影データとして読み出す。このとき、例えば駆動回路４の内部に設けられたＡ／Ｄ変換器（図示せず）によってアナログ形式の撮影データをデジタル形式の撮影データに変換する。
【００１３】
撮像制御部５は、ユーザＩ／Ｆ部７を介してユーザから入力された撮影回数（後述）に従って駆動回路４を動作させ、複数回の撮影で生成された撮影データを駆動回路４から任意焦点画像構成部８またはメモリ６へと送る一連の動作を繰り返させる。また撮像制御部５は、撮影回数に従って任意焦点画像構成部８を繰返し動作させる。任意焦点画像構成部８は、光電変換素子３またはメモリ６から撮影データを受け取り、その撮影データに基づいて所定範囲内の任意の像面位置における画像である任意焦点画像を構成する。なお任意焦点画像とは、所定範囲内の任意の像面位置における画像のことであるが、実質的にピントを所定範囲内で自由に変化させた画像と同じである。本実施形態では、任意焦点画像構成部８において１回の撮影で生成された撮影データから所定範囲内の任意の像面位置における任意焦点画像を再構成できるようになっている。
【００１４】
任意焦点画像構成部８によって構成された任意焦点画像は、画像データとしてメモリ６に保存される。またメモリ６に保存された任意焦点画像は、画像間変化量検出部１０および画像選択部１１を介して高解像度化処理部９へ送られる。高解像度化処理部９は、画像変位量推定部９ａと超解像処理部９ｂを備えており、任意焦点画像構成部８で構成された複数枚の任意焦点画像を用いて、任意焦点画像構成部８で構成された任意焦点画像よりも解像度の高い高解像度任意焦点画像を生成する。
【００１５】
画像間変化量検出部１０は、複数枚の任意焦点画像の間の相違度または類似度を、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、相互相関係数等として検出する。画像選択部１１は、画像間変化量検出部１０で検出された相違度または類似度に基づいて、高解像度化処理部９における高解像度任意焦点画像の生成に用いる任意焦点画像を選択する。このとき、画像間変化量検出部１０は例えば基準となる任意焦点画像と他の任意焦点画像の間の相違度をシーンの変化量として検出し、画像選択部１１は相違度が所定の閾値以下の任意焦点画像を高解像度化処理部９へ転送する。なお、画像間変化量検出部１０および画像選択部１１は設けなくてもよい。例えば、構成する撮像システムの撮像対象が静止物に限られる様な場合には画像間変化量検出部１０および画像選択部１１は設けなくてもよい。
【００１６】
図２は、マイクロレンズアレイ２と光電変換素子３の一部を示す拡大図である。ここで、任意焦点画像の構成方法について説明する。マイクロレンズアレイ２を構成するマイクロレンズ２０は、それぞれ光電変換素子３の画素配列３０と対応しており、１つのマイクロレンズ２０を通過する光束は対応する画素配列３０上に像を形成する。それぞれのマイクロレンズ２０に対応する画素配列３０の画素３１の数は、設定される像面位置の範囲および任意焦点画像構成部８で構成される任意焦点画像の解像度に応じて決定される。なお本実施形態では、画素配列３０が５行５列の配列であり、１つの画素配列３０に２５個の画素３１があるものとする。
【００１７】
図３は、撮像光学系１へ入射し１つのマイクロレンズ２０を通過した光線が光電変換素子３上に像を形成する様子を光軸Ａの垂直方向から見た図である。図３に示すように、マイクロレンズアレイ２の１つのマイクロレンズ２０を通過した光は、後方の対応する画素配列３０上に像を形成する。
【００１８】
図４は、撮像光学系１の開口と画素配列３０を光軸Ａの方向から見た図である。なお、図４（ａ）は撮像光学系１の開口を光軸Ａの方向から見た図であり、図４（ｂ）は１つの画素配列３０を光軸Ａの方向から見た図である。図４（ａ）に示すように、撮像光学系１の開口を１つの画素配列３０の画素３１の数と同数の格子状の分割開口に分割した場合、画素配列３０の１つの画素３１には一つの分割開口からの入射光のみが蓄積され、図４（ｂ）に示す各画素（ａ１−ｅ５）と分割開口（Ａ１−Ｅ１）との対応関係は光軸Ａ方向から見て点対称となる。例えば、分割開口Ｅ５から射出した光はいずれかの画素配列３０の画素ｅ５に入射する。
【００１９】
従って、図１の光電変換素子３上の全ての画素配列３０から特定の画素位置（例えば、図４（ｂ）のａ１のみ）の画素データを抽出して並べると、特定の分割開口（ここでは、分割開口Ａ１）から射出される全ての光線が光電変換素子３上に形成する像（分割開口視点画像）となる。本実施形態では、撮像システムの手振れ等の影響により撮影ごとに光電変換素子３上への入射光が僅かに変化する。従って、複数回の撮影で生成される撮影データは、それぞれ分割開口視点画像ごとのずれをデータの違いとして持っている。
【００２０】
図５は、マイクロレンズアレイ２と光電変換素子３への光の入射状態を光軸Ａの垂直方向から見た図である。なお図５のＺは、マイクロレンズアレイと同じ分解能の仮想像面を示している。また図５では、画素配列３０の画素３１として、１列分（ここでは、ａ１、ｂ１、ｃ１、ｄ１、ｅ１）の画素をａ、ｂ、ｃ、ｄ、ｅとして示している。
【００２１】
図５に示す光束Ｌは、それぞれ図１の撮像光学系１の分割開口Ａ１から射出され仮想像面Ｚ上の各画素を通過してマイクロレンズアレイ２上でマイクロレンズ幅Ｄｍと同等若しくはそれ以下の拡がりを持つ。マイクロレンズ２０を通過した光束は、いずれかの画素配列３０の画素ａに結像する。同様に分割開口Ｂ１、Ｃ１、Ｄ１、Ｅ１から射出された光束は、それぞれいずれかの画素配列３０の画素ｂ、ｃ、ｄ、ｅに結像している。
【００２２】
任意焦点画像構成部８は、撮像光学系１のすべての分割開口（本実施形態では２５個）から射出され、ユーザが設定した仮想像面上の各画素を通過する光量を求めることにより、仮想像面における画像を再構成することができる。
【００２３】
図６は、仮想像面上のある画素を通過する光束が撮像光学系１のどの分割開口から射出され、どのマイクロレンズへ入射するかを光軸の垂直方向から見た場合の図である。ここで、仮想像面Ｚ上の画素位置を座標（ｘ、ｙ）、撮像光学系１の分割開口の位置を座標（ｕ、ｖ）、マイクロレンズアレイ２上のマイクロレンズ２０の位置を座標（ｘ´、ｙ´）、撮像光学系１の開口からマイクロレンズアレイ２までの距離をＦ、撮像光学系１の開口から仮想像面Ｚまでの距離をαＦとする。なお図６では、鉛直方向を表すｘ、ｕ、ｘ´方向についてのみ示している。図６に示すように、座標（ｕ、ｖ）と座標（ｘ、ｙ）を通過した光束は、マイクロレンズアレイ２の（ｕ＋（ｘ−ｕ）／α、ｖ＋（ｙ−ｕ）／α）の位置に達し、（ｘ´、ｙ´）＝（ｕ＋（ｘ−ｕ）／α、ｖ＋（ｙ−ｕ）／α）となる。
【００２４】
このため、光電変換素子３の画素３１の画素値をＬ（ｘ´、ｙ´、ｕ、ｖ）とすると、仮想像面Ｚの各画素の画素値Ｅ（ｘ、ｙ）は以下の式（１）で求められる。
【００２５】
【数１】
【００２６】
式（１）において、αはユーザによって与えられるため、（ｘ、ｙ）、（ｕ、ｖ）を与えれば光束の入射するマイクロレンズ２０の位置（ｘ´、ｙ´）が分かる。そして、そのマイクロレンズ２０に対応する画素配列３０から（ｕ、ｖ）の位置の画素３１（例えば、分割開口が図４（ａ）のＡ１であれば図４（ｂ）のａ１）の画素値Ｌ（ｘ´、ｙ´、ｕ、ｖ）を抽出する。これをすべての分割開口について行い、抽出された画素値を合計（積分）することにより仮想像面Ｚの各画素の画素値Ｅ（ｘ、ｙ）が求められる。なお図１における積分は、ｕ、ｖを撮像光学系１の分割開口の代表座標として単純加算により行うことができる。
【００２７】
図７は、撮像光学系１の１つの分割開口から射出され、仮想像面Ｚ上の１つの画素を通過した光束Ｌ１が２つのマイクロレンズ２０にまたがって入射する場合を光軸Ａの垂直方向から見た図である。この場合、光束Ｌ１はマイクロレンズＭＬ１、ＭＬ２に対応する２つの画素配列３０の画素１ａ、２ａに分散して結像する。従って光束Ｌ１による画素値Ｌ１（ｘ´、ｙ´、ｕ、ｖ）は、画素１ａ、２ａの画素値Ｌ１ａ、Ｌ２ａの補間によって求められる。本実施形態では、画素値Ｌ１（ｘ´、ｙ´、ｕ、ｖ）をマイクロレンズＭＬ１、ＭＬ２上での光束Ｌ１の像の長さｄ１、ｄ２を用いて、以下の式（２）で表される線形補間で求めるものとする。なお、像の長さｄ１、ｄ２はカメラの撮影パラメータ、仮想像面の位置等から実験的に求められる。
【００２８】
【数２】
【００２９】
図８は、本実施形態に係る撮像システムにおいて任意焦点画像を精度良く再構成できる仮想像面Ｚの設定範囲を示した図である。撮像光学系１のある分割開口から射出され、仮想像面Ｚ上のある画素を通る光束Ｌがマイクロレンズアレイ上でマイクロレンズ幅Ｄｍと同等若しくはそれ以下の拡がりを持つ場合は、式（１）を用いて精度良く仮想像面Ｚ上の画素値を求めることができる。マイクロレンズ２０の前側と後側でそれぞれ焦点を結び、マイクロレンズ上で直径Ｄｍの拡がりを持つ光束Ｌ１、Ｌ２が同じ幅の広がりとなる共役面をＺ１、Ｚ２とすると、Ｚ１からＺ２までが精度良く任意焦点画像を再構成できる仮想像面Ｚの設定範囲となる。１つのマイクロレンズ２０に対応する画素配列３０がｎ行ｎ列の画素３１から構成されている場合、マイクロレンズアレイ２の前後それぞれの仮想像面設定可能範囲φ１を式（３）に示す。式（３）のＦ０は、撮像光学系のＦ値を示している。なお本実施形態では、ｎ＝５である。
【００３０】
図９は、さらに任意焦点画像を精度良く再構成できる仮想像面Ｚの設定範囲を示した図である。図９では、仮想像面Ｚ上で完全に結像する光線のみに注目しており、仮想像面設定可能範囲を式（４）に示されるφ２に縮小している。
【００３１】
【数３】
【００３２】
【数４】
【００３３】
ユーザは、上記の仮想像面設定可能範囲から任意の仮想像面Ｚの位置を指定できる。また仮想像面Ｚの位置を、任意焦点画像構成部８がカメラパラメータ等を用いて自動で設定するようにしてもよい。
【００３４】
図１０は、複数枚の任意焦点画像が構成されるまでの処理を示すフローチャートである。ここで、撮像制御部５による制御で複数回の撮影が行われ、複数枚の任意焦点画像が構成されるまでの流れについて説明する。
【００３５】
まず、ユーザＩ／Ｆ部７を介してユーザから撮影回数Ｎが入力される（Ｓ１０１）。このとき、撮影回数Ｎの他に撮影時のカメラパラメータ等を入力するようにしてもよい。次に、撮像制御部５は駆動回路４を介して撮像光学系１、マイクロレンズアレイ２、光電変換素子３等からなる撮影手段に１回撮影を行わせ、光電変換素子３から出力された撮影データをメモリ６に保存する（Ｓ１０２）。そして、Ｓ１０１で入力された撮影回数Ｎ分の撮影が完了したか判定し（Ｓ１０３）、撮影が完了していなければＳ１０２における１回撮影、撮影データの保存を繰り返す。このとき、例えば２秒間連続的に撮影を行うようにし、６０回分の撮影データ（撮像システムが３０ｆｐｓの場合）を保存するようにする。
【００３６】
Ｎ回の撮影が完了した場合は、例えばユーザＩ／Ｆ部７を介してユーザが仮想像面位置を設定する（Ｓ１０４）。ユーザが任意焦点画像構成の都度に仮想像面位置を設定してもよく、また、予め設定した複数の仮想像面位置に対して任意焦点画像構成を行わせてもよい。予め設定する仮想象面位置としては例えば仮想像面設定可能範囲内に等間隔に配置したものなどが考えられる。そして、任意焦点画像構成部８はメモリ６に保存されたＮ回分の撮影データのうち１回分の撮影データを読み込む（Ｓ１０５）。それから任意焦点画像構成部８は、Ｓ１０５で読み込んだ撮影データとＳ１０４で設定された仮想像面位置を用いて一枚の任意焦点画像を構成する（Ｓ１０６）。次に、メモリ６に保存されているＮ回分の撮影データの読み込みが完了したかどうかを判定し（Ｓ１０７）、完了していなければメモリ６から別の撮影データを読み込む。Ｎ回分の撮影データの読み込みが完了した場合には、ユーザがユーザＩ／Ｆ部７等を介して異なる仮想像面位置で任意焦点画像の再構成を行うかどうかを選択し（Ｓ１０８）、任意焦点画像の再構成を行う場合には上記のＳ１０４からＳ１０８までの処理を繰り返す。任意焦点画像の再構成を行わない場合には処理を終了する。なお本実施形態では、撮影されたＮ回分のすべての撮影データについて任意焦点画像を構成するようにしているが、一部の撮影データについてのみ任意焦点画像を構成するようにしてもよい。
【００３７】
このようにして、撮影枚数に応じた任意焦点画像が仮想像面位置ごとに生成できる。ある一つの仮想像面位置において撮影データごとに任意焦点画像を比較すると、分割開口視点画像ごとのずれが合成され、任意焦点画像全体のずれとなっている。
【００３８】
図１０に示す処理によって構成された複数枚の任意焦点画像は画像データとして一旦メモリ６に保存され、その後高解像度化処理部９において高解像度任意焦点画像の生成に利用される。なお、上記のように複数枚の任意焦点画像は、メモリ６から画像間変化量検出部１０および画像選択部１１を介して高解像度化処理部９へ転送される。画像間変化量検出部１０は、シーンの変化量として任意焦点画像の間の相違度または類似度を検出し、画像選択部１１はシーンの変化量が所定の閾値以下である任意焦点画像を高解像度化処理部９へ転送する。
【００３９】
ここで、高解像度化処理部９で行われる任意焦点画像の高解像度化処理について説明する。なお本実施形態では、高解像度化処理において同じ仮想像面位置で構成された複数枚の任意焦点画像を用いるものとするが、例えば若干仮想像面位置の異なる複数枚の任意焦点画像を用いて高解像度任意焦点画像を生成してもよい。高解像度化処理部９では、画像変位量推定部９ａにおいて任意焦点画像間の画像変位量（画素位置対応）を推定した後、この画素変位量と任意焦点画像の画像データを用いて超解像処理部９ｂにおいて高解像度任意焦点画像を生成する。
【００４０】
なお高解像度化処理手段９では、図１０の処理で構成された複数枚の任意焦点画像から１枚の基準画像を選択し、その基準画像に対して高解像度化処理を行う。このとき、基準画像の全体に対して高解像度化処理を行ってもよいが、例えばユーザが高解像度化処理を行いたい部分領域を選択するようにして、その部分領域についてのみ高解像度化処理を行うようにしてもよい。この場合、画像変位量を推定できるように画像変位量推定部９ａに対して基準画像の部分領域の画像データを転送し、それ以外の任意焦点画像については基準画像の部分領域よりも大きい領域の画像データを転送するようにする。例えば、選択された基準画像の部分領域を１ブロックとして、その他の任意焦点画像については部分領域とその周辺を含む９ブロック分の画像データを転送するようにする。
【００４１】
図１１は、画像変位量推定部９ａで行われる画像変位量推定処理のアルゴリズムを示すフローチャートである。以下、図１１に示すアルゴリズムの流れに添って画像変位量推定部９ａで行われる画像変位量推定処理の説明を行う。まず、画像変位量推定の基準となる任意焦点画像を基準画像として１枚読み込む（Ｓ２０１）。本実施形態では、撮像システムのシャッターボタン（図示せず）が全押しされた直後の１回目の撮影で生成された撮影データから構成された任意焦点画像を基準画像とするが、基準画像をその他の任意焦点画像としてもよい。次に、基準画像を複数の画像変位パラメータで変形させ、画像列を生成する（Ｓ２０２）。このとき、例えば基準画像を所定の範囲で並進、回転させて画像列を生成する。それから、基準画像との間の画像変位量推定を行う参照画像として、図１０の処理で構成された任意焦点画像のうち１枚の画像を読み込む（Ｓ２０３）。そして、領域ベースマッチング手法等のピクセルマッチング手法を用いて基準画像と参照画像との間で大まかな画素位置の対応付けを行う（Ｓ２０４）。これにより、基準画像と参照画像との間の画像変位量がピクセル（画素）レベルで求められる。
【００４２】
次に、Ｓ２０２で基準画像を変形することにより生成された画像列と参照画像との間の類似度値を算出する（Ｓ２０５）。この類似度は、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）等の画像列と参照画像との差分として求めることができる。そしてＳ２０２において画像列を生成した際の画像変位パラメータと、Ｓ２０５で算出した類似度値との関係を用いて、離散的な類似度マップを作成する（Ｓ２０６）。それから、Ｓ２０６で作成した離散的な類似度マップを補完して連続的な類似度曲線を求め、この連続的な類似度曲線において類似度値の極値を探索する（Ｓ２０７）。離散的な類似度マップを補完して連続的な類似度曲線を求める方法としては、例えばパラボラフィッティングやスプライン補間法がある。この連続的な類似度曲線において類似度値が極値になるときの画像変位パラメータが、基準画像と参照画像との間の画像変位量として推定される。
【００４３】
その後、超解像処理部９ｂにおける高解像度任意焦点画像の生成に用いられるすべての任意焦点画像について画像変位量推定が行われたかどうかを判定し（Ｓ２０８）、すべての任意焦点画像について画像変位量推定が行われていない場合には、図１０の処理で構成された任意焦点画像のうち他の任意焦点画像を次の参照画像として（Ｓ２０９）、Ｓ２０３からＳ２０８までの処理を繰り返す。Ｓ２０８において、超解像処理部９ｂで用いられるすべての画像について画像変位量推定が行われたと判定された場合には処理を終了する。
【００４４】
図１２は、図１１の処理において画像変位量推定部９ａが求めた類似度曲線の例を示す図である。図１２において、縦軸は類似度値を、横軸は図１１のＳ２０２において画像列を生成した際の画像変位パラメータを示している。図１２の例では、画像列と参照画像との間の類似度がＳＳＤで算出されており、類似度曲線が離散的な類似度マップをパラボラフィッティングで補完することにより求められているため、類似度値が小さいほど類似度が高くなる。このように、離散的な類似度マップを補完して連続的な類似度曲線を求め、その極値（図１２の例では極小値）を探索することにより、基準画像と参照画像との間の画像変位量をサブピクセルレベルで求めることができる。
【００４５】
このように、画像変位量推定部９ａで推定された画像変位量と、画像変位量を求めた任意焦点画像の画像データを超解像処理部９ｂへ転送し、基準画像に対して高解像度化処理を行う。
【００４６】
図１３は、超解像処理部９ｂで行われる高解像度化処理のアルゴリズムを示すフローチャートである。以下、図１３に示すアルゴリズムの流れに添って超解像処理を用いた高解像度化処理の説明を行う。まず、基準画像の画像データと画像変位量推定部９ａが画像変位量を推定した複数枚の任意焦点画像の画像データを読み込む（Ｓ３０１）。次に、基準画像を高解像度化処理のターゲット画像として、このターゲット画像に対しバイリニア補間やバイキュービック補間等の補完処理を行って初期画像ｚ0を作成する（Ｓ３０２）。なおこの補間処理は、場合により省略することができる。
【００４７】
それから、画像変位量推定部９ａが推定した画像変位量を用いて、ターゲット画像と画像変位量が推定された任意焦点画像との間の画素対応関係を明らかにし、ターゲット画像の拡大座標を基準とする座標空間において重ねあわせ処理を行って、レジストレーション画像ｙを生成する（Ｓ３０３）。なおここでｙは、レジストレーション画像の画像データを表すベクトルである。このレジストレーション画像ｙを生成する方法の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Computer Vision and Image Media(CVIM) Vol.2004、No.113、pp.97-104 (2004-11)」に開示されている。Ｓ３０３における重ねあわせ処理は、図１１の処理において画像変位量が推定された複数枚の任意焦点画像の各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００４８】
次に、光学伝達関数(ＯＴＦ、Optical Transfer Function)、ＣＣＤアパーチャ（ＣＣＤ開口）等の撮像特性を考慮した点広がり関数(ＰＳＦ、Point Spread Function)を求める（Ｓ３０４）。このＰＳＦは、以下の式（５）における行列Ａに反映され、例えば簡易的にＧａｕｓｓ関数を用いることができる。それから、Ｓ３０３で生成されたレジストレーション画像ｙとＳ３０４で求められたＰＳＦを用いて、以下の式（５）で表される評価関数ｆ（ｚ）の最小化を行い（Ｓ３０５）、ｆ（ｚ）が最小化されたかどうかを判定する（Ｓ３０６）。
【００４９】
【数１】
【００５０】
式（５）において、ｙはＳ６０３で生成されたレジストレーション画像の画像データを表す列ベクトル、ｚはターゲット画像を高解像度化した高解像度任意焦点画像の画像データを表す列ベクトル、ＡはＰＳＦ等を含めた撮像システムの特性をあらわす画像変換行列である。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。式（５）で表される評価関数ｆ（ｚ）の最小化には、例えば最急降下法を用いることができる。最急降下法を用いる場合には、ｆ（ｚ）をｚの各要素で偏微分した値を計算して、それらの値を要素とするベクトルを生成する。そして以下の式（６）に示すように、偏微分した値を要素とするベクトルをｚに付加することにより、高解像度任意焦点画像ｚを更新させていき（Ｓ３０７）、ｆ（ｚ）が最小となるｚを求める。
【００５１】
【数２】
【００５２】
式（６）において、ｚnはｎ回目の更新を行った高解像度任意焦点画像の画像データを表す列ベクトルであり、αは更新量の歩み幅である。なお、最初のＳ３０５の処理では、高解像度任意焦点画像ｚとしてＳ３０２で求められた初期画像ｚ0を用いることができる。Ｓ３０６においてｆ（ｚ）が最小化されたと判定された場合には処理を終了し、そのときのｚnを最終的な高解像度任意焦点画像としてメモリ６等に記録する。このようにして、図１０の処理で構成された任意焦点画像よりも解像の高い高解像度任意焦点画像を得ることができる。
【００５３】
図１４は、超解像処理部９ｂの構成例を示すブロック図である。ここで、超解像処理部９ｂで行われる超解像処理を用いた高解像度化処理についてさらに説明する。図１４に示す超解像処理部９ｂは、補間拡大部２０１、画像蓄積部２０２、ＰＳＦデータ保持部２０３、畳込み積分部２０４、レジストレーション画像生成部２０５、画像比較部２０６、畳込み積分部２０７、正則化項演算部２０８、更新画像生成部２０９、収束判定部２１０から構成される。
【００５４】
はじめに、基準画像を高解像化処理のターゲット画像として補間拡大部２０１に与え、ターゲット画像の補間拡大を行う（図１３のＳ３０２に対応）。ここで用いられる補間拡大の方法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。補間拡大部２０１において補間拡大されたターゲット画像は、例えば初期画像ｚ0として画像蓄積部２０２に送られ、ここに蓄積される。次に、補間拡大されたターゲット画像は畳込み積分部２０４に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータ（式（５）の画像変換行列Ａに相当）との間で畳込み積分が行われる。
【００５５】
また、ターゲット画像および画像変位量推定部９ａが画像変位量を推定した複数枚の参照画像は、レジストレーション画像生成部２０５に与えられ、画像変位量推定部２０ａで求められた画像変位量を元にターゲット画像の拡大座標を基準とする座標空間で重ねあわせ処理を行うことにより、レジストレーション画像ｙが生成される（図１３のＳ３０３に対応）。レジストレーション画像生成部２０５における重ねあわせ処理は、例えば画像変位量推定部９ａが画像変位量を推定した複数枚の任意焦点画像の各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００５６】
畳込み積分部２０４において畳込み積分された画像データ（ベクトル）は画像比較部２０６に送られ、レジストレーション画像生成部２０５において生成されたレジストレーション画像ｙとの間で、同一のピクセル位置におけるピクセル値の差分を算出することにより、差分画像データ（式（５）の（ｙ−Ａｚ）に相当）が生成される。画像比較部２０６において生成された差分画像データは畳込み積分部２０７に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータとの間で畳込み積分が行われる。畳込み積分部２０７は、例えば式（５）における画像変換行列Ａの転置行列と差分画像データを表す列ベクトルとを畳込み積分することにより、式（５）の‖ｙ−Ａｚ‖2をｚの各要素で偏微分したベクトルを生成する。
【００５７】
また、画像蓄積部２０２に蓄積された画像は正則化項演算部２０８に与えられ、式（５）における正則化項ｇ（ｚ）が求められると共に、正則化項ｇ（ｚ）をｚの各要素で偏微分したベクトルが求められる。正則化項演算部２０８は、例えば、画像蓄積部２０２に蓄積された画像データに対して、ＲＧＢからＹＣrＣbの色変換処理を行い、そのＹＣrＣb成分（輝度成分と色差成分）に対して周波数高域通過フィルタ（ラプラシアンフィルタ）を畳込み積分したベクトルを求める。そして、このベクトルの二乗ノルム（長さの二乗）を正則化項ｇ（ｚ）として、ｇ（ｚ）をｚの各要素で偏微分したベクトルを生成する。Ｃr、Ｃb成分（色差成分）にラプラシアンフィルタを掛けると偽色の成分が抽出されるため、正則化項ｇ（ｚ）を最小化することにより偽色の成分を除去することができる。このため、式（５）に正則化項ｇ（ｚ）を含めることで「一般に画像の色差成分は滑らかな変化である」という画像の先験情報を用いることとなり、色差を抑制した高解像度画像を安定して求めることが可能となる。
【００５８】
畳込み積分部２０７で生成された画像データ（ベクトル）、画像蓄積部２０２に蓄積された画像データ（ベクトル）、正則化項演算部２０８で生成された画像データ（ベクトル）は、更新画像生成部２０９に与えられる。更新画像生成部２０９では、これらの画像データ（ベクトル）が式（５）、式（６）に示すλ、α等の重み係数を乗じて加算され、更新された高解像度任意焦点画像が生成される（式（６）に対応）。
【００５９】
それから、更新画像生成部２０９において更新された高解像度任意焦点画像は、収束判定部２１０へ与えられ、収束判定が行われる。この収束判定では、収束にかかった繰り返し演算回数が一定回数よりも多くなった場合に高解像度任意焦点画像の更新作業が収束したと判断しても良いし、また、過去に更新された高解像度任意焦点画像を記録しておき、現在の高解像度任意焦点画像との差分を取って、その更新量が一定の値よりも少ないと判断された場合に高解像度任意焦点画像の更新作業が収束したと判断しても良い。
【００６０】
収束判定部２１０において更新作業が収束したと判断された場合には、更新された高解像度任意焦点画像は最終的な高解像度任意焦点画像として外部へ出力される。更新作業が収束していないと判断された場合には、更新された高解像度任意焦点画像は画像蓄積部２０２へ与えられ、次回の更新作業に利用される。この高解像度任意焦点画像は、次回の更新作業のために畳込み積分部２０４、正則化項演算部２０８へ与えられる。以上の処理を繰り返し、更新画像生成部２０９で高解像度任意焦点画像を更新していくことで、良好な高解像度任意焦点画像を得ることができる。なおレジストレーション画像ｙを生成する代わりに、各参照画像に重み係数をかける方法で超解像処理部９ｂにおける高解像度化処理を行うこともできる。
【００６１】
本実施形態では、撮像光学系１、マイクロレンズアレイ２、光電変換素子３等を有する撮影手段で複数回の撮影を行って複数枚の任意焦点画像を構成し、これらの微小な位置ずれがある任意焦点画像間の画像変位量を推定して高解像度任意焦点画像を生成するため、広い範囲の仮想像面位置における任意焦点画像を高解像度化した高解像度任意焦点画像を生成することが可能となる。
【００６２】
（実施形態２）
図１５は、本発明の実施形態２に係る撮像システムの構成を示すブロック図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００６３】
本実施形態に係る撮像システムは、実施形態１に係る撮像システムの構成要素に加えて撮像部移動機構１５と撮像部移動量記録部１６を備えている。また本実施形態に係る撮像システムでは、高解像度化処理部９に画像変位量推定部９ａがなく、超解像処理部９ｂのみで構成されている。
【００６４】
撮像部移動機構１５は、撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを光軸Ａに垂直な面内で移動させる。この撮像部移動機構１５として、例えば既存の手振れ補正機構等で利用されている駆動機構を利用することができる。なお本実施形態では、マイクロレンズアレイ２と光電変換素子３の位置関係が変わらないように、マイクロレンズアレイ２と光電変換素子３を同じ移動量および同じ移動方向で移動させるものとする。
【００６５】
また撮像部移動量記録部１６は、撮影が行われるごとに、撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち撮像部移動機構１５によって移動されるものの移動量および移動方向を記録する。この撮像部移動量記録部１６として、例えば手振れ補正機構のジャイロセンサ等を利用することができる。
【００６６】
撮像部移動量記録部１６は、撮影ごとの移動量および移動方向を高解像度化処理部９へ転送する。本実施形態では、撮像部移動量記録部１６が上記の移動量を任意焦点画像構成部８で構成された任意焦点画像のスケールに縮小して高解像度化処理部９へ送るようになっている。任意焦点画像のスケールは任意焦点画像の分解能、即ちマイクロレンズ２０の数で決まる。例えば本実施形態では、任意焦点画像の分解能は光電変換素子３の画素数の１／２５であり、実際の移動量の１／５が任意焦点画像間のずれ量として送られる。一般的に１つのマイクロレンズ２０に対応する画素配列３０がｎ行ｎ列である場合には、実際の移動量の１／ｎが任意焦点画像間のずれ量となる。
【００６７】
画像間変化量検出部１０は、実施形態１と同様にシーンの変化量として任意焦点画像の間の相違度または類似度を検出し、画像選択部１１はシーンの変化量が所定の閾値以下である任意焦点画像を高解像度化処理部９へ転送する。本実施形態では、実施形態１の場合よりもシーンの変化量がさらに少ない任意焦点画像のみを高解像度化処理部９へ送るようになっている。これは、高解像度化処理部９に画像変位量推定部９ａがないためである。
【００６８】
図１６は、画像間変化量検出部１０および画像選択部１１で行われる処理を示すフローチャートである。なお実施形態１においても、画像間変化量検出部１０および画像選択部１１は、図１６に示す処理とほぼ同様の処理を行っている。
【００６９】
まず、任意焦点画像構成部８で構成された任意焦点画像を１枚読み込む（Ｓ４０１）。次に、任意焦点画像の読み込みが１回目かどうかを判定し（Ｓ４０２）、１回目である場合にはその任意焦点画像を基準画像として（Ｓ４０８）、次の任意焦点画像を読み込む（Ｓ４０１）。基準画像以外の２枚目以降の任意焦点画像については、基準画像とその任意焦点画像との差分値（上記の相違度等）を計算し（Ｓ４０３）、差分値が閾値以下かどうかを判定する（Ｓ４０４）。任意焦点画像と基準画像の差分値が閾値以下である場合には、その任意焦点画像を超解像処理部９ｂへ転送する転送用画像として登録する（Ｓ４０５）。それから、すべての任意焦点画像について読み込みが完了したかどうかを判定し（Ｓ４０６）、読み込みが完了していない場合にはＳ４０１からＳ４０６までの処理を繰り返す。すべての任意焦点画像の読み込みが完了した場合には、Ｓ４０５で転送用画像として登録された任意焦点画像と基準画像を超解像処理部９ｂへ転送する。
【００７０】
その後、超解像処理部９ｂは転送された基準画像および任意焦点画像と、撮像部移動量記録部１６から転送された移動量および移動方向を用いて高解像度任意焦点画像を生成する。本実施形態において超解像処理部９ｂは、実施形態１における画像変位量の代わりに上記の移動量および移動方向を用いて高解像度化任意焦点画像を生成する。
【００７１】
本実施形態では、撮像部移動機構１５で撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを移動させ、撮像部移動記録部１６でその移動量および移動方向を記録し、記録された移動量および移動方向を用いて高解像度化任意焦点画像を生成するため、画像変位量を推定することなく短時間で高解像度化任意焦点画像を生成することが可能となる。その他の効果については、実施形態１に係る撮像システムと同様である。
【００７２】
（実施形態３）
図１７は、本発明の実施形態３に係る撮像システムの構成を示すブロック図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００７３】
本実施形態に係る撮像システムは、実施形態１に係る撮像システムの構成要素に加えて撮像部移動機構１５を備えている。撮像部移動機構１５は、実施形態２と同様に撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを光軸Ａに垂直な面内で移動させる。
【００７４】
しかし本実施形態では、高解像度化処理部９に画像変位量推定部９ａが設けられており、画像変位量推定部９ａは実施形態１と同様に基準画像とその他の任意焦点画像との間の画像変位量を推定する。なお本実施形態では、実施形態１と同様の処理により高解像度化任意焦点画像を生成する。
【００７５】
本実施形態では、撮像部移動機構１５が撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを移動させるため、適当な位置ずれを自発的に発生させることが可能となる。その他の効果については、実施形態１に係る撮像システムと同様である。
【００７６】
なお、本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。例えば、上記の実施形態ではすべての構成要素が１つの撮像装置に搭載されている例を示しているが、例えば任意焦点画像構成部８や高解像度化処理部９における処理をパーソナルコンピュータ等の画像処理装置で行うようにしてもよい。また上記の実施形態では、高解像度化処理部９において超解像処理による高解像度化処理を行っているが、超解像処理以外の高解像度化処理を行うようにしてもよい。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態１に係る撮像システムの構成を示すブロック図である。
【図２】マイクロレンズアレイ２と光電変換素子３の一部を示す拡大図である。
【図３】撮像光学系へ入射し１つのマイクロレンズを通過した光線が光電変換素子上に像を形成する様子を光軸の垂直方向から見た図である。
【図４】撮像光学系の開口と画素配列を光軸の方向から見た図である。
【図５】マイクロレンズアレイと光電変換素子への光の入射状態を光軸の垂直方向から見た図である。
【図６】仮想像面上のある画素を通過する光束が撮像光学系のどの分割開口から射出され、どのマイクロレンズへ入射するかを光軸の垂直方向から見た場合の図である。
【図７】撮像光学系の１つの分割開口から射出され、仮想像面上の１つの画素を通過した光束が２つのマイクロレンズにまたがって入射する場合を光軸の垂直方向から見た図である。
【図８】実施形態１に係る撮像システムにおいて任意焦点画像を精度良く再構成できる仮想像面の設定範囲を示した図である。
【図９】さらに任意焦点画像を精度良く再構成できる仮想像面の設定範囲を示した図である。
【図１０】複数枚の任意焦点画像が構成されるまでの処理を示すフローチャートである。
【図１１】画像変位量推定部で行われる画像変位量推定処理のアルゴリズムを示すフローチャートである。
【図１２】図１１の処理において画像変位量推定部が求めた類似度曲線の例を示す図である。
【図１３】超解像処理部で行われる高解像度化処理のアルゴリズムを示すフローチャートである。
【図１４】超解像処理部の構成例を示すブロック図である。
【図１５】本発明の実施形態２に係る撮像システムの構成を示すブロック図である。
【図１６】画像間変化量検出部および画像選択部で行われる処理を示すフローチャートである。
【図１７】本発明の実施形態３に係る撮像システムの構成を示すブロック図である。
【符号の説明】
【００７８】
１ 撮像光学系
２ マイクロレンズアレイ
３ 光電変換素子
４ 駆動回路
５ 撮像制御部
６ メモリ
７ ユーザＩ／Ｆ部
８ 任意焦点画像構成部
９ 高解像度化処理部
９ａ 画像変位量推定部
９ｂ 超解像処理部
１０ 画像間変化量検出部
１１ 画像選択部
１５ 撮像部移動機構
１６ 撮像部移動量記録部
２０ マイクロレンズ
３０ 画素配列
３１ 画素
２０１ 補間拡大部
２０２ 画像蓄積部
２０３ ＰＳＦデータ保持部
２０４ 畳込み積分部
２０５ レジストレーション画像生成部
２０６ 画像比較部
２０７ 畳込み積分部
２０８ 正則化項演算部
２０９ 更新画像生成部
２１０ 収束判定部
【技術分野】
【０００１】
本発明は、撮像システムに関し、特に像面位置の異なる任意焦点画像を高い解像度で得ることのできる撮像システムに関する。
【背景技術】
【０００２】
近年、ある像面位置で撮影された画像からユーザが指定した異なる像面位置における画像を再構成できるカメラとして、ライトフィールドカメラ（Light Field Camera）が開発されている（例えば、非特許文献１参照）。このライトフィールドカメラは、ライトフィールドフォトグラフィー（ライトフィールドフォトレンダリング）という手法を用いたカメラであり、実質的に所定範囲内の任意のピント位置における画像（任意焦点画像）を１回の撮影で得られるという特徴を持つ。
【０００３】
ライトフィールドフォトグラフィーでは、撮像光学系と光電変換素子の間にマイクロレンズアレイを配置することにより、撮像光学系の開口の異なる領域を通過しマイクロレンズアレイの各マイクロレンズに収束する光を、それぞれ光電変換素子の異なる画素に分離結像し、得られた撮像データからユーザが設定した像面位置での任意焦点画像を再構成することが可能である。１つのマイクロレンズに入射する光は、入射方向別（通過する撮像光学系の開口の領域別）にマイクロレンズの下流にある光電変換素子の異なる画素に分離結像される。またユーザが設定できる像面位置（以下、仮想像面位置という）の範囲は、１つのマイクロレンズに対する光電変換素子の画素数が多いほど広くなる。
【非特許文献１】レン・イング（Ren Ng）、他５名、"Light Field Photograph with a Hand-held Plenoptic Camera"、Stanford Tech Report CTSR 2005-02、p.1-11
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし上記のライトフィールドカメラでは（例えば、非特許文献１参照）、生成される任意焦点画像の画素数（解像度）がマイクロレンズアレイのマイクロレンズ数と同じになり、光電変換素子の画素数と比べて画素数が大幅に減少してしまうという問題点があった。
【０００５】
また生成される任意焦点画像の画素数（解像度）を保つためにマイクロレンズの数を多くすると、１つのマイクロレンズに対する光電変換素子の画素数が少なくなるため、設定できる仮想像面位置の範囲が狭くなってしまうという問題点があった。
【０００６】
本発明は、上記のような問題点を鑑みてなされたものであり、広い範囲の仮想像面位置における任意焦点画像から高解像度任意焦点画像を生成することが可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像システムは、被写界からの光が通過する撮像光学系と、撮像光学系を通過した光が入射され、撮像光学系の開口の異なる領域を通過した光を分離して射出する分離光学系と、分離光学系によって分離して射出された光が入射され、分離光学系によって形成された像を電気信号に変換して撮影データを生成する光電変換素子とを有する撮影手段と、光電変換素子によって生成された撮影データに基づいて、所定範囲内の任意の像面位置における画像である任意焦点画像を再構成することが可能な任意焦点画像構成手段と、撮影手段に複数回の撮影を行わせ、任意焦点画像構成手段に複数回の撮影で生成された撮影データに基づいて複数枚の任意焦点画像を構成させる撮像制御手段と、複数枚の任意焦点画像を用いて、任意焦点画像よりも解像度の高い高解像度任意焦点画像を生成する高解像度化処理手段と、を備えることを特徴とするものである。
【発明の効果】
【０００８】
本発明に係る撮像システムでは、広い範囲の仮想像面位置における任意焦点画像を高解像度化した高解像度任意焦点画像を生成することが可能となる。
【発明を実施するための最良の形態】
【０００９】
（実施形態１）
以下、図面を参照しながら本発明の実施形態１に係る撮像システムについて説明する。図１は、本発明の実施形態１に係る撮像システムの構成を示すブロック図である。図１には、撮像システムの例として静止画像を撮影するライトフィールドカメラを示している。なお、撮像システムの構成は図１に示すものに限定されず、必要に応じて他の構成要素を追加したり、不必要な構成要素を省略することができる。
【００１０】
本実施形態に係る撮像システムは、図１に示すように撮像光学系１、マイクロレンズアレイ２、光電変換素子３、駆動回路４、撮像制御部５、メモリ６、ユーザＩ／Ｆ（インターフェース）部７、任意焦点画像構成部８、高解像度化処理部９、画像間変化量検出部１０および画像選択部１１によって構成される。本実施形態では、これらの構成要素が１つの撮像装置（カメラ等）に搭載されており、撮像システムによる画像の撮影がハンドヘルド（手持ち）の状態で実施されるものとする。
【００１１】
撮像光学系１は例えば複数のレンズ群から構成され、撮像光学系１を通過した被写界からの光は撮像光学系１の焦点面近傍に像を形成する。撮像光学系１の焦点面近傍には分離光学系としてのマイクロレンズアレイ２が配置されており、撮像光学系１を通過した光はマイクロレンズアレイ２に入射される。マイクロレンズアレイ２は、後に示すように撮像光学系１の開口の異なる領域を通過した光を分離して射出する。マイクロレンズアレイ２の後方には光電変換素子３が配置されており、マイクロレンズアレイ２によって分離して射出された光が入射する。光電変換素子３は、例えばＣＣＤやＣＭＯＳを用いたものであり、マイクロレンズアレイ２を構成するマイクロレンズ２０の焦点距離付近に配置されている。なお本実施形態では、撮像光学系１、マイクロレンズアレイ２、光電変換素子３が光軸Ａに沿って配置されているものとする。
【００１２】
マイクロレンズアレイ２を通過した光は光電変換素子３において像を形成し、光電変換素子３はこの像を電気信号に変換して例えばアナログ形式の撮影データを生成する。そして駆動回路４は、光電変換素子３が生成した撮影データを例えばデジタル形式の撮影データとして読み出す。このとき、例えば駆動回路４の内部に設けられたＡ／Ｄ変換器（図示せず）によってアナログ形式の撮影データをデジタル形式の撮影データに変換する。
【００１３】
撮像制御部５は、ユーザＩ／Ｆ部７を介してユーザから入力された撮影回数（後述）に従って駆動回路４を動作させ、複数回の撮影で生成された撮影データを駆動回路４から任意焦点画像構成部８またはメモリ６へと送る一連の動作を繰り返させる。また撮像制御部５は、撮影回数に従って任意焦点画像構成部８を繰返し動作させる。任意焦点画像構成部８は、光電変換素子３またはメモリ６から撮影データを受け取り、その撮影データに基づいて所定範囲内の任意の像面位置における画像である任意焦点画像を構成する。なお任意焦点画像とは、所定範囲内の任意の像面位置における画像のことであるが、実質的にピントを所定範囲内で自由に変化させた画像と同じである。本実施形態では、任意焦点画像構成部８において１回の撮影で生成された撮影データから所定範囲内の任意の像面位置における任意焦点画像を再構成できるようになっている。
【００１４】
任意焦点画像構成部８によって構成された任意焦点画像は、画像データとしてメモリ６に保存される。またメモリ６に保存された任意焦点画像は、画像間変化量検出部１０および画像選択部１１を介して高解像度化処理部９へ送られる。高解像度化処理部９は、画像変位量推定部９ａと超解像処理部９ｂを備えており、任意焦点画像構成部８で構成された複数枚の任意焦点画像を用いて、任意焦点画像構成部８で構成された任意焦点画像よりも解像度の高い高解像度任意焦点画像を生成する。
【００１５】
画像間変化量検出部１０は、複数枚の任意焦点画像の間の相違度または類似度を、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、相互相関係数等として検出する。画像選択部１１は、画像間変化量検出部１０で検出された相違度または類似度に基づいて、高解像度化処理部９における高解像度任意焦点画像の生成に用いる任意焦点画像を選択する。このとき、画像間変化量検出部１０は例えば基準となる任意焦点画像と他の任意焦点画像の間の相違度をシーンの変化量として検出し、画像選択部１１は相違度が所定の閾値以下の任意焦点画像を高解像度化処理部９へ転送する。なお、画像間変化量検出部１０および画像選択部１１は設けなくてもよい。例えば、構成する撮像システムの撮像対象が静止物に限られる様な場合には画像間変化量検出部１０および画像選択部１１は設けなくてもよい。
【００１６】
図２は、マイクロレンズアレイ２と光電変換素子３の一部を示す拡大図である。ここで、任意焦点画像の構成方法について説明する。マイクロレンズアレイ２を構成するマイクロレンズ２０は、それぞれ光電変換素子３の画素配列３０と対応しており、１つのマイクロレンズ２０を通過する光束は対応する画素配列３０上に像を形成する。それぞれのマイクロレンズ２０に対応する画素配列３０の画素３１の数は、設定される像面位置の範囲および任意焦点画像構成部８で構成される任意焦点画像の解像度に応じて決定される。なお本実施形態では、画素配列３０が５行５列の配列であり、１つの画素配列３０に２５個の画素３１があるものとする。
【００１７】
図３は、撮像光学系１へ入射し１つのマイクロレンズ２０を通過した光線が光電変換素子３上に像を形成する様子を光軸Ａの垂直方向から見た図である。図３に示すように、マイクロレンズアレイ２の１つのマイクロレンズ２０を通過した光は、後方の対応する画素配列３０上に像を形成する。
【００１８】
図４は、撮像光学系１の開口と画素配列３０を光軸Ａの方向から見た図である。なお、図４（ａ）は撮像光学系１の開口を光軸Ａの方向から見た図であり、図４（ｂ）は１つの画素配列３０を光軸Ａの方向から見た図である。図４（ａ）に示すように、撮像光学系１の開口を１つの画素配列３０の画素３１の数と同数の格子状の分割開口に分割した場合、画素配列３０の１つの画素３１には一つの分割開口からの入射光のみが蓄積され、図４（ｂ）に示す各画素（ａ１−ｅ５）と分割開口（Ａ１−Ｅ１）との対応関係は光軸Ａ方向から見て点対称となる。例えば、分割開口Ｅ５から射出した光はいずれかの画素配列３０の画素ｅ５に入射する。
【００１９】
従って、図１の光電変換素子３上の全ての画素配列３０から特定の画素位置（例えば、図４（ｂ）のａ１のみ）の画素データを抽出して並べると、特定の分割開口（ここでは、分割開口Ａ１）から射出される全ての光線が光電変換素子３上に形成する像（分割開口視点画像）となる。本実施形態では、撮像システムの手振れ等の影響により撮影ごとに光電変換素子３上への入射光が僅かに変化する。従って、複数回の撮影で生成される撮影データは、それぞれ分割開口視点画像ごとのずれをデータの違いとして持っている。
【００２０】
図５は、マイクロレンズアレイ２と光電変換素子３への光の入射状態を光軸Ａの垂直方向から見た図である。なお図５のＺは、マイクロレンズアレイと同じ分解能の仮想像面を示している。また図５では、画素配列３０の画素３１として、１列分（ここでは、ａ１、ｂ１、ｃ１、ｄ１、ｅ１）の画素をａ、ｂ、ｃ、ｄ、ｅとして示している。
【００２１】
図５に示す光束Ｌは、それぞれ図１の撮像光学系１の分割開口Ａ１から射出され仮想像面Ｚ上の各画素を通過してマイクロレンズアレイ２上でマイクロレンズ幅Ｄｍと同等若しくはそれ以下の拡がりを持つ。マイクロレンズ２０を通過した光束は、いずれかの画素配列３０の画素ａに結像する。同様に分割開口Ｂ１、Ｃ１、Ｄ１、Ｅ１から射出された光束は、それぞれいずれかの画素配列３０の画素ｂ、ｃ、ｄ、ｅに結像している。
【００２２】
任意焦点画像構成部８は、撮像光学系１のすべての分割開口（本実施形態では２５個）から射出され、ユーザが設定した仮想像面上の各画素を通過する光量を求めることにより、仮想像面における画像を再構成することができる。
【００２３】
図６は、仮想像面上のある画素を通過する光束が撮像光学系１のどの分割開口から射出され、どのマイクロレンズへ入射するかを光軸の垂直方向から見た場合の図である。ここで、仮想像面Ｚ上の画素位置を座標（ｘ、ｙ）、撮像光学系１の分割開口の位置を座標（ｕ、ｖ）、マイクロレンズアレイ２上のマイクロレンズ２０の位置を座標（ｘ´、ｙ´）、撮像光学系１の開口からマイクロレンズアレイ２までの距離をＦ、撮像光学系１の開口から仮想像面Ｚまでの距離をαＦとする。なお図６では、鉛直方向を表すｘ、ｕ、ｘ´方向についてのみ示している。図６に示すように、座標（ｕ、ｖ）と座標（ｘ、ｙ）を通過した光束は、マイクロレンズアレイ２の（ｕ＋（ｘ−ｕ）／α、ｖ＋（ｙ−ｕ）／α）の位置に達し、（ｘ´、ｙ´）＝（ｕ＋（ｘ−ｕ）／α、ｖ＋（ｙ−ｕ）／α）となる。
【００２４】
このため、光電変換素子３の画素３１の画素値をＬ（ｘ´、ｙ´、ｕ、ｖ）とすると、仮想像面Ｚの各画素の画素値Ｅ（ｘ、ｙ）は以下の式（１）で求められる。
【００２５】
【数１】
【００２６】
式（１）において、αはユーザによって与えられるため、（ｘ、ｙ）、（ｕ、ｖ）を与えれば光束の入射するマイクロレンズ２０の位置（ｘ´、ｙ´）が分かる。そして、そのマイクロレンズ２０に対応する画素配列３０から（ｕ、ｖ）の位置の画素３１（例えば、分割開口が図４（ａ）のＡ１であれば図４（ｂ）のａ１）の画素値Ｌ（ｘ´、ｙ´、ｕ、ｖ）を抽出する。これをすべての分割開口について行い、抽出された画素値を合計（積分）することにより仮想像面Ｚの各画素の画素値Ｅ（ｘ、ｙ）が求められる。なお図１における積分は、ｕ、ｖを撮像光学系１の分割開口の代表座標として単純加算により行うことができる。
【００２７】
図７は、撮像光学系１の１つの分割開口から射出され、仮想像面Ｚ上の１つの画素を通過した光束Ｌ１が２つのマイクロレンズ２０にまたがって入射する場合を光軸Ａの垂直方向から見た図である。この場合、光束Ｌ１はマイクロレンズＭＬ１、ＭＬ２に対応する２つの画素配列３０の画素１ａ、２ａに分散して結像する。従って光束Ｌ１による画素値Ｌ１（ｘ´、ｙ´、ｕ、ｖ）は、画素１ａ、２ａの画素値Ｌ１ａ、Ｌ２ａの補間によって求められる。本実施形態では、画素値Ｌ１（ｘ´、ｙ´、ｕ、ｖ）をマイクロレンズＭＬ１、ＭＬ２上での光束Ｌ１の像の長さｄ１、ｄ２を用いて、以下の式（２）で表される線形補間で求めるものとする。なお、像の長さｄ１、ｄ２はカメラの撮影パラメータ、仮想像面の位置等から実験的に求められる。
【００２８】
【数２】
【００２９】
図８は、本実施形態に係る撮像システムにおいて任意焦点画像を精度良く再構成できる仮想像面Ｚの設定範囲を示した図である。撮像光学系１のある分割開口から射出され、仮想像面Ｚ上のある画素を通る光束Ｌがマイクロレンズアレイ上でマイクロレンズ幅Ｄｍと同等若しくはそれ以下の拡がりを持つ場合は、式（１）を用いて精度良く仮想像面Ｚ上の画素値を求めることができる。マイクロレンズ２０の前側と後側でそれぞれ焦点を結び、マイクロレンズ上で直径Ｄｍの拡がりを持つ光束Ｌ１、Ｌ２が同じ幅の広がりとなる共役面をＺ１、Ｚ２とすると、Ｚ１からＺ２までが精度良く任意焦点画像を再構成できる仮想像面Ｚの設定範囲となる。１つのマイクロレンズ２０に対応する画素配列３０がｎ行ｎ列の画素３１から構成されている場合、マイクロレンズアレイ２の前後それぞれの仮想像面設定可能範囲φ１を式（３）に示す。式（３）のＦ０は、撮像光学系のＦ値を示している。なお本実施形態では、ｎ＝５である。
【００３０】
図９は、さらに任意焦点画像を精度良く再構成できる仮想像面Ｚの設定範囲を示した図である。図９では、仮想像面Ｚ上で完全に結像する光線のみに注目しており、仮想像面設定可能範囲を式（４）に示されるφ２に縮小している。
【００３１】
【数３】
【００３２】
【数４】
【００３３】
ユーザは、上記の仮想像面設定可能範囲から任意の仮想像面Ｚの位置を指定できる。また仮想像面Ｚの位置を、任意焦点画像構成部８がカメラパラメータ等を用いて自動で設定するようにしてもよい。
【００３４】
図１０は、複数枚の任意焦点画像が構成されるまでの処理を示すフローチャートである。ここで、撮像制御部５による制御で複数回の撮影が行われ、複数枚の任意焦点画像が構成されるまでの流れについて説明する。
【００３５】
まず、ユーザＩ／Ｆ部７を介してユーザから撮影回数Ｎが入力される（Ｓ１０１）。このとき、撮影回数Ｎの他に撮影時のカメラパラメータ等を入力するようにしてもよい。次に、撮像制御部５は駆動回路４を介して撮像光学系１、マイクロレンズアレイ２、光電変換素子３等からなる撮影手段に１回撮影を行わせ、光電変換素子３から出力された撮影データをメモリ６に保存する（Ｓ１０２）。そして、Ｓ１０１で入力された撮影回数Ｎ分の撮影が完了したか判定し（Ｓ１０３）、撮影が完了していなければＳ１０２における１回撮影、撮影データの保存を繰り返す。このとき、例えば２秒間連続的に撮影を行うようにし、６０回分の撮影データ（撮像システムが３０ｆｐｓの場合）を保存するようにする。
【００３６】
Ｎ回の撮影が完了した場合は、例えばユーザＩ／Ｆ部７を介してユーザが仮想像面位置を設定する（Ｓ１０４）。ユーザが任意焦点画像構成の都度に仮想像面位置を設定してもよく、また、予め設定した複数の仮想像面位置に対して任意焦点画像構成を行わせてもよい。予め設定する仮想象面位置としては例えば仮想像面設定可能範囲内に等間隔に配置したものなどが考えられる。そして、任意焦点画像構成部８はメモリ６に保存されたＮ回分の撮影データのうち１回分の撮影データを読み込む（Ｓ１０５）。それから任意焦点画像構成部８は、Ｓ１０５で読み込んだ撮影データとＳ１０４で設定された仮想像面位置を用いて一枚の任意焦点画像を構成する（Ｓ１０６）。次に、メモリ６に保存されているＮ回分の撮影データの読み込みが完了したかどうかを判定し（Ｓ１０７）、完了していなければメモリ６から別の撮影データを読み込む。Ｎ回分の撮影データの読み込みが完了した場合には、ユーザがユーザＩ／Ｆ部７等を介して異なる仮想像面位置で任意焦点画像の再構成を行うかどうかを選択し（Ｓ１０８）、任意焦点画像の再構成を行う場合には上記のＳ１０４からＳ１０８までの処理を繰り返す。任意焦点画像の再構成を行わない場合には処理を終了する。なお本実施形態では、撮影されたＮ回分のすべての撮影データについて任意焦点画像を構成するようにしているが、一部の撮影データについてのみ任意焦点画像を構成するようにしてもよい。
【００３７】
このようにして、撮影枚数に応じた任意焦点画像が仮想像面位置ごとに生成できる。ある一つの仮想像面位置において撮影データごとに任意焦点画像を比較すると、分割開口視点画像ごとのずれが合成され、任意焦点画像全体のずれとなっている。
【００３８】
図１０に示す処理によって構成された複数枚の任意焦点画像は画像データとして一旦メモリ６に保存され、その後高解像度化処理部９において高解像度任意焦点画像の生成に利用される。なお、上記のように複数枚の任意焦点画像は、メモリ６から画像間変化量検出部１０および画像選択部１１を介して高解像度化処理部９へ転送される。画像間変化量検出部１０は、シーンの変化量として任意焦点画像の間の相違度または類似度を検出し、画像選択部１１はシーンの変化量が所定の閾値以下である任意焦点画像を高解像度化処理部９へ転送する。
【００３９】
ここで、高解像度化処理部９で行われる任意焦点画像の高解像度化処理について説明する。なお本実施形態では、高解像度化処理において同じ仮想像面位置で構成された複数枚の任意焦点画像を用いるものとするが、例えば若干仮想像面位置の異なる複数枚の任意焦点画像を用いて高解像度任意焦点画像を生成してもよい。高解像度化処理部９では、画像変位量推定部９ａにおいて任意焦点画像間の画像変位量（画素位置対応）を推定した後、この画素変位量と任意焦点画像の画像データを用いて超解像処理部９ｂにおいて高解像度任意焦点画像を生成する。
【００４０】
なお高解像度化処理手段９では、図１０の処理で構成された複数枚の任意焦点画像から１枚の基準画像を選択し、その基準画像に対して高解像度化処理を行う。このとき、基準画像の全体に対して高解像度化処理を行ってもよいが、例えばユーザが高解像度化処理を行いたい部分領域を選択するようにして、その部分領域についてのみ高解像度化処理を行うようにしてもよい。この場合、画像変位量を推定できるように画像変位量推定部９ａに対して基準画像の部分領域の画像データを転送し、それ以外の任意焦点画像については基準画像の部分領域よりも大きい領域の画像データを転送するようにする。例えば、選択された基準画像の部分領域を１ブロックとして、その他の任意焦点画像については部分領域とその周辺を含む９ブロック分の画像データを転送するようにする。
【００４１】
図１１は、画像変位量推定部９ａで行われる画像変位量推定処理のアルゴリズムを示すフローチャートである。以下、図１１に示すアルゴリズムの流れに添って画像変位量推定部９ａで行われる画像変位量推定処理の説明を行う。まず、画像変位量推定の基準となる任意焦点画像を基準画像として１枚読み込む（Ｓ２０１）。本実施形態では、撮像システムのシャッターボタン（図示せず）が全押しされた直後の１回目の撮影で生成された撮影データから構成された任意焦点画像を基準画像とするが、基準画像をその他の任意焦点画像としてもよい。次に、基準画像を複数の画像変位パラメータで変形させ、画像列を生成する（Ｓ２０２）。このとき、例えば基準画像を所定の範囲で並進、回転させて画像列を生成する。それから、基準画像との間の画像変位量推定を行う参照画像として、図１０の処理で構成された任意焦点画像のうち１枚の画像を読み込む（Ｓ２０３）。そして、領域ベースマッチング手法等のピクセルマッチング手法を用いて基準画像と参照画像との間で大まかな画素位置の対応付けを行う（Ｓ２０４）。これにより、基準画像と参照画像との間の画像変位量がピクセル（画素）レベルで求められる。
【００４２】
次に、Ｓ２０２で基準画像を変形することにより生成された画像列と参照画像との間の類似度値を算出する（Ｓ２０５）。この類似度は、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）等の画像列と参照画像との差分として求めることができる。そしてＳ２０２において画像列を生成した際の画像変位パラメータと、Ｓ２０５で算出した類似度値との関係を用いて、離散的な類似度マップを作成する（Ｓ２０６）。それから、Ｓ２０６で作成した離散的な類似度マップを補完して連続的な類似度曲線を求め、この連続的な類似度曲線において類似度値の極値を探索する（Ｓ２０７）。離散的な類似度マップを補完して連続的な類似度曲線を求める方法としては、例えばパラボラフィッティングやスプライン補間法がある。この連続的な類似度曲線において類似度値が極値になるときの画像変位パラメータが、基準画像と参照画像との間の画像変位量として推定される。
【００４３】
その後、超解像処理部９ｂにおける高解像度任意焦点画像の生成に用いられるすべての任意焦点画像について画像変位量推定が行われたかどうかを判定し（Ｓ２０８）、すべての任意焦点画像について画像変位量推定が行われていない場合には、図１０の処理で構成された任意焦点画像のうち他の任意焦点画像を次の参照画像として（Ｓ２０９）、Ｓ２０３からＳ２０８までの処理を繰り返す。Ｓ２０８において、超解像処理部９ｂで用いられるすべての画像について画像変位量推定が行われたと判定された場合には処理を終了する。
【００４４】
図１２は、図１１の処理において画像変位量推定部９ａが求めた類似度曲線の例を示す図である。図１２において、縦軸は類似度値を、横軸は図１１のＳ２０２において画像列を生成した際の画像変位パラメータを示している。図１２の例では、画像列と参照画像との間の類似度がＳＳＤで算出されており、類似度曲線が離散的な類似度マップをパラボラフィッティングで補完することにより求められているため、類似度値が小さいほど類似度が高くなる。このように、離散的な類似度マップを補完して連続的な類似度曲線を求め、その極値（図１２の例では極小値）を探索することにより、基準画像と参照画像との間の画像変位量をサブピクセルレベルで求めることができる。
【００４５】
このように、画像変位量推定部９ａで推定された画像変位量と、画像変位量を求めた任意焦点画像の画像データを超解像処理部９ｂへ転送し、基準画像に対して高解像度化処理を行う。
【００４６】
図１３は、超解像処理部９ｂで行われる高解像度化処理のアルゴリズムを示すフローチャートである。以下、図１３に示すアルゴリズムの流れに添って超解像処理を用いた高解像度化処理の説明を行う。まず、基準画像の画像データと画像変位量推定部９ａが画像変位量を推定した複数枚の任意焦点画像の画像データを読み込む（Ｓ３０１）。次に、基準画像を高解像度化処理のターゲット画像として、このターゲット画像に対しバイリニア補間やバイキュービック補間等の補完処理を行って初期画像ｚ0を作成する（Ｓ３０２）。なおこの補間処理は、場合により省略することができる。
【００４７】
それから、画像変位量推定部９ａが推定した画像変位量を用いて、ターゲット画像と画像変位量が推定された任意焦点画像との間の画素対応関係を明らかにし、ターゲット画像の拡大座標を基準とする座標空間において重ねあわせ処理を行って、レジストレーション画像ｙを生成する（Ｓ３０３）。なおここでｙは、レジストレーション画像の画像データを表すベクトルである。このレジストレーション画像ｙを生成する方法の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Computer Vision and Image Media(CVIM) Vol.2004、No.113、pp.97-104 (2004-11)」に開示されている。Ｓ３０３における重ねあわせ処理は、図１１の処理において画像変位量が推定された複数枚の任意焦点画像の各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００４８】
次に、光学伝達関数(ＯＴＦ、Optical Transfer Function)、ＣＣＤアパーチャ（ＣＣＤ開口）等の撮像特性を考慮した点広がり関数(ＰＳＦ、Point Spread Function)を求める（Ｓ３０４）。このＰＳＦは、以下の式（５）における行列Ａに反映され、例えば簡易的にＧａｕｓｓ関数を用いることができる。それから、Ｓ３０３で生成されたレジストレーション画像ｙとＳ３０４で求められたＰＳＦを用いて、以下の式（５）で表される評価関数ｆ（ｚ）の最小化を行い（Ｓ３０５）、ｆ（ｚ）が最小化されたかどうかを判定する（Ｓ３０６）。
【００４９】
【数１】
【００５０】
式（５）において、ｙはＳ６０３で生成されたレジストレーション画像の画像データを表す列ベクトル、ｚはターゲット画像を高解像度化した高解像度任意焦点画像の画像データを表す列ベクトル、ＡはＰＳＦ等を含めた撮像システムの特性をあらわす画像変換行列である。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。式（５）で表される評価関数ｆ（ｚ）の最小化には、例えば最急降下法を用いることができる。最急降下法を用いる場合には、ｆ（ｚ）をｚの各要素で偏微分した値を計算して、それらの値を要素とするベクトルを生成する。そして以下の式（６）に示すように、偏微分した値を要素とするベクトルをｚに付加することにより、高解像度任意焦点画像ｚを更新させていき（Ｓ３０７）、ｆ（ｚ）が最小となるｚを求める。
【００５１】
【数２】
【００５２】
式（６）において、ｚnはｎ回目の更新を行った高解像度任意焦点画像の画像データを表す列ベクトルであり、αは更新量の歩み幅である。なお、最初のＳ３０５の処理では、高解像度任意焦点画像ｚとしてＳ３０２で求められた初期画像ｚ0を用いることができる。Ｓ３０６においてｆ（ｚ）が最小化されたと判定された場合には処理を終了し、そのときのｚnを最終的な高解像度任意焦点画像としてメモリ６等に記録する。このようにして、図１０の処理で構成された任意焦点画像よりも解像の高い高解像度任意焦点画像を得ることができる。
【００５３】
図１４は、超解像処理部９ｂの構成例を示すブロック図である。ここで、超解像処理部９ｂで行われる超解像処理を用いた高解像度化処理についてさらに説明する。図１４に示す超解像処理部９ｂは、補間拡大部２０１、画像蓄積部２０２、ＰＳＦデータ保持部２０３、畳込み積分部２０４、レジストレーション画像生成部２０５、画像比較部２０６、畳込み積分部２０７、正則化項演算部２０８、更新画像生成部２０９、収束判定部２１０から構成される。
【００５４】
はじめに、基準画像を高解像化処理のターゲット画像として補間拡大部２０１に与え、ターゲット画像の補間拡大を行う（図１３のＳ３０２に対応）。ここで用いられる補間拡大の方法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。補間拡大部２０１において補間拡大されたターゲット画像は、例えば初期画像ｚ0として画像蓄積部２０２に送られ、ここに蓄積される。次に、補間拡大されたターゲット画像は畳込み積分部２０４に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータ（式（５）の画像変換行列Ａに相当）との間で畳込み積分が行われる。
【００５５】
また、ターゲット画像および画像変位量推定部９ａが画像変位量を推定した複数枚の参照画像は、レジストレーション画像生成部２０５に与えられ、画像変位量推定部２０ａで求められた画像変位量を元にターゲット画像の拡大座標を基準とする座標空間で重ねあわせ処理を行うことにより、レジストレーション画像ｙが生成される（図１３のＳ３０３に対応）。レジストレーション画像生成部２０５における重ねあわせ処理は、例えば画像変位量推定部９ａが画像変位量を推定した複数枚の任意焦点画像の各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。
【００５６】
畳込み積分部２０４において畳込み積分された画像データ（ベクトル）は画像比較部２０６に送られ、レジストレーション画像生成部２０５において生成されたレジストレーション画像ｙとの間で、同一のピクセル位置におけるピクセル値の差分を算出することにより、差分画像データ（式（５）の（ｙ−Ａｚ）に相当）が生成される。画像比較部２０６において生成された差分画像データは畳込み積分部２０７に与えられ、ＰＳＦデータ保持部２０３により与えられるＰＳＦデータとの間で畳込み積分が行われる。畳込み積分部２０７は、例えば式（５）における画像変換行列Ａの転置行列と差分画像データを表す列ベクトルとを畳込み積分することにより、式（５）の‖ｙ−Ａｚ‖2をｚの各要素で偏微分したベクトルを生成する。
【００５７】
また、画像蓄積部２０２に蓄積された画像は正則化項演算部２０８に与えられ、式（５）における正則化項ｇ（ｚ）が求められると共に、正則化項ｇ（ｚ）をｚの各要素で偏微分したベクトルが求められる。正則化項演算部２０８は、例えば、画像蓄積部２０２に蓄積された画像データに対して、ＲＧＢからＹＣrＣbの色変換処理を行い、そのＹＣrＣb成分（輝度成分と色差成分）に対して周波数高域通過フィルタ（ラプラシアンフィルタ）を畳込み積分したベクトルを求める。そして、このベクトルの二乗ノルム（長さの二乗）を正則化項ｇ（ｚ）として、ｇ（ｚ）をｚの各要素で偏微分したベクトルを生成する。Ｃr、Ｃb成分（色差成分）にラプラシアンフィルタを掛けると偽色の成分が抽出されるため、正則化項ｇ（ｚ）を最小化することにより偽色の成分を除去することができる。このため、式（５）に正則化項ｇ（ｚ）を含めることで「一般に画像の色差成分は滑らかな変化である」という画像の先験情報を用いることとなり、色差を抑制した高解像度画像を安定して求めることが可能となる。
【００５８】
畳込み積分部２０７で生成された画像データ（ベクトル）、画像蓄積部２０２に蓄積された画像データ（ベクトル）、正則化項演算部２０８で生成された画像データ（ベクトル）は、更新画像生成部２０９に与えられる。更新画像生成部２０９では、これらの画像データ（ベクトル）が式（５）、式（６）に示すλ、α等の重み係数を乗じて加算され、更新された高解像度任意焦点画像が生成される（式（６）に対応）。
【００５９】
それから、更新画像生成部２０９において更新された高解像度任意焦点画像は、収束判定部２１０へ与えられ、収束判定が行われる。この収束判定では、収束にかかった繰り返し演算回数が一定回数よりも多くなった場合に高解像度任意焦点画像の更新作業が収束したと判断しても良いし、また、過去に更新された高解像度任意焦点画像を記録しておき、現在の高解像度任意焦点画像との差分を取って、その更新量が一定の値よりも少ないと判断された場合に高解像度任意焦点画像の更新作業が収束したと判断しても良い。
【００６０】
収束判定部２１０において更新作業が収束したと判断された場合には、更新された高解像度任意焦点画像は最終的な高解像度任意焦点画像として外部へ出力される。更新作業が収束していないと判断された場合には、更新された高解像度任意焦点画像は画像蓄積部２０２へ与えられ、次回の更新作業に利用される。この高解像度任意焦点画像は、次回の更新作業のために畳込み積分部２０４、正則化項演算部２０８へ与えられる。以上の処理を繰り返し、更新画像生成部２０９で高解像度任意焦点画像を更新していくことで、良好な高解像度任意焦点画像を得ることができる。なおレジストレーション画像ｙを生成する代わりに、各参照画像に重み係数をかける方法で超解像処理部９ｂにおける高解像度化処理を行うこともできる。
【００６１】
本実施形態では、撮像光学系１、マイクロレンズアレイ２、光電変換素子３等を有する撮影手段で複数回の撮影を行って複数枚の任意焦点画像を構成し、これらの微小な位置ずれがある任意焦点画像間の画像変位量を推定して高解像度任意焦点画像を生成するため、広い範囲の仮想像面位置における任意焦点画像を高解像度化した高解像度任意焦点画像を生成することが可能となる。
【００６２】
（実施形態２）
図１５は、本発明の実施形態２に係る撮像システムの構成を示すブロック図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００６３】
本実施形態に係る撮像システムは、実施形態１に係る撮像システムの構成要素に加えて撮像部移動機構１５と撮像部移動量記録部１６を備えている。また本実施形態に係る撮像システムでは、高解像度化処理部９に画像変位量推定部９ａがなく、超解像処理部９ｂのみで構成されている。
【００６４】
撮像部移動機構１５は、撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを光軸Ａに垂直な面内で移動させる。この撮像部移動機構１５として、例えば既存の手振れ補正機構等で利用されている駆動機構を利用することができる。なお本実施形態では、マイクロレンズアレイ２と光電変換素子３の位置関係が変わらないように、マイクロレンズアレイ２と光電変換素子３を同じ移動量および同じ移動方向で移動させるものとする。
【００６５】
また撮像部移動量記録部１６は、撮影が行われるごとに、撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち撮像部移動機構１５によって移動されるものの移動量および移動方向を記録する。この撮像部移動量記録部１６として、例えば手振れ補正機構のジャイロセンサ等を利用することができる。
【００６６】
撮像部移動量記録部１６は、撮影ごとの移動量および移動方向を高解像度化処理部９へ転送する。本実施形態では、撮像部移動量記録部１６が上記の移動量を任意焦点画像構成部８で構成された任意焦点画像のスケールに縮小して高解像度化処理部９へ送るようになっている。任意焦点画像のスケールは任意焦点画像の分解能、即ちマイクロレンズ２０の数で決まる。例えば本実施形態では、任意焦点画像の分解能は光電変換素子３の画素数の１／２５であり、実際の移動量の１／５が任意焦点画像間のずれ量として送られる。一般的に１つのマイクロレンズ２０に対応する画素配列３０がｎ行ｎ列である場合には、実際の移動量の１／ｎが任意焦点画像間のずれ量となる。
【００６７】
画像間変化量検出部１０は、実施形態１と同様にシーンの変化量として任意焦点画像の間の相違度または類似度を検出し、画像選択部１１はシーンの変化量が所定の閾値以下である任意焦点画像を高解像度化処理部９へ転送する。本実施形態では、実施形態１の場合よりもシーンの変化量がさらに少ない任意焦点画像のみを高解像度化処理部９へ送るようになっている。これは、高解像度化処理部９に画像変位量推定部９ａがないためである。
【００６８】
図１６は、画像間変化量検出部１０および画像選択部１１で行われる処理を示すフローチャートである。なお実施形態１においても、画像間変化量検出部１０および画像選択部１１は、図１６に示す処理とほぼ同様の処理を行っている。
【００６９】
まず、任意焦点画像構成部８で構成された任意焦点画像を１枚読み込む（Ｓ４０１）。次に、任意焦点画像の読み込みが１回目かどうかを判定し（Ｓ４０２）、１回目である場合にはその任意焦点画像を基準画像として（Ｓ４０８）、次の任意焦点画像を読み込む（Ｓ４０１）。基準画像以外の２枚目以降の任意焦点画像については、基準画像とその任意焦点画像との差分値（上記の相違度等）を計算し（Ｓ４０３）、差分値が閾値以下かどうかを判定する（Ｓ４０４）。任意焦点画像と基準画像の差分値が閾値以下である場合には、その任意焦点画像を超解像処理部９ｂへ転送する転送用画像として登録する（Ｓ４０５）。それから、すべての任意焦点画像について読み込みが完了したかどうかを判定し（Ｓ４０６）、読み込みが完了していない場合にはＳ４０１からＳ４０６までの処理を繰り返す。すべての任意焦点画像の読み込みが完了した場合には、Ｓ４０５で転送用画像として登録された任意焦点画像と基準画像を超解像処理部９ｂへ転送する。
【００７０】
その後、超解像処理部９ｂは転送された基準画像および任意焦点画像と、撮像部移動量記録部１６から転送された移動量および移動方向を用いて高解像度任意焦点画像を生成する。本実施形態において超解像処理部９ｂは、実施形態１における画像変位量の代わりに上記の移動量および移動方向を用いて高解像度化任意焦点画像を生成する。
【００７１】
本実施形態では、撮像部移動機構１５で撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを移動させ、撮像部移動記録部１６でその移動量および移動方向を記録し、記録された移動量および移動方向を用いて高解像度化任意焦点画像を生成するため、画像変位量を推定することなく短時間で高解像度化任意焦点画像を生成することが可能となる。その他の効果については、実施形態１に係る撮像システムと同様である。
【００７２】
（実施形態３）
図１７は、本発明の実施形態３に係る撮像システムの構成を示すブロック図である。なお、本実施形態に係る撮像システムの構成および処理は、以下に示す点を除いて実施形態１に係る撮像システムと同様であり、異なる部分についてのみ説明する。
【００７３】
本実施形態に係る撮像システムは、実施形態１に係る撮像システムの構成要素に加えて撮像部移動機構１５を備えている。撮像部移動機構１５は、実施形態２と同様に撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを光軸Ａに垂直な面内で移動させる。
【００７４】
しかし本実施形態では、高解像度化処理部９に画像変位量推定部９ａが設けられており、画像変位量推定部９ａは実施形態１と同様に基準画像とその他の任意焦点画像との間の画像変位量を推定する。なお本実施形態では、実施形態１と同様の処理により高解像度化任意焦点画像を生成する。
【００７５】
本実施形態では、撮像部移動機構１５が撮像光学系１、マイクロレンズアレイ２および光電変換素子３のうち少なくとも１つを移動させるため、適当な位置ずれを自発的に発生させることが可能となる。その他の効果については、実施形態１に係る撮像システムと同様である。
【００７６】
なお、本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。例えば、上記の実施形態ではすべての構成要素が１つの撮像装置に搭載されている例を示しているが、例えば任意焦点画像構成部８や高解像度化処理部９における処理をパーソナルコンピュータ等の画像処理装置で行うようにしてもよい。また上記の実施形態では、高解像度化処理部９において超解像処理による高解像度化処理を行っているが、超解像処理以外の高解像度化処理を行うようにしてもよい。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態１に係る撮像システムの構成を示すブロック図である。
【図２】マイクロレンズアレイ２と光電変換素子３の一部を示す拡大図である。
【図３】撮像光学系へ入射し１つのマイクロレンズを通過した光線が光電変換素子上に像を形成する様子を光軸の垂直方向から見た図である。
【図４】撮像光学系の開口と画素配列を光軸の方向から見た図である。
【図５】マイクロレンズアレイと光電変換素子への光の入射状態を光軸の垂直方向から見た図である。
【図６】仮想像面上のある画素を通過する光束が撮像光学系のどの分割開口から射出され、どのマイクロレンズへ入射するかを光軸の垂直方向から見た場合の図である。
【図７】撮像光学系の１つの分割開口から射出され、仮想像面上の１つの画素を通過した光束が２つのマイクロレンズにまたがって入射する場合を光軸の垂直方向から見た図である。
【図８】実施形態１に係る撮像システムにおいて任意焦点画像を精度良く再構成できる仮想像面の設定範囲を示した図である。
【図９】さらに任意焦点画像を精度良く再構成できる仮想像面の設定範囲を示した図である。
【図１０】複数枚の任意焦点画像が構成されるまでの処理を示すフローチャートである。
【図１１】画像変位量推定部で行われる画像変位量推定処理のアルゴリズムを示すフローチャートである。
【図１２】図１１の処理において画像変位量推定部が求めた類似度曲線の例を示す図である。
【図１３】超解像処理部で行われる高解像度化処理のアルゴリズムを示すフローチャートである。
【図１４】超解像処理部の構成例を示すブロック図である。
【図１５】本発明の実施形態２に係る撮像システムの構成を示すブロック図である。
【図１６】画像間変化量検出部および画像選択部で行われる処理を示すフローチャートである。
【図１７】本発明の実施形態３に係る撮像システムの構成を示すブロック図である。
【符号の説明】
【００７８】
１ 撮像光学系
２ マイクロレンズアレイ
３ 光電変換素子
４ 駆動回路
５ 撮像制御部
６ メモリ
７ ユーザＩ／Ｆ部
８ 任意焦点画像構成部
９ 高解像度化処理部
９ａ 画像変位量推定部
９ｂ 超解像処理部
１０ 画像間変化量検出部
１１ 画像選択部
１５ 撮像部移動機構
１６ 撮像部移動量記録部
２０ マイクロレンズ
３０ 画素配列
３１ 画素
２０１ 補間拡大部
２０２ 画像蓄積部
２０３ ＰＳＦデータ保持部
２０４ 畳込み積分部
２０５ レジストレーション画像生成部
２０６ 画像比較部
２０７ 畳込み積分部
２０８ 正則化項演算部
２０９ 更新画像生成部
２１０ 収束判定部
【特許請求の範囲】
【請求項１】
被写界からの光が通過する撮像光学系と、前記撮像光学系を通過した光が入射され、前記撮像光学系の開口の異なる領域を通過した光を分離して射出する分離光学系と、前記分離光学系によって分離して射出された光が入射され、前記分離光学系によって形成された像を電気信号に変換して撮影データを生成する光電変換素子と、を有する撮影手段と、
前記光電変換素子によって生成された撮影データに基づいて、所定範囲内の任意の像面位置における画像である任意焦点画像を再構成することが可能な任意焦点画像構成手段と、
前記撮影手段に複数回の撮影を行わせ、前記任意焦点画像構成手段に前記複数回の撮影で生成された撮影データに基づいて複数枚の任意焦点画像を構成させる撮像制御手段と、
前記複数枚の任意焦点画像を用いて、前記任意焦点画像よりも解像度の高い高解像度任意焦点画像を生成する高解像度化処理手段と、
を備えることを特徴とする撮像システム。
【請求項２】
前記複数枚の任意焦点画像の間の画像変位量を推定する画像変位量推定手段を備え、前記高解像度化処理手段は、前記画像変位量推定手段によって推定された前記画像変位量を用いて前記高解像度任意焦点画像を生成することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像光学系、前記分離光学系および前記光電変換素子のうち少なくとも１つを前記撮影手段の光軸に対して垂直な面内で移動させる撮像部移動手段を備え、
前記撮像制御手段は、前記撮影手段が撮影を行うごとに、前記撮像光学系、前記分離光学系および前記光電変換素子のうち少なくとも１つを前記撮像部移動手段によって移動させることを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記撮影手段が撮影を行うごとに、前記撮像光学系、前記分離光学系および前記光電変換素子のうち前記撮像部移動手段によって移動されるものの移動量および移動方向を記録する撮像部移動量記録手段を備え、
前記高解像度化処理手段は、前記撮像部移動量記録手段に記録された前記移動量および前記移動方向を用いて前記高解像度任意焦点画像を生成することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記撮像部移動手段は、前記分離光学系および前記光電変換素子を同じ移動量および同じ移動方向で移動させることを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記複数枚の任意焦点画像の間の相違度または類似度を検出する画像間変化量検出手段と、前記画像間変化量検出手段の検出した相違度または類似度に基づいて前記高解像度任意焦点画像の生成に用いる前記任意焦点画像を選択する画像選択手段と、を備えることを特徴とする請求項１から５のいずれか一つに記載の撮像システム。
【請求項１】
被写界からの光が通過する撮像光学系と、前記撮像光学系を通過した光が入射され、前記撮像光学系の開口の異なる領域を通過した光を分離して射出する分離光学系と、前記分離光学系によって分離して射出された光が入射され、前記分離光学系によって形成された像を電気信号に変換して撮影データを生成する光電変換素子と、を有する撮影手段と、
前記光電変換素子によって生成された撮影データに基づいて、所定範囲内の任意の像面位置における画像である任意焦点画像を再構成することが可能な任意焦点画像構成手段と、
前記撮影手段に複数回の撮影を行わせ、前記任意焦点画像構成手段に前記複数回の撮影で生成された撮影データに基づいて複数枚の任意焦点画像を構成させる撮像制御手段と、
前記複数枚の任意焦点画像を用いて、前記任意焦点画像よりも解像度の高い高解像度任意焦点画像を生成する高解像度化処理手段と、
を備えることを特徴とする撮像システム。
【請求項２】
前記複数枚の任意焦点画像の間の画像変位量を推定する画像変位量推定手段を備え、前記高解像度化処理手段は、前記画像変位量推定手段によって推定された前記画像変位量を用いて前記高解像度任意焦点画像を生成することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像光学系、前記分離光学系および前記光電変換素子のうち少なくとも１つを前記撮影手段の光軸に対して垂直な面内で移動させる撮像部移動手段を備え、
前記撮像制御手段は、前記撮影手段が撮影を行うごとに、前記撮像光学系、前記分離光学系および前記光電変換素子のうち少なくとも１つを前記撮像部移動手段によって移動させることを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記撮影手段が撮影を行うごとに、前記撮像光学系、前記分離光学系および前記光電変換素子のうち前記撮像部移動手段によって移動されるものの移動量および移動方向を記録する撮像部移動量記録手段を備え、
前記高解像度化処理手段は、前記撮像部移動量記録手段に記録された前記移動量および前記移動方向を用いて前記高解像度任意焦点画像を生成することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記撮像部移動手段は、前記分離光学系および前記光電変換素子を同じ移動量および同じ移動方向で移動させることを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記複数枚の任意焦点画像の間の相違度または類似度を検出する画像間変化量検出手段と、前記画像間変化量検出手段の検出した相違度または類似度に基づいて前記高解像度任意焦点画像の生成に用いる前記任意焦点画像を選択する画像選択手段と、を備えることを特徴とする請求項１から５のいずれか一つに記載の撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−２９４７４１（Ｐ２００８−２９４７４１Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３８０１１（Ｐ２００７−１３８０１１）
【出願日】平成１９年５月２４日（２００７．５．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２４日（２００７．５．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]