撮像装置及び画像生成方法
【課題】
より高画質な画像を生成する。
【解決手段】
１フレーム画像の撮像において、撮像レンズの絞り開口の形状を複数種類の開口形状に切り替える絞り開口形状切替え、前記撮像レンズの絞り開口の透過光を受光し、前記複数の開口形状に対応する複数のサブフィールド画像信号を生成し、前記複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を生成し、当該複数の奥行き情報から点広がり関数を算出し、当該点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成する。
より高画質な画像を生成する。
【解決手段】
１フレーム画像の撮像において、撮像レンズの絞り開口の形状を複数種類の開口形状に切り替える絞り開口形状切替え、前記撮像レンズの絞り開口の透過光を受光し、前記複数の開口形状に対応する複数のサブフィールド画像信号を生成し、前記複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を生成し、当該複数の奥行き情報から点広がり関数を算出し、当該点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、より高画質な画像を生成する撮像装置及び画像生成方法に関する。
【背景技術】
【０００２】
最近の表示デバイスは大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているSinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
非特許文献１には、複数の低解像度画像の単純平均をとって生成した高画素数画像を初期値として、入力低解像度画像と生成した高画素数画像との誤差を最小化するように高画素数画像を更新し、点広がり関数（Point Spread Function : PSF）の逆関数を用いて再サンプリングすることにより、周辺画素の影響を畳み込みながら画素値を決定し、高解像度画像を生成する技術が開示されている。
【０００４】
また、非特許文献２には、レンズの絞りの開口を所定形状にすることにより、単眼のカメラで画像の奥行きを測定する技術が開示されている。
【０００５】
【非特許文献１】Ｄａｖｉｄ Ｃａｐｅｌ： “Ｉｍａｇｅ Ｍｏｓａｉｃｉｎｇ ａｎｄ Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ”， ＰＰ．２１８， Ｓｐｒｉｎｇｅｒ， ２００４．
【非特許文献２】Ｌｅｖｉｎ：” Ｉｍａｇｅ ａｎｄ Ｄｅｐｔｈ ｆｒｏｍ ａ Ｃｏｎｖｅｎｔｉｏｎａｌ Ｃａｍｅｒａ ｗｉｔｈ ａ Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ”， ＳＩＧＧＲＡＰＨ’０７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
非特許文献１に開示された技術による高解像度画像生成方式では、正しくＰＳＦを推定できないと逆に画質を劣化させてしまうという課題があった。
【０００７】
一方、一般に点広がり関数ＰＳＦは画像の奥行き情報に影響を受けるため、高精度な点広がり関数ＰＳＦの推定には、高精度な奥行き情報が必要である。
【０００８】
しかし、非特許文献2に開示された技術による奥行き推定は、レンズの絞りの開口形状ごとに測定可能な奥行き範囲が限られており、一般的な撮像装置に求められる範囲の奥行き情報が得られないという課題があった。
【０００９】
さらに、非特許文献2に開示された技術による奥行き推定は、レンズの絞りを所定の開口形状としており、撮像時に所望の光量を得ることができないという課題があった。
【００１０】
本発明は、上記従来技術の課題に鑑みて為されたものであり、その目的は、より高画質な画像を生成する撮像装置を実現することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【００１２】
本発明によれば、より高画質な画像を生成することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を用いて本発明の実施例を説明する。
【実施例１】
【００１４】
図１は、本発明の実施例1に係る撮像装置１０００を示す。撮像装置１０００は、例えば、液晶シャッターからなる液晶絞りユニット１２００を有して受光素子１３００に像を結像する撮像レンズであるレンズ１１００と、受光素子１３００が受光結果に基づいて生成する画像信号に画像処理を行う画像処理部１５００と、液晶絞りユニット１２００、受光素子１３００、及び画像処理部１５００を制御する制御部１４００と、ユーザからの指示等に基づいてユーザ入力信号を生成し、制御部１４００に出力するユーザインタフェイス部１７００と、画像処理部１５００の画像処理後の画像信号を出力する画像出力部１６００とを備える。
【００１５】
以下、各部の動作の詳細を説明する。
【００１６】
まず、図２を用いて本発明の実施例1に係る制御部１４００と、液晶絞りユニット１２００及び受光素子１３００の動作の詳細を説明する。図２には、液晶絞りユニット１２００の開口形状の時間的な変化が示されている。開口形状１２０２、１２０３、１２０４は、撮像画像からの奥行き算出に適した開口形状(以下、奥行き算出パターン形状と称する)であり、その奥行き算出パターン形状の種類により、測定可能な奥行き方向の範囲が異なるものである。奥行き算出パターン形状は、例えば非特許文献２に記載される技術のような従来技術に開示された形状を用いればよいので、詳細な説明は省略する。制御部１４００は、図２に示されるように１フレーム時間内で、液晶絞りユニット１２００の開口を複数種類の奥行き算出パターン形状に変化させる。これにより、１フレーム時間の撮像処理で、複数種類の奥行き方向の範囲での奥行き測定が可能となる。これにより、１つの奥行き算出パターン形状の固定絞りを用いる従来の技術比べて１フレームの撮像画像から測定できる奥行き方向の範囲を拡大することが可能となる。
【００１７】
さらに、本発明の実施例1に係る制御部１４００による液晶絞りユニット１２００の制御においては、１フレーム時間内に、開口形状１２００のような円形絞りなどを挿入しても良い。これにより、透過光量が少ない奥行き算出パターン形状を用いる場合など、光量不足になる点を補うことが可能となる。
【００１８】
このとき、ユーザが所定の光量での撮像を望む場合には、ユーザはユーザインタフェイス部１７００に当該所定の光量の設定を入力し、ユーザインタフェイス部１７００は当該入力に基づきユーザ入力信号を生成して、制御部１４００に出力する。制御部１４００は、取得した当該ユーザ入力信号に基いて、必要光量を算出する。制御部１４００は、１フレーム時間内の受光量、すなわち、複数の奥行き算出パターン形状の１２０２、１２０３、１２０４による開口時の受光量と挿入する円形絞り開口時の受光量の和が、当該必要光量となるように、円形絞り開口の開口半径と開口時間を算出する。制御部１４００は、図２に示すように、当該算出した開口半径の円形絞り開口を、算出した開口時間分だけ、１フレーム時間内に挿入する。以上のような、円形絞り開口の挿入により、ユーザの所望の光量での撮像と、広範囲における奥行き算出を両立することが可能となる。
【００１９】
ここで、本発明の実施例1に係る画像処理部１５００における奥行き算出処理においては、算出精度を向上するために、液晶絞りユニット１２００の開口形状の各変化時において、液晶シャッターの変化の終了を待つ必要がある。ここで、一般的に液晶シャッターの動作特性は透過状態から遮光状態への変化のほうが、遮光状態から透過状態への変化よりも高速に行うことができる。そこで、実施例1に係る制御部１４００による液晶絞りユニット１２００の制御においては、１フレーム時間内での開口形状の変化の順番を図２に示すように、開口面積の大きい形状から小さい形状へと変化させる。これにより、各開口形状の変化の終了までの時間を短縮することが可能となり、高速な奥行き算出処理を実現できる。
【００２０】
さらに、図２に示すように複数のフレームを連続して撮像する場合も、１フレーム時間内における開口面積の変化を大から小へと方向付けることにより、開口面積の小さい形状から大きい形状への変化をフレーム間の切替時のみとすることが可能となる。これにより、液晶シャッターの動作終了の高速化に不利な開口形状の変化の回数を低減することが可能となる。これにより、複数のフレームを連続して撮像する場合にも、効率的な奥行き算出処理を実現できる。
【００２１】
次に、図３を用いて本発明の実施例1に係る制御部１４００による液晶絞りユニット１２００、受光素子１３００についての１フレーム分の制御動作について説明する。
【００２２】
まず、１フレーム時間の開始時に、制御部１４００は、液晶絞りユニット１２００の開口形状を当該１フレーム時間に用いる開口形状のうち、もっとも開口面積大きい開口形状に設定する（ステップ３０１）。次に、制御部１４００は、受光素子１３００に当該開口形状の開口時間に対応する１フレーム時間よりも短い時間の撮像画像であるサブフィールド画像を取得させる（ステップ３０２）。さらに、制御部１４００は、受光素子１３００に取得した当該サブフィールド画像を画像処理部１５００に伝送させる（ステップ３０３）。制御部１４００は、当該１フレーム時間に用いる全ての開口形状における処理を終了したかを判断する（ステップ３０４）。ここで、全ての開口形状における処理を終了していない場合には、制御部１４００は、液晶絞りユニット１２００の開口形状を次の開口形状に設定し、ステップ３０２、ステップ３０３の処理を繰り返す（ステップ３０５）。全ての開口形状における処理を終了している場合には、制御部１４００は、当該１フレーム分の制御動作を終了する。
【００２３】
なお、当該１フレーム時間に用いる開口形状の順序や、各開口形状の開口時間は、図示しないメモリなどの記憶部に記憶しておけばよい。当該開口形状の順序や、開口時間は、図２において説明したように、あらかじめ制御部１４００がユーザ入力信号に基づいて算出しておいてもよいし、あらかじめ定められた固定の開口形状の順序や、開口時間でもよい。
【００２４】
以上説明した本発明の実施例1に係る制御部１４００による液晶絞りユニット１２００、受光素子１３００についての１フレーム分の制御動作によれば、1フレーム時間内において、広範囲の奥行き算出と十分な光量の撮像を両立するために必要な複数のサブフィールド画像を取得することが可能となる。
【００２５】
図４を用いて本発明の実施例1に係る画像処理部１５００の動作について説明する。画像処理部１５００は、まず、受光素子１３００から伝送された各サブフィールド画像を取得する（ステップ４０１）。画像処理部１５００の奥行き算出部１５１０が、伝送されたサブフィールド画像のうち、奥行き算出パターン形状についてのサブフィールド画像を用いて、フレームごとの奥行き情報を算出する（ステップ４０２）。本発明の実施例1においては、既に説明したとおり、１フレーム時間内に複数の奥行き算出パターン形状についてのサブフィールド画像を得ることが可能である。よって、奥行き算出部１５１０は、各フレームについて複数の奥行き情報を算出することができ、より広い範囲の奥行き情報を算出することが可能である。奥行き算出パターン形状についてのサブフィールド画像を用いてフレームごとの奥行き情報を算出する動作は、例えば、非特許文献２に記載される技術ような従来技術を用いればよいので、詳細な説明は省略する。
【００２６】
さらに、奥行き算出部１５１０は、算出した奥行き情報から点広がり関数ＰＳＦを算出し、超解像処理部１５２０に伝送する（ステップ４０３）。超解像処理部１５２０は、図５に示すように、受光素子１３００から取得した撮像時刻の異なる複数種類のサブフィールド画像（低解像度画像１００、１０１、１０２）の位置あわせを行い、取得した点広がり関数ＰＳＦを用いた再サンプリングを含む画像変換処理である高解像度化処理（超解像処理）を行い、受光素子１３００から取得した低解像度画像よりも高解像の高い１枚の高解像度画像２００を生成する（ステップ４０４）。当該高解像度化処理は、例えば、非特許文献１に記載された従来技術を用いればよいので、詳細な説明は省略する。
【００２７】
以上説明した図４の画像処理部１５００の動作により、広範囲の奥行き情報を用いた高精度な点広がり関数ＰＳＦを用いて、高画質な高解像度画像を生成することが可能となる。
【００２８】
なお、ステップ４０４で用いる撮像時刻の異なる複数種類のサブフィールド画像は、撮像時刻が異なればよい。すなわち、複数フレームにまたがったサブフィールド画像を用いてもよく、１フレーム時間内の異なるサブフィールド画像を用いてもよい。さらに、このサブフィールド画像は、奥行き算出パターン形状開口時のサブフィールド画像でも円形絞り開口時のサブフィールド画像でもよく、これらの画像に係数等を乗じて合成した画像でもよい。
【００２９】
また、図４の画像処理部１５００の動作は、１枚の高画質画像の生成までの動作を示しているが、これを複数のフレームについて繰り返し行うことにより、受光素子１３００で取得した低解像度映像を高解像度映像に変換することが可能となる。
【００３０】
以上説明した本発明の実施例１に係る撮像装置は、レンズ内の液晶絞りユニットの開口形状を１フレーム内で複数種類に変化させ、絞り開口形状の異なる撮像による複数のサブフィールド画像を取得する。さらに、当該複数のサブフィールド画像の一部の画像から複数の奥行き情報を算出し、当該奥行き情報に基づいて算出した点広がり関数を算出する。さらに、当該複数のサブフィールド画像のうちの時間的に異なる複数の画像に、位置あわせ処理および算出した点広がり関数を用いた再サンプリング処理を含む高解像度化処理を行う。これにより、本発明の実施例１に係る撮像装置は、より広範囲な奥行き情報に基づいて、より高画質な画像を生成することが可能となる。
すなわち、本発明の実施例１によれば、より高画質な画像を生成する撮像装置を実現することが可能となる。
【実施例２】
【００３１】
図６を用いて、本発明の実施例２に係る撮像装置１０１０を示す。撮像装置１０１０は、実施例１に係る撮像装置１０００にデータを蓄積するコンテンツ蓄積部１８００を加えたものである。コンテンツ蓄積部１８００以外のその他の構成・動作は、実施例１の撮像装置１０１０の構成・動作と同様であるため、説明を省略する。
【００３２】
実施例２に係る撮像装置１０１０は記録時に、受光素子１３００が取得した各サブフィールドの画像、すなわち低解像度画像をコンテンツ蓄積部１８００に記録する。また、画像処理部１５００の奥行き算出部１５１０が算出した点広がり関数ＰＳＦもコンテンツ蓄積部１８００に記録する。次に、実施例２に係る撮像装置１０１０は再生時に、コンテンツ蓄積部１８００に記録された各サブフィールドの画像（低解像度画像）と、点広がり関数ＰＳＦを再生し、画像処理部１５００の超解像処理部１５２０に伝送する。画像処理部１５００の超解像処理部１５２０は実施例１と同様に、各サブフィールドの画像（低解像度画像）と、点広がり関数ＰＳＦを用いて高解像度画像を生成する。画像出力部１６００は当該高解像度画像を出力する。
【００３３】
なお、上記の各構成部による記録や再生の動作は、例えば、ユーザの入力動作に基づいてユーザインタフェイス部１７００が生成したユーザ入力信号に従って、制御部１４００が制御すればよい。
【００３４】
なお、コンテンツ蓄積部１８００には、複数のフレーム分の各サブフィールドの画像記録してもよい。この場合は、低解像度映像を記録し、再生時に高解像度映像を再生出力することができる。
【００３５】
なお、上記の例では、実施例２に係る撮像装置１０１０は、記録時に画像処理部１５００の奥行き算出部１５１０が算出した点広がり関数ＰＳＦをコンテンツ蓄積部１８００に記録した。しかし、記録時に画像処理部１５００の奥行き算出部１５１０が算出した奥行き情報そのものを記憶し、再生時に奥行き算出部１５１０がコンテンツ蓄積部１８００に記録されている奥行き情報から点広がり関数ＰＳＦを算出して、当該点広がり関数ＰＳＦを画像処理部１５００の超解像処理部１５２０の超解像処理に用いても良い。
【００３６】
以上説明した実施例２に係る撮像装置１０１０は、上記のような構成にすることにより、実施例１の効果に加えて、撮像した低解像度画像を撮像装置１０１０内に記録し、ユーザ所望の再生時に、高解像度画像へ変換したのちに出力することが可能となる。
【００３７】
ここで、実施例２に係る撮像装置１０１０は、記録時に、低解像度画像を高解像度画像変換してコンテンツ蓄積部１８００に記録するのではなく、低解像度画像と点広がり関数ＰＳＦを記録し、再生時に当該低解像度画像と点広がり関数ＰＳＦとに基づいて高解像度画像を生成する。よって、コンテンツ蓄積部１８００に記録する画像データ量を低減することが可能となる。これにより、画像を記録する場合には、より多くの枚数の画像を記録することが可能となり、映像を記録する場合には、より長時間の映像を記録することが可能となる。
【実施例３】
【００３８】
図７を用いて、本発明の実施例３に係る撮像装置１０２０を示す。撮像装置１０２０は、実施例１および実施例２に係る撮像装置の超解像処理部１５２０を画像変換部１９００に替えたものである。画像変換部１９００以外のその他の構成・動作は、実施例１の撮像装置１０１０または実施例２撮像装置１０２０の構成・動作と同様であるため、説明を省略する。
【００３９】
実施例３に係る撮像装置１０２０の画像変換部１９００では、実施例１および実施例２に係る超解像処理部１５２０と異なり、超解像処理に限られず、奥行き情報を用いたさまざまな画像処理を行う。
【００４０】
例えば、画像変換部１９００の動作例としては、以下の例が挙げられる。第１の画像変換処理の例は、実施例１、２に記載のような複数画像を合成する超解像処理を行ったのち、奥行き算出部１５１０により算出されたもしくはコンテンツ蓄積部１８００から再生した複数の奥行き情報に基づいて画面内の奥行きの異なる部分にローパスフィルタなどの解像度変換処理を行う。
【００４１】
また、第２の画像変換処理の例は、複数画像を合成する超解像処理ではなく、１枚の画像から超解像処理を行い、その後上記奥行き情報に基づいて画面内の奥行きの異なる部分にローパスフィルタなどの解像度変換処理を行う。
【００４２】
また、第３の画像変換処理の例は、超解像処理などの高解像度化処理を行わず、上記奥行き情報に基づいて画面内の奥行きの異なる部分にローパスフィルタなどの解像度変換処理を行う。
【００４３】
以上説明した実施例３に係る撮像装置１０２０は、上記のような構成にすることにより、奥行き情報に基づいて、画像の局所的な解像度を変化させることが可能となり、より、高い立体感または奥行き感を持った画像を生成することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施例１に係る撮像装置の構成例である。
【図２】本発明の実施例１に係る撮像装置の動作例である。
【図３】本発明の実施例１に係る撮像装置の動作例である。
【図４】本発明の実施例１に係る撮像装置の動作例である。
【図５】本発明の実施例１に係る撮像装置の動作例である。
【図６】本発明の実施例２に係る撮像装置の構成例である。
【図７】本発明の実施例３に係る撮像装置の構成例である。
【符号の説明】
【００４５】
１０００ 撮像装置
１０１０ 撮像装置
１０２０ 撮像装置
１１００ レンズ
１２００ 液晶絞りユニット
１３００ 受光素子
１４００ 制御部
１５００ 画像処理部
１５１０ 奥行き算出部
１５２０ 超解像処理部
１６００ 画像出力部
１７００ ユーザインタフェイス部
１８００ コンテンツ蓄積部
１９００ 画像変換部
【技術分野】
【０００１】
本発明は、より高画質な画像を生成する撮像装置及び画像生成方法に関する。
【背景技術】
【０００２】
最近の表示デバイスは大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているSinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
非特許文献１には、複数の低解像度画像の単純平均をとって生成した高画素数画像を初期値として、入力低解像度画像と生成した高画素数画像との誤差を最小化するように高画素数画像を更新し、点広がり関数（Point Spread Function : PSF）の逆関数を用いて再サンプリングすることにより、周辺画素の影響を畳み込みながら画素値を決定し、高解像度画像を生成する技術が開示されている。
【０００４】
また、非特許文献２には、レンズの絞りの開口を所定形状にすることにより、単眼のカメラで画像の奥行きを測定する技術が開示されている。
【０００５】
【非特許文献１】Ｄａｖｉｄ Ｃａｐｅｌ： “Ｉｍａｇｅ Ｍｏｓａｉｃｉｎｇ ａｎｄ Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ”， ＰＰ．２１８， Ｓｐｒｉｎｇｅｒ， ２００４．
【非特許文献２】Ｌｅｖｉｎ：” Ｉｍａｇｅ ａｎｄ Ｄｅｐｔｈ ｆｒｏｍ ａ Ｃｏｎｖｅｎｔｉｏｎａｌ Ｃａｍｅｒａ ｗｉｔｈ ａ Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ”， ＳＩＧＧＲＡＰＨ’０７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
非特許文献１に開示された技術による高解像度画像生成方式では、正しくＰＳＦを推定できないと逆に画質を劣化させてしまうという課題があった。
【０００７】
一方、一般に点広がり関数ＰＳＦは画像の奥行き情報に影響を受けるため、高精度な点広がり関数ＰＳＦの推定には、高精度な奥行き情報が必要である。
【０００８】
しかし、非特許文献2に開示された技術による奥行き推定は、レンズの絞りの開口形状ごとに測定可能な奥行き範囲が限られており、一般的な撮像装置に求められる範囲の奥行き情報が得られないという課題があった。
【０００９】
さらに、非特許文献2に開示された技術による奥行き推定は、レンズの絞りを所定の開口形状としており、撮像時に所望の光量を得ることができないという課題があった。
【００１０】
本発明は、上記従来技術の課題に鑑みて為されたものであり、その目的は、より高画質な画像を生成する撮像装置を実現することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【００１２】
本発明によれば、より高画質な画像を生成することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を用いて本発明の実施例を説明する。
【実施例１】
【００１４】
図１は、本発明の実施例1に係る撮像装置１０００を示す。撮像装置１０００は、例えば、液晶シャッターからなる液晶絞りユニット１２００を有して受光素子１３００に像を結像する撮像レンズであるレンズ１１００と、受光素子１３００が受光結果に基づいて生成する画像信号に画像処理を行う画像処理部１５００と、液晶絞りユニット１２００、受光素子１３００、及び画像処理部１５００を制御する制御部１４００と、ユーザからの指示等に基づいてユーザ入力信号を生成し、制御部１４００に出力するユーザインタフェイス部１７００と、画像処理部１５００の画像処理後の画像信号を出力する画像出力部１６００とを備える。
【００１５】
以下、各部の動作の詳細を説明する。
【００１６】
まず、図２を用いて本発明の実施例1に係る制御部１４００と、液晶絞りユニット１２００及び受光素子１３００の動作の詳細を説明する。図２には、液晶絞りユニット１２００の開口形状の時間的な変化が示されている。開口形状１２０２、１２０３、１２０４は、撮像画像からの奥行き算出に適した開口形状(以下、奥行き算出パターン形状と称する)であり、その奥行き算出パターン形状の種類により、測定可能な奥行き方向の範囲が異なるものである。奥行き算出パターン形状は、例えば非特許文献２に記載される技術のような従来技術に開示された形状を用いればよいので、詳細な説明は省略する。制御部１４００は、図２に示されるように１フレーム時間内で、液晶絞りユニット１２００の開口を複数種類の奥行き算出パターン形状に変化させる。これにより、１フレーム時間の撮像処理で、複数種類の奥行き方向の範囲での奥行き測定が可能となる。これにより、１つの奥行き算出パターン形状の固定絞りを用いる従来の技術比べて１フレームの撮像画像から測定できる奥行き方向の範囲を拡大することが可能となる。
【００１７】
さらに、本発明の実施例1に係る制御部１４００による液晶絞りユニット１２００の制御においては、１フレーム時間内に、開口形状１２００のような円形絞りなどを挿入しても良い。これにより、透過光量が少ない奥行き算出パターン形状を用いる場合など、光量不足になる点を補うことが可能となる。
【００１８】
このとき、ユーザが所定の光量での撮像を望む場合には、ユーザはユーザインタフェイス部１７００に当該所定の光量の設定を入力し、ユーザインタフェイス部１７００は当該入力に基づきユーザ入力信号を生成して、制御部１４００に出力する。制御部１４００は、取得した当該ユーザ入力信号に基いて、必要光量を算出する。制御部１４００は、１フレーム時間内の受光量、すなわち、複数の奥行き算出パターン形状の１２０２、１２０３、１２０４による開口時の受光量と挿入する円形絞り開口時の受光量の和が、当該必要光量となるように、円形絞り開口の開口半径と開口時間を算出する。制御部１４００は、図２に示すように、当該算出した開口半径の円形絞り開口を、算出した開口時間分だけ、１フレーム時間内に挿入する。以上のような、円形絞り開口の挿入により、ユーザの所望の光量での撮像と、広範囲における奥行き算出を両立することが可能となる。
【００１９】
ここで、本発明の実施例1に係る画像処理部１５００における奥行き算出処理においては、算出精度を向上するために、液晶絞りユニット１２００の開口形状の各変化時において、液晶シャッターの変化の終了を待つ必要がある。ここで、一般的に液晶シャッターの動作特性は透過状態から遮光状態への変化のほうが、遮光状態から透過状態への変化よりも高速に行うことができる。そこで、実施例1に係る制御部１４００による液晶絞りユニット１２００の制御においては、１フレーム時間内での開口形状の変化の順番を図２に示すように、開口面積の大きい形状から小さい形状へと変化させる。これにより、各開口形状の変化の終了までの時間を短縮することが可能となり、高速な奥行き算出処理を実現できる。
【００２０】
さらに、図２に示すように複数のフレームを連続して撮像する場合も、１フレーム時間内における開口面積の変化を大から小へと方向付けることにより、開口面積の小さい形状から大きい形状への変化をフレーム間の切替時のみとすることが可能となる。これにより、液晶シャッターの動作終了の高速化に不利な開口形状の変化の回数を低減することが可能となる。これにより、複数のフレームを連続して撮像する場合にも、効率的な奥行き算出処理を実現できる。
【００２１】
次に、図３を用いて本発明の実施例1に係る制御部１４００による液晶絞りユニット１２００、受光素子１３００についての１フレーム分の制御動作について説明する。
【００２２】
まず、１フレーム時間の開始時に、制御部１４００は、液晶絞りユニット１２００の開口形状を当該１フレーム時間に用いる開口形状のうち、もっとも開口面積大きい開口形状に設定する（ステップ３０１）。次に、制御部１４００は、受光素子１３００に当該開口形状の開口時間に対応する１フレーム時間よりも短い時間の撮像画像であるサブフィールド画像を取得させる（ステップ３０２）。さらに、制御部１４００は、受光素子１３００に取得した当該サブフィールド画像を画像処理部１５００に伝送させる（ステップ３０３）。制御部１４００は、当該１フレーム時間に用いる全ての開口形状における処理を終了したかを判断する（ステップ３０４）。ここで、全ての開口形状における処理を終了していない場合には、制御部１４００は、液晶絞りユニット１２００の開口形状を次の開口形状に設定し、ステップ３０２、ステップ３０３の処理を繰り返す（ステップ３０５）。全ての開口形状における処理を終了している場合には、制御部１４００は、当該１フレーム分の制御動作を終了する。
【００２３】
なお、当該１フレーム時間に用いる開口形状の順序や、各開口形状の開口時間は、図示しないメモリなどの記憶部に記憶しておけばよい。当該開口形状の順序や、開口時間は、図２において説明したように、あらかじめ制御部１４００がユーザ入力信号に基づいて算出しておいてもよいし、あらかじめ定められた固定の開口形状の順序や、開口時間でもよい。
【００２４】
以上説明した本発明の実施例1に係る制御部１４００による液晶絞りユニット１２００、受光素子１３００についての１フレーム分の制御動作によれば、1フレーム時間内において、広範囲の奥行き算出と十分な光量の撮像を両立するために必要な複数のサブフィールド画像を取得することが可能となる。
【００２５】
図４を用いて本発明の実施例1に係る画像処理部１５００の動作について説明する。画像処理部１５００は、まず、受光素子１３００から伝送された各サブフィールド画像を取得する（ステップ４０１）。画像処理部１５００の奥行き算出部１５１０が、伝送されたサブフィールド画像のうち、奥行き算出パターン形状についてのサブフィールド画像を用いて、フレームごとの奥行き情報を算出する（ステップ４０２）。本発明の実施例1においては、既に説明したとおり、１フレーム時間内に複数の奥行き算出パターン形状についてのサブフィールド画像を得ることが可能である。よって、奥行き算出部１５１０は、各フレームについて複数の奥行き情報を算出することができ、より広い範囲の奥行き情報を算出することが可能である。奥行き算出パターン形状についてのサブフィールド画像を用いてフレームごとの奥行き情報を算出する動作は、例えば、非特許文献２に記載される技術ような従来技術を用いればよいので、詳細な説明は省略する。
【００２６】
さらに、奥行き算出部１５１０は、算出した奥行き情報から点広がり関数ＰＳＦを算出し、超解像処理部１５２０に伝送する（ステップ４０３）。超解像処理部１５２０は、図５に示すように、受光素子１３００から取得した撮像時刻の異なる複数種類のサブフィールド画像（低解像度画像１００、１０１、１０２）の位置あわせを行い、取得した点広がり関数ＰＳＦを用いた再サンプリングを含む画像変換処理である高解像度化処理（超解像処理）を行い、受光素子１３００から取得した低解像度画像よりも高解像の高い１枚の高解像度画像２００を生成する（ステップ４０４）。当該高解像度化処理は、例えば、非特許文献１に記載された従来技術を用いればよいので、詳細な説明は省略する。
【００２７】
以上説明した図４の画像処理部１５００の動作により、広範囲の奥行き情報を用いた高精度な点広がり関数ＰＳＦを用いて、高画質な高解像度画像を生成することが可能となる。
【００２８】
なお、ステップ４０４で用いる撮像時刻の異なる複数種類のサブフィールド画像は、撮像時刻が異なればよい。すなわち、複数フレームにまたがったサブフィールド画像を用いてもよく、１フレーム時間内の異なるサブフィールド画像を用いてもよい。さらに、このサブフィールド画像は、奥行き算出パターン形状開口時のサブフィールド画像でも円形絞り開口時のサブフィールド画像でもよく、これらの画像に係数等を乗じて合成した画像でもよい。
【００２９】
また、図４の画像処理部１５００の動作は、１枚の高画質画像の生成までの動作を示しているが、これを複数のフレームについて繰り返し行うことにより、受光素子１３００で取得した低解像度映像を高解像度映像に変換することが可能となる。
【００３０】
以上説明した本発明の実施例１に係る撮像装置は、レンズ内の液晶絞りユニットの開口形状を１フレーム内で複数種類に変化させ、絞り開口形状の異なる撮像による複数のサブフィールド画像を取得する。さらに、当該複数のサブフィールド画像の一部の画像から複数の奥行き情報を算出し、当該奥行き情報に基づいて算出した点広がり関数を算出する。さらに、当該複数のサブフィールド画像のうちの時間的に異なる複数の画像に、位置あわせ処理および算出した点広がり関数を用いた再サンプリング処理を含む高解像度化処理を行う。これにより、本発明の実施例１に係る撮像装置は、より広範囲な奥行き情報に基づいて、より高画質な画像を生成することが可能となる。
すなわち、本発明の実施例１によれば、より高画質な画像を生成する撮像装置を実現することが可能となる。
【実施例２】
【００３１】
図６を用いて、本発明の実施例２に係る撮像装置１０１０を示す。撮像装置１０１０は、実施例１に係る撮像装置１０００にデータを蓄積するコンテンツ蓄積部１８００を加えたものである。コンテンツ蓄積部１８００以外のその他の構成・動作は、実施例１の撮像装置１０１０の構成・動作と同様であるため、説明を省略する。
【００３２】
実施例２に係る撮像装置１０１０は記録時に、受光素子１３００が取得した各サブフィールドの画像、すなわち低解像度画像をコンテンツ蓄積部１８００に記録する。また、画像処理部１５００の奥行き算出部１５１０が算出した点広がり関数ＰＳＦもコンテンツ蓄積部１８００に記録する。次に、実施例２に係る撮像装置１０１０は再生時に、コンテンツ蓄積部１８００に記録された各サブフィールドの画像（低解像度画像）と、点広がり関数ＰＳＦを再生し、画像処理部１５００の超解像処理部１５２０に伝送する。画像処理部１５００の超解像処理部１５２０は実施例１と同様に、各サブフィールドの画像（低解像度画像）と、点広がり関数ＰＳＦを用いて高解像度画像を生成する。画像出力部１６００は当該高解像度画像を出力する。
【００３３】
なお、上記の各構成部による記録や再生の動作は、例えば、ユーザの入力動作に基づいてユーザインタフェイス部１７００が生成したユーザ入力信号に従って、制御部１４００が制御すればよい。
【００３４】
なお、コンテンツ蓄積部１８００には、複数のフレーム分の各サブフィールドの画像記録してもよい。この場合は、低解像度映像を記録し、再生時に高解像度映像を再生出力することができる。
【００３５】
なお、上記の例では、実施例２に係る撮像装置１０１０は、記録時に画像処理部１５００の奥行き算出部１５１０が算出した点広がり関数ＰＳＦをコンテンツ蓄積部１８００に記録した。しかし、記録時に画像処理部１５００の奥行き算出部１５１０が算出した奥行き情報そのものを記憶し、再生時に奥行き算出部１５１０がコンテンツ蓄積部１８００に記録されている奥行き情報から点広がり関数ＰＳＦを算出して、当該点広がり関数ＰＳＦを画像処理部１５００の超解像処理部１５２０の超解像処理に用いても良い。
【００３６】
以上説明した実施例２に係る撮像装置１０１０は、上記のような構成にすることにより、実施例１の効果に加えて、撮像した低解像度画像を撮像装置１０１０内に記録し、ユーザ所望の再生時に、高解像度画像へ変換したのちに出力することが可能となる。
【００３７】
ここで、実施例２に係る撮像装置１０１０は、記録時に、低解像度画像を高解像度画像変換してコンテンツ蓄積部１８００に記録するのではなく、低解像度画像と点広がり関数ＰＳＦを記録し、再生時に当該低解像度画像と点広がり関数ＰＳＦとに基づいて高解像度画像を生成する。よって、コンテンツ蓄積部１８００に記録する画像データ量を低減することが可能となる。これにより、画像を記録する場合には、より多くの枚数の画像を記録することが可能となり、映像を記録する場合には、より長時間の映像を記録することが可能となる。
【実施例３】
【００３８】
図７を用いて、本発明の実施例３に係る撮像装置１０２０を示す。撮像装置１０２０は、実施例１および実施例２に係る撮像装置の超解像処理部１５２０を画像変換部１９００に替えたものである。画像変換部１９００以外のその他の構成・動作は、実施例１の撮像装置１０１０または実施例２撮像装置１０２０の構成・動作と同様であるため、説明を省略する。
【００３９】
実施例３に係る撮像装置１０２０の画像変換部１９００では、実施例１および実施例２に係る超解像処理部１５２０と異なり、超解像処理に限られず、奥行き情報を用いたさまざまな画像処理を行う。
【００４０】
例えば、画像変換部１９００の動作例としては、以下の例が挙げられる。第１の画像変換処理の例は、実施例１、２に記載のような複数画像を合成する超解像処理を行ったのち、奥行き算出部１５１０により算出されたもしくはコンテンツ蓄積部１８００から再生した複数の奥行き情報に基づいて画面内の奥行きの異なる部分にローパスフィルタなどの解像度変換処理を行う。
【００４１】
また、第２の画像変換処理の例は、複数画像を合成する超解像処理ではなく、１枚の画像から超解像処理を行い、その後上記奥行き情報に基づいて画面内の奥行きの異なる部分にローパスフィルタなどの解像度変換処理を行う。
【００４２】
また、第３の画像変換処理の例は、超解像処理などの高解像度化処理を行わず、上記奥行き情報に基づいて画面内の奥行きの異なる部分にローパスフィルタなどの解像度変換処理を行う。
【００４３】
以上説明した実施例３に係る撮像装置１０２０は、上記のような構成にすることにより、奥行き情報に基づいて、画像の局所的な解像度を変化させることが可能となり、より、高い立体感または奥行き感を持った画像を生成することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施例１に係る撮像装置の構成例である。
【図２】本発明の実施例１に係る撮像装置の動作例である。
【図３】本発明の実施例１に係る撮像装置の動作例である。
【図４】本発明の実施例１に係る撮像装置の動作例である。
【図５】本発明の実施例１に係る撮像装置の動作例である。
【図６】本発明の実施例２に係る撮像装置の構成例である。
【図７】本発明の実施例３に係る撮像装置の構成例である。
【符号の説明】
【００４５】
１０００ 撮像装置
１０１０ 撮像装置
１０２０ 撮像装置
１１００ レンズ
１２００ 液晶絞りユニット
１３００ 受光素子
１４００ 制御部
１５００ 画像処理部
１５１０ 奥行き算出部
１５２０ 超解像処理部
１６００ 画像出力部
１７００ ユーザインタフェイス部
１８００ コンテンツ蓄積部
１９００ 画像変換部
【特許請求の範囲】
【請求項１】
１フレーム画像の撮像において、複数種類の開口形状を切り替える絞りユニットを有する撮像レンズと、
前記撮像レンズの透過光を受光し、前記液晶シャッターによる絞り手段が１フレーム画像の撮像において切り替えた複数種類の開口形状に対応する複数のサブフィールド画像信号を生成する受光素子と、
前記受光素子が生成した複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を生成し、該複数の奥行き情報に基づいて、前記受光素子が生成したサブフィールド画像信号の画像変換処理を行う画像処理部とを備えることを特徴とする撮像装置。
【請求項２】
前記画像処理部は、前記複数の奥行き情報から点広がり関数を算出し、当該点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成することを特徴とする撮像装置。
【請求項３】
前記画像処理部は、前記複数の奥行き情報と前記受光素子が生成したサブフィールド画像信号とに基づいて、該画像信号の画面内において部分的に解像度を変更する処理を行うことを特徴とする撮像装置。
【請求項４】
前記液晶シャッターによる絞り手段は、
１フレーム画像の撮像において、開口面積の大きい開口形状から開口面積の小さい開口形状への順に前記複数種類の開口形状を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記液晶シャッターによる絞り手段が切り替える複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状を含むことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記液晶シャッターによる絞り手段が切り替える複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状と円形開口形状とを含むことを特徴とする請求項１に記載の撮像装置。
【請求項７】
請求項１に記載の撮像装置であって、
さらに蓄積装置を備え、
記録時に、前記蓄積装置は、前記画像処理部が生成した複数の奥行き情報または点広がり関数と、前記受光素子が生成したサブフィールド画像信号とを記録し、
再生時に、前記蓄積装置は、前記蓄積装置が蓄積する複数の奥行き情報または点広がり関数とサブフィールド画像信号とを再生し、
前記画像処理部は、前記蓄積装置が再生した複数の奥行き情報または点広がり関数と前記サブフィールド画像信号に基づいて、該サブフィールド画像信号の画像変換処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項８】
１フレーム画像の撮像において、撮像レンズの絞り開口の形状を複数種類の開口形状に切り替える絞り開口形状切替えステップと、
前記撮像レンズの絞り開口の透過光を受光し、前記複数の開口形状に対応する複数のサブフィールド画像信号を生成するサブフィールド画像信号生成ステップと、
前記サブフィールド画像信号生成ステップで生成した複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を生成し、該複数の奥行き情報に基づいて、前記サブフィールド画像信号生成ステップにおいて生成したサブフィールド画像信号の画像変換処理を行って新たな画像を生成する画像生成ステップとを備えることを特徴とする画像生成方法。
【請求項９】
前記画像生成ステップは、
前記複数の奥行き情報から点広がり関数を算出し、当該点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成することを特徴とする請求項８に記載の画像生成方法。
【請求項１０】
前記画像生成ステップは、
前記複数の奥行き情報と前記サブフィールド画像信号生成ステップで生成したサブフィールド画像信号とに基づいて、該画像信号の画面内において部分的に解像度を変更する処理を行い、新たな画像を生成することを特徴とする請求項８に記載の画像生成方法。
【請求項１１】
前記開口形状切替えステップは、
１フレーム画像の撮像において、開口面積の大きい開口形状から開口面積の小さい開口形状への順に前記複数種類の開口形状を切り替えることを特徴とする請求項８に記載の画像生成方法。
【請求項１２】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状を含むことを特徴とする請求項８に記載の画像生成方法。
【請求項１３】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状と円形開口形状とを含むことを特徴とする請求項８に記載の画像生成方法。
【請求項１４】
１フレーム画像の撮像において、撮像レンズの絞り開口の形状を複数種類の開口形状に切り替える絞り開口形状切替えステップと、
前記撮像レンズの絞り開口の透過光を受光し、前記複数の開口形状に対応する、複数のサブフィールド画像信号を生成するサブフィールド画像信号生成ステップと、
前記サブフィールド画像信号生成ステップで生成した複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を算出、または前記１フレーム画像についての複数の奥行き情報をからさらに点広がり関数を算出する算出ステップと、
前記サブフィールド画像信号生成ステップにて生成した複数のサブフィールド画像信号と、前記算出ステップにて算出した複数の奥行き情報または点広がり関数とを蓄積部に記録する記録ステップと、
前記蓄積部から前記複数の奥行き情報または点広がり関数を再生する再生ステップと、
前記再生ステップにて再生した前記複数のサブフィールド画像信号と前記複数の奥行き情報または点広がり関数に基づいて、前記サブフィールド画像信号に画像変換処理を行い、新たな画像を生成する画像生成ステップと
を備えることを特徴とする画像生成方法。
【請求項１５】
前記画像生成ステップは、
前記点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成することを特徴とする請求項１４に記載の画像生成方法。
【請求項１６】
前記画像生成ステップは、
前記複数の奥行き情報と前記サブフィールド画像信号生成ステップで生成したサブフィールド画像信号とに基づいて、該画像信号の画面内において部分的に解像度を変更する処理を行い、新たな画像を生成することを特徴とする請求項１４に記載の画像生成方法。
【請求項１７】
前記開口形状切替えステップは、
１フレーム画像の撮像において、開口面積の大きい開口形状から開口面積の小さい開口形状への順に前記複数種類の開口形状を切り替えることを特徴とする請求項１４に記載の画像生成方法。
【請求項１８】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状を含むことを特徴とする請求項１４に記載の画像生成方法。
【請求項１９】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状と円形開口形状とを含むことを特徴とする請求項１４に記載の画像生成方法。
【請求項１】
１フレーム画像の撮像において、複数種類の開口形状を切り替える絞りユニットを有する撮像レンズと、
前記撮像レンズの透過光を受光し、前記液晶シャッターによる絞り手段が１フレーム画像の撮像において切り替えた複数種類の開口形状に対応する複数のサブフィールド画像信号を生成する受光素子と、
前記受光素子が生成した複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を生成し、該複数の奥行き情報に基づいて、前記受光素子が生成したサブフィールド画像信号の画像変換処理を行う画像処理部とを備えることを特徴とする撮像装置。
【請求項２】
前記画像処理部は、前記複数の奥行き情報から点広がり関数を算出し、当該点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成することを特徴とする撮像装置。
【請求項３】
前記画像処理部は、前記複数の奥行き情報と前記受光素子が生成したサブフィールド画像信号とに基づいて、該画像信号の画面内において部分的に解像度を変更する処理を行うことを特徴とする撮像装置。
【請求項４】
前記液晶シャッターによる絞り手段は、
１フレーム画像の撮像において、開口面積の大きい開口形状から開口面積の小さい開口形状への順に前記複数種類の開口形状を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記液晶シャッターによる絞り手段が切り替える複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状を含むことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記液晶シャッターによる絞り手段が切り替える複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状と円形開口形状とを含むことを特徴とする請求項１に記載の撮像装置。
【請求項７】
請求項１に記載の撮像装置であって、
さらに蓄積装置を備え、
記録時に、前記蓄積装置は、前記画像処理部が生成した複数の奥行き情報または点広がり関数と、前記受光素子が生成したサブフィールド画像信号とを記録し、
再生時に、前記蓄積装置は、前記蓄積装置が蓄積する複数の奥行き情報または点広がり関数とサブフィールド画像信号とを再生し、
前記画像処理部は、前記蓄積装置が再生した複数の奥行き情報または点広がり関数と前記サブフィールド画像信号に基づいて、該サブフィールド画像信号の画像変換処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項８】
１フレーム画像の撮像において、撮像レンズの絞り開口の形状を複数種類の開口形状に切り替える絞り開口形状切替えステップと、
前記撮像レンズの絞り開口の透過光を受光し、前記複数の開口形状に対応する複数のサブフィールド画像信号を生成するサブフィールド画像信号生成ステップと、
前記サブフィールド画像信号生成ステップで生成した複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を生成し、該複数の奥行き情報に基づいて、前記サブフィールド画像信号生成ステップにおいて生成したサブフィールド画像信号の画像変換処理を行って新たな画像を生成する画像生成ステップとを備えることを特徴とする画像生成方法。
【請求項９】
前記画像生成ステップは、
前記複数の奥行き情報から点広がり関数を算出し、当該点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成することを特徴とする請求項８に記載の画像生成方法。
【請求項１０】
前記画像生成ステップは、
前記複数の奥行き情報と前記サブフィールド画像信号生成ステップで生成したサブフィールド画像信号とに基づいて、該画像信号の画面内において部分的に解像度を変更する処理を行い、新たな画像を生成することを特徴とする請求項８に記載の画像生成方法。
【請求項１１】
前記開口形状切替えステップは、
１フレーム画像の撮像において、開口面積の大きい開口形状から開口面積の小さい開口形状への順に前記複数種類の開口形状を切り替えることを特徴とする請求項８に記載の画像生成方法。
【請求項１２】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状を含むことを特徴とする請求項８に記載の画像生成方法。
【請求項１３】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状と円形開口形状とを含むことを特徴とする請求項８に記載の画像生成方法。
【請求項１４】
１フレーム画像の撮像において、撮像レンズの絞り開口の形状を複数種類の開口形状に切り替える絞り開口形状切替えステップと、
前記撮像レンズの絞り開口の透過光を受光し、前記複数の開口形状に対応する、複数のサブフィールド画像信号を生成するサブフィールド画像信号生成ステップと、
前記サブフィールド画像信号生成ステップで生成した複数のサブフィールド画像信号から、１フレーム画像についての複数の奥行き情報を算出、または前記１フレーム画像についての複数の奥行き情報をからさらに点広がり関数を算出する算出ステップと、
前記サブフィールド画像信号生成ステップにて生成した複数のサブフィールド画像信号と、前記算出ステップにて算出した複数の奥行き情報または点広がり関数とを蓄積部に記録する記録ステップと、
前記蓄積部から前記複数の奥行き情報または点広がり関数を再生する再生ステップと、
前記再生ステップにて再生した前記複数のサブフィールド画像信号と前記複数の奥行き情報または点広がり関数に基づいて、前記サブフィールド画像信号に画像変換処理を行い、新たな画像を生成する画像生成ステップと
を備えることを特徴とする画像生成方法。
【請求項１５】
前記画像生成ステップは、
前記点広がり関数と前記複数のサブフィールド画像信号とに基づいて、前記サブフィールド画像信号よりも高解像度な画像信号を生成することを特徴とする請求項１４に記載の画像生成方法。
【請求項１６】
前記画像生成ステップは、
前記複数の奥行き情報と前記サブフィールド画像信号生成ステップで生成したサブフィールド画像信号とに基づいて、該画像信号の画面内において部分的に解像度を変更する処理を行い、新たな画像を生成することを特徴とする請求項１４に記載の画像生成方法。
【請求項１７】
前記開口形状切替えステップは、
１フレーム画像の撮像において、開口面積の大きい開口形状から開口面積の小さい開口形状への順に前記複数種類の開口形状を切り替えることを特徴とする請求項１４に記載の画像生成方法。
【請求項１８】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状を含むことを特徴とする請求項１４に記載の画像生成方法。
【請求項１９】
前記開口形状切替えステップにおける複数種類の開口形状は、算出可能な奥行き情報の範囲が異なる奥行き算出処理に用いる複数の奥行き算出パターン形状と円形開口形状とを含むことを特徴とする請求項１４に記載の画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−８１４６０（Ｐ２０１０−８１４６０Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４９５００（Ｐ２００８−２４９５００）
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]