補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
【課題】複数の視点から撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成する。
【解決手段】補間画像生成装置３０は、入力部３１０複数の視点から得られた複数の撮影画像とその撮像設定情報を取得し、ＥＰＩ生成部３２１が複数の画像からＥＰＩを生成し、角度推定部３２２がＥＰＩ上で各ＥＰＩの実画素が対応する直線の角度を推定し、補間画像設置部３２３がＥＰＩ上に補間画像を設置し、対応検出部３２４が実画素と補間画像の画素（補間画素）との対応を検出し、対応検出部３２４が実画素と補間画素の対応関係の確かさを評価し、画素値加算部３２６が対応関係の確かさに基づいて補間画素の画素値を加算することにより補間画像を生成する。
【解決手段】補間画像生成装置３０は、入力部３１０複数の視点から得られた複数の撮影画像とその撮像設定情報を取得し、ＥＰＩ生成部３２１が複数の画像からＥＰＩを生成し、角度推定部３２２がＥＰＩ上で各ＥＰＩの実画素が対応する直線の角度を推定し、補間画像設置部３２３がＥＰＩ上に補間画像を設置し、対応検出部３２４が実画素と補間画像の画素（補間画素）との対応を検出し、対応検出部３２４が実画素と補間画素の対応関係の確かさを評価し、画素値加算部３２６が対応関係の確かさに基づいて補間画素の画素値を加算することにより補間画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
複数の視点から撮影した被写体の複数の画像を取得することにより、被写体からカメラのレンズに侵入する全ての光線の向きと光量を取得する技術が知られている。被写体を異なる視点から撮影した複数の画像の集合をライトフィールド画像と呼び、ライトフィールド画像を構成する一つ一つの画像をサブ画像と呼ぶ。
【０００３】
特許文献１は、少数の高解像度のサブ画像から構成されるライトフィールド画像を取得し、当該取得したライトフィールド画像から、再フォーカス画像や被写界深度の異なる画像等を再構成する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ライトフィールド画像では、隣り合うサブ画像の間に、両画像を取得した視点のずれ（視差）に対応した画素抜けが発生する。この画素抜けは、ライトフィールド画像から新たな画像を再構成した際に周期的なノイズの原因となる。
【０００６】
上記問題を解決するため、特許文献1は、２つのサブ画像の間に、両サブ画像に対応する視点の間に位置する視点から撮影されたと推定される補間画像を生成し、この補間画像を用いて画素抜けを補間することを提案している。しかし、特許文献1は、補間画像を用いて再構成することを提案するだけで、補間画像を生成する方法を開示していない。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、複数の視点から被写体を撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成する技術を提供することを第１の目的とする。
また、本発明は、高品質の画像を再構成する技術を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る補間画像生成装置は、
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の視点から被写体を撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成できる。また、本発明を用いれば、高品質の画像を再構成できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係るデジタルカメラの構成を示す図である。
【図２】実施形態１に係るデジタルカメラの光学形成の構成を示す図である。
【図３】実施形態１に係るライトフィールド画像の例を示す図である。
【図４】実施形態１に係る補間画像生成装置の（ａ）物理的構成と（ｂ）機能的構成を示す図である。
【図５】（ａ）〜（ｃ）は、実施形態１に係る実画像とＥＰＩの関係を示す図である。
【図６】実施形態１に係る直線推定処理の概要を示す図である。
【図７】実施形態１に係る直線推定処理の概要を示す図である。
【図８】実施形態１に係る実画素情報リストの例を示す図である。
【図９】実施形態１に係る補間画素挿入処理の概要を示す図である。
【図１０】実施形態１に係る補間画素リストの例を示す図である。
【図１１】（ａ）〜（ｃ）は、実施形態１に係る画素値加算処理の概要を示す図である。
【図１２】実施形態１に係る補間画像生成処理を示すフローチャートである。
【図１３】実施形態１に係る角度θ登録処理を示すフローチャートである。
【図１４】実施形態１に係る角度θ推定処理を示すフローチャートである。
【図１５】実施形態１に係る画素値加算処理を示すフローチャートである。
【図１６】実施形態１に係る注目実画素に基づく補間処理を示すフローチャートである。
【図１７】（ａ）と（ｂ）とは、実施形態１に係る二次元の補間画像生成処理の概要を示す図である。
【図１８】実施形態１に係る再構成画像生成処理を示すフローチャートである。
【図１９】実施形態２に係る光学装置を示す図である。
【図２０】本発明の実施形態２に係る画素値加算処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態に係る補間画像生成装置及び再構成画像生成装置を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【００１２】
（実施形態１）
実施形態１に係る補間画像生成装置３０は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、ｉ）被写体を撮影して画像を得る機能、ｉｉ）同一の被写体を複数の視点から撮影して得られた複数の画像（サブ画像）間の視点のずれ（視差）によって生じる情報抜け（ギャップ）を埋めるための補間画像を生成する機能、ｉｉｉ）サブ画像と補間画像とを用いて、任意の再構成画像を生成する機能、等を備える。補間画像生成装置３０は、これらの機能のうち、補間画像を生成する機能を担当する。
【００１３】
デジタルカメラ１は、図１に示すように、撮像部１０と、補間画像生成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部からの光線情報を取得して、光線情報を表す画像を表示する。
【００１４】
撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、撮像動作を行う。
【００１５】
光学装置１１０は、図２に示すように、シャッタ１１１と、絞り１１２と、メインレンズＭＬと、マイクロレンズアレイＬＡと、から構成され、外部からの光線をメインレンズＭＬによって捉え、各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。
【００１６】
イメージセンサ１２０は、光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達するもので、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｌｙ Ｍａｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。
【００１７】
シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。
絞り１１２は、イメージセンサ１２０に入射する光の光量を制御する。
メインレンズＭＬは、一又は複数の凸レンズから構成され、被写体ＯＢの光を光学像としてメインレンズＭＬとマイクロレンズアレイＬＡとの間の仮想的な結像面ＩＰ上に結像させる。
マイクロレンズアレイＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。マイクロレンズアレイＬＡは、メインレンズＭＬが結像面ＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。
【００１８】
撮像部１０は、上記構成により、ライトフィールドを通過する全ての光線の情報を含んだライトフィールド画像を撮影する。
ブロック状の被写体ＯＢを撮影したライトフィールド画像ＬＦの一例を図３に示す。
このライトフィールド画像ＬＦは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬのそれぞれに対応する画像（サブ画像Ｓ、Ｓ１１〜ＳＭＮ）から構成されている。例えば、左上のサブ画像Ｓ１１は、被写体を左上から撮影した画像に相当し、右下のサブ画像ＳＭＮは被写体を右下から撮影した画像に相当する。
【００１９】
第ｉ行のサブ画像（横の一列のサブ画像）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、マイクロレンズアレイＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブ画像（縦の一列のサブ画像）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、マイクロレンズアレイＬＡの第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。
なお、各サブ画像Ｓはグレースケール画像であり、サブ画像を構成する各画素は画素値（スカラー値）を持つ。
【００２０】
図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成され、画像処理部２１０、補間画像生成装置３０、画像再構成部２２０、撮像制御部２３０、として機能する。
【００２１】
画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０に記憶されている撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと撮像設定情報とを補間画像生成装置３０に伝達する。
【００２２】
撮像設定情報は、ライトフィールド画像の各サブ画像に対応する視点（サブレンズＳＬの光学中心）の位置情報、メインレンズＭＬのフォーカスについての情報、絞り（Ｆ値）の情報、イメージセンサ１２０の設定情報、等を含む。
【００２３】
補間画像生成装置３０は、画像処理部２１０で生成された画像データと記憶部４０から読み出された撮像設定情報とから、画像処理部２１０が生成した画像（ライトフィールド画像）を構成するサブ画像を補間する補間画像を生成する。なお、補間画像生成装置３０の構成及び補間画像の生成方法については、後述する。
補間画像生成装置３０は、生成した補間画像の画像データ及び補間画像の設定情報を、画像処理部２１０から伝達されたライトフィールド画像の画像データ及び撮像設定情報と共に画像再構成部２２０に伝達する。
【００２４】
画像再構成部２２０は、補間画像生成装置３０から伝達されたライトフィールド画像と補間画像とを用いて記憶部４０の再構成設定記憶部４２０に記憶された再構成設定に合致する再構成画像を生成する。なお、再構成画像の生成方法は、例えば、特許文献１に例示されている方法を使用する等、任意である。
画像再構成部２２０は、生成した再構成画像を記憶部４０の画像記憶部４３０に記憶する。
【００２５】
撮像制御部２３０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御する。
【００２６】
記憶部４０は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。
【００２７】
記憶部４０は、機能的には、撮像設定記憶部４１０と、再構成設定記憶部４２０と、画像記憶部４３０と、から構成される。
【００２８】
撮像設定記憶部４１０は、撮像設定情報を記憶する。撮像設定情報は、マイクロレンズアレイＬＡを構成する各サブレンズＳＬの位置情報と、マイクロレンズアレイＬＡとイメージセンサ１２０の撮像面ＩＥとの距離と、メインレンズＭＬとマイクロレンズアレイＬＡとの距離と、露光時間を特定する情報と、を含む。撮像設定情報は、インターフェース部５０の操作部５３０から入力された撮像のＦ値、シャッタ速度、拡大率、等の撮像パラメータをさらに含む。
撮像設定記憶部４１０は、撮像設定情報のうち、撮像パラメータを撮像制御部２３０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０の物理特性を示す情報と撮像設定情報とを画像処理部２１０に伝達する。
【００２９】
再構成設定記憶部４２０は、操作部５３０から入力された再構成設定情報を記憶する。再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。
ここでは、ライトフィールド画像ＬＦをリフォーカスした画像を再構成する場合について説明する。このとき、再構成設定情報はリフォーカスする旨の情報と、新たな画像のフォーカス点とレンズとの距離を特定する情報と、を含む。
【００３０】
画像記憶部４３０は、画像再構成部２２０が再構成した画像を記憶する。画像記憶部４３０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。
【００３１】
インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。
【００３２】
Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。
【００３３】
表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０や再構成設定記憶部４２０に記憶される設定情報を入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４３０に記憶された画像を表示する。
【００３４】
操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する制御部によって構成され、ユーザ操作により入力された情報を入力する。
【００３５】
次に、補間画像生成装置３０の構成について、図４を参照して説明する。
補間画像生成装置３０は、図４（ａ）に示すように情報処理部３１と、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、内部バス３７と、から構成される。
【００３６】
情報処理部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成される。
【００３７】
主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。操作部３４は、操作部５３０と同様の物理構成を持つ。表示部３５は、表示部５２０と同様の物理構成を持つ。入出力部３６は、Ｉ/Ｏ部５１０と同様の物理構成を持つ。内部バス３７は、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、を接続する。
【００３８】
主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。
【００３９】
補間画像生成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１が、主記憶部３２を使用してプログラム３８を実行することにより、後述する補間画像生成処理を実行する。
【００４０】
補間画像生成装置３０は、上記のような物理構成により、図４（ｂ）に示すように、入力部３１０と、情報処理部３２０と、記憶部３３０と、操作部３４０と、出力部３５０と、として機能する。
【００４１】
入力部３１０は、画像処理部２１０から、ライトフィールド画像ＬＦを取得する画像取得部３１１と、そのライトフィールド画像ＬＦを取得したときの撮像設定情報を取得する画像設定取得部３１２と、から構成される。
【００４２】
情報処理部３２０は、画像取得部３１１が取得したライトフィールド画像ＬＦと、画像設定取得部３１２が取得したそのライトフィールド画像ＬＦの撮像設定情報と、補間設定記憶部３３２に記憶された補間設定と、に基づき、補間画像を生成する。情報処理部３２０は、生成した補間画像を画像取得部３１１が取得した画像と共に記憶部３３０の補間情報記憶部３３３に記憶する。
記憶部３３０は、工場出荷時に記憶された設定情報と、操作部３４０を用いてユーザが入力した入力情報と、情報処理部３２０の処理結果と、を記憶する。記憶部３３０は、情報処理部３２０から要求された情報を情報処理部３２０に伝達する。また、記憶部３３０は、記憶した情報を出力部３５０に伝達する。
【００４３】
情報処理部３２０は、下記する処理を実行することにより、ＥＰＩ生成部３２１、角度推定部３２２、補間画像設置部３２３、対応検出部３２４、対応評価部３２５、画素値加算部３２６、として機能する。
【００４４】
ＥＰＩ生成部３２１は、入力部３１０の画像取得部３１１からライトフィールド画像ＬＦを、画像設定取得部３１２からそのライトフィールド画像ＬＦの撮像設定情報を、それぞれ受け取ると、ＥＰＩ（Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ、エピポーラプレーン画像）を生成する。ＥＰＩ生成部３２１は、生成したＥＰＩを角度推定部３２２と、補間画像設置部３２３と、に伝達する。
【００４５】
ここで、ＥＰＩ生成部３２１がライトフィールド画像ＬＦから生成するＥＰＩについて、図５を参照して説明する。
理解を容易にするために、ここでは図５（ａ）のように横（Ｘ軸）方向に並んだ４つサブレンズ（ＳＬ１〜ＳＬ４）で、無限遠に存在する背景Ｂと、レンズ（サブレンズ）ＳＬ１〜ＳＬ４からＺ軸方向に距離ｚだけ離れた物体Ａと、を撮影したライトフィールド画像ＬＦからＥＰＩを生成する場合について説明する。
なお、背景Ｂは互いに異なる画素に対応する部分Ｂ１〜Ｂ２５から構成されるとする。また、物体Ａは互いに異なる画素に対応する部分Ａ１〜Ａ７から構成されるとする。
【００４６】
サブレンズＳＬ１〜ＳＬ４は、それぞれイメージセンサ１２０の撮像面ＩＥ上にサブ画像Ｓ１〜Ｓ４を結像させる。言い換えると、サブ画像Ｓ１〜Ｓ４は、それぞれ被写体をサブレンズＳＬ１〜ＳＬ４の光学中心を視点として撮影した画像である。
サブ画像Ｓ１〜Ｓ４は、図５（ｂ）に示すように、それぞれ縦（Ｖ軸方向）にｖ個、横（Ｕ軸方向）にｕ（ここでは２５とする）個の画素が格子状に並んで構成されている。サブレンズＳＬ１〜ＳＬ４の光学中心は、それぞれ距離（視差）ｄ１〜ｄ３ずつ離れている。ここでは視差ｄ１〜ｄ３は同じ値ｄであるとする。視差ｄの値は、マイクロレンズアレイＬＡを用いて撮影する場合はマイクロレンズアレイＬＡの物理的な構成によって定まる。視差ｄの値は撮像設定情報に含まれる。
【００４７】
サブ画像Ｓ１〜Ｓ４の縦（Ｖ軸）方向は被写体空間のＹ軸方向に、横（Ｕ軸）方向は被写体空間のＸ軸方向に、それぞれ相当する。サブ画像Ｓ１〜Ｓ４の同じ行（例えばｉ行目）の各画素列は、同一のエピポーラ平面に対応する画素列である。エピポーラ平面とは、被写体の注目点と、被写体を撮影する２つの視点と、の三点が形成する平面である。
【００４８】
あるエピポーラ平面に対応する画素列を、対応する視点の順番に配置した画像が、ＥＰＩである。以下、ＥＰＩを構成する実際に撮影された画像（実画像）の各列を実画素列と、実画素列の各画素を実画素と表記する。なお、ＥＰＩは、図５の例ではサブ画像Ｓ１〜Ｓ４から、サブ画像のＶ軸方向の画素列の数Ｖ個だけ定義できる。
図５（ｃ）は、図５（ｂ）のサブ画像Ｓ１〜Ｓ４のｉ行目の各画素列を順に並べて生成したＥＰＩを示す。
ここで、ＥＰＩの縦方向（図５（ｃ）のＸ軸）は、被写体空間（図５（ａ））のＸ軸に対応する。また、ＥＰＩの横方向（図５（ｃ）のＵ軸）は、サブ画像（図５（ａ））のＵ軸に対応する。ＥＰＩのＵ軸方向の各列を構成する画素に、画素ナンバ（ここでは１〜２５）を割り当てる。ＥＰＩの各行は、Ｘ軸方向に、対応する視差ｄ１〜ｄ３に対応する間隔で配置される。なお、視差ｄ１〜ｄ３が略同一である場合は、各行間を隣接して配置しても良い。
【００４９】
図５（ｃ）のＥＰＩの各画素内には、その画素に対応する被写体の部分を示す符号（Ａ１〜Ａ７，Ｂ１〜Ｂ２５）が記載されている。
例えば、物体Ａの部分Ａ１に対応する画素は、実画素列１（Ｒ１）では画素ナンバ７の画素に現れ、実画素列２（Ｒ２）では画素ナンバ１０の画素に現れる。実画素列１と実画素列２とにおける画素ナンバの差Δ１は３である。各ＥＰＩの行間（実画素列１（Ｒ１）と実画素列２（Ｒ２）との間、実画素列２（Ｒ２）と実画素列３（Ｒ３）との間、実画素列３（Ｒ３）と実画素列４（Ｒ４）との間）で生じる画素ナンバの差Δ（Δ１〜Δ３）をその被写体のＥＰＩ視差と呼ぶ。視差ｄ（＝ｄ１＝ｄ２＝ｄ３）が等しい場合はＥＰＩ視差（Δ１〜Δ３）も等しい。
【００５０】
実画素列１（Ｒ１）〜実画素列４（Ｒ４）が、対応するサブレンズＳＬ１〜ＳＬ４の間の視差ｄ１〜ｄ３に対応する間隔で配置されているため、同一の被写体に対応するＥＰＩ上の画素は、ＥＰＩ上で直線上に並ぶ。
具体的には、例えば物体Ａの右端（Ａ７）の部分に対応する画素は、図５（ｃ）の直線Ｌ（Ａ７）上に並ぶ。ここで、直線Ｌ（Ａ７）を、被写体部分Ａ７のＥＰＩ直線と呼ぶ。
【００５１】
ＥＰＩ直線は、対応する被写体が近いほどＥＰＩのＸ軸に対して大きな角度を持つ。これは、被写体（例えばＡ７）が近くにあればあるほど、被写体（Ａ７）からレンズＬ１〜Ｌ４に進入する光の角度が視差ｄ１〜ｄ３により大きく変化するため、対応する画素の位置（画素ナンバ）が互いに大きくＵ軸方向にずれるためである。
一方、例えば被写体が背景ＢのようにレンズＬ１〜Ｌ４から十分離れた場所にある場合は、光はレンズＬ１〜Ｌ４に略平行に進入するため、対応する画素の位置（画素ナンバ）はＵ軸方向で変化せず、ＥＰＩ直線Ｌ（Ｂ１）のように、ＥＰＩのＸ軸に対して平行となる。
【００５２】
被写体上のある点Ｑに対応するＥＰＩ直線Ｌ（Ｑ）とＸ軸との交差角度θ（Ｑ）は、点Ｑとサブレンズとの間の距離ｚｑ、視差ｄ、マイクロレンズアレイＬＡと撮像面ＩＥとの距離、撮像素子間の距離、等によって定まる。
【００５３】
ＥＰＩ視差Δ（＝Δ１＝Δ２＝Δ３）が大きいと、ＥＰＩの各行で大きな情報のギャップ（画素抜け）が存在することとなる。この画素抜け（情報ギャップ）は画像の再構成を行った際のノイズの原因となる。そこで、本実施形態では、サブ画像の間に仮想的な補間画像を生成して、ＥＰＩの実画素間列の間に配置して再構成画像の生成に用いて画素抜けによるノイズを低減する。
【００５４】
図４（ｂ）に戻って、ＥＰＩ生成部３２１は生成したＥＰＩを角度推定部３２２と、補間画像設置部３２３と、に伝達する。
【００５５】
サブ画像Ｓが横にＮ個、縦にＭ個存在しており、それぞれの実画像が縦にＶ個の画素列、横にＵ個の画素列で構成されている場合、ＥＰＩは合計でＶ・Ｎ＋Ｕ・Ｍ個定義できる。
ＥＰＩ生成部３２１は、Ｍ・Ｎ個のサブ画像Ｓからなるライトフィールド画像ＬＦを取得すると、上記（Ｖ・Ｎ＋Ｕ・Ｍ）個のＥＰＩをすべて生成する。
【００５６】
角度推定部３２２は、ＥＰＩ生成部３２１からＥＰＩを伝達されると、ＥＰＩ上の各実画素について、補間設定記憶部３３２に記憶された補間設定を用いて、ＥＰＩ直線がＸ軸と成す角度θを推定する。
補間設定の情報は、生成する補間画像の数、補間画像を設置する相対位置、角度推定に用いられるパラメータ、等を含む。補間設定は、操作部３４０を用いてユーザが定義し、補間設定記憶部３３２に記憶されている。補間設定は、工場出荷時にあらかじめ補間設定記憶部３３２に記憶されている情報であってもよい。
【００５７】
処理対象となる実画素についてＥＰＩ直線がＸ軸と交差する角度θを推定する処理の概要を説明する。
【００５８】
注目実画素を画素Ｐｘｌ（Ｒｘ、ｕ）と表記する。Ｒｘは注目実画素が実画素列Ｒｘ（ｘ列目の実画素列）の画素であること、ｕは注目実画素が実画素列Ｒｘ中のｕ番目の画素であることを意味する。そして、注目実画素Ｐｘｌ（Ｒｘ、ｕ）を通過するＸ軸となす角が角度θである直線をＬｉｎｅ（θ）と表記する。
実画素列２（Ｒ２）の画素ナンバ１６の画素Ｐｘｌ（Ｒ2、１６）を注目実画素とした角度θを推定する処理の例を図６に示す。図６は、画素Ｐｘｌ（Ｒ2、１６）に対して定義された、複数のθに対応する複数の直線Ｌｉｎｅ（θ）を示している。
そして、各直線Ｌｉｎｅ（θ）上にあるＲ１〜Ｒ４の実画素について、Ｐｘｌ（Ｒｘ、ｕ）の直線Ｌｉｎｅ（θ）がＥＰＩ直線である確からしさの評価値Ｃを直線上に存在する画素値の差に基づいて算出する。
【００５９】
評価値Ｃは式（１）に基づいて算出される。評価値Ｃの値（Ｃ値）が小さいほど直線Ｌｉｎｅ（θ）上の実画素の画素値の誤差が小さく、その直線上の画素が対応する信頼度が高い。評価値Ｃの信頼度がもっとも高くなる角度θを導出して、その実画素について推定されたＥＰＩ直線の角度θとする。
【００６０】
【数１】
【００６１】
式（１）のＩは注目画素の画素値、ＥＰＩはLine(θ)上にある注目画素以外の各画素を表すパラメータ、Ｉｋは直線上にある注目実画素以外の各画素の画素値、Ｋは直線上にある注目実画素以外の画素の数である。
【００６２】
なお、評価値Ｃは、式（１）に限らず、直線Ｌｉｎｅ（θ）上の各画素の画素値の誤差が大きいほど解が大きくなる任意の算出式を用いて算出してもよい。たとえば、評価値Ｃは、注目実画素の画素値と直線上の画素値の差を二乗して加算し、Ｋで除算する式を用いて算出されてもよい。
【００６３】
なお、直線Ｌｉｎｅ（θ）上に存在する画素は、以下の処理により抽出される。
（１）Ｌｉｎｅ（θ）と各画素列の中心線との交点Ｐｃを求める。
（２）交点Ｐｃが画素列の画素Ａの中心と画素Ｂの中心の中間にある場合、画素Ａと画素Ｂのうち中心が交点Ｐｃと近い画素がその画素列においてＬｉｎｅ（θ）上に存在する画素として選択される。
（３）交点Ｐｃが画素Ａの中心である場合、画素Ａがその画素列においてＬｉｎｅ（θ）上に存在する画素として選択される。
（４）交点Ｐｃが画素列から外れている場合（図６の例では、画素ナンバ１又は画素ナンバ２５の外側にある場合）、その画素列にはＬｉｎｅ（θ）上の画素は存在しない。
【００６４】
図４（ｂ）に示す角度推定部３２２は、評価値Ｃの信頼度が最も高い角度θをその画素の推定ＥＰＩ直線とし、そのＣ値が所定の閾値以下であればその角度θを後述する実画素情報リストに登録する。例えば、図６の注目実画素Ｐｘｌ（Ｒ２、１６）に対応する被写体Ａ７に対応する画素はＬｉｎｅ（θ２）上に存在するため、角度θ２が画素（Ｒ２、１６）に登録される。
【００６５】
このとき、ＥＰＩ直線を推定することが困難な画素がある。例えば、図６の画素Ｐｘｌ（Ｒ４、１３）に対応する被写体は、図５に示す背景Ｂの部分Ｂ１３である。Ｂ１３に対応する画素は、物体Ａが無ければ、Ｘ軸に対して平行な角度０のＥＰＩ直線（Ｐｘｌ（Ｒ４、１６）のＬｉｎｅ（０））上に存在するはずである。
しかし、Ｂ１３は、実画素列１〜３では物体Ａに隠れてしまっているため、画素Ｐｘｌ（Ｒ４、１３）に対応する画素は実画素列１〜３には存在しない。そのためＥＰＩ直線を推定することが出来ない。
また、例えば、画素Ｐｘｌ（Ｒ４、８）に対応する被写体は、背景Ｂの部分Ｂ８である。部分Ｂ８に対応する画素は、実画素列２〜３ではＰｘｌ（Ｒ４、８）のＬｉｎｅ（θ０）上に存在するが、実画素列１では物体Ａに隠れているため存在しない。このため、Ｐｘｌ（Ｒ１、８）の画素値によっては、直線Ｌｉｎｅ（０）を正しく推定できず、角度０とは異なる角度θがＰｘｌ（Ｒ４、８）について登録されてしまう可能性がある。
【００６６】
そこで補間画像生成装置３０は、繰り返して推定処理を行い、信頼度が高い推定直線が得られた画素を、次の繰り返しにおける推定処理で処理対象から排除して推定処理を行う。
この処理について、図７を参照して説明する。
【００６７】
まず、図７で斜線又は網目で示された実画素は、ＥＰＩ上の実画素列１〜４のすべてに対応する実画素が存在するため、ノイズの影響を考えなければ、高い信頼度（小さいＣ値）のＥＰＩ直線を推定することができる。
一度目の推定処理を、Ｃ値が予め信頼度が高くなるように小さい数値に設定された閾値以下で有る場合に限り角度θを登録するという条件で実行する。その結果、対応関係が確実な画素（斜線の画素及び網掛け線の画素）についてだけＥＰＩ直線が推定され、角度θが登録される。そして、次回以後のループでは、計算対象から角度θが登録された実画素を排除する。
【００６８】
次に、一度目の推定処理で角度θが登録されなかった実画素だけを用いて、２度目の推定処理を行う。このとき、閾値が一度目の推定処理と同一であっても、式（１）の計算対象となる画素が減少しているため、２回目の推定では楕円で示された画素について角度θを推定することができる。例えば、２度目の推定処理でＰｘｌ（Ｒ４、７）の直線を推定する際には、Ｐｘｌ（Ｒ１，７）の画素値は計算対象から排除される。そのため、Ｐｘｌ（Ｒ４、７）の画素値とＰｘｌ（Ｒ１，７）の画素値の差は式（１）において加算されないため、角度０をＰｘｌ（Ｒ１，７）の画素値に影響を受けず、正しくＥＰＩ直線を推定することができる。
以後、同様の動作を角度θが登録されなかった実画素だけを用いて順次実行する。
【００６９】
本実施形態によれば、各直線について評価値Ｃを算出し、評価値Ｃが小さい直線を推定ＥＰＩ直線とすることで、各実画素に対応する実画素をＥＰＩ上で簡便に推定することができるという効果が得られる。また、一度角度θが登録された画素を次回以降の角度θ推定処理で比較対象から排除することで、対応関係が確かな（オクリュージョンによって遮蔽されていない）被写体に対応する画素から順に角度θを登録し、さらにオクリュージョンによって遮蔽されている被写体に対応する画素の対応関係を、遮蔽している被写体に対応する画素の影響を受けずに推定することができる。
【００７０】
ある画素に何度目の推定処理で角度θが登録されたかによって、その画素に対応する被写体がオクリュージョンによって遮蔽されている程度を評価することができる。少ない処理回数で角度θが登録された画素ほど、対応する被写体がオクリュージョンによって遮蔽されている可能性が低いと評価できる。そこで、角度θが何回目の処理（イテレーション）で登録されたか、その回数（イテレーション数）を、その画素の角度θの評価値ＩＴとして画素と対応付けて記憶する。
なお、図７で黒く塗りつぶされたＰｘｌ（Ｒ４、１３）のように、対応する画素が無く角度の推定ができない（所定の閾値（閾値の最大値）より小さいＣ値を持つＥＰＩ直線を推定できない）画素もある。このような画素については角度θを空値（ＮＵＬＬ）として記憶する。ノイズによってＣ値が閾値より低い直線を検出できなかった場合も同様である。
【００７１】
図４（ｂ）に示す角度推定部３２２は、各画素について、推定されたＥＰＩ直線の角度θと、ＥＰＩ直線の推定過程で算出されるその直線の評価値ＩＴ（イテレーション数）と、を対応づけて登録した実画素情報リストを生成し、実画素情報記憶部３３１に記憶する。
【００７２】
ここで、実画素情報記憶部３３１に記憶される実画素情報リストについて、図８を参照して説明する。
実画素情報リストは、実画素列上の各画素について、推定されたＥＰＩ直線の角度θと、角度θの評価値ＩＴ（角度θが登録されたイテレーション数）と、を対応づけて記憶する。
【００７３】
実画素ＩＤは、その行に登録されている画素を一意に表す識別子である。
実画素列ＩＤは、その行に登録されている画素がどの実画素列の画素であるかを示す。画素ナンバは、その行に登録されている画素の画素ナンバを示す。
例えば、ある行の実画素列ＩＤが＃０１、画素ナンバが１であることは、その行が、画素列Ｒ１の１番目の画素Ｐｘｌ（Ｒ１、１）の角度θと評価値ＩＴを登録していることを示す。
【００７４】
θは、その行の実画素について推定されたＥＰＩ直線のＸ軸との角度θである。
θが０であることは、その画素に対応する被写体が、レンズから（無限遠と同一視できる程度に）遠くに存在すると推測されることを意味する。
一方、θが大きいことは、その画素に対応する被写体が、レンズに近い位置に存在することを示す。θは、０からカメラの性質によって定まる最大値θmaxまでのいずれかの値を取る。なお、θmaxの値は、撮像設定記憶部４１０に記憶されている。
【００７５】
評価値ＩＴは、その画素に登録された角度θが何回目のイテレーションで登録されたかを示す数値である。この数値が小さいほど、その画素に登録された角度θは信頼度が高い。
【００７６】
図４（ｂ）にもどって説明を続ける。
補間画像設置部３２３は、ＥＰＩ生成部３２１からＥＰＩを伝達されると、補間設定記憶部３３２が記憶する補間設定情報に基づいて、ＥＰＩ上に補間画像の画素列を定義する。
【００７７】
ここで、ＥＰＩ上に定義される補間画像の画素列について、図９を参照して説明する。
ＥＰＩ生成部３２１から伝達されたＥＰＩには、撮影された画像の画素列が視差に対応する間隔で配置されている。図９では、上述の例に沿って、実画素列１〜４（ＥＰＩの第１行、第４行、第７行、第１０行）が、視差ｄに対応する間隔で配置されている例を示す。
補間画像設置部３２３は、補間設定情報に基づき、実画素列の間に所定数の補間画素列を配置する。ここでは、補間設定情報により、実画素列の間に補間画素列を２列ずつ均等に挿入すると定義されているものとする。この場合、補間設定情報に従って、ＥＰＩ上に補間画像の画素列（補間画素列１〜６、Ｖ１〜Ｖ６）（ＥＰＩの第２行、第３行、第５行、第６行、第８行、第９行）を挿入する。
【００７８】
補間画像設置部３２３は実画素列と実画素列との間に補間画素列を挿入する。このとき挿入される補間画素列の各画素（補間画素）の画素値はゼロである。
この処理は、サブレンズＳＬ１〜ＳＬ４（実レンズ）の間に仮想的なレンズ（補間レンズ）を設置し、補間レンズから得られると推測される画像の画素列のひな形をＥＰＩ上に配置することと等しい。
例えば、図９の補間画素列１は、実画像Ｓ１に対応するレンズＳＬ１と、実画像Ｓ２に対応するサブレンズＳＬ２と、の間に存在する補間レンズＳＬＶ１から得られると推定される仮想的なサブ画像（補間画像）ＳＶ１のｖ行目の画素列である。補間レンズＳＬＶ１は、サブレンズＳＬ１〜ＳＬ４がなす直線上であって、サブレンズＳＬ１から仮想視差ｄｖ（＝ｄ１／３）だけ離れた位置に存在する。
【００７９】
補間画素列を挿入するＥＰＩ上の位置及び挿入する画素列の数は、補間設定によって適宜定めることが出来る。例えば、実画素列１から仮想視差ｄｖ１＝ｄ１／５だけ離れた補間画像の補間画素列１と、仮想視差ｄｖ２＝ｄ１／２だけ離れた補間画素列２を、実画像Ｓ１の実画素列１と実画像Ｓ２の実画素列２の間に挿入しても良い。また、実画素列１と実画素列２の間に３つの補間画素列を挿入し、実画素列２と実画素列３の間には補間画素列を挿入しない、といった設定も可能である。
【００８０】
図４（ｂ）に戻って説明を続ける。
補間画像設置部３２３は、補間画素列を挿入したＥＰＩを、対応検出部３２４に伝達する。対応検出部３２４は、伝達されたＥＰＩの各実画素について、その画素と対応する補間画素を抽出する。
【００８１】
対応検出部３２４は、ＥＰＩ上の各実画素について、その実画素と、その画素について登録された推定ＥＰＩ直線上の補間画素と、を対応する画素の集合として検出する。この処理は、信頼度が高い（登録された評価値ＩＴが小さい）実画素から順に行われる。各画素の集合に対して、実画素の評価値ＩＴをその対応関係の信頼度（評価値ＩＴｒ）とする。
【００８２】
対応検出部３２４は、実画素一つと、その実画素に対応する補間画素の集合と、その対応の評価値ＩＴｒと、を示す情報（以下、対応情報と記す）を抽出すると、当該対応情報を対応評価部３２５に伝達する。
【００８３】
対応評価部３２５は、対応検出部３２４から対応情報を伝達されると、その対応関係の確からしさを評価する。この評価は、その対応の評価値ＩＴｒと、補間情報記憶部３３３に記憶された後述する補間画素リストに基づいて行われる。具体的な評価方法は後述する。
【００８４】
対応評価部３２５は、一つの対応情報について対応の確からしさの評価が完了すると、対応情報と評価結果とを画素加算値部３２６に伝達する。
画素値加算部３２６は、伝達された対応情報と評価結果とに基づき、ＥＰＩ画像の補間画素に画素値を加算する。そして、加算結果を補間情報記憶部３３３に記憶された補間画素リストに記憶する。
【００８５】
ここで、補間情報記憶部３３３に記憶される補間画素リストについて、図１０を参照して説明する。
補間画素リストは、ＥＰＩ上の各補間画素を一意に示す補間画素ＩＤ（補間画素列ＩＤと画素ナンバー）と、その補間画素の現在までの画素値と、その補間画素に実画素の画素値が加算された回数（加算回数）と、その補間画素の評価値ＩＴｒと、を対応づけて記憶している。
一度も画素値が加算されていない場合は、画素値と評価値ＩＴｒはＮＵＬＬである。
ここで、補間画素の評価値ＩＴｒは、その画素に対応する実画素（それまでにその補間画素に画素値を加算した実画素）のうち、もっとも評価値ＩＴが小さい（もっとも信頼度の高い）実画素の評価値である。
【００８６】
ここで、対応検出部３２４、対応評価部３２５，画素値加算部３２６、が行う補間画素値加算処理の概要を、図１１を参照して説明する。
図１１では、その補間画素に画素値が加算された回数を補間画素列の補間画素内の数値で示す。なお、加算回数０の表記は省略している。
【００８７】
まず、対応検出部３２４が、図１１（ａ）で斜線で示された実画素Ｐｘｌ（Ｒ１，７）を注目実画素とし、実画素情報記憶部３３１に記憶されている実画素情報リストから登録されている角度θを読み込み、角度θに基づいて対応する補間画素（推定されたＥＰＩ直線上の補間画素）としてＰｘｌ（Ｖ１、８）、Ｐｘｌ（Ｖ２、９）、Ｐｘｌ（Ｖ３、１１）、…を検出する。
【００８８】
次に、対応評価部３２５は、Ｐｘｌ（Ｒ１、７）とＰｘｌ（Ｖ１、８）との対応の確からしさを評価する。
即ち、Ｐｘｌ（Ｖ１、８）の両隣の画素に、Ｐｘｌ（Ｒ１，７）より評価値ＩＴが低い（より信頼度が高い）実画素から画素値がすでに加算されているか否かを、補間画素リストを参照して判別する。両隣の画素により評価値ＩＴが低い実画素から画素値が加算されていない場合、対応は確かであると推定する。
図１１（ａ）の場合、Ｐｘｌ（Ｖ１、８）の両隣（Ｐｘｌ（Ｖ１、７）とＰｘｌ（Ｖ１、９））には未だ画素値が加算されていないので、対応評価部３２５はＰｘｌ（Ｒ１、７）とＰｘｌ（Ｖ１、８）との対応は確かであると判別する。
【００８９】
そして、画素値加算部３２６がＰｘｌ（Ｖ１、８）にＰｘｌ（Ｒ１、７）の画素値を加算する。具体的には、補間画素リストのＰｘｌ（Ｒ１、７）の行の加算回数をインクリメントし、画素値を加算する。さらに、その行の評価値がＮＵＬＬであれば、評価値ＩＴｒに実画素Ｐｘｌ（Ｒ１，７）の評価値ＩＴを登録する。
すでに画素値が一度以上加算されている場合、次の式（２）を用いて算出された数値を加算後の数値として登録する。
【００９０】
【数２】
【００９１】
このとき、Ｖ’は更新後の画素値、Ｖは更新前の画素値、Ｖａｌは注目実画素の画素値、ｔはインクリメント前の加算回数である。
【００９２】
以下、注目実画素Ｐｘｌ（Ｒ１、７）について抽出されたその他の補間画素（Ｐｘｌ（Ｖ２、９）、Ｐｘｌ（Ｖ３、１１）…）についても同様に判別処理・加算処理が行われる。
【００９３】
注目実画素Ｐｘｌ（Ｒ１，７）について処理が終わると、次の注目実画素が選択され、同様に対応する補間画素に画素値が追加される。次の注目実画素がＰｘｌ（Ｒ２、１０）が注目実画素であった場合の処理結果を図１１（ｂ）に示す。
【００９４】
さらに処理が進み、ｎ回目のステップで背景Ｂの部分Ｂ９に対応する画素Ｐｘｌ（Ｒ２、９）が注目実画素に選ばれた場合の処理を図１１（ｃ）に示す。
Ｐｘｌ（Ｒ２，９）に登録されたθ値は０であり、対応する補間画素の候補としてＰｘｌ（Ｖ１，９）、Ｐｘｌ（Ｖ２，９）、Ｐｘｌ（Ｖ３，９）…が抽出される。図１１（ｂ）では、Ｐｘｌ（Ｒ２，１０）の画素値がＰｘｌ（Ｖ１，８）、Ｐｘｌ（Ｖ２，９）、Ｐｘｌ（Ｖ３，１１）、に加算されている。
【００９５】
対応評価部３２５は、このＰｘｌ（Ｒ２、９）と補間画素Ｐｘｌ（Ｖ１，９）、Ｐｘｌ（Ｖ２、９）、Ｐｘｌ（Ｖ３、９）のそれぞれについて、対応の確からしさを評価する。
即ち、抽出された対応候補画素のそれぞれに隣接する補間画素が、すでにより小さい評価値ＩＴを持つ実画素の画素値が加算されている補間画素（注目実画素より小さいＩＴｒを持つ補間画素）である（図１１（ｃ）の×で示された画素）か否かを判別する。
隣接する画素の両方が、注目実画素より小さいＩＴｒを持つ補間画素（例えばＰｘｌ（Ｖ１，９））は、オクリュージョンによって遮蔽されている被写体に対応する画素（オクリュージョン画素）であると推定される。そのため、その補間画素は注目実画素Ｐｘｌ（Ｒ２、９）とは対応しないと判別して、画素値を加算しない。
【００９６】
一方、隣接する補間画素の少なくとも一方のＩＴｒが、注目実画素のＩＴ以上の場合には（Ｐｘｌ（Ｖ２，９）及び（Ｐｘｌ（Ｖ３，９））、その補間画素はオクリュージョン画素でないとの推定のもと、注目実画素Ｐｘｌ（Ｒ２、９）の画素値が加算される。
【００９７】
このとき、隣接する補間画素の一方のみに、より評価値ＩＴの小さい実画素の画素値がすでに加算されている場合も、実画素Ｐｘｌ（Ｒ２、９）の画素値を加算する。このような補間画素はオクリュージョンによって対応する被写体が隠れるエッジ部分に該当すると考えられる。エッジ部分により遠方の被写体に対応する画素の画素値を加算することにより、エッジを「丸める」ことが出来る。
【００９８】
オクリュージョン画素か否かを、隣接する補間画素により評価値ＩＴの小さい（信頼度が高い）実画素の画素値が登録されているか否かによって判別することにより、簡便にオクリュージョン画素か否かを判別して、ライトフィールド画像の奥行き情報を保持した補間画像を生成することが出来る。
【００９９】
なお、ここでは隣接する補間画素の双方により評価値ＩＴの小さい実画素の画素値が加算されている場合に限り、その補間画素をオクリュージョン画素であると判別した。しかし、オクリュージョン画素であるか否か判別する基準はこれに限られない。例えば、隣接する画素の少なくとも一つにより評価値の小さい実画素の画素値が加算されている場合にその補間画素をオクリュージョン画素であると判別しても良い。
このような判別方法によれば、より厳密に実画素と補間画素の対応を判定することができる。
【０１００】
また、隣接する画素でなく、その補間画素そのものにより評価値ＩＴが小さい実画素の画素値がすでに加算されている場合に、その画素をオクリュージョン画素であると判別しても良い。
【０１０１】
画素値加算処理が終わり、補間情報記憶部３３３に登録された補間画素リストが更新されると、画素値加算部３２６は、現在の注目実画素について処理が終了したことを対応検出部３２４に伝達する。そして、対応検出部３２４は、次の実画素について対応を検出し、同様に処理を続行する。すべての実画素について上記処理が行われると、そのＥＰＩ画像について、補間画像の生成が終わる。
【０１０２】
ＥＰＩ生成部３２１が生成したすべてのＥＰＩについて、補間画像を生成し終えると、出力部３５０が外部装置に補間済みのＥＰＩ（補間画像と実画像）を出力する。そして、補間画像生成装置３０は処理を終了する。
【０１０３】
次に、上記構成を有する補間画像生成装置３０が、補間画像を生成する処理を、図１２〜図１９を参照して説明する。
【０１０４】
補間画像生成装置３０の情報処理部３２０は、入力部３１０がライトフィールド画像ＬＦ及び撮像設定情報を取得すると、図１２に示す補間画像生成処理を開始する。
【０１０５】
補間画像生成処理が開始されると、入力部３１０からＥＰＩ生成部３２１に当該ライトフィールド画像ＬＦと当該撮像設定情報が伝達される（ステップＳ１０１）。
【０１０６】
ＥＰＩ生成部３２１は、取得したライトフィールド画像ＬＦと、撮像設定情報と、から図５（ｃ）に示すＥＰＩを生成する（ステップＳ１０２）。
【０１０７】
ＥＰＩ生成部３２１は、生成されたＥＰＩの数Ｊを算出し、併せてそれぞれのＥＰＩを１〜Ｊまでの数値でナンバリングする。また、カウンタｊに１を代入する（ステップＳ１０３）。
【０１０８】
次に、ＥＰＩ生成部３２１は、ｊ番目のＥＰＩにフォーカスする。ステップＳ１０５〜ステップＳ１０８は、フォーカスされたＥＰＩについて実行される（ステップＳ１０４）。
【０１０９】
ｊ番目のＥＰＩについて、角度推定部３２２は、角度θ登録処理を実行する（ステップＳ１０５）。角度θ登録処理については後述する。
【０１１０】
角度θ登録処理が終了し、ｊ番目のＥＰＩの各実画素に角度θが登録され、実画素情報記憶部３３１に実画素情報リストが記憶されると、図９に示すように補間画像設置部３２３がｊ番目のＥＰＩに補間画素列を挿入する（ステップＳ１０６）。
【０１１１】
補間画素列の挿入が終了すると、対応検出部３２４、対応評価部３２５、画素値加算部３２６、が図１１に示した画素値加算処理を行う（ステップＳ１０７）。画素値加算処理（画素値加算処理１）については後述する。
【０１１２】
画素値加算処理が終わると、そのＥＰＩについては処理を終了する。そしてｊとＪを比較して、未処理のＥＰＩが残っているか判別する（ステップＳ１０８）。ｊがＪ未満であって、未処理のＥＰＩが残っている場合（ステップＳ１０８；ＮＯ）、ｊをインクリメントし（ステップＳ１０９）、ステップＳ１０４〜ステップＳ１０８の処理が繰り返す。
一方、ｊがＪ以上であって、未処理のＥＰＩが残っていない場合（ステップＳ１０８；ＹＥＳ）、情報処理部３２０は補間画像生成処理を終了する。
【０１１３】
補間画像生成処理を終了すると、出力部３５０は補間情報記憶部３３３に記憶された、補間画像と実画像とを画像再構成部２２０に伝達する。その後の処理については後述する。
【０１１４】
次に、角度θ登録処理（ステップＳ１０５）を、図１３を参照して詳細に説明する。
【０１１５】
角度θ登録処理では、まず角度推定部３２２が変数を初期化する（ステップＳ２０１）。
具体的にはｉｔに１を、カウンタｎに１を、ｔｈに最初の閾値ＴＨ０を代入する。また、ＥＰＩ上の実画素の数Ｎと、総イテレーション回数ＩＴmaxを取得する。ここで、ＩＴmaxとＴＨ０は、補間設定記憶部３３２に記憶された数値である。ＩＴmaxとＴＨ０とは、実験等によって求められ予め初期設定で定められた数値であって良いし、ユーザが入力した任意の数値であってもよい。また、角度推定部３２２は、ステップＳ２０１でＥＰＩ上の実画素を、１〜Ｎの数でナンバリングする。
【０１１６】
ステップＳ２０１が終わると、次に角度推定部３２２はｎ番目の画素を選択して注目実画素とする（ステップＳ２０２）。
【０１１７】
そして、角度推定部３２２は、実画素情報記憶部３３１に記憶された実画素情報リストを参照し、注目実画素にすでに角度θが登録されているか否か判別する（ステップＳ２０３）。
すでに登録されている場合は（ステップＳ２０３；ＹＥＳ）、角度推定部３２２はその実画素については処理を終了する。即ち、ｎをインクリメントし（ステップＳ２０９）、ステップＳ２０２にもどる。
【０１１８】
注目実画素にまだ角度θが登録されていない場合（ステップＳ２０３；ＮＯ）、角度推定部３２２は注目実画素について角度θ推定処理を行う（ステップＳ２０４）。角度θ推定処理については後述する。
【０１１９】
角度θ推定処理が終わり、注目実画素に推定された角度θと、角度θの評価値Ｃが算出されると、次に角度推定部３２２は角度θの評価値Ｃが閾値ｔｈがより大きいか判別する（ステップＳ２０５）。角度θの評価値Ｃが閾値ｔｈより大きい場合（ステップＳ２０５；ＹＥＳ）、その角度θは、今回のイテレーションにおいて十分な信頼度を持たないので、その画素について今回のイテレーションでは角度θを登録しない。即ち、ｎをインクリメントし（ステップＳ２０９）、ステップＳ２０２にもどる。
【０１２０】
一方、角度θの評価値Ｃが閾値ｔｈ以下の場合（ステップＳ２０５；ＮＯ）、角度推定部３２２は注目実画素にその角度θと、評価値ＩＴ（＝現在のイテレーション回数ｉｔ）と、を実画素情報記憶部３３１の実画素情報リストに登録する（ステップＳ２０６）。
【０１２１】
そして、次に角度推定部３２２はｎがＮ以上であるか判別する（ステップＳ２０７）。ｎがＮ未満の場合（ステップＳ２０７；ＮＯ）、現在のイテレーションで未処理の実画素があるので、角度推定部３２２はｎをインクリメントし（ステップＳ２０９）、ステップＳ２０２にもどる。
【０１２２】
一方、ｎがＮ以上の場合（ステップＳ２０７；ＹＥＳ）、このイテレーションでは全ての実画素について処理済みなので、次に角度推定部３２２はイテレーション回数が終了したか判別する（ステップＳ２０８）。即ちｉｔがＩＴｍａｘ未満の場合（ステップＳ２０８；ＮＯ）、まだ所定のイテレーション回数を終えていないので、ｉｔをインクリメントし、ｎを初期化し、ｔｈを新たな閾値ＴＨｉｔに更新する（ステップＳ２１０）。そして、処理をＳ２０２から繰り返す。
【０１２３】
このとき、閾値ｔｈの更新ルールは、補間設定記憶部３３２に記憶された補間設定によって定まる。閾値ｔｈは、イテレーションを繰り返すほど大きくなる（直線の判別基準が甘くなる）。
ここでは、ＴＨｉｔは現在のｔｈに所定の差Δｔｈを加算した数値であるとする。
なお、ここでは新たなイテレーションで必ず閾値ｔｈを更新するとしたが、イテレーションを繰り返す場合に閾値を更新する方法はこれに限られない。そのイテレーションで新たな実画素に角度θが登録された場合は、次のθ推定処理においてその登録された画素を排除して推定処理が行われるため、次のイテレーションで同じ閾値ｔｈを利用しても新たな実画素に角度θが登録される可能性がある。そのため、現在のイテレーションで新たな実画素に角度θが登録されていた場合、ＴＨｉｔは現在のｔｈと同じであってよい。
【０１２４】
一方、ｉｔがＩＴｍａｘ以上の場合（ステップＳ２０８；ＹＥＳ）、所定のイテレーション回数を終えたので、角度推定部３２２は角度θ登録処理を終了する。
【０１２５】
次に、角度θ登録処理のステップＳ２０４で実行される角度θ推定処理について、図１４を参照して説明する。
【０１２６】
角度推定部３２２は、角度θ推定処理を開始するとまず変数の初期化を行う（ステップＳ３０１）。即ち、カウンタｍに１を、注目実画素について推定された角度（角度θ推定処理の答えとなる角度θ）である角度変数θａｎｓとその現在までの評価値をあらわす変数ｍａｘに空値ＮＵＬＬを、現在の処理対象となる角度を示す変数θｍに初期値θ０を代入する。また、角度θ推定処理の繰り返し回数Ｍを抽出する。
Ｍとθ０は、補間設定記憶部３３２に記憶された数値である。Ｍとθ０とは、実験等によって求められ予め初期設定で定められた数値であって良いし、ユーザが入力した任意の数値であってもよい。ここでは、θ０は設計上の最大角度であるθｍａｘとする。
【０１２７】
ステップＳ３０１が終わると、角度推定部３２２は次にＥＰＩ上の実画素であって、注目実画素を通る角度θｍの直線上に存在し、かつ未だ角度θが登録されていない画素を抽出する（ステップＳ３０２）。
【０１２８】
そして、角度推定部３２２はステップＳ３０２で抽出した画素の画素値を式（１）に用いて注目実画素を通る直線Ｌｉｎｅ（θｍ）の評価値Ｃを求める。
【０１２９】
角度推定部３２２は、次にステップＳ３０３で算出した評価値Ｃが、以前のループで注目実画素に対して算出された評価値Ｃのうち最も小さい値であるか、即ち、その直線Ｌｉｎｅ（θｍ）が注目実画素のもっとも確からしい直線か否かを変数maxと評価値Ｃを比較して判別する（ステップＳ３０４）。なお、maxの値がＮＵＬＬだった場合、ＮＵＬＬは無限大として計算する。
【０１３０】
max≧評価値Ｃであった場合（ステップＳ３０４；ＮＯ）、θｍは現時点で注目実画素の最も確からしい直線の角度であるので、変数maxにステップＳ３０３で算出した評価値Ｃを、変数θans にθｍを代入する（ステップＳ３０５）。
【０１３１】
一方、ｍａｘ＜評価値Ｃであった場合（ステップＳ３０４；ＹＥＳ）、注目実画素にはより確からしい角度θがすでに登録されているため、角度θｍを登録せず、ステップS３０５をスキップする。
【０１３２】
次に、角度推定部３２２は所定の繰り返し回数が終わったか、ｍとＭを比較して判別する（ステップＳ３０６）。
ｍ≧Ｍであった場合（ステップＳ３０６；ＹＥＳ）、所定の繰り返し回数Ｍ回処理が終わったため、角度推定部３２２は角度θ推定処理を終了し、θａｎｓを注目実画素の推定角度とし、ｍａｘの値をその評価値Ｃとして角度θ登録処理のステップＳ２０５を開始する。
【０１３３】
一方、ｍ＜Ｍであった場合、（ステップＳ３０６；ＮＯ）、まだ所定の繰り返し回数処理が終わっていないので、角度推定部３３２はカウンタｍをインクリメントし、θmをθ’に更新してステップＳ３０２から処理を繰り返す。
ここで、θｍの更新ルールは補間設定記憶部３３２に記憶された設定に従う。ここでは、θ’は、更新前のθｍに所定の数値Δθを減算した値とする。
【０１３４】
次に、図１２に示す補間画像生成処理の画素値加算処理（ステップＳ１０７）の第１の具体例（画素値加算処理１）を図１５を参照して説明する。
【０１３５】
画素値加算処理１では、まず対応検出部３２４が変数を初期化する（ステップＳ４０１）。
ステップＳ４０１において、対応検出部３２４は、現在のイテレーション回数を示す変数ｉｔ２と、カウンタ変数ｋと、に１を代入する。また、ＥＰＩ上の実画素の数Ｎと画素値加算処理１の総イテレーション回数ＩＴｍａｘとを取得する。また、角度θ登録処理で登録された実画素のナンバリング情報を取得する。ここで、各実画素のナンバは、その実画素が実画素情報記憶部３３１に記憶された実画素情報リストの何行目に登録されているかによって定まる。
ここで、実画素の数Ｎは角度θ登録処理で抽出された実画素の数Ｎである。また、総イテレーション回数ＩＴｍａｘは、角度θ登録処理で抽出したＩＴｍａｘと同じである。
【０１３６】
初期化が終わると、対応検出部３２４はｋ番目の実画素を選択して注目実画素とする（ステップＳ４０２））。具体的には、実画素情報リストのｋ行目に登録されている実画素の情報を抽出して、その実画素を注目実画素とする。
【０１３７】
次に、対応検出部３２４は注目実画素に角度θが登録されているか否か判別する（ステップＳ４０３）。即ち、実画素情報リストのｋ行目の角度θの値がＮＵＬＬで無いか判別し、ＮＵＬＬであった場合は注目実画素に角度θが登録されていないと判別する（ステップＳ４０３；ＮＯ）。そして、その画素については処理を終了してステップＳ４０６にジャンプする。
【０１３８】
一方、実画素情報リストのｋ行目の角度θがＮＵＬＬで無く、注目実画素に角度θが登録されている場合は（ステップＳ４０３；ＹＥＳ）、次に対応検出部３２４は注目実画素の評価値ＩＴと現在のイテレーション回数ｉｔ２とを比較する（ステップＳ４０４）。
【０１３９】
注目実画素の評価値ＩＴと現在のイテレーション回数ｉｔ２が異なる場合（ステップＳ４０４；ＮＯ）、その実画素は今回のイテレーションにおいて処理対象ではないため、対応検出部３２４はその画素については処理を終了する。
即ち、対応検出部３２４はステップＳ４０６にジャンプする。
【０１４０】
一方注目実画素の評価値ＩＴが現在のイテレーション回数ｉｔ２と等しい場合は（ステップＳ４０４；ＹＥＳ）、対応検出部３２４は注目実画素に基づく補間処理を実行する（ステップＳ４０５）。ステップＳ４０５で実行される処理については後述する。
【０１４１】
ここで、注目実画素の評価値ＩＴは、注目実画素の角度θが角度θ登録処理（図１４）の何回目のイテレーションで登録されたかを示す数値である。このように、イテレーション回数ｉｔ２と等しい評価値ＩＴを持つ実画素に基づいて補間処理を実行し、イテレーションを繰り返すことは、評価値が小さくオクリュージョンによる対応関係の齟齬が発生している可能性がより小さいと推測される実画素から補間処理を実行することである。
【０１４２】
注目実画素に基づく補間処理（ステップＳ４０５）が終わると、対応検出部３２４は未処理の実画素が残っているか否か判別する（ステップＳ４０６）。具体的には、ｋがＮ以上であるか判別し、Ｎ未満であった場合は（ステップＳ４０６；ＮＯ）、対応検出部３２４はそのイテレーションで未処理の実画素があると判別する。そして、ｋをインクリメントし（ステップＳ４０７）、次の実画素を注目実画素としてステップＳ４０２から処理を繰り返す。
【０１４３】
一方、ｋがＮ以上で、そのイテレーションで全ての実画素について処理したと判別すると（ステップＳ４０６；ＹＥＳ）、対応検出部３２４はそのイテレーションを終了する。そして、ｉｔ２とＩＴｍａｘを比較して、イテレーションが所定の回数ＩＴｍａｘだけ繰り替えされたか判別する（ステップＳ４０８）。
ｉｔ２がＩＴｍａｘ未満であるとき（ステップＳ４０８；ＮＯ）、所定のイテレーション回数だけ処理を繰り返していないと判別し、対応検出部３２４は次のイテレーションに移行する。
具体的には、対応検出部３２４はｉｔ２をインクリメントし、ｋに１を代入し（ステップＳ４０９）、処理をステップＳ４０２から繰り返す。
一方、ｉｔ２がＩＴｍａｘ以上の場合（ステップＳ４０８；ＹＥＳ）、対応検出部３２４は画素値加算処理１を終了する。
【０１４４】
次に、画素値加算処理１のステップＳ４０５で実行される注目実画素に基づく補間処理について図１６を参照して説明する。
注目実画素に基づく補間処理では、まず対応検出部３２４が実画素情報記憶部３３１の実画素情報リストからその注目実画素の角度θを抽出する。
そして、抽出した角度θに基づき、注目実画素の推定ＥＰＩ直線Ｌｉｎｅ（θ）を定義し、ＥＰＩ直線上にある補間画素を抽出する（ステップＳ５０１）。
【０１４５】
次に、対応検出部３２４は抽出した補間画素の数Ｉを取得し、カウンタ変数ｉに１を代入する（ステップＳ５０２）。さらに、対応検出部３２４はステップＳ５０２で抽出した各補間画素を１からＩまでナンバリングする。
【０１４６】
対応検出部３２４がステップＳ５０２を終えると、次に対応評価部３２５が補間情報記憶部３３３に記憶された補間画素リストを参照し、ｉ番目の補間画素に隣接する補間画素を抽出する（ステップＳ５０３）。即ち、対応評価部３２５はｉ番目の補間画素の補間画素列ＩＤ（ＩＤｉ）と画素ナンバ（Ｎｉ）を補間画素リストから抽出し、補間画素列ＩＤがＩＤi、画素ナンバがＮｉ＋１の補間画素とＮｉ−１の補間画素とを抽出する。
【０１４７】
そして、対応評価部３２５は、ｉ番目の補間画素が、オクリュージョン画素であるか否か判別する（ステップＳ５０４）。
オクリュージョン画素か否かは、ステップＳ５０３で抽出した隣接する補間画素の双方に、前回までのイテレーションで画素値が加算されたか（隣接する補間画素に、現在のイテレーション回数ｉｔ２より小さい評価値ＩＴｒが補間画素リストに登録されているか）否かによって判別される。
【０１４８】
隣接する二つの補間画素の両方にｉｔ２より小さい評価値ＩＴｒが登録されている場合、ｉ番目の補間画素はオクリュージョン画素であり、注目実画素とは対応しないと推測できる。即ち、ｉ番目の補間画素は注目実画素が対応する被写体より前方にある被写体に対応する画素であると推測できる。そのため、対応評価部３２５はｉ番目の補間画素がオクリュージョン画素であると判別すると（ステップＳ５０４；ＹＥＳ）、画素値加算部３２６に画素値の加算を指示せず、ステップＳ５０６にジャンプする。
【０１４９】
一方、ｉ番目の補間画素がオクリュージョン画素で無いと判別すると（ステップＳ５０４；ＮＯ）、ｉ番目の補間画素は注目実画素と対応するとの推測に基づき、対応評価部３２５はｉ番目の補間画素に注目実画素値を加算することを画素値加算部３２６に伝達する。画素値加算部３２６は、ｉ番目の補間画素の画素値を、式（２）に基づいて加算し、加算した画素値を補間画素リストのｉ番目の補間画素に対応する行に登録する（ステップＳ５０５）。また、ステップＳ５０５では、画素値加算部３２６は現在のイテレーション回数ｉｔ２が登録された評価値ＩＴｒ以下であった場合は、ｉｔ２をその行の新たな評価値ＩＴｒとして登録する。
【０１５０】
画素値加算部３２６が注目実画素の画素値を補間画素に加算して補間画素リストを更新すると、対応検出部３２４はステップＳ５０１で抽出した補間画素全てについて処理が終わったか否か、ｉとＩを比較して判別する（ステップＳ５０６）。
ｉがＩ以上で、全ての抽出された補間画素について上記処理が終わったと判別すると（ステップＳ５０６；ＹＥＳ）、対応検出部３２４は注目実画素に基づく補間処理を終える。
【０１５１】
一方、ｉがＩ未満であり、未処理の補間画素が残っていると判別すると（ステップＳ５０６；ＮＯ）、対応検出部３２４はｉをインクリメントし（ステップＳ５０７）、次の補間画素についてステップＳ５０３から処理を繰り返す。全ての画素について補間画像の加算処理を終了すると、そのＥＰＩについて補間画像の生成が終了したとの判断の元、注目実画素に基づく補間処理を終了する。
【０１５２】
補間画像生成装置３０は、上述の一連の処理により補間画像を生成する。補間画像生成装置３０は、上記処理を繰り返して実行することにより、補間画像を実画素に対して平面的に生成する。この平面的な補間画像の生成処理について、図１７を参照して説明する。
【０１５３】
まず、図１７において円で示された実画像（実１１〜実１２…）から、縦横に第１段階のＥＰＩの集合を生成する（ＥＰＩ（縦１１）、ＥＰＩ（縦２１）…、ＥＰＩ（横１１）、ＥＰＩ（横２１）…）。横方向のＥＰＩの集合（ＥＰＩ（横１１）、ＥＰＩ（横２１）、…）はそれぞれＶ個のＥＰＩからなり、マイクロレンズアレイＬＡの縦方向のサブレンズの数（Ｍ個）だけ定義できる。すなわち、横方向のＥＰＩがＶ・Ｍ個定義できる。同様に、縦方向のＥＰＩがＮ・Ｕ個定義できる。よって、ＥＰＩは合計でＶ・Ｍ＋Ｎ・Ｕ個定義できる。
補間画像生成装置３０は、実画像を用いてまずＶ・Ｍ＋Ｎ・Ｕ個の正方形で示した第１段階の補間画像を生成する（図１７（ａ））。なお、正方形の内部の数字が１であることは、正方形が第１段階の補間画像であることを示す。
【０１５４】
次に、第１段階の補間画像を仮想的な実画像として、第２段階のＥＰＩ郡を生成する（ＥＰＩ（縦１２）、ＥＰＩ（縦２２）、ＥＰＩ（縦３２）…）。そして、第２段階の補間画像を生成する（図１７（ｂ））。なお、正方形の内部の数字が２であることは、その正方形が第２段階の補間画像であることを示す。
【０１５５】
このように、２段階に分けて平面的に補間画像を生成することにより、本実施形態の補間画像生成装置３０は、被写体をとらえる平面的なサンプリング数をレンズや撮像素子を増やすことなく仮想的に上昇させることができる。
【０１５６】
なお、ここでは第２段階の補間画像を、縦方向のＥＰＩ集合を用いて生成したが、第２段階のＥＰＩの生成方法はこれに限られない。第２段段階のＥＰＩは横方向のＥＰＩ集合を用いて生成してもよい。また、縦方向に生成した生成した中間段階の補間画像と、横方向に生成した中間段階の補間画像と、を平均して生成した補間画像を第2段階の補間画像としても良い。
【０１５７】
上記したすべての補間画像を生成すると、補間画像生成装置３０は画像再構成部２２０に生成した画像と、実レンズと補間レンズの位置情報と、を画像再構成部２２０に出力して処理を終了する。
【０１５８】
実施形態１に係る補間画像生成装置３０は、上記の処理によりオクリュージョンが起こっていると推定される補間画素の画素値を、より手前の被写体に対応すると推定される実画素のみに基づいて決定することができるため、オクリュージョンに対応した補間画像を生成することが出来る。
【０１５９】
また、実施形態１に係る補間画像生成装置３０は、角度θを登録する閾値をイテレーションごとに可変させ、角度θの推定基準を最初は厳しく、後になるほど甘くする。これにより、初期のイテレーションではオクリュージョンが起こっていない、対応関係が確実な画素に角度θを登録し、後のイテレーションではオクリュージョンやノイズで対応関係が不確かな画素でも対応関係を定義する。そのため、補間画素に対応すると推定される実画素が複数あった場合に、より対応関係が確実な実画素を選別し、選別した実画素の画素値に基づいて補間画素の画素値を決定することができる。
【０１６０】
次いで、補間画像生成装置３０が生成したライトフィールド画像ＬＦ（補間済みのＥＰＩ）から、画像再構成部２２０が画像を再構成する処理を、図１８、図１９を用いて説明する。ここでは、ライトフィールド画像ＬＦから、メインレンズＭＬから距離ａ１の地点にリフォーカスした画像を再構成することとする。
【０１６１】
画像再構成部２２０は、補間画像生成装置３０から補間済みのＥＰＩと実レンズ及び補間レンズの位置情報とを伝達されると、図１８に示す再構成画像生成処理を実行する。
【０１６２】
図１８の再構成画像生成処理を開始すると、画像再構成部２２０はまず初期化処理を行う（ステップＳ６０１）。
ステップＳ６０１では、画像再構成部２２０が記憶部４０の再構成設定記憶部４２０から、再構成画像の設定を取得する。このとき、再構成画像の設定はリフォーカスの距離a1の情報を含む。また、撮像設定記憶部４１０から、撮像設定情報を取得する。さらに、カウンタ変数であるｌとｐとに１を代入する。さらに、画素ｐ（ｐ番目の画素）に画素値が加算された回数を表す変数ｔｐに０を代入する。
さらに、補間画像の実レンズと補間レンズの合計数Ｌと、再構成画像の総画素数Ｐとを取得する。
また、再構成画像の各画素を、１〜Ｐまでの数でナンバリングする。さらに、実レンズと補間レンズとをまとめて１〜Ｃまでの数でナンバリングする。
【０１６３】
上記の初期化処理（ステップＳ６０１）を終えると、画像再構成部２２０は取得した画像からｌ番目のレンズ（レンズｌ）に対応するサブ画像Ｓを選択する（ステップＳ６０２）。
【０１６４】
次に、画像再構成部２２０は再構成画像上の注目画素ｐに対応する位置ＰＳから光が発せられた場合に、当該光がマイクロレンズアレイＬＡに含まれるサブレンズｌを通過して撮像面ＩＥへ到達するまでの軌跡レンズｌ（対応するｌ番目のサブレンズ）の位置情報を用いて特定し、特定された軌跡を辿る光が撮像素子の表面ＩＥに到達した到達点ＰＥに在るサブ画像上の画素を特定する（ステップＳ６０３）。
【０１６５】
具体的には、図１９に示すＸ軸方向における注目画素のＯＢ上の対応する位置ＰＳと光軸ＯＡとの距離をｘとし、到達点ＰＥと光軸ＯＡとの距離をｘ’’とする。
【０１６６】
ここで、ステップＳ６０１で取得された撮像設定には、メインレンズＭＬの焦点距離ｆＭＬ、メインレンズＭＬからマイクロレンズアレイＬＡまでの距離ｃ１、マイクロレンズアレイＬＡから撮像面ＩＥまでの距離ｃ２が含まれている。また、及びレンズ位置情報に基づいて算出される光軸ＯＡからレンズｌの光学中心までの距離ｄを算出する。なお、ステップＳ６０１で取得された距離情報で表される距離は、メインレンズＭＬからピント位置までの被写体距離ａ１である。
【０１６７】
画像再構成部２２０は、焦点距離ｆＭＬ及び被写体距離ａ１を以下の式（３）に用いて、メインレンズＭＬからメインレンズの結像面IPまでの距離ｂ１を算出する。
【０１６８】
【数３】
【０１６９】
次に、画像再構成部２２０は、被写体距離ａ１と、上記式（３）を用いて算出された距離ｂ１を以下の式（４）に用いて、光軸ＯＡからメインレンズＭＬの結像点ＰＦまでの距離ｘ’を算出する。
【０１７０】
【数４】
【０１７１】
その後、画像再構成部２２０は、メインレンズＭＬからマイクロレンズアレイＬＡまでの距離ｃ１と、上記の式（３）を用いて算出された距離ｂ１とを以下の式（５）に用いて、メインレンズＭＬの結像面からｌ番目のレンズまでの距離ａ２を算出する。
【０１７２】
ａ２＝ｃ１−ｂ１・・・（５）
【０１７３】
次に、画像再構成部２３０は、光軸ＯＡからｌ番目のレンズＬの主点までの距離ｄ、上記の式（４）を用いて算出された距離ｘ’、マイクロレンズアレイＬＡから撮像素子の表面ＩＥまでの距離ｃ２、及び上記の式（３）を用いて算出された距離ａ２を以下の式（６）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。
【０１７４】
【数５】
【０１７５】
尚、Ｚ軸方向の計算式（３）及び（５）は、ガウスの結像公式から導かれる。また、Ｘ軸方法の計算式（４）及び（６）は、三角形の相似関係から導かれる。上記式（４）及び（６）では、記号ｘ、ｘ’、及びｘ’’を用いて、Ｘ軸方向における注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＭＬの結像点ＰＦまでの距離、及び到達点ＰＥと光軸ＯＡとの距離を算出した。これと同様に、上記式（５）及び（７）において記号ｙ、ｙ’、及びｙ’’を用いることで、Ｘ軸及びＺ軸の双方に垂直なＹ軸方向における、注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＭＬの結像点ＰＦまでの距離、及び到達点ＰＥと光軸ＯＡとの距離を算出できる。
【０１７６】
到達点ＰＥが定まると、レンズｌに対応するサブ画像上のＰＥに対応する対応画素が定まる。そして、図１８のステップＳ６０３で対応画素が定まると、画像再構成部２２０は特定された画素の画素値を取得する。
【０１７７】
そして、画像再構成部２２０はＰＥに対応する画素値が存在する（対応する画素がサブ画像上に存在し、かつ画素値がＮＵＬＬでない）か否か判別する（ステップＳ６０４）。
対応する画素値が無い場合（ステップＳ６０４；ＮＯ）、そのサブ画像については再構成画像の画素ｐに画素値を追加しない。
【０１７８】
補間画素の画素値がＮＵＬＬである場合に画素値を追加しないことで、ノイズやオクリュージョンにより対応がはっきりしない補間画素の画素値の情報を再構成画像から排除することができる。
【０１７９】
一方、対応する画素値が有る場合（ステップＳ６０４；ＹＥＳ）、再構成画像の画素ｐに対応画素の画素値を加算する。
このとき、加算後の画素値Ｖｐ’は、式（７）を用いて算出する。
【０１８０】
【数６】
【０１８１】
なお、Ｖｐは加算前のｐ画素の値、ＶＰＥは対応画素の画素値、ｔｐはそれまで画素ｐに画素値が加算された回数である。
ステップＳ６０５では、さらにｔｐをインクリメントする。
尚、再構成画像の注目画素ｐの画素値は、再構成画像生成処理の開始時に値「０」に初期化されている。
【０１８２】
その後、画像再構成部２２０は、ｌとＬを比較して、全てのレンズに対応するサブ画像について加算処理が終了したか判別する（ステップＳ６０６）。
ｌがＬ未満である場合（ステップＳ６０６；ＮＯ）、未処理のサブ画像が存在すると判別して、画像再構成部２２０は、ｌをインクリメントし（ステップＳ６０７）、次のレンズについてステップＳ６０２から処理を繰り返す。
【０１８３】
一方、ｌがＬ以上で、全てのレンズに対応するサブ画像について処理が終了したと判別すると（ステップＳ６０６；ＹＥＳ）、次に画像再構成部２２０はｐとＰを比較して再構成画像上の全ての画素を処理したか判別する（ステップＳ６０８）。
【０１８４】
ｐがＰ未満である場合（ステップＳ６０８；ＮＯ）、未処理の画素が存在すると判別して、画像再構成部２２０は、次の画素について処理を実行する。即ち、ｐをインクリメントし、ｌに１を代入し、ｔｐに０を代入し（ステップＳ６０９）、ステップＳ６０２から処理を繰り返す。
【０１８５】
一方、ｐがＰ以上であり、全ての画素について処理が終了したと判別すると（ステップＳ６０８；ＹＥＳ）、次に画像再構成部２２０は再構成画像生成処理を終了する
【０１８６】
その後、デジタルカメラ１は再構成された再構成画像ＯＢの画像データを、図１の表示部５２０へ出力する。尚は、図１のＩ／Ｏ部５１０を介して、記録媒体へ再構成画像ＯＢの画像データを格納してもよく、また、他の装置へ再構成画像ＯＢの画像データを出力しても良い。
【０１８７】
実施形態１に係るデジタルカメラ１は、マイクロレンズアレイＬＡを用いて撮影することにより、略同一の間隔で格子状に配置された視点から、Ｍ×Ｎ個のサブ画像を同時に、一つの光学デバイスで撮影することが出来る。
デジタルカメラ１は補間画像生成装置３０が生成した補間画像を用いて、従来よりノイズの少ない再構成画像を生成することができる。
【０１８８】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２は、画素値加算処理において、登録された角度θが大きい実画素を優先して、補間画素に画素値を加算することを特徴とする。
【０１８９】
実施形態２に係るデジタルカメラ１及び補間画像生成装置３０は、実施形態１に係るデジタルカメラ１と同様の構成を持つ。
【０１９０】
実施形態２に係る補間画像生成装置３０は、図１２に示した補間画像生成処理を実行する。ここで、実施形態２に係る補間画像生成装置３０は、補間画像生成処理のステップＳ１０７で画素値加算処理１ではなく画素値加算処理２を実行する。
【０１９１】
図１２に示す補間画像生成処理のステップＳ１０６が終わると、対応検出部３２４が画素値加算処理２を開始する。
対応検出部３２４と、対応評価部３２５と、画素値加算部３２６と、が実行する画素値加算処理２について、図２０を参照して説明する。
【０１９２】
画素値加算処理２では、まず対応検出部３２４が変数を初期化する（ステップＳ７０１）。
即ち、対応検出部３２４はステップＳ７０１で現在のイテレーション回数を示す変数ｉｔ３に１を代入する。また、そのイテレーションで処理対象となる角度を表す変数θｉｔ３に初期値θ０として実画素情報リストに登録されている角度θのうち最大の数値を代入する（ステップＳ７０１）。
【０１９３】
登録されている角度θがより大きい実画素が、よりデジタルカメラ１に近い場所に存在する被写体に対応する画素であり、補間画素により優先的に加算されるべき実画素であると推定できる。そこで、実施形態２では、登録されている角度θが大きい実画素を先のイテレーションで処理することにより、オクリュージョン画素においてより手前の被写体に対応する実画素の画素値のみを加算するように処理する。
即ち、ステップＳ７０１において、対応検出部３２４が図８に示す実画素情報リストを登録されている角度θで降順（値が大きい順）にソートする。そして、ソート後の実画素情報リストに登録された実画素を、上から順に下記処理を実行する。このとき、角度θがＮＵＬＬである画素は除外する。
また、画素値加算処理２の総イテレーション回数ＩＴ３を取得する。このとき、ＩＴ３は実画像情報リストに登録されている角度θの列に登録されている数値の数である。例えば、実情報リストの角度θの列に０が５つ、１０が３つ、２０が４つ登録されているとする。このとき、角度θの列には０、１０、２０、の三つの数値が登録されているため、ＩＴ３は３である。
【０１９４】
初期化が終わると、対応検出部３２４は実画素情報リストに登録された実画素から、角度θの列の数値が現在のイテレーションで処理対象となる角度θｉｔ３である実画素を抽出する（ステップＳ７０２）。
【０１９５】
次に、対応検出部３２４はステップＳ７０２で抽出した実画素の数Ｐを抽出し、カウンタ変数ｐｉｔ３に１を代入する（ステップＳ７０３）。また、抽出した実画素に、１〜Ｐまでナンバリングを行う。
【０１９６】
そして、対応検出部３２４は抽出した実画素のうち、ｐｉｔ３番目の実画素（画素ｐｉｔ３）を注目実画素とする（ステップＳ７０４）。
【０１９７】
注目実画素を決定すると、対応検出部３２４は図１６に示した注目実画素に基づく補間処理を実施形態１と同様に実行する（ステップＳ７０５）。
【０１９８】
注目実画素（画素ｐｉｔ３）に基づく補間処理が終わると、対応検出部３２４はステップＳ７０２で抽出された画素のうち、未処理の実画素が残っていないか否か判別する。具体的には、ｐｉｔ３がＰｉｔ３以上であるか判別し、Ｐｉｔ３未満であった場合は（ステップＳ７０６；ＮＯ）、対応検出部３２４はそのイテレーションで未処理の実画素があると判別する。そして、ｐｉｔ３をインクリメントし（ステップＳ７０７）、次の実画素を注目実画素としてステップＳ７０４から処理を繰り返す。
【０１９９】
一方、ｐｉｔ３がＰｉｔ３以上であり、そのイテレーションで抽出された全ての実画素について処理したと判別すると（ステップＳ７０６；ＹＥＳ）、対応検出部３２４はそのイテレーションを終了する。そして、ｉｔ３とＩＴ３を比較して、イテレーションが所定の回数ＩＴ３だけ繰り替えされたか判別する（ステップＳ７０８）。
ｉｔ３がＩＴ３未満であるとき（ステップＳ７０８；ＮＯ）、所定の回数イテレーションを行っていないと判別し、対応検出部３２４は次のイテレーションに移行する。
具体的には、対応検出部３２４はｉｔ３をインクリメントし、θｉｔ３にθ’を代入して更新し（ステップＳ７０９）、処理をステップＳ７０２から繰り返す。
このとき、θ’は実画素情報リストに登録された角度θのうち、直前のθｉｔ３の次に大きい値である。
【０２００】
一方、ｉｔ３がＩＴ３以上の場合（ステップＳ７０８；ＹＥＳ）、対応検出部３２４は画素値加算処理２を終了する。
【０２０１】
画素値加算処理２が終わると、図１２にもどってステップＳ１０８と同様の処理が行われ、補間画像がすべてのＥＰＩについて生成され、補間画像生成装置３０は補間画像生成処理を終了する。そして、デジタルカメラ１は補間画像生成装置３０が生成した補間画像を用いて、実施形態１と同様に再構成画像を生成する。
【０２０２】
上記のように、実施形態２では、画素値加算処理２において角度θが大きい順にイテレーション処理を実行する。そして、図１６の注目実画素に基づく補間処理のステップＳ５０４において、ｉ番目の補間画素がオクリュージョン画素であるか、前回までのイテレーションで両隣の補間画素に画素値が追加されているか否かで判別する。
即ち、角度θが大きい実画素に対応付けられた（画素値を加算された）補間画素にはさまれた補間画素をオクリュージョン画素と判別し、その補間画素に対しては角度θがより小さい実画素の画素値を加算しない。
実施形態２に係る補間画像生成装置３０を用いれば、オクリュージョン画素により手前にある被写体に隠蔽されると推定される画素の画素値を加算しないで、補間画像を生成することができる。そのため、ライトフィールド画像からオクリュージョンに対応した補間画像を生成することが出来る。
【０２０３】
また、実施形態２に係るデジタルカメラ１は、補間画像生成装置３０が生成した補間画像を用いて、従来よりノイズの少ない再構成画像を生成することができる。
【０２０４】
＜変形例＞
以上に本発明の実施形態１及び２について説明したが、本発明の実施形態はこれに限定されるものではなく、例えば以下のような変形が可能である。
上記した実施形態１及び実施形態２では、直線上にある画素を抽出するに当たって、直線と画素列との交点にもっとも近い場所に中心点がある画素を当該直線上にある判別して画素を抽出した。しかし、本発明において、直線上にある画素を抽出する方法はこれに限らない。その他の抽出方法として、直線と画素列との交点が、二つの画素の中心点の間にある場合、当該二つの画素を線上にあるとして抽出する方法も可能である。
【０２０５】
また、実施形態１及び実施形態２においては、各実画素についてそれぞれ角度θを推定した。そのため、例えば画素１に角度θが推定された場合に、画素１のＬｉｎｅ（θ）の線上にある画素２についても再度角度θを推定する。しかし、本発明に係る角度θ登録方法はこれに限られず、一つの画素に角度θが推定された場合に、その画素のＬｉｎｅ（θ）上の画素全てに一度に角度θを登録する処理も可能である。この構成によれば、角度θ推定処理をより高速に行うことができる。
【０２０６】
また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値とし、画素値間の差を計算する場合はベクトル計算によって差を求めても良い。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像についても補間画像を生成し、また、当該補間画像を用いて従来よりノイズの少ない再構成画像を生成することができる。
【０２０７】
また、上記実施例では、情報処理部２０等はデジタルカメラ１の一部であったが、情報処理部２０と記憶部４０とインターフェース部５０とは、デジタルカメラとは独立した物理構成で実現されても良い。
【０２０８】
また、補間画像生成装置３０はデジタルカメラ１の情報処理部２０の一部であったが、補間画像生成装置３０は、情報処理部２０とは独立した物理構成で実現されても良い。
【０２０９】
このとき、補間画像生成装置３０が取得するライトフィールド画像ＬＦは、撮像部１０のマイクロレンズアレイＬＡによって取得された画像に限らない。補間画像生成装置３０が取得する画像は、複数のカメラによって同時に異なる視点から取得された画像であってもよく、一つのカメラによって異なる視点から順次取得された画像であっても良い。
また、ライトフィールド画像ＬＦを構成する各サブ画像間の視差は、各画像と視差との情報を撮像設定として得られる場合は、同じでなくても良い。また、補間画像生成装置３０はライトフィールド画像ではなく他機器が生成したEPIを取得して、EPIから補間画像を生成する構成であってよい。
【０２１０】
なお、情報処理部２０と記憶部４０とインターフェース部５０と等から構成されるデジタルカメラ１のための処理を実行する中心となる部分、あるいは情報処理部３２０、記憶部３３０、出力部３５０、等から構成される補間画像生成装置３０のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するデジタルカメラの情報処理部や補間画像生成装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理部や補間画像生成装置を構成してもよい。
【０２１１】
また、デジタルカメラの情報処理部や補間画像生成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０２１２】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【０２１３】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０２１４】
（付記１）
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
を備えることを特徴とする補間画像生成装置。
【０２１５】
（付記２）
前記判別部は、前記実画素の信頼度が高い順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする付記１に記載の補間画像生成装置。
【０２１６】
（付記３）
前記判別部は、前記実画素が、より手前に存在する被写体の部位に対応する実画素から順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする付記１に記載の補間画像生成装置。
【０２１７】
（付記４）
前記実画素抽出部は、前記実画素のそれぞれについて対応する実画素を、エピポーラプレーン画像上で、直線上の実画素間の画素値が互いに異なる程度である誤差値に基づいて直線検出することで抽出する、
ことを特徴とする付記１乃至３のいずれか一つに記載の補間画像生成装置。
【０２１８】
（付記５）
前記実画素抽出部は、異なる検出基準を用いて複数回繰り返して直線検出し、直線検出が完了した実画素を、次回以降の繰り返し処理において直線検出の誤差値の算出対象から除外する、
ことを特徴とする付記４に記載の補間画像生成装置。
【０２１９】
（付記６）
前記実画素抽出部は、前記誤差値が所定の閾値以下であることを前記直線検出の検出基準とし、直線検出を繰り返すにつれて当該閾値を大きくする、
ことを特徴とする付記５に記載の補間画像生成装置。
【０２２０】
（付記７）
前記実画素抽出部は、より先の繰り返し処理で直線検出された実画素の信頼度がより高くなるように前記実画素の信頼度を算出する、
ことを特徴とする付記５又は６に記載の補間画像生成装置。
【０２２１】
（付記８）
前記実画素抽出部は、前記実画素抽出部が検出した直線と前記エピポーラプレーン画像の法線とが成す角度の大きさに基づいて、前記信頼度を算出する、
ことを特徴とする付記４乃至６のいずれか一つに記載の補間画像生成装置。
【０２２２】
（付記９）
メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数のマイクロレンズの光学中心に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
前記画像取得部が取得した複数の画像と、前記補間画像生成部が生成した補間画像と、から、新たにフォーカスされた画像を再構成する再構成手段と、
前記再構成された画像の情報を出力する画像情報出力手段と、
を備えることを特徴とする再構成画像生成装置。
【０２２３】
（付記１０）
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得ステップと、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出ステップと、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出ステップと、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義ステップと、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出ステップと、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別ステップと、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
【０２２４】
（付記１１）
コンピュータに、
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得機能、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出機能、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出機能、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義機能、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出機能、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別機能、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成機能、
を実現させることを特徴とするプログラム。
【符号の説明】
【０２２５】
１…デジタルカメラ、１０…撮像部、１１０…光学装置、１１１…シャッタ、１１２…絞り、１２０…イメージセンサ、２０…情報処理部、３０…補間画像生成装置、３１…情報処理部、３２…主記憶部、３３…外部記憶部、３４…操作部、３５…表示部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…画像再構成部、２３０…撮像制御部、３１０…入力部、３１１…画像取得部、３１２…画像設定取得部、３２０…情報処理部、３２１…ＥＰＩ生成部、３２２…角度推定部、３２３…補間画像設置部、３２４…対応検出部、３２５…対応評価部、３２６…画素値加算部、３３０…記憶部、３３１…実画素情報記憶部、３３２…補間設定記憶部、３３３…補間情報記憶部、３４０…操作部、３５０…出力部、４０…記憶部、４１０…撮像設定記憶部、４２０…再構成設定記憶部、４３０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦ…ライトフィールド画像、ＯＡ…光軸、ＯＢ…被写体、ＰＳ…被写体上の部位（注目点）、ＭＬ…メインレンズ、ＰＦ…結像点、ＩＰ…結像面、ＰＥ…到達点、ＬＡ…マイクロレンズアレイ、ＩＥ…撮像面、ＳＬ…サブレンズ、ＳＬ１〜ＳＬ４…サブレンズ、Ｓ…サブ画像、Ｓ１１〜ＳＭＮ…サブ画像、Ｓ１〜Ｓ４…サブ画像
【技術分野】
【０００１】
本発明は、補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
複数の視点から撮影した被写体の複数の画像を取得することにより、被写体からカメラのレンズに侵入する全ての光線の向きと光量を取得する技術が知られている。被写体を異なる視点から撮影した複数の画像の集合をライトフィールド画像と呼び、ライトフィールド画像を構成する一つ一つの画像をサブ画像と呼ぶ。
【０００３】
特許文献１は、少数の高解像度のサブ画像から構成されるライトフィールド画像を取得し、当該取得したライトフィールド画像から、再フォーカス画像や被写界深度の異なる画像等を再構成する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ライトフィールド画像では、隣り合うサブ画像の間に、両画像を取得した視点のずれ（視差）に対応した画素抜けが発生する。この画素抜けは、ライトフィールド画像から新たな画像を再構成した際に周期的なノイズの原因となる。
【０００６】
上記問題を解決するため、特許文献1は、２つのサブ画像の間に、両サブ画像に対応する視点の間に位置する視点から撮影されたと推定される補間画像を生成し、この補間画像を用いて画素抜けを補間することを提案している。しかし、特許文献1は、補間画像を用いて再構成することを提案するだけで、補間画像を生成する方法を開示していない。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、複数の視点から被写体を撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成する技術を提供することを第１の目的とする。
また、本発明は、高品質の画像を再構成する技術を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る補間画像生成装置は、
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の視点から被写体を撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成できる。また、本発明を用いれば、高品質の画像を再構成できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係るデジタルカメラの構成を示す図である。
【図２】実施形態１に係るデジタルカメラの光学形成の構成を示す図である。
【図３】実施形態１に係るライトフィールド画像の例を示す図である。
【図４】実施形態１に係る補間画像生成装置の（ａ）物理的構成と（ｂ）機能的構成を示す図である。
【図５】（ａ）〜（ｃ）は、実施形態１に係る実画像とＥＰＩの関係を示す図である。
【図６】実施形態１に係る直線推定処理の概要を示す図である。
【図７】実施形態１に係る直線推定処理の概要を示す図である。
【図８】実施形態１に係る実画素情報リストの例を示す図である。
【図９】実施形態１に係る補間画素挿入処理の概要を示す図である。
【図１０】実施形態１に係る補間画素リストの例を示す図である。
【図１１】（ａ）〜（ｃ）は、実施形態１に係る画素値加算処理の概要を示す図である。
【図１２】実施形態１に係る補間画像生成処理を示すフローチャートである。
【図１３】実施形態１に係る角度θ登録処理を示すフローチャートである。
【図１４】実施形態１に係る角度θ推定処理を示すフローチャートである。
【図１５】実施形態１に係る画素値加算処理を示すフローチャートである。
【図１６】実施形態１に係る注目実画素に基づく補間処理を示すフローチャートである。
【図１７】（ａ）と（ｂ）とは、実施形態１に係る二次元の補間画像生成処理の概要を示す図である。
【図１８】実施形態１に係る再構成画像生成処理を示すフローチャートである。
【図１９】実施形態２に係る光学装置を示す図である。
【図２０】本発明の実施形態２に係る画素値加算処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態に係る補間画像生成装置及び再構成画像生成装置を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【００１２】
（実施形態１）
実施形態１に係る補間画像生成装置３０は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、ｉ）被写体を撮影して画像を得る機能、ｉｉ）同一の被写体を複数の視点から撮影して得られた複数の画像（サブ画像）間の視点のずれ（視差）によって生じる情報抜け（ギャップ）を埋めるための補間画像を生成する機能、ｉｉｉ）サブ画像と補間画像とを用いて、任意の再構成画像を生成する機能、等を備える。補間画像生成装置３０は、これらの機能のうち、補間画像を生成する機能を担当する。
【００１３】
デジタルカメラ１は、図１に示すように、撮像部１０と、補間画像生成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部からの光線情報を取得して、光線情報を表す画像を表示する。
【００１４】
撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、撮像動作を行う。
【００１５】
光学装置１１０は、図２に示すように、シャッタ１１１と、絞り１１２と、メインレンズＭＬと、マイクロレンズアレイＬＡと、から構成され、外部からの光線をメインレンズＭＬによって捉え、各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。
【００１６】
イメージセンサ１２０は、光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達するもので、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｌｙ Ｍａｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。
【００１７】
シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。
絞り１１２は、イメージセンサ１２０に入射する光の光量を制御する。
メインレンズＭＬは、一又は複数の凸レンズから構成され、被写体ＯＢの光を光学像としてメインレンズＭＬとマイクロレンズアレイＬＡとの間の仮想的な結像面ＩＰ上に結像させる。
マイクロレンズアレイＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。マイクロレンズアレイＬＡは、メインレンズＭＬが結像面ＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。
【００１８】
撮像部１０は、上記構成により、ライトフィールドを通過する全ての光線の情報を含んだライトフィールド画像を撮影する。
ブロック状の被写体ＯＢを撮影したライトフィールド画像ＬＦの一例を図３に示す。
このライトフィールド画像ＬＦは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬのそれぞれに対応する画像（サブ画像Ｓ、Ｓ１１〜ＳＭＮ）から構成されている。例えば、左上のサブ画像Ｓ１１は、被写体を左上から撮影した画像に相当し、右下のサブ画像ＳＭＮは被写体を右下から撮影した画像に相当する。
【００１９】
第ｉ行のサブ画像（横の一列のサブ画像）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、マイクロレンズアレイＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブ画像（縦の一列のサブ画像）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、マイクロレンズアレイＬＡの第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。
なお、各サブ画像Ｓはグレースケール画像であり、サブ画像を構成する各画素は画素値（スカラー値）を持つ。
【００２０】
図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成され、画像処理部２１０、補間画像生成装置３０、画像再構成部２２０、撮像制御部２３０、として機能する。
【００２１】
画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０に記憶されている撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと撮像設定情報とを補間画像生成装置３０に伝達する。
【００２２】
撮像設定情報は、ライトフィールド画像の各サブ画像に対応する視点（サブレンズＳＬの光学中心）の位置情報、メインレンズＭＬのフォーカスについての情報、絞り（Ｆ値）の情報、イメージセンサ１２０の設定情報、等を含む。
【００２３】
補間画像生成装置３０は、画像処理部２１０で生成された画像データと記憶部４０から読み出された撮像設定情報とから、画像処理部２１０が生成した画像（ライトフィールド画像）を構成するサブ画像を補間する補間画像を生成する。なお、補間画像生成装置３０の構成及び補間画像の生成方法については、後述する。
補間画像生成装置３０は、生成した補間画像の画像データ及び補間画像の設定情報を、画像処理部２１０から伝達されたライトフィールド画像の画像データ及び撮像設定情報と共に画像再構成部２２０に伝達する。
【００２４】
画像再構成部２２０は、補間画像生成装置３０から伝達されたライトフィールド画像と補間画像とを用いて記憶部４０の再構成設定記憶部４２０に記憶された再構成設定に合致する再構成画像を生成する。なお、再構成画像の生成方法は、例えば、特許文献１に例示されている方法を使用する等、任意である。
画像再構成部２２０は、生成した再構成画像を記憶部４０の画像記憶部４３０に記憶する。
【００２５】
撮像制御部２３０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御する。
【００２６】
記憶部４０は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。
【００２７】
記憶部４０は、機能的には、撮像設定記憶部４１０と、再構成設定記憶部４２０と、画像記憶部４３０と、から構成される。
【００２８】
撮像設定記憶部４１０は、撮像設定情報を記憶する。撮像設定情報は、マイクロレンズアレイＬＡを構成する各サブレンズＳＬの位置情報と、マイクロレンズアレイＬＡとイメージセンサ１２０の撮像面ＩＥとの距離と、メインレンズＭＬとマイクロレンズアレイＬＡとの距離と、露光時間を特定する情報と、を含む。撮像設定情報は、インターフェース部５０の操作部５３０から入力された撮像のＦ値、シャッタ速度、拡大率、等の撮像パラメータをさらに含む。
撮像設定記憶部４１０は、撮像設定情報のうち、撮像パラメータを撮像制御部２３０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０の物理特性を示す情報と撮像設定情報とを画像処理部２１０に伝達する。
【００２９】
再構成設定記憶部４２０は、操作部５３０から入力された再構成設定情報を記憶する。再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。
ここでは、ライトフィールド画像ＬＦをリフォーカスした画像を再構成する場合について説明する。このとき、再構成設定情報はリフォーカスする旨の情報と、新たな画像のフォーカス点とレンズとの距離を特定する情報と、を含む。
【００３０】
画像記憶部４３０は、画像再構成部２２０が再構成した画像を記憶する。画像記憶部４３０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。
【００３１】
インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。
【００３２】
Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。
【００３３】
表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０や再構成設定記憶部４２０に記憶される設定情報を入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４３０に記憶された画像を表示する。
【００３４】
操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する制御部によって構成され、ユーザ操作により入力された情報を入力する。
【００３５】
次に、補間画像生成装置３０の構成について、図４を参照して説明する。
補間画像生成装置３０は、図４（ａ）に示すように情報処理部３１と、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、内部バス３７と、から構成される。
【００３６】
情報処理部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成される。
【００３７】
主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。操作部３４は、操作部５３０と同様の物理構成を持つ。表示部３５は、表示部５２０と同様の物理構成を持つ。入出力部３６は、Ｉ/Ｏ部５１０と同様の物理構成を持つ。内部バス３７は、主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、を接続する。
【００３８】
主記憶部３２と、外部記憶部３３と、操作部３４と、表示部３５と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。
【００３９】
補間画像生成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１が、主記憶部３２を使用してプログラム３８を実行することにより、後述する補間画像生成処理を実行する。
【００４０】
補間画像生成装置３０は、上記のような物理構成により、図４（ｂ）に示すように、入力部３１０と、情報処理部３２０と、記憶部３３０と、操作部３４０と、出力部３５０と、として機能する。
【００４１】
入力部３１０は、画像処理部２１０から、ライトフィールド画像ＬＦを取得する画像取得部３１１と、そのライトフィールド画像ＬＦを取得したときの撮像設定情報を取得する画像設定取得部３１２と、から構成される。
【００４２】
情報処理部３２０は、画像取得部３１１が取得したライトフィールド画像ＬＦと、画像設定取得部３１２が取得したそのライトフィールド画像ＬＦの撮像設定情報と、補間設定記憶部３３２に記憶された補間設定と、に基づき、補間画像を生成する。情報処理部３２０は、生成した補間画像を画像取得部３１１が取得した画像と共に記憶部３３０の補間情報記憶部３３３に記憶する。
記憶部３３０は、工場出荷時に記憶された設定情報と、操作部３４０を用いてユーザが入力した入力情報と、情報処理部３２０の処理結果と、を記憶する。記憶部３３０は、情報処理部３２０から要求された情報を情報処理部３２０に伝達する。また、記憶部３３０は、記憶した情報を出力部３５０に伝達する。
【００４３】
情報処理部３２０は、下記する処理を実行することにより、ＥＰＩ生成部３２１、角度推定部３２２、補間画像設置部３２３、対応検出部３２４、対応評価部３２５、画素値加算部３２６、として機能する。
【００４４】
ＥＰＩ生成部３２１は、入力部３１０の画像取得部３１１からライトフィールド画像ＬＦを、画像設定取得部３１２からそのライトフィールド画像ＬＦの撮像設定情報を、それぞれ受け取ると、ＥＰＩ（Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ、エピポーラプレーン画像）を生成する。ＥＰＩ生成部３２１は、生成したＥＰＩを角度推定部３２２と、補間画像設置部３２３と、に伝達する。
【００４５】
ここで、ＥＰＩ生成部３２１がライトフィールド画像ＬＦから生成するＥＰＩについて、図５を参照して説明する。
理解を容易にするために、ここでは図５（ａ）のように横（Ｘ軸）方向に並んだ４つサブレンズ（ＳＬ１〜ＳＬ４）で、無限遠に存在する背景Ｂと、レンズ（サブレンズ）ＳＬ１〜ＳＬ４からＺ軸方向に距離ｚだけ離れた物体Ａと、を撮影したライトフィールド画像ＬＦからＥＰＩを生成する場合について説明する。
なお、背景Ｂは互いに異なる画素に対応する部分Ｂ１〜Ｂ２５から構成されるとする。また、物体Ａは互いに異なる画素に対応する部分Ａ１〜Ａ７から構成されるとする。
【００４６】
サブレンズＳＬ１〜ＳＬ４は、それぞれイメージセンサ１２０の撮像面ＩＥ上にサブ画像Ｓ１〜Ｓ４を結像させる。言い換えると、サブ画像Ｓ１〜Ｓ４は、それぞれ被写体をサブレンズＳＬ１〜ＳＬ４の光学中心を視点として撮影した画像である。
サブ画像Ｓ１〜Ｓ４は、図５（ｂ）に示すように、それぞれ縦（Ｖ軸方向）にｖ個、横（Ｕ軸方向）にｕ（ここでは２５とする）個の画素が格子状に並んで構成されている。サブレンズＳＬ１〜ＳＬ４の光学中心は、それぞれ距離（視差）ｄ１〜ｄ３ずつ離れている。ここでは視差ｄ１〜ｄ３は同じ値ｄであるとする。視差ｄの値は、マイクロレンズアレイＬＡを用いて撮影する場合はマイクロレンズアレイＬＡの物理的な構成によって定まる。視差ｄの値は撮像設定情報に含まれる。
【００４７】
サブ画像Ｓ１〜Ｓ４の縦（Ｖ軸）方向は被写体空間のＹ軸方向に、横（Ｕ軸）方向は被写体空間のＸ軸方向に、それぞれ相当する。サブ画像Ｓ１〜Ｓ４の同じ行（例えばｉ行目）の各画素列は、同一のエピポーラ平面に対応する画素列である。エピポーラ平面とは、被写体の注目点と、被写体を撮影する２つの視点と、の三点が形成する平面である。
【００４８】
あるエピポーラ平面に対応する画素列を、対応する視点の順番に配置した画像が、ＥＰＩである。以下、ＥＰＩを構成する実際に撮影された画像（実画像）の各列を実画素列と、実画素列の各画素を実画素と表記する。なお、ＥＰＩは、図５の例ではサブ画像Ｓ１〜Ｓ４から、サブ画像のＶ軸方向の画素列の数Ｖ個だけ定義できる。
図５（ｃ）は、図５（ｂ）のサブ画像Ｓ１〜Ｓ４のｉ行目の各画素列を順に並べて生成したＥＰＩを示す。
ここで、ＥＰＩの縦方向（図５（ｃ）のＸ軸）は、被写体空間（図５（ａ））のＸ軸に対応する。また、ＥＰＩの横方向（図５（ｃ）のＵ軸）は、サブ画像（図５（ａ））のＵ軸に対応する。ＥＰＩのＵ軸方向の各列を構成する画素に、画素ナンバ（ここでは１〜２５）を割り当てる。ＥＰＩの各行は、Ｘ軸方向に、対応する視差ｄ１〜ｄ３に対応する間隔で配置される。なお、視差ｄ１〜ｄ３が略同一である場合は、各行間を隣接して配置しても良い。
【００４９】
図５（ｃ）のＥＰＩの各画素内には、その画素に対応する被写体の部分を示す符号（Ａ１〜Ａ７，Ｂ１〜Ｂ２５）が記載されている。
例えば、物体Ａの部分Ａ１に対応する画素は、実画素列１（Ｒ１）では画素ナンバ７の画素に現れ、実画素列２（Ｒ２）では画素ナンバ１０の画素に現れる。実画素列１と実画素列２とにおける画素ナンバの差Δ１は３である。各ＥＰＩの行間（実画素列１（Ｒ１）と実画素列２（Ｒ２）との間、実画素列２（Ｒ２）と実画素列３（Ｒ３）との間、実画素列３（Ｒ３）と実画素列４（Ｒ４）との間）で生じる画素ナンバの差Δ（Δ１〜Δ３）をその被写体のＥＰＩ視差と呼ぶ。視差ｄ（＝ｄ１＝ｄ２＝ｄ３）が等しい場合はＥＰＩ視差（Δ１〜Δ３）も等しい。
【００５０】
実画素列１（Ｒ１）〜実画素列４（Ｒ４）が、対応するサブレンズＳＬ１〜ＳＬ４の間の視差ｄ１〜ｄ３に対応する間隔で配置されているため、同一の被写体に対応するＥＰＩ上の画素は、ＥＰＩ上で直線上に並ぶ。
具体的には、例えば物体Ａの右端（Ａ７）の部分に対応する画素は、図５（ｃ）の直線Ｌ（Ａ７）上に並ぶ。ここで、直線Ｌ（Ａ７）を、被写体部分Ａ７のＥＰＩ直線と呼ぶ。
【００５１】
ＥＰＩ直線は、対応する被写体が近いほどＥＰＩのＸ軸に対して大きな角度を持つ。これは、被写体（例えばＡ７）が近くにあればあるほど、被写体（Ａ７）からレンズＬ１〜Ｌ４に進入する光の角度が視差ｄ１〜ｄ３により大きく変化するため、対応する画素の位置（画素ナンバ）が互いに大きくＵ軸方向にずれるためである。
一方、例えば被写体が背景ＢのようにレンズＬ１〜Ｌ４から十分離れた場所にある場合は、光はレンズＬ１〜Ｌ４に略平行に進入するため、対応する画素の位置（画素ナンバ）はＵ軸方向で変化せず、ＥＰＩ直線Ｌ（Ｂ１）のように、ＥＰＩのＸ軸に対して平行となる。
【００５２】
被写体上のある点Ｑに対応するＥＰＩ直線Ｌ（Ｑ）とＸ軸との交差角度θ（Ｑ）は、点Ｑとサブレンズとの間の距離ｚｑ、視差ｄ、マイクロレンズアレイＬＡと撮像面ＩＥとの距離、撮像素子間の距離、等によって定まる。
【００５３】
ＥＰＩ視差Δ（＝Δ１＝Δ２＝Δ３）が大きいと、ＥＰＩの各行で大きな情報のギャップ（画素抜け）が存在することとなる。この画素抜け（情報ギャップ）は画像の再構成を行った際のノイズの原因となる。そこで、本実施形態では、サブ画像の間に仮想的な補間画像を生成して、ＥＰＩの実画素間列の間に配置して再構成画像の生成に用いて画素抜けによるノイズを低減する。
【００５４】
図４（ｂ）に戻って、ＥＰＩ生成部３２１は生成したＥＰＩを角度推定部３２２と、補間画像設置部３２３と、に伝達する。
【００５５】
サブ画像Ｓが横にＮ個、縦にＭ個存在しており、それぞれの実画像が縦にＶ個の画素列、横にＵ個の画素列で構成されている場合、ＥＰＩは合計でＶ・Ｎ＋Ｕ・Ｍ個定義できる。
ＥＰＩ生成部３２１は、Ｍ・Ｎ個のサブ画像Ｓからなるライトフィールド画像ＬＦを取得すると、上記（Ｖ・Ｎ＋Ｕ・Ｍ）個のＥＰＩをすべて生成する。
【００５６】
角度推定部３２２は、ＥＰＩ生成部３２１からＥＰＩを伝達されると、ＥＰＩ上の各実画素について、補間設定記憶部３３２に記憶された補間設定を用いて、ＥＰＩ直線がＸ軸と成す角度θを推定する。
補間設定の情報は、生成する補間画像の数、補間画像を設置する相対位置、角度推定に用いられるパラメータ、等を含む。補間設定は、操作部３４０を用いてユーザが定義し、補間設定記憶部３３２に記憶されている。補間設定は、工場出荷時にあらかじめ補間設定記憶部３３２に記憶されている情報であってもよい。
【００５７】
処理対象となる実画素についてＥＰＩ直線がＸ軸と交差する角度θを推定する処理の概要を説明する。
【００５８】
注目実画素を画素Ｐｘｌ（Ｒｘ、ｕ）と表記する。Ｒｘは注目実画素が実画素列Ｒｘ（ｘ列目の実画素列）の画素であること、ｕは注目実画素が実画素列Ｒｘ中のｕ番目の画素であることを意味する。そして、注目実画素Ｐｘｌ（Ｒｘ、ｕ）を通過するＸ軸となす角が角度θである直線をＬｉｎｅ（θ）と表記する。
実画素列２（Ｒ２）の画素ナンバ１６の画素Ｐｘｌ（Ｒ2、１６）を注目実画素とした角度θを推定する処理の例を図６に示す。図６は、画素Ｐｘｌ（Ｒ2、１６）に対して定義された、複数のθに対応する複数の直線Ｌｉｎｅ（θ）を示している。
そして、各直線Ｌｉｎｅ（θ）上にあるＲ１〜Ｒ４の実画素について、Ｐｘｌ（Ｒｘ、ｕ）の直線Ｌｉｎｅ（θ）がＥＰＩ直線である確からしさの評価値Ｃを直線上に存在する画素値の差に基づいて算出する。
【００５９】
評価値Ｃは式（１）に基づいて算出される。評価値Ｃの値（Ｃ値）が小さいほど直線Ｌｉｎｅ（θ）上の実画素の画素値の誤差が小さく、その直線上の画素が対応する信頼度が高い。評価値Ｃの信頼度がもっとも高くなる角度θを導出して、その実画素について推定されたＥＰＩ直線の角度θとする。
【００６０】
【数１】
【００６１】
式（１）のＩは注目画素の画素値、ＥＰＩはLine(θ)上にある注目画素以外の各画素を表すパラメータ、Ｉｋは直線上にある注目実画素以外の各画素の画素値、Ｋは直線上にある注目実画素以外の画素の数である。
【００６２】
なお、評価値Ｃは、式（１）に限らず、直線Ｌｉｎｅ（θ）上の各画素の画素値の誤差が大きいほど解が大きくなる任意の算出式を用いて算出してもよい。たとえば、評価値Ｃは、注目実画素の画素値と直線上の画素値の差を二乗して加算し、Ｋで除算する式を用いて算出されてもよい。
【００６３】
なお、直線Ｌｉｎｅ（θ）上に存在する画素は、以下の処理により抽出される。
（１）Ｌｉｎｅ（θ）と各画素列の中心線との交点Ｐｃを求める。
（２）交点Ｐｃが画素列の画素Ａの中心と画素Ｂの中心の中間にある場合、画素Ａと画素Ｂのうち中心が交点Ｐｃと近い画素がその画素列においてＬｉｎｅ（θ）上に存在する画素として選択される。
（３）交点Ｐｃが画素Ａの中心である場合、画素Ａがその画素列においてＬｉｎｅ（θ）上に存在する画素として選択される。
（４）交点Ｐｃが画素列から外れている場合（図６の例では、画素ナンバ１又は画素ナンバ２５の外側にある場合）、その画素列にはＬｉｎｅ（θ）上の画素は存在しない。
【００６４】
図４（ｂ）に示す角度推定部３２２は、評価値Ｃの信頼度が最も高い角度θをその画素の推定ＥＰＩ直線とし、そのＣ値が所定の閾値以下であればその角度θを後述する実画素情報リストに登録する。例えば、図６の注目実画素Ｐｘｌ（Ｒ２、１６）に対応する被写体Ａ７に対応する画素はＬｉｎｅ（θ２）上に存在するため、角度θ２が画素（Ｒ２、１６）に登録される。
【００６５】
このとき、ＥＰＩ直線を推定することが困難な画素がある。例えば、図６の画素Ｐｘｌ（Ｒ４、１３）に対応する被写体は、図５に示す背景Ｂの部分Ｂ１３である。Ｂ１３に対応する画素は、物体Ａが無ければ、Ｘ軸に対して平行な角度０のＥＰＩ直線（Ｐｘｌ（Ｒ４、１６）のＬｉｎｅ（０））上に存在するはずである。
しかし、Ｂ１３は、実画素列１〜３では物体Ａに隠れてしまっているため、画素Ｐｘｌ（Ｒ４、１３）に対応する画素は実画素列１〜３には存在しない。そのためＥＰＩ直線を推定することが出来ない。
また、例えば、画素Ｐｘｌ（Ｒ４、８）に対応する被写体は、背景Ｂの部分Ｂ８である。部分Ｂ８に対応する画素は、実画素列２〜３ではＰｘｌ（Ｒ４、８）のＬｉｎｅ（θ０）上に存在するが、実画素列１では物体Ａに隠れているため存在しない。このため、Ｐｘｌ（Ｒ１、８）の画素値によっては、直線Ｌｉｎｅ（０）を正しく推定できず、角度０とは異なる角度θがＰｘｌ（Ｒ４、８）について登録されてしまう可能性がある。
【００６６】
そこで補間画像生成装置３０は、繰り返して推定処理を行い、信頼度が高い推定直線が得られた画素を、次の繰り返しにおける推定処理で処理対象から排除して推定処理を行う。
この処理について、図７を参照して説明する。
【００６７】
まず、図７で斜線又は網目で示された実画素は、ＥＰＩ上の実画素列１〜４のすべてに対応する実画素が存在するため、ノイズの影響を考えなければ、高い信頼度（小さいＣ値）のＥＰＩ直線を推定することができる。
一度目の推定処理を、Ｃ値が予め信頼度が高くなるように小さい数値に設定された閾値以下で有る場合に限り角度θを登録するという条件で実行する。その結果、対応関係が確実な画素（斜線の画素及び網掛け線の画素）についてだけＥＰＩ直線が推定され、角度θが登録される。そして、次回以後のループでは、計算対象から角度θが登録された実画素を排除する。
【００６８】
次に、一度目の推定処理で角度θが登録されなかった実画素だけを用いて、２度目の推定処理を行う。このとき、閾値が一度目の推定処理と同一であっても、式（１）の計算対象となる画素が減少しているため、２回目の推定では楕円で示された画素について角度θを推定することができる。例えば、２度目の推定処理でＰｘｌ（Ｒ４、７）の直線を推定する際には、Ｐｘｌ（Ｒ１，７）の画素値は計算対象から排除される。そのため、Ｐｘｌ（Ｒ４、７）の画素値とＰｘｌ（Ｒ１，７）の画素値の差は式（１）において加算されないため、角度０をＰｘｌ（Ｒ１，７）の画素値に影響を受けず、正しくＥＰＩ直線を推定することができる。
以後、同様の動作を角度θが登録されなかった実画素だけを用いて順次実行する。
【００６９】
本実施形態によれば、各直線について評価値Ｃを算出し、評価値Ｃが小さい直線を推定ＥＰＩ直線とすることで、各実画素に対応する実画素をＥＰＩ上で簡便に推定することができるという効果が得られる。また、一度角度θが登録された画素を次回以降の角度θ推定処理で比較対象から排除することで、対応関係が確かな（オクリュージョンによって遮蔽されていない）被写体に対応する画素から順に角度θを登録し、さらにオクリュージョンによって遮蔽されている被写体に対応する画素の対応関係を、遮蔽している被写体に対応する画素の影響を受けずに推定することができる。
【００７０】
ある画素に何度目の推定処理で角度θが登録されたかによって、その画素に対応する被写体がオクリュージョンによって遮蔽されている程度を評価することができる。少ない処理回数で角度θが登録された画素ほど、対応する被写体がオクリュージョンによって遮蔽されている可能性が低いと評価できる。そこで、角度θが何回目の処理（イテレーション）で登録されたか、その回数（イテレーション数）を、その画素の角度θの評価値ＩＴとして画素と対応付けて記憶する。
なお、図７で黒く塗りつぶされたＰｘｌ（Ｒ４、１３）のように、対応する画素が無く角度の推定ができない（所定の閾値（閾値の最大値）より小さいＣ値を持つＥＰＩ直線を推定できない）画素もある。このような画素については角度θを空値（ＮＵＬＬ）として記憶する。ノイズによってＣ値が閾値より低い直線を検出できなかった場合も同様である。
【００７１】
図４（ｂ）に示す角度推定部３２２は、各画素について、推定されたＥＰＩ直線の角度θと、ＥＰＩ直線の推定過程で算出されるその直線の評価値ＩＴ（イテレーション数）と、を対応づけて登録した実画素情報リストを生成し、実画素情報記憶部３３１に記憶する。
【００７２】
ここで、実画素情報記憶部３３１に記憶される実画素情報リストについて、図８を参照して説明する。
実画素情報リストは、実画素列上の各画素について、推定されたＥＰＩ直線の角度θと、角度θの評価値ＩＴ（角度θが登録されたイテレーション数）と、を対応づけて記憶する。
【００７３】
実画素ＩＤは、その行に登録されている画素を一意に表す識別子である。
実画素列ＩＤは、その行に登録されている画素がどの実画素列の画素であるかを示す。画素ナンバは、その行に登録されている画素の画素ナンバを示す。
例えば、ある行の実画素列ＩＤが＃０１、画素ナンバが１であることは、その行が、画素列Ｒ１の１番目の画素Ｐｘｌ（Ｒ１、１）の角度θと評価値ＩＴを登録していることを示す。
【００７４】
θは、その行の実画素について推定されたＥＰＩ直線のＸ軸との角度θである。
θが０であることは、その画素に対応する被写体が、レンズから（無限遠と同一視できる程度に）遠くに存在すると推測されることを意味する。
一方、θが大きいことは、その画素に対応する被写体が、レンズに近い位置に存在することを示す。θは、０からカメラの性質によって定まる最大値θmaxまでのいずれかの値を取る。なお、θmaxの値は、撮像設定記憶部４１０に記憶されている。
【００７５】
評価値ＩＴは、その画素に登録された角度θが何回目のイテレーションで登録されたかを示す数値である。この数値が小さいほど、その画素に登録された角度θは信頼度が高い。
【００７６】
図４（ｂ）にもどって説明を続ける。
補間画像設置部３２３は、ＥＰＩ生成部３２１からＥＰＩを伝達されると、補間設定記憶部３３２が記憶する補間設定情報に基づいて、ＥＰＩ上に補間画像の画素列を定義する。
【００７７】
ここで、ＥＰＩ上に定義される補間画像の画素列について、図９を参照して説明する。
ＥＰＩ生成部３２１から伝達されたＥＰＩには、撮影された画像の画素列が視差に対応する間隔で配置されている。図９では、上述の例に沿って、実画素列１〜４（ＥＰＩの第１行、第４行、第７行、第１０行）が、視差ｄに対応する間隔で配置されている例を示す。
補間画像設置部３２３は、補間設定情報に基づき、実画素列の間に所定数の補間画素列を配置する。ここでは、補間設定情報により、実画素列の間に補間画素列を２列ずつ均等に挿入すると定義されているものとする。この場合、補間設定情報に従って、ＥＰＩ上に補間画像の画素列（補間画素列１〜６、Ｖ１〜Ｖ６）（ＥＰＩの第２行、第３行、第５行、第６行、第８行、第９行）を挿入する。
【００７８】
補間画像設置部３２３は実画素列と実画素列との間に補間画素列を挿入する。このとき挿入される補間画素列の各画素（補間画素）の画素値はゼロである。
この処理は、サブレンズＳＬ１〜ＳＬ４（実レンズ）の間に仮想的なレンズ（補間レンズ）を設置し、補間レンズから得られると推測される画像の画素列のひな形をＥＰＩ上に配置することと等しい。
例えば、図９の補間画素列１は、実画像Ｓ１に対応するレンズＳＬ１と、実画像Ｓ２に対応するサブレンズＳＬ２と、の間に存在する補間レンズＳＬＶ１から得られると推定される仮想的なサブ画像（補間画像）ＳＶ１のｖ行目の画素列である。補間レンズＳＬＶ１は、サブレンズＳＬ１〜ＳＬ４がなす直線上であって、サブレンズＳＬ１から仮想視差ｄｖ（＝ｄ１／３）だけ離れた位置に存在する。
【００７９】
補間画素列を挿入するＥＰＩ上の位置及び挿入する画素列の数は、補間設定によって適宜定めることが出来る。例えば、実画素列１から仮想視差ｄｖ１＝ｄ１／５だけ離れた補間画像の補間画素列１と、仮想視差ｄｖ２＝ｄ１／２だけ離れた補間画素列２を、実画像Ｓ１の実画素列１と実画像Ｓ２の実画素列２の間に挿入しても良い。また、実画素列１と実画素列２の間に３つの補間画素列を挿入し、実画素列２と実画素列３の間には補間画素列を挿入しない、といった設定も可能である。
【００８０】
図４（ｂ）に戻って説明を続ける。
補間画像設置部３２３は、補間画素列を挿入したＥＰＩを、対応検出部３２４に伝達する。対応検出部３２４は、伝達されたＥＰＩの各実画素について、その画素と対応する補間画素を抽出する。
【００８１】
対応検出部３２４は、ＥＰＩ上の各実画素について、その実画素と、その画素について登録された推定ＥＰＩ直線上の補間画素と、を対応する画素の集合として検出する。この処理は、信頼度が高い（登録された評価値ＩＴが小さい）実画素から順に行われる。各画素の集合に対して、実画素の評価値ＩＴをその対応関係の信頼度（評価値ＩＴｒ）とする。
【００８２】
対応検出部３２４は、実画素一つと、その実画素に対応する補間画素の集合と、その対応の評価値ＩＴｒと、を示す情報（以下、対応情報と記す）を抽出すると、当該対応情報を対応評価部３２５に伝達する。
【００８３】
対応評価部３２５は、対応検出部３２４から対応情報を伝達されると、その対応関係の確からしさを評価する。この評価は、その対応の評価値ＩＴｒと、補間情報記憶部３３３に記憶された後述する補間画素リストに基づいて行われる。具体的な評価方法は後述する。
【００８４】
対応評価部３２５は、一つの対応情報について対応の確からしさの評価が完了すると、対応情報と評価結果とを画素加算値部３２６に伝達する。
画素値加算部３２６は、伝達された対応情報と評価結果とに基づき、ＥＰＩ画像の補間画素に画素値を加算する。そして、加算結果を補間情報記憶部３３３に記憶された補間画素リストに記憶する。
【００８５】
ここで、補間情報記憶部３３３に記憶される補間画素リストについて、図１０を参照して説明する。
補間画素リストは、ＥＰＩ上の各補間画素を一意に示す補間画素ＩＤ（補間画素列ＩＤと画素ナンバー）と、その補間画素の現在までの画素値と、その補間画素に実画素の画素値が加算された回数（加算回数）と、その補間画素の評価値ＩＴｒと、を対応づけて記憶している。
一度も画素値が加算されていない場合は、画素値と評価値ＩＴｒはＮＵＬＬである。
ここで、補間画素の評価値ＩＴｒは、その画素に対応する実画素（それまでにその補間画素に画素値を加算した実画素）のうち、もっとも評価値ＩＴが小さい（もっとも信頼度の高い）実画素の評価値である。
【００８６】
ここで、対応検出部３２４、対応評価部３２５，画素値加算部３２６、が行う補間画素値加算処理の概要を、図１１を参照して説明する。
図１１では、その補間画素に画素値が加算された回数を補間画素列の補間画素内の数値で示す。なお、加算回数０の表記は省略している。
【００８７】
まず、対応検出部３２４が、図１１（ａ）で斜線で示された実画素Ｐｘｌ（Ｒ１，７）を注目実画素とし、実画素情報記憶部３３１に記憶されている実画素情報リストから登録されている角度θを読み込み、角度θに基づいて対応する補間画素（推定されたＥＰＩ直線上の補間画素）としてＰｘｌ（Ｖ１、８）、Ｐｘｌ（Ｖ２、９）、Ｐｘｌ（Ｖ３、１１）、…を検出する。
【００８８】
次に、対応評価部３２５は、Ｐｘｌ（Ｒ１、７）とＰｘｌ（Ｖ１、８）との対応の確からしさを評価する。
即ち、Ｐｘｌ（Ｖ１、８）の両隣の画素に、Ｐｘｌ（Ｒ１，７）より評価値ＩＴが低い（より信頼度が高い）実画素から画素値がすでに加算されているか否かを、補間画素リストを参照して判別する。両隣の画素により評価値ＩＴが低い実画素から画素値が加算されていない場合、対応は確かであると推定する。
図１１（ａ）の場合、Ｐｘｌ（Ｖ１、８）の両隣（Ｐｘｌ（Ｖ１、７）とＰｘｌ（Ｖ１、９））には未だ画素値が加算されていないので、対応評価部３２５はＰｘｌ（Ｒ１、７）とＰｘｌ（Ｖ１、８）との対応は確かであると判別する。
【００８９】
そして、画素値加算部３２６がＰｘｌ（Ｖ１、８）にＰｘｌ（Ｒ１、７）の画素値を加算する。具体的には、補間画素リストのＰｘｌ（Ｒ１、７）の行の加算回数をインクリメントし、画素値を加算する。さらに、その行の評価値がＮＵＬＬであれば、評価値ＩＴｒに実画素Ｐｘｌ（Ｒ１，７）の評価値ＩＴを登録する。
すでに画素値が一度以上加算されている場合、次の式（２）を用いて算出された数値を加算後の数値として登録する。
【００９０】
【数２】
【００９１】
このとき、Ｖ’は更新後の画素値、Ｖは更新前の画素値、Ｖａｌは注目実画素の画素値、ｔはインクリメント前の加算回数である。
【００９２】
以下、注目実画素Ｐｘｌ（Ｒ１、７）について抽出されたその他の補間画素（Ｐｘｌ（Ｖ２、９）、Ｐｘｌ（Ｖ３、１１）…）についても同様に判別処理・加算処理が行われる。
【００９３】
注目実画素Ｐｘｌ（Ｒ１，７）について処理が終わると、次の注目実画素が選択され、同様に対応する補間画素に画素値が追加される。次の注目実画素がＰｘｌ（Ｒ２、１０）が注目実画素であった場合の処理結果を図１１（ｂ）に示す。
【００９４】
さらに処理が進み、ｎ回目のステップで背景Ｂの部分Ｂ９に対応する画素Ｐｘｌ（Ｒ２、９）が注目実画素に選ばれた場合の処理を図１１（ｃ）に示す。
Ｐｘｌ（Ｒ２，９）に登録されたθ値は０であり、対応する補間画素の候補としてＰｘｌ（Ｖ１，９）、Ｐｘｌ（Ｖ２，９）、Ｐｘｌ（Ｖ３，９）…が抽出される。図１１（ｂ）では、Ｐｘｌ（Ｒ２，１０）の画素値がＰｘｌ（Ｖ１，８）、Ｐｘｌ（Ｖ２，９）、Ｐｘｌ（Ｖ３，１１）、に加算されている。
【００９５】
対応評価部３２５は、このＰｘｌ（Ｒ２、９）と補間画素Ｐｘｌ（Ｖ１，９）、Ｐｘｌ（Ｖ２、９）、Ｐｘｌ（Ｖ３、９）のそれぞれについて、対応の確からしさを評価する。
即ち、抽出された対応候補画素のそれぞれに隣接する補間画素が、すでにより小さい評価値ＩＴを持つ実画素の画素値が加算されている補間画素（注目実画素より小さいＩＴｒを持つ補間画素）である（図１１（ｃ）の×で示された画素）か否かを判別する。
隣接する画素の両方が、注目実画素より小さいＩＴｒを持つ補間画素（例えばＰｘｌ（Ｖ１，９））は、オクリュージョンによって遮蔽されている被写体に対応する画素（オクリュージョン画素）であると推定される。そのため、その補間画素は注目実画素Ｐｘｌ（Ｒ２、９）とは対応しないと判別して、画素値を加算しない。
【００９６】
一方、隣接する補間画素の少なくとも一方のＩＴｒが、注目実画素のＩＴ以上の場合には（Ｐｘｌ（Ｖ２，９）及び（Ｐｘｌ（Ｖ３，９））、その補間画素はオクリュージョン画素でないとの推定のもと、注目実画素Ｐｘｌ（Ｒ２、９）の画素値が加算される。
【００９７】
このとき、隣接する補間画素の一方のみに、より評価値ＩＴの小さい実画素の画素値がすでに加算されている場合も、実画素Ｐｘｌ（Ｒ２、９）の画素値を加算する。このような補間画素はオクリュージョンによって対応する被写体が隠れるエッジ部分に該当すると考えられる。エッジ部分により遠方の被写体に対応する画素の画素値を加算することにより、エッジを「丸める」ことが出来る。
【００９８】
オクリュージョン画素か否かを、隣接する補間画素により評価値ＩＴの小さい（信頼度が高い）実画素の画素値が登録されているか否かによって判別することにより、簡便にオクリュージョン画素か否かを判別して、ライトフィールド画像の奥行き情報を保持した補間画像を生成することが出来る。
【００９９】
なお、ここでは隣接する補間画素の双方により評価値ＩＴの小さい実画素の画素値が加算されている場合に限り、その補間画素をオクリュージョン画素であると判別した。しかし、オクリュージョン画素であるか否か判別する基準はこれに限られない。例えば、隣接する画素の少なくとも一つにより評価値の小さい実画素の画素値が加算されている場合にその補間画素をオクリュージョン画素であると判別しても良い。
このような判別方法によれば、より厳密に実画素と補間画素の対応を判定することができる。
【０１００】
また、隣接する画素でなく、その補間画素そのものにより評価値ＩＴが小さい実画素の画素値がすでに加算されている場合に、その画素をオクリュージョン画素であると判別しても良い。
【０１０１】
画素値加算処理が終わり、補間情報記憶部３３３に登録された補間画素リストが更新されると、画素値加算部３２６は、現在の注目実画素について処理が終了したことを対応検出部３２４に伝達する。そして、対応検出部３２４は、次の実画素について対応を検出し、同様に処理を続行する。すべての実画素について上記処理が行われると、そのＥＰＩ画像について、補間画像の生成が終わる。
【０１０２】
ＥＰＩ生成部３２１が生成したすべてのＥＰＩについて、補間画像を生成し終えると、出力部３５０が外部装置に補間済みのＥＰＩ（補間画像と実画像）を出力する。そして、補間画像生成装置３０は処理を終了する。
【０１０３】
次に、上記構成を有する補間画像生成装置３０が、補間画像を生成する処理を、図１２〜図１９を参照して説明する。
【０１０４】
補間画像生成装置３０の情報処理部３２０は、入力部３１０がライトフィールド画像ＬＦ及び撮像設定情報を取得すると、図１２に示す補間画像生成処理を開始する。
【０１０５】
補間画像生成処理が開始されると、入力部３１０からＥＰＩ生成部３２１に当該ライトフィールド画像ＬＦと当該撮像設定情報が伝達される（ステップＳ１０１）。
【０１０６】
ＥＰＩ生成部３２１は、取得したライトフィールド画像ＬＦと、撮像設定情報と、から図５（ｃ）に示すＥＰＩを生成する（ステップＳ１０２）。
【０１０７】
ＥＰＩ生成部３２１は、生成されたＥＰＩの数Ｊを算出し、併せてそれぞれのＥＰＩを１〜Ｊまでの数値でナンバリングする。また、カウンタｊに１を代入する（ステップＳ１０３）。
【０１０８】
次に、ＥＰＩ生成部３２１は、ｊ番目のＥＰＩにフォーカスする。ステップＳ１０５〜ステップＳ１０８は、フォーカスされたＥＰＩについて実行される（ステップＳ１０４）。
【０１０９】
ｊ番目のＥＰＩについて、角度推定部３２２は、角度θ登録処理を実行する（ステップＳ１０５）。角度θ登録処理については後述する。
【０１１０】
角度θ登録処理が終了し、ｊ番目のＥＰＩの各実画素に角度θが登録され、実画素情報記憶部３３１に実画素情報リストが記憶されると、図９に示すように補間画像設置部３２３がｊ番目のＥＰＩに補間画素列を挿入する（ステップＳ１０６）。
【０１１１】
補間画素列の挿入が終了すると、対応検出部３２４、対応評価部３２５、画素値加算部３２６、が図１１に示した画素値加算処理を行う（ステップＳ１０７）。画素値加算処理（画素値加算処理１）については後述する。
【０１１２】
画素値加算処理が終わると、そのＥＰＩについては処理を終了する。そしてｊとＪを比較して、未処理のＥＰＩが残っているか判別する（ステップＳ１０８）。ｊがＪ未満であって、未処理のＥＰＩが残っている場合（ステップＳ１０８；ＮＯ）、ｊをインクリメントし（ステップＳ１０９）、ステップＳ１０４〜ステップＳ１０８の処理が繰り返す。
一方、ｊがＪ以上であって、未処理のＥＰＩが残っていない場合（ステップＳ１０８；ＹＥＳ）、情報処理部３２０は補間画像生成処理を終了する。
【０１１３】
補間画像生成処理を終了すると、出力部３５０は補間情報記憶部３３３に記憶された、補間画像と実画像とを画像再構成部２２０に伝達する。その後の処理については後述する。
【０１１４】
次に、角度θ登録処理（ステップＳ１０５）を、図１３を参照して詳細に説明する。
【０１１５】
角度θ登録処理では、まず角度推定部３２２が変数を初期化する（ステップＳ２０１）。
具体的にはｉｔに１を、カウンタｎに１を、ｔｈに最初の閾値ＴＨ０を代入する。また、ＥＰＩ上の実画素の数Ｎと、総イテレーション回数ＩＴmaxを取得する。ここで、ＩＴmaxとＴＨ０は、補間設定記憶部３３２に記憶された数値である。ＩＴmaxとＴＨ０とは、実験等によって求められ予め初期設定で定められた数値であって良いし、ユーザが入力した任意の数値であってもよい。また、角度推定部３２２は、ステップＳ２０１でＥＰＩ上の実画素を、１〜Ｎの数でナンバリングする。
【０１１６】
ステップＳ２０１が終わると、次に角度推定部３２２はｎ番目の画素を選択して注目実画素とする（ステップＳ２０２）。
【０１１７】
そして、角度推定部３２２は、実画素情報記憶部３３１に記憶された実画素情報リストを参照し、注目実画素にすでに角度θが登録されているか否か判別する（ステップＳ２０３）。
すでに登録されている場合は（ステップＳ２０３；ＹＥＳ）、角度推定部３２２はその実画素については処理を終了する。即ち、ｎをインクリメントし（ステップＳ２０９）、ステップＳ２０２にもどる。
【０１１８】
注目実画素にまだ角度θが登録されていない場合（ステップＳ２０３；ＮＯ）、角度推定部３２２は注目実画素について角度θ推定処理を行う（ステップＳ２０４）。角度θ推定処理については後述する。
【０１１９】
角度θ推定処理が終わり、注目実画素に推定された角度θと、角度θの評価値Ｃが算出されると、次に角度推定部３２２は角度θの評価値Ｃが閾値ｔｈがより大きいか判別する（ステップＳ２０５）。角度θの評価値Ｃが閾値ｔｈより大きい場合（ステップＳ２０５；ＹＥＳ）、その角度θは、今回のイテレーションにおいて十分な信頼度を持たないので、その画素について今回のイテレーションでは角度θを登録しない。即ち、ｎをインクリメントし（ステップＳ２０９）、ステップＳ２０２にもどる。
【０１２０】
一方、角度θの評価値Ｃが閾値ｔｈ以下の場合（ステップＳ２０５；ＮＯ）、角度推定部３２２は注目実画素にその角度θと、評価値ＩＴ（＝現在のイテレーション回数ｉｔ）と、を実画素情報記憶部３３１の実画素情報リストに登録する（ステップＳ２０６）。
【０１２１】
そして、次に角度推定部３２２はｎがＮ以上であるか判別する（ステップＳ２０７）。ｎがＮ未満の場合（ステップＳ２０７；ＮＯ）、現在のイテレーションで未処理の実画素があるので、角度推定部３２２はｎをインクリメントし（ステップＳ２０９）、ステップＳ２０２にもどる。
【０１２２】
一方、ｎがＮ以上の場合（ステップＳ２０７；ＹＥＳ）、このイテレーションでは全ての実画素について処理済みなので、次に角度推定部３２２はイテレーション回数が終了したか判別する（ステップＳ２０８）。即ちｉｔがＩＴｍａｘ未満の場合（ステップＳ２０８；ＮＯ）、まだ所定のイテレーション回数を終えていないので、ｉｔをインクリメントし、ｎを初期化し、ｔｈを新たな閾値ＴＨｉｔに更新する（ステップＳ２１０）。そして、処理をＳ２０２から繰り返す。
【０１２３】
このとき、閾値ｔｈの更新ルールは、補間設定記憶部３３２に記憶された補間設定によって定まる。閾値ｔｈは、イテレーションを繰り返すほど大きくなる（直線の判別基準が甘くなる）。
ここでは、ＴＨｉｔは現在のｔｈに所定の差Δｔｈを加算した数値であるとする。
なお、ここでは新たなイテレーションで必ず閾値ｔｈを更新するとしたが、イテレーションを繰り返す場合に閾値を更新する方法はこれに限られない。そのイテレーションで新たな実画素に角度θが登録された場合は、次のθ推定処理においてその登録された画素を排除して推定処理が行われるため、次のイテレーションで同じ閾値ｔｈを利用しても新たな実画素に角度θが登録される可能性がある。そのため、現在のイテレーションで新たな実画素に角度θが登録されていた場合、ＴＨｉｔは現在のｔｈと同じであってよい。
【０１２４】
一方、ｉｔがＩＴｍａｘ以上の場合（ステップＳ２０８；ＹＥＳ）、所定のイテレーション回数を終えたので、角度推定部３２２は角度θ登録処理を終了する。
【０１２５】
次に、角度θ登録処理のステップＳ２０４で実行される角度θ推定処理について、図１４を参照して説明する。
【０１２６】
角度推定部３２２は、角度θ推定処理を開始するとまず変数の初期化を行う（ステップＳ３０１）。即ち、カウンタｍに１を、注目実画素について推定された角度（角度θ推定処理の答えとなる角度θ）である角度変数θａｎｓとその現在までの評価値をあらわす変数ｍａｘに空値ＮＵＬＬを、現在の処理対象となる角度を示す変数θｍに初期値θ０を代入する。また、角度θ推定処理の繰り返し回数Ｍを抽出する。
Ｍとθ０は、補間設定記憶部３３２に記憶された数値である。Ｍとθ０とは、実験等によって求められ予め初期設定で定められた数値であって良いし、ユーザが入力した任意の数値であってもよい。ここでは、θ０は設計上の最大角度であるθｍａｘとする。
【０１２７】
ステップＳ３０１が終わると、角度推定部３２２は次にＥＰＩ上の実画素であって、注目実画素を通る角度θｍの直線上に存在し、かつ未だ角度θが登録されていない画素を抽出する（ステップＳ３０２）。
【０１２８】
そして、角度推定部３２２はステップＳ３０２で抽出した画素の画素値を式（１）に用いて注目実画素を通る直線Ｌｉｎｅ（θｍ）の評価値Ｃを求める。
【０１２９】
角度推定部３２２は、次にステップＳ３０３で算出した評価値Ｃが、以前のループで注目実画素に対して算出された評価値Ｃのうち最も小さい値であるか、即ち、その直線Ｌｉｎｅ（θｍ）が注目実画素のもっとも確からしい直線か否かを変数maxと評価値Ｃを比較して判別する（ステップＳ３０４）。なお、maxの値がＮＵＬＬだった場合、ＮＵＬＬは無限大として計算する。
【０１３０】
max≧評価値Ｃであった場合（ステップＳ３０４；ＮＯ）、θｍは現時点で注目実画素の最も確からしい直線の角度であるので、変数maxにステップＳ３０３で算出した評価値Ｃを、変数θans にθｍを代入する（ステップＳ３０５）。
【０１３１】
一方、ｍａｘ＜評価値Ｃであった場合（ステップＳ３０４；ＹＥＳ）、注目実画素にはより確からしい角度θがすでに登録されているため、角度θｍを登録せず、ステップS３０５をスキップする。
【０１３２】
次に、角度推定部３２２は所定の繰り返し回数が終わったか、ｍとＭを比較して判別する（ステップＳ３０６）。
ｍ≧Ｍであった場合（ステップＳ３０６；ＹＥＳ）、所定の繰り返し回数Ｍ回処理が終わったため、角度推定部３２２は角度θ推定処理を終了し、θａｎｓを注目実画素の推定角度とし、ｍａｘの値をその評価値Ｃとして角度θ登録処理のステップＳ２０５を開始する。
【０１３３】
一方、ｍ＜Ｍであった場合、（ステップＳ３０６；ＮＯ）、まだ所定の繰り返し回数処理が終わっていないので、角度推定部３３２はカウンタｍをインクリメントし、θmをθ’に更新してステップＳ３０２から処理を繰り返す。
ここで、θｍの更新ルールは補間設定記憶部３３２に記憶された設定に従う。ここでは、θ’は、更新前のθｍに所定の数値Δθを減算した値とする。
【０１３４】
次に、図１２に示す補間画像生成処理の画素値加算処理（ステップＳ１０７）の第１の具体例（画素値加算処理１）を図１５を参照して説明する。
【０１３５】
画素値加算処理１では、まず対応検出部３２４が変数を初期化する（ステップＳ４０１）。
ステップＳ４０１において、対応検出部３２４は、現在のイテレーション回数を示す変数ｉｔ２と、カウンタ変数ｋと、に１を代入する。また、ＥＰＩ上の実画素の数Ｎと画素値加算処理１の総イテレーション回数ＩＴｍａｘとを取得する。また、角度θ登録処理で登録された実画素のナンバリング情報を取得する。ここで、各実画素のナンバは、その実画素が実画素情報記憶部３３１に記憶された実画素情報リストの何行目に登録されているかによって定まる。
ここで、実画素の数Ｎは角度θ登録処理で抽出された実画素の数Ｎである。また、総イテレーション回数ＩＴｍａｘは、角度θ登録処理で抽出したＩＴｍａｘと同じである。
【０１３６】
初期化が終わると、対応検出部３２４はｋ番目の実画素を選択して注目実画素とする（ステップＳ４０２））。具体的には、実画素情報リストのｋ行目に登録されている実画素の情報を抽出して、その実画素を注目実画素とする。
【０１３７】
次に、対応検出部３２４は注目実画素に角度θが登録されているか否か判別する（ステップＳ４０３）。即ち、実画素情報リストのｋ行目の角度θの値がＮＵＬＬで無いか判別し、ＮＵＬＬであった場合は注目実画素に角度θが登録されていないと判別する（ステップＳ４０３；ＮＯ）。そして、その画素については処理を終了してステップＳ４０６にジャンプする。
【０１３８】
一方、実画素情報リストのｋ行目の角度θがＮＵＬＬで無く、注目実画素に角度θが登録されている場合は（ステップＳ４０３；ＹＥＳ）、次に対応検出部３２４は注目実画素の評価値ＩＴと現在のイテレーション回数ｉｔ２とを比較する（ステップＳ４０４）。
【０１３９】
注目実画素の評価値ＩＴと現在のイテレーション回数ｉｔ２が異なる場合（ステップＳ４０４；ＮＯ）、その実画素は今回のイテレーションにおいて処理対象ではないため、対応検出部３２４はその画素については処理を終了する。
即ち、対応検出部３２４はステップＳ４０６にジャンプする。
【０１４０】
一方注目実画素の評価値ＩＴが現在のイテレーション回数ｉｔ２と等しい場合は（ステップＳ４０４；ＹＥＳ）、対応検出部３２４は注目実画素に基づく補間処理を実行する（ステップＳ４０５）。ステップＳ４０５で実行される処理については後述する。
【０１４１】
ここで、注目実画素の評価値ＩＴは、注目実画素の角度θが角度θ登録処理（図１４）の何回目のイテレーションで登録されたかを示す数値である。このように、イテレーション回数ｉｔ２と等しい評価値ＩＴを持つ実画素に基づいて補間処理を実行し、イテレーションを繰り返すことは、評価値が小さくオクリュージョンによる対応関係の齟齬が発生している可能性がより小さいと推測される実画素から補間処理を実行することである。
【０１４２】
注目実画素に基づく補間処理（ステップＳ４０５）が終わると、対応検出部３２４は未処理の実画素が残っているか否か判別する（ステップＳ４０６）。具体的には、ｋがＮ以上であるか判別し、Ｎ未満であった場合は（ステップＳ４０６；ＮＯ）、対応検出部３２４はそのイテレーションで未処理の実画素があると判別する。そして、ｋをインクリメントし（ステップＳ４０７）、次の実画素を注目実画素としてステップＳ４０２から処理を繰り返す。
【０１４３】
一方、ｋがＮ以上で、そのイテレーションで全ての実画素について処理したと判別すると（ステップＳ４０６；ＹＥＳ）、対応検出部３２４はそのイテレーションを終了する。そして、ｉｔ２とＩＴｍａｘを比較して、イテレーションが所定の回数ＩＴｍａｘだけ繰り替えされたか判別する（ステップＳ４０８）。
ｉｔ２がＩＴｍａｘ未満であるとき（ステップＳ４０８；ＮＯ）、所定のイテレーション回数だけ処理を繰り返していないと判別し、対応検出部３２４は次のイテレーションに移行する。
具体的には、対応検出部３２４はｉｔ２をインクリメントし、ｋに１を代入し（ステップＳ４０９）、処理をステップＳ４０２から繰り返す。
一方、ｉｔ２がＩＴｍａｘ以上の場合（ステップＳ４０８；ＹＥＳ）、対応検出部３２４は画素値加算処理１を終了する。
【０１４４】
次に、画素値加算処理１のステップＳ４０５で実行される注目実画素に基づく補間処理について図１６を参照して説明する。
注目実画素に基づく補間処理では、まず対応検出部３２４が実画素情報記憶部３３１の実画素情報リストからその注目実画素の角度θを抽出する。
そして、抽出した角度θに基づき、注目実画素の推定ＥＰＩ直線Ｌｉｎｅ（θ）を定義し、ＥＰＩ直線上にある補間画素を抽出する（ステップＳ５０１）。
【０１４５】
次に、対応検出部３２４は抽出した補間画素の数Ｉを取得し、カウンタ変数ｉに１を代入する（ステップＳ５０２）。さらに、対応検出部３２４はステップＳ５０２で抽出した各補間画素を１からＩまでナンバリングする。
【０１４６】
対応検出部３２４がステップＳ５０２を終えると、次に対応評価部３２５が補間情報記憶部３３３に記憶された補間画素リストを参照し、ｉ番目の補間画素に隣接する補間画素を抽出する（ステップＳ５０３）。即ち、対応評価部３２５はｉ番目の補間画素の補間画素列ＩＤ（ＩＤｉ）と画素ナンバ（Ｎｉ）を補間画素リストから抽出し、補間画素列ＩＤがＩＤi、画素ナンバがＮｉ＋１の補間画素とＮｉ−１の補間画素とを抽出する。
【０１４７】
そして、対応評価部３２５は、ｉ番目の補間画素が、オクリュージョン画素であるか否か判別する（ステップＳ５０４）。
オクリュージョン画素か否かは、ステップＳ５０３で抽出した隣接する補間画素の双方に、前回までのイテレーションで画素値が加算されたか（隣接する補間画素に、現在のイテレーション回数ｉｔ２より小さい評価値ＩＴｒが補間画素リストに登録されているか）否かによって判別される。
【０１４８】
隣接する二つの補間画素の両方にｉｔ２より小さい評価値ＩＴｒが登録されている場合、ｉ番目の補間画素はオクリュージョン画素であり、注目実画素とは対応しないと推測できる。即ち、ｉ番目の補間画素は注目実画素が対応する被写体より前方にある被写体に対応する画素であると推測できる。そのため、対応評価部３２５はｉ番目の補間画素がオクリュージョン画素であると判別すると（ステップＳ５０４；ＹＥＳ）、画素値加算部３２６に画素値の加算を指示せず、ステップＳ５０６にジャンプする。
【０１４９】
一方、ｉ番目の補間画素がオクリュージョン画素で無いと判別すると（ステップＳ５０４；ＮＯ）、ｉ番目の補間画素は注目実画素と対応するとの推測に基づき、対応評価部３２５はｉ番目の補間画素に注目実画素値を加算することを画素値加算部３２６に伝達する。画素値加算部３２６は、ｉ番目の補間画素の画素値を、式（２）に基づいて加算し、加算した画素値を補間画素リストのｉ番目の補間画素に対応する行に登録する（ステップＳ５０５）。また、ステップＳ５０５では、画素値加算部３２６は現在のイテレーション回数ｉｔ２が登録された評価値ＩＴｒ以下であった場合は、ｉｔ２をその行の新たな評価値ＩＴｒとして登録する。
【０１５０】
画素値加算部３２６が注目実画素の画素値を補間画素に加算して補間画素リストを更新すると、対応検出部３２４はステップＳ５０１で抽出した補間画素全てについて処理が終わったか否か、ｉとＩを比較して判別する（ステップＳ５０６）。
ｉがＩ以上で、全ての抽出された補間画素について上記処理が終わったと判別すると（ステップＳ５０６；ＹＥＳ）、対応検出部３２４は注目実画素に基づく補間処理を終える。
【０１５１】
一方、ｉがＩ未満であり、未処理の補間画素が残っていると判別すると（ステップＳ５０６；ＮＯ）、対応検出部３２４はｉをインクリメントし（ステップＳ５０７）、次の補間画素についてステップＳ５０３から処理を繰り返す。全ての画素について補間画像の加算処理を終了すると、そのＥＰＩについて補間画像の生成が終了したとの判断の元、注目実画素に基づく補間処理を終了する。
【０１５２】
補間画像生成装置３０は、上述の一連の処理により補間画像を生成する。補間画像生成装置３０は、上記処理を繰り返して実行することにより、補間画像を実画素に対して平面的に生成する。この平面的な補間画像の生成処理について、図１７を参照して説明する。
【０１５３】
まず、図１７において円で示された実画像（実１１〜実１２…）から、縦横に第１段階のＥＰＩの集合を生成する（ＥＰＩ（縦１１）、ＥＰＩ（縦２１）…、ＥＰＩ（横１１）、ＥＰＩ（横２１）…）。横方向のＥＰＩの集合（ＥＰＩ（横１１）、ＥＰＩ（横２１）、…）はそれぞれＶ個のＥＰＩからなり、マイクロレンズアレイＬＡの縦方向のサブレンズの数（Ｍ個）だけ定義できる。すなわち、横方向のＥＰＩがＶ・Ｍ個定義できる。同様に、縦方向のＥＰＩがＮ・Ｕ個定義できる。よって、ＥＰＩは合計でＶ・Ｍ＋Ｎ・Ｕ個定義できる。
補間画像生成装置３０は、実画像を用いてまずＶ・Ｍ＋Ｎ・Ｕ個の正方形で示した第１段階の補間画像を生成する（図１７（ａ））。なお、正方形の内部の数字が１であることは、正方形が第１段階の補間画像であることを示す。
【０１５４】
次に、第１段階の補間画像を仮想的な実画像として、第２段階のＥＰＩ郡を生成する（ＥＰＩ（縦１２）、ＥＰＩ（縦２２）、ＥＰＩ（縦３２）…）。そして、第２段階の補間画像を生成する（図１７（ｂ））。なお、正方形の内部の数字が２であることは、その正方形が第２段階の補間画像であることを示す。
【０１５５】
このように、２段階に分けて平面的に補間画像を生成することにより、本実施形態の補間画像生成装置３０は、被写体をとらえる平面的なサンプリング数をレンズや撮像素子を増やすことなく仮想的に上昇させることができる。
【０１５６】
なお、ここでは第２段階の補間画像を、縦方向のＥＰＩ集合を用いて生成したが、第２段階のＥＰＩの生成方法はこれに限られない。第２段段階のＥＰＩは横方向のＥＰＩ集合を用いて生成してもよい。また、縦方向に生成した生成した中間段階の補間画像と、横方向に生成した中間段階の補間画像と、を平均して生成した補間画像を第2段階の補間画像としても良い。
【０１５７】
上記したすべての補間画像を生成すると、補間画像生成装置３０は画像再構成部２２０に生成した画像と、実レンズと補間レンズの位置情報と、を画像再構成部２２０に出力して処理を終了する。
【０１５８】
実施形態１に係る補間画像生成装置３０は、上記の処理によりオクリュージョンが起こっていると推定される補間画素の画素値を、より手前の被写体に対応すると推定される実画素のみに基づいて決定することができるため、オクリュージョンに対応した補間画像を生成することが出来る。
【０１５９】
また、実施形態１に係る補間画像生成装置３０は、角度θを登録する閾値をイテレーションごとに可変させ、角度θの推定基準を最初は厳しく、後になるほど甘くする。これにより、初期のイテレーションではオクリュージョンが起こっていない、対応関係が確実な画素に角度θを登録し、後のイテレーションではオクリュージョンやノイズで対応関係が不確かな画素でも対応関係を定義する。そのため、補間画素に対応すると推定される実画素が複数あった場合に、より対応関係が確実な実画素を選別し、選別した実画素の画素値に基づいて補間画素の画素値を決定することができる。
【０１６０】
次いで、補間画像生成装置３０が生成したライトフィールド画像ＬＦ（補間済みのＥＰＩ）から、画像再構成部２２０が画像を再構成する処理を、図１８、図１９を用いて説明する。ここでは、ライトフィールド画像ＬＦから、メインレンズＭＬから距離ａ１の地点にリフォーカスした画像を再構成することとする。
【０１６１】
画像再構成部２２０は、補間画像生成装置３０から補間済みのＥＰＩと実レンズ及び補間レンズの位置情報とを伝達されると、図１８に示す再構成画像生成処理を実行する。
【０１６２】
図１８の再構成画像生成処理を開始すると、画像再構成部２２０はまず初期化処理を行う（ステップＳ６０１）。
ステップＳ６０１では、画像再構成部２２０が記憶部４０の再構成設定記憶部４２０から、再構成画像の設定を取得する。このとき、再構成画像の設定はリフォーカスの距離a1の情報を含む。また、撮像設定記憶部４１０から、撮像設定情報を取得する。さらに、カウンタ変数であるｌとｐとに１を代入する。さらに、画素ｐ（ｐ番目の画素）に画素値が加算された回数を表す変数ｔｐに０を代入する。
さらに、補間画像の実レンズと補間レンズの合計数Ｌと、再構成画像の総画素数Ｐとを取得する。
また、再構成画像の各画素を、１〜Ｐまでの数でナンバリングする。さらに、実レンズと補間レンズとをまとめて１〜Ｃまでの数でナンバリングする。
【０１６３】
上記の初期化処理（ステップＳ６０１）を終えると、画像再構成部２２０は取得した画像からｌ番目のレンズ（レンズｌ）に対応するサブ画像Ｓを選択する（ステップＳ６０２）。
【０１６４】
次に、画像再構成部２２０は再構成画像上の注目画素ｐに対応する位置ＰＳから光が発せられた場合に、当該光がマイクロレンズアレイＬＡに含まれるサブレンズｌを通過して撮像面ＩＥへ到達するまでの軌跡レンズｌ（対応するｌ番目のサブレンズ）の位置情報を用いて特定し、特定された軌跡を辿る光が撮像素子の表面ＩＥに到達した到達点ＰＥに在るサブ画像上の画素を特定する（ステップＳ６０３）。
【０１６５】
具体的には、図１９に示すＸ軸方向における注目画素のＯＢ上の対応する位置ＰＳと光軸ＯＡとの距離をｘとし、到達点ＰＥと光軸ＯＡとの距離をｘ’’とする。
【０１６６】
ここで、ステップＳ６０１で取得された撮像設定には、メインレンズＭＬの焦点距離ｆＭＬ、メインレンズＭＬからマイクロレンズアレイＬＡまでの距離ｃ１、マイクロレンズアレイＬＡから撮像面ＩＥまでの距離ｃ２が含まれている。また、及びレンズ位置情報に基づいて算出される光軸ＯＡからレンズｌの光学中心までの距離ｄを算出する。なお、ステップＳ６０１で取得された距離情報で表される距離は、メインレンズＭＬからピント位置までの被写体距離ａ１である。
【０１６７】
画像再構成部２２０は、焦点距離ｆＭＬ及び被写体距離ａ１を以下の式（３）に用いて、メインレンズＭＬからメインレンズの結像面IPまでの距離ｂ１を算出する。
【０１６８】
【数３】
【０１６９】
次に、画像再構成部２２０は、被写体距離ａ１と、上記式（３）を用いて算出された距離ｂ１を以下の式（４）に用いて、光軸ＯＡからメインレンズＭＬの結像点ＰＦまでの距離ｘ’を算出する。
【０１７０】
【数４】
【０１７１】
その後、画像再構成部２２０は、メインレンズＭＬからマイクロレンズアレイＬＡまでの距離ｃ１と、上記の式（３）を用いて算出された距離ｂ１とを以下の式（５）に用いて、メインレンズＭＬの結像面からｌ番目のレンズまでの距離ａ２を算出する。
【０１７２】
ａ２＝ｃ１−ｂ１・・・（５）
【０１７３】
次に、画像再構成部２３０は、光軸ＯＡからｌ番目のレンズＬの主点までの距離ｄ、上記の式（４）を用いて算出された距離ｘ’、マイクロレンズアレイＬＡから撮像素子の表面ＩＥまでの距離ｃ２、及び上記の式（３）を用いて算出された距離ａ２を以下の式（６）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。
【０１７４】
【数５】
【０１７５】
尚、Ｚ軸方向の計算式（３）及び（５）は、ガウスの結像公式から導かれる。また、Ｘ軸方法の計算式（４）及び（６）は、三角形の相似関係から導かれる。上記式（４）及び（６）では、記号ｘ、ｘ’、及びｘ’’を用いて、Ｘ軸方向における注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＭＬの結像点ＰＦまでの距離、及び到達点ＰＥと光軸ＯＡとの距離を算出した。これと同様に、上記式（５）及び（７）において記号ｙ、ｙ’、及びｙ’’を用いることで、Ｘ軸及びＺ軸の双方に垂直なＹ軸方向における、注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＭＬの結像点ＰＦまでの距離、及び到達点ＰＥと光軸ＯＡとの距離を算出できる。
【０１７６】
到達点ＰＥが定まると、レンズｌに対応するサブ画像上のＰＥに対応する対応画素が定まる。そして、図１８のステップＳ６０３で対応画素が定まると、画像再構成部２２０は特定された画素の画素値を取得する。
【０１７７】
そして、画像再構成部２２０はＰＥに対応する画素値が存在する（対応する画素がサブ画像上に存在し、かつ画素値がＮＵＬＬでない）か否か判別する（ステップＳ６０４）。
対応する画素値が無い場合（ステップＳ６０４；ＮＯ）、そのサブ画像については再構成画像の画素ｐに画素値を追加しない。
【０１７８】
補間画素の画素値がＮＵＬＬである場合に画素値を追加しないことで、ノイズやオクリュージョンにより対応がはっきりしない補間画素の画素値の情報を再構成画像から排除することができる。
【０１７９】
一方、対応する画素値が有る場合（ステップＳ６０４；ＹＥＳ）、再構成画像の画素ｐに対応画素の画素値を加算する。
このとき、加算後の画素値Ｖｐ’は、式（７）を用いて算出する。
【０１８０】
【数６】
【０１８１】
なお、Ｖｐは加算前のｐ画素の値、ＶＰＥは対応画素の画素値、ｔｐはそれまで画素ｐに画素値が加算された回数である。
ステップＳ６０５では、さらにｔｐをインクリメントする。
尚、再構成画像の注目画素ｐの画素値は、再構成画像生成処理の開始時に値「０」に初期化されている。
【０１８２】
その後、画像再構成部２２０は、ｌとＬを比較して、全てのレンズに対応するサブ画像について加算処理が終了したか判別する（ステップＳ６０６）。
ｌがＬ未満である場合（ステップＳ６０６；ＮＯ）、未処理のサブ画像が存在すると判別して、画像再構成部２２０は、ｌをインクリメントし（ステップＳ６０７）、次のレンズについてステップＳ６０２から処理を繰り返す。
【０１８３】
一方、ｌがＬ以上で、全てのレンズに対応するサブ画像について処理が終了したと判別すると（ステップＳ６０６；ＹＥＳ）、次に画像再構成部２２０はｐとＰを比較して再構成画像上の全ての画素を処理したか判別する（ステップＳ６０８）。
【０１８４】
ｐがＰ未満である場合（ステップＳ６０８；ＮＯ）、未処理の画素が存在すると判別して、画像再構成部２２０は、次の画素について処理を実行する。即ち、ｐをインクリメントし、ｌに１を代入し、ｔｐに０を代入し（ステップＳ６０９）、ステップＳ６０２から処理を繰り返す。
【０１８５】
一方、ｐがＰ以上であり、全ての画素について処理が終了したと判別すると（ステップＳ６０８；ＹＥＳ）、次に画像再構成部２２０は再構成画像生成処理を終了する
【０１８６】
その後、デジタルカメラ１は再構成された再構成画像ＯＢの画像データを、図１の表示部５２０へ出力する。尚は、図１のＩ／Ｏ部５１０を介して、記録媒体へ再構成画像ＯＢの画像データを格納してもよく、また、他の装置へ再構成画像ＯＢの画像データを出力しても良い。
【０１８７】
実施形態１に係るデジタルカメラ１は、マイクロレンズアレイＬＡを用いて撮影することにより、略同一の間隔で格子状に配置された視点から、Ｍ×Ｎ個のサブ画像を同時に、一つの光学デバイスで撮影することが出来る。
デジタルカメラ１は補間画像生成装置３０が生成した補間画像を用いて、従来よりノイズの少ない再構成画像を生成することができる。
【０１８８】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２は、画素値加算処理において、登録された角度θが大きい実画素を優先して、補間画素に画素値を加算することを特徴とする。
【０１８９】
実施形態２に係るデジタルカメラ１及び補間画像生成装置３０は、実施形態１に係るデジタルカメラ１と同様の構成を持つ。
【０１９０】
実施形態２に係る補間画像生成装置３０は、図１２に示した補間画像生成処理を実行する。ここで、実施形態２に係る補間画像生成装置３０は、補間画像生成処理のステップＳ１０７で画素値加算処理１ではなく画素値加算処理２を実行する。
【０１９１】
図１２に示す補間画像生成処理のステップＳ１０６が終わると、対応検出部３２４が画素値加算処理２を開始する。
対応検出部３２４と、対応評価部３２５と、画素値加算部３２６と、が実行する画素値加算処理２について、図２０を参照して説明する。
【０１９２】
画素値加算処理２では、まず対応検出部３２４が変数を初期化する（ステップＳ７０１）。
即ち、対応検出部３２４はステップＳ７０１で現在のイテレーション回数を示す変数ｉｔ３に１を代入する。また、そのイテレーションで処理対象となる角度を表す変数θｉｔ３に初期値θ０として実画素情報リストに登録されている角度θのうち最大の数値を代入する（ステップＳ７０１）。
【０１９３】
登録されている角度θがより大きい実画素が、よりデジタルカメラ１に近い場所に存在する被写体に対応する画素であり、補間画素により優先的に加算されるべき実画素であると推定できる。そこで、実施形態２では、登録されている角度θが大きい実画素を先のイテレーションで処理することにより、オクリュージョン画素においてより手前の被写体に対応する実画素の画素値のみを加算するように処理する。
即ち、ステップＳ７０１において、対応検出部３２４が図８に示す実画素情報リストを登録されている角度θで降順（値が大きい順）にソートする。そして、ソート後の実画素情報リストに登録された実画素を、上から順に下記処理を実行する。このとき、角度θがＮＵＬＬである画素は除外する。
また、画素値加算処理２の総イテレーション回数ＩＴ３を取得する。このとき、ＩＴ３は実画像情報リストに登録されている角度θの列に登録されている数値の数である。例えば、実情報リストの角度θの列に０が５つ、１０が３つ、２０が４つ登録されているとする。このとき、角度θの列には０、１０、２０、の三つの数値が登録されているため、ＩＴ３は３である。
【０１９４】
初期化が終わると、対応検出部３２４は実画素情報リストに登録された実画素から、角度θの列の数値が現在のイテレーションで処理対象となる角度θｉｔ３である実画素を抽出する（ステップＳ７０２）。
【０１９５】
次に、対応検出部３２４はステップＳ７０２で抽出した実画素の数Ｐを抽出し、カウンタ変数ｐｉｔ３に１を代入する（ステップＳ７０３）。また、抽出した実画素に、１〜Ｐまでナンバリングを行う。
【０１９６】
そして、対応検出部３２４は抽出した実画素のうち、ｐｉｔ３番目の実画素（画素ｐｉｔ３）を注目実画素とする（ステップＳ７０４）。
【０１９７】
注目実画素を決定すると、対応検出部３２４は図１６に示した注目実画素に基づく補間処理を実施形態１と同様に実行する（ステップＳ７０５）。
【０１９８】
注目実画素（画素ｐｉｔ３）に基づく補間処理が終わると、対応検出部３２４はステップＳ７０２で抽出された画素のうち、未処理の実画素が残っていないか否か判別する。具体的には、ｐｉｔ３がＰｉｔ３以上であるか判別し、Ｐｉｔ３未満であった場合は（ステップＳ７０６；ＮＯ）、対応検出部３２４はそのイテレーションで未処理の実画素があると判別する。そして、ｐｉｔ３をインクリメントし（ステップＳ７０７）、次の実画素を注目実画素としてステップＳ７０４から処理を繰り返す。
【０１９９】
一方、ｐｉｔ３がＰｉｔ３以上であり、そのイテレーションで抽出された全ての実画素について処理したと判別すると（ステップＳ７０６；ＹＥＳ）、対応検出部３２４はそのイテレーションを終了する。そして、ｉｔ３とＩＴ３を比較して、イテレーションが所定の回数ＩＴ３だけ繰り替えされたか判別する（ステップＳ７０８）。
ｉｔ３がＩＴ３未満であるとき（ステップＳ７０８；ＮＯ）、所定の回数イテレーションを行っていないと判別し、対応検出部３２４は次のイテレーションに移行する。
具体的には、対応検出部３２４はｉｔ３をインクリメントし、θｉｔ３にθ’を代入して更新し（ステップＳ７０９）、処理をステップＳ７０２から繰り返す。
このとき、θ’は実画素情報リストに登録された角度θのうち、直前のθｉｔ３の次に大きい値である。
【０２００】
一方、ｉｔ３がＩＴ３以上の場合（ステップＳ７０８；ＹＥＳ）、対応検出部３２４は画素値加算処理２を終了する。
【０２０１】
画素値加算処理２が終わると、図１２にもどってステップＳ１０８と同様の処理が行われ、補間画像がすべてのＥＰＩについて生成され、補間画像生成装置３０は補間画像生成処理を終了する。そして、デジタルカメラ１は補間画像生成装置３０が生成した補間画像を用いて、実施形態１と同様に再構成画像を生成する。
【０２０２】
上記のように、実施形態２では、画素値加算処理２において角度θが大きい順にイテレーション処理を実行する。そして、図１６の注目実画素に基づく補間処理のステップＳ５０４において、ｉ番目の補間画素がオクリュージョン画素であるか、前回までのイテレーションで両隣の補間画素に画素値が追加されているか否かで判別する。
即ち、角度θが大きい実画素に対応付けられた（画素値を加算された）補間画素にはさまれた補間画素をオクリュージョン画素と判別し、その補間画素に対しては角度θがより小さい実画素の画素値を加算しない。
実施形態２に係る補間画像生成装置３０を用いれば、オクリュージョン画素により手前にある被写体に隠蔽されると推定される画素の画素値を加算しないで、補間画像を生成することができる。そのため、ライトフィールド画像からオクリュージョンに対応した補間画像を生成することが出来る。
【０２０３】
また、実施形態２に係るデジタルカメラ１は、補間画像生成装置３０が生成した補間画像を用いて、従来よりノイズの少ない再構成画像を生成することができる。
【０２０４】
＜変形例＞
以上に本発明の実施形態１及び２について説明したが、本発明の実施形態はこれに限定されるものではなく、例えば以下のような変形が可能である。
上記した実施形態１及び実施形態２では、直線上にある画素を抽出するに当たって、直線と画素列との交点にもっとも近い場所に中心点がある画素を当該直線上にある判別して画素を抽出した。しかし、本発明において、直線上にある画素を抽出する方法はこれに限らない。その他の抽出方法として、直線と画素列との交点が、二つの画素の中心点の間にある場合、当該二つの画素を線上にあるとして抽出する方法も可能である。
【０２０５】
また、実施形態１及び実施形態２においては、各実画素についてそれぞれ角度θを推定した。そのため、例えば画素１に角度θが推定された場合に、画素１のＬｉｎｅ（θ）の線上にある画素２についても再度角度θを推定する。しかし、本発明に係る角度θ登録方法はこれに限られず、一つの画素に角度θが推定された場合に、その画素のＬｉｎｅ（θ）上の画素全てに一度に角度θを登録する処理も可能である。この構成によれば、角度θ推定処理をより高速に行うことができる。
【０２０６】
また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値とし、画素値間の差を計算する場合はベクトル計算によって差を求めても良い。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像についても補間画像を生成し、また、当該補間画像を用いて従来よりノイズの少ない再構成画像を生成することができる。
【０２０７】
また、上記実施例では、情報処理部２０等はデジタルカメラ１の一部であったが、情報処理部２０と記憶部４０とインターフェース部５０とは、デジタルカメラとは独立した物理構成で実現されても良い。
【０２０８】
また、補間画像生成装置３０はデジタルカメラ１の情報処理部２０の一部であったが、補間画像生成装置３０は、情報処理部２０とは独立した物理構成で実現されても良い。
【０２０９】
このとき、補間画像生成装置３０が取得するライトフィールド画像ＬＦは、撮像部１０のマイクロレンズアレイＬＡによって取得された画像に限らない。補間画像生成装置３０が取得する画像は、複数のカメラによって同時に異なる視点から取得された画像であってもよく、一つのカメラによって異なる視点から順次取得された画像であっても良い。
また、ライトフィールド画像ＬＦを構成する各サブ画像間の視差は、各画像と視差との情報を撮像設定として得られる場合は、同じでなくても良い。また、補間画像生成装置３０はライトフィールド画像ではなく他機器が生成したEPIを取得して、EPIから補間画像を生成する構成であってよい。
【０２１０】
なお、情報処理部２０と記憶部４０とインターフェース部５０と等から構成されるデジタルカメラ１のための処理を実行する中心となる部分、あるいは情報処理部３２０、記憶部３３０、出力部３５０、等から構成される補間画像生成装置３０のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するデジタルカメラの情報処理部や補間画像生成装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理部や補間画像生成装置を構成してもよい。
【０２１１】
また、デジタルカメラの情報処理部や補間画像生成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【０２１２】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【０２１３】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０２１４】
（付記１）
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
を備えることを特徴とする補間画像生成装置。
【０２１５】
（付記２）
前記判別部は、前記実画素の信頼度が高い順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする付記１に記載の補間画像生成装置。
【０２１６】
（付記３）
前記判別部は、前記実画素が、より手前に存在する被写体の部位に対応する実画素から順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする付記１に記載の補間画像生成装置。
【０２１７】
（付記４）
前記実画素抽出部は、前記実画素のそれぞれについて対応する実画素を、エピポーラプレーン画像上で、直線上の実画素間の画素値が互いに異なる程度である誤差値に基づいて直線検出することで抽出する、
ことを特徴とする付記１乃至３のいずれか一つに記載の補間画像生成装置。
【０２１８】
（付記５）
前記実画素抽出部は、異なる検出基準を用いて複数回繰り返して直線検出し、直線検出が完了した実画素を、次回以降の繰り返し処理において直線検出の誤差値の算出対象から除外する、
ことを特徴とする付記４に記載の補間画像生成装置。
【０２１９】
（付記６）
前記実画素抽出部は、前記誤差値が所定の閾値以下であることを前記直線検出の検出基準とし、直線検出を繰り返すにつれて当該閾値を大きくする、
ことを特徴とする付記５に記載の補間画像生成装置。
【０２２０】
（付記７）
前記実画素抽出部は、より先の繰り返し処理で直線検出された実画素の信頼度がより高くなるように前記実画素の信頼度を算出する、
ことを特徴とする付記５又は６に記載の補間画像生成装置。
【０２２１】
（付記８）
前記実画素抽出部は、前記実画素抽出部が検出した直線と前記エピポーラプレーン画像の法線とが成す角度の大きさに基づいて、前記信頼度を算出する、
ことを特徴とする付記４乃至６のいずれか一つに記載の補間画像生成装置。
【０２２２】
（付記９）
メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数のマイクロレンズの光学中心に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
前記画像取得部が取得した複数の画像と、前記補間画像生成部が生成した補間画像と、から、新たにフォーカスされた画像を再構成する再構成手段と、
前記再構成された画像の情報を出力する画像情報出力手段と、
を備えることを特徴とする再構成画像生成装置。
【０２２３】
（付記１０）
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得ステップと、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出ステップと、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出ステップと、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義ステップと、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出ステップと、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別ステップと、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
【０２２４】
（付記１１）
コンピュータに、
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得機能、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出機能、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出機能、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義機能、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出機能、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別機能、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成機能、
を実現させることを特徴とするプログラム。
【符号の説明】
【０２２５】
１…デジタルカメラ、１０…撮像部、１１０…光学装置、１１１…シャッタ、１１２…絞り、１２０…イメージセンサ、２０…情報処理部、３０…補間画像生成装置、３１…情報処理部、３２…主記憶部、３３…外部記憶部、３４…操作部、３５…表示部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…画像再構成部、２３０…撮像制御部、３１０…入力部、３１１…画像取得部、３１２…画像設定取得部、３２０…情報処理部、３２１…ＥＰＩ生成部、３２２…角度推定部、３２３…補間画像設置部、３２４…対応検出部、３２５…対応評価部、３２６…画素値加算部、３３０…記憶部、３３１…実画素情報記憶部、３３２…補間設定記憶部、３３３…補間情報記憶部、３４０…操作部、３５０…出力部、４０…記憶部、４１０…撮像設定記憶部、４２０…再構成設定記憶部、４３０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦ…ライトフィールド画像、ＯＡ…光軸、ＯＢ…被写体、ＰＳ…被写体上の部位（注目点）、ＭＬ…メインレンズ、ＰＦ…結像点、ＩＰ…結像面、ＰＥ…到達点、ＬＡ…マイクロレンズアレイ、ＩＥ…撮像面、ＳＬ…サブレンズ、ＳＬ１〜ＳＬ４…サブレンズ、Ｓ…サブ画像、Ｓ１１〜ＳＭＮ…サブ画像、Ｓ１〜Ｓ４…サブ画像
【特許請求の範囲】
【請求項１】
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
を備えることを特徴とする補間画像生成装置。
【請求項２】
前記判別部は、前記実画素の信頼度が高い順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする請求項１に記載の補間画像生成装置。
【請求項３】
前記判別部は、前記実画素が、より手前に存在する被写体の部位に対応する実画素から順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする請求項１に記載の補間画像生成装置。
【請求項４】
前記実画素抽出部は、前記実画素のそれぞれについて対応する実画素を、エピポーラプレーン画像上で、直線上の実画素間の画素値が互いに異なる程度である誤差値に基づいて直線検出することで抽出する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の補間画像生成装置。
【請求項５】
前記実画素抽出部は、異なる検出基準を用いて複数回繰り返して直線検出し、直線検出が完了した実画素を、次回以降の繰り返し処理において直線検出の誤差値の算出対象から除外する、
ことを特徴とする請求項４に記載の補間画像生成装置。
【請求項６】
前記実画素抽出部は、前記誤差値が所定の閾値以下であることを前記直線検出の検出基準とし、直線検出を繰り返すにつれて当該閾値を大きくする、
ことを特徴とする請求項５に記載の補間画像生成装置。
【請求項７】
前記実画素抽出部は、より先の繰り返し処理で直線検出された実画素の信頼度がより高くなるように前記実画素の信頼度を算出する、
ことを特徴とする請求項５又は６に記載の補間画像生成装置。
【請求項８】
前記実画素抽出部は、前記実画素抽出部が検出した直線と前記エピポーラプレーン画像の法線とが成す角度の大きさに基づいて、前記信頼度を算出する、
ことを特徴とする請求項４乃至６のいずれか一項に記載の補間画像生成装置。
【請求項９】
メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数のマイクロレンズの光学中心に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
前記画像取得部が取得した複数の画像と、前記補間画像生成部が生成した補間画像と、から、新たにフォーカスされた画像を再構成する再構成手段と、
前記再構成された画像の情報を出力する画像情報出力手段と、
を備えることを特徴とする再構成画像生成装置。
【請求項１０】
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得ステップと、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出ステップと、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出ステップと、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義ステップと、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出ステップと、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別ステップと、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
【請求項１１】
コンピュータに、
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得機能、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出機能、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出機能、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義機能、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出機能、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別機能、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成機能、
を実現させることを特徴とするプログラム。
【請求項１】
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
を備えることを特徴とする補間画像生成装置。
【請求項２】
前記判別部は、前記実画素の信頼度が高い順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする請求項１に記載の補間画像生成装置。
【請求項３】
前記判別部は、前記実画素が、より手前に存在する被写体の部位に対応する実画素から順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、
ことを特徴とする請求項１に記載の補間画像生成装置。
【請求項４】
前記実画素抽出部は、前記実画素のそれぞれについて対応する実画素を、エピポーラプレーン画像上で、直線上の実画素間の画素値が互いに異なる程度である誤差値に基づいて直線検出することで抽出する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の補間画像生成装置。
【請求項５】
前記実画素抽出部は、異なる検出基準を用いて複数回繰り返して直線検出し、直線検出が完了した実画素を、次回以降の繰り返し処理において直線検出の誤差値の算出対象から除外する、
ことを特徴とする請求項４に記載の補間画像生成装置。
【請求項６】
前記実画素抽出部は、前記誤差値が所定の閾値以下であることを前記直線検出の検出基準とし、直線検出を繰り返すにつれて当該閾値を大きくする、
ことを特徴とする請求項５に記載の補間画像生成装置。
【請求項７】
前記実画素抽出部は、より先の繰り返し処理で直線検出された実画素の信頼度がより高くなるように前記実画素の信頼度を算出する、
ことを特徴とする請求項５又は６に記載の補間画像生成装置。
【請求項８】
前記実画素抽出部は、前記実画素抽出部が検出した直線と前記エピポーラプレーン画像の法線とが成す角度の大きさに基づいて、前記信頼度を算出する、
ことを特徴とする請求項４乃至６のいずれか一項に記載の補間画像生成装置。
【請求項９】
メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、
前記複数のマイクロレンズの光学中心に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、
前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、
前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、
前記画像取得部が取得した複数の画像と、前記補間画像生成部が生成した補間画像と、から、新たにフォーカスされた画像を再構成する再構成手段と、
前記再構成された画像の情報を出力する画像情報出力手段と、
を備えることを特徴とする再構成画像生成装置。
【請求項１０】
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得ステップと、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出ステップと、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出ステップと、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義ステップと、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出ステップと、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別ステップと、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成ステップと、
を含むことを特徴とする補間画像生成方法。
【請求項１１】
コンピュータに、
複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得機能、
前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出機能、
各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出機能、
前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義機能、
前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出機能、
前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別機能、
前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成機能、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−５８１１２（Ｐ２０１３−５８１１２Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６５７７（Ｐ２０１１−１９６５７７）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]