焦点ぼけ構造を用いたイメージング装置及びイメージング方法
【課題】対象物に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる、新規なイメージング装置及びイメージング方法を提供する。
【解決手段】本発明は、撮影対象Ｑに関する焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を統合及びフーリエ変換して統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成し、フィルタ処理Ｈ（ｕ，ｖ，ｗ）を用いて統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成し、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する。
【解決手段】本発明は、撮影対象Ｑに関する焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を統合及びフーリエ変換して統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成し、フィルタ処理Ｈ（ｕ，ｖ，ｗ）を用いて統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成し、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージング装置及びイメージング方法に関する。詳しくは、撮影対象に関する焦点ぼけ構造を持つ画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成するイメージング装置及びイメージング方法に関する。
【背景技術】
【０００２】
コンピュータ利用のＸ線断層撮影の基本手法では、平行Ｘ線を人体の周囲に３６０度回転させて撮影する。これにより、一連の画像中にあらゆる角度からみた情報が蓄積され、これらの情報を基に、任意の方向から見た、複数層の人体断層写真を得ることができる。このように平行透過光を用いて対象物の周囲から撮影すれば、任意の方向から見た任意の断層の合焦点画像を生成できる。
これに対して、物体を透過しないしかも非平行な可視光を用いるカメラによる撮影画像の場合は如何であろうか。
【０００３】
カメラによる撮影画像については、ライトフィールドレンダリング（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ）による画像生成法が知られている。例えば撮影対象を、カメラを２次元平面にアレイ状に並べて、異なる視点から撮影し、２次元×２次元の撮影画像データを取得する。これらのデータに基づいてコンピュータ演算し、カメラ側の任意の視点及び視線方向から見た透視画像を生成できる。
【０００４】
また、発明者は、カメラの撮像面を移動して焦点合わせの異なる撮影画像群を取得し、これに基づいてコンピュータ演算により画像を生成するマルチフォーカスイメージング（Ｍｕｌｔｉ Ｆｏｃｕｓ Ｉｍａｇｉｎｇ：ＭＦＩ）を用いて、全焦点画像を生成している。（非特許文献１参照）
【０００５】
また、発明者達は焦点合わせの異なる複数の撮影画像と生成画像とを、ぼけ関数による畳み込みを表す定数を含む恒等式で関係付け、焦点合わせの異なる撮影画像から任意の焦点合わせ画像を生成する方法を提案している。また、相澤達は焦点合わせの異なる複数の撮影画像と生成画像とを、ぼけパラメータを含むフィルタ関数を用いて関係付け、焦点合わせの異なる撮影画像から任意の焦点合わせ画像を生成する方法を提案している。（特許文献１，２参照）
【０００６】
図１７にスタンフォード大学で提案されたプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）で撮影された焦点合わせの異なる複数（図１７では５枚）の画像を示す。
図１８は、プレノプティックカメラについて説明するための図である。２次元空間を例えば４×４の領域に分割してレンズアレイ等を配して多眼カメラのように機能させ（４×４の異なる視点から対象物を見ることと等価である）ている。いわば２次元空間にさらに２次元空間を形成することにより、コンピュータ上で４次元空間が実現されているといえる。したがって、これから３次元のＭＦＩ画像をコンピュータ演算により作成することが可能である。すなわち、図１７に示すような焦点合わせが異なる画像を生成することが可能である。（非特許文献２参照）
【０００７】
【特許文献１】特開１９９９−２９５８２６号公報（段落００１８〜００３３、図１）
【特許文献２】特開２００１−２２３８７４号公報（段落００２３〜００９７、図１〜１３）
【非特許文献１】多数の焦点合わせ画像群の統合的変換処理に基づく画像生成の検討、児玉和也、映像メディア処理シンポジウム第８回シンポジウム資料、ｐ７３〜７４、２００３年１１月１２日〜１４日
【非特許文献２】Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａＨａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ Ｒｅｎ Ｎｇ（Ｓｔａｎｆｏｒｄ Ｕｎｉｖ．）等 ［ｏｎｌｉｎｅ］、２００５年４月［２００５年８月２４日検索］、インターネット <ＵＲＬ：http://graphics.stanford.edu/papers/lfcamera/>
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、ＭＦＩによる方法では未だ任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できておらず、焦点合わせの異なる複数の撮影画像と生成画像とを、恒等式またはフィルタ関数を用いて関係付ける方法は、いずれも撮影画像と生成画像とを２次元情報として直接関連付け、連立方程式の解を求めるものであるが、対象の多様な３次元情報を完全に反映した恒等式またはフィルタ関数が具体的に定義されておらず、その場合の完全解を得る方法も示されていない。また、プレノプティックカメラを用いて焦点合わせの異なる複数の視覚イメージ画像が得られているが、４次元情報から視覚イメージを得ており、情報量が過多であるために処理量が多いという問題があった。また、１台のカメラで撮影面を複数に分割して使用するために、解像度が悪いという問題があった。
【０００９】
本発明は、撮影対象に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる、新規なイメージング装置及びイメージング方法を提供することを目的とする。
また、３次元情報から視覚イメージ画像を得て処理量を少なくすること、解像度を向上することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、焦点ぼけ構造を持つ画像群から任意の視点及び視線方向、絞り、焦点合わせに相当する視覚イメージ画像を生成するものである。これは、前述のライトフィールドレンダリング（ＬＦＲ）とマルチフォーカスイメージング（ＭＦＩ）とを結びつけることにより、実現できたものである。すなわち、ＭＦＩにおける多焦点画像群の視線の方向から、ＬＦＲを用いて視線方向を変更し、任意の視点＋視線方向からの画像に変換している。
【００１１】
上記問題を解決するために、請求項１に記載の焦点ぼけ構造を用いるイメージング装置１は、例えば図１０に示すように、撮影対象Ｑに関する焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を統合及びフーリエ変換してフーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成するフーリエ変換・統合手段３と、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する周波数成分抽出手段５と、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する逆フーリエ変換・切出手段６とを備える。
【００１２】
ここにおいて、撮影画像群が焦点ぼけ構造を持つとは、撮影画像群が焦点合わせ、視点等を変更して体系的に撮影され、その撮影画像を統合することにより、ぼけの状態が統合画像の各位置においてほとんど変化しないことをいう。また撮影画像群の変化は焦点合わせのみ、視点のみに限られず、両者共変化しても良い。また、焦点ぼけに係るフィルタとは、複数の実空間平面に焦点が合うようにして撮影した場合の、複数の撮像面で得られる焦点ぼけの程度を表すフィルタをいう。また、フィルタ処理は、明細書内で（式２）、（式３）で具体的に示されるが、このようなガウス分布に基づく関数に限られるものではなく、例えば視点を変化させる場合、魚眼レンズ、レンチキュラレンズを用いる場合等には、円柱型、階段状円柱型、これらの変形等の異なる関数となり得る。また、視覚イメージ画像とは、コンピュータ演算により生成される、視覚で感知可能な画像をいい、静止画像だけでなく、動画像、彩色画像も含まれる。
【００１３】
このように構成すると、対象物に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成する新規なイメージング装置を提供できる。また、３次元情報から視覚イメージを得て処理量を少なくでき、解像度を向上できる。
【００１４】
また、請求項２に記載の発明は、請求項１に記載の焦点ぼけ構造を用いるイメージング装置において、焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群から構成する。このように構成すると、焦点ぼけ構造を持つ画像群を確実かつ容易に得ることができる。
【００１５】
上記問題を解決するために、請求項３に記載の焦点ぼけ構造を用いるイメージング方法は、例えば図１１に示すように、撮影対象Ｑに関する焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を取得する画像群取得工程（Ｓ００１）と、画像群取得工程で取得した撮影画像群ｇｎ（Ｘ，Ｙ）を統合及びフーリエ変換して統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成するフーリエ変換・統合工程（Ｓ００３）と、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する周波数成分抽出工程（Ｓ００４）と、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する逆フーリエ変換・切出工程（Ｓ００５）とを備える。
【００１６】
このように構成すると、撮影対象に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成する新規なイメージング方法を提供できる。また、３次元情報から視覚イメージを得て処理量を少なくでき、解像度を向上できる。
【００１７】
また、請求項４に記載の発明は、請求項３に記載の焦点ぼけ構造を用いるイメージング方法において、焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群から構成する。このように構成すると、焦点ぼけ構造を持つ画像群を確実かつ容易に得ることができる。
【００１８】
また、請求項５に記載の発明は、請求項３又は請求項４に記載の焦点ぼけ構造を用いるイメージング方法をコンピュータに実行させるためのプログラムの発明である。
【発明の効果】
【００１９】
本発明によれば、撮影対象に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる、新規なイメージング装置及びイメージング方法を提供できる。
また、３次元情報から視覚イメージ画像を得て処理量を少なくでき、解像度を向上できる。
【発明を実施するための最良の形態】
【００２０】
［第１の実施の形態］
本実施の形態では、焦点合わせを変えて撮影した画像群から、焦点ぼけに係る３次元のフィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する画像を作成する例を説明する。
まず、発明の原理について説明する。
【００２１】
図１は透視座標と直交座標との関係を説明するための図である。実空間は本来透視座標系で表されるが、本発明の大半の処理は変換を適用した直交座標系で表される。図１（ａ）は実空間を表すもので、カメラの絞りをピンホールと仮定し、実空間におけるカメラからの視線を矢印で示す。図１（ｂ）は座標変換後の空間を表す。実空間ではカメラのピンホールを原点Ｏ（０，０，０）とし、座標変換後の空間ではカメラの光軸上の焦点距離の位置を原点Ｏ（０，０，０）とする（本明細書中ではここを除きＯは透視座標系の原点を示し、図面中では透視座標系及び直交座標系の原点を示す）。透視座標で左右方向をｘ、上下方向をｙ、前後方向をｚ（前方を＋）とし、直交座標で左右方向をＸ、上下方向をＹ、前後方向をＺ（前方を＋）とする。透視座標系の座標は（ｘ，ｙ，ｚ）で、直交座標系の座標は（Ｘ，Ｙ，Ｚ）で表す。
【００２２】
カメラから座標（ｐ，ｑ，ｆ）（ｆは焦点距離）を見た視線は、実空間では直線（ｘ，ｙ）＝（ｚ／ｆ）＊（ｐ，ｑ）（ｘ＝（ｚ／ｆ）＊ｐ、ｙ＝（ｚ／ｆ）＊ｑと２つの式をまとめて示したもので、以下もこのような表現を用いる。＊は乗算演算子である。）で表され、座標変換後の空間では、（Ｘ，Ｙ）＝（ｐ，ｑ）で、±Ｚ方向に延びる直線に対応し、（ｐ、ｑ）一点として撮影される。すなわち、直交座標系では無限遠を見る視線は±Ｚ方向に延びる平行線となる。また、Ｑ１，Ｑ２は撮影対象であり、実空間では同じ寸法でも、カメラに近い方が大きく表される。カメラの光軸方向については、透視座標系でカメラから距離ｆ，Ｎｆ／（Ｎ−１），…，Ｎｆ／ｉ，…，Ｎｆ／２，Ｎｆ，∞にあるｘｙ平面上の撮影対象は、直交座標系では０，１／Ｎ，２／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，（Ｎ−２）／Ｎ，（Ｎ−１）／Ｎ，１と、原点からＺ方向に等間隔に配置されたＸＹ平面上に変換される。透視座標系と直交座標系とで、（Ｘ，Ｙ）＝（ｆ／ｚ）＊（ｘ，ｙ）、Ｚ＝（１−ｆ／ｚ）と座標変換される。
【００２３】
図２は図１のカメラのピンホールをレンズに置換した場合の透視座標と直交座標との関係を示す。図２（ａ）は実空間（透視座標系）を、図２（ｂ）は座標変換後の空間（直交座標系）を表す。レンズ上の原点から見た視線の他に、点（ｓ，ｔ，０）から見た視線も示す。また、（ａ）では情景（Ｓｃｅｎｅ）側（＋ｚ側）と共に像（Ｉｍａｇｅ）側（−ｚ側）の光線も併せて示す。図２（ａ）の透視座標系において、原点Ｏ（０，０，０）から見た視線に比して点（ｓ，ｔ，０）から見た視線は＋ｚ側で（ｓ、ｔ，０）だけ平行移動する。原点Ｏ（０，０，０）及び（ｐ，ｑ，ｆ）を通る光線とこれに平行な点（ｓ，ｔ，０）及び（ｐ＋ｓ，ｑ＋ｔ，ｆ）を通る光線は焦点距離−ｆの平面で一致するので、点（ｓ，ｔ，０）及び（ｐ＋ｓ，ｑ＋ｔ，ｆ）を通る光線は、＋側で、（ｘ，ｙ）＝（ｚ／ｆ）＊（ｐ，ｑ）＋（ｓ，ｔ）で表わされ、−側で、（ｘ，ｙ）＝（ｚ／ｆ）＊（ｐ＋ｓ，ｑ＋ｔ）＋（ｓ，ｔ）で表わされる。透視座標系と直交座標系とで、ｚ≧ｆでは、（Ｘ，Ｙ）＝（ｆ／ｚ）＊（ｘ，ｙ）、Ｚ＝（１−ｆ／ｚ）、ｚ≦−ｆでは、（Ｘ，Ｙ）＝（ｆ／ｚ）＊（ｘ，ｙ）、Ｚ＝−ｆ／ｚと座標変換される。
【００２４】
図２（ｂ）の直交座標系において、視点が原点Ｏ（０，０，０）にある場合と（ｓ，ｔ，０）にある場合で無限遠を見る視線はｚ＝∞で一致するので、視点（ｓ，ｔ，０）から点（ｐ＋ｓ，ｑ＋ｔ，ｆ）を見た視線は、直線
（Ｘ，Ｙ）＝（ｐ，ｑ）＋（１−Ｚ）＊（ｓ，ｔ）・・・（式１）
で表わされる。また、透視座標系における平行光束は、原点Ｏ（０，０，０）から半径ｒａ（いま点（ｓ，ｔ，０）はこの円周上にあるものとする）のレンズを通して、焦点距離−ｆの平面の焦点に集光する。この平行光束は、直交座標系において、（Ｘ，Ｙ）＝（ｐ，ｑ）であるＺ方向に延びる直線を軸とし、（式１）の直線をこの軸の周りに回転した円錐の内部で表される。
【００２５】
レンズを使用することは、光束の情報を含むことになる。そして、撮像空間においてｚ値の異なる多数の面があり、ある面に焦点を合わせると、他の面では焦点ぼけが発生することとなるが、ぼけ情報は光束情報を含むものであり、この光束情報に含まれる実空間の情報を抽出できる可能性がある。
【００２６】
図３に直交座標系において、無限遠からの光とＺ方向に並ぶ平面群との関係を示す。図３はＭＦＩ（マルチフォーカスイメージング）モデルで表現したものである。図３は＋側（Ｓｃｅｎｅ側）と−側（Ｉｍａｇｅ側）両方の図を兼ねている。図において、Ｚ方向に並ぶ複数（Ｎ＋１層）のＸＹ平面は、直交座標系では、Ｚ＝０，１／Ｎ，２／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，（Ｎ−２）／Ｎ，（Ｎ−１）／Ｎ，１の位置にある。透視座標系では、＋側でｚ＝ｆ，Ｎｆ／（Ｎ−１），…，Ｎｆ／ｉ，…，Ｎｆ／２，Ｎｆ，∞の位置に対応し、−側でｚ＝−∞，−Ｎｆ，−Ｎｆ／２，…，−Ｎｆ／ｉ，…，−Ｎｆ／（Ｎ−１），−ｆの位置に対応する。＋側で無限遠からの光束が矢印間の斜線部分と見ることができ、−側でレンズ透過後の光束が矢印間の斜線部分と見ることができる。
【００２７】
無限遠からの平行光束は原点Ｏを中心とする半径ｒａ（点（ｓ，ｔ，０）はこの円周上にあるものとする）のレンズを通過する。この光束は、直交座標系で図３に示すように、点（ｐ，ｑ）と無限遠（Ｚ＝１）を結ぶ線を中心軸とし、底面（Ｚ＝０）で半径ｒａ（点（ｐ＋ｓ，ｑ＋ｔ）はこの円周上にある）の円を有する円錐の内部で表される。この平行光束はレンズを通過後、焦点距離−ｆの平面（Ｚ＝１）の焦点に集光し、その後、次第に広がりＺ＝０（ｚ＝−∞に対応する）の平面では、底面（Ｚ＝０）で点（ｐ、ｑ）を中心とする半径ｒａ（点（ｐ＋ｓ，ｑ＋ｔ）はこの円周上にあるものとする）の円となる。すなわち、この光束は点（ｐ、ｑ）と焦点（Ｚ＝１）を結ぶ線を中心軸とし、底面（Ｚ＝０）で半径ｒａの円を有する円錐の内部で表される。したがって、Ｚ方向に並んだＸＹ平面群は、＋側（Ｓｃｅｎｅ側）において、無限遠からの平行光束と円で交わり、その円の中に平行光束の情報を有し、また、−側（Ｉｍａｇｅ側）において焦点（−ｆ）通過後に平行光束と円で交わり、これらの面を撮像面とする撮影画像はこの円の中に平行光束の情報を有している。
【００２８】
このように無限遠からの平行光は焦点に集光するが、実空間、透視座標系でｚ＝Ｎｆ，Ｎｆ／２，…，Ｎｆ／ｉ，…，Ｎｆ／（Ｎ−１），ｆのｘｙ平面に物体（撮影対象）がある場合は、物体からの反射光が発生し、それぞれ、撮像空間、直交座標系でＺ＝（Ｎ−１）／Ｎ，（Ｎ−２）／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，２／Ｎ，１／Ｎ，のＸＹ平面に結像する。これらの場合には、物体からの反射光による光束は、Ｚ＝（Ｎ−１）／Ｎ，（Ｎ−２）／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，２／Ｎ，１／Ｎ，０の平面を頂点とする＋−両側に広がる円錐で表される。したがって、＋側（実空間側）において各ＸＹ平面は物体からの反射光と円で交わり、その円の中に物体（撮影対象）の情報を有している。また、−側（撮像空間側）において各ＸＹ平面はレンズ透過光と円で交わり、これらの面を撮像面とする撮影画像はこの円の中に物体（撮影対象）の情報を有している。ここに、実空間でｎ層目のＸＹ平面の情報（明るさ）をｆ（Ｘ，Ｙ，Ｚｎ）＝ｆｎ（Ｘ，Ｙ）、ｎ層目のＸＹ平面に焦点を合わせて撮影された画像、即ち，撮像空間でｎ層目のＸＹ平面で得られる取得画像をｇ（Ｘ，Ｙ，Ｚｎ）＝ｇｎ（Ｘ，Ｙ）とする。なお、Ｚｎ＝ｎ／Ｎである。
【００２９】
ＭＦＩモデルでは、レンズを通る全ての光線が使用されるので、円錐の内側で光束は連続的であり、円錐内の全ての情報を含んでいる。これにより、焦点の異なるＮ枚の取得画像ｇｎ（Ｘ，Ｙ）に基づいて、レンダリングにより任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる。
【００３０】
図４に、３次元ぼけフィルタを介した実空間情報（＋ｚ側）（Ｓｃｅｎｅ）と撮影画像（−ｚ側）（Ｉｍａｇｅ）群との関係を示す。図４（ａ）は撮影対象を含む実空間情報、撮影画像、３次元ぼけフィルタの関係を模式的に示し、図４（ｂ）は３次元ぼけフィルタの概念を模式的に示す。実空間情報ｆ（Ｘ，Ｙ，Ｚ）と撮影画像群ｇｎ（Ｘ，Ｙ）を統合した統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）とはフィルタｈ（Ｘ，Ｙ，Ｚ）により関係付けられる。すなわち、実空間情報ｆ（Ｘ，Ｙ，Ｚ）にフィルタｈ（Ｘ，Ｙ，Ｚ）を作用することにより、統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）を得る。撮像画像群ｇ（Ｘ，Ｙ，Ｚｎ）＝ｇｎ（Ｘ，Ｙ）は焦点合わせを変化させて、すなわち撮像面を変えて撮影した画像群であり、焦点が合う平面上の物体は明瞭な画像として、焦点が合わない平面上の物体は焦点ぼけした不明瞭な画像として撮影される。そして、撮像画像群ｇｎ（Ｘ，Ｙ）を統合したものが統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）といえる。フィルタは、各ＸＹ平面上（１＝＜ｎ＝＜Ｎ）で焦点が合うように撮影した場合の、各ＸＹ撮像面（１＝＜ｎ＝＜Ｎ）で得られる焦点ぼけの程度を表すフィルタである。模式的には、焦点が合う平面を頂点とする＋−両側に広がる円錐で表される。すなわち、図４（ｂ）に示すように焦点に近いほどＸＹ平面と交わる円は小さく、ぼけの程度が低く、焦点から遠いほどＸＹ平面と交わる円は大きく、ぼけの程度も大きくなる。
【００３１】
幾何光学において、焦点合わせの異なる複数の撮影面を関連付けるぼけ行列は
【数１】
と表現される。このぼけ行列を畳み込み演算のフィルタとして表現すると、
【数２】
と表される。
これを周波数領域で表すと、
【数３】
と表される。
【００３２】
図５は実空間情報（Ｓｃｅｎｅ）ｆ（Ｘ，Ｙ，Ｚ）、撮影画像（Ｉｍａｇｅ）群ｇ（Ｘ，Ｙ，Ｚｎ）、フィルタｈ（Ｘ，Ｙ，Ｚ）の関係を模式的に示す。図５（ａ）はＭＦＩモデルを示す。３次元形状を有する（ここでは形状がＸ，Ｚ方向に変化し、Ｙ方向に一様である）物体（撮影対象）Ｑを太線で示し、Ｚ方向に並ぶ各ＸＹ平面に焦点を合わせて撮影した場合の光線の状況を示す。図５（ａ）において、焦点は観察方向を表わす光線の交点で示され、光線は光束内で連続的である。光線の広がりは撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）のぼけの程度を表している。ｆ（Ｘ，Ｙ，Ｚ）＝０の何もない領域もぼけているとみなせる。
【００３３】
図５（ｂ）は実空間情報ｆ（Ｘ，Ｙ，Ｚ）と撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）とをフィルタｈ（Ｘ，Ｙ，Ｚ）で結合する過程を示す。すなわち、焦点が合った撮像面では明瞭な画像が得られるが、焦点が合わない撮像面ではぼけを含む画像が得られる。フィルタｈ（Ｘ，Ｙ，Ｚ）はこのような変換フィルタの機能を有している。
【００３４】
次に、３次元ぼけフィルタｈ（Ｘ，Ｙ，Ｚ）の性質を考える。実空間情報ｆ（Ｘ，Ｙ，Ｚ）に対応する撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）を考える。例えば実空間ｆ（Ｘ，Ｙ，Ｚ）を１つの方向から観察した場合、視線に直交しかつ焦点が合う撮像面で明瞭に観察でき、焦点が合わない面ではぼけて観察される。これは、例えばｎ＝１〜５の各撮像面に適用される。このようなフィルタがｈ（Ｘ，Ｙ，Ｚ）である。
【００３５】
この関係はフーリエ空間でも適用される。実空間情報ｆ（Ｘ，Ｙ，Ｚ）に対応するフーリエ空間をＦ（ｕ，ｖ、ｗ）、撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）に対応するフーリエ空間での統合的フーリエ変換撮影画像をＧ（ｕ，ｖ、ｗ）、フィルタｈ（Ｘ，Ｙ，Ｚ）に対応するフーリエ空間でのフィルタをＨ（ｕ，ｖ、ｗ）とする。フーリエ空間ではフィルタＨ（ｕ，ｖ、ｗ）は（式３）で表され、良好に観察できる周波数領域を抽出する。また、後述するように、フーリエ空間では周波数成分で表現することにより、統合的撮像空間ｇ（Ｘ，Ｙ，Ｚ）に基づいて、特定の周波数成分を抽出し、コンピュータ演算することにより、任意の視点、焦点合わせ、絞りの画像を生成できる。
【００３６】
フーリエ変換画像Ｆ（ｕ，ｖ、ｗ）は実空間情報ｆ（Ｘ，Ｙ，Ｚ）のフーリエ変換画像である。また、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）は各層の撮影画像群ｇｎ（Ｘ，Ｙ）をコンピュータ演算等により統合処理しフーリエ変換したものである。
【００３７】
図６は３次元ぼけフィルタの周波数特性例を示す。図６（ａ）は実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）に３次元ぼけフィルタＨ（ｕ，ｖ，ｗ）をかけて統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）が抽出される過程を示す。フィルタＨ（ｕ，ｖ，ｗ）は（式３）で表されるものである。このフィルタは、ＭＦＩモデルでは、光束に垂直な平面群に係る周波数成分を抽出するものである。図６（ｂ）はレンズのぼけがガウス分布となっている場合のフィルタＨ（ｕ，ｖ，ｗ）の例である。原点Ｏ（０，０，０）ではデルタ関数で抽出され、ｕｖ平面上ではＨ（ｕ，ｖ，ｗ）≠０なので抽出されるが、ｗ軸上では原点を除いてＨ（ｕ，ｖ，ｗ）＝０なので抽出されない。図６（ｃ）はピンホールカメラの場合のフィルタＨ（ｕ，ｖ，ｗ）の例で、ｕｖ平面上のみ抽出される。
【００３８】
図７は、原点Ｏ（０，０，０）（以下（０，０）と省略して示す。）から（ｓ，ｔ，０）（以下（ｓ，ｔ）と省略して示す。）ずれた位置から半径ｒのアイリスを有する仮想カメラで撮影した場合を説明するための図である。図７（ａ）は実空間像ｆ（Ｘ，Ｙ，Ｚ）から撮像空間における焦点合わせの異なる視覚イメージ画像群ａ（Ｘ，Ｙ，Ｚｎ）＝ａｎ（Ｘ，Ｙ）を得るもので、フィルタｈａ（Ｘ，Ｙ，Ｚ；ｒ，ｓ，ｔ）は、図７（ａ）のようにレンズを通る光束が傾斜した円錐領域を通るものに対応する。なお、これらの視覚イメージ画像群を統合したものが選択的生成画像ａ（Ｘ，Ｙ，Ｚ）である。図７（ｂ）はフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）から特定の周波数成分を抽出した選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を得るもので、これに対応するフーリエ空間のフィルタは、図７（ｂ）のように傾斜した平面群に係る周波数領域を抽出するフィルタＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）となる。このように、原点Ｏ（０，０）からずれた位置（ｓ，ｔ）から半径ｒのアイリス（絞り）を有する仮想カメラで撮影した場合においても、フィルタを用いて、特定の周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を取得可能であり、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）をさらにフーリエ逆変換すれば選択的生成画像ａ（Ｘ，Ｙ，Ｚ）を生成でき、これを任意のＸＹ面で切り出すことにより、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像ａｎ（Ｘ，Ｙ）＝ａ（Ｘ，Ｙ，Ｚｎ）を生成可能であるといえる。
【００３９】
ここにおいて、仮想カメラで視点（ｓ，ｔ）からアイリスｒで撮影した場合の３次元ぼけフィルタは（式４）で表され、周波数空間では（式５）で表される。
【数４】
【００４０】
図８は、フーリエ空間における、撮影で取得される撮影画像Ｇ（ｕ，ｖ，ｗ）とコンピュータ演算により生成される生成画像（選択的フーリエ変換画像）Ａ（ｕ，ｖ，ｗ）間の関係を示す。実空間情報ｆ（Ｘ，Ｙ，Ｚ）のフーリエ変換画像をＦ（ｕ，ｖ，ｗ）、半径ｒａのアイリスを用いて、原点から撮影したときの撮影画像をＧ（ｕ，ｖ，ｗ）、そのときのフィルタをＨ（ｕ，ｖ，ｗ）、原点（０，０）からずれた位置（ｓ，ｔ）から半径ｒのアイリスを有するカメラで撮影したと仮定してコンピュータ演算により生成される選択的フーリエ変換画像をＡ（ｕ，ｖ，ｗ）、そのときのフィルタをＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）とすると、
Ｇ（ｕ，ｖ，ｗ）＝Ｈ（ｕ，ｖ，ｗ）Ｆ（ｕ，ｖ，ｗ） ・・・（式６）
Ａ（ｕ，ｖ，ｗ）＝Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｆ（ｕ，ｖ，ｗ）・・・（式７）
が成立する。
【００４１】
これにより周波数領域における、撮影画像Ｇ（ｕ，ｖ，ｗ）と選択的フーリエ変換画像（視覚イメージ画像をフーリエ変換したもの）Ａ（ｕ，ｖ，ｗ）の関係は、
Ａ（ｕ，ｖ，ｗ）＝Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１Ｇ（ｕ，ｖ，ｗ）・・・（式８）
となる。このことは、ＭＦＩで取得された画像から、任意の視点、絞り、焦点合わせに相当する選択的生成画像ａ（Ｘ，Ｙ，Ｚ）を生成可能なことを意味する。
【００４２】
図９は、視覚イメージ画像が生成可能な場合の条件を示す。これは取得した複数枚の撮影画像群ｇｎ（Ｘ，Ｙ）の情報中に生成される視覚イメージ画像ａｎ（Ｘ，Ｙ）の情報が存在する場合に生成可能ということである。すなわち、取得した撮影画像に係る３次元ぼけフィルタがＨ（ｕ，ｖ，ｗ）＝０となる領域に、生成される画像の３次元ぼけフィルタでＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）≠０となる領域が存在すれば、Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１が定まらず、イメージ画像を得ることができない。また、Ｈ（ｕ，ｖ，ｗ）≠０となる領域にのみ、Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）≠０となる領域が存在すれば、すべての領域でＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１が定まり、視覚イメージ画像ａｎ（Ｘ，Ｙ）の生成が可能である。
【００４３】
図１０に本実施の形態におけるイメージング装置の構成例を示す。
図１０において、Ｑは撮影対象である。１はイメージング装置であり、演算処理、制御処理を行う演算制御装置２、撮影画像を取得する画像取得手段８としての撮像装置、取得した撮影画像、演算過程や演算結果で生成された画像を記憶する画像記憶手段９、取得した撮影画像、演算過程や演算結果で生成された画像を表示する画像表示手段１０等から構成される。演算制御装置２は、焦点ぼけ構造を持つ撮影画像群ｇｎ（ｘ，ｙ）を統合及びフーリエ変換してフーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成するフーリエ変換・統合手段３、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）からフィルタ処理を用いて任意の視点、絞り、焦点合わせに適応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する周波数成分抽出手段５、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する逆フーリエ変換・切出手段６、イメージング装置１を構成する各手段を制御して、イメージング装置１としての機能を果たさせる制御手段７等から構成される。また、撮像装置８は焦点合わせに応じて撮像面の位置が可変に構成され、焦点合わせの異なる撮影画像群ｇｎ（ｘ，ｙ）、すなわち、焦点ぼけ構造を持つ撮影画像群を撮影可能である。
【００４４】
図１１に本実施の形態におけるイメージング方法の処理フロー例を示す。
まず、画像取得手段としての撮像装置８により、撮影対象１に関する焦点ぼけ構造を持つ撮影画像群ｇｎ（ｘ，ｙ）を撮影し、取得する（画像取得工程：ステップＳ００１）。撮像面は、直交座標系で等間隔になるように調整される。次に、撮影により取得した焦点ぼけ構造を持つ撮影画像群ｇｎ（ｘ，ｙ）を画像記憶手段９に記憶する（取得画像記憶工程：ステップＳ００２）。画像記憶手段９への記憶は、演算制御装置２の演算過程や演算結果が得られた段階等でも可能である。次に、フーリエ変換・統合手段３により、これらの撮影画像群ｇｎ（ｘ，ｙ）を統合及び座標変換して統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）とし、次いで、統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）をフーリエ変換して、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を得る（フーリエ変換・統合工程：ステップＳ００３）。
【００４５】
次に、周波数成分抽出手段５により、フィルタ処理を用いて、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する（周波数成分抽出工程：ステップＳ００４）。詳しくは、（式８）を用い、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）にＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１を作用させて演算し、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する。ここでは、必ずしも実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求める必要はなく、Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１を１つの演算子として作用させている。なお、実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求めても良いが、その精度は撮影画像群ｇｎ（Ｘ，Ｙ）の層数や層間隔に依存するので、その値にある程度の広がりが生じる。
【００４６】
次に、逆フーリエ変換・切出手段６により、抽出された選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換して、選択的生成画像ａ（Ｘ，Ｙ，Ｚ）とし、次いで、選択的生成画像ａ（Ｘ，Ｙ，Ｚ）を座標変換し、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（ｘ，ｙ）を切出し生成する（逆フーリエ変換・切出工程：ステップＳ００５）。次に、画像表示手段１０に生成された視覚イメージ画像ａｎ（ｘ，ｙ）を表示する（イメージ画像表示工程：Ｓ００６）。
【００４７】
ここにおいて、フーリエ変換・統合工程（ステップＳ００３）において、まず、撮影画像群ｇｎ（ｘ，ｙ）をフーリエ変換してフーリエ変換撮影画像群Ｇｎ（ｕ，ｖ）とし、次いで、これを統合及び座標変換して統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を得ても良い。また、逆フーリエ変換・切出工程（ステップＳ００５）において、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）から、視覚イメージ画像のフーリエ変換画像Ａｎ（ｕ，ｖ）を抽出し、これを逆フーリエ変換及び座標変換して、視覚イメージ画像ａｎ（ｘ，ｙ）を生成しても良い。また、座標変換と統合の順序はどちらを先にしても良く、座標変換と切出の順序もどちらを先にしても良い。
【００４８】
図１２は、撮影画像群から生成される視覚イメージ画像の第１の例を示す。最も左側の列にアイリスｒａ＝１．０、（ｓ，ｔ）＝（０，０）として撮影した複数枚（６４枚）のＭＦＩ撮影画像群ｇｎ（Ｘ，Ｙ）を示す。撮影対象の形状は三面鏡のように真中の部分が奥側になっている。これら撮影画像群ｇｎ（Ｘ，Ｙ）の右側に矢印を介して、これらの画像群ｇｎ（Ｘ，Ｙ）に基づいて生成された視覚イメージ画像ａｎ（Ｘ，Ｙ）を示す。視覚イメージ画像ａｎ（Ｘ，Ｙ）の左側の列にはアイリスｒ＝０．０（ピンホール）、右側の列にはアイリスｒ＝０．２の場合を、いずれも（ｓ，ｔ）＝（０，０）の状態で示す。図１２では、Ｚ＝１６，２８，４０に焦点を合わせた画像を抽出して示す。ｒ＝０．２の状態では、画像のボケは、アイリスｒ＝０とｒ＝１の間にあることが解る。
【００４９】
図１３は、撮影画像群から生成される視覚イメージ画像の第２の例を示す。最も左側の列のＭＦＩ撮影画像群ｇｎ（Ｘ，Ｙ）は図１２と同じである。これら撮影画像群ｇｎ（Ｘ，Ｙ）の右側に矢印を介して、これらの画像群ｇｎ（Ｘ，Ｙ）に基づいて生成された視覚イメージ画像ａｎ（Ｘ，Ｙ）を示す。５行×５列の視点の異なる画像を得ることができた。これらの視覚イメージ画像については、アイリスｒ＝０．０であり、ｓ，ｔはそれぞれ、−０．５、−０．２５，０，＋０．２５，＋０．５の５段階を示す。左側の列ほど撮影対象Ｑの左側から、右側の列ほど撮影対象Ｑの右側から、上側の行ほど撮影対象Ｑの上側から、下側の行ほど撮影対象Ｑの下側から見えているのが解る。
【００５０】
図１４は、撮影画像群から生成される視覚イメージ画像の第３の例を示す。最も左側の列のＭＦＩ撮影画像群ｇｎ（Ｘ，Ｙ）は図１２と同じである。これら撮影画像群ｇｎ（Ｘ，Ｙ）の右側に矢印を介して、これらの画像群ｇｎ（Ｘ，Ｙ）に基づいて生成された視覚イメージ画像ａｎ（Ｘ，Ｙ）を示す。３列の視覚イメージ画像を得ることができた。図１４では、Ｚ＝１６，２８，４０に焦点を合わせた画像を抽出して示す。これらの視覚イメージ画像については、アイリスｒ＝０．２であり、左側の列では（ｓ，ｔ）＝（＋０．５，０．０）、中央の列では（ｓ，ｔ）＝（０．０，−０．５）、右側の列では（ｓ，ｔ）＝（−０．２５，＋０．２５）における画像である。それぞれの列で、撮影対象Ｑの右側、下側、左上側から少しぼけて見えているのが解る。
【００５１】
以上より、焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できることが解る。
【００５２】
［第２の実施の形態］
次に第２の実施の形態について説明する。
本実施の形態では、視点を変えて撮影した画像群から、フィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する画像を生成する例を説明する。
【００５３】
図１５は本実施の形態におけるイメージング方法を説明するための図である。広角カメラを横一列に並べてオーバーラップするように撮影する例である。これにより、異なる視点から観察された撮影対象の撮影画像群を取得することができる。これらの視点が異なる撮影画像を比較すると、撮影対象の或る１点から様々な方向に発する光線が含まれている。このことは、視点を変えて撮影した撮影画像は本質的にある仮想レンズについての焦点ぼけ情報を含むことを意味しており、視点を変化させた多数の撮影画像により、焦点ぼけ構造を持つ撮影画像群を構成できる。この場合、撮影対象の任意の点についてできるだけ広範囲の撮影画像に含まれることが好ましいので、広角カメラを用いることが望ましく、またできるだけ広範囲の視点から撮影することが好ましい。以上により、これら視点の異なる撮影画像群を元にして、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。例えば、矢印で示される視点からみた視覚イメージ画像を生成可能である。なお、広角カメラを平面内に２次元アレイ状に配置しても、焦点ぼけ構造を持つ撮影画像群を構成でき、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。
【００５４】
［第３の実施の形態］
次に第３の実施の形態について説明する。本実施の形態も第２の実施の形態と同様に、視点を変えて撮影した画像群から、フィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する画像を生成する例である。
【００５５】
図１６は第３の実施の形態におけるイメージング方法を説明するための図である。第２の実施の形態で述べた複数の広角カメラを撮影対象を取り囲むように円環状に配置して撮影する例を示す。これにより、異なる視点から観察された撮影対象物の多数の撮影画像を取得することができる。しかも撮影対象の周囲３６０度からの情報を得ることができる。これら視点の異なる撮影画像群を元にして、撮影対象の周囲３６０度からの視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。例えば、図中の三角形で示される視点からみた視覚イメージ画像を生成可能である。また、大小さまざまなカメラが混在しても良く、また、カメラの配置は円環状でなくても撮影対象を一周するように取り囲んで配置されていれば良く、また、撮影対象を半球状（ドーム状）に取り囲んで配置されていても良い。また、視覚化の範囲が３６０度未満でも、その部分のみを円弧状に囲んでいれば良い。
【００５６】
［第４の実施の形態］
本実施の形態は、第１の実施の形態と第２の実施の形態又は第３の実施の形態を組み合わせるものである。すなわち、撮影対象に関し、焦点合わせ及び視点を変えて撮影した複数の画像から、フィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を作成するものである。
例えば広角カメラを横一列に並べてオーバーラップするように撮影し、さらにそれぞれの広角カメラについて、撮像面を動かしながら焦点合わせを変えて撮影する。これにより、いわば、第１の実施の形態及び第２の実施の形態を合わせた撮影画像群が得られ、これらの撮影画像群に基づいて、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。
【００５７】
［第５の実施の形態］
非特許文献２において、複数方向からの光線を用いて撮影した撮影画像に基づいて、レンダリングを行なうことにより、焦点合わせの異なる複数の画像が得られることが実証されている。したがって、複数の視点からの撮影画像を用いて、焦点合わせの異なる画像群が得られれば、第１の実施の形態で説明した原理と手法によって、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。
【００５８】
［第６の実施の形態］
以上の実施の形態では、単色光を想定して説明したが、色彩の異なる複数の光線を用いて、任意の視点、絞り、焦点合わせの彩色画像を生成しても良い。色彩の異なる光線に同一の視点、絞り、焦点合わせを採用することはもちろん可能であるが、色彩毎に視点、絞り、焦点の異なる画像を生成することも可能である。この場合、フーリエ変換・統合工程、周波数成分抽出工程、逆フーリエ変換・切出工程を色彩毎に行なう。これにより、従来とは異なる構成、雰囲気の視覚イメージ画像を提供できる。
【００５９】
［第７の実施の形態］
以上の実施の形態では、静止画像を想定して説明したが、動画像に適用することも可能である。例えば、視点又は焦点合わせの少なくとも１つを時間的に変化させて視覚イメージ画像を生成することにより、動的画像を得ることが可能である。また、画像取得手段８としても撮像装置にビデオカメラを使用し、撮影対象の動的振る舞いを時系列的に、視点又は焦点合わせを変えて撮影した撮影画像群を画像記憶手段９に蓄積しておき、動画編集手段を設けて、動的振る舞いについて編集することにより、任意の視点、絞り、焦点合わせに相当する動的視覚イメージ画像を生成可能である。
この場合、プレノプティックカメラに比して少ない情報量で任意の視点、絞り、焦点合わせに相当する動的視覚イメージ画像を生成可能なので、高速処理が可能であり、本発明は動画の分野に適していると解される。
【００６０】
また、本発明は以上の実施の形態における焦点ぼけ構造を用いるイメージング方法を、コンピュータに実行させるためのプログラムとして、また当該プログラムを記録したコンピュータ読み取り可能な記録媒体としても実現可能である。プログラムは、コンピュータに内蔵のＲＯＭに記録して用いても良く、ＦＤ、ＣＤ−ＲＯＭ、内蔵又は外付けの磁気ディスク等の記録媒体に記録し、コンピュータに読み取って用いても良く、インターネットを介してコンピュータにダウンロードして用いても良い。
【００６１】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、実施の形態に種々変更を加えられることは明白である。
【００６２】
例えば、以上の実施の形態では、フィルタ処理は（式２）、（式３）で具体的に示される例について説明したが、これに限られるものではなく、例えば視点を変化させる場合、魚眼レンズ、レンチキュラレンズを用いる場合等には、異なる関数（例えば、ガウス分布に限られず、円筒型、階段状円筒型やこれらを変形したもの等）となる。また、以上の実施の形態では、実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求めない例を説明したが、統合的フーリエ変換撮影画像Ｇ（ｕ、ｖ，ｗ）から実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求め、これを逆フーリエ変換してｆ（Ｘ，Ｙ，Ｚ）とし、これから視覚イメージ画像ａｎ（Ｘ，Ｙ）を合成し、座標変換して、視覚イメージ画像ａｎ（ｘ，ｙ）を生成しても良く、また、これらの順序を変更することも可能である。また、焦点ぼけに係る４次元以上のフィルタとして、視点を変える場合における２次元空間座標内に２次元空間座標を形成する場合のフィルタ、３次元空間座標内にさらに３次元空間座標を形成する場合のフィルタ等が考えられる。また、焦点合わせを変える方法として撮像面の位置を移動する例を説明したが、顕微鏡のように撮影対象をステージに搭載する場合には、ステージを移動しても良い。また、撮影装置については、通常のカメラや広角カメラに限られず、赤外線カメラ、望遠鏡や顕微鏡（電子顕微鏡を含む）等にも適用可能である。また、画像群の撮影画像の枚数や撮影画像間の焦点合わせの間隔、視点を変える場合のカメラ配置等は状況に応じて種々変更可能である。
【産業上の利用可能性】
【００６３】
本発明はコンピュータを用いた画像処理技術に利用できる。
【図面の簡単な説明】
【００６４】
【図１】透視座標と直交座標との関係を説明するための図である。
【図２】図１のカメラのピンホールをレンズに置換した場合の透視座標と直交座標との関係を示す図である。
【図３】直交座標系において、無限遠からの光とＺ方向に並ぶ平面群との関係を示す図である。
【図４】３次元ぼけフィルタを介した実空間情報と撮影画像群との関係を示す図である。
【図５】実空間情報、撮影画像群、３次元ぼけフィルタの関係を模式的に示す図である。
【図６】３次元ぼけフィルタの周波数特性例を示す図である。
【図７】原点から（ｓ，ｔ）ずれた位置から半径ｒのアイリスを有する仮想カメラで撮影した場合を説明するための図である。
【図８】フーリエ空間における、撮影で取得される撮影画像とコンピュータ演算により生成される生成画像間の関係を示す図である。
【図９】視覚イメージ画像が生成可能な場合の条件を示す図である。
【図１０】第１の実施の形態におけるイメージング装置の構成例を示す図である。
【図１１】第１の実施の形態におけるイメージング方法の処理フロー例を示す図である。
【図１２】撮影画像群から生成される視覚イメージ画像の第１の例を示す
【図１３】撮影画像群から生成される視覚イメージ画像の第２の例を示す
【図１４】撮影画像群から生成される視覚イメージ画像の第３の例を示す
【図１５】第２の実施の形態におけるイメージング方法を説明するための図である。
【図１６】第３の実施の形態におけるイメージング方法を説明するための図である。
【図１７】従来の方法で得られた焦点合わせの異なる複数の画像を示す図である。
【図１８】プレノプティックカメラについて説明するための図である。
【符号の説明】
【００６５】
１ イメージング装置
２ 演算制御装置
３ フーリエ変換・統合手段
５ 周波数成分抽出手段
６ 逆フーリエ変換・切出手段
７ 制御手段
８ 画像取得手段（撮像装置）
９ 画像記憶手段
１０ 画像表示手段
Ａ（ｕ，ｖ，ｗ） 選択的フーリエ変換画像（周波数空間）
ａ（Ｘ，Ｙ，Ｚ） 選択的生成画像（直交座標）
ａ（Ｘ，Ｙ，Ｚｎ）＝ａｎ（Ｘ，Ｙ） 視覚イメージ画像群（直交座標）
ａｎ（ｘ，ｙ） 視覚イメージ画像群（透視座標）
Ｆ（ｕ，ｖ，ｗ） 統合的フーリエ変換画像（周波数空間）
ｆ（Ｘ，Ｙ，Ｚ） 実空間像（直交座標）
ｆ（ｘ，ｙ，ｚ） 実空間像（透視座標）
Ｇ（ｕ，ｖ，ｗ） 統合的フーリエ変換撮影画像（周波数空間）
ｇ（Ｘ，Ｙ，Ｚ） 統合的撮影画像（直交座標）
ｇ（Ｘ，Ｙ，Ｚｎ）＝ｇｎ（Ｘ，Ｙ） 撮影画像群（直交座標）
ｇｎ（ｘ，ｙ） 撮影画像群（透視座標）
Ｈ（ｕ，ｖ，ｗ） 撮像時の３次元ぼけフィルタ（周波数空間）
ｈ（Ｘ，Ｙ，Ｚ） 撮像時の３次元ぼけフィルタ（実空間）
Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）視覚イメージ生成時の３次元ぼけフィルタ（周波数空間）
ｈａ（Ｘ，Ｙ，Ｚ；ｒ，ｓ，ｔ）視覚イメージ生成時の３次元ぼけフィルタ（実空間）
Ｎ 層数
ｎ 層番号
Ｏ（０，０） 原点
（ｐ，ｑ） 光線方向
Ｑ 撮影対象
ｆ 焦点距離
ｒａ 撮像時のアイリス（絞り）
ｒ 視覚イメージ生成時のアイリス（絞り）
（ｓ，ｔ） 視点
ｕ，ｖ，ｗ フーリエ変換系における座標
Ｘ，Ｙ，Ｚ 直交座標
ｘ，ｙ，ｚ 透視座標
【技術分野】
【０００１】
本発明はイメージング装置及びイメージング方法に関する。詳しくは、撮影対象に関する焦点ぼけ構造を持つ画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成するイメージング装置及びイメージング方法に関する。
【背景技術】
【０００２】
コンピュータ利用のＸ線断層撮影の基本手法では、平行Ｘ線を人体の周囲に３６０度回転させて撮影する。これにより、一連の画像中にあらゆる角度からみた情報が蓄積され、これらの情報を基に、任意の方向から見た、複数層の人体断層写真を得ることができる。このように平行透過光を用いて対象物の周囲から撮影すれば、任意の方向から見た任意の断層の合焦点画像を生成できる。
これに対して、物体を透過しないしかも非平行な可視光を用いるカメラによる撮影画像の場合は如何であろうか。
【０００３】
カメラによる撮影画像については、ライトフィールドレンダリング（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ）による画像生成法が知られている。例えば撮影対象を、カメラを２次元平面にアレイ状に並べて、異なる視点から撮影し、２次元×２次元の撮影画像データを取得する。これらのデータに基づいてコンピュータ演算し、カメラ側の任意の視点及び視線方向から見た透視画像を生成できる。
【０００４】
また、発明者は、カメラの撮像面を移動して焦点合わせの異なる撮影画像群を取得し、これに基づいてコンピュータ演算により画像を生成するマルチフォーカスイメージング（Ｍｕｌｔｉ Ｆｏｃｕｓ Ｉｍａｇｉｎｇ：ＭＦＩ）を用いて、全焦点画像を生成している。（非特許文献１参照）
【０００５】
また、発明者達は焦点合わせの異なる複数の撮影画像と生成画像とを、ぼけ関数による畳み込みを表す定数を含む恒等式で関係付け、焦点合わせの異なる撮影画像から任意の焦点合わせ画像を生成する方法を提案している。また、相澤達は焦点合わせの異なる複数の撮影画像と生成画像とを、ぼけパラメータを含むフィルタ関数を用いて関係付け、焦点合わせの異なる撮影画像から任意の焦点合わせ画像を生成する方法を提案している。（特許文献１，２参照）
【０００６】
図１７にスタンフォード大学で提案されたプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）で撮影された焦点合わせの異なる複数（図１７では５枚）の画像を示す。
図１８は、プレノプティックカメラについて説明するための図である。２次元空間を例えば４×４の領域に分割してレンズアレイ等を配して多眼カメラのように機能させ（４×４の異なる視点から対象物を見ることと等価である）ている。いわば２次元空間にさらに２次元空間を形成することにより、コンピュータ上で４次元空間が実現されているといえる。したがって、これから３次元のＭＦＩ画像をコンピュータ演算により作成することが可能である。すなわち、図１７に示すような焦点合わせが異なる画像を生成することが可能である。（非特許文献２参照）
【０００７】
【特許文献１】特開１９９９−２９５８２６号公報（段落００１８〜００３３、図１）
【特許文献２】特開２００１−２２３８７４号公報（段落００２３〜００９７、図１〜１３）
【非特許文献１】多数の焦点合わせ画像群の統合的変換処理に基づく画像生成の検討、児玉和也、映像メディア処理シンポジウム第８回シンポジウム資料、ｐ７３〜７４、２００３年１１月１２日〜１４日
【非特許文献２】Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａＨａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ Ｒｅｎ Ｎｇ（Ｓｔａｎｆｏｒｄ Ｕｎｉｖ．）等 ［ｏｎｌｉｎｅ］、２００５年４月［２００５年８月２４日検索］、インターネット <ＵＲＬ：http://graphics.stanford.edu/papers/lfcamera/>
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、ＭＦＩによる方法では未だ任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できておらず、焦点合わせの異なる複数の撮影画像と生成画像とを、恒等式またはフィルタ関数を用いて関係付ける方法は、いずれも撮影画像と生成画像とを２次元情報として直接関連付け、連立方程式の解を求めるものであるが、対象の多様な３次元情報を完全に反映した恒等式またはフィルタ関数が具体的に定義されておらず、その場合の完全解を得る方法も示されていない。また、プレノプティックカメラを用いて焦点合わせの異なる複数の視覚イメージ画像が得られているが、４次元情報から視覚イメージを得ており、情報量が過多であるために処理量が多いという問題があった。また、１台のカメラで撮影面を複数に分割して使用するために、解像度が悪いという問題があった。
【０００９】
本発明は、撮影対象に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる、新規なイメージング装置及びイメージング方法を提供することを目的とする。
また、３次元情報から視覚イメージ画像を得て処理量を少なくすること、解像度を向上することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、焦点ぼけ構造を持つ画像群から任意の視点及び視線方向、絞り、焦点合わせに相当する視覚イメージ画像を生成するものである。これは、前述のライトフィールドレンダリング（ＬＦＲ）とマルチフォーカスイメージング（ＭＦＩ）とを結びつけることにより、実現できたものである。すなわち、ＭＦＩにおける多焦点画像群の視線の方向から、ＬＦＲを用いて視線方向を変更し、任意の視点＋視線方向からの画像に変換している。
【００１１】
上記問題を解決するために、請求項１に記載の焦点ぼけ構造を用いるイメージング装置１は、例えば図１０に示すように、撮影対象Ｑに関する焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を統合及びフーリエ変換してフーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成するフーリエ変換・統合手段３と、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する周波数成分抽出手段５と、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する逆フーリエ変換・切出手段６とを備える。
【００１２】
ここにおいて、撮影画像群が焦点ぼけ構造を持つとは、撮影画像群が焦点合わせ、視点等を変更して体系的に撮影され、その撮影画像を統合することにより、ぼけの状態が統合画像の各位置においてほとんど変化しないことをいう。また撮影画像群の変化は焦点合わせのみ、視点のみに限られず、両者共変化しても良い。また、焦点ぼけに係るフィルタとは、複数の実空間平面に焦点が合うようにして撮影した場合の、複数の撮像面で得られる焦点ぼけの程度を表すフィルタをいう。また、フィルタ処理は、明細書内で（式２）、（式３）で具体的に示されるが、このようなガウス分布に基づく関数に限られるものではなく、例えば視点を変化させる場合、魚眼レンズ、レンチキュラレンズを用いる場合等には、円柱型、階段状円柱型、これらの変形等の異なる関数となり得る。また、視覚イメージ画像とは、コンピュータ演算により生成される、視覚で感知可能な画像をいい、静止画像だけでなく、動画像、彩色画像も含まれる。
【００１３】
このように構成すると、対象物に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成する新規なイメージング装置を提供できる。また、３次元情報から視覚イメージを得て処理量を少なくでき、解像度を向上できる。
【００１４】
また、請求項２に記載の発明は、請求項１に記載の焦点ぼけ構造を用いるイメージング装置において、焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群から構成する。このように構成すると、焦点ぼけ構造を持つ画像群を確実かつ容易に得ることができる。
【００１５】
上記問題を解決するために、請求項３に記載の焦点ぼけ構造を用いるイメージング方法は、例えば図１１に示すように、撮影対象Ｑに関する焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を取得する画像群取得工程（Ｓ００１）と、画像群取得工程で取得した撮影画像群ｇｎ（Ｘ，Ｙ）を統合及びフーリエ変換して統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成するフーリエ変換・統合工程（Ｓ００３）と、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する周波数成分抽出工程（Ｓ００４）と、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する逆フーリエ変換・切出工程（Ｓ００５）とを備える。
【００１６】
このように構成すると、撮影対象に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成する新規なイメージング方法を提供できる。また、３次元情報から視覚イメージを得て処理量を少なくでき、解像度を向上できる。
【００１７】
また、請求項４に記載の発明は、請求項３に記載の焦点ぼけ構造を用いるイメージング方法において、焦点ぼけ構造を持つ撮影画像群ｇｎ（Ｘ，Ｙ）を、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群から構成する。このように構成すると、焦点ぼけ構造を持つ画像群を確実かつ容易に得ることができる。
【００１８】
また、請求項５に記載の発明は、請求項３又は請求項４に記載の焦点ぼけ構造を用いるイメージング方法をコンピュータに実行させるためのプログラムの発明である。
【発明の効果】
【００１９】
本発明によれば、撮影対象に関する焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる、新規なイメージング装置及びイメージング方法を提供できる。
また、３次元情報から視覚イメージ画像を得て処理量を少なくでき、解像度を向上できる。
【発明を実施するための最良の形態】
【００２０】
［第１の実施の形態］
本実施の形態では、焦点合わせを変えて撮影した画像群から、焦点ぼけに係る３次元のフィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する画像を作成する例を説明する。
まず、発明の原理について説明する。
【００２１】
図１は透視座標と直交座標との関係を説明するための図である。実空間は本来透視座標系で表されるが、本発明の大半の処理は変換を適用した直交座標系で表される。図１（ａ）は実空間を表すもので、カメラの絞りをピンホールと仮定し、実空間におけるカメラからの視線を矢印で示す。図１（ｂ）は座標変換後の空間を表す。実空間ではカメラのピンホールを原点Ｏ（０，０，０）とし、座標変換後の空間ではカメラの光軸上の焦点距離の位置を原点Ｏ（０，０，０）とする（本明細書中ではここを除きＯは透視座標系の原点を示し、図面中では透視座標系及び直交座標系の原点を示す）。透視座標で左右方向をｘ、上下方向をｙ、前後方向をｚ（前方を＋）とし、直交座標で左右方向をＸ、上下方向をＹ、前後方向をＺ（前方を＋）とする。透視座標系の座標は（ｘ，ｙ，ｚ）で、直交座標系の座標は（Ｘ，Ｙ，Ｚ）で表す。
【００２２】
カメラから座標（ｐ，ｑ，ｆ）（ｆは焦点距離）を見た視線は、実空間では直線（ｘ，ｙ）＝（ｚ／ｆ）＊（ｐ，ｑ）（ｘ＝（ｚ／ｆ）＊ｐ、ｙ＝（ｚ／ｆ）＊ｑと２つの式をまとめて示したもので、以下もこのような表現を用いる。＊は乗算演算子である。）で表され、座標変換後の空間では、（Ｘ，Ｙ）＝（ｐ，ｑ）で、±Ｚ方向に延びる直線に対応し、（ｐ、ｑ）一点として撮影される。すなわち、直交座標系では無限遠を見る視線は±Ｚ方向に延びる平行線となる。また、Ｑ１，Ｑ２は撮影対象であり、実空間では同じ寸法でも、カメラに近い方が大きく表される。カメラの光軸方向については、透視座標系でカメラから距離ｆ，Ｎｆ／（Ｎ−１），…，Ｎｆ／ｉ，…，Ｎｆ／２，Ｎｆ，∞にあるｘｙ平面上の撮影対象は、直交座標系では０，１／Ｎ，２／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，（Ｎ−２）／Ｎ，（Ｎ−１）／Ｎ，１と、原点からＺ方向に等間隔に配置されたＸＹ平面上に変換される。透視座標系と直交座標系とで、（Ｘ，Ｙ）＝（ｆ／ｚ）＊（ｘ，ｙ）、Ｚ＝（１−ｆ／ｚ）と座標変換される。
【００２３】
図２は図１のカメラのピンホールをレンズに置換した場合の透視座標と直交座標との関係を示す。図２（ａ）は実空間（透視座標系）を、図２（ｂ）は座標変換後の空間（直交座標系）を表す。レンズ上の原点から見た視線の他に、点（ｓ，ｔ，０）から見た視線も示す。また、（ａ）では情景（Ｓｃｅｎｅ）側（＋ｚ側）と共に像（Ｉｍａｇｅ）側（−ｚ側）の光線も併せて示す。図２（ａ）の透視座標系において、原点Ｏ（０，０，０）から見た視線に比して点（ｓ，ｔ，０）から見た視線は＋ｚ側で（ｓ、ｔ，０）だけ平行移動する。原点Ｏ（０，０，０）及び（ｐ，ｑ，ｆ）を通る光線とこれに平行な点（ｓ，ｔ，０）及び（ｐ＋ｓ，ｑ＋ｔ，ｆ）を通る光線は焦点距離−ｆの平面で一致するので、点（ｓ，ｔ，０）及び（ｐ＋ｓ，ｑ＋ｔ，ｆ）を通る光線は、＋側で、（ｘ，ｙ）＝（ｚ／ｆ）＊（ｐ，ｑ）＋（ｓ，ｔ）で表わされ、−側で、（ｘ，ｙ）＝（ｚ／ｆ）＊（ｐ＋ｓ，ｑ＋ｔ）＋（ｓ，ｔ）で表わされる。透視座標系と直交座標系とで、ｚ≧ｆでは、（Ｘ，Ｙ）＝（ｆ／ｚ）＊（ｘ，ｙ）、Ｚ＝（１−ｆ／ｚ）、ｚ≦−ｆでは、（Ｘ，Ｙ）＝（ｆ／ｚ）＊（ｘ，ｙ）、Ｚ＝−ｆ／ｚと座標変換される。
【００２４】
図２（ｂ）の直交座標系において、視点が原点Ｏ（０，０，０）にある場合と（ｓ，ｔ，０）にある場合で無限遠を見る視線はｚ＝∞で一致するので、視点（ｓ，ｔ，０）から点（ｐ＋ｓ，ｑ＋ｔ，ｆ）を見た視線は、直線
（Ｘ，Ｙ）＝（ｐ，ｑ）＋（１−Ｚ）＊（ｓ，ｔ）・・・（式１）
で表わされる。また、透視座標系における平行光束は、原点Ｏ（０，０，０）から半径ｒａ（いま点（ｓ，ｔ，０）はこの円周上にあるものとする）のレンズを通して、焦点距離−ｆの平面の焦点に集光する。この平行光束は、直交座標系において、（Ｘ，Ｙ）＝（ｐ，ｑ）であるＺ方向に延びる直線を軸とし、（式１）の直線をこの軸の周りに回転した円錐の内部で表される。
【００２５】
レンズを使用することは、光束の情報を含むことになる。そして、撮像空間においてｚ値の異なる多数の面があり、ある面に焦点を合わせると、他の面では焦点ぼけが発生することとなるが、ぼけ情報は光束情報を含むものであり、この光束情報に含まれる実空間の情報を抽出できる可能性がある。
【００２６】
図３に直交座標系において、無限遠からの光とＺ方向に並ぶ平面群との関係を示す。図３はＭＦＩ（マルチフォーカスイメージング）モデルで表現したものである。図３は＋側（Ｓｃｅｎｅ側）と−側（Ｉｍａｇｅ側）両方の図を兼ねている。図において、Ｚ方向に並ぶ複数（Ｎ＋１層）のＸＹ平面は、直交座標系では、Ｚ＝０，１／Ｎ，２／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，（Ｎ−２）／Ｎ，（Ｎ−１）／Ｎ，１の位置にある。透視座標系では、＋側でｚ＝ｆ，Ｎｆ／（Ｎ−１），…，Ｎｆ／ｉ，…，Ｎｆ／２，Ｎｆ，∞の位置に対応し、−側でｚ＝−∞，−Ｎｆ，−Ｎｆ／２，…，−Ｎｆ／ｉ，…，−Ｎｆ／（Ｎ−１），−ｆの位置に対応する。＋側で無限遠からの光束が矢印間の斜線部分と見ることができ、−側でレンズ透過後の光束が矢印間の斜線部分と見ることができる。
【００２７】
無限遠からの平行光束は原点Ｏを中心とする半径ｒａ（点（ｓ，ｔ，０）はこの円周上にあるものとする）のレンズを通過する。この光束は、直交座標系で図３に示すように、点（ｐ，ｑ）と無限遠（Ｚ＝１）を結ぶ線を中心軸とし、底面（Ｚ＝０）で半径ｒａ（点（ｐ＋ｓ，ｑ＋ｔ）はこの円周上にある）の円を有する円錐の内部で表される。この平行光束はレンズを通過後、焦点距離−ｆの平面（Ｚ＝１）の焦点に集光し、その後、次第に広がりＺ＝０（ｚ＝−∞に対応する）の平面では、底面（Ｚ＝０）で点（ｐ、ｑ）を中心とする半径ｒａ（点（ｐ＋ｓ，ｑ＋ｔ）はこの円周上にあるものとする）の円となる。すなわち、この光束は点（ｐ、ｑ）と焦点（Ｚ＝１）を結ぶ線を中心軸とし、底面（Ｚ＝０）で半径ｒａの円を有する円錐の内部で表される。したがって、Ｚ方向に並んだＸＹ平面群は、＋側（Ｓｃｅｎｅ側）において、無限遠からの平行光束と円で交わり、その円の中に平行光束の情報を有し、また、−側（Ｉｍａｇｅ側）において焦点（−ｆ）通過後に平行光束と円で交わり、これらの面を撮像面とする撮影画像はこの円の中に平行光束の情報を有している。
【００２８】
このように無限遠からの平行光は焦点に集光するが、実空間、透視座標系でｚ＝Ｎｆ，Ｎｆ／２，…，Ｎｆ／ｉ，…，Ｎｆ／（Ｎ−１），ｆのｘｙ平面に物体（撮影対象）がある場合は、物体からの反射光が発生し、それぞれ、撮像空間、直交座標系でＺ＝（Ｎ−１）／Ｎ，（Ｎ−２）／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，２／Ｎ，１／Ｎ，のＸＹ平面に結像する。これらの場合には、物体からの反射光による光束は、Ｚ＝（Ｎ−１）／Ｎ，（Ｎ−２）／Ｎ，…，（Ｎ−ｉ）／Ｎ，…，２／Ｎ，１／Ｎ，０の平面を頂点とする＋−両側に広がる円錐で表される。したがって、＋側（実空間側）において各ＸＹ平面は物体からの反射光と円で交わり、その円の中に物体（撮影対象）の情報を有している。また、−側（撮像空間側）において各ＸＹ平面はレンズ透過光と円で交わり、これらの面を撮像面とする撮影画像はこの円の中に物体（撮影対象）の情報を有している。ここに、実空間でｎ層目のＸＹ平面の情報（明るさ）をｆ（Ｘ，Ｙ，Ｚｎ）＝ｆｎ（Ｘ，Ｙ）、ｎ層目のＸＹ平面に焦点を合わせて撮影された画像、即ち，撮像空間でｎ層目のＸＹ平面で得られる取得画像をｇ（Ｘ，Ｙ，Ｚｎ）＝ｇｎ（Ｘ，Ｙ）とする。なお、Ｚｎ＝ｎ／Ｎである。
【００２９】
ＭＦＩモデルでは、レンズを通る全ての光線が使用されるので、円錐の内側で光束は連続的であり、円錐内の全ての情報を含んでいる。これにより、焦点の異なるＮ枚の取得画像ｇｎ（Ｘ，Ｙ）に基づいて、レンダリングにより任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できる。
【００３０】
図４に、３次元ぼけフィルタを介した実空間情報（＋ｚ側）（Ｓｃｅｎｅ）と撮影画像（−ｚ側）（Ｉｍａｇｅ）群との関係を示す。図４（ａ）は撮影対象を含む実空間情報、撮影画像、３次元ぼけフィルタの関係を模式的に示し、図４（ｂ）は３次元ぼけフィルタの概念を模式的に示す。実空間情報ｆ（Ｘ，Ｙ，Ｚ）と撮影画像群ｇｎ（Ｘ，Ｙ）を統合した統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）とはフィルタｈ（Ｘ，Ｙ，Ｚ）により関係付けられる。すなわち、実空間情報ｆ（Ｘ，Ｙ，Ｚ）にフィルタｈ（Ｘ，Ｙ，Ｚ）を作用することにより、統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）を得る。撮像画像群ｇ（Ｘ，Ｙ，Ｚｎ）＝ｇｎ（Ｘ，Ｙ）は焦点合わせを変化させて、すなわち撮像面を変えて撮影した画像群であり、焦点が合う平面上の物体は明瞭な画像として、焦点が合わない平面上の物体は焦点ぼけした不明瞭な画像として撮影される。そして、撮像画像群ｇｎ（Ｘ，Ｙ）を統合したものが統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）といえる。フィルタは、各ＸＹ平面上（１＝＜ｎ＝＜Ｎ）で焦点が合うように撮影した場合の、各ＸＹ撮像面（１＝＜ｎ＝＜Ｎ）で得られる焦点ぼけの程度を表すフィルタである。模式的には、焦点が合う平面を頂点とする＋−両側に広がる円錐で表される。すなわち、図４（ｂ）に示すように焦点に近いほどＸＹ平面と交わる円は小さく、ぼけの程度が低く、焦点から遠いほどＸＹ平面と交わる円は大きく、ぼけの程度も大きくなる。
【００３１】
幾何光学において、焦点合わせの異なる複数の撮影面を関連付けるぼけ行列は
【数１】
と表現される。このぼけ行列を畳み込み演算のフィルタとして表現すると、
【数２】
と表される。
これを周波数領域で表すと、
【数３】
と表される。
【００３２】
図５は実空間情報（Ｓｃｅｎｅ）ｆ（Ｘ，Ｙ，Ｚ）、撮影画像（Ｉｍａｇｅ）群ｇ（Ｘ，Ｙ，Ｚｎ）、フィルタｈ（Ｘ，Ｙ，Ｚ）の関係を模式的に示す。図５（ａ）はＭＦＩモデルを示す。３次元形状を有する（ここでは形状がＸ，Ｚ方向に変化し、Ｙ方向に一様である）物体（撮影対象）Ｑを太線で示し、Ｚ方向に並ぶ各ＸＹ平面に焦点を合わせて撮影した場合の光線の状況を示す。図５（ａ）において、焦点は観察方向を表わす光線の交点で示され、光線は光束内で連続的である。光線の広がりは撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）のぼけの程度を表している。ｆ（Ｘ，Ｙ，Ｚ）＝０の何もない領域もぼけているとみなせる。
【００３３】
図５（ｂ）は実空間情報ｆ（Ｘ，Ｙ，Ｚ）と撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）とをフィルタｈ（Ｘ，Ｙ，Ｚ）で結合する過程を示す。すなわち、焦点が合った撮像面では明瞭な画像が得られるが、焦点が合わない撮像面ではぼけを含む画像が得られる。フィルタｈ（Ｘ，Ｙ，Ｚ）はこのような変換フィルタの機能を有している。
【００３４】
次に、３次元ぼけフィルタｈ（Ｘ，Ｙ，Ｚ）の性質を考える。実空間情報ｆ（Ｘ，Ｙ，Ｚ）に対応する撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）を考える。例えば実空間ｆ（Ｘ，Ｙ，Ｚ）を１つの方向から観察した場合、視線に直交しかつ焦点が合う撮像面で明瞭に観察でき、焦点が合わない面ではぼけて観察される。これは、例えばｎ＝１〜５の各撮像面に適用される。このようなフィルタがｈ（Ｘ，Ｙ，Ｚ）である。
【００３５】
この関係はフーリエ空間でも適用される。実空間情報ｆ（Ｘ，Ｙ，Ｚ）に対応するフーリエ空間をＦ（ｕ，ｖ、ｗ）、撮影画像群ｇ（Ｘ，Ｙ，Ｚｎ）に対応するフーリエ空間での統合的フーリエ変換撮影画像をＧ（ｕ，ｖ、ｗ）、フィルタｈ（Ｘ，Ｙ，Ｚ）に対応するフーリエ空間でのフィルタをＨ（ｕ，ｖ、ｗ）とする。フーリエ空間ではフィルタＨ（ｕ，ｖ、ｗ）は（式３）で表され、良好に観察できる周波数領域を抽出する。また、後述するように、フーリエ空間では周波数成分で表現することにより、統合的撮像空間ｇ（Ｘ，Ｙ，Ｚ）に基づいて、特定の周波数成分を抽出し、コンピュータ演算することにより、任意の視点、焦点合わせ、絞りの画像を生成できる。
【００３６】
フーリエ変換画像Ｆ（ｕ，ｖ、ｗ）は実空間情報ｆ（Ｘ，Ｙ，Ｚ）のフーリエ変換画像である。また、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）は各層の撮影画像群ｇｎ（Ｘ，Ｙ）をコンピュータ演算等により統合処理しフーリエ変換したものである。
【００３７】
図６は３次元ぼけフィルタの周波数特性例を示す。図６（ａ）は実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）に３次元ぼけフィルタＨ（ｕ，ｖ，ｗ）をかけて統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）が抽出される過程を示す。フィルタＨ（ｕ，ｖ，ｗ）は（式３）で表されるものである。このフィルタは、ＭＦＩモデルでは、光束に垂直な平面群に係る周波数成分を抽出するものである。図６（ｂ）はレンズのぼけがガウス分布となっている場合のフィルタＨ（ｕ，ｖ，ｗ）の例である。原点Ｏ（０，０，０）ではデルタ関数で抽出され、ｕｖ平面上ではＨ（ｕ，ｖ，ｗ）≠０なので抽出されるが、ｗ軸上では原点を除いてＨ（ｕ，ｖ，ｗ）＝０なので抽出されない。図６（ｃ）はピンホールカメラの場合のフィルタＨ（ｕ，ｖ，ｗ）の例で、ｕｖ平面上のみ抽出される。
【００３８】
図７は、原点Ｏ（０，０，０）（以下（０，０）と省略して示す。）から（ｓ，ｔ，０）（以下（ｓ，ｔ）と省略して示す。）ずれた位置から半径ｒのアイリスを有する仮想カメラで撮影した場合を説明するための図である。図７（ａ）は実空間像ｆ（Ｘ，Ｙ，Ｚ）から撮像空間における焦点合わせの異なる視覚イメージ画像群ａ（Ｘ，Ｙ，Ｚｎ）＝ａｎ（Ｘ，Ｙ）を得るもので、フィルタｈａ（Ｘ，Ｙ，Ｚ；ｒ，ｓ，ｔ）は、図７（ａ）のようにレンズを通る光束が傾斜した円錐領域を通るものに対応する。なお、これらの視覚イメージ画像群を統合したものが選択的生成画像ａ（Ｘ，Ｙ，Ｚ）である。図７（ｂ）はフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）から特定の周波数成分を抽出した選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を得るもので、これに対応するフーリエ空間のフィルタは、図７（ｂ）のように傾斜した平面群に係る周波数領域を抽出するフィルタＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）となる。このように、原点Ｏ（０，０）からずれた位置（ｓ，ｔ）から半径ｒのアイリス（絞り）を有する仮想カメラで撮影した場合においても、フィルタを用いて、特定の周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を取得可能であり、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）をさらにフーリエ逆変換すれば選択的生成画像ａ（Ｘ，Ｙ，Ｚ）を生成でき、これを任意のＸＹ面で切り出すことにより、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像ａｎ（Ｘ，Ｙ）＝ａ（Ｘ，Ｙ，Ｚｎ）を生成可能であるといえる。
【００３９】
ここにおいて、仮想カメラで視点（ｓ，ｔ）からアイリスｒで撮影した場合の３次元ぼけフィルタは（式４）で表され、周波数空間では（式５）で表される。
【数４】
【００４０】
図８は、フーリエ空間における、撮影で取得される撮影画像Ｇ（ｕ，ｖ，ｗ）とコンピュータ演算により生成される生成画像（選択的フーリエ変換画像）Ａ（ｕ，ｖ，ｗ）間の関係を示す。実空間情報ｆ（Ｘ，Ｙ，Ｚ）のフーリエ変換画像をＦ（ｕ，ｖ，ｗ）、半径ｒａのアイリスを用いて、原点から撮影したときの撮影画像をＧ（ｕ，ｖ，ｗ）、そのときのフィルタをＨ（ｕ，ｖ，ｗ）、原点（０，０）からずれた位置（ｓ，ｔ）から半径ｒのアイリスを有するカメラで撮影したと仮定してコンピュータ演算により生成される選択的フーリエ変換画像をＡ（ｕ，ｖ，ｗ）、そのときのフィルタをＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）とすると、
Ｇ（ｕ，ｖ，ｗ）＝Ｈ（ｕ，ｖ，ｗ）Ｆ（ｕ，ｖ，ｗ） ・・・（式６）
Ａ（ｕ，ｖ，ｗ）＝Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｆ（ｕ，ｖ，ｗ）・・・（式７）
が成立する。
【００４１】
これにより周波数領域における、撮影画像Ｇ（ｕ，ｖ，ｗ）と選択的フーリエ変換画像（視覚イメージ画像をフーリエ変換したもの）Ａ（ｕ，ｖ，ｗ）の関係は、
Ａ（ｕ，ｖ，ｗ）＝Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１Ｇ（ｕ，ｖ，ｗ）・・・（式８）
となる。このことは、ＭＦＩで取得された画像から、任意の視点、絞り、焦点合わせに相当する選択的生成画像ａ（Ｘ，Ｙ，Ｚ）を生成可能なことを意味する。
【００４２】
図９は、視覚イメージ画像が生成可能な場合の条件を示す。これは取得した複数枚の撮影画像群ｇｎ（Ｘ，Ｙ）の情報中に生成される視覚イメージ画像ａｎ（Ｘ，Ｙ）の情報が存在する場合に生成可能ということである。すなわち、取得した撮影画像に係る３次元ぼけフィルタがＨ（ｕ，ｖ，ｗ）＝０となる領域に、生成される画像の３次元ぼけフィルタでＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）≠０となる領域が存在すれば、Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１が定まらず、イメージ画像を得ることができない。また、Ｈ（ｕ，ｖ，ｗ）≠０となる領域にのみ、Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）≠０となる領域が存在すれば、すべての領域でＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１が定まり、視覚イメージ画像ａｎ（Ｘ，Ｙ）の生成が可能である。
【００４３】
図１０に本実施の形態におけるイメージング装置の構成例を示す。
図１０において、Ｑは撮影対象である。１はイメージング装置であり、演算処理、制御処理を行う演算制御装置２、撮影画像を取得する画像取得手段８としての撮像装置、取得した撮影画像、演算過程や演算結果で生成された画像を記憶する画像記憶手段９、取得した撮影画像、演算過程や演算結果で生成された画像を表示する画像表示手段１０等から構成される。演算制御装置２は、焦点ぼけ構造を持つ撮影画像群ｇｎ（ｘ，ｙ）を統合及びフーリエ変換してフーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を形成するフーリエ変換・統合手段３、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）からフィルタ処理を用いて任意の視点、絞り、焦点合わせに適応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する周波数成分抽出手段５、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換及び切出して、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（Ｘ，Ｙ）を生成する逆フーリエ変換・切出手段６、イメージング装置１を構成する各手段を制御して、イメージング装置１としての機能を果たさせる制御手段７等から構成される。また、撮像装置８は焦点合わせに応じて撮像面の位置が可変に構成され、焦点合わせの異なる撮影画像群ｇｎ（ｘ，ｙ）、すなわち、焦点ぼけ構造を持つ撮影画像群を撮影可能である。
【００４４】
図１１に本実施の形態におけるイメージング方法の処理フロー例を示す。
まず、画像取得手段としての撮像装置８により、撮影対象１に関する焦点ぼけ構造を持つ撮影画像群ｇｎ（ｘ，ｙ）を撮影し、取得する（画像取得工程：ステップＳ００１）。撮像面は、直交座標系で等間隔になるように調整される。次に、撮影により取得した焦点ぼけ構造を持つ撮影画像群ｇｎ（ｘ，ｙ）を画像記憶手段９に記憶する（取得画像記憶工程：ステップＳ００２）。画像記憶手段９への記憶は、演算制御装置２の演算過程や演算結果が得られた段階等でも可能である。次に、フーリエ変換・統合手段３により、これらの撮影画像群ｇｎ（ｘ，ｙ）を統合及び座標変換して統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）とし、次いで、統合的撮影画像ｇ（Ｘ，Ｙ，Ｚ）をフーリエ変換して、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を得る（フーリエ変換・統合工程：ステップＳ００３）。
【００４５】
次に、周波数成分抽出手段５により、フィルタ処理を用いて、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）から任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する（周波数成分抽出工程：ステップＳ００４）。詳しくは、（式８）を用い、統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）にＨａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１を作用させて演算し、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を形成する。ここでは、必ずしも実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求める必要はなく、Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）Ｈ（ｕ，ｖ，ｗ）−１を１つの演算子として作用させている。なお、実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求めても良いが、その精度は撮影画像群ｇｎ（Ｘ，Ｙ）の層数や層間隔に依存するので、その値にある程度の広がりが生じる。
【００４６】
次に、逆フーリエ変換・切出手段６により、抽出された選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）を逆フーリエ変換して、選択的生成画像ａ（Ｘ，Ｙ，Ｚ）とし、次いで、選択的生成画像ａ（Ｘ，Ｙ，Ｚ）を座標変換し、任意の視点、絞り、焦点合わせに相当する撮影対象Ｑに関する視覚イメージ画像ａｎ（ｘ，ｙ）を切出し生成する（逆フーリエ変換・切出工程：ステップＳ００５）。次に、画像表示手段１０に生成された視覚イメージ画像ａｎ（ｘ，ｙ）を表示する（イメージ画像表示工程：Ｓ００６）。
【００４７】
ここにおいて、フーリエ変換・統合工程（ステップＳ００３）において、まず、撮影画像群ｇｎ（ｘ，ｙ）をフーリエ変換してフーリエ変換撮影画像群Ｇｎ（ｕ，ｖ）とし、次いで、これを統合及び座標変換して統合的フーリエ変換撮影画像Ｇ（ｕ，ｖ，ｗ）を得ても良い。また、逆フーリエ変換・切出工程（ステップＳ００５）において、選択的フーリエ変換画像Ａ（ｕ，ｖ，ｗ）から、視覚イメージ画像のフーリエ変換画像Ａｎ（ｕ，ｖ）を抽出し、これを逆フーリエ変換及び座標変換して、視覚イメージ画像ａｎ（ｘ，ｙ）を生成しても良い。また、座標変換と統合の順序はどちらを先にしても良く、座標変換と切出の順序もどちらを先にしても良い。
【００４８】
図１２は、撮影画像群から生成される視覚イメージ画像の第１の例を示す。最も左側の列にアイリスｒａ＝１．０、（ｓ，ｔ）＝（０，０）として撮影した複数枚（６４枚）のＭＦＩ撮影画像群ｇｎ（Ｘ，Ｙ）を示す。撮影対象の形状は三面鏡のように真中の部分が奥側になっている。これら撮影画像群ｇｎ（Ｘ，Ｙ）の右側に矢印を介して、これらの画像群ｇｎ（Ｘ，Ｙ）に基づいて生成された視覚イメージ画像ａｎ（Ｘ，Ｙ）を示す。視覚イメージ画像ａｎ（Ｘ，Ｙ）の左側の列にはアイリスｒ＝０．０（ピンホール）、右側の列にはアイリスｒ＝０．２の場合を、いずれも（ｓ，ｔ）＝（０，０）の状態で示す。図１２では、Ｚ＝１６，２８，４０に焦点を合わせた画像を抽出して示す。ｒ＝０．２の状態では、画像のボケは、アイリスｒ＝０とｒ＝１の間にあることが解る。
【００４９】
図１３は、撮影画像群から生成される視覚イメージ画像の第２の例を示す。最も左側の列のＭＦＩ撮影画像群ｇｎ（Ｘ，Ｙ）は図１２と同じである。これら撮影画像群ｇｎ（Ｘ，Ｙ）の右側に矢印を介して、これらの画像群ｇｎ（Ｘ，Ｙ）に基づいて生成された視覚イメージ画像ａｎ（Ｘ，Ｙ）を示す。５行×５列の視点の異なる画像を得ることができた。これらの視覚イメージ画像については、アイリスｒ＝０．０であり、ｓ，ｔはそれぞれ、−０．５、−０．２５，０，＋０．２５，＋０．５の５段階を示す。左側の列ほど撮影対象Ｑの左側から、右側の列ほど撮影対象Ｑの右側から、上側の行ほど撮影対象Ｑの上側から、下側の行ほど撮影対象Ｑの下側から見えているのが解る。
【００５０】
図１４は、撮影画像群から生成される視覚イメージ画像の第３の例を示す。最も左側の列のＭＦＩ撮影画像群ｇｎ（Ｘ，Ｙ）は図１２と同じである。これら撮影画像群ｇｎ（Ｘ，Ｙ）の右側に矢印を介して、これらの画像群ｇｎ（Ｘ，Ｙ）に基づいて生成された視覚イメージ画像ａｎ（Ｘ，Ｙ）を示す。３列の視覚イメージ画像を得ることができた。図１４では、Ｚ＝１６，２８，４０に焦点を合わせた画像を抽出して示す。これらの視覚イメージ画像については、アイリスｒ＝０．２であり、左側の列では（ｓ，ｔ）＝（＋０．５，０．０）、中央の列では（ｓ，ｔ）＝（０．０，−０．５）、右側の列では（ｓ，ｔ）＝（−０．２５，＋０．２５）における画像である。それぞれの列で、撮影対象Ｑの右側、下側、左上側から少しぼけて見えているのが解る。
【００５１】
以上より、焦点ぼけ構造を持つ撮影画像群から任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成できることが解る。
【００５２】
［第２の実施の形態］
次に第２の実施の形態について説明する。
本実施の形態では、視点を変えて撮影した画像群から、フィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する画像を生成する例を説明する。
【００５３】
図１５は本実施の形態におけるイメージング方法を説明するための図である。広角カメラを横一列に並べてオーバーラップするように撮影する例である。これにより、異なる視点から観察された撮影対象の撮影画像群を取得することができる。これらの視点が異なる撮影画像を比較すると、撮影対象の或る１点から様々な方向に発する光線が含まれている。このことは、視点を変えて撮影した撮影画像は本質的にある仮想レンズについての焦点ぼけ情報を含むことを意味しており、視点を変化させた多数の撮影画像により、焦点ぼけ構造を持つ撮影画像群を構成できる。この場合、撮影対象の任意の点についてできるだけ広範囲の撮影画像に含まれることが好ましいので、広角カメラを用いることが望ましく、またできるだけ広範囲の視点から撮影することが好ましい。以上により、これら視点の異なる撮影画像群を元にして、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。例えば、矢印で示される視点からみた視覚イメージ画像を生成可能である。なお、広角カメラを平面内に２次元アレイ状に配置しても、焦点ぼけ構造を持つ撮影画像群を構成でき、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。
【００５４】
［第３の実施の形態］
次に第３の実施の形態について説明する。本実施の形態も第２の実施の形態と同様に、視点を変えて撮影した画像群から、フィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する画像を生成する例である。
【００５５】
図１６は第３の実施の形態におけるイメージング方法を説明するための図である。第２の実施の形態で述べた複数の広角カメラを撮影対象を取り囲むように円環状に配置して撮影する例を示す。これにより、異なる視点から観察された撮影対象物の多数の撮影画像を取得することができる。しかも撮影対象の周囲３６０度からの情報を得ることができる。これら視点の異なる撮影画像群を元にして、撮影対象の周囲３６０度からの視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。例えば、図中の三角形で示される視点からみた視覚イメージ画像を生成可能である。また、大小さまざまなカメラが混在しても良く、また、カメラの配置は円環状でなくても撮影対象を一周するように取り囲んで配置されていれば良く、また、撮影対象を半球状（ドーム状）に取り囲んで配置されていても良い。また、視覚化の範囲が３６０度未満でも、その部分のみを円弧状に囲んでいれば良い。
【００５６】
［第４の実施の形態］
本実施の形態は、第１の実施の形態と第２の実施の形態又は第３の実施の形態を組み合わせるものである。すなわち、撮影対象に関し、焦点合わせ及び視点を変えて撮影した複数の画像から、フィルタ処理を用いてレンダリングすることにより、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を作成するものである。
例えば広角カメラを横一列に並べてオーバーラップするように撮影し、さらにそれぞれの広角カメラについて、撮像面を動かしながら焦点合わせを変えて撮影する。これにより、いわば、第１の実施の形態及び第２の実施の形態を合わせた撮影画像群が得られ、これらの撮影画像群に基づいて、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。
【００５７】
［第５の実施の形態］
非特許文献２において、複数方向からの光線を用いて撮影した撮影画像に基づいて、レンダリングを行なうことにより、焦点合わせの異なる複数の画像が得られることが実証されている。したがって、複数の視点からの撮影画像を用いて、焦点合わせの異なる画像群が得られれば、第１の実施の形態で説明した原理と手法によって、任意の視点、絞り、焦点合わせに相当する視覚イメージ画像を生成可能である。
【００５８】
［第６の実施の形態］
以上の実施の形態では、単色光を想定して説明したが、色彩の異なる複数の光線を用いて、任意の視点、絞り、焦点合わせの彩色画像を生成しても良い。色彩の異なる光線に同一の視点、絞り、焦点合わせを採用することはもちろん可能であるが、色彩毎に視点、絞り、焦点の異なる画像を生成することも可能である。この場合、フーリエ変換・統合工程、周波数成分抽出工程、逆フーリエ変換・切出工程を色彩毎に行なう。これにより、従来とは異なる構成、雰囲気の視覚イメージ画像を提供できる。
【００５９】
［第７の実施の形態］
以上の実施の形態では、静止画像を想定して説明したが、動画像に適用することも可能である。例えば、視点又は焦点合わせの少なくとも１つを時間的に変化させて視覚イメージ画像を生成することにより、動的画像を得ることが可能である。また、画像取得手段８としても撮像装置にビデオカメラを使用し、撮影対象の動的振る舞いを時系列的に、視点又は焦点合わせを変えて撮影した撮影画像群を画像記憶手段９に蓄積しておき、動画編集手段を設けて、動的振る舞いについて編集することにより、任意の視点、絞り、焦点合わせに相当する動的視覚イメージ画像を生成可能である。
この場合、プレノプティックカメラに比して少ない情報量で任意の視点、絞り、焦点合わせに相当する動的視覚イメージ画像を生成可能なので、高速処理が可能であり、本発明は動画の分野に適していると解される。
【００６０】
また、本発明は以上の実施の形態における焦点ぼけ構造を用いるイメージング方法を、コンピュータに実行させるためのプログラムとして、また当該プログラムを記録したコンピュータ読み取り可能な記録媒体としても実現可能である。プログラムは、コンピュータに内蔵のＲＯＭに記録して用いても良く、ＦＤ、ＣＤ−ＲＯＭ、内蔵又は外付けの磁気ディスク等の記録媒体に記録し、コンピュータに読み取って用いても良く、インターネットを介してコンピュータにダウンロードして用いても良い。
【００６１】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、実施の形態に種々変更を加えられることは明白である。
【００６２】
例えば、以上の実施の形態では、フィルタ処理は（式２）、（式３）で具体的に示される例について説明したが、これに限られるものではなく、例えば視点を変化させる場合、魚眼レンズ、レンチキュラレンズを用いる場合等には、異なる関数（例えば、ガウス分布に限られず、円筒型、階段状円筒型やこれらを変形したもの等）となる。また、以上の実施の形態では、実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求めない例を説明したが、統合的フーリエ変換撮影画像Ｇ（ｕ、ｖ，ｗ）から実空間情報のフーリエ変換画像Ｆ（ｕ，ｖ，ｗ）を求め、これを逆フーリエ変換してｆ（Ｘ，Ｙ，Ｚ）とし、これから視覚イメージ画像ａｎ（Ｘ，Ｙ）を合成し、座標変換して、視覚イメージ画像ａｎ（ｘ，ｙ）を生成しても良く、また、これらの順序を変更することも可能である。また、焦点ぼけに係る４次元以上のフィルタとして、視点を変える場合における２次元空間座標内に２次元空間座標を形成する場合のフィルタ、３次元空間座標内にさらに３次元空間座標を形成する場合のフィルタ等が考えられる。また、焦点合わせを変える方法として撮像面の位置を移動する例を説明したが、顕微鏡のように撮影対象をステージに搭載する場合には、ステージを移動しても良い。また、撮影装置については、通常のカメラや広角カメラに限られず、赤外線カメラ、望遠鏡や顕微鏡（電子顕微鏡を含む）等にも適用可能である。また、画像群の撮影画像の枚数や撮影画像間の焦点合わせの間隔、視点を変える場合のカメラ配置等は状況に応じて種々変更可能である。
【産業上の利用可能性】
【００６３】
本発明はコンピュータを用いた画像処理技術に利用できる。
【図面の簡単な説明】
【００６４】
【図１】透視座標と直交座標との関係を説明するための図である。
【図２】図１のカメラのピンホールをレンズに置換した場合の透視座標と直交座標との関係を示す図である。
【図３】直交座標系において、無限遠からの光とＺ方向に並ぶ平面群との関係を示す図である。
【図４】３次元ぼけフィルタを介した実空間情報と撮影画像群との関係を示す図である。
【図５】実空間情報、撮影画像群、３次元ぼけフィルタの関係を模式的に示す図である。
【図６】３次元ぼけフィルタの周波数特性例を示す図である。
【図７】原点から（ｓ，ｔ）ずれた位置から半径ｒのアイリスを有する仮想カメラで撮影した場合を説明するための図である。
【図８】フーリエ空間における、撮影で取得される撮影画像とコンピュータ演算により生成される生成画像間の関係を示す図である。
【図９】視覚イメージ画像が生成可能な場合の条件を示す図である。
【図１０】第１の実施の形態におけるイメージング装置の構成例を示す図である。
【図１１】第１の実施の形態におけるイメージング方法の処理フロー例を示す図である。
【図１２】撮影画像群から生成される視覚イメージ画像の第１の例を示す
【図１３】撮影画像群から生成される視覚イメージ画像の第２の例を示す
【図１４】撮影画像群から生成される視覚イメージ画像の第３の例を示す
【図１５】第２の実施の形態におけるイメージング方法を説明するための図である。
【図１６】第３の実施の形態におけるイメージング方法を説明するための図である。
【図１７】従来の方法で得られた焦点合わせの異なる複数の画像を示す図である。
【図１８】プレノプティックカメラについて説明するための図である。
【符号の説明】
【００６５】
１ イメージング装置
２ 演算制御装置
３ フーリエ変換・統合手段
５ 周波数成分抽出手段
６ 逆フーリエ変換・切出手段
７ 制御手段
８ 画像取得手段（撮像装置）
９ 画像記憶手段
１０ 画像表示手段
Ａ（ｕ，ｖ，ｗ） 選択的フーリエ変換画像（周波数空間）
ａ（Ｘ，Ｙ，Ｚ） 選択的生成画像（直交座標）
ａ（Ｘ，Ｙ，Ｚｎ）＝ａｎ（Ｘ，Ｙ） 視覚イメージ画像群（直交座標）
ａｎ（ｘ，ｙ） 視覚イメージ画像群（透視座標）
Ｆ（ｕ，ｖ，ｗ） 統合的フーリエ変換画像（周波数空間）
ｆ（Ｘ，Ｙ，Ｚ） 実空間像（直交座標）
ｆ（ｘ，ｙ，ｚ） 実空間像（透視座標）
Ｇ（ｕ，ｖ，ｗ） 統合的フーリエ変換撮影画像（周波数空間）
ｇ（Ｘ，Ｙ，Ｚ） 統合的撮影画像（直交座標）
ｇ（Ｘ，Ｙ，Ｚｎ）＝ｇｎ（Ｘ，Ｙ） 撮影画像群（直交座標）
ｇｎ（ｘ，ｙ） 撮影画像群（透視座標）
Ｈ（ｕ，ｖ，ｗ） 撮像時の３次元ぼけフィルタ（周波数空間）
ｈ（Ｘ，Ｙ，Ｚ） 撮像時の３次元ぼけフィルタ（実空間）
Ｈａ（ｕ，ｖ，ｗ；ｒ，ｓ，ｔ）視覚イメージ生成時の３次元ぼけフィルタ（周波数空間）
ｈａ（Ｘ，Ｙ，Ｚ；ｒ，ｓ，ｔ）視覚イメージ生成時の３次元ぼけフィルタ（実空間）
Ｎ 層数
ｎ 層番号
Ｏ（０，０） 原点
（ｐ，ｑ） 光線方向
Ｑ 撮影対象
ｆ 焦点距離
ｒａ 撮像時のアイリス（絞り）
ｒ 視覚イメージ生成時のアイリス（絞り）
（ｓ，ｔ） 視点
ｕ，ｖ，ｗ フーリエ変換系における座標
Ｘ，Ｙ，Ｚ 直交座標
ｘ，ｙ，ｚ 透視座標
【特許請求の範囲】
【請求項１】
撮影対象に関する焦点ぼけ構造を持つ撮影画像群を統合及びフーリエ変換して統合的フーリエ変換撮影画像を形成するフーリエ変換・統合手段と；
前記統合的フーリエ変換撮影画像から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像を形成する周波数成分抽出手段と；
前記選択的フーリエ変換画像を逆フーリエ変換及び切出して、前記任意の視点、絞り、焦点合わせに相当する前記撮影対象に関する視覚イメージ画像を生成する逆フーリエ変換・切出手段とを備える；
焦点ぼけ構造を用いるイメージング装置。
【請求項２】
前記焦点ぼけ構造を持つ撮影画像群は、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群である；
請求項１に記載の焦点ぼけ構造を用いるイメージング装置。
【請求項３】
撮影対象に関する焦点ぼけ構造を持つ撮影画像群を取得する画像群取得工程と；
前記画像群取得工程で取得した撮影画像群を統合及びフーリエ変換して統合的フーリエ変換撮影画像を形成するフーリエ変換・統合工程と；
前記統合的フーリエ変換撮影画像から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像を形成する周波数成分抽出工程と；
前記選択的フーリエ変換画像を逆フーリエ変換及び切出して、前記任意の視点、絞り、焦点合わせに相当する前記撮影対象に関する視覚イメージ画像を生成する逆フーリエ変換・切出工程とを備える；
焦点ぼけ構造を用いるイメージング方法。
【請求項４】
前記焦点ぼけ構造を持つ撮影画像群は、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群である；
請求項３に記載の焦点ぼけ構造を用いるイメージング方法。
【請求項５】
請求項３又は請求項４に記載の焦点ぼけ構造を用いるイメージング方法をコンピュータに実行させるためのプログラム。
【請求項１】
撮影対象に関する焦点ぼけ構造を持つ撮影画像群を統合及びフーリエ変換して統合的フーリエ変換撮影画像を形成するフーリエ変換・統合手段と；
前記統合的フーリエ変換撮影画像から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像を形成する周波数成分抽出手段と；
前記選択的フーリエ変換画像を逆フーリエ変換及び切出して、前記任意の視点、絞り、焦点合わせに相当する前記撮影対象に関する視覚イメージ画像を生成する逆フーリエ変換・切出手段とを備える；
焦点ぼけ構造を用いるイメージング装置。
【請求項２】
前記焦点ぼけ構造を持つ撮影画像群は、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群である；
請求項１に記載の焦点ぼけ構造を用いるイメージング装置。
【請求項３】
撮影対象に関する焦点ぼけ構造を持つ撮影画像群を取得する画像群取得工程と；
前記画像群取得工程で取得した撮影画像群を統合及びフーリエ変換して統合的フーリエ変換撮影画像を形成するフーリエ変換・統合工程と；
前記統合的フーリエ変換撮影画像から焦点ぼけに係る３次元以上のフィルタ処理を用いて任意の視点、絞り、焦点合わせに対応する周波数成分を抽出して選択的フーリエ変換画像を形成する周波数成分抽出工程と；
前記選択的フーリエ変換画像を逆フーリエ変換及び切出して、前記任意の視点、絞り、焦点合わせに相当する前記撮影対象に関する視覚イメージ画像を生成する逆フーリエ変換・切出工程とを備える；
焦点ぼけ構造を用いるイメージング方法。
【請求項４】
前記焦点ぼけ構造を持つ撮影画像群は、焦点を異にして撮影した画像群又は視点を変えて撮影した画像群である；
請求項３に記載の焦点ぼけ構造を用いるイメージング方法。
【請求項５】
請求項３又は請求項４に記載の焦点ぼけ構造を用いるイメージング方法をコンピュータに実行させるためのプログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１６】
【図１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１６】
【図１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【公開番号】特開２００７−１２８００９（Ｐ２００７−１２８００９Ａ）
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願番号】特願２００５−３２２８７０（Ｐ２００５−３２２８７０）
【出願日】平成１７年１１月７日（２００５．１１．７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【Ｆターム（参考）】
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願日】平成１７年１１月７日（２００５．１１．７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【Ｆターム（参考）】
[ Back to top ]