ステレオ画像撮像装置
【課題】多焦点レンズ群によって、パンフォーカス性の高いステレオ画像を生成することができるステレオ画像撮像装置を提供する。
【解決手段】撮像画像５１、５２を取得する撮像素子４と、所定の基線長Ｄをもって入射された第１光路Ｌ１の光と第２光路Ｌ２の光とを撮像素子４に導く撮像光学系２と、撮像素子４によって撮像された撮像画像５１、５２を処理する画像処理手段６と、を備えるステレオ画像撮像装置１において、撮像光学系２は、第１の焦点距離をもつ第１レンズ部と第２の焦点距離をもつ第２レンズ部とを少なくとも有する多焦点レンズ群２として構成され、画像処理手段６は、多焦点レンズ群２を介して撮像素子４によって撮像された、第１光路Ｌ１の光による第１撮像画像５１及び第２光路Ｌ２の光による第２撮像画像５２に基づいて、左眼用視差画像６１及び右眼用視差画像６２を生成する。
【解決手段】撮像画像５１、５２を取得する撮像素子４と、所定の基線長Ｄをもって入射された第１光路Ｌ１の光と第２光路Ｌ２の光とを撮像素子４に導く撮像光学系２と、撮像素子４によって撮像された撮像画像５１、５２を処理する画像処理手段６と、を備えるステレオ画像撮像装置１において、撮像光学系２は、第１の焦点距離をもつ第１レンズ部と第２の焦点距離をもつ第２レンズ部とを少なくとも有する多焦点レンズ群２として構成され、画像処理手段６は、多焦点レンズ群２を介して撮像素子４によって撮像された、第１光路Ｌ１の光による第１撮像画像５１及び第２光路Ｌ２の光による第２撮像画像５２に基づいて、左眼用視差画像６１及び右眼用視差画像６２を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視のための視差画像を撮像する技術に関し、特に、多焦点レンズを採用したステレオ画像撮像装置に関する。
【背景技術】
【０００２】
近年、映像コンテンツ（動画、静止画を含む）を三次元立体視することが可能なテレビ、パーソナルコンピュータ、携帯電話機などが一般に広く普及し始めている。立体視の原理は人間の両眼視差に基づくものであり、これら三次元対応機器は両眼視差のある左眼用及び右眼用の視差画像（以下「ステレオ画像」ともいう）をそれぞれ人間の左右の眼に対して与えると、人間は脳内でその視差画像を立体像として再構成して奥行きのある立体像を認識する。ステレオ画像を撮像するための装置としては、光路をミラー又はプリズムにより二分割し、一つの撮像素子に左眼用及び右眼用の視差画像を撮像するステレオアダプタが知られている（例えば、特許文献１参照）。また、二つの撮像光学系を用いてそれぞれ独立に左眼用及び右眼用の視差画像を撮像する二眼式の撮像装置もある。
【０００３】
特許文献１では、撮像レンズの前方に装着されたステレオアダプタが、撮像レンズに入射する光束を視差を有するように左右に二分割し、その二分割された光束を１フレームの半分にそれぞれ左眼用画像及び右眼用画像として撮像する。
【０００４】
図１４は、従来のステレオアダプタにより生成されたステレオ画像の説明図である。ステレオアダプタを取付けない通常のカメラによる撮影では、フレームの高さ方向の長さが垂直画角φに相当し、幅方向の長さが水平画角θに相当する画像１００が得られるが、ステレオアダプタをカメラに取付けると、左眼用視差画像１０１と右眼用視差画像１０２とが得られる。これら各視差画像を適当な立体視用ビューア又は裸眼で観ると、人間の脳内で立体画像１０３が構成される。
【０００５】
ところで、カメラに採用されるレンズは一般的には単焦点であるが、眼鏡、コンタクトレンズなどの視力矯正器具の分野では、遠近両用の二焦点レンズなどが利用されている。二焦点レンズは、例えば、近距離に位置する被写体を撮像するのに適した短い焦点距離をもつレンズ部と、遠距離に位置する被写体を撮像するのに適した長い焦点距離をもつレンズ部とが同一のレンズ面に一体的に構成されたものである。そして、このような二焦点レンズを採用した撮像装置とその画像改質処理方法が提案されている（例えば、特許文献２参照）。
【０００６】
特許文献２では、二焦点レンズを採用した撮像装置において、近距離の被写体にピントの合った画像と遠距離の被写体にピントの合った画像とが重なりあった撮像画像に対して画像改質処理を施すことによって、近距離の被写体及び遠距離の被写体の両方にピントの合った鮮明な画像を取得する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−１５８１６９号公報
【特許文献２】特表２００８−５１６２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述したように、ステレオ画像による三次元立体視は、人間の脳内処理に依存している。このため、左右の視差画像において、視差範囲、奥行き（飛び出し、引っ込み）範囲、被写体のピントなどが適切に設定されていないと、立体視の成立が妨害され、観察者に著しい視覚疲労や不快感（映像酔い）を与える恐れがある。観察者が立体映像を快適に楽しむための一つ条件として、近距離の観察対象である被写体（手前）から遠距離の観察対象である被写体（奥）までの範囲でピントの合ったパンフォーカス性の高い視差画像を撮像することが必要である。
【０００９】
また、観察者が三次元コンテンツを観る場合、その場面に応じて、視点が近距離、中距離、遠距離の被写体グループに順次移ることがある。また、三次元コンテンツの製作者側が注目させたい被写体を場面ごとに変えたいこともある。このため、ステレオ画像の生成に際しては、近距離の被写体と遠距離の被写体との間の範囲（中間距離）における合焦も考慮する必要がある。さらに、観察者の視点がある被写体グループのみにピントを合わせて、他の被写体グループをボケさせるような処理も場合によっては必要となる。
【００１０】
特許文献１に記載された技術によれば、ステレオアダプタによりカメラの撮像光学系（レンズ系）に入射する光路を二分割することができ、左眼用の視差画像と右眼用の視差画像とをフィルムに同時に撮像することができる。しかし、単焦点レンズを採用した従来のステレオアダプタでは、図１４の画像１０１、１０２に示したように、単焦点レンズの被写界深度に位置する被写体についてはピントの合った像Ａが撮像されるが、その被写界深度から外れる被写体についてはピントのボケた像Ｂが撮像され、パンフォーカス性の高い視差画像を得ることが難しい。なお、ステレオアダプタに単焦点レンズを採用した場合、近距離から遠距離まで広くピントの合った視差画像を得るためには、例えば、絞りを閉じてＦ値を大きくすることも考えられる。しかしながら、この場合、光路の分離が適切になされず、左右の視差画像の中央接合部に黒い帯が出現することがある。また、深い被写界深度を得るためにＦ値を大きくすると、入射する光量が減少するため露出不足となり、動画像を撮像したり、速いシャッタースピードが求められる動きのある被写体を撮像したりするには不向きである。
【００１１】
さらに、前述した特許文献１では、撮像素子の撮像面の領域（１フレーム分に相当する）を二分割し、分割された左領域と右領域とに左眼用の視差画像と右眼用の視差画像とが撮像される。このため、各視差画像は、通常（ステレオアダプタを用いない撮像）の場合に比べて、水平方向の大きさ（水平画角）が略半分の画像、すなわち、縦長タイプの画像となる。つまり、図１４に示したように、左眼用視差画像１０１と右眼用視差画像１０２は、基準の通常画像１００と比べると、水平画角が略半分（θ／２）となり、縦長の画像となってしまう。一般的に人間の視野角は、縦方向よりも横方向の方が広いため、横長の画像の方が迫力や臨場感が増加するが、特許文献１に記載のステレオアダプタでは、臨場感のある風景などを撮像した場合、横長タイプ（パノラマ型）の視差画像を生成することができなかった。
【００１２】
本発明は前述した問題に鑑みてなされたものであって、本発明の目的は、パンフォーカス性の高いステレオ画像を生成することができるステレオ画像撮像装置を提供することである。さらに、本発明の他の目的は、撮像素子によって取得された左右の撮像画像を立体視に適するように改質することができるステレオ画像撮像装置を提供することである。また、本発明の目的は、ステレオ画像撮像装置において、立体視に適したパノラマタイプの視差画像を取得することができる光路分割のためのミラー機構を提供することである。加えて、携帯情報端末に適したミラー機構を提供することである。
【課題を解決するための手段】
【００１３】
前述した課題を解決するため、本発明のステレオ画像撮像装置は、撮像画像を取得する撮像素子と、立体視のための両眼視差を与える所定の基線長をもって入射された第１光路の光と第２光路の光とを前記撮像素子の撮像面に導く撮像光学系と、前記撮像素子によって撮像された撮像画像を処理する画像処理手段と、を備えるステレオ画像撮像装置において、前記撮像光学系は、第１の焦点距離をもつ第１レンズ部と前記第１の焦点距離とは異なる第２の焦点距離をもつ第２レンズ部とを少なくとも有する多焦点レンズ群として構成され、前記画像処理手段は、前記多焦点レンズ群を介して前記撮像素子によって撮像された、前記第１光路の光による第１撮像画像及び前記第２光路の光による第２撮像画像に基づいて、左眼用視差画像及び右眼用視差画像を生成することを特徴とする。
【００１４】
また、上記ステレオ画像撮像装置において、前記撮像面の光軸上に位置する点光源を遠距離撮像用の前記第２レンズ部によって結像した位置までの前記撮像面からの距離と、近距離撮像用の前記第１レンズ部によって物体側に結像した位置までの前記撮像面からの距離との比が１００以下であることが好ましい。
【００１５】
また、上記ステレオ画像撮像装置において、前記画像処理手段は、改質フィルタによって前記第１及び第２撮像画像を改質して、前記第１レンズ部の被写界深度に相当する第１範囲、前記第２レンズの被写界深度に相当する第２範囲及び前記第１の範囲又は第２範囲より遠く前記第１及び第２範囲とは異なる第３範囲のボケの信号成分を補正して、左眼用視差画像及び右眼用視差画像を生成することが好ましい。
【００１６】
また、上記ステレオ画像撮像装置において、前記改質フィルタによる改質は、前記第３範囲の水平走査線上の信号を抽出し、フーリエ解析することによって得られた空間周波数の交流成分の累積値が、前記第１及び第２撮像画像に比べて、前記左眼用視差画像及び右眼用視差画像の方が大きくなることが好ましい。
【００１７】
また、上記ステレオ画像撮像装置において、前記改質フィルタは、前記第１及び第２レンズ部のうち、合焦のレンズ部を通る光による合焦のポイントスプレット関数と他方のレンズ部を通る光によるボケのポイントスプレット関数とを用いて求めた前記多焦点レンズ群の代表ポイントスプレット関数に基づいて構成されることが好ましい。
【００１８】
また、上記ステレオ画像撮像装置において、前記改質フィルタは、前記合焦のポイントスプレット関数と前記ボケのポイントスプレット関数との比を、前記第１レンズ部と前記第２レンズ部との面積比とは異なる比に設定されていることが好ましい。また、前記合焦のポイントスプレット関数の少なくも一部は、理想レンズのポイントスプレット関数が適用されることが好ましい。
【００１９】
また、上記ステレオ画像撮像装置において、前記画像処理手段は、前記左眼用視差画像と前記右眼用視差画像とを比較することによって、前記各視差画像における被写体のずれ量を検出し、前記検出されたずれ量に基づいて、光軸方向についての被写体の相対的な位置関係を特定することが好ましい。また、前記画像処理手段は、前記被写体の相対的な位置関係に基づいて、前記各撮像画像又は各視差画像に対して、合焦の領域とボケの領域とを設定し、前記設定された各領域に対して、異なる画像改質処理を実行することが好ましい。
【００２０】
また、上記ステレオ画像撮像装置において、前記画像処理手段は、選択された特定の被写体の領域、前記特定の被写体と略等距離にある被写体の領域、又は前記特定の被写体とそれより近い距離にある被写体の領域を前記合焦の領域に設定することが好ましい。また、前記特定の被写体は、観察者の視点の情報に基づいて選択されることが好ましい。また、前記特定の被写体は、観察者によって入力された被写体の輪郭の情報又は指定領域の情報に基づいて選択されることが好ましい。
【００２１】
また、上記ステレオ画像撮像装置において、前記第１光路の光及び第２光路の光を、前記撮像光学系を介してそれぞれ前記撮像素子の撮像面に導くことが可能に構成されたミラー機構を備え、前記第１レンズ部及び前記第２レンズ部は、直線状の境界線によって分割されており、前記ミラー機構による光路の分割方向と直交するように配置されることが好ましい。
【００２２】
また、上記ステレオ画像撮像装置において、前記ミラー機構は、光を縦方向に分割して前記第１光路及び前記第２光路を形成することが好ましい。また、前記ミラー機構は、前記第１光路を前記撮像面に導くための内側及び外側ミラーを含む第１ミラー群と、前記第２光路を前記撮像面に導くための内側及び外側ミラーを含む第２ミラー群とを有し、前記各内側ミラーは、垂直方向について相互に段違いとなるように配置され、垂直方向に対してそれぞれ第１角度をもって傾斜し、前記各外側ミラーは、垂直方向に対してそれぞれ第２角度をもって傾斜することが好ましい。また、前記第１角度が前記第２角度より大きく、前記第１角度と前記第２角度との差が前記撮像面に対応する垂直画角の１／４であることが好ましい。さらに、前記撮像光学系の入射瞳は、光軸方向について、前記各外側ミラーの後端部より被写体側にあることが好ましい。
【発明の効果】
【００２３】
本発明によれば、ステレオ画像撮像装置に多焦点レンズを採用したので、手前から奥まで広くピントの合ったパンフォーカス性の高い左眼用及び右眼用の視差画像を生成することができる。また、立体視のための視差画像に適した画像改質処理を実行することができる。各視差画像のずれ量を算出できるので、被写体グループのおおよその前後の距離関係を推定することができ、ステレオ画像において、観察者の視点のある特定の範囲を改質することができる。さらに、光路を上下に分割することができるミラー機構を備えるので、パノラマタイプの臨場感のあるステレオ画像を取得することができる。その他の効果については、発明を実施するための形態において述べる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態のミラー機構を採用したステレオ画像撮像装置の概略構成図
【図２】（Ａ）（Ｂ）は、二焦点レンズ及び撮像素子の配置の一例を示す図
【図３】ステレオ画像の第１例の説明図
【図４】原画像の説明図
【図５】画像改質の様子を示す説明図
【図６】雑音低減の様子を示す説明図
【図７】画像再生処理を示すフローチャート
【図８】ずれ量検出処理の説明図
【図９】（Ａ）（Ｂ）（Ｃ）は、本発明の実施形態のミラー機構の概略の上面構成図、正面構成図、側面構成図
【図１０】（Ａ）（Ｂ）は、ミラー機構における各ミラーの傾きと垂直方向の光路の一部の様子を示す説明図
【図１１】（Ａ）（Ｂ）は、二焦点レンズ及び撮像素子の配置の他の一例を示す図
【図１２】ステレオ画像の第２例の説明図
【図１３】本発明の実施形態の二眼式のステレオ画像撮像装置の概略構成図
【図１４】従来のステレオアダプタによるステレオ画像の説明図
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について図面を参照して説明する。なお、本発明は、以下の例に限定されるものではない。
【００２６】
本発明のステレオ画像撮像装置は、両眼視差を与えるための所定の基線長Ｄをもって入射された第１光路Ｌ１の光と第２光路Ｌ２の光とを用いて、被写体に対する左右の両眼視差があるステレオ画像（左眼用視差画像及び右眼用視差画像）を生成する装置であり、多焦点レンズ群として構成された撮像光学系を備えている。具体的なステレオ画像撮像装置としては、ミラー機構を採用したものでもよいし、二眼式のものであってもよい。
【００２７】
本発明のステレオ画像撮像装置は、三次元コンテンツ（適当な手段によって立体視可能な静止画像データ、動画像データ）を撮像するためのカメラに適用することができる。本装置は、多焦点レンズを光学撮像系に採用したので、大きな絞り値（Ｆ値）を設定しなくてもパンフォーカス性の高い画像が得られる。このため、比較的高い露出で被写体を撮像することでき、特に動画像の撮像に好適である。また、本発明のステレオ画像撮像装置は、携帯電話、パーソナルコンピュータ、タブレット端末、携帯型ゲーム機などの各種情報端末に搭載してもよい。なお、ミラー機構を脱着可能な構成としたり、二眼レンズの一方だけを使用可能な構成とすることにより、二次元画像の撮像と三次元画像の撮像とを切り換えられるようにすることもできる。
【００２８】
図１は、ミラー機構を採用したステレオ画像撮像装置の一実施形態における概略構成図である。本実施形態のステレオ画像撮像装置１は、撮像光学系２、撮像素子４、画像処理手段６、ミラー機構８を備える。なお、本明細書では、説明のため、ステレオ画像撮像装置１は略水平に置かれているものとし、光軸Ｌ０を基準として、垂直方向（高さ方向）をＸ方向、水平方向（幅方向）をＹ方向とし、光軸Ｌ０の方向（奥行き方向）をＺ方向とする。基線長Ｄの方向はＹ方向に平行である。基線長Ｄは、負担の少ない立体視のために、人間の瞳孔間間隔（約５〜６．５ｃｍ）に近い長さであることが好ましいが、本発明を適用する装置に応じて、より短い又は長い長さ（例えば、数ｍｍ〜１メートル）としてもよい。
【００２９】
本発明の撮像光学系２は、多焦点レンズ群であり、対物側の合焦の距離に位置する被写体を撮像素子４の撮像面に結像する。以下、本明細書では、その説明において、撮像光学系２を単に多焦点レンズ群２と記載することもある。多焦点レンズ群２は、一枚の多焦点レンズ２０によって構成されていてもよいし、半円レンズや多焦点レンズのように、部分的に焦点の異なるレンズを一枚又は複数枚と通常のレンズとを組み合わせたレンズ群２５であってもよい。多焦点レンズ群２は、物体側について、第１の焦点距離をもつ第１レンズ部２１と、第２の焦点距離をもつ第２レンズ部２２とを少なくとも有する。以下、簡単のため、多焦点レンズ群２が一枚の多焦点レンズ２０によって構成されるものとして扱い、多焦点レンズ２０が第１レンズ部２１と第２レンズ部２２とを有すると説明するが、多焦点レンズ群２の構成はこれに限定されるものではない。第１レンズ部２１は、光軸Ｌ０上の第１範囲にある被写体Ａを撮像するのに適しており、第２レンズ部２２は、第２範囲にある被写体Ｂを撮像するのに適している。第１範囲は第１レンズ部２１の被写界深度に相当し、第２範囲は第２レンズ部２２の被写界深度に相当する。なお、本明細書において、光軸Ｌ０上の第１範囲又は第２範囲よりも遠距離において、第１範囲及び第２範囲以外の任意の領域を第３範囲とする。図１においては、第１範囲と第２範囲との中間の範囲を第３範囲としている。
【００３０】
例えば、第１レンズ部２１を短い焦点距離を有する近距離撮像用のレンズとし、第２レンズ部２２を長い焦点距離を有する遠距離撮像用のレンズとして構成してもよい。なお、多焦点レンズの構成はこれに限定されず、近距離撮像用のレンズと中距離撮像用のレンズとを組み合わせてもよいし、中距離撮像用のレンズと遠距離撮像用のレンズを組み合わせてもよい。つまり、本発明において使用される多焦点レンズ２０は、焦点距離が互いに異なる第１レンズ部２１と第２レンズ部２２とを有していればよい。また、以下の実施形態においては、多焦点レンズ２０として、特に二つの異なった焦点距離を有する二焦点レンズを中心として説明するが、三つ以上の異なった焦点距離を有するものとしてもよい。以下、多焦点レンズ２０について、単に二焦点レンズ２０と記載することもある。具体的な二焦点レンズ２０の構成は後述する（図２及び図１１参照）。
【００３１】
また、本実施形態では、撮像光学系（多焦点レンズ群）２を固定焦点のレンズ群として構成したが、焦点距離を変化させることができるバリフォーカルレンズ又はズームレンズとして構成することもできる。なお、各レンズ部が有する焦点距離に応じて、第１〜３範囲に相当する距離範囲も異なるものとなる。第１範囲と第２範囲とは重ならないことが好ましいが、一部重畳していてもよい。
【００３２】
二焦点レンズ２０は、ミラー機構を採用した場合は、第１光路Ｌ１の光が入射される領域２０１と第２光路Ｌ２が入射される領域２０２とに分割されるが、第１レンズ部２１及び第２レンズ部２２が各領域に均等に分割されるように配置される。すなわち、領域２０１内の第１レンズ部２１の面積と、領域２０２内の第１レンズ部２１の面積とが等しくなり、領域２０１内の第２レンズ部２２の面積と、領域２０２内の第２レンズ部２２の面積とが等しくなるように配置される。例えば、半円形の第１レンズ部２１及び第２レンズ部２２からなる二焦点レンズ２０の場合は、第１レンズ部２１と第２レンズ部２２との境界の方向が、ミラー機構による光の分割方向と直交するように配置される（図２及び図１１（Ａ）参照）。第１レンズ部２１及び第２レンズ部２２が同心円状に配置された二焦点レンズ２０の場合は、二焦点レンズ２０の中心を通れば何れの方向で分割されてもよい（図１１（Ｂ）参照）。
【００３３】
撮像素子４は、撮像光学系２を介して入射された光を電気信号に変換するセンサであり、所定の大きさの受光領域（撮像面）４０を有する。撮像素子４としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、ＣＣＤ（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等を使用することができる。撮像面４０には、立体視のための左右の視差画像を生成するために、第１光路Ｌ１の光が入射する第１撮像面４１及び第２光路Ｌ２の光が入射する第２撮像面４２が形成される。ミラー機構を採用したステレオ画像撮像装置では、第１撮像面４１及び第２撮像面４２の配置は、ミラー機構８による光路の分割方向と基本的には同じ方向に並行に配置される。撮像面４０における第１撮像面４１及び第２撮像面４２の具体的な構成については、図２及び図１１を用いて後述する。なお、図１においては、一つの撮像素子４の撮像面４０を２分割して第１撮像面４１及び第２撮像面４２を設けているが、第１光路Ｌ１の光が入射する撮像素子と、第２光路Ｌ２の光が入射する撮像素子を設けて、それぞれの撮像素子の撮像面を第１撮像面４１及び第２撮像面４２としてもよい。
【００３４】
画像処理手段６は、撮像素子４によって撮像された撮像画像５１、５２を信号として取得し、それらの撮像画像５１、５２に対して画像改質処理を施して、左眼用及び右眼用の視差画像６１、６２を出力する装置である。画像処理手段６のハードウェア的な構成については、例えば、特許文献２の図１又は図８に記載されたように、アナログ信号を増幅するフロントエンド、アナログ−デジタル変換のためのＡＤ変換器、画像改質処理のための改質フィルタ部、画像信号を補正する補正部、デジタル−アナログ変換のためのＤＡ変換器、及びこれらの各構成要素を制御する制御部などを含む構成とすることができる。
【００３５】
ミラー機構８は、近距離被写体Ａや遠距離被写体Ｂ（説明のため、点として示すが大きさを有するものである）から出た光を分割し、分割された光を撮像光学系２を介して撮像素子４の第１撮像面４１と第２撮像面４２とに導く機構である。ミラー機構８は、第１光路Ｌ１の光を導くための第１ミラー群８１と、第２光路Ｌ２の光を導くための第２ミラー群８２とを有する。第１ミラー群８１は内側ミラー８１ａと外側ミラー８１ｂとを含み、第２ミラー群８２は内側ミラー８２ａと外側ミラー８２ｂとを含む。ミラー機構８の具体的な構成としては、従来と同様に横方向（左右）に光を分割する方式や、図９及び図１０を用いて後述するように縦方向（上下）に光を分割する方式等を使用することができる。ミラー機構８と撮像光学系２を近づけて配置すれば、小型化することが可能である。
【００３６】
また、本実施形態のステレオ画像撮像装置によって生成された左眼用及び右眼用の視差画像は、図示しない表示装置に出力してもよい。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどを使用することができる。表示装置が三次元表示対応であれば、観察者は裸眼で立体映像を観ることができる。また、適当なビューア（立体視用眼鏡）を使用して立体映像を観ることもできる。
【００３７】
本発明のステレオ画像撮像装置は、ミラー機構を脱着可能な構成とし、二次元画像の撮像と三次元画像の撮像と切り換えられるようにすることもできる。また、簡易な操作によって、ミラーを折り畳むことができる構成としてもよい。
【００３８】
以下、図１乃至図３を用いて、横方向（左右）に光路を分割したステレオ画像撮像装置の動作について詳細に説明する。
【００３９】
図２は、横方向に光路を分割したステレオ画像撮像装置における二焦点レンズ及び撮像素子の配置の一例を示す図である。半円形の第１レンズ部２１と半円形の第２レンズ部２２とを有する二焦点レンズ２０を使用した場合、二焦点レンズ２０の中心が光軸上に位置し、且つ第１レンズ部２１及び第２レンズ部２２の配置がミラー機構８による光路の分割方向と直交するように、二焦点レンズ２０は配置される。すなわち、図２に示すように、二焦点レンズ２０は、光路の分割方向である横方向と直交するように、第１レンズ部２１と第２レンズ部２２とが上下に配置されている。また、撮像素子４は、二焦点レンズ２０を含む撮像光学系２（図２では他のレンズについては省略する）の結像面に撮像面４０が位置するように配置される。このため、撮像素子４の撮像面４０は、光路の分割方向と同じく左右に分割され、水平画角が半分（θ／２）である第１撮像面４１及び第２撮像面４２が形成される。
【００４０】
撮像面４０の光軸Ｌ０上に位置する点光源Ｐ０を近距離撮像用の第１レンズ部２１によって物体側に結像した位置Ｐ１までの撮像面４０からの距離をＡ１、同じく遠距離撮像用の第２レンズ部２２によって結像した位置Ｐ２までの撮像面４０からの距離をＡ２とすると、Ａ２／Ａ１が１００以下となるように多焦点レンズ群２の第１レンズ部２１及び第２レンズ部２２を設計することが好ましい。このように設計すると画像改質によって第１範囲と第２範囲の間の第３範囲においてもフォーカスを合わせることができるので、パンフォーカス性の高い画像を得ることができる。特に無限遠の被写体までパンフォーカス性を得るためには、遠距離撮像用の第２レンズ部２２によって結像した位置Ｐ２が過焦点距離の位置となるように第２レンズ部２２を設計することが好ましい。過焦点距離とは、被写界深度の最遠点が無限遠にまで拡がるように焦点合わせをした時の物体距離である。本実施形態では、撮像光学系（多焦点レンズ群）２を固定焦点のレンズ群として構成したが、焦点距離を変化させることができるバリフォーカルレンズ又はズームレンズとして構成してもよい。この場合、焦点距離を変更するとＡ２／Ａ１の値も変わるが、Ａ２／Ａ１が１００以下となる構成を含めば足りる。
【００４１】
図２では、二つの半円形のレンズを組み合わせて円形の二焦点レンズを構成する例を説明したが、これに限定されず、半楕円形又は多角形の各レンズ部を組み合わせて、各レンズ部の配置が光路の分割方向と直交するように配置して構成してもよいし、同心円状の二焦点レンズ（この場合は、各レンズ部の配置は特に制限されない）を用いてもよい。
【００４２】
近距離被写体Ａや遠距離被写体Ｂから出た光の一部は、一点鎖線で示す第１光路Ｌ１に沿って、ミラー機構８の第１ミラー群８１の開口に入射し、他の一部は、二点鎖線で示す第２光路Ｌ２に沿って、ミラー機構８の第２ミラー群の開口に入射する。第１ミラー群８１の開口から入射した光は、外側ミラー８１ｂに反射され、次いで、内側ミラー８１ａで反射され、二焦点レンズ２０の領域２０１を含む撮像光学系２に入射する。そして、撮像光学系２を介して、撮像素子４の第１撮像面４１に収束する。第２ミラー群８２の開口から入射した光も、同様にして、外側ミラー８２ｂ及び内側ミラー８２ａで反射され、二焦点レンズ２０の領域２０２を含む撮像光学系２によって、撮像素子４の第２撮像面４２に収束する。第１撮像面４１及び第２撮像面４２において収束した光は、電気信号に変換され、それぞれ、第１撮像画像５１及び第２撮像画像５２として画像処理手段６に出力される。
【００４３】
図３は、横方向に分割したステレオ画像の説明図である。光路を左右に分割するミラー機構を用いた場合、撮像面４０が左右に二等分されて、通常の水平画角の半分（θ／２）となる縦長の第１撮像面４１と第２撮像面４２とが形成される（図２参照）。このため、図３に示すとおり、撮像される撮像画像５１、５２は縦長の形状（水平画角θ／２）となる。第１撮像面４１及び第２撮像面４２には、二焦点レンズ２０のうちの第１レンズ部２１を通過した光と第２レンズ部２２を通過した光とが収束する。このため、第１撮像画像５１は、第１レンズ部２１により形成される近距離にピントの合った画像成分５１ａと第２レンズ部２２により形成される遠距離にピントの合った信号成分５１ｂとを重ね合わせた信号となる。第２撮像画像５２も同様に信号成分５２ａと信号成分５２ｂとを重ね合わせた信号となる。
【００４４】
各撮像画像は、画像処理手段６によって、画像改質処理が施され、手前の被写体から奥の被写体まで広くピントの合ったパンフォーカス性の高い左眼用視差画像６１及び右眼用視差画像６２（水平画角θ／２）として出力される。画像改質処理の詳細については、図４〜図６を用いて後述する。
【００４５】
そして、左眼用視差画像６１及び右眼用視差画像６２は適用な表示装置によって表示される。観察者は、裸眼で又は適当なビューアを用いて、これらを立体画像７０として認識することができる。
【００４６】
以下、本発明の画像改質処理について説明する。本発明では、二焦点レンズを撮像装置に採用したので、前述したとおり、撮像画像には、第１範囲（近距離）にピントの合った信号成分と、第２範囲（遠距離）にピントの合った信号成分と、いずれの範囲にもピントの合っていないボケの信号成分とが含まれる。このため、そのままでは、合成された画像は不鮮明なものであるので、適当な画像改質処理を実行する必要がある。画像改質処理については、特許文献２に記載された画像改質処理方法（図１、４、５、６、１１）を利用することもできるが、さらに雑音対策を施した画像改質処理方法を利用することが好ましい。なお、ステレオ画像撮像装置は、複数の画像改質処理方法の中から画像改質処理方法をユーザーに選択させるように構成されていてもよい。
【００４７】
特許文献２には、デジタルフィルタなどで構成される改質フィルタ部が、撮像素子から出力されたピントのあった像成分とピントのボケた像成分を含む撮像画像のうち、ピントのボケた像成分を除去し、ピントの合った像成分を抽出することが記載されている。この改質フィルタ部は、改質フィルタ係数列を算出する改質フィルタ係数算出部を含むものである。改質フィルタ係数算出部は、多焦点レンズ（二焦点レンズ）から所定の距離に配置された被写体に対する多焦点レンズのポイントスプレッド関数（以下、単に「ＰＳＦ」ともいう）に基づいて、多焦点レンズの伝達関数を算出し、この伝達関数の逆関数に対して逆フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ：ＦＴ）又は逆高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）等を実行し、逆関数の係数列、すなわち、改質フィルタ係数列を算出する。多焦点レンズと改質フィルタ部との縦続接続による伝達特性は１となるので、この結果、改質フィルタ部を通った出力画像は被写体像と等しくなり、多焦点レンズにより生じたピントのボケた成分を除去したことと等しくなる。
【００４８】
なお、多焦点レンズ（二焦点レンズ）の伝達関数（以下「代表ＰＳＦ」という）は、一般的には、多焦点レンズを構成する第１及び第２レンズ部のうちのいずれか一方を合焦のレンズ部、他方をボケのレンズ部とし、合焦のレンズ部を通る光によるポイントスプレット関数（以下「合焦ＰＳＦ」という）を「ＰＳＦ＿Ｆ」、ボケのレンズ部を通る光によるポイントスプレット関数（以下「ボケＰＳＦ」という）を「ＰＳＦ＿Ｂ」とし、合焦のレンズ部の光の量(％)を「Φｆ」、ボケのレンズ部の光の量(％)を「Φｂ」とすると、以下の式のように表わされる。
ＰＳＦ＿Ｄｏｕｂｌｅ＝Φｆ×ＰＳＦ＿Ｆ＋Φｂ×ＰＳＦ＿Ｂ・・・（１）
【００４９】
Φｆ及びΦｂは、合焦のレンズ部とボケのレンズ部を通る光の量を それぞれ「Ｌｆ」「Ｌｂ」とし、全体の光の量は「Ｌ」＝Ｌｆ＋Ｌｂとすると、以下のように示される。
Φｆ＝Ｌｆ／Ｌ、 Φｂ＝Ｌｂ／Ｌ・・・（２）
【００５０】
式（１）（２）によれば、二焦点レンズを通る光の総量が１になるように正規化されているので、二焦点レンズの伝達関数（代表ＰＳＦ）「ＰＳＦ＿Ｄｏｕｂｌｅ」は光の量に依存しない。
【００５１】
また、通常の二焦点レンズにおいて、第１レンズ部と第２レンズ部とは略等しい面積をもって構成されるので、第１レンズ部と第２レンズ部との面積比は５０％：５０％であり、すなわち、各レンズ部を通る光の量の比も５０％：５０％となる。すなわち、以下の式に示すとおり、代表ＰＳＦは、合焦ＰＳＦとボケＰＳＦとを５０％：５０％の比率で含むものとなる。
ＰＳＦ＿Ｄｏｕｂｌｅ＝０．５×ＰＳＦ＿Ｆ＋０．５×ＰＳＦ＿Ｂ・・・（３）
【００５２】
このようにして求めた「ＰＳＦ＿Ｄｏｕｂｌｅ」が多焦点レンズの伝達関数であり、前述した特許文献２に記載の撮像装置では、この伝達関数の逆関数に対して逆ＦＴ又は逆ＦＦＴ等を実行し、逆関数の係数列、すなわち、改質フィルタ係数列を算出した。なお、特許文献２に記載の撮像装置では、二焦点レンズを構成する第１レンズ部と第２レンズ部とが等しく半円形であり、それぞれの合焦点に点光源を配置した場合、撮像素子上には、それぞれ同様のピントのあった像とピントのボケた像が投射され、第１レンズ部の焦点位置に対する合焦ＰＳＦ及びボケＰＳＦと、第２レンズ部の焦点位置に対する合焦ＰＳＦ及びボケＰＳＦとが近い特性の関数となる。このため、代表ＰＳＦによれば、第１レンズ部又は第２レンズ部のいずれを介して結像されたボケ像であっても、その信号成分が改質されるのである。
【００５３】
前述した画像改質処理によれば、第１範囲及び第２範囲にある被写体に対応する信号成分が改質されるばかりでなく、第３範囲にある被写体に対応する信号成分もかなり向上することが本願の出願人による実験によって確かめられた。これは、第１及び第２範囲のピントの合った各信号成分を合わせることによって、情報量が増え、第３範囲において、コントラストと色の変調度が上昇し、ボケの信号成分が補正されるためと考えられる。
【００５４】
しかしながら、従来のとおり、５０％：５０％の比率を用いた二焦点レンズの伝達関数（代表ＰＳＦ）に基づいて改質フィルタ係数列を求め、その改質フィルタ係数列によって改質処理を実行すると、撮像素子上での処理に起因し入射した光の信号とは異なる雑音であるランダム雑音までも強調し、増大させてしまうことがあった。特に、撮像条件が悪い場合（例えば、照度不足のため露出が低くなる場合など）には、ランダム雑音が増大する問題が顕著であり、立体視に好ましくない影響を与える。本発明の画像改質処理では、画像の鮮明度とランダム雑音とのバランスを考慮して、二焦点レンズの代表ＰＳＦの設定を変更し、立体視のためのステレオ画像に適した改質フィルタを構成する。以下、従来の代表ＰＳＦの設定に基づいて構成される改質フィルタを標準改質フィルタと呼称し、雑音対策を施した改質フィルタと区別する。
【００５５】
本実施形態の雑音対策の改質フィルタ（以下「第１改質フィルタ」という）は、合焦ＰＳＦとボケＰＳＦとの比率を第１レンズ部と第２レンズ部との面積比とは異なる比に設定した代表ＰＳＦに基づいて構成される。特に雑音対策としては、合焦ＰＳＦの比率をボケＰＳＦの比率よりも大きくすることが好ましい。例えば、合焦ＰＳＦを６０％（Φｆ＝０．６）とし、ボケＰＳＦを４０％（Φｂ＝０．４）に設定して、代表ＰＳＦを定めた。標準改質フィルタでは、改質フィルタ（特許文献２の図５の垂直ｖ×水平ｈタップ改質フィルタ３３１）の中央部の３×３のマトリクスの各係数は、例えば、-０．００３、−０．００３、−０．００３、−０．００３、＋２．０００、−０．００３、−０．００３、−０．００３、−０．００３に設定されるところ、本実施形態の第１の雑音対策の改質フィルタでは、対応するマトリクスの係数は、−０．００２５、−０．００２５、−０．００２５、−０．００２５、＋１．６６４４、−０．００２５、−０．００２５、−０．００２５、−０．００２５に設定される。この第１改質フィルタによれば、標準改質フィルタに比べて、ランダム雑音を約１ｄＢ低減させることができる（図６参照）。
【００５６】
厳密にいえば、レンズには収差があり、光が一点に集まらないので、ある広がりを持つ。すなわち、合焦ＰＳＦには小さなボケが含まれる。よって、合焦ＰＳＦの全部又は一部に収差のない理想的なレンズのＰＳＦ（以下「理想ＰＳＦ」という）「ＰＳＦ＿Δ」を適用して、改質フィルタを構成することもできる。
【００５７】
そこで、本実施形態の雑音対策の改質フィルタ（以下「第２改質フィルタ」という）は、合焦ＰＳＦの一部又は全部を理想ＰＳＦを用いた代表ＰＳＦに基づいて構成される。標準改質フィルタは、実際のレンズ設計の際に計算されたＰＳＦ値を使用して、レンズの性能に合うように構成されるが、第２改質フィルタは、合焦のＰＳＦ値の一部又は全部に、理想レンズのＰＳＦ値を適用した。例えば、理想ＰＳＦの比率とボケＰＳＦの比率を５０％：５０％として代表ＰＳＦを求めた。この第２改質フィルタによれば、標準改質フィルタに比べて、ランダム雑音を約３ｄＢ低減させることができる（図６参照）。
【００５８】
なお、第１改質フィルタ及び第２改質フィルタを組み合わせてもよい。例えば、理想ＰＳＦを４０％、合焦ＰＳＦを２０％、ボケＰＳＦ量を４０％として代表ＰＳＦを求めたり、理想ＰＳＦを６０％、ボケＰＳＦ量を４０％として代表ＰＳＦを求めたりしてもよい。
【００５９】
図４は、公園において第１範囲（手前、近距離）から第３範囲（中間距離）を経て第２範囲（奥、遠距離）までを撮像した風景画像（以下「原画像」という）である。図４の原画像は、近接被写体に適した約３００ｍｍの距離に合焦するレンズによって撮像された画像（第１範囲（被写界深度）：２９２ｍｍ〜３１０ｍｍ）と、１０ｍに合焦するレンズによって撮像された画像（第２範囲（被写界深度）：５ｍ〜無縁遠）とを合成したものである。この原画像は、３００ｍｍと無限遠とに合焦する二焦点レンズにより撮像された画像とほぼ同等の特徴量などを有する。原画像の縦サイズは１１４８画像、横サイズは１５２８画素である。図４では、上から第５３０行、第６２０行、第７１０行、第８００行及び第８９０行の水平走査線の位置が示されており、これらの９０行毎の行は、各々、カメラから被写体までの距離２１００ｍｍ、１２００ｍｍ、７００ｍｍ、４５０ｍｍ、３５０ｍｍに相当し、第３範囲（中間距離）に含まれる。
【００６０】
図５は、図４の原画像に示された各水平走査線の信号の空間周波数の交流成分を示すものであり、原画像の空間周波数の交流成分、標準改質フィルタによる画像改質処理の結果、第１改質フィルタによる画像改質処理の結果を示す。図５の横軸は、図４に示した原画像の水平走査線の位置に対応し、被写体までの距離に相当する。縦軸は、各水平走査線の信号パワーを示す空間周波数の交流成分である。ここでは、画像の画質を評価するための指標として、空間周波数の交流成分を以下のように算出した。まず、原画像の各水平走査線上の信号を抽出し、これらをフーリエ解析することによって、ｓｉｎ信号の重ね合わせである空間周波数を算出する。次に、空間周波数成分について周波数０（直流成分）を除いた交流成分を積分して、交流成分の累積値を算出する。この交流成分の累積値は、信号の画質や鮮明度に対応するものであり、これを比較することにより、信号の改質レベルを評価する指標とすることができる。
【００６１】
図５の一番下の線は、原画像の信号の交流成分であり、四角印を結んだ線は、標準改質フィルタによって画像改質処理された信号の交流成分である。このように、標準改質フィルタによれば、中間距離についても信号を改質することができる。すなわち、この画像改質処理によると、ボケた信号成分が取り除かれるので、ピントのあった信号成分（例えば、図３の５１ａ、５１ｂ）が抽出され、中間距離にある信号成分も補正されて、近距離から遠距離まで広くピントのあったパンフォーカス性の高い画像を生成することができる。
【００６２】
図５の三角印で結んだ線は、第１改質フィルタによって画像改質処理された信号の交流成分である。図５に示したように、合焦ＰＳＦとボケＰＳＦとの比を６０％：４０％とすると、信号の改質レベルはやや下がる。しかし、ランダム雑音については約１ｄＢ低減させることができた（図６参照）。
【００６３】
図６は、標準改質フィルタ及び第１、第２改質フィルタによる画像改質処理における画像改質の結果の一覧である。図６では、画像の鮮明度を評価するための評価用チャートを用い、これを上下分割型の二焦点レンズ使用のカメラによって撮像した。評価用チャートは、複数の黒色線が放射状に配された楔形パターンを配置したチャートである。本実験では、評価用チャートとして、テレビの画質を評価したり、印刷物の歪を調整したりするために用いられるテストチャート（レジストレーションチャート）と同様に、二つの楔形パターン（９本）を縦方向と横方向に配した構成のものを用いた。また、画像の鮮明度を評価する指標として、レスポンス関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いた。ＭＴＦの測定方法としては、コントラスト測定法(矩形波チャート法)、フーリエ変換法（スリット法）などがある。本実験では、評価用チャートに対して、標準改質フィルタ、第１改質フィルタ、第２改質フィルタによる画像改質処理を実行し、各処理後の評価用チャートにおいて、コントラスト測定法によりＭＴＦを算出し、処理前の評価用チャートを基準として、雑音レベルを算出した。コントラスト測定法では、楔形パターンの黒色部による最大信号値と最小信号値との差を算出し、その差と白色部分の信号値とを比較した。
【００６４】
画像改質処理前の評価用チャートでは、ＭＴＦは１６％であり、雑音レベルは基準の０ｄＢである。標準改質フィルタによる画像改質処理では、ＭＴＦは８３％に向上するが、雑音レベルも未処理の評価用チャートに比べて５．１ｄＢに増大する。
【００６５】
第１改質フィルタ（合焦ＰＳＦとボケＰＳＦとの比６０％：４０％）による画像改質処理では、ＭＴＦは標準改質フィルタの８３％に比べると７８％に低下したが、雑音レベルは標準改質フィルタの５．１に比べて約１ｄＢ低減することができた。また、第２改質フィルタ（理想ＰＳＦとボケＰＳＦとの比５０％：５０％）による画像改質処理では、ＭＴＦは標準改質フィルタの８３％に比べると７２％に低下したが、雑音レベルは標準改質フィルタの５．１に比べて約３ｄＢ低減することができた。
【００６６】
このように、第１及び第２改質フィルタを用いた画像改質処理によれば、標準改質フィルタに比べて、改質レベルが低下するものの、立体視に好ましくないランダム雑音を低減することができる。
【００６７】
以上説明したとおり、標準改質フィルタを用いた画像改質処理によれば、二焦点レンズを構成する各レンズ部のいずれにもピントが合わない範囲についても画質を改質することができるので、立体視に適したパンフォーカス性の高い視差画像を生成することができる。また、二焦点レンズの代表ＰＳＦの設定を変更し、改質フィルタの係数列が変更された改質フィルタを構成することによって、雑音を低減させることができ、ギラツキの少ない視差画像を生成することができる。
【００６８】
さらに、本発明では、左右二つの視差画像を取得するので、これらの視差画像を相関させて画像を改質したり、画像の表示を変更したりすることも可能である。例えば、左右の視差画像を比較して、ノイズを減らし鮮明度を上げることができる。
【００６９】
左右の視差画像は、別々に画像改質処理がなされたものであるので、ノイズの性質も異なる。一方の視差画像のみにノイズが含まれる場合、観察者の立体視に好ましくない影響を与えることがあるので、ノイズを特定して除去することもできる。具体的には、例えば、いずれか一方の視差画像にノイズと思われる信号が含まれる場合、その信号が含まれる領域を特定し、特定された領域と特定された領域に対応する他方の視差画像における領域とを比較する。そして、対応する他方の視差画像における領域に同様の信号が含まれていなければ、ノイズと判定することができ、そのノイズを除去することができる。
【００７０】
また、表示された左右の視差画像のずれ量を利用して、観察者の観察対象を特定したり、画像における被写体の相対的な位置関係や距離を特定することができる。さらに、観察者の視点に合わせて視差画像を改質して表示することも可能である。
【００７１】
図７は、本発明の画像表示処理を示すフローチャートである。はじめに、ステップ７０１において、画像処理手段６は、撮像素子４から出力された各撮像画像５１、５２を取得し、取得した各撮像画像５１、５２に対して、前述した標準改質フィルタ、第１改質フィルタ、第２改質フィルタ等を用いて、画像改質処理を実行し、パンフォーカス性の高い各視差画像６１、６２を生成する。通常のステレオ画像を表示するには、各視差画像６１、６２を右眼用表示手段と左眼用表示手段を用いて表示すればよい。ステップ７０２〜７０６は、ずれ量を利用した位置関係の特定及び画像改質処理に関するものである。なお、画像処理手段６は、各種データやプログラムを格納するメモリを含む記憶部、プロセッサを含む制御部などを備え、ハードウェアとプログラムとを協働させて、図７の各ステップの処理を実現可能なように構成される。
【００７２】
また、画像処理手段６は、ステップ７０１ほかのステップにおいて、図示しない適当な表示装置において、生成した各視差画像６１、６２の少なくとも一方を表示装置において二次元画像として再生してもよい。
【００７３】
ステップ７０２において、画像処理手段６は、視差画像における特定の被写体又は被写体を含む領域を選択する。特定の被写体とは、例えば、観察者の視点が向いている被写体である。この場合、画像処理手段６は、観察者の視点の情報を取得し、取得した視点の情報に基づいて、観察者が観察している被写体を特定してもよい。観察者の視点の情報は、図示しないカメラが観察者の目の動き（視線、輻輳角、運動など）を追跡すること等によって得られる。さらに、画像処理手段６が、単に画像中央付近を視点のある領域と仮定して、この領域を選択してもよいし、周知の画像認識技術を用いて、特徴のある部分（例えば、人間の顔など）の輪郭を抽出して輪郭によって切り取られる領域を選択することもできる。
【００７４】
また、画像再生手段により視差画像の一方が再生されているので、画像処理手段６は、再生された視差画像において観察者が指定した被写体又は被写体を含む領域の情報を取得して、取得した領域を特定の領域として選択することもできる。特に、本発明のステレオ画像撮像装置がタッチパネルセンサを備える情報端末（例えば、スマートフォンなど）に搭載される場合に、観察者が立体視したい被写体の輪郭をなぞることで直感的に操作できるため好適である。画像処理手段６は、この輪郭の情報を取得してそのまま特定の領域を選択してもよいし、観察者によってなぞられた大まかな輪郭の領域又は大まかな円・半円などの指定領域に対して、周知の画像認識技術を適用し、より正確に被写体の輪郭を取り出してもよい。
【００７５】
ステップ７０３において、画像処理手段６は、各視差画像６１、６２のずれ量を検出する。以下、ずれ量を検出する処理について説明する。
【００７６】
図８は、ずれ量検出処理の説明図である。左右の視差画像６１、６２には、近距離被写体Ａ、中距離被写体Ｃ及び遠距被写体Ｂが含まれる。各視差画像は、所定の基線長Ｄをもって撮像されたものであるので、対応する被写体の間には、その被写体が位置する奥行き方向（Ｚ方向）の距離に応じて、幅方向（Ｙ方向）にずれが生じる。図７のステップ７０３では、各視差画像を重ね合わせた画像６３を用い、画像解析によって、被写体Ａのずれ量ΔＹ１、被写体Ｂのずれ量ΔＹ２、被写体Ｃのずれ量ΔＹ３を検出することができる。検出したずれ量は、撮像光学系から被写体の実際の位置までの距離に対応する。
【００７７】
また、画像６４に示したとおり、ステップ７０２において選択された観察者の視点のある特定の被写体を基準として、その特定の被写体の輪郭を重ねて合わせるように、左右の視差画像６１、６２をスライドさせてもよい。この場合、重ねられた特定の被写体の変調度は高くなり、その特定の被写体に対しＺ方向ついて前後にある被写体については変調度が低くなるので、変調度の相違に基づいてずれ量を検出することもできる。
【００７８】
図７のステップ７０４において、画像処理手段６は、検出したずれ量に基づいて、画像中の被写体の相対的な位置関係を特定する。具体的には、各被写体のずれ量の大きさを比較し、ずれ量の大きい被写体ほど近距離にあると判定し、ずれ量の小さい被写体ほど遠距離にあると判定して、各被写体のＺ方向に関する相対的な位置関係を特定することができる。また、視点のある特定の被写体を重ねる場合、そのずれ量は０となり、その他の領域においてずれ量が０の被写体があれば、それも同距離にあると判定できるし、その他のずれ量のある被写体は、特定の被写体の手前又は奥のいずれかにあると判定できる。
【００７９】
ステップ７０５において、画像処理手段６は、ステップ７０２で選択された特定の被写体を含む領域を合焦の領域に設定し、合焦の領域以外をボケの領域に設定する。この場合、特定の被写体ばかりでなく、特定の被写体と等距離にある被写体を含む領域や特定の被写体よりも近距離の領域なども合焦の領域に設定してもよい。
【００８０】
ステップ７０６において、画像処理手段６は、画像再生処理を実行する。例えば、改質処理後の視差画像において、合焦の領域については、改質された画素データ（改質成分）をそのまま用い、ボケの領域については、撮像画像中のボケを含んだ画像データ（ボケ成分）を重ねて、視点のある特定の被写体以外をぼかした状態で左右の視差画像を表示装置に表示する。また、ステップ７０５において、合焦の領域とボケの領域を特定しているので、例えば、改質処理前の撮像画像を用いて、合焦の領域に改質処理を施して、視差画像を生成し、生成された左右の視差画像を表示装置に表示してもよい。また、改質処理後の視差画像における合焦の領域と改質処理前の撮像画像におけるボケの領域とを適宜組み合わせて、左右の視差画像を表示装置に表示してもよい。すなわち、二焦点レンズによって取得したボケ成分を利用して、特定の被写体以外の領域をボケさせることができればよい。これによって、観察者の視点のある被写体又は所定の領域のみにピントの合った視差画像を生成し、左右の視差画像を再生することができる。さらに、観察者の視点が移動した場合、ステップ７０２〜７０５と同様に、移動した先の被写体を新たな合焦の領域に設定し、合焦の領域の画像を改質し、その他の領域をボケさせた画像を表示することが好ましい。
【００８１】
三次元用の当該コンテンツが連続するフレームからなる動画像である場合、画像処理手段６は、ステップ７０７において、処理すべき次のフレーム（視差画像）があるか否か判定し、次のフレームがある場合（Ｙｅｓ）は、ステップ７０１の処理を実行し、次のフレームがない場合（Ｎｏ）は、処理を終了する。
【００８２】
なお、図７に示したフローチャートは単なる例示であり、各ステップの処理順序は、これに限定されず、必要に応じて適宜入れ替えてもよい。また、再生の形態（動画コンテンツ、静止画コンテンツ）に応じて、一部の処理を省略したり、他の処理に置き換えてもよい。例えば、動画コンテンツであれば、同様の場面が数十フレーム分続くこともあるので、ステップ７０２において、一度、特定の被写体が選択されたら、大きく場面が変わるまでは、主に観察対象となる特定の被写体は変更されないと判断し、その後のステップ７０２を省略してもよい。また、動画コンテンツではフレームが連続的に再生され、観察者の視点を連続的に追跡しなければならないので、ステップ７０２で利用する観察者の視点の情報は、一つ前に再生されたフレーム（一つ前のループのステップ７０６）の中で特定した観察者の視点の情報を利用することもできる。また、観察者の視点が短い間隔で上下左右に大きく移動する場合、観察者が映像酔いに陥る虞があるため、ステップ７０６における特定の被写体を浮かび上がらせて再生する処理を中止して、代わりに、通常のパンフォーカス性の高い改質処理後の視差画像を再生してもよい。また、本フローチャートでは、改質処理後の各視差画像のずれ量に基づいて被写体の相対的な位置関係を特定したが、基線長に基づいて三角測量を利用して撮像光学系から被写体までの距離を推定してもよい。なお、三次元の動画像を表示する場合は、計算の負荷を低減するため、実際の距離を算出するのではなく、ずれ量を利用して相対的な位置関係のみを推定することが好ましい。
【００８３】
なお、改質処理前の各撮像画像の特徴量に基づいて被写体の相対的な位置関係や距離を推定してもよい。例えば、画像処理手段６は、ステップ７０１、７０３では、被写体の輪郭が鮮明な改質処理後の視差画像を用いたが、改質処理後の視差画像の代わりに、改質処理前の撮像画像信号を取得し、取得した撮像画像信号から、線画抽出法又は有限要素法などの画像を細分化する方法を用いて要素画素を切り出し、その要素画素の平均位置（距離）を計算してもよい。
【００８４】
また、本実施形態では、画像撮像装置の画像処理手段６が特定の被写体に合焦する左右の視差画像を生成し、生成された左右の視差画像を表示装置において再生すると説明したが、画像処理手段６とは異なる処理手段、例えば画像表示装置の画像処理手段によって、図７に示した各処理を実現してもよい。また、画像処理手段６は、特定の被写体に合焦する左右の視差画像を生成した後は、左右の視差画像を表示装置に出力し、表示装置が取得した視差画像の表示処理を実行する構成としてもよい。
【００８５】
以上説明したとおり、本発明によれば、視差画像又は撮像画像から画像中の被写体の相対的な位置関係を推定することができるので、所望の距離にある被写体にピントを合わせたり、ぼかしたりすることができる。つまり、立体視のための視差画像において観察者の視点のある範囲を浮かび上がらせるような処理が可能である。また、観察者の視点を連続的に追跡することによって、観察対象の被写体にピントがあった視差画像を連続的に再生することができる。また、視点を誘導するためにピントの合った範囲を場面に応じて変更する処理も可能である。特に本発明では、多焦点レンズで得られた撮像画像には、距離に依存する自然なボケ画像の情報があるので、このボケ画像を利用することにより、画像処理のアプリケーションによる一様なボケ加工とは異なり、自然なボケを表現することができる。
【００８６】
以上の実施形態では、光路を横方向に分割したステレオ画像撮像装置について説明したが、光路を縦方向（上下）に分割することもできる。以下、図９及び図１０を用いて、光路を縦方向に分割するステレオ画像撮像装置のミラー機構について説明し、その後、図１１を用いて、撮像手段及び二焦点レンズの配置を説明し、さらに図１２を用いて撮像される画像について説明する。なお、図９及び図１０のミラー機構は、単焦点レンズを用いてもステレオ画像を撮像することができる。また、図４〜図８において説明した各種処理については、光路を横方向に分割する方式のステレオ画像撮像装置に適用することもできるし、以下に説明する光路を縦方向に分割する方式のステレオ画像撮像装置にも適用することができる。また、図１３に示す二眼式のステレオ画像撮像装置にも適用することができる。
【００８７】
図９（Ａ）（Ｂ）（Ｃ）は、本実施形態のミラー機構の概略の上面構成図、正面構成図、側面構成図である。図９（Ａ）には、水平方向の光路の一部が示されている。ミラー機構８は、第１光路Ｌ１を第１撮像面４１に導くための第１ミラー群８１と、第２光路Ｌ２を第２撮像面に導くための第２ミラー群とを備える。第１ミラー群８１は、内側ミラー８１ａと外側ミラー８１ｂとを含み、第２ミラー群８２は、内側ミラー８２ａと外側ミラー８２ｂとを含む。なお、各ミラーは、光路を上下方向に振り分けるために、図１０に示すように、垂直方向（Ｘ方向）について所定の角度をもって傾けて配置されているが、図９では簡略化のためその傾きを省略して図示している。
【００８８】
図９（Ａ）に示すように、第１ミラー群８１と第２ミラー群８２とは、撮像光学系２の光軸に対して対称となるように配置される。また、各ミラー群において、内側ミラーの上端部と外側ミラーの上端部とが略平行となるように配置される。図９（Ｂ）に示すように、第１ミラー群８１と第２ミラー群８２との少なくとも一部は上下に段違いに配置される。図９（Ｃ）に示すように、本実施形態のミラー機構は、内側ミラー８１a、８２ｂの後端部（Ｚ方向の手前）と外側ミラーの後端部（Ｚ方向の手前）との間に撮像光学系２の入射瞳Ｐが位置するように構成することが好ましい。つまり、内側ミラーの後端部を外側ミラーの後端部よりも被写体側に引っ込めて配置することができ、入射瞳Ｐをミラー機構にできるだけ近づけるように構成することができる。このように、入射瞳Ｐをミラーに近づけることによってミラー機構を小型化することができ、携帯情報端末に搭載するのに好適である。しかし、入射瞳Ｐをミラーに近づけすぎると、光路を分離することができず、視差画像に蹴られ（被写体の情報を持たない黒い画素領域）が生じることがある。
【００８９】
従来のステレオアダプタでは水平画角が半分（θ／２）となるところ、本実施形態のミラー機構では、図９（Ａ）に示したように、各ミラー群を上下に段違いに配置したので、水平画角θのステレオ画像を取得することができる。
【００９０】
図９（Ａ）を参照すると、例えば、光路Ｌ２１の光（二点鎖線で示す）が第２ミラー機構の開口を介して入射されると、その光は、外側ミラー８２ｂによって反射され、その反射した光は内側ミラー８２ａによって反射され、入射瞳Ｐに到達する。一方、光路Ｌ２２の光（長破線で示す）が第２ミラー機構の開口を介して入射されると、外側ミラー８２ｂによって反射され、その反射した光は内側ミラー８２ａによって反射され、入射瞳Ｐに到達する。この場合、入射瞳Ｐからの光路の拡がり、すなわち、水平画角はθである。説明のため、光路Ｌ２１と光路Ｌ２２との延長線との交点を仮想の入射瞳Ｐ´（入射瞳Ｐが仮想的に移動したもの）とする。仮想の入射瞳Ｐ´からの光路の拡がりはθで示される。
【００９１】
図１０（Ａ）は、ミラー機構における第１ミラー群８１の傾きを示す説明図であり、図９（Ａ）に示したＳ１断面を入射瞳Ｐから観た図である。図１０（Ｂ）は、第２ミラー群の垂直方向の傾きを示す説明図であり、図９（Ａ）に示したＳ２断面を入射瞳Ｐから観た図である。はじめに、第２ミラー群８２の内側ミラー８２ａは、その下端が入射瞳Ｐに近づく方向に垂直方向に対して角度αをもって傾斜して配置される。また、外側ミラー８２ｂは、その上端が入射瞳Ｐに近づく方向に垂直方向に対して角度βをもって傾斜して配置される。同様にして、第１ミラー群８１の内側ミラー８１ａ及び外側ミラー８１ｂも、それぞれ、垂直方向に対して角度α、βをもって傾斜して配置される。
【００９２】
また、図１０（Ｂ）は、ミラー機構における垂直方向の光路の一部の様子を模式的に示す。本実施形態のミラー機構は、各ミラーが傾斜をもって配置されているため、光路によって光学距離が異なり、各ミラーの上側と下側とで二つの反射点が生じる。具体的には、上側の光路Ｌ２１の光（二点鎖線）が第２ミラー群８２に入射すると、まず外側ミラー８２ｂの上側の反射点１で反射され、次いで、内側ミラー８２ａの上側の反射点２で反射され、入射瞳Ｐに入射する。
【００９３】
また、下側の光路Ｌ２２の光（長鎖線）が第２ミラー群８２に入射すると、まず外側ミラー８２ｂの下側の反射点３で反射され、次いで、内側ミラー８２ａの下側の反射点４で反射され、入射瞳Ｐに入射する。各ミラーは相互に異なる角度α、βをもって配置されており、すなわち、相対的な角度差｜α-β｜があるので、外側及び内側ミラーによって反射する各光路の光は、｜α-β｜の２倍だけ、入射角が変わる。したがって、例えば、｜α-β｜＝４°と設定され、上側光路Ｌ２１の光が光軸Ｌ０に対して約＋８°の角度で入射し、下側光路Ｌ２２の光が光軸Ｌ０に対して約−８°の角度で入射する場合、各光は外側及び内側ミラーによって反射されると、光路Ｌ２１の光は０°で入射瞳Ｐに入射し、光路Ｌ２２の光は−１６°で入射瞳Ｐに入射する。
【００９４】
このように、垂直画角φ／２（例えば１６°）自体の大きさは変わらないが、第２ミラー群８２によって、下向き−８°から上向き＋８°の垂直画角の範囲は、下向き−１６°から０°に変更される。同様にして、第２ミラー群８２とは少なくとも一部が段違いに配置された第１ミラー群８１によって、下向き−８°から上向き＋８°の垂直画角の範囲は、上向き１６°から０°に変更される。なお、説明のため、光路Ｌ２１の延長線と光路Ｌ２２の延長線との交点を仮想の入射瞳Ｐ´とし、仮想の入射瞳Ｐ´からの垂直方向への光路の拡がりの角度、すなわち、垂直画角をφ／２と示す。
【００９５】
図１１（Ａ）（Ｂ）は、縦方向に光路を分割したステレオ画像撮像装置における二焦点レンズ及び撮像素子の配置の一例を示す図である。半円形の第１レンズ部２１と半円形の第２レンズ部２２とを有する二焦点レンズ２０を使用した場合、二焦点レンズ２０の中心が光軸上に位置し、且つ第１レンズ部２１及び第２レンズ部２２の配置がミラー機構８による光路の分割方向と直交するように、二焦点レンズ２０は配置される。すなわち、図１１（Ａ）に示すように、二焦点レンズ２０は、光路の分割方向である縦方向と直交するように、第１レンズ部２１と第２レンズ部２２とが左右に配置されている。また、撮像素子４は、中心が光軸上に位置し、且つ、撮像素子４の撮像面４０が、二焦点レンズ２０を含む撮像光学系２（図１１では他のレンズについては省略する）の結像面に位置するように配置される。このため、撮像素子４の撮像面４０は、光路の分割方向と同じく上下に分割され、垂直画角が半分（φ／２）である第１撮像面４１及び第２撮像面４２が形成される。なお、図１１（Ａ）では、二つの半円形のレンズを組み合わせて円形の二焦点レンズを構成する例を説明したが、これに限定されず、半楕円形又は多角形の各レンズ部を組み合わせて、境界が光路の分割方向と直交するように配置して構成してもよい。
【００９６】
なお、二焦点レンズとして、図１１（Ｂ）に示すような円形の第１レンズ部２１と、円環状（ドーナツ型）の第２レンズ部２２とを用い、各レンズ部の光軸が一致する同心円状のものを採用すれば、光路の分割方向によって制約されない。さらに、多角形や楕円形の第１レンズ部２１を内側に配して、その外側に、同様の形状の内縁（及び外縁）を有する環状の第２レンズ部２２を配してもよい。多角形の角部は丸みを有する形状であってもよい。また、第１レンズ部２１と第２レンズ部２２との配置を逆にしてもよい。
【００９７】
また、例えば、第２光路Ｌ２の光は、ミラー機構８において少なくとも一部が段違いの下側に配置された第２ミラー群８２（図９参照）によって、第１レンズ部２１と第２レンズ部２２とを含む二焦点レンズ２０の下部半面２０２を介して、第２撮像面４２に収束される。よって、第２撮像面４２からは、第２撮像画像５２が、二焦点レンズ２０下部半面２０１の第１レンズ部２１を通った近距離にピントの合った像を含む信号と、第２レンズ部２２を通った遠距離にピントが合った像を含む信号とを合成した信号として出力されるのである。
【００９８】
なお、ミラー機構８によって、上下に分割した光路を導く構成とする場合、二焦点レンズ２０は、図１１（Ｂ）に示したとおり、円形の第１レンズ部２１と、円環状（ドーナツ型）の第２レンズ部２２とを用い、各レンズ部の光軸が一致する同心円型構造としてもよい。さらに、多角形や楕円形の第１レンズ部２１を内側に配して、その外側に、同様の形状の内縁（及び外縁）を有する環状の第２レンズ部２２を配してもよい。多角形の角部は丸みを有する形状であってもよい。また、第１レンズ部２１と第２レンズ部２２との配置を逆にしてもよい。本発明では、上下に分割された横長タイプのステレオ画像を生成するために、光路を上下に分割することができるようにミラー機構を構成した。
【００９９】
図１２は、縦方向に分割したステレオ画像の説明図である。光路を上下に分割するミラー機構８を用いた場合、撮像面４０が上下に二等分されて、通常の垂直画角の半分（φ／２）となる横長の第１撮像面４１と第２撮像面４２とが形成される（図１１）。このため、図１２に示すとおり、撮像される撮像画像５１、５２は横長の形状（垂直画角φ／２）となる。第１撮像面４１において取得された第１撮像画像５１及び第２撮像面４２において取得された第２撮像画像５２には、画像処理手段６によって画像改質処理が施され、左眼用視差画像６１及び右眼用視差画像６２（垂直画角φ／２）が出力される。観察者は、裸眼で又は適当なビューアを用いて、これらを立体画像７０として認識することができる。
【０１００】
以上説明したとおり、本実施形態のミラー機構によれば、光路を上下に分割し、第１光路Ｌ１を撮像素子４の第１撮像面４１に導き、第２光路Ｌ２を第２撮像面４２に導くことができるので、水平画角θをもった横長タイプのステレオ画像を形成することができる。なお、本実施形態では、ミラー機構の各ミラーの配置（位置、光軸方向についての開きの角度、傾斜の角度など）を固定としたが、搭載するレンズの機能（ズーム機能など）に応じて、ミラーの配置を可変とする構成としてもよい。また、ステレオ画像を撮像するため撮像範囲が概ね同じとなるように第１ミラー群と第２ミラー群とを配置したが、例えば、第１ミラー群と第２ミラー群とを開散方向に広がるように配置することによって、超広角画像を撮像可能なミラー機構を構成することもできる。また、本実施形態では、各水平（垂直）画角が等しい二つのミラー群を用いたが、各画角が異なるミラー群を用いてもよいし、三つ以上のミラー群を用いてもよい。
【０１０１】
本実施形態のミラー機構の一つの実施例として、以下のとおり設計した。第１及び第２ミラー群における内側ミラー８１ａ、８２ａについて、横（長手方向）の長さを８．０ｍｍ、縦（短手方向）の長さを１．０ｍｍとした。外側ミラー８１ｂ、８２ｂについて、横（長手方向）の長さを３２．０ｍｍ、縦（短手方向）の長さを４．０ｍｍとした。水平方向（Ｙ方向）について、入射瞳Ｐと仮想の入射瞳Ｐ´との間隔は１５．１８ｍｍに設定した。つまり、基線長Ｄは３０．３６ｍｍである。水平画角θについては約５０．０°を実現した。
【０１０２】
また、外側ミラーの傾斜角度αを５．１０°、内側ミラーの傾斜角度βを１．１０°に設定した。｜α-β｜は４°であり、垂直画角φ／２については１６°を実現した。
【０１０３】
以上、本発明の実施形態として、ミラー機構を採用したステレオ画像撮像装置について説明したが、本発明はこの構成に限定されない。本発明は、他の実施形態として、以下に説明するとおり、二眼式のステレオ画像撮像装置として構成してもよい。
【０１０４】
図１３は、本発明の実施形態の二眼式のステレオ画像撮像装置の概略構成図である。図１で説明したステレオ画像撮像装置と同一の構成要素については同一の符号を付し、詳細な説明を省略する。図１３に示すとおり、二眼式のステレオ画像撮像装置１０は、二つの撮像光学系２、二つの撮像素子４、及び画像処理手段６を備え、図１のステレオ画像撮像装置１とは光路を分割するためのミラー機構を備えていない点で相違する。筺体（図示省略）には、所定の基線長Ｄをもって左側開口８５と右側開口８６とが設けられる。光路Ｌ１の光は、左側開口８５から入射され、左側の撮像光学系２を介して、左側の撮像素子４の第１撮像面４１に収束する。同様にして、光路Ｌ２の光は、右側開口８６から入射され、右側の撮像光学系２を介して、右側の撮像素子４の第２撮像面４２に収束する。第１及び第２撮像面では、収束した光が電気信号に変換され、第１撮像画像５１及び第２撮像画像５２として、画像処理手段６に出力される。第１撮像画像５１及び第２撮像画像５２は、画像処理手段６によって画像改質処理などを施され、それぞれ左眼用視差画像６１及び右眼用視差画像６２として図示しない表示装置などに出力される。
【符号の説明】
【０１０５】
１ ステレオ画像撮像装置
２ 撮像光学系（多焦点レンズ群）
４ 撮像素子
６ 画像処理手段
８ ミラー機構
２０ 多焦点レンズ（二焦点レンズ）
２１ 第１レンズ部
２２ 第２レンズ部
２５ 単焦点レンズ
４０ 撮像面
４１ 第１撮像面
４２ 第２撮像面
５１ 第１撮像画像
５２ 第２撮像画像
６１ 左眼用視差画像
６２ 右眼用視差画像
８１ 第１ミラー群
８１ａ 内側ミラー
８１ｂ 外側ミラー
８２ 第２ミラー群
８２ａ 内側ミラー
８２ｂ 外側ミラー
Ｌ０ 光軸
Ｌ１ 第１光路
Ｌ２ 第２光路
【技術分野】
【０００１】
本発明は、立体視のための視差画像を撮像する技術に関し、特に、多焦点レンズを採用したステレオ画像撮像装置に関する。
【背景技術】
【０００２】
近年、映像コンテンツ（動画、静止画を含む）を三次元立体視することが可能なテレビ、パーソナルコンピュータ、携帯電話機などが一般に広く普及し始めている。立体視の原理は人間の両眼視差に基づくものであり、これら三次元対応機器は両眼視差のある左眼用及び右眼用の視差画像（以下「ステレオ画像」ともいう）をそれぞれ人間の左右の眼に対して与えると、人間は脳内でその視差画像を立体像として再構成して奥行きのある立体像を認識する。ステレオ画像を撮像するための装置としては、光路をミラー又はプリズムにより二分割し、一つの撮像素子に左眼用及び右眼用の視差画像を撮像するステレオアダプタが知られている（例えば、特許文献１参照）。また、二つの撮像光学系を用いてそれぞれ独立に左眼用及び右眼用の視差画像を撮像する二眼式の撮像装置もある。
【０００３】
特許文献１では、撮像レンズの前方に装着されたステレオアダプタが、撮像レンズに入射する光束を視差を有するように左右に二分割し、その二分割された光束を１フレームの半分にそれぞれ左眼用画像及び右眼用画像として撮像する。
【０００４】
図１４は、従来のステレオアダプタにより生成されたステレオ画像の説明図である。ステレオアダプタを取付けない通常のカメラによる撮影では、フレームの高さ方向の長さが垂直画角φに相当し、幅方向の長さが水平画角θに相当する画像１００が得られるが、ステレオアダプタをカメラに取付けると、左眼用視差画像１０１と右眼用視差画像１０２とが得られる。これら各視差画像を適当な立体視用ビューア又は裸眼で観ると、人間の脳内で立体画像１０３が構成される。
【０００５】
ところで、カメラに採用されるレンズは一般的には単焦点であるが、眼鏡、コンタクトレンズなどの視力矯正器具の分野では、遠近両用の二焦点レンズなどが利用されている。二焦点レンズは、例えば、近距離に位置する被写体を撮像するのに適した短い焦点距離をもつレンズ部と、遠距離に位置する被写体を撮像するのに適した長い焦点距離をもつレンズ部とが同一のレンズ面に一体的に構成されたものである。そして、このような二焦点レンズを採用した撮像装置とその画像改質処理方法が提案されている（例えば、特許文献２参照）。
【０００６】
特許文献２では、二焦点レンズを採用した撮像装置において、近距離の被写体にピントの合った画像と遠距離の被写体にピントの合った画像とが重なりあった撮像画像に対して画像改質処理を施すことによって、近距離の被写体及び遠距離の被写体の両方にピントの合った鮮明な画像を取得する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−１５８１６９号公報
【特許文献２】特表２００８−５１６２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述したように、ステレオ画像による三次元立体視は、人間の脳内処理に依存している。このため、左右の視差画像において、視差範囲、奥行き（飛び出し、引っ込み）範囲、被写体のピントなどが適切に設定されていないと、立体視の成立が妨害され、観察者に著しい視覚疲労や不快感（映像酔い）を与える恐れがある。観察者が立体映像を快適に楽しむための一つ条件として、近距離の観察対象である被写体（手前）から遠距離の観察対象である被写体（奥）までの範囲でピントの合ったパンフォーカス性の高い視差画像を撮像することが必要である。
【０００９】
また、観察者が三次元コンテンツを観る場合、その場面に応じて、視点が近距離、中距離、遠距離の被写体グループに順次移ることがある。また、三次元コンテンツの製作者側が注目させたい被写体を場面ごとに変えたいこともある。このため、ステレオ画像の生成に際しては、近距離の被写体と遠距離の被写体との間の範囲（中間距離）における合焦も考慮する必要がある。さらに、観察者の視点がある被写体グループのみにピントを合わせて、他の被写体グループをボケさせるような処理も場合によっては必要となる。
【００１０】
特許文献１に記載された技術によれば、ステレオアダプタによりカメラの撮像光学系（レンズ系）に入射する光路を二分割することができ、左眼用の視差画像と右眼用の視差画像とをフィルムに同時に撮像することができる。しかし、単焦点レンズを採用した従来のステレオアダプタでは、図１４の画像１０１、１０２に示したように、単焦点レンズの被写界深度に位置する被写体についてはピントの合った像Ａが撮像されるが、その被写界深度から外れる被写体についてはピントのボケた像Ｂが撮像され、パンフォーカス性の高い視差画像を得ることが難しい。なお、ステレオアダプタに単焦点レンズを採用した場合、近距離から遠距離まで広くピントの合った視差画像を得るためには、例えば、絞りを閉じてＦ値を大きくすることも考えられる。しかしながら、この場合、光路の分離が適切になされず、左右の視差画像の中央接合部に黒い帯が出現することがある。また、深い被写界深度を得るためにＦ値を大きくすると、入射する光量が減少するため露出不足となり、動画像を撮像したり、速いシャッタースピードが求められる動きのある被写体を撮像したりするには不向きである。
【００１１】
さらに、前述した特許文献１では、撮像素子の撮像面の領域（１フレーム分に相当する）を二分割し、分割された左領域と右領域とに左眼用の視差画像と右眼用の視差画像とが撮像される。このため、各視差画像は、通常（ステレオアダプタを用いない撮像）の場合に比べて、水平方向の大きさ（水平画角）が略半分の画像、すなわち、縦長タイプの画像となる。つまり、図１４に示したように、左眼用視差画像１０１と右眼用視差画像１０２は、基準の通常画像１００と比べると、水平画角が略半分（θ／２）となり、縦長の画像となってしまう。一般的に人間の視野角は、縦方向よりも横方向の方が広いため、横長の画像の方が迫力や臨場感が増加するが、特許文献１に記載のステレオアダプタでは、臨場感のある風景などを撮像した場合、横長タイプ（パノラマ型）の視差画像を生成することができなかった。
【００１２】
本発明は前述した問題に鑑みてなされたものであって、本発明の目的は、パンフォーカス性の高いステレオ画像を生成することができるステレオ画像撮像装置を提供することである。さらに、本発明の他の目的は、撮像素子によって取得された左右の撮像画像を立体視に適するように改質することができるステレオ画像撮像装置を提供することである。また、本発明の目的は、ステレオ画像撮像装置において、立体視に適したパノラマタイプの視差画像を取得することができる光路分割のためのミラー機構を提供することである。加えて、携帯情報端末に適したミラー機構を提供することである。
【課題を解決するための手段】
【００１３】
前述した課題を解決するため、本発明のステレオ画像撮像装置は、撮像画像を取得する撮像素子と、立体視のための両眼視差を与える所定の基線長をもって入射された第１光路の光と第２光路の光とを前記撮像素子の撮像面に導く撮像光学系と、前記撮像素子によって撮像された撮像画像を処理する画像処理手段と、を備えるステレオ画像撮像装置において、前記撮像光学系は、第１の焦点距離をもつ第１レンズ部と前記第１の焦点距離とは異なる第２の焦点距離をもつ第２レンズ部とを少なくとも有する多焦点レンズ群として構成され、前記画像処理手段は、前記多焦点レンズ群を介して前記撮像素子によって撮像された、前記第１光路の光による第１撮像画像及び前記第２光路の光による第２撮像画像に基づいて、左眼用視差画像及び右眼用視差画像を生成することを特徴とする。
【００１４】
また、上記ステレオ画像撮像装置において、前記撮像面の光軸上に位置する点光源を遠距離撮像用の前記第２レンズ部によって結像した位置までの前記撮像面からの距離と、近距離撮像用の前記第１レンズ部によって物体側に結像した位置までの前記撮像面からの距離との比が１００以下であることが好ましい。
【００１５】
また、上記ステレオ画像撮像装置において、前記画像処理手段は、改質フィルタによって前記第１及び第２撮像画像を改質して、前記第１レンズ部の被写界深度に相当する第１範囲、前記第２レンズの被写界深度に相当する第２範囲及び前記第１の範囲又は第２範囲より遠く前記第１及び第２範囲とは異なる第３範囲のボケの信号成分を補正して、左眼用視差画像及び右眼用視差画像を生成することが好ましい。
【００１６】
また、上記ステレオ画像撮像装置において、前記改質フィルタによる改質は、前記第３範囲の水平走査線上の信号を抽出し、フーリエ解析することによって得られた空間周波数の交流成分の累積値が、前記第１及び第２撮像画像に比べて、前記左眼用視差画像及び右眼用視差画像の方が大きくなることが好ましい。
【００１７】
また、上記ステレオ画像撮像装置において、前記改質フィルタは、前記第１及び第２レンズ部のうち、合焦のレンズ部を通る光による合焦のポイントスプレット関数と他方のレンズ部を通る光によるボケのポイントスプレット関数とを用いて求めた前記多焦点レンズ群の代表ポイントスプレット関数に基づいて構成されることが好ましい。
【００１８】
また、上記ステレオ画像撮像装置において、前記改質フィルタは、前記合焦のポイントスプレット関数と前記ボケのポイントスプレット関数との比を、前記第１レンズ部と前記第２レンズ部との面積比とは異なる比に設定されていることが好ましい。また、前記合焦のポイントスプレット関数の少なくも一部は、理想レンズのポイントスプレット関数が適用されることが好ましい。
【００１９】
また、上記ステレオ画像撮像装置において、前記画像処理手段は、前記左眼用視差画像と前記右眼用視差画像とを比較することによって、前記各視差画像における被写体のずれ量を検出し、前記検出されたずれ量に基づいて、光軸方向についての被写体の相対的な位置関係を特定することが好ましい。また、前記画像処理手段は、前記被写体の相対的な位置関係に基づいて、前記各撮像画像又は各視差画像に対して、合焦の領域とボケの領域とを設定し、前記設定された各領域に対して、異なる画像改質処理を実行することが好ましい。
【００２０】
また、上記ステレオ画像撮像装置において、前記画像処理手段は、選択された特定の被写体の領域、前記特定の被写体と略等距離にある被写体の領域、又は前記特定の被写体とそれより近い距離にある被写体の領域を前記合焦の領域に設定することが好ましい。また、前記特定の被写体は、観察者の視点の情報に基づいて選択されることが好ましい。また、前記特定の被写体は、観察者によって入力された被写体の輪郭の情報又は指定領域の情報に基づいて選択されることが好ましい。
【００２１】
また、上記ステレオ画像撮像装置において、前記第１光路の光及び第２光路の光を、前記撮像光学系を介してそれぞれ前記撮像素子の撮像面に導くことが可能に構成されたミラー機構を備え、前記第１レンズ部及び前記第２レンズ部は、直線状の境界線によって分割されており、前記ミラー機構による光路の分割方向と直交するように配置されることが好ましい。
【００２２】
また、上記ステレオ画像撮像装置において、前記ミラー機構は、光を縦方向に分割して前記第１光路及び前記第２光路を形成することが好ましい。また、前記ミラー機構は、前記第１光路を前記撮像面に導くための内側及び外側ミラーを含む第１ミラー群と、前記第２光路を前記撮像面に導くための内側及び外側ミラーを含む第２ミラー群とを有し、前記各内側ミラーは、垂直方向について相互に段違いとなるように配置され、垂直方向に対してそれぞれ第１角度をもって傾斜し、前記各外側ミラーは、垂直方向に対してそれぞれ第２角度をもって傾斜することが好ましい。また、前記第１角度が前記第２角度より大きく、前記第１角度と前記第２角度との差が前記撮像面に対応する垂直画角の１／４であることが好ましい。さらに、前記撮像光学系の入射瞳は、光軸方向について、前記各外側ミラーの後端部より被写体側にあることが好ましい。
【発明の効果】
【００２３】
本発明によれば、ステレオ画像撮像装置に多焦点レンズを採用したので、手前から奥まで広くピントの合ったパンフォーカス性の高い左眼用及び右眼用の視差画像を生成することができる。また、立体視のための視差画像に適した画像改質処理を実行することができる。各視差画像のずれ量を算出できるので、被写体グループのおおよその前後の距離関係を推定することができ、ステレオ画像において、観察者の視点のある特定の範囲を改質することができる。さらに、光路を上下に分割することができるミラー機構を備えるので、パノラマタイプの臨場感のあるステレオ画像を取得することができる。その他の効果については、発明を実施するための形態において述べる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態のミラー機構を採用したステレオ画像撮像装置の概略構成図
【図２】（Ａ）（Ｂ）は、二焦点レンズ及び撮像素子の配置の一例を示す図
【図３】ステレオ画像の第１例の説明図
【図４】原画像の説明図
【図５】画像改質の様子を示す説明図
【図６】雑音低減の様子を示す説明図
【図７】画像再生処理を示すフローチャート
【図８】ずれ量検出処理の説明図
【図９】（Ａ）（Ｂ）（Ｃ）は、本発明の実施形態のミラー機構の概略の上面構成図、正面構成図、側面構成図
【図１０】（Ａ）（Ｂ）は、ミラー機構における各ミラーの傾きと垂直方向の光路の一部の様子を示す説明図
【図１１】（Ａ）（Ｂ）は、二焦点レンズ及び撮像素子の配置の他の一例を示す図
【図１２】ステレオ画像の第２例の説明図
【図１３】本発明の実施形態の二眼式のステレオ画像撮像装置の概略構成図
【図１４】従来のステレオアダプタによるステレオ画像の説明図
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について図面を参照して説明する。なお、本発明は、以下の例に限定されるものではない。
【００２６】
本発明のステレオ画像撮像装置は、両眼視差を与えるための所定の基線長Ｄをもって入射された第１光路Ｌ１の光と第２光路Ｌ２の光とを用いて、被写体に対する左右の両眼視差があるステレオ画像（左眼用視差画像及び右眼用視差画像）を生成する装置であり、多焦点レンズ群として構成された撮像光学系を備えている。具体的なステレオ画像撮像装置としては、ミラー機構を採用したものでもよいし、二眼式のものであってもよい。
【００２７】
本発明のステレオ画像撮像装置は、三次元コンテンツ（適当な手段によって立体視可能な静止画像データ、動画像データ）を撮像するためのカメラに適用することができる。本装置は、多焦点レンズを光学撮像系に採用したので、大きな絞り値（Ｆ値）を設定しなくてもパンフォーカス性の高い画像が得られる。このため、比較的高い露出で被写体を撮像することでき、特に動画像の撮像に好適である。また、本発明のステレオ画像撮像装置は、携帯電話、パーソナルコンピュータ、タブレット端末、携帯型ゲーム機などの各種情報端末に搭載してもよい。なお、ミラー機構を脱着可能な構成としたり、二眼レンズの一方だけを使用可能な構成とすることにより、二次元画像の撮像と三次元画像の撮像とを切り換えられるようにすることもできる。
【００２８】
図１は、ミラー機構を採用したステレオ画像撮像装置の一実施形態における概略構成図である。本実施形態のステレオ画像撮像装置１は、撮像光学系２、撮像素子４、画像処理手段６、ミラー機構８を備える。なお、本明細書では、説明のため、ステレオ画像撮像装置１は略水平に置かれているものとし、光軸Ｌ０を基準として、垂直方向（高さ方向）をＸ方向、水平方向（幅方向）をＹ方向とし、光軸Ｌ０の方向（奥行き方向）をＺ方向とする。基線長Ｄの方向はＹ方向に平行である。基線長Ｄは、負担の少ない立体視のために、人間の瞳孔間間隔（約５〜６．５ｃｍ）に近い長さであることが好ましいが、本発明を適用する装置に応じて、より短い又は長い長さ（例えば、数ｍｍ〜１メートル）としてもよい。
【００２９】
本発明の撮像光学系２は、多焦点レンズ群であり、対物側の合焦の距離に位置する被写体を撮像素子４の撮像面に結像する。以下、本明細書では、その説明において、撮像光学系２を単に多焦点レンズ群２と記載することもある。多焦点レンズ群２は、一枚の多焦点レンズ２０によって構成されていてもよいし、半円レンズや多焦点レンズのように、部分的に焦点の異なるレンズを一枚又は複数枚と通常のレンズとを組み合わせたレンズ群２５であってもよい。多焦点レンズ群２は、物体側について、第１の焦点距離をもつ第１レンズ部２１と、第２の焦点距離をもつ第２レンズ部２２とを少なくとも有する。以下、簡単のため、多焦点レンズ群２が一枚の多焦点レンズ２０によって構成されるものとして扱い、多焦点レンズ２０が第１レンズ部２１と第２レンズ部２２とを有すると説明するが、多焦点レンズ群２の構成はこれに限定されるものではない。第１レンズ部２１は、光軸Ｌ０上の第１範囲にある被写体Ａを撮像するのに適しており、第２レンズ部２２は、第２範囲にある被写体Ｂを撮像するのに適している。第１範囲は第１レンズ部２１の被写界深度に相当し、第２範囲は第２レンズ部２２の被写界深度に相当する。なお、本明細書において、光軸Ｌ０上の第１範囲又は第２範囲よりも遠距離において、第１範囲及び第２範囲以外の任意の領域を第３範囲とする。図１においては、第１範囲と第２範囲との中間の範囲を第３範囲としている。
【００３０】
例えば、第１レンズ部２１を短い焦点距離を有する近距離撮像用のレンズとし、第２レンズ部２２を長い焦点距離を有する遠距離撮像用のレンズとして構成してもよい。なお、多焦点レンズの構成はこれに限定されず、近距離撮像用のレンズと中距離撮像用のレンズとを組み合わせてもよいし、中距離撮像用のレンズと遠距離撮像用のレンズを組み合わせてもよい。つまり、本発明において使用される多焦点レンズ２０は、焦点距離が互いに異なる第１レンズ部２１と第２レンズ部２２とを有していればよい。また、以下の実施形態においては、多焦点レンズ２０として、特に二つの異なった焦点距離を有する二焦点レンズを中心として説明するが、三つ以上の異なった焦点距離を有するものとしてもよい。以下、多焦点レンズ２０について、単に二焦点レンズ２０と記載することもある。具体的な二焦点レンズ２０の構成は後述する（図２及び図１１参照）。
【００３１】
また、本実施形態では、撮像光学系（多焦点レンズ群）２を固定焦点のレンズ群として構成したが、焦点距離を変化させることができるバリフォーカルレンズ又はズームレンズとして構成することもできる。なお、各レンズ部が有する焦点距離に応じて、第１〜３範囲に相当する距離範囲も異なるものとなる。第１範囲と第２範囲とは重ならないことが好ましいが、一部重畳していてもよい。
【００３２】
二焦点レンズ２０は、ミラー機構を採用した場合は、第１光路Ｌ１の光が入射される領域２０１と第２光路Ｌ２が入射される領域２０２とに分割されるが、第１レンズ部２１及び第２レンズ部２２が各領域に均等に分割されるように配置される。すなわち、領域２０１内の第１レンズ部２１の面積と、領域２０２内の第１レンズ部２１の面積とが等しくなり、領域２０１内の第２レンズ部２２の面積と、領域２０２内の第２レンズ部２２の面積とが等しくなるように配置される。例えば、半円形の第１レンズ部２１及び第２レンズ部２２からなる二焦点レンズ２０の場合は、第１レンズ部２１と第２レンズ部２２との境界の方向が、ミラー機構による光の分割方向と直交するように配置される（図２及び図１１（Ａ）参照）。第１レンズ部２１及び第２レンズ部２２が同心円状に配置された二焦点レンズ２０の場合は、二焦点レンズ２０の中心を通れば何れの方向で分割されてもよい（図１１（Ｂ）参照）。
【００３３】
撮像素子４は、撮像光学系２を介して入射された光を電気信号に変換するセンサであり、所定の大きさの受光領域（撮像面）４０を有する。撮像素子４としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、ＣＣＤ（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等を使用することができる。撮像面４０には、立体視のための左右の視差画像を生成するために、第１光路Ｌ１の光が入射する第１撮像面４１及び第２光路Ｌ２の光が入射する第２撮像面４２が形成される。ミラー機構を採用したステレオ画像撮像装置では、第１撮像面４１及び第２撮像面４２の配置は、ミラー機構８による光路の分割方向と基本的には同じ方向に並行に配置される。撮像面４０における第１撮像面４１及び第２撮像面４２の具体的な構成については、図２及び図１１を用いて後述する。なお、図１においては、一つの撮像素子４の撮像面４０を２分割して第１撮像面４１及び第２撮像面４２を設けているが、第１光路Ｌ１の光が入射する撮像素子と、第２光路Ｌ２の光が入射する撮像素子を設けて、それぞれの撮像素子の撮像面を第１撮像面４１及び第２撮像面４２としてもよい。
【００３４】
画像処理手段６は、撮像素子４によって撮像された撮像画像５１、５２を信号として取得し、それらの撮像画像５１、５２に対して画像改質処理を施して、左眼用及び右眼用の視差画像６１、６２を出力する装置である。画像処理手段６のハードウェア的な構成については、例えば、特許文献２の図１又は図８に記載されたように、アナログ信号を増幅するフロントエンド、アナログ−デジタル変換のためのＡＤ変換器、画像改質処理のための改質フィルタ部、画像信号を補正する補正部、デジタル−アナログ変換のためのＤＡ変換器、及びこれらの各構成要素を制御する制御部などを含む構成とすることができる。
【００３５】
ミラー機構８は、近距離被写体Ａや遠距離被写体Ｂ（説明のため、点として示すが大きさを有するものである）から出た光を分割し、分割された光を撮像光学系２を介して撮像素子４の第１撮像面４１と第２撮像面４２とに導く機構である。ミラー機構８は、第１光路Ｌ１の光を導くための第１ミラー群８１と、第２光路Ｌ２の光を導くための第２ミラー群８２とを有する。第１ミラー群８１は内側ミラー８１ａと外側ミラー８１ｂとを含み、第２ミラー群８２は内側ミラー８２ａと外側ミラー８２ｂとを含む。ミラー機構８の具体的な構成としては、従来と同様に横方向（左右）に光を分割する方式や、図９及び図１０を用いて後述するように縦方向（上下）に光を分割する方式等を使用することができる。ミラー機構８と撮像光学系２を近づけて配置すれば、小型化することが可能である。
【００３６】
また、本実施形態のステレオ画像撮像装置によって生成された左眼用及び右眼用の視差画像は、図示しない表示装置に出力してもよい。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどを使用することができる。表示装置が三次元表示対応であれば、観察者は裸眼で立体映像を観ることができる。また、適当なビューア（立体視用眼鏡）を使用して立体映像を観ることもできる。
【００３７】
本発明のステレオ画像撮像装置は、ミラー機構を脱着可能な構成とし、二次元画像の撮像と三次元画像の撮像と切り換えられるようにすることもできる。また、簡易な操作によって、ミラーを折り畳むことができる構成としてもよい。
【００３８】
以下、図１乃至図３を用いて、横方向（左右）に光路を分割したステレオ画像撮像装置の動作について詳細に説明する。
【００３９】
図２は、横方向に光路を分割したステレオ画像撮像装置における二焦点レンズ及び撮像素子の配置の一例を示す図である。半円形の第１レンズ部２１と半円形の第２レンズ部２２とを有する二焦点レンズ２０を使用した場合、二焦点レンズ２０の中心が光軸上に位置し、且つ第１レンズ部２１及び第２レンズ部２２の配置がミラー機構８による光路の分割方向と直交するように、二焦点レンズ２０は配置される。すなわち、図２に示すように、二焦点レンズ２０は、光路の分割方向である横方向と直交するように、第１レンズ部２１と第２レンズ部２２とが上下に配置されている。また、撮像素子４は、二焦点レンズ２０を含む撮像光学系２（図２では他のレンズについては省略する）の結像面に撮像面４０が位置するように配置される。このため、撮像素子４の撮像面４０は、光路の分割方向と同じく左右に分割され、水平画角が半分（θ／２）である第１撮像面４１及び第２撮像面４２が形成される。
【００４０】
撮像面４０の光軸Ｌ０上に位置する点光源Ｐ０を近距離撮像用の第１レンズ部２１によって物体側に結像した位置Ｐ１までの撮像面４０からの距離をＡ１、同じく遠距離撮像用の第２レンズ部２２によって結像した位置Ｐ２までの撮像面４０からの距離をＡ２とすると、Ａ２／Ａ１が１００以下となるように多焦点レンズ群２の第１レンズ部２１及び第２レンズ部２２を設計することが好ましい。このように設計すると画像改質によって第１範囲と第２範囲の間の第３範囲においてもフォーカスを合わせることができるので、パンフォーカス性の高い画像を得ることができる。特に無限遠の被写体までパンフォーカス性を得るためには、遠距離撮像用の第２レンズ部２２によって結像した位置Ｐ２が過焦点距離の位置となるように第２レンズ部２２を設計することが好ましい。過焦点距離とは、被写界深度の最遠点が無限遠にまで拡がるように焦点合わせをした時の物体距離である。本実施形態では、撮像光学系（多焦点レンズ群）２を固定焦点のレンズ群として構成したが、焦点距離を変化させることができるバリフォーカルレンズ又はズームレンズとして構成してもよい。この場合、焦点距離を変更するとＡ２／Ａ１の値も変わるが、Ａ２／Ａ１が１００以下となる構成を含めば足りる。
【００４１】
図２では、二つの半円形のレンズを組み合わせて円形の二焦点レンズを構成する例を説明したが、これに限定されず、半楕円形又は多角形の各レンズ部を組み合わせて、各レンズ部の配置が光路の分割方向と直交するように配置して構成してもよいし、同心円状の二焦点レンズ（この場合は、各レンズ部の配置は特に制限されない）を用いてもよい。
【００４２】
近距離被写体Ａや遠距離被写体Ｂから出た光の一部は、一点鎖線で示す第１光路Ｌ１に沿って、ミラー機構８の第１ミラー群８１の開口に入射し、他の一部は、二点鎖線で示す第２光路Ｌ２に沿って、ミラー機構８の第２ミラー群の開口に入射する。第１ミラー群８１の開口から入射した光は、外側ミラー８１ｂに反射され、次いで、内側ミラー８１ａで反射され、二焦点レンズ２０の領域２０１を含む撮像光学系２に入射する。そして、撮像光学系２を介して、撮像素子４の第１撮像面４１に収束する。第２ミラー群８２の開口から入射した光も、同様にして、外側ミラー８２ｂ及び内側ミラー８２ａで反射され、二焦点レンズ２０の領域２０２を含む撮像光学系２によって、撮像素子４の第２撮像面４２に収束する。第１撮像面４１及び第２撮像面４２において収束した光は、電気信号に変換され、それぞれ、第１撮像画像５１及び第２撮像画像５２として画像処理手段６に出力される。
【００４３】
図３は、横方向に分割したステレオ画像の説明図である。光路を左右に分割するミラー機構を用いた場合、撮像面４０が左右に二等分されて、通常の水平画角の半分（θ／２）となる縦長の第１撮像面４１と第２撮像面４２とが形成される（図２参照）。このため、図３に示すとおり、撮像される撮像画像５１、５２は縦長の形状（水平画角θ／２）となる。第１撮像面４１及び第２撮像面４２には、二焦点レンズ２０のうちの第１レンズ部２１を通過した光と第２レンズ部２２を通過した光とが収束する。このため、第１撮像画像５１は、第１レンズ部２１により形成される近距離にピントの合った画像成分５１ａと第２レンズ部２２により形成される遠距離にピントの合った信号成分５１ｂとを重ね合わせた信号となる。第２撮像画像５２も同様に信号成分５２ａと信号成分５２ｂとを重ね合わせた信号となる。
【００４４】
各撮像画像は、画像処理手段６によって、画像改質処理が施され、手前の被写体から奥の被写体まで広くピントの合ったパンフォーカス性の高い左眼用視差画像６１及び右眼用視差画像６２（水平画角θ／２）として出力される。画像改質処理の詳細については、図４〜図６を用いて後述する。
【００４５】
そして、左眼用視差画像６１及び右眼用視差画像６２は適用な表示装置によって表示される。観察者は、裸眼で又は適当なビューアを用いて、これらを立体画像７０として認識することができる。
【００４６】
以下、本発明の画像改質処理について説明する。本発明では、二焦点レンズを撮像装置に採用したので、前述したとおり、撮像画像には、第１範囲（近距離）にピントの合った信号成分と、第２範囲（遠距離）にピントの合った信号成分と、いずれの範囲にもピントの合っていないボケの信号成分とが含まれる。このため、そのままでは、合成された画像は不鮮明なものであるので、適当な画像改質処理を実行する必要がある。画像改質処理については、特許文献２に記載された画像改質処理方法（図１、４、５、６、１１）を利用することもできるが、さらに雑音対策を施した画像改質処理方法を利用することが好ましい。なお、ステレオ画像撮像装置は、複数の画像改質処理方法の中から画像改質処理方法をユーザーに選択させるように構成されていてもよい。
【００４７】
特許文献２には、デジタルフィルタなどで構成される改質フィルタ部が、撮像素子から出力されたピントのあった像成分とピントのボケた像成分を含む撮像画像のうち、ピントのボケた像成分を除去し、ピントの合った像成分を抽出することが記載されている。この改質フィルタ部は、改質フィルタ係数列を算出する改質フィルタ係数算出部を含むものである。改質フィルタ係数算出部は、多焦点レンズ（二焦点レンズ）から所定の距離に配置された被写体に対する多焦点レンズのポイントスプレッド関数（以下、単に「ＰＳＦ」ともいう）に基づいて、多焦点レンズの伝達関数を算出し、この伝達関数の逆関数に対して逆フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ：ＦＴ）又は逆高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）等を実行し、逆関数の係数列、すなわち、改質フィルタ係数列を算出する。多焦点レンズと改質フィルタ部との縦続接続による伝達特性は１となるので、この結果、改質フィルタ部を通った出力画像は被写体像と等しくなり、多焦点レンズにより生じたピントのボケた成分を除去したことと等しくなる。
【００４８】
なお、多焦点レンズ（二焦点レンズ）の伝達関数（以下「代表ＰＳＦ」という）は、一般的には、多焦点レンズを構成する第１及び第２レンズ部のうちのいずれか一方を合焦のレンズ部、他方をボケのレンズ部とし、合焦のレンズ部を通る光によるポイントスプレット関数（以下「合焦ＰＳＦ」という）を「ＰＳＦ＿Ｆ」、ボケのレンズ部を通る光によるポイントスプレット関数（以下「ボケＰＳＦ」という）を「ＰＳＦ＿Ｂ」とし、合焦のレンズ部の光の量(％)を「Φｆ」、ボケのレンズ部の光の量(％)を「Φｂ」とすると、以下の式のように表わされる。
ＰＳＦ＿Ｄｏｕｂｌｅ＝Φｆ×ＰＳＦ＿Ｆ＋Φｂ×ＰＳＦ＿Ｂ・・・（１）
【００４９】
Φｆ及びΦｂは、合焦のレンズ部とボケのレンズ部を通る光の量を それぞれ「Ｌｆ」「Ｌｂ」とし、全体の光の量は「Ｌ」＝Ｌｆ＋Ｌｂとすると、以下のように示される。
Φｆ＝Ｌｆ／Ｌ、 Φｂ＝Ｌｂ／Ｌ・・・（２）
【００５０】
式（１）（２）によれば、二焦点レンズを通る光の総量が１になるように正規化されているので、二焦点レンズの伝達関数（代表ＰＳＦ）「ＰＳＦ＿Ｄｏｕｂｌｅ」は光の量に依存しない。
【００５１】
また、通常の二焦点レンズにおいて、第１レンズ部と第２レンズ部とは略等しい面積をもって構成されるので、第１レンズ部と第２レンズ部との面積比は５０％：５０％であり、すなわち、各レンズ部を通る光の量の比も５０％：５０％となる。すなわち、以下の式に示すとおり、代表ＰＳＦは、合焦ＰＳＦとボケＰＳＦとを５０％：５０％の比率で含むものとなる。
ＰＳＦ＿Ｄｏｕｂｌｅ＝０．５×ＰＳＦ＿Ｆ＋０．５×ＰＳＦ＿Ｂ・・・（３）
【００５２】
このようにして求めた「ＰＳＦ＿Ｄｏｕｂｌｅ」が多焦点レンズの伝達関数であり、前述した特許文献２に記載の撮像装置では、この伝達関数の逆関数に対して逆ＦＴ又は逆ＦＦＴ等を実行し、逆関数の係数列、すなわち、改質フィルタ係数列を算出した。なお、特許文献２に記載の撮像装置では、二焦点レンズを構成する第１レンズ部と第２レンズ部とが等しく半円形であり、それぞれの合焦点に点光源を配置した場合、撮像素子上には、それぞれ同様のピントのあった像とピントのボケた像が投射され、第１レンズ部の焦点位置に対する合焦ＰＳＦ及びボケＰＳＦと、第２レンズ部の焦点位置に対する合焦ＰＳＦ及びボケＰＳＦとが近い特性の関数となる。このため、代表ＰＳＦによれば、第１レンズ部又は第２レンズ部のいずれを介して結像されたボケ像であっても、その信号成分が改質されるのである。
【００５３】
前述した画像改質処理によれば、第１範囲及び第２範囲にある被写体に対応する信号成分が改質されるばかりでなく、第３範囲にある被写体に対応する信号成分もかなり向上することが本願の出願人による実験によって確かめられた。これは、第１及び第２範囲のピントの合った各信号成分を合わせることによって、情報量が増え、第３範囲において、コントラストと色の変調度が上昇し、ボケの信号成分が補正されるためと考えられる。
【００５４】
しかしながら、従来のとおり、５０％：５０％の比率を用いた二焦点レンズの伝達関数（代表ＰＳＦ）に基づいて改質フィルタ係数列を求め、その改質フィルタ係数列によって改質処理を実行すると、撮像素子上での処理に起因し入射した光の信号とは異なる雑音であるランダム雑音までも強調し、増大させてしまうことがあった。特に、撮像条件が悪い場合（例えば、照度不足のため露出が低くなる場合など）には、ランダム雑音が増大する問題が顕著であり、立体視に好ましくない影響を与える。本発明の画像改質処理では、画像の鮮明度とランダム雑音とのバランスを考慮して、二焦点レンズの代表ＰＳＦの設定を変更し、立体視のためのステレオ画像に適した改質フィルタを構成する。以下、従来の代表ＰＳＦの設定に基づいて構成される改質フィルタを標準改質フィルタと呼称し、雑音対策を施した改質フィルタと区別する。
【００５５】
本実施形態の雑音対策の改質フィルタ（以下「第１改質フィルタ」という）は、合焦ＰＳＦとボケＰＳＦとの比率を第１レンズ部と第２レンズ部との面積比とは異なる比に設定した代表ＰＳＦに基づいて構成される。特に雑音対策としては、合焦ＰＳＦの比率をボケＰＳＦの比率よりも大きくすることが好ましい。例えば、合焦ＰＳＦを６０％（Φｆ＝０．６）とし、ボケＰＳＦを４０％（Φｂ＝０．４）に設定して、代表ＰＳＦを定めた。標準改質フィルタでは、改質フィルタ（特許文献２の図５の垂直ｖ×水平ｈタップ改質フィルタ３３１）の中央部の３×３のマトリクスの各係数は、例えば、-０．００３、−０．００３、−０．００３、−０．００３、＋２．０００、−０．００３、−０．００３、−０．００３、−０．００３に設定されるところ、本実施形態の第１の雑音対策の改質フィルタでは、対応するマトリクスの係数は、−０．００２５、−０．００２５、−０．００２５、−０．００２５、＋１．６６４４、−０．００２５、−０．００２５、−０．００２５、−０．００２５に設定される。この第１改質フィルタによれば、標準改質フィルタに比べて、ランダム雑音を約１ｄＢ低減させることができる（図６参照）。
【００５６】
厳密にいえば、レンズには収差があり、光が一点に集まらないので、ある広がりを持つ。すなわち、合焦ＰＳＦには小さなボケが含まれる。よって、合焦ＰＳＦの全部又は一部に収差のない理想的なレンズのＰＳＦ（以下「理想ＰＳＦ」という）「ＰＳＦ＿Δ」を適用して、改質フィルタを構成することもできる。
【００５７】
そこで、本実施形態の雑音対策の改質フィルタ（以下「第２改質フィルタ」という）は、合焦ＰＳＦの一部又は全部を理想ＰＳＦを用いた代表ＰＳＦに基づいて構成される。標準改質フィルタは、実際のレンズ設計の際に計算されたＰＳＦ値を使用して、レンズの性能に合うように構成されるが、第２改質フィルタは、合焦のＰＳＦ値の一部又は全部に、理想レンズのＰＳＦ値を適用した。例えば、理想ＰＳＦの比率とボケＰＳＦの比率を５０％：５０％として代表ＰＳＦを求めた。この第２改質フィルタによれば、標準改質フィルタに比べて、ランダム雑音を約３ｄＢ低減させることができる（図６参照）。
【００５８】
なお、第１改質フィルタ及び第２改質フィルタを組み合わせてもよい。例えば、理想ＰＳＦを４０％、合焦ＰＳＦを２０％、ボケＰＳＦ量を４０％として代表ＰＳＦを求めたり、理想ＰＳＦを６０％、ボケＰＳＦ量を４０％として代表ＰＳＦを求めたりしてもよい。
【００５９】
図４は、公園において第１範囲（手前、近距離）から第３範囲（中間距離）を経て第２範囲（奥、遠距離）までを撮像した風景画像（以下「原画像」という）である。図４の原画像は、近接被写体に適した約３００ｍｍの距離に合焦するレンズによって撮像された画像（第１範囲（被写界深度）：２９２ｍｍ〜３１０ｍｍ）と、１０ｍに合焦するレンズによって撮像された画像（第２範囲（被写界深度）：５ｍ〜無縁遠）とを合成したものである。この原画像は、３００ｍｍと無限遠とに合焦する二焦点レンズにより撮像された画像とほぼ同等の特徴量などを有する。原画像の縦サイズは１１４８画像、横サイズは１５２８画素である。図４では、上から第５３０行、第６２０行、第７１０行、第８００行及び第８９０行の水平走査線の位置が示されており、これらの９０行毎の行は、各々、カメラから被写体までの距離２１００ｍｍ、１２００ｍｍ、７００ｍｍ、４５０ｍｍ、３５０ｍｍに相当し、第３範囲（中間距離）に含まれる。
【００６０】
図５は、図４の原画像に示された各水平走査線の信号の空間周波数の交流成分を示すものであり、原画像の空間周波数の交流成分、標準改質フィルタによる画像改質処理の結果、第１改質フィルタによる画像改質処理の結果を示す。図５の横軸は、図４に示した原画像の水平走査線の位置に対応し、被写体までの距離に相当する。縦軸は、各水平走査線の信号パワーを示す空間周波数の交流成分である。ここでは、画像の画質を評価するための指標として、空間周波数の交流成分を以下のように算出した。まず、原画像の各水平走査線上の信号を抽出し、これらをフーリエ解析することによって、ｓｉｎ信号の重ね合わせである空間周波数を算出する。次に、空間周波数成分について周波数０（直流成分）を除いた交流成分を積分して、交流成分の累積値を算出する。この交流成分の累積値は、信号の画質や鮮明度に対応するものであり、これを比較することにより、信号の改質レベルを評価する指標とすることができる。
【００６１】
図５の一番下の線は、原画像の信号の交流成分であり、四角印を結んだ線は、標準改質フィルタによって画像改質処理された信号の交流成分である。このように、標準改質フィルタによれば、中間距離についても信号を改質することができる。すなわち、この画像改質処理によると、ボケた信号成分が取り除かれるので、ピントのあった信号成分（例えば、図３の５１ａ、５１ｂ）が抽出され、中間距離にある信号成分も補正されて、近距離から遠距離まで広くピントのあったパンフォーカス性の高い画像を生成することができる。
【００６２】
図５の三角印で結んだ線は、第１改質フィルタによって画像改質処理された信号の交流成分である。図５に示したように、合焦ＰＳＦとボケＰＳＦとの比を６０％：４０％とすると、信号の改質レベルはやや下がる。しかし、ランダム雑音については約１ｄＢ低減させることができた（図６参照）。
【００６３】
図６は、標準改質フィルタ及び第１、第２改質フィルタによる画像改質処理における画像改質の結果の一覧である。図６では、画像の鮮明度を評価するための評価用チャートを用い、これを上下分割型の二焦点レンズ使用のカメラによって撮像した。評価用チャートは、複数の黒色線が放射状に配された楔形パターンを配置したチャートである。本実験では、評価用チャートとして、テレビの画質を評価したり、印刷物の歪を調整したりするために用いられるテストチャート（レジストレーションチャート）と同様に、二つの楔形パターン（９本）を縦方向と横方向に配した構成のものを用いた。また、画像の鮮明度を評価する指標として、レスポンス関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を用いた。ＭＴＦの測定方法としては、コントラスト測定法(矩形波チャート法)、フーリエ変換法（スリット法）などがある。本実験では、評価用チャートに対して、標準改質フィルタ、第１改質フィルタ、第２改質フィルタによる画像改質処理を実行し、各処理後の評価用チャートにおいて、コントラスト測定法によりＭＴＦを算出し、処理前の評価用チャートを基準として、雑音レベルを算出した。コントラスト測定法では、楔形パターンの黒色部による最大信号値と最小信号値との差を算出し、その差と白色部分の信号値とを比較した。
【００６４】
画像改質処理前の評価用チャートでは、ＭＴＦは１６％であり、雑音レベルは基準の０ｄＢである。標準改質フィルタによる画像改質処理では、ＭＴＦは８３％に向上するが、雑音レベルも未処理の評価用チャートに比べて５．１ｄＢに増大する。
【００６５】
第１改質フィルタ（合焦ＰＳＦとボケＰＳＦとの比６０％：４０％）による画像改質処理では、ＭＴＦは標準改質フィルタの８３％に比べると７８％に低下したが、雑音レベルは標準改質フィルタの５．１に比べて約１ｄＢ低減することができた。また、第２改質フィルタ（理想ＰＳＦとボケＰＳＦとの比５０％：５０％）による画像改質処理では、ＭＴＦは標準改質フィルタの８３％に比べると７２％に低下したが、雑音レベルは標準改質フィルタの５．１に比べて約３ｄＢ低減することができた。
【００６６】
このように、第１及び第２改質フィルタを用いた画像改質処理によれば、標準改質フィルタに比べて、改質レベルが低下するものの、立体視に好ましくないランダム雑音を低減することができる。
【００６７】
以上説明したとおり、標準改質フィルタを用いた画像改質処理によれば、二焦点レンズを構成する各レンズ部のいずれにもピントが合わない範囲についても画質を改質することができるので、立体視に適したパンフォーカス性の高い視差画像を生成することができる。また、二焦点レンズの代表ＰＳＦの設定を変更し、改質フィルタの係数列が変更された改質フィルタを構成することによって、雑音を低減させることができ、ギラツキの少ない視差画像を生成することができる。
【００６８】
さらに、本発明では、左右二つの視差画像を取得するので、これらの視差画像を相関させて画像を改質したり、画像の表示を変更したりすることも可能である。例えば、左右の視差画像を比較して、ノイズを減らし鮮明度を上げることができる。
【００６９】
左右の視差画像は、別々に画像改質処理がなされたものであるので、ノイズの性質も異なる。一方の視差画像のみにノイズが含まれる場合、観察者の立体視に好ましくない影響を与えることがあるので、ノイズを特定して除去することもできる。具体的には、例えば、いずれか一方の視差画像にノイズと思われる信号が含まれる場合、その信号が含まれる領域を特定し、特定された領域と特定された領域に対応する他方の視差画像における領域とを比較する。そして、対応する他方の視差画像における領域に同様の信号が含まれていなければ、ノイズと判定することができ、そのノイズを除去することができる。
【００７０】
また、表示された左右の視差画像のずれ量を利用して、観察者の観察対象を特定したり、画像における被写体の相対的な位置関係や距離を特定することができる。さらに、観察者の視点に合わせて視差画像を改質して表示することも可能である。
【００７１】
図７は、本発明の画像表示処理を示すフローチャートである。はじめに、ステップ７０１において、画像処理手段６は、撮像素子４から出力された各撮像画像５１、５２を取得し、取得した各撮像画像５１、５２に対して、前述した標準改質フィルタ、第１改質フィルタ、第２改質フィルタ等を用いて、画像改質処理を実行し、パンフォーカス性の高い各視差画像６１、６２を生成する。通常のステレオ画像を表示するには、各視差画像６１、６２を右眼用表示手段と左眼用表示手段を用いて表示すればよい。ステップ７０２〜７０６は、ずれ量を利用した位置関係の特定及び画像改質処理に関するものである。なお、画像処理手段６は、各種データやプログラムを格納するメモリを含む記憶部、プロセッサを含む制御部などを備え、ハードウェアとプログラムとを協働させて、図７の各ステップの処理を実現可能なように構成される。
【００７２】
また、画像処理手段６は、ステップ７０１ほかのステップにおいて、図示しない適当な表示装置において、生成した各視差画像６１、６２の少なくとも一方を表示装置において二次元画像として再生してもよい。
【００７３】
ステップ７０２において、画像処理手段６は、視差画像における特定の被写体又は被写体を含む領域を選択する。特定の被写体とは、例えば、観察者の視点が向いている被写体である。この場合、画像処理手段６は、観察者の視点の情報を取得し、取得した視点の情報に基づいて、観察者が観察している被写体を特定してもよい。観察者の視点の情報は、図示しないカメラが観察者の目の動き（視線、輻輳角、運動など）を追跡すること等によって得られる。さらに、画像処理手段６が、単に画像中央付近を視点のある領域と仮定して、この領域を選択してもよいし、周知の画像認識技術を用いて、特徴のある部分（例えば、人間の顔など）の輪郭を抽出して輪郭によって切り取られる領域を選択することもできる。
【００７４】
また、画像再生手段により視差画像の一方が再生されているので、画像処理手段６は、再生された視差画像において観察者が指定した被写体又は被写体を含む領域の情報を取得して、取得した領域を特定の領域として選択することもできる。特に、本発明のステレオ画像撮像装置がタッチパネルセンサを備える情報端末（例えば、スマートフォンなど）に搭載される場合に、観察者が立体視したい被写体の輪郭をなぞることで直感的に操作できるため好適である。画像処理手段６は、この輪郭の情報を取得してそのまま特定の領域を選択してもよいし、観察者によってなぞられた大まかな輪郭の領域又は大まかな円・半円などの指定領域に対して、周知の画像認識技術を適用し、より正確に被写体の輪郭を取り出してもよい。
【００７５】
ステップ７０３において、画像処理手段６は、各視差画像６１、６２のずれ量を検出する。以下、ずれ量を検出する処理について説明する。
【００７６】
図８は、ずれ量検出処理の説明図である。左右の視差画像６１、６２には、近距離被写体Ａ、中距離被写体Ｃ及び遠距被写体Ｂが含まれる。各視差画像は、所定の基線長Ｄをもって撮像されたものであるので、対応する被写体の間には、その被写体が位置する奥行き方向（Ｚ方向）の距離に応じて、幅方向（Ｙ方向）にずれが生じる。図７のステップ７０３では、各視差画像を重ね合わせた画像６３を用い、画像解析によって、被写体Ａのずれ量ΔＹ１、被写体Ｂのずれ量ΔＹ２、被写体Ｃのずれ量ΔＹ３を検出することができる。検出したずれ量は、撮像光学系から被写体の実際の位置までの距離に対応する。
【００７７】
また、画像６４に示したとおり、ステップ７０２において選択された観察者の視点のある特定の被写体を基準として、その特定の被写体の輪郭を重ねて合わせるように、左右の視差画像６１、６２をスライドさせてもよい。この場合、重ねられた特定の被写体の変調度は高くなり、その特定の被写体に対しＺ方向ついて前後にある被写体については変調度が低くなるので、変調度の相違に基づいてずれ量を検出することもできる。
【００７８】
図７のステップ７０４において、画像処理手段６は、検出したずれ量に基づいて、画像中の被写体の相対的な位置関係を特定する。具体的には、各被写体のずれ量の大きさを比較し、ずれ量の大きい被写体ほど近距離にあると判定し、ずれ量の小さい被写体ほど遠距離にあると判定して、各被写体のＺ方向に関する相対的な位置関係を特定することができる。また、視点のある特定の被写体を重ねる場合、そのずれ量は０となり、その他の領域においてずれ量が０の被写体があれば、それも同距離にあると判定できるし、その他のずれ量のある被写体は、特定の被写体の手前又は奥のいずれかにあると判定できる。
【００７９】
ステップ７０５において、画像処理手段６は、ステップ７０２で選択された特定の被写体を含む領域を合焦の領域に設定し、合焦の領域以外をボケの領域に設定する。この場合、特定の被写体ばかりでなく、特定の被写体と等距離にある被写体を含む領域や特定の被写体よりも近距離の領域なども合焦の領域に設定してもよい。
【００８０】
ステップ７０６において、画像処理手段６は、画像再生処理を実行する。例えば、改質処理後の視差画像において、合焦の領域については、改質された画素データ（改質成分）をそのまま用い、ボケの領域については、撮像画像中のボケを含んだ画像データ（ボケ成分）を重ねて、視点のある特定の被写体以外をぼかした状態で左右の視差画像を表示装置に表示する。また、ステップ７０５において、合焦の領域とボケの領域を特定しているので、例えば、改質処理前の撮像画像を用いて、合焦の領域に改質処理を施して、視差画像を生成し、生成された左右の視差画像を表示装置に表示してもよい。また、改質処理後の視差画像における合焦の領域と改質処理前の撮像画像におけるボケの領域とを適宜組み合わせて、左右の視差画像を表示装置に表示してもよい。すなわち、二焦点レンズによって取得したボケ成分を利用して、特定の被写体以外の領域をボケさせることができればよい。これによって、観察者の視点のある被写体又は所定の領域のみにピントの合った視差画像を生成し、左右の視差画像を再生することができる。さらに、観察者の視点が移動した場合、ステップ７０２〜７０５と同様に、移動した先の被写体を新たな合焦の領域に設定し、合焦の領域の画像を改質し、その他の領域をボケさせた画像を表示することが好ましい。
【００８１】
三次元用の当該コンテンツが連続するフレームからなる動画像である場合、画像処理手段６は、ステップ７０７において、処理すべき次のフレーム（視差画像）があるか否か判定し、次のフレームがある場合（Ｙｅｓ）は、ステップ７０１の処理を実行し、次のフレームがない場合（Ｎｏ）は、処理を終了する。
【００８２】
なお、図７に示したフローチャートは単なる例示であり、各ステップの処理順序は、これに限定されず、必要に応じて適宜入れ替えてもよい。また、再生の形態（動画コンテンツ、静止画コンテンツ）に応じて、一部の処理を省略したり、他の処理に置き換えてもよい。例えば、動画コンテンツであれば、同様の場面が数十フレーム分続くこともあるので、ステップ７０２において、一度、特定の被写体が選択されたら、大きく場面が変わるまでは、主に観察対象となる特定の被写体は変更されないと判断し、その後のステップ７０２を省略してもよい。また、動画コンテンツではフレームが連続的に再生され、観察者の視点を連続的に追跡しなければならないので、ステップ７０２で利用する観察者の視点の情報は、一つ前に再生されたフレーム（一つ前のループのステップ７０６）の中で特定した観察者の視点の情報を利用することもできる。また、観察者の視点が短い間隔で上下左右に大きく移動する場合、観察者が映像酔いに陥る虞があるため、ステップ７０６における特定の被写体を浮かび上がらせて再生する処理を中止して、代わりに、通常のパンフォーカス性の高い改質処理後の視差画像を再生してもよい。また、本フローチャートでは、改質処理後の各視差画像のずれ量に基づいて被写体の相対的な位置関係を特定したが、基線長に基づいて三角測量を利用して撮像光学系から被写体までの距離を推定してもよい。なお、三次元の動画像を表示する場合は、計算の負荷を低減するため、実際の距離を算出するのではなく、ずれ量を利用して相対的な位置関係のみを推定することが好ましい。
【００８３】
なお、改質処理前の各撮像画像の特徴量に基づいて被写体の相対的な位置関係や距離を推定してもよい。例えば、画像処理手段６は、ステップ７０１、７０３では、被写体の輪郭が鮮明な改質処理後の視差画像を用いたが、改質処理後の視差画像の代わりに、改質処理前の撮像画像信号を取得し、取得した撮像画像信号から、線画抽出法又は有限要素法などの画像を細分化する方法を用いて要素画素を切り出し、その要素画素の平均位置（距離）を計算してもよい。
【００８４】
また、本実施形態では、画像撮像装置の画像処理手段６が特定の被写体に合焦する左右の視差画像を生成し、生成された左右の視差画像を表示装置において再生すると説明したが、画像処理手段６とは異なる処理手段、例えば画像表示装置の画像処理手段によって、図７に示した各処理を実現してもよい。また、画像処理手段６は、特定の被写体に合焦する左右の視差画像を生成した後は、左右の視差画像を表示装置に出力し、表示装置が取得した視差画像の表示処理を実行する構成としてもよい。
【００８５】
以上説明したとおり、本発明によれば、視差画像又は撮像画像から画像中の被写体の相対的な位置関係を推定することができるので、所望の距離にある被写体にピントを合わせたり、ぼかしたりすることができる。つまり、立体視のための視差画像において観察者の視点のある範囲を浮かび上がらせるような処理が可能である。また、観察者の視点を連続的に追跡することによって、観察対象の被写体にピントがあった視差画像を連続的に再生することができる。また、視点を誘導するためにピントの合った範囲を場面に応じて変更する処理も可能である。特に本発明では、多焦点レンズで得られた撮像画像には、距離に依存する自然なボケ画像の情報があるので、このボケ画像を利用することにより、画像処理のアプリケーションによる一様なボケ加工とは異なり、自然なボケを表現することができる。
【００８６】
以上の実施形態では、光路を横方向に分割したステレオ画像撮像装置について説明したが、光路を縦方向（上下）に分割することもできる。以下、図９及び図１０を用いて、光路を縦方向に分割するステレオ画像撮像装置のミラー機構について説明し、その後、図１１を用いて、撮像手段及び二焦点レンズの配置を説明し、さらに図１２を用いて撮像される画像について説明する。なお、図９及び図１０のミラー機構は、単焦点レンズを用いてもステレオ画像を撮像することができる。また、図４〜図８において説明した各種処理については、光路を横方向に分割する方式のステレオ画像撮像装置に適用することもできるし、以下に説明する光路を縦方向に分割する方式のステレオ画像撮像装置にも適用することができる。また、図１３に示す二眼式のステレオ画像撮像装置にも適用することができる。
【００８７】
図９（Ａ）（Ｂ）（Ｃ）は、本実施形態のミラー機構の概略の上面構成図、正面構成図、側面構成図である。図９（Ａ）には、水平方向の光路の一部が示されている。ミラー機構８は、第１光路Ｌ１を第１撮像面４１に導くための第１ミラー群８１と、第２光路Ｌ２を第２撮像面に導くための第２ミラー群とを備える。第１ミラー群８１は、内側ミラー８１ａと外側ミラー８１ｂとを含み、第２ミラー群８２は、内側ミラー８２ａと外側ミラー８２ｂとを含む。なお、各ミラーは、光路を上下方向に振り分けるために、図１０に示すように、垂直方向（Ｘ方向）について所定の角度をもって傾けて配置されているが、図９では簡略化のためその傾きを省略して図示している。
【００８８】
図９（Ａ）に示すように、第１ミラー群８１と第２ミラー群８２とは、撮像光学系２の光軸に対して対称となるように配置される。また、各ミラー群において、内側ミラーの上端部と外側ミラーの上端部とが略平行となるように配置される。図９（Ｂ）に示すように、第１ミラー群８１と第２ミラー群８２との少なくとも一部は上下に段違いに配置される。図９（Ｃ）に示すように、本実施形態のミラー機構は、内側ミラー８１a、８２ｂの後端部（Ｚ方向の手前）と外側ミラーの後端部（Ｚ方向の手前）との間に撮像光学系２の入射瞳Ｐが位置するように構成することが好ましい。つまり、内側ミラーの後端部を外側ミラーの後端部よりも被写体側に引っ込めて配置することができ、入射瞳Ｐをミラー機構にできるだけ近づけるように構成することができる。このように、入射瞳Ｐをミラーに近づけることによってミラー機構を小型化することができ、携帯情報端末に搭載するのに好適である。しかし、入射瞳Ｐをミラーに近づけすぎると、光路を分離することができず、視差画像に蹴られ（被写体の情報を持たない黒い画素領域）が生じることがある。
【００８９】
従来のステレオアダプタでは水平画角が半分（θ／２）となるところ、本実施形態のミラー機構では、図９（Ａ）に示したように、各ミラー群を上下に段違いに配置したので、水平画角θのステレオ画像を取得することができる。
【００９０】
図９（Ａ）を参照すると、例えば、光路Ｌ２１の光（二点鎖線で示す）が第２ミラー機構の開口を介して入射されると、その光は、外側ミラー８２ｂによって反射され、その反射した光は内側ミラー８２ａによって反射され、入射瞳Ｐに到達する。一方、光路Ｌ２２の光（長破線で示す）が第２ミラー機構の開口を介して入射されると、外側ミラー８２ｂによって反射され、その反射した光は内側ミラー８２ａによって反射され、入射瞳Ｐに到達する。この場合、入射瞳Ｐからの光路の拡がり、すなわち、水平画角はθである。説明のため、光路Ｌ２１と光路Ｌ２２との延長線との交点を仮想の入射瞳Ｐ´（入射瞳Ｐが仮想的に移動したもの）とする。仮想の入射瞳Ｐ´からの光路の拡がりはθで示される。
【００９１】
図１０（Ａ）は、ミラー機構における第１ミラー群８１の傾きを示す説明図であり、図９（Ａ）に示したＳ１断面を入射瞳Ｐから観た図である。図１０（Ｂ）は、第２ミラー群の垂直方向の傾きを示す説明図であり、図９（Ａ）に示したＳ２断面を入射瞳Ｐから観た図である。はじめに、第２ミラー群８２の内側ミラー８２ａは、その下端が入射瞳Ｐに近づく方向に垂直方向に対して角度αをもって傾斜して配置される。また、外側ミラー８２ｂは、その上端が入射瞳Ｐに近づく方向に垂直方向に対して角度βをもって傾斜して配置される。同様にして、第１ミラー群８１の内側ミラー８１ａ及び外側ミラー８１ｂも、それぞれ、垂直方向に対して角度α、βをもって傾斜して配置される。
【００９２】
また、図１０（Ｂ）は、ミラー機構における垂直方向の光路の一部の様子を模式的に示す。本実施形態のミラー機構は、各ミラーが傾斜をもって配置されているため、光路によって光学距離が異なり、各ミラーの上側と下側とで二つの反射点が生じる。具体的には、上側の光路Ｌ２１の光（二点鎖線）が第２ミラー群８２に入射すると、まず外側ミラー８２ｂの上側の反射点１で反射され、次いで、内側ミラー８２ａの上側の反射点２で反射され、入射瞳Ｐに入射する。
【００９３】
また、下側の光路Ｌ２２の光（長鎖線）が第２ミラー群８２に入射すると、まず外側ミラー８２ｂの下側の反射点３で反射され、次いで、内側ミラー８２ａの下側の反射点４で反射され、入射瞳Ｐに入射する。各ミラーは相互に異なる角度α、βをもって配置されており、すなわち、相対的な角度差｜α-β｜があるので、外側及び内側ミラーによって反射する各光路の光は、｜α-β｜の２倍だけ、入射角が変わる。したがって、例えば、｜α-β｜＝４°と設定され、上側光路Ｌ２１の光が光軸Ｌ０に対して約＋８°の角度で入射し、下側光路Ｌ２２の光が光軸Ｌ０に対して約−８°の角度で入射する場合、各光は外側及び内側ミラーによって反射されると、光路Ｌ２１の光は０°で入射瞳Ｐに入射し、光路Ｌ２２の光は−１６°で入射瞳Ｐに入射する。
【００９４】
このように、垂直画角φ／２（例えば１６°）自体の大きさは変わらないが、第２ミラー群８２によって、下向き−８°から上向き＋８°の垂直画角の範囲は、下向き−１６°から０°に変更される。同様にして、第２ミラー群８２とは少なくとも一部が段違いに配置された第１ミラー群８１によって、下向き−８°から上向き＋８°の垂直画角の範囲は、上向き１６°から０°に変更される。なお、説明のため、光路Ｌ２１の延長線と光路Ｌ２２の延長線との交点を仮想の入射瞳Ｐ´とし、仮想の入射瞳Ｐ´からの垂直方向への光路の拡がりの角度、すなわち、垂直画角をφ／２と示す。
【００９５】
図１１（Ａ）（Ｂ）は、縦方向に光路を分割したステレオ画像撮像装置における二焦点レンズ及び撮像素子の配置の一例を示す図である。半円形の第１レンズ部２１と半円形の第２レンズ部２２とを有する二焦点レンズ２０を使用した場合、二焦点レンズ２０の中心が光軸上に位置し、且つ第１レンズ部２１及び第２レンズ部２２の配置がミラー機構８による光路の分割方向と直交するように、二焦点レンズ２０は配置される。すなわち、図１１（Ａ）に示すように、二焦点レンズ２０は、光路の分割方向である縦方向と直交するように、第１レンズ部２１と第２レンズ部２２とが左右に配置されている。また、撮像素子４は、中心が光軸上に位置し、且つ、撮像素子４の撮像面４０が、二焦点レンズ２０を含む撮像光学系２（図１１では他のレンズについては省略する）の結像面に位置するように配置される。このため、撮像素子４の撮像面４０は、光路の分割方向と同じく上下に分割され、垂直画角が半分（φ／２）である第１撮像面４１及び第２撮像面４２が形成される。なお、図１１（Ａ）では、二つの半円形のレンズを組み合わせて円形の二焦点レンズを構成する例を説明したが、これに限定されず、半楕円形又は多角形の各レンズ部を組み合わせて、境界が光路の分割方向と直交するように配置して構成してもよい。
【００９６】
なお、二焦点レンズとして、図１１（Ｂ）に示すような円形の第１レンズ部２１と、円環状（ドーナツ型）の第２レンズ部２２とを用い、各レンズ部の光軸が一致する同心円状のものを採用すれば、光路の分割方向によって制約されない。さらに、多角形や楕円形の第１レンズ部２１を内側に配して、その外側に、同様の形状の内縁（及び外縁）を有する環状の第２レンズ部２２を配してもよい。多角形の角部は丸みを有する形状であってもよい。また、第１レンズ部２１と第２レンズ部２２との配置を逆にしてもよい。
【００９７】
また、例えば、第２光路Ｌ２の光は、ミラー機構８において少なくとも一部が段違いの下側に配置された第２ミラー群８２（図９参照）によって、第１レンズ部２１と第２レンズ部２２とを含む二焦点レンズ２０の下部半面２０２を介して、第２撮像面４２に収束される。よって、第２撮像面４２からは、第２撮像画像５２が、二焦点レンズ２０下部半面２０１の第１レンズ部２１を通った近距離にピントの合った像を含む信号と、第２レンズ部２２を通った遠距離にピントが合った像を含む信号とを合成した信号として出力されるのである。
【００９８】
なお、ミラー機構８によって、上下に分割した光路を導く構成とする場合、二焦点レンズ２０は、図１１（Ｂ）に示したとおり、円形の第１レンズ部２１と、円環状（ドーナツ型）の第２レンズ部２２とを用い、各レンズ部の光軸が一致する同心円型構造としてもよい。さらに、多角形や楕円形の第１レンズ部２１を内側に配して、その外側に、同様の形状の内縁（及び外縁）を有する環状の第２レンズ部２２を配してもよい。多角形の角部は丸みを有する形状であってもよい。また、第１レンズ部２１と第２レンズ部２２との配置を逆にしてもよい。本発明では、上下に分割された横長タイプのステレオ画像を生成するために、光路を上下に分割することができるようにミラー機構を構成した。
【００９９】
図１２は、縦方向に分割したステレオ画像の説明図である。光路を上下に分割するミラー機構８を用いた場合、撮像面４０が上下に二等分されて、通常の垂直画角の半分（φ／２）となる横長の第１撮像面４１と第２撮像面４２とが形成される（図１１）。このため、図１２に示すとおり、撮像される撮像画像５１、５２は横長の形状（垂直画角φ／２）となる。第１撮像面４１において取得された第１撮像画像５１及び第２撮像面４２において取得された第２撮像画像５２には、画像処理手段６によって画像改質処理が施され、左眼用視差画像６１及び右眼用視差画像６２（垂直画角φ／２）が出力される。観察者は、裸眼で又は適当なビューアを用いて、これらを立体画像７０として認識することができる。
【０１００】
以上説明したとおり、本実施形態のミラー機構によれば、光路を上下に分割し、第１光路Ｌ１を撮像素子４の第１撮像面４１に導き、第２光路Ｌ２を第２撮像面４２に導くことができるので、水平画角θをもった横長タイプのステレオ画像を形成することができる。なお、本実施形態では、ミラー機構の各ミラーの配置（位置、光軸方向についての開きの角度、傾斜の角度など）を固定としたが、搭載するレンズの機能（ズーム機能など）に応じて、ミラーの配置を可変とする構成としてもよい。また、ステレオ画像を撮像するため撮像範囲が概ね同じとなるように第１ミラー群と第２ミラー群とを配置したが、例えば、第１ミラー群と第２ミラー群とを開散方向に広がるように配置することによって、超広角画像を撮像可能なミラー機構を構成することもできる。また、本実施形態では、各水平（垂直）画角が等しい二つのミラー群を用いたが、各画角が異なるミラー群を用いてもよいし、三つ以上のミラー群を用いてもよい。
【０１０１】
本実施形態のミラー機構の一つの実施例として、以下のとおり設計した。第１及び第２ミラー群における内側ミラー８１ａ、８２ａについて、横（長手方向）の長さを８．０ｍｍ、縦（短手方向）の長さを１．０ｍｍとした。外側ミラー８１ｂ、８２ｂについて、横（長手方向）の長さを３２．０ｍｍ、縦（短手方向）の長さを４．０ｍｍとした。水平方向（Ｙ方向）について、入射瞳Ｐと仮想の入射瞳Ｐ´との間隔は１５．１８ｍｍに設定した。つまり、基線長Ｄは３０．３６ｍｍである。水平画角θについては約５０．０°を実現した。
【０１０２】
また、外側ミラーの傾斜角度αを５．１０°、内側ミラーの傾斜角度βを１．１０°に設定した。｜α-β｜は４°であり、垂直画角φ／２については１６°を実現した。
【０１０３】
以上、本発明の実施形態として、ミラー機構を採用したステレオ画像撮像装置について説明したが、本発明はこの構成に限定されない。本発明は、他の実施形態として、以下に説明するとおり、二眼式のステレオ画像撮像装置として構成してもよい。
【０１０４】
図１３は、本発明の実施形態の二眼式のステレオ画像撮像装置の概略構成図である。図１で説明したステレオ画像撮像装置と同一の構成要素については同一の符号を付し、詳細な説明を省略する。図１３に示すとおり、二眼式のステレオ画像撮像装置１０は、二つの撮像光学系２、二つの撮像素子４、及び画像処理手段６を備え、図１のステレオ画像撮像装置１とは光路を分割するためのミラー機構を備えていない点で相違する。筺体（図示省略）には、所定の基線長Ｄをもって左側開口８５と右側開口８６とが設けられる。光路Ｌ１の光は、左側開口８５から入射され、左側の撮像光学系２を介して、左側の撮像素子４の第１撮像面４１に収束する。同様にして、光路Ｌ２の光は、右側開口８６から入射され、右側の撮像光学系２を介して、右側の撮像素子４の第２撮像面４２に収束する。第１及び第２撮像面では、収束した光が電気信号に変換され、第１撮像画像５１及び第２撮像画像５２として、画像処理手段６に出力される。第１撮像画像５１及び第２撮像画像５２は、画像処理手段６によって画像改質処理などを施され、それぞれ左眼用視差画像６１及び右眼用視差画像６２として図示しない表示装置などに出力される。
【符号の説明】
【０１０５】
１ ステレオ画像撮像装置
２ 撮像光学系（多焦点レンズ群）
４ 撮像素子
６ 画像処理手段
８ ミラー機構
２０ 多焦点レンズ（二焦点レンズ）
２１ 第１レンズ部
２２ 第２レンズ部
２５ 単焦点レンズ
４０ 撮像面
４１ 第１撮像面
４２ 第２撮像面
５１ 第１撮像画像
５２ 第２撮像画像
６１ 左眼用視差画像
６２ 右眼用視差画像
８１ 第１ミラー群
８１ａ 内側ミラー
８１ｂ 外側ミラー
８２ 第２ミラー群
８２ａ 内側ミラー
８２ｂ 外側ミラー
Ｌ０ 光軸
Ｌ１ 第１光路
Ｌ２ 第２光路
【特許請求の範囲】
【請求項１】
撮像画像を取得する撮像素子と、立体視のための両眼視差を与える所定の基線長をもって入射された第１光路の光と第２光路の光とを前記撮像素子の撮像面に導く撮像光学系と、前記撮像素子によって撮像された撮像画像を処理する画像処理手段と、を備えるステレオ画像撮像装置において、
前記撮像光学系は、第１の焦点距離をもつ第１レンズ部と前記第１の焦点距離とは異なる第２の焦点距離をもつ第２レンズ部とを少なくとも有する多焦点レンズ群として構成され、
前記画像処理手段は、前記多焦点レンズ群を介して前記撮像素子によって撮像された、前記第１光路の光による第１撮像画像及び前記第２光路の光による第２撮像画像に基づいて、左眼用視差画像及び右眼用視差画像を生成することを特徴とするステレオ画像撮像装置。
【請求項２】
前記撮像面の光軸上に位置する点光源を遠距離撮像用の前記第２レンズ部によって結像した位置までの前記撮像面からの距離と、近距離撮像用の前記第１レンズ部によって物体側に結像した位置までの前記撮像面からの距離との比が１００以下であることを特徴とする請求項１に記載のステレオ画像撮像装置。
【請求項３】
前記画像処理手段は、改質フィルタによって前記第１及び第２撮像画像を改質して、前記第１レンズ部の被写界深度に相当する第１範囲、前記第２レンズの被写界深度に相当する第２範囲及び前記第１の範囲又は第２範囲より遠く前記第１及び第２範囲とは異なる第３範囲のボケの信号成分を補正して、左眼用視差画像及び右眼用視差画像を生成することを特徴とする請求項１又は２に記載のステレオ画像撮像装置。
【請求項４】
前記改質フィルタによる改質は、前記第３範囲の水平走査線上の信号を抽出し、フーリエ解析することによって得られた空間周波数の交流成分の累積値が、前記第１及び第２撮像画像に比べて、前記左眼用視差画像及び右眼用視差画像の方が大きくなることを特徴とする請求項３に記載のステレオ画像撮像装置。
【請求項５】
前記改質フィルタは、前記第１及び第２レンズ部のうち、合焦のレンズ部を通る光による合焦のポイントスプレット関数と他方のレンズ部を通る光によるボケのポイントスプレット関数とを用いて求めた前記多焦点レンズ群の代表ポイントスプレット関数に基づいて構成されることを特徴とする請求項３又は４に記載のステレオ画像撮像装置。
【請求項６】
前記改質フィルタは、前記合焦のポイントスプレット関数と前記ボケのポイントスプレット関数との比を、前記第１レンズ部と前記第２レンズ部との面積比とは異なる比に設定されていることを特徴とする請求項５に記載のステレオ画像撮像装置。
【請求項７】
前記合焦のポイントスプレット関数の少なくも一部は、理想レンズのポイントスプレット関数が適用されることを特徴とする請求項５又は６に記載のステレオ画像撮像装置。
【請求項８】
前記画像処理手段は、前記左眼用視差画像と前記右眼用視差画像とを比較することによって、前記各視差画像における被写体のずれ量を検出し、前記検出されたずれ量に基づいて、光軸方向についての被写体の相対的な位置関係を特定することを特徴する請求項１乃至７の何れか１項に記載のステレオ画像撮像装置。
【請求項９】
前記画像処理手段は、前記被写体の相対的な位置関係に基づいて、前記各撮像画像又は各視差画像に対して、合焦の領域とボケの領域とを設定し、前記設定された各領域に対して、異なる画像改質処理を実行することを特徴とする請求項８に記載のステレオ画像撮像装置。
【請求項１０】
前記画像処理手段は、選択された特定の被写体の領域、前記特定の被写体と略等距離にある被写体の領域、又は前記特定の被写体とそれより近い距離にある被写体の領域を前記合焦の領域に設定することを特徴とする請求項９に記載のステレオ画像撮像装置。
【請求項１１】
前記特定の被写体は、観察者の視点の情報に基づいて選択されることを特徴とする請求項１０に記載のステレオ画像撮像装置。
【請求項１２】
前記特定の被写体は、観察者によって入力された被写体の輪郭の情報又は指定領域の情報に基づいて選択されることを特徴とする請求項１０に記載のステレオ画像撮像装置。
【請求項１３】
前記第１光路の光及び第２光路の光を、前記撮像光学系を介してそれぞれ前記撮像素子の撮像面に導くことが可能に構成されたミラー機構を備え、
前記第１レンズ部及び前記第２レンズ部は、直線状の境界線によって分割されており、前記ミラー機構による光路の分割方向と直交するように配置されることを特徴とする請求項１乃至１２の何れか１項に記載のステレオ画像撮像装置。
【請求項１４】
前記ミラー機構は、光を縦方向に分割して前記第１光路及び前記第２光路を形成することを特徴とする請求項１３に記載のステレオ画像撮像装置。
【請求項１５】
前記ミラー機構は、前記第１光路を前記撮像面に導くための内側及び外側ミラーを含む第１ミラー群と、前記第２光路を前記撮像面に導くための内側及び外側ミラーを含む第２ミラー群とを有し、
前記各内側ミラーは、垂直方向について相互に段違いとなるように配置され、垂直方向に対してそれぞれ第１角度をもって傾斜し、
前記各外側ミラーは、垂直方向に対してそれぞれ第２角度をもって傾斜することを特徴とする請求項１４に記載のステレオ画像撮像装置。
【請求項１６】
前記第１角度が前記第２角度より大きく、
前記第１角度と前記第２角度との差が前記撮像面に対応する垂直画角の１／４であることを特徴とする請求項１５に記載のステレオ画像撮像装置。
【請求項１７】
前記撮像光学系の入射瞳は、光軸方向について、前記各外側ミラーの後端部より被写体側にあることを特徴とする請求項１５又は１６に記載のステレオ画像撮像装置。
【請求項１】
撮像画像を取得する撮像素子と、立体視のための両眼視差を与える所定の基線長をもって入射された第１光路の光と第２光路の光とを前記撮像素子の撮像面に導く撮像光学系と、前記撮像素子によって撮像された撮像画像を処理する画像処理手段と、を備えるステレオ画像撮像装置において、
前記撮像光学系は、第１の焦点距離をもつ第１レンズ部と前記第１の焦点距離とは異なる第２の焦点距離をもつ第２レンズ部とを少なくとも有する多焦点レンズ群として構成され、
前記画像処理手段は、前記多焦点レンズ群を介して前記撮像素子によって撮像された、前記第１光路の光による第１撮像画像及び前記第２光路の光による第２撮像画像に基づいて、左眼用視差画像及び右眼用視差画像を生成することを特徴とするステレオ画像撮像装置。
【請求項２】
前記撮像面の光軸上に位置する点光源を遠距離撮像用の前記第２レンズ部によって結像した位置までの前記撮像面からの距離と、近距離撮像用の前記第１レンズ部によって物体側に結像した位置までの前記撮像面からの距離との比が１００以下であることを特徴とする請求項１に記載のステレオ画像撮像装置。
【請求項３】
前記画像処理手段は、改質フィルタによって前記第１及び第２撮像画像を改質して、前記第１レンズ部の被写界深度に相当する第１範囲、前記第２レンズの被写界深度に相当する第２範囲及び前記第１の範囲又は第２範囲より遠く前記第１及び第２範囲とは異なる第３範囲のボケの信号成分を補正して、左眼用視差画像及び右眼用視差画像を生成することを特徴とする請求項１又は２に記載のステレオ画像撮像装置。
【請求項４】
前記改質フィルタによる改質は、前記第３範囲の水平走査線上の信号を抽出し、フーリエ解析することによって得られた空間周波数の交流成分の累積値が、前記第１及び第２撮像画像に比べて、前記左眼用視差画像及び右眼用視差画像の方が大きくなることを特徴とする請求項３に記載のステレオ画像撮像装置。
【請求項５】
前記改質フィルタは、前記第１及び第２レンズ部のうち、合焦のレンズ部を通る光による合焦のポイントスプレット関数と他方のレンズ部を通る光によるボケのポイントスプレット関数とを用いて求めた前記多焦点レンズ群の代表ポイントスプレット関数に基づいて構成されることを特徴とする請求項３又は４に記載のステレオ画像撮像装置。
【請求項６】
前記改質フィルタは、前記合焦のポイントスプレット関数と前記ボケのポイントスプレット関数との比を、前記第１レンズ部と前記第２レンズ部との面積比とは異なる比に設定されていることを特徴とする請求項５に記載のステレオ画像撮像装置。
【請求項７】
前記合焦のポイントスプレット関数の少なくも一部は、理想レンズのポイントスプレット関数が適用されることを特徴とする請求項５又は６に記載のステレオ画像撮像装置。
【請求項８】
前記画像処理手段は、前記左眼用視差画像と前記右眼用視差画像とを比較することによって、前記各視差画像における被写体のずれ量を検出し、前記検出されたずれ量に基づいて、光軸方向についての被写体の相対的な位置関係を特定することを特徴する請求項１乃至７の何れか１項に記載のステレオ画像撮像装置。
【請求項９】
前記画像処理手段は、前記被写体の相対的な位置関係に基づいて、前記各撮像画像又は各視差画像に対して、合焦の領域とボケの領域とを設定し、前記設定された各領域に対して、異なる画像改質処理を実行することを特徴とする請求項８に記載のステレオ画像撮像装置。
【請求項１０】
前記画像処理手段は、選択された特定の被写体の領域、前記特定の被写体と略等距離にある被写体の領域、又は前記特定の被写体とそれより近い距離にある被写体の領域を前記合焦の領域に設定することを特徴とする請求項９に記載のステレオ画像撮像装置。
【請求項１１】
前記特定の被写体は、観察者の視点の情報に基づいて選択されることを特徴とする請求項１０に記載のステレオ画像撮像装置。
【請求項１２】
前記特定の被写体は、観察者によって入力された被写体の輪郭の情報又は指定領域の情報に基づいて選択されることを特徴とする請求項１０に記載のステレオ画像撮像装置。
【請求項１３】
前記第１光路の光及び第２光路の光を、前記撮像光学系を介してそれぞれ前記撮像素子の撮像面に導くことが可能に構成されたミラー機構を備え、
前記第１レンズ部及び前記第２レンズ部は、直線状の境界線によって分割されており、前記ミラー機構による光路の分割方向と直交するように配置されることを特徴とする請求項１乃至１２の何れか１項に記載のステレオ画像撮像装置。
【請求項１４】
前記ミラー機構は、光を縦方向に分割して前記第１光路及び前記第２光路を形成することを特徴とする請求項１３に記載のステレオ画像撮像装置。
【請求項１５】
前記ミラー機構は、前記第１光路を前記撮像面に導くための内側及び外側ミラーを含む第１ミラー群と、前記第２光路を前記撮像面に導くための内側及び外側ミラーを含む第２ミラー群とを有し、
前記各内側ミラーは、垂直方向について相互に段違いとなるように配置され、垂直方向に対してそれぞれ第１角度をもって傾斜し、
前記各外側ミラーは、垂直方向に対してそれぞれ第２角度をもって傾斜することを特徴とする請求項１４に記載のステレオ画像撮像装置。
【請求項１６】
前記第１角度が前記第２角度より大きく、
前記第１角度と前記第２角度との差が前記撮像面に対応する垂直画角の１／４であることを特徴とする請求項１５に記載のステレオ画像撮像装置。
【請求項１７】
前記撮像光学系の入射瞳は、光軸方向について、前記各外側ミラーの後端部より被写体側にあることを特徴とする請求項１５又は１６に記載のステレオ画像撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１８２７３８（Ｐ２０１２−１８２７３８Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４５４８９（Ｐ２０１１−４５４８９）
【出願日】平成２３年３月２日（２０１１．３．２）
【出願人】（５０３４２１１２８）リバーベル株式会社 (10)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月２日（２０１１．３．２）
【出願人】（５０３４２１１２８）リバーベル株式会社 (10)
【Ｆターム（参考）】
[ Back to top ]