画像処理システム、画像処理方法および画像処理プログラム
【課題】一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる画像処理システム、画像処理方法および画像処理プログラムを提供する。
【解決手段】画像処理システムは、被写体を撮像して第１の入力画像を取得する第１の撮像手段と、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段と、第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成する立体視生成手段とを含む。
【解決手段】画像処理システムは、被写体を撮像して第１の入力画像を取得する第１の撮像手段と、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段と、第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成する立体視生成手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を立体視表示するための画像生成に向けられた画像処理システム、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年の表示デバイスの開発とも相まって、同一対象物（被写体）を立体視表示するための画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、撮像手段から被写体までの距離に応じて視差をつけた一対の画像（以下「ステレオ画像」または「３Ｄ画像」とも称す。）を生成する必要がある。このようなステレオ画像を生成する場合においても、画質のよい入力画像を用いることが好ましい。
【０００３】
従来、ステレオ画像に関するものではないが、入力画像の画質を評価する技術、あるいは、ノイズなどを除去する技術が知られている。
【０００４】
例えば、特開２０１１−０５５２５９号公報（特許文献１）には、複数枚の画像を位置合わせ処理した後、合成処理することにより、ぶれを低減する電子ぶれ補正技術を開示する。また、特開２０１０−２７９００２号公報（特許文献２）には、画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正を行なう技術を開示する。また、特開２００９−２００７４９号公報（特許文献３）は、撮影画像にゴースト画像が発生した場合には、ゴースト画像を含む撮影画像からゴースト画像を除去することで、ゴースト画像のない撮影画像を得る技術を開示する。また、特開２０１０−０５５１９４号公報（特許文献４）は、被写体が鮮明に写っているか否かを確実に評価する技術を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０５５２５９号公報
【特許文献２】特開２０１０−２７９００２号公報
【特許文献３】特開２００９−２００７４９号公報
【特許文献４】特開２０１０−０５５１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
互いに異なる視点から被写体をそれぞれ撮像する複数の撮像手段を用いてステレオ画像を生成する構成において、それぞれの撮像手段によって撮像された入力画像の画質が互いに異なり、見づらい場合がある。より具体的には、一対のカメラを搭載したデジタルカメラや携帯電話などにおいて、一方のカメラによって撮像された入力画像のみがぼけてしまうことがある。このような理由としては、オートフォーカス動作の違いや、手ぶれ量の違い、（特に、携帯電話の場合）ユーザーが無意識に触ってしまうことによる一方のレンズの汚れ、などが考えられる。このような場合、左眼用画像と右眼用画像との間でぼけ度合いが異なることになり、提供される立体視画像の品質が低下する。
【０００７】
また、一方の入力画像にのみ、フレアやゴーストなどの現象が発生した場合にも、左眼用画像と右眼用画像との間でこのような現象によって生じる不一致により、提供される立体視画像の品質が低下する。
【０００８】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる画像処理システム、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明のある局面に従う画像処理システムは、被写体を撮像して第１の入力画像を取得する第１の撮像手段と、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段と、第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成する立体視生成手段とを含む。
【００１０】
好ましくは、立体視生成手段は、より多くの高周波成分を含む入力画像を相対的に画質がよいと判断する。
【００１１】
好ましくは、周波数特性取得手段は、入力画像に含まれるエッジ量抽出および入力画像に対する周波数分析の少なくとも一方を用いて、周波数特定を取得する。
【００１２】
好ましくは、立体視生成手段は、取得された周波数特性、および、撮像時における第１および第２の撮像手段の位置関係に基づいて、第１および第２の入力画像の一方を主体的に用いてステレオ画像を生成する処理モードと、第１および第２の入力画像の両方を用いてステレオ画像を生成する処理モードとを切り替える。
【００１３】
好ましくは、立体視生成手段は、部分画像ごとに、ステレオ画像を生成する処理モードを切り替える。
【００１４】
好ましくは、立体視生成手段は、第１および第２の撮像手段が被写体を動画撮像する場合に、複数フレームごとに、ステレオ画像を生成するために適用する処理モードを決定する。
【００１５】
さらに好ましくは、立体視生成手段は、第１および第２の撮像手段が被写体を動画撮像する場合に、一旦決定した処理モードを所定期間に亘って維持する。
【００１６】
さらに好ましくは、立体視生成手段は、第１および第２の撮像手段が被写体を動画撮像する場合に、先頭フレームに対応する第１および第２の入力画像に基づいて処理モードを決定する。
【００１７】
好ましくは、画像処理システムは、特定の撮像手段からの入力画像に対して画質が劣化していると複数回にわたって判断されたときに、対応する撮像手段についてレンズの汚れをユーザーに警告するための警告手段をさらに含む。
【００１８】
好ましくは、画像処理システムは、周波数特性を評価するための第１および第２の撮像手段を用いた撮像の実行をユーザーに促す撮像喚起手段をさらに含む。
【００１９】
好ましくは、周波数特性取得手段は、初期設定時、電源投入時、撮像直前の合焦動作時のいずれかにおいて取得された第１および第２の入力画像に対して、周波数特性を取得する。
【００２０】
好ましくは、より多くの高周波成分を含む入力画像に対応する撮像手段を、ステレオ画像を生成する際に主体的に用いられる撮像手段としてデフォルト設定する。
【００２１】
さらに好ましくは、立体視生成手段は、デフォルト設定されている撮像手段からの入力画像を主体的に用いて、ステレオ画像を生成する。
【００２２】
本発明の別の局面に従う画像処理方法は、被写体を撮像して第１の入力画像を取得するステップと、第１の入力画像を撮像した視点とは異なる視点から被写体を撮像して第２の入力画像を取得するステップと、第１および第２の入力画像の周波数特性を取得するステップと、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成するステップとを含む。
【００２３】
本発明のさらに別の局面に従えば、コンピューターに画像処理を実行させる画像処理プログラムを提供する。画像処理プログラムは、コンピューターを、被写体を撮像した第１の入力画像を取得する第１の取得手段と、第１の入力画像を撮像した視点とは異なる視点から被写体を撮像した第２の入力画像を取得する第２の取得手段と、第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成する立体視生成手段として機能させる。
【発明の効果】
【００２４】
本発明によれば、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態に従う画像処理システムの基本的構成を示すブロック図である。
【図２】図１に示す撮像部の具体的な構成例を示す図である。
【図３】図１に示す画像処理システムを具現化したデジタルカメラの構成を示すブロック図である。
【図４】図１に示す画像処理システムを具現化したパーソナルコンピューターの構成を示すブロック図である。
【図５】図１に示す画像処理システムを具現化した携帯電話の外観図である。
【図６】第１の実施の形態に従う画像処理方法の手順を示す図である。
【図７】図１に示す撮像部によって撮像された一対の入力画像の一例を示す図である。
【図８】図６に示すエッジ抽出処理の処理手順を示すフローチャートである。
【図９】図８のスムージング処理において用いられるエッジ抽出用の平均化フィルタの一例を示す図である。
【図１０】第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成された距離画像の一例を示す図である。
【図１１】図６のスムージング処理において用いられる平均化フィルタの一例を示す図である。
【図１２】図６に示す視差調整処理の処理内容を説明するための図である。
【図１３】図６のステレオ画像生成処理における処理手順を説明するための図である。
【図１４】図１３に示すステレオ画像生成処理の処理手順を示すフローチャートである。
【図１５】第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成されたステレオ画像の一例を示す図である。
【図１６】第２の実施の形態に従う画像処理方法の手順を示す図である。
【図１７】第２の変形例に従う部分画像ごとに画質を評価する処理例を示す図である。
【図１８】第２の変形例に従ってステレオ画像を生成する処理を説明するための図である。
【図１９】第２の変形例に従ってステレオ画像を生成する処理を説明するための図である。
【図２０】第３の変形例において提供されるユーザーインターフェイスの一例を示す図である。
【発明を実施するための形態】
【００２６】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２７】
＜Ａ．概要＞
本発明の実施の形態に従う画像処理システムは、被写体を複数の視点でそれぞれ撮像することで得られる複数の入力画像から立体視表示を行なうためのステレオ画像を生成する。このステレオ画像の生成にあたって、画像処理システムは、それぞれの入力画像の周波数特性が取得し、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、それぞれの入力画像から、被写体を立体視表示するためのステレオ画像が生成する。
【００２８】
これにより、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【００２９】
＜Ｂ．システム構成＞
まず、本発明の実施の形態に従う画像処理システムの構成について説明する。
【００３０】
（ｂ１：基本的構成）
図１は、本発明の実施の形態に従う画像処理システム１の基本的構成を示すブロック図である。図１を参照して、画像処理システム１は、撮像部２と、画像処理部３と、３Ｄ画像出力部４とを含む。図１に示す画像処理システム１においては、撮像部２が被写体を撮像することで一対の入力画像（入力画像１および入力画像２）を取得し、画像処理部３がこの取得された一対の入力画像に対して後述するような画像処理を行なうことで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成する。そして、３Ｄ画像出力部４は、このステレオ画像（左眼用画像および右眼用画像）を表示デバイスなどへ出力する。
【００３１】
撮像部２は、同一対象物（被写体）を異なる視点で撮像して一対の入力画像を生成する。より具体的には、第１カメラ２１と、第２カメラ２２と、第１カメラと接続されたＡ／Ｄ（Analog to Digital）変換部２３と、第２カメラ２２と接続されたＡ／Ｄ変換部２４とを含む。Ａ／Ｄ変換部２３は、第１カメラ２１により撮像された被写体を示す入力画像１を出力し、Ａ／Ｄ変換部２４は、第２カメラ２２により撮像された被写体を示す入力画像２を出力する。
【００３２】
すなわち、第１カメラ２１およびＡ／Ｄ変換部２３は、被写体を撮像して第１の入力画像を取得する第１の撮像手段に相当し、第２カメラ２２およびＡ／Ｄ変換部２４は、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段に相当する。
【００３３】
第１カメラ２１は、被写体を撮像するための光学系であるレンズ２１ａと、レンズ２１ａにより集光された光を電気信号に変換するデバイスである撮像素子２１ｂとを含む。Ａ／Ｄ変換部２３は、撮像素子２１ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。同様に、第２カメラ２２は、被写体を撮像するための光学系であるレンズ２２ａと、レンズ２２ａにより集光された光を電気信号に変換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、各部分を制御するための制御処理回路などを含み得る。
【００３４】
後述するように、本実施の形態に従う画像処理においては、一方のカメラで撮像された入力画像だけを用いても、ステレオ画像（左眼用画像および右眼用画像）を生成することができる。そのため、一方の入力画像の画質が劣化していても、画質が良好な他方の入力画像を用いることで、ステレオ画像を生成することができる。すなわち、第１カメラ２１および第２カメラ２２におけるオートフォーカス動作の違い、第１カメラ２１および第２カメラ２２にそれぞれ生じる手ぶれ量の違い、ユーザーが無意識に触ってしまうことによるレンズ２１ａまたはレンズ２２ａの汚れなどによって、一方のカメラによって撮像された入力画像のみがぼけてしまった場合であっても、品質が良好なステレオ画像を生成できる。
【００３５】
図２は、図１に示す撮像部２の具体的な構成例を示す図である。より具体的には、図２には、基本的なスペックを同一としたレンズ２１ａおよび２２ａからなる撮像部２の一例を示す。この撮像部２においては、いずれのレンズについても光学ズーム機能を搭載してもよい。
【００３６】
本実施の形態に従う画像処理方法においては、同一の被写体に対するそれぞれのカメラの視線方向（視点）が異なっていればよいので、撮像部２において、レンズ２１ａと２２ａとの配置（縦方向配列または横方向配列）は任意に設定できる。すなわち、図２（ａ）に示すように縦長方向に配置（縦ステレオ）して撮像してもよいし、図２（ｂ）に示すように横長方向に配置（横ステレオ）して撮像してもよい。
【００３７】
本実施の形態に従う画像処理方法においては、入力画像１および入力画像２を必ずしも同時に取得する必要はない。すなわち、入力画像１および入力画像２を取得するための撮像タイミングにおいて、被写体に対する撮像部２の位置関係が実質的に同じであれば、入力画像１および入力画像２を異なるタイミングでそれぞれ取得してもよい。また、本実施の形態に従う画像処理方法においては、静止画だけではなく、動画としても立体視表示を行なうためのステレオ画像を生成することができる。この場合には、第１カメラ２１および第２カメラ２２の間で同期を取りつつ、時間的に連続して被写体を撮像することで、それぞれのカメラについての一連の画像をそれぞれ取得することができる。また、本実施の形態に従う画像処理方法においては、入力画像は、カラー画像であってもよいし、モノクロ画像であってもよい。
【００３８】
再度図１を参照して、画像処理部３は、撮像部２によって取得された一対の入力画像に対して、本実施の形態に従う画像処理方法を実施することで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成する。より具体的には、画像処理部３は、エッジ抽出部３０と、対応点探索部３１と、距離画像生成部３２と、スムージング処理部３３と、視差調整部３４と、３Ｄ画像生成部３５とを含む。
【００３９】
エッジ抽出部３０は、一対の入力画像（入力画像１および入力画像２）の周波数特性を取得する。より具体的には、エッジ抽出部３０は、それぞれの入力画像に含まれるエッジ量を算出する。この算出されたエッジ量が多いほど、対象の入力画像に高周波成分が多いことを示す。すなわち、相対的に画質のよい入力画像は、周波数特性の高い方の入力画像に相当する。
【００４０】
本実施の形態においては、より多くの高周波成分を含む入力画像を相対的に画質がよいと判断するため、エッジ量がより多い入力画像ほど、高画質であると判断する。これは、入力画像がぼけた場合には、全体的に緩慢な絵になるので、エッジ量が少なく、その中に含まれる周波数成分が相対的に低周波側へ移動することを利用したものである。
【００４１】
なお、入力画像の周波数特性を取得する方法としては、入力画像に含まれるエッジ量を抽出する方法に代えて、入力画像に対して各種の周波数分析を行ない、この周波数分析の結果に基づいて、対象の入力画像の画質を評価してもよい。すなわち、周波数特性は、典型的には、エッジ量または周波数分析により判定される。
【００４２】
対応点探索部３１は、一対の入力画像（入力画像１および入力画像２）に対して対応点探索の処理を行なう。この対応点探索の処理は、典型的には、ＰＯＣ（Phase-Only Correlation）演算法、ＳＡＤ（Sum of Absolute Difference）演算法、ＳＳＤ（Sum of Squared Difference）演算法、ＮＣＣ（Normalized Cross Correlation）演算法などを用いることができる。すなわち、対応点探索部３１は、入力画像１と入力画像２との間における被写体の各点についての対応関係を探索する。
【００４３】
距離画像生成部３２は、２つの入力画像についての距離情報を取得する。この距離情報は、同一の被写体についての情報の相違に基づいて算出される。典型的には、距離画像生成部３２は、対応点探索部３１によって探索された被写体の各点についての入力画像の間での対応関係から距離情報を算出する。撮像部２では、異なる視点からそれぞれ被写体を撮像する。そのため、２つの入力画像の間では、被写体のある点（注目点）を表現する画素は、撮像部２と当該被写体の点との距離に応じた距離だけずれることになる。本明細書においては、入力画像１の注目点に対応する画素の画像座標系上の座標と、入力画像２の注目点に対応する画素の画像座標系上の座標との差を「視差」と称する。距離画像生成部３２は、対応点探索部３１によって探索された被写体の注目点の各々について、視差を算出する。
【００４４】
この視差は、撮像部２から被写体の対応する注目点までの距離を示す指標値である。視差が大きいほど、撮像部２から被写体の対応する注目点までの距離が短い、すなわち撮像部２により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部２からの距離を、総称して「距離情報」という用語を用いる。
【００４５】
なお、入力画像間で視差が生じる方向は、撮像部２における第１カメラ２１と第２カメラ２２との間の位置関係に依存する。例えば、第１カメラ２１と第２カメラ２２とを縦方向に所定間隔だけ離して配置した場合には、入力画像１と入力画像２との間での視差は縦方向に生じることになる。
【００４６】
距離画像生成部３２は、被写体の各点についての距離情報として算出し、算出したそれぞれの距離情報を画像座標系上の座標に関連付けて表現した距離画像（視差画像）を生成する。
【００４７】
スムージング処理部３３は、距離画像生成部３２によって生成された距離画像に対してスムージング処理する。
【００４８】
視差調整部３４は、許容される視差範囲（最大飛び出し位置から最大奥行き位置までの範囲）に適合するように、生成された距離画像を調整する。この視差調整部３４による調整処理の詳細については後述する。
【００４９】
３Ｄ画像生成部３５は、視差調整部３４による調整後の距離画像に基づいて、入力画像を構成する各画素を対応する距離情報（画素数）だけずらすことで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成する。このように、距離情報に基づいて、入力画像に含まれる画素を横方向にずらすことで被写体を立体視表示するためのステレオ画像が生成される。左眼用画像と右眼用画像との間について見れば、被写体の各点は、距離画像によって示される距離情報（画素数）に応じた距離だけ離れて、すなわち距離情報（画素数）に応じた視差が与えられて表現される。これにより、被写体を立体視表示することができる。
【００５０】
本実施の形態においては、３Ｄ画像生成部３５は、エッジ抽出部３０などによって取得された周波数特性に基づいていずれの入力画像の画質が相対的によいかを判断し、そして、相対的に画質がよいと判断された入力画像を主体的に用いて、入力画像１および２から、被写体を立体視表示するためのステレオ画像を生成する。すなわち、本実施の形態においては、少なくとも２つの撮像系により撮像されたそれぞれの入力画像に対し、それぞれの画像についての周波数特性を検出し、その検出結果に基づいて、画質のよい方を優先的に用いてステレオ画像を生成する。
【００５１】
例えば、３Ｄ画像生成部３５は、入力画像１の画質が相対的によい場合には、入力画像１をそれぞれの画素について対応する距離情報（画素数）だけ横方向にずらした一対の画像（左眼用画像および右眼用画像）を生成する。なお、入力画像１をそのまま左眼用画像または右眼用画像として用いるとともに、入力画像１の各画素を対応する距離情報（画素数）だけ横方向にずらすことで他方の右眼用画像または左眼用画像を生成してもよい。
【００５２】
これに対して、３Ｄ画像生成部３５は、入力画像２の画質が相対的によい場合には、入力画像２をそれぞれの画素について対応する距離情報（画素数）だけ横方向にずらした一対の画像（左眼用画像および右眼用画像）を生成する。上述と同様に、入力画像２をそのまま左眼用画像または右眼用画像として用いるとともに、入力画像２の各画素を対応する距離情報（画素数）だけ横方向にずらすことで他方の右眼用画像または左眼用画像を生成してもよい。
【００５３】
このとき、相対的に画質が悪い入力画像については、距離画像の生成にのみ利用されるので、ステレオ画像には、一方の入力画像における画質の劣化部分が含まれることはない。これにより、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【００５４】
３Ｄ画像出力部４は、画像処理部３によって生成されるステレオ画像（左眼用画像および右眼用画像）を表示デバイスなどへ出力する。
【００５５】
各部の処理動作の詳細については、後述する。
図１に示す画像処理システム１は、各部を独立に構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理システム１の具現化例について説明する。
【００５６】
（ｂ２：具現化例１）
図３は、図１に示す画像処理システム１を具現化したデジタルカメラ１００の構成を示すブロック図である。図３に示すデジタルカメラ１００は、２つのカメラ（第１カメラ１２１および第２カメラ１２２）を搭載しており、被写体を立体視表示するためのステレオ画像を撮像することができる。図３において、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００５７】
デジタルカメラ１００では、第１カメラ１２１で被写体を撮像することで取得される入力画像が記憶および出力され、第２カメラ１２２で当該被写体を撮像することで取得される入力画像については、主として、上述の対応点探索処理および距離画像生成処理に用いられる。そのため、第１カメラ１２１についてのみ光学ズーム機能が搭載されているとする。
【００５８】
図３を参照して、デジタルカメラ１００は、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、ズーム機構１１４と、加速度センサー１１６と、第１カメラ１２１と、第２カメラ１２２とを含む。
【００５９】
ＣＰＵ１０２は、予め格納されたプログラム（画像処理プログラムを含む）などを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。
【００６０】
画像表示部１０８は、第１カメラ１２１および／または第２カメラ１２２により提供される画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。画像表示部１０８は、画像処理回路１０６によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、画像表示部１０８は、３次元表示方式に対応した任意の表示デバイス（３次元表示用の液晶表示装置）によって構成される。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。
【００６１】
カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメータや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。
【００６２】
ズーム機構１１４は、ユーザー操作などに応じて、第１カメラ１２１の撮像倍率を変更する機構である。ズーム機構１１４は、典型的には、サーボモーターなどを含み、第１カメラ１２１を構成するレンズ群を駆動することで、焦点距離を変化させる。
【００６３】
加速度センサー１１６は、重力加速度を検出することで、デジタルカメラ１００の姿勢を判断する。
【００６４】
第１カメラ１２１は、被写体を撮像することでステレオ画像を生成するための入力画像を生成する。第１カメラ１２１は、ズーム機構１１４によって駆動される複数のレンズ群からなる。第２カメラ１２２は、後述するような対応点探索処理や距離画像生成処理に用いられ、第１カメラ１２１によって撮像される同一の被写体を別の視点から撮像する。
【００６５】
このように、図３に示すデジタルカメラ１００は、本実施の形態に従う画像処理システム１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において当該被写体を立体的に視認することができる。
【００６６】
（ｂ３：具現化例２）
図４は、図１に示す画像処理システム１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図４に示すパーソナルコンピューター２００では、一対の入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された一対の入力画像（入力画像１および入力画像２）が外部から入力される構成となっている。このような構成であっても、実施の形態に従う画像処理システム１に含まれ得る。なお、図４においても、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００６７】
図４を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。
【００６８】
パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。
【００６９】
このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理システム１の趣旨を逸脱するものではない。
【００７０】
もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【００７１】
モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。モニター２０６は、図３に示す画像表示部１０８と同様に、画像処理プログラム２０４によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、モニター２０６としては、画像表示部１０８において説明したのと同様に、パララックスバリア方式やシャッタメガネ方式などの表示デバイスによって構成される。
【００７２】
マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。
【００７３】
外部記憶装置２１２は、何らかの方法で取得された一対の入力画像（入力画像１および入力画像２）を格納しており、この一対の入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。
【００７４】
このように、図４に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理システム１の一部を単体の装置として実装したものである。このようなパーソナルコンピューター２００を用いることで、ユーザーは、任意の撮像部（ステレオカメラ）を用いて異なる視点で被写体を撮像することで取得された一対の入力画像から、当該被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成することができる。さらに、この生成したステレオ画像をモニター２０６で表示することで、立体視表示を楽しむこともできる。
【００７５】
（ｂ４：具現化例３）
図５は、図１に示す画像処理システム１を具現化した携帯電話３００の外観図である。図５を参照して、レンズ２１ａおよび撮像素子２１ｂからなる撮像部２は、携帯電話３００の一方面に実装されることになる。なお、携帯電話３００のステレオ画像生成に係る構成は、図３に示すデジタルカメラ１００の構成と同様であるので、詳細な説明は繰り返さない。
【００７６】
＜Ｃ．第１の実施の形態（縦ステレオ）＞
まず、第１の実施の形態に従う画像処理方法として、上述した図２（ａ）に示すように、同一種類のレンズ（光学ズーム機能無し）を縦方向に所定間隔だけ離して２つ配置した構成（ステレオカメラ）を想定する。
【００７７】
上述したように、市販されているステレオ画像を生成可能なデジタルカメラや携帯電話などは、撮像された画像をそのままステレオ画像として出力するため、片側だけぼけた画像が撮像され、立体視として見づらいことがある。これは、オートフォーカスがばらばらに動作することで合焦位置（ピント位置）が異なってしまったり、特に、携帯電話の場合にレンズ面がむき出しになっている（露出している）ため、片側のレンズを触って汚してしまったりすることに起因する。本実施の形態においては、このような場合であっても、高画質なステレオ画像を生成する。
【００７８】
図６は、第１の実施の形態に従う画像処理方法の手順を示す図である。図６を参照して、第１の実施の形態に従う画像処理方法は、第１カメラ２１および第２カメラ２２が同一の被写体を撮像することでそれぞれ取得される入力画像１および入力画像２に対して、それぞれエッジ抽出処理が実行される（ステップＳ１およびＳ２）。それぞれの入力画像から抽出されたエッジ量に基づいてエッジ量比較処理が実行される（ステップＳ３）。そして、このエッジ量比較処理の結果に基づいて、出力用画像決定処理が実行される（ステップＳ４）。この出力用画像決定処理によって、ステレオ画像を生成するために用いる入力画像が決定される。
【００７９】
また、ステレオ画像を生成するために用いる入力画像が決定されると、対応点探索処理（ステップＳ１０Ａ，Ｓ１０Ｂ）、視差画像生成処理（ステップＳ１１Ａ，Ｓ１１Ｂ）、スムージング処理（ステップＳ１２Ａ，Ｓ１２Ｂ）、視差調整処理（ステップＳ１３Ａ，Ｓ１３Ｂ）、ステレオ画像生成処理（ステップＳ１４Ａ，Ｓ１４Ｂ）が順次実行され、ステレオ画像が生成される。以下、各ステップについて詳述する。
【００８０】
（ｃ１：入力画像）
図７は、図１に示す撮像部２によって撮像された一対の入力画像の一例を示す図である。図７（ａ）は、第１カメラ２１によって撮像された入力画像１を示し、図７（ｂ）は、第２カメラ２２によって撮像された入力画像２を示す。図７（ａ）に示す入力画像１は、最終的に出力されるステレオ画像の一方の画像（この例では、左眼用画像）としてそのまま用いることができ、図７（ｂ）に示す入力画像２は、最終的に出力されるステレオ画像の他方の画像（この例では、右眼用画像）としてそのまま用いることができるものとする。但し、図７の例では、レンズを縦方向に所定間隔だけ離して２つ配置した構成において撮像したものであり、入力画像１および入力画像２の両方を出力しただけでは、ステレオ画像にはならない。
【００８１】
図７には、説明を容易にするために、画像座標系を便宜的に定義している。より具体的には、入力画像の横方向をＸ軸とし、入力画像の縦方向をＹ軸とする直交座標系を採用する。このＸ軸およびＹ軸の原点は、便宜上、入力画像の左上端であるとする。また、撮像部２（図１）の視線方向をＺ軸とする。この直交座標系は、本明細書中の他の図面についての説明においても利用する場合がある。
【００８２】
上述したように、第１カメラ１２１および第２カメラ１２２を縦方向に配列した撮像部２を用いているので、図７（ａ）に示す入力画像１と図７（ｂ）に示す入力画像２との間には、Ｙ軸方向に沿って視差が生じている。
【００８３】
（ｃ２：エッジ抽出処理）
まず、図６に示すエッジ抽出処理（ステップＳ１およびＳ２）の詳細について説明する。図８は、図６に示すエッジ抽出処理（ステップＳ１およびＳ２）の処理手順を示すフローチャートである。図９は、図８のスムージング処理（ステップＳ２）において用いられるエッジ抽出用の平均化フィルタの一例を示す図である。このエッジ抽出処理は、図１に示すエッジ抽出部３０によって実行される。このエッジ抽出処理では、入力画像１および入力画像２のそれぞれの周波数特性が取得される。
【００８４】
図８を参照して、エッジ抽出部３０は、入力画像に対してスムージング処理を行なう（ステップＳ１０１）。このスムージング処理では、図９に示すようなエッジ抽出用の平均化フィルタを用いて、入力画像の各画素についての平均化処理後の値が算出される。本実施の形態においては、１つの対象画素を中心とする９画素×９画素の大きさのスムージングフィルタが用いられる。平均化処理後の画素からなる画像をスムージング画像と称す。
【００８５】
続いて、エッジ抽出部３０は、元の入力画像とスムージング画像との間で差分処理を行なう（ステップＳ１０２）。より具体的には、エッジ抽出部３０は、元の入力画像とスムージング画像との間で、各画素について画素値の差分を算出し、算出した各画素の差分の絶対値をすべての画素について積算する。
【００８６】
入力画像がぼけている場合には、平均化フィルタを用いてスムージング処理を実行したとしても、元の入力画像からの変化が小さい。この原理を利用して、元の入力画像とスムージング画像との間の差分の絶対値が大きい方が、より多く高周波成分が含まれる入力画像であると判断できる。
【００８７】
最終的に、エッジ抽出部３０は、算出した差分の絶対値（エッジ量）を出力する（ステップＳ１０３）。このエッジ量が多いほど、より多くの高周波成分が含まれることを意味する。
【００８８】
（ｃ３：エッジ量比較処理および出力用画像決定処理）
続いて、図６に示すエッジ量比較処理（ステップＳ３）および出力用画像決定処理（ステップＳ４）の詳細について説明する。
【００８９】
エッジ量比較処理においては、入力画像１に対するエッジ抽出処理（ステップＳ１）によって算出されたエッジ量と、入力画像２に対するエッジ抽出処理（ステップＳ２）によって算出されたエッジ量とが比較される。すなわち、エッジ量比較処理は、エッジ量がより多い、すなわちより多くの高周波成分を含む入力画像がいずれであるかを判断する。このエッジ量の大小関係の判断により、より多くの高周波成分を含む入力画像を決定できる。
【００９０】
出力用画像決定処理（ステップＳ４）においては、エッジ量（差分の絶対値）がより大きい入力画像を出力用画像として選択する。図７に示す例では、入力画像１の方が、相対的に画質がよいと判断されたものとする。この出力用画像決定処理（ステップＳ４）による判断結果に応じて、入力画像１を主体的に用いてステレオ画像が生成するための処理（ステップＳ１０Ａ〜Ｓ１４Ａ）、または、入力画像２を主体的に用いてステレオ画像が生成するための処理（ステップＳ１０Ｂ〜Ｓ１４Ｂ）が実行される。
【００９１】
（ｃ４：対応点探索処理および距離画像生成処理）
次に、対応点探索処理（ステップＳ１０Ａ，Ｓ１０Ｂ）および距離画像生成処理（ステップＳ１１Ａ，Ｓ１１Ｂ）について説明する。なお、後述の説明においては、入力画像１を主体的に用いる場合について例示的に説明するが、入力画像２を主体的に用いる場合も同様の処理を行なうことができる。
【００９２】
対応点探索処理においては、一対の入力画像（入力画像１および入力画像２）の間の位置関係の対応付けが探索される。この対応点探索処理は、図１に示す対応点探索部３１によって実行される。より具体的には、対応点探索処理では、一方の入力画像の注目点にそれぞれ対応する他方の入力画像の画素（座標値）を特定する。このような対応点探索処理は、ＰＯＣ演算法、ＳＡＤ演算法、ＳＳＤ演算法、ＮＣＣ演算法などを用いたマッチング処理が利用される。
【００９３】
対応点探索処理においては、一方の入力画像を基準画像に設定するとともに、他方の入力画像を参照画像に設定して、両画像間の対応付けが行なわれる。いずれの入力画像を主体的に用いるかに応じて、この基準画像に設定される入力画像が変更されることになる。
【００９４】
続いて、対応点探索処理によって特定された注目点と対応点との間の対応関係に基づいて、被写体の各点の座標に関連付けられた距離情報を示す距離画像を生成するための距離画像生成処理が実行される。この距離画像生成処理は、図１に示す距離画像生成部３２によって実行される。この距離画像生成処理では、注目点の各々について、入力画像１の画像座標系における当該注目点の座標と、入力画像２の画像座標系における対応点の座標との差（視差）が算出される。
【００９５】
算出される視差は、入力画像１を主体的に用いる場合には、対応する入力画像１の注目点の座標に関連付けて記憶され、入力画像２を主体的に用いる場合には、対応する入力画像２の注目点の座標に関連付けて記憶される。距離情報としては、対応点探索処理によって探索されたそれぞれの注目点について、入力画像１または入力画像２上の座標および対応する視差が関連付けられる。この距離情報を入力画像１または入力画像２の画素配列に対応付けて配列することで、入力画像１または入力画像２の画像座標系に対応して各点の視差を表す距離画像が生成される。
【００９６】
なお、このような対応点探索処理および距離画像生成処理としては、特開２００８−２１６１２７号公報に記載された方法を採用してもよい。特開２００８−２１６１２７号公報には、サブピクセルの粒度で視差（距離情報）を算出するための方法が開示されているが、ピクセルの粒度で視差（距離情報）を算出するようにしてもよい。
【００９７】
なお、入力画像がＲＧＢなどのカラー画像である場合には、グレイ画像に変換した後に対応点探索処理を行なってもよい。
【００９８】
図１０は、第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成された距離画像の一例を示す図である。すなわち、図１０（ａ）には、図７（ａ）に示す入力画像１を基準画像に設定し、図７（ｂ）に示す入力画像２を参照画像に設定した上で、対応点探索処理を行なうことで得られた距離画像（視差画像）の一例を示す。なお、図１０（ｂ）には、後述するスムージング処理後の距離画像の一例を示す。図１０に示すように、入力画像１の各点の各点に関連付けられた視差（距離情報）の大きさは、対応する点の濃淡によって表現される。
【００９９】
上述した対応点探索処理および距離画像生成処理において、相関演算を行なうことで注目点およびその対応点を特定するので、所定の画素サイズを有する単位領域毎に対応点が探索される。図１０には、３２画素×３２画素の単位領域毎に対応点探索が実行された一例を示す。すなわち、図７に示す例では、Ｘ軸（横方向）およびＹ軸（縦方向）のいずれも３２画素間隔で規定された単位領域毎に対応点が探索され、その探索された対応点との間の距離が算出される。この探索された対応点との間の距離を示す距離画像は、入力画像の画素サイズと一致するように生成される。例えば、入力画像１が３４５６画素×２５９２画素のサイズを有している場合には、１０８点×８１点の探索点において距離が算出され、この算出されたそれぞれの距離から入力画像の画素サイズに対応する距離画像が生成される。
【０１００】
なお、入力画像の最外周にある３２画素分の領域（探索ウィンドウ）については、対応点が存在しないと誤って判断される可能性があるため、対応点探索処理を行なわず、最も近接した位置にある画素の距離（視差）データで代用した。すなわち、入力画像の最外周にある３２画素分の領域については、最外周から３２画素だけ内側に入った位置にある画素の値を用いた。
【０１０１】
（ｃ５：スムージング処理）
距離画像が取得されると、当該取得された距離画像に対して、スムージング処理（図６のステップＳ１２Ａ，Ｓ１２Ｂ）が実行される。このスムージング処理は、図１に示すスムージング処理部３３によって実行される。このスムージング処理では、距離画像の全体が平均化される。
【０１０２】
このようなスムージング処理の具現化例として、所定サイズの二次元フィルタを用いる方法がある。
【０１０３】
図１１は、図６のスムージング処理（ステップＳ１２Ａ，Ｓ１２Ｂ）において用いられる平均化フィルタの一例を示す図である。距離画像に対するスムージング処理では、例えば、図１１に示すような８１画素×８１画素の平均化フィルタが適用される。平均化フィルタでは、対象画素を中心とする縦方向８１画素および横方向８１画素の範囲に含まれる距離画像の画素値（視差）の平均値が当該対象画素の新たな画素値として算出される。より具体的には、フィルタ内に含まれる画素が有する画素値の総和をフィルタの画素サイズで除算することで、対象画素の新たな画素値が算出される。
【０１０４】
なお、フィルタ内に含まれるすべての画素の操作をとるのではなく、所定間隔毎（例えば、９画素）に間引いて抽出した画素の平均値を用いてもよい。このような間引き処理を行なった場合であっても、全画素の平均値を用いた場合と同様の平滑化結果が得られる場合があり、そのような場合には、間引き処理を行なうことで処理量を低減できる。
【０１０５】
図１０（ｂ）は、図１０（ａ）に示す距離画像に対してスムージング処理を行なった結果を示す図である。図１０（ｂ）に示すスムージング処理後の距離画像では、隣接する画素間で画素値（視差）が大きく変化しないようになっていることがわかる。
【０１０６】
なお、スムージング処理によって得られた距離画像の画素サイズは、入力画像と同一の画素サイズであることが好ましい。画素サイズを同一にすることで、後述するステレオ画像生成処理において、各画素の距離を一対一で決定することができる。
【０１０７】
（ｃ６：視差調整処理）
スムージング処理後の距離画像が取得されると、より快適な視差量で立体視表示できるように、視差調整処理が実行される。この視差調整処理は、スムージング処理後の距離画像の画素値（視差）が予め定められた視差範囲（ターゲット視差レンジ）内に存在するように、スケーリングを行なう。
【０１０８】
図１２は、図６に示す視差調整処理（ステップＳ１３Ａ，Ａ１３Ｂ）の処理内容を説明するための図である。図１２には、スムージング処理後の距離画像における視差（距離）量を横軸とし、視差調整処理後の視差（距離）量を縦軸としている。視差調整処理では、図１２における視差調整関数を決定する。
【０１０９】
より具体的な手順としては、まず、ターゲット視差レンジｒの大きさを決定する。このターゲット視差レンジｒは、入力画像の横幅を基準として経験的に決定される。例えば、１９２０画素×１０８０画素の入力画像であれば、４９画素に決定される。このターゲット視差レンジｒは、動的に決定してもよいし、予め設定された固定値を用いるようにしてもよい。
【０１１０】
また、スムージング処理後の距離画像に含まれる視差（距離）量の最大値を最大視差Ｐｍａｘとし、最小値を最小視差Ｐｍｉｎとする。すなわち、最大視差Ｐｍａｘを有する画素の画像は最も飛び出して立体視表示され、最小視差Ｐｍｉｎを有する画素の画像は最も奥行きに存在するように立体視表示される。視差調整処理においては、最大視差Ｐｍａｘ（表示面に直交する方向に最も飛び出した位置）と、最小視差Ｐｍｉｎ（表示面に直交する方向（Ｚ軸方向）における最も奥行き側の位置）との間のレンジが、ターゲット視差レンジｒと一致するように、視差調整関数の傾きである視差増減係数ｃと、視差調整関数の切片であるオフセットｏとが算出される。より具体的には、以下の式に従って、視差増減係数ｃおよびオフセットｏが算出される。
【０１１１】
視差増減係数ｃ＝ターゲット視差レンジｒ／（最大視差Ｐｍａｘ−最小視差Ｐｍｉｎ）
オフセットｏ＝（最大視差Ｐｍａｘ＋最小視差Ｐｍｉｎ）／２
調整後視差（距離）量＝視差増減係数ｃ×（調整前視差（距離）量−オフセットｏ）
（ｃ７：ステレオ画像生成処理）
スムージング処理後の距離画像が取得されると、当該取得された距離画像を用いて、ステレオ画像生成処理（図６のステップＳ１４Ａ，Ｓ１４Ｂ）が実行される。このステレオ画像生成処理は、図１に示す３Ｄ画像生成部３５によって実行される。
【０１１２】
ステレオ画像生成処理では、入力画像１が主体的に用いられる場合には、入力画像１をそのまま左眼用画像として出力するとともに、入力画像１の各画素を対応する距離（視差）に応じて位置をずらすことで、右眼用画像を生成する。一方、入力画像２が主体的に用いられる場合には、入力画像２をそのまま右眼用画像として出力するとともに、入力画像２の各画素を対応する距離（視差）に応じて位置をずらすことで、左眼用画像を生成する。
【０１１３】
なお、被写体を立体視表示するためには、左眼用画像および右眼用画像との間で、対応する画素が指定された距離（視差）だけ離れていればよいので、入力画像から左眼用画像および右眼用画像をそれぞれ生成してもよい。
【０１１４】
図１３は、図６のステレオ画像生成処理（ステップＳ１４Ａ，Ｓ１４Ｂ）における処理手順を説明するための図である。図１３には、入力画像１を主体的に用いる場合の処理例を示す。図１４は、図１３に示すステレオ画像生成処理の処理手順を示すフローチャートである。
【０１１５】
図１３を参照して、ステレオ画像生成処理においては、距離画像に基づいて、主体的に用いられる入力画像からステレオ画像（左眼用画像および右眼用画像）が生成される。より具体的には、主体的に用いられる入力画像を構成するライン単位で画素の位置をずらすことで、他方の右眼用画像または左眼用画像が生成される。図１３には、入力画像１をそのまま左眼用画像として用いるとともに、入力画像２を右眼用画像として用いる一例を示す。図１３には、左眼用画像として用いる入力画像１のあるラインについて、画素位置（座標）が「１０１」，「１０２」，・・・，「１１０」である１０個の画素が示されている。各画素位置の画素に対応する距離（視差）がそれぞれ「４０」，「４０」，「４１」，「４１」，「４１」，「４２」，「４２」，「４１」，「４０」，「４０」であるとする。これらの情報を用いて、各画素について、ずらし後の画素位置（右眼用画像における座標）が算出される。より具体的には、（ずらし後の画素位置）＝（左眼用画像における座標）−（対応する距離（視差））に従って、１ライン分の各画素についてのずらし後の画素位置が算出される。
【０１１６】
そして、それぞれの画素値と対応するずらし後の画素位置とに基づいて、右眼用画像の対応する１ライン分の画像が生成される。このとき、距離（視差）の値によっては、対応する画素が存在しない場合がある。図１３に示す例では、右眼用画像の画素位置「６６」および「６８」の画素の情報が存在しない。このような場合には、隣接する画素からの情報を用いて、不足する画素の画素値が補間される。
【０１１７】
このような処理を入力画像に含まれるすべてのライン分だけ繰り返すことで、右眼用画像が生成される。
【０１１８】
なお、この画素位置をずらす方向は、視差を生じさせるべき方向であり、具体的には、ユーザーに向けて表示した場合に、水平方向となる方向に相当する。
【０１１９】
このような処理手順を示すと、図１４のようになる。すなわち、図１４を参照して、３Ｄ画像生成部３５（図１）は、入力画像１の１ライン分の画素について、それぞれのずらし後の画素位置を算出する（ステップＳ１４０１）。続いて、３Ｄ画像生成部３５は、ステップＳ１において算出されたずらし後の画素位置から１ライン分の画像（右眼用画像）を生成する（ステップＳ１４０２）。
【０１２０】
その後、３Ｄ画像生成部３５（図１）は、入力画像に処理を行なっていないラインが存在するか否かを判断する（ステップＳ１４０３）。入力画像に処理を行なっていないラインが存在していれば（ステップＳ１４０３においてＮＯ）、次のラインが選択され、ステップＳ１４０１およびＳ１４０２の処理が繰り返される。
【０１２１】
入力画像のすべてのラインについて処理が完了していれば（ステップＳ１４０３においてＹＥＳ）、３Ｄ画像生成部３５は、入力画像１（左眼用画像）とともに、生成した右眼用画像を出力する。そして、処理は終了する。
【０１２２】
図１３および図１４には、入力画像１が出力画像として決定された場合、すなわち入力画像１が主体的に用いられる場合の処理について説明したが、入力画像２が出力画像として決定された場合、すなわち入力画像２が主体的に用いられる場合の処理についても同様である。但し、上述の対応点探索処理においては、基準画像と参照画像との関係が入れ替わる。
【０１２３】
図１５は、第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成されたステレオ画像の一例を示す図である。図７と図１５とを比較すると分かるように、ぼけのないクリアなステレオ画像が得られていることがわかる。
【０１２４】
すなわち、上述したような一連の処理を採用することで、相対的に画質のよい（ぼけていない）入力画像を用いて、出力されるステレオ画像が生成されるので、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【０１２５】
（ｃ８：変形例）
上述の画像処理方法においては、入力画像の周波数特性に基づいて、入力画像に含まれるぼけなどの欠陥を検出する場合を想定したが、入力画像の周波数特性に基づいて、入力画像における露出オーバーなどを検出することもできる。例えば、一方の入力画像だけについて部分的に白く飛んでしまっていると、高周波成分が存在しない。そのため、上述と同様の方法によって、露出オーバーなどを検出できる。また、強い光がレンズに入射したときにレンズ内部での反射などにより、フレアやゴーストと呼ばれる輪や玉状のにじみなどが片側だけで撮影される場合がある。この場合にも、にじむことで高周波成分が少なくなっているため、上述と同様の方法によって、これらのフレアやゴーストを検出できる。
【０１２６】
このような露出オーバー、フレア、ゴーストなどの生じていない入力画像からステレオ画像を生成することが可能である。
【０１２７】
＜Ｄ．第２の実施の形態（縦ステレオ／横ステレオ）＞
上述した第１の実施の形態においては、図２（ａ）に示す縦ステレオを利用できる場合に、入力画像１を主体的に用いる処理モードと、入力画像２を主体的に用いる処理モードとを選択的に実行する例を示した。ここで、図２（ｂ）に示す横ステレオについても利用できる場合には、入力画像１および入力画像２をそのままステレオ画像として用いることができる。典型的には、図５に示すように、撮像部２を搭載した携帯電話３００では、ユーザーの持ち方（携帯電話３００の姿勢方向）に依存して、縦ステレオおよび横ステレオのいずれにもなる。
【０１２８】
そこで、第２の実施の形態においては、このような３つの処理モードを選択可能な構成について例示する。すなわち、ステレオ画像を生成する際に、１つの入力画像を用いるか、２つの入力画像を用いるかを切り替える。
【０１２９】
図１６は、第２の実施の形態に従う画像処理方法の手順を示す図である。図１６においては、図６に示す画像処理方法と同様の処理を同一のステップ番号を付して示す。図１６に示す画像処理方法は、図６に示す第１の実施の形態に従う画像処理方法に比較して、出力用モード決定処理（ステップＳ５）およびステレオ画像出力処理（ステップＳ７）が新たに追加されたものであり、その他の処理については、第１の実施の形態と同様であるので、詳細な説明は繰り返さない。
【０１３０】
本実施の形態に従う画像処理方法においては、入力画像１および入力画像２の一方を主体的に用いてステレオ画像を生成する処理モードと、入力画像１および入力画像２の両方を用いて記テレオ画像を生成する処理モードとを切り替える。この処理モードの切り替えは、入力画像１および入力画像２から取得された周波数特性、および、撮像時における第１カメラ２１および第２カメラ２２の位置関係に基づいて行なわれる。
【０１３１】
より具体的には、入力画像１および入力画像２から取得された周波数特性としては、エッジ抽出処理によって算出されるそれぞれの入力画像のエッジ量についての絶対値および相対差が用いられる。また、撮像時における第１カメラ２１および第２カメラ２２の位置関係は、加速度センサー１１６（図３）により取得される姿勢情報が用いられる。すなわち、撮像部２が縦ステレオの状態で撮像されたものであるか、横ステレオの状態で撮像されたものであるかが判断される。
【０１３２】
図１６を参照して、入力画像１および入力画像２が取得されると、これらの入力画像に対して、エッジ抽出処理（ステップＳ１およびＳ２）が実行され、それぞれの入力画像についてのエッジ量が算出される。このエッジ抽出処理（エッジ量の算出）は、上述の第１の実施の形態と同様であるので、詳細な説明は繰り返さない。
【０１３３】
続いて、算出されたそれぞれのエッジ量に基づいて、エッジ量比較処理（ステップＳ３）が実行される。このエッジ量比較処理においては、入力画像１および入力画像２の一方のみに、ぼけなどの欠陥が存在するか否かが判断される。より具体的には、入力画像１のエッジ量と入力画像２のエッジ量との差分が予め定められたしきい値以下であるか否かが判断される。エッジ量の差分がしきい値以下である場合には、入力画像１と入力画像２との間でぼけ度合いに有意な相違はないと判断できるので、入力画像１および入力画像２をそのままステレオ画像として出力する。
【０１３４】
但し、エッジ量比較処理（ステップＳ３）は、姿勢情報によって、第１カメラ２１および第２カメラ２２が横ステレオになっていると判断できる場合に実行される。第１カメラ２１および第２カメラ２２が縦ステレオになっている場合には、入力画像１および入力画像２をそのままステレオ画像として用いることができないからである。
【０１３５】
すなわち、第１カメラ２１および第２カメラ２２が横ステレオになっており、かつ、入力画像１のエッジ量と入力画像２のエッジ量との差分がしきい値以下である場合に限って、ステレオ画像出力処理（ステップＳ７）が実行される。このステレオ画像出力処理（ステップＳ７）では、入力画像１および入力画像２がそのままステレオ画像として出力される。
【０１３６】
これに対して、入力画像１のエッジ量と入力画像２のエッジ量との差分がしきい値を超えている場合には、入力画像の一方がぼけた状態であると判断できるので、上述した第１の実施の形態と同様に、出力用画像決定処理が実行される（ステップＳ４）。
【０１３７】
また、第１カメラ２１および第２カメラ２２が縦ステレオになっている場合にも、入力画像１および入力画像２をそのままステレオ画像として使用することができないので、出力用画像決定処理が実行される（ステップＳ４）。
【０１３８】
出力用画像決定処理において、よりエッジ量の多い入力画像が選択され、この選択された入力画像を主体としてステレオ画像が生成される。この出力用画像決定処理の実行後の処理については、上述した第１の実施の形態と同様であるので、詳細な説明は繰り返さない。
【０１３９】
＜Ｅ．第１の変形例（動画）＞
上述した第１および第２の実施の形態に従う画像処理方法については、静止画および動画のいずれについても適用できるが、動画に適用する場合には、以下に述べるような処理を付加してもよい。
【０１４０】
すなわち、本変形例に従う画像処理方法においては、第１カメラ２１および第２カメラ２２が被写体を動画撮像する場合に、複数フレームごとに、ステレオ画像を生成するために適用する処理モードを決定する。動画は、時間的に連続した一連のフレームで構成される。このような動画撮像において、フレームごとに処理モード（（１）入力画像１を主体的に用いたステレオ画像の生成、（２）入力画像２を主体的に用いたステレオ画像の生成、（３）入力画像１および入力画像２をそのまま用いたステレオ画像の生成）が異なると、ステレオ画像の生成規則が短時間で切り替わることになる。これによって、出力されるステレオ画像の連続性が損なわれ、ユーザーに違和感を与える可能性がある。
【０１４１】
そこで、本変形例に従う画像処理方法においては、第１カメラ２１および第２カメラ２２が被写体を動画撮像する場合に、一旦決定した処理モードを所定期間（典型的には、複数フレーム）に亘って維持する。このような処理モードを維持する典型例としては、ある区間の先頭フレームに基づいて、処理モード（ステレオ画像の生成規則）を決定する方法がある。すなわち、本変形例に従う画像処理方法においては、第１カメラ２１および第２カメラ２２が被写体を動画撮像する場合に、先頭フレームに対応する入力画像１および入力画像２に基づいて処理モードを決定する。
【０１４２】
より具体的には、動画を構成する所定区間（複数のフレームを含む）のうち、先頭フレームに相当する入力画像１および入力画像２について、それぞれエッジ抽出処理を行なうことで、周波数特性を取得する。そして、取得された周波数特性（エッジ量）を利用して、上述した第１の実施の形態または第２の実施の形態に従う画像処理方法に従って、ステレオ画像の処理モードが決定される。一旦、処理モードが決定されると、当該決定された処理モードに従って、後続のフレーム（２フレーム以降）に相当する入力画像１および入力画像２から順次ステレオ画像を生成する。一連のフレーム群に対して、入力画像１を主体とするステレオ画像の生成処理（ステップＳ１１Ａ〜Ｓ１４Ａ）、入力画像２を主体とするステレオ画像の生成処理（ステップＳ１１Ｂ〜Ｓ１４Ｂ）、入力画像１および入力画像２をステレオ画像として出力する処理（ステップＳ７）が繰り返し実行される。
【０１４３】
このように、一連のフレーム群に対して、同一の生成規則を適用することにより、出力画像の連続性を保ち、ユーザーに対して自然な立体視表示（動画）を提供できる。
【０１４４】
なお、１つの動画に含まれるすべてのフレームに対して、先頭フレームの基づいて決定した処理モードを適用するようにしてもよいが、人間の視覚を利用して、動画に含まれるシーンの単位で、生成規則を変更できるようにしてもよい。例えば、特開２００２−１５２６６９号公報に開示されるような技術を用いて、動画内のシーンチェンジを検出することでシーンに区別し、各シーンの先頭フレーム（シーンの切り替わりタイミング）で処理モード（生成規則）を決定（変更）してもよい。あるいは、一定時間（例えば、３０ｆｐｓで６００フレーム）ごとに処理モード（生成規則）を決定（変更）してもよい。
【０１４５】
上述したように、本変形例においては、静止画と動画との間で、生成規則の判定条件を切り替えて、動画は、静止画に比較して頻繁に切り替えないようにする。すなわち、動画の場合には、一定時間に亘って、生成規則を維持する。より具体的には、動画の場合には、先頭フレームでのみ生成規則の判定が行なわれることが好ましい。
【０１４６】
＜Ｆ．第２の変形例（部分画像ごとの評価）＞
上述の第１および第２の実施の形態においては、入力画像の全体の画質を評価する構成について例示したが、入力画像の部分画像について画質を評価してもよい。そして、部分画像ごとにステレオ画像を生成する処理モードを切り替えてもよい。すなわち、入力画像の部分領域ごとに、処理を切り替える。
【０１４７】
基本的には、この部分画像ごとに画質を評価して処理モードを切り替える構成は、横ステレオ、すなわち、第１カメラ２１および第２カメラ２２でそれぞれ取得される入力画像１および入力画像２をそのままステレオ画像として用いることができる場合に好適である。もちろん、本変形例の方法を縦ステレオにおいて入力画像に対する前処理として適用することもできる。
【０１４８】
図１７は、第２の変形例に従う部分画像ごとに画質を評価する処理例を示す図である。図１８および図１９は、第２の変形例に従ってステレオ画像を生成する処理を説明するための図である。
【０１４９】
図１７（ａ）に示すように、入力画像を複数の部分領域に区分し、各部分領域に対応する部分画像について周波数特性を評価してもよい。図１７（ａ）に示す例では、入力画像の長い方の辺を４分割し、短い方の辺を３分割した、計１２個の部分画像が設定される。このように部分画像ごとに周波数特性を評価することで、部分的に発生する、露出オーバーによる白飛び、フレア、ゴーストなどの欠陥の判定精度を向上させることができる。
【０１５０】
部分領域ごとの周波数特性を評価するより具体的な方法としては、まず、上述の第１および第２の実施の形態と同様の手順に従って、図１７（ａ）に示す部分画像ごとのエッジ量が算出される。そして、部分画像ごとにエッジ量に基づいて、中間判定が行なわれる。より具体的には、入力画像１および入力画像２の間で、同一の部分画像についてのエッジ量についての差分の絶対値が予め定められたしきい値以下であるか否かが判断される。すなわち、対応する部分画像について見た場合に、入力画像１と入力画像２との間で同様の傾向を示すか否かが判断される。同様の傾向を示す場合には、他の部分画像についての差分の絶対値を基準として、その差分の絶対値を評価することで、当該部分画像が信頼できるか否かを判断する。
【０１５１】
一方、入力画像１と入力画像２との間で対応する部分画像についてのみエッジ量が大きく異なっている場合には、エッジ量が相対的に大きい部分画像が選択される。差分の絶対値が相対的に大きい場合には、入力画像１と入力画像２との間で互いに相反する傾向を有することになり、このときには、より大きなエッジ量を示す部分画像がステレオ画像の生成に用いられる。
【０１５２】
なお、第１カメラ２１と第２カメラ２２との間で、被写体に対する視点が異なっているので、両カメラの間における視野範囲の相違、すなわち、オクルージョンが発生している場合には、入力画像１と入力画像２との間では映り込んでいる被写体が異なっていることがある。このような悪影響を防止するため、図１８に示すように、パターンマッチングなどの手法を用いて、入力画像１と入力画像２との間での対応関係を予め取得しておき、各対応する部分画像の間で周波数特性を評価するようにしてもよい。
【０１５３】
すなわち、第１カメラ２１および第２カメラ２２が互いに異なる視点が被写体を撮像する場合には、図１８に示すように、入力画像１に設定される部分画像と入力画像２に設定される部分画像とが一致するとは限らないので、一方の入力画像に対して複数の部分画像を設定した上で、各部分画像に対応する領域を他の入力画像から探索してもよい。
【０１５４】
上述のように各部分画像について、周波数特性に基づいて画質を評価した後、ステレオ画像を生成する手順としては、図１９に示すようになる。この例では、横ステレオの構成において、第１カメラ２１が被写体を撮像することで取得される入力画像１をそのまま左眼用画像として用いるとともに、第２カメラ２２が被写体を撮像することで取得される入力画像２を適宜修正しつつ、右眼用画像として用いる。図１９には、入力画像２に含まれる部分画像を入力画像１の対応する部分画像を用いて補間する処理例を示す。すなわち、入力画像２の特定の部分画像にのみフレアやゴーストといった欠陥が存在していると判定された場合には、その問題がと判定された部分画像（領域）についてのみ、フレアやゴーストが存在しない方の入力画像の部分画像を用いて補間する。すなわち、入力画像２に対して、部分的に入力画像１の部分画像を移植することで、右眼用画像が生成される。
【０１５５】
このように部分画像ごとに画質を評価することで、部分的に発生すフレアやゴーストといった欠陥を修復しつつ、高画質なステレオ画像を生成できる。
【０１５６】
＜Ｇ．第３の変形例（ユーザーインターフェイス）＞
上述の画像処理方法を実装した画像処理システム／装置において、以下に示すようなユーザーインターフェイスを搭載することが好ましい。
【０１５７】
図２０は、第３の変形例において提供されるユーザーインターフェイスの一例を示す図である。
【０１５８】
（ｇ１：ユーザーへの警告）
上述したように、本実施の形態に従う画像処理方法では、入力画像についての画質を評価できるので、画質が劣化している入力画像に対応するカメラ（レンズ）を特定できる。そこで、特定のカメラ（撮像手段）からの入力画像に対して画質が劣化していると複数回にわたって判断されたときに、対応するカメラについてレンズの汚れをユーザーに警告するための警告手段を搭載してもよい。すなわち、複数回続けて、一方のカメラ（レンズ）からの入力画像の品質が常に悪い（算出されるエッジ量が少ない）と判定された場合には、片側のレンズ面が汚れている可能性があるため、ユーザーにレンズを拭くように促す警告メッセージを提示してもよい。言い換えれば、（少なくとも２回以上の）連続した撮像において、同じレンズからの入力画像のみの品質が悪い場合には、当該レンズ面が汚れている可能性ありとの警告を提示する。
【０１５９】
このような警告メッセージとしては、図２０（ａ）に示すような内容が考えられる。
（ｇ２：撮像動作のユーザーへの喚起）
上述のような第１カメラ２１および第２カメラ２２の評価を行なうためには、第１カメラ２１および第２カメラ２２を用いて被写体を実際に撮像する必要がある。そこで、入力画像１および入力画像２に対する周波数特性を評価するために、第１カメラ２１および第２カメラ２２を用いた撮像の実行をユーザーに促す撮像喚起手段を搭載してもよい。すなわち、第１カメラ２１および第２カメラ２２（両レンズ）を判定するために入力画像を撮像させるようにユーザーに促す。
【０１６０】
このような喚起メッセージとしては、図２０（ｂ）に示すような内容が考えられる。なお、判定用チャートとしては、特定のエッジが画像の全面に存在するサンプル（例えば、草一面の画像など）が用いられる。
【０１６１】
なお、必ずしもチャートを用いる必要はなく、現実の何らかの被写体をユーザーに撮像してもらい、当該被写体を撮像して得られる入力画像についてのエッジ量が予め定められたしきい値以上であるか否かを判断する。そして、エッジ量が予め定められたしきい値以上である場合には、第１カメラ２１および第２カメラ２２の評価自体に適合した入力画像（被写体）と判断し、チャートの代用としてもよい。この場合には、チャートの代用として、いずれの被写体を用いて第１カメラ２１および第２カメラ２２を評価したのかが一見して把握できるように、撮像装置上のモニターなどにこの被写体についても表示することが好ましい。
【０１６２】
（ｇ３：デフォルト設定）
上述のような第１カメラ２１および第２カメラ２２の評価については、初期設定時、電源投入時、撮像直前の合焦動作時のいずれかにおいて取得された入力画像１および入力画像２に基づいて行なわれることが好ましい。
【０１６３】
初期設定時に取得された入力画像１および入力画像２についての周波数特性を取得することで、レンズ製造時に片側のレンズ面が少し傾いて製造されているといった初期不具合を容易に発見することができる。また、片側のレンズの品質が良好ではなく、常に少しぼけている場合などについても容易に発見できる。このような初期設定時に加えて、電源投入時や撮像直前の合焦動作時（シャッター半押し状態）といった定常的にも、第１カメラ２１および第２カメラ２２を評価してもよい。
【０１６４】
さらに、このような第１カメラ２１および第２カメラ２２を評価の結果に基づいて、デフォルトのカメラ（レンズ）を決定してもよい。このようにデフォルトのカメラ（レンズ）を決定しておいた場合には、撮像ごとに第１カメラ２１および第２カメラ２２を評価する必要はなく、予め設定したデフォルトのカメラ（レンズ）で取得された入力画像を主体的に用いて、ステレオ画像を生成することになる。
【０１６５】
すなわち、より多くの高周波成分を含む入力画像に対応するカメラ（レンズ）を、ステレオ画像を生成する際に主体的に用いられる撮像手段としてデフォルト設定される。そして、デフォルト設定されているカメラ（レンズ）からの入力画像を主体的に用いて、ステレオ画像が生成される。
【０１６６】
＜Ｈ．周波数特性の取得方法についての変形例）＞
上述したように、本実施の形態に従う画像処理方法においては、入力画像の周波数特性に基づいて画質を評価する。そのため、上述したようなエッジ抽出処理に限られず、周波数特性を取得するための各種の方法を採用できる。
【０１６７】
このような周波数特性を取得する処理としては、特開２０１１−１２８９２６号公報に開示されるようなフーリエ変換を利用する方法を採用してもよい。あるいは、Ｓｏｂｅｌなどの１次微分フィルタや２次微分フィルタを利用してもよい。
【０１６８】
また、入力画像に含まれる周波数特性についての判定精度を向上するために、ノイズ除去用にメディアン等を利用する処理を含ませてもよい。あるいは、入力画像の画素成分を周波数特性に変換した後、最も高周波の領域などノイズが多い周波数帯域を無視した上で、画質を評価してもよい。
【０１６９】
＜Ｉ．利点＞
本発明の実施の形態によれば、入力画像にぼけなどの欠陥がある状態であっても、その欠陥をユーザーに見せないように、画質のよい方の入力画像を主体的（優先的）に用いてステレオ画像を生成する。そのため、何らかの原因によって、一方の入力画像の撮像に失敗していても、画質のよい方からステレオ画像を生成することで、立体視表示の品質を維持できる。
【０１７０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１７１】
１ 画像処理システム、２ 撮像部、３ 画像処理部、４ 画像出力部、２１，１２１ 第１カメラ、２１ａ，２２ａ レンズ、２１ｂ，２２ｂ 撮像素子、２２，１２２ 第２カメラ、２３，２４ Ａ／Ｄ変換部、３０ エッジ抽出部、３１ 対応点探索部、３２ 距離画像生成部、３３ スムージング処理部、３４ 視差調整部、３５ 画像生成部、１００ デジタルカメラ、１０２ ＣＰＵ、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 画像表示部、１１２ 記憶部、１１４ ズーム機構、１１６ 加速度センサー、２００ パーソナルコンピューター、２０２ パーソナルコンピューター本体、２０４ 画像処理プログラム、２０６ モニター、２０８ マウス、２１０ キーボード、２１２ 外部記憶装置、３００ 携帯電話。
【技術分野】
【０００１】
本発明は、被写体を立体視表示するための画像生成に向けられた画像処理システム、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年の表示デバイスの開発とも相まって、同一対象物（被写体）を立体視表示するための画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、撮像手段から被写体までの距離に応じて視差をつけた一対の画像（以下「ステレオ画像」または「３Ｄ画像」とも称す。）を生成する必要がある。このようなステレオ画像を生成する場合においても、画質のよい入力画像を用いることが好ましい。
【０００３】
従来、ステレオ画像に関するものではないが、入力画像の画質を評価する技術、あるいは、ノイズなどを除去する技術が知られている。
【０００４】
例えば、特開２０１１−０５５２５９号公報（特許文献１）には、複数枚の画像を位置合わせ処理した後、合成処理することにより、ぶれを低減する電子ぶれ補正技術を開示する。また、特開２０１０−２７９００２号公報（特許文献２）には、画像に飽和部分が発生し、本来の輝度レベルが得られないときにも、適切にフレア成分を検出して効果的なフレア補正を行なう技術を開示する。また、特開２００９−２００７４９号公報（特許文献３）は、撮影画像にゴースト画像が発生した場合には、ゴースト画像を含む撮影画像からゴースト画像を除去することで、ゴースト画像のない撮影画像を得る技術を開示する。また、特開２０１０−０５５１９４号公報（特許文献４）は、被写体が鮮明に写っているか否かを確実に評価する技術を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０５５２５９号公報
【特許文献２】特開２０１０−２７９００２号公報
【特許文献３】特開２００９−２００７４９号公報
【特許文献４】特開２０１０−０５５１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
互いに異なる視点から被写体をそれぞれ撮像する複数の撮像手段を用いてステレオ画像を生成する構成において、それぞれの撮像手段によって撮像された入力画像の画質が互いに異なり、見づらい場合がある。より具体的には、一対のカメラを搭載したデジタルカメラや携帯電話などにおいて、一方のカメラによって撮像された入力画像のみがぼけてしまうことがある。このような理由としては、オートフォーカス動作の違いや、手ぶれ量の違い、（特に、携帯電話の場合）ユーザーが無意識に触ってしまうことによる一方のレンズの汚れ、などが考えられる。このような場合、左眼用画像と右眼用画像との間でぼけ度合いが異なることになり、提供される立体視画像の品質が低下する。
【０００７】
また、一方の入力画像にのみ、フレアやゴーストなどの現象が発生した場合にも、左眼用画像と右眼用画像との間でこのような現象によって生じる不一致により、提供される立体視画像の品質が低下する。
【０００８】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる画像処理システム、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００９】
本発明のある局面に従う画像処理システムは、被写体を撮像して第１の入力画像を取得する第１の撮像手段と、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段と、第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成する立体視生成手段とを含む。
【００１０】
好ましくは、立体視生成手段は、より多くの高周波成分を含む入力画像を相対的に画質がよいと判断する。
【００１１】
好ましくは、周波数特性取得手段は、入力画像に含まれるエッジ量抽出および入力画像に対する周波数分析の少なくとも一方を用いて、周波数特定を取得する。
【００１２】
好ましくは、立体視生成手段は、取得された周波数特性、および、撮像時における第１および第２の撮像手段の位置関係に基づいて、第１および第２の入力画像の一方を主体的に用いてステレオ画像を生成する処理モードと、第１および第２の入力画像の両方を用いてステレオ画像を生成する処理モードとを切り替える。
【００１３】
好ましくは、立体視生成手段は、部分画像ごとに、ステレオ画像を生成する処理モードを切り替える。
【００１４】
好ましくは、立体視生成手段は、第１および第２の撮像手段が被写体を動画撮像する場合に、複数フレームごとに、ステレオ画像を生成するために適用する処理モードを決定する。
【００１５】
さらに好ましくは、立体視生成手段は、第１および第２の撮像手段が被写体を動画撮像する場合に、一旦決定した処理モードを所定期間に亘って維持する。
【００１６】
さらに好ましくは、立体視生成手段は、第１および第２の撮像手段が被写体を動画撮像する場合に、先頭フレームに対応する第１および第２の入力画像に基づいて処理モードを決定する。
【００１７】
好ましくは、画像処理システムは、特定の撮像手段からの入力画像に対して画質が劣化していると複数回にわたって判断されたときに、対応する撮像手段についてレンズの汚れをユーザーに警告するための警告手段をさらに含む。
【００１８】
好ましくは、画像処理システムは、周波数特性を評価するための第１および第２の撮像手段を用いた撮像の実行をユーザーに促す撮像喚起手段をさらに含む。
【００１９】
好ましくは、周波数特性取得手段は、初期設定時、電源投入時、撮像直前の合焦動作時のいずれかにおいて取得された第１および第２の入力画像に対して、周波数特性を取得する。
【００２０】
好ましくは、より多くの高周波成分を含む入力画像に対応する撮像手段を、ステレオ画像を生成する際に主体的に用いられる撮像手段としてデフォルト設定する。
【００２１】
さらに好ましくは、立体視生成手段は、デフォルト設定されている撮像手段からの入力画像を主体的に用いて、ステレオ画像を生成する。
【００２２】
本発明の別の局面に従う画像処理方法は、被写体を撮像して第１の入力画像を取得するステップと、第１の入力画像を撮像した視点とは異なる視点から被写体を撮像して第２の入力画像を取得するステップと、第１および第２の入力画像の周波数特性を取得するステップと、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成するステップとを含む。
【００２３】
本発明のさらに別の局面に従えば、コンピューターに画像処理を実行させる画像処理プログラムを提供する。画像処理プログラムは、コンピューターを、被写体を撮像した第１の入力画像を取得する第１の取得手段と、第１の入力画像を撮像した視点とは異なる視点から被写体を撮像した第２の入力画像を取得する第２の取得手段と、第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、第１および第２の入力画像から、被写体を立体視表示するためのステレオ画像を生成する立体視生成手段として機能させる。
【発明の効果】
【００２４】
本発明によれば、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態に従う画像処理システムの基本的構成を示すブロック図である。
【図２】図１に示す撮像部の具体的な構成例を示す図である。
【図３】図１に示す画像処理システムを具現化したデジタルカメラの構成を示すブロック図である。
【図４】図１に示す画像処理システムを具現化したパーソナルコンピューターの構成を示すブロック図である。
【図５】図１に示す画像処理システムを具現化した携帯電話の外観図である。
【図６】第１の実施の形態に従う画像処理方法の手順を示す図である。
【図７】図１に示す撮像部によって撮像された一対の入力画像の一例を示す図である。
【図８】図６に示すエッジ抽出処理の処理手順を示すフローチャートである。
【図９】図８のスムージング処理において用いられるエッジ抽出用の平均化フィルタの一例を示す図である。
【図１０】第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成された距離画像の一例を示す図である。
【図１１】図６のスムージング処理において用いられる平均化フィルタの一例を示す図である。
【図１２】図６に示す視差調整処理の処理内容を説明するための図である。
【図１３】図６のステレオ画像生成処理における処理手順を説明するための図である。
【図１４】図１３に示すステレオ画像生成処理の処理手順を示すフローチャートである。
【図１５】第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成されたステレオ画像の一例を示す図である。
【図１６】第２の実施の形態に従う画像処理方法の手順を示す図である。
【図１７】第２の変形例に従う部分画像ごとに画質を評価する処理例を示す図である。
【図１８】第２の変形例に従ってステレオ画像を生成する処理を説明するための図である。
【図１９】第２の変形例に従ってステレオ画像を生成する処理を説明するための図である。
【図２０】第３の変形例において提供されるユーザーインターフェイスの一例を示す図である。
【発明を実施するための形態】
【００２６】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２７】
＜Ａ．概要＞
本発明の実施の形態に従う画像処理システムは、被写体を複数の視点でそれぞれ撮像することで得られる複数の入力画像から立体視表示を行なうためのステレオ画像を生成する。このステレオ画像の生成にあたって、画像処理システムは、それぞれの入力画像の周波数特性が取得し、取得された周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、それぞれの入力画像から、被写体を立体視表示するためのステレオ画像が生成する。
【００２８】
これにより、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【００２９】
＜Ｂ．システム構成＞
まず、本発明の実施の形態に従う画像処理システムの構成について説明する。
【００３０】
（ｂ１：基本的構成）
図１は、本発明の実施の形態に従う画像処理システム１の基本的構成を示すブロック図である。図１を参照して、画像処理システム１は、撮像部２と、画像処理部３と、３Ｄ画像出力部４とを含む。図１に示す画像処理システム１においては、撮像部２が被写体を撮像することで一対の入力画像（入力画像１および入力画像２）を取得し、画像処理部３がこの取得された一対の入力画像に対して後述するような画像処理を行なうことで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成する。そして、３Ｄ画像出力部４は、このステレオ画像（左眼用画像および右眼用画像）を表示デバイスなどへ出力する。
【００３１】
撮像部２は、同一対象物（被写体）を異なる視点で撮像して一対の入力画像を生成する。より具体的には、第１カメラ２１と、第２カメラ２２と、第１カメラと接続されたＡ／Ｄ（Analog to Digital）変換部２３と、第２カメラ２２と接続されたＡ／Ｄ変換部２４とを含む。Ａ／Ｄ変換部２３は、第１カメラ２１により撮像された被写体を示す入力画像１を出力し、Ａ／Ｄ変換部２４は、第２カメラ２２により撮像された被写体を示す入力画像２を出力する。
【００３２】
すなわち、第１カメラ２１およびＡ／Ｄ変換部２３は、被写体を撮像して第１の入力画像を取得する第１の撮像手段に相当し、第２カメラ２２およびＡ／Ｄ変換部２４は、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段に相当する。
【００３３】
第１カメラ２１は、被写体を撮像するための光学系であるレンズ２１ａと、レンズ２１ａにより集光された光を電気信号に変換するデバイスである撮像素子２１ｂとを含む。Ａ／Ｄ変換部２３は、撮像素子２１ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。同様に、第２カメラ２２は、被写体を撮像するための光学系であるレンズ２２ａと、レンズ２２ａにより集光された光を電気信号に変換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、各部分を制御するための制御処理回路などを含み得る。
【００３４】
後述するように、本実施の形態に従う画像処理においては、一方のカメラで撮像された入力画像だけを用いても、ステレオ画像（左眼用画像および右眼用画像）を生成することができる。そのため、一方の入力画像の画質が劣化していても、画質が良好な他方の入力画像を用いることで、ステレオ画像を生成することができる。すなわち、第１カメラ２１および第２カメラ２２におけるオートフォーカス動作の違い、第１カメラ２１および第２カメラ２２にそれぞれ生じる手ぶれ量の違い、ユーザーが無意識に触ってしまうことによるレンズ２１ａまたはレンズ２２ａの汚れなどによって、一方のカメラによって撮像された入力画像のみがぼけてしまった場合であっても、品質が良好なステレオ画像を生成できる。
【００３５】
図２は、図１に示す撮像部２の具体的な構成例を示す図である。より具体的には、図２には、基本的なスペックを同一としたレンズ２１ａおよび２２ａからなる撮像部２の一例を示す。この撮像部２においては、いずれのレンズについても光学ズーム機能を搭載してもよい。
【００３６】
本実施の形態に従う画像処理方法においては、同一の被写体に対するそれぞれのカメラの視線方向（視点）が異なっていればよいので、撮像部２において、レンズ２１ａと２２ａとの配置（縦方向配列または横方向配列）は任意に設定できる。すなわち、図２（ａ）に示すように縦長方向に配置（縦ステレオ）して撮像してもよいし、図２（ｂ）に示すように横長方向に配置（横ステレオ）して撮像してもよい。
【００３７】
本実施の形態に従う画像処理方法においては、入力画像１および入力画像２を必ずしも同時に取得する必要はない。すなわち、入力画像１および入力画像２を取得するための撮像タイミングにおいて、被写体に対する撮像部２の位置関係が実質的に同じであれば、入力画像１および入力画像２を異なるタイミングでそれぞれ取得してもよい。また、本実施の形態に従う画像処理方法においては、静止画だけではなく、動画としても立体視表示を行なうためのステレオ画像を生成することができる。この場合には、第１カメラ２１および第２カメラ２２の間で同期を取りつつ、時間的に連続して被写体を撮像することで、それぞれのカメラについての一連の画像をそれぞれ取得することができる。また、本実施の形態に従う画像処理方法においては、入力画像は、カラー画像であってもよいし、モノクロ画像であってもよい。
【００３８】
再度図１を参照して、画像処理部３は、撮像部２によって取得された一対の入力画像に対して、本実施の形態に従う画像処理方法を実施することで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成する。より具体的には、画像処理部３は、エッジ抽出部３０と、対応点探索部３１と、距離画像生成部３２と、スムージング処理部３３と、視差調整部３４と、３Ｄ画像生成部３５とを含む。
【００３９】
エッジ抽出部３０は、一対の入力画像（入力画像１および入力画像２）の周波数特性を取得する。より具体的には、エッジ抽出部３０は、それぞれの入力画像に含まれるエッジ量を算出する。この算出されたエッジ量が多いほど、対象の入力画像に高周波成分が多いことを示す。すなわち、相対的に画質のよい入力画像は、周波数特性の高い方の入力画像に相当する。
【００４０】
本実施の形態においては、より多くの高周波成分を含む入力画像を相対的に画質がよいと判断するため、エッジ量がより多い入力画像ほど、高画質であると判断する。これは、入力画像がぼけた場合には、全体的に緩慢な絵になるので、エッジ量が少なく、その中に含まれる周波数成分が相対的に低周波側へ移動することを利用したものである。
【００４１】
なお、入力画像の周波数特性を取得する方法としては、入力画像に含まれるエッジ量を抽出する方法に代えて、入力画像に対して各種の周波数分析を行ない、この周波数分析の結果に基づいて、対象の入力画像の画質を評価してもよい。すなわち、周波数特性は、典型的には、エッジ量または周波数分析により判定される。
【００４２】
対応点探索部３１は、一対の入力画像（入力画像１および入力画像２）に対して対応点探索の処理を行なう。この対応点探索の処理は、典型的には、ＰＯＣ（Phase-Only Correlation）演算法、ＳＡＤ（Sum of Absolute Difference）演算法、ＳＳＤ（Sum of Squared Difference）演算法、ＮＣＣ（Normalized Cross Correlation）演算法などを用いることができる。すなわち、対応点探索部３１は、入力画像１と入力画像２との間における被写体の各点についての対応関係を探索する。
【００４３】
距離画像生成部３２は、２つの入力画像についての距離情報を取得する。この距離情報は、同一の被写体についての情報の相違に基づいて算出される。典型的には、距離画像生成部３２は、対応点探索部３１によって探索された被写体の各点についての入力画像の間での対応関係から距離情報を算出する。撮像部２では、異なる視点からそれぞれ被写体を撮像する。そのため、２つの入力画像の間では、被写体のある点（注目点）を表現する画素は、撮像部２と当該被写体の点との距離に応じた距離だけずれることになる。本明細書においては、入力画像１の注目点に対応する画素の画像座標系上の座標と、入力画像２の注目点に対応する画素の画像座標系上の座標との差を「視差」と称する。距離画像生成部３２は、対応点探索部３１によって探索された被写体の注目点の各々について、視差を算出する。
【００４４】
この視差は、撮像部２から被写体の対応する注目点までの距離を示す指標値である。視差が大きいほど、撮像部２から被写体の対応する注目点までの距離が短い、すなわち撮像部２により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部２からの距離を、総称して「距離情報」という用語を用いる。
【００４５】
なお、入力画像間で視差が生じる方向は、撮像部２における第１カメラ２１と第２カメラ２２との間の位置関係に依存する。例えば、第１カメラ２１と第２カメラ２２とを縦方向に所定間隔だけ離して配置した場合には、入力画像１と入力画像２との間での視差は縦方向に生じることになる。
【００４６】
距離画像生成部３２は、被写体の各点についての距離情報として算出し、算出したそれぞれの距離情報を画像座標系上の座標に関連付けて表現した距離画像（視差画像）を生成する。
【００４７】
スムージング処理部３３は、距離画像生成部３２によって生成された距離画像に対してスムージング処理する。
【００４８】
視差調整部３４は、許容される視差範囲（最大飛び出し位置から最大奥行き位置までの範囲）に適合するように、生成された距離画像を調整する。この視差調整部３４による調整処理の詳細については後述する。
【００４９】
３Ｄ画像生成部３５は、視差調整部３４による調整後の距離画像に基づいて、入力画像を構成する各画素を対応する距離情報（画素数）だけずらすことで、被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成する。このように、距離情報に基づいて、入力画像に含まれる画素を横方向にずらすことで被写体を立体視表示するためのステレオ画像が生成される。左眼用画像と右眼用画像との間について見れば、被写体の各点は、距離画像によって示される距離情報（画素数）に応じた距離だけ離れて、すなわち距離情報（画素数）に応じた視差が与えられて表現される。これにより、被写体を立体視表示することができる。
【００５０】
本実施の形態においては、３Ｄ画像生成部３５は、エッジ抽出部３０などによって取得された周波数特性に基づいていずれの入力画像の画質が相対的によいかを判断し、そして、相対的に画質がよいと判断された入力画像を主体的に用いて、入力画像１および２から、被写体を立体視表示するためのステレオ画像を生成する。すなわち、本実施の形態においては、少なくとも２つの撮像系により撮像されたそれぞれの入力画像に対し、それぞれの画像についての周波数特性を検出し、その検出結果に基づいて、画質のよい方を優先的に用いてステレオ画像を生成する。
【００５１】
例えば、３Ｄ画像生成部３５は、入力画像１の画質が相対的によい場合には、入力画像１をそれぞれの画素について対応する距離情報（画素数）だけ横方向にずらした一対の画像（左眼用画像および右眼用画像）を生成する。なお、入力画像１をそのまま左眼用画像または右眼用画像として用いるとともに、入力画像１の各画素を対応する距離情報（画素数）だけ横方向にずらすことで他方の右眼用画像または左眼用画像を生成してもよい。
【００５２】
これに対して、３Ｄ画像生成部３５は、入力画像２の画質が相対的によい場合には、入力画像２をそれぞれの画素について対応する距離情報（画素数）だけ横方向にずらした一対の画像（左眼用画像および右眼用画像）を生成する。上述と同様に、入力画像２をそのまま左眼用画像または右眼用画像として用いるとともに、入力画像２の各画素を対応する距離情報（画素数）だけ横方向にずらすことで他方の右眼用画像または左眼用画像を生成してもよい。
【００５３】
このとき、相対的に画質が悪い入力画像については、距離画像の生成にのみ利用されるので、ステレオ画像には、一方の入力画像における画質の劣化部分が含まれることはない。これにより、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【００５４】
３Ｄ画像出力部４は、画像処理部３によって生成されるステレオ画像（左眼用画像および右眼用画像）を表示デバイスなどへ出力する。
【００５５】
各部の処理動作の詳細については、後述する。
図１に示す画像処理システム１は、各部を独立に構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理システム１の具現化例について説明する。
【００５６】
（ｂ２：具現化例１）
図３は、図１に示す画像処理システム１を具現化したデジタルカメラ１００の構成を示すブロック図である。図３に示すデジタルカメラ１００は、２つのカメラ（第１カメラ１２１および第２カメラ１２２）を搭載しており、被写体を立体視表示するためのステレオ画像を撮像することができる。図３において、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００５７】
デジタルカメラ１００では、第１カメラ１２１で被写体を撮像することで取得される入力画像が記憶および出力され、第２カメラ１２２で当該被写体を撮像することで取得される入力画像については、主として、上述の対応点探索処理および距離画像生成処理に用いられる。そのため、第１カメラ１２１についてのみ光学ズーム機能が搭載されているとする。
【００５８】
図３を参照して、デジタルカメラ１００は、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、ズーム機構１１４と、加速度センサー１１６と、第１カメラ１２１と、第２カメラ１２２とを含む。
【００５９】
ＣＰＵ１０２は、予め格納されたプログラム（画像処理プログラムを含む）などを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。
【００６０】
画像表示部１０８は、第１カメラ１２１および／または第２カメラ１２２により提供される画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。画像表示部１０８は、画像処理回路１０６によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、画像表示部１０８は、３次元表示方式に対応した任意の表示デバイス（３次元表示用の液晶表示装置）によって構成される。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。
【００６１】
カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメータや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。
【００６２】
ズーム機構１１４は、ユーザー操作などに応じて、第１カメラ１２１の撮像倍率を変更する機構である。ズーム機構１１４は、典型的には、サーボモーターなどを含み、第１カメラ１２１を構成するレンズ群を駆動することで、焦点距離を変化させる。
【００６３】
加速度センサー１１６は、重力加速度を検出することで、デジタルカメラ１００の姿勢を判断する。
【００６４】
第１カメラ１２１は、被写体を撮像することでステレオ画像を生成するための入力画像を生成する。第１カメラ１２１は、ズーム機構１１４によって駆動される複数のレンズ群からなる。第２カメラ１２２は、後述するような対応点探索処理や距離画像生成処理に用いられ、第１カメラ１２１によって撮像される同一の被写体を別の視点から撮像する。
【００６５】
このように、図３に示すデジタルカメラ１００は、本実施の形態に従う画像処理システム１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において当該被写体を立体的に視認することができる。
【００６６】
（ｂ３：具現化例２）
図４は、図１に示す画像処理システム１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図４に示すパーソナルコンピューター２００では、一対の入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された一対の入力画像（入力画像１および入力画像２）が外部から入力される構成となっている。このような構成であっても、実施の形態に従う画像処理システム１に含まれ得る。なお、図４においても、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００６７】
図４を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。
【００６８】
パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。
【００６９】
このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理システム１の趣旨を逸脱するものではない。
【００７０】
もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【００７１】
モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。モニター２０６は、図３に示す画像表示部１０８と同様に、画像処理プログラム２０４によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、モニター２０６としては、画像表示部１０８において説明したのと同様に、パララックスバリア方式やシャッタメガネ方式などの表示デバイスによって構成される。
【００７２】
マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。
【００７３】
外部記憶装置２１２は、何らかの方法で取得された一対の入力画像（入力画像１および入力画像２）を格納しており、この一対の入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。
【００７４】
このように、図４に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理システム１の一部を単体の装置として実装したものである。このようなパーソナルコンピューター２００を用いることで、ユーザーは、任意の撮像部（ステレオカメラ）を用いて異なる視点で被写体を撮像することで取得された一対の入力画像から、当該被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成することができる。さらに、この生成したステレオ画像をモニター２０６で表示することで、立体視表示を楽しむこともできる。
【００７５】
（ｂ４：具現化例３）
図５は、図１に示す画像処理システム１を具現化した携帯電話３００の外観図である。図５を参照して、レンズ２１ａおよび撮像素子２１ｂからなる撮像部２は、携帯電話３００の一方面に実装されることになる。なお、携帯電話３００のステレオ画像生成に係る構成は、図３に示すデジタルカメラ１００の構成と同様であるので、詳細な説明は繰り返さない。
【００７６】
＜Ｃ．第１の実施の形態（縦ステレオ）＞
まず、第１の実施の形態に従う画像処理方法として、上述した図２（ａ）に示すように、同一種類のレンズ（光学ズーム機能無し）を縦方向に所定間隔だけ離して２つ配置した構成（ステレオカメラ）を想定する。
【００７７】
上述したように、市販されているステレオ画像を生成可能なデジタルカメラや携帯電話などは、撮像された画像をそのままステレオ画像として出力するため、片側だけぼけた画像が撮像され、立体視として見づらいことがある。これは、オートフォーカスがばらばらに動作することで合焦位置（ピント位置）が異なってしまったり、特に、携帯電話の場合にレンズ面がむき出しになっている（露出している）ため、片側のレンズを触って汚してしまったりすることに起因する。本実施の形態においては、このような場合であっても、高画質なステレオ画像を生成する。
【００７８】
図６は、第１の実施の形態に従う画像処理方法の手順を示す図である。図６を参照して、第１の実施の形態に従う画像処理方法は、第１カメラ２１および第２カメラ２２が同一の被写体を撮像することでそれぞれ取得される入力画像１および入力画像２に対して、それぞれエッジ抽出処理が実行される（ステップＳ１およびＳ２）。それぞれの入力画像から抽出されたエッジ量に基づいてエッジ量比較処理が実行される（ステップＳ３）。そして、このエッジ量比較処理の結果に基づいて、出力用画像決定処理が実行される（ステップＳ４）。この出力用画像決定処理によって、ステレオ画像を生成するために用いる入力画像が決定される。
【００７９】
また、ステレオ画像を生成するために用いる入力画像が決定されると、対応点探索処理（ステップＳ１０Ａ，Ｓ１０Ｂ）、視差画像生成処理（ステップＳ１１Ａ，Ｓ１１Ｂ）、スムージング処理（ステップＳ１２Ａ，Ｓ１２Ｂ）、視差調整処理（ステップＳ１３Ａ，Ｓ１３Ｂ）、ステレオ画像生成処理（ステップＳ１４Ａ，Ｓ１４Ｂ）が順次実行され、ステレオ画像が生成される。以下、各ステップについて詳述する。
【００８０】
（ｃ１：入力画像）
図７は、図１に示す撮像部２によって撮像された一対の入力画像の一例を示す図である。図７（ａ）は、第１カメラ２１によって撮像された入力画像１を示し、図７（ｂ）は、第２カメラ２２によって撮像された入力画像２を示す。図７（ａ）に示す入力画像１は、最終的に出力されるステレオ画像の一方の画像（この例では、左眼用画像）としてそのまま用いることができ、図７（ｂ）に示す入力画像２は、最終的に出力されるステレオ画像の他方の画像（この例では、右眼用画像）としてそのまま用いることができるものとする。但し、図７の例では、レンズを縦方向に所定間隔だけ離して２つ配置した構成において撮像したものであり、入力画像１および入力画像２の両方を出力しただけでは、ステレオ画像にはならない。
【００８１】
図７には、説明を容易にするために、画像座標系を便宜的に定義している。より具体的には、入力画像の横方向をＸ軸とし、入力画像の縦方向をＹ軸とする直交座標系を採用する。このＸ軸およびＹ軸の原点は、便宜上、入力画像の左上端であるとする。また、撮像部２（図１）の視線方向をＺ軸とする。この直交座標系は、本明細書中の他の図面についての説明においても利用する場合がある。
【００８２】
上述したように、第１カメラ１２１および第２カメラ１２２を縦方向に配列した撮像部２を用いているので、図７（ａ）に示す入力画像１と図７（ｂ）に示す入力画像２との間には、Ｙ軸方向に沿って視差が生じている。
【００８３】
（ｃ２：エッジ抽出処理）
まず、図６に示すエッジ抽出処理（ステップＳ１およびＳ２）の詳細について説明する。図８は、図６に示すエッジ抽出処理（ステップＳ１およびＳ２）の処理手順を示すフローチャートである。図９は、図８のスムージング処理（ステップＳ２）において用いられるエッジ抽出用の平均化フィルタの一例を示す図である。このエッジ抽出処理は、図１に示すエッジ抽出部３０によって実行される。このエッジ抽出処理では、入力画像１および入力画像２のそれぞれの周波数特性が取得される。
【００８４】
図８を参照して、エッジ抽出部３０は、入力画像に対してスムージング処理を行なう（ステップＳ１０１）。このスムージング処理では、図９に示すようなエッジ抽出用の平均化フィルタを用いて、入力画像の各画素についての平均化処理後の値が算出される。本実施の形態においては、１つの対象画素を中心とする９画素×９画素の大きさのスムージングフィルタが用いられる。平均化処理後の画素からなる画像をスムージング画像と称す。
【００８５】
続いて、エッジ抽出部３０は、元の入力画像とスムージング画像との間で差分処理を行なう（ステップＳ１０２）。より具体的には、エッジ抽出部３０は、元の入力画像とスムージング画像との間で、各画素について画素値の差分を算出し、算出した各画素の差分の絶対値をすべての画素について積算する。
【００８６】
入力画像がぼけている場合には、平均化フィルタを用いてスムージング処理を実行したとしても、元の入力画像からの変化が小さい。この原理を利用して、元の入力画像とスムージング画像との間の差分の絶対値が大きい方が、より多く高周波成分が含まれる入力画像であると判断できる。
【００８７】
最終的に、エッジ抽出部３０は、算出した差分の絶対値（エッジ量）を出力する（ステップＳ１０３）。このエッジ量が多いほど、より多くの高周波成分が含まれることを意味する。
【００８８】
（ｃ３：エッジ量比較処理および出力用画像決定処理）
続いて、図６に示すエッジ量比較処理（ステップＳ３）および出力用画像決定処理（ステップＳ４）の詳細について説明する。
【００８９】
エッジ量比較処理においては、入力画像１に対するエッジ抽出処理（ステップＳ１）によって算出されたエッジ量と、入力画像２に対するエッジ抽出処理（ステップＳ２）によって算出されたエッジ量とが比較される。すなわち、エッジ量比較処理は、エッジ量がより多い、すなわちより多くの高周波成分を含む入力画像がいずれであるかを判断する。このエッジ量の大小関係の判断により、より多くの高周波成分を含む入力画像を決定できる。
【００９０】
出力用画像決定処理（ステップＳ４）においては、エッジ量（差分の絶対値）がより大きい入力画像を出力用画像として選択する。図７に示す例では、入力画像１の方が、相対的に画質がよいと判断されたものとする。この出力用画像決定処理（ステップＳ４）による判断結果に応じて、入力画像１を主体的に用いてステレオ画像が生成するための処理（ステップＳ１０Ａ〜Ｓ１４Ａ）、または、入力画像２を主体的に用いてステレオ画像が生成するための処理（ステップＳ１０Ｂ〜Ｓ１４Ｂ）が実行される。
【００９１】
（ｃ４：対応点探索処理および距離画像生成処理）
次に、対応点探索処理（ステップＳ１０Ａ，Ｓ１０Ｂ）および距離画像生成処理（ステップＳ１１Ａ，Ｓ１１Ｂ）について説明する。なお、後述の説明においては、入力画像１を主体的に用いる場合について例示的に説明するが、入力画像２を主体的に用いる場合も同様の処理を行なうことができる。
【００９２】
対応点探索処理においては、一対の入力画像（入力画像１および入力画像２）の間の位置関係の対応付けが探索される。この対応点探索処理は、図１に示す対応点探索部３１によって実行される。より具体的には、対応点探索処理では、一方の入力画像の注目点にそれぞれ対応する他方の入力画像の画素（座標値）を特定する。このような対応点探索処理は、ＰＯＣ演算法、ＳＡＤ演算法、ＳＳＤ演算法、ＮＣＣ演算法などを用いたマッチング処理が利用される。
【００９３】
対応点探索処理においては、一方の入力画像を基準画像に設定するとともに、他方の入力画像を参照画像に設定して、両画像間の対応付けが行なわれる。いずれの入力画像を主体的に用いるかに応じて、この基準画像に設定される入力画像が変更されることになる。
【００９４】
続いて、対応点探索処理によって特定された注目点と対応点との間の対応関係に基づいて、被写体の各点の座標に関連付けられた距離情報を示す距離画像を生成するための距離画像生成処理が実行される。この距離画像生成処理は、図１に示す距離画像生成部３２によって実行される。この距離画像生成処理では、注目点の各々について、入力画像１の画像座標系における当該注目点の座標と、入力画像２の画像座標系における対応点の座標との差（視差）が算出される。
【００９５】
算出される視差は、入力画像１を主体的に用いる場合には、対応する入力画像１の注目点の座標に関連付けて記憶され、入力画像２を主体的に用いる場合には、対応する入力画像２の注目点の座標に関連付けて記憶される。距離情報としては、対応点探索処理によって探索されたそれぞれの注目点について、入力画像１または入力画像２上の座標および対応する視差が関連付けられる。この距離情報を入力画像１または入力画像２の画素配列に対応付けて配列することで、入力画像１または入力画像２の画像座標系に対応して各点の視差を表す距離画像が生成される。
【００９６】
なお、このような対応点探索処理および距離画像生成処理としては、特開２００８−２１６１２７号公報に記載された方法を採用してもよい。特開２００８−２１６１２７号公報には、サブピクセルの粒度で視差（距離情報）を算出するための方法が開示されているが、ピクセルの粒度で視差（距離情報）を算出するようにしてもよい。
【００９７】
なお、入力画像がＲＧＢなどのカラー画像である場合には、グレイ画像に変換した後に対応点探索処理を行なってもよい。
【００９８】
図１０は、第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成された距離画像の一例を示す図である。すなわち、図１０（ａ）には、図７（ａ）に示す入力画像１を基準画像に設定し、図７（ｂ）に示す入力画像２を参照画像に設定した上で、対応点探索処理を行なうことで得られた距離画像（視差画像）の一例を示す。なお、図１０（ｂ）には、後述するスムージング処理後の距離画像の一例を示す。図１０に示すように、入力画像１の各点の各点に関連付けられた視差（距離情報）の大きさは、対応する点の濃淡によって表現される。
【００９９】
上述した対応点探索処理および距離画像生成処理において、相関演算を行なうことで注目点およびその対応点を特定するので、所定の画素サイズを有する単位領域毎に対応点が探索される。図１０には、３２画素×３２画素の単位領域毎に対応点探索が実行された一例を示す。すなわち、図７に示す例では、Ｘ軸（横方向）およびＹ軸（縦方向）のいずれも３２画素間隔で規定された単位領域毎に対応点が探索され、その探索された対応点との間の距離が算出される。この探索された対応点との間の距離を示す距離画像は、入力画像の画素サイズと一致するように生成される。例えば、入力画像１が３４５６画素×２５９２画素のサイズを有している場合には、１０８点×８１点の探索点において距離が算出され、この算出されたそれぞれの距離から入力画像の画素サイズに対応する距離画像が生成される。
【０１００】
なお、入力画像の最外周にある３２画素分の領域（探索ウィンドウ）については、対応点が存在しないと誤って判断される可能性があるため、対応点探索処理を行なわず、最も近接した位置にある画素の距離（視差）データで代用した。すなわち、入力画像の最外周にある３２画素分の領域については、最外周から３２画素だけ内側に入った位置にある画素の値を用いた。
【０１０１】
（ｃ５：スムージング処理）
距離画像が取得されると、当該取得された距離画像に対して、スムージング処理（図６のステップＳ１２Ａ，Ｓ１２Ｂ）が実行される。このスムージング処理は、図１に示すスムージング処理部３３によって実行される。このスムージング処理では、距離画像の全体が平均化される。
【０１０２】
このようなスムージング処理の具現化例として、所定サイズの二次元フィルタを用いる方法がある。
【０１０３】
図１１は、図６のスムージング処理（ステップＳ１２Ａ，Ｓ１２Ｂ）において用いられる平均化フィルタの一例を示す図である。距離画像に対するスムージング処理では、例えば、図１１に示すような８１画素×８１画素の平均化フィルタが適用される。平均化フィルタでは、対象画素を中心とする縦方向８１画素および横方向８１画素の範囲に含まれる距離画像の画素値（視差）の平均値が当該対象画素の新たな画素値として算出される。より具体的には、フィルタ内に含まれる画素が有する画素値の総和をフィルタの画素サイズで除算することで、対象画素の新たな画素値が算出される。
【０１０４】
なお、フィルタ内に含まれるすべての画素の操作をとるのではなく、所定間隔毎（例えば、９画素）に間引いて抽出した画素の平均値を用いてもよい。このような間引き処理を行なった場合であっても、全画素の平均値を用いた場合と同様の平滑化結果が得られる場合があり、そのような場合には、間引き処理を行なうことで処理量を低減できる。
【０１０５】
図１０（ｂ）は、図１０（ａ）に示す距離画像に対してスムージング処理を行なった結果を示す図である。図１０（ｂ）に示すスムージング処理後の距離画像では、隣接する画素間で画素値（視差）が大きく変化しないようになっていることがわかる。
【０１０６】
なお、スムージング処理によって得られた距離画像の画素サイズは、入力画像と同一の画素サイズであることが好ましい。画素サイズを同一にすることで、後述するステレオ画像生成処理において、各画素の距離を一対一で決定することができる。
【０１０７】
（ｃ６：視差調整処理）
スムージング処理後の距離画像が取得されると、より快適な視差量で立体視表示できるように、視差調整処理が実行される。この視差調整処理は、スムージング処理後の距離画像の画素値（視差）が予め定められた視差範囲（ターゲット視差レンジ）内に存在するように、スケーリングを行なう。
【０１０８】
図１２は、図６に示す視差調整処理（ステップＳ１３Ａ，Ａ１３Ｂ）の処理内容を説明するための図である。図１２には、スムージング処理後の距離画像における視差（距離）量を横軸とし、視差調整処理後の視差（距離）量を縦軸としている。視差調整処理では、図１２における視差調整関数を決定する。
【０１０９】
より具体的な手順としては、まず、ターゲット視差レンジｒの大きさを決定する。このターゲット視差レンジｒは、入力画像の横幅を基準として経験的に決定される。例えば、１９２０画素×１０８０画素の入力画像であれば、４９画素に決定される。このターゲット視差レンジｒは、動的に決定してもよいし、予め設定された固定値を用いるようにしてもよい。
【０１１０】
また、スムージング処理後の距離画像に含まれる視差（距離）量の最大値を最大視差Ｐｍａｘとし、最小値を最小視差Ｐｍｉｎとする。すなわち、最大視差Ｐｍａｘを有する画素の画像は最も飛び出して立体視表示され、最小視差Ｐｍｉｎを有する画素の画像は最も奥行きに存在するように立体視表示される。視差調整処理においては、最大視差Ｐｍａｘ（表示面に直交する方向に最も飛び出した位置）と、最小視差Ｐｍｉｎ（表示面に直交する方向（Ｚ軸方向）における最も奥行き側の位置）との間のレンジが、ターゲット視差レンジｒと一致するように、視差調整関数の傾きである視差増減係数ｃと、視差調整関数の切片であるオフセットｏとが算出される。より具体的には、以下の式に従って、視差増減係数ｃおよびオフセットｏが算出される。
【０１１１】
視差増減係数ｃ＝ターゲット視差レンジｒ／（最大視差Ｐｍａｘ−最小視差Ｐｍｉｎ）
オフセットｏ＝（最大視差Ｐｍａｘ＋最小視差Ｐｍｉｎ）／２
調整後視差（距離）量＝視差増減係数ｃ×（調整前視差（距離）量−オフセットｏ）
（ｃ７：ステレオ画像生成処理）
スムージング処理後の距離画像が取得されると、当該取得された距離画像を用いて、ステレオ画像生成処理（図６のステップＳ１４Ａ，Ｓ１４Ｂ）が実行される。このステレオ画像生成処理は、図１に示す３Ｄ画像生成部３５によって実行される。
【０１１２】
ステレオ画像生成処理では、入力画像１が主体的に用いられる場合には、入力画像１をそのまま左眼用画像として出力するとともに、入力画像１の各画素を対応する距離（視差）に応じて位置をずらすことで、右眼用画像を生成する。一方、入力画像２が主体的に用いられる場合には、入力画像２をそのまま右眼用画像として出力するとともに、入力画像２の各画素を対応する距離（視差）に応じて位置をずらすことで、左眼用画像を生成する。
【０１１３】
なお、被写体を立体視表示するためには、左眼用画像および右眼用画像との間で、対応する画素が指定された距離（視差）だけ離れていればよいので、入力画像から左眼用画像および右眼用画像をそれぞれ生成してもよい。
【０１１４】
図１３は、図６のステレオ画像生成処理（ステップＳ１４Ａ，Ｓ１４Ｂ）における処理手順を説明するための図である。図１３には、入力画像１を主体的に用いる場合の処理例を示す。図１４は、図１３に示すステレオ画像生成処理の処理手順を示すフローチャートである。
【０１１５】
図１３を参照して、ステレオ画像生成処理においては、距離画像に基づいて、主体的に用いられる入力画像からステレオ画像（左眼用画像および右眼用画像）が生成される。より具体的には、主体的に用いられる入力画像を構成するライン単位で画素の位置をずらすことで、他方の右眼用画像または左眼用画像が生成される。図１３には、入力画像１をそのまま左眼用画像として用いるとともに、入力画像２を右眼用画像として用いる一例を示す。図１３には、左眼用画像として用いる入力画像１のあるラインについて、画素位置（座標）が「１０１」，「１０２」，・・・，「１１０」である１０個の画素が示されている。各画素位置の画素に対応する距離（視差）がそれぞれ「４０」，「４０」，「４１」，「４１」，「４１」，「４２」，「４２」，「４１」，「４０」，「４０」であるとする。これらの情報を用いて、各画素について、ずらし後の画素位置（右眼用画像における座標）が算出される。より具体的には、（ずらし後の画素位置）＝（左眼用画像における座標）−（対応する距離（視差））に従って、１ライン分の各画素についてのずらし後の画素位置が算出される。
【０１１６】
そして、それぞれの画素値と対応するずらし後の画素位置とに基づいて、右眼用画像の対応する１ライン分の画像が生成される。このとき、距離（視差）の値によっては、対応する画素が存在しない場合がある。図１３に示す例では、右眼用画像の画素位置「６６」および「６８」の画素の情報が存在しない。このような場合には、隣接する画素からの情報を用いて、不足する画素の画素値が補間される。
【０１１７】
このような処理を入力画像に含まれるすべてのライン分だけ繰り返すことで、右眼用画像が生成される。
【０１１８】
なお、この画素位置をずらす方向は、視差を生じさせるべき方向であり、具体的には、ユーザーに向けて表示した場合に、水平方向となる方向に相当する。
【０１１９】
このような処理手順を示すと、図１４のようになる。すなわち、図１４を参照して、３Ｄ画像生成部３５（図１）は、入力画像１の１ライン分の画素について、それぞれのずらし後の画素位置を算出する（ステップＳ１４０１）。続いて、３Ｄ画像生成部３５は、ステップＳ１において算出されたずらし後の画素位置から１ライン分の画像（右眼用画像）を生成する（ステップＳ１４０２）。
【０１２０】
その後、３Ｄ画像生成部３５（図１）は、入力画像に処理を行なっていないラインが存在するか否かを判断する（ステップＳ１４０３）。入力画像に処理を行なっていないラインが存在していれば（ステップＳ１４０３においてＮＯ）、次のラインが選択され、ステップＳ１４０１およびＳ１４０２の処理が繰り返される。
【０１２１】
入力画像のすべてのラインについて処理が完了していれば（ステップＳ１４０３においてＹＥＳ）、３Ｄ画像生成部３５は、入力画像１（左眼用画像）とともに、生成した右眼用画像を出力する。そして、処理は終了する。
【０１２２】
図１３および図１４には、入力画像１が出力画像として決定された場合、すなわち入力画像１が主体的に用いられる場合の処理について説明したが、入力画像２が出力画像として決定された場合、すなわち入力画像２が主体的に用いられる場合の処理についても同様である。但し、上述の対応点探索処理においては、基準画像と参照画像との関係が入れ替わる。
【０１２３】
図１５は、第１の実施の形態に従う画像処理方法に従って図７に示す一対の入力画像から生成されたステレオ画像の一例を示す図である。図７と図１５とを比較すると分かるように、ぼけのないクリアなステレオ画像が得られていることがわかる。
【０１２４】
すなわち、上述したような一連の処理を採用することで、相対的に画質のよい（ぼけていない）入力画像を用いて、出力されるステレオ画像が生成されるので、一方の入力画像にぼけなどの欠陥が存在する場合であっても、立体視表示の品質を維持できる。
【０１２５】
（ｃ８：変形例）
上述の画像処理方法においては、入力画像の周波数特性に基づいて、入力画像に含まれるぼけなどの欠陥を検出する場合を想定したが、入力画像の周波数特性に基づいて、入力画像における露出オーバーなどを検出することもできる。例えば、一方の入力画像だけについて部分的に白く飛んでしまっていると、高周波成分が存在しない。そのため、上述と同様の方法によって、露出オーバーなどを検出できる。また、強い光がレンズに入射したときにレンズ内部での反射などにより、フレアやゴーストと呼ばれる輪や玉状のにじみなどが片側だけで撮影される場合がある。この場合にも、にじむことで高周波成分が少なくなっているため、上述と同様の方法によって、これらのフレアやゴーストを検出できる。
【０１２６】
このような露出オーバー、フレア、ゴーストなどの生じていない入力画像からステレオ画像を生成することが可能である。
【０１２７】
＜Ｄ．第２の実施の形態（縦ステレオ／横ステレオ）＞
上述した第１の実施の形態においては、図２（ａ）に示す縦ステレオを利用できる場合に、入力画像１を主体的に用いる処理モードと、入力画像２を主体的に用いる処理モードとを選択的に実行する例を示した。ここで、図２（ｂ）に示す横ステレオについても利用できる場合には、入力画像１および入力画像２をそのままステレオ画像として用いることができる。典型的には、図５に示すように、撮像部２を搭載した携帯電話３００では、ユーザーの持ち方（携帯電話３００の姿勢方向）に依存して、縦ステレオおよび横ステレオのいずれにもなる。
【０１２８】
そこで、第２の実施の形態においては、このような３つの処理モードを選択可能な構成について例示する。すなわち、ステレオ画像を生成する際に、１つの入力画像を用いるか、２つの入力画像を用いるかを切り替える。
【０１２９】
図１６は、第２の実施の形態に従う画像処理方法の手順を示す図である。図１６においては、図６に示す画像処理方法と同様の処理を同一のステップ番号を付して示す。図１６に示す画像処理方法は、図６に示す第１の実施の形態に従う画像処理方法に比較して、出力用モード決定処理（ステップＳ５）およびステレオ画像出力処理（ステップＳ７）が新たに追加されたものであり、その他の処理については、第１の実施の形態と同様であるので、詳細な説明は繰り返さない。
【０１３０】
本実施の形態に従う画像処理方法においては、入力画像１および入力画像２の一方を主体的に用いてステレオ画像を生成する処理モードと、入力画像１および入力画像２の両方を用いて記テレオ画像を生成する処理モードとを切り替える。この処理モードの切り替えは、入力画像１および入力画像２から取得された周波数特性、および、撮像時における第１カメラ２１および第２カメラ２２の位置関係に基づいて行なわれる。
【０１３１】
より具体的には、入力画像１および入力画像２から取得された周波数特性としては、エッジ抽出処理によって算出されるそれぞれの入力画像のエッジ量についての絶対値および相対差が用いられる。また、撮像時における第１カメラ２１および第２カメラ２２の位置関係は、加速度センサー１１６（図３）により取得される姿勢情報が用いられる。すなわち、撮像部２が縦ステレオの状態で撮像されたものであるか、横ステレオの状態で撮像されたものであるかが判断される。
【０１３２】
図１６を参照して、入力画像１および入力画像２が取得されると、これらの入力画像に対して、エッジ抽出処理（ステップＳ１およびＳ２）が実行され、それぞれの入力画像についてのエッジ量が算出される。このエッジ抽出処理（エッジ量の算出）は、上述の第１の実施の形態と同様であるので、詳細な説明は繰り返さない。
【０１３３】
続いて、算出されたそれぞれのエッジ量に基づいて、エッジ量比較処理（ステップＳ３）が実行される。このエッジ量比較処理においては、入力画像１および入力画像２の一方のみに、ぼけなどの欠陥が存在するか否かが判断される。より具体的には、入力画像１のエッジ量と入力画像２のエッジ量との差分が予め定められたしきい値以下であるか否かが判断される。エッジ量の差分がしきい値以下である場合には、入力画像１と入力画像２との間でぼけ度合いに有意な相違はないと判断できるので、入力画像１および入力画像２をそのままステレオ画像として出力する。
【０１３４】
但し、エッジ量比較処理（ステップＳ３）は、姿勢情報によって、第１カメラ２１および第２カメラ２２が横ステレオになっていると判断できる場合に実行される。第１カメラ２１および第２カメラ２２が縦ステレオになっている場合には、入力画像１および入力画像２をそのままステレオ画像として用いることができないからである。
【０１３５】
すなわち、第１カメラ２１および第２カメラ２２が横ステレオになっており、かつ、入力画像１のエッジ量と入力画像２のエッジ量との差分がしきい値以下である場合に限って、ステレオ画像出力処理（ステップＳ７）が実行される。このステレオ画像出力処理（ステップＳ７）では、入力画像１および入力画像２がそのままステレオ画像として出力される。
【０１３６】
これに対して、入力画像１のエッジ量と入力画像２のエッジ量との差分がしきい値を超えている場合には、入力画像の一方がぼけた状態であると判断できるので、上述した第１の実施の形態と同様に、出力用画像決定処理が実行される（ステップＳ４）。
【０１３７】
また、第１カメラ２１および第２カメラ２２が縦ステレオになっている場合にも、入力画像１および入力画像２をそのままステレオ画像として使用することができないので、出力用画像決定処理が実行される（ステップＳ４）。
【０１３８】
出力用画像決定処理において、よりエッジ量の多い入力画像が選択され、この選択された入力画像を主体としてステレオ画像が生成される。この出力用画像決定処理の実行後の処理については、上述した第１の実施の形態と同様であるので、詳細な説明は繰り返さない。
【０１３９】
＜Ｅ．第１の変形例（動画）＞
上述した第１および第２の実施の形態に従う画像処理方法については、静止画および動画のいずれについても適用できるが、動画に適用する場合には、以下に述べるような処理を付加してもよい。
【０１４０】
すなわち、本変形例に従う画像処理方法においては、第１カメラ２１および第２カメラ２２が被写体を動画撮像する場合に、複数フレームごとに、ステレオ画像を生成するために適用する処理モードを決定する。動画は、時間的に連続した一連のフレームで構成される。このような動画撮像において、フレームごとに処理モード（（１）入力画像１を主体的に用いたステレオ画像の生成、（２）入力画像２を主体的に用いたステレオ画像の生成、（３）入力画像１および入力画像２をそのまま用いたステレオ画像の生成）が異なると、ステレオ画像の生成規則が短時間で切り替わることになる。これによって、出力されるステレオ画像の連続性が損なわれ、ユーザーに違和感を与える可能性がある。
【０１４１】
そこで、本変形例に従う画像処理方法においては、第１カメラ２１および第２カメラ２２が被写体を動画撮像する場合に、一旦決定した処理モードを所定期間（典型的には、複数フレーム）に亘って維持する。このような処理モードを維持する典型例としては、ある区間の先頭フレームに基づいて、処理モード（ステレオ画像の生成規則）を決定する方法がある。すなわち、本変形例に従う画像処理方法においては、第１カメラ２１および第２カメラ２２が被写体を動画撮像する場合に、先頭フレームに対応する入力画像１および入力画像２に基づいて処理モードを決定する。
【０１４２】
より具体的には、動画を構成する所定区間（複数のフレームを含む）のうち、先頭フレームに相当する入力画像１および入力画像２について、それぞれエッジ抽出処理を行なうことで、周波数特性を取得する。そして、取得された周波数特性（エッジ量）を利用して、上述した第１の実施の形態または第２の実施の形態に従う画像処理方法に従って、ステレオ画像の処理モードが決定される。一旦、処理モードが決定されると、当該決定された処理モードに従って、後続のフレーム（２フレーム以降）に相当する入力画像１および入力画像２から順次ステレオ画像を生成する。一連のフレーム群に対して、入力画像１を主体とするステレオ画像の生成処理（ステップＳ１１Ａ〜Ｓ１４Ａ）、入力画像２を主体とするステレオ画像の生成処理（ステップＳ１１Ｂ〜Ｓ１４Ｂ）、入力画像１および入力画像２をステレオ画像として出力する処理（ステップＳ７）が繰り返し実行される。
【０１４３】
このように、一連のフレーム群に対して、同一の生成規則を適用することにより、出力画像の連続性を保ち、ユーザーに対して自然な立体視表示（動画）を提供できる。
【０１４４】
なお、１つの動画に含まれるすべてのフレームに対して、先頭フレームの基づいて決定した処理モードを適用するようにしてもよいが、人間の視覚を利用して、動画に含まれるシーンの単位で、生成規則を変更できるようにしてもよい。例えば、特開２００２−１５２６６９号公報に開示されるような技術を用いて、動画内のシーンチェンジを検出することでシーンに区別し、各シーンの先頭フレーム（シーンの切り替わりタイミング）で処理モード（生成規則）を決定（変更）してもよい。あるいは、一定時間（例えば、３０ｆｐｓで６００フレーム）ごとに処理モード（生成規則）を決定（変更）してもよい。
【０１４５】
上述したように、本変形例においては、静止画と動画との間で、生成規則の判定条件を切り替えて、動画は、静止画に比較して頻繁に切り替えないようにする。すなわち、動画の場合には、一定時間に亘って、生成規則を維持する。より具体的には、動画の場合には、先頭フレームでのみ生成規則の判定が行なわれることが好ましい。
【０１４６】
＜Ｆ．第２の変形例（部分画像ごとの評価）＞
上述の第１および第２の実施の形態においては、入力画像の全体の画質を評価する構成について例示したが、入力画像の部分画像について画質を評価してもよい。そして、部分画像ごとにステレオ画像を生成する処理モードを切り替えてもよい。すなわち、入力画像の部分領域ごとに、処理を切り替える。
【０１４７】
基本的には、この部分画像ごとに画質を評価して処理モードを切り替える構成は、横ステレオ、すなわち、第１カメラ２１および第２カメラ２２でそれぞれ取得される入力画像１および入力画像２をそのままステレオ画像として用いることができる場合に好適である。もちろん、本変形例の方法を縦ステレオにおいて入力画像に対する前処理として適用することもできる。
【０１４８】
図１７は、第２の変形例に従う部分画像ごとに画質を評価する処理例を示す図である。図１８および図１９は、第２の変形例に従ってステレオ画像を生成する処理を説明するための図である。
【０１４９】
図１７（ａ）に示すように、入力画像を複数の部分領域に区分し、各部分領域に対応する部分画像について周波数特性を評価してもよい。図１７（ａ）に示す例では、入力画像の長い方の辺を４分割し、短い方の辺を３分割した、計１２個の部分画像が設定される。このように部分画像ごとに周波数特性を評価することで、部分的に発生する、露出オーバーによる白飛び、フレア、ゴーストなどの欠陥の判定精度を向上させることができる。
【０１５０】
部分領域ごとの周波数特性を評価するより具体的な方法としては、まず、上述の第１および第２の実施の形態と同様の手順に従って、図１７（ａ）に示す部分画像ごとのエッジ量が算出される。そして、部分画像ごとにエッジ量に基づいて、中間判定が行なわれる。より具体的には、入力画像１および入力画像２の間で、同一の部分画像についてのエッジ量についての差分の絶対値が予め定められたしきい値以下であるか否かが判断される。すなわち、対応する部分画像について見た場合に、入力画像１と入力画像２との間で同様の傾向を示すか否かが判断される。同様の傾向を示す場合には、他の部分画像についての差分の絶対値を基準として、その差分の絶対値を評価することで、当該部分画像が信頼できるか否かを判断する。
【０１５１】
一方、入力画像１と入力画像２との間で対応する部分画像についてのみエッジ量が大きく異なっている場合には、エッジ量が相対的に大きい部分画像が選択される。差分の絶対値が相対的に大きい場合には、入力画像１と入力画像２との間で互いに相反する傾向を有することになり、このときには、より大きなエッジ量を示す部分画像がステレオ画像の生成に用いられる。
【０１５２】
なお、第１カメラ２１と第２カメラ２２との間で、被写体に対する視点が異なっているので、両カメラの間における視野範囲の相違、すなわち、オクルージョンが発生している場合には、入力画像１と入力画像２との間では映り込んでいる被写体が異なっていることがある。このような悪影響を防止するため、図１８に示すように、パターンマッチングなどの手法を用いて、入力画像１と入力画像２との間での対応関係を予め取得しておき、各対応する部分画像の間で周波数特性を評価するようにしてもよい。
【０１５３】
すなわち、第１カメラ２１および第２カメラ２２が互いに異なる視点が被写体を撮像する場合には、図１８に示すように、入力画像１に設定される部分画像と入力画像２に設定される部分画像とが一致するとは限らないので、一方の入力画像に対して複数の部分画像を設定した上で、各部分画像に対応する領域を他の入力画像から探索してもよい。
【０１５４】
上述のように各部分画像について、周波数特性に基づいて画質を評価した後、ステレオ画像を生成する手順としては、図１９に示すようになる。この例では、横ステレオの構成において、第１カメラ２１が被写体を撮像することで取得される入力画像１をそのまま左眼用画像として用いるとともに、第２カメラ２２が被写体を撮像することで取得される入力画像２を適宜修正しつつ、右眼用画像として用いる。図１９には、入力画像２に含まれる部分画像を入力画像１の対応する部分画像を用いて補間する処理例を示す。すなわち、入力画像２の特定の部分画像にのみフレアやゴーストといった欠陥が存在していると判定された場合には、その問題がと判定された部分画像（領域）についてのみ、フレアやゴーストが存在しない方の入力画像の部分画像を用いて補間する。すなわち、入力画像２に対して、部分的に入力画像１の部分画像を移植することで、右眼用画像が生成される。
【０１５５】
このように部分画像ごとに画質を評価することで、部分的に発生すフレアやゴーストといった欠陥を修復しつつ、高画質なステレオ画像を生成できる。
【０１５６】
＜Ｇ．第３の変形例（ユーザーインターフェイス）＞
上述の画像処理方法を実装した画像処理システム／装置において、以下に示すようなユーザーインターフェイスを搭載することが好ましい。
【０１５７】
図２０は、第３の変形例において提供されるユーザーインターフェイスの一例を示す図である。
【０１５８】
（ｇ１：ユーザーへの警告）
上述したように、本実施の形態に従う画像処理方法では、入力画像についての画質を評価できるので、画質が劣化している入力画像に対応するカメラ（レンズ）を特定できる。そこで、特定のカメラ（撮像手段）からの入力画像に対して画質が劣化していると複数回にわたって判断されたときに、対応するカメラについてレンズの汚れをユーザーに警告するための警告手段を搭載してもよい。すなわち、複数回続けて、一方のカメラ（レンズ）からの入力画像の品質が常に悪い（算出されるエッジ量が少ない）と判定された場合には、片側のレンズ面が汚れている可能性があるため、ユーザーにレンズを拭くように促す警告メッセージを提示してもよい。言い換えれば、（少なくとも２回以上の）連続した撮像において、同じレンズからの入力画像のみの品質が悪い場合には、当該レンズ面が汚れている可能性ありとの警告を提示する。
【０１５９】
このような警告メッセージとしては、図２０（ａ）に示すような内容が考えられる。
（ｇ２：撮像動作のユーザーへの喚起）
上述のような第１カメラ２１および第２カメラ２２の評価を行なうためには、第１カメラ２１および第２カメラ２２を用いて被写体を実際に撮像する必要がある。そこで、入力画像１および入力画像２に対する周波数特性を評価するために、第１カメラ２１および第２カメラ２２を用いた撮像の実行をユーザーに促す撮像喚起手段を搭載してもよい。すなわち、第１カメラ２１および第２カメラ２２（両レンズ）を判定するために入力画像を撮像させるようにユーザーに促す。
【０１６０】
このような喚起メッセージとしては、図２０（ｂ）に示すような内容が考えられる。なお、判定用チャートとしては、特定のエッジが画像の全面に存在するサンプル（例えば、草一面の画像など）が用いられる。
【０１６１】
なお、必ずしもチャートを用いる必要はなく、現実の何らかの被写体をユーザーに撮像してもらい、当該被写体を撮像して得られる入力画像についてのエッジ量が予め定められたしきい値以上であるか否かを判断する。そして、エッジ量が予め定められたしきい値以上である場合には、第１カメラ２１および第２カメラ２２の評価自体に適合した入力画像（被写体）と判断し、チャートの代用としてもよい。この場合には、チャートの代用として、いずれの被写体を用いて第１カメラ２１および第２カメラ２２を評価したのかが一見して把握できるように、撮像装置上のモニターなどにこの被写体についても表示することが好ましい。
【０１６２】
（ｇ３：デフォルト設定）
上述のような第１カメラ２１および第２カメラ２２の評価については、初期設定時、電源投入時、撮像直前の合焦動作時のいずれかにおいて取得された入力画像１および入力画像２に基づいて行なわれることが好ましい。
【０１６３】
初期設定時に取得された入力画像１および入力画像２についての周波数特性を取得することで、レンズ製造時に片側のレンズ面が少し傾いて製造されているといった初期不具合を容易に発見することができる。また、片側のレンズの品質が良好ではなく、常に少しぼけている場合などについても容易に発見できる。このような初期設定時に加えて、電源投入時や撮像直前の合焦動作時（シャッター半押し状態）といった定常的にも、第１カメラ２１および第２カメラ２２を評価してもよい。
【０１６４】
さらに、このような第１カメラ２１および第２カメラ２２を評価の結果に基づいて、デフォルトのカメラ（レンズ）を決定してもよい。このようにデフォルトのカメラ（レンズ）を決定しておいた場合には、撮像ごとに第１カメラ２１および第２カメラ２２を評価する必要はなく、予め設定したデフォルトのカメラ（レンズ）で取得された入力画像を主体的に用いて、ステレオ画像を生成することになる。
【０１６５】
すなわち、より多くの高周波成分を含む入力画像に対応するカメラ（レンズ）を、ステレオ画像を生成する際に主体的に用いられる撮像手段としてデフォルト設定される。そして、デフォルト設定されているカメラ（レンズ）からの入力画像を主体的に用いて、ステレオ画像が生成される。
【０１６６】
＜Ｈ．周波数特性の取得方法についての変形例）＞
上述したように、本実施の形態に従う画像処理方法においては、入力画像の周波数特性に基づいて画質を評価する。そのため、上述したようなエッジ抽出処理に限られず、周波数特性を取得するための各種の方法を採用できる。
【０１６７】
このような周波数特性を取得する処理としては、特開２０１１−１２８９２６号公報に開示されるようなフーリエ変換を利用する方法を採用してもよい。あるいは、Ｓｏｂｅｌなどの１次微分フィルタや２次微分フィルタを利用してもよい。
【０１６８】
また、入力画像に含まれる周波数特性についての判定精度を向上するために、ノイズ除去用にメディアン等を利用する処理を含ませてもよい。あるいは、入力画像の画素成分を周波数特性に変換した後、最も高周波の領域などノイズが多い周波数帯域を無視した上で、画質を評価してもよい。
【０１６９】
＜Ｉ．利点＞
本発明の実施の形態によれば、入力画像にぼけなどの欠陥がある状態であっても、その欠陥をユーザーに見せないように、画質のよい方の入力画像を主体的（優先的）に用いてステレオ画像を生成する。そのため、何らかの原因によって、一方の入力画像の撮像に失敗していても、画質のよい方からステレオ画像を生成することで、立体視表示の品質を維持できる。
【０１７０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１７１】
１ 画像処理システム、２ 撮像部、３ 画像処理部、４ 画像出力部、２１，１２１ 第１カメラ、２１ａ，２２ａ レンズ、２１ｂ，２２ｂ 撮像素子、２２，１２２ 第２カメラ、２３，２４ Ａ／Ｄ変換部、３０ エッジ抽出部、３１ 対応点探索部、３２ 距離画像生成部、３３ スムージング処理部、３４ 視差調整部、３５ 画像生成部、１００ デジタルカメラ、１０２ ＣＰＵ、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 画像表示部、１１２ 記憶部、１１４ ズーム機構、１１６ 加速度センサー、２００ パーソナルコンピューター、２０２ パーソナルコンピューター本体、２０４ 画像処理プログラム、２０６ モニター、２０８ マウス、２１０ キーボード、２１２ 外部記憶装置、３００ 携帯電話。
【特許請求の範囲】
【請求項１】
被写体を撮像して第１の入力画像を取得する第１の撮像手段と、
前記第１の撮像手段とは異なる視点から前記被写体を撮像して第２の入力画像を取得する第２の撮像手段と、
前記第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、
取得された前記周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、前記第１および第２の入力画像から、前記被写体を立体視表示するためのステレオ画像を生成する立体視生成手段とを備える、画像処理システム。
【請求項２】
前記立体視生成手段は、より多くの高周波成分を含む入力画像を相対的に画質がよいと判断する、請求項１に記載の画像処理システム。
【請求項３】
前記周波数特性取得手段は、入力画像に含まれるエッジ量抽出および入力画像に対する周波数分析の少なくとも一方を用いて、前記周波数特定を取得する、請求項１または２に記載の画像処理システム。
【請求項４】
前記立体視生成手段は、取得された前記周波数特性、および、撮像時における前記第１および前記第２の撮像手段の位置関係に基づいて、前記第１および前記第２の入力画像の一方を主体的に用いて前記ステレオ画像を生成する処理モードと、前記第１および前記第２の入力画像の両方を用いて前記ステレオ画像を生成する処理モードとを切り替える、請求項１〜３のいずれか１項に記載の画像処理システム。
【請求項５】
前記立体視生成手段は、部分画像ごとに、前記ステレオ画像を生成する処理モードを切り替える、請求項１〜４のいずれか１項に記載の画像処理システム。
【請求項６】
前記立体視生成手段は、前記第１および前記第２の撮像手段が前記被写体を動画撮像する場合に、複数フレームごとに、前記ステレオ画像を生成するために適用する処理モードを決定する、請求項１〜５のいずれか１項に記載の画像処理システム。
【請求項７】
前記立体視生成手段は、前記第１および前記第２の撮像手段が前記被写体を動画撮像する場合に、一旦決定した処理モードを所定期間に亘って維持する、請求項６に記載の画像処理システム。
【請求項８】
前記立体視生成手段は、前記第１および前記第２の撮像手段が前記被写体を動画撮像する場合に、先頭フレームに対応する第１および第２の入力画像に基づいて処理モードを決定する、請求項６または７に記載の画像処理システム。
【請求項９】
特定の撮像手段からの入力画像に対して画質が劣化していると複数回にわたって判断されたときに、対応する撮像手段についてレンズの汚れをユーザーに警告するための警告手段をさらに備える、請求項１〜８のいずれか１項に記載の画像処理システム。
【請求項１０】
前記周波数特性を評価するための前記第１および前記第２の撮像手段を用いた撮像の実行をユーザーに促す撮像喚起手段をさらに備える、請求項１〜９のいずれか１項に記載の画像処理システム。
【請求項１１】
前記周波数特性取得手段は、初期設定時、電源投入時、撮像直前の合焦動作時のいずれかにおいて取得された第１および第２の入力画像に対して、前記周波数特性を取得する、請求項１〜１０のいずれか１項に記載の画像処理システム。
【請求項１２】
より多くの高周波成分を含む入力画像に対応する撮像手段を、前記ステレオ画像を生成する際に主体的に用いられる撮像手段としてデフォルト設定する、請求項１〜１１のいずれか１項に記載の画像処理システム。
【請求項１３】
前記立体視生成手段は、デフォルト設定されている撮像手段からの入力画像を主体的に用いて、前記ステレオ画像を生成する、請求項１２に記載の画像処理システム。
【請求項１４】
被写体を撮像して第１の入力画像を取得するステップと、
前記第１の入力画像を撮像した視点とは異なる視点から前記被写体を撮像して第２の入力画像を取得するステップと、
前記第１および第２の入力画像の周波数特性を取得するステップと、
取得された前記周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、前記第１および第２の入力画像から、前記被写体を立体視表示するためのステレオ画像を生成するステップとを備える、画像処理方法。
【請求項１５】
コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターを、
被写体を撮像した第１の入力画像を取得する第１の取得手段と、
前記第１の入力画像を撮像した視点とは異なる視点から前記被写体を撮像した第２の入力画像を取得する第２の取得手段と、
前記第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、
取得された前記周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、前記第１および第２の入力画像から、前記被写体を立体視表示するためのステレオ画像を生成する立体視生成手段として機能させる、画像処理プログラム。
【請求項１】
被写体を撮像して第１の入力画像を取得する第１の撮像手段と、
前記第１の撮像手段とは異なる視点から前記被写体を撮像して第２の入力画像を取得する第２の撮像手段と、
前記第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、
取得された前記周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、前記第１および第２の入力画像から、前記被写体を立体視表示するためのステレオ画像を生成する立体視生成手段とを備える、画像処理システム。
【請求項２】
前記立体視生成手段は、より多くの高周波成分を含む入力画像を相対的に画質がよいと判断する、請求項１に記載の画像処理システム。
【請求項３】
前記周波数特性取得手段は、入力画像に含まれるエッジ量抽出および入力画像に対する周波数分析の少なくとも一方を用いて、前記周波数特定を取得する、請求項１または２に記載の画像処理システム。
【請求項４】
前記立体視生成手段は、取得された前記周波数特性、および、撮像時における前記第１および前記第２の撮像手段の位置関係に基づいて、前記第１および前記第２の入力画像の一方を主体的に用いて前記ステレオ画像を生成する処理モードと、前記第１および前記第２の入力画像の両方を用いて前記ステレオ画像を生成する処理モードとを切り替える、請求項１〜３のいずれか１項に記載の画像処理システム。
【請求項５】
前記立体視生成手段は、部分画像ごとに、前記ステレオ画像を生成する処理モードを切り替える、請求項１〜４のいずれか１項に記載の画像処理システム。
【請求項６】
前記立体視生成手段は、前記第１および前記第２の撮像手段が前記被写体を動画撮像する場合に、複数フレームごとに、前記ステレオ画像を生成するために適用する処理モードを決定する、請求項１〜５のいずれか１項に記載の画像処理システム。
【請求項７】
前記立体視生成手段は、前記第１および前記第２の撮像手段が前記被写体を動画撮像する場合に、一旦決定した処理モードを所定期間に亘って維持する、請求項６に記載の画像処理システム。
【請求項８】
前記立体視生成手段は、前記第１および前記第２の撮像手段が前記被写体を動画撮像する場合に、先頭フレームに対応する第１および第２の入力画像に基づいて処理モードを決定する、請求項６または７に記載の画像処理システム。
【請求項９】
特定の撮像手段からの入力画像に対して画質が劣化していると複数回にわたって判断されたときに、対応する撮像手段についてレンズの汚れをユーザーに警告するための警告手段をさらに備える、請求項１〜８のいずれか１項に記載の画像処理システム。
【請求項１０】
前記周波数特性を評価するための前記第１および前記第２の撮像手段を用いた撮像の実行をユーザーに促す撮像喚起手段をさらに備える、請求項１〜９のいずれか１項に記載の画像処理システム。
【請求項１１】
前記周波数特性取得手段は、初期設定時、電源投入時、撮像直前の合焦動作時のいずれかにおいて取得された第１および第２の入力画像に対して、前記周波数特性を取得する、請求項１〜１０のいずれか１項に記載の画像処理システム。
【請求項１２】
より多くの高周波成分を含む入力画像に対応する撮像手段を、前記ステレオ画像を生成する際に主体的に用いられる撮像手段としてデフォルト設定する、請求項１〜１１のいずれか１項に記載の画像処理システム。
【請求項１３】
前記立体視生成手段は、デフォルト設定されている撮像手段からの入力画像を主体的に用いて、前記ステレオ画像を生成する、請求項１２に記載の画像処理システム。
【請求項１４】
被写体を撮像して第１の入力画像を取得するステップと、
前記第１の入力画像を撮像した視点とは異なる視点から前記被写体を撮像して第２の入力画像を取得するステップと、
前記第１および第２の入力画像の周波数特性を取得するステップと、
取得された前記周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、前記第１および第２の入力画像から、前記被写体を立体視表示するためのステレオ画像を生成するステップとを備える、画像処理方法。
【請求項１５】
コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターを、
被写体を撮像した第１の入力画像を取得する第１の取得手段と、
前記第１の入力画像を撮像した視点とは異なる視点から前記被写体を撮像した第２の入力画像を取得する第２の取得手段と、
前記第１および第２の入力画像の周波数特性を取得する周波数特性取得手段と、
取得された前記周波数特性に基づいて相対的に画質がよいと判断された入力画像を主体的に用いて、前記第１および第２の入力画像から、前記被写体を立体視表示するためのステレオ画像を生成する立体視生成手段として機能させる、画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図７】
【図１０】
【図１３】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図７】
【図１０】
【図１３】
【図１５】
【公開番号】特開２０１３−７４３９７（Ｐ２０１３−７４３９７Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０９０１（Ｐ２０１１−２１０９０１）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]