画像処理装置及び画像処理システム
【課題】画像領域境界付近での距離誤差を低下させ、立体画像における遠近視認上の違和感を軽減させる画像処理技術を提供する。
【解決手段】立体画像を生成しようとする被写体の２次元画像上でエッジを抽出し、エッジで囲まれた各領域の相互境界ＱＭ付近で距離画像の補正を行う。このような領域境界では、遠近競合によって一方の領域ＣＡの距離情報に他方の領域ＲＡの距離情報が混入していることから、領域境界ＱＭに近づくにつれて他方領域の距離情報の値へと変化しようとする傾向になり、それが誤差の原因となる。そのような誤った変化を抑圧すべく、領域境界ＱＭの近くの画素であって、距離情報の変化が大きな画素については、距離情報の変化を抑制するような補正を行う。
【解決手段】立体画像を生成しようとする被写体の２次元画像上でエッジを抽出し、エッジで囲まれた各領域の相互境界ＱＭ付近で距離画像の補正を行う。このような領域境界では、遠近競合によって一方の領域ＣＡの距離情報に他方の領域ＲＡの距離情報が混入していることから、領域境界ＱＭに近づくにつれて他方領域の距離情報の値へと変化しようとする傾向になり、それが誤差の原因となる。そのような誤った変化を抑圧すべく、領域境界ＱＭの近くの画素であって、距離情報の変化が大きな画素については、距離情報の変化を抑制するような補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理システムに関する。
【背景技術】
【０００２】
近年、３次元映像技術を取り入れた３次元テレビの普及が拡大してきている。しかし、３次元映像などのコンテンツに関しては、一部の映画やテレビ用の３次元映像のコンテンツが提供されているが、一般ユーザが個人で楽しむには、３次元映像コンテンツが充分な状態とは言えない。そのため、今後、一般ユーザに対し、一般家庭でも簡単に３次元映像を楽しむことが可能なコンテンツを生成し、３次元映像システムの提供を行うことが必要不可欠になる。
【０００３】
しかし、単純に２台以上のカメラにより取得した映像を、立体視映像として表示すると、映画館のような固定サイズの表示ディスプレイであれば、特に問題はないが、一般ユーザ向けの立体視映像としては、個々の所有する表示ディスプレイのサイズが異なる可能性が高いことから、使用するディスプレイ次第では、立体感に欠ける映像となることがある。
【０００４】
つまり、個々のディスプレイに適した立体感を表示する為の調整を行うために、立体感の調整（視差調整）が重要となる。一般的に視差調整を正確に行う方法としては、各対象領域の距離を計測し、計測データに従って視差量を補正する方法がある。ここで、対象領域の距離計測方法の代表的な方法としては、エリアベースの対応点探索方法がある。
【０００５】
例えば、特許文献１では、２種類の対応点探索方法で視差を算出し、それらの差の絶対値が所定の閾値以上である画素は、ミスマッチングが発生していると判定する技術が開示されている。
【０００６】
また、特許文献２では、１つの画素に対して複数の対応点が探索された場合、対象画素の周囲にある複数画素の距離値に基づいて、対象画素およびその周囲における被写体形状を算出し、被写体形状との差異が最も小さい対象距離情報を算出した対応点を有効な対応点に決定する技術が提案されている。
【０００７】
さらに、特許文献３では、基準となる画像を複数の小領域に分割し、それらの小領域の境界線の視差を領域ベースのステレオ法により推定し、各領域において推定された境界線における視差の頻度分布を解析して領域の視差を推定する。分割された小領域を順次統合していく際に画像の特徴量を用いることで、被写体本来の形状により近い画像分割が可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２３９４８５号公報
【特許文献２】特開２００９−２０５１９３号公報
【特許文献３】特開２００５−１６５９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１では、計測点の間違いは分かるものの何れの方法が適切か判別できない。また、特許文献２では、孤立点などのノイズ的な誤対応点に対しては修正可能であるものの、周辺の計測情報が間違っている場合には補正することができないという問題がある。さらに、特許文献３では、境界線の視差の頻度分布を解析して領域の視差を推定するだけでなく、境界線の視差計測方法とその他の計測方法を切り替えるといった複雑な処理が必要となる。
【００１０】
また、エリアベースの対応点探索方法においては、設定するエリア内に近距離と遠距離との両方の情報が含まれている場合（遠近競合領域）や、異なる視点による撮影で片方の映像で映っていない場合（オクルージョン領域）などにおいては、正確に視差の計測を行うことが出来ないと言う問題がある。
【００１１】
そして、不正確な視差情報を基に、多視点映像を生成し、立体表示を行うと、実際の立体形状より飛び出したり、凹凸感がなかったり、ぼやけたりした立体視映像となり、観察者にとっては遠近感の欠落や対象物の形状の変化により違和感の多い映像となってしまう。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、遠近競合領域での距離誤差を低下させ、立体画像における遠近視認上の違和感を軽減させる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、請求項１の発明は、立体画像処理のための画像処理装置であって、所定の原点位置から被写体各部への距離情報を表現した第１距離画像を取得する第１距離画像取得手段と、前記被写体の２次元画像における前記被写体の複数の領域相互の境界線を抽出する境界線抽出手段と、前記第１距離画像中において、前記２次元画像での前記境界線に対応する位置に仮想境界線を設定するとともに、前記第１距離画像のうち前記仮想境界線をはさんで互いに隣接する領域のうち少なくとも一方を補正範囲としつつ、前記仮想境界線に近づく方向についての距離情報の変化を抑制する補正を前記第１距離画像に対して行うことによって第２距離画像を生成する補正手段と、を備え、前記立体画像処理が、前記第２距離画像に基づいて行われることを特徴とする。
【００１４】
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記補正手段は、前記仮想境界線の位置を基準として、前記補正範囲の設定を行う補正範囲設定手段、を備えることを特徴とする。
【００１５】
また、請求項３の発明は、請求項２に記載の画像処理装置であって、前記補正範囲設定手段は、前記補正範囲として、前記第１距離画像において、前記仮想境界線からの平面距離が所定の値以下の画素範囲を設定することを特徴とする。
【００１６】
また、請求項４の発明は、請求項２に記載の画像処理装置であって、前記補正範囲設定手段は、前記補正範囲として、前記第１距離画像において、前記仮想境界線の距離情報との相違量が所定の値以下の画素範囲を設定することを特徴とする。
【００１７】
また、請求項５の発明は、請求項２乃至請求項４のいずれかに記載の画像処理装置であって、前記補正範囲設定手段は、前記補正範囲として、前記仮想境界線の両側の領域を設定することを特徴とする。
【００１８】
また、請求項６の発明は、請求項２に記載の画像処理装置であって、前記補正範囲設定手段は、前記第１距離画像の全体を、前記補正範囲として設定することを特徴とする。
【００１９】
また、請求項７の発明は、請求項２乃至請求項６のいずれかに記載の画像処理装置であって、前記補正範囲設定手段は、前記仮想境界線が閉曲線を形成していない領域は、前記補正範囲から除外する例外処理を行うことを特徴とする。
【００２０】
また、請求項８の発明は、請求項２乃至請求項７の何れかに記載の画像処理装置であって、前記補正手段は、前記補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う補正判定手段、を備えることを特徴とする。
【００２１】
また、請求項９の発明は、請求項８に記載の画像処理装置であって、前記補正判定手段は、前記補正判定を、画素単位で行うことを特徴とする。
【００２２】
また、請求項１０の発明は、請求項８に記載の画像処理装置であって、前記補正判定手段は、前記補正判定を、２点間を結びかつ前記仮想境界線と交差する画素列を単位として行うことを特徴とする。
【００２３】
また、請求項１１の発明は、請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、前記補正判定条件は、判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報と、当該判定対象画素に隣接する画素の距離情報との差分の絶対値が、所定値以上となっているという条件であることを特徴とする。
【００２４】
また、請求項１２の発明は、請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、前記補正判定条件は、判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報の変化率の絶対値が、所定値以上となっているという条件であることを特徴とする。
【００２５】
また、請求項１３の発明は、請求項１乃至請求項１２のいずれかに記載の画像処理装置であって、用語定義として、着目する補正対象画素に関して、「交差画素列」を、当該補正対象画素を通りかつ前記仮想境界線と交差する線分の画素列によって定義し；「外側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に近い側において当該補正対象画素に隣接する画素によって定義し；「内側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に遠い側において当該補正対象画素に隣接する画素によって定義し；「同一側画素列」を、前記交差画素列のうちで、前記仮想境界線を基準として当該補正対象画素と同じ側にある部分によって定義し；「反対側画素列」を、前記交差画素列のうちで、前記仮想境界線をはさんで当該補正対象画素と反対側にある部分によって定義したとき、前記補正手段は、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて、補正対象画素の距離情報の補正を行うこと特徴とする。
【００２６】
また、請求項１４の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行うことを特徴とする。
【００２７】
また、請求項１５の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行うことを特徴とする。
【００２８】
また、請求項１６の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、前記仮想境界線から離れた位置に基準位置を設定し、前記基準位置での距離情報を第１距離情報とし、前記基準位置から前記仮想境界線までの区間内の各補正対象画素について、前記基準位置に関して対称な位置にある画素の距離情報を第２距離情報としたとき、前記補正対象画素についての補正後の距離情報と前記第１距離情報との差が、前記第１距離情報と前記第２距離情報との差の正負符号を反転させた値に比例するように前記補正対象画素についての補正を行うことにより、前記補正対象画素の距離情報の変化を抑制する補正を行うことを特徴とする。
【００２９】
また、請求項１７の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、前記仮想境界線に近づく方向についての距離情報の変化を段階的に抑制する。
【００３０】
また、請求項１８の発明は、請求項１ないし請求項１７の何れかに記載の画像処理装置と、前記第２距離画像を用いて前記原点位置から見た第１視差画像を生成する第１視差画像生成手段と、前記視差画像生成手段によって生成された第１視差画像に基づいて、前記原点位置とは異なる別位置から前記被写体を観察した距離画像としての第２視点画像を生成する他視点画像生成手段と、を備えることを特徴とする。
【００３１】
また、請求項１９の発明は、請求項１８に記載の画像処理システムであって、前記補正手段は、前記他視点画像生成手段での前記第２視点画像の生成において、視点が前記原点位置から前記別位置へと変化する方向に応じて、前記距離情報の変化の抑制を行う部分を選択することを特徴とする。
【発明の効果】
【００３２】
請求項１ないし請求項１９の発明によれば、第１距離画像での誤差が大きくなりがちな境界領域を補正範囲として、境界に近づく方向について距離情報の変化を抑制する補正を行うことにより、境界をはさんで一方側の領域の距離情報に他方側の領域の距離情報が混入することに起因する誤差を減少ないしは除去できる。このため、このようにして得た第２距離画像に基づいて立体画像処理の後工程を行うことによって、画像領域境界付近での距離誤差が低下し、立体画像における遠近視認上の違和感を軽減することが可能となる。
【００３３】
請求項２ないし請求項７の発明によれば、仮想境界線の位置を基準として、補正範囲の設定を行うことにより、距離情報算出が苦手な領域、すなわち、立体画像における遠近視認上の違和感が生じやすい領域境界線の付近に補正範囲を設定できる。このため、補正の効率化を図ることができる。
【００３４】
請求項８ないし請求項１２の発明によれば、補正判定を行うことで、距離情報補正を行う必要性が高い画素のみ補正を行うことによって、距離情報補正に要する時間の短縮を図ることができる。
【００３５】
請求項１３ないし請求項１７の発明によれば、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて、補正対象画素の距離情報の補正を行うことにより、内側画素の距離情報との連続性を確保しつつ画像領域境界付近での距離誤差を低下させ、立体画像における遠近視認上の違和感を軽減することが可能となる。
【００３６】
請求項１９の発明によれば、他視点画像生成手段での第２視点画像の生成において、視点が原点位置から別位置へと変化する方向に応じて、距離情報の変化の抑制を行う部分を選択することにより視点移動方向に応じた補正が可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る画像処理システムの概略構成を示す図である。
【図２】ステレオカメラによって撮影された画像および得られた距離情報の画像を例示する図である。
【図３】本実施形態に係る画像処理システムの機能構成を示すブロック図を示す。
【図４】本実施形態に係る画像処理システムの機能構成を示すブロック図を示す。
【図５】ステレオカメラの使用形態を説明する図である。
【図６】ステレオカメラを横置きで使用する場合の撮影イメージを示す図である。
【図７】ステレオカメラで得られた画像を示す図である。
【図８】画像境界線抽出方法について説明する図である。
【図９】画像境界線抽出方法について説明する図である。
【図１０】画像境界線抽出方法について説明する図である。
【図１１】対応点探索処理を説明する概念図である。
【図１２】補正範囲の設定方法を説明する概念図である。
【図１３】補正範囲の設定方法を説明する概念図である。
【図１４】補正判定対象位置について説明する図である。
【図１５】補正判定対象位置について説明する図である。
【図１６】補正方法について説明する図である。
【図１７】補正方法について説明する図である。
【図１８】補正方法について説明する図である。
【図１９】補正方法について説明する図である。
【図２０】補正方法について説明する図である。
【図２１】補正方法について説明する図である。
【図２２】本実施形態に係る画像処理システムにおいて実現される基本動作を説明するフローチャートである。
【発明を実施するための形態】
【００３８】
＜１．用語の定義＞
この発明における下記用語は、次のように定義される。
・「画像」の用語は、静止画および動画の双方を包含する概念の用語として使用する。
【００３９】
また、着目する補正対象画素に関して、
・「交差画素列」の用語は、当該補正対象画素を通りかつ仮想境界線（後述）と交差する線分の画素列として使用し；
・「外側画素」の用語は、交差画素列のうちで、当該補正対象画素よりも仮想境界線に近い側において当該補正対象画素に隣接する画素として使用し；
・「内側画素」の用語は、交差画素列のうちで、当該補正対象画素よりも仮想境界線に遠い側において当該補正対象画素に隣接する画素として使用し；
・「同一側画素列」の用語は、交差画素列のうちで、仮想境界線を基準として当該補正対象画素と同じ側にある部分として使用し；
・「反対側画素列」の用語は、交差画素列のうちで、仮想境界線をはさんで当該補正対象画素と反対側にある部分として使用する。
【００４０】
＜２．画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システム１の概略構成を示す図である。画像処理システム１は、多視点カメラシステムとして構成されており、撮像部１０として２眼のステレオカメラＶＣを備えるほか、ステレオカメラＶＣに対してデータの送受信が可能に接続される画像処理装置３を備える。
【００４１】
ステレオカメラＶＣは、主カメラＭＣおよび副カメラＳＣの２つの撮像系から構成されている。主カメラＭＣおよび副カメラＳＣは、カメラ正面の被写体（撮像の対象体）ＯＢを、同じタイミングで異なる視点から撮像するように構成される。主カメラＭＣおよび副カメラＳＣによる同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。
【００４２】
以下では、主カメラＭＣの撮像によって取得される画像を「第１撮像画像Ｇ１」と称し、副カメラＳＣの撮像によって取得される画像を「第２撮像画像Ｇ２」と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。
【００４３】
画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、スピーカ３３と、ステレオカメラＶＣからのデータを受信するインターフェース(Ｉ／Ｆ)３７とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６とを有する。
【００４４】
記憶装置３４は、例えばハードディスク等で構成され、ステレオカメラＶＣの撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される距離情報補正を行うためのプログラムＰＧ等が格納される。
【００４５】
入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６との間でデータの授受を行う。
【００４６】
演算制御部３６は、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、画像処理装置３の各部を統括的に制御する。演算制御部３６では、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。
【００４７】
演算制御部３６は、後述する距離情報補正によって、視差画像および他視点画像を生成し、ディスプレイ３２により、特定の被写体ＯＢの画像を可視的に出力する。
【００４８】
＜２−１．計測距離情報の一般的性質と前提事情＞
この実施形態における画像処理システム１の詳細を説明する準備として、この実施形態の前提となる計測距離情報の一般的性質と、それに伴って生じる現象、すなわち従来技術で生じていた事情を説明しておく。
【００４９】
図２は、ステレオカメラＶＣによって撮影された画像および得られた距離情報の画像を例示する図である。図２（ａ）は、主カメラＭＣの撮像によって取得される第１撮像画像Ｇ１を示し、図２（ｂ）は、副カメラＳＣの撮像によって取得される第２撮像画像Ｇ２を示す。なお、ここでは、第１撮像画像Ｇ１を基準画像ＳＧとし、第２撮像画像Ｇ２を参照画像ＲＧとする。また、図２（ｃ）は、基準画像ＳＧと参照画像ＲＧとの画像から生成される、所定の原点位置（この実施形態ではステレオカメラＶＣの位置）から被写体各部への距離情報を表現した距離情報画像Ｇ３（第１距離画像Ｄ１）を示す。
【００５０】
図２（ｃ）で示されるように、距離情報画像Ｇ３（第１距離画像Ｄ１）において、被写体ＯＢ１は被写体ＯＢ２と比較して所定の原点位置に相当するステレオカメラＶＣからの距離が相対的に近く表現されているが、近距離領域に相当する被写体ＯＢ１と遠距離領域に相当する被写体ＯＢ２との領域境界に相当する領域ＭＸは、立体視認が難しい現象が生じる。これは、後述する対応点探索を行う際に生じる誤差によって、境界線をはさんで被写体ＯＢ１の領域の近距離情報に被写体ＯＢ２の領域の遠距離情報が混入してしまうため、立体視が欠如した画像として表示される事情による。
【００５１】
このように、被写体の輪郭部分などの領域境界における距離計測では、遠近競合を含む誤距離計測結果が得られる傾向がある。したがって、この不正確な距離情報に基づいて、立体視画像を生成すると、立体画像における遠近視認上の違和感を生じる結果となってしまう。
【００５２】
このような背景の下、本発明では、画像領域境界付近での距離誤差を低下させるような距離情報の補正を行う。
【００５３】
＜３．画像処理システムの機能構成＞
本発明の実施形態の説明に戻る。画像処理装置３において、距離情報の補正を実行するために演算制御部３６で実現される機能的な構成について説明する。
【００５４】
図３は、本実施形態に係る画像処理システム１の機能構成を示すブロック図を示す。図３で示されるように、ステレオカメラＶＣの基準カメラＭＣおよび参照カメラＳＣにより得た基準画像ＳＧおよび参照画像ＲＧから、距離計測部２０により距離計測を実施し、第１距離画像取得部４０により所定の原点位置から被写体各部への距離情報を表現した第１距離画像Ｄ１を取得する。続いて、境界線抽出部３０によって基準画像ＳＧから、被写体の２次元画像における当該被写体の複数の領域相互の境界線を抽出し、抽出された境界線および第１距離画像Ｄ１に基づいて、距離情報補正部５０によって、距離情報の補正を実施し、第２距離画像生成部６０により第２距離画像Ｄ２を生成する。そして、補正した距離情報に基づいて、視差画像生成部７０によって第１視差画像を生成する。最後に、他視点画像生成部８０によって、任意の視点で画像を生成することで、立体視が可能な画像処理を施し、ディスプレイ３２に立体視画像を表示する。
【００５５】
図４は、本実施形態に係る画像処理システム１（図３参照）における距離情報補正部５０で行う内容に特化したブロック図である。図２に示されるように、境界線抽出部３０によって抽出された境界線、および、第１距離画像取得部４０により得られた第１距離画像に基づいて、補正範囲設定部４１によって補正範囲を設定する。この補正範囲に対して、補正判定部４２によって補正の必要の有無の判定を実施し、補正が必要という判定結果であれば、距離情報の補正対象とする。
【００５６】
最後に、補正距離生成部４３により、第１距離画像Ｄ１に対して選択した補正を行うことで補正距離を生成する。
【００５７】
図３および図４で示されたような演算制御部３６の機能的な構成が、プログラムＰＧの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
【００５８】
以降、撮像部１０、境界線抽出部３０、距離計測部２０、第１距離画像取得部４０、距離情報補正部５０、第２距離画像生成部６０、視差画像生成部７０および、他視点画像生成部８０の各処理についての具体的内容を、図３および図４を参照しながら順次説明する。
【００５９】
＜３−１．撮像部１０＞
図５は、撮像部１０のステレオカメラＶＣの具体的配置例を説明する図である。図５（ａ）および図５（ｂ）に示すステレオカメラＶＣ１では、主カメラＭＣと副カメラＳＣとが基線長Ｌ分だけ離れて配置された構成を採り、主カメラＭＣおよび副カメラＳＣは、カメラ筐体の一辺に平行となるように配列されている。
【００６０】
この主カメラＭＣおよび副カメラＳＣの配列が、水平面に対して垂直となるようにステレオカメラＶＣ１を配置した状態を縦置きと呼称する（図５（ａ）参照）。一方、主カメラＭＣおよび副カメラＳＣの配列が、水平面に対して平行となるようにステレオカメラＶＣ１を配置した状態を横置きと呼称する（図５（ｂ）参照）。
【００６１】
また、図５（ｃ）に示すステレオカメラＶＣ２は、主カメラＭＣと副カメラＳＣとが基線長Ｌ分だけ離れて配置されている点ではステレオカメラＶＣ１と同じであるが、主カメラＭＣおよび副カメラＳＣは、カメラ筐体の何れの辺に対しても斜めとなるように配列されており、この状態を斜め置きと呼称する。なお、上記のような配置状態に対して、上下左右が入れ替わるように配置しても良い。
【００６２】
構成例として、例えば、主カメラＭＣは、高精細画像を撮影できるようなハイビジョン放送対応レンズ（ＨＤＴＶレンズ）等の高解像度で、焦点可変のいわゆるズームレンズを有したデジタルカメラシステムとし、副カメラＳＣは、携帯電話等に搭載される小型ユニットカメラや、マイクロカメラユニット（ＭＣＵ）などの低解像度で、単一焦点のデジタルカメラシステムとすることができる。または、両方ともハイビジョン放送対応レンズ・マイクロカメラユニットでの構成にしても良い。なお、副カメラＳＣのレンズにはズームレンズを用いても良いが、高解像度は要求されない。このように、２つのレンズユニットはどのような構成を取っても良いが、立体視画像を生成するにあたり、主カメラＭＣ側の画像は、他視点画像として使用されることから、副カメラＳＣと同レベルのレンズ、若しくは、副カメラＳＣより性能が良いものを使用する方が望ましい。
【００６３】
ステレオカメラＶＣにより得た画像を、そのまま立体視画像として使用する場合は、横置きに構成される必要があるが、本手法では距離計測を実施し、距離情報を基に、立体視用の画像を新しく生成することから、距離情報と他視点画像とを生成するための基準画像ＳＧを取得できれば良いので、図５（ｂ）の横置きの構成だけでなく、図５（ａ）の縦置きあるいは図５（ｃ）の斜め置きの構成でも可能となる。ただし、図５（ｂ）の横置きの構成では、副カメラＳＣで取得した画像に基づいて、他視点画像を生成するようにしてもよい。
【００６４】
図６は、ステレオカメラＶＣ１を横置きで使用する場合の撮影状況を示す模式図であり、被写体ＯＢおよび背景ＢＧを上方から見た状況に相当する。図６の縦軸は、主カメラＭＣの位置を原点としたときの、主カメラＭＣの光軸方向における被写体ＯＢおよび背景ＢＧまでの距離を示している。また横軸は、主カメラＭＣと副カメラＳＣとを結ぶ基線方向（水平方向）の距離を示しており、この方向の撮影可能範囲は、主カメラＭＣおよび副カメラＳＣで撮影する場合の水平方向の画角に相当する。主カメラＭＣにおいては３段階の倍率で撮影を行う例を示しており、最も倍率の低い（最も画角の広い）状態で撮影した画像を第１の主カメラ画像と呼称し、その画角をラインＬ１で示している。次に倍率の高い状態で撮影した画像を第２の主カメラ画像と呼称し、その画角をラインＬ２で示している。そして、最も倍率の高い（最も画角の狭い）状態で撮影した画像を第３の主カメラ画像と呼称し、その画角をラインＬ３で示している。一方、副カメラＳＣはズーム機能がないので画角は１種類だけであり、その画角をラインＬ４で示している。
【００６５】
図７には、図６に示した撮影イメージで得られた画像を示す。図７（ａ）には主カメラＭＣで撮影した第１の主カメラ画像を、図７（ｂ）には主カメラＭＣで撮影した第２の主カメラ画像を、図７（ｃ）には主カメラＭＣで撮影した第３の主カメラ画像を示している。
【００６６】
また、図７（ｄ）〜図７（ｆ）には、それぞれ図７（ａ）〜図７（ｃ）の画像を取得した際に、副カメラＳＣで得られた副カメラ画像を示している。この副カメラ画像は、何れも同じ倍率の画像となる。なお、副カメラＳＣの光軸は、基線長Ｌ分だけ主カメラＭＣから離れているので、副カメラＳＣで得られた画像と主カメラＭＣで得られた画像との間には、視差に伴う観察方向のズレが生じている。
【００６７】
以上のように、主カメラＭＣと副カメラＳＣとの２つのカメラは同じ被写体ＯＢおよび背景ＢＧを撮像しているが、それぞれの視線とレンズの倍率とが異なるため、被写体ＯＢの大きさや画角が異なった画像が得られることになる。
【００６８】
＜３−２．境界線抽出部３０＞
続いて、境界線抽出部３０では、撮像部１０で取得された基準画像ＳＧの２次元画像における複数の領域相互の境界線を抽出する。すなわち、他視点画像を生成するためのベースとなる基準画像ＳＧに対して、被写体ＯＢや背景ＢＧを構成する複数の領域相互の境界線を抽出する。なお、図３では、主カメラＭＣで得られた画像Ｇ１を基準画像ＳＧとしている。また、ここにおける「領域」とは、画像の中で明度・彩度・色相などがほぼ連続的に変化している空間範囲を指しており、図７のような画像の例では、人物の顔領域、背景にあるそれぞれの樹木の幹の領域、空の領域などである。通常、これらの領域の相互境界は輪郭線となっている。境界線抽出部３０によって、画像領域を対象として輪郭（エッジ）が抽出される処理が行われるが、エッジ情報の抽出方法に関しては、特に特殊な方法を使用する必要はなく、一般的な方法により抽出する。例えば、下記記載のような方法が挙げられる。
【００６９】
＜３−２−１．画像境界線抽出の第１方法＞
図８および図９は、画像境界線抽出の第１方法について説明する図である。図８では、主カメラＭＣで得られた基準画像ＳＧを入力画像として例示し、図９では、この基準画像ＳＧに対して、一般的なエッジ検出用のフィルタ処理を施した図を示す。図９で示されるように、被写体ＯＢや背景ＢＧのエッジ情報により、輪郭情報を領域候補として抽出することができる。
【００７０】
＜３−２−２．画像境界線抽出の第２方法＞
図１０は、画像境界線抽出の第２方法について説明する図であり、入力画像は、図８の基準画像ＳＧと同様ではあるが、周辺との色情報または、輝度情報をもとに画像境界線を抽出する方法を説明する図である。具体的には、ある画素の色情報、または輝度情報と、周辺の色情報、または輝度情報との比較を行い、差分値が所定の閾値より小さい場合は、同じ領域として統合し、統合領域の大きさに従って対象領域を抽出し、抽出した後の結果に対して、エッジ検出を実施する。
【００７１】
＜３−２−３．画像境界線抽出のその他の方法＞
上記第１、第２方法以外にも、一般的な領域切り出し方法による領域候補抽出を実施することもできる。例えば、特開２０１０−１２２７３４号公報等で公知の平均値シフト法（Mean Shift法）や特開２０１０−１１０５５６号公報等で公知のグラフカットなどが利用できる。
【００７２】
＜３−３．距離計測部２０および第１距離画像取得部４０＞
距離計測部２０では、所定の原点位置から被写体各部への距離を計測する。そして、その計測距離結果に基づいて、第１距離画像取得部４０では、距離情報を表現した第１距離画像Ｄ１を取得する。この実施形態では、次のような対応点探索処理によって第１距離画像Ｄ１を取得する。
【００７３】
一般に、対応点探索処理では、対応点基準画像上の任意の注目点に対応する対応点参照画像像上の点（対応点）を探索して求め、得られた注目点と対応点との関係から視差情報を得た後、当該視差情報から距離情報を取得する。なお、対応点参照画像とは、対応点基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が対応点基準画像であり、他方は対応点参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が対応点基準画像であり、時間的に後の画像が対応点参照画像である。この対応点基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する対応点参照画像上のウインドウが探索され、この探索されたウインドウから対応点が求められる。
【００７４】
図１１は、この実施形態での対応点探索処理を説明する概念図である。図１１（ａ）は対応点参照画像ＣＲＧとしてサブカメラＳＣで得られた第２撮像画像Ｇ２を示し、図１１（ｂ）は対応点基準画像ＣＳＧとしてメインカメラＭＣで得られた第１撮像画像Ｇ１を示す。対応点基準画像ＣＳＧ中の各画素について、対応点参照画像ＣＲＧの破線で囲まれた領域ＣＰ中の対応画素を求めて行く。なお、対応点基準画像ＣＳＧの全体領域は、対応点参照画像ＣＲＧの領域ＣＰに対応しており、領域ＣＰが拡大されたものとなっている。
【００７５】
このような対応点探索の具体的な方法は公知であり、位相情報により対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・位相限定相関法（Phase Only Correlation: POC）を用いた対応点探索
・位相差解析法（Phase Shift Analysis: PSA）を用いた対応点探索
また、輝度情報を基に対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・SAD（Sum of Absolute Difference）法を用いた対応点探索
・SSD（Sum of Squared intensity Difference）法を用いた対応点探索
NCC（Normalized Cross Correlation）法を用いた対応点探索
そして、このような対応点探索の結果に基づいてステレオカメラから被写体各部への距離を画素単位で表現した第１距離画像Ｄ１を生成する。
【００７６】
ステレオカメラを用いた第１距離画像Ｄ１の生成において、２つの画像のうち画素数が少ない画像を基準画像として使用するときには、サブピクセル単位での対応点探索が行われる。
【００７７】
図１１（ｃ）は、対応点基準画像ＣＳＧとして図１１（ａ）における第２撮像画像Ｇ２を採用し、それにサブピクセルを設定する例を模式的に示す図である。さらに、図１１（ｄ）は、画素数が多い方の図１１（ｂ）の第１撮像画像Ｇ１に相当する画像を対応点基準画像ＣＳＧとした例を示す。
【００７８】
相関法を用いた対応点探索処理では、対応点基準画像ＣＳＧ上の注目点に対して対応点参照画像ＣＲＧ上の対応点を求めるために対応点参照画像ＣＲＧ上を１画素ずつサンプリングするという処理がなされる。
【００７９】
図１１（ｄ）で示されるように、対応点基準画像ＣＳＧの倍率が高く、対応点参照画像ＣＲＧの倍率が低いような場合、すなわち、有効画素数の多い側を対応点基準画像ＣＳＧとした場合には、複雑な処理を施すことなく、サブピクセル単位まで対応点探索処理を実施することができる。これに対し、図１１（ｃ）で示されるように、対応点基準画像ＣＳＧの倍率が低く、対応点参照画像ＣＲＧの倍率が高いような場合には、サンプリング間隔が大幅に異なり、対応点参照画像ＣＲＧの情報が抜け落ちて精度の良い距離情報の取得が困難となる。後記のような距離情報の補正処理は、領域境界付近での距離情報の誤差の補償を主目的とするが、このようなサブピクセル探索に起因する誤差の補償としても有意義である。
【００８０】
図１１（ｃ）では、サブピクセル単位まで対応点探索処理を実施するために、１つの画素を横方向に３分割して３つのサブピクセルを設定した例を示しているが、画素の分割はこれに限定されるものではなく、また、さらに細かく分割することも可能である。これにより、対応点基準画像ＣＳＧと対応点参照画像ＣＲＧとで倍率が異なるような場合でも、サンプリング間隔を一致させることができる。すなわち、注目点ＯＰがサブピクセルレベルの位置である場合に、注目点ＯＰであるサブピクセルＳＰを中心にして探索用テンプレートＴＰを設定することになる。
【００８１】
なお、サブピクセルの推定方法としては、例えば、特開２００１−１９５５９７号公報などに、画像間の相関値を算出後、最も相関値の高い位置とその周辺の相関値との位置関係から、画素と画素との間の相関値を直線式または曲線式に当て嵌めることによって補間し、相関値のピーク位置およびピーク値を推定する方法が開示されており、この推定方法を使用することができる。
【００８２】
これらの対応点探索法のいずれにおいても、領域境界付近など距離情報算出が不得意な対象領域が存在する。それは、領域の境界線をはさんで一方の領域での対応点探索に、他方の領域の画像情報が混入しやすいことに起因する。これはエッジ付近の画像の不鮮明さという原因だけでなく、異なる視線から被写体を見た２つの画像（あるいは異なる時刻で被写体を見た２つの画像）を比較するのであるから、領域境界の画像情報は視差の影響を受けやすいことにも関係している。
【００８３】
このような対応点探索による距離画像の生成だけでなく、後に「変形例」として説明する他の方法によって距離計測を行って距離画像を生成しても、やはり領域境界の付近では距離算出の誤差が生じやすい。
【００８４】
そこで、この発明の実施形態では、以下のような距離情報の補正処理を行う。
【００８５】
＜３−４．距離情報補正部５０および第２距離画像生成部６０＞
第１距離画像取得部４０により取得した第１距離画像Ｄ１は、図２および上記で説明したように、被写体の輪郭部分などにおいては遠近競合による計測誤差を含む傾向にあるため、距離情報補正部５０により補正を行う。その際、まず、第１距離画像Ｄ１中において、基準画像ＳＧでの境界線抽出部３０で抽出した境界線に対応する位置に仮想境界線を設定する。次に、第１距離画像Ｄ１のうち仮想境界線をはさんで互いに隣接する領域のうち少なくとも一方を補正範囲とする。そして、仮想境界線に近づく方向についての距離情報の変化を抑制する補正を第１距離画像Ｄ１に対して行い、最終的に、第２距離画像生成部６０によって第２距離画像Ｄ２が生成される。ただし、ここにおける「抑制」とは、変化をゼロにして完全に平坦とする場合と、変化率の絶対値を減少させる場合との双方を含む概念である。
【００８６】
ここで、「仮想境界線」と呼ぶのは次のような理由による。すなわち、第１距離画像Ｄ１においては境界付近の誤差が大きいため、第１距離画像Ｄ１自身から境界線の位置を特定することは好ましくない。そこで、通常の２次元画像である基準画像ＳＧで検出した境界線を流用して第１距離画像Ｄ１での境界線の位置を推定するのであるが、その境界線位置は第１距離画像Ｄ１自身から抽出したものではないため、第１距離画像Ｄ１にとっては借用した境界線、あるいは仮想的な境界線ということになるためである。
【００８７】
距離情報補正部５０では、仮想境界線の位置を基準として、補正範囲の設定を行う補正範囲設定部４１と、当該補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う補正判定部４２と、補正距離を生成する補正距離生成部４３とを備えている（図４参照）。すなわち、この距離情報の補正は、境界線抽出部３０で算出されたエッジ情報に基づいて、第１距離画像Ｄ１に対して、補正範囲、補正の有無判定および補正方法の設定を行うことで補正を実施する。なお、上述した対応点探索方法と他の距離計測方法とでは、計測誤差が発生する位置が異なるが、距離情報補正部５０により問題なく補正することができる。
【００８８】
以降、距離情報の補正に関して、図４の補正範囲設定部４１、補正判定部４２、および、補正距離生成部４３のそれぞれの機能について、順次説明する。
【００８９】
＜３−４−１．補正範囲設定部４１＞
図１２および図１３は、第１距離画像Ｄ１における補正範囲の設定方法を説明する概念図である。概念図として、図１２（ａ）及び図１２（ｂ）の下側に示されるような、近距離領域ＮＤと遠距離領域ＦＤとが重なり合った被写体部分が存在した場合、隣接する２つの領域ＮＤ，ＦＤの境界を通る帯状エリアＡＲ内の距離を正確に計測できたとすると、図１２（ａ）の上側で示される距離情報を得ることができる。しかしながら、実際には、図１２（ｂ）の上側で示される距離計測結果のように、エリアＡＲの領域境界付近ＡＢに対応した距離情報では、遠近競合の影響による誤距離が発生しやすい。これは、先にも説明したように、エリアＡＲの領域境界付近ＡＢに遠距離と近距離との両方の情報を含んでいるためである。そして、このような領域境界付近ＡＢに対して上述したエリアベースの対応点探索を実施すると、誤距離が発生する可能性が高くなるからである。そこで、このような領域境界を考慮して距離情報を補正するために、補正範囲設定部４１では、前述した仮想境界線の位置を基準として、補正範囲の設定を行う。補正範囲の設定方法としては、例えば、下記方法が挙げられる。
【００９０】
＜３−４−１−１．範囲設定の第１方法＞
補正範囲設定部４１が、補正範囲として、第１距離画像Ｄ１において、仮想境界線からの平面距離が所定の値以下の画素範囲を設定する。すなわち、境界線抽出部３０により抽出したエッジ情報を基に、範囲設定を行う。
【００９１】
図１３は、補正範囲の設定を例示した図である。図１３（ａ）では、基準画像ＳＧにおいて、境界線抽出部３０で抽出した近距離領域ＮＤの領域境界線ＮＢと遠距離領域ＦＤの領域境界線ＦＢとを示す。図１３（ｂ）では、第１距離画像Ｄ１において、基準画像ＳＧでの境界線に対応する位置に近距離領域ＮＤでは仮想境界線ＮＢ’を示し、遠距離領域ＦＤでは仮想境界線ＦＢ’を示している。図１３（ｃ）では、第１距離画像Ｄ１のうち仮想境界線ＮＢ’，ＦＢ’からの平面距離（２次元画像上の距離）が所定の値以下の画素範囲をそれぞれ補正範囲ＮＡ，ＦＡと設定することを示した図である。
【００９２】
図１３で示されるように、エッジ情報を各被写体の領域境界とし、抽出されたエッジ情報上の位置、あるいは、予め指定しておいた範囲の領域に対して、補正処理の範囲を設定する。ここで、指定する範囲の幅としては、各領域境界に対し、一律にしても良いが、図１３（ｃ）で示されるように、近距離領域ＮＤの補正範囲ＮＡを規定する帯状領域の幅Ｗnが、遠距離領域ＦＤの補正範囲ＦＡを規定する帯状領域の幅Ｗfと比べて大きくなっている。すなわち、第１距離方法画像Ｄ１の補正範囲は、仮想境界線ＦＢ’，ＮＢ’のそれぞれの両側に平面距離Ｗf／２，Ｗn／２だけ広げた帯状領域とされるが、その幅、すなわち仮想境界線ＦＢ’，ＮＢ’から補正範囲の外縁までの平面距離は、当該仮想境界線が囲む領域の距離情報に応じて可変に設定することもできる。
【００９３】
例えば、遠距離領域ＦＤの補正範囲ＦＡは、対応点探索を実施する際に設定されるウインドウサイズの領域を補正対象の範囲と設定し、近距離領域ＮＤの補正範囲ＮＡは、距離情報算出結果で得られた被写体各部の視差のうちの最大視差に応じた幅を持つ範囲で実施しても良い。被写体部分が近距離にあるほど視差は大きくなるため、最大視差は、被写体のうちカメラから最も近い部分までの距離を反映しているためである。このような方法で可変にすることで、シーンに応じた最適な補正処理が実施できる。この方法では、例えば、多重解像度変換を行った対応点探索などに効果的である。
【００９４】
＜３−４−１−２．範囲設定の第２方法＞
補正範囲設定部４１が、補正範囲として、第１距離画像Ｄ１において、仮想境界線の距離情報との相違量が所定の値以下の距離情報を持つ画素範囲を設定する。すなわち、図１３の場合では、近距離領域ＮＤ（あるいは遠距離領域ＦＤ）内の各画素の距離情報と仮想境界線ＮＢ’（あるいは仮想境界線ＦＢ’）の距離情報とを比べて、両者の距離情報の相違量が所定の閾値以下である画素からなる範囲が、補正範囲ＦＡ（あるいは補正範囲ＮＡ）として設定される。
【００９５】
ここで指標となる「相違量」は、差または比で表現することができる。また、第１の方法と同様に、距離情報の相違量の閾値としては、各領域境界に対し、一律にしても良いが、仮想境界線ごとの距離情報に応じて変更しても良い。
【００９６】
＜３−４−１−３．範囲設定の第３方法＞
補正範囲設定部４１が、第１距離画像Ｄ１の全体を、補正範囲として設定する。すなわち、補正範囲の設定方法としては、上記のように領域境界の付近に限定せず、全範囲を補正範囲としても良い。この場合も、境界領域が補正範囲に含まれるから、この発明の特徴に対応した「境界領域での補正」という概念に含まれる。
【００９７】
以上の第１、第２の設定方法において、補正範囲設定部４１は、補正範囲として、仮想境界線の両側の領域を設定する。
【００９８】
ただし、第１〜第３の方法において、仮想境界線が閉曲線を形成していない領域は、補正範囲設定部４１により当該補正範囲から除外する例外処理が行われる。これは、基準画像中の線状ノイズを輪郭線として扱ってしまうことを防止するためである。ここで言う「閉曲線」とは、折れ線で形成された閉じた図形をも含む概念である。
【００９９】
閉曲線を形成するか否かの判断にあたっては、画面範囲の外枠に相当する矩形ラインも輪郭線とみなして閉曲線を抽出することにより、一部のみが画角に入っている被写体領域も補正対象とすることができる。
【０１００】
逆に、画面範囲の外枠に相当する矩形ラインを輪郭線としては扱わないことにより、本来の輪郭線に相当する閉曲線のみを補正の対象とすることもできる。通常、主たる被写体部分は画面の中央領域にあるため、輪郭線が画面の端で切れているような領域を補正対象外としても影響は少ない。
【０１０１】
補正の精緻性を重視する場合には前者を、補正処理の高速性を重視する場合には後者を選択できる。
【０１０２】
＜３−４−２．補正判定部４２＞
補正判定部４２では、補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う。すなわち、補正判定部４２により、補正範囲設定部４１によって設定された補正範囲内において、補正の実施の有無を決定する。補正判定対象位置、および、補正判定条件の例は以下の通りである。
【０１０３】
＜３−４−２−１．補正判定対象位置：第１設定方法＞
図１４は、補正判定対象位置の第１設定方法について説明する図である。図１４で示されるように、設定された補正範囲内の各画素Ｐ単位で、つまり個々の画素に対して、判定が実施される。すなわち、補正判定部４２が、補正判定を補正判定対象として画素単位で行う。
【０１０４】
＜３−４−２−２．補正判定対象位置：第２設定方法＞
図１５は、補正判定対象位置の第２設定方法について説明する図である。図１５で示されるように、設定された補正範囲内において、仮想境界線ＮＢ’を跨いだ画素Ｐ１と画素Ｐ２との２点の画素間の間に含まれる画素全てに対して、判定が実施される。ただし、画素Ｐ１，Ｐ２はそれぞれ、仮想境界線の両側の補正範囲内でそれぞれ選択された画素である。
【０１０５】
すなわち、補正判定部４２が、補正判定を補正判定対象として２点間を結びかつ仮想境界線と交差する画素列を単位として扱い、その画素列のうちの所定個数の画素（あるいは所定割合以上の画素）が下記の補正判定条件を満足すれば、画素Ｐ１，Ｐ２がそれぞれ属する補正範囲の各画素について補正を行う。
【０１０６】
＜３−４−２−３．補正判定対象位置：第３設定方法＞
補正判定部４２が、各領域内の全画素に対して判定が実施される。すなわち、図１４および図１５の場合、近距離領域ＮＤおよび遠距離領域ＦＤの各領域全てに対して、判定が実施される。したがって、この第３設定方法は、既述した「範囲設定の第３方法」との組合せに適している。
【０１０７】
＜３−４−２−４．補正判定条件＞
補正判定部４２が上記の判定対象画素に対して補正を行うかどうかを判定する。
【０１０８】
その判定条件として好ましい第１例は、判定対象画素から仮想境界線に向かう方向についての、当該判定対象画素の距離情報をＲとしたとき、この距離情報Ｒと、当該判定対象画素に隣接する画素の距離情報（Ｒ＋ΔＲ）との差分の絶対値｜ΔＲ｜が、所定の閾値以上となっているという条件である。すなわち、その付近での距離情報の変化が大きいときには、仮想境界線の反対側領域の距離情報の影響を受けていると判断して、補正対象とする。
【０１０９】
隣接画素間の水平距離は固定されているから、差分ΔＲを指標とするという判定基準は、距離情報Ｒの変化の微分係数を指標とする判定や、距離情報Ｒの変化の傾斜角度を指標とする判定と等価である。
【０１１０】
ただし、ノイズによって偶発的に差分が大きくなっている画素を除外する目的で、上記差分ΔＲは、当該判定対象画素に隣接する１画素との間の差分だけなく、判定対象画素に隣接して連続する複数の画素との間の差分値の平均などを指標としてもよい。
【０１１１】
判定条件の他の例は、判定対象画素から仮想境界線に向かう方向についての、当該判定対象画素の距離情報の変化率ΔＲ／Ｒの絶対値｜ΔＲ／Ｒ｜が、所定値以上となっているという条件である。この変化率は、隣接する２画素間での変化率であってもよく、判定対象画素に隣接して連続する３以上の画素間での平均変化率であってもよい。
【０１１２】
＜３−４−３．補正距離生成部４３＞
上記の補正範囲設定部４１によって設定された補正範囲内に対して、補正判定部４２が行った補正有無の判定結果に基づいて補正が実施される。
【０１１３】
このうち、距離情報補正部５０は、補正距離生成部４３が、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて補正距離を生成し、補正対象画素の距離情報の補正を行う。
【０１１４】
距離情報補正部５０で採用される好ましい補正方法の内容は以下の通りである。それにおいて参照される図１６以下の各図において、横軸は画素位置を示し、縦軸は距離情報を示す。補正対象領域ＣＡの画素列の両端のうち境界基準位置ＱＭは仮想的境界線上の位置であり、初期基準位置Ｑ１は、補正対象領域ＣＡの画素列の両端のうち、境界基準位置ＱＭではない方の位置である。さらに、下記では仮想的境界線をはさんだ両側の補正対象領域ＣＡ，ＲＡのうち一方領域ＣＡのみについて説明するが、他方領域ＲＡについても同様の補正を行うことができる。他方領域ＲＡについての初期基準位置は、境界基準位置ＱＭをはさんで一方領域ＣＡの開始基準位置Ｑ１の反対側に存在する。
【０１１５】
また、それぞれの図のうち（ａ）は補正前の距離情報を示し、（ｂ）は補正後の距離情報を示す。記号Ｓ（ｉ）は各画素位置についての距離情報値であり、添字「i」を画素位置の識別符号である。
【０１１６】
＜３−４−３−１．第１補正方法＞
図１６は、第１補正方法について説明する図である。図１６（ａ）は、補正前の同一画素列に属する画素が補正対象領域ＣＡであり、境界基準位置ＱＭを境に、反対側画素列として参照対象画素列ＲＡが存在することを示し、図１６（ｂ）は、図１６（ａ）の補正後の画素値（距離情報）を示す。
【０１１７】
図１６で示されるように、第１補正方法では、補正対象である距離情報値Ｓ（Ｎ）を、外側画素に相当する距離情報値Ｓ（Ｎ−１）をもって、距離情報値Ｓ（Ｎ）とする補正を行う。なお、距離情報値Ｓ（Ｎ）とせず、予め決めておいた固定値による補正でも良い。
【０１１８】
以上のように、距離情報補正部５０は、同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行う。
【０１１９】
＜３−４−３−２．第２補正方法＞
図１７は、第２補正方法について説明する図である。図１７（ａ）は、補正前の同一画素列に属する画素が補正対象領域ＣＡであり、境界基準位置ＱＭを境に、反対側画素列として参照対象領域ＲＡが存在することを示し、図１７（ｂ）は、図１７（ａ）の補正後の画素を示す。ここで、各画素位置について、隣接する画素との間の距離情報の変化に対応する傾斜角をθ（ｉ）とする。添字「i」は画素位置の識別符号である。
【０１２０】
図１７で示されるように、第２補正方法では、補正対象位置ＱＮでの傾斜角θ（Ｎ）を、外側画素に相当する傾斜角θ（Ｎ−１）をもって、傾斜角θ（Ｎ）とする補正を行う。なお、傾斜角をθ（Ｎ）とせず、予め決めておいた固定値による補正でも良い。
【０１２１】
以上のように、距離情報補正部５０は、同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行う。
【０１２２】
＜３−４−３−３．第３補正方法＞
図１８は、第３補正方法について説明する図である。この方法では、初期基準位置Ｑ１から仮想境界線（境界基準位置ＱＭ）までの区間内にある各補正対象画素Ｐaについて、初期基準位置Ｑ１に関して対称な位置にある画素（対称画素）Ｐbの距離情報Ｓbとしたときに、補正対象画素Ｐaについての補正後の距離情報Ｓa’と初期基準位置Ｑ１での距離情報Ｓ0との差が、距離情報Ｓ0と距離情報Ｓbとの差の正負符号を比例するように、補正対象画素Ｐaについての補正を行うことにより、各補正対象画素の距離情報の変化を抑制する。
【０１２３】
具体的には、
Ｓa’−Ｓ0＝Ｓb −Ｓ0
の関係を満足するように補正を行うことになるから、等価的に、
Ｓa＝２×Ｓ0−Ｓb
を、補正対象画素Ｐaの補正後の距離情報値とする。
【０１２４】
たとえば、
Ｓa＝１００； Ｓ0＝４０； Ｓb＝２０
（ただし、Ｓaは着目画素Ｐaの補正前の距離情報）の場合には、
Ｓa’＝２×４０−２０＝６０
に補正される。
【０１２５】
より一般的には、所定の比例係数ｋ（ただし、ｋ＞０）を用いて
Ｓa’−Ｓ0＝ｋ×（Ｓb −Ｓ0）
の比例関係となるように、すなわち
Ｓa’＝（１＋ｋ）×Ｓ0−ｋ×Ｓb
によって補正をすることが可能であり、このうちｋ＝１の場合が上記の例に相当する。
【０１２６】
以上のように、距離情報補正部５０は、仮想境界線から離れた位置に基準位置を設定し、基準位置での距離情報を第１距離情報とし、基準位置から仮想境界線までの区間内の各補正対象画素について、基準位置に関して対称な位置にある画素の距離情報を第２距離情報としたとき、補正対象画素についての補正後の距離情報と第１距離情報との差が、第１距離情報と第２距離情報との差の正負符号を反転させた値に比例するように補正対象画素についての補正を行う。
【０１２７】
＜３−４−３−４．第４補正方法＞
図１９は、第４補正方法について説明する図である。ここでは、補正対象領域ＣＡの画素列の距離情報の変化の傾き（傾斜角度の大きさおよび符号）に応じて、距離情報の補正値を変化させる。たとえば、図１９（ａ）のように境界基準位置ＱＭに向かって距離情報が増加する変化の場合には、その変化の傾き角を小さくするように補正する（図１９（ｂ））。一方、図１９（ｃ）のように境界基準位置ＱＭに向かって距離情報が減少する変化の場合には、その傾きの符合を逆にするような補正を行う（図１９（ｄ））。いずれの場合も、補正前の距離情報の変化と比較して、抑制された距離情報の変化状況となる。
【０１２８】
以上のように、距離情報補正部５０は、同一側画素列に属する補正対象画素の距離情報の変化率（変化の正負符号を含む）を変更して補正を行う。
【０１２９】
＜３−４−３−５．第５補正方法＞
図２０は、第５補正方法について説明する図である。図２０（ｂ）で示されるように、この第５補正方法では、基準点Ｑ１，ＱＭ間の補正対象領域ＣＡの各画素の距離情報値が、段階的に変化するように計測距離情報を補正する。
【０１３０】
具体的には、距離情報の変化率に応じた複数の隣接画素を小集団とし、小集団を単位として段階的に距離情報値を変換させる。変化率が比較的小さい領域では比較的多くの画素（図示例では３個の画素で示している）で小集団を構成し、変化率が比較的大きい領域では比較的少ない画素（図示例では２個の画素で示している）で小集団を構成する。
【０１３１】
この第５補正方法では、複数の隣接画素からなる小集団のそれぞれの内部で距離情報の変化が抑制されており、「局所的な変化の抑制」の集合としての補正処理となっている。
【０１３２】
以上のように、距離情報補正部５０は、仮想境界線に近づく方向についての距離情報の変化を段階的に抑制する補正を行う。
【０１３３】
＜３−４−３−６．他視点情報を考慮した補正方法＞
距離情報補正部５０は、後述する他視点画像を生成する際の視線情報によって補正を実施することも可能である。抽出された仮想境界線に対し、予め指定した補正対象領域ＣＡにおいて、２点の基準位置Ｑ’１，Ｑ’２を設定し、後述する他視点画像生成部（第２視点画像生成部）８０で設定される視線情報により、傾斜角度が急な傾斜となるように補正するか、あるいは、緩やかな傾斜になるように補正するかを変更し補正する。
【０１３４】
図２１は、他視点情報を考慮した補正方法について説明する図である。図２１（ａ）は、補正前の同一画素列に属する画素の距離情報を示し、図２１（ｂ）は、図２１（ａ）の補正後の距離情報を示す。
【０１３５】
図２１（ｃ）のように視点を右側に移動させる場合（被写体を左側に移動させる場合）には、被写体中の遠距離領域のうち右側で近距離領域が接している端部Ａ１では距離情報の変化が急峻となるように、あらかじめ定めた基準位置の間の区間において距離情報を補正し、遠距離領域の反対端部Ａ２では距離情報の変化が緩やかになるように距離情報を補正する。視点の移動方向が逆の場合は、これとは逆の補正となる。
【０１３６】
すなわち、視点を右側に移動させると、遠距離領域の端部Ａ１には近距離領域の左端部分が入り込んでくるため、図２１（ｂ）に示すように、基準位置Ｑ’１，Ｑ’２の間の区間において、遠距離領域の端部Ａ１の距離情報値が近距離領域の距離情報値に早く近づくように急峻な変化へと補正する。これに対して、視点を右側に移動させたときの遠距離領域の端部Ａ２では、近距離領域の右端部分が左へ移動して逃げてしまうため、近距離領域の距離情報値へ移行する変化を緩やかにする。後者は、既述した第１補正方法〜第５補正方法における変化の抑制原理と同じ考え方である。
【０１３７】
以上のような動作を実現させるには、他視点画像生成部８０から視点の移動方向の情報を受け取り、視点の移動方向に応じて、輪郭線で囲まれた領域の左右両端部のうちの一方については距離情報の変化を急峻に、他方については距離情報の変化をゆるやかにするように、補正距離生成部４３により補正を行う。
【０１３８】
上記の基準位置Ｑ’１，Ｑ’２は、基本的には、既述した第１補正方法〜第５補正方法の基準位置Ｑ１，ＱＭと同様の考え方を基礎とし、視点移動量に応じた修正をして定める。
【０１３９】
以上を「距離情報の変化の抑制」という観点から見たときには、他視点情報を考慮した補正方法を採用する場合については、視点が原点位置から別位置へと変化する方向に応じて、距離情報の変化の抑制を行う部分を選択し、その選択された部分について距離情報の変化の抑制を行うことになる。
【０１４０】
＜３−５．視差画像生成部（第１視差画像生成部）７０＞
視差画像生成部（第１視差画像生成部）７０では、第２距離画像Ｄ２を用いて原点位置から見た第１視差画像を生成する。すなわち、第１視差画像の生成は、距離情報補正部５０によって補正された距離情報を用いて実施し、後述する他視点画像生成部８０で設定される視線情報によって、更に補正処理を実施する。例えば、想定される視線方向について、隣接する領域の距離情報における差分が所定の閾値より小さくなる場合には、隣接する領域のそれぞれの距離情報の平均値を、それら隣接する領域の双方に与えてそれらの領域を統合した上で、第１視差画像を生成する。
【０１４１】
＜３−６．他視点画像生成部（第２視点画像生成部）８０＞
他視点画像生成部（第２視点画像生成部）８０では、視差画像生成部（第１視差画像生成部）７０によって生成された第１視差画像に基づいて、原点位置とは異なる別位置から被写体を観察した距離画像としての第２視点画像を生成する。すなわち、図３で示されるように、外部情報ＩＦを取り入れた他視点画像を生成する。具体的に、第２視点画像に相当する左右画像の作成については、以下の方法が挙げられる。
【０１４２】
＜３−６−１．左右画像作成の第１方法＞
他視点画像生成部８０は、視差画像生成部７０で生成された第１視差画像と基準画像ＳＧとを基に、左右画像（左目用画像と右目用画像）の両方を作成する。具体的には、視差量の半分ずつずらして、左画像及び右画像を作成する。
【０１４３】
＜３−６−２．左右画像作成の第２方法＞
他視点画像生成部８０は、視差画像生成部７０で生成された第１視差画像と基準画像ＳＧとを基に、左右画像の何れか一方を作成する。すなわち、基準画像ＳＧを左画像とすれば、右側の視差情報を作成するよう視差量をずらして右画像を作成することになり、基準画像ＳＧを右画像とすれば、左側の視差情報を作成するよう視差量をずらして左画像を作成することになる。
【０１４４】
このように、第１及び第２方法ともに、他視点画像生成部８０は、基準画像ＳＧおよび第１視差画像を用いて、左右画像の生成が行われ、ステレオ視画像が生成される。そして、得られたステレオ視画像（左右画像）は、液晶画面等のディスプレイ３２に与えられ、３次元表示される。なお、ディスプレイ情報を画像に加味し、視差量を変更することで、画像を作成しても良い。
【０１４５】
また、他視点画像生成部（第２視点画像生成部）８０での第２視点画像の生成において、視点が原点位置から別位置へと変化することにより、被写体のいずれの側の画像部分が視野内に新たに出現し、あるいは視野内から消失することがある。このような場合は、距離情報補正部５０によって、前述した距離情報の変化についての補正の程度が変更される。
【０１４６】
＜４．画像処理システムの基本動作＞
図２２は、本実施形態に係る画像処理システム１において実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため（図３および図４参照）、ここでは全体の流れのみ説明する。
【０１４７】
図２２に示すように、まず、ステップＳ１において、撮像部１０が、基準画像ＳＧおよび参照画像ＲＧを撮影し、両者の画像を取得する。ここでは、２台のカメラを用いて、基準画像ＳＧは基準カメラＭＣで得られた画像とし、参照画像ＲＧは参照カメラＳＣで得られた画像とするが、２台以上のカメラにより、画像の撮影および取得を行ってもよい。
【０１４８】
ステップＳ２では、撮像部１０によって取得された基準画像ＳＧの２次元画像に対し、境界線抽出部３０が、画像の領域境界線を抽出する。
【０１４９】
ステップＳ３では、ステップＳ２と並行して、距離計測部２０が、基準画像ＳＧ内の範囲に対して基準画像ＳＧと参照画像ＲＧとから対応点探索処理などを施して被写体各部への距離を演算によって求め、それに基づいて第１距離画像取得部４０が、第１距離画像Ｄ１を取得する。なお、ステップＳ２の領域境界線を抽出する工程とステップＳ３の距離を計測する工程とは順次処理しても良い。順番に関しては、先に境界線抽出（ステップＳ２）を行っても、距離計測（ステップＳ３）を実施しても何れでも良い。
【０１５０】
ステップＳ４では、第１距離画像Ｄ１上において、ステップＳ２で抽出された基準画像ＳＧ上の境界線に対応する位置に仮想境界線を設定し、補正範囲設定部４１が、当該仮想境界線の位置を基準として第１距離画像Ｄ１内に補正範囲を設定する。
【０１５１】
ステップＳ５では、補正判定部４２が、ステップＳ４で設定した補正範囲内の画素のうち、計測距離情報の補正有無の判定を実施する。すなわち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う。
【０１５２】
ステップＳ６では、ステップＳ５で判定した第１距離画像Ｄ１内の補正対象画素に対して、補正が実施される。すなわち、補正距離生成部４３が、第１距離画像Ｄ１内の各補正対象画素に対して補正距離を生成し、第２距離画像生成部６０が、第２距離画像Ｄ２を生成する。
【０１５３】
ステップＳ７では、視差画像生成部７０が、ステップＳ６で補正された距離情報に基づいて、第２距離画像Ｄ２を用いて原点位置から見た第１視差画像を生成する。
【０１５４】
ステップＳ８では、他視点画像生成部８０が、ステップＳ７で生成された第１視差画像に基づいて、原点位置とは異なる別位置から被写体を観察した距離画像としての第２視点画像（左右画像）を生成する。得られた左右画像は、液晶画面等のディスプレイ３２に与えられ、３次元表示される。
【０１５５】
＜５．変形例＞
※ 第１距離画像の生成の基礎となる被写体各部までの距離計測は、既述した対応点探索法だけでなく、下記のような方法で取得されてもよい。
【０１５６】
（１） ＴＯＦ（Time-of-Flight 距離画像センサ）
ＴＯＦ方式（例えば、特開２００１−３０４８１１等で公知技術）では、画像領域内の全画素に対して、距離計測を実施することが難しい。そこで、計測された画素以外の領域に対しては、計測点の補間を行うことが必要となる。補間方法としては、単純に周辺の情報による補間を行う方法があるが、補間を行うだけでなく、エッジ周辺においては、計測誤差が生じやすい。このため、この方法によって得られた第１距離画像について、既述したこの発明の実施形態の補正を行うことに特に意味がある。
【０１５７】
（２） 距離推定法
これは、２次元画像を３次元画像に変換する為に推定処理により立体視画像を生成する方法である。距離推定を用いた方法として、例えば、下記のような技術を採用することができる。
・３つのシーンモデルにより、撮影シーンを分類し、最も近いモデルにより立体形状を推定した後、画像の輝度情報などを基に前後に視差をずらして立体視画像を生成する技術であり、特開２００６−１８５０３３号公報や特開２００６−１８６５１０号公報などに開示されている。
・ 輝度情報を基に、視差の推定を行う技術であり、特開２００６−３１９４６９号公報などに開示されている。
・時系列情報をベースに距離の推定を行うことで、視差の生成を行う技術であり、特開２０００−２６１８２８号公報などに開示されている。
【０１５８】
上記方法においては、実際に距離計測を実施せず、距離を推定により算出していることから、推定に不得意な対象領域が存在する。そこで、既述した補正処理を実施することによってより正しい距離画像が得られる。
【０１５９】
以上のような距離計測を行う場合には、それによって距離画像が得られるから、距離情報を得るためにステレオカメラを用いる必要はなく、２次元画像としては、既述した実施形態における基準画像ＳＧのみを取得すればよい。
【０１６０】
※ 本実施形態では、補正判定を実施した後に補正処理を行ったが、これに限られず、下記方法により補正判定と補正処理とを併合して行っても良い。
【０１６１】
（方法１）
図１６で示されるように、設定した初期基準位置Ｑ１の距離情報値Ｓ（１）とその内側画素に相当する距離情報値Ｓ（２）との差分の値を算出する。この差分の絶対値が、所定の閾値以上の場合は、補正処理を実施する。
【０１６２】
この処理を領域境界線上の隣接する画素間において位置ＱＭに向かう方向に順次繰り返して実施する。そして、差分の絶対値｜Ｓ（Ｎ）−Ｓ（Ｎ−１）｜が所定の閾値以上の値を示す距離情報値Ｓ（Ｎ）が出現すれば、外側画素に相当する距離情報値Ｓ（Ｎ−１）をもって、距離情報値Ｓ（Ｎ）とする（この新たなＳ（Ｎ）の値をＳ’（Ｎ）と称する）。そして、距離情報値Ｓ（Ｎ）とその内側画素に相当する距離情報値Ｓ（Ｎ＋１）との差分計算においては、新たに置き換えられた距離情報値Ｓ’（Ｎ）を用いて、差分の絶対値｜Ｓ（Ｎ＋１）−Ｓ’（Ｎ）｜が算出される。
【０１６３】
以上のように、距離情報補正部５０は、補正判定と補正処理とを併合して、同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行ってもよい。
【０１６４】
（方法２）
図１７で示されるように、設定した初期基準位置Ｑ１の距離情報値Ｓ（１）とその内側画素に相当する距離情報値Ｓ（２）とを結ぶ直線の傾斜角θ（１）を算出する。この傾斜角が、所定の閾値以上の場合は、補正処理を実施する。この処理を領域境界線上の隣接する画素間において境界基準位置ＱＭに向かう方向に順次繰り返して実施する。そして、傾斜角θ（Ｎ）が所定の閾値以上の値を示す位置ＱＮが出現すれば、外側画素に相当する傾斜角θ（Ｎ−１）をもって、傾斜角θ（Ｎ）とする（この新たな傾斜角θ（Ｎ）をθ’（Ｎ）と称する）。なお、傾斜角をθ’（Ｎ）は、予め決めておいた固定値による補正でも良い。そして、距離情報値Ｓ（Ｎ＋１）と距離情報値Ｓ（Ｎ＋１）とから傾斜角θ（Ｎ＋１）を計算する際は、新たに置き換えられた距離情報値Ｓ’（Ｎ）を用いて、傾斜角θ（Ｎ＋１）が算出される。
【０１６５】
以上のように、距離情報補正部５０は、補正判定と補正処理とを併合して、同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行ってもよい。
【０１６６】
※ 本実施形態では、動作開始前に、上記第１〜第５補正方法のうち１つを予め選択した上で、補正処理を行ったが、これに限られない。例えば、第１距離画像Ｄ１の領域境界付近の状況によって第１距離画像Ｄ１の補正に使用する方法を画像部分ごとに切り替えるような場合に、使用する補正方法を選択する機能手段を設けても良い。
【符号の説明】
【０１６７】
１０ 撮像部
２０ 距離計測部
３０ 境界線抽出部
４０ 第１距離画像取得部
４１ 補正範囲設定部
４２ 補正判定部
４３ 補正距離生成部
５０ 距離情報補正部
６０ 第２距離画像生成部
７０ 視差画像生成部
８０ 他視点画像生成部
ＭＣ 主カメラ
ＳＣ 副カメラ
ＳＧ 基準画像
ＲＧ 参照画像
Ｄ１ 第１距離画像
Ｄ２ 第２距離画像
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理システムに関する。
【背景技術】
【０００２】
近年、３次元映像技術を取り入れた３次元テレビの普及が拡大してきている。しかし、３次元映像などのコンテンツに関しては、一部の映画やテレビ用の３次元映像のコンテンツが提供されているが、一般ユーザが個人で楽しむには、３次元映像コンテンツが充分な状態とは言えない。そのため、今後、一般ユーザに対し、一般家庭でも簡単に３次元映像を楽しむことが可能なコンテンツを生成し、３次元映像システムの提供を行うことが必要不可欠になる。
【０００３】
しかし、単純に２台以上のカメラにより取得した映像を、立体視映像として表示すると、映画館のような固定サイズの表示ディスプレイであれば、特に問題はないが、一般ユーザ向けの立体視映像としては、個々の所有する表示ディスプレイのサイズが異なる可能性が高いことから、使用するディスプレイ次第では、立体感に欠ける映像となることがある。
【０００４】
つまり、個々のディスプレイに適した立体感を表示する為の調整を行うために、立体感の調整（視差調整）が重要となる。一般的に視差調整を正確に行う方法としては、各対象領域の距離を計測し、計測データに従って視差量を補正する方法がある。ここで、対象領域の距離計測方法の代表的な方法としては、エリアベースの対応点探索方法がある。
【０００５】
例えば、特許文献１では、２種類の対応点探索方法で視差を算出し、それらの差の絶対値が所定の閾値以上である画素は、ミスマッチングが発生していると判定する技術が開示されている。
【０００６】
また、特許文献２では、１つの画素に対して複数の対応点が探索された場合、対象画素の周囲にある複数画素の距離値に基づいて、対象画素およびその周囲における被写体形状を算出し、被写体形状との差異が最も小さい対象距離情報を算出した対応点を有効な対応点に決定する技術が提案されている。
【０００７】
さらに、特許文献３では、基準となる画像を複数の小領域に分割し、それらの小領域の境界線の視差を領域ベースのステレオ法により推定し、各領域において推定された境界線における視差の頻度分布を解析して領域の視差を推定する。分割された小領域を順次統合していく際に画像の特徴量を用いることで、被写体本来の形状により近い画像分割が可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２３９４８５号公報
【特許文献２】特開２００９−２０５１９３号公報
【特許文献３】特開２００５−１６５９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１では、計測点の間違いは分かるものの何れの方法が適切か判別できない。また、特許文献２では、孤立点などのノイズ的な誤対応点に対しては修正可能であるものの、周辺の計測情報が間違っている場合には補正することができないという問題がある。さらに、特許文献３では、境界線の視差の頻度分布を解析して領域の視差を推定するだけでなく、境界線の視差計測方法とその他の計測方法を切り替えるといった複雑な処理が必要となる。
【００１０】
また、エリアベースの対応点探索方法においては、設定するエリア内に近距離と遠距離との両方の情報が含まれている場合（遠近競合領域）や、異なる視点による撮影で片方の映像で映っていない場合（オクルージョン領域）などにおいては、正確に視差の計測を行うことが出来ないと言う問題がある。
【００１１】
そして、不正確な視差情報を基に、多視点映像を生成し、立体表示を行うと、実際の立体形状より飛び出したり、凹凸感がなかったり、ぼやけたりした立体視映像となり、観察者にとっては遠近感の欠落や対象物の形状の変化により違和感の多い映像となってしまう。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、遠近競合領域での距離誤差を低下させ、立体画像における遠近視認上の違和感を軽減させる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、請求項１の発明は、立体画像処理のための画像処理装置であって、所定の原点位置から被写体各部への距離情報を表現した第１距離画像を取得する第１距離画像取得手段と、前記被写体の２次元画像における前記被写体の複数の領域相互の境界線を抽出する境界線抽出手段と、前記第１距離画像中において、前記２次元画像での前記境界線に対応する位置に仮想境界線を設定するとともに、前記第１距離画像のうち前記仮想境界線をはさんで互いに隣接する領域のうち少なくとも一方を補正範囲としつつ、前記仮想境界線に近づく方向についての距離情報の変化を抑制する補正を前記第１距離画像に対して行うことによって第２距離画像を生成する補正手段と、を備え、前記立体画像処理が、前記第２距離画像に基づいて行われることを特徴とする。
【００１４】
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記補正手段は、前記仮想境界線の位置を基準として、前記補正範囲の設定を行う補正範囲設定手段、を備えることを特徴とする。
【００１５】
また、請求項３の発明は、請求項２に記載の画像処理装置であって、前記補正範囲設定手段は、前記補正範囲として、前記第１距離画像において、前記仮想境界線からの平面距離が所定の値以下の画素範囲を設定することを特徴とする。
【００１６】
また、請求項４の発明は、請求項２に記載の画像処理装置であって、前記補正範囲設定手段は、前記補正範囲として、前記第１距離画像において、前記仮想境界線の距離情報との相違量が所定の値以下の画素範囲を設定することを特徴とする。
【００１７】
また、請求項５の発明は、請求項２乃至請求項４のいずれかに記載の画像処理装置であって、前記補正範囲設定手段は、前記補正範囲として、前記仮想境界線の両側の領域を設定することを特徴とする。
【００１８】
また、請求項６の発明は、請求項２に記載の画像処理装置であって、前記補正範囲設定手段は、前記第１距離画像の全体を、前記補正範囲として設定することを特徴とする。
【００１９】
また、請求項７の発明は、請求項２乃至請求項６のいずれかに記載の画像処理装置であって、前記補正範囲設定手段は、前記仮想境界線が閉曲線を形成していない領域は、前記補正範囲から除外する例外処理を行うことを特徴とする。
【００２０】
また、請求項８の発明は、請求項２乃至請求項７の何れかに記載の画像処理装置であって、前記補正手段は、前記補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う補正判定手段、を備えることを特徴とする。
【００２１】
また、請求項９の発明は、請求項８に記載の画像処理装置であって、前記補正判定手段は、前記補正判定を、画素単位で行うことを特徴とする。
【００２２】
また、請求項１０の発明は、請求項８に記載の画像処理装置であって、前記補正判定手段は、前記補正判定を、２点間を結びかつ前記仮想境界線と交差する画素列を単位として行うことを特徴とする。
【００２３】
また、請求項１１の発明は、請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、前記補正判定条件は、判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報と、当該判定対象画素に隣接する画素の距離情報との差分の絶対値が、所定値以上となっているという条件であることを特徴とする。
【００２４】
また、請求項１２の発明は、請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、前記補正判定条件は、判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報の変化率の絶対値が、所定値以上となっているという条件であることを特徴とする。
【００２５】
また、請求項１３の発明は、請求項１乃至請求項１２のいずれかに記載の画像処理装置であって、用語定義として、着目する補正対象画素に関して、「交差画素列」を、当該補正対象画素を通りかつ前記仮想境界線と交差する線分の画素列によって定義し；「外側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に近い側において当該補正対象画素に隣接する画素によって定義し；「内側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に遠い側において当該補正対象画素に隣接する画素によって定義し；「同一側画素列」を、前記交差画素列のうちで、前記仮想境界線を基準として当該補正対象画素と同じ側にある部分によって定義し；「反対側画素列」を、前記交差画素列のうちで、前記仮想境界線をはさんで当該補正対象画素と反対側にある部分によって定義したとき、前記補正手段は、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて、補正対象画素の距離情報の補正を行うこと特徴とする。
【００２６】
また、請求項１４の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行うことを特徴とする。
【００２７】
また、請求項１５の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行うことを特徴とする。
【００２８】
また、請求項１６の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、前記仮想境界線から離れた位置に基準位置を設定し、前記基準位置での距離情報を第１距離情報とし、前記基準位置から前記仮想境界線までの区間内の各補正対象画素について、前記基準位置に関して対称な位置にある画素の距離情報を第２距離情報としたとき、前記補正対象画素についての補正後の距離情報と前記第１距離情報との差が、前記第１距離情報と前記第２距離情報との差の正負符号を反転させた値に比例するように前記補正対象画素についての補正を行うことにより、前記補正対象画素の距離情報の変化を抑制する補正を行うことを特徴とする。
【００２９】
また、請求項１７の発明は、請求項１３に記載の画像処理装置であって、前記補正手段は、前記仮想境界線に近づく方向についての距離情報の変化を段階的に抑制する。
【００３０】
また、請求項１８の発明は、請求項１ないし請求項１７の何れかに記載の画像処理装置と、前記第２距離画像を用いて前記原点位置から見た第１視差画像を生成する第１視差画像生成手段と、前記視差画像生成手段によって生成された第１視差画像に基づいて、前記原点位置とは異なる別位置から前記被写体を観察した距離画像としての第２視点画像を生成する他視点画像生成手段と、を備えることを特徴とする。
【００３１】
また、請求項１９の発明は、請求項１８に記載の画像処理システムであって、前記補正手段は、前記他視点画像生成手段での前記第２視点画像の生成において、視点が前記原点位置から前記別位置へと変化する方向に応じて、前記距離情報の変化の抑制を行う部分を選択することを特徴とする。
【発明の効果】
【００３２】
請求項１ないし請求項１９の発明によれば、第１距離画像での誤差が大きくなりがちな境界領域を補正範囲として、境界に近づく方向について距離情報の変化を抑制する補正を行うことにより、境界をはさんで一方側の領域の距離情報に他方側の領域の距離情報が混入することに起因する誤差を減少ないしは除去できる。このため、このようにして得た第２距離画像に基づいて立体画像処理の後工程を行うことによって、画像領域境界付近での距離誤差が低下し、立体画像における遠近視認上の違和感を軽減することが可能となる。
【００３３】
請求項２ないし請求項７の発明によれば、仮想境界線の位置を基準として、補正範囲の設定を行うことにより、距離情報算出が苦手な領域、すなわち、立体画像における遠近視認上の違和感が生じやすい領域境界線の付近に補正範囲を設定できる。このため、補正の効率化を図ることができる。
【００３４】
請求項８ないし請求項１２の発明によれば、補正判定を行うことで、距離情報補正を行う必要性が高い画素のみ補正を行うことによって、距離情報補正に要する時間の短縮を図ることができる。
【００３５】
請求項１３ないし請求項１７の発明によれば、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて、補正対象画素の距離情報の補正を行うことにより、内側画素の距離情報との連続性を確保しつつ画像領域境界付近での距離誤差を低下させ、立体画像における遠近視認上の違和感を軽減することが可能となる。
【００３６】
請求項１９の発明によれば、他視点画像生成手段での第２視点画像の生成において、視点が原点位置から別位置へと変化する方向に応じて、距離情報の変化の抑制を行う部分を選択することにより視点移動方向に応じた補正が可能となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る画像処理システムの概略構成を示す図である。
【図２】ステレオカメラによって撮影された画像および得られた距離情報の画像を例示する図である。
【図３】本実施形態に係る画像処理システムの機能構成を示すブロック図を示す。
【図４】本実施形態に係る画像処理システムの機能構成を示すブロック図を示す。
【図５】ステレオカメラの使用形態を説明する図である。
【図６】ステレオカメラを横置きで使用する場合の撮影イメージを示す図である。
【図７】ステレオカメラで得られた画像を示す図である。
【図８】画像境界線抽出方法について説明する図である。
【図９】画像境界線抽出方法について説明する図である。
【図１０】画像境界線抽出方法について説明する図である。
【図１１】対応点探索処理を説明する概念図である。
【図１２】補正範囲の設定方法を説明する概念図である。
【図１３】補正範囲の設定方法を説明する概念図である。
【図１４】補正判定対象位置について説明する図である。
【図１５】補正判定対象位置について説明する図である。
【図１６】補正方法について説明する図である。
【図１７】補正方法について説明する図である。
【図１８】補正方法について説明する図である。
【図１９】補正方法について説明する図である。
【図２０】補正方法について説明する図である。
【図２１】補正方法について説明する図である。
【図２２】本実施形態に係る画像処理システムにおいて実現される基本動作を説明するフローチャートである。
【発明を実施するための形態】
【００３８】
＜１．用語の定義＞
この発明における下記用語は、次のように定義される。
・「画像」の用語は、静止画および動画の双方を包含する概念の用語として使用する。
【００３９】
また、着目する補正対象画素に関して、
・「交差画素列」の用語は、当該補正対象画素を通りかつ仮想境界線（後述）と交差する線分の画素列として使用し；
・「外側画素」の用語は、交差画素列のうちで、当該補正対象画素よりも仮想境界線に近い側において当該補正対象画素に隣接する画素として使用し；
・「内側画素」の用語は、交差画素列のうちで、当該補正対象画素よりも仮想境界線に遠い側において当該補正対象画素に隣接する画素として使用し；
・「同一側画素列」の用語は、交差画素列のうちで、仮想境界線を基準として当該補正対象画素と同じ側にある部分として使用し；
・「反対側画素列」の用語は、交差画素列のうちで、仮想境界線をはさんで当該補正対象画素と反対側にある部分として使用する。
【００４０】
＜２．画像処理システムの概要＞
図１は、本発明の一実施形態に係る画像処理システム１の概略構成を示す図である。画像処理システム１は、多視点カメラシステムとして構成されており、撮像部１０として２眼のステレオカメラＶＣを備えるほか、ステレオカメラＶＣに対してデータの送受信が可能に接続される画像処理装置３を備える。
【００４１】
ステレオカメラＶＣは、主カメラＭＣおよび副カメラＳＣの２つの撮像系から構成されている。主カメラＭＣおよび副カメラＳＣは、カメラ正面の被写体（撮像の対象体）ＯＢを、同じタイミングで異なる視点から撮像するように構成される。主カメラＭＣおよび副カメラＳＣによる同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。
【００４２】
以下では、主カメラＭＣの撮像によって取得される画像を「第１撮像画像Ｇ１」と称し、副カメラＳＣの撮像によって取得される画像を「第２撮像画像Ｇ２」と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体ＯＢが異なる視点からそれぞれ捉えられた画像の組を成す。
【００４３】
画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、スピーカ３３と、ステレオカメラＶＣからのデータを受信するインターフェース(Ｉ／Ｆ)３７とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６とを有する。
【００４４】
記憶装置３４は、例えばハードディスク等で構成され、ステレオカメラＶＣの撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される距離情報補正を行うためのプログラムＰＧ等が格納される。
【００４５】
入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６との間でデータの授受を行う。
【００４６】
演算制御部３６は、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、画像処理装置３の各部を統括的に制御する。演算制御部３６では、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。
【００４７】
演算制御部３６は、後述する距離情報補正によって、視差画像および他視点画像を生成し、ディスプレイ３２により、特定の被写体ＯＢの画像を可視的に出力する。
【００４８】
＜２−１．計測距離情報の一般的性質と前提事情＞
この実施形態における画像処理システム１の詳細を説明する準備として、この実施形態の前提となる計測距離情報の一般的性質と、それに伴って生じる現象、すなわち従来技術で生じていた事情を説明しておく。
【００４９】
図２は、ステレオカメラＶＣによって撮影された画像および得られた距離情報の画像を例示する図である。図２（ａ）は、主カメラＭＣの撮像によって取得される第１撮像画像Ｇ１を示し、図２（ｂ）は、副カメラＳＣの撮像によって取得される第２撮像画像Ｇ２を示す。なお、ここでは、第１撮像画像Ｇ１を基準画像ＳＧとし、第２撮像画像Ｇ２を参照画像ＲＧとする。また、図２（ｃ）は、基準画像ＳＧと参照画像ＲＧとの画像から生成される、所定の原点位置（この実施形態ではステレオカメラＶＣの位置）から被写体各部への距離情報を表現した距離情報画像Ｇ３（第１距離画像Ｄ１）を示す。
【００５０】
図２（ｃ）で示されるように、距離情報画像Ｇ３（第１距離画像Ｄ１）において、被写体ＯＢ１は被写体ＯＢ２と比較して所定の原点位置に相当するステレオカメラＶＣからの距離が相対的に近く表現されているが、近距離領域に相当する被写体ＯＢ１と遠距離領域に相当する被写体ＯＢ２との領域境界に相当する領域ＭＸは、立体視認が難しい現象が生じる。これは、後述する対応点探索を行う際に生じる誤差によって、境界線をはさんで被写体ＯＢ１の領域の近距離情報に被写体ＯＢ２の領域の遠距離情報が混入してしまうため、立体視が欠如した画像として表示される事情による。
【００５１】
このように、被写体の輪郭部分などの領域境界における距離計測では、遠近競合を含む誤距離計測結果が得られる傾向がある。したがって、この不正確な距離情報に基づいて、立体視画像を生成すると、立体画像における遠近視認上の違和感を生じる結果となってしまう。
【００５２】
このような背景の下、本発明では、画像領域境界付近での距離誤差を低下させるような距離情報の補正を行う。
【００５３】
＜３．画像処理システムの機能構成＞
本発明の実施形態の説明に戻る。画像処理装置３において、距離情報の補正を実行するために演算制御部３６で実現される機能的な構成について説明する。
【００５４】
図３は、本実施形態に係る画像処理システム１の機能構成を示すブロック図を示す。図３で示されるように、ステレオカメラＶＣの基準カメラＭＣおよび参照カメラＳＣにより得た基準画像ＳＧおよび参照画像ＲＧから、距離計測部２０により距離計測を実施し、第１距離画像取得部４０により所定の原点位置から被写体各部への距離情報を表現した第１距離画像Ｄ１を取得する。続いて、境界線抽出部３０によって基準画像ＳＧから、被写体の２次元画像における当該被写体の複数の領域相互の境界線を抽出し、抽出された境界線および第１距離画像Ｄ１に基づいて、距離情報補正部５０によって、距離情報の補正を実施し、第２距離画像生成部６０により第２距離画像Ｄ２を生成する。そして、補正した距離情報に基づいて、視差画像生成部７０によって第１視差画像を生成する。最後に、他視点画像生成部８０によって、任意の視点で画像を生成することで、立体視が可能な画像処理を施し、ディスプレイ３２に立体視画像を表示する。
【００５５】
図４は、本実施形態に係る画像処理システム１（図３参照）における距離情報補正部５０で行う内容に特化したブロック図である。図２に示されるように、境界線抽出部３０によって抽出された境界線、および、第１距離画像取得部４０により得られた第１距離画像に基づいて、補正範囲設定部４１によって補正範囲を設定する。この補正範囲に対して、補正判定部４２によって補正の必要の有無の判定を実施し、補正が必要という判定結果であれば、距離情報の補正対象とする。
【００５６】
最後に、補正距離生成部４３により、第１距離画像Ｄ１に対して選択した補正を行うことで補正距離を生成する。
【００５７】
図３および図４で示されたような演算制御部３６の機能的な構成が、プログラムＰＧの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
【００５８】
以降、撮像部１０、境界線抽出部３０、距離計測部２０、第１距離画像取得部４０、距離情報補正部５０、第２距離画像生成部６０、視差画像生成部７０および、他視点画像生成部８０の各処理についての具体的内容を、図３および図４を参照しながら順次説明する。
【００５９】
＜３−１．撮像部１０＞
図５は、撮像部１０のステレオカメラＶＣの具体的配置例を説明する図である。図５（ａ）および図５（ｂ）に示すステレオカメラＶＣ１では、主カメラＭＣと副カメラＳＣとが基線長Ｌ分だけ離れて配置された構成を採り、主カメラＭＣおよび副カメラＳＣは、カメラ筐体の一辺に平行となるように配列されている。
【００６０】
この主カメラＭＣおよび副カメラＳＣの配列が、水平面に対して垂直となるようにステレオカメラＶＣ１を配置した状態を縦置きと呼称する（図５（ａ）参照）。一方、主カメラＭＣおよび副カメラＳＣの配列が、水平面に対して平行となるようにステレオカメラＶＣ１を配置した状態を横置きと呼称する（図５（ｂ）参照）。
【００６１】
また、図５（ｃ）に示すステレオカメラＶＣ２は、主カメラＭＣと副カメラＳＣとが基線長Ｌ分だけ離れて配置されている点ではステレオカメラＶＣ１と同じであるが、主カメラＭＣおよび副カメラＳＣは、カメラ筐体の何れの辺に対しても斜めとなるように配列されており、この状態を斜め置きと呼称する。なお、上記のような配置状態に対して、上下左右が入れ替わるように配置しても良い。
【００６２】
構成例として、例えば、主カメラＭＣは、高精細画像を撮影できるようなハイビジョン放送対応レンズ（ＨＤＴＶレンズ）等の高解像度で、焦点可変のいわゆるズームレンズを有したデジタルカメラシステムとし、副カメラＳＣは、携帯電話等に搭載される小型ユニットカメラや、マイクロカメラユニット（ＭＣＵ）などの低解像度で、単一焦点のデジタルカメラシステムとすることができる。または、両方ともハイビジョン放送対応レンズ・マイクロカメラユニットでの構成にしても良い。なお、副カメラＳＣのレンズにはズームレンズを用いても良いが、高解像度は要求されない。このように、２つのレンズユニットはどのような構成を取っても良いが、立体視画像を生成するにあたり、主カメラＭＣ側の画像は、他視点画像として使用されることから、副カメラＳＣと同レベルのレンズ、若しくは、副カメラＳＣより性能が良いものを使用する方が望ましい。
【００６３】
ステレオカメラＶＣにより得た画像を、そのまま立体視画像として使用する場合は、横置きに構成される必要があるが、本手法では距離計測を実施し、距離情報を基に、立体視用の画像を新しく生成することから、距離情報と他視点画像とを生成するための基準画像ＳＧを取得できれば良いので、図５（ｂ）の横置きの構成だけでなく、図５（ａ）の縦置きあるいは図５（ｃ）の斜め置きの構成でも可能となる。ただし、図５（ｂ）の横置きの構成では、副カメラＳＣで取得した画像に基づいて、他視点画像を生成するようにしてもよい。
【００６４】
図６は、ステレオカメラＶＣ１を横置きで使用する場合の撮影状況を示す模式図であり、被写体ＯＢおよび背景ＢＧを上方から見た状況に相当する。図６の縦軸は、主カメラＭＣの位置を原点としたときの、主カメラＭＣの光軸方向における被写体ＯＢおよび背景ＢＧまでの距離を示している。また横軸は、主カメラＭＣと副カメラＳＣとを結ぶ基線方向（水平方向）の距離を示しており、この方向の撮影可能範囲は、主カメラＭＣおよび副カメラＳＣで撮影する場合の水平方向の画角に相当する。主カメラＭＣにおいては３段階の倍率で撮影を行う例を示しており、最も倍率の低い（最も画角の広い）状態で撮影した画像を第１の主カメラ画像と呼称し、その画角をラインＬ１で示している。次に倍率の高い状態で撮影した画像を第２の主カメラ画像と呼称し、その画角をラインＬ２で示している。そして、最も倍率の高い（最も画角の狭い）状態で撮影した画像を第３の主カメラ画像と呼称し、その画角をラインＬ３で示している。一方、副カメラＳＣはズーム機能がないので画角は１種類だけであり、その画角をラインＬ４で示している。
【００６５】
図７には、図６に示した撮影イメージで得られた画像を示す。図７（ａ）には主カメラＭＣで撮影した第１の主カメラ画像を、図７（ｂ）には主カメラＭＣで撮影した第２の主カメラ画像を、図７（ｃ）には主カメラＭＣで撮影した第３の主カメラ画像を示している。
【００６６】
また、図７（ｄ）〜図７（ｆ）には、それぞれ図７（ａ）〜図７（ｃ）の画像を取得した際に、副カメラＳＣで得られた副カメラ画像を示している。この副カメラ画像は、何れも同じ倍率の画像となる。なお、副カメラＳＣの光軸は、基線長Ｌ分だけ主カメラＭＣから離れているので、副カメラＳＣで得られた画像と主カメラＭＣで得られた画像との間には、視差に伴う観察方向のズレが生じている。
【００６７】
以上のように、主カメラＭＣと副カメラＳＣとの２つのカメラは同じ被写体ＯＢおよび背景ＢＧを撮像しているが、それぞれの視線とレンズの倍率とが異なるため、被写体ＯＢの大きさや画角が異なった画像が得られることになる。
【００６８】
＜３−２．境界線抽出部３０＞
続いて、境界線抽出部３０では、撮像部１０で取得された基準画像ＳＧの２次元画像における複数の領域相互の境界線を抽出する。すなわち、他視点画像を生成するためのベースとなる基準画像ＳＧに対して、被写体ＯＢや背景ＢＧを構成する複数の領域相互の境界線を抽出する。なお、図３では、主カメラＭＣで得られた画像Ｇ１を基準画像ＳＧとしている。また、ここにおける「領域」とは、画像の中で明度・彩度・色相などがほぼ連続的に変化している空間範囲を指しており、図７のような画像の例では、人物の顔領域、背景にあるそれぞれの樹木の幹の領域、空の領域などである。通常、これらの領域の相互境界は輪郭線となっている。境界線抽出部３０によって、画像領域を対象として輪郭（エッジ）が抽出される処理が行われるが、エッジ情報の抽出方法に関しては、特に特殊な方法を使用する必要はなく、一般的な方法により抽出する。例えば、下記記載のような方法が挙げられる。
【００６９】
＜３−２−１．画像境界線抽出の第１方法＞
図８および図９は、画像境界線抽出の第１方法について説明する図である。図８では、主カメラＭＣで得られた基準画像ＳＧを入力画像として例示し、図９では、この基準画像ＳＧに対して、一般的なエッジ検出用のフィルタ処理を施した図を示す。図９で示されるように、被写体ＯＢや背景ＢＧのエッジ情報により、輪郭情報を領域候補として抽出することができる。
【００７０】
＜３−２−２．画像境界線抽出の第２方法＞
図１０は、画像境界線抽出の第２方法について説明する図であり、入力画像は、図８の基準画像ＳＧと同様ではあるが、周辺との色情報または、輝度情報をもとに画像境界線を抽出する方法を説明する図である。具体的には、ある画素の色情報、または輝度情報と、周辺の色情報、または輝度情報との比較を行い、差分値が所定の閾値より小さい場合は、同じ領域として統合し、統合領域の大きさに従って対象領域を抽出し、抽出した後の結果に対して、エッジ検出を実施する。
【００７１】
＜３−２−３．画像境界線抽出のその他の方法＞
上記第１、第２方法以外にも、一般的な領域切り出し方法による領域候補抽出を実施することもできる。例えば、特開２０１０−１２２７３４号公報等で公知の平均値シフト法（Mean Shift法）や特開２０１０−１１０５５６号公報等で公知のグラフカットなどが利用できる。
【００７２】
＜３−３．距離計測部２０および第１距離画像取得部４０＞
距離計測部２０では、所定の原点位置から被写体各部への距離を計測する。そして、その計測距離結果に基づいて、第１距離画像取得部４０では、距離情報を表現した第１距離画像Ｄ１を取得する。この実施形態では、次のような対応点探索処理によって第１距離画像Ｄ１を取得する。
【００７３】
一般に、対応点探索処理では、対応点基準画像上の任意の注目点に対応する対応点参照画像像上の点（対応点）を探索して求め、得られた注目点と対応点との関係から視差情報を得た後、当該視差情報から距離情報を取得する。なお、対応点参照画像とは、対応点基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が対応点基準画像であり、他方は対応点参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が対応点基準画像であり、時間的に後の画像が対応点参照画像である。この対応点基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する対応点参照画像上のウインドウが探索され、この探索されたウインドウから対応点が求められる。
【００７４】
図１１は、この実施形態での対応点探索処理を説明する概念図である。図１１（ａ）は対応点参照画像ＣＲＧとしてサブカメラＳＣで得られた第２撮像画像Ｇ２を示し、図１１（ｂ）は対応点基準画像ＣＳＧとしてメインカメラＭＣで得られた第１撮像画像Ｇ１を示す。対応点基準画像ＣＳＧ中の各画素について、対応点参照画像ＣＲＧの破線で囲まれた領域ＣＰ中の対応画素を求めて行く。なお、対応点基準画像ＣＳＧの全体領域は、対応点参照画像ＣＲＧの領域ＣＰに対応しており、領域ＣＰが拡大されたものとなっている。
【００７５】
このような対応点探索の具体的な方法は公知であり、位相情報により対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・位相限定相関法（Phase Only Correlation: POC）を用いた対応点探索
・位相差解析法（Phase Shift Analysis: PSA）を用いた対応点探索
また、輝度情報を基に対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・SAD（Sum of Absolute Difference）法を用いた対応点探索
・SSD（Sum of Squared intensity Difference）法を用いた対応点探索
NCC（Normalized Cross Correlation）法を用いた対応点探索
そして、このような対応点探索の結果に基づいてステレオカメラから被写体各部への距離を画素単位で表現した第１距離画像Ｄ１を生成する。
【００７６】
ステレオカメラを用いた第１距離画像Ｄ１の生成において、２つの画像のうち画素数が少ない画像を基準画像として使用するときには、サブピクセル単位での対応点探索が行われる。
【００７７】
図１１（ｃ）は、対応点基準画像ＣＳＧとして図１１（ａ）における第２撮像画像Ｇ２を採用し、それにサブピクセルを設定する例を模式的に示す図である。さらに、図１１（ｄ）は、画素数が多い方の図１１（ｂ）の第１撮像画像Ｇ１に相当する画像を対応点基準画像ＣＳＧとした例を示す。
【００７８】
相関法を用いた対応点探索処理では、対応点基準画像ＣＳＧ上の注目点に対して対応点参照画像ＣＲＧ上の対応点を求めるために対応点参照画像ＣＲＧ上を１画素ずつサンプリングするという処理がなされる。
【００７９】
図１１（ｄ）で示されるように、対応点基準画像ＣＳＧの倍率が高く、対応点参照画像ＣＲＧの倍率が低いような場合、すなわち、有効画素数の多い側を対応点基準画像ＣＳＧとした場合には、複雑な処理を施すことなく、サブピクセル単位まで対応点探索処理を実施することができる。これに対し、図１１（ｃ）で示されるように、対応点基準画像ＣＳＧの倍率が低く、対応点参照画像ＣＲＧの倍率が高いような場合には、サンプリング間隔が大幅に異なり、対応点参照画像ＣＲＧの情報が抜け落ちて精度の良い距離情報の取得が困難となる。後記のような距離情報の補正処理は、領域境界付近での距離情報の誤差の補償を主目的とするが、このようなサブピクセル探索に起因する誤差の補償としても有意義である。
【００８０】
図１１（ｃ）では、サブピクセル単位まで対応点探索処理を実施するために、１つの画素を横方向に３分割して３つのサブピクセルを設定した例を示しているが、画素の分割はこれに限定されるものではなく、また、さらに細かく分割することも可能である。これにより、対応点基準画像ＣＳＧと対応点参照画像ＣＲＧとで倍率が異なるような場合でも、サンプリング間隔を一致させることができる。すなわち、注目点ＯＰがサブピクセルレベルの位置である場合に、注目点ＯＰであるサブピクセルＳＰを中心にして探索用テンプレートＴＰを設定することになる。
【００８１】
なお、サブピクセルの推定方法としては、例えば、特開２００１−１９５５９７号公報などに、画像間の相関値を算出後、最も相関値の高い位置とその周辺の相関値との位置関係から、画素と画素との間の相関値を直線式または曲線式に当て嵌めることによって補間し、相関値のピーク位置およびピーク値を推定する方法が開示されており、この推定方法を使用することができる。
【００８２】
これらの対応点探索法のいずれにおいても、領域境界付近など距離情報算出が不得意な対象領域が存在する。それは、領域の境界線をはさんで一方の領域での対応点探索に、他方の領域の画像情報が混入しやすいことに起因する。これはエッジ付近の画像の不鮮明さという原因だけでなく、異なる視線から被写体を見た２つの画像（あるいは異なる時刻で被写体を見た２つの画像）を比較するのであるから、領域境界の画像情報は視差の影響を受けやすいことにも関係している。
【００８３】
このような対応点探索による距離画像の生成だけでなく、後に「変形例」として説明する他の方法によって距離計測を行って距離画像を生成しても、やはり領域境界の付近では距離算出の誤差が生じやすい。
【００８４】
そこで、この発明の実施形態では、以下のような距離情報の補正処理を行う。
【００８５】
＜３−４．距離情報補正部５０および第２距離画像生成部６０＞
第１距離画像取得部４０により取得した第１距離画像Ｄ１は、図２および上記で説明したように、被写体の輪郭部分などにおいては遠近競合による計測誤差を含む傾向にあるため、距離情報補正部５０により補正を行う。その際、まず、第１距離画像Ｄ１中において、基準画像ＳＧでの境界線抽出部３０で抽出した境界線に対応する位置に仮想境界線を設定する。次に、第１距離画像Ｄ１のうち仮想境界線をはさんで互いに隣接する領域のうち少なくとも一方を補正範囲とする。そして、仮想境界線に近づく方向についての距離情報の変化を抑制する補正を第１距離画像Ｄ１に対して行い、最終的に、第２距離画像生成部６０によって第２距離画像Ｄ２が生成される。ただし、ここにおける「抑制」とは、変化をゼロにして完全に平坦とする場合と、変化率の絶対値を減少させる場合との双方を含む概念である。
【００８６】
ここで、「仮想境界線」と呼ぶのは次のような理由による。すなわち、第１距離画像Ｄ１においては境界付近の誤差が大きいため、第１距離画像Ｄ１自身から境界線の位置を特定することは好ましくない。そこで、通常の２次元画像である基準画像ＳＧで検出した境界線を流用して第１距離画像Ｄ１での境界線の位置を推定するのであるが、その境界線位置は第１距離画像Ｄ１自身から抽出したものではないため、第１距離画像Ｄ１にとっては借用した境界線、あるいは仮想的な境界線ということになるためである。
【００８７】
距離情報補正部５０では、仮想境界線の位置を基準として、補正範囲の設定を行う補正範囲設定部４１と、当該補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う補正判定部４２と、補正距離を生成する補正距離生成部４３とを備えている（図４参照）。すなわち、この距離情報の補正は、境界線抽出部３０で算出されたエッジ情報に基づいて、第１距離画像Ｄ１に対して、補正範囲、補正の有無判定および補正方法の設定を行うことで補正を実施する。なお、上述した対応点探索方法と他の距離計測方法とでは、計測誤差が発生する位置が異なるが、距離情報補正部５０により問題なく補正することができる。
【００８８】
以降、距離情報の補正に関して、図４の補正範囲設定部４１、補正判定部４２、および、補正距離生成部４３のそれぞれの機能について、順次説明する。
【００８９】
＜３−４−１．補正範囲設定部４１＞
図１２および図１３は、第１距離画像Ｄ１における補正範囲の設定方法を説明する概念図である。概念図として、図１２（ａ）及び図１２（ｂ）の下側に示されるような、近距離領域ＮＤと遠距離領域ＦＤとが重なり合った被写体部分が存在した場合、隣接する２つの領域ＮＤ，ＦＤの境界を通る帯状エリアＡＲ内の距離を正確に計測できたとすると、図１２（ａ）の上側で示される距離情報を得ることができる。しかしながら、実際には、図１２（ｂ）の上側で示される距離計測結果のように、エリアＡＲの領域境界付近ＡＢに対応した距離情報では、遠近競合の影響による誤距離が発生しやすい。これは、先にも説明したように、エリアＡＲの領域境界付近ＡＢに遠距離と近距離との両方の情報を含んでいるためである。そして、このような領域境界付近ＡＢに対して上述したエリアベースの対応点探索を実施すると、誤距離が発生する可能性が高くなるからである。そこで、このような領域境界を考慮して距離情報を補正するために、補正範囲設定部４１では、前述した仮想境界線の位置を基準として、補正範囲の設定を行う。補正範囲の設定方法としては、例えば、下記方法が挙げられる。
【００９０】
＜３−４−１−１．範囲設定の第１方法＞
補正範囲設定部４１が、補正範囲として、第１距離画像Ｄ１において、仮想境界線からの平面距離が所定の値以下の画素範囲を設定する。すなわち、境界線抽出部３０により抽出したエッジ情報を基に、範囲設定を行う。
【００９１】
図１３は、補正範囲の設定を例示した図である。図１３（ａ）では、基準画像ＳＧにおいて、境界線抽出部３０で抽出した近距離領域ＮＤの領域境界線ＮＢと遠距離領域ＦＤの領域境界線ＦＢとを示す。図１３（ｂ）では、第１距離画像Ｄ１において、基準画像ＳＧでの境界線に対応する位置に近距離領域ＮＤでは仮想境界線ＮＢ’を示し、遠距離領域ＦＤでは仮想境界線ＦＢ’を示している。図１３（ｃ）では、第１距離画像Ｄ１のうち仮想境界線ＮＢ’，ＦＢ’からの平面距離（２次元画像上の距離）が所定の値以下の画素範囲をそれぞれ補正範囲ＮＡ，ＦＡと設定することを示した図である。
【００９２】
図１３で示されるように、エッジ情報を各被写体の領域境界とし、抽出されたエッジ情報上の位置、あるいは、予め指定しておいた範囲の領域に対して、補正処理の範囲を設定する。ここで、指定する範囲の幅としては、各領域境界に対し、一律にしても良いが、図１３（ｃ）で示されるように、近距離領域ＮＤの補正範囲ＮＡを規定する帯状領域の幅Ｗnが、遠距離領域ＦＤの補正範囲ＦＡを規定する帯状領域の幅Ｗfと比べて大きくなっている。すなわち、第１距離方法画像Ｄ１の補正範囲は、仮想境界線ＦＢ’，ＮＢ’のそれぞれの両側に平面距離Ｗf／２，Ｗn／２だけ広げた帯状領域とされるが、その幅、すなわち仮想境界線ＦＢ’，ＮＢ’から補正範囲の外縁までの平面距離は、当該仮想境界線が囲む領域の距離情報に応じて可変に設定することもできる。
【００９３】
例えば、遠距離領域ＦＤの補正範囲ＦＡは、対応点探索を実施する際に設定されるウインドウサイズの領域を補正対象の範囲と設定し、近距離領域ＮＤの補正範囲ＮＡは、距離情報算出結果で得られた被写体各部の視差のうちの最大視差に応じた幅を持つ範囲で実施しても良い。被写体部分が近距離にあるほど視差は大きくなるため、最大視差は、被写体のうちカメラから最も近い部分までの距離を反映しているためである。このような方法で可変にすることで、シーンに応じた最適な補正処理が実施できる。この方法では、例えば、多重解像度変換を行った対応点探索などに効果的である。
【００９４】
＜３−４−１−２．範囲設定の第２方法＞
補正範囲設定部４１が、補正範囲として、第１距離画像Ｄ１において、仮想境界線の距離情報との相違量が所定の値以下の距離情報を持つ画素範囲を設定する。すなわち、図１３の場合では、近距離領域ＮＤ（あるいは遠距離領域ＦＤ）内の各画素の距離情報と仮想境界線ＮＢ’（あるいは仮想境界線ＦＢ’）の距離情報とを比べて、両者の距離情報の相違量が所定の閾値以下である画素からなる範囲が、補正範囲ＦＡ（あるいは補正範囲ＮＡ）として設定される。
【００９５】
ここで指標となる「相違量」は、差または比で表現することができる。また、第１の方法と同様に、距離情報の相違量の閾値としては、各領域境界に対し、一律にしても良いが、仮想境界線ごとの距離情報に応じて変更しても良い。
【００９６】
＜３−４−１−３．範囲設定の第３方法＞
補正範囲設定部４１が、第１距離画像Ｄ１の全体を、補正範囲として設定する。すなわち、補正範囲の設定方法としては、上記のように領域境界の付近に限定せず、全範囲を補正範囲としても良い。この場合も、境界領域が補正範囲に含まれるから、この発明の特徴に対応した「境界領域での補正」という概念に含まれる。
【００９７】
以上の第１、第２の設定方法において、補正範囲設定部４１は、補正範囲として、仮想境界線の両側の領域を設定する。
【００９８】
ただし、第１〜第３の方法において、仮想境界線が閉曲線を形成していない領域は、補正範囲設定部４１により当該補正範囲から除外する例外処理が行われる。これは、基準画像中の線状ノイズを輪郭線として扱ってしまうことを防止するためである。ここで言う「閉曲線」とは、折れ線で形成された閉じた図形をも含む概念である。
【００９９】
閉曲線を形成するか否かの判断にあたっては、画面範囲の外枠に相当する矩形ラインも輪郭線とみなして閉曲線を抽出することにより、一部のみが画角に入っている被写体領域も補正対象とすることができる。
【０１００】
逆に、画面範囲の外枠に相当する矩形ラインを輪郭線としては扱わないことにより、本来の輪郭線に相当する閉曲線のみを補正の対象とすることもできる。通常、主たる被写体部分は画面の中央領域にあるため、輪郭線が画面の端で切れているような領域を補正対象外としても影響は少ない。
【０１０１】
補正の精緻性を重視する場合には前者を、補正処理の高速性を重視する場合には後者を選択できる。
【０１０２】
＜３−４−２．補正判定部４２＞
補正判定部４２では、補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う。すなわち、補正判定部４２により、補正範囲設定部４１によって設定された補正範囲内において、補正の実施の有無を決定する。補正判定対象位置、および、補正判定条件の例は以下の通りである。
【０１０３】
＜３−４−２−１．補正判定対象位置：第１設定方法＞
図１４は、補正判定対象位置の第１設定方法について説明する図である。図１４で示されるように、設定された補正範囲内の各画素Ｐ単位で、つまり個々の画素に対して、判定が実施される。すなわち、補正判定部４２が、補正判定を補正判定対象として画素単位で行う。
【０１０４】
＜３−４−２−２．補正判定対象位置：第２設定方法＞
図１５は、補正判定対象位置の第２設定方法について説明する図である。図１５で示されるように、設定された補正範囲内において、仮想境界線ＮＢ’を跨いだ画素Ｐ１と画素Ｐ２との２点の画素間の間に含まれる画素全てに対して、判定が実施される。ただし、画素Ｐ１，Ｐ２はそれぞれ、仮想境界線の両側の補正範囲内でそれぞれ選択された画素である。
【０１０５】
すなわち、補正判定部４２が、補正判定を補正判定対象として２点間を結びかつ仮想境界線と交差する画素列を単位として扱い、その画素列のうちの所定個数の画素（あるいは所定割合以上の画素）が下記の補正判定条件を満足すれば、画素Ｐ１，Ｐ２がそれぞれ属する補正範囲の各画素について補正を行う。
【０１０６】
＜３−４−２−３．補正判定対象位置：第３設定方法＞
補正判定部４２が、各領域内の全画素に対して判定が実施される。すなわち、図１４および図１５の場合、近距離領域ＮＤおよび遠距離領域ＦＤの各領域全てに対して、判定が実施される。したがって、この第３設定方法は、既述した「範囲設定の第３方法」との組合せに適している。
【０１０７】
＜３−４−２−４．補正判定条件＞
補正判定部４２が上記の判定対象画素に対して補正を行うかどうかを判定する。
【０１０８】
その判定条件として好ましい第１例は、判定対象画素から仮想境界線に向かう方向についての、当該判定対象画素の距離情報をＲとしたとき、この距離情報Ｒと、当該判定対象画素に隣接する画素の距離情報（Ｒ＋ΔＲ）との差分の絶対値｜ΔＲ｜が、所定の閾値以上となっているという条件である。すなわち、その付近での距離情報の変化が大きいときには、仮想境界線の反対側領域の距離情報の影響を受けていると判断して、補正対象とする。
【０１０９】
隣接画素間の水平距離は固定されているから、差分ΔＲを指標とするという判定基準は、距離情報Ｒの変化の微分係数を指標とする判定や、距離情報Ｒの変化の傾斜角度を指標とする判定と等価である。
【０１１０】
ただし、ノイズによって偶発的に差分が大きくなっている画素を除外する目的で、上記差分ΔＲは、当該判定対象画素に隣接する１画素との間の差分だけなく、判定対象画素に隣接して連続する複数の画素との間の差分値の平均などを指標としてもよい。
【０１１１】
判定条件の他の例は、判定対象画素から仮想境界線に向かう方向についての、当該判定対象画素の距離情報の変化率ΔＲ／Ｒの絶対値｜ΔＲ／Ｒ｜が、所定値以上となっているという条件である。この変化率は、隣接する２画素間での変化率であってもよく、判定対象画素に隣接して連続する３以上の画素間での平均変化率であってもよい。
【０１１２】
＜３−４−３．補正距離生成部４３＞
上記の補正範囲設定部４１によって設定された補正範囲内に対して、補正判定部４２が行った補正有無の判定結果に基づいて補正が実施される。
【０１１３】
このうち、距離情報補正部５０は、補正距離生成部４３が、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて補正距離を生成し、補正対象画素の距離情報の補正を行う。
【０１１４】
距離情報補正部５０で採用される好ましい補正方法の内容は以下の通りである。それにおいて参照される図１６以下の各図において、横軸は画素位置を示し、縦軸は距離情報を示す。補正対象領域ＣＡの画素列の両端のうち境界基準位置ＱＭは仮想的境界線上の位置であり、初期基準位置Ｑ１は、補正対象領域ＣＡの画素列の両端のうち、境界基準位置ＱＭではない方の位置である。さらに、下記では仮想的境界線をはさんだ両側の補正対象領域ＣＡ，ＲＡのうち一方領域ＣＡのみについて説明するが、他方領域ＲＡについても同様の補正を行うことができる。他方領域ＲＡについての初期基準位置は、境界基準位置ＱＭをはさんで一方領域ＣＡの開始基準位置Ｑ１の反対側に存在する。
【０１１５】
また、それぞれの図のうち（ａ）は補正前の距離情報を示し、（ｂ）は補正後の距離情報を示す。記号Ｓ（ｉ）は各画素位置についての距離情報値であり、添字「i」を画素位置の識別符号である。
【０１１６】
＜３−４−３−１．第１補正方法＞
図１６は、第１補正方法について説明する図である。図１６（ａ）は、補正前の同一画素列に属する画素が補正対象領域ＣＡであり、境界基準位置ＱＭを境に、反対側画素列として参照対象画素列ＲＡが存在することを示し、図１６（ｂ）は、図１６（ａ）の補正後の画素値（距離情報）を示す。
【０１１７】
図１６で示されるように、第１補正方法では、補正対象である距離情報値Ｓ（Ｎ）を、外側画素に相当する距離情報値Ｓ（Ｎ−１）をもって、距離情報値Ｓ（Ｎ）とする補正を行う。なお、距離情報値Ｓ（Ｎ）とせず、予め決めておいた固定値による補正でも良い。
【０１１８】
以上のように、距離情報補正部５０は、同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行う。
【０１１９】
＜３−４−３−２．第２補正方法＞
図１７は、第２補正方法について説明する図である。図１７（ａ）は、補正前の同一画素列に属する画素が補正対象領域ＣＡであり、境界基準位置ＱＭを境に、反対側画素列として参照対象領域ＲＡが存在することを示し、図１７（ｂ）は、図１７（ａ）の補正後の画素を示す。ここで、各画素位置について、隣接する画素との間の距離情報の変化に対応する傾斜角をθ（ｉ）とする。添字「i」は画素位置の識別符号である。
【０１２０】
図１７で示されるように、第２補正方法では、補正対象位置ＱＮでの傾斜角θ（Ｎ）を、外側画素に相当する傾斜角θ（Ｎ−１）をもって、傾斜角θ（Ｎ）とする補正を行う。なお、傾斜角をθ（Ｎ）とせず、予め決めておいた固定値による補正でも良い。
【０１２１】
以上のように、距離情報補正部５０は、同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行う。
【０１２２】
＜３−４−３−３．第３補正方法＞
図１８は、第３補正方法について説明する図である。この方法では、初期基準位置Ｑ１から仮想境界線（境界基準位置ＱＭ）までの区間内にある各補正対象画素Ｐaについて、初期基準位置Ｑ１に関して対称な位置にある画素（対称画素）Ｐbの距離情報Ｓbとしたときに、補正対象画素Ｐaについての補正後の距離情報Ｓa’と初期基準位置Ｑ１での距離情報Ｓ0との差が、距離情報Ｓ0と距離情報Ｓbとの差の正負符号を比例するように、補正対象画素Ｐaについての補正を行うことにより、各補正対象画素の距離情報の変化を抑制する。
【０１２３】
具体的には、
Ｓa’−Ｓ0＝Ｓb −Ｓ0
の関係を満足するように補正を行うことになるから、等価的に、
Ｓa＝２×Ｓ0−Ｓb
を、補正対象画素Ｐaの補正後の距離情報値とする。
【０１２４】
たとえば、
Ｓa＝１００； Ｓ0＝４０； Ｓb＝２０
（ただし、Ｓaは着目画素Ｐaの補正前の距離情報）の場合には、
Ｓa’＝２×４０−２０＝６０
に補正される。
【０１２５】
より一般的には、所定の比例係数ｋ（ただし、ｋ＞０）を用いて
Ｓa’−Ｓ0＝ｋ×（Ｓb −Ｓ0）
の比例関係となるように、すなわち
Ｓa’＝（１＋ｋ）×Ｓ0−ｋ×Ｓb
によって補正をすることが可能であり、このうちｋ＝１の場合が上記の例に相当する。
【０１２６】
以上のように、距離情報補正部５０は、仮想境界線から離れた位置に基準位置を設定し、基準位置での距離情報を第１距離情報とし、基準位置から仮想境界線までの区間内の各補正対象画素について、基準位置に関して対称な位置にある画素の距離情報を第２距離情報としたとき、補正対象画素についての補正後の距離情報と第１距離情報との差が、第１距離情報と第２距離情報との差の正負符号を反転させた値に比例するように補正対象画素についての補正を行う。
【０１２７】
＜３−４−３−４．第４補正方法＞
図１９は、第４補正方法について説明する図である。ここでは、補正対象領域ＣＡの画素列の距離情報の変化の傾き（傾斜角度の大きさおよび符号）に応じて、距離情報の補正値を変化させる。たとえば、図１９（ａ）のように境界基準位置ＱＭに向かって距離情報が増加する変化の場合には、その変化の傾き角を小さくするように補正する（図１９（ｂ））。一方、図１９（ｃ）のように境界基準位置ＱＭに向かって距離情報が減少する変化の場合には、その傾きの符合を逆にするような補正を行う（図１９（ｄ））。いずれの場合も、補正前の距離情報の変化と比較して、抑制された距離情報の変化状況となる。
【０１２８】
以上のように、距離情報補正部５０は、同一側画素列に属する補正対象画素の距離情報の変化率（変化の正負符号を含む）を変更して補正を行う。
【０１２９】
＜３−４−３−５．第５補正方法＞
図２０は、第５補正方法について説明する図である。図２０（ｂ）で示されるように、この第５補正方法では、基準点Ｑ１，ＱＭ間の補正対象領域ＣＡの各画素の距離情報値が、段階的に変化するように計測距離情報を補正する。
【０１３０】
具体的には、距離情報の変化率に応じた複数の隣接画素を小集団とし、小集団を単位として段階的に距離情報値を変換させる。変化率が比較的小さい領域では比較的多くの画素（図示例では３個の画素で示している）で小集団を構成し、変化率が比較的大きい領域では比較的少ない画素（図示例では２個の画素で示している）で小集団を構成する。
【０１３１】
この第５補正方法では、複数の隣接画素からなる小集団のそれぞれの内部で距離情報の変化が抑制されており、「局所的な変化の抑制」の集合としての補正処理となっている。
【０１３２】
以上のように、距離情報補正部５０は、仮想境界線に近づく方向についての距離情報の変化を段階的に抑制する補正を行う。
【０１３３】
＜３−４−３−６．他視点情報を考慮した補正方法＞
距離情報補正部５０は、後述する他視点画像を生成する際の視線情報によって補正を実施することも可能である。抽出された仮想境界線に対し、予め指定した補正対象領域ＣＡにおいて、２点の基準位置Ｑ’１，Ｑ’２を設定し、後述する他視点画像生成部（第２視点画像生成部）８０で設定される視線情報により、傾斜角度が急な傾斜となるように補正するか、あるいは、緩やかな傾斜になるように補正するかを変更し補正する。
【０１３４】
図２１は、他視点情報を考慮した補正方法について説明する図である。図２１（ａ）は、補正前の同一画素列に属する画素の距離情報を示し、図２１（ｂ）は、図２１（ａ）の補正後の距離情報を示す。
【０１３５】
図２１（ｃ）のように視点を右側に移動させる場合（被写体を左側に移動させる場合）には、被写体中の遠距離領域のうち右側で近距離領域が接している端部Ａ１では距離情報の変化が急峻となるように、あらかじめ定めた基準位置の間の区間において距離情報を補正し、遠距離領域の反対端部Ａ２では距離情報の変化が緩やかになるように距離情報を補正する。視点の移動方向が逆の場合は、これとは逆の補正となる。
【０１３６】
すなわち、視点を右側に移動させると、遠距離領域の端部Ａ１には近距離領域の左端部分が入り込んでくるため、図２１（ｂ）に示すように、基準位置Ｑ’１，Ｑ’２の間の区間において、遠距離領域の端部Ａ１の距離情報値が近距離領域の距離情報値に早く近づくように急峻な変化へと補正する。これに対して、視点を右側に移動させたときの遠距離領域の端部Ａ２では、近距離領域の右端部分が左へ移動して逃げてしまうため、近距離領域の距離情報値へ移行する変化を緩やかにする。後者は、既述した第１補正方法〜第５補正方法における変化の抑制原理と同じ考え方である。
【０１３７】
以上のような動作を実現させるには、他視点画像生成部８０から視点の移動方向の情報を受け取り、視点の移動方向に応じて、輪郭線で囲まれた領域の左右両端部のうちの一方については距離情報の変化を急峻に、他方については距離情報の変化をゆるやかにするように、補正距離生成部４３により補正を行う。
【０１３８】
上記の基準位置Ｑ’１，Ｑ’２は、基本的には、既述した第１補正方法〜第５補正方法の基準位置Ｑ１，ＱＭと同様の考え方を基礎とし、視点移動量に応じた修正をして定める。
【０１３９】
以上を「距離情報の変化の抑制」という観点から見たときには、他視点情報を考慮した補正方法を採用する場合については、視点が原点位置から別位置へと変化する方向に応じて、距離情報の変化の抑制を行う部分を選択し、その選択された部分について距離情報の変化の抑制を行うことになる。
【０１４０】
＜３−５．視差画像生成部（第１視差画像生成部）７０＞
視差画像生成部（第１視差画像生成部）７０では、第２距離画像Ｄ２を用いて原点位置から見た第１視差画像を生成する。すなわち、第１視差画像の生成は、距離情報補正部５０によって補正された距離情報を用いて実施し、後述する他視点画像生成部８０で設定される視線情報によって、更に補正処理を実施する。例えば、想定される視線方向について、隣接する領域の距離情報における差分が所定の閾値より小さくなる場合には、隣接する領域のそれぞれの距離情報の平均値を、それら隣接する領域の双方に与えてそれらの領域を統合した上で、第１視差画像を生成する。
【０１４１】
＜３−６．他視点画像生成部（第２視点画像生成部）８０＞
他視点画像生成部（第２視点画像生成部）８０では、視差画像生成部（第１視差画像生成部）７０によって生成された第１視差画像に基づいて、原点位置とは異なる別位置から被写体を観察した距離画像としての第２視点画像を生成する。すなわち、図３で示されるように、外部情報ＩＦを取り入れた他視点画像を生成する。具体的に、第２視点画像に相当する左右画像の作成については、以下の方法が挙げられる。
【０１４２】
＜３−６−１．左右画像作成の第１方法＞
他視点画像生成部８０は、視差画像生成部７０で生成された第１視差画像と基準画像ＳＧとを基に、左右画像（左目用画像と右目用画像）の両方を作成する。具体的には、視差量の半分ずつずらして、左画像及び右画像を作成する。
【０１４３】
＜３−６−２．左右画像作成の第２方法＞
他視点画像生成部８０は、視差画像生成部７０で生成された第１視差画像と基準画像ＳＧとを基に、左右画像の何れか一方を作成する。すなわち、基準画像ＳＧを左画像とすれば、右側の視差情報を作成するよう視差量をずらして右画像を作成することになり、基準画像ＳＧを右画像とすれば、左側の視差情報を作成するよう視差量をずらして左画像を作成することになる。
【０１４４】
このように、第１及び第２方法ともに、他視点画像生成部８０は、基準画像ＳＧおよび第１視差画像を用いて、左右画像の生成が行われ、ステレオ視画像が生成される。そして、得られたステレオ視画像（左右画像）は、液晶画面等のディスプレイ３２に与えられ、３次元表示される。なお、ディスプレイ情報を画像に加味し、視差量を変更することで、画像を作成しても良い。
【０１４５】
また、他視点画像生成部（第２視点画像生成部）８０での第２視点画像の生成において、視点が原点位置から別位置へと変化することにより、被写体のいずれの側の画像部分が視野内に新たに出現し、あるいは視野内から消失することがある。このような場合は、距離情報補正部５０によって、前述した距離情報の変化についての補正の程度が変更される。
【０１４６】
＜４．画像処理システムの基本動作＞
図２２は、本実施形態に係る画像処理システム１において実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため（図３および図４参照）、ここでは全体の流れのみ説明する。
【０１４７】
図２２に示すように、まず、ステップＳ１において、撮像部１０が、基準画像ＳＧおよび参照画像ＲＧを撮影し、両者の画像を取得する。ここでは、２台のカメラを用いて、基準画像ＳＧは基準カメラＭＣで得られた画像とし、参照画像ＲＧは参照カメラＳＣで得られた画像とするが、２台以上のカメラにより、画像の撮影および取得を行ってもよい。
【０１４８】
ステップＳ２では、撮像部１０によって取得された基準画像ＳＧの２次元画像に対し、境界線抽出部３０が、画像の領域境界線を抽出する。
【０１４９】
ステップＳ３では、ステップＳ２と並行して、距離計測部２０が、基準画像ＳＧ内の範囲に対して基準画像ＳＧと参照画像ＲＧとから対応点探索処理などを施して被写体各部への距離を演算によって求め、それに基づいて第１距離画像取得部４０が、第１距離画像Ｄ１を取得する。なお、ステップＳ２の領域境界線を抽出する工程とステップＳ３の距離を計測する工程とは順次処理しても良い。順番に関しては、先に境界線抽出（ステップＳ２）を行っても、距離計測（ステップＳ３）を実施しても何れでも良い。
【０１５０】
ステップＳ４では、第１距離画像Ｄ１上において、ステップＳ２で抽出された基準画像ＳＧ上の境界線に対応する位置に仮想境界線を設定し、補正範囲設定部４１が、当該仮想境界線の位置を基準として第１距離画像Ｄ１内に補正範囲を設定する。
【０１５１】
ステップＳ５では、補正判定部４２が、ステップＳ４で設定した補正範囲内の画素のうち、計測距離情報の補正有無の判定を実施する。すなわち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う。
【０１５２】
ステップＳ６では、ステップＳ５で判定した第１距離画像Ｄ１内の補正対象画素に対して、補正が実施される。すなわち、補正距離生成部４３が、第１距離画像Ｄ１内の各補正対象画素に対して補正距離を生成し、第２距離画像生成部６０が、第２距離画像Ｄ２を生成する。
【０１５３】
ステップＳ７では、視差画像生成部７０が、ステップＳ６で補正された距離情報に基づいて、第２距離画像Ｄ２を用いて原点位置から見た第１視差画像を生成する。
【０１５４】
ステップＳ８では、他視点画像生成部８０が、ステップＳ７で生成された第１視差画像に基づいて、原点位置とは異なる別位置から被写体を観察した距離画像としての第２視点画像（左右画像）を生成する。得られた左右画像は、液晶画面等のディスプレイ３２に与えられ、３次元表示される。
【０１５５】
＜５．変形例＞
※ 第１距離画像の生成の基礎となる被写体各部までの距離計測は、既述した対応点探索法だけでなく、下記のような方法で取得されてもよい。
【０１５６】
（１） ＴＯＦ（Time-of-Flight 距離画像センサ）
ＴＯＦ方式（例えば、特開２００１−３０４８１１等で公知技術）では、画像領域内の全画素に対して、距離計測を実施することが難しい。そこで、計測された画素以外の領域に対しては、計測点の補間を行うことが必要となる。補間方法としては、単純に周辺の情報による補間を行う方法があるが、補間を行うだけでなく、エッジ周辺においては、計測誤差が生じやすい。このため、この方法によって得られた第１距離画像について、既述したこの発明の実施形態の補正を行うことに特に意味がある。
【０１５７】
（２） 距離推定法
これは、２次元画像を３次元画像に変換する為に推定処理により立体視画像を生成する方法である。距離推定を用いた方法として、例えば、下記のような技術を採用することができる。
・３つのシーンモデルにより、撮影シーンを分類し、最も近いモデルにより立体形状を推定した後、画像の輝度情報などを基に前後に視差をずらして立体視画像を生成する技術であり、特開２００６−１８５０３３号公報や特開２００６−１８６５１０号公報などに開示されている。
・ 輝度情報を基に、視差の推定を行う技術であり、特開２００６−３１９４６９号公報などに開示されている。
・時系列情報をベースに距離の推定を行うことで、視差の生成を行う技術であり、特開２０００−２６１８２８号公報などに開示されている。
【０１５８】
上記方法においては、実際に距離計測を実施せず、距離を推定により算出していることから、推定に不得意な対象領域が存在する。そこで、既述した補正処理を実施することによってより正しい距離画像が得られる。
【０１５９】
以上のような距離計測を行う場合には、それによって距離画像が得られるから、距離情報を得るためにステレオカメラを用いる必要はなく、２次元画像としては、既述した実施形態における基準画像ＳＧのみを取得すればよい。
【０１６０】
※ 本実施形態では、補正判定を実施した後に補正処理を行ったが、これに限られず、下記方法により補正判定と補正処理とを併合して行っても良い。
【０１６１】
（方法１）
図１６で示されるように、設定した初期基準位置Ｑ１の距離情報値Ｓ（１）とその内側画素に相当する距離情報値Ｓ（２）との差分の値を算出する。この差分の絶対値が、所定の閾値以上の場合は、補正処理を実施する。
【０１６２】
この処理を領域境界線上の隣接する画素間において位置ＱＭに向かう方向に順次繰り返して実施する。そして、差分の絶対値｜Ｓ（Ｎ）−Ｓ（Ｎ−１）｜が所定の閾値以上の値を示す距離情報値Ｓ（Ｎ）が出現すれば、外側画素に相当する距離情報値Ｓ（Ｎ−１）をもって、距離情報値Ｓ（Ｎ）とする（この新たなＳ（Ｎ）の値をＳ’（Ｎ）と称する）。そして、距離情報値Ｓ（Ｎ）とその内側画素に相当する距離情報値Ｓ（Ｎ＋１）との差分計算においては、新たに置き換えられた距離情報値Ｓ’（Ｎ）を用いて、差分の絶対値｜Ｓ（Ｎ＋１）−Ｓ’（Ｎ）｜が算出される。
【０１６３】
以上のように、距離情報補正部５０は、補正判定と補正処理とを併合して、同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行ってもよい。
【０１６４】
（方法２）
図１７で示されるように、設定した初期基準位置Ｑ１の距離情報値Ｓ（１）とその内側画素に相当する距離情報値Ｓ（２）とを結ぶ直線の傾斜角θ（１）を算出する。この傾斜角が、所定の閾値以上の場合は、補正処理を実施する。この処理を領域境界線上の隣接する画素間において境界基準位置ＱＭに向かう方向に順次繰り返して実施する。そして、傾斜角θ（Ｎ）が所定の閾値以上の値を示す位置ＱＮが出現すれば、外側画素に相当する傾斜角θ（Ｎ−１）をもって、傾斜角θ（Ｎ）とする（この新たな傾斜角θ（Ｎ）をθ’（Ｎ）と称する）。なお、傾斜角をθ’（Ｎ）は、予め決めておいた固定値による補正でも良い。そして、距離情報値Ｓ（Ｎ＋１）と距離情報値Ｓ（Ｎ＋１）とから傾斜角θ（Ｎ＋１）を計算する際は、新たに置き換えられた距離情報値Ｓ’（Ｎ）を用いて、傾斜角θ（Ｎ＋１）が算出される。
【０１６５】
以上のように、距離情報補正部５０は、補正判定と補正処理とを併合して、同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行ってもよい。
【０１６６】
※ 本実施形態では、動作開始前に、上記第１〜第５補正方法のうち１つを予め選択した上で、補正処理を行ったが、これに限られない。例えば、第１距離画像Ｄ１の領域境界付近の状況によって第１距離画像Ｄ１の補正に使用する方法を画像部分ごとに切り替えるような場合に、使用する補正方法を選択する機能手段を設けても良い。
【符号の説明】
【０１６７】
１０ 撮像部
２０ 距離計測部
３０ 境界線抽出部
４０ 第１距離画像取得部
４１ 補正範囲設定部
４２ 補正判定部
４３ 補正距離生成部
５０ 距離情報補正部
６０ 第２距離画像生成部
７０ 視差画像生成部
８０ 他視点画像生成部
ＭＣ 主カメラ
ＳＣ 副カメラ
ＳＧ 基準画像
ＲＧ 参照画像
Ｄ１ 第１距離画像
Ｄ２ 第２距離画像
【特許請求の範囲】
【請求項１】
立体画像処理のための画像処理装置であって、
所定の原点位置から被写体各部への距離情報を表現した第１距離画像を取得する第１距離画像取得手段と、
前記被写体の２次元画像における前記被写体の複数の領域相互の境界線を抽出する境界線抽出手段と、
前記第１距離画像中において、前記２次元画像での前記境界線に対応する位置に仮想境界線を設定するとともに、前記第１距離画像のうち前記仮想境界線をはさんで互いに隣接する領域のうち少なくとも一方を補正範囲としつつ、前記仮想境界線に近づく方向についての距離情報の変化を抑制する補正を前記第１距離画像に対して行うことによって第２距離画像を生成する補正手段と、
を備え、
前記立体画像処理が、前記第２距離画像に基づいて行われることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記補正手段は、
前記仮想境界線の位置を基準として、前記補正範囲の設定を行う補正範囲設定手段、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記補正範囲設定手段は、
前記補正範囲として、前記第１距離画像において、前記仮想境界線からの平面距離が所定の値以下の画素範囲を設定することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記補正範囲設定手段は、
前記補正範囲として、前記第１距離画像において、前記仮想境界線の距離情報との相違量が所定の値以下の画素範囲を設定することを特徴とする画像処理装置。
【請求項５】
請求項２乃至請求項４のいずれかに記載の画像処理装置であって、
前記補正範囲設定手段は、
前記補正範囲として、前記仮想境界線の両側の領域を設定することを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置であって、
前記補正範囲設定手段は、
前記第１距離画像の全体を、前記補正範囲として設定することを特徴とする画像処理装置。
【請求項７】
請求項２乃至請求項６のいずれかに記載の画像処理装置であって、
前記補正範囲設定手段は、
前記仮想境界線が閉曲線を形成していない領域は、前記補正範囲から除外する例外処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項２乃至請求項７の何れかに記載の画像処理装置であって、
前記補正手段は、
前記補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う補正判定手段、
を備えることを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記補正判定手段は、
前記補正判定を、画素単位で行うことを特徴とする画像処理装置。
【請求項１０】
請求項８に記載の画像処理装置であって、
前記補正判定手段は、
前記補正判定を、２点間を結びかつ前記仮想境界線と交差する画素列を単位として行うことを特徴とする画像処理装置。
【請求項１１】
請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、
前記補正判定条件は、
判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報と、当該判定対象画素に隣接する画素の距離情報との差分の絶対値が、所定値以上となっているという条件であることを特徴とする画像処理装置。
【請求項１２】
請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、
前記補正判定条件は、
判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報の変化率の絶対値が、所定値以上となっているという条件であることを特徴とする画像処理装置。
【請求項１３】
請求項１乃至請求項１２のいずれかに記載の画像処理装置であって、
用語定義として、着目する補正対象画素に関して、
「交差画素列」を、当該補正対象画素を通りかつ前記仮想境界線と交差する線分の画素列によって定義し；
「外側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に近い側において当該補正対象画素に隣接する画素によって定義し；
「内側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に遠い側において当該補正対象画素に隣接する画素によって定義し；
「同一側画素列」を、前記交差画素列のうちで、前記仮想境界線を基準として当該補正対象画素と同じ側にある部分によって定義し；
「反対側画素列」を、前記交差画素列のうちで、前記仮想境界線をはさんで当該補正対象画素と反対側にある部分によって定義したとき、
前記補正手段は、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて、補正対象画素の距離情報の補正を行うこと特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行うことを特徴とする画像処理装置。
【請求項１５】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行うことを特徴とする画像処理装置。
【請求項１６】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
前記仮想境界線から離れた位置に基準位置を設定し、
前記基準位置での距離情報を第１距離情報とし、
前記基準位置から前記仮想境界線までの区間内の各補正対象画素について、前記基準位置に関して対称な位置にある画素の距離情報を第２距離情報としたとき、
前記補正対象画素についての補正後の距離情報と前記第１距離情報との差が、前記第１距離情報と前記第２距離情報との差の正負符号を反転させた値に比例するように前記補正対象画素についての補正を行うことにより、前記補正対象画素の距離情報の変化を抑制する補正を行うことを特徴とする画像処理装置。
【請求項１７】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
前記仮想境界線に近づく方向についての距離情報の変化を段階的に抑制する補正を行うことを特徴とする画像処理装置。
【請求項１８】
請求項１ないし請求項１７の何れかに記載の画像処理装置と、
前記第２距離画像を用いて前記原点位置から見た第１視差画像を生成する第１視差画像生成手段と、
前記視差画像生成手段によって生成された第１視差画像に基づいて、前記原点位置とは異なる別位置から前記被写体を観察した距離画像としての第２視点画像を生成する他視点画像生成手段と、
を備えることを特徴とする画像処理システム。
【請求項１９】
請求項１８に記載の画像処理システムであって、
前記補正手段は、
前記他視点画像生成手段での前記第２視点画像の生成において、視点が前記原点位置から前記別位置へと変化する方向に応じて、前記距離情報の変化の抑制を行う部分を選択することを特徴とする画像処理システム。
【請求項１】
立体画像処理のための画像処理装置であって、
所定の原点位置から被写体各部への距離情報を表現した第１距離画像を取得する第１距離画像取得手段と、
前記被写体の２次元画像における前記被写体の複数の領域相互の境界線を抽出する境界線抽出手段と、
前記第１距離画像中において、前記２次元画像での前記境界線に対応する位置に仮想境界線を設定するとともに、前記第１距離画像のうち前記仮想境界線をはさんで互いに隣接する領域のうち少なくとも一方を補正範囲としつつ、前記仮想境界線に近づく方向についての距離情報の変化を抑制する補正を前記第１距離画像に対して行うことによって第２距離画像を生成する補正手段と、
を備え、
前記立体画像処理が、前記第２距離画像に基づいて行われることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記補正手段は、
前記仮想境界線の位置を基準として、前記補正範囲の設定を行う補正範囲設定手段、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記補正範囲設定手段は、
前記補正範囲として、前記第１距離画像において、前記仮想境界線からの平面距離が所定の値以下の画素範囲を設定することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記補正範囲設定手段は、
前記補正範囲として、前記第１距離画像において、前記仮想境界線の距離情報との相違量が所定の値以下の画素範囲を設定することを特徴とする画像処理装置。
【請求項５】
請求項２乃至請求項４のいずれかに記載の画像処理装置であって、
前記補正範囲設定手段は、
前記補正範囲として、前記仮想境界線の両側の領域を設定することを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置であって、
前記補正範囲設定手段は、
前記第１距離画像の全体を、前記補正範囲として設定することを特徴とする画像処理装置。
【請求項７】
請求項２乃至請求項６のいずれかに記載の画像処理装置であって、
前記補正範囲設定手段は、
前記仮想境界線が閉曲線を形成していない領域は、前記補正範囲から除外する例外処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項２乃至請求項７の何れかに記載の画像処理装置であって、
前記補正手段は、
前記補正範囲内の画素のうち、所定の判定条件を満たす距離情報を持った画素のみを補正対象画素とする補正判定を行う補正判定手段、
を備えることを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記補正判定手段は、
前記補正判定を、画素単位で行うことを特徴とする画像処理装置。
【請求項１０】
請求項８に記載の画像処理装置であって、
前記補正判定手段は、
前記補正判定を、２点間を結びかつ前記仮想境界線と交差する画素列を単位として行うことを特徴とする画像処理装置。
【請求項１１】
請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、
前記補正判定条件は、
判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報と、当該判定対象画素に隣接する画素の距離情報との差分の絶対値が、所定値以上となっているという条件であることを特徴とする画像処理装置。
【請求項１２】
請求項８乃至請求項１０のいずれかに記載の画像処理装置であって、
前記補正判定条件は、
判定対象画素から前記仮想境界線に向かう方向についての、当該判定対象画素の距離情報の変化率の絶対値が、所定値以上となっているという条件であることを特徴とする画像処理装置。
【請求項１３】
請求項１乃至請求項１２のいずれかに記載の画像処理装置であって、
用語定義として、着目する補正対象画素に関して、
「交差画素列」を、当該補正対象画素を通りかつ前記仮想境界線と交差する線分の画素列によって定義し；
「外側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に近い側において当該補正対象画素に隣接する画素によって定義し；
「内側画素」を、前記交差画素列のうちで、当該補正対象画素よりも前記仮想境界線に遠い側において当該補正対象画素に隣接する画素によって定義し；
「同一側画素列」を、前記交差画素列のうちで、前記仮想境界線を基準として当該補正対象画素と同じ側にある部分によって定義し；
「反対側画素列」を、前記交差画素列のうちで、前記仮想境界線をはさんで当該補正対象画素と反対側にある部分によって定義したとき、
前記補正手段は、同一側画素列と反対側画素列とのうち、少なくとも同一側画素列の内側画素の距離情報を用いて、補正対象画素の距離情報の補正を行うこと特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
同一側画素列に属する補正対象画素の距離情報の値を、当該補正対象画素の内側画素の距離情報の値を用いて一定化する補正を行うことを特徴とする画像処理装置。
【請求項１５】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
同一側画素列に属する補正対象画素の距離情報の変化率を、当該補正対象画素の内側画素における距離情報の変化率を用いて一定化する補正を行うことを特徴とする画像処理装置。
【請求項１６】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
前記仮想境界線から離れた位置に基準位置を設定し、
前記基準位置での距離情報を第１距離情報とし、
前記基準位置から前記仮想境界線までの区間内の各補正対象画素について、前記基準位置に関して対称な位置にある画素の距離情報を第２距離情報としたとき、
前記補正対象画素についての補正後の距離情報と前記第１距離情報との差が、前記第１距離情報と前記第２距離情報との差の正負符号を反転させた値に比例するように前記補正対象画素についての補正を行うことにより、前記補正対象画素の距離情報の変化を抑制する補正を行うことを特徴とする画像処理装置。
【請求項１７】
請求項１３に記載の画像処理装置であって、
前記補正手段は、
前記仮想境界線に近づく方向についての距離情報の変化を段階的に抑制する補正を行うことを特徴とする画像処理装置。
【請求項１８】
請求項１ないし請求項１７の何れかに記載の画像処理装置と、
前記第２距離画像を用いて前記原点位置から見た第１視差画像を生成する第１視差画像生成手段と、
前記視差画像生成手段によって生成された第１視差画像に基づいて、前記原点位置とは異なる別位置から前記被写体を観察した距離画像としての第２視点画像を生成する他視点画像生成手段と、
を備えることを特徴とする画像処理システム。
【請求項１９】
請求項１８に記載の画像処理システムであって、
前記補正手段は、
前記他視点画像生成手段での前記第２視点画像の生成において、視点が前記原点位置から前記別位置へと変化する方向に応じて、前記距離情報の変化の抑制を行う部分を選択することを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−７９２５１（Ｐ２０１２−７９２５１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２６３５８（Ｐ２０１０−２２６３５８）
【出願日】平成２２年１０月６日（２０１０．１０．６）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月６日（２０１０．１０．６）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]