画像処理装置、および画像処理方法、並びにプログラム
【課題】距離画像や視差画像に含まれるエラーを低減する補正処理を行う画像処理装置、方法を提供する。
【解決手段】被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、距離画像と、ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、距離画像合成部は、エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で距離画像とノイズ低減距離画像の合成比率を設定した合成処理を実行して補正距離画像を生成する。
【解決手段】被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、距離画像と、ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、距離画像合成部は、エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で距離画像とノイズ低減距離画像の合成比率を設定した合成処理を実行して補正距離画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、距離画像（視差画像）の生成や補正を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、立体画像（ステレオ画像とも呼ばれる）を撮影可能としたカメラが普及してきている。例えば、レンズを左右に並べたステレオカメラにより、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される両眼視差画像を撮影するものである。
【０００３】
これらの左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置（３Ｄ表示装置）に表示することで、観察者は画像を立体画像、すなわち３次元（３Ｄ）画像として視聴できる。
【０００４】
このような左眼用画像と右眼用画像は、立体画像として視聴することのみならず、様々な用途に無利用できる。例えば、立体画像として撮影された被写体に対するカメラからの距離を求め、その距離に応じて画像上の対象物を切り出し、他の画像と合成する処理や、立体的なオブジェクトを３次元空間で再現する処理などが実現されている。
【０００５】
この様な立体画像の活用において重要な要素の１つとして、カメラから撮影被写体までの距離を正確に算出することがある。被写体までの距離情報の表現手法としては、例えば距離の値を画像の濃淡で表現した距離画像がある。被写体距離は、左眼用画像と右眼用画像の画素位置のずれに相当する視差に対応するものであり、距離画像は視差画像と呼ばれることもある。
この距離画像（視差画像）を利用して、距離に応じた画像上の対象物を切り出す処理が行われる。このような処理において、距離画像の精度が品質向上の重要なポイントとなっている。
【０００６】
この距離画像の品質向上に関して、開示されている従来技術が存在する。例えば、特許文献１（特開平１１−１２０３５９号公報）は、距離画像を求め、隣接し、かつ、距離値が近い距離値を同じ距離値とし、同じ距離値同士でラベリングし、ラベル毎の面積を求め、面積が一定値以下のラベルが付いた視差をノイズとして、ノイズとされた距離値をもつ画素に対してノイズ除去のためにｍｅｄｉａｎ ｆｉｌｔｅｒ（中央値フィルタ）をかけ、距離画像を求めた元画像のノイズを除去し、元画像から求められる距離画像の精度を向上する手法を提案している。
【０００７】
しかしながら、この手法は局所的なノイズ除去の効果はあるが、広範囲にわたって発生した画像のずれなど、広い範囲の画像エラーを除去することは困難であるという問題がある。また、上記特許文献１においては、画像内に存在するノイズ領域を判定するために、画像の区分領域単位のラベリング処理を行い、各ラベリングされた領域単位で距離を求めて、距離単位の面積算出などを行う構成であり、処理コストが大きくなることが予想される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−１２０３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本開示は、例えば上記の状況に鑑みてなされたものであり、処理コストを低減し、より正確な距離画像（視差画像）を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、
前記距離画像合成部は、
前記エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理装置にある。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記エラー判定処理部は、前記距離画像の区分領域単位の分散値を算出する分散値計算処理部と、前記分散値計算処理部の算出した区分領域単位の分散値の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の類似度を判別する短冊間類似度計算部と、前記短冊間類似度計算部の算出した短冊間類似度の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記短冊領域は、３次元画像表示に適用する左眼用画像と右眼用画像によって構成されるステレオ画像の生成処理に際して利用される短冊の幅と同じ幅を有する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記短冊間類似度計算部は、距離画像における１つおきの短冊領域間の距離信号の差分絶対値和（ＳＡＤ）を短冊間類似度として算出する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の信号値の凹凸状況を検出してエラー度合いを反映した合成係数を生成して出力する短冊間凹凸判定部を有する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記短冊間凹凸判定部は、距離画像における３つの連続する短冊領域の距離信号の平均値を算出し、算出した３つの信号平均値から隣接する短冊間の信号平均値の差分を２つ算出して、算出した２つの差分に基づいて、短冊間凹凸の有無を判定し、該判定結果に応じた合成係数を生成して出力する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記短冊間凹凸判定部は、３つの連続する短冊領域の距離信号の平均値を平坦にするためのオフセット値を算出して出力する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記ローパスフィルタ処理部は、エッジ保存型ノイズ低減処理を実行する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記ローパスフィルタ処理部は、前記オフセット値を適用して、３つの連続する短冊領域の距離信号の平均値を平坦にする補正処理を行った距離画像に対してローパスフィルタを適用してノイズ低減距離画像を生成する。
【００２０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理ステップと、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理ステップと、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成ステップを実行し、
前記距離画像合成ステップにおいては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理方法にある。
【００２１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成処理を実行させ、
前記距離画像合成処理においては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成させるプログラムにある。
【００２２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本開示の一実施例構成によれば、距離画像や視差画像に含まれるエラーを低減する補正処理を行う画像処理装置、方法が実現される。
具体的には、被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、距離画像と、ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、距離画像合成部は、エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で距離画像とノイズ低減距離画像の合成比率を設定した合成処理を実行して補正距離画像を生成する。
この処理によって、距離画像や視差画像に含まれるエラーを低減する補正された距離画像や視差画像を生成することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】立体像の知覚原理と立体像の知覚距離について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】エラー信号判定処理部の一実施例について説明する図である。
【図４】距離画像に発生するエラーの一例について説明する図である。
【図５】エラー信号判定処理部における非線形変換処理部の実行する分散値から合成係数（ｅｒｒ）を算出する処理例について説明する図である。
【図６】距離画像における短冊状のエラーについて説明する図である。
【図７】距離画像における短冊状のエラーについて説明する図である。
【図８】距離画像における短冊状のエラーが発生する理由について説明する図である。
【図９】距離画像における短冊状のエラーが発生する理由について説明する図である。
【図１０】短冊単位でまとまって発生する距離画像のエラー判定処理として有効な手法について説明する図である。
【図１１】エラー信号判定処理部の一実施例について説明する図である。
【図１２】エラー信号判定処理部の短冊間類似度計算部の構成例について説明する図である。
【図１３】エラー信号判定処理部の一実施例について説明する図である。
【図１４】エラー信号判定処理部の一短冊間凹凸判定部の構成について説明する図である。
【図１５】エラー信号判定処理部の一実施例について説明する図である。
【図１６】エッジ保存型ＬＰＦ処理部の一実施例について説明する図である。
【図１７】エッジ保存型ＬＰＦ処理部の一実施例について説明する図である。
【図１８】短冊間凹凸補正部の構成例について説明する図である。
【図１９】本開示の画像処理装置の生成する補正距離画像を適用した処理例について説明する図である。
【図２０】距離画像の生成シーケンスについて説明するフローチャートを示す図である。
【図２１】距離画像から得られる被写体距離を適用した被写体切り出し処理のシーケンスについて説明するフローチャートを示す図である。
【図２２】距離画像の補正処理シーケレンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．立体像の知覚原理と立体像の知覚距離について
２．画像処理装置の構成例について
３．エラー信号判定処理部の第１構成例
４．短冊単位で発生するエラーについての説明
５．エラー信号判定処理部の第２構成例
６．エラー信号判定処理部の第３構成例
７．３種類のエラー信号判定処理を併用する構成例について
８．エッジ保存型ＬＰＦの構成例について
９．本開示の処理によって得られる補正された高精度な距離画像を適用するアプリケーションの例について
１０．本開示の構成のまとめ
【００２７】
［１．立体像の知覚原理と立体像の知覚距離について］
図１以下を参照して立体像の知覚原理と立体像の距離について説明する。
図１に示す様に、左眼用画像１１を観察者の左眼２１で観察し、右眼用画像１２を右眼２２で観察する。左眼用画像１１と、右眼用画像１２には、被写体距離に応じた画像の位置ずれ（視差）があり、この視差に応じて知覚距離が変更され、観察者は、立体画像として観察することができる。
【００２８】
左眼用画像１１と右眼用画像１２における同一被写体の画素位置のずれ＝視差ｄとし、知覚した立体像の距離：知覚立体像距離Ｌｄとする。
この視差ｄと知覚立体像距離Ｌｄの関係は、
観察者の眼の位置から表示面までの距離：視距離＝Ｌｓ、
観察者の両眼の間隔＝ｄｅ、
としたとき、以下の（式１）で示される。
【００２９】
【数１】
・・・（式１）
【００３０】
このように、視距離Ｌｓが決定されると、視差ｄと知覚立体像距離Ｌｄは、一方の値が決定すれば他方の値が決定される１対１対応の相互依存データである。
すなわち、前述したように、
（ａ）知覚立体像距離Ｌｄ：観察者の知覚する距離（≒被写体距離）、
（ｂ）視差ｄ：左眼用画像と右眼用画像における同一被写体の画素位置のずれ量、
これら（ａ），（ｂ）の値は、１対１対応の相互依存データである。
【００３１】
以下の実施例の説明では、知覚立体像距離（被写体距離）データを用いた処理として説明するが、被写体距離データの代わりに視差データを適用した処理として実行することも可能である。
以下の説明において、距離画像は、被写体までの距離情報または視差情報を有する画像であるものとして説明する。
【００３２】
［２．画像処理装置の構成例について］
図２は、本開示の画像処理装置の基本構成例を示す図である。距離画像１１０は、ステレオ視可能な左眼用画像と右眼用画像から求められる。距離画像は、撮影された画像上の被写体距離（知覚立体像距離＝観察者や撮影カメラからの距離）を例えば白〜黒の濃淡画像情報として示した画像である。
【００３３】
なお、前述したように被写体距離は、左眼用画像と右眼用画像における対応画素位置のずれ量に相当する視差から求められる。したがって距離に応じた濃淡情報は、被写体距離を示すと同時に視差量も示しており、距離画像は視差画像とも呼ばれる。
すなわち、距離画像と視差画像は等価な画像データである。
以下の実施例では、画素単位で被写体までの距離に応じたデータ（距離信号）を有する距離画像を適用した実施例として説明するが、距離画像の代わりに、画素単位で視差信号を有する視差画像を適用した処理として実行することも可能である。
従って、以下の説明において、距離画像は、被写体までの距離情報または視差情報を有する画像として説明する。
【００３４】
図２に示すように、距離画像１１０は、
エラー信号判定処理部１２０、
距離画像合成部１４０、
エッジ保存型ＬＰＦ処理部１６０、
これらに入力される。
【００３５】
エラー信号判定処理部１２０は、距離画像１１０を入力し、距離画像１１０に含まれる被写体距離を示す距離信号（＝視差信号）を解析して、距離信号（視差信号）にエラーが発生しているか否かを判定しエラーの度合いを数値で出力する。
【００３６】
エラー信号判定処理部１２０において実行するエラー判定処理としては、例えば以下の値のいずれか、または複数の値を算出して、これらの算出値に基づくエラー判定処理を行う。
（１）距離画像の所定領域単位のばらつき度（分散値）、
（２）距離画像の短冊間の類似度を示す値、
（３）距離画像の短冊間の凸凹度を示す値、
なお、上記（２）、（３）において利用する短冊とは、距離画像１１０を横（水平）方向に任意の幅に不均等または均等に分割した分割領域を意味する。
これらの処理については後段で詳細に説明する。
【００３７】
図２に示すように、距離画像１１０は、エッジ保存型ＬＰＦ処理部１６０に入力される。
エッジ保存型ＬＰＦ処理部１６０は、距離画像１１０に含まれるノイズを除去するフィルタ適用処理を行う。エッジ保存型のローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を適用したフィルタ処理を施す。
このＬＰＦ処理は、一般的に知られているエッジ保存型ＬＰＦであればよく、例えば、εフィルタやバイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ）等が用いられる。
【００３８】
エッジ保存型ＬＰＦ処理部１６０において、ＬＰＦ処理された距離画像は、距離画像合成部１４０において、元の距離画像１１０と合成する。
合成処理は、エラー信号判定処理部１２０から出力される領域単位のエラー度合いを示す数値に応じた合成処理を実行する。
【００３９】
なお、エラー信号判定処理部１２０から出力される領域単位のエラー度合いを示す数値は、
エラー度合い＝０．０〜１．０
とする。
０．０がエラー度合いが最も弱く、１．０がエラー度合いがもっとも強いことを示す。
【００４０】
距離画像合成部１４０は、エラー信号判定処理部１２０から出力される領域単位のエラー度合いを合成係数（ｅｒｒ）として適用して、以下の（式２）に従った合成処理を実行する。
【００４１】
【数２】
・・・（式２）
【００４２】
ただし、
Ｄｏｕｔ：合成後の補正距離画像１５０の画素値（距離信号）、
Ｄｉｎ：入力した元の距離画像１１０の画素値（距離信号）、
ｅｒｒ：エラー度合い（＝合成係数）
ＤｉｎＬＰＦｅｄ：エッジ保存型ＬＰＦ処理部１６０においてＬＰＦ処理された距離画像
【００４３】
上記（式２）は、入力する距離画像１１０のエラー度合いの高い画素領域については、エッジ保存型ＬＰＦ処理部１６０においてＬＰＦ処理された距離画像の合成比率（ブレンド比率）を高く設定し、入力する距離画像１１０のエラー度合いの低い画素領域については、入力する距離画像の合成比率（ブレンド比率）を高く設定した合成処理（ブレンド処理）によって、補正距離画像１５０を生成する処理を示している。
【００４４】
距離画像合成部１４０は、上記（式２）にしたがって、ＬＰＦ処理された距離画像と元の距離画像１１０の合成処理を実行する。
合成処理された距離画像は補正距離画像１５０として出力される。
【００４５】
［３．エラー信号判定処理部の第１構成例］
図３にエラー信号判定処理部１２０の一例を示す。
図３に示すように、エラー信号判定処理部１２０は、
分散値計算処理部１２１、
非線形変換処理部１２２、
を有する。
【００４６】
エラー信号判定処理部１２０に入力された距離画像１１０は、分散値計算処理部１２１において、まず、距離画像を予め規定したＮ×Ｍ画素の区分領域に分割し、区分領域単位で画素値の分散値を計算する。
なお、前述したように、距離画像は被写体距離に応じた画素値を有する画像である。
【００４７】
図４に、距離画像にエラーのない場合と、エラーのある場合の画像例を示す。
（ａ）エラーのない距離画像、
（ｂ）エラーが発生した距離画像、
これら２つの画像の例を示している。
【００４８】
図に示すように、（ｂ）エラーが発生した距離画像には、ところどころに、周囲とは大きく異なる画素値を持つ領域（図に示す黒い線）が発生している。
このように、エラー発生領域では距離画像の画素値（距離信号）のばらつき度合いが大きくなる。この例ではばらつき度合いをエラー信号の判定に用いるため分散値を利用する。
【００４９】
ただし、この構成においては、距離画像における領域単位のばらつき度合いを求めることができればよいので、ばらつき度合いと相関がある値であれば分散値に限定されず、その他の指標値を利用してもよい。例えば、区分領域単位の画素値の標準偏差を利用する構成としてもよい。
【００５０】
図３に示す分散値計算処理部１２１において求められた区分領域（Ｎ×Ｍ画素）単位の分散値は非線形変換処理部１２２に入力される。
非線形変換処理部１２２は、距離画像の区分領域単位のばらつき度合いを示す分散値を、距離画像合成部１４０で用いる合成係数（ｅｒｒ）に変換する処理を行う。
【００５１】
図５は、非線形変換処理部１２２において実行する非線形変換処理の一例を示している。横軸が、分散値計算処理部１２１からの入力信号（分散値）である。縦軸が、非線形変換処理部１２２における非線形変換処理後の出力、すなわち合成係数（ｅｒｒ）を示している。
【００５２】
非線形変換処理部１２２は、入力された分散値（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、合成係数［ｅｒｒ］（Ｏｕｔ）を出力する。すなわち、
Ｏｕｔ＝ｆ（Ｉｎ）
とする。
この変換処理に適用する関数ｆ（ｘ）は、様々な関数が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、以下の（式３）に示す指数関数が適用できる。
ｆ（ｘ）＝ｘβ ・・・（式３）
【００５３】
非線形変換処理部１２２は、上記の（式３）に示されるような指数関数を適用して、入力された分散値（Ｉｎ）の非線形変換処理を行い、例えば図５に示すような入力分散値（Ｉｎ）から出力する合成係数（ｅｒｒ）を生成して出力する。
【００５４】
なお、上記（式３）において、βは予め設定した係数であり、様々な値に設定可能である。また、非線形変換処理部１２２における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
【００５５】
［４．短冊単位で発生するエラーについての説明］
図６に、距離画像に発生する別のエラー例を示す。この例では、短冊状に距離信号のエラーが発生している。
このような短冊単位のエラーは、カメラを水平方向に移動（スイング）させて連続撮影した複数の撮影画像を利用して、各画像から短冊城に切り分けた短冊画像を再合成して、Ｄ画像表示に適用する左眼用画像と右眼用画像を生成する処理を行った場合に発生しやすい。
この様なエラーが発生する左眼用画像と右眼用画像の生成例を図７に示す。図７に示す様に、水平方向に移動（スイング）させて連続撮影した複数の撮影画像から切り出した短冊画像を再度合成することで、左眼用画像と右眼用画像を生成する手法である。
このような３Ｄ画像生成処理を行うと、図６に示す様な短冊状にオフセットが付いた様なエラーが発生する場合がある。
このようなエラーが発生する理由について、図８、図９を参照して説明する。
図７に示すような、短冊状の画像を左眼用画像と右眼用画像とに合成するステレオ画像の撮影手法では、左眼用画像を構築するための短冊と、右眼用画像を構築するため、左眼用画像と右眼用画像とで異なる撮影位置、すなわち異なる撮影時刻の撮影画像から切り出した短冊を利用している。
【００５６】
例えば、図８に示すような画像３００に対応する（ａ）左眼用画像を構築するための短冊画像３０１と、（ｂ）右眼用画像を構築するための短冊画像３０２は、図に示すような撮影時間ｔ，ｔ＋１，ｔ＋２，・・・の各時間に連続撮影された複数の画像から切り出した短冊画像の合成処理によって生成される。
【００５７】
図８に示すように、時刻ｔからｔ＋４にわたって撮影された複数の画像から、短冊を切り出して合成することで、（ａ）左眼用画像と（ｂ）右眼用画像が生成される。
【００５８】
これらの各短冊領域の画像は、例えば撮影者が手でカメラを水平方向にスイングさせて撮影される画像である。この撮影処理に際して、水平方向にのみ正確に移動されれば問題ないが、多くの場合、カメラの垂直方向の移動や回転などが発生してしまう。
【００５９】
例えば、時刻ｔ＋１とｔ＋２において、被写体方向軸を中心とした回転変動がカメラに加わったとする。
例えば、（ａ）左眼用画像を構成する短冊画像３０３と、（ｂ）右眼用画像を構成する短冊画像３０４の短冊が回転変動により回転して撮影されてしまった短冊を示す。
これらの短冊画像３０３，３０４から明らかなように、回転変動の結果、同じ被写体が異なる角度で写されてしまう現象が発生する。
【００６０】
このような回転変動が発生した短冊を合成した結果を、図９に示すように、左眼用画像３２１，右眼用画像３２２として利用する。
これら、左眼用画像３２１と，右眼用画像３２２から求められた距離画像を距離画像３２３として図９に示す。
【００６１】
一般的に、距離画像は、左眼用画像と右眼用画像上の、同じ被写体間の視差を求めることで、被写体までの距離を求める。
図９では、例えば短冊画像３２、３２５、３２８で示した左眼用画像の短冊と右眼用画像の短冊間の視差から距離を求めることになる。
【００６２】
本例では、時刻ｔ＋１とｔ＋２において、被写体方向軸を中心とした回転変動がカメラに加わっているので、短冊３２４の左眼用画像の短冊と、右眼用画像の短冊の組みに着目する。
これらの、短冊の組みにおいて、左眼用画像の短冊では正常、右眼用画像の短冊では回転変動が加わっている。
【００６３】
この結果、距離画像３２３において、短冊の組み３２４から求められた距離画像の短冊領域３２６はエラーが含まれた距離画像となる。
また、短冊３２５の組みでは、左眼用画像の短冊と右眼用画像の短冊の両方に回転変動が加わっており、両方の短冊に同じ回転変動が加わるため、求められる距離画像の短冊領域３２７は正しい距離画像となる。
【００６４】
さらに、短冊３２８の組みでは、短冊３２４と同様の理由で、距離画像の短冊領域３２９はエラーが含まれた距離画像となる。
このように、距離画像には、被写体方向軸を中心とした回転変動がカメラに加わった場合の距離画像のエラーは、距離画像の短冊領域の一つおきに発生する。
【００６５】
この様な短冊単位のエラー判定には、前述の図３で説明した画素領域単位のばらつきを求める手法、すなわち、距離画像のＮ×Ｍ画素単位の画素値の分散値を算出して、分散値に基づいてエラーを判定する手法は適用できない。
【００６６】
［５．エラー信号判定処理部の第２構成例］
上述した短冊単位でまとまって発生する距離画像のエラー判定処理として有効な手法について、以下説明する。
図１０を参照して、このエラー判定手法の一例について概略を説明する。
【００６７】
前述した、短冊上に撮影された画像を用いてのステレオ画像の生成では、距離画像に含まれる距離信号のエラーは短冊内ではなく短冊間で発生する。そこで、距離画像をステレオ画像としての左眼用画像と右眼用画像の画像生成に適用した短冊と同じ位置で分割する。もちろん、これは、仮想的な分割でもかまわない。
【００６８】
続いて、距離画像に含まれる距離信号のエラーを検出する水平方向の処理ラインを設定する。
短冊間にエラーが発生するので、処理ラインのＮ番目の短冊とＭ番目の短冊を比較することによりその短冊にエラーが発生しているか否かを判定する。本手法では、判定手法として水平の処理ラインのＮ番目の短冊とＭ番目の短冊間の類似度を求め、類似度が大きければエラーが発生していると判定する。
【００６９】
このエラー判定手法を用いたエラー信号判定処理部１２０の構成例を、図１１に示す。
図１１に示すエラー信号判定処理部１２０は、先に説明した図２の画像処理装置のエラー信号判定処理部１２０の一構成例を示し、特に短冊単位のエラーの検出に有効な構成を持つ。
【００７０】
図１１に示すエラー信号判定処理部１２０の構成と処理について説明する。
エラー信号判定処理部１２０は、図１１に示すように、
短冊間類似度計算部１２３、
非線形変換処理部１２４、
を有する。
【００７１】
エラー信号判定処理部１２０に入力された距離画像１１０は、短冊間類似度計算部１２３において、図１０を参照して説明した水平方向の処理ライン単位に任意のＮ番目の短冊とＭ番目の短冊間とで類似度を計算する。
【００７２】
図１２を参照して、短冊間類似度計算部１２３の詳細構成と処理について説明する。
短冊間類似度計算部１２３には、距離画像１１０の距離信号が、水平方向の走査ラインに従って入力される。
走査ラインに従って入力された距離信号は処理ライン単位に画像バッファＡ１２５、画像バッファＢ１２６、画像バッファＣ１２７に格納される。それぞれのバッファの幅は短冊と等しくなっている。
【００７３】
各パッファの格納データは、例えば図１２に示すように、図１２に示す距離画像４０１の短冊単位の距離画像が格納される。すなわち、
画像バッファＡ１２５には、Ｎ番目の短冊の距離信号からなる距離画像データ、
画像バッファＢ１２６には、Ｎ＋１番目の短冊の距離信号からなる距離画像データ、
画像バッファＡ１２７には、Ｎ＋２番目の短冊の距離信号からなる距離画像データ、
これらの距離信号データが格納される。
【００７４】
ＳＡＤ（差分絶対値和：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）計算部１２８は、画像バッファＡ１２５と画像バッファＣ１２７とに格納された、同一の水平ラインの１つおきの短冊間の距離信号の差分絶対値和を算出する。
【００７５】
ＳＡＤ計算部１２８は、１つおきの短冊間のＳＡＤ（差分絶対値和）ＲＳＡＤを以下の（式４）に従って算出する。
【００７６】
【数３】
・・・（式４）
【００７７】
なお、
ＤＡ（ｉ）：画像バッファＡ１２５の位置ｉの距離信号
ＤＣ（ｉ）：画像バッファＣ１２７の位置ｉの距離信号
ＲＳＡＤ：ＳＡＤ（差普選絶対値和）
Ｎ：画像バッファＡ１２５のサイズ
である。
【００７８】
この差分絶対値和は、各短冊間の類似度を示す。ＳＡＤ計算部１２８の算出した差分絶対値和（ＳＡＤ値）は、非線形変換処理部１２４に出力される。
非線形変換処理部１２４は、先の実施例で説明した例えば図５に示す非線形変換関数ｆ（ｘ）を適用して、上記のＳＡＤ（差分絶対値和）ＲＳＡＤの非線形変換処理を実行して、距離画像合成部１４０に出力する合成係数（ｅｒｒ）を生成して出力する。
【００７９】
なお、本実施例では、各短冊間の信号の類似度を示す指標値としてＳＡＤ（差分絶対値和）を適用した処理例について説明したが、他の類似度を求めるアルゴリズムを用いる構成としてもよい。例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）の他、正規化相互相関等（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ―Ｃｏｒｒｅｌａｔｉｏｎ）等を用いることも可能である。
【００８０】
また、図１２に示す構成では、バッファサイズを短冊幅に合わせ、３つのバッファを用いることにより、Ｎ番目の短冊とＮ＋２番目の短冊間とで類似度を計算しているが、この構成は元のステレオ画像をどのように短冊から生成しているかに依存するため、この構成のかぎりではない。
例えば、短冊の幅が不均等である場合は、短冊境界情報の入力と、距離信号から比較する短冊の範囲内の距離信号を取得する手段とで、短冊幅に合わせて類似度を求めることができるように構成する必要がある。
【００８１】
［６．エラー信号判定処理部の第３構成例］
次に、図１３以下を参照して、図６〜図９を参照して説明した短冊単位のエラー判定処理のもう１つの処理例について説明する。
図６〜図９を参照して説明した短冊単位でエラーが発生した場合、短冊単位の距離信号の平均値に注目すると、平均値が短冊単位で大きく変化する。
先に図８、図９を参照して説明したように、エラーの発生した短冊は１つおきに設定される可能性が高い。
【００８２】
従って、エラーの発生短冊を含む距離画像は、短冊の距離信号の平均値が１つおきに大きく異なる傾向がある。すなわち、短冊間で距離信号の平均値が凸凹している。そこで、短冊単位に視差が凸凹していることを検出した場合にエラーありと判定することができる。
【００８３】
この手法を用いた、エラー信号判定処理部１２０の一例を、図１３に示す。
図１３に示すエラー信号判定処理部１２０は、先に説明した図２の画像処理装置のエラー信号判定処理部１２０の一構成例を示し、特に短冊単位のエラーの検出に有効な構成を持つ。
【００８４】
本処理例におけるエラー信号判定処理部１２０は、図１３に示すように、
短冊間凹凸判定部１２９、
を有する。
【００８５】
エラー信号判定処理部１２０に入力された距離画像１１０は、短冊間凹凸判定部１２９において、先に図１０を参照して説明した水平方向の処理ラインに沿って、Ｎ番目とＮ＋１番目とＮ＋２番目の短冊間で、各短冊の距離信号の平均値に凹凸が存在するか否かを判定する。
【００８６】
図１４を参照して、短冊間凹凸判定部１２９の詳細構成と処理について説明する。
エラー信号判定処理部１２０に入力された距離画像１１０は、処理ライン単位に画像バッファＤ１３１、画像バッファＥ１３２、画像バッファＦ１３３に送られて格納される。それぞれのバッファの幅は短冊と等しくなっている。
【００８７】
各パッファの格納データは、例えば図１４に示すように、図１４に示す距離画像４０２の短冊単位の距離画像が格納される。すなわち、
画像バッファＤ１３１には、Ｎ番目の短冊の距離信号からなる距離画像データ、
画像バッファＥ１３２には、Ｎ＋１番目の短冊の距離信号からなる距離画像データ、
画像バッファＦ１３３には、Ｎ＋２番目の短冊の距離信号からなる距離画像データ、
これらの距離信号データが格納される。
【００８８】
各バッファに格納された距離画像データに基づいて、Ｎ番目短冊の平均値計算器１３４、Ｎ＋１番目短冊の平均値計算器１３５、Ｎ＋２番目短冊の平均値計算器１３６において、Ｎ〜Ｎ＋２番目の各短冊領域の短冊毎の平均値が計算される。
【００８９】
凹凸判定・オフセット値算出処理部１３７では、
Ｎ番目短冊と、Ｎ＋１番目短冊と、Ｎ＋２番目短冊の平均値の関係が、
（１）Ｎ番目の平均値＜Ｎ＋１番目の平均値、かつ、Ｎ＋１番目の平均値＞Ｎ＋２番目の平均値、
（２）Ｎ番目の平均値＞Ｎ＋１番目の平均値、かつ、Ｎ＋１番目の平均値＜Ｎ＋２番目の平均値、
上記（１）または（２）のいずれかが成立したか否か判定する。
【００９０】
上記の（１）または（２）が成立していれば、エラーと判定される合成係数（ｅｒｒ）、本実施例ではｅｒｒ＝１．０を距離画像合成部１４０に出力する。
上記の（１）、（２）のいずれも成立していなければ、エラーではないと判定される合成係数（ｅｒｒ）、本実施例ではｅｒｒ＝０．０を距離画像合成部１４０に出力する。
【００９１】
なお、図１４に示す構成では、バッファサイズを短冊幅に合わせ、３つのバッファを用いることにより、Ｎ番目の短冊とＮ＋１番目の短冊とＮ＋２番目の短冊の平均値を求め、凹凸の判定を行っているが、この構成は元のステレオ画像をどのように短冊から生成しているかに依存するため、この構成のかぎりではない。
【００９２】
例えば、短冊の幅が不均等である場合は、短冊境界情報の入力と、距離信号から比較する短冊の範囲内の距離信号を取得する手段とで、短冊幅に合わせて類似度を求めることができるように構成する必要がある。
【００９３】
続いて、凹凸判定・オフセット値算出処理部１３７で求めるオフセット値について説明する。このオフセット値の使用例については後述する。
短冊間の距離信号の平均値が凹凸であることが検出された場合、短冊の平均値を平坦にすることでエラー補正が可能であると考えられる。
【００９４】
そこで、本実施例では、Ｎ番目短冊とＮ＋１番目短冊とＮ＋２番目短冊の距離信号の平均値が平坦になるように、以下の（式５）に従って距離信号のオフセット値を算出する。
【００９５】
【数４】
・・・・・（式５）
【００９６】
ただし、
ＡｖｅＮ：Ｎ番目短冊の距離信号の平均値
ＡｖｅＮ＋１：Ｎ＋１番目短冊の距離信号の平均値
ＡｖｅＮ＋２：Ｎ＋２番目短冊の距離信号の平均値
【００９７】
なお、上記（式５）において、（×１／２）の項は、オフセット値の効果の強弱を決定する調整パラメータであり、効果をみて、最適な値に変更するといった調整をおこなうことが好ましい。上記式に従って求められたオフセット値は、後述の短冊間凹凸補正部１７０の補正処理において用いられる。
【００９８】
［７．３種類のエラー信号判定処理を併用する構成例について］
これまで、３種類のエラー信号判定処理の例を示したが、これらを全て使用することも可能である。そのエラー信号判定処理部１２０の構成例を、図１５に示す。
【００９９】
図１５に示すエラー信号判定処理部１２０は、
（ａ）［ｘ．エラー信号判定処理部の第１構成例］において、図３を参照して説明した分散値計算処理部１２１と非線形変換処理部１２２、
（ｂ）［ｘ．エラー信号判定処理部の第２構成例］において、図１１を参照して説明した短冊間類似度計算部１２３と非線形変換処理部１２４、
（ｃ）［ｘ．エラー信号判定処理部の第３構成例］において、図１３を参照して説明した短冊間凹凸判定部１２９、
これらを並列に設定した構成を持つ。
【０１００】
本実施例では、上記（ａ）〜（ｃ）のエラー判定処理の出力を０．０〜１．０の範囲とし、１．０の時にエラー度合いがもっとも強いとしているので、それぞれの出力の乗算を、乗算部５０１，５０２において算出して、この算出結果をエラー判定結果として、これを合成係数（ｅｒｒ）として距離画像合成部１４０に出力することを可能としている。
なお、これ以外の構成も可能であり、例えばそれぞれのエラー度合いに任意の係数をかけ、エラー度合いに重みをつけて入力距離信号のエラー特性に合わせる構成としてもよい。
【０１０１】
［８．エッジ保存型ＬＰＦの構成例について］
先に、図２を参照して説明したように、距離画像合成部１４０において、合成係数（ｅｒｒ）に応じて合成される処理対象画像は、
（１）入力する距離画像１１０（＝Ｄｉｎ）、
（２）エッジ保存型ＬＰＦ処理部の出力するフィルタ処理画像（＝ＤｉｎＬＰＦｅｄ）、
これらの２つの画像である。
【０１０２】
エッジ保存型ＬＰＦ処理部１６０では、距離画像１１０に含まれるノイズ低減を目的としたエッジ保存型のフィルタ適用処理が実行される。
この処理に適用されるフィルタの一例として、εフィルタの構成例を図１６に示す。
εフィルタは、入力画素値をｘ（ｎ）、出力画素値をｙ（ｎ）としたとき、以下の（式６）によって定義されるフィルタである。
【０１０３】
【数５】
・・・・・（式６）
【０１０４】
ここで、ｆ（）は、以下の（式７）で定義される関数である。
【０１０５】
【数６】
・・・・・（式７）
【０１０６】
上記（式７）中のαは、
α＝０またはα＝ε等が定義可能である。
また、
上記（式６）に示すａｋは非再帰型線形低域型フィルタ（ＦＩＲフィルタ）のフィルタ係数であり、直流成分を保存するために総和が１．０となるように設定する。
【０１０７】
エッジ保存型ＬＰＦ処理部１６０において適用されるεフィルタは、図１６に示す構成を有する。図１６に示す例は、Ｎ×２＋１ＴＡＰのεフィルタを構成するブロック図であり、一般的なＦＩＲフィルタの構成をとる。
εフィルタの構成は、遅延器Ｄで保持される距離画像の画素値（距離信号）を、ｋ＝０の中央の画素値（距離信号）との差をとり、関数ａｋ×関数ｆ（ｘ）の演算処理を実行し、タップ長分の合計をとる構成である。
【０１０８】
エッジ保存型ＬＰＦ処理１６０の別の構成例を図１７に示す。
この図１７に示す構成は、先に、図１３、図１４を参照して説明した短冊間凹凸判定部１２９を有する構成において適用可能な構成である。
図１７に示すように、エッジ保存型ＬＰＦ処理１６０は、入力として、距離画像１１０ではなく、短冊間凹凸判定部１２９で求められたオフセット値に従って、短冊間凹凸補正部１７０で補正した距離画像を入力する。
【０１０９】
短冊間凹凸補正部１７０の構成例を図１８に示す。
短冊間凹凸補正部１７０は、距離画像の距離信号を水平ライン単位で順次入力し、さらに、短冊間凹凸判定部１２０の生成したオフセット値を入力する。
【０１１０】
入力された距離信号は処理ライン単位に画像バッファＧ１７１、画像バッファＨ１７２に送られる。それぞれのバッファの幅は、先に図１４を参照して説明した短冊間凹凸判定部１２９の画像バッファＤ１３１、画像バッファＥ１３２と同じ幅となっており、短冊間凹凸判定部で求められた補正値が同じ短冊上の距離信号へ反映される様に構成されている。
【０１１１】
画像バッファＨ１７２より出力された短冊単位の距離画像の距離信号に対して、短冊間凹凸判定部１２９で求めたオフセット値、すなわち、先に説明した（式５）に従って算出したオフセット値を加算したオフセット加算距離画像を生成して、エッジ保存型ＬＰＦ処理部１６０へ出力する。
エッジ保存型ＬＰＦ処理部１６０は、このオフセット加算距離画像に対して、エッジ保存型のノイズ低減処理フィルタを摘要してノイズ低減処理を行う。このオフセット加算距離画像の生成処理を加えることにより、ノイズ低減効果が高くなり、その後の合成処理におけるエラー信号の補正効果もより高くなる。
【０１１２】
［９．本開示の処理によって得られる補正された高精度な距離画像を適用するアプリケーションの例について］
次に、本開示の処理によって得られる補正された高精度な距離画像あるいは視差画像を摘要するアプリケーションの例について説明する。なお、距離画像（視差画像）は、デジタルカメラ、カムコーダ、携帯電話、ゲーム機器、コンテンツ編集機、ＰＣ、ＴＶ等の機器の様々なアプリケーションでも適用可能である。以下では、その一部の例について説明する。
【０１１３】
例として、図１９（Ａ）に示す様な左眼用画像と右眼用画像を入力し、図１９（Ｂ）に示す距離画像を求める。
次に、この（Ｂ）距離画像の距離情報を元に被写体と背景を分離し、図１９（Ｃ）の様に被写体だけを出力するアプリケーションについて説明する。
【０１１４】
まず、距離画像（＝視差画像）を求める処理シーケンスについて、図２０に示すフローチャートを参照して説明する。
この処理は、例えばＰＣ等の画像処理装置におけるデータ処理部、すなわち予め規定されたシーケンスに従ったプログラムを実行するＣＰＵ等を備えたデータ処理部において実行可能である。
【０１１５】
まず、ステップＳ１０１において、図１９（Ａ）に示すような左眼用画像と右眼用画像によって構成されるステレオ画像を入力する。次に、ステップＳ１０２において、入力されたステレオ画像、すなわち左眼用画像と右眼用画像を適用した視差検出処理を実行し、検出された視差情報に従った被写体距離の算出を実行する。視差および被写体距離は、例えば左眼用画像、あるいは右眼用画像の画素単位で算出する。
次に、ステップＳ１０３において、画素単位で算出した距離信号を反映した濃淡等の画素値信号を設定した距離画像を生成する。
【０１１６】
続いて、生成した距離画像を利用して、被写体を分離する処理について、図２１に示すフローチャートを参照して説明する。
すなわち、図１９（Ｂ）に示す距離画像を利用して、図１９（Ｃ）に示す被写体分離画像を生成する処理である。
この処理も、例えばＰＣ等の画像処理装置におけるデータ処理部、すなわち予め規定されたシーケンスに従ったプログラムを実行するＣＰＵ等を備えたデータ処理部において実行可能である。
【０１１７】
ステップＳ１１１、Ｓ１１２において、左（または右）眼用画像と、図２０を参照して説明したシーケンスによって求められた距離画像を入力する。
【０１１８】
次に、ステップＳ１１３において、左（または右）眼用画像の画素単位で、その画素の距離を距離画像から取得する。
次に、ステップＳ１１４において、画素単位の距離と、予め設定したしきい値（ｔｈ）とを比較する。
【０１１９】
ステップＳ１１４において、距離がしきい値（ｔｈ）以下と判断された画素領域については、所定距離より手前にある被写体領域であると判断し、ステップＳ１１５に進み、画素を出力する。
一方、ステップＳ１１４において、距離がしきい値（ｔｈ）より大きいと判断された画素領域については、所定距離より奥にある被写体領域であると判断し、ステップＳ１１６に進み、透明画素（画素値の設定なし、あるいは白または黒等の一色の画素値）を出力する。
ステップＳ１１７においてすべての画素について処理が終了したか判断し、全ての画素について処理が終了したのであれば、処理を終了する。
【０１２０】
この処理に従えば、例えば、図１９（Ｂ）に示すように、距離画像にエラーが含まれていなければ、図１９（Ｃ）に示すような特定の被写体を切り出すことができる。
しかしながら、通常は図１９（Ｄ）に示す距離画像のように、距離画像にエラーが含まれており、このようなエラーを含む距離画像を摘要すると、図２１に示すフローに従った処理を実行しても、例えば、図１９（Ｅ）に示すような被写体の正しい切り出しができない。
【０１２１】
しかし、図２以下を参照して説明した本開示の画像処理装置により、エラーの含まれる距離画像の補正を行い、正確な距離画像（＝視差画像）を求め、補正された距離画像を適用して図２１に示すフローを実行することで、図１９（Ｃ）に示すように特定の被写体を正確に切り出すことが可能となる。
【０１２２】
本開示の画像処理装置によって実行するエラーの含まれる距離画像の補正処理のシーケンスについて図２２に示すフローチャートを参照して説明する。
【０１２３】
まず、ステップＳ１５１において、図１９（Ａ）に示すような左眼用画像と右眼用画像によって構成されるステレオ画像を入力する。次に、ステップＳ１５２において、入力されたステレオ画像、すなわち左眼用画像と右眼用画像を適用した視差検出処理を実行し、検出された視差情報に従った被写体距離の算出を実行する。視差および被写体距離は、例えば左眼用画像、あるいは右眼用画像の画素単位で算出する。
次に、ステップＳ１５３において、画素単位で算出した距離信号を反映した濃淡等の画素値信号を設定した距離画像を生成する。
この距離画像にはエラーが含まれている可能性がある。
【０１２４】
なお、先に図２を参照して説明した構成では、すでに生成された距離画像を入力して補正処理を実行する構成として説明したが、図２２に示すフローのステップＳ１５１〜Ｓ１５３の処理を行う距離画像生成部を有する構成としてもよい。この場合、画像処理装置には、距離画像は入力されず、ステレオ画像としての左眼用画像と右眼用画像のみが入力される。
【０１２５】
ステップＳ１５４の距離画像補正処理は、図２〜図１８を参照して説明した画像処理装置において実行する距離画像補正処理である。
この距離画像補正処理によって、距離画像に含まれるエラーは除去または減少し、高精度な補正された距離画像が生成される。
ステップＳ１５５において、補正された距離画像を出力する。
【０１２６】
この補正された距離画像を摘要して、先に説明した図２１に示すフローに従った処理を実行することで、距離に応じた被写体切り出し処理をより正確に実行することが可能となる。
【０１２７】
［１０．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１２８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、
前記距離画像合成部は、
前記エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理装置。
【０１２９】
（２）前記エラー判定処理部は、前記距離画像の区分領域単位の分散値を算出する分散値計算処理部と、前記分散値計算処理部の算出した区分領域単位の分散値の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する前記（１）に記載の画像処理装置。
（３）前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の類似度を判別する短冊間類似度計算部と、前記短冊間類似度計算部の算出した短冊間類似度の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する前記（１）または（２）に記載の画像処理装置。
【０１３０】
（４）前記短冊領域は、３次元画像表示に適用する左眼用画像と右眼用画像によって構成されるステレオ画像の生成処理に際して利用される短冊の幅と同じ幅を有する前記（３）に記載の画像処理装置。
（５）前記短冊間類似度計算部は、距離画像における１つおきの短冊領域間の距離信号の差分絶対値和（ＳＡＤ）を短冊間類似度として算出する前記（３）または（４）に記載の画像処理装置。
【０１３１】
（６）前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の信号値の凹凸状況を検出してエラー度合いを反映した合成係数を生成して出力する短冊間凹凸判定部を有する前記（１）に記載の画像処理装置。
（７）前記短冊間凹凸判定部は、距離画像における３つの連続する短冊領域の距離信号の平均値を算出し、算出した３つの信号平均値から隣接する短冊間の信号平均値の差分を２つ算出して、算出した２つの差分に基づいて、短冊間凹凸の有無を判定し、該判定結果に応じた合成係数を生成して出力する前記（６）に記載の画像処理装置。
（８）前記短冊間凹凸判定部は、３つの連続する短冊領域の距離信号の平均値を平坦にするためのオフセット値を算出して出力する前記（６）または（７）に記載の画像処理装置。
【０１３２】
（９）前記ローパスフィルタ処理部は、エッジ保存型ノイズ低減処理を実行する前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）前記ローパスフィルタ処理部は、前記オフセット値を適用して、３つの連続する短冊領域の距離信号の平均値を平坦にする補正処理を行った距離画像に対してローパスフィルタを適用してノイズ低減距離画像を生成する前記（１）〜（９）いずれかに記載の画像処理装置。
【０１３３】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１３４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３６】
以上、説明したように、本開示の一実施例構成によれば、距離画像や視差画像に含まれるエラーを低減する補正処理を行う画像処理装置、方法が実現される。
具体的には、被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、距離画像と、ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、距離画像合成部は、エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で距離画像とノイズ低減距離画像の合成比率を設定した合成処理を実行して補正距離画像を生成する。
この処理によって、距離画像や視差画像に含まれるエラーを低減する補正された距離画像や視差画像を生成することが可能となる。
【符号の説明】
【０１３７】
１１ 左眼用画像
１２ 右眼用画像
２１ 左眼
２２ 右眼
１１０ 距離画像
１２０ エラー信号判定処理部
１２１ 分散値計算処理部
１２２ 非線形変換処理部
１２３ 短冊間類似度計算部
１２４ 非線形変換処理部
１２５〜１２７ 画像バッファ
１２８ ＳＡＤ計算部
１２９ 短冊間凹凸無判定部
１３１〜１３３ 画像バッファ
１３４〜１３６ 平均値計算器
１３７ 凹凸判定・オフセット値算出処理部
１４０ 距離画像合成部
１５０ 補正距離画像
１６０ エッジ保存型ＬＰＦ処理部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、距離画像（視差画像）の生成や補正を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、立体画像（ステレオ画像とも呼ばれる）を撮影可能としたカメラが普及してきている。例えば、レンズを左右に並べたステレオカメラにより、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される両眼視差画像を撮影するものである。
【０００３】
これらの左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置（３Ｄ表示装置）に表示することで、観察者は画像を立体画像、すなわち３次元（３Ｄ）画像として視聴できる。
【０００４】
このような左眼用画像と右眼用画像は、立体画像として視聴することのみならず、様々な用途に無利用できる。例えば、立体画像として撮影された被写体に対するカメラからの距離を求め、その距離に応じて画像上の対象物を切り出し、他の画像と合成する処理や、立体的なオブジェクトを３次元空間で再現する処理などが実現されている。
【０００５】
この様な立体画像の活用において重要な要素の１つとして、カメラから撮影被写体までの距離を正確に算出することがある。被写体までの距離情報の表現手法としては、例えば距離の値を画像の濃淡で表現した距離画像がある。被写体距離は、左眼用画像と右眼用画像の画素位置のずれに相当する視差に対応するものであり、距離画像は視差画像と呼ばれることもある。
この距離画像（視差画像）を利用して、距離に応じた画像上の対象物を切り出す処理が行われる。このような処理において、距離画像の精度が品質向上の重要なポイントとなっている。
【０００６】
この距離画像の品質向上に関して、開示されている従来技術が存在する。例えば、特許文献１（特開平１１−１２０３５９号公報）は、距離画像を求め、隣接し、かつ、距離値が近い距離値を同じ距離値とし、同じ距離値同士でラベリングし、ラベル毎の面積を求め、面積が一定値以下のラベルが付いた視差をノイズとして、ノイズとされた距離値をもつ画素に対してノイズ除去のためにｍｅｄｉａｎ ｆｉｌｔｅｒ（中央値フィルタ）をかけ、距離画像を求めた元画像のノイズを除去し、元画像から求められる距離画像の精度を向上する手法を提案している。
【０００７】
しかしながら、この手法は局所的なノイズ除去の効果はあるが、広範囲にわたって発生した画像のずれなど、広い範囲の画像エラーを除去することは困難であるという問題がある。また、上記特許文献１においては、画像内に存在するノイズ領域を判定するために、画像の区分領域単位のラベリング処理を行い、各ラベリングされた領域単位で距離を求めて、距離単位の面積算出などを行う構成であり、処理コストが大きくなることが予想される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−１２０３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本開示は、例えば上記の状況に鑑みてなされたものであり、処理コストを低減し、より正確な距離画像（視差画像）を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、
前記距離画像合成部は、
前記エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理装置にある。
【００１１】
さらに、本開示の画像処理装置の一実施態様において、前記エラー判定処理部は、前記距離画像の区分領域単位の分散値を算出する分散値計算処理部と、前記分散値計算処理部の算出した区分領域単位の分散値の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する。
【００１２】
さらに、本開示の画像処理装置の一実施態様において、前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の類似度を判別する短冊間類似度計算部と、前記短冊間類似度計算部の算出した短冊間類似度の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記短冊領域は、３次元画像表示に適用する左眼用画像と右眼用画像によって構成されるステレオ画像の生成処理に際して利用される短冊の幅と同じ幅を有する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記短冊間類似度計算部は、距離画像における１つおきの短冊領域間の距離信号の差分絶対値和（ＳＡＤ）を短冊間類似度として算出する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の信号値の凹凸状況を検出してエラー度合いを反映した合成係数を生成して出力する短冊間凹凸判定部を有する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記短冊間凹凸判定部は、距離画像における３つの連続する短冊領域の距離信号の平均値を算出し、算出した３つの信号平均値から隣接する短冊間の信号平均値の差分を２つ算出して、算出した２つの差分に基づいて、短冊間凹凸の有無を判定し、該判定結果に応じた合成係数を生成して出力する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記短冊間凹凸判定部は、３つの連続する短冊領域の距離信号の平均値を平坦にするためのオフセット値を算出して出力する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記ローパスフィルタ処理部は、エッジ保存型ノイズ低減処理を実行する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記ローパスフィルタ処理部は、前記オフセット値を適用して、３つの連続する短冊領域の距離信号の平均値を平坦にする補正処理を行った距離画像に対してローパスフィルタを適用してノイズ低減距離画像を生成する。
【００２０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理ステップと、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理ステップと、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成ステップを実行し、
前記距離画像合成ステップにおいては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理方法にある。
【００２１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成処理を実行させ、
前記距離画像合成処理においては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成させるプログラムにある。
【００２２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本開示の一実施例構成によれば、距離画像や視差画像に含まれるエラーを低減する補正処理を行う画像処理装置、方法が実現される。
具体的には、被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、距離画像と、ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、距離画像合成部は、エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で距離画像とノイズ低減距離画像の合成比率を設定した合成処理を実行して補正距離画像を生成する。
この処理によって、距離画像や視差画像に含まれるエラーを低減する補正された距離画像や視差画像を生成することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】立体像の知覚原理と立体像の知覚距離について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】エラー信号判定処理部の一実施例について説明する図である。
【図４】距離画像に発生するエラーの一例について説明する図である。
【図５】エラー信号判定処理部における非線形変換処理部の実行する分散値から合成係数（ｅｒｒ）を算出する処理例について説明する図である。
【図６】距離画像における短冊状のエラーについて説明する図である。
【図７】距離画像における短冊状のエラーについて説明する図である。
【図８】距離画像における短冊状のエラーが発生する理由について説明する図である。
【図９】距離画像における短冊状のエラーが発生する理由について説明する図である。
【図１０】短冊単位でまとまって発生する距離画像のエラー判定処理として有効な手法について説明する図である。
【図１１】エラー信号判定処理部の一実施例について説明する図である。
【図１２】エラー信号判定処理部の短冊間類似度計算部の構成例について説明する図である。
【図１３】エラー信号判定処理部の一実施例について説明する図である。
【図１４】エラー信号判定処理部の一短冊間凹凸判定部の構成について説明する図である。
【図１５】エラー信号判定処理部の一実施例について説明する図である。
【図１６】エッジ保存型ＬＰＦ処理部の一実施例について説明する図である。
【図１７】エッジ保存型ＬＰＦ処理部の一実施例について説明する図である。
【図１８】短冊間凹凸補正部の構成例について説明する図である。
【図１９】本開示の画像処理装置の生成する補正距離画像を適用した処理例について説明する図である。
【図２０】距離画像の生成シーケンスについて説明するフローチャートを示す図である。
【図２１】距離画像から得られる被写体距離を適用した被写体切り出し処理のシーケンスについて説明するフローチャートを示す図である。
【図２２】距離画像の補正処理シーケレンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．立体像の知覚原理と立体像の知覚距離について
２．画像処理装置の構成例について
３．エラー信号判定処理部の第１構成例
４．短冊単位で発生するエラーについての説明
５．エラー信号判定処理部の第２構成例
６．エラー信号判定処理部の第３構成例
７．３種類のエラー信号判定処理を併用する構成例について
８．エッジ保存型ＬＰＦの構成例について
９．本開示の処理によって得られる補正された高精度な距離画像を適用するアプリケーションの例について
１０．本開示の構成のまとめ
【００２７】
［１．立体像の知覚原理と立体像の知覚距離について］
図１以下を参照して立体像の知覚原理と立体像の距離について説明する。
図１に示す様に、左眼用画像１１を観察者の左眼２１で観察し、右眼用画像１２を右眼２２で観察する。左眼用画像１１と、右眼用画像１２には、被写体距離に応じた画像の位置ずれ（視差）があり、この視差に応じて知覚距離が変更され、観察者は、立体画像として観察することができる。
【００２８】
左眼用画像１１と右眼用画像１２における同一被写体の画素位置のずれ＝視差ｄとし、知覚した立体像の距離：知覚立体像距離Ｌｄとする。
この視差ｄと知覚立体像距離Ｌｄの関係は、
観察者の眼の位置から表示面までの距離：視距離＝Ｌｓ、
観察者の両眼の間隔＝ｄｅ、
としたとき、以下の（式１）で示される。
【００２９】
【数１】
・・・（式１）
【００３０】
このように、視距離Ｌｓが決定されると、視差ｄと知覚立体像距離Ｌｄは、一方の値が決定すれば他方の値が決定される１対１対応の相互依存データである。
すなわち、前述したように、
（ａ）知覚立体像距離Ｌｄ：観察者の知覚する距離（≒被写体距離）、
（ｂ）視差ｄ：左眼用画像と右眼用画像における同一被写体の画素位置のずれ量、
これら（ａ），（ｂ）の値は、１対１対応の相互依存データである。
【００３１】
以下の実施例の説明では、知覚立体像距離（被写体距離）データを用いた処理として説明するが、被写体距離データの代わりに視差データを適用した処理として実行することも可能である。
以下の説明において、距離画像は、被写体までの距離情報または視差情報を有する画像であるものとして説明する。
【００３２】
［２．画像処理装置の構成例について］
図２は、本開示の画像処理装置の基本構成例を示す図である。距離画像１１０は、ステレオ視可能な左眼用画像と右眼用画像から求められる。距離画像は、撮影された画像上の被写体距離（知覚立体像距離＝観察者や撮影カメラからの距離）を例えば白〜黒の濃淡画像情報として示した画像である。
【００３３】
なお、前述したように被写体距離は、左眼用画像と右眼用画像における対応画素位置のずれ量に相当する視差から求められる。したがって距離に応じた濃淡情報は、被写体距離を示すと同時に視差量も示しており、距離画像は視差画像とも呼ばれる。
すなわち、距離画像と視差画像は等価な画像データである。
以下の実施例では、画素単位で被写体までの距離に応じたデータ（距離信号）を有する距離画像を適用した実施例として説明するが、距離画像の代わりに、画素単位で視差信号を有する視差画像を適用した処理として実行することも可能である。
従って、以下の説明において、距離画像は、被写体までの距離情報または視差情報を有する画像として説明する。
【００３４】
図２に示すように、距離画像１１０は、
エラー信号判定処理部１２０、
距離画像合成部１４０、
エッジ保存型ＬＰＦ処理部１６０、
これらに入力される。
【００３５】
エラー信号判定処理部１２０は、距離画像１１０を入力し、距離画像１１０に含まれる被写体距離を示す距離信号（＝視差信号）を解析して、距離信号（視差信号）にエラーが発生しているか否かを判定しエラーの度合いを数値で出力する。
【００３６】
エラー信号判定処理部１２０において実行するエラー判定処理としては、例えば以下の値のいずれか、または複数の値を算出して、これらの算出値に基づくエラー判定処理を行う。
（１）距離画像の所定領域単位のばらつき度（分散値）、
（２）距離画像の短冊間の類似度を示す値、
（３）距離画像の短冊間の凸凹度を示す値、
なお、上記（２）、（３）において利用する短冊とは、距離画像１１０を横（水平）方向に任意の幅に不均等または均等に分割した分割領域を意味する。
これらの処理については後段で詳細に説明する。
【００３７】
図２に示すように、距離画像１１０は、エッジ保存型ＬＰＦ処理部１６０に入力される。
エッジ保存型ＬＰＦ処理部１６０は、距離画像１１０に含まれるノイズを除去するフィルタ適用処理を行う。エッジ保存型のローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を適用したフィルタ処理を施す。
このＬＰＦ処理は、一般的に知られているエッジ保存型ＬＰＦであればよく、例えば、εフィルタやバイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ）等が用いられる。
【００３８】
エッジ保存型ＬＰＦ処理部１６０において、ＬＰＦ処理された距離画像は、距離画像合成部１４０において、元の距離画像１１０と合成する。
合成処理は、エラー信号判定処理部１２０から出力される領域単位のエラー度合いを示す数値に応じた合成処理を実行する。
【００３９】
なお、エラー信号判定処理部１２０から出力される領域単位のエラー度合いを示す数値は、
エラー度合い＝０．０〜１．０
とする。
０．０がエラー度合いが最も弱く、１．０がエラー度合いがもっとも強いことを示す。
【００４０】
距離画像合成部１４０は、エラー信号判定処理部１２０から出力される領域単位のエラー度合いを合成係数（ｅｒｒ）として適用して、以下の（式２）に従った合成処理を実行する。
【００４１】
【数２】
・・・（式２）
【００４２】
ただし、
Ｄｏｕｔ：合成後の補正距離画像１５０の画素値（距離信号）、
Ｄｉｎ：入力した元の距離画像１１０の画素値（距離信号）、
ｅｒｒ：エラー度合い（＝合成係数）
ＤｉｎＬＰＦｅｄ：エッジ保存型ＬＰＦ処理部１６０においてＬＰＦ処理された距離画像
【００４３】
上記（式２）は、入力する距離画像１１０のエラー度合いの高い画素領域については、エッジ保存型ＬＰＦ処理部１６０においてＬＰＦ処理された距離画像の合成比率（ブレンド比率）を高く設定し、入力する距離画像１１０のエラー度合いの低い画素領域については、入力する距離画像の合成比率（ブレンド比率）を高く設定した合成処理（ブレンド処理）によって、補正距離画像１５０を生成する処理を示している。
【００４４】
距離画像合成部１４０は、上記（式２）にしたがって、ＬＰＦ処理された距離画像と元の距離画像１１０の合成処理を実行する。
合成処理された距離画像は補正距離画像１５０として出力される。
【００４５】
［３．エラー信号判定処理部の第１構成例］
図３にエラー信号判定処理部１２０の一例を示す。
図３に示すように、エラー信号判定処理部１２０は、
分散値計算処理部１２１、
非線形変換処理部１２２、
を有する。
【００４６】
エラー信号判定処理部１２０に入力された距離画像１１０は、分散値計算処理部１２１において、まず、距離画像を予め規定したＮ×Ｍ画素の区分領域に分割し、区分領域単位で画素値の分散値を計算する。
なお、前述したように、距離画像は被写体距離に応じた画素値を有する画像である。
【００４７】
図４に、距離画像にエラーのない場合と、エラーのある場合の画像例を示す。
（ａ）エラーのない距離画像、
（ｂ）エラーが発生した距離画像、
これら２つの画像の例を示している。
【００４８】
図に示すように、（ｂ）エラーが発生した距離画像には、ところどころに、周囲とは大きく異なる画素値を持つ領域（図に示す黒い線）が発生している。
このように、エラー発生領域では距離画像の画素値（距離信号）のばらつき度合いが大きくなる。この例ではばらつき度合いをエラー信号の判定に用いるため分散値を利用する。
【００４９】
ただし、この構成においては、距離画像における領域単位のばらつき度合いを求めることができればよいので、ばらつき度合いと相関がある値であれば分散値に限定されず、その他の指標値を利用してもよい。例えば、区分領域単位の画素値の標準偏差を利用する構成としてもよい。
【００５０】
図３に示す分散値計算処理部１２１において求められた区分領域（Ｎ×Ｍ画素）単位の分散値は非線形変換処理部１２２に入力される。
非線形変換処理部１２２は、距離画像の区分領域単位のばらつき度合いを示す分散値を、距離画像合成部１４０で用いる合成係数（ｅｒｒ）に変換する処理を行う。
【００５１】
図５は、非線形変換処理部１２２において実行する非線形変換処理の一例を示している。横軸が、分散値計算処理部１２１からの入力信号（分散値）である。縦軸が、非線形変換処理部１２２における非線形変換処理後の出力、すなわち合成係数（ｅｒｒ）を示している。
【００５２】
非線形変換処理部１２２は、入力された分散値（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、合成係数［ｅｒｒ］（Ｏｕｔ）を出力する。すなわち、
Ｏｕｔ＝ｆ（Ｉｎ）
とする。
この変換処理に適用する関数ｆ（ｘ）は、様々な関数が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、以下の（式３）に示す指数関数が適用できる。
ｆ（ｘ）＝ｘβ ・・・（式３）
【００５３】
非線形変換処理部１２２は、上記の（式３）に示されるような指数関数を適用して、入力された分散値（Ｉｎ）の非線形変換処理を行い、例えば図５に示すような入力分散値（Ｉｎ）から出力する合成係数（ｅｒｒ）を生成して出力する。
【００５４】
なお、上記（式３）において、βは予め設定した係数であり、様々な値に設定可能である。また、非線形変換処理部１２２における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
【００５５】
［４．短冊単位で発生するエラーについての説明］
図６に、距離画像に発生する別のエラー例を示す。この例では、短冊状に距離信号のエラーが発生している。
このような短冊単位のエラーは、カメラを水平方向に移動（スイング）させて連続撮影した複数の撮影画像を利用して、各画像から短冊城に切り分けた短冊画像を再合成して、Ｄ画像表示に適用する左眼用画像と右眼用画像を生成する処理を行った場合に発生しやすい。
この様なエラーが発生する左眼用画像と右眼用画像の生成例を図７に示す。図７に示す様に、水平方向に移動（スイング）させて連続撮影した複数の撮影画像から切り出した短冊画像を再度合成することで、左眼用画像と右眼用画像を生成する手法である。
このような３Ｄ画像生成処理を行うと、図６に示す様な短冊状にオフセットが付いた様なエラーが発生する場合がある。
このようなエラーが発生する理由について、図８、図９を参照して説明する。
図７に示すような、短冊状の画像を左眼用画像と右眼用画像とに合成するステレオ画像の撮影手法では、左眼用画像を構築するための短冊と、右眼用画像を構築するため、左眼用画像と右眼用画像とで異なる撮影位置、すなわち異なる撮影時刻の撮影画像から切り出した短冊を利用している。
【００５６】
例えば、図８に示すような画像３００に対応する（ａ）左眼用画像を構築するための短冊画像３０１と、（ｂ）右眼用画像を構築するための短冊画像３０２は、図に示すような撮影時間ｔ，ｔ＋１，ｔ＋２，・・・の各時間に連続撮影された複数の画像から切り出した短冊画像の合成処理によって生成される。
【００５７】
図８に示すように、時刻ｔからｔ＋４にわたって撮影された複数の画像から、短冊を切り出して合成することで、（ａ）左眼用画像と（ｂ）右眼用画像が生成される。
【００５８】
これらの各短冊領域の画像は、例えば撮影者が手でカメラを水平方向にスイングさせて撮影される画像である。この撮影処理に際して、水平方向にのみ正確に移動されれば問題ないが、多くの場合、カメラの垂直方向の移動や回転などが発生してしまう。
【００５９】
例えば、時刻ｔ＋１とｔ＋２において、被写体方向軸を中心とした回転変動がカメラに加わったとする。
例えば、（ａ）左眼用画像を構成する短冊画像３０３と、（ｂ）右眼用画像を構成する短冊画像３０４の短冊が回転変動により回転して撮影されてしまった短冊を示す。
これらの短冊画像３０３，３０４から明らかなように、回転変動の結果、同じ被写体が異なる角度で写されてしまう現象が発生する。
【００６０】
このような回転変動が発生した短冊を合成した結果を、図９に示すように、左眼用画像３２１，右眼用画像３２２として利用する。
これら、左眼用画像３２１と，右眼用画像３２２から求められた距離画像を距離画像３２３として図９に示す。
【００６１】
一般的に、距離画像は、左眼用画像と右眼用画像上の、同じ被写体間の視差を求めることで、被写体までの距離を求める。
図９では、例えば短冊画像３２、３２５、３２８で示した左眼用画像の短冊と右眼用画像の短冊間の視差から距離を求めることになる。
【００６２】
本例では、時刻ｔ＋１とｔ＋２において、被写体方向軸を中心とした回転変動がカメラに加わっているので、短冊３２４の左眼用画像の短冊と、右眼用画像の短冊の組みに着目する。
これらの、短冊の組みにおいて、左眼用画像の短冊では正常、右眼用画像の短冊では回転変動が加わっている。
【００６３】
この結果、距離画像３２３において、短冊の組み３２４から求められた距離画像の短冊領域３２６はエラーが含まれた距離画像となる。
また、短冊３２５の組みでは、左眼用画像の短冊と右眼用画像の短冊の両方に回転変動が加わっており、両方の短冊に同じ回転変動が加わるため、求められる距離画像の短冊領域３２７は正しい距離画像となる。
【００６４】
さらに、短冊３２８の組みでは、短冊３２４と同様の理由で、距離画像の短冊領域３２９はエラーが含まれた距離画像となる。
このように、距離画像には、被写体方向軸を中心とした回転変動がカメラに加わった場合の距離画像のエラーは、距離画像の短冊領域の一つおきに発生する。
【００６５】
この様な短冊単位のエラー判定には、前述の図３で説明した画素領域単位のばらつきを求める手法、すなわち、距離画像のＮ×Ｍ画素単位の画素値の分散値を算出して、分散値に基づいてエラーを判定する手法は適用できない。
【００６６】
［５．エラー信号判定処理部の第２構成例］
上述した短冊単位でまとまって発生する距離画像のエラー判定処理として有効な手法について、以下説明する。
図１０を参照して、このエラー判定手法の一例について概略を説明する。
【００６７】
前述した、短冊上に撮影された画像を用いてのステレオ画像の生成では、距離画像に含まれる距離信号のエラーは短冊内ではなく短冊間で発生する。そこで、距離画像をステレオ画像としての左眼用画像と右眼用画像の画像生成に適用した短冊と同じ位置で分割する。もちろん、これは、仮想的な分割でもかまわない。
【００６８】
続いて、距離画像に含まれる距離信号のエラーを検出する水平方向の処理ラインを設定する。
短冊間にエラーが発生するので、処理ラインのＮ番目の短冊とＭ番目の短冊を比較することによりその短冊にエラーが発生しているか否かを判定する。本手法では、判定手法として水平の処理ラインのＮ番目の短冊とＭ番目の短冊間の類似度を求め、類似度が大きければエラーが発生していると判定する。
【００６９】
このエラー判定手法を用いたエラー信号判定処理部１２０の構成例を、図１１に示す。
図１１に示すエラー信号判定処理部１２０は、先に説明した図２の画像処理装置のエラー信号判定処理部１２０の一構成例を示し、特に短冊単位のエラーの検出に有効な構成を持つ。
【００７０】
図１１に示すエラー信号判定処理部１２０の構成と処理について説明する。
エラー信号判定処理部１２０は、図１１に示すように、
短冊間類似度計算部１２３、
非線形変換処理部１２４、
を有する。
【００７１】
エラー信号判定処理部１２０に入力された距離画像１１０は、短冊間類似度計算部１２３において、図１０を参照して説明した水平方向の処理ライン単位に任意のＮ番目の短冊とＭ番目の短冊間とで類似度を計算する。
【００７２】
図１２を参照して、短冊間類似度計算部１２３の詳細構成と処理について説明する。
短冊間類似度計算部１２３には、距離画像１１０の距離信号が、水平方向の走査ラインに従って入力される。
走査ラインに従って入力された距離信号は処理ライン単位に画像バッファＡ１２５、画像バッファＢ１２６、画像バッファＣ１２７に格納される。それぞれのバッファの幅は短冊と等しくなっている。
【００７３】
各パッファの格納データは、例えば図１２に示すように、図１２に示す距離画像４０１の短冊単位の距離画像が格納される。すなわち、
画像バッファＡ１２５には、Ｎ番目の短冊の距離信号からなる距離画像データ、
画像バッファＢ１２６には、Ｎ＋１番目の短冊の距離信号からなる距離画像データ、
画像バッファＡ１２７には、Ｎ＋２番目の短冊の距離信号からなる距離画像データ、
これらの距離信号データが格納される。
【００７４】
ＳＡＤ（差分絶対値和：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）計算部１２８は、画像バッファＡ１２５と画像バッファＣ１２７とに格納された、同一の水平ラインの１つおきの短冊間の距離信号の差分絶対値和を算出する。
【００７５】
ＳＡＤ計算部１２８は、１つおきの短冊間のＳＡＤ（差分絶対値和）ＲＳＡＤを以下の（式４）に従って算出する。
【００７６】
【数３】
・・・（式４）
【００７７】
なお、
ＤＡ（ｉ）：画像バッファＡ１２５の位置ｉの距離信号
ＤＣ（ｉ）：画像バッファＣ１２７の位置ｉの距離信号
ＲＳＡＤ：ＳＡＤ（差普選絶対値和）
Ｎ：画像バッファＡ１２５のサイズ
である。
【００７８】
この差分絶対値和は、各短冊間の類似度を示す。ＳＡＤ計算部１２８の算出した差分絶対値和（ＳＡＤ値）は、非線形変換処理部１２４に出力される。
非線形変換処理部１２４は、先の実施例で説明した例えば図５に示す非線形変換関数ｆ（ｘ）を適用して、上記のＳＡＤ（差分絶対値和）ＲＳＡＤの非線形変換処理を実行して、距離画像合成部１４０に出力する合成係数（ｅｒｒ）を生成して出力する。
【００７９】
なお、本実施例では、各短冊間の信号の類似度を示す指標値としてＳＡＤ（差分絶対値和）を適用した処理例について説明したが、他の類似度を求めるアルゴリズムを用いる構成としてもよい。例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）の他、正規化相互相関等（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ―Ｃｏｒｒｅｌａｔｉｏｎ）等を用いることも可能である。
【００８０】
また、図１２に示す構成では、バッファサイズを短冊幅に合わせ、３つのバッファを用いることにより、Ｎ番目の短冊とＮ＋２番目の短冊間とで類似度を計算しているが、この構成は元のステレオ画像をどのように短冊から生成しているかに依存するため、この構成のかぎりではない。
例えば、短冊の幅が不均等である場合は、短冊境界情報の入力と、距離信号から比較する短冊の範囲内の距離信号を取得する手段とで、短冊幅に合わせて類似度を求めることができるように構成する必要がある。
【００８１】
［６．エラー信号判定処理部の第３構成例］
次に、図１３以下を参照して、図６〜図９を参照して説明した短冊単位のエラー判定処理のもう１つの処理例について説明する。
図６〜図９を参照して説明した短冊単位でエラーが発生した場合、短冊単位の距離信号の平均値に注目すると、平均値が短冊単位で大きく変化する。
先に図８、図９を参照して説明したように、エラーの発生した短冊は１つおきに設定される可能性が高い。
【００８２】
従って、エラーの発生短冊を含む距離画像は、短冊の距離信号の平均値が１つおきに大きく異なる傾向がある。すなわち、短冊間で距離信号の平均値が凸凹している。そこで、短冊単位に視差が凸凹していることを検出した場合にエラーありと判定することができる。
【００８３】
この手法を用いた、エラー信号判定処理部１２０の一例を、図１３に示す。
図１３に示すエラー信号判定処理部１２０は、先に説明した図２の画像処理装置のエラー信号判定処理部１２０の一構成例を示し、特に短冊単位のエラーの検出に有効な構成を持つ。
【００８４】
本処理例におけるエラー信号判定処理部１２０は、図１３に示すように、
短冊間凹凸判定部１２９、
を有する。
【００８５】
エラー信号判定処理部１２０に入力された距離画像１１０は、短冊間凹凸判定部１２９において、先に図１０を参照して説明した水平方向の処理ラインに沿って、Ｎ番目とＮ＋１番目とＮ＋２番目の短冊間で、各短冊の距離信号の平均値に凹凸が存在するか否かを判定する。
【００８６】
図１４を参照して、短冊間凹凸判定部１２９の詳細構成と処理について説明する。
エラー信号判定処理部１２０に入力された距離画像１１０は、処理ライン単位に画像バッファＤ１３１、画像バッファＥ１３２、画像バッファＦ１３３に送られて格納される。それぞれのバッファの幅は短冊と等しくなっている。
【００８７】
各パッファの格納データは、例えば図１４に示すように、図１４に示す距離画像４０２の短冊単位の距離画像が格納される。すなわち、
画像バッファＤ１３１には、Ｎ番目の短冊の距離信号からなる距離画像データ、
画像バッファＥ１３２には、Ｎ＋１番目の短冊の距離信号からなる距離画像データ、
画像バッファＦ１３３には、Ｎ＋２番目の短冊の距離信号からなる距離画像データ、
これらの距離信号データが格納される。
【００８８】
各バッファに格納された距離画像データに基づいて、Ｎ番目短冊の平均値計算器１３４、Ｎ＋１番目短冊の平均値計算器１３５、Ｎ＋２番目短冊の平均値計算器１３６において、Ｎ〜Ｎ＋２番目の各短冊領域の短冊毎の平均値が計算される。
【００８９】
凹凸判定・オフセット値算出処理部１３７では、
Ｎ番目短冊と、Ｎ＋１番目短冊と、Ｎ＋２番目短冊の平均値の関係が、
（１）Ｎ番目の平均値＜Ｎ＋１番目の平均値、かつ、Ｎ＋１番目の平均値＞Ｎ＋２番目の平均値、
（２）Ｎ番目の平均値＞Ｎ＋１番目の平均値、かつ、Ｎ＋１番目の平均値＜Ｎ＋２番目の平均値、
上記（１）または（２）のいずれかが成立したか否か判定する。
【００９０】
上記の（１）または（２）が成立していれば、エラーと判定される合成係数（ｅｒｒ）、本実施例ではｅｒｒ＝１．０を距離画像合成部１４０に出力する。
上記の（１）、（２）のいずれも成立していなければ、エラーではないと判定される合成係数（ｅｒｒ）、本実施例ではｅｒｒ＝０．０を距離画像合成部１４０に出力する。
【００９１】
なお、図１４に示す構成では、バッファサイズを短冊幅に合わせ、３つのバッファを用いることにより、Ｎ番目の短冊とＮ＋１番目の短冊とＮ＋２番目の短冊の平均値を求め、凹凸の判定を行っているが、この構成は元のステレオ画像をどのように短冊から生成しているかに依存するため、この構成のかぎりではない。
【００９２】
例えば、短冊の幅が不均等である場合は、短冊境界情報の入力と、距離信号から比較する短冊の範囲内の距離信号を取得する手段とで、短冊幅に合わせて類似度を求めることができるように構成する必要がある。
【００９３】
続いて、凹凸判定・オフセット値算出処理部１３７で求めるオフセット値について説明する。このオフセット値の使用例については後述する。
短冊間の距離信号の平均値が凹凸であることが検出された場合、短冊の平均値を平坦にすることでエラー補正が可能であると考えられる。
【００９４】
そこで、本実施例では、Ｎ番目短冊とＮ＋１番目短冊とＮ＋２番目短冊の距離信号の平均値が平坦になるように、以下の（式５）に従って距離信号のオフセット値を算出する。
【００９５】
【数４】
・・・・・（式５）
【００９６】
ただし、
ＡｖｅＮ：Ｎ番目短冊の距離信号の平均値
ＡｖｅＮ＋１：Ｎ＋１番目短冊の距離信号の平均値
ＡｖｅＮ＋２：Ｎ＋２番目短冊の距離信号の平均値
【００９７】
なお、上記（式５）において、（×１／２）の項は、オフセット値の効果の強弱を決定する調整パラメータであり、効果をみて、最適な値に変更するといった調整をおこなうことが好ましい。上記式に従って求められたオフセット値は、後述の短冊間凹凸補正部１７０の補正処理において用いられる。
【００９８】
［７．３種類のエラー信号判定処理を併用する構成例について］
これまで、３種類のエラー信号判定処理の例を示したが、これらを全て使用することも可能である。そのエラー信号判定処理部１２０の構成例を、図１５に示す。
【００９９】
図１５に示すエラー信号判定処理部１２０は、
（ａ）［ｘ．エラー信号判定処理部の第１構成例］において、図３を参照して説明した分散値計算処理部１２１と非線形変換処理部１２２、
（ｂ）［ｘ．エラー信号判定処理部の第２構成例］において、図１１を参照して説明した短冊間類似度計算部１２３と非線形変換処理部１２４、
（ｃ）［ｘ．エラー信号判定処理部の第３構成例］において、図１３を参照して説明した短冊間凹凸判定部１２９、
これらを並列に設定した構成を持つ。
【０１００】
本実施例では、上記（ａ）〜（ｃ）のエラー判定処理の出力を０．０〜１．０の範囲とし、１．０の時にエラー度合いがもっとも強いとしているので、それぞれの出力の乗算を、乗算部５０１，５０２において算出して、この算出結果をエラー判定結果として、これを合成係数（ｅｒｒ）として距離画像合成部１４０に出力することを可能としている。
なお、これ以外の構成も可能であり、例えばそれぞれのエラー度合いに任意の係数をかけ、エラー度合いに重みをつけて入力距離信号のエラー特性に合わせる構成としてもよい。
【０１０１】
［８．エッジ保存型ＬＰＦの構成例について］
先に、図２を参照して説明したように、距離画像合成部１４０において、合成係数（ｅｒｒ）に応じて合成される処理対象画像は、
（１）入力する距離画像１１０（＝Ｄｉｎ）、
（２）エッジ保存型ＬＰＦ処理部の出力するフィルタ処理画像（＝ＤｉｎＬＰＦｅｄ）、
これらの２つの画像である。
【０１０２】
エッジ保存型ＬＰＦ処理部１６０では、距離画像１１０に含まれるノイズ低減を目的としたエッジ保存型のフィルタ適用処理が実行される。
この処理に適用されるフィルタの一例として、εフィルタの構成例を図１６に示す。
εフィルタは、入力画素値をｘ（ｎ）、出力画素値をｙ（ｎ）としたとき、以下の（式６）によって定義されるフィルタである。
【０１０３】
【数５】
・・・・・（式６）
【０１０４】
ここで、ｆ（）は、以下の（式７）で定義される関数である。
【０１０５】
【数６】
・・・・・（式７）
【０１０６】
上記（式７）中のαは、
α＝０またはα＝ε等が定義可能である。
また、
上記（式６）に示すａｋは非再帰型線形低域型フィルタ（ＦＩＲフィルタ）のフィルタ係数であり、直流成分を保存するために総和が１．０となるように設定する。
【０１０７】
エッジ保存型ＬＰＦ処理部１６０において適用されるεフィルタは、図１６に示す構成を有する。図１６に示す例は、Ｎ×２＋１ＴＡＰのεフィルタを構成するブロック図であり、一般的なＦＩＲフィルタの構成をとる。
εフィルタの構成は、遅延器Ｄで保持される距離画像の画素値（距離信号）を、ｋ＝０の中央の画素値（距離信号）との差をとり、関数ａｋ×関数ｆ（ｘ）の演算処理を実行し、タップ長分の合計をとる構成である。
【０１０８】
エッジ保存型ＬＰＦ処理１６０の別の構成例を図１７に示す。
この図１７に示す構成は、先に、図１３、図１４を参照して説明した短冊間凹凸判定部１２９を有する構成において適用可能な構成である。
図１７に示すように、エッジ保存型ＬＰＦ処理１６０は、入力として、距離画像１１０ではなく、短冊間凹凸判定部１２９で求められたオフセット値に従って、短冊間凹凸補正部１７０で補正した距離画像を入力する。
【０１０９】
短冊間凹凸補正部１７０の構成例を図１８に示す。
短冊間凹凸補正部１７０は、距離画像の距離信号を水平ライン単位で順次入力し、さらに、短冊間凹凸判定部１２０の生成したオフセット値を入力する。
【０１１０】
入力された距離信号は処理ライン単位に画像バッファＧ１７１、画像バッファＨ１７２に送られる。それぞれのバッファの幅は、先に図１４を参照して説明した短冊間凹凸判定部１２９の画像バッファＤ１３１、画像バッファＥ１３２と同じ幅となっており、短冊間凹凸判定部で求められた補正値が同じ短冊上の距離信号へ反映される様に構成されている。
【０１１１】
画像バッファＨ１７２より出力された短冊単位の距離画像の距離信号に対して、短冊間凹凸判定部１２９で求めたオフセット値、すなわち、先に説明した（式５）に従って算出したオフセット値を加算したオフセット加算距離画像を生成して、エッジ保存型ＬＰＦ処理部１６０へ出力する。
エッジ保存型ＬＰＦ処理部１６０は、このオフセット加算距離画像に対して、エッジ保存型のノイズ低減処理フィルタを摘要してノイズ低減処理を行う。このオフセット加算距離画像の生成処理を加えることにより、ノイズ低減効果が高くなり、その後の合成処理におけるエラー信号の補正効果もより高くなる。
【０１１２】
［９．本開示の処理によって得られる補正された高精度な距離画像を適用するアプリケーションの例について］
次に、本開示の処理によって得られる補正された高精度な距離画像あるいは視差画像を摘要するアプリケーションの例について説明する。なお、距離画像（視差画像）は、デジタルカメラ、カムコーダ、携帯電話、ゲーム機器、コンテンツ編集機、ＰＣ、ＴＶ等の機器の様々なアプリケーションでも適用可能である。以下では、その一部の例について説明する。
【０１１３】
例として、図１９（Ａ）に示す様な左眼用画像と右眼用画像を入力し、図１９（Ｂ）に示す距離画像を求める。
次に、この（Ｂ）距離画像の距離情報を元に被写体と背景を分離し、図１９（Ｃ）の様に被写体だけを出力するアプリケーションについて説明する。
【０１１４】
まず、距離画像（＝視差画像）を求める処理シーケンスについて、図２０に示すフローチャートを参照して説明する。
この処理は、例えばＰＣ等の画像処理装置におけるデータ処理部、すなわち予め規定されたシーケンスに従ったプログラムを実行するＣＰＵ等を備えたデータ処理部において実行可能である。
【０１１５】
まず、ステップＳ１０１において、図１９（Ａ）に示すような左眼用画像と右眼用画像によって構成されるステレオ画像を入力する。次に、ステップＳ１０２において、入力されたステレオ画像、すなわち左眼用画像と右眼用画像を適用した視差検出処理を実行し、検出された視差情報に従った被写体距離の算出を実行する。視差および被写体距離は、例えば左眼用画像、あるいは右眼用画像の画素単位で算出する。
次に、ステップＳ１０３において、画素単位で算出した距離信号を反映した濃淡等の画素値信号を設定した距離画像を生成する。
【０１１６】
続いて、生成した距離画像を利用して、被写体を分離する処理について、図２１に示すフローチャートを参照して説明する。
すなわち、図１９（Ｂ）に示す距離画像を利用して、図１９（Ｃ）に示す被写体分離画像を生成する処理である。
この処理も、例えばＰＣ等の画像処理装置におけるデータ処理部、すなわち予め規定されたシーケンスに従ったプログラムを実行するＣＰＵ等を備えたデータ処理部において実行可能である。
【０１１７】
ステップＳ１１１、Ｓ１１２において、左（または右）眼用画像と、図２０を参照して説明したシーケンスによって求められた距離画像を入力する。
【０１１８】
次に、ステップＳ１１３において、左（または右）眼用画像の画素単位で、その画素の距離を距離画像から取得する。
次に、ステップＳ１１４において、画素単位の距離と、予め設定したしきい値（ｔｈ）とを比較する。
【０１１９】
ステップＳ１１４において、距離がしきい値（ｔｈ）以下と判断された画素領域については、所定距離より手前にある被写体領域であると判断し、ステップＳ１１５に進み、画素を出力する。
一方、ステップＳ１１４において、距離がしきい値（ｔｈ）より大きいと判断された画素領域については、所定距離より奥にある被写体領域であると判断し、ステップＳ１１６に進み、透明画素（画素値の設定なし、あるいは白または黒等の一色の画素値）を出力する。
ステップＳ１１７においてすべての画素について処理が終了したか判断し、全ての画素について処理が終了したのであれば、処理を終了する。
【０１２０】
この処理に従えば、例えば、図１９（Ｂ）に示すように、距離画像にエラーが含まれていなければ、図１９（Ｃ）に示すような特定の被写体を切り出すことができる。
しかしながら、通常は図１９（Ｄ）に示す距離画像のように、距離画像にエラーが含まれており、このようなエラーを含む距離画像を摘要すると、図２１に示すフローに従った処理を実行しても、例えば、図１９（Ｅ）に示すような被写体の正しい切り出しができない。
【０１２１】
しかし、図２以下を参照して説明した本開示の画像処理装置により、エラーの含まれる距離画像の補正を行い、正確な距離画像（＝視差画像）を求め、補正された距離画像を適用して図２１に示すフローを実行することで、図１９（Ｃ）に示すように特定の被写体を正確に切り出すことが可能となる。
【０１２２】
本開示の画像処理装置によって実行するエラーの含まれる距離画像の補正処理のシーケンスについて図２２に示すフローチャートを参照して説明する。
【０１２３】
まず、ステップＳ１５１において、図１９（Ａ）に示すような左眼用画像と右眼用画像によって構成されるステレオ画像を入力する。次に、ステップＳ１５２において、入力されたステレオ画像、すなわち左眼用画像と右眼用画像を適用した視差検出処理を実行し、検出された視差情報に従った被写体距離の算出を実行する。視差および被写体距離は、例えば左眼用画像、あるいは右眼用画像の画素単位で算出する。
次に、ステップＳ１５３において、画素単位で算出した距離信号を反映した濃淡等の画素値信号を設定した距離画像を生成する。
この距離画像にはエラーが含まれている可能性がある。
【０１２４】
なお、先に図２を参照して説明した構成では、すでに生成された距離画像を入力して補正処理を実行する構成として説明したが、図２２に示すフローのステップＳ１５１〜Ｓ１５３の処理を行う距離画像生成部を有する構成としてもよい。この場合、画像処理装置には、距離画像は入力されず、ステレオ画像としての左眼用画像と右眼用画像のみが入力される。
【０１２５】
ステップＳ１５４の距離画像補正処理は、図２〜図１８を参照して説明した画像処理装置において実行する距離画像補正処理である。
この距離画像補正処理によって、距離画像に含まれるエラーは除去または減少し、高精度な補正された距離画像が生成される。
ステップＳ１５５において、補正された距離画像を出力する。
【０１２６】
この補正された距離画像を摘要して、先に説明した図２１に示すフローに従った処理を実行することで、距離に応じた被写体切り出し処理をより正確に実行することが可能となる。
【０１２７】
［１０．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１２８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、
前記距離画像合成部は、
前記エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理装置。
【０１２９】
（２）前記エラー判定処理部は、前記距離画像の区分領域単位の分散値を算出する分散値計算処理部と、前記分散値計算処理部の算出した区分領域単位の分散値の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する前記（１）に記載の画像処理装置。
（３）前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の類似度を判別する短冊間類似度計算部と、前記短冊間類似度計算部の算出した短冊間類似度の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する前記（１）または（２）に記載の画像処理装置。
【０１３０】
（４）前記短冊領域は、３次元画像表示に適用する左眼用画像と右眼用画像によって構成されるステレオ画像の生成処理に際して利用される短冊の幅と同じ幅を有する前記（３）に記載の画像処理装置。
（５）前記短冊間類似度計算部は、距離画像における１つおきの短冊領域間の距離信号の差分絶対値和（ＳＡＤ）を短冊間類似度として算出する前記（３）または（４）に記載の画像処理装置。
【０１３１】
（６）前記エラー判定処理部は、前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の信号値の凹凸状況を検出してエラー度合いを反映した合成係数を生成して出力する短冊間凹凸判定部を有する前記（１）に記載の画像処理装置。
（７）前記短冊間凹凸判定部は、距離画像における３つの連続する短冊領域の距離信号の平均値を算出し、算出した３つの信号平均値から隣接する短冊間の信号平均値の差分を２つ算出して、算出した２つの差分に基づいて、短冊間凹凸の有無を判定し、該判定結果に応じた合成係数を生成して出力する前記（６）に記載の画像処理装置。
（８）前記短冊間凹凸判定部は、３つの連続する短冊領域の距離信号の平均値を平坦にするためのオフセット値を算出して出力する前記（６）または（７）に記載の画像処理装置。
【０１３２】
（９）前記ローパスフィルタ処理部は、エッジ保存型ノイズ低減処理を実行する前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）前記ローパスフィルタ処理部は、前記オフセット値を適用して、３つの連続する短冊領域の距離信号の平均値を平坦にする補正処理を行った距離画像に対してローパスフィルタを適用してノイズ低減距離画像を生成する前記（１）〜（９）いずれかに記載の画像処理装置。
【０１３３】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１３４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３６】
以上、説明したように、本開示の一実施例構成によれば、距離画像や視差画像に含まれるエラーを低減する補正処理を行う画像処理装置、方法が実現される。
具体的には、被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、距離画像と、ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、距離画像合成部は、エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で距離画像とノイズ低減距離画像の合成比率を設定した合成処理を実行して補正距離画像を生成する。
この処理によって、距離画像や視差画像に含まれるエラーを低減する補正された距離画像や視差画像を生成することが可能となる。
【符号の説明】
【０１３７】
１１ 左眼用画像
１２ 右眼用画像
２１ 左眼
２２ 右眼
１１０ 距離画像
１２０ エラー信号判定処理部
１２１ 分散値計算処理部
１２２ 非線形変換処理部
１２３ 短冊間類似度計算部
１２４ 非線形変換処理部
１２５〜１２７ 画像バッファ
１２８ ＳＡＤ計算部
１２９ 短冊間凹凸無判定部
１３１〜１３３ 画像バッファ
１３４〜１３６ 平均値計算器
１３７ 凹凸判定・オフセット値算出処理部
１４０ 距離画像合成部
１５０ 補正距離画像
１６０ エッジ保存型ＬＰＦ処理部
【特許請求の範囲】
【請求項１】
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、
前記距離画像合成部は、
前記エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理装置。
【請求項２】
前記エラー判定処理部は、
前記距離画像の区分領域単位の分散値を算出する分散値計算処理部と、
前記分散値計算処理部の算出した区分領域単位の分散値の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する請求項１に記載の画像処理装置。
【請求項３】
前記エラー判定処理部は、
前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の類似度を判別する短冊間類似度計算部と、
前記短冊間類似度計算部の算出した短冊間類似度の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する請求項１に記載の画像処理装置。
【請求項４】
前記短冊領域は、３次元画像表示に適用する左眼用画像と右眼用画像によって構成されるステレオ画像の生成処理に際して利用される短冊の幅と同じ幅を有する請求項３に記載の画像処理装置。
【請求項５】
前記短冊間類似度計算部は、
距離画像における１つおきの短冊領域間の距離信号の差分絶対値和（ＳＡＤ）を短冊間類似度として算出する請求項３に記載の画像処理装置。
【請求項６】
前記エラー判定処理部は、
前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の信号値の凹凸状況を検出してエラー度合いを反映した合成係数を生成して出力する短冊間凹凸判定部を有する請求項１に記載の画像処理装置。
【請求項７】
前記短冊間凹凸判定部は、
距離画像における３つの連続する短冊領域の距離信号の平均値を算出し、算出した３つの信号平均値から隣接する短冊間の信号平均値の差分を２つ算出して、算出した２つの差分に基づいて、短冊間凹凸の有無を判定し、該判定結果に応じた合成係数を生成して出力する請求項６に記載の画像処理装置。
【請求項８】
前記短冊間凹凸判定部は、
３つの連続する短冊領域の距離信号の平均値を平坦にするためのオフセット値を算出して出力する請求項６に記載の画像処理装置。
【請求項９】
前記ローパスフィルタ処理部は、エッジ保存型ノイズ低減処理を実行する請求項１に記載の画像処理装置。
【請求項１０】
前記ローパスフィルタ処理部は、
前記オフセット値を適用して、３つの連続する短冊領域の距離信号の平均値を平坦にする補正処理を行った距離画像に対してローパスフィルタを適用してノイズ低減距離画像を生成する請求項８に記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理ステップと、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理ステップと、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成ステップを実行し、
前記距離画像合成ステップにおいては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成処理を実行させ、
前記距離画像合成処理においては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成させるプログラム。
【請求項１】
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理部と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理部と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成部を有し、
前記距離画像合成部は、
前記エラー判定処理部の出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理装置。
【請求項２】
前記エラー判定処理部は、
前記距離画像の区分領域単位の分散値を算出する分散値計算処理部と、
前記分散値計算処理部の算出した区分領域単位の分散値の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する請求項１に記載の画像処理装置。
【請求項３】
前記エラー判定処理部は、
前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の類似度を判別する短冊間類似度計算部と、
前記短冊間類似度計算部の算出した短冊間類似度の非線形変換処理によって前記合成係数を算出する非線形変換処理部を有する請求項１に記載の画像処理装置。
【請求項４】
前記短冊領域は、３次元画像表示に適用する左眼用画像と右眼用画像によって構成されるステレオ画像の生成処理に際して利用される短冊の幅と同じ幅を有する請求項３に記載の画像処理装置。
【請求項５】
前記短冊間類似度計算部は、
距離画像における１つおきの短冊領域間の距離信号の差分絶対値和（ＳＡＤ）を短冊間類似度として算出する請求項３に記載の画像処理装置。
【請求項６】
前記エラー判定処理部は、
前記距離画像を、横（水平）方向に任意の幅に不均等または均等に分割した分割領域である短冊領域間の信号値の凹凸状況を検出してエラー度合いを反映した合成係数を生成して出力する短冊間凹凸判定部を有する請求項１に記載の画像処理装置。
【請求項７】
前記短冊間凹凸判定部は、
距離画像における３つの連続する短冊領域の距離信号の平均値を算出し、算出した３つの信号平均値から隣接する短冊間の信号平均値の差分を２つ算出して、算出した２つの差分に基づいて、短冊間凹凸の有無を判定し、該判定結果に応じた合成係数を生成して出力する請求項６に記載の画像処理装置。
【請求項８】
前記短冊間凹凸判定部は、
３つの連続する短冊領域の距離信号の平均値を平坦にするためのオフセット値を算出して出力する請求項６に記載の画像処理装置。
【請求項９】
前記ローパスフィルタ処理部は、エッジ保存型ノイズ低減処理を実行する請求項１に記載の画像処理装置。
【請求項１０】
前記ローパスフィルタ処理部は、
前記オフセット値を適用して、３つの連続する短冊領域の距離信号の平均値を平坦にする補正処理を行った距離画像に対してローパスフィルタを適用してノイズ低減距離画像を生成する請求項８に記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理ステップと、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理ステップと、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成ステップを実行し、
前記距離画像合成ステップにおいては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
被写体までの距離情報または視差情報を有する距離画像を入力し、距離画像に含まれるエラー信号を検出し、画像領域単位のエラー度合いに応じた合成係数を出力するエラー判定処理と、
前記距離画像に対するローパスフィルタを適用してノイズ低減距離画像を生成するローパスフィルタ処理と、
前記距離画像と、前記ノイズ低減距離画像の合成処理により補正距離画像を生成する距離画像合成処理を実行させ、
前記距離画像合成処理においては、
前記エラー判定処理ステップにおいて出力する画像領域単位の合成係数に従って、画像領域単位で前記距離画像と前記ノイズ低減距離画像の合成比率を設定した合成処理を実行して前記補正距離画像を生成させるプログラム。
【図２】
【図３】
【図５】
【図１１】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図２０】
【図２１】
【図２２】
【図１】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１４】
【図１９】
【図３】
【図５】
【図１１】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図２０】
【図２１】
【図２２】
【図１】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１４】
【図１９】
【公開番号】特開２０１３−１１４５１７（Ｐ２０１３−１１４５１７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６１０３４（Ｐ２０１１−２６１０３４）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]