画像処理装置、画像処理方法および画像処理プログラム
【課題】視差画像をより高い精度で補正できる画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを含む。視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【解決手段】画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを含む。視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の立体視表示などに用いられる視差画像を生成するための画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
近年の表示デバイスの開発とも相まって、被写体を立体視表示するための画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、被写体を異なる視点で撮像することで取得される少なくとも2つの入力画像の間について、視差を算出する方法が一般的に採用される。算出された各画素位置の視差を表現するために視差画像が用いられることが多い。視差画像は、いずれかの入力画像の画素位置を基準として、各画素の視差をその画素値とするものである。視差画像は、各画素の画素値を濃淡で表現することもできる。
【0003】
このような視差画像は、入力画像間の視差を算出することで生成されるが、様々な要因によって、この算出される視差には誤差が生じ得る。そのため、このような誤差を補正することが好ましい。誤差を含む視差画像を用いて立体視表示を行なうと、視差が局所的に大きく変動するなどの違和感をユーザーに与える可能性がある。
【0004】
このような視差画像の補正に関して、以下のような先行技術が知られている。
特開2001−116513号公報(特許文献1)は、より密に物体までの距離分布を算出する、ステレオ照合における相関演算装置を開示する。より具体的には、この相関演算装置は、一対の撮像装置で物体を撮像し、その一方の画像データに測定点を設定し、他方の画像とx方向に沿ってシティブロック距離による相関演算を行なうことで相関曲線を得る。そして、相関演算装置は、相関曲線の複数の極小値に視差候補を設定し、極小値及び極小部の頂角から視差候補の信頼度を判定する。さらに、相関演算装置は、所定のレベル以上であればその候補を高信頼度測定点とし、以下であれば低信頼度測定点とする。また、相関演算装置は、低信頼度測定点が2方向で高信頼度測定点と連続していれば、低信頼度測定点の視差候補からそれらの視差に最も近い視差を選択する。これにより、物体を構成する高信頼度測定点の数が多くなり、その視差から物体までの距離分布が密に求まる。
【0005】
特開2003−269917号公報(特許文献2)は、信頼度が低い部分を含む画像においても、照度及び対象物に関係なく、高精度に距離情報を取得することができる距離計測方法などを開示する。この距離計測方法では、異なるパラメータで、ステレオカメラにより撮像された複数枚のステレオ画像から、夫々複数の信頼度画像及び距離画像が生成される。これらの画像から、信頼度画像内の所定の閾値より高い高信頼度領域における距離画像の距離データが合成され、低信頼度領域における距離データは高信頼度領域における距離データにより補間し、距離画像が生成される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−116513号公報
【特許文献2】特開2003−269917号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の相関演算装置では、近くにある信頼度の高い点という条件に基づいて判断するものであり、信頼度の高い点が同一のオブジェクトではない可能性がある。そのため、例えば、隣接した2物体が被写体である場合などには、全く異なる視差を用いて補正してしまう可能性がある。
【0008】
また、特許文献2に記載の距離計測方法では、信頼度が低い部分が存在した場合には、被写体を再度撮像する必要があり、より多くの処理時間を要するとともに、適用可能な用途が限定される。
【0009】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、視差画像をより高い精度で補正できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【0010】
本発明のある局面に従う画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを含む。視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【0011】
好ましくは、色情報は、被補正画素の周辺にある画素の色の分布を含む。
好ましくは、色情報は、被補正画素の周辺にある画素の各色の周波数情報を含む。
【0012】
好ましくは、適性算出手段は、色情報と被補正画素からの距離とに基づいて、適性を算出する。
【0013】
好ましくは、適性算出手段は、被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出する。
【0014】
好ましくは、決定手段は、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、被補正画素の周辺にある画素を補正に用いる。
【0015】
好ましくは、視差画像生成手段は、少なくとも2つの入力画像に対する対応点探索処理の結果に基づいて視差画像を生成し、信頼度算出手段は、対応点探索処理における評価値に基づいて信頼度を算出する。
【0016】
さらに好ましくは、対応点探索処理は、位相限定相関法による対応点探索処理を含む。
さらに好ましくは、適性算出手段は、位相限定相関法による対応点探索処理において算出される周波数情報に基づいて、適性を算出する。
【0017】
本発明の別の局面に従う画像処理方法は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するステップと、生成された視差画像に含まれる画素についての信頼度を算出するステップと、生成された視差画像を補正して出力するステップとを含む。視差画像を補正して出力するステップは、生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するステップと、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するステップとを含む。
【0018】
本発明のさらに別の局面に従う画像処理プログラムは、コンピューターに画像処理を実行させる画像処理プログラムであって、コンピューターを、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段として機能させ、視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【発明の効果】
【0019】
本発明によれば、視差画像をより高い精度で補正できる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
【図2】本発明の実施の形態に従う画像処理装置をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
【図3】本発明の実施の形態に従う画像処理装置の機能構成を示すブロック図である。
【図4】本発明の実施の形態に従う画像処理装置における全体処理手順を示すフローチャートである。
【図5】本発明の実施の形態に従う対応点探索処理の内容を説明するための図である。
【図6】本発明の実施の形態に従う対応点探索処理によって生成される視差画像の一例を示す図である。
【図7】本発明の実施の形態に従う補正画素候補の抽出処理の内容を説明するための図である。
【図8】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図9】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図10】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図11】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図12】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【発明を実施するための形態】
【0021】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0022】
<A.概要>
本発明の実施の形態に従う画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成する。視差画像の生成にあたって、対応点探索処理などの失敗によって、視差画像に誤差が生じる場合がある。そこで、本実施の形態に従う画像処理装置では、画素の信頼度だけではなく、画素の色情報に基づいて、ある被補正画素を補正するために使用されることの適性を周辺の補正画素候補について評価する。そして、それぞれの補正画素候補についての適性に基づいて、当該被補正画素の補正に用いる補正画素候補を決定する。これにより、より補正の精度を高めることができる。
【0023】
<B.システム構成>
まず、本発明の実施の形態に従う画像処理装置の構成について説明する。
【0024】
[b1:パーソナルコンピューターによる実現例]
図1は、本発明の実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
【0025】
図1を参照して、画像処理装置100は、主として、汎用的なアーキテクチャーを有するコンピューター上に実装される。図1を参照して、画像処理装置100は、主たるコンポーネントとして、CPU(Central Processing Unit)102と、RAM(Random Access Memory)104と、ROM(Read Only Memory)106と、ネットワークインターフェイス(I/F)108と、補助記憶装置110と、表示部120と、入力部122と、メモリーカードインターフェイス(I/F)124とを含む。各コンポーネントは、バス130を介して、互いに通信可能に接続されている。
【0026】
CPU102は、ROM106や補助記憶装置110などに格納された、オペレーティングシステム(OS:Operating System)や画像処理プログラムなどの各種プログラムを実行することで、画像処理装置100の全体を制御する。RAM104は、CPU102でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。ROM106は、画像処理装置100において起動時に実行される初期プログラム(ブートプログラム)などを格納する。
【0027】
ネットワークインターフェイス108は、各種の通信媒体を介して、他の装置(サーバー装置など)とデータを遣り取りする。より具体的には、ネットワークインターフェイス108は、イーサネット(登録商標)などの有線回線(LAN(Local Area Network)やWAN(Wide Area Network)など)、および/または、無線LANなどの無線回線を介してデータ通信を行なう。
【0028】
補助記憶装置110は、典型的には、ハードディスクなどの大容量磁気記憶媒体などからなり、本実施の形態に従う各種を実現するための画像処理プログラム112および処理対象の入力画像114などを格納する。さらに、補助記憶装置110には、オペレーティングシステムなどのプログラムが格納されてもよい。
【0029】
入力画像114は、被写体を異なる視点で撮像することで取得された少なくとも2つの画像を含む。但し、画像処理装置100本体が被写体を撮像する機能を有していなくともよい。この場合、後述するようなデジタルカメラに類似した機構を用いて、少なくとも2つの入力画像を取得し、それらの入力画像を任意の方法で画像処理装置100へ入力するようにしてもよい。より具体的には、上述のネットワークインターフェイス108やメモリーカードインターフェイス124を介して、入力画像が画像処理装置100へ入力される。
【0030】
表示部120は、オペレーティングシステムが提供するGUI(Graphical User Interface)画面や画像処理プログラム112の実行によって生成される画像などを表示する。好ましくは、表示部120は、画像処理プログラム112の実行によって生成される視差画像を用いて生成される立体視画像を用いて、被写体を立体視表示できることが好ましい。この場合、表示部120としては、3次元表示方式に対応した任意の表示デバイスによって構成される。このような3次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。
【0031】
入力部122は、典型的には、キーボード、マウス、タッチパネルなどからなり、ユーザーから受付けた指示の内容をCPU102などへ出力する。
【0032】
メモリーカードインターフェイス124は、SD(Secure Digital)カードやCF(Compact Flash(登録商標))カードなどの各種メモリーカード(不揮発性記憶媒体)126との間で、データの読み書きを行なう。典型的には、メモリーカードインターフェイス124には、何らかの装置で取得した入力画像を格納したメモリーカード126が装着され、そのメモリーカード126から読み出された入力画像が補助記憶装置110へ格納(コピー)される。
【0033】
補助記憶装置110に格納される画像処理プログラム112は、CD−ROM(Compact Disk-Read Only Memory)などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置などから配信される。画像処理プログラム112は、画像処理装置100(パーソナルコンピューター)で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム112自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。また、画像処理プログラム112は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム112自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム112であっても、本実施の形態に従う画像処理装置100の趣旨を逸脱するものではない。
【0034】
さらに、画像処理プログラム112によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【0035】
[b2:デジタルカメラ類似の構成による実現例]
図2は、本発明の実施の形態に従う画像処理装置をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
【0036】
図2を参照して、画像処理装置200は、実際に被写体を撮像することで少なくとも2つの入力画像を取得し、この取得した入力画像を用いて視差画像を出力できる。画像処理装置200は、主たるコンポーネントとして、画像処理エンジン202と、入力部204と、表示部206と、一対のレンズ212,222と、一対のCCD(Charge Coupled Device)イメージセンサー214,224とを含む。
【0037】
画像処理エンジン202は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。画像処理エンジン202は、典型的には、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、LSI(Large Scale Integration)、FPGA(Field-Programmable Gate Array)などからなる。
【0038】
入力部204は、典型的には、各種キーボタン、タッチパネルなどからなり、ユーザーから受付けた指示の内容を画像処理エンジン202へ出力する。
【0039】
表示部206は、被写体の撮像などに関するユーザーインターフェイス画面を表示する。好ましくは、表示部206は、画像処理エンジン202によって生成される視差画像を用いて生成される立体視画像を用いて、被写体を立体視表示できることが好ましい。この場合、表示部206としては、上述の表示部120(図1)と同様に、3次元表示方式に対応した任意の表示デバイスによって構成される。
【0040】
一対のレンズ212,222は、画像処理装置200の本体の異なる位置に設けられており、被写体を異なる視点でそれぞれ撮像することできる。すなわち、一対のレンズ212,222には、被写体からの互いに異なる反射光がそれぞれ入射する。一対のCCD214,224は、一対のレンズ212,222にそれぞれ対応付けられており、レンズ212,222によって集光された被写体からの光(像)を受光するとともに、その像を示す電気信号を画像処理エンジン202へ出力する。
【0041】
[b3:その他の構成による実現例]
上述したパーソナルコンピューターにより実現する例、および、デジタルカメラ類似の構成による実現する例に加えて、携帯電話上に実装してもよい。さらに、少なくとも1つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末(パーソナルコンピューターやスマートフォンなど)を用いて、少なくとも2つの入力画像をサーバー装置(クラウド側)へ送信し、当該送信された入力画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能(処理)を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。
【0042】
<C.機能構成>
次に、本実施の形態に従う画像処理装置の機能構成について説明する。
【0043】
図3は、本発明の実施の形態に従う画像処理装置の機能構成を示すブロック図である。図3を参照して、本実施の形態に従う画像処理装置は、その機能構成として、視差画像生成部10と、信頼度算出部20と、視差画像補正部30とを含む。これらの機能構成は、図1に示す画像処理装置100においては、CPU102が画像処理プログラムを実行することで実現され、図2に示す画像処理装置200においては、画像処理エンジン202によって実現される。
【0044】
視差画像生成部10は、少なくとも2つの入力画像(図3に示す例では、入力画像AおよびB)から視差画像を生成する。この少なくとも2つの入力画像は、被写体を異なる視点で撮像することで取得される。より具体的には、視差画像生成部10は、少なくとも2つの入力画像に対する対応点探索処理の結果に基づいて視差画像を生成する。この対応点探索処理およびその結果に基づく視差画像の生成処理の詳細については後述する。
【0045】
信頼度算出部20は、視差画像生成部10によって生成された視差画像に含まれる画素についての信頼度を算出する。より具体的には、信頼度算出部20は、視差画像生成部10での対応点探索処理における評価値に基づいて信頼度を算出する。この信頼度の算出処理の詳細については後述する。
【0046】
視差画像補正部30は、視差画像生成部10によって生成された視差画像を補正して出力する。この出力される補正後の視差画像を視差画像(補正後)とも記す。視差画像補正部30は、視差画像に含まれる画素の単位で視差を補正する。より具体的には、視差画像補正部30は、被補正画素抽出部31と、適性算出部32と、決定部33と、補正実行部34とを含む。被補正画素抽出部31は、視差画像生成部10によって生成された視差画像に含まれる画素のうち、その視差を補正すべきである対象の画素(以下「被補正画素」とも称す。)を抽出する。適性算出部32は、視差画像生成部10によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出する。決定部33は、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定する。補正実行部34は、被補正画素を決定部33によって決定された画素の情報で補正する。視差画像の補正処理の詳細については後述する。
【0047】
<D.全体処理手順>
次に、本実施の形態に従う画像処理装置における全体処理手順について説明する。
【0048】
図4は、本発明の実施の形態に従う画像処理装置における全体処理手順を示すフローチャートである。図4を参照して、画像処理装置(視差画像生成部10)は、少なくとも2つの入力画像を取得する(ステップS2)。続いて、画像処理装置(視差画像生成部10)は、取得した少なくとも2つの入力画像に対して対応点探索処理を実行する(ステップS4)。そして、画像処理装置(視差画像生成部10)は、対応点探索処理の結果に基づいて、視差画像を生成する(ステップS6)。
【0049】
このステップS4およびS6の処理と並行して、または、連続して、画像処理装置(信頼度算出部20)は、生成された視差画像に含まれるそれぞれの画素についての信頼度を算出する(ステップS8)。
【0050】
これらの処理が完了すると、以下に示す視差画像の補正処理が実行される。
すなわち、画像処理装置(被補正画素抽出部31)は、ステップS6において生成された視差画像に含まれる画素を注目画素に設定する(ステップS10)。そして、画像処理装置(被補正画素抽出部31)は、設定した注目画素が被補正画素であるか否かを判断する(ステップS12)。設定した注目画素が被補正画素ではない場合(ステップS12においてNOの場合)には、処理は、ステップS20へ進む。
【0051】
設定した注目画素が被補正画素である場合(ステップS12においてYESの場合)には、画像処理装置(適性算出部32)は、注目画素(被補正画素)の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出する(ステップS14)。続いて、画像処理装置(決定部33)は、ステップS14において算出された適性に基づいて、被補正画素の補正に用いる画素を決定する(ステップS16)。そして、画像処理装置(補正実行部34)は、ステップS16において決定された画素の情報で被補正画素を補正する(ステップS18)。そして、処理は、ステップS20へ進む。
【0052】
ステップS20において、画像処理装置(被補正画素抽出部31)は、ステップS6において生成された視差画像に含まれるすべての画素が注目画素に設定済であるか否かを判断する。ステップS6において生成された視差画像に含まれる画素のうち注目画素に設定されていない画素が存在する場合(ステップS20においてNOの場合)には、画像処理装置(被補正画素抽出部31)は、注目画素に設定されたことのないいずれかの画素を注目画素に設定する(ステップS22)。そして、ステップS12以下の処理が再度実行される。
【0053】
ステップS6において生成された視差画像に含まれるすべての画素が注目画素に設定済である場合(ステップS20においてYESの場合)には、画像処理装置は、補正後の視差画像を出力する(ステップS24)。そして、処理は終了する。
【0054】
以下、各ステップにおける処理の詳細について説明する。
<E.視差画像生成処理>
視差画像生成部10は、入力画像(入力画像Aおよび入力画像B)に対して、対応点探索処理を行なうとともに、その結果に基づいて、視差画像を生成する(図4のステップS2〜S6)。
【0055】
図5は、本発明の実施の形態に従う対応点探索処理の内容を説明するための図である。図6は、本発明の実施の形態に従う対応点探索処理によって生成される視差画像の一例を示す図である。
【0056】
図5を参照して、視差画像生成部10は、入力された入力画像の間で、ある入力画像の任意の点(以下「注目点」とも称す。)に関して、他の入力画像において対応する点(以下「対応点」とも称す。)を探索する。なお、注目点を設定する入力画像を基準画像と称し、対応点を探索する入力画像を参照画像と称す。そして、注目点と対応点との間の位置ずれが視差に相当する。典型的には、一方の入力画像(基準画像)上の注目点の座標と、他方の入力画像(参照画像)上の対応点の座標との差(座標差)が視差として算出される。
【0057】
視差画像生成部10は、基準画像に対して注目点を順次設定するとともに、対応する対応点を順次探索する。基本的には、この注目点は、所定の画素単位で設定される。理想的には、基準画像の各画素を注目点に設定するとともに、参照画像上の対応点を探索することが好ましい。処理速度や処理能力の制約から、所定領域(例えば、8画素×8画素)ごとに注目点を設定し、対応する対応点を探索するようにしてもよい。
【0058】
それぞれ算出される視差は、被写体上の各部分についての距離情報を示す。すなわち、それぞれの視差は、レンズなどの撮像部から、被写体上の注目点に対応する領域までの距離を示す指標値である。視差が大きいほど、撮像部から被写体の注目点に対応する領域までの距離が短い、すなわち撮像部により近接していることを意味する。逆に、視差が小さいほど、撮像部から被写体の注目点に対応する領域までの距離が長い、すなわち撮像部からより離れていることを意味する。なお、この視差が生じる方向は、一対のレンズの位置関係に依存する。
【0059】
したがって、それぞれ算出される視差の大きさから、撮像部から被写体の各部までの距離(奥行き)を算出することができる。このような被写体の各部の距離を画像として表現したものを視差画像(あるいは、距離画像)と称す。
【0060】
図6には、視差画像の一例を示す。図6に示す視差画像においては、各領域の視差の大きさ(奥行き方向の位置)は、濃淡を用いて表現される。なお、図6に示す視差画像に対して、スムージング処理を行なってもよい。
【0061】
図5に示すような対応点探索処理は、典型的には、位相限定相関法(POC:Phase-Only Correlation)演算法、SAD(Sum of Absolute Difference)演算法、SSD(Sum of Squared Difference)演算法、NCC(Normalized Cross Correlation)演算法などを用いることができる。本実施の形態においては、一例として、POCによる対応点探索処理を用いる場合について説明する。
【0062】
POCでは、入力画像に含まれる位相成分を用いて対応点探索を行なう。より具体的には、入力画像に設定される処理領域(ウィンドウ)内に含まれる周波数情報(周波数成分)を算出し、この周波数成分の類似度(相関値)から対応点が探索される。本実施の形態においては、このPOCによる対応点探索処理において算出される周波数情報に基づいて、視差補正を行なうための適性が算出される。このような周波数成分を用いることで、適性の算出処理を効率化できる。
【0063】
<F.信頼度算出処理>
信頼度算出部20は、視差画像生成部10によって生成された視差画像に含まれる画素についての信頼度を算出する(図4のステップS8)。すなわち、信頼度は、対応点探索処理によって得られた対応点の各々がどの程度確からしいのかを示す指標である。信頼度算出部20は、典型的には、対応点探索処理によって算出された類似度(相関値)をそのまま信頼度として出力する。
【0064】
POCによる対応点探索処理を用いる場合には、算出されるPOC値(相関値)の最大値が信頼度に相当し、このPOC値が大きいほど信頼できると判断できる。
【0065】
SADによる対応点探索処理を用いる場合には、算出されるSAD値の最小値が信頼度に相当し、このSAD値が小さいほど信頼できると判断できる。
【0066】
他の対応点探索処理においても、同様の思想によって信頼度を算出することができる。本発明は、対応点探索処理の種類およびその対応点探索処理の結果に従う信頼度の算出処理について限定されるものではない。
【0067】
<G.視差補正処理>
本実施の形態においては、被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出することで、視差画像をより適切に補正する。すなわち、視差画像の補正に際して、画素の色情報から補正画素候補としての適性を算出し、この算出された適性がより高いものを優先的に用いて、補正を行なう。
【0068】
[g1:被補正画素の抽出処理]
被補正画素抽出部31は、視差画像生成部10によって生成された視差画像に含まれる画素のうち、その視差を補正すべきである対象の画素(被補正画素)を抽出する(図4のステップS12)。この被補正画素は、各画素についての信頼度の大きさに基づいて抽出される。
【0069】
典型的には、被補正画素抽出部31は、視差画像に含まれる画素のうち、その信頼度が低い画素を被補正画素として決定する。「信頼度が低い」という評価方法としては、絶対的評価方法および相対的評価方法のいずれについても採用することができる。前者の方法については、各画素の信頼度を予め設定したしきい値と比較し、当該しきい値より低い信頼度を有する画素を被補正画素として抽出する(例えば、α以下といった基準)。後者の方法については、視差画像に含まれる各画素の信頼度の分布について、下位側の所定範囲(例えば、β%以下といった基準)に含まれる画素を被補正画素として抽出する。
【0070】
[g2:適性算出処理]
適性算出部32は、視差画像生成部10によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、被補正画素についての補正画素候補としての適性を算出する(図4のステップS14)。
【0071】
(i)補正画素候補の抽出処理
すべての画素が補正画素候補とはならないので、適性を算出する前に、補正画素候補になり得る画素を抽出しておくことが好ましい。この補正画素候補を抽出する典型的な方法としては、被補正画素の周辺の所定範囲内に存在する画素のうち、その信頼度が高い画素を補正画素候補として決定する。信頼度が低い画素は、補正「される」側の画素(すなわち、被補正画素)とすべきであり、補正画素候補としては不適切であることは明らかであるためである。
【0072】
このように、被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出することが好ましい。
【0073】
「信頼度が高い」という評価方法としては、上述と同様に、絶対的評価方法および相対的評価方法のいずれについても採用することができる。図7は、本発明の実施の形態に従う補正画素候補の抽出処理の内容を説明するための図である。
【0074】
前者の方法については、図7(a)に示すように、各画素の信頼度を予め設定したしきい値と比較し、当該しきい値より高い信頼度を有する画素を被補正画素として抽出する(例えば、α以上といった基準)。なお、このしきい値をパラメータとして入力できるようにしてもよい。
【0075】
後者の方法については、図7(b)に示すように、視差画像に含まれる各画素の信頼度の分布について、下位側の所定範囲(例えば、β%以上といった基準)に含まれる画素を被補正画素として抽出する。あるいは、被補正画素の信頼度を基準にしきい値を決定し、あるいは、距離画像に含まれる全画素の信頼度を基準にしきい値を決定(平均値や中央値)してもよい。
【0076】
(ii)適性の算出処理(その1)
図8および図9は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【0077】
図8(a)および図8(b)を参照して、適性算出部32は、典型的には、被補正画素の色情報と補正画素候補の色情報との差に基づいて適性を算出する。なお、被補正画素の色情報および補正画素候補の色情報は、入力画像の対応する画素における色情報を意味する。このとき、画素間の色情報の差が小さいほど、補正に用いる画素としての適性が高いといえる。すなわち、被補正画素の色情報と似ている色情報を有する画素ほど、補正画素候補としては相応しいと判断される。これは、色情報が近接していれば、被写体の同一部分を示している可能性が高いためである。
【0078】
図8(a)には、RGB色空間を用いた例を示し、図8(b)には、CMY色空間を用いた例を示す。入力画像の各画素の色情報を定義する方法に応じて、適切な色空間座標を用いればよく、このとき、適性は、当該色空間における距離Dfに応じて算出される。
【0079】
なお、図8に示すような色情報が3次元の値を有する必要はない。すなわち、一色のみの色情報で適性を算出してもよい。この場合には、図9に示すような、1次元の座標系を用いて、適性が算出される。そのため、本実施の形態に従う方法は、グレイスケール画像に対しても適用可能である。
【0080】
(iii)適性の算出処理(その2)
さらに、色情報の差分に対して、対応する信頼度を重みとして付加してもよい。このように、色情報と信頼度とを用いることで、色情報の差が同程度の画素が複数ある場合には、より信頼度の高い画素が優先的に補正画素として用いられることになり、視差補正をより安定化させることができる。
【0081】
この場合には、位相限定相関法(POC)による対応点探索処理において算出される周波数情報に基づいて適性を算出することが好ましい。このように、POCから周波数情報を受け取り、適性の算出に用いることで、不要な算出を削減し、高速な適性算出が可能となる。
【0082】
(iv)適性の算出処理(その3)
図10は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。図10を参照して、適性の算出処理の別形態として、被補正画素およびその周辺画素の色の分布(テクスチャー)と補正画素候補およびその周辺画素の色の分布との差分に基づく算出方法を採用してもよい。すなわち、適性を算出するために用いられる色情報は、被補正画素の周辺にある画素の色の分布を含む。
【0083】
典型的には、被補正画素を中心としてウィンドウを設定するとともに、補正画素候補を中心として同じサイズのウィンドウを設定する。そして、両ウィンドウ内の色の分布を比較して、両者の差が小さいほど補正に用いる画素としての適性が高いと判断する。すなわち、被補正画素の色の分布と情報と似ている色の分布を有するウィンドウほど、補正画素候補としては相応しいと判断される。これは、色の分布が近接していれば、被写体の同一部分を示している可能性が高いためである。この色の分布としては、より具体的には、ヒストグラムや周波数成分の振幅分布が用いられる。すなわち、適性の算出に用いる色情報は、被補正画素の周辺にある画素の各色の周波数情報を含む。
【0084】
(v)適性の算出処理(その4)
さらに、被補正画素と補正画素候補との間の画素間距離に応じた重みを付加してもよい。すなわち、色情報と被補正画素からの距離とに基づいて適性が算出される。
【0085】
図11および図12は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。図11に示すように、距離画像における被補正画素と補正画素候補との間の画素間距離Dに依存した重みが用いられる。一例として、図12に示すように、画素間距離Dがしきい値A以下であれば、重みを「1」に設定し、しきい値Aを超えてしきい値Bに到達するまでの範囲では、重みを漸減させてもよい。この例では、画素間距離Dがしきい値Bを超えれば、重みは「0」に設定される。言い換えれば、画素間距離Dがしきい値Bを超えている画素についての適性は「0」となる。そのため、このような画素については、補正対象画素としては選択されない。
【0086】
図12に示す重みは、以下のようにまとめることができる。
(a)画素間距離D≦しきい値A:重み=1
(b)しきい値A<画素間距離D≦しきい値B:重み=(B−D)/(B−A)
(c)画素間距離D>しきい値B:重み=0
このような重みを採用するのは、色情報がほぼ同じ複数の画素は、同一のオブジェクトである可能性が高いので、このような場合には、被補正画像に近い画素を優先するためである。
【0087】
(vi)適性の算出処理(その5)
上述した適性の算出処理(その1)〜適性の算出処理(その4)については、適宜組み合わせることができる。
【0088】
[g3:補正画素の決定処理]
決定部33は、適性算出部32によって算出された適性に基づいて、被補正画素の補正に用いる画素を決定する(図4のステップS16)。このような被補正画素の補正に用いる画素としては、典型的には、補正画素候補のうち、最も適性の値が大きい画素が補正に用いられる画素として選択される。
【0089】
あるいは、補正画素候補のうち、その適性の値が所定のしきい値以上の補正画素候補や、適性の値が補正画素候補の全体からみて上位にある補正画素候補を選択して、選択した複数の補正画素候補を用いて、補正を行なってもよい。
【0090】
[g4:補正実行処理]
補正実行部34は、決定部33によって決定された画素の情報で被補正画素を補正する(図4のステップS18)。
【0091】
(i)補正方法(その1)
典型的な補正方法として、決定部33が適性の最も高い補正画素候補を決定した場合には、被補正画素の視差を当該決定した補正画素候補に対応する視差に置き換える。
【0092】
(ii)補正方法(その2)
決定部33が統計的な処理などを行なうことで、複数の補正画素候補を決定した場合には、当該決定した複数の補正画素候補のそれぞれが有する視差の平均値または中央値を算出し、この算出された視差の統計値を被補正画素の視差にする。
【0093】
(iii)補正方法(その3)
補正画素候補に適性の高いものが存在しない場合、すなわち、決定部33が適切な補正画素候補を決定できなかった場合には、適性に依存することなく、被補正画素の周辺に位置する画素の視差を用いて、当該被補正画素の視差を補正する。言い換えれば、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、被補正画素の周辺にある画素が補正に用いられる。
【0094】
これは、被補正画素の視差をその周辺に位置する画素の視差と近似させることで、たとえ、適性の高い画素が存在しない場合であっても、視差画像が自然に補正されることを目的とするものである。より具体的な補正方法としては、被補正画素の周辺に位置する複数の画素が有する視差の平均値または中央値が用いられてもよい。
【0095】
(iv)補正方法(その4)
視差画像を補正するにあたって、被補正画素の視差だけではなく対応する信頼度についても補正を行なってもよい。より具体的には、被補正画素の視差については、上述したような方法に従って補正を行なうとともに、当該被補正画素の信頼度についても、視差と同様に、信頼度の高い画素の信頼度に置き換えるといった処理を採用してもよい。このような処理を採用することで、視差画像だけではなく、信頼度分布についても、より滑らかな分布を得ることができる。
【0096】
(v)補正方法(その5)
本実施の形態に従う画像処理方法は、静止画だけではなく、動画像についても同様に適用できる。この場合、動画像を構成するフレーム(時間軸に沿って並んでいる)のうち、被補正画像が含まれるフレームに時間軸において近接したフレームの情報を用いて、被補正画像を補正してもよい。
【0097】
このような近接したフレームの情報を用いる具体例としては、補正画素候補を探索する際に近接フレームに含まれる領域からも補正画素候補を抽出する。これは、近接フレーム間では被写体の動き量は少なく、ほぼ同じような画が写っていることが期待されるからである。適性の算出などに関しては上述と同様である。但し、フレーム間では画素間距離を算出できないので、代替の方法として、フレーム数に応じた重み付けを行なってもよい。この場合、被補正画素があるフレームにより近接したフレームの方が、より高い適性を有するにように設定されることが好ましい。
【0098】
(vi)補正方法(その6)
上述した補正方法(その1)〜補正方法(その5)については、適宜組み合わせることができる。
【0099】
[g5:変形例]
上述の例では、被補正画素として信頼度が低い画素を対象とする例を示したが、信頼度が高い画素を対象としてもよい。すなわち、信頼度が高い画素に対して、補正を行なってもよい。この場合、適性を算出する際に、信頼度の値を重み付けとして加算することで、被補正画素の信頼度が高いの場合には補正が行われにくくなり、信頼度の低い画素を被補正画素と設定した場合と同様の効果を得ることができる。
【0100】
<H.視差画像(補正後)の出力およびその利用>
上述のような視差の補正が元の視差画像に対して実行された後、視差画像(補正後)が出力される。上述したように、視差画像は、被写体の距離情報を示すものであり、この視差画像を用いることで、当該被写体を撮像した1枚の入力画像から立体視表示に用いられるステレオ画像を生成することができる。
【0101】
より具体的には、視差画像(補正後)に基づいて、入力画像を構成する各画素を対応する距離情報(画素数)だけずらすことで、被写体を立体視表示するためのステレオ画像(左眼用画像および右眼用画像)が生成される。このように、視差画像に基づいて、入力画像から被写体を立体視表示するためのステレオ画像が生成される。
【0102】
もちろん、視差画像は、被写体の立体形状を示しているので、この立体形状の情報を取得するという意味において、視差画像をそのまま利用することもできる。
【0103】
<I.利点>
本発明の実施の形態によれば、画素の信頼度だけではなく、画素の色情報に基づいて、ある被補正画素を補正するために使用されることの適性を算出するので、より補正の精度を高めることができる。
【0104】
<J.別形態>
本発明の実施の形態としては、以下のような態様を含む。
【0105】
本発明のある局面に従えば、画像の入力を受けて視差画像を生成するための視差生成手段を有する画像処理装置である。画像処理装置は、視差生成の信頼度を算出するための信頼度算出手段と、生成した視差を補正するための視差補正手段とを有する。視差補正手段は、信頼度と周辺の各点の色情報から、補正候補としての適性を算出し、適性が高い点を優先的に補正に用いる。このように適性を算出することで、適切に視差を補正できる。
【0106】
色情報は、対象画素周辺の色の分布であることが好ましい。これにより、周辺画素を含めた形で見ることができ、精度を向上できる。
【0107】
色情報は、対象画素周辺の各色の周波数情報であることが好ましい。これにより、周辺画素を含めた形で見ることができ、精度を向上できる。
【0108】
適性は、色情報と画素間距離とにより算出されることが好ましい。これにより、同じ色情報の画素の場合には、より近い画素を優先することになり、高精度な補正ができる。
【0109】
適性は、色情報と信頼度とにより算出されることが好ましい。これにより。同じ色情報の画素の場合には、信頼度のより高い画素を優先することになり、高精度な補正ができる。
【0110】
信頼度を少なくとも高低2段階以上に分割し、低信頼度と判定された画素は適性を算出しないことが好ましい。低信頼度画素は、被補正画素である可能性が高いため、適性の算出対象から除くことで、無駄な処理がなくなり、その結果、高速処理が可能になるとともに、誤判定を抑制できる。
【0111】
適性が高い画素が存在しない場合には、適性に依らず周辺画素を補正に用いることが好ましい。これにより、仮に適性の高い画素がなかったとしても、周辺画素を使うことで視聴に違和感の少ない視差補正ができる。
【0112】
視差生成手段はステレオカメラ画像の対応点探索の結果を用いて行われ、信頼度算出手段は対応点探索結果の評価値を信頼度として算出することが好ましい。これにより、ステレオカメラを対象とすることで、違和感の少ない立体形状の測定が可能となる。
【0113】
視差生成手段は、位相限定相関法(POC)による対応点探索の結果を用いて行われることが好ましい。POCにより高精度な視差生成が可能になるとともに、POCは画像の位相のみを用いた手法であり色情報は見ていないため、色による適性算出を行なうことで、POCの結果のみでは不可能な補正が可能となる。
【0114】
視差補正手段は、POCから周波数情報を受け取り、適性算出を行なうことが好ましい。POCの途中算出で発生する周波数情報を用いることで、不要な算出を削減し、高速な適性算出が可能となる。
【0115】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0116】
10 視差画像生成部、20 信頼度算出部、30 視差画像補正部、31 被補正画素抽出部、32 適性算出部、33 決定部、34 補正実行部、100,200 画像処理装置、102 CPU、104 RAM、106 ROM、108 ネットワークインターフェイス、110 補助記憶装置、112 画像処理プログラム、114 入力画像、120,206 表示部、122,204 入力部、124 メモリーカードインターフェイス、126 メモリーカード、130 バス、202 画像処理エンジン、212,222 レンズ、214,224 イメージセンサー。
【技術分野】
【0001】
本発明は、被写体の立体視表示などに用いられる視差画像を生成するための画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
近年の表示デバイスの開発とも相まって、被写体を立体視表示するための画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、被写体を異なる視点で撮像することで取得される少なくとも2つの入力画像の間について、視差を算出する方法が一般的に採用される。算出された各画素位置の視差を表現するために視差画像が用いられることが多い。視差画像は、いずれかの入力画像の画素位置を基準として、各画素の視差をその画素値とするものである。視差画像は、各画素の画素値を濃淡で表現することもできる。
【0003】
このような視差画像は、入力画像間の視差を算出することで生成されるが、様々な要因によって、この算出される視差には誤差が生じ得る。そのため、このような誤差を補正することが好ましい。誤差を含む視差画像を用いて立体視表示を行なうと、視差が局所的に大きく変動するなどの違和感をユーザーに与える可能性がある。
【0004】
このような視差画像の補正に関して、以下のような先行技術が知られている。
特開2001−116513号公報(特許文献1)は、より密に物体までの距離分布を算出する、ステレオ照合における相関演算装置を開示する。より具体的には、この相関演算装置は、一対の撮像装置で物体を撮像し、その一方の画像データに測定点を設定し、他方の画像とx方向に沿ってシティブロック距離による相関演算を行なうことで相関曲線を得る。そして、相関演算装置は、相関曲線の複数の極小値に視差候補を設定し、極小値及び極小部の頂角から視差候補の信頼度を判定する。さらに、相関演算装置は、所定のレベル以上であればその候補を高信頼度測定点とし、以下であれば低信頼度測定点とする。また、相関演算装置は、低信頼度測定点が2方向で高信頼度測定点と連続していれば、低信頼度測定点の視差候補からそれらの視差に最も近い視差を選択する。これにより、物体を構成する高信頼度測定点の数が多くなり、その視差から物体までの距離分布が密に求まる。
【0005】
特開2003−269917号公報(特許文献2)は、信頼度が低い部分を含む画像においても、照度及び対象物に関係なく、高精度に距離情報を取得することができる距離計測方法などを開示する。この距離計測方法では、異なるパラメータで、ステレオカメラにより撮像された複数枚のステレオ画像から、夫々複数の信頼度画像及び距離画像が生成される。これらの画像から、信頼度画像内の所定の閾値より高い高信頼度領域における距離画像の距離データが合成され、低信頼度領域における距離データは高信頼度領域における距離データにより補間し、距離画像が生成される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2001−116513号公報
【特許文献2】特開2003−269917号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の相関演算装置では、近くにある信頼度の高い点という条件に基づいて判断するものであり、信頼度の高い点が同一のオブジェクトではない可能性がある。そのため、例えば、隣接した2物体が被写体である場合などには、全く異なる視差を用いて補正してしまう可能性がある。
【0008】
また、特許文献2に記載の距離計測方法では、信頼度が低い部分が存在した場合には、被写体を再度撮像する必要があり、より多くの処理時間を要するとともに、適用可能な用途が限定される。
【0009】
そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、視差画像をより高い精度で補正できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【0010】
本発明のある局面に従う画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを含む。視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【0011】
好ましくは、色情報は、被補正画素の周辺にある画素の色の分布を含む。
好ましくは、色情報は、被補正画素の周辺にある画素の各色の周波数情報を含む。
【0012】
好ましくは、適性算出手段は、色情報と被補正画素からの距離とに基づいて、適性を算出する。
【0013】
好ましくは、適性算出手段は、被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出する。
【0014】
好ましくは、決定手段は、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、被補正画素の周辺にある画素を補正に用いる。
【0015】
好ましくは、視差画像生成手段は、少なくとも2つの入力画像に対する対応点探索処理の結果に基づいて視差画像を生成し、信頼度算出手段は、対応点探索処理における評価値に基づいて信頼度を算出する。
【0016】
さらに好ましくは、対応点探索処理は、位相限定相関法による対応点探索処理を含む。
さらに好ましくは、適性算出手段は、位相限定相関法による対応点探索処理において算出される周波数情報に基づいて、適性を算出する。
【0017】
本発明の別の局面に従う画像処理方法は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するステップと、生成された視差画像に含まれる画素についての信頼度を算出するステップと、生成された視差画像を補正して出力するステップとを含む。視差画像を補正して出力するステップは、生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するステップと、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するステップとを含む。
【0018】
本発明のさらに別の局面に従う画像処理プログラムは、コンピューターに画像処理を実行させる画像処理プログラムであって、コンピューターを、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段として機能させ、視差画像補正手段は、視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む。
【発明の効果】
【0019】
本発明によれば、視差画像をより高い精度で補正できる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
【図2】本発明の実施の形態に従う画像処理装置をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
【図3】本発明の実施の形態に従う画像処理装置の機能構成を示すブロック図である。
【図4】本発明の実施の形態に従う画像処理装置における全体処理手順を示すフローチャートである。
【図5】本発明の実施の形態に従う対応点探索処理の内容を説明するための図である。
【図6】本発明の実施の形態に従う対応点探索処理によって生成される視差画像の一例を示す図である。
【図7】本発明の実施の形態に従う補正画素候補の抽出処理の内容を説明するための図である。
【図8】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図9】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図10】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図11】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【図12】本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【発明を実施するための形態】
【0021】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0022】
<A.概要>
本発明の実施の形態に従う画像処理装置は、被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成する。視差画像の生成にあたって、対応点探索処理などの失敗によって、視差画像に誤差が生じる場合がある。そこで、本実施の形態に従う画像処理装置では、画素の信頼度だけではなく、画素の色情報に基づいて、ある被補正画素を補正するために使用されることの適性を周辺の補正画素候補について評価する。そして、それぞれの補正画素候補についての適性に基づいて、当該被補正画素の補正に用いる補正画素候補を決定する。これにより、より補正の精度を高めることができる。
【0023】
<B.システム構成>
まず、本発明の実施の形態に従う画像処理装置の構成について説明する。
【0024】
[b1:パーソナルコンピューターによる実現例]
図1は、本発明の実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。
【0025】
図1を参照して、画像処理装置100は、主として、汎用的なアーキテクチャーを有するコンピューター上に実装される。図1を参照して、画像処理装置100は、主たるコンポーネントとして、CPU(Central Processing Unit)102と、RAM(Random Access Memory)104と、ROM(Read Only Memory)106と、ネットワークインターフェイス(I/F)108と、補助記憶装置110と、表示部120と、入力部122と、メモリーカードインターフェイス(I/F)124とを含む。各コンポーネントは、バス130を介して、互いに通信可能に接続されている。
【0026】
CPU102は、ROM106や補助記憶装置110などに格納された、オペレーティングシステム(OS:Operating System)や画像処理プログラムなどの各種プログラムを実行することで、画像処理装置100の全体を制御する。RAM104は、CPU102でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。ROM106は、画像処理装置100において起動時に実行される初期プログラム(ブートプログラム)などを格納する。
【0027】
ネットワークインターフェイス108は、各種の通信媒体を介して、他の装置(サーバー装置など)とデータを遣り取りする。より具体的には、ネットワークインターフェイス108は、イーサネット(登録商標)などの有線回線(LAN(Local Area Network)やWAN(Wide Area Network)など)、および/または、無線LANなどの無線回線を介してデータ通信を行なう。
【0028】
補助記憶装置110は、典型的には、ハードディスクなどの大容量磁気記憶媒体などからなり、本実施の形態に従う各種を実現するための画像処理プログラム112および処理対象の入力画像114などを格納する。さらに、補助記憶装置110には、オペレーティングシステムなどのプログラムが格納されてもよい。
【0029】
入力画像114は、被写体を異なる視点で撮像することで取得された少なくとも2つの画像を含む。但し、画像処理装置100本体が被写体を撮像する機能を有していなくともよい。この場合、後述するようなデジタルカメラに類似した機構を用いて、少なくとも2つの入力画像を取得し、それらの入力画像を任意の方法で画像処理装置100へ入力するようにしてもよい。より具体的には、上述のネットワークインターフェイス108やメモリーカードインターフェイス124を介して、入力画像が画像処理装置100へ入力される。
【0030】
表示部120は、オペレーティングシステムが提供するGUI(Graphical User Interface)画面や画像処理プログラム112の実行によって生成される画像などを表示する。好ましくは、表示部120は、画像処理プログラム112の実行によって生成される視差画像を用いて生成される立体視画像を用いて、被写体を立体視表示できることが好ましい。この場合、表示部120としては、3次元表示方式に対応した任意の表示デバイスによって構成される。このような3次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。
【0031】
入力部122は、典型的には、キーボード、マウス、タッチパネルなどからなり、ユーザーから受付けた指示の内容をCPU102などへ出力する。
【0032】
メモリーカードインターフェイス124は、SD(Secure Digital)カードやCF(Compact Flash(登録商標))カードなどの各種メモリーカード(不揮発性記憶媒体)126との間で、データの読み書きを行なう。典型的には、メモリーカードインターフェイス124には、何らかの装置で取得した入力画像を格納したメモリーカード126が装着され、そのメモリーカード126から読み出された入力画像が補助記憶装置110へ格納(コピー)される。
【0033】
補助記憶装置110に格納される画像処理プログラム112は、CD−ROM(Compact Disk-Read Only Memory)などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置などから配信される。画像処理プログラム112は、画像処理装置100(パーソナルコンピューター)で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム112自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。また、画像処理プログラム112は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム112自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム112であっても、本実施の形態に従う画像処理装置100の趣旨を逸脱するものではない。
【0034】
さらに、画像処理プログラム112によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【0035】
[b2:デジタルカメラ類似の構成による実現例]
図2は、本発明の実施の形態に従う画像処理装置をデジタルカメラ類似の構成により実現した場合の構成を示すブロック図である。
【0036】
図2を参照して、画像処理装置200は、実際に被写体を撮像することで少なくとも2つの入力画像を取得し、この取得した入力画像を用いて視差画像を出力できる。画像処理装置200は、主たるコンポーネントとして、画像処理エンジン202と、入力部204と、表示部206と、一対のレンズ212,222と、一対のCCD(Charge Coupled Device)イメージセンサー214,224とを含む。
【0037】
画像処理エンジン202は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。画像処理エンジン202は、典型的には、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、LSI(Large Scale Integration)、FPGA(Field-Programmable Gate Array)などからなる。
【0038】
入力部204は、典型的には、各種キーボタン、タッチパネルなどからなり、ユーザーから受付けた指示の内容を画像処理エンジン202へ出力する。
【0039】
表示部206は、被写体の撮像などに関するユーザーインターフェイス画面を表示する。好ましくは、表示部206は、画像処理エンジン202によって生成される視差画像を用いて生成される立体視画像を用いて、被写体を立体視表示できることが好ましい。この場合、表示部206としては、上述の表示部120(図1)と同様に、3次元表示方式に対応した任意の表示デバイスによって構成される。
【0040】
一対のレンズ212,222は、画像処理装置200の本体の異なる位置に設けられており、被写体を異なる視点でそれぞれ撮像することできる。すなわち、一対のレンズ212,222には、被写体からの互いに異なる反射光がそれぞれ入射する。一対のCCD214,224は、一対のレンズ212,222にそれぞれ対応付けられており、レンズ212,222によって集光された被写体からの光(像)を受光するとともに、その像を示す電気信号を画像処理エンジン202へ出力する。
【0041】
[b3:その他の構成による実現例]
上述したパーソナルコンピューターにより実現する例、および、デジタルカメラ類似の構成による実現する例に加えて、携帯電話上に実装してもよい。さらに、少なくとも1つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末(パーソナルコンピューターやスマートフォンなど)を用いて、少なくとも2つの入力画像をサーバー装置(クラウド側)へ送信し、当該送信された入力画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能(処理)を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。
【0042】
<C.機能構成>
次に、本実施の形態に従う画像処理装置の機能構成について説明する。
【0043】
図3は、本発明の実施の形態に従う画像処理装置の機能構成を示すブロック図である。図3を参照して、本実施の形態に従う画像処理装置は、その機能構成として、視差画像生成部10と、信頼度算出部20と、視差画像補正部30とを含む。これらの機能構成は、図1に示す画像処理装置100においては、CPU102が画像処理プログラムを実行することで実現され、図2に示す画像処理装置200においては、画像処理エンジン202によって実現される。
【0044】
視差画像生成部10は、少なくとも2つの入力画像(図3に示す例では、入力画像AおよびB)から視差画像を生成する。この少なくとも2つの入力画像は、被写体を異なる視点で撮像することで取得される。より具体的には、視差画像生成部10は、少なくとも2つの入力画像に対する対応点探索処理の結果に基づいて視差画像を生成する。この対応点探索処理およびその結果に基づく視差画像の生成処理の詳細については後述する。
【0045】
信頼度算出部20は、視差画像生成部10によって生成された視差画像に含まれる画素についての信頼度を算出する。より具体的には、信頼度算出部20は、視差画像生成部10での対応点探索処理における評価値に基づいて信頼度を算出する。この信頼度の算出処理の詳細については後述する。
【0046】
視差画像補正部30は、視差画像生成部10によって生成された視差画像を補正して出力する。この出力される補正後の視差画像を視差画像(補正後)とも記す。視差画像補正部30は、視差画像に含まれる画素の単位で視差を補正する。より具体的には、視差画像補正部30は、被補正画素抽出部31と、適性算出部32と、決定部33と、補正実行部34とを含む。被補正画素抽出部31は、視差画像生成部10によって生成された視差画像に含まれる画素のうち、その視差を補正すべきである対象の画素(以下「被補正画素」とも称す。)を抽出する。適性算出部32は、視差画像生成部10によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出する。決定部33は、算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定する。補正実行部34は、被補正画素を決定部33によって決定された画素の情報で補正する。視差画像の補正処理の詳細については後述する。
【0047】
<D.全体処理手順>
次に、本実施の形態に従う画像処理装置における全体処理手順について説明する。
【0048】
図4は、本発明の実施の形態に従う画像処理装置における全体処理手順を示すフローチャートである。図4を参照して、画像処理装置(視差画像生成部10)は、少なくとも2つの入力画像を取得する(ステップS2)。続いて、画像処理装置(視差画像生成部10)は、取得した少なくとも2つの入力画像に対して対応点探索処理を実行する(ステップS4)。そして、画像処理装置(視差画像生成部10)は、対応点探索処理の結果に基づいて、視差画像を生成する(ステップS6)。
【0049】
このステップS4およびS6の処理と並行して、または、連続して、画像処理装置(信頼度算出部20)は、生成された視差画像に含まれるそれぞれの画素についての信頼度を算出する(ステップS8)。
【0050】
これらの処理が完了すると、以下に示す視差画像の補正処理が実行される。
すなわち、画像処理装置(被補正画素抽出部31)は、ステップS6において生成された視差画像に含まれる画素を注目画素に設定する(ステップS10)。そして、画像処理装置(被補正画素抽出部31)は、設定した注目画素が被補正画素であるか否かを判断する(ステップS12)。設定した注目画素が被補正画素ではない場合(ステップS12においてNOの場合)には、処理は、ステップS20へ進む。
【0051】
設定した注目画素が被補正画素である場合(ステップS12においてYESの場合)には、画像処理装置(適性算出部32)は、注目画素(被補正画素)の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出する(ステップS14)。続いて、画像処理装置(決定部33)は、ステップS14において算出された適性に基づいて、被補正画素の補正に用いる画素を決定する(ステップS16)。そして、画像処理装置(補正実行部34)は、ステップS16において決定された画素の情報で被補正画素を補正する(ステップS18)。そして、処理は、ステップS20へ進む。
【0052】
ステップS20において、画像処理装置(被補正画素抽出部31)は、ステップS6において生成された視差画像に含まれるすべての画素が注目画素に設定済であるか否かを判断する。ステップS6において生成された視差画像に含まれる画素のうち注目画素に設定されていない画素が存在する場合(ステップS20においてNOの場合)には、画像処理装置(被補正画素抽出部31)は、注目画素に設定されたことのないいずれかの画素を注目画素に設定する(ステップS22)。そして、ステップS12以下の処理が再度実行される。
【0053】
ステップS6において生成された視差画像に含まれるすべての画素が注目画素に設定済である場合(ステップS20においてYESの場合)には、画像処理装置は、補正後の視差画像を出力する(ステップS24)。そして、処理は終了する。
【0054】
以下、各ステップにおける処理の詳細について説明する。
<E.視差画像生成処理>
視差画像生成部10は、入力画像(入力画像Aおよび入力画像B)に対して、対応点探索処理を行なうとともに、その結果に基づいて、視差画像を生成する(図4のステップS2〜S6)。
【0055】
図5は、本発明の実施の形態に従う対応点探索処理の内容を説明するための図である。図6は、本発明の実施の形態に従う対応点探索処理によって生成される視差画像の一例を示す図である。
【0056】
図5を参照して、視差画像生成部10は、入力された入力画像の間で、ある入力画像の任意の点(以下「注目点」とも称す。)に関して、他の入力画像において対応する点(以下「対応点」とも称す。)を探索する。なお、注目点を設定する入力画像を基準画像と称し、対応点を探索する入力画像を参照画像と称す。そして、注目点と対応点との間の位置ずれが視差に相当する。典型的には、一方の入力画像(基準画像)上の注目点の座標と、他方の入力画像(参照画像)上の対応点の座標との差(座標差)が視差として算出される。
【0057】
視差画像生成部10は、基準画像に対して注目点を順次設定するとともに、対応する対応点を順次探索する。基本的には、この注目点は、所定の画素単位で設定される。理想的には、基準画像の各画素を注目点に設定するとともに、参照画像上の対応点を探索することが好ましい。処理速度や処理能力の制約から、所定領域(例えば、8画素×8画素)ごとに注目点を設定し、対応する対応点を探索するようにしてもよい。
【0058】
それぞれ算出される視差は、被写体上の各部分についての距離情報を示す。すなわち、それぞれの視差は、レンズなどの撮像部から、被写体上の注目点に対応する領域までの距離を示す指標値である。視差が大きいほど、撮像部から被写体の注目点に対応する領域までの距離が短い、すなわち撮像部により近接していることを意味する。逆に、視差が小さいほど、撮像部から被写体の注目点に対応する領域までの距離が長い、すなわち撮像部からより離れていることを意味する。なお、この視差が生じる方向は、一対のレンズの位置関係に依存する。
【0059】
したがって、それぞれ算出される視差の大きさから、撮像部から被写体の各部までの距離(奥行き)を算出することができる。このような被写体の各部の距離を画像として表現したものを視差画像(あるいは、距離画像)と称す。
【0060】
図6には、視差画像の一例を示す。図6に示す視差画像においては、各領域の視差の大きさ(奥行き方向の位置)は、濃淡を用いて表現される。なお、図6に示す視差画像に対して、スムージング処理を行なってもよい。
【0061】
図5に示すような対応点探索処理は、典型的には、位相限定相関法(POC:Phase-Only Correlation)演算法、SAD(Sum of Absolute Difference)演算法、SSD(Sum of Squared Difference)演算法、NCC(Normalized Cross Correlation)演算法などを用いることができる。本実施の形態においては、一例として、POCによる対応点探索処理を用いる場合について説明する。
【0062】
POCでは、入力画像に含まれる位相成分を用いて対応点探索を行なう。より具体的には、入力画像に設定される処理領域(ウィンドウ)内に含まれる周波数情報(周波数成分)を算出し、この周波数成分の類似度(相関値)から対応点が探索される。本実施の形態においては、このPOCによる対応点探索処理において算出される周波数情報に基づいて、視差補正を行なうための適性が算出される。このような周波数成分を用いることで、適性の算出処理を効率化できる。
【0063】
<F.信頼度算出処理>
信頼度算出部20は、視差画像生成部10によって生成された視差画像に含まれる画素についての信頼度を算出する(図4のステップS8)。すなわち、信頼度は、対応点探索処理によって得られた対応点の各々がどの程度確からしいのかを示す指標である。信頼度算出部20は、典型的には、対応点探索処理によって算出された類似度(相関値)をそのまま信頼度として出力する。
【0064】
POCによる対応点探索処理を用いる場合には、算出されるPOC値(相関値)の最大値が信頼度に相当し、このPOC値が大きいほど信頼できると判断できる。
【0065】
SADによる対応点探索処理を用いる場合には、算出されるSAD値の最小値が信頼度に相当し、このSAD値が小さいほど信頼できると判断できる。
【0066】
他の対応点探索処理においても、同様の思想によって信頼度を算出することができる。本発明は、対応点探索処理の種類およびその対応点探索処理の結果に従う信頼度の算出処理について限定されるものではない。
【0067】
<G.視差補正処理>
本実施の形態においては、被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出することで、視差画像をより適切に補正する。すなわち、視差画像の補正に際して、画素の色情報から補正画素候補としての適性を算出し、この算出された適性がより高いものを優先的に用いて、補正を行なう。
【0068】
[g1:被補正画素の抽出処理]
被補正画素抽出部31は、視差画像生成部10によって生成された視差画像に含まれる画素のうち、その視差を補正すべきである対象の画素(被補正画素)を抽出する(図4のステップS12)。この被補正画素は、各画素についての信頼度の大きさに基づいて抽出される。
【0069】
典型的には、被補正画素抽出部31は、視差画像に含まれる画素のうち、その信頼度が低い画素を被補正画素として決定する。「信頼度が低い」という評価方法としては、絶対的評価方法および相対的評価方法のいずれについても採用することができる。前者の方法については、各画素の信頼度を予め設定したしきい値と比較し、当該しきい値より低い信頼度を有する画素を被補正画素として抽出する(例えば、α以下といった基準)。後者の方法については、視差画像に含まれる各画素の信頼度の分布について、下位側の所定範囲(例えば、β%以下といった基準)に含まれる画素を被補正画素として抽出する。
【0070】
[g2:適性算出処理]
適性算出部32は、視差画像生成部10によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、被補正画素についての補正画素候補としての適性を算出する(図4のステップS14)。
【0071】
(i)補正画素候補の抽出処理
すべての画素が補正画素候補とはならないので、適性を算出する前に、補正画素候補になり得る画素を抽出しておくことが好ましい。この補正画素候補を抽出する典型的な方法としては、被補正画素の周辺の所定範囲内に存在する画素のうち、その信頼度が高い画素を補正画素候補として決定する。信頼度が低い画素は、補正「される」側の画素(すなわち、被補正画素)とすべきであり、補正画素候補としては不適切であることは明らかであるためである。
【0072】
このように、被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出することが好ましい。
【0073】
「信頼度が高い」という評価方法としては、上述と同様に、絶対的評価方法および相対的評価方法のいずれについても採用することができる。図7は、本発明の実施の形態に従う補正画素候補の抽出処理の内容を説明するための図である。
【0074】
前者の方法については、図7(a)に示すように、各画素の信頼度を予め設定したしきい値と比較し、当該しきい値より高い信頼度を有する画素を被補正画素として抽出する(例えば、α以上といった基準)。なお、このしきい値をパラメータとして入力できるようにしてもよい。
【0075】
後者の方法については、図7(b)に示すように、視差画像に含まれる各画素の信頼度の分布について、下位側の所定範囲(例えば、β%以上といった基準)に含まれる画素を被補正画素として抽出する。あるいは、被補正画素の信頼度を基準にしきい値を決定し、あるいは、距離画像に含まれる全画素の信頼度を基準にしきい値を決定(平均値や中央値)してもよい。
【0076】
(ii)適性の算出処理(その1)
図8および図9は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。
【0077】
図8(a)および図8(b)を参照して、適性算出部32は、典型的には、被補正画素の色情報と補正画素候補の色情報との差に基づいて適性を算出する。なお、被補正画素の色情報および補正画素候補の色情報は、入力画像の対応する画素における色情報を意味する。このとき、画素間の色情報の差が小さいほど、補正に用いる画素としての適性が高いといえる。すなわち、被補正画素の色情報と似ている色情報を有する画素ほど、補正画素候補としては相応しいと判断される。これは、色情報が近接していれば、被写体の同一部分を示している可能性が高いためである。
【0078】
図8(a)には、RGB色空間を用いた例を示し、図8(b)には、CMY色空間を用いた例を示す。入力画像の各画素の色情報を定義する方法に応じて、適切な色空間座標を用いればよく、このとき、適性は、当該色空間における距離Dfに応じて算出される。
【0079】
なお、図8に示すような色情報が3次元の値を有する必要はない。すなわち、一色のみの色情報で適性を算出してもよい。この場合には、図9に示すような、1次元の座標系を用いて、適性が算出される。そのため、本実施の形態に従う方法は、グレイスケール画像に対しても適用可能である。
【0080】
(iii)適性の算出処理(その2)
さらに、色情報の差分に対して、対応する信頼度を重みとして付加してもよい。このように、色情報と信頼度とを用いることで、色情報の差が同程度の画素が複数ある場合には、より信頼度の高い画素が優先的に補正画素として用いられることになり、視差補正をより安定化させることができる。
【0081】
この場合には、位相限定相関法(POC)による対応点探索処理において算出される周波数情報に基づいて適性を算出することが好ましい。このように、POCから周波数情報を受け取り、適性の算出に用いることで、不要な算出を削減し、高速な適性算出が可能となる。
【0082】
(iv)適性の算出処理(その3)
図10は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。図10を参照して、適性の算出処理の別形態として、被補正画素およびその周辺画素の色の分布(テクスチャー)と補正画素候補およびその周辺画素の色の分布との差分に基づく算出方法を採用してもよい。すなわち、適性を算出するために用いられる色情報は、被補正画素の周辺にある画素の色の分布を含む。
【0083】
典型的には、被補正画素を中心としてウィンドウを設定するとともに、補正画素候補を中心として同じサイズのウィンドウを設定する。そして、両ウィンドウ内の色の分布を比較して、両者の差が小さいほど補正に用いる画素としての適性が高いと判断する。すなわち、被補正画素の色の分布と情報と似ている色の分布を有するウィンドウほど、補正画素候補としては相応しいと判断される。これは、色の分布が近接していれば、被写体の同一部分を示している可能性が高いためである。この色の分布としては、より具体的には、ヒストグラムや周波数成分の振幅分布が用いられる。すなわち、適性の算出に用いる色情報は、被補正画素の周辺にある画素の各色の周波数情報を含む。
【0084】
(v)適性の算出処理(その4)
さらに、被補正画素と補正画素候補との間の画素間距離に応じた重みを付加してもよい。すなわち、色情報と被補正画素からの距離とに基づいて適性が算出される。
【0085】
図11および図12は、本発明の実施の形態に従う適性の算出処理の内容を説明するための図である。図11に示すように、距離画像における被補正画素と補正画素候補との間の画素間距離Dに依存した重みが用いられる。一例として、図12に示すように、画素間距離Dがしきい値A以下であれば、重みを「1」に設定し、しきい値Aを超えてしきい値Bに到達するまでの範囲では、重みを漸減させてもよい。この例では、画素間距離Dがしきい値Bを超えれば、重みは「0」に設定される。言い換えれば、画素間距離Dがしきい値Bを超えている画素についての適性は「0」となる。そのため、このような画素については、補正対象画素としては選択されない。
【0086】
図12に示す重みは、以下のようにまとめることができる。
(a)画素間距離D≦しきい値A:重み=1
(b)しきい値A<画素間距離D≦しきい値B:重み=(B−D)/(B−A)
(c)画素間距離D>しきい値B:重み=0
このような重みを採用するのは、色情報がほぼ同じ複数の画素は、同一のオブジェクトである可能性が高いので、このような場合には、被補正画像に近い画素を優先するためである。
【0087】
(vi)適性の算出処理(その5)
上述した適性の算出処理(その1)〜適性の算出処理(その4)については、適宜組み合わせることができる。
【0088】
[g3:補正画素の決定処理]
決定部33は、適性算出部32によって算出された適性に基づいて、被補正画素の補正に用いる画素を決定する(図4のステップS16)。このような被補正画素の補正に用いる画素としては、典型的には、補正画素候補のうち、最も適性の値が大きい画素が補正に用いられる画素として選択される。
【0089】
あるいは、補正画素候補のうち、その適性の値が所定のしきい値以上の補正画素候補や、適性の値が補正画素候補の全体からみて上位にある補正画素候補を選択して、選択した複数の補正画素候補を用いて、補正を行なってもよい。
【0090】
[g4:補正実行処理]
補正実行部34は、決定部33によって決定された画素の情報で被補正画素を補正する(図4のステップS18)。
【0091】
(i)補正方法(その1)
典型的な補正方法として、決定部33が適性の最も高い補正画素候補を決定した場合には、被補正画素の視差を当該決定した補正画素候補に対応する視差に置き換える。
【0092】
(ii)補正方法(その2)
決定部33が統計的な処理などを行なうことで、複数の補正画素候補を決定した場合には、当該決定した複数の補正画素候補のそれぞれが有する視差の平均値または中央値を算出し、この算出された視差の統計値を被補正画素の視差にする。
【0093】
(iii)補正方法(その3)
補正画素候補に適性の高いものが存在しない場合、すなわち、決定部33が適切な補正画素候補を決定できなかった場合には、適性に依存することなく、被補正画素の周辺に位置する画素の視差を用いて、当該被補正画素の視差を補正する。言い換えれば、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、被補正画素の周辺にある画素が補正に用いられる。
【0094】
これは、被補正画素の視差をその周辺に位置する画素の視差と近似させることで、たとえ、適性の高い画素が存在しない場合であっても、視差画像が自然に補正されることを目的とするものである。より具体的な補正方法としては、被補正画素の周辺に位置する複数の画素が有する視差の平均値または中央値が用いられてもよい。
【0095】
(iv)補正方法(その4)
視差画像を補正するにあたって、被補正画素の視差だけではなく対応する信頼度についても補正を行なってもよい。より具体的には、被補正画素の視差については、上述したような方法に従って補正を行なうとともに、当該被補正画素の信頼度についても、視差と同様に、信頼度の高い画素の信頼度に置き換えるといった処理を採用してもよい。このような処理を採用することで、視差画像だけではなく、信頼度分布についても、より滑らかな分布を得ることができる。
【0096】
(v)補正方法(その5)
本実施の形態に従う画像処理方法は、静止画だけではなく、動画像についても同様に適用できる。この場合、動画像を構成するフレーム(時間軸に沿って並んでいる)のうち、被補正画像が含まれるフレームに時間軸において近接したフレームの情報を用いて、被補正画像を補正してもよい。
【0097】
このような近接したフレームの情報を用いる具体例としては、補正画素候補を探索する際に近接フレームに含まれる領域からも補正画素候補を抽出する。これは、近接フレーム間では被写体の動き量は少なく、ほぼ同じような画が写っていることが期待されるからである。適性の算出などに関しては上述と同様である。但し、フレーム間では画素間距離を算出できないので、代替の方法として、フレーム数に応じた重み付けを行なってもよい。この場合、被補正画素があるフレームにより近接したフレームの方が、より高い適性を有するにように設定されることが好ましい。
【0098】
(vi)補正方法(その6)
上述した補正方法(その1)〜補正方法(その5)については、適宜組み合わせることができる。
【0099】
[g5:変形例]
上述の例では、被補正画素として信頼度が低い画素を対象とする例を示したが、信頼度が高い画素を対象としてもよい。すなわち、信頼度が高い画素に対して、補正を行なってもよい。この場合、適性を算出する際に、信頼度の値を重み付けとして加算することで、被補正画素の信頼度が高いの場合には補正が行われにくくなり、信頼度の低い画素を被補正画素と設定した場合と同様の効果を得ることができる。
【0100】
<H.視差画像(補正後)の出力およびその利用>
上述のような視差の補正が元の視差画像に対して実行された後、視差画像(補正後)が出力される。上述したように、視差画像は、被写体の距離情報を示すものであり、この視差画像を用いることで、当該被写体を撮像した1枚の入力画像から立体視表示に用いられるステレオ画像を生成することができる。
【0101】
より具体的には、視差画像(補正後)に基づいて、入力画像を構成する各画素を対応する距離情報(画素数)だけずらすことで、被写体を立体視表示するためのステレオ画像(左眼用画像および右眼用画像)が生成される。このように、視差画像に基づいて、入力画像から被写体を立体視表示するためのステレオ画像が生成される。
【0102】
もちろん、視差画像は、被写体の立体形状を示しているので、この立体形状の情報を取得するという意味において、視差画像をそのまま利用することもできる。
【0103】
<I.利点>
本発明の実施の形態によれば、画素の信頼度だけではなく、画素の色情報に基づいて、ある被補正画素を補正するために使用されることの適性を算出するので、より補正の精度を高めることができる。
【0104】
<J.別形態>
本発明の実施の形態としては、以下のような態様を含む。
【0105】
本発明のある局面に従えば、画像の入力を受けて視差画像を生成するための視差生成手段を有する画像処理装置である。画像処理装置は、視差生成の信頼度を算出するための信頼度算出手段と、生成した視差を補正するための視差補正手段とを有する。視差補正手段は、信頼度と周辺の各点の色情報から、補正候補としての適性を算出し、適性が高い点を優先的に補正に用いる。このように適性を算出することで、適切に視差を補正できる。
【0106】
色情報は、対象画素周辺の色の分布であることが好ましい。これにより、周辺画素を含めた形で見ることができ、精度を向上できる。
【0107】
色情報は、対象画素周辺の各色の周波数情報であることが好ましい。これにより、周辺画素を含めた形で見ることができ、精度を向上できる。
【0108】
適性は、色情報と画素間距離とにより算出されることが好ましい。これにより、同じ色情報の画素の場合には、より近い画素を優先することになり、高精度な補正ができる。
【0109】
適性は、色情報と信頼度とにより算出されることが好ましい。これにより。同じ色情報の画素の場合には、信頼度のより高い画素を優先することになり、高精度な補正ができる。
【0110】
信頼度を少なくとも高低2段階以上に分割し、低信頼度と判定された画素は適性を算出しないことが好ましい。低信頼度画素は、被補正画素である可能性が高いため、適性の算出対象から除くことで、無駄な処理がなくなり、その結果、高速処理が可能になるとともに、誤判定を抑制できる。
【0111】
適性が高い画素が存在しない場合には、適性に依らず周辺画素を補正に用いることが好ましい。これにより、仮に適性の高い画素がなかったとしても、周辺画素を使うことで視聴に違和感の少ない視差補正ができる。
【0112】
視差生成手段はステレオカメラ画像の対応点探索の結果を用いて行われ、信頼度算出手段は対応点探索結果の評価値を信頼度として算出することが好ましい。これにより、ステレオカメラを対象とすることで、違和感の少ない立体形状の測定が可能となる。
【0113】
視差生成手段は、位相限定相関法(POC)による対応点探索の結果を用いて行われることが好ましい。POCにより高精度な視差生成が可能になるとともに、POCは画像の位相のみを用いた手法であり色情報は見ていないため、色による適性算出を行なうことで、POCの結果のみでは不可能な補正が可能となる。
【0114】
視差補正手段は、POCから周波数情報を受け取り、適性算出を行なうことが好ましい。POCの途中算出で発生する周波数情報を用いることで、不要な算出を削減し、高速な適性算出が可能となる。
【0115】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0116】
10 視差画像生成部、20 信頼度算出部、30 視差画像補正部、31 被補正画素抽出部、32 適性算出部、33 決定部、34 補正実行部、100,200 画像処理装置、102 CPU、104 RAM、106 ROM、108 ネットワークインターフェイス、110 補助記憶装置、112 画像処理プログラム、114 入力画像、120,206 表示部、122,204 入力部、124 メモリーカードインターフェイス、126 メモリーカード、130 バス、202 画像処理エンジン、212,222 レンズ、214,224 イメージセンサー。
【特許請求の範囲】
【請求項1】
被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、
前記視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、
前記視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを備え、
前記視差画像補正手段は、
前記視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む、画像処理装置。
【請求項2】
前記色情報は、前記被補正画素の周辺にある画素の色の分布を含む、請求項1に記載の画像処理装置。
【請求項3】
前記色情報は、前記被補正画素の周辺にある画素の各色の周波数情報を含む、請求項1または2に記載の画像処理装置。
【請求項4】
前記適性算出手段は、前記色情報と前記被補正画素からの距離とに基づいて、適性を算出する、請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記適性算出手段は、前記被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出する、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記決定手段は、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、前記被補正画素の周辺にある画素を補正に用いる、請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項7】
前記視差画像生成手段は、前記少なくとも2つの入力画像に対する対応点探索処理の結果に基づいて前記視差画像を生成し、
前記信頼度算出手段は、前記対応点探索処理における評価値に基づいて信頼度を算出する、請求項1〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記対応点探索処理は、位相限定相関法による対応点探索処理を含む、請求項7に記載の画像処理装置。
【請求項9】
前記適性算出手段は、位相限定相関法による対応点探索処理において算出される周波数情報に基づいて、適性を算出する、請求項8に記載の画像処理装置。
【請求項10】
被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するステップと、
生成された視差画像に含まれる画素についての信頼度を算出するステップと、
生成された視差画像を補正して出力するステップとを備え、
視差画像を補正して出力する前記ステップは、
生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するステップと、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するステップとを含む、画像処理方法。
【請求項11】
コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターを、
被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、
前記視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、
前記視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段として機能させ、
前記視差画像補正手段は、
前記視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む、画像処理プログラム。
【請求項1】
被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、
前記視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、
前記視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段とを備え、
前記視差画像補正手段は、
前記視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む、画像処理装置。
【請求項2】
前記色情報は、前記被補正画素の周辺にある画素の色の分布を含む、請求項1に記載の画像処理装置。
【請求項3】
前記色情報は、前記被補正画素の周辺にある画素の各色の周波数情報を含む、請求項1または2に記載の画像処理装置。
【請求項4】
前記適性算出手段は、前記色情報と前記被補正画素からの距離とに基づいて、適性を算出する、請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記適性算出手段は、前記被補正画素の周辺にある画素のうち、対応する信頼度が所定値を超えたものについて適性を算出する、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記決定手段は、適性が所定値を超える画素が存在しない場合には、適性にかかわらず、前記被補正画素の周辺にある画素を補正に用いる、請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項7】
前記視差画像生成手段は、前記少なくとも2つの入力画像に対する対応点探索処理の結果に基づいて前記視差画像を生成し、
前記信頼度算出手段は、前記対応点探索処理における評価値に基づいて信頼度を算出する、請求項1〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記対応点探索処理は、位相限定相関法による対応点探索処理を含む、請求項7に記載の画像処理装置。
【請求項9】
前記適性算出手段は、位相限定相関法による対応点探索処理において算出される周波数情報に基づいて、適性を算出する、請求項8に記載の画像処理装置。
【請求項10】
被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するステップと、
生成された視差画像に含まれる画素についての信頼度を算出するステップと、
生成された視差画像を補正して出力するステップとを備え、
視差画像を補正して出力する前記ステップは、
生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するステップと、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するステップとを含む、画像処理方法。
【請求項11】
コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターを、
被写体を異なる視点で撮像することで取得された少なくとも2つの入力画像から視差画像を生成するための視差画像生成手段と、
前記視差画像生成手段によって生成された視差画像に含まれる画素についての信頼度を算出するための信頼度算出手段と、
前記視差画像生成手段によって生成された視差画像を補正して出力するための視差画像補正手段として機能させ、
前記視差画像補正手段は、
前記視差画像生成手段によって生成された視差画像に含まれる被補正画素の周辺にある画素の信頼度および色情報に基づいて、当該被補正画素についての補正画素候補としての適性を算出するための適性算出手段と、
算出された適性に基づいて、当該被補正画素の補正に用いる画素を決定するための決定手段とを含む、画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図6】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図6】
【公開番号】特開2013−114477(P2013−114477A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−260402(P2011−260402)
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000001270)コニカミノルタ株式会社 (4,463)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000001270)コニカミノルタ株式会社 (4,463)
【Fターム(参考)】
[ Back to top ]