奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
【課題】立体画像とする対象画像の各画素の奥行きの情報についての、欠損やノイズを削減でき、高速に奥行きデータを生成することのできる奥行きデータ生成装置を提供する。
【解決手段】２つの画像それぞれを複数の小領域に分割し、各小領域について特徴量を算出する。また、一方の画像の小領域の特徴量と、他方の画像の小領域の特徴量とを比較して、最も特徴量が近い２つの画像を小領域毎に特定する。そして２つの画像における最も特徴量が近い２つの小領域の各重心を用いて、三角測量の手法により小領域の奥行き値を算出し、算出された特徴量を、該当する小領域に割り当てた奥行き値データを生成し、出力する。
【解決手段】２つの画像それぞれを複数の小領域に分割し、各小領域について特徴量を算出する。また、一方の画像の小領域の特徴量と、他方の画像の小領域の特徴量とを比較して、最も特徴量が近い２つの画像を小領域毎に特定する。そして２つの画像における最も特徴量が近い２つの小領域の各重心を用いて、三角測量の手法により小領域の奥行き値を算出し、算出された特徴量を、該当する小領域に割り当てた奥行き値データを生成し、出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体データを生成する際に利用される奥行きデータを生成する奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
従来、様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。例えば、特許文献１には、バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際に、あらかじめ左右の目に対応する２視点の映像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる技術が開示されている。また、特許文献２にはＤＦＤ（Depth-fused 3-D）方式のディスプレイにおいて、二枚の映像表示面の濃淡で立体感を表現する技術が開示されている。
【０００３】
これらのディスプレイに表示する立体映像を作成するには、複数台のカメラを並べた撮影を行って多視点映像を合成するか、撮影した映像に映し出された対象物までの奥行き情報を計測して立体情報を与えるかのいずれかの方法をとる必要がある。特に、ＤＦＤ方式のディスプレイでは奥行き情報をもとにした立体情報が必須である。また、複数台のカメラを並べての撮影が困難な場合には、奥行き情報をもとに多視点映像を再合成する手法もしばしばとられている。立体映像向けの奥行き情報の計測手法として、レーザーなどの反射波の到着速度を計ることにより距離を測る手法(特許文献３)や、ステレオ画像から計測する手法（特許文献４）などが開示されている。
【特許文献１】特開平８−２４８３５５号公報
【特許文献２】特許第３０２２５５８号公報
【特許文献３】特開２００７−３２７９５６
【特許文献４】特許第３２４２５２９号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、立体データの生成に必要とされる奥行きデータは、奥行き値の欠損がなく、奥行き値が極端に大小するようなノイズ領域がない滑らかなものが望まれるという特徴がある。しかしながら、従来技術では、三次元ディスプレイに表示するための奥行き情報を取得するには、ステレオ計測などのコンピュータビジョン技術によって奥行き計測を行って取得するか、あるいは、距離センサなどによって計測を行うのが主流であった。ここで、前者については、計測の制約条件などが多く、品質をあげるには計算コストが多く必要であり、計算コストを小さくすると計測できずに奥行き値の欠損が発生するなどの問題があった。また、計測による誤差などからノイズが発生しやすいという問題もあった。また、後者については、リアルタイムで精度の高い奥行きデータを取得可能であるが、奥行きデータの解像度が低かったり、専用のハードウェアが必要になったりするという問題があった。
【０００５】
そこでこの発明は、立体画像とする対象画像の各画素の奥行きの情報についての、欠損やノイズを削減でき、高速に奥行きデータを生成することのできる奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段と、前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段と、前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段と、前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い小領域を持つ２つの画像を前記小領域毎に特定する算出対象画像特定手段と、前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段と、前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段と、を備えることを特徴とする奥行きデータ生成装置である。
【０００７】
また本発明は、上述の奥行きデータ生成装置において、前記領域分割手段は、領域統合法、画像ピラミッド法、Efficient Graph-Based Image Segmentation法、ＲＧＢ空間クラスタリング法、ヒストグラム法の何れかの手法を用いて、前記画像受付手段の受け付けた前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割することを特徴とする。
【０００８】
また本発明は、奥行きデータ生成装置における奥行きデータ生成方法であって、複数の撮影装置で撮影された画像の入力を受け付け、前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割し、前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出し、前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定し、前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出し、前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成することを特徴とする奥行きデータ生成方法である。
【０００９】
また本発明は、奥行きデータ生成装置のコンピュータを、複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段、前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段、前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段、前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定する算出対象画像特定手段、前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段、前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段、として機能するためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態による奥行きデータ生成装置を図面を参照して説明する。
図１は同実施形態による奥行きデータ生成装置の構成を示すブロック図である。
この図において、符号１は奥行きデータ生成装置である。そして、奥行きデータ生成装置１は、画像受付部１１、領域分割部１２、特徴量算出部１３、算出対象画像特定部１４、奥行き値算出部１５、奥行きデータ生成部１６、出力部１７の各処理部を備えている。
【００１２】
そして、本実施形態において、奥行きデータ生成装置１は、画像受付部１１が、撮影された画像を複数の装置それぞれから受け付け、領域分割部１２が、受け付けた各画像それぞれを視覚的特徴に基づいて複数の小領域に分割する。また特徴量算出部１３が、小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出し、算出対象画像特定部１４が、複数の画像のうち選択された一方の画像の小領域の特徴量と、複数の画像のうち選択された他方の画像の小領域の特徴量とを比較して、最も特徴量が近い２つの画像を小領域毎に特定する。そして、奥行き値算出部１５が、最も特徴量が近い２つの画像における最も特徴量が近い２つの小領域の各重心と、最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する。そして、奥行き値データ生成部１６が、奥行き値算出部１５によって算出された特徴量を、該当する小領域に割り当てた奥行き値データを生成し、出力部１７が映像における各画像の奥行きデータを出力する。この奥行きデータは、画像表示装置などにおいて立体画像を生成する際に用いられる。
【００１３】
図２は、本実施形態による奥行きデータ装置の処理フローを示す第１の図である。
図３は、本実施形態による奥行きデータ装置の処理フローを示す第２の図である。
次に、本実施形態による奥行きデータ装置の処理の詳細について説明する。
本実施形態においては、奥行きデータ生成装置１は直線上において距離の離れた位置から対象物を平行に撮影する２台の撮影装置と、通信接続されているものとする。そして、まず、画像受付部１１が、当該２台の撮影装置（一方は基準撮影装置とする）それぞれから、同時に撮影された画像データを受け付ける（ステップＳ１０１）。画像受付部１１は受け付けた２つの画像データを領域分割部１２に転送する。領域分割部１２は２つの画像データを受け付けると、次に、領域分割処理を開始する。この処理は、まず１つ目の画像において、ラスター操作により画素を１つ特定する（ステップＳ１０２）。そして、その画素が小領域に属しているかを判定し（ステップＳ１０３）、どの小領域にも未だ属していない場合には、隣接する画像との色情報の比較を行い、所定の閾値以下か否かを判定する（ステップＳ１０４）。
【００１４】
そして、色情報が所定の閾値以下か否かを判定し、閾値以下であれば、特定した１つの画素と、比較を行った画素とを同一領域として領域ＩＤなどの識別情報を割り振る（ステップＳ１０５）。ここで、色情報は、例えば画素の色の三原色であるＲ（red），Ｇ（Green），Ｂ（Blue）値から計算される表色値（Lab値やXYZ値）である。そして、領域ＩＤを割り振った画素にさらに隣接する他の画素があるか否かを判定し（ステップＳ１０６）、その他の隣接する画素があれば、その画素についてさらにステップＳ１０３〜Ｓ１０６の処理を繰り返し、同じ小領域の領域を広げていく。またその小領域内の画素に隣接する画素がなくなったとステップＳ１０６で判定した場合には、画像内の全ての画素について領域ＩＤを割り振ったか否かを判定し（ステップＳ１０７）、割り振っていない場合には、再度ラスター操作によりどの小領域にも未だ属していない画素を特定し、処理を繰り返す。また、どの小領域にも未だ属していない画素が画像中になくなった場合には、次に、全ての画像について領域分割処理を終了したかを判定し（ステップＳ１０８）、終了していない場合には、次の画像の領域分割処理へ移行する（ステップＳ１０９）。
【００１５】
これにより、画像中のどの画素がどの小領域に属するかを示す小領域データが、２つの画像それぞれについて生成される。なお上述の領域分割の処理は、領域統合法と呼ばれる手法であるが、この他、画像ピラミッド法、Efficient Graph-Based Image Segmentation法、ＲＧＢ空間クラスタリング法、ヒストグラム法などがあり、これらの何れかの手法を用いて、画像それぞれを視覚的特徴に基づいて複数の小領域に分割するようにすればよい。
【００１６】
２つの画像についてそれぞれ領域分割処理が終了すると、次に、算出対象画像特定部１４が、一方の基準撮影装置で撮影した画像における１つの小領域Ｒａ１を特定し、特徴量算出部１３がその小領域Ｒａ１の特徴量を算出する（ステップＳ１１０）。また算出対象画像特定部１４は、他方の撮影装置で撮影した画像における１つの小領域Ｒｂ２を特定し、特徴量算出部１３がその小領域Ｒｂ２の特徴量を算出する（ステップＳ１１１）。そして一方の基準撮影装置で撮影した画像における１つの小領域Ｒａ１の特徴量と、他方の画像における１つの小領域Ｒｂ２の特徴量とを比較する。ここで、一方の画像にＲａ１〜ＲａＮの小領域があり、他方の画像にＲｂ１〜ＲｂＮの小領域があったとすると、算出対象画像特定部１４は、一方の画像のある小領域について、最も特徴量の近い他方の画像における小領域を特定する（ステップＳ１１２）。この小領域それぞれは、２つの画像において撮影対象物の同一部位を示すものである。そして２つの画像において特定した特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ（ｎ＝１，…，Ｎ））を記憶する。ここで、特徴量とは、少なくとも小領域の面積、小領域の縦横のサイズ、小領域の色情報（ＲＧＢ値から算出されるＬａｂ値やＸＹＺ値等）の分布からなる特徴量であり、これら面積、縦横のサイズ、色の分布の特徴量を全て比較した上で、最も特徴量が近いものを統計処理によって検出する。
【００１７】
そして、奥行き値算出部１５は、２つの画像において特定した特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ）それぞれについて、当該組合せの各領域の重心を算出し、当該特徴量が近い２つの小領域の各重心と、当該特徴量が近い２つの画像それぞれにおける重心の位置によるずれと、当該特徴量が近い２つの画像を撮影した撮影装置間の距離と、に基づいて、三角測量の手法により、小領域の奥行き値を算出する（ステップＳ１１３）。
【００１８】
図４は三角測量の処理概要を示す図である。
この図で示すように、対象物までの距離をＤａ、撮影装置間の距離をｄ、レンズから撮影面の距離をＤｂ、焦点距離をｆ、２つの画像において特定した特徴量の近い小領域の重心のずれをｘとすると、
Ｄａ：Ｄｂ＝ｄ：ｘ
であるから
ｘ＝Ｄｂ・ｄ／Ｄａとなる。
また、焦点の公式より、
１／Ｄａ＋１／Ｄｂ＝１／ｆ
であるから、
対象物までの距離；Ｄａ＝（ｄ＋ｘ）ｆ／ｘ
により算出できる。
【００１９】
そして、奥行き値算出部１５は、２つの画像において特定した特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ）それぞれについて対象物までの距離Ｄａを算出し、各小領域それぞれの奥行き値とする。そして奥行きデータ生成部１６は、基準撮影装置で撮影した画像に対応する、各小領域の各画素と、それら各画素にその画素が属する小領域について算出した奥行き値を割り当てた奥行き値データを生成する。そして、出力部１７が生成された奥行きデータを出力する。なお、上述の処理においては、領域分割部１２、特徴量算出部１３、算出対象画像特定部１４、奥行き値算出部１５、奥行きデータ生成部１６、出力部１７は、画像受付部１１が受け付けた映像における全ての画像について上述の処理を繰り返すようにしてもよい。そして、奥行きデータは、出力先である映像表示装置などにおいて、立体画像を生成する際に用いられる。
【００２０】
なお、上述の処理においては、基準撮影装置とその他の撮影装置の２台の撮影装置それぞれで撮影した２つの画像を用いて処理を行っているが、基準撮影装置と、その他の複数の撮影装置の３台以上の撮影装置それぞれで撮影した３つ以上の画像を用いて処理を行うようにしてもよい。その場合、領域分割処理は上述の処理と同様であるが、特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ）を特定する場合には、基準撮影装置で撮影された画像内の小領域と、その他の撮影装置で撮影された複数の画像内の各小領域全てを比較して、最も特徴量の近い小領域の組合せを特定する。従って小領域毎に、基準撮影装置で撮影した画素と組み合わせる他の画素を撮影装置が異なることとなる。
【００２１】
以上、本発明の実施形態について説明したが、上述の処理によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【００２２】
なお、上述の奥行きデータ生成装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００２３】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００２４】
【図１】奥行きデータ生成装置の構成を示すブロック図である。
【図２】奥行きデータ装置の処理フローを示す第１の図である。
【図３】奥行きデータ装置の処理フローを示す第２の図である。
【図４】三角測量の処理概要を示す図である。
【符号の説明】
【００２５】
１・・・奥行きデータ生成装置
１１・・・画像受付部
１２・・・領域分割部
１３・・・特徴量算出部
１４・・・算出対象画像特定部
１５・・・奥行き値算出部
１６・・・奥行きデータ生成部
１７・・・出力部
【技術分野】
【０００１】
本発明は、立体データを生成する際に利用される奥行きデータを生成する奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
従来、様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。例えば、特許文献１には、バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際に、あらかじめ左右の目に対応する２視点の映像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる技術が開示されている。また、特許文献２にはＤＦＤ（Depth-fused 3-D）方式のディスプレイにおいて、二枚の映像表示面の濃淡で立体感を表現する技術が開示されている。
【０００３】
これらのディスプレイに表示する立体映像を作成するには、複数台のカメラを並べた撮影を行って多視点映像を合成するか、撮影した映像に映し出された対象物までの奥行き情報を計測して立体情報を与えるかのいずれかの方法をとる必要がある。特に、ＤＦＤ方式のディスプレイでは奥行き情報をもとにした立体情報が必須である。また、複数台のカメラを並べての撮影が困難な場合には、奥行き情報をもとに多視点映像を再合成する手法もしばしばとられている。立体映像向けの奥行き情報の計測手法として、レーザーなどの反射波の到着速度を計ることにより距離を測る手法(特許文献３)や、ステレオ画像から計測する手法（特許文献４）などが開示されている。
【特許文献１】特開平８−２４８３５５号公報
【特許文献２】特許第３０２２５５８号公報
【特許文献３】特開２００７−３２７９５６
【特許文献４】特許第３２４２５２９号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、立体データの生成に必要とされる奥行きデータは、奥行き値の欠損がなく、奥行き値が極端に大小するようなノイズ領域がない滑らかなものが望まれるという特徴がある。しかしながら、従来技術では、三次元ディスプレイに表示するための奥行き情報を取得するには、ステレオ計測などのコンピュータビジョン技術によって奥行き計測を行って取得するか、あるいは、距離センサなどによって計測を行うのが主流であった。ここで、前者については、計測の制約条件などが多く、品質をあげるには計算コストが多く必要であり、計算コストを小さくすると計測できずに奥行き値の欠損が発生するなどの問題があった。また、計測による誤差などからノイズが発生しやすいという問題もあった。また、後者については、リアルタイムで精度の高い奥行きデータを取得可能であるが、奥行きデータの解像度が低かったり、専用のハードウェアが必要になったりするという問題があった。
【０００５】
そこでこの発明は、立体画像とする対象画像の各画素の奥行きの情報についての、欠損やノイズを削減でき、高速に奥行きデータを生成することのできる奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段と、前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段と、前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段と、前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い小領域を持つ２つの画像を前記小領域毎に特定する算出対象画像特定手段と、前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段と、前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段と、を備えることを特徴とする奥行きデータ生成装置である。
【０００７】
また本発明は、上述の奥行きデータ生成装置において、前記領域分割手段は、領域統合法、画像ピラミッド法、Efficient Graph-Based Image Segmentation法、ＲＧＢ空間クラスタリング法、ヒストグラム法の何れかの手法を用いて、前記画像受付手段の受け付けた前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割することを特徴とする。
【０００８】
また本発明は、奥行きデータ生成装置における奥行きデータ生成方法であって、複数の撮影装置で撮影された画像の入力を受け付け、前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割し、前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出し、前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定し、前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出し、前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成することを特徴とする奥行きデータ生成方法である。
【０００９】
また本発明は、奥行きデータ生成装置のコンピュータを、複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段、前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段、前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段、前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定する算出対象画像特定手段、前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段、前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段、として機能するためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態による奥行きデータ生成装置を図面を参照して説明する。
図１は同実施形態による奥行きデータ生成装置の構成を示すブロック図である。
この図において、符号１は奥行きデータ生成装置である。そして、奥行きデータ生成装置１は、画像受付部１１、領域分割部１２、特徴量算出部１３、算出対象画像特定部１４、奥行き値算出部１５、奥行きデータ生成部１６、出力部１７の各処理部を備えている。
【００１２】
そして、本実施形態において、奥行きデータ生成装置１は、画像受付部１１が、撮影された画像を複数の装置それぞれから受け付け、領域分割部１２が、受け付けた各画像それぞれを視覚的特徴に基づいて複数の小領域に分割する。また特徴量算出部１３が、小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出し、算出対象画像特定部１４が、複数の画像のうち選択された一方の画像の小領域の特徴量と、複数の画像のうち選択された他方の画像の小領域の特徴量とを比較して、最も特徴量が近い２つの画像を小領域毎に特定する。そして、奥行き値算出部１５が、最も特徴量が近い２つの画像における最も特徴量が近い２つの小領域の各重心と、最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する。そして、奥行き値データ生成部１６が、奥行き値算出部１５によって算出された特徴量を、該当する小領域に割り当てた奥行き値データを生成し、出力部１７が映像における各画像の奥行きデータを出力する。この奥行きデータは、画像表示装置などにおいて立体画像を生成する際に用いられる。
【００１３】
図２は、本実施形態による奥行きデータ装置の処理フローを示す第１の図である。
図３は、本実施形態による奥行きデータ装置の処理フローを示す第２の図である。
次に、本実施形態による奥行きデータ装置の処理の詳細について説明する。
本実施形態においては、奥行きデータ生成装置１は直線上において距離の離れた位置から対象物を平行に撮影する２台の撮影装置と、通信接続されているものとする。そして、まず、画像受付部１１が、当該２台の撮影装置（一方は基準撮影装置とする）それぞれから、同時に撮影された画像データを受け付ける（ステップＳ１０１）。画像受付部１１は受け付けた２つの画像データを領域分割部１２に転送する。領域分割部１２は２つの画像データを受け付けると、次に、領域分割処理を開始する。この処理は、まず１つ目の画像において、ラスター操作により画素を１つ特定する（ステップＳ１０２）。そして、その画素が小領域に属しているかを判定し（ステップＳ１０３）、どの小領域にも未だ属していない場合には、隣接する画像との色情報の比較を行い、所定の閾値以下か否かを判定する（ステップＳ１０４）。
【００１４】
そして、色情報が所定の閾値以下か否かを判定し、閾値以下であれば、特定した１つの画素と、比較を行った画素とを同一領域として領域ＩＤなどの識別情報を割り振る（ステップＳ１０５）。ここで、色情報は、例えば画素の色の三原色であるＲ（red），Ｇ（Green），Ｂ（Blue）値から計算される表色値（Lab値やXYZ値）である。そして、領域ＩＤを割り振った画素にさらに隣接する他の画素があるか否かを判定し（ステップＳ１０６）、その他の隣接する画素があれば、その画素についてさらにステップＳ１０３〜Ｓ１０６の処理を繰り返し、同じ小領域の領域を広げていく。またその小領域内の画素に隣接する画素がなくなったとステップＳ１０６で判定した場合には、画像内の全ての画素について領域ＩＤを割り振ったか否かを判定し（ステップＳ１０７）、割り振っていない場合には、再度ラスター操作によりどの小領域にも未だ属していない画素を特定し、処理を繰り返す。また、どの小領域にも未だ属していない画素が画像中になくなった場合には、次に、全ての画像について領域分割処理を終了したかを判定し（ステップＳ１０８）、終了していない場合には、次の画像の領域分割処理へ移行する（ステップＳ１０９）。
【００１５】
これにより、画像中のどの画素がどの小領域に属するかを示す小領域データが、２つの画像それぞれについて生成される。なお上述の領域分割の処理は、領域統合法と呼ばれる手法であるが、この他、画像ピラミッド法、Efficient Graph-Based Image Segmentation法、ＲＧＢ空間クラスタリング法、ヒストグラム法などがあり、これらの何れかの手法を用いて、画像それぞれを視覚的特徴に基づいて複数の小領域に分割するようにすればよい。
【００１６】
２つの画像についてそれぞれ領域分割処理が終了すると、次に、算出対象画像特定部１４が、一方の基準撮影装置で撮影した画像における１つの小領域Ｒａ１を特定し、特徴量算出部１３がその小領域Ｒａ１の特徴量を算出する（ステップＳ１１０）。また算出対象画像特定部１４は、他方の撮影装置で撮影した画像における１つの小領域Ｒｂ２を特定し、特徴量算出部１３がその小領域Ｒｂ２の特徴量を算出する（ステップＳ１１１）。そして一方の基準撮影装置で撮影した画像における１つの小領域Ｒａ１の特徴量と、他方の画像における１つの小領域Ｒｂ２の特徴量とを比較する。ここで、一方の画像にＲａ１〜ＲａＮの小領域があり、他方の画像にＲｂ１〜ＲｂＮの小領域があったとすると、算出対象画像特定部１４は、一方の画像のある小領域について、最も特徴量の近い他方の画像における小領域を特定する（ステップＳ１１２）。この小領域それぞれは、２つの画像において撮影対象物の同一部位を示すものである。そして２つの画像において特定した特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ（ｎ＝１，…，Ｎ））を記憶する。ここで、特徴量とは、少なくとも小領域の面積、小領域の縦横のサイズ、小領域の色情報（ＲＧＢ値から算出されるＬａｂ値やＸＹＺ値等）の分布からなる特徴量であり、これら面積、縦横のサイズ、色の分布の特徴量を全て比較した上で、最も特徴量が近いものを統計処理によって検出する。
【００１７】
そして、奥行き値算出部１５は、２つの画像において特定した特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ）それぞれについて、当該組合せの各領域の重心を算出し、当該特徴量が近い２つの小領域の各重心と、当該特徴量が近い２つの画像それぞれにおける重心の位置によるずれと、当該特徴量が近い２つの画像を撮影した撮影装置間の距離と、に基づいて、三角測量の手法により、小領域の奥行き値を算出する（ステップＳ１１３）。
【００１８】
図４は三角測量の処理概要を示す図である。
この図で示すように、対象物までの距離をＤａ、撮影装置間の距離をｄ、レンズから撮影面の距離をＤｂ、焦点距離をｆ、２つの画像において特定した特徴量の近い小領域の重心のずれをｘとすると、
Ｄａ：Ｄｂ＝ｄ：ｘ
であるから
ｘ＝Ｄｂ・ｄ／Ｄａとなる。
また、焦点の公式より、
１／Ｄａ＋１／Ｄｂ＝１／ｆ
であるから、
対象物までの距離；Ｄａ＝（ｄ＋ｘ）ｆ／ｘ
により算出できる。
【００１９】
そして、奥行き値算出部１５は、２つの画像において特定した特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ）それぞれについて対象物までの距離Ｄａを算出し、各小領域それぞれの奥行き値とする。そして奥行きデータ生成部１６は、基準撮影装置で撮影した画像に対応する、各小領域の各画素と、それら各画素にその画素が属する小領域について算出した奥行き値を割り当てた奥行き値データを生成する。そして、出力部１７が生成された奥行きデータを出力する。なお、上述の処理においては、領域分割部１２、特徴量算出部１３、算出対象画像特定部１４、奥行き値算出部１５、奥行きデータ生成部１６、出力部１７は、画像受付部１１が受け付けた映像における全ての画像について上述の処理を繰り返すようにしてもよい。そして、奥行きデータは、出力先である映像表示装置などにおいて、立体画像を生成する際に用いられる。
【００２０】
なお、上述の処理においては、基準撮影装置とその他の撮影装置の２台の撮影装置それぞれで撮影した２つの画像を用いて処理を行っているが、基準撮影装置と、その他の複数の撮影装置の３台以上の撮影装置それぞれで撮影した３つ以上の画像を用いて処理を行うようにしてもよい。その場合、領域分割処理は上述の処理と同様であるが、特徴量の近い小領域の組合せ（Ｒａｎ，Ｒｂｎ）を特定する場合には、基準撮影装置で撮影された画像内の小領域と、その他の撮影装置で撮影された複数の画像内の各小領域全てを比較して、最も特徴量の近い小領域の組合せを特定する。従って小領域毎に、基準撮影装置で撮影した画素と組み合わせる他の画素を撮影装置が異なることとなる。
【００２１】
以上、本発明の実施形態について説明したが、上述の処理によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【００２２】
なお、上述の奥行きデータ生成装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００２３】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００２４】
【図１】奥行きデータ生成装置の構成を示すブロック図である。
【図２】奥行きデータ装置の処理フローを示す第１の図である。
【図３】奥行きデータ装置の処理フローを示す第２の図である。
【図４】三角測量の処理概要を示す図である。
【符号の説明】
【００２５】
１・・・奥行きデータ生成装置
１１・・・画像受付部
１２・・・領域分割部
１３・・・特徴量算出部
１４・・・算出対象画像特定部
１５・・・奥行き値算出部
１６・・・奥行きデータ生成部
１７・・・出力部
【特許請求の範囲】
【請求項１】
複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段と、
前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段と、
前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段と、
前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い小領域を持つ２つの画像を前記小領域毎に特定する算出対象画像特定手段と、
前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段と、
前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段と、
を備えることを特徴とする奥行きデータ生成装置。
【請求項２】
前記領域分割手段は、領域統合法、画像ピラミッド法、Efficient Graph-Based Image Segmentation法、ＲＧＢ空間クラスタリング法、ヒストグラム法の何れかの手法を用いて、前記画像受付手段の受け付けた前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する
ことを特徴とする請求項１に記載の奥行きデータ生成装置。
【請求項３】
奥行きデータ生成装置における奥行きデータ生成方法であって、
複数の撮影装置で撮影された画像の入力を受け付け、
前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割し、
前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出し、
前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定し、
前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出し、
前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する
ことを特徴とする奥行きデータ生成方法。
【請求項４】
奥行きデータ生成装置のコンピュータを、
複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段、
前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段、
前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段、
前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定する算出対象画像特定手段、
前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段、
前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段、
として機能するためのプログラム。
【請求項１】
複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段と、
前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段と、
前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段と、
前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い小領域を持つ２つの画像を前記小領域毎に特定する算出対象画像特定手段と、
前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段と、
前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段と、
を備えることを特徴とする奥行きデータ生成装置。
【請求項２】
前記領域分割手段は、領域統合法、画像ピラミッド法、Efficient Graph-Based Image Segmentation法、ＲＧＢ空間クラスタリング法、ヒストグラム法の何れかの手法を用いて、前記画像受付手段の受け付けた前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する
ことを特徴とする請求項１に記載の奥行きデータ生成装置。
【請求項３】
奥行きデータ生成装置における奥行きデータ生成方法であって、
複数の撮影装置で撮影された画像の入力を受け付け、
前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割し、
前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出し、
前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定し、
前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出し、
前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する
ことを特徴とする奥行きデータ生成方法。
【請求項４】
奥行きデータ生成装置のコンピュータを、
複数の撮影装置で撮影された画像の入力を受け付ける画像受付手段、
前記画像それぞれを視覚的特徴に基づいて複数の小領域に分割する領域分割手段、
前記小領域のそれぞれについて、少なくとも面積、縦横のサイズ、色の分布からなる特徴量を算出する特徴量算出手段、
前記複数の画像のうち選択された一方の画像の小領域の前記特徴量と、前記複数の画像のうち選択された他方の画像の小領域の前記特徴量とを比較して、最も特徴量が近い２つの画像を前記小領域毎に特定する算出対象画像特定手段、
前記最も特徴量が近い小領域を持つ２つの画像における当該特徴量の近い２つの小領域の各重心と、前記最も特徴量が近い２つの画像それぞれにおける前記重心それぞれの位置と、前記最も特徴量が近い２つの画像を撮影した撮影装置の距離と、に基づいて、三角測量の手法により、当該小領域の奥行き値を算出する奥行き値算出手段、
前記算出した特徴量を該当する小領域に割り当てた奥行き値データを生成する奥行き値データ生成手段、
として機能するためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−２１０４８６（Ｐ２００９−２１０４８６Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５５５４４（Ｐ２００８−５５５４４）
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]