奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
【課題】立体画像とする対象画像の各画素の奥行きの情報についての、欠損やノイズを削減でき、高速に奥行きデータを生成することのできる奥行きデータ生成装置を提供する。
【解決手段】撮影された映像を受け付け、受け付けた映像の各画像において背景画像と被写体である対象物画像を分離する。そして、対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の第ｎ（ｎ＝１，・・・，Ｎ）の外郭画素を特定する処理を繰り返す。また第１の外郭画素から第Ｎの外郭画素に対して昇順または降順に奥行き値を順次割り当てる。そして、対象物画像の各画素について割り当てられた奥行き値を保持する奥行き値データを生成し、映像における各画像の奥行きデータを出力する。
【解決手段】撮影された映像を受け付け、受け付けた映像の各画像において背景画像と被写体である対象物画像を分離する。そして、対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の第ｎ（ｎ＝１，・・・，Ｎ）の外郭画素を特定する処理を繰り返す。また第１の外郭画素から第Ｎの外郭画素に対して昇順または降順に奥行き値を順次割り当てる。そして、対象物画像の各画素について割り当てられた奥行き値を保持する奥行き値データを生成し、映像における各画像の奥行きデータを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体データを生成する際に利用される奥行きデータを生成する奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
従来、様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。例えば、特許文献１には、バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際に、あらかじめ左右の目に対応する２視点の映像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる技術が開示されている。また、特許文献２にはＤＦＤ（Depth-fused 3-D）方式のディスプレイにおいて、二枚の映像表示面の濃淡で立体感を表現する技術が開示されている。
【０００３】
これらのディスプレイに表示する立体映像を作成するには、複数台のカメラを並べた撮影を行って多視点映像を合成するか、撮影した映像に映し出された対象物までの奥行き情報を計測して立体情報を与えるかのいずれかの方法をとる必要がある。特に、ＤＦＤ方式のディスプレイでは奥行き情報をもとにした立体情報が必須である。また、複数台のカメラを並べての撮影が困難な場合には、奥行き情報をもとに多視点映像を再合成する手法もしばしばとられている。立体映像向けの奥行き情報の計測手法として、レーザーなどの反射波の到着速度を計ることにより距離を測る手法(特許文献３)や、ステレオ画像から計測する手法（特許文献４）などが開示されている。
【特許文献１】特開平８−２４８３５５号公報
【特許文献２】特許第３０２２５５８号公報
【特許文献３】特開２００７−３２７９５６
【特許文献４】特許第３２４２５２９号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、立体データの生成に必要とされる奥行きデータは、奥行き値の欠損がなく、奥行き値が極端に大小するようなノイズ領域がない滑らかなものが望まれるという特徴がある。しかしながら、従来技術では、三次元ディスプレイに表示するための奥行き情報を取得するには、ステレオ計測などのコンピュータビジョン技術によって奥行き計測を行って取得するか、あるいは、距離センサなどによって計測を行うのが主流であった。ここで、前者については、計測の制約条件などが多く、品質をあげるには計算コストが多く必要であり、計算コストを小さくすると計測できずに奥行き値の欠損が発生するなどの問題があった。また、計測による誤差などからノイズが発生しやすいという問題もあった。また、後者については、リアルタイムで精度の高い奥行きデータを取得可能であるが、奥行きデータの解像度が低かったり、専用のハードウェアが必要になったりするという問題があった。
【０００５】
そこでこの発明は、立体画像とする対象画像の各画素の奥行きの情報についての、欠損やノイズを削減でき、高速に奥行きデータを生成することのできる奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題を解決すべくなされたもので、画像中の背景画像と対象物画像を分離する分離手段と、前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段と、前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段と、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、を備えることを特徴とする奥行きデータ生成装置である。
【０００７】
また本発明は、画像中の背景画像と対象物画像を分離する分離手段と、前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段と、前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段と、前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段と、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、を備えることを特徴とする奥行きデータ生成装置である。
【０００８】
また本発明は、奥行きデータ生成装置の奥行きデータ生成方法であって、画像中の背景画像と対象物画像を分離し、前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返し、前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当て、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成することを特徴とする奥行きデータ生成方法である。
【０００９】
また本発明は、奥行きデータ生成装置の奥行きデータ生成方法であって、画像中の背景画像と対象物画像を分離し、前記対象物画像に対して細線化処理を行い骨格画素を抽出し、前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定し、前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当て、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成することを特徴とする奥行きデータ生成方法である。
【００１０】
また本発明は、奥行きデータ生成装置のコンピュータを、画像中の背景画像と対象物画像を分離する分離手段、前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段、前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、として機能するためのプログラムである。
【００１１】
また本発明は、奥行きデータ生成装置のコンピュータを、画像中の背景画像と対象物画像を分離する分離手段、前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段、前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段、前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、として機能するためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
まず、本発明の第１の実施形態による奥行きデータ生成装置を図面を参照して説明する。
図１は第１の実施形態による奥行きデータ生成装置の構成を示すブロック図である。
この図において、符号１は奥行きデータ生成装置である。そして、奥行きデータ生成装置１は、映像受付部１１、背景分離部１２、外郭画像特定部１３、奥行き値割当部１４、奥行きデータ生成部１５、出力部１６の各処理部を備えている。
【００１４】
そして、第１の実施形態において、奥行きデータ生成装置１は、映像受付部１１が、撮影された映像を受け付け、背景分離部１２が、受け付けた映像の各画像において背景画像と被写体である対象物画像を分離する。そして、外郭画素特定部１３が、対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す。また奥行き値割当部１４が、第１の外郭画素から内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる。そして、奥行きデータ生成部１５が、対象物画像の各画素について割り当てられた奥行き値を保持する奥行き値データを生成し、出力部１６が映像における各画像の奥行きデータを出力する。この奥行きデータは、映像表示装置などにおいて立体画像を生成する際に用いられる。
【００１５】
図２は、第１の実施形態による奥行きデータ装置の処理フローを示す図である。
図３は、第１の実施形態による奥行きデータ装置の処理概要を示す図である。
次に、図２、図３を用いて、第１の実施形態による奥行きデータ装置１の処理の詳細について説明する。
まず、奥行きデータ装置１には奥行き値Ｄｎのｎ＝０の値と、当該ｎ＝０における奥行き値Ｄ０の値が入力され（ステップＳ１０１）、メモリ等に記録されているものとする。なお、奥行き値Ｄｎの値は、特定の関数ｆ（ｎ）｛ｎ＝０,・・・,Ｎ｝によって算出される値である。そして、奥行きデータ装置１の映像受付部１１が、映像のデータを受け付ける（ステップＳ１０２）。
【００１６】
すると、背景分離部１２は、（図３（ａ））で示すように、映像データの各画像について、背景画像と被写体である対象物画像を分離する（ステップＳ１０３）。この分離技術は様々な手法を用いることが出来るが、例えば、背景分離処理、またはクロマキー処理を行うことにより分離する。背景分離処理とは、映像を撮影する前に、背景のみを撮影した映像データを事前に記憶しておき、映像受付部１１が受け付けた映像データ中の画像と、背景のみの画像データから読み取った背景画像とを画素単位で比較し、画素値が等しい時は背景画像として、画素値が異なるときは被写体である対象物画像であるとして、分離する技術である。また、クロマキー処理とは、背景画像に相当するクロマキーデータ（ブルーバックの画像データ）を予め記憶しておき、撮影時に、被写体である対象物の背面にクロマキーデータの色に一致する背景面を設置する。そして、その被写体を撮影し、映像受付部１１が受け付けた映像データ中の画像と、クロマキーデータとを画素単位で比較し、画素値が等しい時は背景画像として、画素値が異なるときは被写体である対象物画像であるとして、分離する技術である。
【００１７】
なお、背景差分処理は、事前にクロマキー用背景を準備せずに撮影を行える利点があるが、背景撮影時と撮影時の照明の微妙な違いや背景映像の輪郭の強弱により分離時にノイズが残るという欠点がある。一方でクロマキー処理は、背景と前景の分離においてノイズを発生させずに分離させやすいという利点があるが、事前にクロマキー用背景を準備しなければならないという事やクロマキー用背景と同系色の前景が無いように配慮しなければならないという欠点がある。なお、この他、前景画像と対象物画像を分離するのみの技術は特願２００１―１９４６１０等の既存のものが存在し、いずれの方法を用いるようにしてもよい。
【００１８】
背景分離部１２が背景画像と対象物画像の分離を終了すると、次に、外郭画像特定部１３が、対象物画像の画素のうち、少なくとも画素の一辺が背景画像の画素と接する画素を特定し、これらの画素の集合を最外郭の画素（第１の外郭画素）と特定する（ステップＳ１０４）。そして、（図３（ｂ））で示すように、奥行き値割当部１４が、最外郭の画素に対して初期値である奥行き値Ｄ０を割り当てる（ステップＳ１０５）。なお対象物画像が２つ以上ある場合には、各対象物画像の大きさや輝度などに基づいて、統計処理によって予め定められた初期値である異なる奥行き値Ｄ０をそれぞれ割り当てられる。例えば大きさや輝度によって異なる奥行き値Ｄ０がテーブルに記録されており、補間計算によって、対象物画像の奥行き値Ｄ０を算出すればよい。
【００１９】
そして、外郭画像特定部１３は、対象物画像における全ての画素について奥行き値を割り当てたか否かを判定し（ステップＳ１０６）、全ての画素について奥行き値を割り当てていない場合にはｎを１つ増加して（ステップＳ１０７）、最外郭の画素を除いた対象物画像の画素のうち、次の最外郭の画素を同様の処理で特定する（ステップＳ１０８）。そして、（図３（ｃ））で示すように、奥行き値割当部１４が、２回目の最外郭の画素に対して奥行き値Ｄ１を割り当てる（ステップＳ１０９）。奥行き値Ｄ１の値は上記関数ｆ（ｎ）にｎ＝１を代入した値である。そして、外郭画像特定部１３は、対象物画像内の全ての画素ｎ（ｎ＝０〜Ｎ）について奥行き値を割り当てたと判定するまで、ステップＳ１０６〜Ｓ１０９の処理を繰り返す。
【００２０】
対象物画像の全ての画素に奥行き値を付与すると（図３（ｄ））、次に、奥行きデータ生成部１５が、背景画像に対応する画素については奥行き値が０、対象物画像に対応する画素については上記処理でそれぞれ割り当てられた奥行き値Ｄｎの情報を保持する奥行きデータを生成する（ステップＳ１１０）。そして、出力部１６が生成された奥行きデータを出力する（ステップＳ１１１）。なお、上述の処理においては、背景分離部１２、外郭画像特定部１３、奥行き値割当部１４、奥行きデータ生成部１５、出力部１６は、映像受付部１１が受け付けた映像における全ての画像について上述の処理を繰り返す。そして、奥行きデータは、出力先である映像表示装置などにおいて、立体画像を生成する際に用いられる。
【００２１】
（第２の実施形態）
次に、本発明の第２の実施形態による奥行きデータ生成装置を図面を参照して説明する。
図４は第２の実施形態による奥行きデータ生成装置の構成を示すブロック図である。
この図で示すように、第２の実施形態による奥行きデータ装置は、第１の実施形態による奥行きデータ装置１の外郭画像特定部１３に代えて、骨格画素抽出部１７と、距離特定部１８との処理部を備えている。他の処理部は同様である。
【００２２】
第２の実施形態において、奥行きデータ生成装置１は、映像受付部１１が、撮影された映像を受け付け、背景分離部１２が、受け付けた映像の各画像において背景画像と被写体である対象物画像を分離する。そして、骨格画素抽出部１７が、対象物画像に対して細線化処理を行い骨格画素を抽出する。また距離特定部１８が、骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の対象物画素内の奥行き値算出対象の画素までの距離を特定する。そして、奥行き値割当部１４が、骨格画素のそれぞれについては予め定めた奥行き値を割り当て、骨格画素のうちのある画素の法線方向の各画素については、骨格画素からの法線方向の距離の割合に基づいて奥行き値を算出して割り当て、奥行きデータ生成部１５が、対象物画像の各画素について割り当てられた奥行き値を保持する奥行き値データを生成する。第１の実施形態と同様に、この奥行きデータは、映像表示装置などにおいて立体画像を生成する際に用いられる。
【００２３】
図５は、第２の実施形態による奥行きデータ装置の処理フローを示す図である。
図６は、第２の実施形態による奥行きデータ装置の処理概要を示す図である。
次に、図５、図６を用いて、第２の実施形態による奥行きデータ装置１の処理の詳細について説明する。
まず、奥行きデータ装置１には奥行き値Ｄｎのｎ＝０の値と、当該ｎ＝０における奥行き値Ｄ０の値が入力され（ステップＳ２０１）、メモリ等に記録されているものとする。なお、奥行き値Ｄｎの値は、特定の関数ｆ（ｎ）｛ｎ＝０,・・・,Ｎ｝によって算出される値である。第１の実施形態と同様に、対象物画像が２つ以上ある場合には、各対象物画像の大きさや輝度などに基づいて、統計処理によって予め定められた初期値である異なる奥行き値Ｄ０がそれぞれ割り当てられるようにしてもよい。例えば大きさや輝度によって異なる奥行き値Ｄ０がテーブルに記録されており、補間計算によって、対象物画像の奥行き値Ｄ０を算出すればよい。そして、奥行きデータ装置１の映像受付部１１が、映像のデータを受け付ける（ステップＳ２０２）。
【００２４】
すると、背景分離部１２は、映像データの各画像について、背景画像と被写体である対象物画像を分離する（ステップＳ２０３）。この処理は第１の実施形態のステップＳ１０３と同様の処理である。背景画像と被写体である対象物画像の分離が終了すると、次に、骨格画素抽出部１７が、図６（ａ）で示すように、対象物画像に対して細線化処理を行い骨格画素を抽出する（ステップＳ２０４）。なお細線化処理とは、対象物画像体を取り出し、太さがふぞろいの線を同一の太さの線に整える処理である。具体的には対象物画像の画素の集合内で、画像を左上から走査し外側にある画素を、画素の連結性（４連結又は８連結）を保持して順次に削除し、その処理を繰り返して、最終的に１画素が少なくとも４辺のうちの一辺で他の画素と接して連なるか、または画素の４つの頂点の少なくとも何れか１つの頂点で他の画素と接して連なる線とする処理である。例えば、ヒルディッチ（Hilditch）の細線化方式などを利用する。そしてこれにより、図６（ａ）で示すような骨格画素を特定できる。
【００２５】
次に、距離特定部１８が、骨格画素のうちの１つの画素ｉを特定し（ステップＳ２０５）、奥行き値割当部１４が、骨格画素のうちの画素ｉに対して初期値である奥行き値Ｄ０を割り当てる（ステップＳ２０６）。また距離特定部１８は、図６（ｂ）で示すように、特定した画素ｉから、骨格画素の集合である線の法線方向の、対象物画像内のある画素ｊを特定し（ステップＳ２０７）、画素ｉから画素ｊまでの距離Ｌ（ｉｊ）を特定する（ステップＳ２０８）。そして、また、奥行き値割当部１４は、画素ｉから画素ｊまでの距離Ｌ（ｉｊ）と比例定数Ｒとを用いて、画素ｊの奥行き値ＤｊをＤｊ＝Ｄ０＋Ｒ・Ｌ（ｉｊ）により算出する（ステップＳ２０９）。そして、奥行き値割当部１４は、画素ｉを基準とした前記法線方向の画素ｊに対して、ステップＳ２０９で算出した奥行き値Ｄｊを割り当てる（ステップＳ２１０）。
【００２６】
そして、奥行き値割当部１４は、ステップＳ２０５で特定した画素ｉからの前記法線方向の全ての対象物画像内の画素について、ステップＳ２０７からステップＳ２１０の処理を行ったか否かを判定し（ステップＳ２１１）、行っていなければ、次の法線方向の画素ｊについてステップＳ２０７からステップＳ２１０の処理を行う。なお法線方向は、例えば、処理対象となる骨格画素が少なくとも他の骨格画素と頂点で接している場合には、当該他の画素と接している頂点とその対角の頂点以外の２つの頂点に接する画素の方向（つまり、斜め方向に接する画素の方向）となり、処理対象となる骨格画素がある辺とその辺に対向する辺の両方に他の骨格画素と接している場合には、それら辺以外の２つの辺に接する画素の方向（つまり、縦または横の画素の方向）となるが、骨格画素内の各画素が連なる形態に応じてどの様に法線方向を決定するかは適宜決めればよい。
【００２７】
次に、距離特定部１８は、全ての骨格画素について、上述のステップＳ２０５からステップＳ２１０の処理を行ったか否かを判定し（ステップＳ２１２）、終了していない場合には、骨格画素のうち次の画素ｉを特定し、上記Ｓ２０５からステップＳ２１０の処理を繰り返す（図６（ｃ））。ここで、骨格画素の法線方向にない対象物画像内の画素については、隣接する画素と同じ奥行き値が与えられる。
【００２８】
対象物画像の全ての画素に奥行き値を付与すると、次に、奥行きデータ生成部１５が、背景画像に対応する画素については奥行き値が０、対象物画像に対応する画素については上記ステップで割り当てられた奥行き値Ｄｊの情報を保持する奥行きデータを生成する（ステップＳ２１３）。そして、出力部１６が生成された奥行きデータを出力する（ステップＳ２１４）。なお、上述の処理においては、背景分離部１２、外郭画像特定部１３、奥行き値割当部１４、奥行きデータ生成部１５、出力部１６は、映像受付部１１が受け付けた映像における全ての画像について上述の処理を繰り返す。そして、奥行きデータは、出力先である映像表示装置などにおいて、立体画像を生成する際に用いられる。
【００２９】
以上、本発明の実施形態について説明したが、上述の第１の実施形態および第２の実施形態の処理によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【００３０】
なお、上述の奥行きデータ生成装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３１】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００３２】
【図１】第１実施形態による奥行きデータ生成装置の構成を示すブロック図である。
【図２】第１実施形態による奥行きデータ装置の処理フローを示す図である。
【図３】第１実施形態による奥行きデータ装置の処理概要を示す図である。
【図４】第２実施形態による奥行きデータ生成装置の構成を示すブロック図である。
【図５】第２実施形態による奥行きデータ装置の処理フローを示す図である。
【図６】第２実施形態による奥行きデータ装置の処理概要を示す図である。
【符号の説明】
【００３３】
１・・・奥行きデータ生成装置
１１・・・映像受付部
１２・・・背景分離部
１３・・・外郭画像特定部
１４・・・奥行き値割当部
１５・・・奥行きデータ生成部
１６・・・出力部
１７・・・骨格画素抽出部
１８・・・距離特定部
【技術分野】
【０００１】
本発明は、立体データを生成する際に利用される奥行きデータを生成する奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
従来、様々な立体表示装置が発明されており、立体データを立体表示装置で再現する方法が試されている。例えば、特許文献１には、バリア方式三次元ディスプレイや偏光グラス・シャッター式グラスなどの眼鏡を使用した三次元ディスプレイに立体データを表示する際に、あらかじめ左右の目に対応する２視点の映像を用意しておき、三次元立体ディスプレイ上で合成することで人間が立体的に知覚することができる技術が開示されている。また、特許文献２にはＤＦＤ（Depth-fused 3-D）方式のディスプレイにおいて、二枚の映像表示面の濃淡で立体感を表現する技術が開示されている。
【０００３】
これらのディスプレイに表示する立体映像を作成するには、複数台のカメラを並べた撮影を行って多視点映像を合成するか、撮影した映像に映し出された対象物までの奥行き情報を計測して立体情報を与えるかのいずれかの方法をとる必要がある。特に、ＤＦＤ方式のディスプレイでは奥行き情報をもとにした立体情報が必須である。また、複数台のカメラを並べての撮影が困難な場合には、奥行き情報をもとに多視点映像を再合成する手法もしばしばとられている。立体映像向けの奥行き情報の計測手法として、レーザーなどの反射波の到着速度を計ることにより距離を測る手法(特許文献３)や、ステレオ画像から計測する手法（特許文献４）などが開示されている。
【特許文献１】特開平８−２４８３５５号公報
【特許文献２】特許第３０２２５５８号公報
【特許文献３】特開２００７−３２７９５６
【特許文献４】特許第３２４２５２９号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、立体データの生成に必要とされる奥行きデータは、奥行き値の欠損がなく、奥行き値が極端に大小するようなノイズ領域がない滑らかなものが望まれるという特徴がある。しかしながら、従来技術では、三次元ディスプレイに表示するための奥行き情報を取得するには、ステレオ計測などのコンピュータビジョン技術によって奥行き計測を行って取得するか、あるいは、距離センサなどによって計測を行うのが主流であった。ここで、前者については、計測の制約条件などが多く、品質をあげるには計算コストが多く必要であり、計算コストを小さくすると計測できずに奥行き値の欠損が発生するなどの問題があった。また、計測による誤差などからノイズが発生しやすいという問題もあった。また、後者については、リアルタイムで精度の高い奥行きデータを取得可能であるが、奥行きデータの解像度が低かったり、専用のハードウェアが必要になったりするという問題があった。
【０００５】
そこでこの発明は、立体画像とする対象画像の各画素の奥行きの情報についての、欠損やノイズを削減でき、高速に奥行きデータを生成することのできる奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題を解決すべくなされたもので、画像中の背景画像と対象物画像を分離する分離手段と、前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段と、前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段と、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、を備えることを特徴とする奥行きデータ生成装置である。
【０００７】
また本発明は、画像中の背景画像と対象物画像を分離する分離手段と、前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段と、前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段と、前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段と、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、を備えることを特徴とする奥行きデータ生成装置である。
【０００８】
また本発明は、奥行きデータ生成装置の奥行きデータ生成方法であって、画像中の背景画像と対象物画像を分離し、前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返し、前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当て、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成することを特徴とする奥行きデータ生成方法である。
【０００９】
また本発明は、奥行きデータ生成装置の奥行きデータ生成方法であって、画像中の背景画像と対象物画像を分離し、前記対象物画像に対して細線化処理を行い骨格画素を抽出し、前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定し、前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当て、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成することを特徴とする奥行きデータ生成方法である。
【００１０】
また本発明は、奥行きデータ生成装置のコンピュータを、画像中の背景画像と対象物画像を分離する分離手段、前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段、前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、として機能するためのプログラムである。
【００１１】
また本発明は、奥行きデータ生成装置のコンピュータを、画像中の背景画像と対象物画像を分離する分離手段、前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段、前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段、前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段、前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、として機能するためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
まず、本発明の第１の実施形態による奥行きデータ生成装置を図面を参照して説明する。
図１は第１の実施形態による奥行きデータ生成装置の構成を示すブロック図である。
この図において、符号１は奥行きデータ生成装置である。そして、奥行きデータ生成装置１は、映像受付部１１、背景分離部１２、外郭画像特定部１３、奥行き値割当部１４、奥行きデータ生成部１５、出力部１６の各処理部を備えている。
【００１４】
そして、第１の実施形態において、奥行きデータ生成装置１は、映像受付部１１が、撮影された映像を受け付け、背景分離部１２が、受け付けた映像の各画像において背景画像と被写体である対象物画像を分離する。そして、外郭画素特定部１３が、対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す。また奥行き値割当部１４が、第１の外郭画素から内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる。そして、奥行きデータ生成部１５が、対象物画像の各画素について割り当てられた奥行き値を保持する奥行き値データを生成し、出力部１６が映像における各画像の奥行きデータを出力する。この奥行きデータは、映像表示装置などにおいて立体画像を生成する際に用いられる。
【００１５】
図２は、第１の実施形態による奥行きデータ装置の処理フローを示す図である。
図３は、第１の実施形態による奥行きデータ装置の処理概要を示す図である。
次に、図２、図３を用いて、第１の実施形態による奥行きデータ装置１の処理の詳細について説明する。
まず、奥行きデータ装置１には奥行き値Ｄｎのｎ＝０の値と、当該ｎ＝０における奥行き値Ｄ０の値が入力され（ステップＳ１０１）、メモリ等に記録されているものとする。なお、奥行き値Ｄｎの値は、特定の関数ｆ（ｎ）｛ｎ＝０,・・・,Ｎ｝によって算出される値である。そして、奥行きデータ装置１の映像受付部１１が、映像のデータを受け付ける（ステップＳ１０２）。
【００１６】
すると、背景分離部１２は、（図３（ａ））で示すように、映像データの各画像について、背景画像と被写体である対象物画像を分離する（ステップＳ１０３）。この分離技術は様々な手法を用いることが出来るが、例えば、背景分離処理、またはクロマキー処理を行うことにより分離する。背景分離処理とは、映像を撮影する前に、背景のみを撮影した映像データを事前に記憶しておき、映像受付部１１が受け付けた映像データ中の画像と、背景のみの画像データから読み取った背景画像とを画素単位で比較し、画素値が等しい時は背景画像として、画素値が異なるときは被写体である対象物画像であるとして、分離する技術である。また、クロマキー処理とは、背景画像に相当するクロマキーデータ（ブルーバックの画像データ）を予め記憶しておき、撮影時に、被写体である対象物の背面にクロマキーデータの色に一致する背景面を設置する。そして、その被写体を撮影し、映像受付部１１が受け付けた映像データ中の画像と、クロマキーデータとを画素単位で比較し、画素値が等しい時は背景画像として、画素値が異なるときは被写体である対象物画像であるとして、分離する技術である。
【００１７】
なお、背景差分処理は、事前にクロマキー用背景を準備せずに撮影を行える利点があるが、背景撮影時と撮影時の照明の微妙な違いや背景映像の輪郭の強弱により分離時にノイズが残るという欠点がある。一方でクロマキー処理は、背景と前景の分離においてノイズを発生させずに分離させやすいという利点があるが、事前にクロマキー用背景を準備しなければならないという事やクロマキー用背景と同系色の前景が無いように配慮しなければならないという欠点がある。なお、この他、前景画像と対象物画像を分離するのみの技術は特願２００１―１９４６１０等の既存のものが存在し、いずれの方法を用いるようにしてもよい。
【００１８】
背景分離部１２が背景画像と対象物画像の分離を終了すると、次に、外郭画像特定部１３が、対象物画像の画素のうち、少なくとも画素の一辺が背景画像の画素と接する画素を特定し、これらの画素の集合を最外郭の画素（第１の外郭画素）と特定する（ステップＳ１０４）。そして、（図３（ｂ））で示すように、奥行き値割当部１４が、最外郭の画素に対して初期値である奥行き値Ｄ０を割り当てる（ステップＳ１０５）。なお対象物画像が２つ以上ある場合には、各対象物画像の大きさや輝度などに基づいて、統計処理によって予め定められた初期値である異なる奥行き値Ｄ０をそれぞれ割り当てられる。例えば大きさや輝度によって異なる奥行き値Ｄ０がテーブルに記録されており、補間計算によって、対象物画像の奥行き値Ｄ０を算出すればよい。
【００１９】
そして、外郭画像特定部１３は、対象物画像における全ての画素について奥行き値を割り当てたか否かを判定し（ステップＳ１０６）、全ての画素について奥行き値を割り当てていない場合にはｎを１つ増加して（ステップＳ１０７）、最外郭の画素を除いた対象物画像の画素のうち、次の最外郭の画素を同様の処理で特定する（ステップＳ１０８）。そして、（図３（ｃ））で示すように、奥行き値割当部１４が、２回目の最外郭の画素に対して奥行き値Ｄ１を割り当てる（ステップＳ１０９）。奥行き値Ｄ１の値は上記関数ｆ（ｎ）にｎ＝１を代入した値である。そして、外郭画像特定部１３は、対象物画像内の全ての画素ｎ（ｎ＝０〜Ｎ）について奥行き値を割り当てたと判定するまで、ステップＳ１０６〜Ｓ１０９の処理を繰り返す。
【００２０】
対象物画像の全ての画素に奥行き値を付与すると（図３（ｄ））、次に、奥行きデータ生成部１５が、背景画像に対応する画素については奥行き値が０、対象物画像に対応する画素については上記処理でそれぞれ割り当てられた奥行き値Ｄｎの情報を保持する奥行きデータを生成する（ステップＳ１１０）。そして、出力部１６が生成された奥行きデータを出力する（ステップＳ１１１）。なお、上述の処理においては、背景分離部１２、外郭画像特定部１３、奥行き値割当部１４、奥行きデータ生成部１５、出力部１６は、映像受付部１１が受け付けた映像における全ての画像について上述の処理を繰り返す。そして、奥行きデータは、出力先である映像表示装置などにおいて、立体画像を生成する際に用いられる。
【００２１】
（第２の実施形態）
次に、本発明の第２の実施形態による奥行きデータ生成装置を図面を参照して説明する。
図４は第２の実施形態による奥行きデータ生成装置の構成を示すブロック図である。
この図で示すように、第２の実施形態による奥行きデータ装置は、第１の実施形態による奥行きデータ装置１の外郭画像特定部１３に代えて、骨格画素抽出部１７と、距離特定部１８との処理部を備えている。他の処理部は同様である。
【００２２】
第２の実施形態において、奥行きデータ生成装置１は、映像受付部１１が、撮影された映像を受け付け、背景分離部１２が、受け付けた映像の各画像において背景画像と被写体である対象物画像を分離する。そして、骨格画素抽出部１７が、対象物画像に対して細線化処理を行い骨格画素を抽出する。また距離特定部１８が、骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の対象物画素内の奥行き値算出対象の画素までの距離を特定する。そして、奥行き値割当部１４が、骨格画素のそれぞれについては予め定めた奥行き値を割り当て、骨格画素のうちのある画素の法線方向の各画素については、骨格画素からの法線方向の距離の割合に基づいて奥行き値を算出して割り当て、奥行きデータ生成部１５が、対象物画像の各画素について割り当てられた奥行き値を保持する奥行き値データを生成する。第１の実施形態と同様に、この奥行きデータは、映像表示装置などにおいて立体画像を生成する際に用いられる。
【００２３】
図５は、第２の実施形態による奥行きデータ装置の処理フローを示す図である。
図６は、第２の実施形態による奥行きデータ装置の処理概要を示す図である。
次に、図５、図６を用いて、第２の実施形態による奥行きデータ装置１の処理の詳細について説明する。
まず、奥行きデータ装置１には奥行き値Ｄｎのｎ＝０の値と、当該ｎ＝０における奥行き値Ｄ０の値が入力され（ステップＳ２０１）、メモリ等に記録されているものとする。なお、奥行き値Ｄｎの値は、特定の関数ｆ（ｎ）｛ｎ＝０,・・・,Ｎ｝によって算出される値である。第１の実施形態と同様に、対象物画像が２つ以上ある場合には、各対象物画像の大きさや輝度などに基づいて、統計処理によって予め定められた初期値である異なる奥行き値Ｄ０がそれぞれ割り当てられるようにしてもよい。例えば大きさや輝度によって異なる奥行き値Ｄ０がテーブルに記録されており、補間計算によって、対象物画像の奥行き値Ｄ０を算出すればよい。そして、奥行きデータ装置１の映像受付部１１が、映像のデータを受け付ける（ステップＳ２０２）。
【００２４】
すると、背景分離部１２は、映像データの各画像について、背景画像と被写体である対象物画像を分離する（ステップＳ２０３）。この処理は第１の実施形態のステップＳ１０３と同様の処理である。背景画像と被写体である対象物画像の分離が終了すると、次に、骨格画素抽出部１７が、図６（ａ）で示すように、対象物画像に対して細線化処理を行い骨格画素を抽出する（ステップＳ２０４）。なお細線化処理とは、対象物画像体を取り出し、太さがふぞろいの線を同一の太さの線に整える処理である。具体的には対象物画像の画素の集合内で、画像を左上から走査し外側にある画素を、画素の連結性（４連結又は８連結）を保持して順次に削除し、その処理を繰り返して、最終的に１画素が少なくとも４辺のうちの一辺で他の画素と接して連なるか、または画素の４つの頂点の少なくとも何れか１つの頂点で他の画素と接して連なる線とする処理である。例えば、ヒルディッチ（Hilditch）の細線化方式などを利用する。そしてこれにより、図６（ａ）で示すような骨格画素を特定できる。
【００２５】
次に、距離特定部１８が、骨格画素のうちの１つの画素ｉを特定し（ステップＳ２０５）、奥行き値割当部１４が、骨格画素のうちの画素ｉに対して初期値である奥行き値Ｄ０を割り当てる（ステップＳ２０６）。また距離特定部１８は、図６（ｂ）で示すように、特定した画素ｉから、骨格画素の集合である線の法線方向の、対象物画像内のある画素ｊを特定し（ステップＳ２０７）、画素ｉから画素ｊまでの距離Ｌ（ｉｊ）を特定する（ステップＳ２０８）。そして、また、奥行き値割当部１４は、画素ｉから画素ｊまでの距離Ｌ（ｉｊ）と比例定数Ｒとを用いて、画素ｊの奥行き値ＤｊをＤｊ＝Ｄ０＋Ｒ・Ｌ（ｉｊ）により算出する（ステップＳ２０９）。そして、奥行き値割当部１４は、画素ｉを基準とした前記法線方向の画素ｊに対して、ステップＳ２０９で算出した奥行き値Ｄｊを割り当てる（ステップＳ２１０）。
【００２６】
そして、奥行き値割当部１４は、ステップＳ２０５で特定した画素ｉからの前記法線方向の全ての対象物画像内の画素について、ステップＳ２０７からステップＳ２１０の処理を行ったか否かを判定し（ステップＳ２１１）、行っていなければ、次の法線方向の画素ｊについてステップＳ２０７からステップＳ２１０の処理を行う。なお法線方向は、例えば、処理対象となる骨格画素が少なくとも他の骨格画素と頂点で接している場合には、当該他の画素と接している頂点とその対角の頂点以外の２つの頂点に接する画素の方向（つまり、斜め方向に接する画素の方向）となり、処理対象となる骨格画素がある辺とその辺に対向する辺の両方に他の骨格画素と接している場合には、それら辺以外の２つの辺に接する画素の方向（つまり、縦または横の画素の方向）となるが、骨格画素内の各画素が連なる形態に応じてどの様に法線方向を決定するかは適宜決めればよい。
【００２７】
次に、距離特定部１８は、全ての骨格画素について、上述のステップＳ２０５からステップＳ２１０の処理を行ったか否かを判定し（ステップＳ２１２）、終了していない場合には、骨格画素のうち次の画素ｉを特定し、上記Ｓ２０５からステップＳ２１０の処理を繰り返す（図６（ｃ））。ここで、骨格画素の法線方向にない対象物画像内の画素については、隣接する画素と同じ奥行き値が与えられる。
【００２８】
対象物画像の全ての画素に奥行き値を付与すると、次に、奥行きデータ生成部１５が、背景画像に対応する画素については奥行き値が０、対象物画像に対応する画素については上記ステップで割り当てられた奥行き値Ｄｊの情報を保持する奥行きデータを生成する（ステップＳ２１３）。そして、出力部１６が生成された奥行きデータを出力する（ステップＳ２１４）。なお、上述の処理においては、背景分離部１２、外郭画像特定部１３、奥行き値割当部１４、奥行きデータ生成部１５、出力部１６は、映像受付部１１が受け付けた映像における全ての画像について上述の処理を繰り返す。そして、奥行きデータは、出力先である映像表示装置などにおいて、立体画像を生成する際に用いられる。
【００２９】
以上、本発明の実施形態について説明したが、上述の第１の実施形態および第２の実施形態の処理によれば、映像中の対象物画像の画素全てに奥行き値が与えられるため、立体視をする上で不都合な奥行き値の欠損は無くなる。また、対象物画像単位で奥行き値が与えられるため、ノイズを抑制することができる。また、従来のステレオ計測のような計算コストがほとんど発生しないためリアルタイムでの処理も期待できる。一方で、必要なのはカメラだけであり距離センサのような専用のハードウェアも必要としない。本発明により、立体画像の生成に適した奥行きデータをリアルタイムかつ専用のハードウェアを必要とせずに取得することができる。
【００３０】
なお、上述の奥行きデータ生成装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３１】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００３２】
【図１】第１実施形態による奥行きデータ生成装置の構成を示すブロック図である。
【図２】第１実施形態による奥行きデータ装置の処理フローを示す図である。
【図３】第１実施形態による奥行きデータ装置の処理概要を示す図である。
【図４】第２実施形態による奥行きデータ生成装置の構成を示すブロック図である。
【図５】第２実施形態による奥行きデータ装置の処理フローを示す図である。
【図６】第２実施形態による奥行きデータ装置の処理概要を示す図である。
【符号の説明】
【００３３】
１・・・奥行きデータ生成装置
１１・・・映像受付部
１２・・・背景分離部
１３・・・外郭画像特定部
１４・・・奥行き値割当部
１５・・・奥行きデータ生成部
１６・・・出力部
１７・・・骨格画素抽出部
１８・・・距離特定部
【特許請求の範囲】
【請求項１】
画像中の背景画像と対象物画像を分離する分離手段と、
前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段と、
前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段と、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、
を備えることを特徴とする奥行きデータ生成装置。
【請求項２】
画像中の背景画像と対象物画像を分離する分離手段と、
前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段と、
前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段と、
前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段と、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、
を備えることを特徴とする奥行きデータ生成装置。
【請求項３】
奥行きデータ生成装置の奥行きデータ生成方法であって、
画像中の背景画像と対象物画像を分離し、
前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返し、
前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当て、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する
ことを特徴とする奥行きデータ生成方法。
【請求項４】
奥行きデータ生成装置の奥行きデータ生成方法であって、
画像中の背景画像と対象物画像を分離し、
前記対象物画像に対して細線化処理を行い骨格画素を抽出し、
前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定し、
前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当て、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する
ことを特徴とする奥行きデータ生成方法。
【請求項５】
奥行きデータ生成装置のコンピュータを、
画像中の背景画像と対象物画像を分離する分離手段、
前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段、
前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、
として機能するためのプログラム。
【請求項６】
奥行きデータ生成装置のコンピュータを、
画像中の背景画像と対象物画像を分離する分離手段、
前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段、
前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段、
前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、
として機能するためのプログラム。
【請求項１】
画像中の背景画像と対象物画像を分離する分離手段と、
前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段と、
前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段と、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、
を備えることを特徴とする奥行きデータ生成装置。
【請求項２】
画像中の背景画像と対象物画像を分離する分離手段と、
前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段と、
前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段と、
前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段と、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段と、
を備えることを特徴とする奥行きデータ生成装置。
【請求項３】
奥行きデータ生成装置の奥行きデータ生成方法であって、
画像中の背景画像と対象物画像を分離し、
前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返し、
前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当て、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する
ことを特徴とする奥行きデータ生成方法。
【請求項４】
奥行きデータ生成装置の奥行きデータ生成方法であって、
画像中の背景画像と対象物画像を分離し、
前記対象物画像に対して細線化処理を行い骨格画素を抽出し、
前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定し、
前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当て、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する
ことを特徴とする奥行きデータ生成方法。
【請求項５】
奥行きデータ生成装置のコンピュータを、
画像中の背景画像と対象物画像を分離する分離手段、
前記対象物画像の各画素のうち外郭に位置する第１の外郭画素を特定し、当該第１の外郭画素から内側方向に順に、特定した画素を除いた次の外郭の外郭画素を特定する処理を繰り返す外郭画素特定手段、
前記第１の外郭画素から前記内側方向に順次特定した外郭画素に対して、昇順または降順に奥行き値を順次割り当てる奥行き値割当手段、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、
として機能するためのプログラム。
【請求項６】
奥行きデータ生成装置のコンピュータを、
画像中の背景画像と対象物画像を分離する分離手段、
前記対象物画像に対して細線化処理を行い骨格画素を抽出する骨格画素抽出手段、
前記骨格画素それぞれの画素について、当該骨格画素が示す線の法線方向の前記対象物画素内の奥行き値算出対象の画素までの距離を特定する距離特定手段、
前記骨格画素のそれぞれについては予め定めた奥行き値を割り当て、前記骨格画素のうちのある画素の法線方向の各画素については、前記骨格画素からの法線方向の前記距離の割合に基づいて奥行き値を算出して割り当てる奥行き値割当手段、
前記対象物画像の各画素について前記割り当てられた奥行き値を保持する奥行き値データを生成する奥行きデータ生成手段、
として機能するためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２１１５６１（Ｐ２００９−２１１５６１Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５５５４３（Ｐ２００８−５５５４３）
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月５日（２００８．３．５）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]