説明

立体画像検索装置、立体画像検索方法および立体画像検索プログラム

【課題】画像の検索やソートを十分な判定精度で実行することが可能な立体画像検索装置を提供する。
【解決手段】立体画像検索装置100は、立体画像を現す立体画像データを入力データとして受ける入力部104と、立体画像を構成する画素に対する視差値を入力データより抽出する画像ファイル解析部106と、視差値の平均値により視差平均値を算出する視差情報データ解析部108と、視差平均値を使用して、立体画像の検索およびソートを行う検索処理部109およびソート処理部110とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体表示のための画像を検索してソートするための画像検索技術に関し、より特定的には、特に、3次元表示される画像を検索してソートするための立体画像検索装置、立体画像検索方法および立体画像検索プログラムに関する。
【背景技術】
【0002】
従来、3次元画像を表示するために様々な方法が提案されてきたが、その中で両眼視差を利用する「2眼式」と呼ばれるものがある。この方式は両眼視差を持った左眼用の画像と右眼用の画像(以下、それぞれ、「左眼用画像」、「右眼用画像」と称する。)を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
【0003】
左右の目に投影する方法としては、表示ディスプレイに視差バリアを備え裸眼で立体視できるようにしたものや、ユーザーがシャッターメガネを装着し左目用画像と右目用画像を交互に表示して立体視できるようにしたものが用いられている。
【0004】
また、視差値を格納した視差情報データを併せ持ち、立体表示の時にこのデータを使用して、奥行き感やアングルを調整したり、遠景をぼやけさせたりといったエフェクト(画像効果)をかけることも行われている。
【0005】
視差情報データを生成するにあたっては、左眼用画像、右眼用画像作成時に、被写体との距離を実際に測定する方法や、また、左眼用画像、右眼用画像から視差値を算出する方法(主な方法としてステレオマッチング法がある)が用いられる。
【0006】
さらに、視差情報データに含まれている最大視差、最小視差といった立体表示に関連するパラメータを使って、立体画像の検索やソートを行うことも考えられている(たとえば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2008−103804号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記特許文献1では、最大視差、最小視差、ビュータイプ、想定鑑賞距離、想定画像表示サイズ、視点数などの立体表示に関連するパラメータで検索やソートを行うことで、極端な飛び出し感のある画像を抽出して表示しないようにしたり、立体表示時の観察距離が近いものを検索したりすることが可能であった。
【0009】
しかしながら、視差値によるソートに関しては、最大視差、最小視差を用いることしか提案されておらず、この方法では立体感の判定の精度が十分ではなかった。
【0010】
本発明は、このような問題点を解決するためになされたものであって、その目的は、視差情報データを解析し、画像の検索やソートを十分な判定精度で実行することが可能な立体画像検索装置、立体画像検索方法および立体画像検索プログラムを提供することである。
【課題を解決するための手段】
【0011】
この発明の1つの局面にしたがうと、立体画像検索装置であって、立体画像を現す立体画像データを入力データとして受ける入力手段と、立体画像を構成する画素に対する視差値を入力データより抽出する画像解析手段と、視差値の平均値により視差平均値を算出する視差解析手段と、視差平均値を使用して、ユーザーからの入力条件に応じて、立体画像の検索およびソートを行う検索ソート手段とを備える。
【0012】
好ましくは、画像解析手段は、立体画像データに付随して入力された当該立体画像に対する視差情報データから、視差値を抽出する。
【0013】
好ましくは、画像解析手段は、立体画像データから視差値を生成する視差情報抽出手段を含む。
【0014】
好ましくは、検索ソート手段は、ユーザーからの入力条件がない場合、予め規定された条件を用いて、視差平均値から検索およびソートを行う。
【0015】
好ましくは、視差解析手段は、所定の単位の画素ごとに視差値の総和をとって平均を算出する。
【0016】
この発明の他の局面にしたがうと、立体画像検索方法であって、立体画像を現す立体画像データを入力データとして受けるステップと、立体画像を構成する画素に対する視差値を入力データより抽出するステップと、視差値の平均値により視差平均値を算出するステップと、視差平均値を使用して、ユーザーからの入力条件に応じて、立体画像の検索およびソートを行うステップとを備える。
【0017】
この発明のさらに他の局面にしたがうと、コンピュータに立体画像の検索およびソートを実行させるための立体画像検索プログラムであって、立体画像検索プログラムは、立体画像を現す立体画像データを入力データとして受けるステップと、立体画像を構成する画素に対する視差値を入力データより抽出するステップと、視差値の平均値により視差平均値を算出するステップと、視差平均値を使用して、ユーザーからの入力条件に応じて、立体画像の検索およびソートを行うステップとを、コンピュータに実行させる。
【発明の効果】
【0018】
本発明によれば、立体画像データから各画素もしくは所定の単位の画素ごとで視差情報を算出し、その総和の平均値を取ることで、立体画像全体の視差値を考慮し、立体画像の空間値を踏まえて、画像の検索およびソートを行なうことが可能になる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態による立体画像検索装置100の一構成例を示す機能ブロック図である。
【図2】入力部104から出力された立体画像データの構成の一例を示す概念図である。
【図3】視差情報データの構成の一例を示す概念図である。
【図4】視差値を8bitグレースケール画像として表現した視差情報302を示す図である。
【図5】「遠景から近景の順」というソート条件の下で、画像をソートした結果を示す概念図である。
【発明を実施するための形態】
【0020】
以下、本発明に係わる装置の構成について図面を用いて説明する。
図1は、本発明の実施形態による立体画像検索装置100の一構成例を示す機能ブロック図である。
【0021】
なお、以下の説明では、本発明を立体画像検索装置を例にとって説明するものの、本発明の立体画像検索方法は、画像検索プログラム、画像検索システム、立体表示のための画像をソートする画像ソートプログラム、画像ソートシステム、およびこれらを備えた立体画像検索装置において、適用可能なものである。
【0022】
図1を参照して、立体画像検索装置100は、ストレージ101、カメラ102、ネットワーク103等から入力部104を通して立体画像データ、視差情報データを入力する。
【0023】
このとき、立体画像データは入力データとして必須であるが、視差情報データは無くても良い。なお、画像を取り込む際の立体画像データの供給元となる装置であれば、ストレージ101、カメラ102、ネットワーク103に限らず、他の装置を利用することが可能である。
【0024】
入力部104は、画像入力を処理するハードウェアであるものとして説明するが、より一般的には、ハードウェアに限らず、画像入力のためのプログラムの機能を含んでもよいし、あるいは、その他、入力データを受け付けて、その中から画像データを抽出できる機能を有する装置であれば、これにより実現することができる。
【0025】
次に、立体画像検索装置100は、画像ファイル解析部106において、入力データ中の視差情報データの存在有無をチェックする。視差情報データが存在していない、もしくは視差情報データが不足している場合は、視差情報抽出部107が、視差情報データを作成し、視差情報データ解析部108が、視差情報データについて解析を行い、視差平均値を計算する。
【0026】
最後に、立体画像検索装置100は、検索処理部109およびソート処理部110において、視差平均値を使用し、ユーザー指示入力部105からユーザにより入力された検索条件、ソート条件に基づいて、立体画像データの検索、ソートを行い、結果を出力する。
【0027】
出力された結果は、たとえば、画像表示部112により表示される。
なお、ユーザー指示入力部105からのユーザ指示が無い場合においても、あらかじめ設定された条件等を用いて、検索、ソートを行う構成とすることも可能である。
【0028】
以下に説明するように、立体画像検索装置100によれば、立体画像を近景、中距離景色、遠景、狭い部屋、そこそこ大きな屋内、大きなホールといった画像を代表する空間値(画像の表現する空間の大きさを示す値)によって、ソート、検索できる。このように空間値でソートしておくことで、立体視する時に近い視差値の画像を順々に見ることができ、急激な視差値の変化による目の負担を軽減することができる。
【0029】
図2は、入力部104から出力された立体画像データの構成の一例を示す概念図である。
【0030】
図2に示されるように、立体画像データは、左目用画像201と右目用画像202からなる。
【0031】
図3は、視差情報データの構成の一例を示す概念図である。
視差情報データ301は、左目用画像201と右目用画像202から算出される。立体画像の横サイズをx、縦サイズをy、さらに各画素毎に視差値が存在しており、その視差値を256段階で表現している。
【0032】
視差値が0に近いほど視差が小さく、255(16進表現で”FF”)に近いほど視差が大きいことを表している。
【0033】
図4は、図3で示した視差値を8bitグレースケール画像として表現した視差情報302を示す図である。
【0034】
図4において、白に近いほど視差が大きく、距離が近く手前にあり、黒に近いほど視差が小さく距離が遠いということを表現している。
【0035】
立体画像検索装置100では、図1における画像ファイル解析部106において、立体画像と視差情報データのチェックを行い、視差情報が存在していない場合は、視差情報抽出部107にて、立体画像データの左目用画像201および右目用画像202から視差情報データ301を作成する。
【0036】
視差情報データの作成方法としては、たとえば、ステレオマッチング法を使用し、求めた視差情報、距離情報を視差情報データとして用いる。ここで、ステレオマッチング法とは、一対の実体写真を数値化して、同一点の検索を行い、実体写真の三次元的な位置を求める方法である。
【0037】
次に、図1おける視差情報データ解析部108が、視差情報データを解析し、視差平均値を求める。以下では、この視差平均値を求める方法について説明する。
【0038】
視差平均値は、視差情報データの相加平均で求める。つまり、全視差値の総和の平均を取る。数式で表すと下記となる。
【0039】
【数1】

【0040】
なお、上式では、画像中のすべての画素についての視差値の相加平均をとることで、視差平均としているものの、必ずしも視差平均値の算出にあたっては、このような構成に限定されるものではなく、たとえば、所定の単位の画素ごとに視差値の総和をとって平均を算出することとしてもよい。たとえば、縦方向に2画素、横方向にも2画素ごとに視差値の総和をとることにしてもよいし、視差が横方向に現れることに留意して、縦方向と横方向で、単位となる画素の数をそれぞれ、独立に設定してもよい。
【0041】
図1においては、検索処理部109およびソート処理部110が、視差情報データ解析部108で算出した視差平均値とユーザー指示入力部105から入力された検索条件、ソート条件を用いて、立体画像データの検索、ソートを行い出力する。
【0042】
例えば、「遠景から近景の順」というソート条件が設定された場合、視差平均値が小さいものから順に並べていき、最後は視差平均値がもっとも大きいものとなる。
【0043】
図5は、「遠景から近景の順」というソート条件の下で、画像をソートした結果を示す概念図である。
【0044】
図5に示されるように、4枚の左目、右目用画像(図4では、一方の画像で代表的に示している)がセットになっている立体画像が存在しており、立体画像検索装置100への入力の際には画像の並びは適当であったものとする。
【0045】
それらの画像を、立体画像検索装置100が、検索条件「遠景から近景への順」でソートすることで、ソート結果は左側から遠景の順に並び、最後は一番右側が近景となる。
【0046】
視差平均値は、各画像を代表する空間値を反映したものであり、視差平均値が小さいほど空間が大きい、視差平均値が大きいほど空間が小さいということがいえる。
【0047】
すなわち、立体画像検索装置100によれば、立体画像に付属する視差情報データもしくは立体画像から生成した視差情報データから、視差平均値を求める。この視差平均値を使用して、立体画像が遠景であるか近景であるか等の判定を行い、ユーザーが入力した検索、ソート条件に従って、立体画像の検索、ソートを行い、立体画像の閲覧を効果的に行うことができる。
【0048】
このようなソートを行うことで、ユーザーが所望の画像を探しやすくなる、立体感の似た画像が順に表示されていくことになり、閲覧の差異のユーザーの目への負荷を軽減することができるという効果がある。
【0049】
また、立体画像の一部しか考慮していない、最大視差、最小視差というパラメータによるソート/検索に比べると、立体画像全体の視差を考慮するので、ユーザの視認する体感により精度よく即して、立体画像のソート/検索を行なうことができる。
【0050】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0051】
100 立体画像検索装置、101 ストレージ、102 カメラ、103 ネットワーク、104 入力部、105 ユーザー指示入力部、106 画像ファイル解析部、107 視差情報抽出部、108 視差情報データ解析部、109 検索処理部、110 ソート処理部、112 画像表示部、201 左目用画像、202 右目用画像、301 視差情報データ、302 視差情報。

【特許請求の範囲】
【請求項1】
立体画像を現す立体画像データを入力データとして受ける入力手段と、
前記立体画像を構成する画素に対する視差値を前記入力データより抽出する画像解析手段と、
前記視差値の平均値により視差平均値を算出する視差解析手段と、
前記視差平均値を使用して、ユーザーからの入力条件に応じて、前記立体画像の検索およびソートを行う検索ソート手段とを備える、立体画像検索装置。
【請求項2】
前記画像解析手段は、前記立体画像データに付随して入力された当該立体画像に対する視差情報データから、前記視差値を抽出する、請求項1記載の立体画像検索装置。
【請求項3】
前記画像解析手段は、前記立体画像データから前記視差値を生成する視差情報抽出手段を含む、請求項1記載の立体画像検索装置。
【請求項4】
前記検索ソート手段は、前記ユーザーからの前記入力条件がない場合、予め規定された条件を用いて、前記視差平均値から検索およびソートを行う、請求項2または3記載の立体画像検索装置。
【請求項5】
前記視差解析手段は、所定の単位の画素ごとに前記視差値の総和をとって平均を算出する、請求項4記載の立体画像検索装置。
【請求項6】
立体画像を現す立体画像データを入力データとして受けるステップと、
前記立体画像を構成する画素に対する視差値を前記入力データより抽出するステップと、
前記視差値の平均値により視差平均値を算出するステップと、
前記視差平均値を使用して、ユーザーからの入力条件に応じて、前記立体画像の検索およびソートを行うステップとを備える、立体画像検索方法。
【請求項7】
コンピュータに立体画像の検索およびソートを実行させるための立体画像検索プログラムであって、前記立体画像検索プログラムは、
前記立体画像を現す立体画像データを入力データとして受けるステップと、
前記立体画像を構成する画素に対する視差値を前記入力データより抽出するステップと、
前記視差値の平均値により視差平均値を算出するステップと、
前記視差平均値を使用して、ユーザーからの入力条件に応じて、前記立体画像の検索およびソートを行うステップとを、コンピュータに実行させる、立体画像検索プログラム。

【図1】
image rotate

【図3】
image rotate

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−256970(P2012−256970A)
【公開日】平成24年12月27日(2012.12.27)
【国際特許分類】
【出願番号】特願2011−127362(P2011−127362)
【出願日】平成23年6月7日(2011.6.7)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】