立体画像表示装置および立体画像表示方法
【課題】ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行わせる。
【解決手段】立体画像表示装置１００は、立体画像を知覚させるための左眼用画像と右眼用画像を表示する表示部１２６と、表示部の表示面に対する近接物に対応する表示面上の平面位置を検知する平面位置検出センサ１２８と、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む予め定められた大きさの部分画像と、部分画像に相当する他方の類似画像との視差量を導出する視差導出部１３０と、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトする重畳位置調整部１５２と、を備える。
【解決手段】立体画像表示装置１００は、立体画像を知覚させるための左眼用画像と右眼用画像を表示する表示部１２６と、表示部の表示面に対する近接物に対応する表示面上の平面位置を検知する平面位置検出センサ１２８と、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む予め定められた大きさの部分画像と、部分画像に相当する他方の類似画像との視差量を導出する視差導出部１３０と、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトする重畳位置調整部１５２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、両眼視差を利用して立体表示されたボタン等の画像を介して、ユーザの操作入力を受け付ける立体画像表示装置および立体画像表示方法に関する。
【背景技術】
【０００２】
近年、液晶パネルに、両眼視差のある左右２つの画像データ（左眼用画像データおよび右眼用画像データ）を表示し、観察者に対してあたかもオブジェクトが立体的に存在するように知覚させる（立体表示する）立体画像技術が脚光を浴びている。
【０００３】
この立体画像技術を用い、表示部にボタン等の画像を立体表示させ、タッチパネルへの指等の接近を検知するセンサを通じたユーザのタッチ動作によって操作入力を受け付ける装置が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８０４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような立体表示機能付きのタッチパネルを用いる場合、ユーザは、立体表示されたオブジェクトの奥行きを認識しつつ、オブジェクトに触れるように手を伸ばして表示部にタッチする。しかし、例えば、表示面から飛び出す位置に結像するオブジェクトにタッチしようとする場合、ユーザは、タッチパネル（表示面）の位置まで手が届かず、センサがタッチ動作を検知できない可能性がある。
【０００６】
一方、表示面から奥まった位置に結像するオブジェクトにタッチしようとする場合、ユーザの手が、オブジェクトの結像位置より手前にある表示面に先にぶつかってしまい、センサがタッチ動作の位置を正確に検知できない可能性がある。
【０００７】
この課題に対して、特許文献１の技術では、指等の接近を検知すると、検知した位置を含む部分的な表示領域の画像を立体画像から平面画像に切り換える。しかし、この場合、ユーザがタッチしていない部分の画像は立体表示されたまま、タッチしている部分の画像が平面画像に切り換えられるため、表示部に表示された画面全体として違和感が生じてしまう。
【０００８】
そこで、本発明は、このような課題に鑑み、ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行わせることが可能な立体画像表示装置および立体画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の立体画像表示装置は、立体画像を知覚させるための左眼用画像と右眼用画像を表示する表示部と、表示部の表示面に対する近接物に対応する表示面上の平面位置を検知する平面位置検出センサと、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む予め定められた大きさの部分画像と、部分画像に相当する他方の類似画像との視差量を導出する視差導出部と、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトする重畳位置調整部と、を備えることを特徴とする。
【００１０】
視差導出部は、パターンマッチングによって部分画像に相当する類似画像を他方の画像から抽出し、部分画像と類似画像との視差量を導出してもよい。
【００１１】
平面位置検出センサは、照射した照射光の遮光位置によって平面位置を検出してもよい。
【００１２】
照射光は、レーザ光であってもよい。
【００１３】
平面位置検出センサは、静電容量の変化によって平面位置を検出する静電容量式のタッチセンサであり、表示面と一体形成されてもよい。
【００１４】
上記課題を解決するために、本発明の立体画像表示方法は、立体画像を知覚させるための左眼用画像と右眼用画像の表示面に対する近接物に対応する表示面上の平面位置を検知し、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む予め定められた大きさの部分画像と、部分画像に相当する他方の類似画像との視差量を導出し、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトして表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行わせることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】立体画像表示装置の概略的な機能を示した機能ブロック図である。
【図２】両眼視差のある左眼用画像と右眼用画像の重畳と、立体表示されたオブジェクトの奥行き位置および飛び出し位置を説明するための説明図である。
【図３】視差導出部の概略的な機能を示した機能ブロック図である。
【図４】視差導出部によるパターンマッチング処理を説明するための説明図である。
【図５】タッチ動作の前および後それぞれのボタンの奥行き位置を説明するための説明図である。
【図６】立体画像表示方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（立体画像表示装置１００）
図１は、立体画像表示装置１００の概略的な機能を示した機能ブロック図である。図１に示すように、立体画像表示装置１００は、データ取得部１２０と、バッファメモリ１２２と、表示データ生成部１２４と、表示部１２６と、平面位置検出センサ１２８と、視差導出部１３０と、中央制御部１３２とを含んで構成される。
【００１９】
データ取得部１２０は、立体画像を知覚させるための左眼用画像と右眼用画像を形成するデータである左眼用画像データと右眼用画像データを取得する。データ取得部１２０は、左眼用画像データと右眼用画像データとを異なる経路（回線）から個々に取得してもよいし、１の経路から一体的なデータ（例えばサイドバイサイド方式によるデータ）として取得してもよい。
【００２０】
バッファメモリ１２２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等を含んで構成され、データ取得部１２０で取得された左眼用画像データと右眼用画像データとを一時的に保持する。
【００２１】
表示データ生成部１２４は、バッファメモリ１２２から左眼用画像データおよび右眼用画像データを順次読み出し、両データを重畳して、表示データを生成する。表示データは、例えば、左眼用画像データおよび右眼用画像データを隔行で（１ラインおきに）配置し偏光眼鏡を通じて視認させるラインシーケンシャル方式、左眼用画像と右眼用画像とを１フレームごとに交互に表示し電子シャッター式眼鏡を通じて視認させるフレームシーケンシャル方式、レンティキュラレンズを介して左眼用画像と右眼用画像それぞれの光の進行方向を制御するレンティキュラ方式等の立体画像を知覚させるための所定の方式のデータである。
【００２２】
このとき、表示データ生成部１２４は、左眼用画像と右眼用画像の水平方向の重畳開始位置を、後述する重畳位置調整部１５２の制御に応じてシフトする。
【００２３】
表示部１２６は、後述する表示制御部１５４の制御に応じて、表示データを、表示データに対応する立体画像の表示形式で表示する。
【００２４】
図２は、両眼視差のある左眼用画像と右眼用画像の重畳と、立体表示されたオブジェクトの奥行き位置および飛び出し位置を説明するための説明図である。図２（ａ）に示すような、左眼用画像の画像データである左眼用画像データと、図２（ｂ）に示すような、右眼用画像の画像データである右眼用画像データについて、表示データ生成部１２４が所定の方式で重畳し表示データを生成する。
【００２５】
図２（ｃ）に、重畳された表示データを模式的に表した重畳画像を示す。ここで、破線で示すボタンＢ、ボタンＣは右眼用画像のボタンＢ、ボタンＣの重畳位置を示す。ここでは、図２（ｃ）に示すように、ボタンＡは左右視差がなく、ボタンＢ、ボタンＣは、それぞれ左右視差がある（左眼用画像と右眼用画像で位置が異なる）ものとする。
【００２６】
この図２（ｃ）に示す一点鎖線２００の上の立体表示されたオブジェクトの奥行き位置および飛び出し位置を図２（ｄ）に示す。図２（ｄ）に示すように、左右視差のないボタンＡは奥行き０、すなわち表示面２０２上に位置しているように知覚され、左右視差のあるボタンＢ、ボタンＣについては、ボタンＢは飛び出しているように、ボタンＣは奥行き側に引っ込んでいるように、それぞれ知覚される。
【００２７】
平面位置検出センサ１２８は、例えば、表示部１２６の表示面２０２の外枠に配置された発光部と受光部で構成され、表示面２０２に沿って格子（マトリクス）状に複数の照射光（本実施形態においてはレーザ光）を走らせ、照射光が遮光された遮光位置によって表示面２０２に対する近接物に対応する表示面２０２上の平面位置を検知する。すなわち、平面位置検出センサ１２８は、表示部１２６と協働してユーザのタッチ動作を検出する所謂ポインティングデバイスとして機能する。
【００２８】
本実施形態においてタッチ動作は、平面位置検出センサ１２８が検知可能な距離まで表示面２０２に指を近づける動作をいう。
【００２９】
ここでは、照射光としてレーザ光を用いる例を挙げて説明しているが、照射光としては、レーザ光に限らず、対象となる受光部にのみ受光され、対象となる受光部に隣接する他の受光部に影響しないように、光束を絞り込んだ可視光、赤外線等を用いてもよい。また、平面位置検出センサ１２８は、静電容量の変化によって平面位置を検出する静電容量式のタッチセンサで、表示面２０２と一体形成されてもよい。
【００３０】
そして、平面位置検出センサ１２８が検知した平面位置を示すタッチセンサ出力信号は、外部装置（例えば、パーソナルコンピュータやスマートフォン等）に出力され、タッチ機能を利用するアプリケーション等で利用される。
【００３１】
平面位置検出センサ１２８が平面位置を検出する精度は、例えば、タッチ動作の対象となるオブジェクト（ボタンＡ、ボタンＢ、ボタンＣ等）の大きさよりも小さくする。こうして、タッチ動作を確実に検出することができる。
【００３２】
視差導出部１３０は、後述する画像位置特定部１５０が出力したポジション情報に基づいて、左眼用画像と右眼用画像のうちの一方の画像（本実施形態においては、例えば左眼用画像）における平面位置を含む、予め定められた大きさの部分画像を特定する。
【００３３】
そして、視差導出部１３０は、特定した部分画像と、その部分画像に相当する、左眼用画像と右眼用画像のうちの他方（本実施形態においては、例えば右眼用画像）の類似画像との視差量を導出する。
【００３４】
本実施形態において、視差導出部１３０は、パターンマッチングによって部分画像に相当する類似画像を他方の画像から抽出し、部分画像と類似画像との視差量を導出する。
【００３５】
図３は、視差導出部１３０の概略的な機能を示した機能ブロック図である。図３に示すように、視差導出部１３０は、左眼用切出部１３０ａと、右眼用切出部１３０ｂと、切出制御部１３０ｃと、差分導出部１３０ｄと、最小位置導出部１３０ｅとを含んで構成され、各機能部が協働することでパターンマッチング処理を行う。
【００３６】
左眼用切出部１３０ａは、切出制御部１３０ｃの制御に応じて、バッファメモリ１２２に保持された左眼用画像データから任意の位置の部分画像にかかる画像データを切り出す。右眼用切出部１３０ｂは、切出制御部１３０ｃの制御に応じて、バッファメモリ１２２に保持された右眼用画像データから、部分画像の比較対象となる対象画像にかかる画像データを切り出す。
【００３７】
切出制御部１３０ｃは、画像位置特定部１５０が出力したポジション情報に基づき、左眼用切出部１３０ａについては、ポジション情報の位置を含む切り出し位置を指定し、部分画像を切り出させる。また、切出制御部１３０ｃは、右眼用切出部１３０ｂについては、左眼用画像の切り出し位置から、水平方向の所定範囲内に含まれる複数の切り出し位置を指定し、複数の対象画像を切り出させる。
【００３８】
差分導出部１３０ｄは、左眼用切出部１３０ａ、右眼用切出部１３０ｂがそれぞれ切り出した画像の差分を導出する。差分導出部１３０ｄは、例えば、切り出された画像それぞれの対応する画素の輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法を用いる。
【００３９】
最小位置導出部１３０ｅは、部分画像と対象画像の組み合わせそれぞれについて、切出制御部１３０ｃから画像の切り出し位置を取得し、差分導出部１３０ｄから差分を取得する。そして、最小位置導出部１３０ｅは、差分導出部１３０ｄが導出した差分が最小となる対象画像を、部分画像に最も類似する（相関が高い）画像である類似画像と見做す。そして、最小位置導出部１３０ｅは、部分画像の切り出し位置と類似画像の切り出し位置から視差量を導出し、中央制御部１３２の重畳位置調整部１５２に出力する。視差量は、例えば、切り出し位置の水平座標（水平画素）の差分として導出される。
【００４０】
中央制御部１３２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体画像表示装置１００全体を管理および制御する。また、中央制御部１３２は、画像位置特定部１５０、重畳位置調整部１５２、表示制御部１５４として機能する。
【００４１】
画像位置特定部１５０は、平面位置検出センサ１２８から出力されたタッチセンサ出力信号が示す平面位置に基づいて、タッチ動作に対応する画像上の位置を特定し、特定した位置を示すポジション情報を視差導出部１３０に出力する。
【００４２】
重畳位置調整部１５２は、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトする。表示制御部１５４は、表示データ生成部１２４で生成された表示データを表示部１２６に表示させる。
【００４３】
以上、立体画像表示装置１００の構成について説明した。続いて、立体画像表示装置１００の各機能部の処理のうち、特に、本実施形態において特徴的な視差量導出処理および重畳位置調整処理について詳述する。
【００４４】
（視差量導出処理）
続いて、視差導出部１３０による視差量導出処理について詳述する。図４は、視差導出部１３０によるパターンマッチング処理を説明するための説明図である。ここでは、画像位置特定部１５０から視差導出部１３０に出力されたポジション情報が、ボタンＢに対応する位置を示す場合を例に挙げる。
【００４５】
切出制御部１３０ｃは、左眼用切出部１３０ａに、ポジション情報が示す位置２１０を含む、予め定められた大きさの部分画像（ここでは図４（ａ）に示す画像２１２）の画像データを左眼用画像データから切り出させる。
【００４６】
この部分画像の大きさは、特に制限されないが、ポジション情報が示す位置２１０やユーザがタッチしようとしているボタンの視差によっては、ユーザがタッチしようとしているボタンが部分画像からはみ出てしまう場合がある。この場合、万全を期すべく、部分画像の大きさを、ボタンの横幅の２倍の大きさに、画面内において想定される最大の視差量（以下、最大視差と称す）の半分に相当する大きさを加えた横幅とするとよい。かかる構成により、切出制御部１３０ｃは、部分画像に、ユーザがタッチしようとしているボタンの全体画像を確実に含むことができ、ボタンを特定することが可能となる。
【００４７】
ここで、タッチ動作の対象となる複数のボタン間の距離は、最大視差に相当する大きさより大きいとよい。かかる構成により、ユーザがタッチしようとしているボタンと異なるボタンが、当該部分画像に含まれてしまう事態を回避することができる。
【００４８】
また、切出制御部１３０ｃは、右眼用切出部１３０ｂに、右眼用画像データから、部分画像の比較対象となる対象画像の画像データを切り出させる。対象画像は、右眼用画像データにおいて、左眼用画像データにおける部分画像の位置と同じ位置の画像（図４（ｂ）に示す画像２１４ａ）を含む。
【００４９】
さらに、対象画像には、画像２１４ａの位置から水平方向に所定範囲内でシフトした画像も含まれる。この所定範囲は、例えば、ボタンの横幅や最大視差の半分に相当する大きさ等に基づいて予め定められている。ここでは、例えば、図４（ｃ）に示す画像２１４ｂの位置を左端、図４（ｄ）に示す画像２１４ｃの位置を右端とし、所定画素毎にシフトした位置の画像をそれぞれ対象画像とする。
【００５０】
最小位置導出部１３０ｅは、差分導出部１３０ｄが、導出した部分画像と対象画像の差分について、最小となった対象画像（ここでは図４（ｅ）に示す画像２１４ｄ）を、部分画像に最も類似する（相関が高い）画像である類似画像と見做し、画像２１４ａから画像２１４ｄへのシフト量（差分）を取得して視差量とする。
【００５１】
（重畳位置調整処理）
続いて、重畳位置調整部１５２による左眼用画像と右眼用画像の重畳位置の調整処理について詳述する。
【００５２】
図５は、タッチ動作の前および後それぞれのボタンの奥行き位置を説明するための説明図である。ここでは、図５（ａ）に示すように、図２（ａ）（ｂ）に示す左眼用画像および右眼用画像の画像データについて、図２（ｄ）と同様の奥行き位置および飛び出し位置となり、ユーザにその立体画像が知覚されているものとする。ここで、白抜き矢印は、ユーザがタッチしようとする表示面の位置を示す。また、図５（ｂ）（ｄ）（ｆ）は、それぞれ図５（ｃ）（ｅ）（ｇ）における一点鎖線２００の上の立体表示されたオブジェクトの奥行き位置および飛び出し位置を示す。
【００５３】
図５（ｂ）に示すように、ユーザがボタンＡの位置をタッチする場合、視差導出部１３０は、その位置を示すポジション情報に基づいてパターンマッチングを行い、視差０と導出する。この場合、ユーザが知覚するタッチするボタン（ボタンＡ）の位置は、表示面２０２上であり実際の位置と一致しているため、重畳位置調整部１５２は処理を行わず、図５（ｃ）に示すように、図２（ｂ）に示す重畳画像と同様の重畳が行われ表示データが生成される。
【００５４】
図５（ｄ）に示すように、ユーザがボタンＢの位置をタッチする場合、視差導出部１３０は、その位置を示すポジション情報に基づいてパターンマッチングを行い、ボタンＢの飛び出し位置に相当する視差が導出される。この場合、重畳位置調整部１５２は、左眼用画像と右眼用画像の水平方向の重畳開始位置を、ボタンＢの視差量が相殺される分だけシフトする。ここでは、左眼用画像が左側に、右眼用画像が右側にシフトして重畳され、全体にオブジェクトが奥行き側に引っ込んで知覚される。こうして、ユーザが知覚するタッチするボタン（ボタンＢ）の位置は、表示面２０２上となり実際の位置と一致する。
【００５５】
図５（ｆ）に示すように、ユーザがボタンＣの位置をタッチする場合、視差導出部１３０は、その位置を示すポジション情報に基づいてパターンマッチングを行い、ボタンＣの飛び出し位置に相当する視差が導出される。この場合、重畳位置調整部１５２は、左眼用画像と右眼用画像の水平方向の重畳開始位置を、ボタンＣの視差量が相殺される分だけシフトする。ここでは、左眼用画像が右側に、右眼用画像が左側にシフトして重畳され、全体にオブジェクトが飛び出し側に飛び出して知覚される。こうして、ユーザが知覚するタッチするボタン（ボタンＣ）の位置は、表示面２０２上となり実際の位置と一致する。
【００５６】
（立体画像表示方法）
次に、上述した立体画像表示装置１００を用いて、表示データを表示する立体画像表示方法を説明する。図６は、立体画像表示方法の全体的な流れを示したフローチャートである。このフローチャートに示す処理は、立体画像表示装置１００が表示データの表示を指示されている間、例えば所定のフレーム周期で繰り返し実行される。
【００５７】
図６に示すように、データ取得部１２０は、立体画像を知覚させるための左眼用画像と右眼用画像のデータである左眼用画像データと右眼用画像データを取得する（Ｓ３００）。そして、画像位置特定部１５０は、平面位置検出センサ１２８からタッチセンサ出力信号が出力されたか否かを判定する（Ｓ３０２）。タッチセンサ出力信号が出力されていない場合（Ｓ３０２におけるＮＯ）、表示データ生成ステップＳ３１２に処理を移す。
【００５８】
タッチセンサ出力信号が出力されている場合（Ｓ３０２におけるＹＥＳ）、画像位置特定部１５０は、タッチセンサ出力信号が示す平面位置に基づいて、タッチ動作に対応する画像上の位置を特定し、特定した位置を示すポジション情報を視差導出部１３０に出力する（Ｓ３０４）。
【００５９】
視差導出部１３０は、画像位置特定部１５０が出力したポジション情報に基づいて、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む、予め定められた大きさの部分画像を特定し、パターンマッチングによって、部分画像に相当する類似画像を他方の画像から抽出する（Ｓ３０６）。
【００６０】
そして、視差導出部１３０は、特定した部分画像と、抽出した類似画像との視差量を導出する（Ｓ３０８）。重畳位置調整部１５２は、表示データ生成部１２４に、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトさせ表示データを生成させる（Ｓ３１０）。
【００６１】
また、タッチセンサ判定ステップＳ３０２において、タッチセンサ出力信号が検出されない場合（Ｓ３０２におけるＮＯ）、表示制御部１５４は、左眼用画像と右眼用画像の水平方向の重畳開始位置をシフトさせずに表示データを生成させる（Ｓ３１４）。
【００６２】
続いて、表示制御部１５４は、表示データ生成部１２４で生成された表示データを表示部１２６に表示させる（Ｓ３１４）。
【００６３】
かかる立体画像表示方法によっても、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行うことが可能となる。
【００６４】
本実施形態の立体画像表示装置１００および立体画像表示方法によれば、ユーザが触れようとした、立体表示されたボタン等のオブジェクトの視差量を０にして表示面２０２上に結像させる。そのため、ユーザは、表示面２０２に表示されたオブジェクトに対してタッチ動作を行うこととなり、自身が視認するオブジェクトとの距離感と同じ距離感で自然にタッチ動作を行うことができる。さらに、ユーザがタッチしない箇所の画像の視差も連動して調整されるため、立体画像表示装置１００は、ユーザに、ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、タッチ動作を行わせることが可能となる。
【００６５】
また、照射光で近接物に対する表示面２０２上の平面位置を検知する構成により、立体画像表示装置１００は、ユーザのタッチ動作を検出する表示面２０２からの高さを比較的高くでき、タッチ動作を早く検出して後述する重畳位置の調整処理を行うことができる。
【００６６】
特に、レーザ光は可視光等よりも光束が拡散し難いため、照射光としてレーザ光を用いる構成により、照射光が遮光された遮光位置を確実に検出することが可能となる。
【００６７】
さらに、平面位置検出センサ１２８に、静電容量式のタッチセンサを用いる場合、表示面２０２の外縁にレーザ光の発光部や受光部を配置するための枠等を設ける必要がなく、立体画像表示装置１００の美観を向上することができる。
【００６８】
また、本実施形態の視差導出部１３０は、確立された既存技術であるパターンマッチングを用いて、部分画像と最も類似する画像を類似画像として抽出する。そのため、ユーザがタッチしようとする箇所の左眼用画像と右眼用画像の視差量を高精度に調節できる。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上述した実施形態では、平面位置検出センサ１２８が近接物を検出すると、重畳位置調整部１５２は、すぐに表示データ生成部１２４がタッチしようする箇所にある部分画像の視差量を相殺した表示データを表示データ生成部１２４に生成させるとした。しかし、例えば、重畳位置調整部１５２は、タッチ動作に合わせて徐々に視差量を０に近づけるように、表示データを表示データ生成部１２４に生成させもよい。
【００７１】
この場合、例えば、平面位置検出センサ１２８は、近接物と表示面２０２との距離を検出し、重畳位置調整部１５２は、その距離が近づいた分に比例して、オブジェクトを表示面２０２に近づけ、近接物が表示面２０２に触れる位置で視差が０になるように、左眼用画像と右眼用画像の水平方向の重畳開始位置を調整する。
【００７２】
また、平面位置検出センサ１２８として撮像装置を用い、撮像した画像データに基づいて、表示部１２６の表示面２０２に対する近接物に対応する表示面２０２上の平面位置を検知してもよい。
【００７３】
なお、本明細書の立体画像表示方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７４】
本発明は、両眼視差を利用して立体表示されたボタン等の画像を介して、ユーザの操作入力を受け付ける立体画像表示装置および立体画像表示方法に利用することができる。
【符号の説明】
【００７５】
１００ …立体画像表示装置
１２６ …表示部
１２８ …平面位置検出センサ
１３０ …視差導出部
１５２ …重畳位置調整部
２０２ …表示面
【技術分野】
【０００１】
本発明は、両眼視差を利用して立体表示されたボタン等の画像を介して、ユーザの操作入力を受け付ける立体画像表示装置および立体画像表示方法に関する。
【背景技術】
【０００２】
近年、液晶パネルに、両眼視差のある左右２つの画像データ（左眼用画像データおよび右眼用画像データ）を表示し、観察者に対してあたかもオブジェクトが立体的に存在するように知覚させる（立体表示する）立体画像技術が脚光を浴びている。
【０００３】
この立体画像技術を用い、表示部にボタン等の画像を立体表示させ、タッチパネルへの指等の接近を検知するセンサを通じたユーザのタッチ動作によって操作入力を受け付ける装置が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８０４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような立体表示機能付きのタッチパネルを用いる場合、ユーザは、立体表示されたオブジェクトの奥行きを認識しつつ、オブジェクトに触れるように手を伸ばして表示部にタッチする。しかし、例えば、表示面から飛び出す位置に結像するオブジェクトにタッチしようとする場合、ユーザは、タッチパネル（表示面）の位置まで手が届かず、センサがタッチ動作を検知できない可能性がある。
【０００６】
一方、表示面から奥まった位置に結像するオブジェクトにタッチしようとする場合、ユーザの手が、オブジェクトの結像位置より手前にある表示面に先にぶつかってしまい、センサがタッチ動作の位置を正確に検知できない可能性がある。
【０００７】
この課題に対して、特許文献１の技術では、指等の接近を検知すると、検知した位置を含む部分的な表示領域の画像を立体画像から平面画像に切り換える。しかし、この場合、ユーザがタッチしていない部分の画像は立体表示されたまま、タッチしている部分の画像が平面画像に切り換えられるため、表示部に表示された画面全体として違和感が生じてしまう。
【０００８】
そこで、本発明は、このような課題に鑑み、ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行わせることが可能な立体画像表示装置および立体画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の立体画像表示装置は、立体画像を知覚させるための左眼用画像と右眼用画像を表示する表示部と、表示部の表示面に対する近接物に対応する表示面上の平面位置を検知する平面位置検出センサと、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む予め定められた大きさの部分画像と、部分画像に相当する他方の類似画像との視差量を導出する視差導出部と、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトする重畳位置調整部と、を備えることを特徴とする。
【００１０】
視差導出部は、パターンマッチングによって部分画像に相当する類似画像を他方の画像から抽出し、部分画像と類似画像との視差量を導出してもよい。
【００１１】
平面位置検出センサは、照射した照射光の遮光位置によって平面位置を検出してもよい。
【００１２】
照射光は、レーザ光であってもよい。
【００１３】
平面位置検出センサは、静電容量の変化によって平面位置を検出する静電容量式のタッチセンサであり、表示面と一体形成されてもよい。
【００１４】
上記課題を解決するために、本発明の立体画像表示方法は、立体画像を知覚させるための左眼用画像と右眼用画像の表示面に対する近接物に対応する表示面上の平面位置を検知し、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む予め定められた大きさの部分画像と、部分画像に相当する他方の類似画像との視差量を導出し、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトして表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行わせることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】立体画像表示装置の概略的な機能を示した機能ブロック図である。
【図２】両眼視差のある左眼用画像と右眼用画像の重畳と、立体表示されたオブジェクトの奥行き位置および飛び出し位置を説明するための説明図である。
【図３】視差導出部の概略的な機能を示した機能ブロック図である。
【図４】視差導出部によるパターンマッチング処理を説明するための説明図である。
【図５】タッチ動作の前および後それぞれのボタンの奥行き位置を説明するための説明図である。
【図６】立体画像表示方法の全体的な流れを示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１８】
（立体画像表示装置１００）
図１は、立体画像表示装置１００の概略的な機能を示した機能ブロック図である。図１に示すように、立体画像表示装置１００は、データ取得部１２０と、バッファメモリ１２２と、表示データ生成部１２４と、表示部１２６と、平面位置検出センサ１２８と、視差導出部１３０と、中央制御部１３２とを含んで構成される。
【００１９】
データ取得部１２０は、立体画像を知覚させるための左眼用画像と右眼用画像を形成するデータである左眼用画像データと右眼用画像データを取得する。データ取得部１２０は、左眼用画像データと右眼用画像データとを異なる経路（回線）から個々に取得してもよいし、１の経路から一体的なデータ（例えばサイドバイサイド方式によるデータ）として取得してもよい。
【００２０】
バッファメモリ１２２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等を含んで構成され、データ取得部１２０で取得された左眼用画像データと右眼用画像データとを一時的に保持する。
【００２１】
表示データ生成部１２４は、バッファメモリ１２２から左眼用画像データおよび右眼用画像データを順次読み出し、両データを重畳して、表示データを生成する。表示データは、例えば、左眼用画像データおよび右眼用画像データを隔行で（１ラインおきに）配置し偏光眼鏡を通じて視認させるラインシーケンシャル方式、左眼用画像と右眼用画像とを１フレームごとに交互に表示し電子シャッター式眼鏡を通じて視認させるフレームシーケンシャル方式、レンティキュラレンズを介して左眼用画像と右眼用画像それぞれの光の進行方向を制御するレンティキュラ方式等の立体画像を知覚させるための所定の方式のデータである。
【００２２】
このとき、表示データ生成部１２４は、左眼用画像と右眼用画像の水平方向の重畳開始位置を、後述する重畳位置調整部１５２の制御に応じてシフトする。
【００２３】
表示部１２６は、後述する表示制御部１５４の制御に応じて、表示データを、表示データに対応する立体画像の表示形式で表示する。
【００２４】
図２は、両眼視差のある左眼用画像と右眼用画像の重畳と、立体表示されたオブジェクトの奥行き位置および飛び出し位置を説明するための説明図である。図２（ａ）に示すような、左眼用画像の画像データである左眼用画像データと、図２（ｂ）に示すような、右眼用画像の画像データである右眼用画像データについて、表示データ生成部１２４が所定の方式で重畳し表示データを生成する。
【００２５】
図２（ｃ）に、重畳された表示データを模式的に表した重畳画像を示す。ここで、破線で示すボタンＢ、ボタンＣは右眼用画像のボタンＢ、ボタンＣの重畳位置を示す。ここでは、図２（ｃ）に示すように、ボタンＡは左右視差がなく、ボタンＢ、ボタンＣは、それぞれ左右視差がある（左眼用画像と右眼用画像で位置が異なる）ものとする。
【００２６】
この図２（ｃ）に示す一点鎖線２００の上の立体表示されたオブジェクトの奥行き位置および飛び出し位置を図２（ｄ）に示す。図２（ｄ）に示すように、左右視差のないボタンＡは奥行き０、すなわち表示面２０２上に位置しているように知覚され、左右視差のあるボタンＢ、ボタンＣについては、ボタンＢは飛び出しているように、ボタンＣは奥行き側に引っ込んでいるように、それぞれ知覚される。
【００２７】
平面位置検出センサ１２８は、例えば、表示部１２６の表示面２０２の外枠に配置された発光部と受光部で構成され、表示面２０２に沿って格子（マトリクス）状に複数の照射光（本実施形態においてはレーザ光）を走らせ、照射光が遮光された遮光位置によって表示面２０２に対する近接物に対応する表示面２０２上の平面位置を検知する。すなわち、平面位置検出センサ１２８は、表示部１２６と協働してユーザのタッチ動作を検出する所謂ポインティングデバイスとして機能する。
【００２８】
本実施形態においてタッチ動作は、平面位置検出センサ１２８が検知可能な距離まで表示面２０２に指を近づける動作をいう。
【００２９】
ここでは、照射光としてレーザ光を用いる例を挙げて説明しているが、照射光としては、レーザ光に限らず、対象となる受光部にのみ受光され、対象となる受光部に隣接する他の受光部に影響しないように、光束を絞り込んだ可視光、赤外線等を用いてもよい。また、平面位置検出センサ１２８は、静電容量の変化によって平面位置を検出する静電容量式のタッチセンサで、表示面２０２と一体形成されてもよい。
【００３０】
そして、平面位置検出センサ１２８が検知した平面位置を示すタッチセンサ出力信号は、外部装置（例えば、パーソナルコンピュータやスマートフォン等）に出力され、タッチ機能を利用するアプリケーション等で利用される。
【００３１】
平面位置検出センサ１２８が平面位置を検出する精度は、例えば、タッチ動作の対象となるオブジェクト（ボタンＡ、ボタンＢ、ボタンＣ等）の大きさよりも小さくする。こうして、タッチ動作を確実に検出することができる。
【００３２】
視差導出部１３０は、後述する画像位置特定部１５０が出力したポジション情報に基づいて、左眼用画像と右眼用画像のうちの一方の画像（本実施形態においては、例えば左眼用画像）における平面位置を含む、予め定められた大きさの部分画像を特定する。
【００３３】
そして、視差導出部１３０は、特定した部分画像と、その部分画像に相当する、左眼用画像と右眼用画像のうちの他方（本実施形態においては、例えば右眼用画像）の類似画像との視差量を導出する。
【００３４】
本実施形態において、視差導出部１３０は、パターンマッチングによって部分画像に相当する類似画像を他方の画像から抽出し、部分画像と類似画像との視差量を導出する。
【００３５】
図３は、視差導出部１３０の概略的な機能を示した機能ブロック図である。図３に示すように、視差導出部１３０は、左眼用切出部１３０ａと、右眼用切出部１３０ｂと、切出制御部１３０ｃと、差分導出部１３０ｄと、最小位置導出部１３０ｅとを含んで構成され、各機能部が協働することでパターンマッチング処理を行う。
【００３６】
左眼用切出部１３０ａは、切出制御部１３０ｃの制御に応じて、バッファメモリ１２２に保持された左眼用画像データから任意の位置の部分画像にかかる画像データを切り出す。右眼用切出部１３０ｂは、切出制御部１３０ｃの制御に応じて、バッファメモリ１２２に保持された右眼用画像データから、部分画像の比較対象となる対象画像にかかる画像データを切り出す。
【００３７】
切出制御部１３０ｃは、画像位置特定部１５０が出力したポジション情報に基づき、左眼用切出部１３０ａについては、ポジション情報の位置を含む切り出し位置を指定し、部分画像を切り出させる。また、切出制御部１３０ｃは、右眼用切出部１３０ｂについては、左眼用画像の切り出し位置から、水平方向の所定範囲内に含まれる複数の切り出し位置を指定し、複数の対象画像を切り出させる。
【００３８】
差分導出部１３０ｄは、左眼用切出部１３０ａ、右眼用切出部１３０ｂがそれぞれ切り出した画像の差分を導出する。差分導出部１３０ｄは、例えば、切り出された画像それぞれの対応する画素の輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法を用いる。
【００３９】
最小位置導出部１３０ｅは、部分画像と対象画像の組み合わせそれぞれについて、切出制御部１３０ｃから画像の切り出し位置を取得し、差分導出部１３０ｄから差分を取得する。そして、最小位置導出部１３０ｅは、差分導出部１３０ｄが導出した差分が最小となる対象画像を、部分画像に最も類似する（相関が高い）画像である類似画像と見做す。そして、最小位置導出部１３０ｅは、部分画像の切り出し位置と類似画像の切り出し位置から視差量を導出し、中央制御部１３２の重畳位置調整部１５２に出力する。視差量は、例えば、切り出し位置の水平座標（水平画素）の差分として導出される。
【００４０】
中央制御部１３２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体画像表示装置１００全体を管理および制御する。また、中央制御部１３２は、画像位置特定部１５０、重畳位置調整部１５２、表示制御部１５４として機能する。
【００４１】
画像位置特定部１５０は、平面位置検出センサ１２８から出力されたタッチセンサ出力信号が示す平面位置に基づいて、タッチ動作に対応する画像上の位置を特定し、特定した位置を示すポジション情報を視差導出部１３０に出力する。
【００４２】
重畳位置調整部１５２は、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトする。表示制御部１５４は、表示データ生成部１２４で生成された表示データを表示部１２６に表示させる。
【００４３】
以上、立体画像表示装置１００の構成について説明した。続いて、立体画像表示装置１００の各機能部の処理のうち、特に、本実施形態において特徴的な視差量導出処理および重畳位置調整処理について詳述する。
【００４４】
（視差量導出処理）
続いて、視差導出部１３０による視差量導出処理について詳述する。図４は、視差導出部１３０によるパターンマッチング処理を説明するための説明図である。ここでは、画像位置特定部１５０から視差導出部１３０に出力されたポジション情報が、ボタンＢに対応する位置を示す場合を例に挙げる。
【００４５】
切出制御部１３０ｃは、左眼用切出部１３０ａに、ポジション情報が示す位置２１０を含む、予め定められた大きさの部分画像（ここでは図４（ａ）に示す画像２１２）の画像データを左眼用画像データから切り出させる。
【００４６】
この部分画像の大きさは、特に制限されないが、ポジション情報が示す位置２１０やユーザがタッチしようとしているボタンの視差によっては、ユーザがタッチしようとしているボタンが部分画像からはみ出てしまう場合がある。この場合、万全を期すべく、部分画像の大きさを、ボタンの横幅の２倍の大きさに、画面内において想定される最大の視差量（以下、最大視差と称す）の半分に相当する大きさを加えた横幅とするとよい。かかる構成により、切出制御部１３０ｃは、部分画像に、ユーザがタッチしようとしているボタンの全体画像を確実に含むことができ、ボタンを特定することが可能となる。
【００４７】
ここで、タッチ動作の対象となる複数のボタン間の距離は、最大視差に相当する大きさより大きいとよい。かかる構成により、ユーザがタッチしようとしているボタンと異なるボタンが、当該部分画像に含まれてしまう事態を回避することができる。
【００４８】
また、切出制御部１３０ｃは、右眼用切出部１３０ｂに、右眼用画像データから、部分画像の比較対象となる対象画像の画像データを切り出させる。対象画像は、右眼用画像データにおいて、左眼用画像データにおける部分画像の位置と同じ位置の画像（図４（ｂ）に示す画像２１４ａ）を含む。
【００４９】
さらに、対象画像には、画像２１４ａの位置から水平方向に所定範囲内でシフトした画像も含まれる。この所定範囲は、例えば、ボタンの横幅や最大視差の半分に相当する大きさ等に基づいて予め定められている。ここでは、例えば、図４（ｃ）に示す画像２１４ｂの位置を左端、図４（ｄ）に示す画像２１４ｃの位置を右端とし、所定画素毎にシフトした位置の画像をそれぞれ対象画像とする。
【００５０】
最小位置導出部１３０ｅは、差分導出部１３０ｄが、導出した部分画像と対象画像の差分について、最小となった対象画像（ここでは図４（ｅ）に示す画像２１４ｄ）を、部分画像に最も類似する（相関が高い）画像である類似画像と見做し、画像２１４ａから画像２１４ｄへのシフト量（差分）を取得して視差量とする。
【００５１】
（重畳位置調整処理）
続いて、重畳位置調整部１５２による左眼用画像と右眼用画像の重畳位置の調整処理について詳述する。
【００５２】
図５は、タッチ動作の前および後それぞれのボタンの奥行き位置を説明するための説明図である。ここでは、図５（ａ）に示すように、図２（ａ）（ｂ）に示す左眼用画像および右眼用画像の画像データについて、図２（ｄ）と同様の奥行き位置および飛び出し位置となり、ユーザにその立体画像が知覚されているものとする。ここで、白抜き矢印は、ユーザがタッチしようとする表示面の位置を示す。また、図５（ｂ）（ｄ）（ｆ）は、それぞれ図５（ｃ）（ｅ）（ｇ）における一点鎖線２００の上の立体表示されたオブジェクトの奥行き位置および飛び出し位置を示す。
【００５３】
図５（ｂ）に示すように、ユーザがボタンＡの位置をタッチする場合、視差導出部１３０は、その位置を示すポジション情報に基づいてパターンマッチングを行い、視差０と導出する。この場合、ユーザが知覚するタッチするボタン（ボタンＡ）の位置は、表示面２０２上であり実際の位置と一致しているため、重畳位置調整部１５２は処理を行わず、図５（ｃ）に示すように、図２（ｂ）に示す重畳画像と同様の重畳が行われ表示データが生成される。
【００５４】
図５（ｄ）に示すように、ユーザがボタンＢの位置をタッチする場合、視差導出部１３０は、その位置を示すポジション情報に基づいてパターンマッチングを行い、ボタンＢの飛び出し位置に相当する視差が導出される。この場合、重畳位置調整部１５２は、左眼用画像と右眼用画像の水平方向の重畳開始位置を、ボタンＢの視差量が相殺される分だけシフトする。ここでは、左眼用画像が左側に、右眼用画像が右側にシフトして重畳され、全体にオブジェクトが奥行き側に引っ込んで知覚される。こうして、ユーザが知覚するタッチするボタン（ボタンＢ）の位置は、表示面２０２上となり実際の位置と一致する。
【００５５】
図５（ｆ）に示すように、ユーザがボタンＣの位置をタッチする場合、視差導出部１３０は、その位置を示すポジション情報に基づいてパターンマッチングを行い、ボタンＣの飛び出し位置に相当する視差が導出される。この場合、重畳位置調整部１５２は、左眼用画像と右眼用画像の水平方向の重畳開始位置を、ボタンＣの視差量が相殺される分だけシフトする。ここでは、左眼用画像が右側に、右眼用画像が左側にシフトして重畳され、全体にオブジェクトが飛び出し側に飛び出して知覚される。こうして、ユーザが知覚するタッチするボタン（ボタンＣ）の位置は、表示面２０２上となり実際の位置と一致する。
【００５６】
（立体画像表示方法）
次に、上述した立体画像表示装置１００を用いて、表示データを表示する立体画像表示方法を説明する。図６は、立体画像表示方法の全体的な流れを示したフローチャートである。このフローチャートに示す処理は、立体画像表示装置１００が表示データの表示を指示されている間、例えば所定のフレーム周期で繰り返し実行される。
【００５７】
図６に示すように、データ取得部１２０は、立体画像を知覚させるための左眼用画像と右眼用画像のデータである左眼用画像データと右眼用画像データを取得する（Ｓ３００）。そして、画像位置特定部１５０は、平面位置検出センサ１２８からタッチセンサ出力信号が出力されたか否かを判定する（Ｓ３０２）。タッチセンサ出力信号が出力されていない場合（Ｓ３０２におけるＮＯ）、表示データ生成ステップＳ３１２に処理を移す。
【００５８】
タッチセンサ出力信号が出力されている場合（Ｓ３０２におけるＹＥＳ）、画像位置特定部１５０は、タッチセンサ出力信号が示す平面位置に基づいて、タッチ動作に対応する画像上の位置を特定し、特定した位置を示すポジション情報を視差導出部１３０に出力する（Ｓ３０４）。
【００５９】
視差導出部１３０は、画像位置特定部１５０が出力したポジション情報に基づいて、左眼用画像と右眼用画像のうちの一方の画像における平面位置を含む、予め定められた大きさの部分画像を特定し、パターンマッチングによって、部分画像に相当する類似画像を他方の画像から抽出する（Ｓ３０６）。
【００６０】
そして、視差導出部１３０は、特定した部分画像と、抽出した類似画像との視差量を導出する（Ｓ３０８）。重畳位置調整部１５２は、表示データ生成部１２４に、左眼用画像と右眼用画像の水平方向の重畳開始位置を視差量が相殺される分だけシフトさせ表示データを生成させる（Ｓ３１０）。
【００６１】
また、タッチセンサ判定ステップＳ３０２において、タッチセンサ出力信号が検出されない場合（Ｓ３０２におけるＮＯ）、表示制御部１５４は、左眼用画像と右眼用画像の水平方向の重畳開始位置をシフトさせずに表示データを生成させる（Ｓ３１４）。
【００６２】
続いて、表示制御部１５４は、表示データ生成部１２４で生成された表示データを表示部１２６に表示させる（Ｓ３１４）。
【００６３】
かかる立体画像表示方法によっても、ユーザが視認するオブジェクトとの距離感と同じ距離感でタッチ動作を行うことが可能となる。
【００６４】
本実施形態の立体画像表示装置１００および立体画像表示方法によれば、ユーザが触れようとした、立体表示されたボタン等のオブジェクトの視差量を０にして表示面２０２上に結像させる。そのため、ユーザは、表示面２０２に表示されたオブジェクトに対してタッチ動作を行うこととなり、自身が視認するオブジェクトとの距離感と同じ距離感で自然にタッチ動作を行うことができる。さらに、ユーザがタッチしない箇所の画像の視差も連動して調整されるため、立体画像表示装置１００は、ユーザに、ユーザが知覚している立体画像全体の相対的な結像位置関係を維持しつつ、タッチ動作を行わせることが可能となる。
【００６５】
また、照射光で近接物に対する表示面２０２上の平面位置を検知する構成により、立体画像表示装置１００は、ユーザのタッチ動作を検出する表示面２０２からの高さを比較的高くでき、タッチ動作を早く検出して後述する重畳位置の調整処理を行うことができる。
【００６６】
特に、レーザ光は可視光等よりも光束が拡散し難いため、照射光としてレーザ光を用いる構成により、照射光が遮光された遮光位置を確実に検出することが可能となる。
【００６７】
さらに、平面位置検出センサ１２８に、静電容量式のタッチセンサを用いる場合、表示面２０２の外縁にレーザ光の発光部や受光部を配置するための枠等を設ける必要がなく、立体画像表示装置１００の美観を向上することができる。
【００６８】
また、本実施形態の視差導出部１３０は、確立された既存技術であるパターンマッチングを用いて、部分画像と最も類似する画像を類似画像として抽出する。そのため、ユーザがタッチしようとする箇所の左眼用画像と右眼用画像の視差量を高精度に調節できる。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上述した実施形態では、平面位置検出センサ１２８が近接物を検出すると、重畳位置調整部１５２は、すぐに表示データ生成部１２４がタッチしようする箇所にある部分画像の視差量を相殺した表示データを表示データ生成部１２４に生成させるとした。しかし、例えば、重畳位置調整部１５２は、タッチ動作に合わせて徐々に視差量を０に近づけるように、表示データを表示データ生成部１２４に生成させもよい。
【００７１】
この場合、例えば、平面位置検出センサ１２８は、近接物と表示面２０２との距離を検出し、重畳位置調整部１５２は、その距離が近づいた分に比例して、オブジェクトを表示面２０２に近づけ、近接物が表示面２０２に触れる位置で視差が０になるように、左眼用画像と右眼用画像の水平方向の重畳開始位置を調整する。
【００７２】
また、平面位置検出センサ１２８として撮像装置を用い、撮像した画像データに基づいて、表示部１２６の表示面２０２に対する近接物に対応する表示面２０２上の平面位置を検知してもよい。
【００７３】
なお、本明細書の立体画像表示方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７４】
本発明は、両眼視差を利用して立体表示されたボタン等の画像を介して、ユーザの操作入力を受け付ける立体画像表示装置および立体画像表示方法に利用することができる。
【符号の説明】
【００７５】
１００ …立体画像表示装置
１２６ …表示部
１２８ …平面位置検出センサ
１３０ …視差導出部
１５２ …重畳位置調整部
２０２ …表示面
【特許請求の範囲】
【請求項１】
立体画像を知覚させるための左眼用画像と右眼用画像を表示する表示部と、
前記表示部の表示面に対する近接物に対応する前記表示面上の平面位置を検知する平面位置検出センサと、
前記左眼用画像と右眼用画像のうちの一方の画像における前記平面位置を含む予め定められた大きさの部分画像と、前記部分画像に相当する他方の類似画像との視差量を導出する視差導出部と、
前記左眼用画像と右眼用画像の水平方向の重畳開始位置を前記視差量が相殺される分だけシフトする重畳位置調整部と、
を備えることを特徴とする立体画像表示装置。
【請求項２】
前記視差導出部は、パターンマッチングによって前記部分画像に相当する類似画像を他方の画像から抽出し、前記部分画像と前記類似画像との視差量を導出することを特徴とする請求項１に記載の立体画像表示装置。
【請求項３】
前記平面位置検出センサは、照射した照射光の遮光位置によって前記平面位置を検出することを特徴とする請求項１または２に記載の立体画像表示装置。
【請求項４】
前記照射光は、レーザ光であることを特徴とする請求項３に記載の立体画像表示装置。
【請求項５】
前記平面位置検出センサは、静電容量の変化によって前記平面位置を検出する静電容量式のタッチセンサであり、前記表示面と一体形成されることを特徴とする請求項１または２に記載の立体画像表示装置。
【請求項６】
立体画像を知覚させるための左眼用画像と右眼用画像の表示面に対する近接物に対応する前記表示面上の平面位置を検知し、
前記左眼用画像と右眼用画像のうちの一方の画像における前記平面位置を含む予め定められた大きさの部分画像と、前記部分画像に相当する他方の類似画像との視差量を導出し、
前記左眼用画像と右眼用画像の水平方向の重畳開始位置を前記視差量が相殺される分だけシフトして表示することを特徴とする立体画像表示方法。
【請求項１】
立体画像を知覚させるための左眼用画像と右眼用画像を表示する表示部と、
前記表示部の表示面に対する近接物に対応する前記表示面上の平面位置を検知する平面位置検出センサと、
前記左眼用画像と右眼用画像のうちの一方の画像における前記平面位置を含む予め定められた大きさの部分画像と、前記部分画像に相当する他方の類似画像との視差量を導出する視差導出部と、
前記左眼用画像と右眼用画像の水平方向の重畳開始位置を前記視差量が相殺される分だけシフトする重畳位置調整部と、
を備えることを特徴とする立体画像表示装置。
【請求項２】
前記視差導出部は、パターンマッチングによって前記部分画像に相当する類似画像を他方の画像から抽出し、前記部分画像と前記類似画像との視差量を導出することを特徴とする請求項１に記載の立体画像表示装置。
【請求項３】
前記平面位置検出センサは、照射した照射光の遮光位置によって前記平面位置を検出することを特徴とする請求項１または２に記載の立体画像表示装置。
【請求項４】
前記照射光は、レーザ光であることを特徴とする請求項３に記載の立体画像表示装置。
【請求項５】
前記平面位置検出センサは、静電容量の変化によって前記平面位置を検出する静電容量式のタッチセンサであり、前記表示面と一体形成されることを特徴とする請求項１または２に記載の立体画像表示装置。
【請求項６】
立体画像を知覚させるための左眼用画像と右眼用画像の表示面に対する近接物に対応する前記表示面上の平面位置を検知し、
前記左眼用画像と右眼用画像のうちの一方の画像における前記平面位置を含む予め定められた大きさの部分画像と、前記部分画像に相当する他方の類似画像との視差量を導出し、
前記左眼用画像と右眼用画像の水平方向の重畳開始位置を前記視差量が相殺される分だけシフトして表示することを特徴とする立体画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２０８５９５（Ｐ２０１２−２０８５９５Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２１８６（Ｐ２０１１−７２１８６）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]