表示システム
【課題】物体の認識精度を向上させつつ、認識結果に応じた映像を表示することが可能な技術を提供する。
【解決手段】投射された赤外光を拡散させて認識物体に赤外光を投射する赤外光用導光板部１１０と、認識物体の認識結果に応じた映像を出力映像として表示する映像表示部１３０と、投射された白色光を拡散させて映像表示部１３０に白色光を投射する白色光用導光板部１２０と、を備える、映像表示装置１００、を有することを特徴とする、表示システム１０が提供される。
【解決手段】投射された赤外光を拡散させて認識物体に赤外光を投射する赤外光用導光板部１１０と、認識物体の認識結果に応じた映像を出力映像として表示する映像表示部１３０と、投射された白色光を拡散させて映像表示部１３０に白色光を投射する白色光用導光板部１２０と、を備える、映像表示装置１００、を有することを特徴とする、表示システム１０が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示システムに関するものである。
【背景技術】
【０００２】
近年、エンタテイメント分野をはじめとした多くの分野において、テーブル型ディスプレイが普及してきており、テーブル型ディスプレイの天板に置かれた物体や利用者の身体（指や手のひらなど）の接触を認識する技術が注目されている。特許文献１によれば、カードの裏面に印刷されている模様またはコードを、筐体内に配された映像取得装置と不可視光源により取得することで、そのカードの種別と位置情報を認識するアーケードタイプのカードゲーム装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０４６６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来存在する技術によれば、接触した物体の認識結果に応じた情報提示を行うことができないという問題がある。また、従来存在する技術によれば、筐体内に配された映像取得装置により取得される映像が、様々な要因によって不鮮明になってしまい、天板上での物体認識の精度がある程度以上向上しないといった問題がある。
【０００５】
このような要因としては、例えば、プロジェクタを使用した場合のように下部から映像投射を行うことにより生じるノイズや不可視光源を使用することによって発生するノイズ（例えば、写り込みやスポットによるノイズ）が一例として挙げられる。その他の要因としては、プロジェクタによる映像を結像させるための素材（例えば、トレーシングペーパなどの光拡散の性質を持った素材）により光が拡散されることも一例として挙げられる。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、物体の認識精度を向上させつつ、認識結果に応じた映像を表示することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明のある観点によれば、投射された赤外光を拡散させて認識物体に前記赤外光を投射する赤外光用導光板部と、前記認識物体の認識結果に応じた映像を出力映像として表示する映像表示部と、投射された白色光を拡散させて前記映像表示部に前記白色光を投射する白色光用導光板部と、を備える、映像表示装置、を有することを特徴とする、表示システムが提供される。
【０００８】
前記表示システムは、入力映像を取得する映像取得装置と、前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、前記認識物体の認識結果に応じた前記出力映像を前記映像表示部に表示させる映像処理装置と、をさらに備えてもよい。
【０００９】
前記映像処理装置は、前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、認識結果に応じた出力映像を前記映像表示部に表示させてもよい。
【００１０】
前記表示システムは、認識結果と出力映像とを関連付けるための関連付けデータを記憶する認識用データベースをさらに備え、前記映像処理装置は、前記認識結果に関連付けられている前記出力映像を前記関連付けデータに基づいて取得し、取得した前記出力映像を前記映像表示部に表示させてもよい。
【００１１】
前記映像表示装置は、前記映像表示部を基準として、所定方向に前記赤外光用導光板部を有しており、前記所定方向とは逆方向に前記白色光用導光板部を有していてもよい。
【００１２】
前記映像表示装置は、前記映像表示部を基準として、所定方向に前記赤外光用導光板部および前記白色光用導光板部を有していてもよい。
【００１３】
前記映像取得装置は、前記赤外光の投射されている期間であり、かつ、前記白色光が投射されていない期間に、前記入力映像の取得を行ってもよい。
【００１４】
前記映像処理装置は、前記映像取得装置により取得された前記入力映像から前記認識物体の位置を物体位置として認識し、認識した前記物体位置に対応する出力映像を前記映像表示部に表示させてもよい。
【発明の効果】
【００１５】
以上説明したように本発明によれば、物体の認識精度を向上させつつ、認識結果に応じた映像を表示することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る表示システムの使用例を示す図である。
【図２】表示システムの機能構成を示すブロック図である。
【図３】映像表示装置のハードウェア構成の一例を示す図である。
【図４】映像表示装置のハードウェア構成の変形例を示す図である。
【図５】映像取得装置により取得される入力映像の一例を示す図である。
【図６】認識用ＤＢに登録されている情報の一例を示す図である。
【図７】映像取得装置による映像取得の一例を説明するための図である。
【図８】埋め込みコードにより物体が認識される場合の動作を示すフローチャートである。
【図９】身体の一部が物体として認識される場合の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１９】
［構成の説明］
図１は、本発明の実施形態に係る表示システムの使用例を示す図である。図１を参照しながら、本発明の実施形態に係る表示システムの使用例について説明する。図１に示すように、本発明の実施形態に係る表示システム１０は、映像表示装置１００と、映像処理装置２００と、映像取得装置３００とを備える。
【００２０】
映像表示装置１００は、接触面を有しており、その接触面に対して接触された物体が認識された場合には、その認識結果に応じた情報を利用者に対して提示することができる。利用者に対する情報の提示は、映像表示装置１００により表示された映像（以下、「出力映像」とも言う。）が利用者に閲覧されることにより実現される。出力映像は、静止画データにより構成されてもよいし、動画データにより構成されてもよく、テキストデータにより構成されてもよい。映像表示装置１００が有する接触面については後に詳細に説明する。
【００２１】
認識される物体（以下、認識物体とも言う。）は、利用者の身体の一部（例えば、利用者の指先）であってもよい。
【００２２】
映像処理装置２００は、映像表示装置１００が有する接触面に対して接触された物体を認識する機能を有する。より詳細には、映像処理装置２００は、映像取得装置３００により取得された映像（以下、「入力映像」とも言う。）から認識物体を認識し、認識物体の認識結果に応じた出力映像を映像表示装置１００に表示させる。映像表示装置１００と映像処理装置２００とは、図１に示したように有線により接続されていてもよいし、無線により接続されていてもよい。
【００２３】
映像取得装置３００は、入力映像を取得する機能を有する。より詳細には、映像取得装置３００は、映像表示装置１００が有する接触面に対して接触された物体を撮影することにより入力映像を取得する機能を有する。映像取得装置３００により取得される入力映像は、静止画データにより構成されてもよいし、動画データにより構成されてもよい。映像取得装置３００と映像処理装置２００とは、図１に示したように有線により接続されていてもよいし、無線により接続されていてもよい。
【００２４】
なお、映像取得装置３００は、例えば、赤外線カメラにより構成される。図１に示した例では、映像取得装置３００は、単一の赤外線カメラにより構成されているが、複数の赤外線カメラにより構成されていてもよい。映像取得装置３００が複数の赤外線カメラにより構成される場合には、複数の赤外線カメラの各々により取得された映像が結合されることにより入力映像が取得され得る。
【００２５】
図２は、本発明の実施形態に係る表示システム１０の機能構成を示すブロック図である。図２を参照しながら、本発明の実施形態に係る表示システム１０が有する機能の詳細について説明する。
【００２６】
上記した通り、表示システム１０は、映像表示装置１００と、映像処理装置２００と、映像取得装置３００とを備える。また、図２に示したように、映像表示装置１００は、赤外光用導光板部１１０と、白色光用導光板部１２０と、映像表示部１３０と、赤外光投射部１４０と、白色光投射部１５０とを備える。
【００２７】
映像処理装置２００は、映像処理部２１０および認識用ＤＢ（Ｄａｔａ Ｂａｓｅ）２２０を備える。映像表示装置１００および映像取得装置３００の各々が有する機能は、図１を参照しながら説明した通りである。認識用ＤＢ２２０は、映像処理部２１０により使用されるデータを記憶するデータベースである。認識用ＤＢ２２０が記憶するデータの詳細については後に説明する。
【００２８】
赤外光投射部１４０は、赤外光を投射する機能を有する。赤外光用導光板部１１０は、赤外光投射部１４０により投射された赤外光を赤外光用導光板部１１０の内部に導く。赤外光用導光板部１１０の内部に導かれた赤外光は、赤外光用導光板部１１０の表面において拡散される。赤外光用導光板部１１０の表面において拡散された赤外光の一部または全部は、認識物体に到達する。
【００２９】
赤外光用導光板部１１０の表面に接触された認識物体に赤外光が到達し、その認識物体により反射された赤外光が映像取得装置３００に到達すれば、映像取得装置３００により取得された入力映像から認識物体が容易に認識され得る。なお、赤外光用導光板部１１０の表面は、映像表示装置１００が有する上記した接触面に相当する。
【００３０】
白色光投射部１５０は、白色光を投射する機能を有する。白色光用導光板部１２０は、白色光投射部１５０により投射された白色光を白色光用導光板部１２０の内部に導く。白色光用導光板部１２０の内部に導かれた白色光は、白色光用導光板部１２０の表面において拡散される。白色光用導光板部１２０の表面において拡散された白色光の一部または全部は、映像表示部１３０に到達する。
【００３１】
映像表示部１３０は、映像表示装置１００が有する接触面に対して接触された物体が認識された場合に、その認識結果に応じた映像を表示することができる。映像表示部１３０は、白色光用導光板部１２０から拡散された白色光を透過することにより、映像表示部１３０を基準として、白色光用導光板部１２０が配置されている方向とは逆方向からの映像の閲覧を可能とする必要がある。したがって、映像表示部１３０は、例えば、透過型液晶パネルにより構成される。
【００３２】
かかる構成によれば、接触した物体の認識結果に応じた情報提示を利用者に行うことができる。また、かかる構成によれば、赤外光投射部１４０により投射された赤外光が赤外光用導光板部１１０の表面全体において略均一に拡散される。そのため、映像取得装置３００により取得される映像の鮮明度を向上させ、物体認識の精度を向上させることができる。
【００３３】
その理由は、本実施形態によれば、プロジェクタを使用した場合のように下部から映像投射を行うことにより生じるノイズや不可視光源を使用することによって発生するノイズ（例えば、写り込みやスポットによるノイズ）が生じないからである。また、本実施形態によれば、プロジェクタによる映像を結像させるための素材（例えば、トレーシングペーパなどの光拡散の性質を持った素材）により光が拡散されることがないからである。
【００３４】
また、本実施形態によれば、プロジェクタを使用した場合のように結像のために大きな光路長を要さないため、表示システム１０を小型化することが可能となるという効果を奏する。さらに、認識物体４００に赤外光を投射する赤外光用導光板部１１０と認識物体４００との距離が比較的短いため、赤外光の反射率を向上させ、減衰率を低下させることができ、物体認識の精度を向上させることができる。
【００３５】
さらに、本実施形態によれば、プロジェクタを使用した場合と比較して、発生する熱量を低減させることができるという効果をも奏し得る。かかる効果は、以下に説明するように、側面から白色光および赤外光を投射するエッジライト方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を映像表示装置１００として使用することにより、より顕著となる。また、プロジェクタを使用した場合には、プロジェクタに使用されるランプの寿命が短いことが一般的であり、ランプ交換のためにコストが必要となるが、本実施形態によれば、そのような事態を免れることが可能となる。
【００３６】
図３は、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の一例を示す図である。図３を参照しながら、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の一例について説明する。
【００３７】
図３に示すように、映像表示装置１００のハードウェア構成の一例においては、白色光用導光板部１２０は、映像表示部１３０を基準として、所定方向（例えば、映像表示部１３０を基準として、認識物体４００が存在しない方向）に配置されており、赤外光用導光板部１１０は、所定方向とは逆方向（例えば、映像表示部１３０を基準として、認識物体４００が存在する方向）に配置されている。以下、「下方」を所定方向の一例とし、「上方」を所定方向とは逆方向の一例として説明を続ける。
【００３８】
赤外光投射部１４０により投射された赤外光は、赤外光用導光板部１１０の表面において拡散される。赤外光用導光板部１１０の表面において拡散された赤外光（赤外光線Ｒ）は、上方および下方に投射される。図３に示した例では、赤外光用導光板部１１０の表面から上方に投射された赤外光は認識物体４００により反射され、認識物体４００により反射された赤外光は、映像取得装置３００に到達する必要がある。したがって、赤外光用導光板部１１０は、図３に示したように、映像表示部１３０の上方に配置されてもよいが、赤外光用導光板部１１０が配置される位置は特に限定されない（例えば、図４に示した変形例参照）。
【００３９】
例えば、認識物体４００に埋め込みコード４１０が付加されていれば、映像処理部２１０は、映像取得装置３００により取得された入力映像から認識物体４００に付された埋め込みコード４１０を認識し、認識した埋め込みコード４１０に対応する出力映像を映像表示部１３０に表示させることができる。埋め込みコード４１０は、画像自体であってもよいし、画像から変換されるビット列により構成されていてもよい。
【００４０】
例えば、赤外光を吸収する性質を有する物質と赤外光を反射する性質を有する物質との組み合わせが認識物体４００に付加されている場合、映像処理部２１０は、入力映像から検出される領域ごとの赤外光量に基づいて、埋め込みコード４１０を認識することができる。したがって、埋め込みコード４１０自体は、赤外光を吸収する性質を有する物質により構成されていてもよいし、赤外光を反射する性質を有する物質により構成されていてもよい。
【００４１】
埋め込みコード４１０は、例えば、認識物体４００の裏面に埋め込まれている。なお、認識物体４００の種類ごとに一意の埋め込みコード４１０が割り当てられていてもよいし、複数種類の認識物体４００対して同一の埋め込みコード４１０が割り当てられてもよい。
【００４２】
白色光投射部１５０により投射された白色光（白色光線Ｗ）は、白色光用導光板部１２０の表面において拡散される。白色光用導光板部１２０の表面において拡散された白色光は、上方および下方に投射される。上記した通り、映像表示部１３０により表示された映像を映像表示部１３０の上方から閲覧することを可能とするためには、白色光用導光板部１２０の表面において拡散される白色光が映像表示部１３０を上方に透過する必要がある。したがって、白色光用導光板部１２０は、映像表示部１３０の下方に配置される。
【００４３】
図４は、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の変形例を示す図である。図４を参照しながら、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の変形例について説明する。
【００４４】
図４に示すように、映像表示装置１００のハードウェア構成の変形例においては、赤外光用導光板部１１０は、映像表示部１３０を基準として、下方向に配置されており、白色光用導光板部１２０も、赤外光用導光板部１１０と同様に、映像表示部１３０を基準として、下方向に配置されている。さらに、図４に示したように、赤外光用導光板部１１０と白色光用導光板部１２０とは、同一の導光板として構成された両光用導光板部１１５として配置されてもよい。
【００４５】
図５は、本発明の実施形態に係る映像取得装置３００により取得される入力映像の一例を示す図である。図５を参照しながら、本発明の実施形態に係る映像取得装置３００により取得される入力映像の一例について説明する。
【００４６】
図５に示すように、例えば、入力映像３１０が映像取得装置３００により取得される。入力映像３１０には、接触面に接触した認識物体３１１が映されている。接触面に接触した認識物体４００からは赤外光が反射されるため、接触面に接触した認識物体３１１は、赤外光の検出量が所定値より大きい領域（以下、「赤外光検出領域」とも言う。）として映されている。
【００４７】
認識物体３１１の中には、埋め込みコード３１２が含まれている。例えば、図５に示した例では、埋め込みコード３１２は、赤外光の検出量が所定値より小さい領域に隣接する形式で赤外光の検出量が所定値より大きい領域として認識物体３１１の中に含まれているが、赤外光の検出量が所定値より小さい領域として認識物体３１１の中に含まれていてもよい。
【００４８】
また、図５に示すように、例えば、入力映像３１０には、接触面に接触した身体部分３１３が映されていてもよい。接触面に接触した身体部分３１３は、認識物体の一例として、映像処理部２１０により検出され得る。接触面に接触した身体部分からも赤外光が反射されるため、接触面に接触した身体部分３１３は、接触面に接触した認識物体３１１は、赤外光の検出量が所定値より大きい領域として映されている。
【００４９】
なお、接触した身体部分３１３は、認識物体の一例としてではなく、認識物体とは区別されるように映像処理部２１０により検出されてもよい。例えば、映像処理部２１０は、埋め込みコード３１２が埋め込まれた認識物体３１１の範囲外に存在する赤外光検出領域を、接触した身体部分３１３として検出することができる。さらに、映像処理部２１０は、後に説明するように、閾値以上の大きさを有する赤外光検出領域を接触した身体部分３１３として検出してもよい。
【００５０】
図６は、本発明の実施形態に係る認識用ＤＢ２２０に登録されている情報の一例を示す図である。図６を参照しながら、本発明の実施形態に係る認識用ＤＢ２２０に登録されている情報の一例について説明する。
【００５１】
図６に示すように、例えば、認識用ＤＢ２２０に登録されている情報は、埋め込みコード定義ファイル、表示ファイル名、検出領域および表示指定領域を関連付けるための関連付けデータにより構成される。埋め込みコード定義ファイル（例えば、「ａ．ｄａｔ」や「ｂ．ｄａｔ」）には、埋め込みコード４１０が定義されている。図６に示した例では、埋め込みコード定義ファイルとして、「ａ．ｄａｔ」ファイルや「ｂ．ｄａｔ」ファイルが登録されている。表示ファイル名は、映像表示部１３０により表示される映像が含まれたファイルの名称である。図６に示した例では、表示ファイル名として、「００１．ｊｐｇ」や「００２．ｊｐｇ」が登録されている。
【００５２】
検出領域は、認識物体４００の接触が検出された領域を示している。図６に示した例では、検出領域として、「天板右」や「天板左」が登録されている。表示指定領域は、映像表示部１３０により映像が表示される領域を示している。図６に示した例では、表示指定領域として、映像が表示される矩形領域の各頂点（左上，右上，左下，右下）＝（０，２００，４００，１０００）（３００，４００，６００，８００）（３００，４００，６００，８００）が登録されている。
【００５３】
映像処理部２１０は、認識結果に関連付けられている出力映像を関連付けデータに基づいて取得し、取得した出力映像を映像表示部１３０に表示させる。認識結果は、埋め込みコードであってもよいし、検出領域であってもよい。認識結果が埋め込みコードである場合、映像処理部２１０は、入力映像から認識した埋め込みコード４１０に関連付けられている出力映像を関連付けデータに基づいて取得し、取得した出力映像を映像表示部１３０に表示させることができる。より詳細には、映像処理部２１０は、入力映像した埋め込みコード４１０が記述されている埋め込みコード定義ファイルを検索し、その埋め込み定義ファイルに関連付けられている表示ファイル名の映像を出力映像として取得することができる。
【００５４】
また、映像処理部２１０は、その表示ファイル名と検出領域とに関連付けられている表示指定領域に基づいて、出力映像を表示させることができる。すなわち、映像処理部２１０は、映像取得装置３００により取得された入力映像から認識物体４００の位置を物体位置として認識し、認識した物体位置に対応する出力映像を映像表示部１３０に表示させることができる。
【００５５】
図７は、本発明の実施形態に係る映像取得装置３００による映像取得の一例を説明するための図である。図７を参照しながら、本発明の実施形態に係る映像取得装置３００による映像取得の一例について説明する。
【００５６】
映像取得装置３００による映像取得のタイミングは特に限定されないが、例えば、図７に示すように、映像取得装置３００は、赤外光投射部１４０により赤外光の投射されている期間であり、かつ、白色光投射部１５０により白色光が投射されていない期間に、撮影を行うことにより、入力映像の取得を行ってもよい。このようにすれば、映像取得装置３００が赤外線カメラにより構成される場合、映像取得装置３００により取得される映像の鮮明度が増すため、認識物体４００がより確実に認識されることが期待される。
【００５７】
しかし、映像取得装置３００により取得される映像の鮮明化は、他の手法を採用することにより図ることも可能である。すなわち、例えば、可視光カットフィルタを使用して白色光をカットする処理を施すことにより、映像取得装置３００により取得される映像の鮮明化を図ることも可能である。
【００５８】
［動作の説明］
図８は、埋め込みコードにより物体が認識される場合の動作を示すフローチャートである。図８を参照しながら、埋め込みコードにより物体が認識される場合の動作について説明する。
【００５９】
図８に示すように、まず、表示システム１０が起動されて、表示システム１０による動作が開始される（ステップＳ１００）。映像取得装置３００は、入力映像を取得する（ステップＳ１０１）。続いて、映像処理部２１０は、映像取得装置３００により取得された入力映像から、物体認識用の埋め込みコード部分を切り出す処理を行う（ステップＳ１０２）。映像処理部２１０は、例えば、入力映像に対して２値化処理を行った上でハフ変換などを用いて４辺を算出し、算出した４辺の頂点により規定される領域を埋め込みコード部分として切り出すことができる。
【００６０】
続いて、映像処理部２１０は、埋め込みコード部分から取得された埋め込みコードが認識用ＤＢ２２０（例えば、図６参照）に登録されているか否か（あるいは、埋め込みコードが認識用ＤＢ２２０により一意に特定されるか否か）を判定する（ステップＳ１０３）。当該判定は、例えば、取得された埋め込みコードと埋め込みコード定義ファイルとの照合により行われ得る。埋め込みコード定義ファイルには、例えば、白黒のパターンが数値化された形式の埋め込みコードが記述されている。
【００６１】
映像処理部２１０は、埋め込みコードが認識用ＤＢ２２０に登録されていない（あるいは、埋め込みコードが認識用ＤＢ２２０により一意に特定されない）と判定した場合には（ステップＳ１０３で「Ｎｏ」）、ステップＳ１０１に戻る。一方、映像処理部２１０は、埋め込みコードが認識用ＤＢ２２０に登録されている（あるいは、埋め込みコードが認識用ＤＢ２２０により一意に特定される）と判定した場合には（ステップＳ１０３で「Ｙｅｓ」）、ステップＳ１０４に進む。
【００６２】
続いて、映像処理部２１０は、登録内容に応じた出力映像を生成する（ステップＳ１０４）。より詳細には、映像処理部２１０は、認識用ＤＢ２２０に登録されている内容にしたがって映像を生成する。例えば、取得された埋め込みコードが埋め込み定義ファイル「ａ．ｄａｔ」に記述されている場合、検出領域が「天板右」の場合には、表示指定領域（０，２００，４００，１０００）にしたがって出力映像が生成され、検出領域が「天板左」の場合には、表示指定領域（３００，４００，６００，８００）にしたがって出力映像が生成される。
【００６３】
続いて、映像表示装置１００は、生成された出力映像を表示する（ステップＳ１０５）。表示システム１０が継続して動作する場合には、ステップＳ１０１からステップＳ１０５を再度実行する旨の指示が与えられるが、表示システム１０が継続して動作しない場合には、表示システム１０による動作が終了する（ステップＳ１０６）。
【００６４】
図９は、身体の一部が物体として認識される場合の動作を示すフローチャートである。図９を参照しながら、身体の一部が物体として認識される場合の動作について説明する。
【００６５】
図９に示すように、まず、表示システム１０が起動されて、表示システム１０による動作が開始される（ステップＳ２００）。映像取得装置３００は、入力映像を取得する（ステップＳ２０１）。続いて、映像処理部２１０は、映像取得装置３００により取得された入力映像から、身体の一部による接触面への接触を検出する。
【００６６】
ここで、上記したように、例えば、映像処理部２１０は、埋め込みコード３１２が埋め込まれた認識物体３１１の範囲外に存在する赤外光検出領域を、接触した身体部分３１３として検出することができる。さらに、映像処理部２１０は、例えば、入力映像に対して２値化処理を行った上で閾値以上の面積を有する領域（例えば、赤外光検出領域）が入力映像に存在するか否かを判定し（ステップＳ２０２）、閾値以上の面積を有する領域を、接触した身体部分３１３として検出することもできる。また、映像処理部２１０は、閾値以上の面積を有する領域の重心座標を接触位置として検出することもできる。
【００６７】
映像処理部２１０は、閾値以上の面積を有する領域が入力映像に存在しないと判定した場合には（ステップＳ２０２で「Ｎｏ」）、ステップＳ２０１に戻る。一方、映像処理部２１０は、閾値以上の面積を有する領域が入力映像に存在すると判定した場合には（ステップＳ２０２で「Ｙｅｓ」）、ステップＳ２０３に進む。
【００６８】
続いて、映像処理部２１０は、認識結果に応じた出力映像を生成する（ステップＳ２０３）。より詳細には、映像処理部２１０は、重心座標に応じた出力映像を生成してもよい。この場合には、マウスを使用したクリック操作と同様の操作感を利用者に与えることができる。また、映像処理部２１０は、重心座標の移動量に応じた出力映像を生成してもよい。この場合には、マウスを使用したドラッグ操作と同様の操作感を利用者に与えることができる。
【００６９】
続いて、映像表示装置１００は、生成された出力映像を表示する（ステップＳ２０４）。表示システム１０が継続して動作する場合には、ステップＳ２０１からステップＳ２０４を再度実行する旨の指示が与えられるが、表示システム１０が継続して動作しない場合には、表示システム１０による動作が終了する（ステップＳ２０５）。
【００７０】
［効果の説明］
本発明の実施形態によれば、接触した物体の認識結果に応じた情報提示を利用者に行うことができる。また、かかる構成によれば、赤外光投射部１４０により投射された赤外光が赤外光用導光板部１１０の表面全体において略均一に拡散される。そのため、映像取得装置３００により取得される映像の鮮明度を向上させ、物体認識の精度を向上させることができる。
【００７１】
その理由は、本実施形態によれば、プロジェクタを使用した場合のように下部から映像投射を行うことにより生じるノイズや不可視光源を使用することによって発生するノイズ（例えば、写り込みやスポットによるノイズ）が生じないからである。また、本実施形態によれば、プロジェクタによる映像を結像させるための素材（例えば、トレーシングペーパなどの光拡散の性質を持った素材）により光が拡散されることがないからである。
【００７２】
また、本実施形態によれば、プロジェクタを使用した場合のように結像のために大きな光路長を要さないため、表示システム１０を小型化することが可能となるという効果を奏する。さらに、認識物体４００に赤外光を投射する赤外光用導光板部１１０と認識物体４００との距離が比較的短いため、赤外光の反射率を向上させ、減衰率を低下させることができ、物体認識の精度を向上させることができる。
【００７３】
さらに、本実施形態によれば、プロジェクタを使用した場合と比較して、発生する熱量を低減させることができるという効果をも奏し得る。かかる効果は、以下に説明するように、側面から白色光および赤外光を投射するエッジライト方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を映像表示装置１００として使用することにより、より顕著となる。また、プロジェクタを使用した場合には、プロジェクタに使用されるランプの寿命が短いことが一般的であり、ランプ交換のためにコストが必要となるが、本実施形態によれば、そのような事態を免れることが可能となる。
【００７４】
［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７５】
例えば、本実施形態では、認識用ＤＢ２２０には、埋め込みコード定義ファイルが登録されていることとしたが、認識用ＤＢ２２０には、入力画像から切り出される部分画像とマッチングされる画像が埋め込みコード定義ファイルの代わりに登録されていてもよい。その場合には、映像処理部２１０により入力画像から切り出される部分画像とマッチする画像が登録されていると判定されれば、その画像により物体が認識され得る。
【００７６】
また、本実施形態では、映像処理部２１０は、利用者の身体の一部（例えば、指など）の接触を認識するに際して、赤外光の検出領域のうち閾値以上の面積を有する領域を切り出し、切り出した領域に基づいて判定することとしたが、かかる例に限定されない。例えば、映像処理部２１０は、五指のすべての接触に対する認識のように、複数の領域の各々に対して接触認識の処理を実行してもよい。また、映像処理部２１０は、最も面積が大きい領域を接触領域と判定してもよい。また、映像処理部２１０は、面積の時間変化に基づいた判定を行ってもよく、例えば、フリック操作などを判定してもよい。
【００７７】
さらに、認識用ＤＢ２２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性メモリなどにより構成され得る。映像処理部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶装置により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、映像処理部２１０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００７８】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００７９】
１０ 表示システム
１００ 映像表示装置
１１０ 赤外光用導光板部
１１５ 両光用導光板部
１２０ 白色光用導光板部
１３０ 映像表示部
１４０ 赤外光投射部
１５０ 白色光投射部
２００ 映像処理装置
２１０ 映像処理部
２２０ 認識用ＤＢ
３００ 映像取得装置
４００ 認識物体
【技術分野】
【０００１】
本発明は、表示システムに関するものである。
【背景技術】
【０００２】
近年、エンタテイメント分野をはじめとした多くの分野において、テーブル型ディスプレイが普及してきており、テーブル型ディスプレイの天板に置かれた物体や利用者の身体（指や手のひらなど）の接触を認識する技術が注目されている。特許文献１によれば、カードの裏面に印刷されている模様またはコードを、筐体内に配された映像取得装置と不可視光源により取得することで、そのカードの種別と位置情報を認識するアーケードタイプのカードゲーム装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０４６６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来存在する技術によれば、接触した物体の認識結果に応じた情報提示を行うことができないという問題がある。また、従来存在する技術によれば、筐体内に配された映像取得装置により取得される映像が、様々な要因によって不鮮明になってしまい、天板上での物体認識の精度がある程度以上向上しないといった問題がある。
【０００５】
このような要因としては、例えば、プロジェクタを使用した場合のように下部から映像投射を行うことにより生じるノイズや不可視光源を使用することによって発生するノイズ（例えば、写り込みやスポットによるノイズ）が一例として挙げられる。その他の要因としては、プロジェクタによる映像を結像させるための素材（例えば、トレーシングペーパなどの光拡散の性質を持った素材）により光が拡散されることも一例として挙げられる。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、物体の認識精度を向上させつつ、認識結果に応じた映像を表示することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明のある観点によれば、投射された赤外光を拡散させて認識物体に前記赤外光を投射する赤外光用導光板部と、前記認識物体の認識結果に応じた映像を出力映像として表示する映像表示部と、投射された白色光を拡散させて前記映像表示部に前記白色光を投射する白色光用導光板部と、を備える、映像表示装置、を有することを特徴とする、表示システムが提供される。
【０００８】
前記表示システムは、入力映像を取得する映像取得装置と、前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、前記認識物体の認識結果に応じた前記出力映像を前記映像表示部に表示させる映像処理装置と、をさらに備えてもよい。
【０００９】
前記映像処理装置は、前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、認識結果に応じた出力映像を前記映像表示部に表示させてもよい。
【００１０】
前記表示システムは、認識結果と出力映像とを関連付けるための関連付けデータを記憶する認識用データベースをさらに備え、前記映像処理装置は、前記認識結果に関連付けられている前記出力映像を前記関連付けデータに基づいて取得し、取得した前記出力映像を前記映像表示部に表示させてもよい。
【００１１】
前記映像表示装置は、前記映像表示部を基準として、所定方向に前記赤外光用導光板部を有しており、前記所定方向とは逆方向に前記白色光用導光板部を有していてもよい。
【００１２】
前記映像表示装置は、前記映像表示部を基準として、所定方向に前記赤外光用導光板部および前記白色光用導光板部を有していてもよい。
【００１３】
前記映像取得装置は、前記赤外光の投射されている期間であり、かつ、前記白色光が投射されていない期間に、前記入力映像の取得を行ってもよい。
【００１４】
前記映像処理装置は、前記映像取得装置により取得された前記入力映像から前記認識物体の位置を物体位置として認識し、認識した前記物体位置に対応する出力映像を前記映像表示部に表示させてもよい。
【発明の効果】
【００１５】
以上説明したように本発明によれば、物体の認識精度を向上させつつ、認識結果に応じた映像を表示することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る表示システムの使用例を示す図である。
【図２】表示システムの機能構成を示すブロック図である。
【図３】映像表示装置のハードウェア構成の一例を示す図である。
【図４】映像表示装置のハードウェア構成の変形例を示す図である。
【図５】映像取得装置により取得される入力映像の一例を示す図である。
【図６】認識用ＤＢに登録されている情報の一例を示す図である。
【図７】映像取得装置による映像取得の一例を説明するための図である。
【図８】埋め込みコードにより物体が認識される場合の動作を示すフローチャートである。
【図９】身体の一部が物体として認識される場合の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１９】
［構成の説明］
図１は、本発明の実施形態に係る表示システムの使用例を示す図である。図１を参照しながら、本発明の実施形態に係る表示システムの使用例について説明する。図１に示すように、本発明の実施形態に係る表示システム１０は、映像表示装置１００と、映像処理装置２００と、映像取得装置３００とを備える。
【００２０】
映像表示装置１００は、接触面を有しており、その接触面に対して接触された物体が認識された場合には、その認識結果に応じた情報を利用者に対して提示することができる。利用者に対する情報の提示は、映像表示装置１００により表示された映像（以下、「出力映像」とも言う。）が利用者に閲覧されることにより実現される。出力映像は、静止画データにより構成されてもよいし、動画データにより構成されてもよく、テキストデータにより構成されてもよい。映像表示装置１００が有する接触面については後に詳細に説明する。
【００２１】
認識される物体（以下、認識物体とも言う。）は、利用者の身体の一部（例えば、利用者の指先）であってもよい。
【００２２】
映像処理装置２００は、映像表示装置１００が有する接触面に対して接触された物体を認識する機能を有する。より詳細には、映像処理装置２００は、映像取得装置３００により取得された映像（以下、「入力映像」とも言う。）から認識物体を認識し、認識物体の認識結果に応じた出力映像を映像表示装置１００に表示させる。映像表示装置１００と映像処理装置２００とは、図１に示したように有線により接続されていてもよいし、無線により接続されていてもよい。
【００２３】
映像取得装置３００は、入力映像を取得する機能を有する。より詳細には、映像取得装置３００は、映像表示装置１００が有する接触面に対して接触された物体を撮影することにより入力映像を取得する機能を有する。映像取得装置３００により取得される入力映像は、静止画データにより構成されてもよいし、動画データにより構成されてもよい。映像取得装置３００と映像処理装置２００とは、図１に示したように有線により接続されていてもよいし、無線により接続されていてもよい。
【００２４】
なお、映像取得装置３００は、例えば、赤外線カメラにより構成される。図１に示した例では、映像取得装置３００は、単一の赤外線カメラにより構成されているが、複数の赤外線カメラにより構成されていてもよい。映像取得装置３００が複数の赤外線カメラにより構成される場合には、複数の赤外線カメラの各々により取得された映像が結合されることにより入力映像が取得され得る。
【００２５】
図２は、本発明の実施形態に係る表示システム１０の機能構成を示すブロック図である。図２を参照しながら、本発明の実施形態に係る表示システム１０が有する機能の詳細について説明する。
【００２６】
上記した通り、表示システム１０は、映像表示装置１００と、映像処理装置２００と、映像取得装置３００とを備える。また、図２に示したように、映像表示装置１００は、赤外光用導光板部１１０と、白色光用導光板部１２０と、映像表示部１３０と、赤外光投射部１４０と、白色光投射部１５０とを備える。
【００２７】
映像処理装置２００は、映像処理部２１０および認識用ＤＢ（Ｄａｔａ Ｂａｓｅ）２２０を備える。映像表示装置１００および映像取得装置３００の各々が有する機能は、図１を参照しながら説明した通りである。認識用ＤＢ２２０は、映像処理部２１０により使用されるデータを記憶するデータベースである。認識用ＤＢ２２０が記憶するデータの詳細については後に説明する。
【００２８】
赤外光投射部１４０は、赤外光を投射する機能を有する。赤外光用導光板部１１０は、赤外光投射部１４０により投射された赤外光を赤外光用導光板部１１０の内部に導く。赤外光用導光板部１１０の内部に導かれた赤外光は、赤外光用導光板部１１０の表面において拡散される。赤外光用導光板部１１０の表面において拡散された赤外光の一部または全部は、認識物体に到達する。
【００２９】
赤外光用導光板部１１０の表面に接触された認識物体に赤外光が到達し、その認識物体により反射された赤外光が映像取得装置３００に到達すれば、映像取得装置３００により取得された入力映像から認識物体が容易に認識され得る。なお、赤外光用導光板部１１０の表面は、映像表示装置１００が有する上記した接触面に相当する。
【００３０】
白色光投射部１５０は、白色光を投射する機能を有する。白色光用導光板部１２０は、白色光投射部１５０により投射された白色光を白色光用導光板部１２０の内部に導く。白色光用導光板部１２０の内部に導かれた白色光は、白色光用導光板部１２０の表面において拡散される。白色光用導光板部１２０の表面において拡散された白色光の一部または全部は、映像表示部１３０に到達する。
【００３１】
映像表示部１３０は、映像表示装置１００が有する接触面に対して接触された物体が認識された場合に、その認識結果に応じた映像を表示することができる。映像表示部１３０は、白色光用導光板部１２０から拡散された白色光を透過することにより、映像表示部１３０を基準として、白色光用導光板部１２０が配置されている方向とは逆方向からの映像の閲覧を可能とする必要がある。したがって、映像表示部１３０は、例えば、透過型液晶パネルにより構成される。
【００３２】
かかる構成によれば、接触した物体の認識結果に応じた情報提示を利用者に行うことができる。また、かかる構成によれば、赤外光投射部１４０により投射された赤外光が赤外光用導光板部１１０の表面全体において略均一に拡散される。そのため、映像取得装置３００により取得される映像の鮮明度を向上させ、物体認識の精度を向上させることができる。
【００３３】
その理由は、本実施形態によれば、プロジェクタを使用した場合のように下部から映像投射を行うことにより生じるノイズや不可視光源を使用することによって発生するノイズ（例えば、写り込みやスポットによるノイズ）が生じないからである。また、本実施形態によれば、プロジェクタによる映像を結像させるための素材（例えば、トレーシングペーパなどの光拡散の性質を持った素材）により光が拡散されることがないからである。
【００３４】
また、本実施形態によれば、プロジェクタを使用した場合のように結像のために大きな光路長を要さないため、表示システム１０を小型化することが可能となるという効果を奏する。さらに、認識物体４００に赤外光を投射する赤外光用導光板部１１０と認識物体４００との距離が比較的短いため、赤外光の反射率を向上させ、減衰率を低下させることができ、物体認識の精度を向上させることができる。
【００３５】
さらに、本実施形態によれば、プロジェクタを使用した場合と比較して、発生する熱量を低減させることができるという効果をも奏し得る。かかる効果は、以下に説明するように、側面から白色光および赤外光を投射するエッジライト方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を映像表示装置１００として使用することにより、より顕著となる。また、プロジェクタを使用した場合には、プロジェクタに使用されるランプの寿命が短いことが一般的であり、ランプ交換のためにコストが必要となるが、本実施形態によれば、そのような事態を免れることが可能となる。
【００３６】
図３は、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の一例を示す図である。図３を参照しながら、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の一例について説明する。
【００３７】
図３に示すように、映像表示装置１００のハードウェア構成の一例においては、白色光用導光板部１２０は、映像表示部１３０を基準として、所定方向（例えば、映像表示部１３０を基準として、認識物体４００が存在しない方向）に配置されており、赤外光用導光板部１１０は、所定方向とは逆方向（例えば、映像表示部１３０を基準として、認識物体４００が存在する方向）に配置されている。以下、「下方」を所定方向の一例とし、「上方」を所定方向とは逆方向の一例として説明を続ける。
【００３８】
赤外光投射部１４０により投射された赤外光は、赤外光用導光板部１１０の表面において拡散される。赤外光用導光板部１１０の表面において拡散された赤外光（赤外光線Ｒ）は、上方および下方に投射される。図３に示した例では、赤外光用導光板部１１０の表面から上方に投射された赤外光は認識物体４００により反射され、認識物体４００により反射された赤外光は、映像取得装置３００に到達する必要がある。したがって、赤外光用導光板部１１０は、図３に示したように、映像表示部１３０の上方に配置されてもよいが、赤外光用導光板部１１０が配置される位置は特に限定されない（例えば、図４に示した変形例参照）。
【００３９】
例えば、認識物体４００に埋め込みコード４１０が付加されていれば、映像処理部２１０は、映像取得装置３００により取得された入力映像から認識物体４００に付された埋め込みコード４１０を認識し、認識した埋め込みコード４１０に対応する出力映像を映像表示部１３０に表示させることができる。埋め込みコード４１０は、画像自体であってもよいし、画像から変換されるビット列により構成されていてもよい。
【００４０】
例えば、赤外光を吸収する性質を有する物質と赤外光を反射する性質を有する物質との組み合わせが認識物体４００に付加されている場合、映像処理部２１０は、入力映像から検出される領域ごとの赤外光量に基づいて、埋め込みコード４１０を認識することができる。したがって、埋め込みコード４１０自体は、赤外光を吸収する性質を有する物質により構成されていてもよいし、赤外光を反射する性質を有する物質により構成されていてもよい。
【００４１】
埋め込みコード４１０は、例えば、認識物体４００の裏面に埋め込まれている。なお、認識物体４００の種類ごとに一意の埋め込みコード４１０が割り当てられていてもよいし、複数種類の認識物体４００対して同一の埋め込みコード４１０が割り当てられてもよい。
【００４２】
白色光投射部１５０により投射された白色光（白色光線Ｗ）は、白色光用導光板部１２０の表面において拡散される。白色光用導光板部１２０の表面において拡散された白色光は、上方および下方に投射される。上記した通り、映像表示部１３０により表示された映像を映像表示部１３０の上方から閲覧することを可能とするためには、白色光用導光板部１２０の表面において拡散される白色光が映像表示部１３０を上方に透過する必要がある。したがって、白色光用導光板部１２０は、映像表示部１３０の下方に配置される。
【００４３】
図４は、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の変形例を示す図である。図４を参照しながら、本発明の実施形態に係る表示システム１０が有する映像表示装置１００のハードウェア構成の変形例について説明する。
【００４４】
図４に示すように、映像表示装置１００のハードウェア構成の変形例においては、赤外光用導光板部１１０は、映像表示部１３０を基準として、下方向に配置されており、白色光用導光板部１２０も、赤外光用導光板部１１０と同様に、映像表示部１３０を基準として、下方向に配置されている。さらに、図４に示したように、赤外光用導光板部１１０と白色光用導光板部１２０とは、同一の導光板として構成された両光用導光板部１１５として配置されてもよい。
【００４５】
図５は、本発明の実施形態に係る映像取得装置３００により取得される入力映像の一例を示す図である。図５を参照しながら、本発明の実施形態に係る映像取得装置３００により取得される入力映像の一例について説明する。
【００４６】
図５に示すように、例えば、入力映像３１０が映像取得装置３００により取得される。入力映像３１０には、接触面に接触した認識物体３１１が映されている。接触面に接触した認識物体４００からは赤外光が反射されるため、接触面に接触した認識物体３１１は、赤外光の検出量が所定値より大きい領域（以下、「赤外光検出領域」とも言う。）として映されている。
【００４７】
認識物体３１１の中には、埋め込みコード３１２が含まれている。例えば、図５に示した例では、埋め込みコード３１２は、赤外光の検出量が所定値より小さい領域に隣接する形式で赤外光の検出量が所定値より大きい領域として認識物体３１１の中に含まれているが、赤外光の検出量が所定値より小さい領域として認識物体３１１の中に含まれていてもよい。
【００４８】
また、図５に示すように、例えば、入力映像３１０には、接触面に接触した身体部分３１３が映されていてもよい。接触面に接触した身体部分３１３は、認識物体の一例として、映像処理部２１０により検出され得る。接触面に接触した身体部分からも赤外光が反射されるため、接触面に接触した身体部分３１３は、接触面に接触した認識物体３１１は、赤外光の検出量が所定値より大きい領域として映されている。
【００４９】
なお、接触した身体部分３１３は、認識物体の一例としてではなく、認識物体とは区別されるように映像処理部２１０により検出されてもよい。例えば、映像処理部２１０は、埋め込みコード３１２が埋め込まれた認識物体３１１の範囲外に存在する赤外光検出領域を、接触した身体部分３１３として検出することができる。さらに、映像処理部２１０は、後に説明するように、閾値以上の大きさを有する赤外光検出領域を接触した身体部分３１３として検出してもよい。
【００５０】
図６は、本発明の実施形態に係る認識用ＤＢ２２０に登録されている情報の一例を示す図である。図６を参照しながら、本発明の実施形態に係る認識用ＤＢ２２０に登録されている情報の一例について説明する。
【００５１】
図６に示すように、例えば、認識用ＤＢ２２０に登録されている情報は、埋め込みコード定義ファイル、表示ファイル名、検出領域および表示指定領域を関連付けるための関連付けデータにより構成される。埋め込みコード定義ファイル（例えば、「ａ．ｄａｔ」や「ｂ．ｄａｔ」）には、埋め込みコード４１０が定義されている。図６に示した例では、埋め込みコード定義ファイルとして、「ａ．ｄａｔ」ファイルや「ｂ．ｄａｔ」ファイルが登録されている。表示ファイル名は、映像表示部１３０により表示される映像が含まれたファイルの名称である。図６に示した例では、表示ファイル名として、「００１．ｊｐｇ」や「００２．ｊｐｇ」が登録されている。
【００５２】
検出領域は、認識物体４００の接触が検出された領域を示している。図６に示した例では、検出領域として、「天板右」や「天板左」が登録されている。表示指定領域は、映像表示部１３０により映像が表示される領域を示している。図６に示した例では、表示指定領域として、映像が表示される矩形領域の各頂点（左上，右上，左下，右下）＝（０，２００，４００，１０００）（３００，４００，６００，８００）（３００，４００，６００，８００）が登録されている。
【００５３】
映像処理部２１０は、認識結果に関連付けられている出力映像を関連付けデータに基づいて取得し、取得した出力映像を映像表示部１３０に表示させる。認識結果は、埋め込みコードであってもよいし、検出領域であってもよい。認識結果が埋め込みコードである場合、映像処理部２１０は、入力映像から認識した埋め込みコード４１０に関連付けられている出力映像を関連付けデータに基づいて取得し、取得した出力映像を映像表示部１３０に表示させることができる。より詳細には、映像処理部２１０は、入力映像した埋め込みコード４１０が記述されている埋め込みコード定義ファイルを検索し、その埋め込み定義ファイルに関連付けられている表示ファイル名の映像を出力映像として取得することができる。
【００５４】
また、映像処理部２１０は、その表示ファイル名と検出領域とに関連付けられている表示指定領域に基づいて、出力映像を表示させることができる。すなわち、映像処理部２１０は、映像取得装置３００により取得された入力映像から認識物体４００の位置を物体位置として認識し、認識した物体位置に対応する出力映像を映像表示部１３０に表示させることができる。
【００５５】
図７は、本発明の実施形態に係る映像取得装置３００による映像取得の一例を説明するための図である。図７を参照しながら、本発明の実施形態に係る映像取得装置３００による映像取得の一例について説明する。
【００５６】
映像取得装置３００による映像取得のタイミングは特に限定されないが、例えば、図７に示すように、映像取得装置３００は、赤外光投射部１４０により赤外光の投射されている期間であり、かつ、白色光投射部１５０により白色光が投射されていない期間に、撮影を行うことにより、入力映像の取得を行ってもよい。このようにすれば、映像取得装置３００が赤外線カメラにより構成される場合、映像取得装置３００により取得される映像の鮮明度が増すため、認識物体４００がより確実に認識されることが期待される。
【００５７】
しかし、映像取得装置３００により取得される映像の鮮明化は、他の手法を採用することにより図ることも可能である。すなわち、例えば、可視光カットフィルタを使用して白色光をカットする処理を施すことにより、映像取得装置３００により取得される映像の鮮明化を図ることも可能である。
【００５８】
［動作の説明］
図８は、埋め込みコードにより物体が認識される場合の動作を示すフローチャートである。図８を参照しながら、埋め込みコードにより物体が認識される場合の動作について説明する。
【００５９】
図８に示すように、まず、表示システム１０が起動されて、表示システム１０による動作が開始される（ステップＳ１００）。映像取得装置３００は、入力映像を取得する（ステップＳ１０１）。続いて、映像処理部２１０は、映像取得装置３００により取得された入力映像から、物体認識用の埋め込みコード部分を切り出す処理を行う（ステップＳ１０２）。映像処理部２１０は、例えば、入力映像に対して２値化処理を行った上でハフ変換などを用いて４辺を算出し、算出した４辺の頂点により規定される領域を埋め込みコード部分として切り出すことができる。
【００６０】
続いて、映像処理部２１０は、埋め込みコード部分から取得された埋め込みコードが認識用ＤＢ２２０（例えば、図６参照）に登録されているか否か（あるいは、埋め込みコードが認識用ＤＢ２２０により一意に特定されるか否か）を判定する（ステップＳ１０３）。当該判定は、例えば、取得された埋め込みコードと埋め込みコード定義ファイルとの照合により行われ得る。埋め込みコード定義ファイルには、例えば、白黒のパターンが数値化された形式の埋め込みコードが記述されている。
【００６１】
映像処理部２１０は、埋め込みコードが認識用ＤＢ２２０に登録されていない（あるいは、埋め込みコードが認識用ＤＢ２２０により一意に特定されない）と判定した場合には（ステップＳ１０３で「Ｎｏ」）、ステップＳ１０１に戻る。一方、映像処理部２１０は、埋め込みコードが認識用ＤＢ２２０に登録されている（あるいは、埋め込みコードが認識用ＤＢ２２０により一意に特定される）と判定した場合には（ステップＳ１０３で「Ｙｅｓ」）、ステップＳ１０４に進む。
【００６２】
続いて、映像処理部２１０は、登録内容に応じた出力映像を生成する（ステップＳ１０４）。より詳細には、映像処理部２１０は、認識用ＤＢ２２０に登録されている内容にしたがって映像を生成する。例えば、取得された埋め込みコードが埋め込み定義ファイル「ａ．ｄａｔ」に記述されている場合、検出領域が「天板右」の場合には、表示指定領域（０，２００，４００，１０００）にしたがって出力映像が生成され、検出領域が「天板左」の場合には、表示指定領域（３００，４００，６００，８００）にしたがって出力映像が生成される。
【００６３】
続いて、映像表示装置１００は、生成された出力映像を表示する（ステップＳ１０５）。表示システム１０が継続して動作する場合には、ステップＳ１０１からステップＳ１０５を再度実行する旨の指示が与えられるが、表示システム１０が継続して動作しない場合には、表示システム１０による動作が終了する（ステップＳ１０６）。
【００６４】
図９は、身体の一部が物体として認識される場合の動作を示すフローチャートである。図９を参照しながら、身体の一部が物体として認識される場合の動作について説明する。
【００６５】
図９に示すように、まず、表示システム１０が起動されて、表示システム１０による動作が開始される（ステップＳ２００）。映像取得装置３００は、入力映像を取得する（ステップＳ２０１）。続いて、映像処理部２１０は、映像取得装置３００により取得された入力映像から、身体の一部による接触面への接触を検出する。
【００６６】
ここで、上記したように、例えば、映像処理部２１０は、埋め込みコード３１２が埋め込まれた認識物体３１１の範囲外に存在する赤外光検出領域を、接触した身体部分３１３として検出することができる。さらに、映像処理部２１０は、例えば、入力映像に対して２値化処理を行った上で閾値以上の面積を有する領域（例えば、赤外光検出領域）が入力映像に存在するか否かを判定し（ステップＳ２０２）、閾値以上の面積を有する領域を、接触した身体部分３１３として検出することもできる。また、映像処理部２１０は、閾値以上の面積を有する領域の重心座標を接触位置として検出することもできる。
【００６７】
映像処理部２１０は、閾値以上の面積を有する領域が入力映像に存在しないと判定した場合には（ステップＳ２０２で「Ｎｏ」）、ステップＳ２０１に戻る。一方、映像処理部２１０は、閾値以上の面積を有する領域が入力映像に存在すると判定した場合には（ステップＳ２０２で「Ｙｅｓ」）、ステップＳ２０３に進む。
【００６８】
続いて、映像処理部２１０は、認識結果に応じた出力映像を生成する（ステップＳ２０３）。より詳細には、映像処理部２１０は、重心座標に応じた出力映像を生成してもよい。この場合には、マウスを使用したクリック操作と同様の操作感を利用者に与えることができる。また、映像処理部２１０は、重心座標の移動量に応じた出力映像を生成してもよい。この場合には、マウスを使用したドラッグ操作と同様の操作感を利用者に与えることができる。
【００６９】
続いて、映像表示装置１００は、生成された出力映像を表示する（ステップＳ２０４）。表示システム１０が継続して動作する場合には、ステップＳ２０１からステップＳ２０４を再度実行する旨の指示が与えられるが、表示システム１０が継続して動作しない場合には、表示システム１０による動作が終了する（ステップＳ２０５）。
【００７０】
［効果の説明］
本発明の実施形態によれば、接触した物体の認識結果に応じた情報提示を利用者に行うことができる。また、かかる構成によれば、赤外光投射部１４０により投射された赤外光が赤外光用導光板部１１０の表面全体において略均一に拡散される。そのため、映像取得装置３００により取得される映像の鮮明度を向上させ、物体認識の精度を向上させることができる。
【００７１】
その理由は、本実施形態によれば、プロジェクタを使用した場合のように下部から映像投射を行うことにより生じるノイズや不可視光源を使用することによって発生するノイズ（例えば、写り込みやスポットによるノイズ）が生じないからである。また、本実施形態によれば、プロジェクタによる映像を結像させるための素材（例えば、トレーシングペーパなどの光拡散の性質を持った素材）により光が拡散されることがないからである。
【００７２】
また、本実施形態によれば、プロジェクタを使用した場合のように結像のために大きな光路長を要さないため、表示システム１０を小型化することが可能となるという効果を奏する。さらに、認識物体４００に赤外光を投射する赤外光用導光板部１１０と認識物体４００との距離が比較的短いため、赤外光の反射率を向上させ、減衰率を低下させることができ、物体認識の精度を向上させることができる。
【００７３】
さらに、本実施形態によれば、プロジェクタを使用した場合と比較して、発生する熱量を低減させることができるという効果をも奏し得る。かかる効果は、以下に説明するように、側面から白色光および赤外光を投射するエッジライト方式のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を映像表示装置１００として使用することにより、より顕著となる。また、プロジェクタを使用した場合には、プロジェクタに使用されるランプの寿命が短いことが一般的であり、ランプ交換のためにコストが必要となるが、本実施形態によれば、そのような事態を免れることが可能となる。
【００７４】
［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７５】
例えば、本実施形態では、認識用ＤＢ２２０には、埋め込みコード定義ファイルが登録されていることとしたが、認識用ＤＢ２２０には、入力画像から切り出される部分画像とマッチングされる画像が埋め込みコード定義ファイルの代わりに登録されていてもよい。その場合には、映像処理部２１０により入力画像から切り出される部分画像とマッチする画像が登録されていると判定されれば、その画像により物体が認識され得る。
【００７６】
また、本実施形態では、映像処理部２１０は、利用者の身体の一部（例えば、指など）の接触を認識するに際して、赤外光の検出領域のうち閾値以上の面積を有する領域を切り出し、切り出した領域に基づいて判定することとしたが、かかる例に限定されない。例えば、映像処理部２１０は、五指のすべての接触に対する認識のように、複数の領域の各々に対して接触認識の処理を実行してもよい。また、映像処理部２１０は、最も面積が大きい領域を接触領域と判定してもよい。また、映像処理部２１０は、面積の時間変化に基づいた判定を行ってもよく、例えば、フリック操作などを判定してもよい。
【００７７】
さらに、認識用ＤＢ２２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性メモリなどにより構成され得る。映像処理部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成され、記憶装置により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、映像処理部２１０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００７８】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００７９】
１０ 表示システム
１００ 映像表示装置
１１０ 赤外光用導光板部
１１５ 両光用導光板部
１２０ 白色光用導光板部
１３０ 映像表示部
１４０ 赤外光投射部
１５０ 白色光投射部
２００ 映像処理装置
２１０ 映像処理部
２２０ 認識用ＤＢ
３００ 映像取得装置
４００ 認識物体
【特許請求の範囲】
【請求項１】
投射された赤外光を拡散させて認識物体に前記赤外光を投射する赤外光用導光板部と、
前記認識物体の認識結果に応じた映像を出力映像として表示する映像表示部と、
投射された白色光を拡散させて前記映像表示部に前記白色光を投射する白色光用導光板部と、
を備える、映像表示装置、
を有することを特徴とする、表示システム。
【請求項２】
入力映像を取得する映像取得装置と、
前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、前記認識物体の認識結果に応じた前記出力映像を前記映像表示部に表示させる映像処理装置と、
をさらに備えることを特徴とする、請求項１に記載の表示システム。
【請求項３】
前記映像処理装置は、
前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、認識結果に応じた出力映像を前記映像表示部に表示させることを特徴とする、請求項２に記載の表示システム。
【請求項４】
前記表示システムは、
認識結果と出力映像とを関連付けるための関連付けデータを記憶する認識用データベースをさらに備え、
前記映像処理装置は、
前記認識結果に関連付けられている前記出力映像を前記関連付けデータに基づいて取得し、取得した前記出力映像を前記映像表示部に表示させることを特徴とする、請求項３に記載の表示システム。
【請求項５】
前記映像表示装置は、
前記映像表示部を基準として、所定方向に前記白色光用導光板部を有しており、前記所定方向とは逆方向に前記赤外光用導光板部を有していることを特徴とする、請求項１に記載の表示システム。
【請求項６】
前記映像表示装置は、
前記映像表示部を基準として、所定方向に前記赤外光用導光板部および前記白色光用導光板部を有していることを特徴とする、請求項１に記載の表示システム。
【請求項７】
前記映像取得装置は、
前記赤外光の投射されている期間であり、かつ、前記白色光が投射されていない期間に、前記入力映像の取得を行うことを特徴とする、請求項１に記載の表示システム。
【請求項８】
前記映像処理装置は、
前記映像取得装置により取得された前記入力映像から前記認識物体の位置を物体位置として認識し、認識した前記物体位置に対応する出力映像を前記映像表示部に表示させることを特徴とする、請求項２に記載の表示システム。
【請求項１】
投射された赤外光を拡散させて認識物体に前記赤外光を投射する赤外光用導光板部と、
前記認識物体の認識結果に応じた映像を出力映像として表示する映像表示部と、
投射された白色光を拡散させて前記映像表示部に前記白色光を投射する白色光用導光板部と、
を備える、映像表示装置、
を有することを特徴とする、表示システム。
【請求項２】
入力映像を取得する映像取得装置と、
前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、前記認識物体の認識結果に応じた前記出力映像を前記映像表示部に表示させる映像処理装置と、
をさらに備えることを特徴とする、請求項１に記載の表示システム。
【請求項３】
前記映像処理装置は、
前記映像取得装置により取得された前記入力映像から前記認識物体を認識し、認識結果に応じた出力映像を前記映像表示部に表示させることを特徴とする、請求項２に記載の表示システム。
【請求項４】
前記表示システムは、
認識結果と出力映像とを関連付けるための関連付けデータを記憶する認識用データベースをさらに備え、
前記映像処理装置は、
前記認識結果に関連付けられている前記出力映像を前記関連付けデータに基づいて取得し、取得した前記出力映像を前記映像表示部に表示させることを特徴とする、請求項３に記載の表示システム。
【請求項５】
前記映像表示装置は、
前記映像表示部を基準として、所定方向に前記白色光用導光板部を有しており、前記所定方向とは逆方向に前記赤外光用導光板部を有していることを特徴とする、請求項１に記載の表示システム。
【請求項６】
前記映像表示装置は、
前記映像表示部を基準として、所定方向に前記赤外光用導光板部および前記白色光用導光板部を有していることを特徴とする、請求項１に記載の表示システム。
【請求項７】
前記映像取得装置は、
前記赤外光の投射されている期間であり、かつ、前記白色光が投射されていない期間に、前記入力映像の取得を行うことを特徴とする、請求項１に記載の表示システム。
【請求項８】
前記映像処理装置は、
前記映像取得装置により取得された前記入力映像から前記認識物体の位置を物体位置として認識し、認識した前記物体位置に対応する出力映像を前記映像表示部に表示させることを特徴とする、請求項２に記載の表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５８０９４（Ｐ２０１３−５８０９４Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９６２６２（Ｐ２０１１−１９６２６２）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]