説明

画像表示装置

【課題】投影された関連画像が実体物と関連していることを、ユーザに知覚させることができる画像表示装置を提供する。
【解決手段】撮像手段20が被投影領域999を撮像し、識別情報801bに基づいて、実画像801aと関連する関連画像501をデータベースから取得し、投影手段20は実画像801a上に重畳する位置に関連画像501を投影し、投影手段20は。関連画像501が実画像801aの外側方向に徐々に移動するように関連画像501を投影し、関連画像501を実画像801aの外側の被投影領域999に静止投影する。あたかも関連画像501が実画像801aから生成されたように表示され、関連画像501が前記第1位置から第2位置に連続的に移動しながらアニメーション表示され、関連画像501が実画像801aと関連していることを、ユーザに知覚させることが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、実画像に関連する関連画像を実画像の近傍に投影する画像表示装置に関する。
【背景技術】
【0002】
従来、特許文献1に示されるように、印刷物等の実体物と関連する情報を同一視野内で同時に見ることができる情報表示装置が提案されている。このような情報表示装置は、実体物に設けられた識別情報発信源を読み取ることにより前記実体物を識別し、この実体物に関連する関連画像を検索して、当該関連画像を実体物の隣に投影する装置である。例えば、実体物が絵画である場合において、ユーザがこの絵画の情報を知りたい場合に、前記絵画の解説文を関連画像として絵画の隣に投影させることにより、ユーザが絵画を鑑賞しながら解説文を読むことができる。
【0003】
しかしながら、実体物が多数有る場合には、実体物の隣に関連画像を投影するだけでは、投影された関連画像がどの実体物と関連しているかを、ユーザが認識し難いというという問題があった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009―8905号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記問題を解決し、投影された関連画像が実体物と関連していることを、ユーザに知覚させることができる画像表示装置を提供する。
【課題を解決するための手段】
【0006】
上記課題を解決するためになされた請求項1に記載の発明は、
表面に実画像が記載された実体物又は表面に実画像が表示される実体物が載置される被投影面と対向して配置され、前記被投影面に画像を投影する投影手段と、
被投影面を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像から、前記実画像の被投影面上の位置を認識し、実画像位置情報を生成する実体物位置認識手段と、
前記実体物の識別情報を取得する識別情報取得手段と、
前記識別情報取得手段が取得した前記実体物の識別情報に基づいて、前記実画像と関連する関連画像が記憶された記憶手段から、前記実体物と対応する前記関連画像を取得する関連画像取得手段と、
前記実画像位置情報に基づいて、実画像上に重畳する位置である第1位置に前記関連画像が投影される第1投影画像データと、実画像の外側であって且つ実体物及び被投影面上の少なくとも一方の位置である第2位置に前記関連画像が投影される第2投影画像データとを生成する投影画像データ生成手段と、
前記第1投影画像データ及び前記第2投影画像データの何れか一方を画像信号として前記投影手段に出力した後に、他方を画像信号として前記投影手段に出力する画像信号生成手段と、
を有することを特徴とする。
【0007】
請求項2に記載の発明は、請求項1に記載の発明において、投影画像データ生成手段は、第1投影画像データが投影される第1位置と第2投影画像データが投影される第2位置との間を連続的に補完する位置である第3位置に、関連画像が投影される第3投影画像データを生成し、
画像信号生成手段はさらに、前記第1投影画像データ及び前記第2投影画像データの何れか一方を画像信号として前記投影手段に出力した後であって、且つ他方を画像信号として前記投影手段に出力する前に、前記第3投影画像データを画像信号として前記投影手段に出力することを特徴とする。
【0008】
請求項3に記載の発明は、請求項1又は請求項2に記載の発明において、投影画像データ生成手段は、実体物上と露出した被投影面とで、投影される関連画像の明度を異ならせることを特徴とする。
【0009】
請求項4に記載の発明は、請求項1又は請求項2に記載の発明において、投影画像データ生成手段は、実体物及び露出した被投影面の少なくとも一方の面上であって、明度が一定以上で且つコントラストが一定以下の領域に関連画像を投影させることを特徴とする。
【0010】
請求項5に記載の発明は、請求項1又は請求項2に記載の発明において、投影画像データ生成手段は、露出した被投影面上に関連画像を投影させることを特徴とする。
【0011】
請求項6に記載の発明は、請求項4又は請求項5に記載の発明において、投影画像データ生成手段は、関連画像が投影されるべき領域に関連画像を投影することができない場合には、関連画像を縮小して前記領域に投影させることを特徴とする。
【0012】
請求項7に記載の発明は、請求項1〜請求項6に記載の発明において、
識別情報取得手段が取得した実体物の識別情報に基づいて、前記実体物と対応する関連画像が記憶手段に存在するか否かを判断する存在判断手段をさらに備え、
関連画像取得手段は、前記存在判断手段が、前記関連画像が記憶手段に存在すると判断した場合に、前記関連画像を前記記憶手段から取得することを特徴とする。
【発明の効果】
【0013】
請求項1に記載の発明は、表面に実画像が記載された実体物又は表面に実画像が表示される実体物が載置される被投影面と対向して配置され、前記被投影面に画像を投影する投影手段と、被投影面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、前記実画像の被投影面上の位置を認識し、実画像位置情報を生成する実体物位置認識手段と、前記実体物の識別情報を取得する識別情報取得手段と、前記識別情報取得手段が取得した前記実体物の識別情報に基づいて、前記実画像と関連する関連画像が記憶された記憶手段から、前記実体物と対応する前記関連画像を取得する関連画像取得手段と、前記実画像位置情報に基づいて、実画像上に重畳する位置である第1位置に前記関連画像が投影される第1投影画像データと、実画像の外側であって且つ実体物及び被投影面上の少なくとも一方の位置である第2位置に前記関連画像が投影される第2投影画像データとを生成する投影画像データ生成手段と、前記第1投影画像データ及び前記第2投影画像データの何れか一方を画像信号として前記投影手段に出力した後に、他方を画像信号として前記投影手段に出力する画像信号生成手段を有することを特徴とする。
これにより、関連画像が前記第2位置に投影される前に、関連画像が実画像上に重畳する位置に投影されるので、あたかも関連画像が実画像から生成されたような印象をユーザに与える。即ち、投影された関連画像が実体物と関連していることを、ユーザに知覚させることが可能となる。
或いは、第2位置に関連画像を投影した後に、実画像がある第1位置に関連画像が投影されるので、関連画像が実画像に関連があることを、ユーザに知覚させることが可能となる。
【0014】
請求項2に記載の発明は、請求項1に記載の発明において、投影画像データ生成手段は、第1投影画像データが投影される第1位置と第2投影画像データが投影される第2位置との間を連続的に補完する位置である第3位置に、関連画像が投影される第3投影画像データを生成し、画像信号生成手段はさらに、前記第1投影画像データ及び前記第2投影画像データの何れか一方を画像信号として前記投影手段に出力した後であって、且つ他方を画像信号として前記投影手段に出力する前に、前記第3投影画像データを画像信号として前記投影手段に出力することを特徴とする。
これにより、関連画像が第1位置から第2位置に連続的に移動しながら表示されるので、関連画像が実画像と関連している印象をユーザに強くに与え、より一層、投影された関連画像が実体物と関連していることを、ユーザに知覚させることが可能となる。
或いは、関連画像が第2位置から第1位置に連続的に移動しながら表示されるので、あたかも関連画像が実画像に収納されたかのような印象をユーザに与え、被投影領域に投影されている関連画像が実画像に関連があることを、ユーザに知覚させることが可能となる。
【0015】
請求項3に記載の発明は、請求項1又は請求項2に記載の発明において、投影画像データ生成手段は、実体物上と露出した被投影面とで、投影される関連画像の明度を異ならせることを特徴とする。
これにより、実体物上で、明度を下げて関連画像を投影することにより、ユーザが実体物を視認することが容易となる。
或いは、実体物上で、明度を上げて関連画像を投影すると、実体物上で関連画像が強調されて表示されるので、ユーザが関連画像を視認し易くなる。
【0016】
請求項4に記載の発明は、請求項1又は請求項2に記載の発明において、投影画像データ生成手段は、実体物及び露出した被投影面の少なくとも一方の面上であって、明度が一定以上で且つコントラストが一定以下の領域に関連画像を投影させることを特徴とする。
これにより、被投影領域上に実体物等が多数載置されている場合であっても、前記実体物に対応する関連画像を投影することが可能となる。
【0017】
請求項5に記載の発明は、請求項1又は請求項2に記載の発明において、投影画像データ生成手段は、露出した被投影面上に関連画像を投影させることを特徴とする。
これにより、関連画像が実体物に重なって投影されないので、ユーザが関連画像を鮮明に視認することが可能となる。
【0018】
請求項6に記載の発明は、請求項4又は請求項5に記載の発明において、投影画像データ生成手段は、関連画像が投影されるべき領域に関連画像を投影することができない場合には、関連画像を縮小して前記領域に投影させることを特徴とする。
これにより、被投影領域上に実体物等が多数載置されて、関連画像を投影可能な領域が狭小であったとしても、前記実体物に対応する関連画像を投影することが可能となる。
【0019】
請求項7に記載の発明は、請求項1〜請求項6に記載の発明において、
識別情報取得手段が取得した実体物の識別情報に基づいて、前記実体物と対応する関連画像が記憶手段に存在するか否かを判断する存在判断手段をさらに備え、
関連画像取得手段は、前記存在判断手段が、前記関連画像が記憶手段に存在すると判断した場合に、前記関連画像を前記記憶手段から取得することを特徴とする。
これにより、記憶手段に、識別情報と関連画像の関連を表した情報テーブルを記憶させ、前記存在判断手段は、識別情報取得手段が取得した実体物の識別情報が、情報テーブルに存在するか否かを判断して、実体物と対応する関連画像が記憶手段に存在するか否かを判断すると、実体物と対応する関連画像の検索を迅速、且つ、確実に行うことが可能となり、迅速に関連画像を取得することが可能となる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態に係る、画像表示装置の概要図である。
【図2】関連画像の投影状態の説明図である。
【図3】画像表示装置のブロック図である。
【図4】情報テーブルの説明図である。
【図5】メイン処理にフロー図である。(第1の実施形態)
【図6】関連画像の投影状態の説明図である。(第2の実施形態)
【図7】関連画像の投影状態の説明図である。(第3の実施形態)
【図8】関連画像の投影状態の説明図である。(第4の実施形態)
【発明を実施するための形態】
【0021】
(本発明の画像表示装置の概要)
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図1に示されるように、本発明の画像表示装置100は、制御部10、投影手段20、撮像手段30とから構成されている。投影手段20及び撮像手段30は、テーブルの板面等の被投影領域999と対向して配置されている。投影手段20は、制御手段10が出力する「画像信号」に基づいて、関連画像501を被投影領域999に投影する装置である。撮像手段30は、被投影領域999を撮像する装置である。関連画像501とは、被投影領域999上に載置された、印刷物等の実体物801の表面に記載された実画像801aと関連する画像であり、例えば、実画像801aが絵画である場合には、関連画像501は前記絵画の解説文等である。実体物801には、二次元コードやバーコード等の識別情報801bが記載されている。
【0022】
本発明では、被投影領域999上に実体物801が載置されると(図2の(A)の状態)、撮像手段20が被投影領域999を撮像することにより、識別情報801bが制御装置10に読み込まれ、制御装置10は前記識別情報801bに基づいて、実画像801aと関連する関連画像501を、データベースである記憶手段200(図3に示す)から取得する。
そして、投影手段20は、実画像801a上に重畳する位置に(第1位置)、関連画像501が浮き上がって表示されるように投影する(図2の(B)の状態)。具体的には、関連画像501を実画像801a上で点滅表示することにより、あたかも関連画像501が実画像801aから浮き上がって生成されたような印象をユーザに与えるようになっている。
次に、投影手段20は、関連画像501が実画像801aの外側方向に徐々に移動するように、関連画像501を投影し(図2の(C)の状態)、更に関連画像501を実画像801aの外側の被投影領域999に(第2位置)に静止投影する(図2の(D)の状態)。
このように関連画像501が実画像801aから浮き上がって生成されたように表示され、関連画像501が前記第1位置から第2位置に連続的に移動しながらアニメーション表示されるので、関連画像501が実画像801aと関連している印象をユーザに強烈に与える。
【0023】
(画像表示装置のブロック図)
以下に図3を用いて、画像表示装置100のブロック図を説明する。制御部10は、CPU11、RAM12、ROM13、撮像コントローラ15、投影画像コントローラ17、VRAM18、入力部19を有していて、これらは相互にバス9で接続されている。なお、投影画像コントローラ17とVRAM18は相互に接続している。
【0024】
CPU11は、RAM12、ROM13と協動して、各種演算、処理を行う。
RAM12は、CPU11で処理されるプログラムや、CPU11が処理するデータを、そのアドレス空間に一時的に記憶する。RAM12は、撮像画像データ記憶領域12a、実体物位置情報記憶領域12b、識別情報記憶領域12c、情報テーブル検索結果記憶領域12d、関連画像データ記憶領域12eを有している。
撮像画像データ記憶領域12aには、撮像手段30で撮像され、撮像コントローラ15で生成された「撮像画像データ」が記憶される。
実体物位置情報記憶領域12bには、後述する「実体物位置情報」及び「実画像位置情報」が記憶される。
識別情報記憶領域12cには、後述する「識別情報」が記憶される。
情報テーブル検索結果記憶領域12dには、記憶手段200の情報テーブル記憶領域200aから取得した「情報テーブル」が記憶される記憶される。
関連画像記憶領域12eには、後述するように入力部19で取得された「関連画像」が記憶される。
【0025】
ROM13には、画像表示装置100を制御する各種プログラムが記憶されている。ROM13には、撮像制御プログラム13a、実体物位置認識プログラム13b、識別情報取得プログラム13c、情報テーブル検索プログラム13d、関連画像データ取得プログラム13e、投影画像データ生成プログラム13f等のプログラムが記憶されている。当該各種プログラムが、CPU11で処理されることにより、画像表示装置100の各種機能を実現している。なお、前記プログラムをASIC(Application Specific Integrated Circuit)として実現しても差し支えない。
【0026】
撮像制御プログラム13aは、撮像コントローラ15に「撮像制御信号」を出力して、撮像コントローラ15や撮像手段30を制御し、「撮像画像データ」を生成させる。生成された「撮像画像データ」は、撮像画像データ記憶領域12aに記憶される。
【0027】
実体物位置認識プログラム13bは、撮像画像データ記憶領域12aに記憶された「撮像画像データ」を解析することにより、被投影領域999上の実体物801の外縁位置を検出して、「実体物位置情報」を生成する。また、実体物位置認識プログラム13bは、前記「撮像画像データ」を解析することにより、被投影領域999上の実画像801aの外縁位置を検出し、「実画像位置情報」を生成する。前記生成された「実体物位置情報」及び「実画像位置情報」は、実体物位置情報記憶領域12bに記憶される。
【0028】
識別情報取得プログラム13cは、撮像画像データ記憶領域12aに記憶された「撮像画像データ」を解析することにより、当該「撮像画像データ」から実体物801の「識別情報」を抽出する。抽出された「識別情報」は、識別情報記憶領域12cに記憶される。
【0029】
情報テーブル検索プログラム13dは、記憶手段200の情報テーブル記憶領域200aを参照することにより、識別情報記憶領域12bに記憶された「識別情報」に対応する「情報テーブル」を検索し、当該「情報テーブル」を取得して、情報テーブル検索結果記憶領域12dに記憶させる。なお、「情報テーブル」とは、図4に示されるように、識別情報801b、実画像801a及び関連画像501との関係を表したテーブルである。図4に示される実施形態では、「識別情報」は英数字であり、「実画像」は実画像801aの名称、「関連画像」は関連画像501のファイル名やURL(Uniform Resource Locator)が表されている。ある実画像801aの「識別情報」が判明している場合には、「情報テーブル」を参照すると、前記実画像801aに関連する関連画像501が判明する。
【0030】
関連画像データ取得プログラム13eは、情報テーブル検索結果記憶領域12dに記憶された「情報テーブル」を参照し、「識別情報」に対応する「関連画像データ」を、記憶手段200の関連画像データ記憶領域200bから「関連画像データ」を取得し、関連画像データ記憶領域12eに記憶させるプログラムである。
【0031】
投影画像データ生成プログラム13fは、実体物位置情報記憶領域12bに記憶された「実画像位置情報」に基づいて、実画像801a上に重畳する位置である第1位置に「関連画像データ」が投影される「第1投影画像データ」を生成させる「描画命令」を、投影画像コントローラ17に出力する。
また、投影画像データ生成プログラム13fは、実体物位置情報記憶領域12bに記憶された「実体物位置情報」に基づいて、実体物801の外側の近傍位置に「関連画像」が投影される「第2投影画像データ」を生成する「描画命令」を、投影画像コントローラ17に出力する。
【0032】
撮像コントローラ15は、A/Dコンバータ、DSP(Digital Signal Prosessor)を有している。A/Dコンバータは、後述する撮像手段30のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。
DSPは、A/Dコンバータが生成したが生成した「デジタル信号」から、2次元のピクセルデータである「撮像画像データ」を生成する。生成された「撮像画像データ」は、撮像画像データ記憶領域12dに記憶される。
【0033】
投影画像コントローラ17は、GPU(Graphics Processing Unit)等の画像処理回路を有している。投影画像コントローラ17は、投影画像データ生成手段13cから出力される「描画命令」に基づいて、関連画像記憶領域12aに記憶されている「関連画像データ」を画像処理して「投影画像データ」を生成し、VRAM18に記憶させる。投影画像コントローラ17は、外部出力インターフェースを有していて、VRAM18に記憶されている「投影画像データ」を「画像信号」として、投影手段20に出力する。
【0034】
入力部19は、「関連画像データ」を取得するものである。入力部19には、LAN(Local Area Networkの略)のインターフェースが含まれる。入力部19には、LAN、WAN(Wide Area Networkの略)又はインターネットを介して、データベースとして機能する記憶手段200が接続されている。記憶手段200には、ハードディスクやフラッシュメモリーが含まれる。記憶手段200には、情報テーブル記憶領域200a、関連画像データ記憶領域200bを有している。
情報テーブル記憶領域200aには、「情報テーブル」が記憶されている。
関連画像記憶領域200bには、「関連画像データ」が記憶されている。
【0035】
投影手段20は、ランプ駆動回路、ランプ、照明光学系、画像生成素子、結像光学系を有している。ランプ駆動回路は、ランプに電流を供給する回路である。ランプ駆動回路から電流が供給されたランプは拡散光を発光する。照明光学系は、ランプから発光された拡散光を集光し、均一な照明光にする。この照明光は画像生成素子に照射される。画像生成素子は、LCD(Liquid Clystal Display)やDMD(Digital Micromirror Device)であり、照射された照明光を各画素に階調表現して画像を生成する。結像光学系は多数のレンズから構成されていて、画像生成素子を透過した照明光を、被投影領域999に結像する。
【0036】
撮像手段30は、被投影領域999を撮像する装置である。撮像装置30は、イメージセンサー及び結像光学系を有している。イメージセンサーは、2次元配列されたフォトダイオードを有している。各フォトダイオードは、光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、CCD(Charge Coupled Device Image SenSor)やCMOS(Complementary Mwtal Oxide Semiconductor)が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。
【0037】
(第1の実施形態のメインフローの説明)
以下に、第1の実施形態のメイン処理のフローを説明する。画像表示装置100に電源が投入されると、S11「初期化」の処理に進む。
S11「初期化」の処理において、ROM13に記憶されている各種プログラムが起動する。S11の処理が終了すると、S12の処理に進む。
【0038】
S12「撮像開始」の処理において、撮像制御プログラム13aは、撮像コントローラ15に「撮像制御信号」を出力して、撮像手段30での被投影領域999の撮像を開始させる。撮像コントローラ15は、「撮像画像データ」を生成する。生成された「撮像画像データ」は、撮像画像データ記憶領域12aに記憶される。なお、撮像制御プログラム13aは、所定期間(例えば数100ミリ秒)毎に、撮像手段30で被投影領域999を撮像する「撮像制御信号」を撮像コントローラ15に出力する。S12の処理が終了すると、S13の判断処理に進む。
【0039】
S13「識別情報取得?」の判断処理において、識別情報取得プログラム13cは、撮像画像データ記憶領域12aに記憶された「撮像画像データ」を解析し、当該「撮像画像データ」に、実体物801の識別情報801bが有るか否かを判断する。識別情報取得プログラム13cが、「撮像画像データ」に識別情報801bが有ると判断した場合には(S13の判断処理がYES)、当該「識別情報」を識別情報記憶領域12cに記憶させて、S14の処理に進む。
【0040】
S14「情報テーブル検索」の処理において、情報テーブル検索プログラム13dは、記憶手段200の情報テーブル記憶領域200aに記憶されている「情報テーブル」を参照し、S13の処理で取得した「識別情報」を検索する。S14の処理が終了すると、S15の判断処理に進む。
【0041】
S15「情報テーブルに識別情報存在?」の判断処理において、情報テーブル検索プログラム13dが、S13の処理で取得した「識別情報」がS14の処理で検索した「情報テーブル」に存在すると判断した場合には(S15の判断処理がYES)、前記「識別情報」及び、これに対応する「関連画像」のファイル名を関連付けして、情報テーブル検索結果記憶領域12dに記憶し、S16の処理に進む。
一方で、情報テーブル検索プログラム13dが、S13の処理で取得した「識別情報」がS14の処理で検索した「情報テーブル」に存在しないと判断した場合には(S15の判断処理がNO)、S13の判断処理に戻る。
【0042】
S16「関連画像データ取得」の処理において、関連画像データ取得プログラム13eは、情報テーブル検索結果記憶領域12dに記憶されている「情報テーブル」を参照し、S13の処理で検出された「識別情報」に対応する「関連画像データ」を記憶手段200の関連画像データ記憶領域200bから取得し、関連画像データ記憶領域12eに記憶させる。なお、「識別情報」に対応する「関連画像データ」がURLである場合には、関連画像データ取得プログラム13eは、インターネットを介して、当該URLのWEBページを取得する。S16の処理が終了すると、S17の処理に進む。
【0043】
S17「実体物の位置を検出」の処理において、実体物位置認識プログラム13bは、撮像画像データ記憶領域12aに記憶されている「撮像画像データ」を解析することにより、被投影領域999上の実体物801の外縁位置を検出して、「実体物位置情報」を生成する。具体的には、前記「撮像画像データ」を閾値処理やエッジ処理を行うことにより、実体物801の外縁被投影領域999との境界(実体物801の輪郭)を検出し、前記境界の被投影領域999上の位置座標を算出する。
同様に、実体物位置認識プログラム13bは、撮像画像データ記憶領域12aに記憶されている「撮像画像データ」を解析することにより、被投影領域999上の実画像801aの外縁位置座標を検出して、「実画像位置情報」を生成する。生成された「実体物位置情報」及び「実画像位置情報」は、実体物位置情報記憶領域12bに記憶される。S17の処理が終了すると、S18の処理に進む。
【0044】
S18「第1投影画像データ生成」の処理において、投影画像データ生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「実画像位置情報」を参照することにより、実画像801aの被投影領域999上の位置を認識し、実画像801a上に重畳する位置である第1位置に関連画像801aを投影する「第1投影画像データ」を生成する「描画命令」を、投影画像コントローラ17に出力する。投影画像データ生成プログラム13fは、関連画像データ記憶領域12eに記憶されている「関連画像データ」をVRAM18に記憶させる。投影画像データ生成プログラム13fは、前記「描画命令」に基づいて、VRAM18に記憶された「関連画像データ」を画像処理して「第1投影画像データ」を生成し、VRAM18に記憶させる。前記画像処理には、第1位置に関連画像801aが投影されるように「関連画像データ」を配置する処理が含まれる。なお、投影手段20と被投影領域999との距離は一定であるので、投影画像データ生成プログラム13fは、被投影領域999の座標位置を認識することができる。S18の処理が終了すると、S19の処理に進む。
【0045】
S19「第1投影画像データ投影」の処理において、投影画像コントローラ17の外部出力インターフェースは、VRAM18に記憶されている「第1投影画像データ」を「画像信号」として、投影手段20に出力する。前記「画像信号」が入力された投影手段20は、実画像801a上(第1位置)に関連画像501aを投影する(図2の(B)の状態)。S19の処理が終了すると、S20の判断処理に進む。
なお、S18の処理において、実画像801aと関連画像501とが関連していることをユーザに視覚的に認識させるために、投影画像データ生成プログラム13fは、関連画像501が実画像801a上で点滅表示されて、あたかも関連画像501が実画像801aから浮き上がって生成されたような「第1投影画像データ」を生成する「描画命令」を、投影画像コントローラ17に出力することが好ましい。
【0046】
S20「識別情報が消滅?」の判断処理において、識別情報取得プログラム13cは801bが消滅したか否かを判断する。具体的には、識別情報取得プログラム13cは、撮像画像データ記憶領域12aに記憶された「撮像画像データ」を解析し、当該「撮像画像データ」に、実体物801の識別情報801bが有るか否かを判断する。
識別情報取得プログラム13cが、「撮像画像データ」に識別情報801bが無いと判断した場合には(S20の判断処理がYES)、S40の判断処理に進む。
一方で、識別情報取得プログラム13cが、「撮像画像データ」に識別情報801bがあると判断した場合には(S20の判断処理がNO)、S21の判断処理に進む。
なお、被投影領域999から実体物801が除去された場合には、識別情報801bが撮像されないので、「撮像画像データ」に識別情報801bが無いと判断されることとなる。
【0047】
S21「第1投影画像データ投影完了?」の判断処理において、投影画像生成プログラム13fは、「第1投影画像データ」の投影が完了したか否かを判断する。投影画像生成プログラム13fが、「第1投影画像データ」の投影が完了したと判断した場合には(S21の判断処理がYES)、S22の処理に進む。一方で、投影画像生成プログラム13fが、「第1投影画像データ」の投影が完了していないと判断した場合には(S21の判断処理がNO)、S17の処理に戻る。
【0048】
S22「第3投影画像データ投影完了?」の処理において、投影画像生成プログラム13fは、「第3投影画像データ」の投影が完了したか否かを判断する。投影画像生成プログラム13fが、「第3投影画像データ」の投影が完了したと判断した場合には(S22の判断処理がYES)、S37の処理に進む。一方で、投影画像生成プログラム13fが、「第3投影画像データ」の投影が完了していないと判断した場合には(S22の判断処理がNO)、S27の処理に進む。
【0049】
S27「実体物の位置を検出」の処理において、実体物位置認識プログラム13bは、撮像画像データ記憶領域12aに記憶されている「撮像画像データ」を解析することにより、被投影領域999上の実体物801及び実画像801aの外縁位置座標を検出して、「実体物位置情報」及び「実画像位置情報」を生成し、実体物位置情報記憶領域12bに記憶させる。S27の処理は、S17の処理と同様である。S27の処理が終了すると、S28の処理に進む。
【0050】
S28「第3投影画像データ生成」の処理において、投影画像データ生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「実画像位置情報」及び「実体物位置情報」を参照することにより、実画像801a及び実体物801の被投影領域999上の位置を認識し、実画像801a上(第1位置)から実画像801aの外側の(第2位置)に、関連画像501が徐々に移動する「第3投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。具体的には、投影画像データ生成プログラム13fは、前記第1位置と前記第2位置の間を複数に等分する位置(第3位置)を算出する。そして、S28の処理が実行される度に、投影画像データ生成プログラム13fは、順次より前記第2位置に近い第3位置を決定し、当該第3位置に関連画像501を投影される「第3の投影画像データ」を生成する。なお、S22の判断処理において、投影画像生成プログラム13fが、「第3投影画像データ」の投影が完了したと判断するまで、S27〜S29の処理が繰り返され、関連画像501が前記第1位置から前記第2位置まで徐々に移動するようになっている。
或いは、投影画像データ生成プログラム13fは、実画像801a上(第1位置)から実画像801aの外側の(第2位置)に、関連画像501が徐々に移動する「第3投影画像データ」として、動画データを生成しても差し支えない。
投影画像データ生成プログラム13fは、前記「描画命令」に基づいて、VRAM18に記憶された「関連画像データ」を画像処理して「第3投影画像データ」を生成し、VRAM18に記憶させる。S28の処理が終了すると、S29の処理に進む。
【0051】
S29「第3投影画像データ投影」の処理において、投影画像コントローラ17の外部出力インターフェースは、VRAM18に記憶されている「第3投影画像データ」を「画像信号」として、投影手段20に出力する。前記「画像信号」が入力された投影手段20は、関連画像501を、実画像801a上(第1位置)から実画像801aの外側の(第2位置)に、関連画像501が徐々に移動させて投影する(図2の(C)の状態)。
S29の処理が終了すると、S20の処理に進む。
【0052】
S37「実体物の位置を検出」の処理において、実体物位置認識プログラム13bは、撮像画像データ記憶領域12aに記憶されている「撮像画像データ」を解析することにより、被投影領域999上の実体物801及び実画像801aの外縁位置座標を検出して、「実体物位置情報」及び「実画像位置情報」を生成し、実体物位置情報記憶領域12bに記憶させる。S37の処理は、S17の処理と同様である。S37の処理が終了すると、S38の処理に進む。
【0053】
S38「第2投影画像データ生成」の処理において、投影画像データ生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「実画像位置情報」及び「実体物位置情報」を参照することにより、実画像801a及び実体物801の被投影領域999上の位置を認識し、実画像801aの外側の位置に(第2位置)に、関連画像501を静止投影する「第2投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。S38の処理が終了すると、S39の処理に進む。
【0054】
S39「第2投影画像データ投影」の処理において、投影画像コントローラ17の外部出力インターフェースは、VRAM18に記憶されている「第2投影画像データ」を「画像信号」として、投影手段20に出力する。前記「画像信号」が入力された投影手段20は、関連画像501を、実画像801aの外側の(第2位置)に関連画像501を投影する(図2の(D)の状態)。S39の処理が終了すると、S20の処理に進む。
なお、図2に示される実施形態では、前記第2位置は、実体物801の外側の露出した被投影面999上である。このように、関連画像501を実体物801と重ならない位置に投影することにより、関連画像501が鮮明に表示される。また、関連画像501が実画像801と関連がある画像であることをユーザに認識させるために、関連画像501はこれと対応する実体物801の近傍に投影されるようになっている。
【0055】
S40「終了?」の判断処理において、ユーザが図示しない操作部を操作することにより、画像表示装置100を終了させることを選択した場合には、図5に示されるメインフローが終了する。一方で、ユーザが画像表示装置100を終了させることを選択しない場合には、S13の判断処理に戻る。
【0056】
以上説明したように、本実施形態では、S27〜S29の処理に示されるように、実画像801a上に重畳する第1位置と実画像801aの外側の第2位置との間を連続的に補完する位置である第3位置に、関連画像501が投影されて、関連画像501が前記第1位置から第2位置に連続的に移動しながらアニメーション表示されるので、関連画像501が実画像801aと関連している印象をユーザに与える。
【0057】
なお、関連画像501が被投影領域999に投影されて所定時間が経過した場合に、投影画像501が前記第2位置から前記第1位置に徐々に移動しながら被投影領域999に投影されるようにしても差し支えない。これにより、あたかも関連画像501が実画像801aに収納されたかのような印象をユーザに与え、被投影領域999に投影されている関連画像501が実画像801aに関連があることを、ユーザに知覚させることが可能となる。
このような制御は、図5に示されるフロー図において、S37〜S39処理が実行され(第2画像投影)、所定時間が経過した場合に、S27〜S29の処理が実行され(第3画像投影)、次に、S17〜S19の処理が実行される(第1画像投影)ことにより実現される。
【0058】
(第2の実施形態)
第1の実施形態と異なる点について、第2の実施形態を説明する。第2の実施形態は実体物801上と、実体物801が載置されていない露出した被投影面999とで、投影される関連画像501の明度を異ならせる実施形態である。
図6に示される実施形態では、関連画像501が実画像801a上(第1位置)から実画像801aの外側方向へ所定距離移動すると、実体物801上に関連画像501が投影されないように、関連画像501の一部を切り欠いて、露出した被投影領域999上のみに投影させる(図6の(C)の状態)。或いは、関連画像501が第1位置から実画像801aの外側方向へ所定距離移動すると、実体物801上では関連画像501の明度を下げて、関連画像501を実体物801上及び被投影領域999上に投影する。
【0059】
第2の実施形態では、図5に示されるメインフローのS28の処理において、投影画像生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「実画像位置情報」及び「実体物位置情報」を参照することにより、実画像801a及び実体物801bの被投影領域999上の位置を認識し、関連画像501が実画像801a上(第1位置)から実画像801aの外側方向へ所定距離移動すると、実体物801上に関連画像501が投影されないように、関連画像501の一部を切り欠いて、露出した被投影領域999上のみに投影させる「第3投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。
或いは、影画像生成プログラム13fは、関連画像501が実画像801a上(第1位置)から実画像801aの外側方向へ所定距離移動すると、実体物801上では関連画像501の明度を下げて、関連画像501を実体物801上及び被投影領域999上に投影する「第3投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。
【0060】
このように、第1位置から実画像801aの外側方向へ所定距離までは、関連画像501がアニメーション表示されるので、ユーザに関連画像501が実画像801aと関連のある画像であると認識させることができる。一方で、関連画像501が第1位置から実画像801aの外側方向へ所定距離移動すると、実体物801上では、関連画像501が投影されず、若しくは、明度を下げて関連画像501が投影される。従って、ユーザが実体物801上に記載されている説明文801c等を視認することが容易となる。
或いは、実体物801上では、関連画像501の明度を上げて、関連画像501を投影してもよく、この場合には、実体物801上で関連画像501が強調されて表示されるので、関連画像501の方が視認し易くなる。
【0061】
(第3の実施形態)
第1の実施形態と異なる点について、第3の実施形態を説明する。第3の実施形態では、第2位置として、実体物801及び露出した被投影面999の少なくとも一方の面上であって、明度が一定以上で且つコントラストが一定以下の空白領域に、関連画像501を投影させる実施形態である。まず、被投影領域999に、既に、実体物801が載置され、これに関連する関連画像501が被投影領域999に投影されている。この状態において、更に、実体物802を被投影領域999に載置する(図7の(A)の状態)。実体物802が載置されると、実画像802a上(第1位置)に重畳して関連画像502が投影される(図7の(B)の状態)。この関連画像502が、移動しながら、明度が一定以上で且つコントラストが一定以下の空白領域(第2位置)に投影される(図7の(C)の状態)。図7の(C)に示されるように、空白領域は、前記条件を満たせば実体物と露出した被投影領域999に跨っていても差し支えない。
【0062】
第3の実施形態では、図5に示されるメインフローのS27、S37の処理において、実体物位置認識プログラム13bは、撮像画像データ記憶領域12aに記憶されている「撮像画像データ」を解析することにより、明度が一定以上で且つコントラストが一定以下の空白領域を検出する。そして、実体物位置認識プログラム13bは、前記空白領域の外縁の被投影面999上の位置座標を算出し、「空白領域位置情報」として、実体物位置情報記憶領域12bに記憶させる。
【0063】
S28の処理において、投影画像生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「実画像位置情報」及び「空白領域位置情報」を参照することにより、実画像802a及び空白領域の被投影領域999上の位置を認識し、実画像802a上(第1位置)から空白領域(第2位置)に、関連画像502が徐々に移動する「第3投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。
【0064】
S38の処理において、投影画像生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「空白領域位置情報」を参照することにより、空白領域の被投影領域999上の位置を認識し、前記空白領域(第2位置)に、関連画像502を静止投影する「第2投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。
【0065】
このように、第3の実施形態では、明度が一定以上で且つコントラストが一定以下の空白領域に、関連画像が投影される。従って、被投影領域999上に実体物等が多数載置されている場合であっても、前記実体物に対応する関連画像を投影することが可能となる。
【0066】
(第4の実施形態)
第3の実施形態と異なる点について、第4の実施形態を説明する。第4の実施形態では、図8に示され得るように、空白領域に関連画像を投影することができない場合には、関連画像502を縮小して前記領域に投影させる実施形態である。
【0067】
第4の実施形態では、図5に示されるメインフローのS28の処理において、投影画像生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「実画像位置情報」及び「空白領域位置情報」を参照することにより、実画像802a及び空白領域の被投影領域999上の位置を認識し、空白領域に関連画像502を投影することができないと判断した場合には、実画像801a上(第1位置)から空白領域(第2位置)に、関連画像502が徐々に縮小表示されながら移動する「第3投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。
【0068】
S38の処理において、投影画像生成プログラム13fは、実体物位置情報記憶領域12bに記憶されている「空白領域位置情報」を参照することにより、空白領域の被投影領域999上の位置を認識し、関連画像502を空白領域に投影できる大きさに縮小させて、空白領域(第2位置)に、縮小した関連画像501を静止投影する「第2投影画像データ」を生成する「描画命令」を投影画像コントローラ17に出力する。
【0069】
このように、第4の実施形態では、空白領域に関連画像502を投影することができない場合には、関連画像502を縮小して前記領域に投影させることにしたので、被投影領域999上に実体物等が多数載置され、空白領域が狭小であったとしても、前記実体物802aに対応する関連画像502を投影することが可能となる。
【0070】
関連画像が投影されるべき領域に関連画像を投影することができない場合には、関連画像を縮小して前記領域に投影させるという技術的思想は、第1の実施形態にも適用可能なことは言うまでもない。
【0071】
(総括)
【0072】
以上の説明では、識別情報及び実画像が印刷された実体物の例について本発明を説明したが、PDA(Personal Digital Assistant)等の画像表示装置を有する実体物の前記画像表示装置に、識別情報及び実画像を表示させ、前記識別情報に基づいて、前記実画像と関連する関連画像を記憶手段200の関連画像データ記憶領域200bから取得して、前記関連画像を被投影領域999に投影する実施形態にも本発明の技術的思想を適用することができることは言うまでもない。
【0073】
以上説明した実施形態では、記憶手段200は画像表示装置100の外部にあり、LAN、WAN又はインターネットを介して入力部19に接続しているが、記憶手段200を画像表示装置100に内蔵することとしても差し支えない。
【0074】
なお、撮像画像データ記憶領域12aに記憶されている「撮像画像データ」から実画像をキャプチャーし、このキャプチャーした実画像を関連画像として、投影することにしても差し支えない。
【0075】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【0076】
9 バス
10 制御部
11 CPU
12 RAM
12a 撮像画像データ記憶領域
12b 実体物位置情報記憶領域
12c 識別情報記憶領域
12d 情報テーブル検索結果記憶領域
12e 関連画像データ記憶領域
13 ROM
13a 撮像制御プログラム
13b 実体物位置認識プログラム
13c 識別情報取得プログラム
13d 情報テーブル検索プログラム
13e 関連画像データ取得プログラム
13f 投影画像データ生成プログラム
15 撮像コントローラ
17 投影画像コントローラ
18 VRAM
19 入力部
20 投影手段
30 撮像手段
100 画像表示装置
200 記憶手段
200a 情報テーブル記憶領域
200b 関連画像データ記憶領域
801 実体物
801a 実画像
801b 識別情報
801c 説明文
802 実体物
802a 実画像
802b 識別情報
501 関連画像
502 関連画像
999 被投影領域

【特許請求の範囲】
【請求項1】
表面に実画像が記載された実体物又は表面に実画像が表示される実体物が載置される被投影面と対向して配置され、前記被投影面に画像を投影する投影手段と、
被投影面を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像から、前記実画像の被投影面上の位置を認識し、実画像位置情報を生成する実体物位置認識手段と、
前記実体物の識別情報を取得する識別情報取得手段と、
前記識別情報取得手段が取得した前記実体物の識別情報に基づいて、前記実画像と関連する関連画像が記憶された記憶手段から、前記実体物と対応する前記関連画像を取得する関連画像取得手段と、
前記実画像位置情報に基づいて、実画像上に重畳する位置である第1位置に前記関連画像が投影される第1投影画像データと、実画像の外側であって且つ実体物及び被投影面上の少なくとも一方の位置である第2位置に前記関連画像が投影される第2投影画像データとを生成する投影画像データ生成手段と、
前記第1投影画像データ及び前記第2投影画像データの何れか一方を画像信号として前記投影手段に出力した後に、他方を画像信号として前記投影手段に出力する画像信号生成手段と、
を有することを特徴とする画像表示装置。
【請求項2】
投影画像データ生成手段は、第1投影画像データが投影される第1位置と第2投影画像データが投影される第2位置との間を連続的に補完する位置である第3位置に、関連画像が投影される第3投影画像データを生成し、
画像信号生成手段はさらに、前記第1投影画像データ及び前記第2投影画像データの何れか一方を画像信号として前記投影手段に出力した後であって、且つ他方を画像信号として前記投影手段に出力する前に、前記第3投影画像データを画像信号として前記投影手段に出力することを特徴とする請求項1に記載の画像表示装置。
【請求項3】
投影画像データ生成手段は、実体物上と露出した被投影面とで、投影される関連画像の明度を異ならせることを特徴とする請求項1又は請求項2に記載の画像表示装置。
【請求項4】
投影画像データ生成手段は、実体物及び露出した被投影面の少なくとも一方の面上であって、明度が一定以上で且つコントラストが一定以下の領域に関連画像を投影させることを特徴とする請求項1又は請求項2に記載の画像表示装置。
【請求項5】
投影画像データ生成手段は、露出した被投影面上に関連画像を投影させることを特徴とする請求項1又は請求項2に記載の画像表示装置。
【請求項6】
投影画像データ生成手段は、関連画像が投影されるべき領域に関連画像を投影することができない場合には、関連画像を縮小して前記領域に投影させることを特徴とする請求項4又は請求項5に記載の画像表示装置。
【請求項7】
識別情報取得手段が取得した実体物の識別情報に基づいて、前記実体物と対応する関連画像が記憶手段に存在するか否かを判断する存在判断手段をさらに備え、
関連画像取得手段は、前記存在判断手段が、前記関連画像が記憶手段に存在すると判断した場合に、前記関連画像を前記記憶手段から取得することを特徴とする請求項1〜請求項6のいずれかに記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2011−43545(P2011−43545A)
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願番号】特願2009−189853(P2009−189853)
【出願日】平成21年8月19日(2009.8.19)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】