合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム
【課題】付加価値性に優れた高精度な画像又はサービスを提供する。
【解決手段】撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得手段と、前記輝度情報取得手段により得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成手段とを有することにより上記課題を解決する。
【解決手段】撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得手段と、前記輝度情報取得手段により得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成手段とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに係り、特に付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに関する。
【背景技術】
【０００２】
従来、例えば、模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照。）。
【０００３】
また、撮影されるカードの情報だけでなくカード自体の速度情報を用いて映像を選択することで、カードの移動内容に対応する様々な映像を出力する技術が知られている（例えば、特許文献２参照。）。
【０００４】
また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させる表示させる従来のシステムツール等が存在する（例えば、非特許文献１参照。）。
【特許文献１】特開２００２−３２０７６号公報
【特許文献２】特開２００３−２７１９２８号公報
【非特許文献１】"ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／"、「ＡＲＴｏｏｌＫｉｔ」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
【０００６】
また、上述した非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。
【０００７】
本発明は、上述した課題に鑑みてなされたものであって、付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
請求項１に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得手段と、前記輝度情報取得手段により得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成手段とを有することを特徴とする。
【００１０】
請求項１記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００１１】
請求項２に記載された発明は、前記輝度情報取得手段は、前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする。
【００１２】
請求項２記載の発明によれば、誤差の少ない輝度情報を取得することができる。
【００１３】
請求項３に記載された発明は、前記輝度情報取得手段は、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００１４】
請求項３記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００１５】
請求項４に記載された発明は、前記輝度情報取得手段は、前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする。
【００１６】
請求項４記載の発明によれば、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００１７】
請求項５に記載された発明は、前記画像情報抽出手段は、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００１８】
請求項５記載の発明によれば、順次合成する画像を変化させることで、動画を提供することができる。
【００１９】
請求項６に記載された発明は、前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析手段を有し、前記画像情報抽出手段は、前記輝度情報取得手段により得られる輝度情報と、前記印字情報解析手段により得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００２０】
請求項６記載の発明によれば、より付加価値の高いサービスを提供することができる。
【００２１】
請求項７に記載された発明は、前記印字情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００２２】
請求項７記載の発明によれば、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００２３】
請求項８に記載された発明は、前記画像合成手段は、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００２４】
請求項８記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００２５】
請求項９に記載された発明は、前記変化物の熱情報を取得する熱情報取得手段を有し、前記画像情報抽出手段は、前記輝度情報取得手段により得られる輝度情報、前記印字情報解析手段により得られる印字情報、及び前記熱情報取得手段により得られる熱情報のうち、少なくとも１つの情報を用いて、合成する対象画像を抽出することを特徴とする。
【００２６】
請求項９記載の発明によれば、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、塗料が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【００２７】
請求項１０に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、前記撮像ステップにより撮影された撮影画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得ステップと、前記輝度情報取得ステップにより得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出ステップと、前記画像情報抽出ステップにより抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成ステップとを有することを特徴とする。
【００２８】
請求項１０記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００２９】
請求項１１に記載された発明は、前記輝度情報取得ステップは、前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする。
【００３０】
請求項１１記載の発明によれば、誤差の少ない輝度情報を取得することができる。
【００３１】
請求項１２に記載された発明は、前記輝度情報取得ステップは、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００３２】
請求項１２記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００３３】
請求項１３に記載された発明は、前記輝度情報取得ステップは、前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする。
【００３４】
請求項１３記載の発明によれば、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００３５】
請求項１４に記載された発明は、前記画像情報抽出ステップは、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００３６】
請求項１４記載の発明によれば、順次合成する画像を変化させることで、動画を提供することができる。
【００３７】
請求項１５に記載された発明は、前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析ステップを有し、前記画像情報抽出ステップは、前記輝度情報取得ステップにより得られる輝度情報と、前記印字情報解析ステップにより得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００３８】
請求項１５記載の発明によれば、より付加価値の高いサービスを提供することができる。
【００３９】
請求項１６に記載された発明は、前記印字情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００４０】
請求項１６記載の発明によれば、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００４１】
請求項１７に記載された発明は、前記画像合成ステップは、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００４２】
請求項１７記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００４３】
請求項１８に記載された発明は、前記変化物の熱情報を取得する熱情報取得ステップを有し、前記画像情報抽出ステップは、前記輝度情報取得ステップにより得られる輝度情報、前記熱情報取得ステップにより得られる熱情報、及び前記印字情報解析ステップにより得られる印字情報のうち複数の情報を用いて、合成する対象画像を抽出することを特徴とする。
【００４４】
請求項１８記載の発明によれば、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、塗料が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【００４５】
請求項１９に記載された発明は、コンピュータに、請求項１乃至９の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させる。
【００４６】
請求項１９記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【発明の効果】
【００４７】
本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【発明を実施するための最良の形態】
【００４８】
＜本発明の概要＞
本発明は、例えばカメラ等の撮像手段及びそのカメラと接続されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、カメラ付き携帯端末等を用いて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体（例えば、カード状の紙や樹脂シート等）を撮像し、撮影された画像に含まれる情報に対応する仮想図形等の画像（合成対象画像）を、撮影画像と合成してディスプレイ等の画面に表示する。
【００４９】
このとき、本発明では、情報提供媒体に情報を記すために用いられる変化物として、例えば外部刺激(紫外線光、赤外線光、可視光、熱)により発光、吸収する発光・吸収物質、或いは、環境により色変化を起す物質（再帰反射等）を用いることができ、撮影された画像から情報提供媒体上の変化物の輝度情報を取得し、取得した輝度情報に対応する画像（静止画、動画、文字情報等を含む）を予め蓄積された画像群から抽出し、抽出した画像と撮影画像とを合成して画面上に表示される。なお、本発明における輝度情報とは、発光（明るさ）だけを意味するものではなく、色相、明度、彩度等の色情報も含む。
【００５０】
具体的には説明すると本発明は、外部刺激として紫外線を用いる場合には、例えばＰＣ側に紫外線を含むライト（光源）を情報提供媒体に照射することにより、発光物質が発光して図形を変化させることができる。また、時間の経過により輝度情報が変わる場合には、その輝度に対応して画像や映像、文字情報等を変化させることができる。また、ＰＣ側に紫外線センサーを搭載することにより、センサーからの検出信号を用いて取得した検出結果から仮想図形を変化させることができる。更に、本発明では、外部刺激として体温等の熱を用いて、情報提供媒体の発光物質に指で触れることにより、発光物質が発光して図形を変化させることもできる。
【００５１】
以下に、本発明における合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、情報提供媒体として紙状のカードを用いて説明するが、本発明においてはこれに限定されるものではなく、例えば樹脂や金属等でもよく、形状もカードのように平面状だけでなく、例えば球や円筒のような湾曲形状又は凹凸形状を有していてもよい。
【００５２】
＜合成画像表示システム：機能構成例＞
ここで、本実施形態における合成画像表示システムの機構構成例について図を用いて説明する。
【００５３】
図１は、本実施形態における合成画像表示システムの機構構成の一例を示す図である。図１に示す合成画像表示システム１０は、撮像装置（撮像手段）１１と、合成画像表示装置１２と、携帯端末１３と、画像管理データベース１４と、合成画像表示装置１２或いは携帯端末１３、及び画像管理端末１４とをデータの送受信可能な状態で接続される有線又は無線からなる通信ネットワーク１５とを有するよう構成されている。なお、図１において、撮像装置１１は、合成画像表示装置１２内に一体となって形成されていてもよい。また、本実施形態における撮像装置１１及び合成画像表示装置１２の構成は、図１に示すように例えばカメラ機能付きの携帯端末１３で置き換えることでもできる。
【００５４】
デジタルカメラ等の撮像装置１１又は携帯端末１３におけるカメラ機能（撮像手段）は、カード（情報提供媒体）２０に印字された所定の枠２１内の文字情報２２を含む画像を撮影する。なお、本実施形態において、枠２１及び文字情報２２の一方又は両方は、本実施形態における変化物で印字されている。なお、文字情報２２は、「あ」等の文字に限定されず、模様はバーコード情報等であってもよい。また、枠２１や文字情報２２等の印字情報としては、例えば文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つを用いることができる。また、印字情報として枠２１を記しておくことで、輝度情報を取得する位置情報や、合成対象画像を撮影画像と合成する際、その合成位置や向き、大きさ等を調整することができる。
【００５５】
これにより、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。なお、本実施形態で適用される印字情報の詳細については、後述する。
【００５６】
合成画像表示装置１２は、撮像装置１１から撮影された画像を解析し、画像に含まれる枠２１や文字情報２２の内容等から輝度情報や、文字情報、熱情報等を取得する。また、合成画像表示装置１２は、取得した上述の各種情報に基づいて、合成対象画像を抽出し、抽出した画像を撮影画像に合成して、ディスプレイ等の画面上に表示する。
【００５７】
このとき、合成対象画像や、本実施形態により得られる合成画像表示処理を行うために必要なプログラム又は各種更新設定情報等は、合成画像表示装置１２に予め蓄積されている画像群やデータ情報等から取得してもよく、また通信ネットワーク１５を介して接続されるデータの送受信が可能な画像管理データベース１４等から取得してもよい。更に、合成画像表示装置１２から画像管理データベース１４に撮影画像を送信し、画像管理データベース側で、抽出された合成対象画像と、撮影画像とを合成し、合成した画像を合成画像表示装置１２や携帯端末１３に送信することできる。
【００５８】
また、携帯端末１３は、上述した撮像装置１１と、合成画像表示装置１２と同等の処理を行う。なお、携帯端末１３は、画像管理データベース１４と接続する場合には、予め設定さえる画像管理データベース１４のアドレス情報に基づいて無線等により接続し、上述した輝度情報や、文字情報、熱情報等に基づいて上述した合成対象画像や、撮影画像も画像管理データベース１４に送信してデータベース側で合成された合成画像を取得する。
【００５９】
画像管理データベース１４は、合成画像表示装置１２や携帯端末１３からの問い合わせ情報（輝度情報、文字情報、熱情報）等に対して対象となる合成対象画像やその他の設定情報等の各種情報を合成画像表示装置１２や携帯端末１３に提供する。
【００６０】
なお、図１に示すように、本実施形態では、カメラの撮影方向に対して得られるカード状のカード２０のｘ、ｙ、ｚ座標における位置（向き）情報を表すことができる。また、枠情報は、単なる太線のマーカーだけでなく、枠自体に文字や数字、図形、模様、顔の写真等も印字することができる。
【００６１】
つまり、図１に示すようにカード２０の位置情報は、ｘ座標がカメラに対して水平方向の位置を示し、ｙ座標がカメラに対して垂直方向の位置を示し、ｚ座標がカメラに対する距離を示している。また、姿勢情報は、上述のｘ軸、ｙ軸、ｚ軸の各軸に対する所定のカードの位置を基準とした回転の度合を示すものであり、カードそのものの姿勢を表すものである。これにより、ユーザがカードを動かした場合、カードを撮影したカメラからカード情報（カードの種類、３次元位置情報、姿勢情報）を取得する。
【００６２】
したがって、これらの情報を読み取って解析することで、合成対象画像を多種の条件に応じて多数選択させることができ、これにより、付加価値の高いサービスを提供することができる。なお、カード２０は、紙状に限定されず、樹脂性やアルミ等の金属性を有していてもよい。
【００６３】
更に、本実施形態では、カード２０に対して予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源２３から光を照射し、照射された後の変化物の輝度情報を取得することで、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００６４】
＜合成画像表示装置１２：機能構成例＞
次に、合成画像表示装置１２の機能構成例について図を用いて説明する。なお、合成画像表示装置１２の機能構成については、携帯端末１３にて置き換えることもでき、また画像管理データベース１４における各機能も具備することもできる。
【００６５】
図２は、合成画像表示装置の機能構成の一例を示す図である。図２に示す合成画像表示装置１２は、入力手段３１と、出力手段３２と、蓄積手段３３と、撮影画像取得手段３４と、輝度情報取得手段３５と、印字情報解析手段３６と、熱情報取得手段３７と、画像情報抽出手段３８と、画像合成手段３９と、送受信手段４０と、制御手段４１とを有するよう構成されている。
【００６６】
入力手段３１は、ユーザ等からの撮影画像取得指示や、輝度情報取得指示、印字情報解析指示、熱情報取得指示、画像情報抽出指示、画像合成指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばＰＣであればキーボードや、マウス等のポインティングデバイスからなり、携帯端末１３であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影されたカード２０（情報提供媒体）の撮像部分を含む画像を入力する機能も有する。
【００６７】
また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段３２は、ディスプレイやスピーカ等からなる。更に、出力手段３２としてプリンタ等の機能を有していてもよく、その場合には、合成画像の表示結果や撮影画像、輝度情報、合成対象画像情報、印字情報、熱情報、合成画像等を表示する。更に出力手段３２は、上述の各出力内容を紙等の印刷媒体に印刷して、ユーザ等に提供することもできる。
【００６８】
なお、入力手段３１と出力手段３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００６９】
また、蓄積手段３３は、撮影画像取得手段３４により得られる撮影画像、輝度情報取得手段３５により得られる輝度情報、印字情報解析手段３６により得られる印字情報、熱情報取得手段３７により得られる熱情報、画像情報抽出手段３８により得られる画像情報、画像合成手段３９により得られる合成画像等の各種データを蓄積する。
【００７０】
また、蓄積手段３３は、本実施形態において、撮影画像と合成を行う合成対象画像を、カード２０等を撮影した画像から得られる変化物の輝度情報や印字情報と対応付けて蓄積する。また、蓄積手段３３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００７１】
撮影画像取得手段３４は、カメラ等の撮像装置１１により撮影されたカード２０に含まれる画像を取得する。
【００７２】
輝度情報取得手段３５は、撮像手段としての撮像装置１１により撮影された撮影画像中に含まれる変化物の輝度情報を取得する。なお、輝度情報取得手段３５は、例えば画像に含まれる上述した枠の座標を取得し、取得した座標から枠内に記される変化物の領域の平均輝度値を輝度情報とする。これにより、誤差の少ない輝度情報を取得することができる。また、輝度情報取得手段３５は、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の変化物の輝度情報を取得する。これにより、予め設定される波長のライト（光源）の光を照射することにより、合成画像を変化させてユーザに提供することができる。
【００７３】
更に、輝度情報取得手段３５は、変化物に対する基本輝度値を予め設定し、撮影画像から得られる変化物の輝度情報と基本輝度値との差分（変化）値を輝度情報として取得する。なお、基本輝度値は、例えば上述した光源からの光が照射していない状態で撮影された画像から得られる変化物の輝度情報を用いることができる。これにより、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００７４】
印字情報解析手段３６は、変化物により印字された情報を解析する。具体的には、印字情報解析手段３６は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の文字読み取りツール等を用いて文字解析を行うことができる。なお、印字情報としては、枠２１内の文字情報２２であってもよく、また枠２１自体が直接、文字や図形、文字、バーコード情報等を用いていてもよい。なお、印字される各種情報の具体例については後述する。
【００７５】
熱情報取得手段３７は、変化物をユーザ等が直接指や掌等で触ったり、周囲の環境（温度等）等により変化した変化物の熱情報を取得する。なお、熱情報取得手段３７としては、例えばサーモセンサ等の一般的な熱検知センサを用いて熱情法を取得することができる。
【００７６】
画像情報抽出手段３８は、輝度情報取得手段３５により得られる輝度情報、印字情報解析手段３６により得られる印字情報、及び熱情報取得手段３７により得られる熱情報のうち１又は複数の情報を用いて、合成する対象画像又は映像、文字情報等のうち、少なくとも１つ抽出する。なお、画像情報抽出手段３８が抽出するものは、画像そのものに限定されず、文字や映像、模様、文字情報等でもよい。
【００７７】
画像合成手段３９は、画像情報抽出手段３８により合成対象画像（静止画、動画、文字情報等を含む）が抽出される毎に、撮影画像と合成対象画像との合成を行う。このとき、画像合成手段３９は、画像情報抽出手段３８により複数の画像が得られた場合には、得られた複数の合成対象画像を全て合成してもよく、また撮影画像に対して１つの合成対象画像を時間の経過と共に順次変化させたり繰り返して表示させてもよい。
【００７８】
また、上述した画像情報抽出手段３８は、例えば所定時間の経過毎に変化物の経時的な輝度情報を取得し、その輝度情報の変化に伴い、経時的な各輝度情報に対応する合成対象画像を順次抽出することで、画像合成手段３９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。これにより、情報提供媒体を移動させなくても画像を変化させることができ、動画等をユーザに提供することができる。
【００７９】
送受信手段４０は、上述した通信ネットワーク１５等を用いて接続可能な外部装置（例えば、画像管理データベース１４等）から所望する外部画像（撮影画像や合成対象画像等）や、本発明における合成画像表示処理を実現するための実行プログラム等を取得するためのインタフェースである。
【００８０】
制御手段４１は、合成画像表示装置１２の各構成部全体の制御を行う。具体的には、制御手段４１は、例えばユーザ等による入力手段３１からの指示等に基づいて、撮影画像の取得や輝度情報、印字情報、及び熱情報の取得、合成対象画像の抽出、画像合成等の各処理の各制御等を行う。
【００８１】
＜印字情報について＞
ここで、本実施形態におけるカード２０に記される枠２１及び文字情報２２等の印字情報の具体例について図を用いて説明する。
【００８２】
図３は、印字情報の具体例を示す図である。図３に示す印字情報は、図３（ａ）に示すように枠５１に１種類以上の模様（線も模様の１種に含まれる。）を付与することにより、その模様に対応した合成画像を抽出することができる。なお、枠５１の太さを変えることにより、その太さに対応した合成対象画像を抽出されることもできる。
【００８３】
また、図３（ｂ）に示すように、枠５２自体が文字情報や数字情報等を印字しておくことで、その文字情報等を読み取り、対応する合成対象画像を取得することができる。
【００８４】
更に、図３（ｃ）に示すように、枠５３の一部又は全部に１次元バーコード５４−１やＱＲコード等の二次元バーコード５４−２を付与することで、より多くの情報を取得することができ、対応する多種の合成対象画像を取得することができる。 したがって、上述したように、カード２０に対する光（紫外線光、赤外線光、可視光等）の照射の有無により得られる変化物の輝度情報の変化（差分）値により合成対象画像を変えて合成表示させるだけでなく、印字情報に基づいて更に多種の合成対象画像から対応する１又は複数の合成対象画像を抽出して撮影画像と合成して表示することで、より付加価値の高いサービスを提供することができる。
【００８５】
また、上述した印字情報は可視でも非可視でもよい。つまり、非可視にしておくことにより、認証等のセキュリティ情報として活用することができる。なお、本実施形態において、可視となる変化物としては、例えば日亜化学工業社の蛍光塗料として、ＣＲＴ用蛍光体（ＺｎＳ：Ａｇ，Ａｌ，ＺｎＳ：Ｃｕ，Ａｌ，Ｙ２Ｏ２Ｓ：Ｅｕ）、ランプ用蛍光体（（ＳｒＣａＢａＭｇ）５（ＰＯ４）３Ｃｌ：Ｅｕ，ＬａＰＯ４：Ｃｅ，Ｔｂ，Ｙ２Ｏ３：Ｅｕ，）、ＰＤＰ用蛍光体（ＢａＭｇＡｌ１０Ｏ１７：Ｅｕ，Ｚｎ２ＳｉＯ４：Ｍｎ，（Ｙ，Ｇｄ）ＢＯ３：Ｅｕ）、Ｘ線用蛍光体（ＣａＷＯ４，Ｇｄ２Ｏ２Ｓ：Ｔｂ）、蓄光蛍光体（Ｓｒ４Ａｌ１４Ｏ２５：Ｅｕ，Ｄｙ）、丸岡教育用品の蛍光・夜光・ＵＶ絵の具をそのまま使う。
【００８６】
また、ブラックライトカラー、アクアグロー、蛍光塗料スプレー、マジックルミノペイント、紫外線反射絵の具、サンライトマーカー等を用いることができる。
【００８７】
更に、Ｈｏｎｅｙｗｅｌｌ社の蛍光顔料として、ＬＵＭＩＬＵＸ Ｌｏｎｇ Ａｆｔｅｒｇｌｏｗ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｅｆｆｅｃｔ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｃ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｚ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｒ Ｐｉｇｍｅｎｔｓ，等を用いることもできる。
【００８８】
また、根本特殊化学株式会社の夜光顔料として、Ｎ夜光（ルミノーバ）Ｇ−３００，ＧＬＬ−３００，ＧＳＳ，ＢＧ−３００，ＢＧＬ−３００，Ｖ−３００，Ｂ−３００を用いることができ、また、化成オプトニクスのＴｒｕｅ−Ｂｌｕｅシリーズの蛍光顔料、ＴＡＳＣＯ ＣＯ．，ＬＴＤのサーモクロミック顔料、東京リキッドカラー、朝日物産の示温ペイントサーマックスクリアライン等を用いることができる。更に、フルオレセイン、エオシン、ローダミンＢ、チオフラビン等の蛍光染料、紫外光で無色から橙に変化するアゾベンゼン、紫外光で無色から赤色になるジアリルエテンを用いることができる。更に、熱により色変化するＮ，Ｎ−ジエチルエチレンジアミン銅錯体（４３℃以下赤紫、４３℃以上濃紫）、溶媒によって色の変化するピリジニウムＮ−フェノキシドベタイン（メタノール：赤、エタノール：紫、イソブチルアルコール：青）、無色から塩基性で赤に変化するフェノールフタレイン。黄色から酸によって赤色に変わるキノンジイミン、更に、酸を添加すると青色に変化する材料を用いることができる。
【００８９】
また、非可視の変化物としては、例えば角度によって色が変化する雲母チタン、ポリマー多層膜、再帰反射素材を用いることができる。また、見た目は分からないが、角度によって色が見えてもよく、これらの素材はカード２０に用いることもできる。時間の経過と共に輝度情報が変化しにくい塗料を用いることができる。
【００９０】
＜再帰反射について＞
なお、本発明においては、情報提供媒体として再帰反射シートを用いることにより、更に高精度な情報を読み取ることができる。以下にその内容について説明する。なお、実施例として、再帰反射シートである積層材料からの情報読み取り方法について説明する。
【００９１】
本発明にかかる情報読み取り方法は、情報提供媒体である積層材料に光を照射し、積層材料からの再帰反射光を観察することで、積層材料に記録された情報を読み取ることを特徴とする。この情報読み取り方法は、図１に説明する装置によって実施することができる。図１に示す合成画像表示システム１０において、読み取り手段は、光源２３（白色光源）と、撮像装置１１である光検出手段（ＣＣＤカメラ）と、合成画像表示装置１２等で構成される。
【００９２】
白色の光源２３から出射した光は、再帰反射シートからなるカード２０へ向かう。カード２０へ向かった光は、カード２０に入射する。カード２０からの再帰反射光は、ＣＣＤカメラへと向かい、そこで検出される。ＣＣＤカメラによって検出された検出信号は、図１に示すように合成画像表示装置１２へ送られる。合成画像表示装置１２では、この検出信号に基づいてカード２０に記録した情報の解析を行う。
【００９３】
なお、上述した本実施形態に係るカード２０から情報を読み取るためには、光の照射方向と略同一方向から観察する必要がある。そのため、例えば、光源２３とカード２０との間にハーフミラーを設けてもよい。これにより、ＣＣＤカメラは、ハーフミラーの面に対し、光源が配置された位置と反対側に設置することができ、ハーフミラーを用いることで光源２３とＣＣＤカメラとが位置的に干渉し合うことなく配置することができ、好適に再帰反射光を観測することができる。なお、本実施形態では、例えば光源２３の位置とＣＣＤカメラの位置とを取り替えた構成としてもよい。
【００９４】
以下に、本発明の具体的な実施例を説明するが、本発明は以下の構成に限定されるものではない。
【００９５】
＜実施例１＞
・透明樹脂
（株）セイコーアドバンス社製スクリーン印刷用インキＳＧ−４１０（９０部）、トルエン（１０部）を混合し透明塗料を調製した。
・スクリーン印刷用版の作成
ナイロン製１５０メッシュスクリーンを用いて、１０ｍｍ角のＱＲ型２次元コード（１４×１４セル、コード情報：ＳＨＩＳＥＩＤＯ）の版を作成した。
・再帰反射材
再帰反射材（微小球固定層＋反射層）として、株式会社丸仁製オープン型再帰反射フィルム（ＬＩＧＨＴ ＦＯＲＣＥＴＭ ＬＦＵ−１２００、反射層：アルミニウム蒸着、ガラスビーズの直径：約４０〜５０μｍ、ビーズの埋没率：約５０％）を用いた。
・情報コードの印刷方法
上記の再帰反射材の表面（透明微小球が露出した面）に、上記のスクリーン印刷用板を使用して、スクリーン印刷機で２次元コード（透明樹脂層）の厚さが約１０μｍになるように印刷した。印刷した２次元コードは外観上目視でほとんど認識できず、再帰反射材の意匠性を損なうことはなかった。
・コード情報の読み取り解析
図１に示した装置を用いて、上で作成した積層材料に対し、コード情報の読み取りを行った。ここで、光検出手段および情報コード解析手段として、ＣＣＤカメラ付コードリーダＴＨＩＲ−３０００ＬＰ（（株）東研製））を用いた。コード情報の読み取り、解析を行った結果、実際にコード情報として記録されている「ＳＨＩＳＥＩＤＯ」と読み取ることができた。
【００９６】
＜合成画像表示システム１０：ハードウェア構成＞
ここで、上述した合成画像表示システム１０においては、各機能をコンピュータに実行させることができる実行プログラム（合成画像表示プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における合成画像表示処理等を実現することができる。
【００９７】
ここで、本実施形態における合成画像表示処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図４は、本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【００９８】
図４におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００９９】
入力装置６１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置６１は、カメラ等の撮像手段から撮影された情報提供媒体を含む画像を入力する入力ユニットを有している。
【０１００】
出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【０１０１】
なお、入力装置６１と出力装置６２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【０１０２】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
【０１０３】
補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１０４】
メモリ装置６５は、ＣＰＵ６６により補助記憶装置６４から読み出された実行プログラム等を格納する。なお、メモリ装置６５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１０５】
ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置６４から取得することができ、また実行結果等を格納することもできる。
【０１０６】
ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１０７】
上述したようなハードウェア構成により、本発明における合成画像表示処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【０１０８】
＜合成画像表示処理手順＞
次に、本実施形態における合成画像表示処理手順について説明する。図５は、本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【０１０９】
図５に示す合成画像表示処理は、まずカメラ等の撮像手段により撮影された情報提供媒体を含む画像を取得し（Ｓ０１）、情報提供媒体の枠の座標を取得し（Ｓ０２）、現時点での輝度情報（基本輝度値）を取得する（Ｓ０３）。なお、Ｓ０３の処理では、例えば、枠内の所定色（例えば、緑色等）の平均輝度を取得し、その内容を保存しておく。なお、上述のＳ０１からＳ０３の処理は、予め平均輝度を設定しておいてもよい。
【０１１０】
次に、本発明の内容を説明する便宜上、例えばブラックライト等の光源を情報提供媒体に照射し、その後のカメラの画像を取得するとする。つまり、予め設定された波長の光が光源から照射された情報提供媒体をカメラで撮影し、カメラからの画像を取得する（Ｓ０４）。
【０１１１】
また、画像に含まれる枠の座標を取得し（Ｓ０５）、取得した枠及び枠内に印字された印字情報に光源からの光が照射された後の輝度情報を取得する（Ｓ０６）。なお、Ｓ０６における輝度情報は、上述したように光源からの光が照射された後の塗布領域の輝度情報でもよく、その輝度情報と上述のＳ０３にて取得した基本輝度値との差分値であってもよい。差分値を取得することで、情報提供媒体の撮影環境に依存せずに目的の画像を取得することができる。
【０１１２】
また、必要に応じて、ＯＣＲ等により印字情報を解析し（Ｓ０７）、サーモグラフィー等により熱情報を取得する（Ｓ０８）。
【０１１３】
ここで、予め設定された輝度情報や、印字情報、熱情報のうち、１又は複数の情報を用いて画像を合成するか否かを判断する（Ｓ０９）。画像を合成しない場合（Ｓ０９において、ＮＯ）、Ｓ０４に戻り処理を継続する。また、画像を合成する場合（Ｓ０９において、ＹＥＳ）、輝度差、印字情報、熱情報のうち、少なくとも１つを用いて合成対象画像を抽出する（Ｓ１０）。更に、抽出した合成対象画像を撮影画像と合成し（Ｓ１１）、合成画像を取得した枠の座標情報に対応して表示する（Ｓ１２）。
【０１１４】
更に、処理を終了するか否かを判断し（Ｓ１３）、処理を終了する場合（Ｓ１３において、ＮＯ）、Ｓ０４に戻り処理を継続する。また、処理を終了する場合（Ｓ１３において、ＹＥＳ）、合成画像表示処理全体を終了する。
【０１１５】
上述した処理により、付加価値性に優れた高精度な画像を提供することができる。なお、上述の処理において、入力される画像又は各処理により得られた画像は、蓄積手段３３に入力することができる。また、各処理において、入力される画像や各処理の実行経過や実行結果、ユーザに入力手段３１により指示を行われる場合等の処理を出力手段３２等により取得するようにしてもよい。
【０１１６】
＜実施例２＞
次に、実施例２として、本実施形態において表示される画像例について図を用いて説明する。図６は、本発明において表示される合成画像の一例を示す図である。
【０１１７】
まず、図６（ａ）に示す例では、カード（情報提供媒体）７０に枠７１が印字されていた。このとき、最初に撮影される画像から得られる印字情報（枠、文字情報等）の輝度情報等を用いてデータベース等から取得した合成画像７２−１，７２−２が、枠７１の座標情報に対応して画面に表示された。なお、図６（ａ）では、一例として植木鉢（合成画像）７２−１と、その植木鉢（合成画像）７２−１に植えられている苗（合成画像）７２−２が表示された。
【０１１８】
次に、図６（ｂ）に示す部分に、夜光塗料（根本特殊化学（株）ルミノーバＧ−３００）を印字しておいた。ここに、ブラックライト等の光源を照射することで、印字情報を印字した塗料の輝度情報が変化するため、図６（ａ）に示す苗（合成画像）７２−２に変わって花（合成画像）７２−３を表示させることができた。
【０１１９】
このように、本実施例では、輝度情報に対応して合成対象画像の種類を変えて合成表示させることで、多種の画像を表示させることができる。また、時間に応じて輝度が変化する塗料等を使い分けることにより、例えば、苗が成長して花が咲き、その後枯れていくような、動画等を提供することができる。また、本実施例では、画像や表示されている各画像の向きを枠の角の位置等により変えたりを、拡大、縮小表示等の表示方法を変更したり、対応する音声を表示させたりすることもできる。
【０１２０】
＜その他の実施形態＞
ここで、上述の実施形態においては、カード等の情報提供媒体に印字された印字情報等の変化物（二次元バーコード等）を撮影し、撮影した画像から印字情報を解析することで、対応する合成画像を所定の位置に表示しているが、本発明においてはこの限りではなく、例えば情報提供媒体をディスプレイ等の表示装置とし、ディスプレイに表示されている上述した変化物を撮影した画像を取得し、取得した画像に含まれる変化物を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。なお、この実施形態では、例えば映像表示やスライド表示等により画面に表示された変化物を時間の経過と共に容易に切り換えることができ、撮影側は画面に表示される変化物を含む画像を上述したように撮影することで、その変化物に対応する立体画像を合成して動画のように表示させることができる。
【０１２１】
更に、本実施形態では、上述したように情報提供媒体に印字や表示された情報を用いるだけでなく、例えば照明を照射して地面や壁等に投影された影を変化物とし、その影を二次元コード等の付加情報を持たせて投影し、その影を撮影して得られる画像から影を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。また、影の濃さ等により抽出する画像を変化させてもよい。
【０１２２】
上述したように、本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【０１２３】
また、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。また、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。また、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。更に、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、塗料が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【０１２４】
なお、上述の装置は、携帯端末等にも適用することができる。したがって、本発明を適用することで、例えば、ギフトカード等と組み合わせることにより、太陽にカードに当てると花が咲くようなカードサービスや、インターネット認証分野、食料品の鮮度解析等の食品検査分野、尿検査等色判断が必要な健康診断検査分野等にも適用することができる。
【０１２５】
つまり、本発明では、例えば情報提供媒体に紫外線や光源力（光の強さ）に反応する塗料材料等を塗布しておき、情報提供媒体を日光等の外光のあたる部分にセットし、これを撮影装置にて撮影し画像データを経時的に取得して、本システムに入力する。また、ＰＣや携帯端末内の画像は、時間や天候によりリアルに変化する。これにより、外光が届かない地下や建物内部の部屋や、実際に離れている場所でも、その季節・気候等に適した画像を得ることができる。
【０１２６】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１２７】
【図１】本実施形態における合成画像表示システムの機構構成の一例を示す図である。
【図２】合成画像表示装置の機能構成の一例を示す図である。
【図３】印字情報の具体例を示す図である。
【図４】本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【図５】本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【図６】本発明において表示される合成画像の一例を示す図である。
【符号の説明】
【０１２８】
１０ 合成画像表示システム
１１ 撮像装置
１２ 合成画像表示装置
１３ 携帯端末
１４ 画像管理データベース
１５ 通信ネットワーク
２０，７０ カード（情報提供媒体）
２１，５１，５２，５３，７１ 枠
２２ 文字情報
２３ 光源
３１ 入力手段
３２ 出力手段
３３ 蓄積手段
３４ 撮影画像取得手段
３５ 輝度情報取得手段
３６ 印字情報解析手段
３７ 熱情報取得手段
３８ 画像情報抽出手段
３９ 画像合成手段
４０ 送受信手段
４１ 制御手段
５４ バーコード情報
６１ 入力装置
６２ 出力装置
６３ ドライブ装置
６４ 補助記憶装置
６５ メモリ装置
６６ ＣＰＵ
６７ ネットワーク接続装置
７２ 合成画像
【技術分野】
【０００１】
本発明は、合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに係り、特に付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに関する。
【背景技術】
【０００２】
従来、例えば、模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照。）。
【０００３】
また、撮影されるカードの情報だけでなくカード自体の速度情報を用いて映像を選択することで、カードの移動内容に対応する様々な映像を出力する技術が知られている（例えば、特許文献２参照。）。
【０００４】
また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させる表示させる従来のシステムツール等が存在する（例えば、非特許文献１参照。）。
【特許文献１】特開２００２−３２０７６号公報
【特許文献２】特開２００３−２７１９２８号公報
【非特許文献１】"ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／"、「ＡＲＴｏｏｌＫｉｔ」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
【０００６】
また、上述した非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。
【０００７】
本発明は、上述した課題に鑑みてなされたものであって、付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
請求項１に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得手段と、前記輝度情報取得手段により得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成手段とを有することを特徴とする。
【００１０】
請求項１記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００１１】
請求項２に記載された発明は、前記輝度情報取得手段は、前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする。
【００１２】
請求項２記載の発明によれば、誤差の少ない輝度情報を取得することができる。
【００１３】
請求項３に記載された発明は、前記輝度情報取得手段は、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００１４】
請求項３記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００１５】
請求項４に記載された発明は、前記輝度情報取得手段は、前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする。
【００１６】
請求項４記載の発明によれば、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００１７】
請求項５に記載された発明は、前記画像情報抽出手段は、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００１８】
請求項５記載の発明によれば、順次合成する画像を変化させることで、動画を提供することができる。
【００１９】
請求項６に記載された発明は、前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析手段を有し、前記画像情報抽出手段は、前記輝度情報取得手段により得られる輝度情報と、前記印字情報解析手段により得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００２０】
請求項６記載の発明によれば、より付加価値の高いサービスを提供することができる。
【００２１】
請求項７に記載された発明は、前記印字情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００２２】
請求項７記載の発明によれば、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００２３】
請求項８に記載された発明は、前記画像合成手段は、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００２４】
請求項８記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００２５】
請求項９に記載された発明は、前記変化物の熱情報を取得する熱情報取得手段を有し、前記画像情報抽出手段は、前記輝度情報取得手段により得られる輝度情報、前記印字情報解析手段により得られる印字情報、及び前記熱情報取得手段により得られる熱情報のうち、少なくとも１つの情報を用いて、合成する対象画像を抽出することを特徴とする。
【００２６】
請求項９記載の発明によれば、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、塗料が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【００２７】
請求項１０に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、前記撮像ステップにより撮影された撮影画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得ステップと、前記輝度情報取得ステップにより得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出ステップと、前記画像情報抽出ステップにより抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成ステップとを有することを特徴とする。
【００２８】
請求項１０記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００２９】
請求項１１に記載された発明は、前記輝度情報取得ステップは、前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする。
【００３０】
請求項１１記載の発明によれば、誤差の少ない輝度情報を取得することができる。
【００３１】
請求項１２に記載された発明は、前記輝度情報取得ステップは、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００３２】
請求項１２記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００３３】
請求項１３に記載された発明は、前記輝度情報取得ステップは、前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする。
【００３４】
請求項１３記載の発明によれば、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００３５】
請求項１４に記載された発明は、前記画像情報抽出ステップは、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００３６】
請求項１４記載の発明によれば、順次合成する画像を変化させることで、動画を提供することができる。
【００３７】
請求項１５に記載された発明は、前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析ステップを有し、前記画像情報抽出ステップは、前記輝度情報取得ステップにより得られる輝度情報と、前記印字情報解析ステップにより得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００３８】
請求項１５記載の発明によれば、より付加価値の高いサービスを提供することができる。
【００３９】
請求項１６に記載された発明は、前記印字情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００４０】
請求項１６記載の発明によれば、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００４１】
請求項１７に記載された発明は、前記画像合成ステップは、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００４２】
請求項１７記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００４３】
請求項１８に記載された発明は、前記変化物の熱情報を取得する熱情報取得ステップを有し、前記画像情報抽出ステップは、前記輝度情報取得ステップにより得られる輝度情報、前記熱情報取得ステップにより得られる熱情報、及び前記印字情報解析ステップにより得られる印字情報のうち複数の情報を用いて、合成する対象画像を抽出することを特徴とする。
【００４４】
請求項１８記載の発明によれば、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、塗料が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【００４５】
請求項１９に記載された発明は、コンピュータに、請求項１乃至９の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させる。
【００４６】
請求項１９記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【発明の効果】
【００４７】
本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【発明を実施するための最良の形態】
【００４８】
＜本発明の概要＞
本発明は、例えばカメラ等の撮像手段及びそのカメラと接続されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、カメラ付き携帯端末等を用いて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体（例えば、カード状の紙や樹脂シート等）を撮像し、撮影された画像に含まれる情報に対応する仮想図形等の画像（合成対象画像）を、撮影画像と合成してディスプレイ等の画面に表示する。
【００４９】
このとき、本発明では、情報提供媒体に情報を記すために用いられる変化物として、例えば外部刺激(紫外線光、赤外線光、可視光、熱)により発光、吸収する発光・吸収物質、或いは、環境により色変化を起す物質（再帰反射等）を用いることができ、撮影された画像から情報提供媒体上の変化物の輝度情報を取得し、取得した輝度情報に対応する画像（静止画、動画、文字情報等を含む）を予め蓄積された画像群から抽出し、抽出した画像と撮影画像とを合成して画面上に表示される。なお、本発明における輝度情報とは、発光（明るさ）だけを意味するものではなく、色相、明度、彩度等の色情報も含む。
【００５０】
具体的には説明すると本発明は、外部刺激として紫外線を用いる場合には、例えばＰＣ側に紫外線を含むライト（光源）を情報提供媒体に照射することにより、発光物質が発光して図形を変化させることができる。また、時間の経過により輝度情報が変わる場合には、その輝度に対応して画像や映像、文字情報等を変化させることができる。また、ＰＣ側に紫外線センサーを搭載することにより、センサーからの検出信号を用いて取得した検出結果から仮想図形を変化させることができる。更に、本発明では、外部刺激として体温等の熱を用いて、情報提供媒体の発光物質に指で触れることにより、発光物質が発光して図形を変化させることもできる。
【００５１】
以下に、本発明における合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、情報提供媒体として紙状のカードを用いて説明するが、本発明においてはこれに限定されるものではなく、例えば樹脂や金属等でもよく、形状もカードのように平面状だけでなく、例えば球や円筒のような湾曲形状又は凹凸形状を有していてもよい。
【００５２】
＜合成画像表示システム：機能構成例＞
ここで、本実施形態における合成画像表示システムの機構構成例について図を用いて説明する。
【００５３】
図１は、本実施形態における合成画像表示システムの機構構成の一例を示す図である。図１に示す合成画像表示システム１０は、撮像装置（撮像手段）１１と、合成画像表示装置１２と、携帯端末１３と、画像管理データベース１４と、合成画像表示装置１２或いは携帯端末１３、及び画像管理端末１４とをデータの送受信可能な状態で接続される有線又は無線からなる通信ネットワーク１５とを有するよう構成されている。なお、図１において、撮像装置１１は、合成画像表示装置１２内に一体となって形成されていてもよい。また、本実施形態における撮像装置１１及び合成画像表示装置１２の構成は、図１に示すように例えばカメラ機能付きの携帯端末１３で置き換えることでもできる。
【００５４】
デジタルカメラ等の撮像装置１１又は携帯端末１３におけるカメラ機能（撮像手段）は、カード（情報提供媒体）２０に印字された所定の枠２１内の文字情報２２を含む画像を撮影する。なお、本実施形態において、枠２１及び文字情報２２の一方又は両方は、本実施形態における変化物で印字されている。なお、文字情報２２は、「あ」等の文字に限定されず、模様はバーコード情報等であってもよい。また、枠２１や文字情報２２等の印字情報としては、例えば文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つを用いることができる。また、印字情報として枠２１を記しておくことで、輝度情報を取得する位置情報や、合成対象画像を撮影画像と合成する際、その合成位置や向き、大きさ等を調整することができる。
【００５５】
これにより、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。なお、本実施形態で適用される印字情報の詳細については、後述する。
【００５６】
合成画像表示装置１２は、撮像装置１１から撮影された画像を解析し、画像に含まれる枠２１や文字情報２２の内容等から輝度情報や、文字情報、熱情報等を取得する。また、合成画像表示装置１２は、取得した上述の各種情報に基づいて、合成対象画像を抽出し、抽出した画像を撮影画像に合成して、ディスプレイ等の画面上に表示する。
【００５７】
このとき、合成対象画像や、本実施形態により得られる合成画像表示処理を行うために必要なプログラム又は各種更新設定情報等は、合成画像表示装置１２に予め蓄積されている画像群やデータ情報等から取得してもよく、また通信ネットワーク１５を介して接続されるデータの送受信が可能な画像管理データベース１４等から取得してもよい。更に、合成画像表示装置１２から画像管理データベース１４に撮影画像を送信し、画像管理データベース側で、抽出された合成対象画像と、撮影画像とを合成し、合成した画像を合成画像表示装置１２や携帯端末１３に送信することできる。
【００５８】
また、携帯端末１３は、上述した撮像装置１１と、合成画像表示装置１２と同等の処理を行う。なお、携帯端末１３は、画像管理データベース１４と接続する場合には、予め設定さえる画像管理データベース１４のアドレス情報に基づいて無線等により接続し、上述した輝度情報や、文字情報、熱情報等に基づいて上述した合成対象画像や、撮影画像も画像管理データベース１４に送信してデータベース側で合成された合成画像を取得する。
【００５９】
画像管理データベース１４は、合成画像表示装置１２や携帯端末１３からの問い合わせ情報（輝度情報、文字情報、熱情報）等に対して対象となる合成対象画像やその他の設定情報等の各種情報を合成画像表示装置１２や携帯端末１３に提供する。
【００６０】
なお、図１に示すように、本実施形態では、カメラの撮影方向に対して得られるカード状のカード２０のｘ、ｙ、ｚ座標における位置（向き）情報を表すことができる。また、枠情報は、単なる太線のマーカーだけでなく、枠自体に文字や数字、図形、模様、顔の写真等も印字することができる。
【００６１】
つまり、図１に示すようにカード２０の位置情報は、ｘ座標がカメラに対して水平方向の位置を示し、ｙ座標がカメラに対して垂直方向の位置を示し、ｚ座標がカメラに対する距離を示している。また、姿勢情報は、上述のｘ軸、ｙ軸、ｚ軸の各軸に対する所定のカードの位置を基準とした回転の度合を示すものであり、カードそのものの姿勢を表すものである。これにより、ユーザがカードを動かした場合、カードを撮影したカメラからカード情報（カードの種類、３次元位置情報、姿勢情報）を取得する。
【００６２】
したがって、これらの情報を読み取って解析することで、合成対象画像を多種の条件に応じて多数選択させることができ、これにより、付加価値の高いサービスを提供することができる。なお、カード２０は、紙状に限定されず、樹脂性やアルミ等の金属性を有していてもよい。
【００６３】
更に、本実施形態では、カード２０に対して予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源２３から光を照射し、照射された後の変化物の輝度情報を取得することで、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００６４】
＜合成画像表示装置１２：機能構成例＞
次に、合成画像表示装置１２の機能構成例について図を用いて説明する。なお、合成画像表示装置１２の機能構成については、携帯端末１３にて置き換えることもでき、また画像管理データベース１４における各機能も具備することもできる。
【００６５】
図２は、合成画像表示装置の機能構成の一例を示す図である。図２に示す合成画像表示装置１２は、入力手段３１と、出力手段３２と、蓄積手段３３と、撮影画像取得手段３４と、輝度情報取得手段３５と、印字情報解析手段３６と、熱情報取得手段３７と、画像情報抽出手段３８と、画像合成手段３９と、送受信手段４０と、制御手段４１とを有するよう構成されている。
【００６６】
入力手段３１は、ユーザ等からの撮影画像取得指示や、輝度情報取得指示、印字情報解析指示、熱情報取得指示、画像情報抽出指示、画像合成指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばＰＣであればキーボードや、マウス等のポインティングデバイスからなり、携帯端末１３であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影されたカード２０（情報提供媒体）の撮像部分を含む画像を入力する機能も有する。
【００６７】
また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段３２は、ディスプレイやスピーカ等からなる。更に、出力手段３２としてプリンタ等の機能を有していてもよく、その場合には、合成画像の表示結果や撮影画像、輝度情報、合成対象画像情報、印字情報、熱情報、合成画像等を表示する。更に出力手段３２は、上述の各出力内容を紙等の印刷媒体に印刷して、ユーザ等に提供することもできる。
【００６８】
なお、入力手段３１と出力手段３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００６９】
また、蓄積手段３３は、撮影画像取得手段３４により得られる撮影画像、輝度情報取得手段３５により得られる輝度情報、印字情報解析手段３６により得られる印字情報、熱情報取得手段３７により得られる熱情報、画像情報抽出手段３８により得られる画像情報、画像合成手段３９により得られる合成画像等の各種データを蓄積する。
【００７０】
また、蓄積手段３３は、本実施形態において、撮影画像と合成を行う合成対象画像を、カード２０等を撮影した画像から得られる変化物の輝度情報や印字情報と対応付けて蓄積する。また、蓄積手段３３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００７１】
撮影画像取得手段３４は、カメラ等の撮像装置１１により撮影されたカード２０に含まれる画像を取得する。
【００７２】
輝度情報取得手段３５は、撮像手段としての撮像装置１１により撮影された撮影画像中に含まれる変化物の輝度情報を取得する。なお、輝度情報取得手段３５は、例えば画像に含まれる上述した枠の座標を取得し、取得した座標から枠内に記される変化物の領域の平均輝度値を輝度情報とする。これにより、誤差の少ない輝度情報を取得することができる。また、輝度情報取得手段３５は、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の変化物の輝度情報を取得する。これにより、予め設定される波長のライト（光源）の光を照射することにより、合成画像を変化させてユーザに提供することができる。
【００７３】
更に、輝度情報取得手段３５は、変化物に対する基本輝度値を予め設定し、撮影画像から得られる変化物の輝度情報と基本輝度値との差分（変化）値を輝度情報として取得する。なお、基本輝度値は、例えば上述した光源からの光が照射していない状態で撮影された画像から得られる変化物の輝度情報を用いることができる。これにより、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００７４】
印字情報解析手段３６は、変化物により印字された情報を解析する。具体的には、印字情報解析手段３６は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の文字読み取りツール等を用いて文字解析を行うことができる。なお、印字情報としては、枠２１内の文字情報２２であってもよく、また枠２１自体が直接、文字や図形、文字、バーコード情報等を用いていてもよい。なお、印字される各種情報の具体例については後述する。
【００７５】
熱情報取得手段３７は、変化物をユーザ等が直接指や掌等で触ったり、周囲の環境（温度等）等により変化した変化物の熱情報を取得する。なお、熱情報取得手段３７としては、例えばサーモセンサ等の一般的な熱検知センサを用いて熱情法を取得することができる。
【００７６】
画像情報抽出手段３８は、輝度情報取得手段３５により得られる輝度情報、印字情報解析手段３６により得られる印字情報、及び熱情報取得手段３７により得られる熱情報のうち１又は複数の情報を用いて、合成する対象画像又は映像、文字情報等のうち、少なくとも１つ抽出する。なお、画像情報抽出手段３８が抽出するものは、画像そのものに限定されず、文字や映像、模様、文字情報等でもよい。
【００７７】
画像合成手段３９は、画像情報抽出手段３８により合成対象画像（静止画、動画、文字情報等を含む）が抽出される毎に、撮影画像と合成対象画像との合成を行う。このとき、画像合成手段３９は、画像情報抽出手段３８により複数の画像が得られた場合には、得られた複数の合成対象画像を全て合成してもよく、また撮影画像に対して１つの合成対象画像を時間の経過と共に順次変化させたり繰り返して表示させてもよい。
【００７８】
また、上述した画像情報抽出手段３８は、例えば所定時間の経過毎に変化物の経時的な輝度情報を取得し、その輝度情報の変化に伴い、経時的な各輝度情報に対応する合成対象画像を順次抽出することで、画像合成手段３９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。これにより、情報提供媒体を移動させなくても画像を変化させることができ、動画等をユーザに提供することができる。
【００７９】
送受信手段４０は、上述した通信ネットワーク１５等を用いて接続可能な外部装置（例えば、画像管理データベース１４等）から所望する外部画像（撮影画像や合成対象画像等）や、本発明における合成画像表示処理を実現するための実行プログラム等を取得するためのインタフェースである。
【００８０】
制御手段４１は、合成画像表示装置１２の各構成部全体の制御を行う。具体的には、制御手段４１は、例えばユーザ等による入力手段３１からの指示等に基づいて、撮影画像の取得や輝度情報、印字情報、及び熱情報の取得、合成対象画像の抽出、画像合成等の各処理の各制御等を行う。
【００８１】
＜印字情報について＞
ここで、本実施形態におけるカード２０に記される枠２１及び文字情報２２等の印字情報の具体例について図を用いて説明する。
【００８２】
図３は、印字情報の具体例を示す図である。図３に示す印字情報は、図３（ａ）に示すように枠５１に１種類以上の模様（線も模様の１種に含まれる。）を付与することにより、その模様に対応した合成画像を抽出することができる。なお、枠５１の太さを変えることにより、その太さに対応した合成対象画像を抽出されることもできる。
【００８３】
また、図３（ｂ）に示すように、枠５２自体が文字情報や数字情報等を印字しておくことで、その文字情報等を読み取り、対応する合成対象画像を取得することができる。
【００８４】
更に、図３（ｃ）に示すように、枠５３の一部又は全部に１次元バーコード５４−１やＱＲコード等の二次元バーコード５４−２を付与することで、より多くの情報を取得することができ、対応する多種の合成対象画像を取得することができる。 したがって、上述したように、カード２０に対する光（紫外線光、赤外線光、可視光等）の照射の有無により得られる変化物の輝度情報の変化（差分）値により合成対象画像を変えて合成表示させるだけでなく、印字情報に基づいて更に多種の合成対象画像から対応する１又は複数の合成対象画像を抽出して撮影画像と合成して表示することで、より付加価値の高いサービスを提供することができる。
【００８５】
また、上述した印字情報は可視でも非可視でもよい。つまり、非可視にしておくことにより、認証等のセキュリティ情報として活用することができる。なお、本実施形態において、可視となる変化物としては、例えば日亜化学工業社の蛍光塗料として、ＣＲＴ用蛍光体（ＺｎＳ：Ａｇ，Ａｌ，ＺｎＳ：Ｃｕ，Ａｌ，Ｙ２Ｏ２Ｓ：Ｅｕ）、ランプ用蛍光体（（ＳｒＣａＢａＭｇ）５（ＰＯ４）３Ｃｌ：Ｅｕ，ＬａＰＯ４：Ｃｅ，Ｔｂ，Ｙ２Ｏ３：Ｅｕ，）、ＰＤＰ用蛍光体（ＢａＭｇＡｌ１０Ｏ１７：Ｅｕ，Ｚｎ２ＳｉＯ４：Ｍｎ，（Ｙ，Ｇｄ）ＢＯ３：Ｅｕ）、Ｘ線用蛍光体（ＣａＷＯ４，Ｇｄ２Ｏ２Ｓ：Ｔｂ）、蓄光蛍光体（Ｓｒ４Ａｌ１４Ｏ２５：Ｅｕ，Ｄｙ）、丸岡教育用品の蛍光・夜光・ＵＶ絵の具をそのまま使う。
【００８６】
また、ブラックライトカラー、アクアグロー、蛍光塗料スプレー、マジックルミノペイント、紫外線反射絵の具、サンライトマーカー等を用いることができる。
【００８７】
更に、Ｈｏｎｅｙｗｅｌｌ社の蛍光顔料として、ＬＵＭＩＬＵＸ Ｌｏｎｇ Ａｆｔｅｒｇｌｏｗ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｅｆｆｅｃｔ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｃ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｚ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｒ Ｐｉｇｍｅｎｔｓ，等を用いることもできる。
【００８８】
また、根本特殊化学株式会社の夜光顔料として、Ｎ夜光（ルミノーバ）Ｇ−３００，ＧＬＬ−３００，ＧＳＳ，ＢＧ−３００，ＢＧＬ−３００，Ｖ−３００，Ｂ−３００を用いることができ、また、化成オプトニクスのＴｒｕｅ−Ｂｌｕｅシリーズの蛍光顔料、ＴＡＳＣＯ ＣＯ．，ＬＴＤのサーモクロミック顔料、東京リキッドカラー、朝日物産の示温ペイントサーマックスクリアライン等を用いることができる。更に、フルオレセイン、エオシン、ローダミンＢ、チオフラビン等の蛍光染料、紫外光で無色から橙に変化するアゾベンゼン、紫外光で無色から赤色になるジアリルエテンを用いることができる。更に、熱により色変化するＮ，Ｎ−ジエチルエチレンジアミン銅錯体（４３℃以下赤紫、４３℃以上濃紫）、溶媒によって色の変化するピリジニウムＮ−フェノキシドベタイン（メタノール：赤、エタノール：紫、イソブチルアルコール：青）、無色から塩基性で赤に変化するフェノールフタレイン。黄色から酸によって赤色に変わるキノンジイミン、更に、酸を添加すると青色に変化する材料を用いることができる。
【００８９】
また、非可視の変化物としては、例えば角度によって色が変化する雲母チタン、ポリマー多層膜、再帰反射素材を用いることができる。また、見た目は分からないが、角度によって色が見えてもよく、これらの素材はカード２０に用いることもできる。時間の経過と共に輝度情報が変化しにくい塗料を用いることができる。
【００９０】
＜再帰反射について＞
なお、本発明においては、情報提供媒体として再帰反射シートを用いることにより、更に高精度な情報を読み取ることができる。以下にその内容について説明する。なお、実施例として、再帰反射シートである積層材料からの情報読み取り方法について説明する。
【００９１】
本発明にかかる情報読み取り方法は、情報提供媒体である積層材料に光を照射し、積層材料からの再帰反射光を観察することで、積層材料に記録された情報を読み取ることを特徴とする。この情報読み取り方法は、図１に説明する装置によって実施することができる。図１に示す合成画像表示システム１０において、読み取り手段は、光源２３（白色光源）と、撮像装置１１である光検出手段（ＣＣＤカメラ）と、合成画像表示装置１２等で構成される。
【００９２】
白色の光源２３から出射した光は、再帰反射シートからなるカード２０へ向かう。カード２０へ向かった光は、カード２０に入射する。カード２０からの再帰反射光は、ＣＣＤカメラへと向かい、そこで検出される。ＣＣＤカメラによって検出された検出信号は、図１に示すように合成画像表示装置１２へ送られる。合成画像表示装置１２では、この検出信号に基づいてカード２０に記録した情報の解析を行う。
【００９３】
なお、上述した本実施形態に係るカード２０から情報を読み取るためには、光の照射方向と略同一方向から観察する必要がある。そのため、例えば、光源２３とカード２０との間にハーフミラーを設けてもよい。これにより、ＣＣＤカメラは、ハーフミラーの面に対し、光源が配置された位置と反対側に設置することができ、ハーフミラーを用いることで光源２３とＣＣＤカメラとが位置的に干渉し合うことなく配置することができ、好適に再帰反射光を観測することができる。なお、本実施形態では、例えば光源２３の位置とＣＣＤカメラの位置とを取り替えた構成としてもよい。
【００９４】
以下に、本発明の具体的な実施例を説明するが、本発明は以下の構成に限定されるものではない。
【００９５】
＜実施例１＞
・透明樹脂
（株）セイコーアドバンス社製スクリーン印刷用インキＳＧ−４１０（９０部）、トルエン（１０部）を混合し透明塗料を調製した。
・スクリーン印刷用版の作成
ナイロン製１５０メッシュスクリーンを用いて、１０ｍｍ角のＱＲ型２次元コード（１４×１４セル、コード情報：ＳＨＩＳＥＩＤＯ）の版を作成した。
・再帰反射材
再帰反射材（微小球固定層＋反射層）として、株式会社丸仁製オープン型再帰反射フィルム（ＬＩＧＨＴ ＦＯＲＣＥＴＭ ＬＦＵ−１２００、反射層：アルミニウム蒸着、ガラスビーズの直径：約４０〜５０μｍ、ビーズの埋没率：約５０％）を用いた。
・情報コードの印刷方法
上記の再帰反射材の表面（透明微小球が露出した面）に、上記のスクリーン印刷用板を使用して、スクリーン印刷機で２次元コード（透明樹脂層）の厚さが約１０μｍになるように印刷した。印刷した２次元コードは外観上目視でほとんど認識できず、再帰反射材の意匠性を損なうことはなかった。
・コード情報の読み取り解析
図１に示した装置を用いて、上で作成した積層材料に対し、コード情報の読み取りを行った。ここで、光検出手段および情報コード解析手段として、ＣＣＤカメラ付コードリーダＴＨＩＲ−３０００ＬＰ（（株）東研製））を用いた。コード情報の読み取り、解析を行った結果、実際にコード情報として記録されている「ＳＨＩＳＥＩＤＯ」と読み取ることができた。
【００９６】
＜合成画像表示システム１０：ハードウェア構成＞
ここで、上述した合成画像表示システム１０においては、各機能をコンピュータに実行させることができる実行プログラム（合成画像表示プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における合成画像表示処理等を実現することができる。
【００９７】
ここで、本実施形態における合成画像表示処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図４は、本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【００９８】
図４におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００９９】
入力装置６１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置６１は、カメラ等の撮像手段から撮影された情報提供媒体を含む画像を入力する入力ユニットを有している。
【０１００】
出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【０１０１】
なお、入力装置６１と出力装置６２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【０１０２】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
【０１０３】
補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１０４】
メモリ装置６５は、ＣＰＵ６６により補助記憶装置６４から読み出された実行プログラム等を格納する。なお、メモリ装置６５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１０５】
ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置６４から取得することができ、また実行結果等を格納することもできる。
【０１０６】
ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１０７】
上述したようなハードウェア構成により、本発明における合成画像表示処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【０１０８】
＜合成画像表示処理手順＞
次に、本実施形態における合成画像表示処理手順について説明する。図５は、本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【０１０９】
図５に示す合成画像表示処理は、まずカメラ等の撮像手段により撮影された情報提供媒体を含む画像を取得し（Ｓ０１）、情報提供媒体の枠の座標を取得し（Ｓ０２）、現時点での輝度情報（基本輝度値）を取得する（Ｓ０３）。なお、Ｓ０３の処理では、例えば、枠内の所定色（例えば、緑色等）の平均輝度を取得し、その内容を保存しておく。なお、上述のＳ０１からＳ０３の処理は、予め平均輝度を設定しておいてもよい。
【０１１０】
次に、本発明の内容を説明する便宜上、例えばブラックライト等の光源を情報提供媒体に照射し、その後のカメラの画像を取得するとする。つまり、予め設定された波長の光が光源から照射された情報提供媒体をカメラで撮影し、カメラからの画像を取得する（Ｓ０４）。
【０１１１】
また、画像に含まれる枠の座標を取得し（Ｓ０５）、取得した枠及び枠内に印字された印字情報に光源からの光が照射された後の輝度情報を取得する（Ｓ０６）。なお、Ｓ０６における輝度情報は、上述したように光源からの光が照射された後の塗布領域の輝度情報でもよく、その輝度情報と上述のＳ０３にて取得した基本輝度値との差分値であってもよい。差分値を取得することで、情報提供媒体の撮影環境に依存せずに目的の画像を取得することができる。
【０１１２】
また、必要に応じて、ＯＣＲ等により印字情報を解析し（Ｓ０７）、サーモグラフィー等により熱情報を取得する（Ｓ０８）。
【０１１３】
ここで、予め設定された輝度情報や、印字情報、熱情報のうち、１又は複数の情報を用いて画像を合成するか否かを判断する（Ｓ０９）。画像を合成しない場合（Ｓ０９において、ＮＯ）、Ｓ０４に戻り処理を継続する。また、画像を合成する場合（Ｓ０９において、ＹＥＳ）、輝度差、印字情報、熱情報のうち、少なくとも１つを用いて合成対象画像を抽出する（Ｓ１０）。更に、抽出した合成対象画像を撮影画像と合成し（Ｓ１１）、合成画像を取得した枠の座標情報に対応して表示する（Ｓ１２）。
【０１１４】
更に、処理を終了するか否かを判断し（Ｓ１３）、処理を終了する場合（Ｓ１３において、ＮＯ）、Ｓ０４に戻り処理を継続する。また、処理を終了する場合（Ｓ１３において、ＹＥＳ）、合成画像表示処理全体を終了する。
【０１１５】
上述した処理により、付加価値性に優れた高精度な画像を提供することができる。なお、上述の処理において、入力される画像又は各処理により得られた画像は、蓄積手段３３に入力することができる。また、各処理において、入力される画像や各処理の実行経過や実行結果、ユーザに入力手段３１により指示を行われる場合等の処理を出力手段３２等により取得するようにしてもよい。
【０１１６】
＜実施例２＞
次に、実施例２として、本実施形態において表示される画像例について図を用いて説明する。図６は、本発明において表示される合成画像の一例を示す図である。
【０１１７】
まず、図６（ａ）に示す例では、カード（情報提供媒体）７０に枠７１が印字されていた。このとき、最初に撮影される画像から得られる印字情報（枠、文字情報等）の輝度情報等を用いてデータベース等から取得した合成画像７２−１，７２−２が、枠７１の座標情報に対応して画面に表示された。なお、図６（ａ）では、一例として植木鉢（合成画像）７２−１と、その植木鉢（合成画像）７２−１に植えられている苗（合成画像）７２−２が表示された。
【０１１８】
次に、図６（ｂ）に示す部分に、夜光塗料（根本特殊化学（株）ルミノーバＧ−３００）を印字しておいた。ここに、ブラックライト等の光源を照射することで、印字情報を印字した塗料の輝度情報が変化するため、図６（ａ）に示す苗（合成画像）７２−２に変わって花（合成画像）７２−３を表示させることができた。
【０１１９】
このように、本実施例では、輝度情報に対応して合成対象画像の種類を変えて合成表示させることで、多種の画像を表示させることができる。また、時間に応じて輝度が変化する塗料等を使い分けることにより、例えば、苗が成長して花が咲き、その後枯れていくような、動画等を提供することができる。また、本実施例では、画像や表示されている各画像の向きを枠の角の位置等により変えたりを、拡大、縮小表示等の表示方法を変更したり、対応する音声を表示させたりすることもできる。
【０１２０】
＜その他の実施形態＞
ここで、上述の実施形態においては、カード等の情報提供媒体に印字された印字情報等の変化物（二次元バーコード等）を撮影し、撮影した画像から印字情報を解析することで、対応する合成画像を所定の位置に表示しているが、本発明においてはこの限りではなく、例えば情報提供媒体をディスプレイ等の表示装置とし、ディスプレイに表示されている上述した変化物を撮影した画像を取得し、取得した画像に含まれる変化物を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。なお、この実施形態では、例えば映像表示やスライド表示等により画面に表示された変化物を時間の経過と共に容易に切り換えることができ、撮影側は画面に表示される変化物を含む画像を上述したように撮影することで、その変化物に対応する立体画像を合成して動画のように表示させることができる。
【０１２１】
更に、本実施形態では、上述したように情報提供媒体に印字や表示された情報を用いるだけでなく、例えば照明を照射して地面や壁等に投影された影を変化物とし、その影を二次元コード等の付加情報を持たせて投影し、その影を撮影して得られる画像から影を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。また、影の濃さ等により抽出する画像を変化させてもよい。
【０１２２】
上述したように、本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【０１２３】
また、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。また、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。また、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。更に、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、塗料が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【０１２４】
なお、上述の装置は、携帯端末等にも適用することができる。したがって、本発明を適用することで、例えば、ギフトカード等と組み合わせることにより、太陽にカードに当てると花が咲くようなカードサービスや、インターネット認証分野、食料品の鮮度解析等の食品検査分野、尿検査等色判断が必要な健康診断検査分野等にも適用することができる。
【０１２５】
つまり、本発明では、例えば情報提供媒体に紫外線や光源力（光の強さ）に反応する塗料材料等を塗布しておき、情報提供媒体を日光等の外光のあたる部分にセットし、これを撮影装置にて撮影し画像データを経時的に取得して、本システムに入力する。また、ＰＣや携帯端末内の画像は、時間や天候によりリアルに変化する。これにより、外光が届かない地下や建物内部の部屋や、実際に離れている場所でも、その季節・気候等に適した画像を得ることができる。
【０１２６】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１２７】
【図１】本実施形態における合成画像表示システムの機構構成の一例を示す図である。
【図２】合成画像表示装置の機能構成の一例を示す図である。
【図３】印字情報の具体例を示す図である。
【図４】本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【図５】本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【図６】本発明において表示される合成画像の一例を示す図である。
【符号の説明】
【０１２８】
１０ 合成画像表示システム
１１ 撮像装置
１２ 合成画像表示装置
１３ 携帯端末
１４ 画像管理データベース
１５ 通信ネットワーク
２０，７０ カード（情報提供媒体）
２１，５１，５２，５３，７１ 枠
２２ 文字情報
２３ 光源
３１ 入力手段
３２ 出力手段
３３ 蓄積手段
３４ 撮影画像取得手段
３５ 輝度情報取得手段
３６ 印字情報解析手段
３７ 熱情報取得手段
３８ 画像情報抽出手段
３９ 画像合成手段
４０ 送受信手段
４１ 制御手段
５４ バーコード情報
６１ 入力装置
６２ 出力装置
６３ ドライブ装置
６４ 補助記憶装置
６５ メモリ装置
６６ ＣＰＵ
６７ ネットワーク接続装置
７２ 合成画像
【特許請求の範囲】
【請求項１】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、
前記撮像手段により撮影された画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得手段と、
前記輝度情報取得手段により得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出手段と、
前記画像情報抽出手段により抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成手段とを有することを特徴とする合成画像表示システム。
【請求項２】
前記輝度情報取得手段は、
前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする請求項１に記載の合成画像表示システム。
【請求項３】
前記輝度情報取得手段は、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項１又は２に記載の合成画像表示システム。
【請求項４】
前記輝度情報取得手段は、
前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする請求項１乃至３の何れか１項に記載の合成画像表示システム。
【請求項５】
前記画像情報抽出手段は、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項１乃至４の何れか１項に記載の合成画像表示システム。
【請求項６】
前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析手段を有し、
前記画像情報抽出手段は、
前記輝度情報取得手段により得られる輝度情報と、前記印字情報解析手段により得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項１乃至５の何れか１項に記載の合成画像表示システム。
【請求項７】
前記印字情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項６に記載の合成画像表示システム。
【請求項８】
前記画像合成手段は、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項１乃至７の何れか１項に記載の合成画像表示システム。
【請求項９】
前記変化物の熱情報を取得する熱情報取得手段を有し、
前記画像情報抽出手段は、
前記輝度情報取得手段により得られる輝度情報、前記印字情報解析手段により得られる印字情報、及び前記熱情報取得手段により得られる熱情報のうち、少なくとも１つの情報を用いて、合成する対象画像を抽出することを特徴とする請求項６に記載の合成画像表示システム。
【請求項１０】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、
前記撮像ステップにより撮影された撮影画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得ステップと、
前記輝度情報取得ステップにより得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにより抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成ステップとを有することを特徴とする合成画像表示方法。
【請求項１１】
前記輝度情報取得ステップは、
前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする請求項１０に記載の合成画像表示方法。
【請求項１２】
前記輝度情報取得ステップは、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項１０又は１１に記載の合成画像表示方法。
【請求項１３】
前記輝度情報取得ステップは、
前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする請求項１０乃至１２の何れか１項に記載の合成画像表示方法。
【請求項１４】
前記画像情報抽出ステップは、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項１０乃至１３の何れか１項に記載の合成画像表示方法。
【請求項１５】
前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析ステップを有し、
前記画像情報抽出ステップは、
前記輝度情報取得ステップにより得られる輝度情報と、前記印字情報解析ステップにより得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項１０乃至１４の何れか１項に記載の合成画像表示方法。
【請求項１６】
前記印字情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項１５に記載の合成画像表示方法。
【請求項１７】
前記画像合成ステップは、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項１０乃至１６の何れか１項に記載の合成画像表示方法。
【請求項１８】
前記変化物の熱情報を取得する熱情報取得ステップを有し、
前記画像情報抽出ステップは、
前記輝度情報取得ステップにより得られる輝度情報、前記熱情報取得ステップにより得られる熱情報、及び前記印字情報解析ステップにより得られる印字情報のうち複数の情報を用いて、合成する対象画像を抽出することを特徴とする請求項１５に記載の合成画像表示方法。
【請求項１９】
コンピュータに、請求項１乃至９の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させることを特徴とする合成画像表示プログラム。
【請求項１】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、
前記撮像手段により撮影された画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得手段と、
前記輝度情報取得手段により得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出手段と、
前記画像情報抽出手段により抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成手段とを有することを特徴とする合成画像表示システム。
【請求項２】
前記輝度情報取得手段は、
前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする請求項１に記載の合成画像表示システム。
【請求項３】
前記輝度情報取得手段は、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項１又は２に記載の合成画像表示システム。
【請求項４】
前記輝度情報取得手段は、
前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする請求項１乃至３の何れか１項に記載の合成画像表示システム。
【請求項５】
前記画像情報抽出手段は、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項１乃至４の何れか１項に記載の合成画像表示システム。
【請求項６】
前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析手段を有し、
前記画像情報抽出手段は、
前記輝度情報取得手段により得られる輝度情報と、前記印字情報解析手段により得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項１乃至５の何れか１項に記載の合成画像表示システム。
【請求項７】
前記印字情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項６に記載の合成画像表示システム。
【請求項８】
前記画像合成手段は、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項１乃至７の何れか１項に記載の合成画像表示システム。
【請求項９】
前記変化物の熱情報を取得する熱情報取得手段を有し、
前記画像情報抽出手段は、
前記輝度情報取得手段により得られる輝度情報、前記印字情報解析手段により得られる印字情報、及び前記熱情報取得手段により得られる熱情報のうち、少なくとも１つの情報を用いて、合成する対象画像を抽出することを特徴とする請求項６に記載の合成画像表示システム。
【請求項１０】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、
前記撮像ステップにより撮影された撮影画像中に含まれる前記変化物の輝度情報を取得する輝度情報取得ステップと、
前記輝度情報取得ステップにより得られる輝度情報を用いて、予め蓄積された複数の合成対象画像のうち、前記輝度情報に対応する画像を抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにより抽出された合成対象画像と前記撮影画像とを合成し、合成画像を表示する画像合成ステップとを有することを特徴とする合成画像表示方法。
【請求項１１】
前記輝度情報取得ステップは、
前記画像に含まれる前記変化物の領域の平均輝度値を輝度情報とすることを特徴とする請求項１０に記載の合成画像表示方法。
【請求項１２】
前記輝度情報取得ステップは、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項１０又は１１に記載の合成画像表示方法。
【請求項１３】
前記輝度情報取得ステップは、
前記変化物に対する基本輝度値を予め設定し、前記撮影画像から得られる前記変化物の輝度情報と基本輝度値との差分値を輝度情報として取得することを特徴とする請求項１０乃至１２の何れか１項に記載の合成画像表示方法。
【請求項１４】
前記画像情報抽出ステップは、前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項１０乃至１３の何れか１項に記載の合成画像表示方法。
【請求項１５】
前記変化物により前記情報提供媒体に記された印字情報を解析する印字情報解析ステップを有し、
前記画像情報抽出ステップは、
前記輝度情報取得ステップにより得られる輝度情報と、前記印字情報解析ステップにより得られる印字情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項１０乃至１４の何れか１項に記載の合成画像表示方法。
【請求項１６】
前記印字情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項１５に記載の合成画像表示方法。
【請求項１７】
前記画像合成ステップは、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項１０乃至１６の何れか１項に記載の合成画像表示方法。
【請求項１８】
前記変化物の熱情報を取得する熱情報取得ステップを有し、
前記画像情報抽出ステップは、
前記輝度情報取得ステップにより得られる輝度情報、前記熱情報取得ステップにより得られる熱情報、及び前記印字情報解析ステップにより得られる印字情報のうち複数の情報を用いて、合成する対象画像を抽出することを特徴とする請求項１５に記載の合成画像表示方法。
【請求項１９】
コンピュータに、請求項１乃至９の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させることを特徴とする合成画像表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１５７０３４（Ｐ２０１０−１５７０３４Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３３８４７（Ｐ２００８−３３３８４７）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５９３００６６３０）学校法人立命館 (359)
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５９３００６６３０）学校法人立命館 (359)
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
[ Back to top ]