合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム
【課題】付加価値性に優れた高精度な画像又はサービスを提供する。
【解決手段】撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析手段と、前記認識情報解析手段により得られる認識情報から３次元位置を取得する３次元位置取得手段と、前記３次元位置取得手段により得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成手段とを有することにより上記課題を解決する。
【解決手段】撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析手段と、前記認識情報解析手段により得られる認識情報から３次元位置を取得する３次元位置取得手段と、前記３次元位置取得手段により得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成手段とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに係り、特に付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに関する。
【背景技術】
【０００２】
従来、例えば、模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照。）。
【０００３】
また、撮影されるカードの情報だけでなくカード自体の速度情報を用いて映像を選択することで、カードの移動内容に対応する様々な映像を出力する技術が知られている（例えば、特許文献２参照。）。
【０００４】
また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させる表示させる従来のシステムツール等が存在する（例えば、非特許文献１参照。）。
【０００５】
更に、所定の画像パターンに対応する識別情報を有する対象画像を取得し、取得し前記対象画像の中から、識別情報を認識し、予め登録された複数の処理の中から認識された識別情報に対応する所定の処理を実行し、対象画像を所定の表示領域内に表示し、表示された対象画像内の所定の２個以上の位置の位置情報を取得し、取得された２個以上の位置の位置情報に基づく向き及び位置に、認識された識別情報に対応する画像を描画する画像処理技術が知られている（例えば、特許文献３参照。）
【特許文献１】特開２００２−３２０７６号公報
【特許文献２】特開２００３−２７１９２８号公報
【非特許文献１】"ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／"、「ＡＲＴｏｏｌＫｉｔ」
【特許文献３】特開２０００−８２１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
【０００７】
また、上述した非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。更に、従来技術では、表示させる画像は、識別情報を含むカード等の位置を基準に表示させるものであるため、表示の仕方に制限があり、例えば３次元映像等を表示させることはできなった。
【０００８】
本発明は、上述した課題に鑑みてなされたものであって、付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１０】
請求項１に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析手段と、前記認識情報解析手段により得られる認識情報から３次元位置を取得する３次元位置取得手段と、前記３次元位置取得手段により得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成手段とを有することを特徴とする。
【００１１】
請求項１記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００１２】
請求項２に記載された発明は、前記認識情報解析手段は、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００１３】
請求項２記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００１４】
請求項３に記載された発明は、前記画像情報抽出手段は、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００１５】
請求項３記載の発明によれば、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。
【００１６】
請求項４に記載された発明は、前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出手段を有し、前記画像情報抽出手段は、前記認識情報解析手段により得られる輝度情報と、前記回転方向検出手段により得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００１７】
請求項４記載の発明によれば、情報提供媒体に対して表示するだけでなく、撮影された実空間上に３次元形状を合成させることができる。
【００１８】
請求項５に記載された発明は、前記認識情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００１９】
請求項５記載の発明によれば、１又は複数の認識情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００２０】
請求項６に記載された発明は、前記画像合成手段は、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００２１】
請求項６記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００２２】
請求項７に記載された発明は、前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする。
【００２３】
請求項７記載の発明によれば、より高精度な情報を取得することができる。
【００２４】
請求項８に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、前記撮像ステップにより撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析ステップと、前記認識情報解析ステップにより得られる認識情報から３次元位置を取得する３次元位置取得ステップと、前記３次元位置取得ステップにより得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出ステップと、前記画像情報抽出ステップにより抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成ステップとを有することを特徴とする。
【００２５】
請求項８記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００２６】
請求項９に記載された発明は、前記認識情報解析ステップは、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００２７】
請求項９記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００２８】
請求項１０に記載された発明は、前記画像情報抽出ステップは、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００２９】
請求項１０記載の発明によれば、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。
【００３０】
請求項１１に記載された発明は、前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出ステップを有し、前記画像情報抽出ステップは、前記認識情報解析ステップにより得られる輝度情報と、前記回転方向検出ステップにより得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００３１】
請求項１１記載の発明によれば、情報提供媒体に対して表示するだけでなく、撮影された実空間上に３次元形状を合成させることができる。
【００３２】
請求項１２に記載された発明は、前記認識情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００３３】
請求項１２記載の発明によれば、１又は複数の認識情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００３４】
請求項１３に記載された発明は、前記画像合成ステップは、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００３５】
請求項１３記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００３６】
請求項１４に記載された発明は、前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする。
【００３７】
請求項１４記載の発明によれば、より高精度な情報を取得することができる。
【００３８】
請求項１５に記載された発明は、コンピュータに、請求項１乃至７の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させることを特徴とする合成画像表示プログラムである。
【００３９】
請求項１５記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【発明の効果】
【００４０】
本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【発明を実施するための最良の形態】
【００４１】
＜本発明の概要＞
本発明は、例えばカメラ等の撮像手段及びそのカメラと接続されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、カメラ付き携帯端末等を用いて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体（例えば、カード状の紙や樹脂シート等）を撮像し、撮影された画像に含まれる情報に対応する仮想図形等の画像（合成対象画像（（静止画、動画、文字情報等を含む））を、撮影画像と合成してディスプレイ等の画面に表示する。なお、本発明では、仮想空間上の３次元情報を回転情報及び３次元座標に対応させて実空間画像に表示する仮想図形表示システムを提供する。
【００４２】
具体的には、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）からなる認識情報を撮影した画像から、その認識情報である図形の回転方向及び３次元座標を取得し、図形により得られる情報から選択された仮想空間上の３次元情報（図形、文字含む）を回転方向及び３次元座標に対応させて実空間画像に表示する。
【００４３】
なお、本発明では、情報提供媒体に情報を記すために用いられる変化物として、例えば外部刺激（紫外線光、赤外線光、可視光、熱）により発光、吸収する発光・吸収物質、或いは、環境により色変化を起す物質（再帰反射性物質等）を用いることができ、撮影された画像から情報提供媒体上の変化物の輝度情報を取得し、取得した輝度情報に対応する画像を予め蓄積された画像群から抽出し、抽出した画像と撮影画像とを合成して画面上に表示される。なお、本発明における輝度情報とは、発光（明るさ）だけを意味するものではなく、色相、明度、彩度等の色情報も含む。
【００４４】
具体的には説明すると本発明は、外部刺激として紫外線を用いる場合には、例えばＰＣ側に紫外線を含むライト（光源）を情報提供媒体に照射することにより、発光物質が発光して図形を変化させることができる。また、時間の経過により輝度情報が変わる場合には、その輝度に対応して画像や映像、文字情報等を変化させることができる。また、ＰＣ側に紫外線センサーを搭載することにより、センサーからの検出信号を用いて取得した検出結果から仮想図形を変化させることができる。更に、本発明では、外部刺激として体温等の熱を用いて、情報提供媒体の発光物質に指で触れることにより、発光物質が発光して図形を変化させることもできる。
【００４５】
以下に、本発明における合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、情報提供媒体として紙状のカードを用いて説明するが、本発明においてはこれに限定されるものではなく、例えば樹脂や金属等でもよく、形状もカードのように平面状だけでなく、例えば球や円筒のような湾曲形状又は凹凸形状を有していてもよい。
【００４６】
＜合成画像表示システム：機能構成例＞
ここで、本実施形態における合成画像表示システムの機構構成例について図を用いて説明する。
【００４７】
図１は、本実施形態における合成画像表示システムの機構構成の一例を示す図である。図１に示す合成画像表示システム１０は、撮像装置（撮像手段）１１と、合成画像表示装置１２と、携帯端末１３と、画像管理データベース１４と、合成画像表示装置１２或いは携帯端末１３、及び画像管理端末１４とをデータの送受信可能な状態で接続される有線又は無線からなる通信ネットワーク１５とを有するよう構成されている。なお、図１において、撮像装置１１は、合成画像表示装置１２内に一体となって形成されていてもよい。また、本実施形態における撮像装置１１及び合成画像表示装置１２の構成は、図１に示すように例えばカメラ機能付きの携帯端末１３で置き換えることでもできる。
【００４８】
デジタルカメラ等の撮像装置１１又は携帯端末１３におけるカメラ機能（撮像手段）は、カード（情報提供媒体）２０に印字された所定の認識情報２１を含む画像を撮影する。なお、本実施形態において、認識情報２１の一方又は両方は、本実施形態における予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により印字されている。
【００４９】
なお、認識情報２１は、図１に示すようなＱＲコードに限定されず、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ−７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ Ｍａｔｒｉｘ、Ｍａｘｉ Ｃｏｄｅ等のバーコードを用いることができ、更には、「あ」等の回転方向が分かる文字情報や模様、正方形や星型等の枠等であってもよい。つまり、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）であればよい。なお、認識情報２１等の印字情報としては、例えば文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つを用いることができる。また、印字情報として認識情報２１を記しておくことで、輝度情報を取得する位置情報や、合成対象画像を撮影画像と合成する際、その合成位置や向き、大きさ等を調整することができる。
【００５０】
これにより、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。なお、本実施形態で適用される印字情報の詳細については、後述する。
【００５１】
合成画像表示装置１２は、撮像装置１１から撮影された画像を解析し、画像に含まれる認識情報２１の内容等から輝度情報や、文字情報、熱情報等を取得する。また、合成画像表示装置１２は、取得した上述の各種情報に基づいて、合成対象画像を抽出し、抽出した画像を撮影画像に合成して、ディスプレイ等の画面上に表示する。
【００５２】
このとき、合成対象画像や、本実施形態により得られる合成画像表示処理を行うために必要なプログラム又は各種更新設定情報等は、合成画像表示装置１２に予め蓄積されている画像群やデータ情報等から取得してもよく、また通信ネットワーク１５を介して接続されるデータの送受信が可能な画像管理データベース１４等から取得してもよい。更に、合成画像表示装置１２から画像管理データベース１４に撮影画像を送信し、画像管理データベース側で、抽出された合成対象画像と、撮影画像とを合成し、合成した画像を合成画像表示装置１２や携帯端末１３に送信することできる。
【００５３】
また、携帯端末１３は、上述した撮像装置１１と、合成画像表示装置１２と同等の処理を行う。なお、携帯端末１３は、画像管理データベース１４と接続する場合には、予め設定さえる画像管理データベース１４のアドレス情報に基づいて無線等により接続し、上述した輝度情報や、文字情報、熱情報等に基づいて上述した合成対象画像や、撮影画像も画像管理データベース１４に送信してデータベース側で合成された合成画像を取得する。
【００５４】
画像管理データベース１４は、合成画像表示装置１２や携帯端末１３からの問い合わせ情報（輝度情報、文字情報、熱情報）等に対して対象となる合成対象画像やその他の設定情報等の各種情報を合成画像表示装置１２や携帯端末１３に提供する。
【００５５】
なお、図１に示すように、本実施形態では、カメラの撮影方向に対して得られるカード状のカード２０のｘ、ｙ、ｚ座標における位置（向き）情報を表すことができる。また、枠情報は、単なる太線のマーカーだけでなく、枠自体に文字や数字、図形、模様、顔の写真等も印字することができる。
【００５６】
つまり、図１に示すようにカード２０の位置情報は、ｘ座標がカメラに対して水平方向の位置を示し、ｙ座標がカメラに対して垂直方向の位置を示し、ｚ座標がカメラに対する距離を示している。また、姿勢情報は、上述のｘ軸、ｙ軸、ｚ軸の各軸に対する所定のカードの位置を基準とした回転の度合を示すものであり、カードそのものの姿勢を表すものである。これにより、ユーザがカードを動かした場合、カードを撮影したカメラからカード情報（カードの種類、３次元位置情報、姿勢情報）を取得する。
【００５７】
したがって、これらの情報を読み取って解析することで、合成対象画像を多種の条件に応じて多数選択させることができ、これにより、付加価値の高いサービスを提供することができる。なお、カード２０は、紙状に限定されず、樹脂性やアルミ等の金属性を有していてもよい。
【００５８】
更に、本実施形態では、カード２０に対して予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源２２から光を照射し、照射された後の変化物の輝度情報を取得することで、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００５９】
＜合成画像表示装置１２：機能構成例＞
次に、合成画像表示装置１２の機能構成例について図を用いて説明する。なお、合成画像表示装置１２の機能構成については、携帯端末１３にて置き換えることもでき、また画像管理データベース１４における各機能も具備することもできる。
【００６０】
図２は、合成画像表示装置の機能構成の一例を示す図である。図２に示す合成画像表示装置１２は、入力手段３１と、出力手段３２と、蓄積手段３３と、撮影画像取得手段３４と、認識情報解析手段３５と、回転方向検出手段３６と、３次元位置取得手段３７と、画像情報抽出手段３８と、画像合成手段３９と、送受信手段４０と、制御手段４１とを有するよう構成されている。
【００６１】
入力手段３１は、ユーザ等からの撮影画像取得指示や、輝度情報取得指示、印字情報解析指示、熱情報取得指示、画像情報抽出指示、画像合成指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばＰＣであればキーボードや、マウス等のポインティングデバイスからなり、携帯端末１３であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影されたカード２０（情報提供媒体）の撮像部分を含む画像を入力する機能も有する。
【００６２】
また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段３２は、ディスプレイやスピーカ等からなる。更に、出力手段３２としてプリンタ等の機能を有していてもよく、その場合には、合成画像の表示結果や撮影画像、輝度情報、合成対象画像情報、印字情報、熱情報、合成画像等を表示する。更に出力手段３２は、上述の各出力内容を紙等の印刷媒体に印刷して、ユーザ等に提供することもできる。
【００６３】
なお、入力手段３１と出力手段３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００６４】
また、蓄積手段３３は、撮影画像取得手段３４により得られる撮影画像、認識情報解析手段３５により得られる輝度情報、回転方向検出手段３６により得られる印字情報、３次元位置取得手段３７により得られる熱情報、画像情報抽出手段３８により得られる画像情報、画像合成手段３９により得られる合成画像等の各種データを蓄積する。
【００６５】
また、蓄積手段３３は、本実施形態において、撮影画像と合成を行う合成対象画像を、カード２０等を撮影した画像から得られる変化物の輝度情報や印字情報と対応付けて蓄積する。また、蓄積手段３３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００６６】
撮影画像取得手段３４は、カメラ等の撮像装置１１により撮影されたカード２０に含まれる画像を取得する。
【００６７】
認識情報解析手段３５は、撮像手段としての撮像装置１１により撮影された撮影画像中に含まれる認識情報を解析する。なお、認識情報解析手段３５は、例えば画像に含まれる上述した少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字、正方形等）を含む図形（例えば、２次元バーコード）の座標を取得し、取得した認識情報を射影変換する。
【００６８】
また、認識情報解析手段３５は、予め設定される波長の紫外線光、赤外線光、及び可視光、再帰反射観察ライトのうち、少なくとも１つの光源から照射された後の変化物の輝度情報を取得する。これにより、予め設定される波長のライト（光源）の光を照射することにより、合成画像を変化させてユーザに提供することができる。なお、認識情報解析手段３５は、座標から枠内に記される変化物の領域の平均輝度値を輝度情報とすることもできる。これにより、誤差の少ない輝度情報を取得することができる。
【００６９】
更に、認識情報解析手段３５は、変化物に対する基本輝度値を予め設定し、撮影画像から得られる変化物の輝度情報と基本輝度値との差分（変化）値を輝度情報として取得する。なお、基本輝度値は、例えば上述した光源からの光が照射していない状態で撮影された画像から得られる変化物の輝度情報を用いることができる。これにより、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００７０】
回転方向検出手段３６は、変化物により印字された認識情報の回転方向を検出する。つまり、回転方向検出手段３６は、認識情報に含まれる３点の位置を基準に、ある基準方向に対する回転方法を検出する。
【００７１】
具体的には、回転方向検出手段３６は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の文字読み取りツール等を用いて文字解析を行うことができる。なお、印字情報としては、認識情報２１であってもよく、文字や図形、文字、バーコード情報等を用いていてもよい。なお、印字される各種情報の具体例については後述する。
【００７２】
３次元位置取得手段３７は、回転方向検出手段により検出された状態から３次元座標を算出する。具体的には、撮影された実空間の画像に対して、認識情報に含まれる３点の位置、方向、大きさ等により実空間上の位置を、撮影した画像を基準とした３次元情報として出力する。
【００７３】
画像情報抽出手段３８は、認識情報解析手段３５により得られる認識情報、回転方向検出手段により得られる回転方向、及び３次元位置取得手段３７により得られる３次元座標の各情報のうち１又は複数の情報を用いて、合成する対象画像を少なくとも１つ抽出する。
なお、画像情報抽出手段３８が抽出するものは、画像そのものに限定されず、文字や映像、模様、文字情報等でもよい。更に、画像情報抽出手段３８は、抽出した情報に対して、実空間上にどのように表示するかを示す表示指示情報を表示する。なお、表示指示情報とは、具体的には表示される情報をどのように表示するかを示すものであり、どの位置に、どのような大きさで、どのタイミングでどの程度表示するか等の位置情報、書式情報、表示情報、時間情報等の各種情報を含んでいる。
【００７４】
画像合成手段３９は、画像情報抽出手段３８により合成対象画像（静止画、動画、文字情報等を含む）が抽出される毎に、撮影画像と合成対象画像との合成を行う。具体的には、画像合成手段３９は、画像情報抽出手段３８により得られる各種情報に対して対応する時間に合わせて文字や画像、映像を表示する。
【００７５】
なお、画像合成手段３９は、情報提供媒体の位置とは無関係に実際に撮影された実空間画像上に３次元表示として表示させることができる。つまり、画像合成手段３９は、撮影される情報提供媒体の角度、位置に対応させて、仮想空間の３次元画像モデル等を表示する。
【００７６】
このとき、画像合成手段３９は、画像情報抽出手段３８により複数の画像が得られた場合には、得られた複数の合成対象画像を全て合成してもよく、また撮影画像に対して１つの合成対象画像を時間の経過と共に順次変化させたり繰り返して表示させてもよい。
【００７７】
また、上述した画像情報抽出手段３８は、例えば所定時間の経過毎に変化物の経時的な輝度情報を取得し、その輝度情報の変化に伴い、経時的な各輝度情報に対応する合成対象画像を順次抽出することで、画像合成手段３９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。これにより、情報提供媒体を移動させなくても画像を変化させることができ、動画等をユーザに提供することができる。
【００７８】
送受信手段４０は、上述した通信ネットワーク１５等を用いて接続可能な外部装置（例えば、画像管理データベース１４等）から所望する外部画像（撮影画像や合成対象画像等）や、本発明における合成画像表示処理を実現するための実行プログラム等を取得するためのインタフェースである。
【００７９】
制御手段４１は、合成画像表示装置１２の各構成部全体の制御を行う。具体的には、制御手段４１は、例えばユーザ等による入力手段３１からの指示等に基づいて、撮影画像の取得や回転情報、輝度情報、印字情報、及び熱情報等の取得、合成対象画像の抽出、画像合成等の各処理の各制御等を行う。
【００８０】
＜認識情報２１について＞
ここで、本実施形態におけるカード２０に記される認識情報２１の具体例について図を用いて説明する。
【００８１】
図３は、認識情報の具体例を示す図である。図３に示す認識情報は、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）からなる。例えば、図３（ａ）〜（ｉ）に示すようにカード２０に１種類以上の模様（線も模様の１種に含まれる。）を付与することにより、その模様に対応した合成画像を抽出することができる。
【００８２】
例えば、図３（ａ）に示すように３つの点５１でもよく、また図３（ｂ）に示すように星型５２でもよく、図３（ｃ）のようにある所定の基準角度からの回転角度が認識できるような文字５３でもよく、図３（ｄ）に示すように、Ｌ字型の文字５４の２つの端点の１つの角の点により得られる３点を用いて位置を認識してもよい。
【００８３】
更に、図３（ｅ）に示すように、認識情報自体に文字情報や数字情報等を印字しておくことで、その文字情報等を読み取り、対応する合成対象画像を取得することができる。このとき、回転方向は、図３（ｅ）に示すように、認識情報が形成するＬ字等により取得することができる。また、図３（ｆ）に示すように、認識情報の一部又は全部に１次元バーコード５５やＱＲコード等の２次元バーコード５６を付与することで、より多くの情報を取得することができ、対応する多種の合成対象画像を取得することができる。
【００８４】
更に、図３（ｇ）に示すようにＱＲコード５７を印字してもよく、また図３（ｈ）に示すＤａｔａＭａｔｒｉｘコード５８や、図３（ｉ）に示す枠５９の中に文字を入れてもよい。また、上述した図３（ａ）〜（ｉ）は、１又は複数のカラーを用いて印字されていてもよい。これにより、認識情報や輝度情報の他に色情報を用いることでカード２０から得られる情報量が増えるため、画像合成等における各種条件に容易に多数設定することができる。
【００８５】
また、カード２０に対する光（紫外線光、赤外線光、可視光等）の照射の有無により得られる変化物の輝度情報の変化（差分）値により合成対象画像を変えて合成表示させるだけでなく、印字情報に基づいて更に多種の合成対象画像から対応する１又は複数の合成対象画像を抽出して撮影画像と合成して表示することで、より付加価値の高いサービスを提供することができる。
【００８６】
また、上述した印字情報は可視でも非可視でもよい。つまり、非可視にしておくことにより、認証等のセキュリティ情報として活用することができる。なお、本実施形態において、可視となる変化物としては、例えば日亜化学工業社の蛍光塗料として、ＣＲＴ用蛍光体（ＺｎＳ：Ａｇ，Ａｌ，ＺｎＳ：Ｃｕ，Ａｌ，Ｙ２Ｏ２Ｓ：Ｅｕ）、ランプ用蛍光体（（ＳｒＣａＢａＭｇ）５（ＰＯ４）３Ｃｌ：Ｅｕ，ＬａＰＯ４：Ｃｅ，Ｔｂ，Ｙ２Ｏ３：Ｅｕ，）、ＰＤＰ用蛍光体（ＢａＭｇＡｌ１０Ｏ１７：Ｅｕ，Ｚｎ２ＳｉＯ４：Ｍｎ，（Ｙ，Ｇｄ）ＢＯ３：Ｅｕ）、Ｘ線用蛍光体（ＣａＷＯ４，Ｇｄ２Ｏ２Ｓ：Ｔｂ）、蓄光蛍光体（Ｓｒ４Ａｌ１４Ｏ２５：Ｅｕ，Ｄｙ）、丸岡教育用品の蛍光・夜光・ＵＶ絵の具をそのまま使う。
【００８７】
また、ブラックライトカラー、アクアグロー、蛍光塗料スプレー、マジックルミノペイント、紫外線反射絵の具、サンライトマーカー等を用いることができる。
【００８８】
更に、Ｈｏｎｅｙｗｅｌｌ社の蛍光顔料として、ＬＵＭＩＬＵＸ Ｌｏｎｇ Ａｆｔｅｒｇｌｏｗ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｅｆｆｅｃｔ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｃ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｚ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｒ Ｐｉｇｍｅｎｔｓ，等を用いることもできる。
【００８９】
また、根本特殊化学株式会社の夜光顔料として、Ｎ夜光（ルミノーバ）Ｇ−３００，ＧＬＬ−３００，ＧＳＳ，ＢＧ−３００，ＢＧＬ−３００，Ｖ−３００，Ｂ−３００を用いることができ、また、化成オプトニクスのＴｒｕｅ−Ｂｌｕｅシリーズの蛍光顔料、ＴＡＳＣＯ ＣＯ．，ＬＴＤのサーモクロミック顔料、東京リキッドカラー、朝日物産の示温ペイントサーマックスクリアライン等を用いることができる。更に、フルオレセイン、エオシン、ローダミンＢ、チオフラビン等の蛍光染料、紫外光で無色から橙に変化するアゾベンゼン、紫外光で無色から赤色になるジアリルエテンを用いることができる。更に、熱により色変化するＮ，Ｎ−ジエチルエチレンジアミン銅錯体（４３℃以下赤紫、４３℃以上濃紫）、溶媒によって色の変化するピリジニウムＮ−フェノキシドベタイン（メタノール：赤、エタノール：紫、イソブチルアルコール：青）、無色から塩基性で赤に変化するフェノールフタレイン。黄色から酸によって赤色に変わるキノンジイミン、更に、酸を添加すると青色に変化する材料を用いることができる。
【００９０】
また、非可視の変化物としては、例えば角度によって色が変化する雲母チタン、ポリマー多層膜、再帰反射素材を用いることができる。また、見た目は分からないが、角度によって色が見えてもよく、これらの素材はカード２０に用いることもできる。時間の経過と共に輝度情報が変化しにくい塗料を用いることができる。
【００９１】
＜再帰反射について＞
なお、本発明においては、情報提供媒体として再帰反射シートを用いることにより、更に高精度な情報を読み取ることができる。以下にその内容について説明する。なお、実施例として、再帰反射シートである積層材料からの情報読み取り方法について説明する。
【００９２】
本発明にかかる情報読み取り方法は、情報提供媒体である積層材料に光を照射し、積層材料からの再帰反射光を観察することで、積層材料に記録された情報を読み取ることを特徴とする。この情報読み取り方法は、図１に説明する装置によって実施することができる。図１に示す合成画像表示システム１０において、読み取り手段は、光源２２（白色光源）と、撮像装置１１である光検出手段（ＣＣＤカメラ）と、合成画像表示装置１２等で構成される。
【００９３】
白色の光源２２から出射した光は、再帰反射シートからなるカード２０へ向かう。カード２０へ向かった光は、カード２０に入射する。カード２０からの再帰反射光は、ＣＣＤカメラへと向かい、そこで検出される。ＣＣＤカメラによって検出された検出信号は、図１に示すように合成画像表示装置１２へ送られる。合成画像表示装置１２では、この検出信号に基づいてカード２０に記録した情報の解析を行う。
【００９４】
なお、上述した本実施形態に係るカード２０から情報を読み取るためには、光の照射方向と略同一方向から観察する必要がある。そのため、例えば光源２２とカード２０との間にハーフミラーを設けてもよい。これにより、ＣＣＤカメラは、ハーフミラーの面に対し、光源が配置された位置と反対側に設置することができ、ハーフミラーを用いることで光源２２とＣＣＤカメラとが位置的に干渉し合うことなく配置することができ、好適に再帰反射光を観測することができる。なお、本実施形態では、例えば、光源２２の位置とＣＣＤカメラの位置とを取り替えた構成としてもよい。
【００９５】
以下に、本発明の具体的な実施例を説明するが、本発明は以下の構成に限定されるものではない。
【００９６】
＜実施例１＞
・透明樹脂
（株）セイコーアドバンス社製スクリーン印刷用インキＳＧ−４１０（９０部）、トルエン（１０部）を混合し透明塗料を調製した。
・スクリーン印刷用版の作成
ナイロン製１５０メッシュスクリーンを用いて、１０ｍｍ角のＱＲ型２次元コード（１４×１４セル、コード情報：ＳＨＩＳＥＩＤＯ）の版を作成した。
・再帰反射材
再帰反射材（微小球固定層＋反射層）として、株式会社丸仁製オープン型再帰反射フィルム（ＬＩＧＨＴ ＦＯＲＣＥＴＭ ＬＦＵ−１２００、反射層：アルミニウム蒸着、ガラスビーズの直径：約４０〜５０μｍ、ビーズの埋没率：約５０％）を用いた。
・情報コードの印刷方法
上記の再帰反射材の表面（透明微小球が露出した面）に、上記のスクリーン印刷用板を使用して、スクリーン印刷機で２次元コード（透明樹脂層）の厚さが約１０μｍになるように印刷した。印刷した２次元コードは外観上目視でほとんど認識できず、再帰反射材の意匠性を損なうことはなかった。
・コード情報の読み取り解析
図１に示した装置を用いて、上で作成した積層材料に対し、コード情報の読み取りを行った。ここで、光検出手段および情報コード解析手段として、ＣＣＤカメラ付コードリーダＴＨＩＲ−３０００ＬＰ（（株）東研製））を用いた。コード情報の読み取り、解析を行った結果、実際にコード情報として記録されている「ＳＨＩＳＥＩＤＯ」と読み取ることができた。
【００９７】
＜合成画像表示システム１０：ハードウェア構成＞
ここで、上述した合成画像表示システム１０においては、各機能をコンピュータに実行させることができる実行プログラム（合成画像表示プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における合成画像表示処理等を実現することができる。
【００９８】
ここで、本実施形態における合成画像表示処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図４は、本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【００９９】
図４におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１００】
入力装置６１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置６１は、カメラ等の撮像手段から撮影された情報提供媒体を含む画像を入力する入力ユニットを有している。
【０１０１】
出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【０１０２】
なお、入力装置６１と出力装置６２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【０１０３】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
【０１０４】
補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１０５】
メモリ装置６５は、ＣＰＵ６６により補助記憶装置６４から読み出された実行プログラム等を格納する。なお、メモリ装置６５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１０６】
ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置６４から取得することができ、また実行結果等を格納することもできる。
【０１０７】
ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１０８】
上述したようなハードウェア構成により、本発明における合成画像表示処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【０１０９】
＜合成画像表示処理手順＞
次に、本実施形態における合成画像表示処理手順について説明する。図５は、本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【０１１０】
図５に示す合成画像表示処理は、まずカメラ等の撮像手段により撮影された情報提供媒体を含む画像を取得し（Ｓ０１）、情報提供媒体を撮影した画像に含まれる認識情報を抽出する（Ｓ０２）。ここで、認識情報が抽出されたか否かを判断し（Ｓ０３）、認識情報が抽出されなかった場合（Ｓ０３において、ＮＯ）、Ｓ０１の処理に戻り、後続の処理を行う。
【０１１１】
また、Ｓ０３の処理において、認識情報が抽出された場合（Ｓ０３において、ＹＥＳ）、抽出された認識情報の図形に対して射影変換を行い（Ｓ０４）、その認識情報が未解析であるか否かを判断する（Ｓ０５）。ここで、未解析の場合（Ｓ０５において、ＹＥＳ）、認識情報の解析を行う。また、Ｓ０５の処理が終了後、或いはＳ０５の処理において、認識情報が解析されている場合（Ｓ０５において、ＮＯ）、その認識情報の回転方向を認識する（Ｓ０７）。
【０１１２】
また、回転情報、位置情報等から３次元座標を算出する（Ｓ０８）。また、算出された結果に基づいて、合成画像のモデル表示を行う（Ｓ０９）。更に、処理が終了するか否かを判断し（Ｓ１０）、終了しない場合（Ｓ１０において、ＮＯ）、Ｓ０１に戻って後続の処理行う。また、処理を終了する場合（Ｓ１０において、ＹＥＳ）、合成画像表示処理全体を終了する。
【０１１３】
なお、上述の処理では、現時点での輝度情報（基本輝度値）を取得したり、例えば、枠内の所定色（例えば、緑色等）の平均輝度を取得し、その内容を保存しておき、その輝度情報又は輝度情報の変化や平均輝度に応じて表示するモデルを変更してもよい。
【０１１４】
上述した処理により、付加価値性に優れた高精度な画像を提供することができる。なお、上述の処理において、入力される画像又は各処理により得られた画像は、蓄積手段３３に入力することができる。また、各処理において、入力される画像や各処理の実行経過や実行結果、ユーザに入力手段３１により指示を行われる場合等の処理を出力手段３２等により取得するようにしてもよい。
【０１１５】
＜実施例２＞
次に、実施例２として、本実施形態において表示される画像例について図を用いて説明する。図６は、本発明において表示される合成画像の一例を示す図である。
【０１１６】
まず、図６（ａ）に示す例では、カード（情報提供媒体）７０に枠７１が印字されていた。このとき、最初に撮影される画像から得られる印字情報（枠、文字情報等）の輝度情報等を用いてデータベース等から取得した合成画像７２−１，７２−２が、枠７１の座標情報に対応して画面に表示された。なお、図６（ａ）では、一例として植木鉢（合成画像）７２−１と、その植木鉢（合成画像）７２−１に植えられている苗（合成画像）７２−２が表示された。
【０１１７】
次に、図６（ｂ）に示す部分に、夜光塗料（根本特殊化学（株）ルミノーバＧ−３００）を印字しておいた。ここに、ブラックライト等の光源を照射することで、印字情報を印字した塗料の輝度情報が変化するため、図６（ａ）に示す苗（合成画像）７２−２に変わって花（合成画像）７２−３を表示させることができた。
【０１１８】
このように、本実施例では、輝度情報に対応して合成対象画像の種類を変えて合成表示させることで、多種の画像を表示させることができる。また、時間に応じて輝度が変化する塗料等を使い分けることにより、例えば、苗が成長して花が咲き、その後枯れていくような、動画等を提供することができる。また、本実施例では、画像や表示されている各画像の向きを枠の角の位置等により変えたりを、拡大、縮小表示等の表示方法を変更したり、対応する音声を表示させたりすることもできる。
【０１１９】
また、図７は、本実施形態における認識情報に対応した３次元表示の一例を示す図である。本実施形態を適用することにより、例えば図７（ａ）に示すように、画面８０上には、情報提供媒体２０の上に立体形状の立方体８１を合成表示し、更にその上に、認識情報に含まれる文字情報８２を立体表示させることができた。また、図７（ｂ）に示すように、画面８０上には、撮影された画像の実空間上を基準にして、情報提供媒体２０の認識情報から得られる文字情報８２を３次元表示することができた。図７（ｂ）の例では、画面８０上に文字情報である「ｓｈｉｓｅｉｄｏ」の文字を撮影されている画面の幅に合わせて全体表示させることができた。更に、図７（ｃ）に示すように、画面８０上には、情報提供媒体２０の上に表示される３次元形状８３の表面に文字情報８２を表示させることができた。なお、図７（ｃ）の例では、画面８０上に３次元形状８３である地球の周りを文字情報８２である「ｓｈｉｓｅｉｄｏ」の文字が回転して表示された。
【０１２０】
このように、本発明では、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）からなる認識情報を撮影した画像から、その認識情報である図形の回転方向及び３次元座標を取得し、図形により得られる情報から選択された仮想空間上の３次元情報（図形、文字含む）を回転方向及び３次元座標に対応させて実空間画像に、所定の色、大きさ、形状を任意の位置に自由に表示させることができる。
【０１２１】
＜その他の実施形態＞
ここで、上述の実施形態においては、カード等の情報提供媒体に印字された印字情報等の変化物（二次元バーコード等）を撮影し、撮影した画像から印字情報を解析することで、対応する合成画像を所定の位置に表示しているが、本発明においてはこの限りではなく、例えば情報提供媒体をディスプレイ等の表示装置とし、ディスプレイに表示されている上述した変化物を撮影した画像を取得し、取得した画像に含まれる変化物を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。なお、この実施形態では、例えば映像表示やスライド表示等により画面に表示された変化物を時間の経過と共に容易に切り換えることができ、撮影側は画面に表示される変化物を含む画像を上述したように撮影することで、その変化物に対応する立体画像を合成して動画のように表示させることができる。
【０１２２】
更に、本実施形態では、上述したように情報提供媒体に印字や表示された情報を用いるだけでなく、例えば照明を照射して地面や壁等に投影された影を変化物とし、その影を二次元コード等の付加情報を持たせて投影し、その影を撮影して得られる画像から影を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。また、影の濃さ等により抽出する画像を変化させてもよい。
【０１２３】
上述したように、本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【０１２４】
また、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。また、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。また、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。更に、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、変化物が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【０１２５】
なお、上述の装置は、携帯端末等にも適用することができる。したがって、本発明を適用することで、例えば、ギフトカード等と組み合わせることにより、太陽にカードに当てると花が咲くようなカードサービスや、インターネット認証分野、食料品の鮮度解析等の食品検査分野、尿検査等色判断が必要な健康診断検査分野等にも適用することができる。
【０１２６】
つまり、本発明では、例えば情報提供媒体に紫外線や光源力（光の強さ）に反応する塗料材料等を塗布しておき、情報提供媒体を日光等の外光のあたる部分にセットし、これを撮影装置にて撮影し画像データを経時的に取得して、本システムに入力する。また、ＰＣや携帯端末内の画像は、時間や天候によりリアルに変化する。これにより、外光が届かない地下や建物内部の部屋や、実際に離れている場所でも、その季節・気候等に適した画像を得ることができる。
【０１２７】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１２８】
【図１】本実施形態における合成画像表示システムの機構構成の一例を示す図である。
【図２】合成画像表示装置の機能構成の一例を示す図である。
【図３】認識情報の具体例を示す図である。
【図４】本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【図５】本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【図６】本発明において表示される合成画像の一例を示す図である。
【図７】本実施形態における認識情報に対応した３次元表示の一例を示す図である。
【符号の説明】
【０１２９】
１０ 合成画像表示システム
１１ 撮像装置
１２ 合成画像表示装置
１３ 携帯端末
１４ 画像管理データベース
１５ 通信ネットワーク
２０，７０ カード（情報提供媒体）
２１ 認識情報
２２ 光源
３１ 入力手段
３２ 出力手段
３３ 蓄積手段
３４ 撮影画像取得手段
３５ 認識情報解析手段
３６ 回転方向検出手段
３７ ３次元位置取得手段
３８ 画像情報抽出手段
３９ 画像合成手段
４０ 送受信手段
４１ 制御手段
５１ 点
５２ 星型
５３，５４ 文字
５５ １次元バーコード
５６ ２次元バーコード
５７ ＱＲコード
５８ ＤａｔａＭａｔｒｉｘコード
５９ 枠
６１ 入力装置
６２ 出力装置
６３ ドライブ装置
６４ 補助記憶装置
６５ メモリ装置
６６ ＣＰＵ
６７ ネットワーク接続装置
７２ 合成画像
８０ 画面
８１ 立方体
８２ 文字情報
８３ ３次元形状
【技術分野】
【０００１】
本発明は、合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに係り、特に付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムに関する。
【背景技術】
【０００２】
従来、例えば、模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照。）。
【０００３】
また、撮影されるカードの情報だけでなくカード自体の速度情報を用いて映像を選択することで、カードの移動内容に対応する様々な映像を出力する技術が知られている（例えば、特許文献２参照。）。
【０００４】
また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させる表示させる従来のシステムツール等が存在する（例えば、非特許文献１参照。）。
【０００５】
更に、所定の画像パターンに対応する識別情報を有する対象画像を取得し、取得し前記対象画像の中から、識別情報を認識し、予め登録された複数の処理の中から認識された識別情報に対応する所定の処理を実行し、対象画像を所定の表示領域内に表示し、表示された対象画像内の所定の２個以上の位置の位置情報を取得し、取得された２個以上の位置の位置情報に基づく向き及び位置に、認識された識別情報に対応する画像を描画する画像処理技術が知られている（例えば、特許文献３参照。）
【特許文献１】特開２００２−３２０７６号公報
【特許文献２】特開２００３−２７１９２８号公報
【非特許文献１】"ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／"、「ＡＲＴｏｏｌＫｉｔ」
【特許文献３】特開２０００−８２１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
【０００７】
また、上述した非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。更に、従来技術では、表示させる画像は、識別情報を含むカード等の位置を基準に表示させるものであるため、表示の仕方に制限があり、例えば３次元映像等を表示させることはできなった。
【０００８】
本発明は、上述した課題に鑑みてなされたものであって、付加価値性に優れた高精度な画像を提供するための合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１０】
請求項１に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、前記撮像手段により撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析手段と、前記認識情報解析手段により得られる認識情報から３次元位置を取得する３次元位置取得手段と、前記３次元位置取得手段により得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出手段と、前記画像情報抽出手段により抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成手段とを有することを特徴とする。
【００１１】
請求項１記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００１２】
請求項２に記載された発明は、前記認識情報解析手段は、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００１３】
請求項２記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００１４】
請求項３に記載された発明は、前記画像情報抽出手段は、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００１５】
請求項３記載の発明によれば、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。
【００１６】
請求項４に記載された発明は、前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出手段を有し、前記画像情報抽出手段は、前記認識情報解析手段により得られる輝度情報と、前記回転方向検出手段により得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００１７】
請求項４記載の発明によれば、情報提供媒体に対して表示するだけでなく、撮影された実空間上に３次元形状を合成させることができる。
【００１８】
請求項５に記載された発明は、前記認識情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００１９】
請求項５記載の発明によれば、１又は複数の認識情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００２０】
請求項６に記載された発明は、前記画像合成手段は、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００２１】
請求項６記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００２２】
請求項７に記載された発明は、前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする。
【００２３】
請求項７記載の発明によれば、より高精度な情報を取得することができる。
【００２４】
請求項８に記載された発明は、撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、前記撮像ステップにより撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析ステップと、前記認識情報解析ステップにより得られる認識情報から３次元位置を取得する３次元位置取得ステップと、前記３次元位置取得ステップにより得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出ステップと、前記画像情報抽出ステップにより抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成ステップとを有することを特徴とする。
【００２５】
請求項８記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【００２６】
請求項９に記載された発明は、前記認識情報解析ステップは、予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする。
【００２７】
請求項９記載の発明によれば、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００２８】
請求項１０に記載された発明は、前記画像情報抽出ステップは、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする。
【００２９】
請求項１０記載の発明によれば、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。
【００３０】
請求項１１に記載された発明は、前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出ステップを有し、前記画像情報抽出ステップは、前記認識情報解析ステップにより得られる輝度情報と、前記回転方向検出ステップにより得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする。
【００３１】
請求項１１記載の発明によれば、情報提供媒体に対して表示するだけでなく、撮影された実空間上に３次元形状を合成させることができる。
【００３２】
請求項１２に記載された発明は、前記認識情報は、文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする。
【００３３】
請求項１２記載の発明によれば、１又は複数の認識情報を用いて、多種の付加価値の高いサービスを提供することができる。
【００３４】
請求項１３に記載された発明は、前記画像合成ステップは、前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする。
【００３５】
請求項１３記載の発明によれば、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。
【００３６】
請求項１４に記載された発明は、前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする。
【００３７】
請求項１４記載の発明によれば、より高精度な情報を取得することができる。
【００３８】
請求項１５に記載された発明は、コンピュータに、請求項１乃至７の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させることを特徴とする合成画像表示プログラムである。
【００３９】
請求項１５記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【発明の効果】
【００４０】
本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。
【発明を実施するための最良の形態】
【００４１】
＜本発明の概要＞
本発明は、例えばカメラ等の撮像手段及びそのカメラと接続されたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や、カメラ付き携帯端末等を用いて、予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体（例えば、カード状の紙や樹脂シート等）を撮像し、撮影された画像に含まれる情報に対応する仮想図形等の画像（合成対象画像（（静止画、動画、文字情報等を含む））を、撮影画像と合成してディスプレイ等の画面に表示する。なお、本発明では、仮想空間上の３次元情報を回転情報及び３次元座標に対応させて実空間画像に表示する仮想図形表示システムを提供する。
【００４２】
具体的には、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）からなる認識情報を撮影した画像から、その認識情報である図形の回転方向及び３次元座標を取得し、図形により得られる情報から選択された仮想空間上の３次元情報（図形、文字含む）を回転方向及び３次元座標に対応させて実空間画像に表示する。
【００４３】
なお、本発明では、情報提供媒体に情報を記すために用いられる変化物として、例えば外部刺激（紫外線光、赤外線光、可視光、熱）により発光、吸収する発光・吸収物質、或いは、環境により色変化を起す物質（再帰反射性物質等）を用いることができ、撮影された画像から情報提供媒体上の変化物の輝度情報を取得し、取得した輝度情報に対応する画像を予め蓄積された画像群から抽出し、抽出した画像と撮影画像とを合成して画面上に表示される。なお、本発明における輝度情報とは、発光（明るさ）だけを意味するものではなく、色相、明度、彩度等の色情報も含む。
【００４４】
具体的には説明すると本発明は、外部刺激として紫外線を用いる場合には、例えばＰＣ側に紫外線を含むライト（光源）を情報提供媒体に照射することにより、発光物質が発光して図形を変化させることができる。また、時間の経過により輝度情報が変わる場合には、その輝度に対応して画像や映像、文字情報等を変化させることができる。また、ＰＣ側に紫外線センサーを搭載することにより、センサーからの検出信号を用いて取得した検出結果から仮想図形を変化させることができる。更に、本発明では、外部刺激として体温等の熱を用いて、情報提供媒体の発光物質に指で触れることにより、発光物質が発光して図形を変化させることもできる。
【００４５】
以下に、本発明における合成画像表示システム、合成画像表示方法、及び合成画像表示プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、情報提供媒体として紙状のカードを用いて説明するが、本発明においてはこれに限定されるものではなく、例えば樹脂や金属等でもよく、形状もカードのように平面状だけでなく、例えば球や円筒のような湾曲形状又は凹凸形状を有していてもよい。
【００４６】
＜合成画像表示システム：機能構成例＞
ここで、本実施形態における合成画像表示システムの機構構成例について図を用いて説明する。
【００４７】
図１は、本実施形態における合成画像表示システムの機構構成の一例を示す図である。図１に示す合成画像表示システム１０は、撮像装置（撮像手段）１１と、合成画像表示装置１２と、携帯端末１３と、画像管理データベース１４と、合成画像表示装置１２或いは携帯端末１３、及び画像管理端末１４とをデータの送受信可能な状態で接続される有線又は無線からなる通信ネットワーク１５とを有するよう構成されている。なお、図１において、撮像装置１１は、合成画像表示装置１２内に一体となって形成されていてもよい。また、本実施形態における撮像装置１１及び合成画像表示装置１２の構成は、図１に示すように例えばカメラ機能付きの携帯端末１３で置き換えることでもできる。
【００４８】
デジタルカメラ等の撮像装置１１又は携帯端末１３におけるカメラ機能（撮像手段）は、カード（情報提供媒体）２０に印字された所定の認識情報２１を含む画像を撮影する。なお、本実施形態において、認識情報２１の一方又は両方は、本実施形態における予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により印字されている。
【００４９】
なお、認識情報２１は、図１に示すようなＱＲコードに限定されず、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ−７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ Ｍａｔｒｉｘ、Ｍａｘｉ Ｃｏｄｅ等のバーコードを用いることができ、更には、「あ」等の回転方向が分かる文字情報や模様、正方形や星型等の枠等であってもよい。つまり、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）であればよい。なお、認識情報２１等の印字情報としては、例えば文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つを用いることができる。また、印字情報として認識情報２１を記しておくことで、輝度情報を取得する位置情報や、合成対象画像を撮影画像と合成する際、その合成位置や向き、大きさ等を調整することができる。
【００５０】
これにより、１又は複数の印字情報を用いて、多種の付加価値の高いサービスを提供することができる。なお、本実施形態で適用される印字情報の詳細については、後述する。
【００５１】
合成画像表示装置１２は、撮像装置１１から撮影された画像を解析し、画像に含まれる認識情報２１の内容等から輝度情報や、文字情報、熱情報等を取得する。また、合成画像表示装置１２は、取得した上述の各種情報に基づいて、合成対象画像を抽出し、抽出した画像を撮影画像に合成して、ディスプレイ等の画面上に表示する。
【００５２】
このとき、合成対象画像や、本実施形態により得られる合成画像表示処理を行うために必要なプログラム又は各種更新設定情報等は、合成画像表示装置１２に予め蓄積されている画像群やデータ情報等から取得してもよく、また通信ネットワーク１５を介して接続されるデータの送受信が可能な画像管理データベース１４等から取得してもよい。更に、合成画像表示装置１２から画像管理データベース１４に撮影画像を送信し、画像管理データベース側で、抽出された合成対象画像と、撮影画像とを合成し、合成した画像を合成画像表示装置１２や携帯端末１３に送信することできる。
【００５３】
また、携帯端末１３は、上述した撮像装置１１と、合成画像表示装置１２と同等の処理を行う。なお、携帯端末１３は、画像管理データベース１４と接続する場合には、予め設定さえる画像管理データベース１４のアドレス情報に基づいて無線等により接続し、上述した輝度情報や、文字情報、熱情報等に基づいて上述した合成対象画像や、撮影画像も画像管理データベース１４に送信してデータベース側で合成された合成画像を取得する。
【００５４】
画像管理データベース１４は、合成画像表示装置１２や携帯端末１３からの問い合わせ情報（輝度情報、文字情報、熱情報）等に対して対象となる合成対象画像やその他の設定情報等の各種情報を合成画像表示装置１２や携帯端末１３に提供する。
【００５５】
なお、図１に示すように、本実施形態では、カメラの撮影方向に対して得られるカード状のカード２０のｘ、ｙ、ｚ座標における位置（向き）情報を表すことができる。また、枠情報は、単なる太線のマーカーだけでなく、枠自体に文字や数字、図形、模様、顔の写真等も印字することができる。
【００５６】
つまり、図１に示すようにカード２０の位置情報は、ｘ座標がカメラに対して水平方向の位置を示し、ｙ座標がカメラに対して垂直方向の位置を示し、ｚ座標がカメラに対する距離を示している。また、姿勢情報は、上述のｘ軸、ｙ軸、ｚ軸の各軸に対する所定のカードの位置を基準とした回転の度合を示すものであり、カードそのものの姿勢を表すものである。これにより、ユーザがカードを動かした場合、カードを撮影したカメラからカード情報（カードの種類、３次元位置情報、姿勢情報）を取得する。
【００５７】
したがって、これらの情報を読み取って解析することで、合成対象画像を多種の条件に応じて多数選択させることができ、これにより、付加価値の高いサービスを提供することができる。なお、カード２０は、紙状に限定されず、樹脂性やアルミ等の金属性を有していてもよい。
【００５８】
更に、本実施形態では、カード２０に対して予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源２２から光を照射し、照射された後の変化物の輝度情報を取得することで、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【００５９】
＜合成画像表示装置１２：機能構成例＞
次に、合成画像表示装置１２の機能構成例について図を用いて説明する。なお、合成画像表示装置１２の機能構成については、携帯端末１３にて置き換えることもでき、また画像管理データベース１４における各機能も具備することもできる。
【００６０】
図２は、合成画像表示装置の機能構成の一例を示す図である。図２に示す合成画像表示装置１２は、入力手段３１と、出力手段３２と、蓄積手段３３と、撮影画像取得手段３４と、認識情報解析手段３５と、回転方向検出手段３６と、３次元位置取得手段３７と、画像情報抽出手段３８と、画像合成手段３９と、送受信手段４０と、制御手段４１とを有するよう構成されている。
【００６１】
入力手段３１は、ユーザ等からの撮影画像取得指示や、輝度情報取得指示、印字情報解析指示、熱情報取得指示、画像情報抽出指示、画像合成指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばＰＣであればキーボードや、マウス等のポインティングデバイスからなり、携帯端末１３であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影されたカード２０（情報提供媒体）の撮像部分を含む画像を入力する機能も有する。
【００６２】
また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の表示・出力を行う。なお、出力手段３２は、ディスプレイやスピーカ等からなる。更に、出力手段３２としてプリンタ等の機能を有していてもよく、その場合には、合成画像の表示結果や撮影画像、輝度情報、合成対象画像情報、印字情報、熱情報、合成画像等を表示する。更に出力手段３２は、上述の各出力内容を紙等の印刷媒体に印刷して、ユーザ等に提供することもできる。
【００６３】
なお、入力手段３１と出力手段３２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【００６４】
また、蓄積手段３３は、撮影画像取得手段３４により得られる撮影画像、認識情報解析手段３５により得られる輝度情報、回転方向検出手段３６により得られる印字情報、３次元位置取得手段３７により得られる熱情報、画像情報抽出手段３８により得られる画像情報、画像合成手段３９により得られる合成画像等の各種データを蓄積する。
【００６５】
また、蓄積手段３３は、本実施形態において、撮影画像と合成を行う合成対象画像を、カード２０等を撮影した画像から得られる変化物の輝度情報や印字情報と対応付けて蓄積する。また、蓄積手段３３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００６６】
撮影画像取得手段３４は、カメラ等の撮像装置１１により撮影されたカード２０に含まれる画像を取得する。
【００６７】
認識情報解析手段３５は、撮像手段としての撮像装置１１により撮影された撮影画像中に含まれる認識情報を解析する。なお、認識情報解析手段３５は、例えば画像に含まれる上述した少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字、正方形等）を含む図形（例えば、２次元バーコード）の座標を取得し、取得した認識情報を射影変換する。
【００６８】
また、認識情報解析手段３５は、予め設定される波長の紫外線光、赤外線光、及び可視光、再帰反射観察ライトのうち、少なくとも１つの光源から照射された後の変化物の輝度情報を取得する。これにより、予め設定される波長のライト（光源）の光を照射することにより、合成画像を変化させてユーザに提供することができる。なお、認識情報解析手段３５は、座標から枠内に記される変化物の領域の平均輝度値を輝度情報とすることもできる。これにより、誤差の少ない輝度情報を取得することができる。
【００６９】
更に、認識情報解析手段３５は、変化物に対する基本輝度値を予め設定し、撮影画像から得られる変化物の輝度情報と基本輝度値との差分（変化）値を輝度情報として取得する。なお、基本輝度値は、例えば上述した光源からの光が照射していない状態で撮影された画像から得られる変化物の輝度情報を用いることができる。これにより、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。
【００７０】
回転方向検出手段３６は、変化物により印字された認識情報の回転方向を検出する。つまり、回転方向検出手段３６は、認識情報に含まれる３点の位置を基準に、ある基準方向に対する回転方法を検出する。
【００７１】
具体的には、回転方向検出手段３６は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）等の文字読み取りツール等を用いて文字解析を行うことができる。なお、印字情報としては、認識情報２１であってもよく、文字や図形、文字、バーコード情報等を用いていてもよい。なお、印字される各種情報の具体例については後述する。
【００７２】
３次元位置取得手段３７は、回転方向検出手段により検出された状態から３次元座標を算出する。具体的には、撮影された実空間の画像に対して、認識情報に含まれる３点の位置、方向、大きさ等により実空間上の位置を、撮影した画像を基準とした３次元情報として出力する。
【００７３】
画像情報抽出手段３８は、認識情報解析手段３５により得られる認識情報、回転方向検出手段により得られる回転方向、及び３次元位置取得手段３７により得られる３次元座標の各情報のうち１又は複数の情報を用いて、合成する対象画像を少なくとも１つ抽出する。
なお、画像情報抽出手段３８が抽出するものは、画像そのものに限定されず、文字や映像、模様、文字情報等でもよい。更に、画像情報抽出手段３８は、抽出した情報に対して、実空間上にどのように表示するかを示す表示指示情報を表示する。なお、表示指示情報とは、具体的には表示される情報をどのように表示するかを示すものであり、どの位置に、どのような大きさで、どのタイミングでどの程度表示するか等の位置情報、書式情報、表示情報、時間情報等の各種情報を含んでいる。
【００７４】
画像合成手段３９は、画像情報抽出手段３８により合成対象画像（静止画、動画、文字情報等を含む）が抽出される毎に、撮影画像と合成対象画像との合成を行う。具体的には、画像合成手段３９は、画像情報抽出手段３８により得られる各種情報に対して対応する時間に合わせて文字や画像、映像を表示する。
【００７５】
なお、画像合成手段３９は、情報提供媒体の位置とは無関係に実際に撮影された実空間画像上に３次元表示として表示させることができる。つまり、画像合成手段３９は、撮影される情報提供媒体の角度、位置に対応させて、仮想空間の３次元画像モデル等を表示する。
【００７６】
このとき、画像合成手段３９は、画像情報抽出手段３８により複数の画像が得られた場合には、得られた複数の合成対象画像を全て合成してもよく、また撮影画像に対して１つの合成対象画像を時間の経過と共に順次変化させたり繰り返して表示させてもよい。
【００７７】
また、上述した画像情報抽出手段３８は、例えば所定時間の経過毎に変化物の経時的な輝度情報を取得し、その輝度情報の変化に伴い、経時的な各輝度情報に対応する合成対象画像を順次抽出することで、画像合成手段３９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。これにより、情報提供媒体を移動させなくても画像を変化させることができ、動画等をユーザに提供することができる。
【００７８】
送受信手段４０は、上述した通信ネットワーク１５等を用いて接続可能な外部装置（例えば、画像管理データベース１４等）から所望する外部画像（撮影画像や合成対象画像等）や、本発明における合成画像表示処理を実現するための実行プログラム等を取得するためのインタフェースである。
【００７９】
制御手段４１は、合成画像表示装置１２の各構成部全体の制御を行う。具体的には、制御手段４１は、例えばユーザ等による入力手段３１からの指示等に基づいて、撮影画像の取得や回転情報、輝度情報、印字情報、及び熱情報等の取得、合成対象画像の抽出、画像合成等の各処理の各制御等を行う。
【００８０】
＜認識情報２１について＞
ここで、本実施形態におけるカード２０に記される認識情報２１の具体例について図を用いて説明する。
【００８１】
図３は、認識情報の具体例を示す図である。図３に示す認識情報は、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）からなる。例えば、図３（ａ）〜（ｉ）に示すようにカード２０に１種類以上の模様（線も模様の１種に含まれる。）を付与することにより、その模様に対応した合成画像を抽出することができる。
【００８２】
例えば、図３（ａ）に示すように３つの点５１でもよく、また図３（ｂ）に示すように星型５２でもよく、図３（ｃ）のようにある所定の基準角度からの回転角度が認識できるような文字５３でもよく、図３（ｄ）に示すように、Ｌ字型の文字５４の２つの端点の１つの角の点により得られる３点を用いて位置を認識してもよい。
【００８３】
更に、図３（ｅ）に示すように、認識情報自体に文字情報や数字情報等を印字しておくことで、その文字情報等を読み取り、対応する合成対象画像を取得することができる。このとき、回転方向は、図３（ｅ）に示すように、認識情報が形成するＬ字等により取得することができる。また、図３（ｆ）に示すように、認識情報の一部又は全部に１次元バーコード５５やＱＲコード等の２次元バーコード５６を付与することで、より多くの情報を取得することができ、対応する多種の合成対象画像を取得することができる。
【００８４】
更に、図３（ｇ）に示すようにＱＲコード５７を印字してもよく、また図３（ｈ）に示すＤａｔａＭａｔｒｉｘコード５８や、図３（ｉ）に示す枠５９の中に文字を入れてもよい。また、上述した図３（ａ）〜（ｉ）は、１又は複数のカラーを用いて印字されていてもよい。これにより、認識情報や輝度情報の他に色情報を用いることでカード２０から得られる情報量が増えるため、画像合成等における各種条件に容易に多数設定することができる。
【００８５】
また、カード２０に対する光（紫外線光、赤外線光、可視光等）の照射の有無により得られる変化物の輝度情報の変化（差分）値により合成対象画像を変えて合成表示させるだけでなく、印字情報に基づいて更に多種の合成対象画像から対応する１又は複数の合成対象画像を抽出して撮影画像と合成して表示することで、より付加価値の高いサービスを提供することができる。
【００８６】
また、上述した印字情報は可視でも非可視でもよい。つまり、非可視にしておくことにより、認証等のセキュリティ情報として活用することができる。なお、本実施形態において、可視となる変化物としては、例えば日亜化学工業社の蛍光塗料として、ＣＲＴ用蛍光体（ＺｎＳ：Ａｇ，Ａｌ，ＺｎＳ：Ｃｕ，Ａｌ，Ｙ２Ｏ２Ｓ：Ｅｕ）、ランプ用蛍光体（（ＳｒＣａＢａＭｇ）５（ＰＯ４）３Ｃｌ：Ｅｕ，ＬａＰＯ４：Ｃｅ，Ｔｂ，Ｙ２Ｏ３：Ｅｕ，）、ＰＤＰ用蛍光体（ＢａＭｇＡｌ１０Ｏ１７：Ｅｕ，Ｚｎ２ＳｉＯ４：Ｍｎ，（Ｙ，Ｇｄ）ＢＯ３：Ｅｕ）、Ｘ線用蛍光体（ＣａＷＯ４，Ｇｄ２Ｏ２Ｓ：Ｔｂ）、蓄光蛍光体（Ｓｒ４Ａｌ１４Ｏ２５：Ｅｕ，Ｄｙ）、丸岡教育用品の蛍光・夜光・ＵＶ絵の具をそのまま使う。
【００８７】
また、ブラックライトカラー、アクアグロー、蛍光塗料スプレー、マジックルミノペイント、紫外線反射絵の具、サンライトマーカー等を用いることができる。
【００８８】
更に、Ｈｏｎｅｙｗｅｌｌ社の蛍光顔料として、ＬＵＭＩＬＵＸ Ｌｏｎｇ Ａｆｔｅｒｇｌｏｗ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｅｆｆｅｃｔ−Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｃ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｚ Ｐｉｇｍｅｎｔｓ，ＬＵＭＩＬＵＸ Ｒ Ｐｉｇｍｅｎｔｓ，等を用いることもできる。
【００８９】
また、根本特殊化学株式会社の夜光顔料として、Ｎ夜光（ルミノーバ）Ｇ−３００，ＧＬＬ−３００，ＧＳＳ，ＢＧ−３００，ＢＧＬ−３００，Ｖ−３００，Ｂ−３００を用いることができ、また、化成オプトニクスのＴｒｕｅ−Ｂｌｕｅシリーズの蛍光顔料、ＴＡＳＣＯ ＣＯ．，ＬＴＤのサーモクロミック顔料、東京リキッドカラー、朝日物産の示温ペイントサーマックスクリアライン等を用いることができる。更に、フルオレセイン、エオシン、ローダミンＢ、チオフラビン等の蛍光染料、紫外光で無色から橙に変化するアゾベンゼン、紫外光で無色から赤色になるジアリルエテンを用いることができる。更に、熱により色変化するＮ，Ｎ−ジエチルエチレンジアミン銅錯体（４３℃以下赤紫、４３℃以上濃紫）、溶媒によって色の変化するピリジニウムＮ−フェノキシドベタイン（メタノール：赤、エタノール：紫、イソブチルアルコール：青）、無色から塩基性で赤に変化するフェノールフタレイン。黄色から酸によって赤色に変わるキノンジイミン、更に、酸を添加すると青色に変化する材料を用いることができる。
【００９０】
また、非可視の変化物としては、例えば角度によって色が変化する雲母チタン、ポリマー多層膜、再帰反射素材を用いることができる。また、見た目は分からないが、角度によって色が見えてもよく、これらの素材はカード２０に用いることもできる。時間の経過と共に輝度情報が変化しにくい塗料を用いることができる。
【００９１】
＜再帰反射について＞
なお、本発明においては、情報提供媒体として再帰反射シートを用いることにより、更に高精度な情報を読み取ることができる。以下にその内容について説明する。なお、実施例として、再帰反射シートである積層材料からの情報読み取り方法について説明する。
【００９２】
本発明にかかる情報読み取り方法は、情報提供媒体である積層材料に光を照射し、積層材料からの再帰反射光を観察することで、積層材料に記録された情報を読み取ることを特徴とする。この情報読み取り方法は、図１に説明する装置によって実施することができる。図１に示す合成画像表示システム１０において、読み取り手段は、光源２２（白色光源）と、撮像装置１１である光検出手段（ＣＣＤカメラ）と、合成画像表示装置１２等で構成される。
【００９３】
白色の光源２２から出射した光は、再帰反射シートからなるカード２０へ向かう。カード２０へ向かった光は、カード２０に入射する。カード２０からの再帰反射光は、ＣＣＤカメラへと向かい、そこで検出される。ＣＣＤカメラによって検出された検出信号は、図１に示すように合成画像表示装置１２へ送られる。合成画像表示装置１２では、この検出信号に基づいてカード２０に記録した情報の解析を行う。
【００９４】
なお、上述した本実施形態に係るカード２０から情報を読み取るためには、光の照射方向と略同一方向から観察する必要がある。そのため、例えば光源２２とカード２０との間にハーフミラーを設けてもよい。これにより、ＣＣＤカメラは、ハーフミラーの面に対し、光源が配置された位置と反対側に設置することができ、ハーフミラーを用いることで光源２２とＣＣＤカメラとが位置的に干渉し合うことなく配置することができ、好適に再帰反射光を観測することができる。なお、本実施形態では、例えば、光源２２の位置とＣＣＤカメラの位置とを取り替えた構成としてもよい。
【００９５】
以下に、本発明の具体的な実施例を説明するが、本発明は以下の構成に限定されるものではない。
【００９６】
＜実施例１＞
・透明樹脂
（株）セイコーアドバンス社製スクリーン印刷用インキＳＧ−４１０（９０部）、トルエン（１０部）を混合し透明塗料を調製した。
・スクリーン印刷用版の作成
ナイロン製１５０メッシュスクリーンを用いて、１０ｍｍ角のＱＲ型２次元コード（１４×１４セル、コード情報：ＳＨＩＳＥＩＤＯ）の版を作成した。
・再帰反射材
再帰反射材（微小球固定層＋反射層）として、株式会社丸仁製オープン型再帰反射フィルム（ＬＩＧＨＴ ＦＯＲＣＥＴＭ ＬＦＵ−１２００、反射層：アルミニウム蒸着、ガラスビーズの直径：約４０〜５０μｍ、ビーズの埋没率：約５０％）を用いた。
・情報コードの印刷方法
上記の再帰反射材の表面（透明微小球が露出した面）に、上記のスクリーン印刷用板を使用して、スクリーン印刷機で２次元コード（透明樹脂層）の厚さが約１０μｍになるように印刷した。印刷した２次元コードは外観上目視でほとんど認識できず、再帰反射材の意匠性を損なうことはなかった。
・コード情報の読み取り解析
図１に示した装置を用いて、上で作成した積層材料に対し、コード情報の読み取りを行った。ここで、光検出手段および情報コード解析手段として、ＣＣＤカメラ付コードリーダＴＨＩＲ−３０００ＬＰ（（株）東研製））を用いた。コード情報の読み取り、解析を行った結果、実際にコード情報として記録されている「ＳＨＩＳＥＩＤＯ」と読み取ることができた。
【００９７】
＜合成画像表示システム１０：ハードウェア構成＞
ここで、上述した合成画像表示システム１０においては、各機能をコンピュータに実行させることができる実行プログラム（合成画像表示プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における合成画像表示処理等を実現することができる。
【００９８】
ここで、本実施形態における合成画像表示処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図４は、本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【００９９】
図４におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１００】
入力装置６１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置６１は、カメラ等の撮像手段から撮影された情報提供媒体を含む画像を入力する入力ユニットを有している。
【０１０１】
出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【０１０２】
なお、入力装置６１と出力装置６２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合にはユーザの指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。
【０１０３】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
【０１０４】
補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【０１０５】
メモリ装置６５は、ＣＰＵ６６により補助記憶装置６４から読み出された実行プログラム等を格納する。なお、メモリ装置６５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【０１０６】
ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置６４から取得することができ、また実行結果等を格納することもできる。
【０１０７】
ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１０８】
上述したようなハードウェア構成により、本発明における合成画像表示処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における合成画像表示処理を容易に実現することができる。
【０１０９】
＜合成画像表示処理手順＞
次に、本実施形態における合成画像表示処理手順について説明する。図５は、本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【０１１０】
図５に示す合成画像表示処理は、まずカメラ等の撮像手段により撮影された情報提供媒体を含む画像を取得し（Ｓ０１）、情報提供媒体を撮影した画像に含まれる認識情報を抽出する（Ｓ０２）。ここで、認識情報が抽出されたか否かを判断し（Ｓ０３）、認識情報が抽出されなかった場合（Ｓ０３において、ＮＯ）、Ｓ０１の処理に戻り、後続の処理を行う。
【０１１１】
また、Ｓ０３の処理において、認識情報が抽出された場合（Ｓ０３において、ＹＥＳ）、抽出された認識情報の図形に対して射影変換を行い（Ｓ０４）、その認識情報が未解析であるか否かを判断する（Ｓ０５）。ここで、未解析の場合（Ｓ０５において、ＹＥＳ）、認識情報の解析を行う。また、Ｓ０５の処理が終了後、或いはＳ０５の処理において、認識情報が解析されている場合（Ｓ０５において、ＮＯ）、その認識情報の回転方向を認識する（Ｓ０７）。
【０１１２】
また、回転情報、位置情報等から３次元座標を算出する（Ｓ０８）。また、算出された結果に基づいて、合成画像のモデル表示を行う（Ｓ０９）。更に、処理が終了するか否かを判断し（Ｓ１０）、終了しない場合（Ｓ１０において、ＮＯ）、Ｓ０１に戻って後続の処理行う。また、処理を終了する場合（Ｓ１０において、ＹＥＳ）、合成画像表示処理全体を終了する。
【０１１３】
なお、上述の処理では、現時点での輝度情報（基本輝度値）を取得したり、例えば、枠内の所定色（例えば、緑色等）の平均輝度を取得し、その内容を保存しておき、その輝度情報又は輝度情報の変化や平均輝度に応じて表示するモデルを変更してもよい。
【０１１４】
上述した処理により、付加価値性に優れた高精度な画像を提供することができる。なお、上述の処理において、入力される画像又は各処理により得られた画像は、蓄積手段３３に入力することができる。また、各処理において、入力される画像や各処理の実行経過や実行結果、ユーザに入力手段３１により指示を行われる場合等の処理を出力手段３２等により取得するようにしてもよい。
【０１１５】
＜実施例２＞
次に、実施例２として、本実施形態において表示される画像例について図を用いて説明する。図６は、本発明において表示される合成画像の一例を示す図である。
【０１１６】
まず、図６（ａ）に示す例では、カード（情報提供媒体）７０に枠７１が印字されていた。このとき、最初に撮影される画像から得られる印字情報（枠、文字情報等）の輝度情報等を用いてデータベース等から取得した合成画像７２−１，７２−２が、枠７１の座標情報に対応して画面に表示された。なお、図６（ａ）では、一例として植木鉢（合成画像）７２−１と、その植木鉢（合成画像）７２−１に植えられている苗（合成画像）７２−２が表示された。
【０１１７】
次に、図６（ｂ）に示す部分に、夜光塗料（根本特殊化学（株）ルミノーバＧ−３００）を印字しておいた。ここに、ブラックライト等の光源を照射することで、印字情報を印字した塗料の輝度情報が変化するため、図６（ａ）に示す苗（合成画像）７２−２に変わって花（合成画像）７２−３を表示させることができた。
【０１１８】
このように、本実施例では、輝度情報に対応して合成対象画像の種類を変えて合成表示させることで、多種の画像を表示させることができる。また、時間に応じて輝度が変化する塗料等を使い分けることにより、例えば、苗が成長して花が咲き、その後枯れていくような、動画等を提供することができる。また、本実施例では、画像や表示されている各画像の向きを枠の角の位置等により変えたりを、拡大、縮小表示等の表示方法を変更したり、対応する音声を表示させたりすることもできる。
【０１１９】
また、図７は、本実施形態における認識情報に対応した３次元表示の一例を示す図である。本実施形態を適用することにより、例えば図７（ａ）に示すように、画面８０上には、情報提供媒体２０の上に立体形状の立方体８１を合成表示し、更にその上に、認識情報に含まれる文字情報８２を立体表示させることができた。また、図７（ｂ）に示すように、画面８０上には、撮影された画像の実空間上を基準にして、情報提供媒体２０の認識情報から得られる文字情報８２を３次元表示することができた。図７（ｂ）の例では、画面８０上に文字情報である「ｓｈｉｓｅｉｄｏ」の文字を撮影されている画面の幅に合わせて全体表示させることができた。更に、図７（ｃ）に示すように、画面８０上には、情報提供媒体２０の上に表示される３次元形状８３の表面に文字情報８２を表示させることができた。なお、図７（ｃ）の例では、画面８０上に３次元形状８３である地球の周りを文字情報８２である「ｓｈｉｓｅｉｄｏ」の文字が回転して表示された。
【０１２０】
このように、本発明では、少なくとも３点又は３点が特定できる模様（例えば、Ｌ文字等）を含む図形（例えば、２次元バーコード）からなる認識情報を撮影した画像から、その認識情報である図形の回転方向及び３次元座標を取得し、図形により得られる情報から選択された仮想空間上の３次元情報（図形、文字含む）を回転方向及び３次元座標に対応させて実空間画像に、所定の色、大きさ、形状を任意の位置に自由に表示させることができる。
【０１２１】
＜その他の実施形態＞
ここで、上述の実施形態においては、カード等の情報提供媒体に印字された印字情報等の変化物（二次元バーコード等）を撮影し、撮影した画像から印字情報を解析することで、対応する合成画像を所定の位置に表示しているが、本発明においてはこの限りではなく、例えば情報提供媒体をディスプレイ等の表示装置とし、ディスプレイに表示されている上述した変化物を撮影した画像を取得し、取得した画像に含まれる変化物を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。なお、この実施形態では、例えば映像表示やスライド表示等により画面に表示された変化物を時間の経過と共に容易に切り換えることができ、撮影側は画面に表示される変化物を含む画像を上述したように撮影することで、その変化物に対応する立体画像を合成して動画のように表示させることができる。
【０１２２】
更に、本実施形態では、上述したように情報提供媒体に印字や表示された情報を用いるだけでなく、例えば照明を照射して地面や壁等に投影された影を変化物とし、その影を二次元コード等の付加情報を持たせて投影し、その影を撮影して得られる画像から影を解析することで、対応する立体画像を抽出し、撮影された画像にその画像を合成させた合成画像を表示させることができる。また、影の濃さ等により抽出する画像を変化させてもよい。
【０１２３】
上述したように、本発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、予め設定される波長のライト等の光源の光を照射することにより、目的の画像をユーザに提供することができる。また、設定される波長を変えることで多種の合成画像を提供することができる。
【０１２４】
また、情報提供媒体を撮影する周りの環境に依存せずに合成画像を提供することができる。また、輝度情報が変化することで、他の合成対象画像が選択されて合成表示させることができる。これにより、動画等も提供することができる。また、情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報を用いて、より多くの合成画像を提供することができ、より付加価値の高いサービスを提供することができる。更に、熱情報を用いることにより、その時の環境等に応じたサービスを提供することができる。また、変化物が非可視であっても熱情報を用いることで、合成画像を提供することができる。
【０１２５】
なお、上述の装置は、携帯端末等にも適用することができる。したがって、本発明を適用することで、例えば、ギフトカード等と組み合わせることにより、太陽にカードに当てると花が咲くようなカードサービスや、インターネット認証分野、食料品の鮮度解析等の食品検査分野、尿検査等色判断が必要な健康診断検査分野等にも適用することができる。
【０１２６】
つまり、本発明では、例えば情報提供媒体に紫外線や光源力（光の強さ）に反応する塗料材料等を塗布しておき、情報提供媒体を日光等の外光のあたる部分にセットし、これを撮影装置にて撮影し画像データを経時的に取得して、本システムに入力する。また、ＰＣや携帯端末内の画像は、時間や天候によりリアルに変化する。これにより、外光が届かない地下や建物内部の部屋や、実際に離れている場所でも、その季節・気候等に適した画像を得ることができる。
【０１２７】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１２８】
【図１】本実施形態における合成画像表示システムの機構構成の一例を示す図である。
【図２】合成画像表示装置の機能構成の一例を示す図である。
【図３】認識情報の具体例を示す図である。
【図４】本実施形態における合成画像表示処理が実現可能なハードウェア構成の一例を示す図である。
【図５】本実施形態における合成画像表示処理手順の一例を示すフローチャートである。
【図６】本発明において表示される合成画像の一例を示す図である。
【図７】本実施形態における認識情報に対応した３次元表示の一例を示す図である。
【符号の説明】
【０１２９】
１０ 合成画像表示システム
１１ 撮像装置
１２ 合成画像表示装置
１３ 携帯端末
１４ 画像管理データベース
１５ 通信ネットワーク
２０，７０ カード（情報提供媒体）
２１ 認識情報
２２ 光源
３１ 入力手段
３２ 出力手段
３３ 蓄積手段
３４ 撮影画像取得手段
３５ 認識情報解析手段
３６ 回転方向検出手段
３７ ３次元位置取得手段
３８ 画像情報抽出手段
３９ 画像合成手段
４０ 送受信手段
４１ 制御手段
５１ 点
５２ 星型
５３，５４ 文字
５５ １次元バーコード
５６ ２次元バーコード
５７ ＱＲコード
５８ ＤａｔａＭａｔｒｉｘコード
５９ 枠
６１ 入力装置
６２ 出力装置
６３ ドライブ装置
６４ 補助記憶装置
６５ メモリ装置
６６ ＣＰＵ
６７ ネットワーク接続装置
７２ 合成画像
８０ 画面
８１ 立方体
８２ 文字情報
８３ ３次元形状
【特許請求の範囲】
【請求項１】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、
前記撮像手段により撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析手段と、
前記認識情報解析手段により得られる認識情報から３次元位置を取得する３次元位置取得手段と、
前記３次元位置取得手段により得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出手段と、
前記画像情報抽出手段により抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成手段とを有することを特徴とする合成画像表示システム。
【請求項２】
前記認識情報解析手段は、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項１に記載の合成画像表示システム。
【請求項３】
前記画像情報抽出手段は、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項１又は２に記載の合成画像表示システム。
【請求項４】
前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出手段を有し、
前記画像情報抽出手段は、
前記認識情報解析手段により得られる輝度情報と、前記回転方向検出手段により得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項１乃至３の何れか１項に記載の合成画像表示システム。
【請求項５】
前記認識情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項１乃至４の何れか１項に記載の合成画像表示システム。
【請求項６】
前記画像合成手段は、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項１乃至５の何れか１項に記載の合成画像表示システム。
【請求項７】
前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする請求項１乃至６の何れか１項に記載の合成画像表示システム。
【請求項８】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、
前記撮像ステップにより撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析ステップと、
前記認識情報解析ステップにより得られる認識情報から３次元位置を取得する３次元位置取得ステップと、
前記３次元位置取得ステップにより得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにより抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成ステップとを有することを特徴とする合成画像表示方法。
【請求項９】
前記認識情報解析ステップは、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項８に記載の合成画像表示方法。
【請求項１０】
前記画像情報抽出ステップは、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項８又は９に記載の合成画像表示方法。
【請求項１１】
前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出ステップを有し、
前記画像情報抽出ステップは、
前記認識情報解析ステップにより得られる輝度情報と、前記回転方向検出ステップにより得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項８乃至１０の何れか１項に記載の合成画像表示方法。
【請求項１２】
前記認識情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項８乃至１１の何れか１項に記載の合成画像表示方法。
【請求項１３】
前記画像合成ステップは、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項８乃至１２の何れか１項に記載の合成画像表示方法。
【請求項１４】
前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする請求項８乃至１３の何れか１項に記載の合成画像表示方法。
【請求項１５】
コンピュータに、請求項１乃至７の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させることを特徴とする合成画像表示プログラム。
【請求項１】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示システムにおいて、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像手段と、
前記撮像手段により撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析手段と、
前記認識情報解析手段により得られる認識情報から３次元位置を取得する３次元位置取得手段と、
前記３次元位置取得手段により得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出手段と、
前記画像情報抽出手段により抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成手段とを有することを特徴とする合成画像表示システム。
【請求項２】
前記認識情報解析手段は、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項１に記載の合成画像表示システム。
【請求項３】
前記画像情報抽出手段は、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成手段は、前記画像情報抽出手段により前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項１又は２に記載の合成画像表示システム。
【請求項４】
前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出手段を有し、
前記画像情報抽出手段は、
前記認識情報解析手段により得られる輝度情報と、前記回転方向検出手段により得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項１乃至３の何れか１項に記載の合成画像表示システム。
【請求項５】
前記認識情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項１乃至４の何れか１項に記載の合成画像表示システム。
【請求項６】
前記画像合成手段は、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項１乃至５の何れか１項に記載の合成画像表示システム。
【請求項７】
前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする請求項１乃至６の何れか１項に記載の合成画像表示システム。
【請求項８】
撮影された画像の所定の位置に他の画像を合成して表示する合成画像表示方法において、
予め設定された光の照射後、時間の経過と共に輝度が変化する変化物により所定の情報が記された情報提供媒体を撮像する撮像ステップと、
前記撮像ステップにより撮影された画像中に含まれる所定形状からなる認識情報及び輝度情報を解析する認識情報解析ステップと、
前記認識情報解析ステップにより得られる認識情報から３次元位置を取得する３次元位置取得ステップと、
前記３次元位置取得ステップにより得られる３次元座標を用いて、予め蓄積された複数の合成対象画像のうち、前記認識情報に対応する画像を抽出する画像情報抽出ステップと、
前記画像情報抽出ステップにより抽出された合成対象画像を前記撮影画像の実空間を基準にして立体合成し、合成された画像を表示する画像合成ステップとを有することを特徴とする合成画像表示方法。
【請求項９】
前記認識情報解析ステップは、
予め設定される波長の紫外線光、赤外線光、及び可視光のうち、少なくとも１つの光源から照射された後の前記変化物の輝度情報を取得することを特徴とする請求項８に記載の合成画像表示方法。
【請求項１０】
前記画像情報抽出ステップは、前記認識情報を印字したときの前記変化物の経時的な輝度情報の変化に伴い、所定時間毎における各輝度情報に対応する合成対象画像を順次抽出し、
前記画像合成ステップは、前記画像情報抽出ステップにより前記合成対象画像が抽出される毎に、前記撮影画像と前記合成対象画像との合成を行うことを特徴とする請求項８又は９に記載の合成画像表示方法。
【請求項１１】
前記変化物により前記情報提供媒体に記された認識情報の向きを解析する回転方向検出ステップを有し、
前記画像情報抽出ステップは、
前記認識情報解析ステップにより得られる輝度情報と、前記回転方向検出ステップにより得られる回転情報とに基づいて、合成する対象画像を抽出することを特徴とする請求項８乃至１０の何れか１項に記載の合成画像表示方法。
【請求項１２】
前記認識情報は、
文字、図形、模様、画像及びバーコード情報のうち、少なくとも１つであることを特徴とする請求項８乃至１１の何れか１項に記載の合成画像表示方法。
【請求項１３】
前記画像合成ステップは、
前記撮影画像に含まれる前記情報提供媒体の位置、角度、向きのうち少なくとも１つを含む姿勢情報、及び前記輝度情報に基づいて、前記合成対象画像に対して、表示、非表示、大きさ、位置、方向を制御することを特徴とする請求項８乃至１２の何れか１項に記載の合成画像表示方法。
【請求項１４】
前記光源は、再帰反射観察ライトであり、前記情報提供媒体は、再帰反射シートであることを特徴とする請求項８乃至１３の何れか１項に記載の合成画像表示方法。
【請求項１５】
コンピュータに、請求項１乃至７の何れか１項に記載の合成画像表示システムの各手段に係る処理を実行させることを特徴とする合成画像表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１５７０３５（Ｐ２０１０−１５７０３５Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３３８４８（Ｐ２００８−３３３８４８）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５９３００６６３０）学校法人立命館 (359)
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５９３００６６３０）学校法人立命館 (359)
【出願人】（０００００１９５９）株式会社資生堂 (1,748)
【Ｆターム（参考）】
[ Back to top ]