非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
【課題】付加価値性に優れた高精度な画像又はサービスを提供する。
【解決手段】取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することにより上記課題を解決する。
【解決手段】取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムに係り、特に効率的な情報の取得により付加価値性に優れた高精度な画像を提供するための非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムに関する。
【背景技術】
【０００２】
従来では、例えば模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させるシステムツール等が存在する（例えば、非特許文献１参照）。
【０００４】
更に、所定の画像パターンに対応する識別情報を有する対象画像を取得し、取得された対象画像の中から、識別情報を認識し、予め登録された複数の処理の中から認識された識別情報に対応する所定の処理を実行し、対象画像を所定の表示領域内に表示し、表示された対象画像内の所定の２個以上の位置の位置情報を取得し、取得された２個以上の位置の位置情報に基づく向き及び位置に、認識された識別情報に対応する画像を描画する画像処理技術が知られている（例えば、特許文献２参照）。
【０００５】
また、従来では、動画像に人間の知覚（視覚、聴覚）特性を利用し、静止画、動画、オーディオ等のディジタルコンテンツに対して、コンテンツとは別の情報を人間に知覚できないように埋め込む電子透かし技術が知られている（例えば、特許文献３，４参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３２０７６号公報
【特許文献２】特開２０００−８２１０７号公報
【特許文献３】国際公開第２００５／０７４２４８号パンフレット
【特許文献４】国際公開第２００７／０１５４５２号パンフレット
【非特許文献】
【０００７】
【非特許文献１】"ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／"、「ＡＲＴｏｏｌＫｉｔ」
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。
【０００９】
そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
【００１０】
また、上述した非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。更に、従来技術では、表示させる画像は、識別情報を含むカード等の位置を基準に表示させるものであるため、表示の仕方に制限があり、例えば３次元映像等を表示させることはできなった。
【００１１】
また、電子透かし技術を用いて情報を画像に埋め込む場合、画面の一部に埋め込んでしまうと、画像中のどの部分に電子透かしの情報が入っているかを判別することができなかったため、画像全体にデータを埋め込まなければならなかった。そのような場合、例えばテレビに表示された映像に含まれる部分的な物体（例えば、花や人等）に対してのみに情報を埋め込むことができず、結果として画面上に表示されている物体の全てについての情報を取得しなければならない。そのため、ユーザが求めていない余計な情報をも取得せざるを得なかった。また、テレビ画面全体に電子透かしが埋め込まれている場合には、それを携帯電話等に設けられたレンズで撮影して認識する際、かなり離れて位置で撮影する必要が生じていた。
【００１２】
本発明は、上述した課題に鑑みてなされたものであって、効率的な情報の取得により付加価値性に優れた高精度な画像を提供するための非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１４】
請求項１に記載された発明は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することを特徴とする。
【００１５】
請求項１記載の発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【００１６】
請求項２に記載された発明は、前記画像合成手段により合成される前記非可視化情報の形態を設定する非可視化情報設定手段と、前記非可視化情報設定手段により設定された非可視化情報から合成用の画像を生成する非可視化情報生成手段とを有することを特徴とする。
【００１７】
請求項３に記載された発明は、前記非可視化情報設定手段は、前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする。
【００１８】
請求項４に記載された発明は、前記画像合成手段は、前記画像解析手段により取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする。
【００１９】
請求項５に記載された発明は、取得した画像に含まれる非可視化情報を認識する非可視化情報認識装置において、前記画像から非可視化情報を抽出する非可視化情報抽出手段と、前記非可視化情報抽出手段により前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる付加情報から画面に表示する表示情報を生成する表示情報生成手段とを有することを特徴とする。
【００２０】
請求項６に記載された発明は、前記非可視化情報抽出手段は、前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする。
【００２１】
請求項７に記載された発明は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込方法において、前記画像に含まれる物体情報及び位置情報を取得する画像解析ステップと、前記画像解析ステップにより得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定ステップと、前記埋込対象画像判定ステップにより得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成ステップとを有することを特徴とする。
【００２２】
請求項８に記載された発明は、前記画像合成ステップにより合成される前記非可視化情報の形態を設定する非可視化情報設定ステップと、前記非可視化情報設定ステップにより設定された非可視化情報から合成用の画像を生成する非可視化情報生成ステップとを有することを特徴とする。
【００２３】
請求項９に記載された発明は、前記非可視化情報設定ステップは、前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする。
【００２４】
請求項１０に記載された発明は、前記画像合成ステップは、前記画像解析ステップにより取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする。
【００２５】
請求項１１に記載された発明は、取得した画像に含まれる非可視化情報を認識する非可視化情報認識方法において、前記画像から非可視化情報を抽出する非可視化情報抽出ステップと、前記非可視化情報抽出ステップにより前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析ステップと、前記非可視化情報解析ステップにより得られる付加情報から画面に表示する表示情報を生成する表示情報生成ステップとを有することを特徴とする。
【００２６】
請求項１２に記載された発明は、前記非可視化情報抽出ステップは、前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする。
【００２７】
請求項１３に記載された発明は、コンピュータを、請求項１乃至４の何れか１項に記載の非可視化情報埋込装置として機能させることを特徴とする非可視化情報埋込プログラムである。
【００２８】
請求項１４に記載された発明は、コンピュータを、請求項５又は６に記載の非可視化情報認識装置として機能させることを特徴とする非可視化情報認識プログラムである。
【００２９】
請求項１３，１４記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理を容易に実現することができる。
【発明の効果】
【００３０】
本発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本実施形態における非可視化情報埋込装置の機能構成の一例を示す図である。
【図２】本実施形態における非可視化情報認識装置の機能構成の一例を示す図である。
【図３】本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なハードウェア構成の一例を示す図である。
【図４】本実施形態における非可視化情報埋込処理手順の一例を示すフローチャートである。
【図５】本実施形態における非可視化情報認識処理手順の一例を示すフローチャートである。
【図６】画像の一例を示す図である。
【図７】非可視化情報の一例を示す図である。
【図８】付加情報の具体的な埋め込み例について説明するための図である。
【図９】低周波部又は高周波部の模様を説明するための図である。
【図１０】コードの埋め込みの実施例を示す図である。
【図１１】グリッドに対するコードの埋め込み例を示す図である。
【図１２】低周波部のコードの埋め込みの一例を示す図である。
【図１３】高周波部のコードの埋め込みの一例を示す図である。
【図１４】非可視化情報を抽出するための一例を示す図である。
【図１５】実際の非可視化情報を抽出する例を示す図である。
【図１６】非可視化情報の認識結果の一例を示す図である。
【図１７Ａ】非可視化情報が付加された画像例を示す図（その１）である。
【図１７Ｂ】非可視化情報が付加された画像例を示す図（その２）である。
【図１７Ｃ】非可視化情報が付加された画像例を示す図（その３）である。
【図１７Ｄ】非可視化情報が付加された画像例を示す図（その４）である。
【図１７Ｅ】非可視化情報が付加された画像例を示す図（その５）である。
【図１７Ｆ】非可視化情報が付加された画像例を示す図（その６）である。
【図１７Ｇ】非可視化情報が付加された画像例を示す図（その７）である。
【図１７Ｈ】非可視化情報が付加された画像例を示す図（その８）である。
【図１８】非可視化情報の他の実施例を示す図である。
【図１９】比較結果の一例を示す図である。
【図２０】非可視化確認試験に用いた画像の一例を示す図である。
【発明を実施するための形態】
【００３２】
＜本発明ついて＞
本発明では、例えば画面に表示される画像や映像、又は紙やハガキ、ポスター、カード等の各種印刷媒体等に対して、肉眼では認識不可能な加工により非可視化情報（マーカー）を画像全体に対して部分的に埋め込み、デジタルカメラや携帯端末に設けられたカメラ等の撮影手段によって、その画像や映像、印刷媒体等の一部を撮影し、撮影された画像や映像等を、パソコンや携帯端末等に取り込みフィルタ等を用いて画像処理することで、埋め込まれたマーカーを認識する。また本発明は、例えば携帯端末等のような容量や性能が制限された機種でも埋め込まれたマーカーの認識が実施可能となるマーカーの埋込方法と、画像処理を組み合わせたマーカー認識を可能にする。更に、本発明では、認識されマーカーの情報から撮影された画像や映像等に対応する付加価値情報を取得する。
【００３３】
以下に、本発明における非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムを好適に実施した形態について、図面を用いて説明する。なお、本実施形態において説明する「画像」とは、写真等の１枚の画像も、映像における連続したフレーム単位の画像も含まれるものとする。
【００３４】
＜非可視化情報埋込装置：機能構成例＞
ここで、本実施形態における非可視化情報埋込装置の機能構成例について図を用いて説明する。図１は、本実施形態における非可視化情報埋込装置の機能構成の一例を示す図である。
【００３５】
図１に示す非可視化情報埋込装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、画像取得手段１４と、画像解析手段１５と、埋込対象画像判定手段１６と、非可視化情報設定手段１７と、非可視化情報生成手段１８と、画像合成手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
【００３６】
入力手段１１は、ユーザ等からの画像取得指示や、画像解析指示、埋込対象画像判定指示、埋込情報設定指示、埋込情報生成指示、画像合成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段１１は、例えばパソコン等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段１１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像等を入力する機能も有する。なお、上述の撮像手段は、非可視化情報認識装置３０内に設けられていてもよく、外部の機能構成であってもよい。
【００３７】
出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段１２は、取得した画像や、画像解析結果、埋込対象画像判定結果、設定された非可視化情報、生成された非可視化情報、非可視化情報が合成された合成画像、各構成における処理の結果等の画面表示や音声出力等を行う。なお、出力手段１２は、ディスプレイやスピーカ等からなる。
【００３８】
更に、出力手段１２は、プリンタ等の印刷機能を有していてもよく、上述の各出力内容を、例えば紙やハガキ、ポスター等の各種印刷媒体等に印刷してユーザ等に提供することもできる。
【００３９】
蓄積手段１３は、本実施形態において必要となる各種情報や埋込処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段１３は、入力又は予め蓄積されている画像取得手段１４で取得される撮影等により得られた１又は複数の画像或いは映像を取得する。また、蓄積手段１３は、画像解析手段１５にて解析された結果や埋込対象画像判定手段１６における判定結果、非可視化情報設定手段１７による設定内容、非可視化情報生成手段１８により生成された埋込情報、画像合成手段１９により合成された画像等を蓄積する。また、蓄積手段１３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００４０】
画像取得手段１４は、情報を埋め込む対象となる画像や映像等を取得する。なお、画像や映像等は、例えばカメラ等の撮像手段により得られる画像や映像等でもよく、ポスターや写真、カード、シール等に適用される対象画像等であってもよい。また、画像取得手段１４は、送受信手段２０を介して通信ネットワーク上に接続される外部の装置で撮影された情報やデータベース等に蓄積された画像や映像等を取得することもでき、また、入力手段１１を介して実際にユーザ等がカメラ等で撮影した画像を用いてもよい。
【００４１】
画像解析手段１５は、画像取得手段１４にて取得した画像を解析して画像中に含まれる内容を解析する。具体的には、画像中のどの部分（位置、領域）にどのような物体が映し出されているか、又は、映像中において物体がどのように移動しているか等、物体情報及び座標等からなる物体の位置情報を取得する。例えば、物体が人物の場合、画像解析手段１５は、顔の特徴部分から顔検出を行ってもよく、また顔の特徴量を数値化し、その結果により人物特定をおこなってもよい。
【００４２】
埋込対象画像判定手段１６は、画像解析手段１５によって解析された結果に基づいて、その画像に映し出された物体が予め設定された非可視化情報の埋め込み対象であるか否かを判定する。なお、埋込対象画像判定手段１６において、物体が非可視化情報を埋め込む情報であるか否かは、ユーザ等により予め埋込判定情報が設定され、蓄積手段１３等に蓄積しておき、その埋込判定情報により判定してもよく、又は、その物体に対する付加情報が蓄積手段１３に蓄積されているかを検索し、もし付加情報が蓄積されている場合には、埋込対象物体であると判定してもよい。
【００４３】
したがって、例えば、画像解析手段１５によって画像を解析した結果、画像の一部にパソコンの画像が含まれていると解析された場合、埋込対象画像判定手段１６は、パソコンに関する付加情報が蓄積手段１３に蓄積されているか否かを判断し、パソコンに関する付加情報が存在する場合には、そのパソコンを埋込対象画像と判定することができる。なお、埋め込む内容（付加情報）は、例えば非可視化情報設定手段１７等において設定することができる。また、設定された内容は、蓄積手段１３に蓄積される。
【００４４】
また、埋込対象画像判定手段１６は、画像中に複数の物体が存在する場合、それぞれの物体が埋め込み対象であるとして出力する。なお、画像中に複数の物体が存在する場合には、全ての物体を埋め込み対象に設定してもよく、また少なくとも１つの物体を埋め込み対象に設定してもよい。この場合には、物体に対して、予め設定される優先度や、その物体の画面全体に対する表示領域の位置、映像であれば、その物体が表示されていた時間等により任意に設定することができ、それらの埋込詳細情報も蓄積手段１３に蓄積される。
【００４５】
非可視化情報設定手段１７は、物体情報に基づいて、どのような情報を付加情報として埋め込むのか、その具体的な情報の中身を設定する。例えば、物体情報が財布や洋服等の場合には、そのブランド名や商品名、値段、ホームページのアドレス等を設定し、物体情報が人物である場合には、その人物の氏名、年齢、性別、身長、趣味、経歴等を設定し、物体情報が本である場合には、その本のタイトル、著者、発行日、値段、著者に関する情報等を設定する。なお、非可視化情報設定手段１７にて設定される付加情報としては、映像、画像等が含まれる。
【００４６】
また、非可視化情報設定手段１７は、どのような形態で情報を付加するのかを設定する。例えば、付加情報は、特定の暗号化された文字であるのか、或いは模様や記号、コード情報等であるのか、又は表示サイズ等を設定する。なお、コード情報等の場合には、非可視化情報認識装置側で、そのコードに対する情報が取得できるように対応データベースが設けられていることが好ましい。上述したように、複数の形態から設定することができるため、埋め込み対象の画像の内容に応じて適切な埋め込み情報を選択して設定することができる。
【００４７】
非可視化情報生成手段１８は、埋込対象画像に埋め込む画像を生成する。非可視化情報生成手段１８は、直接文字情報として生成してもよく、コード情報として生成してもよい。なお、コード情報としては、例えばＱＲコード等の２次元バーコード等を使用することができる。また、本実施形態において、コード情報はＱＲコードに限定されず、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ−７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ Ｍａｔｒｉｘ、Ｍａｘｉ Ｃｏｄｅ等のバーコードを用いることもできる。
【００４８】
更に、非可視化情報生成手段１８は、埋め込んだ情報が実際にユーザに提供される画像に対して見えにくくするために埋込対象となる情報を原画像の色情報を基準にして低周波部と高周波部とを用いた画像、又は、低周波部のみ或いは高周波部のみを用いた画像を生成する。なお、低周波部とは、非可視化情報を埋め込む部分の原画像の明度を基準としてそれより明度を低くした部分又は領域を示し、高周波部とは、上述した原画像の明度を基準として、それより明度を高くした部分又は領域を示す。非可視化情報生成手段１８における非可視化情報の詳細については後述する。また、非可視化情報生成手段１８は、画像中のどの位置に非可視化情報を埋め込むかを座標情報として取得する。
【００４９】
なお、本実施形態において、埋込情報を埋め込む際、例えば画像中に表示されている物体の位置上又はその周辺に、その物体に対応する埋込情報が埋め込まれているのが好ましく、この場合には、画像解析手段１５により得られた物体位置情報を基準として対象画像に埋込画像の合成を行う。つまり、本実施形態によれば、画像全体に対して１つの埋め込み情報を付与するのではなく、複数の非可視化情報を適切な場所に埋め込むことができる。
【００５０】
画像合成手段１９は、画像解析手段１５により得られる画像と、その画像の物体情報、及び座標情報等からなる物体位置情報とに基づいて、非可視化情報生成手段１８にて生成された非可視化情報を所定の位置に埋め込んで画像を合成する。
【００５１】
なお、画像合成手段１９は、合成対象の画像が映像の場合、再生中の映像における物体の移動に対して追随して移動し、その物体上に非可視化情報が埋め込まれるようにすることができる。つまり、画像合成手段１９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。
【００５２】
送受信手段２０は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像や合成画像等）や、本発明における非可視化情報埋込処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段２０は、非可視化情報埋込装置１０内で生成された各種情報を外部装置に送信することができる。
【００５３】
制御手段２１は、非可視化情報埋込装置１０の各構成部全体の制御を行う。具体的には、制御手段２１は、例えばユーザ等による入力手段１１からの指示等に基づいて、画像の取得や画像解析、埋込対象画像であるか否かの判断、非可視化情報の設定並びに設定、画像合成等の各処理の各制御等を行う。なお、非可視化情報設定手段１７における非可視化情報や非可視化情報生成手段１８における非可視化情報は、予め設定や生成をしておき蓄積手段１３に蓄積させていてもよい。
【００５４】
＜非可視化情報認識装置：機能構成例＞
ここで、本実施形態における非可視化情報認識装置の機能構成例について図を用いて説明する。図２は、本実施形態における非可視化情報認識装置の機能構成の一例を示す図である。
【００５５】
図２に示す非可視化情報認識装置３０は、入力手段３１と、出力手段３２と、蓄積手段３３と、埋込画像取得手段３４と、非可視化情報抽出手段３５と、非可視化情報解析手段３６と、表示情報生成手段３７と、送受信手段３８と、制御手段３９とを有するよう構成されている。
【００５６】
入力手段３１は、ユーザ等からの埋込画像取得指示や、非可視化情報抽出指示、非可視化情報解析指示、表示情報生成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばパソコン等の汎用コンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像を入力する機能も有する。なお、上述の撮像手段は、非可視化情報認識装置３０内に設けられていてもよく、外部の機能構成であってもよい。
【００５７】
また、入力手段３１は、紙やハガキ、ポスター、写真、カード等の印刷媒体から埋込画像を取得することができる。この場合、カメラ等の撮像手段や、スキャナ機能等を用いてデータを読み取る機能を備える。
【００５８】
また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段３２は、表示情報生成手段３７により得られる画像や映像に表示される物体に対する付加情報等を出力する。なお、出力手段３２は、ディスプレイやスピーカ等からなる。
【００５９】
更に、出力手段３２は、プリンタ等の印刷機能を有していてもよく、上述の物体に対する付加情報等の各出力内容を、例えば紙等の各種印刷媒体に印刷してユーザ等に提供することもできる。
【００６０】
蓄積手段３３は、本実施形態において必要となる各種情報や非可視化情報認識処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段３３は、埋込画像取得手段３４で取得した埋込画像や、非可視化情報抽出手段３５で取得した非可視化情報（マーカー）、非可視化情報解析手段３６により解析した非可視化情報、表示情報生成手段３７で生成された表示内容等を蓄積する。
【００６１】
更に、蓄積手段３３は、非可視化情報解析手段３６によって解析されたデータに対する関連情報を蓄積することができる。例えば、非可視化情報があるコード情報（文字コード、２次元コード等も含む）等であった場合には、そのコード情報に対応する各種データ（例えば、コード情報に対応する物体に対する詳細情報（文字、映像、画像、音声等）、データを画面に表示するときのサイズ、色、時間、位置、動作内容等）を蓄積手段３３に蓄積しておく。また、蓄積手段３３は、コード等を取得したときや、その他の必要に応じて蓄積されている各種データを読み出すことができる。
【００６２】
埋込画像取得手段３４は、蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される外部装置から埋込画像を取得する。なお、埋込画像には、映像も含まれる。
【００６３】
非可視化情報抽出手段３５は、抽出された埋込画像に含まれる非可視化情報を抽出する。具体的には、非可視化情報抽出手段３５は、入力される埋込画像に対して、ある所定の周波数によるフィルタリングを行い、画像中に埋め込まれていた非可視化情報を取得する。なお、画像中に複数の非可視化情報がある場合には、全ての非可視化情報を抽出する。
【００６４】
また、非可視化情報抽出手段３５は、どの位置から非可視化情報を抽出したかの非可視化情報抽出位置情報も取得する。なお、非可視化情報抽出手段３５は、取得した各種情報を蓄積手段３３に蓄積させる。
【００６５】
非可視化情報解析手段３６は、非可視化情報抽出手段３５により得られた非可視化情報が実際には、どのような付加価値データが含まれているのかを解析する。なお、本実施形態における非可視化情報解析手段３６は、バーコードを読み取るバーコードリーダ等の読み取り機能を有しており、例えば、非可視化情報が２次元バーコードである場合には、その２次元バーコードから読み取り機能等を用いて情報を取得し、その取得した内容（例えば、コードＩＤ等）をキーにして、蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置等を検索し、検索した結果、キーに対応する付加情報があれば、その情報を取得する。
【００６６】
表示情報生成手段３７は、非可視化情報解析手段３６により得られた結果を画面に表示する表示情報を生成する。なお、表示方法としては、画面上に別枠（別ウィンドウ）を設けて説明してもよく、対応する物体が表示されている位置上に表示してもよく、音声により出力してもよい。
【００６７】
また、表示情報生成手段３７は、取得した非可視化情報をそのまま可視化して表示してもよく、非可視化情報に対応する付加情報を蓄積手段３３や外部装置等から取得して、その取得した付加情報を表示してもよい。
【００６８】
更に、表示情報生成手段３７は、非可視化情報解析手段３６により得られた結果を表示する場合、上述したコードＩＤ等に基づいて蓄積手段３３等から取得した付加情報毎に設定されている画面に表示するときのサイズ、色、時間、位置、動作内容等に基づいて表示させるための表示情報を生成する。なお、映像として対象物体が移動している場合には、その物体の位置に追随して表示させてもよく、また、最初に画面に表示した位置に固定して表示させてもよい。
【００６９】
送受信手段３８は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像等）や、本発明における非可視化情報認識処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段３８は、非可視化情報認識装置３０内で生成された各種情報を外部装置に送信することができる。
【００７０】
制御手段３９は、非可視化情報認識装置３０の各構成部全体の制御を行う。具体的には、制御手段３９は、例えばユーザ等による入力手段３１からの指示等に基づいて、埋込画像の取得や非可視化情報の抽出、非可視化情報の解析、表示情報の生成等の各処理の各制御等を行う。
【００７１】
上述した装置構成により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【００７２】
＜非可視化情報解析手段３６における付加情報の取得例＞
ここで、上述した非可視化情報解析手段３６における付加情報の取得例について説明する。上述したように、非可視化情報解析手段３６は、非可視化情報から得られる情報がコードＩＤ等であった場合には、そのコードＩＤ等をキーにして蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置を検索し、対応する付加情報を取得する。
【００７３】
具体的に説明すると、例えば非可視化情報認識装置３０が「スタンドアロン型」である場合には、非可視化情報から取得したコードＩＤをキーにして蓄積手段３３を検索し、検索で得られた結果を取得する。また、非可視化情報認識装置３０が通信ネットワークにより外部装置と接続された「ネットワーク型」である場合には、非可視化情報から取得したコードＩＤをキーにして外部装置にアクセスし、外部装置内にあるデータ群からコードＩＤに対応する情報を検索し、対応する付加情報を外部装置から取得する。
【００７４】
＜非可視化情報埋込装置１０、非可視化情報認識装置３０：ハードウェア構成＞
ここで、上述した非可視化情報埋込装置１０及び非可視化情報認識装置３０においては、各機能をコンピュータに実行させることができる実行プログラム（非可視化情報埋込プログラム、非可視化情報認識プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における非可視化情報埋込処理及び非可視化情報認識処理等を実現することができる。
【００７５】
ここで、本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なハードウェア構成の一例を示す図である。
【００７６】
図３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７７】
入力装置４１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置４１は、カメラ等の撮像手段から撮影された画像を入力する画像入力ユニットを有している。
【００７８】
出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７９】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。
【００８０】
補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行うことができる。
【００８１】
メモリ装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００８２】
ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また実行結果等を格納することもできる。
【００８３】
ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８４】
上述したようなハードウェア構成により、本発明における非可視化情報埋込処理及び非可視化情報認識処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理及び非可視化情報認識処理を容易に実現することができる。
【００８５】
次に、非可視化情報埋込処理及び非可視化情報認識処理について具体的に説明する。
【００８６】
＜非可視化情報埋込処理手順＞
まず、本実施形態における非可視化情報埋込処理手順について説明する。図４は、本実施形態における非可視化情報埋込処理手順の一例を示すフローチャートである。
【００８７】
図４に示す非可視化情報埋込処理は、まずカメラ等の撮像手段により撮影された画像を取得し（Ｓ０１）、画像の解析を行い（Ｓ０２）、画像中に含まれる物体情報、物体位置情報等を取得する。
【００８８】
次に、Ｓ０２の処理にて得られた情報に基づいて埋込対象画像の判定を行い（Ｓ０３）、その物体に対して非可視化情報（マーカー）を埋め込むか否かを判断する（Ｓ０４）。ここで、非可視化情報を埋め込む場合（Ｓ０４において、ＹＥＳ）、非可視化情報を設定し（Ｓ０５）、Ｓ０５の処理により設定された非可視化情報に基づいて、画像に合成する非可視化情報を生成する（Ｓ０６）。
【００８９】
また、Ｓ０６の処理にて生成された非可視化情報を画像の所定位置に合成して（Ｓ０７）、合成画像をディスプレイ等の出力手段により表示又はデータとして出力する（Ｓ０８）。
【００９０】
Ｓ０８の処理終了後又はＳ０４の処理において、非可視化情報を埋め込まない場合（Ｓ０４において、ＮＯ）、他の画像に非可視化情報を埋め込むか否かを判断する（Ｓ０９）。他の画像に非可視化情報を埋め込む場合（Ｓ０９において、ＹＥＳ）、Ｓ０１に戻り以降の処理を繰り返し実行する。また、Ｓ０９の処理において、他の画像に非可視化情報を埋め込まない場合（Ｓ０９において、ＮＯ）、非可視化情報埋込処理を終了する。
【００９１】
＜非可視化情報認識処理手順＞
次に、本実施形態における非可視化情報認識処理手順について説明する。図５は、本実施形態における非可視化情報認識処理手順の一例を示すフローチャートである。
【００９２】
図５に示す非可視化情報認識処理は、埋込画像を取得し（Ｓ１１）、取得した画像から非可視化情報を抽出する（Ｓ１２）。
【００９３】
次に、Ｓ１２の処理において、画像から非可視化情報が抽出されたか否かを判断し（Ｓ１３）、非可視化情報が抽出された場合（Ｓ１３において、ＹＥＳ）、非可視化情報の解析を行う（Ｓ１４）。また、非可視化情報の解析結果により得られた情報から画面等に表示する表示情報を生成し（Ｓ１５）、生成した内容を表示する（Ｓ１６）。
【００９４】
ここで、他の画像から非可視化情報を認識するか否かを判断し（Ｓ１７）、他の画像から非可視化情報を認識する場合（Ｓ１７において、ＹＥＳ）、Ｓ１１に戻り以降の処理を繰り返し実行する。また、Ｓ１７の処理において、他の画像から非可視化情報を認識しない場合（Ｓ１７において、ＮＯ）、非可視化情報認識処理を終了する。
【００９５】
上述した処理により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理を容易に実現することができる。
【００９６】
＜非可視化情報について＞
ここで、本実施形態における非可視化情報について具体的に説明する。なお、非可視化情報としては、文字や数字、記号、マーク、模様、色彩、１次元コード、２次元コード等を用いることができる。ここでは、一例として２次元コードを用いて説明する。
【００９７】
図６は、画像の一例を示す図である。図６に示す画像５０では、机５１の上に、本５２、財布５３、ノート型パソコン５４、腕時計５５が置かれている。本実施形態では、画像解析手段１５にて画像に含まれるこれらの物体情報とそれらの位置情報を取得する。ここで、埋込対象画像判定手段１６において、財布５３、ノート型パソコン５４、及び腕時計５５に関連情報があり、非可視化情報を生成するとする。なお、非可視化情報を生成するか否かの判断やどんな物体情報を生成するかは、ユーザ等が任意に行ってもよい。
【００９８】
したがって、図６の例では、財布５３、ノート型パソコン５４、及び腕時計５５がそれぞれ表示されている位置上又はその周辺の所定の領域に２次元コードからなる非可視化情報５６−１〜５６−３が重畳により合成され合成画像が生成される。
【００９９】
ここで、図７は、非可視化情報の一例を示す図である。なお、図７には、２次元コードを用いた２種類の非可視化情報６０−１，６０−２が示されている。図７に示す非可視化情報６０−１は、最外枠には低周波層６１−１を有し、その内側には高周波層６２−１を有し、更にその内側にコード部６３−１が構成されている。
【０１００】
通常、画像の一部に情報を埋め込むと、画像中のどの部分にコード部が埋め込まれているのかが判別できないため画像全体にコードを埋め込んでいたが、本実施形態では、コード部６３−１を、低周波層６１−１と高周波層６２−１とで囲むため、周波数をある所定の周波数（例えば、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）等）でフィルタリングして、何れかを黒色等の単色又は画像の色とは異なる複数色で表記することにより２次元コードが浮かびあがることになる。したがって、フィルタリングを行うことで、コード領域を抽出することができ、画像の一部にコードが埋め込まれていても効率的に２次元コードを読み取ることができる。
【０１０１】
また、本実施形態では、図７の非可視化情報６０−２に示すように、最外枠には高周波層６２−２を有し、その内側には低周波層６１−２を有し、更にその内側にコード部６３−２が構成されていても、上述した非可視化情報６０−１の場合と同様の効果を得ることができる。
【０１０２】
なお、コードが埋め込まれる領域は、正方形が好ましいが、本発明においてはこれに限定される、長方形、菱形、円形等の予め設定された領域であれば、どの領域にも適用することができる。
【０１０３】
なお、２次元コードには、向き情報が必要であるが、本実施形態では、コードの向きを画像の上下左右に合わせて合成する。したがって、例えばテレビ画面上の映像を携帯端末が具備するカメラで撮影する場合、通常、携帯端末の向きはテレビ画面に正対させるため、方向情報は、ある特定の向きに限られる。そのため、方向を示す情報を２次元コードに付する必要がなくなる。このように、２次元コードの認識の際には、向き情報を取得せずに入力された画像が固定した向きを示しているため、コード自体に向き情報を入れる必要がない。そのため、他の多くの情報を入れることができ、更に、コード認識時にも向き情報を解析する必要がないため効率的にコードの認識を行うことができる。したがって、本実施形態によれば、非可視化情報を高精度に取得することができる。
【０１０４】
＜付加情報の具体的な埋め込み例＞
次に、本実施形態の画像合成手段１９における付加情報の具体的な埋め込み例について図を用いて説明する。図８は、付加情報の具体的な埋め込み例について説明するための図である。なお、以下の説明では、付加情報として２次元コードの埋め込み例について説明する。図８に示す原画像は、上述の図６に示す画像５０と同様であるため、画像５０に対するここでの詳細な説明は省略する。図８に示す画像５０において、上述したノード型パソコン用の非可視化領域５６−２では、拡大すると低周波部６４と高周波部６５とが所定の領域（例えば正方形）内で所定の条件に基づいて配列されている。ここで、低周波部６４を「０」とし、高周波部６５を「１」としてコードを埋め込む。また、高周波部６５は、濃色と淡色を所定ピクセル単位で交互に並べ、更に遠くから見た時には平均すると元の画像そのものの色になるよう調整する。
【０１０５】
＜低周波及び高周波について＞
ここで、本実施形態における低周波及び高周波について説明する。通常、周波数には時間についての周波数（時間周波数）と空間の位置についての周波数（空間周波数）があるが、本実施形態においては、特に断らない限りは空間周波数を指す。空間周波数とは、「単位長さに対する画素値の周期の逆数」と定義される。
【０１０６】
本実施形態における周波数は、特に限定されるものではないが、例えば高周波部では０．２〜２［ｃｙｃｌｅ／画素］、低周波部では０〜１［ｃｙｃｌｅ／画素］の範囲で設定すればよく、具体的には低周波部より高周波部の方が、周波数が高くなっていればよい。
【０１０７】
また、高周波部にて形成される所定の画素領域（例えば、４×４ｐｘ（ピクセル）等）からなるグリッドは、明部と暗部が周期的に繰り返していればよく、例えば、縦縞、横縞、格子状等があげられる。
例えば、
明明明明
暗暗暗暗
明明明明
暗暗暗暗
又は、
明暗明暗
暗明暗明
明暗明暗
暗明暗明
等である。
【０１０８】
また、そのときの明部と暗部の明度差は１０以上であればよく、好適なのは５０以上であり、更に好適なのは１００以上である。なお、本実施形態における明度差は、上述したように、まず通常表示される画像の明度を基準として明部と暗部とを生成し、生成された明部と暗部とにおける明度差を用いていたが、本発明においてはこれに限定されるものではない。例えば、通常の画像の明度と、その明度に対して低周波部又は高周波部における明度とにおける明度差を用いていてもよい。
【０１０９】
この場合、例えば、高周波部と見なされる明暗差は、グレースケールで隣り合うエレメントを基準として約１５以上であれば高周波部とみなすことができる。具体的には、約１５〜３５程度の明度差が高周波部として主に使うことができる領域である。なお、エレメントとは、縦横１ｐｘ以上のピクセルで構成されたものであり、本実施形態では、例えば１エレメントを２×２ｐｘとすることができる。
【０１１０】
ここで、例えばカメラ等の撮像装置で読み取れる明度差の最小値が１５である場合、明度差が３５を超えると人間の目にも容易に認識できてしまう。また逆に、埋め込む画像の部分が極端に暗い場合や明るい場合には、カメラ等による読み取り精度を上げるために例えば３５以上の明度差を付けることも必要となる。したがって、本実施形態では、埋め込む位置の画像（背景）の明度や輝度等や撮影されるカメラの性能等に応じて任意に明度差に変化を付けて非可視化情報のコードを生成する。
【０１１１】
また、上述した付加情報における使用可能なピクセルサイズは、例えばその画像と、画像を見る人との距離により変化するため、特に限定されるものではないが、例えば約１ｍの距離であれば、約０．０５〜２ｍｍ程度が好ましく、約１０ｍの距離であれば、約０．５ｍｍ〜２０ｍｍ程度が好ましい。更に離れた距離から使用する場合でも、同様のピクセルサイズと距離の比率を保っていることが好ましい。
【０１１２】
＜低周波部又は高周波部の模様について＞
上述した本実施形態においては、低周波部又は高周波部の何れかを画像に付与する場合、所定の画像の所定の埋め込み場所に対して特定の模様を有しているのが好ましい。ここで、上述の内容について、図を用いて説明する。図９は、低周波部又は高周波部の模様を説明するための図である。なお、図９（ａ）〜（ｅ）の１マスは、エレメントを示している。
【０１１３】
本実施形態において、低周波部又は高周波部により埋め込み情報を生成する場合には、例えば図９に示すように、市松模様（図９（ａ））や横縞模様（図９（ｂ））、縦縞模様（図９（ｃ））、右斜め線（図９（ｄ））、左斜め線（図９（ｅ））等の予め設定された模様を生成する。なお、本実施形態においては、上記模様に限定されるものではなく、例えば図９（ａ）〜（ｅ）のうち複数の模様を部分的に組み合わせてもよい。
【０１１４】
なお、上述した図９（ａ）〜（ｅ）に示す模様において、例えば紙に埋め込む場合には、図９（ａ）に示すような市松模様が一番見えにくく、また目立ちにくさでも、背景によらず市松模様が一番目立ちにくい。また逆に、図９（ｄ），図９（ｅ）に示す斜め線は一番目立つ。
【０１１５】
しかしながら、モニタ上で見る画像や動画に模様を埋め込む場合には、図９（ａ）に示すような市松模様だとパターンが細かすぎてカメラが高周波部と認識できない。そのため、横線か斜め線で高周波部を構成する必要がある。また、モニタ上でも紙と同じく斜め線で構成した高周波部が一番目立つ。
【０１１６】
これにより、低周波部又は高周波部をカメラ等で撮影して埋め込み情報を取得する際、上述した図９（ａ）〜（ｅ）に示す得られた情報を基準として原画像（背景画像）に対して適切な非可視化情報を埋め込むことで、容易且つ確実に埋め込み情報を読み取ることができる。なお、上述した模様は、低周波のみや高周波のみを使用した場合や、低周波と高周波を両方用いた場合にも適用できる。
【０１１７】
＜コードの埋め込み実施例＞
ここで、本実施形態の画像合成手段１９におけるコードの埋め込み実施例について具体的に説明する。図１０は、コードの埋め込みの実施例を示す図である。図１０に示す画像５０は、上述した図６及び図８と同様であるため、ここでの詳細な説明は省略する。
【０１１８】
図１０に示す例では腕時計５５に対する非可視化情報５６−３に対しての埋め込み手法を説明するものである。まず、画像５０からコードを埋め込む部分を抽出する。抽出する部分は、１つのグリッドの大きさに基づいて設定され、例えば一辺が所定ピクセル（図１０では、一例として８ｐｘ）の正方形とすることができる。また、図１０における１エレメントは２×２ｐｘとしている。
【０１１９】
なお、この範囲は一例であり、グリッドの大きさはこの他でもよいが、あまりにも小さすぎたり、大きすぎる場合には、「０」と「１」のコードが読み取りづらくなるため、例えば一辺が３〜９ｐｘの正方形が好ましい。また、形状は、正方形に限定されずに上記範囲内における長方形であってもよい。更に、コード部６３におけるグリッドの数も特に制限はないが、正方形であるのが好ましい。図１０の例では、グリッドサイズは１０×１０となっている。
【０１２０】
ここで、図１１は、グリッドに対するコードの埋め込み例を示す図である。非可視化情報生成手段１８は、図１１に示すように、非可視化情報５６−３であるコード部６３内のグリッド７１に含まれるピクセルを明度の値で数値化する。ここで、各ピクセルは、赤緑青の各素子から構成されており、各色の輝度（０〜２５５）を平均したものをピクセルの明度とする。
【０１２１】
なお、明度の定義は「明度＝（Ｒ＋Ｇ＋Ｂ）／３」の関係が成り立つ状態をいい、例えば、図１１に示すように、Ｒ：２００、Ｇ：１００、Ｂ：０のとき、このピクセルの明度は「（２００＋１００＋０）／３＝１００」となる。
【０１２２】
＜低周波部のコードの埋め込み＞
次に、上述した低周波部のコードの埋め込み例について図を用いて説明する。図１２は、低周波部のコードの埋め込みの一例を示す図である。図１２に示すようなグリッドが形成されている場合、例えば図１２に示すようにガウシアンフィルター（Ｇａｕｓｓｉａｎ Ｆｉｌｔｅｒ）によるフィルタリング処理により、グリッド全体に所謂ぼかしフィルタをかけ、グリッド内の明度値を平滑化する。つまり、図１２の例では、グリッド７１の明度が１３０前後で平滑化される。
【０１２３】
＜高周波部のコードの埋め込み＞
次に、上述した高周波部のコードの埋め込み例について図を用いて説明する。図１３は、高周波部のコードの埋め込みの一例を示す図である。図１３（ａ）に示すようなグリッドでは、高周波部を埋め込むために縞模様を生成する。そのため、グリッド７１の偶数行は明度を上げ、奇数行は明度を落とす処理を行う。なお、明度の増減値は、図１３（ｂ）に示すように背景の明度から判断して決定される。このように、明度の値に対応して増減値を設定することで、埋め込み情報を効率的に生成することができ、また埋め込み情報をより目立たなくさせることができる。なお、図１３（ｂ）のような値は、例えば上述した蓄積手段１３等に蓄積されている。
【０１２４】
ここで、図１３（ｂ）を参照すると図１３（ａ）において、奇数行の場合には、明度減となる処理を行い増減値は図１３（ｂ）により「−３５」を用いて「１５２」から「１２７」となる。また、偶数行の場合には、明度増となる処理を行い増減値は図１３（ｂ）により「＋３０」を用いて「１２０」から「１５０」となる。上述した図１２、図１３に示すような低周波部、高周波部のコードの埋め込み処理を非可視化領域に対して行うことで、２次元コードを生成することができる。
【０１２５】
＜非可視化情報抽出手段３５における非可視化情報の抽出例＞
次に、上述した非可視化情報抽出手段３５における非可視化情報の抽出例について、フローチャートを用いて説明する。図１４は、非可視化情報を抽出するための一例を示す図である。なお、以下の処理では、高周波部のみを用いて生成された非可視化情報を撮影画像から抽出する例について説明するが、本発明における抽出手法についてはこれに限定されるものではない。
【０１２６】
図１４に示す非可視化情報の抽出例としては、まず、非可視化情報が埋め込まれている映像や画像を撮影した撮影画像を取得する（Ｓ２１）。次に、取得した画像に対してＳｏｂｅｌラプラシアンフィルタを行い、画像中からエッジ（明度変化の激しい部分）を抽出し、エッジ部分は白色に、それ以外は黒色に変換する（Ｓ２２）。つまり、撮影画像にＳｏｂｅｌラプラシアンフィルタをかけることで、コード部分（高周波画像の場合はエッジの集まり）と背景のエッジの両方（Ｉｍａｇｅ ｅｄｇｅｓ）を抽出することができる。
【０１２７】
なお、上述した「高周波画像の場合はエッジの集まり」というのは、基本的に明暗が急激に変化する部分をエッジとしているが、高周波画像の場合、横方向又は縦方向に明度をみていくとエレメント毎に明暗が反転する。そのため、高周波画像の場合は、エレメント境界が全てエッジになる。
【０１２８】
また、Ｓ２１の処理にて取得した撮影画像に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を行い（Ｓ２３）、撮影画像を空間領域から周波数領域に変換する。次に、Ｓ２３の処理により得られた周波数画像に対して高周波領域に存在する値を０にすることで画像中から高周波成分を取り除くための周波数フィルタリングを行う（Ｓ２４）。
【０１２９】
次に、Ｓ２４の処理によりフィルタをかけた画像を周波数領域から空間領域に戻すＩＤＣＴ（逆離散コサイン変換）を行う（Ｓ２５）。なお、上述したＳ２３〜Ｓ２５の処理は、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理を行うことを意味している。
【０１３０】
また、Ｓ２５の処理により得られた画像に対して、Ｓｏｂｅｌラプラシアンフィルタを行い、画像中からエッジ（明度変化の激しい部分）を抽出し、エッジ部分は白色に、それ以外は黒色に変換する（Ｓ２６）。
【０１３１】
次に、Ｓｏｂｅｌラプラシアンフィルタで得られたエッジを一回り太いものに膨張させる膨張処理を行う（Ｓ２７）。具体的には、例えば、得られたエッジを上下左右に３ピクセル（ｐｘ）ずつ外側に向けて広げる。
【０１３２】
その後、Ｓ２２の処理にて得られた画像（エッジ＋コード画像）から、Ｓ２７の処理にて得られた背景画像（背景画像のエッジ）を引く差分処理を行う（Ｓ２８）。これにより、非可視化情報の画像のみを抽出することができる。
【０１３３】
次に、Ｓ２８の処理にて得られた画像から画像に含まれるノイズ成分を取り除くメディアンフィルタ処理を行う（Ｓ２９）。具体的には、例えば注目画素の周りの３×３＝９画素の中の中央値を注目画素の値と置き換える。
【０１３４】
そして、Ｓ２９のメディアンフィルタ処理が終わった時点で画像から非可視化情報を抽出する（Ｓ３０）。具体的には、Ｓ２９のメディアンフィルタ処理が終わった時点では、非可視化情報のみが含まれているため、非可視化情報を抽出し、（１）形状（四角形）抽出、（２）射影変換、（３）コードの「１」、「０」判定の３つを行う。
【０１３５】
ここで、上記（１）形状抽出では、例えば画像中から四角形（コード）の四隅の座標を算出する処理を行う。なお、算出する座標の位置については四角形に限定されるものではなく、予め設定される形状に応じて適宜設定することができ、例えば三角形や星型等であれば各頂点の座標を算出するようにする。
【０１３６】
また、上記（２）射影変換では、得られた四点の座標を用いて、歪んだコードを正方形に戻す処理を行う。更に、上記（３）コードの「１」、「０」判定では、コードに含まれるデータビットが「１」であるか「０」であるかを判定する処理を行う。具体的には、１ｂｉｔを構成するブロックに含まれるピクセルのうち、黒ピクセルの方が多ければ「０」と判定し、白ピクセルの方が多ければ「１」と判定する。上述したような処理を行うことにより、撮影画像に含まれる１又は複数の非可視化情報を高精度に取得することができる。
【０１３７】
ここで、図１５は、実際の非可視化情報を抽出する例を示す図である。図１５に示す例では、「Ｒ」の文字画像（Ｉｍａｇｅ）に対して非可視化情報（Ｃｏｄｅ）が埋め込まれている撮影画像から非可視化情報を抽出する例を示している。
【０１３８】
図１５（ａ）に示す撮影画像からエッジ検出を行い、図１５（ｂ）に示すコード（Ｃｏｄｅ）＋イメージエッジ（Ｉｍａｇｅ ｅｄｇｅｓ）の画像を取得する。また、図１５（ａ）に示す撮影画像からコード除去（Ｃｏｄｅ ｒｅｍｏｖａｌ）を行い、図１５（ｃ）に示すように、イメージからコード部分を取り除いた画像（Ｉｍａｇｅ−Ｃｏｄｅ）を取得する。
【０１３９】
また、図１５（ｃ）に示す画像（Ｉｍａｇｅ−Ｃｏｄｅ）に対して、エッジ検出を行い、図１５（ｄ）に示すように、イメージエッジからコードを取り除いた画像（Ｉｍａｇｅ ｅｄｇｅｓ−Ｃｏｄｅ）を取得する。
【０１４０】
次に、図１５（ｂ）に示す画像と図１５（ｄ）に示す画像との差分を取ることにより、図１５（ｅ）に示すようなコード（Ｃｏｄｅ）を取得することができる。なお、上述した図１４におけるＳ２３〜Ｓ２５の処理で得られた結果が図１５（ｃ）に対応し、Ｓ２７の処理で得られた結果が図１５（ｄ）に対応し、図２９の処理で得られた結果が図１５（ｅ）に対応している。
【０１４１】
上述した手法により本実施形態において撮影画像から非可視化情報を高精度に抽出することができる。なお、上述した非可視化情報の抽出処理は、撮影された画像全体に対して行ってもよく、予め非可視化情報が埋め込まれている画像の位置が特定されているのであれば、その特定領域のみに対して上述した抽出処理を行ってもよい。
【０１４２】
＜非可視化情報認識結果＞
ここで、図１６は、非可視化情報の認識結果の一例を示す図である。図１６に示すように、本実施形態では、例えば非可視化情報が合成された合成画像８１にＨＰＦによるフィルタリング処理を行うことにより、非可視化情報認識装置３０における表示情報生成手段により、図１６に示すように２次元コードを原画像に表示させることもでき、この情報を読み取って２次元コードの中身の情報を表示させることもできる。
【０１４３】
＜非可視化情報の付加画像例＞
ここで、図１７Ａ〜図１７Ｈは、それぞれ非可視化情報が付加された画像例を示す図（その１〜その８）である。図１７Ａ〜図１７Ｈに示される各領域９１内には、非可視化情報が埋め込まれている。このように、本実施形態を適用することで、非可視化情報を画像中の適切な場所にのみ付加して、画像中の一部に映し出されている物体等に関する詳細情報等を的確に提供することができる。
【０１４４】
なお、図１７Ａ〜図１７Ｃに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その商品の名称、材料、味の評価、価格、販売しているお店に関する情報、又はその情報が蓄積されたサーバ等へのアドレス情報（例えば、ＵＲＬ等）を蓄積することができる。また、図１７Ｄに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その花の名称、撮影場所、咲く時期等の情報を蓄積することができる。また、図１７Ｅに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その彫刻の名前、撮影場所、設置した由来等の情報を蓄積することができる。更に、図１７Ｆに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その飛行機の名称や飛行速度、撮影場所等の情報を蓄積することができる。
【０１４５】
また、図１７Ｇと図１７Ｈは、それぞれ同一の画像を示しているが、それぞれの領域９１内には、異なる手法で生成された非可視化情報のコードが埋め込まれている。具体的には、図１７Ｇの領域９１内には、上述した高周波部と低周波部とを用いて生成された非可視化情報のコードが埋め込まれており、図１７Ｈの領域９１内には、高周波部のみを用いて生成された非可視化情報が埋め込まれている。つまり、図１７Ｇに示す低周波部と高周波部とを含む非可視化情報のコードの場合、原画像によっては低周波部に画像のボケが発生する場合がある。そのため、図１７Ｈに示すように高周波部のみを用いた非可視化情報のコードを用いることで、より見え難い非可視化情報を原画像に埋め込むことができる。
【０１４６】
なお、本実施形態においては、１つの画像中に複数の非可視化情報を部分的に付加させることができる。また、本実施形態における非可視化情報が付加可能な対象は、テレビ画面やパソコン画面等に映し出される画像だけでなく、例えば画面に表示される映像や、紙、カード、ハガキ、ポスター等の各種印刷媒体等に対しても適用することができる。
【０１４７】
更に、コードの面積が大きい方が、埋め込めるデータ量も大きくなるため、本実施形態では、埋め込むデータ量に応じて、原画像に埋め込むコードのサイズや数を適宜調整することができる。
【０１４８】
＜非可視化情報の他の実施例＞
図１８は、非可視化情報の他の実施例を示す図である。図１８の例では、高周波部又は低周波部の何れか一方を黒色等の所定の色でカラー表示する。このように、他の文字情報を直接非可視化情報として埋め込んでおくことで、埋め込まれた文字（図１８の例では、「ＲＩＴＳ」）をそのまま表示情報として出力することができる。また、図１８に示す手法を用いることで、例えば上述したコードＩＤ等をキーとして対応する付加情報を検索して取得するといった処理を行う必要がなく、迅速に付加情報を画面に表示することができる。
【０１４９】
＜結果比較＞
ここで、本実施形態である周波数法と、従来手法である埋め込み情報が埋め込まれた画像と原画像との差分情報から情報を取得する差分法とを比較した結果について説明する。図１９は、比較結果の一例を示す図である。なお、図１９の例では、上述した本実施形態における低周波部と高周波部とを用いてコード化された非可視化情報を生成する手法を図１９に示す周波数法とした。
【０１５０】
また、図１９において、読取時間とは、コード部を認識してからデコードが完了するまでの時間である。また、実行命令数とは、一例として「Ｉｎｔｅｌ ｃｏｒｅ ２ ｄｕｏ」のＭＩＰＳ（Ｍｉｌｌｉｏｎ Ｉｎｓｔｒｕｃｔｉｏｎｓ Ｐｅｒ Ｓｅｃｏｎｄ）を２２，０５８Ｍとしたときの値である。
【０１５１】
図１９に示すように、本実施形態によれば、読取時間、実行命令数、ＣＰＵ使用率、メモリ使用量の全てにおいて、差分法よりも良好な結果を得ることができた。
【０１５２】
また、図１９には示していないが、例えば高周波部のみを用いて生成した非可視化情報のオードの場合、その読取時間は、０．２７２秒（実行時間）であった。なお、そのときの実行環境は、ＯＳがＭａｃＯＳＸ１０．６、ＣＰＵが２ＧＨｚ Ｃｏｒｅ ２ Ｄｕｏ、メモリが２Ｇバイトである。これにより、高周波部又は低周波部の一方のみを用いた場合にも効率的且つ適切に撮影画像からコードを読み取ることができる。
【０１５３】
＜非可視化確認試験の結果＞
次に、上述した本実施形態を適用した非可視化情報を付加した画像に対する非可視化確認試験の結果について説明する。図２０は、試験に用いた画像を示す図である。なお、図２０（ａ）は、まだ非可視化情報が埋め込まれていない画像を示し、図２０（ｂ）は、本実施形態における非可視化情報である２次元コードが埋め込まれている画像を示している。なお、図２０（ｂ）の画像に付加された２次元コードは、上述した図６に示す画像５０の非可視化情報５６−１〜５６−３と同様の位置に付加されている。
【０１５４】
なお、この試験では、被験者９名に対して、コードなし画像（図２０（ａ））と、コード（２５ｍｍ×２５ｍｍ）入り画像（図２０（ｂ））（それぞれのサイズは、１８０ｍｍ×１３５ｍｍ）を並べてモニタ上に表示し、１ｍ離れた所から１５秒間見て、２枚の間に差を申告させた。
【０１５５】
その結果、９人中１人が「キーボードの上に横線が入っている」と答えた。また、その他８人は、「違いが分からない」と答えた。なお、同じ画像を上述した本実施形態における非可視化情報認識装置３０を通して見た所、非可視化情報（マーカー）が見えることが確認された。
【０１５６】
上述したように本発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【０１５７】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１５８】
１０ 非可視化情報埋込装置
１１，３１ 入力手段
１２，３２ 出力手段
１３，３３ 蓄積手段
１４ 画像取得手段
１５ 画像解析手段
１６ 埋込対象画像判定手段
１７ 非可視化情報設定手段
１８ 非可視化情報生成手段
１９ 画像合成手段
２０，３８ 送受信手段
２１，３９ 制御手段
３０ 非可視化情報認識装置
３４ 埋込画像取得手段
３５ 非可視化情報抽出手段
３６ 非可視化情報解析手段
３７ 表示情報生成手段
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
４７ ネットワーク接続装置
４８ 記録媒体
５０ 画像
５１ 机
５２ 本
５３ 財布
５４ ノート型パソコン
５５ 腕時計
５６，６０ 非可視化情報
６１ 低周波層
６２ 高周波層
６３ コード部
６４ 低周波部
６５ 高周波部
７１ グリッド
８１ 合成画像
９１ 領域
【技術分野】
【０００１】
本発明は、非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムに係り、特に効率的な情報の取得により付加価値性に優れた高精度な画像を提供するための非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムに関する。
【背景技術】
【０００２】
従来では、例えば模様等が描かれたカードを撮影し、撮影したカメラ映像から検出されるカードの種類や３次元位置情報に基づいて、楽器を制御するＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を出力したり、映像を出力する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、カメラで紙媒体の図形を認識してパソコンのディスプレイ上に仮想図形を表示させるシステムツール等が存在する（例えば、非特許文献１参照）。
【０００４】
更に、所定の画像パターンに対応する識別情報を有する対象画像を取得し、取得された対象画像の中から、識別情報を認識し、予め登録された複数の処理の中から認識された識別情報に対応する所定の処理を実行し、対象画像を所定の表示領域内に表示し、表示された対象画像内の所定の２個以上の位置の位置情報を取得し、取得された２個以上の位置の位置情報に基づく向き及び位置に、認識された識別情報に対応する画像を描画する画像処理技術が知られている（例えば、特許文献２参照）。
【０００５】
また、従来では、動画像に人間の知覚（視覚、聴覚）特性を利用し、静止画、動画、オーディオ等のディジタルコンテンツに対して、コンテンツとは別の情報を人間に知覚できないように埋め込む電子透かし技術が知られている（例えば、特許文献３，４参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３２０７６号公報
【特許文献２】特開２０００−８２１０７号公報
【特許文献３】国際公開第２００５／０７４２４８号パンフレット
【特許文献４】国際公開第２００７／０１５４５２号パンフレット
【非特許文献】
【０００７】
【非特許文献１】"ｈｔｔｐ：／／ｗｗｗ．ｈｉｔｌ．ｗａｓｈｉｎｇｔｏｎ．ｅｄｕ／ａｒｔｏｏｌｋｉｔ／"、「ＡＲＴｏｏｌＫｉｔ」
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、カード等を所定方向（平行や回転）に移動させることによって、合成される画像に動きを持たせて表示を行うことができるが、カード等を停止させたまま合成させる画像を変化させることができなかった。
【０００９】
そのため、例えば予め制作された動画を合成する等の対応しかできず、カード種別毎にある特定の動作しかできなかったため、付加価値性に優れた高精度な画像や映像は提供されていなかった。
【００１０】
また、上述した非特許文献１に示されている仮想図形表示システムでは、一旦、仮想図形が表示されると図形を変化させることは難しかった。すなわち、外部の環境変化に応じて図形を変化させることはできなかった。更に、従来技術では、表示させる画像は、識別情報を含むカード等の位置を基準に表示させるものであるため、表示の仕方に制限があり、例えば３次元映像等を表示させることはできなった。
【００１１】
また、電子透かし技術を用いて情報を画像に埋め込む場合、画面の一部に埋め込んでしまうと、画像中のどの部分に電子透かしの情報が入っているかを判別することができなかったため、画像全体にデータを埋め込まなければならなかった。そのような場合、例えばテレビに表示された映像に含まれる部分的な物体（例えば、花や人等）に対してのみに情報を埋め込むことができず、結果として画面上に表示されている物体の全てについての情報を取得しなければならない。そのため、ユーザが求めていない余計な情報をも取得せざるを得なかった。また、テレビ画面全体に電子透かしが埋め込まれている場合には、それを携帯電話等に設けられたレンズで撮影して認識する際、かなり離れて位置で撮影する必要が生じていた。
【００１２】
本発明は、上述した課題に鑑みてなされたものであって、効率的な情報の取得により付加価値性に優れた高精度な画像を提供するための非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１４】
請求項１に記載された発明は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することを特徴とする。
【００１５】
請求項１記載の発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【００１６】
請求項２に記載された発明は、前記画像合成手段により合成される前記非可視化情報の形態を設定する非可視化情報設定手段と、前記非可視化情報設定手段により設定された非可視化情報から合成用の画像を生成する非可視化情報生成手段とを有することを特徴とする。
【００１７】
請求項３に記載された発明は、前記非可視化情報設定手段は、前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする。
【００１８】
請求項４に記載された発明は、前記画像合成手段は、前記画像解析手段により取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする。
【００１９】
請求項５に記載された発明は、取得した画像に含まれる非可視化情報を認識する非可視化情報認識装置において、前記画像から非可視化情報を抽出する非可視化情報抽出手段と、前記非可視化情報抽出手段により前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる付加情報から画面に表示する表示情報を生成する表示情報生成手段とを有することを特徴とする。
【００２０】
請求項６に記載された発明は、前記非可視化情報抽出手段は、前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする。
【００２１】
請求項７に記載された発明は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込方法において、前記画像に含まれる物体情報及び位置情報を取得する画像解析ステップと、前記画像解析ステップにより得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定ステップと、前記埋込対象画像判定ステップにより得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成ステップとを有することを特徴とする。
【００２２】
請求項８に記載された発明は、前記画像合成ステップにより合成される前記非可視化情報の形態を設定する非可視化情報設定ステップと、前記非可視化情報設定ステップにより設定された非可視化情報から合成用の画像を生成する非可視化情報生成ステップとを有することを特徴とする。
【００２３】
請求項９に記載された発明は、前記非可視化情報設定ステップは、前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする。
【００２４】
請求項１０に記載された発明は、前記画像合成ステップは、前記画像解析ステップにより取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする。
【００２５】
請求項１１に記載された発明は、取得した画像に含まれる非可視化情報を認識する非可視化情報認識方法において、前記画像から非可視化情報を抽出する非可視化情報抽出ステップと、前記非可視化情報抽出ステップにより前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析ステップと、前記非可視化情報解析ステップにより得られる付加情報から画面に表示する表示情報を生成する表示情報生成ステップとを有することを特徴とする。
【００２６】
請求項１２に記載された発明は、前記非可視化情報抽出ステップは、前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする。
【００２７】
請求項１３に記載された発明は、コンピュータを、請求項１乃至４の何れか１項に記載の非可視化情報埋込装置として機能させることを特徴とする非可視化情報埋込プログラムである。
【００２８】
請求項１４に記載された発明は、コンピュータを、請求項５又は６に記載の非可視化情報認識装置として機能させることを特徴とする非可視化情報認識プログラムである。
【００２９】
請求項１３，１４記載の発明によれば、付加価値性に優れた高精度な画像又はサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理を容易に実現することができる。
【発明の効果】
【００３０】
本発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本実施形態における非可視化情報埋込装置の機能構成の一例を示す図である。
【図２】本実施形態における非可視化情報認識装置の機能構成の一例を示す図である。
【図３】本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なハードウェア構成の一例を示す図である。
【図４】本実施形態における非可視化情報埋込処理手順の一例を示すフローチャートである。
【図５】本実施形態における非可視化情報認識処理手順の一例を示すフローチャートである。
【図６】画像の一例を示す図である。
【図７】非可視化情報の一例を示す図である。
【図８】付加情報の具体的な埋め込み例について説明するための図である。
【図９】低周波部又は高周波部の模様を説明するための図である。
【図１０】コードの埋め込みの実施例を示す図である。
【図１１】グリッドに対するコードの埋め込み例を示す図である。
【図１２】低周波部のコードの埋め込みの一例を示す図である。
【図１３】高周波部のコードの埋め込みの一例を示す図である。
【図１４】非可視化情報を抽出するための一例を示す図である。
【図１５】実際の非可視化情報を抽出する例を示す図である。
【図１６】非可視化情報の認識結果の一例を示す図である。
【図１７Ａ】非可視化情報が付加された画像例を示す図（その１）である。
【図１７Ｂ】非可視化情報が付加された画像例を示す図（その２）である。
【図１７Ｃ】非可視化情報が付加された画像例を示す図（その３）である。
【図１７Ｄ】非可視化情報が付加された画像例を示す図（その４）である。
【図１７Ｅ】非可視化情報が付加された画像例を示す図（その５）である。
【図１７Ｆ】非可視化情報が付加された画像例を示す図（その６）である。
【図１７Ｇ】非可視化情報が付加された画像例を示す図（その７）である。
【図１７Ｈ】非可視化情報が付加された画像例を示す図（その８）である。
【図１８】非可視化情報の他の実施例を示す図である。
【図１９】比較結果の一例を示す図である。
【図２０】非可視化確認試験に用いた画像の一例を示す図である。
【発明を実施するための形態】
【００３２】
＜本発明ついて＞
本発明では、例えば画面に表示される画像や映像、又は紙やハガキ、ポスター、カード等の各種印刷媒体等に対して、肉眼では認識不可能な加工により非可視化情報（マーカー）を画像全体に対して部分的に埋め込み、デジタルカメラや携帯端末に設けられたカメラ等の撮影手段によって、その画像や映像、印刷媒体等の一部を撮影し、撮影された画像や映像等を、パソコンや携帯端末等に取り込みフィルタ等を用いて画像処理することで、埋め込まれたマーカーを認識する。また本発明は、例えば携帯端末等のような容量や性能が制限された機種でも埋め込まれたマーカーの認識が実施可能となるマーカーの埋込方法と、画像処理を組み合わせたマーカー認識を可能にする。更に、本発明では、認識されマーカーの情報から撮影された画像や映像等に対応する付加価値情報を取得する。
【００３３】
以下に、本発明における非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラムを好適に実施した形態について、図面を用いて説明する。なお、本実施形態において説明する「画像」とは、写真等の１枚の画像も、映像における連続したフレーム単位の画像も含まれるものとする。
【００３４】
＜非可視化情報埋込装置：機能構成例＞
ここで、本実施形態における非可視化情報埋込装置の機能構成例について図を用いて説明する。図１は、本実施形態における非可視化情報埋込装置の機能構成の一例を示す図である。
【００３５】
図１に示す非可視化情報埋込装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、画像取得手段１４と、画像解析手段１５と、埋込対象画像判定手段１６と、非可視化情報設定手段１７と、非可視化情報生成手段１８と、画像合成手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
【００３６】
入力手段１１は、ユーザ等からの画像取得指示や、画像解析指示、埋込対象画像判定指示、埋込情報設定指示、埋込情報生成指示、画像合成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段１１は、例えばパソコン等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段１１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像等を入力する機能も有する。なお、上述の撮像手段は、非可視化情報認識装置３０内に設けられていてもよく、外部の機能構成であってもよい。
【００３７】
出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段１２は、取得した画像や、画像解析結果、埋込対象画像判定結果、設定された非可視化情報、生成された非可視化情報、非可視化情報が合成された合成画像、各構成における処理の結果等の画面表示や音声出力等を行う。なお、出力手段１２は、ディスプレイやスピーカ等からなる。
【００３８】
更に、出力手段１２は、プリンタ等の印刷機能を有していてもよく、上述の各出力内容を、例えば紙やハガキ、ポスター等の各種印刷媒体等に印刷してユーザ等に提供することもできる。
【００３９】
蓄積手段１３は、本実施形態において必要となる各種情報や埋込処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段１３は、入力又は予め蓄積されている画像取得手段１４で取得される撮影等により得られた１又は複数の画像或いは映像を取得する。また、蓄積手段１３は、画像解析手段１５にて解析された結果や埋込対象画像判定手段１６における判定結果、非可視化情報設定手段１７による設定内容、非可視化情報生成手段１８により生成された埋込情報、画像合成手段１９により合成された画像等を蓄積する。また、蓄積手段１３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００４０】
画像取得手段１４は、情報を埋め込む対象となる画像や映像等を取得する。なお、画像や映像等は、例えばカメラ等の撮像手段により得られる画像や映像等でもよく、ポスターや写真、カード、シール等に適用される対象画像等であってもよい。また、画像取得手段１４は、送受信手段２０を介して通信ネットワーク上に接続される外部の装置で撮影された情報やデータベース等に蓄積された画像や映像等を取得することもでき、また、入力手段１１を介して実際にユーザ等がカメラ等で撮影した画像を用いてもよい。
【００４１】
画像解析手段１５は、画像取得手段１４にて取得した画像を解析して画像中に含まれる内容を解析する。具体的には、画像中のどの部分（位置、領域）にどのような物体が映し出されているか、又は、映像中において物体がどのように移動しているか等、物体情報及び座標等からなる物体の位置情報を取得する。例えば、物体が人物の場合、画像解析手段１５は、顔の特徴部分から顔検出を行ってもよく、また顔の特徴量を数値化し、その結果により人物特定をおこなってもよい。
【００４２】
埋込対象画像判定手段１６は、画像解析手段１５によって解析された結果に基づいて、その画像に映し出された物体が予め設定された非可視化情報の埋め込み対象であるか否かを判定する。なお、埋込対象画像判定手段１６において、物体が非可視化情報を埋め込む情報であるか否かは、ユーザ等により予め埋込判定情報が設定され、蓄積手段１３等に蓄積しておき、その埋込判定情報により判定してもよく、又は、その物体に対する付加情報が蓄積手段１３に蓄積されているかを検索し、もし付加情報が蓄積されている場合には、埋込対象物体であると判定してもよい。
【００４３】
したがって、例えば、画像解析手段１５によって画像を解析した結果、画像の一部にパソコンの画像が含まれていると解析された場合、埋込対象画像判定手段１６は、パソコンに関する付加情報が蓄積手段１３に蓄積されているか否かを判断し、パソコンに関する付加情報が存在する場合には、そのパソコンを埋込対象画像と判定することができる。なお、埋め込む内容（付加情報）は、例えば非可視化情報設定手段１７等において設定することができる。また、設定された内容は、蓄積手段１３に蓄積される。
【００４４】
また、埋込対象画像判定手段１６は、画像中に複数の物体が存在する場合、それぞれの物体が埋め込み対象であるとして出力する。なお、画像中に複数の物体が存在する場合には、全ての物体を埋め込み対象に設定してもよく、また少なくとも１つの物体を埋め込み対象に設定してもよい。この場合には、物体に対して、予め設定される優先度や、その物体の画面全体に対する表示領域の位置、映像であれば、その物体が表示されていた時間等により任意に設定することができ、それらの埋込詳細情報も蓄積手段１３に蓄積される。
【００４５】
非可視化情報設定手段１７は、物体情報に基づいて、どのような情報を付加情報として埋め込むのか、その具体的な情報の中身を設定する。例えば、物体情報が財布や洋服等の場合には、そのブランド名や商品名、値段、ホームページのアドレス等を設定し、物体情報が人物である場合には、その人物の氏名、年齢、性別、身長、趣味、経歴等を設定し、物体情報が本である場合には、その本のタイトル、著者、発行日、値段、著者に関する情報等を設定する。なお、非可視化情報設定手段１７にて設定される付加情報としては、映像、画像等が含まれる。
【００４６】
また、非可視化情報設定手段１７は、どのような形態で情報を付加するのかを設定する。例えば、付加情報は、特定の暗号化された文字であるのか、或いは模様や記号、コード情報等であるのか、又は表示サイズ等を設定する。なお、コード情報等の場合には、非可視化情報認識装置側で、そのコードに対する情報が取得できるように対応データベースが設けられていることが好ましい。上述したように、複数の形態から設定することができるため、埋め込み対象の画像の内容に応じて適切な埋め込み情報を選択して設定することができる。
【００４７】
非可視化情報生成手段１８は、埋込対象画像に埋め込む画像を生成する。非可視化情報生成手段１８は、直接文字情報として生成してもよく、コード情報として生成してもよい。なお、コード情報としては、例えばＱＲコード等の２次元バーコード等を使用することができる。また、本実施形態において、コード情報はＱＲコードに限定されず、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ−７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ Ｍａｔｒｉｘ、Ｍａｘｉ Ｃｏｄｅ等のバーコードを用いることもできる。
【００４８】
更に、非可視化情報生成手段１８は、埋め込んだ情報が実際にユーザに提供される画像に対して見えにくくするために埋込対象となる情報を原画像の色情報を基準にして低周波部と高周波部とを用いた画像、又は、低周波部のみ或いは高周波部のみを用いた画像を生成する。なお、低周波部とは、非可視化情報を埋め込む部分の原画像の明度を基準としてそれより明度を低くした部分又は領域を示し、高周波部とは、上述した原画像の明度を基準として、それより明度を高くした部分又は領域を示す。非可視化情報生成手段１８における非可視化情報の詳細については後述する。また、非可視化情報生成手段１８は、画像中のどの位置に非可視化情報を埋め込むかを座標情報として取得する。
【００４９】
なお、本実施形態において、埋込情報を埋め込む際、例えば画像中に表示されている物体の位置上又はその周辺に、その物体に対応する埋込情報が埋め込まれているのが好ましく、この場合には、画像解析手段１５により得られた物体位置情報を基準として対象画像に埋込画像の合成を行う。つまり、本実施形態によれば、画像全体に対して１つの埋め込み情報を付与するのではなく、複数の非可視化情報を適切な場所に埋め込むことができる。
【００５０】
画像合成手段１９は、画像解析手段１５により得られる画像と、その画像の物体情報、及び座標情報等からなる物体位置情報とに基づいて、非可視化情報生成手段１８にて生成された非可視化情報を所定の位置に埋め込んで画像を合成する。
【００５１】
なお、画像合成手段１９は、合成対象の画像が映像の場合、再生中の映像における物体の移動に対して追随して移動し、その物体上に非可視化情報が埋め込まれるようにすることができる。つまり、画像合成手段１９は、合成対象画像が入力される毎に撮影画像に対して合成処理を行い、その合成画像を順次表示させることができる。
【００５２】
送受信手段２０は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像や合成画像等）や、本発明における非可視化情報埋込処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段２０は、非可視化情報埋込装置１０内で生成された各種情報を外部装置に送信することができる。
【００５３】
制御手段２１は、非可視化情報埋込装置１０の各構成部全体の制御を行う。具体的には、制御手段２１は、例えばユーザ等による入力手段１１からの指示等に基づいて、画像の取得や画像解析、埋込対象画像であるか否かの判断、非可視化情報の設定並びに設定、画像合成等の各処理の各制御等を行う。なお、非可視化情報設定手段１７における非可視化情報や非可視化情報生成手段１８における非可視化情報は、予め設定や生成をしておき蓄積手段１３に蓄積させていてもよい。
【００５４】
＜非可視化情報認識装置：機能構成例＞
ここで、本実施形態における非可視化情報認識装置の機能構成例について図を用いて説明する。図２は、本実施形態における非可視化情報認識装置の機能構成の一例を示す図である。
【００５５】
図２に示す非可視化情報認識装置３０は、入力手段３１と、出力手段３２と、蓄積手段３３と、埋込画像取得手段３４と、非可視化情報抽出手段３５と、非可視化情報解析手段３６と、表示情報生成手段３７と、送受信手段３８と、制御手段３９とを有するよう構成されている。
【００５６】
入力手段３１は、ユーザ等からの埋込画像取得指示や、非可視化情報抽出指示、非可視化情報解析指示、表示情報生成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段３１は、例えばパソコン等の汎用コンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段３１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像を入力する機能も有する。なお、上述の撮像手段は、非可視化情報認識装置３０内に設けられていてもよく、外部の機能構成であってもよい。
【００５７】
また、入力手段３１は、紙やハガキ、ポスター、写真、カード等の印刷媒体から埋込画像を取得することができる。この場合、カメラ等の撮像手段や、スキャナ機能等を用いてデータを読み取る機能を備える。
【００５８】
また、出力手段３２は、入力手段３１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段３２は、表示情報生成手段３７により得られる画像や映像に表示される物体に対する付加情報等を出力する。なお、出力手段３２は、ディスプレイやスピーカ等からなる。
【００５９】
更に、出力手段３２は、プリンタ等の印刷機能を有していてもよく、上述の物体に対する付加情報等の各出力内容を、例えば紙等の各種印刷媒体に印刷してユーザ等に提供することもできる。
【００６０】
蓄積手段３３は、本実施形態において必要となる各種情報や非可視化情報認識処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段３３は、埋込画像取得手段３４で取得した埋込画像や、非可視化情報抽出手段３５で取得した非可視化情報（マーカー）、非可視化情報解析手段３６により解析した非可視化情報、表示情報生成手段３７で生成された表示内容等を蓄積する。
【００６１】
更に、蓄積手段３３は、非可視化情報解析手段３６によって解析されたデータに対する関連情報を蓄積することができる。例えば、非可視化情報があるコード情報（文字コード、２次元コード等も含む）等であった場合には、そのコード情報に対応する各種データ（例えば、コード情報に対応する物体に対する詳細情報（文字、映像、画像、音声等）、データを画面に表示するときのサイズ、色、時間、位置、動作内容等）を蓄積手段３３に蓄積しておく。また、蓄積手段３３は、コード等を取得したときや、その他の必要に応じて蓄積されている各種データを読み出すことができる。
【００６２】
埋込画像取得手段３４は、蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される外部装置から埋込画像を取得する。なお、埋込画像には、映像も含まれる。
【００６３】
非可視化情報抽出手段３５は、抽出された埋込画像に含まれる非可視化情報を抽出する。具体的には、非可視化情報抽出手段３５は、入力される埋込画像に対して、ある所定の周波数によるフィルタリングを行い、画像中に埋め込まれていた非可視化情報を取得する。なお、画像中に複数の非可視化情報がある場合には、全ての非可視化情報を抽出する。
【００６４】
また、非可視化情報抽出手段３５は、どの位置から非可視化情報を抽出したかの非可視化情報抽出位置情報も取得する。なお、非可視化情報抽出手段３５は、取得した各種情報を蓄積手段３３に蓄積させる。
【００６５】
非可視化情報解析手段３６は、非可視化情報抽出手段３５により得られた非可視化情報が実際には、どのような付加価値データが含まれているのかを解析する。なお、本実施形態における非可視化情報解析手段３６は、バーコードを読み取るバーコードリーダ等の読み取り機能を有しており、例えば、非可視化情報が２次元バーコードである場合には、その２次元バーコードから読み取り機能等を用いて情報を取得し、その取得した内容（例えば、コードＩＤ等）をキーにして、蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置等を検索し、検索した結果、キーに対応する付加情報があれば、その情報を取得する。
【００６６】
表示情報生成手段３７は、非可視化情報解析手段３６により得られた結果を画面に表示する表示情報を生成する。なお、表示方法としては、画面上に別枠（別ウィンドウ）を設けて説明してもよく、対応する物体が表示されている位置上に表示してもよく、音声により出力してもよい。
【００６７】
また、表示情報生成手段３７は、取得した非可視化情報をそのまま可視化して表示してもよく、非可視化情報に対応する付加情報を蓄積手段３３や外部装置等から取得して、その取得した付加情報を表示してもよい。
【００６８】
更に、表示情報生成手段３７は、非可視化情報解析手段３６により得られた結果を表示する場合、上述したコードＩＤ等に基づいて蓄積手段３３等から取得した付加情報毎に設定されている画面に表示するときのサイズ、色、時間、位置、動作内容等に基づいて表示させるための表示情報を生成する。なお、映像として対象物体が移動している場合には、その物体の位置に追随して表示させてもよく、また、最初に画面に表示した位置に固定して表示させてもよい。
【００６９】
送受信手段３８は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像等）や、本発明における非可視化情報認識処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段３８は、非可視化情報認識装置３０内で生成された各種情報を外部装置に送信することができる。
【００７０】
制御手段３９は、非可視化情報認識装置３０の各構成部全体の制御を行う。具体的には、制御手段３９は、例えばユーザ等による入力手段３１からの指示等に基づいて、埋込画像の取得や非可視化情報の抽出、非可視化情報の解析、表示情報の生成等の各処理の各制御等を行う。
【００７１】
上述した装置構成により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【００７２】
＜非可視化情報解析手段３６における付加情報の取得例＞
ここで、上述した非可視化情報解析手段３６における付加情報の取得例について説明する。上述したように、非可視化情報解析手段３６は、非可視化情報から得られる情報がコードＩＤ等であった場合には、そのコードＩＤ等をキーにして蓄積手段３３や送受信手段３８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置を検索し、対応する付加情報を取得する。
【００７３】
具体的に説明すると、例えば非可視化情報認識装置３０が「スタンドアロン型」である場合には、非可視化情報から取得したコードＩＤをキーにして蓄積手段３３を検索し、検索で得られた結果を取得する。また、非可視化情報認識装置３０が通信ネットワークにより外部装置と接続された「ネットワーク型」である場合には、非可視化情報から取得したコードＩＤをキーにして外部装置にアクセスし、外部装置内にあるデータ群からコードＩＤに対応する情報を検索し、対応する付加情報を外部装置から取得する。
【００７４】
＜非可視化情報埋込装置１０、非可視化情報認識装置３０：ハードウェア構成＞
ここで、上述した非可視化情報埋込装置１０及び非可視化情報認識装置３０においては、各機能をコンピュータに実行させることができる実行プログラム（非可視化情報埋込プログラム、非可視化情報認識プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における非可視化情報埋込処理及び非可視化情報認識処理等を実現することができる。
【００７５】
ここで、本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本実施形態における非可視化情報埋込処理及び非可視化情報認識処理が実現可能なハードウェア構成の一例を示す図である。
【００７６】
図３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７７】
入力装置４１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置４１は、カメラ等の撮像手段から撮影された画像を入力する画像入力ユニットを有している。
【００７８】
出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７９】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体６８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。
【００８０】
補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行うことができる。
【００８１】
メモリ装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、メモリ装置４５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００８２】
ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、合成画像表示における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また実行結果等を格納することもできる。
【００８３】
ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８４】
上述したようなハードウェア構成により、本発明における非可視化情報埋込処理及び非可視化情報認識処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理及び非可視化情報認識処理を容易に実現することができる。
【００８５】
次に、非可視化情報埋込処理及び非可視化情報認識処理について具体的に説明する。
【００８６】
＜非可視化情報埋込処理手順＞
まず、本実施形態における非可視化情報埋込処理手順について説明する。図４は、本実施形態における非可視化情報埋込処理手順の一例を示すフローチャートである。
【００８７】
図４に示す非可視化情報埋込処理は、まずカメラ等の撮像手段により撮影された画像を取得し（Ｓ０１）、画像の解析を行い（Ｓ０２）、画像中に含まれる物体情報、物体位置情報等を取得する。
【００８８】
次に、Ｓ０２の処理にて得られた情報に基づいて埋込対象画像の判定を行い（Ｓ０３）、その物体に対して非可視化情報（マーカー）を埋め込むか否かを判断する（Ｓ０４）。ここで、非可視化情報を埋め込む場合（Ｓ０４において、ＹＥＳ）、非可視化情報を設定し（Ｓ０５）、Ｓ０５の処理により設定された非可視化情報に基づいて、画像に合成する非可視化情報を生成する（Ｓ０６）。
【００８９】
また、Ｓ０６の処理にて生成された非可視化情報を画像の所定位置に合成して（Ｓ０７）、合成画像をディスプレイ等の出力手段により表示又はデータとして出力する（Ｓ０８）。
【００９０】
Ｓ０８の処理終了後又はＳ０４の処理において、非可視化情報を埋め込まない場合（Ｓ０４において、ＮＯ）、他の画像に非可視化情報を埋め込むか否かを判断する（Ｓ０９）。他の画像に非可視化情報を埋め込む場合（Ｓ０９において、ＹＥＳ）、Ｓ０１に戻り以降の処理を繰り返し実行する。また、Ｓ０９の処理において、他の画像に非可視化情報を埋め込まない場合（Ｓ０９において、ＮＯ）、非可視化情報埋込処理を終了する。
【００９１】
＜非可視化情報認識処理手順＞
次に、本実施形態における非可視化情報認識処理手順について説明する。図５は、本実施形態における非可視化情報認識処理手順の一例を示すフローチャートである。
【００９２】
図５に示す非可視化情報認識処理は、埋込画像を取得し（Ｓ１１）、取得した画像から非可視化情報を抽出する（Ｓ１２）。
【００９３】
次に、Ｓ１２の処理において、画像から非可視化情報が抽出されたか否かを判断し（Ｓ１３）、非可視化情報が抽出された場合（Ｓ１３において、ＹＥＳ）、非可視化情報の解析を行う（Ｓ１４）。また、非可視化情報の解析結果により得られた情報から画面等に表示する表示情報を生成し（Ｓ１５）、生成した内容を表示する（Ｓ１６）。
【００９４】
ここで、他の画像から非可視化情報を認識するか否かを判断し（Ｓ１７）、他の画像から非可視化情報を認識する場合（Ｓ１７において、ＹＥＳ）、Ｓ１１に戻り以降の処理を繰り返し実行する。また、Ｓ１７の処理において、他の画像から非可視化情報を認識しない場合（Ｓ１７において、ＮＯ）、非可視化情報認識処理を終了する。
【００９５】
上述した処理により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理を容易に実現することができる。
【００９６】
＜非可視化情報について＞
ここで、本実施形態における非可視化情報について具体的に説明する。なお、非可視化情報としては、文字や数字、記号、マーク、模様、色彩、１次元コード、２次元コード等を用いることができる。ここでは、一例として２次元コードを用いて説明する。
【００９７】
図６は、画像の一例を示す図である。図６に示す画像５０では、机５１の上に、本５２、財布５３、ノート型パソコン５４、腕時計５５が置かれている。本実施形態では、画像解析手段１５にて画像に含まれるこれらの物体情報とそれらの位置情報を取得する。ここで、埋込対象画像判定手段１６において、財布５３、ノート型パソコン５４、及び腕時計５５に関連情報があり、非可視化情報を生成するとする。なお、非可視化情報を生成するか否かの判断やどんな物体情報を生成するかは、ユーザ等が任意に行ってもよい。
【００９８】
したがって、図６の例では、財布５３、ノート型パソコン５４、及び腕時計５５がそれぞれ表示されている位置上又はその周辺の所定の領域に２次元コードからなる非可視化情報５６−１〜５６−３が重畳により合成され合成画像が生成される。
【００９９】
ここで、図７は、非可視化情報の一例を示す図である。なお、図７には、２次元コードを用いた２種類の非可視化情報６０−１，６０−２が示されている。図７に示す非可視化情報６０−１は、最外枠には低周波層６１−１を有し、その内側には高周波層６２−１を有し、更にその内側にコード部６３−１が構成されている。
【０１００】
通常、画像の一部に情報を埋め込むと、画像中のどの部分にコード部が埋め込まれているのかが判別できないため画像全体にコードを埋め込んでいたが、本実施形態では、コード部６３−１を、低周波層６１−１と高周波層６２−１とで囲むため、周波数をある所定の周波数（例えば、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）等）でフィルタリングして、何れかを黒色等の単色又は画像の色とは異なる複数色で表記することにより２次元コードが浮かびあがることになる。したがって、フィルタリングを行うことで、コード領域を抽出することができ、画像の一部にコードが埋め込まれていても効率的に２次元コードを読み取ることができる。
【０１０１】
また、本実施形態では、図７の非可視化情報６０−２に示すように、最外枠には高周波層６２−２を有し、その内側には低周波層６１−２を有し、更にその内側にコード部６３−２が構成されていても、上述した非可視化情報６０−１の場合と同様の効果を得ることができる。
【０１０２】
なお、コードが埋め込まれる領域は、正方形が好ましいが、本発明においてはこれに限定される、長方形、菱形、円形等の予め設定された領域であれば、どの領域にも適用することができる。
【０１０３】
なお、２次元コードには、向き情報が必要であるが、本実施形態では、コードの向きを画像の上下左右に合わせて合成する。したがって、例えばテレビ画面上の映像を携帯端末が具備するカメラで撮影する場合、通常、携帯端末の向きはテレビ画面に正対させるため、方向情報は、ある特定の向きに限られる。そのため、方向を示す情報を２次元コードに付する必要がなくなる。このように、２次元コードの認識の際には、向き情報を取得せずに入力された画像が固定した向きを示しているため、コード自体に向き情報を入れる必要がない。そのため、他の多くの情報を入れることができ、更に、コード認識時にも向き情報を解析する必要がないため効率的にコードの認識を行うことができる。したがって、本実施形態によれば、非可視化情報を高精度に取得することができる。
【０１０４】
＜付加情報の具体的な埋め込み例＞
次に、本実施形態の画像合成手段１９における付加情報の具体的な埋め込み例について図を用いて説明する。図８は、付加情報の具体的な埋め込み例について説明するための図である。なお、以下の説明では、付加情報として２次元コードの埋め込み例について説明する。図８に示す原画像は、上述の図６に示す画像５０と同様であるため、画像５０に対するここでの詳細な説明は省略する。図８に示す画像５０において、上述したノード型パソコン用の非可視化領域５６−２では、拡大すると低周波部６４と高周波部６５とが所定の領域（例えば正方形）内で所定の条件に基づいて配列されている。ここで、低周波部６４を「０」とし、高周波部６５を「１」としてコードを埋め込む。また、高周波部６５は、濃色と淡色を所定ピクセル単位で交互に並べ、更に遠くから見た時には平均すると元の画像そのものの色になるよう調整する。
【０１０５】
＜低周波及び高周波について＞
ここで、本実施形態における低周波及び高周波について説明する。通常、周波数には時間についての周波数（時間周波数）と空間の位置についての周波数（空間周波数）があるが、本実施形態においては、特に断らない限りは空間周波数を指す。空間周波数とは、「単位長さに対する画素値の周期の逆数」と定義される。
【０１０６】
本実施形態における周波数は、特に限定されるものではないが、例えば高周波部では０．２〜２［ｃｙｃｌｅ／画素］、低周波部では０〜１［ｃｙｃｌｅ／画素］の範囲で設定すればよく、具体的には低周波部より高周波部の方が、周波数が高くなっていればよい。
【０１０７】
また、高周波部にて形成される所定の画素領域（例えば、４×４ｐｘ（ピクセル）等）からなるグリッドは、明部と暗部が周期的に繰り返していればよく、例えば、縦縞、横縞、格子状等があげられる。
例えば、
明明明明
暗暗暗暗
明明明明
暗暗暗暗
又は、
明暗明暗
暗明暗明
明暗明暗
暗明暗明
等である。
【０１０８】
また、そのときの明部と暗部の明度差は１０以上であればよく、好適なのは５０以上であり、更に好適なのは１００以上である。なお、本実施形態における明度差は、上述したように、まず通常表示される画像の明度を基準として明部と暗部とを生成し、生成された明部と暗部とにおける明度差を用いていたが、本発明においてはこれに限定されるものではない。例えば、通常の画像の明度と、その明度に対して低周波部又は高周波部における明度とにおける明度差を用いていてもよい。
【０１０９】
この場合、例えば、高周波部と見なされる明暗差は、グレースケールで隣り合うエレメントを基準として約１５以上であれば高周波部とみなすことができる。具体的には、約１５〜３５程度の明度差が高周波部として主に使うことができる領域である。なお、エレメントとは、縦横１ｐｘ以上のピクセルで構成されたものであり、本実施形態では、例えば１エレメントを２×２ｐｘとすることができる。
【０１１０】
ここで、例えばカメラ等の撮像装置で読み取れる明度差の最小値が１５である場合、明度差が３５を超えると人間の目にも容易に認識できてしまう。また逆に、埋め込む画像の部分が極端に暗い場合や明るい場合には、カメラ等による読み取り精度を上げるために例えば３５以上の明度差を付けることも必要となる。したがって、本実施形態では、埋め込む位置の画像（背景）の明度や輝度等や撮影されるカメラの性能等に応じて任意に明度差に変化を付けて非可視化情報のコードを生成する。
【０１１１】
また、上述した付加情報における使用可能なピクセルサイズは、例えばその画像と、画像を見る人との距離により変化するため、特に限定されるものではないが、例えば約１ｍの距離であれば、約０．０５〜２ｍｍ程度が好ましく、約１０ｍの距離であれば、約０．５ｍｍ〜２０ｍｍ程度が好ましい。更に離れた距離から使用する場合でも、同様のピクセルサイズと距離の比率を保っていることが好ましい。
【０１１２】
＜低周波部又は高周波部の模様について＞
上述した本実施形態においては、低周波部又は高周波部の何れかを画像に付与する場合、所定の画像の所定の埋め込み場所に対して特定の模様を有しているのが好ましい。ここで、上述の内容について、図を用いて説明する。図９は、低周波部又は高周波部の模様を説明するための図である。なお、図９（ａ）〜（ｅ）の１マスは、エレメントを示している。
【０１１３】
本実施形態において、低周波部又は高周波部により埋め込み情報を生成する場合には、例えば図９に示すように、市松模様（図９（ａ））や横縞模様（図９（ｂ））、縦縞模様（図９（ｃ））、右斜め線（図９（ｄ））、左斜め線（図９（ｅ））等の予め設定された模様を生成する。なお、本実施形態においては、上記模様に限定されるものではなく、例えば図９（ａ）〜（ｅ）のうち複数の模様を部分的に組み合わせてもよい。
【０１１４】
なお、上述した図９（ａ）〜（ｅ）に示す模様において、例えば紙に埋め込む場合には、図９（ａ）に示すような市松模様が一番見えにくく、また目立ちにくさでも、背景によらず市松模様が一番目立ちにくい。また逆に、図９（ｄ），図９（ｅ）に示す斜め線は一番目立つ。
【０１１５】
しかしながら、モニタ上で見る画像や動画に模様を埋め込む場合には、図９（ａ）に示すような市松模様だとパターンが細かすぎてカメラが高周波部と認識できない。そのため、横線か斜め線で高周波部を構成する必要がある。また、モニタ上でも紙と同じく斜め線で構成した高周波部が一番目立つ。
【０１１６】
これにより、低周波部又は高周波部をカメラ等で撮影して埋め込み情報を取得する際、上述した図９（ａ）〜（ｅ）に示す得られた情報を基準として原画像（背景画像）に対して適切な非可視化情報を埋め込むことで、容易且つ確実に埋め込み情報を読み取ることができる。なお、上述した模様は、低周波のみや高周波のみを使用した場合や、低周波と高周波を両方用いた場合にも適用できる。
【０１１７】
＜コードの埋め込み実施例＞
ここで、本実施形態の画像合成手段１９におけるコードの埋め込み実施例について具体的に説明する。図１０は、コードの埋め込みの実施例を示す図である。図１０に示す画像５０は、上述した図６及び図８と同様であるため、ここでの詳細な説明は省略する。
【０１１８】
図１０に示す例では腕時計５５に対する非可視化情報５６−３に対しての埋め込み手法を説明するものである。まず、画像５０からコードを埋め込む部分を抽出する。抽出する部分は、１つのグリッドの大きさに基づいて設定され、例えば一辺が所定ピクセル（図１０では、一例として８ｐｘ）の正方形とすることができる。また、図１０における１エレメントは２×２ｐｘとしている。
【０１１９】
なお、この範囲は一例であり、グリッドの大きさはこの他でもよいが、あまりにも小さすぎたり、大きすぎる場合には、「０」と「１」のコードが読み取りづらくなるため、例えば一辺が３〜９ｐｘの正方形が好ましい。また、形状は、正方形に限定されずに上記範囲内における長方形であってもよい。更に、コード部６３におけるグリッドの数も特に制限はないが、正方形であるのが好ましい。図１０の例では、グリッドサイズは１０×１０となっている。
【０１２０】
ここで、図１１は、グリッドに対するコードの埋め込み例を示す図である。非可視化情報生成手段１８は、図１１に示すように、非可視化情報５６−３であるコード部６３内のグリッド７１に含まれるピクセルを明度の値で数値化する。ここで、各ピクセルは、赤緑青の各素子から構成されており、各色の輝度（０〜２５５）を平均したものをピクセルの明度とする。
【０１２１】
なお、明度の定義は「明度＝（Ｒ＋Ｇ＋Ｂ）／３」の関係が成り立つ状態をいい、例えば、図１１に示すように、Ｒ：２００、Ｇ：１００、Ｂ：０のとき、このピクセルの明度は「（２００＋１００＋０）／３＝１００」となる。
【０１２２】
＜低周波部のコードの埋め込み＞
次に、上述した低周波部のコードの埋め込み例について図を用いて説明する。図１２は、低周波部のコードの埋め込みの一例を示す図である。図１２に示すようなグリッドが形成されている場合、例えば図１２に示すようにガウシアンフィルター（Ｇａｕｓｓｉａｎ Ｆｉｌｔｅｒ）によるフィルタリング処理により、グリッド全体に所謂ぼかしフィルタをかけ、グリッド内の明度値を平滑化する。つまり、図１２の例では、グリッド７１の明度が１３０前後で平滑化される。
【０１２３】
＜高周波部のコードの埋め込み＞
次に、上述した高周波部のコードの埋め込み例について図を用いて説明する。図１３は、高周波部のコードの埋め込みの一例を示す図である。図１３（ａ）に示すようなグリッドでは、高周波部を埋め込むために縞模様を生成する。そのため、グリッド７１の偶数行は明度を上げ、奇数行は明度を落とす処理を行う。なお、明度の増減値は、図１３（ｂ）に示すように背景の明度から判断して決定される。このように、明度の値に対応して増減値を設定することで、埋め込み情報を効率的に生成することができ、また埋め込み情報をより目立たなくさせることができる。なお、図１３（ｂ）のような値は、例えば上述した蓄積手段１３等に蓄積されている。
【０１２４】
ここで、図１３（ｂ）を参照すると図１３（ａ）において、奇数行の場合には、明度減となる処理を行い増減値は図１３（ｂ）により「−３５」を用いて「１５２」から「１２７」となる。また、偶数行の場合には、明度増となる処理を行い増減値は図１３（ｂ）により「＋３０」を用いて「１２０」から「１５０」となる。上述した図１２、図１３に示すような低周波部、高周波部のコードの埋め込み処理を非可視化領域に対して行うことで、２次元コードを生成することができる。
【０１２５】
＜非可視化情報抽出手段３５における非可視化情報の抽出例＞
次に、上述した非可視化情報抽出手段３５における非可視化情報の抽出例について、フローチャートを用いて説明する。図１４は、非可視化情報を抽出するための一例を示す図である。なお、以下の処理では、高周波部のみを用いて生成された非可視化情報を撮影画像から抽出する例について説明するが、本発明における抽出手法についてはこれに限定されるものではない。
【０１２６】
図１４に示す非可視化情報の抽出例としては、まず、非可視化情報が埋め込まれている映像や画像を撮影した撮影画像を取得する（Ｓ２１）。次に、取得した画像に対してＳｏｂｅｌラプラシアンフィルタを行い、画像中からエッジ（明度変化の激しい部分）を抽出し、エッジ部分は白色に、それ以外は黒色に変換する（Ｓ２２）。つまり、撮影画像にＳｏｂｅｌラプラシアンフィルタをかけることで、コード部分（高周波画像の場合はエッジの集まり）と背景のエッジの両方（Ｉｍａｇｅ ｅｄｇｅｓ）を抽出することができる。
【０１２７】
なお、上述した「高周波画像の場合はエッジの集まり」というのは、基本的に明暗が急激に変化する部分をエッジとしているが、高周波画像の場合、横方向又は縦方向に明度をみていくとエレメント毎に明暗が反転する。そのため、高周波画像の場合は、エレメント境界が全てエッジになる。
【０１２８】
また、Ｓ２１の処理にて取得した撮影画像に対して、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を行い（Ｓ２３）、撮影画像を空間領域から周波数領域に変換する。次に、Ｓ２３の処理により得られた周波数画像に対して高周波領域に存在する値を０にすることで画像中から高周波成分を取り除くための周波数フィルタリングを行う（Ｓ２４）。
【０１２９】
次に、Ｓ２４の処理によりフィルタをかけた画像を周波数領域から空間領域に戻すＩＤＣＴ（逆離散コサイン変換）を行う（Ｓ２５）。なお、上述したＳ２３〜Ｓ２５の処理は、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理を行うことを意味している。
【０１３０】
また、Ｓ２５の処理により得られた画像に対して、Ｓｏｂｅｌラプラシアンフィルタを行い、画像中からエッジ（明度変化の激しい部分）を抽出し、エッジ部分は白色に、それ以外は黒色に変換する（Ｓ２６）。
【０１３１】
次に、Ｓｏｂｅｌラプラシアンフィルタで得られたエッジを一回り太いものに膨張させる膨張処理を行う（Ｓ２７）。具体的には、例えば、得られたエッジを上下左右に３ピクセル（ｐｘ）ずつ外側に向けて広げる。
【０１３２】
その後、Ｓ２２の処理にて得られた画像（エッジ＋コード画像）から、Ｓ２７の処理にて得られた背景画像（背景画像のエッジ）を引く差分処理を行う（Ｓ２８）。これにより、非可視化情報の画像のみを抽出することができる。
【０１３３】
次に、Ｓ２８の処理にて得られた画像から画像に含まれるノイズ成分を取り除くメディアンフィルタ処理を行う（Ｓ２９）。具体的には、例えば注目画素の周りの３×３＝９画素の中の中央値を注目画素の値と置き換える。
【０１３４】
そして、Ｓ２９のメディアンフィルタ処理が終わった時点で画像から非可視化情報を抽出する（Ｓ３０）。具体的には、Ｓ２９のメディアンフィルタ処理が終わった時点では、非可視化情報のみが含まれているため、非可視化情報を抽出し、（１）形状（四角形）抽出、（２）射影変換、（３）コードの「１」、「０」判定の３つを行う。
【０１３５】
ここで、上記（１）形状抽出では、例えば画像中から四角形（コード）の四隅の座標を算出する処理を行う。なお、算出する座標の位置については四角形に限定されるものではなく、予め設定される形状に応じて適宜設定することができ、例えば三角形や星型等であれば各頂点の座標を算出するようにする。
【０１３６】
また、上記（２）射影変換では、得られた四点の座標を用いて、歪んだコードを正方形に戻す処理を行う。更に、上記（３）コードの「１」、「０」判定では、コードに含まれるデータビットが「１」であるか「０」であるかを判定する処理を行う。具体的には、１ｂｉｔを構成するブロックに含まれるピクセルのうち、黒ピクセルの方が多ければ「０」と判定し、白ピクセルの方が多ければ「１」と判定する。上述したような処理を行うことにより、撮影画像に含まれる１又は複数の非可視化情報を高精度に取得することができる。
【０１３７】
ここで、図１５は、実際の非可視化情報を抽出する例を示す図である。図１５に示す例では、「Ｒ」の文字画像（Ｉｍａｇｅ）に対して非可視化情報（Ｃｏｄｅ）が埋め込まれている撮影画像から非可視化情報を抽出する例を示している。
【０１３８】
図１５（ａ）に示す撮影画像からエッジ検出を行い、図１５（ｂ）に示すコード（Ｃｏｄｅ）＋イメージエッジ（Ｉｍａｇｅ ｅｄｇｅｓ）の画像を取得する。また、図１５（ａ）に示す撮影画像からコード除去（Ｃｏｄｅ ｒｅｍｏｖａｌ）を行い、図１５（ｃ）に示すように、イメージからコード部分を取り除いた画像（Ｉｍａｇｅ−Ｃｏｄｅ）を取得する。
【０１３９】
また、図１５（ｃ）に示す画像（Ｉｍａｇｅ−Ｃｏｄｅ）に対して、エッジ検出を行い、図１５（ｄ）に示すように、イメージエッジからコードを取り除いた画像（Ｉｍａｇｅ ｅｄｇｅｓ−Ｃｏｄｅ）を取得する。
【０１４０】
次に、図１５（ｂ）に示す画像と図１５（ｄ）に示す画像との差分を取ることにより、図１５（ｅ）に示すようなコード（Ｃｏｄｅ）を取得することができる。なお、上述した図１４におけるＳ２３〜Ｓ２５の処理で得られた結果が図１５（ｃ）に対応し、Ｓ２７の処理で得られた結果が図１５（ｄ）に対応し、図２９の処理で得られた結果が図１５（ｅ）に対応している。
【０１４１】
上述した手法により本実施形態において撮影画像から非可視化情報を高精度に抽出することができる。なお、上述した非可視化情報の抽出処理は、撮影された画像全体に対して行ってもよく、予め非可視化情報が埋め込まれている画像の位置が特定されているのであれば、その特定領域のみに対して上述した抽出処理を行ってもよい。
【０１４２】
＜非可視化情報認識結果＞
ここで、図１６は、非可視化情報の認識結果の一例を示す図である。図１６に示すように、本実施形態では、例えば非可視化情報が合成された合成画像８１にＨＰＦによるフィルタリング処理を行うことにより、非可視化情報認識装置３０における表示情報生成手段により、図１６に示すように２次元コードを原画像に表示させることもでき、この情報を読み取って２次元コードの中身の情報を表示させることもできる。
【０１４３】
＜非可視化情報の付加画像例＞
ここで、図１７Ａ〜図１７Ｈは、それぞれ非可視化情報が付加された画像例を示す図（その１〜その８）である。図１７Ａ〜図１７Ｈに示される各領域９１内には、非可視化情報が埋め込まれている。このように、本実施形態を適用することで、非可視化情報を画像中の適切な場所にのみ付加して、画像中の一部に映し出されている物体等に関する詳細情報等を的確に提供することができる。
【０１４４】
なお、図１７Ａ〜図１７Ｃに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その商品の名称、材料、味の評価、価格、販売しているお店に関する情報、又はその情報が蓄積されたサーバ等へのアドレス情報（例えば、ＵＲＬ等）を蓄積することができる。また、図１７Ｄに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その花の名称、撮影場所、咲く時期等の情報を蓄積することができる。また、図１７Ｅに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その彫刻の名前、撮影場所、設置した由来等の情報を蓄積することができる。更に、図１７Ｆに示す画像に付加された領域９１内に示される非可視化情報のコードには、例えば、その飛行機の名称や飛行速度、撮影場所等の情報を蓄積することができる。
【０１４５】
また、図１７Ｇと図１７Ｈは、それぞれ同一の画像を示しているが、それぞれの領域９１内には、異なる手法で生成された非可視化情報のコードが埋め込まれている。具体的には、図１７Ｇの領域９１内には、上述した高周波部と低周波部とを用いて生成された非可視化情報のコードが埋め込まれており、図１７Ｈの領域９１内には、高周波部のみを用いて生成された非可視化情報が埋め込まれている。つまり、図１７Ｇに示す低周波部と高周波部とを含む非可視化情報のコードの場合、原画像によっては低周波部に画像のボケが発生する場合がある。そのため、図１７Ｈに示すように高周波部のみを用いた非可視化情報のコードを用いることで、より見え難い非可視化情報を原画像に埋め込むことができる。
【０１４６】
なお、本実施形態においては、１つの画像中に複数の非可視化情報を部分的に付加させることができる。また、本実施形態における非可視化情報が付加可能な対象は、テレビ画面やパソコン画面等に映し出される画像だけでなく、例えば画面に表示される映像や、紙、カード、ハガキ、ポスター等の各種印刷媒体等に対しても適用することができる。
【０１４７】
更に、コードの面積が大きい方が、埋め込めるデータ量も大きくなるため、本実施形態では、埋め込むデータ量に応じて、原画像に埋め込むコードのサイズや数を適宜調整することができる。
【０１４８】
＜非可視化情報の他の実施例＞
図１８は、非可視化情報の他の実施例を示す図である。図１８の例では、高周波部又は低周波部の何れか一方を黒色等の所定の色でカラー表示する。このように、他の文字情報を直接非可視化情報として埋め込んでおくことで、埋め込まれた文字（図１８の例では、「ＲＩＴＳ」）をそのまま表示情報として出力することができる。また、図１８に示す手法を用いることで、例えば上述したコードＩＤ等をキーとして対応する付加情報を検索して取得するといった処理を行う必要がなく、迅速に付加情報を画面に表示することができる。
【０１４９】
＜結果比較＞
ここで、本実施形態である周波数法と、従来手法である埋め込み情報が埋め込まれた画像と原画像との差分情報から情報を取得する差分法とを比較した結果について説明する。図１９は、比較結果の一例を示す図である。なお、図１９の例では、上述した本実施形態における低周波部と高周波部とを用いてコード化された非可視化情報を生成する手法を図１９に示す周波数法とした。
【０１５０】
また、図１９において、読取時間とは、コード部を認識してからデコードが完了するまでの時間である。また、実行命令数とは、一例として「Ｉｎｔｅｌ ｃｏｒｅ ２ ｄｕｏ」のＭＩＰＳ（Ｍｉｌｌｉｏｎ Ｉｎｓｔｒｕｃｔｉｏｎｓ Ｐｅｒ Ｓｅｃｏｎｄ）を２２，０５８Ｍとしたときの値である。
【０１５１】
図１９に示すように、本実施形態によれば、読取時間、実行命令数、ＣＰＵ使用率、メモリ使用量の全てにおいて、差分法よりも良好な結果を得ることができた。
【０１５２】
また、図１９には示していないが、例えば高周波部のみを用いて生成した非可視化情報のオードの場合、その読取時間は、０．２７２秒（実行時間）であった。なお、そのときの実行環境は、ＯＳがＭａｃＯＳＸ１０．６、ＣＰＵが２ＧＨｚ Ｃｏｒｅ ２ Ｄｕｏ、メモリが２Ｇバイトである。これにより、高周波部又は低周波部の一方のみを用いた場合にも効率的且つ適切に撮影画像からコードを読み取ることができる。
【０１５３】
＜非可視化確認試験の結果＞
次に、上述した本実施形態を適用した非可視化情報を付加した画像に対する非可視化確認試験の結果について説明する。図２０は、試験に用いた画像を示す図である。なお、図２０（ａ）は、まだ非可視化情報が埋め込まれていない画像を示し、図２０（ｂ）は、本実施形態における非可視化情報である２次元コードが埋め込まれている画像を示している。なお、図２０（ｂ）の画像に付加された２次元コードは、上述した図６に示す画像５０の非可視化情報５６−１〜５６−３と同様の位置に付加されている。
【０１５４】
なお、この試験では、被験者９名に対して、コードなし画像（図２０（ａ））と、コード（２５ｍｍ×２５ｍｍ）入り画像（図２０（ｂ））（それぞれのサイズは、１８０ｍｍ×１３５ｍｍ）を並べてモニタ上に表示し、１ｍ離れた所から１５秒間見て、２枚の間に差を申告させた。
【０１５５】
その結果、９人中１人が「キーボードの上に横線が入っている」と答えた。また、その他８人は、「違いが分からない」と答えた。なお、同じ画像を上述した本実施形態における非可視化情報認識装置３０を通して見た所、非可視化情報（マーカー）が見えることが確認された。
【０１５６】
上述したように本発明によれば、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【０１５７】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１５８】
１０ 非可視化情報埋込装置
１１，３１ 入力手段
１２，３２ 出力手段
１３，３３ 蓄積手段
１４ 画像取得手段
１５ 画像解析手段
１６ 埋込対象画像判定手段
１７ 非可視化情報設定手段
１８ 非可視化情報生成手段
１９ 画像合成手段
２０，３８ 送受信手段
２１，３９ 制御手段
３０ 非可視化情報認識装置
３４ 埋込画像取得手段
３５ 非可視化情報抽出手段
３６ 非可視化情報解析手段
３７ 表示情報生成手段
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
４７ ネットワーク接続装置
４８ 記録媒体
５０ 画像
５１ 机
５２ 本
５３ 財布
５４ ノート型パソコン
５５ 腕時計
５６，６０ 非可視化情報
６１ 低周波層
６２ 高周波層
６３ コード部
６４ 低周波部
６５ 高周波部
７１ グリッド
８１ 合成画像
９１ 領域
【特許請求の範囲】
【請求項１】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、
前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、
前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、
前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することを特徴とする非可視化情報埋込装置。
【請求項２】
前記画像合成手段により合成される前記非可視化情報の形態を設定する非可視化情報設定手段と、
前記非可視化情報設定手段により設定された非可視化情報から合成用の画像を生成する非可視化情報生成手段とを有することを特徴とする請求項１に記載の非可視化情報埋込装置。
【請求項３】
前記非可視化情報設定手段は、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項２に記載の非可視化情報埋込装置。
【請求項４】
前記画像合成手段は、
前記画像解析手段により取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする請求項１乃至３の何れか１項に記載の非可視化情報埋込装置。
【請求項５】
取得した画像に含まれる非可視化情報を認識する非可視化情報認識装置において、
前記画像から非可視化情報を抽出する非可視化情報抽出手段と、
前記非可視化情報抽出手段により前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析手段と、
前記非可視化情報解析手段により得られる付加情報から画面に表示する表示情報を生成する表示情報生成手段とを有することを特徴とする非可視化情報認識装置。
【請求項６】
前記非可視化情報抽出手段は、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする請求項５に記載の非可視化情報認識装置。
【請求項７】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込方法において、
前記画像に含まれる物体情報及び位置情報を取得する画像解析ステップと、
前記画像解析ステップにより得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定ステップと、
前記埋込対象画像判定ステップにより得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成ステップとを有することを特徴とする非可視化情報埋込方法。
【請求項８】
前記画像合成ステップにより合成される前記非可視化情報の形態を設定する非可視化情報設定ステップと、
前記非可視化情報設定ステップにより設定された非可視化情報から合成用の画像を生成する非可視化情報生成ステップとを有することを特徴とする請求項７に記載の非可視化情報埋込方法。
【請求項９】
前記非可視化情報設定ステップは、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項８に記載の非可視化情報埋込方法。
【請求項１０】
前記画像合成ステップは、
前記画像解析ステップにより取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする請求項７乃至９の何れか１項に記載の非可視化情報埋込方法。
【請求項１１】
取得した画像に含まれる非可視化情報を認識する非可視化情報認識方法において、
前記画像から非可視化情報を抽出する非可視化情報抽出ステップと、
前記非可視化情報抽出ステップにより前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析ステップと、
前記非可視化情報解析ステップにより得られる付加情報から画面に表示する表示情報を生成する表示情報生成ステップとを有することを特徴とする非可視化情報認識方法。
【請求項１２】
前記非可視化情報抽出ステップは、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする請求項１１に記載の非可視化情報認識装置。
【請求項１３】
コンピュータを、請求項１乃至４の何れか１項に記載の非可視化情報埋込装置として機能させることを特徴とする非可視化情報埋込プログラム。
【請求項１４】
コンピュータを、請求項５又は６に記載の非可視化情報認識装置として機能させることを特徴とする非可視化情報認識プログラム。
【請求項１】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込装置において、
前記画像に含まれる物体情報及び位置情報を取得する画像解析手段と、
前記画像解析手段により得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定手段と、
前記埋込対象画像判定手段により得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成手段とを有することを特徴とする非可視化情報埋込装置。
【請求項２】
前記画像合成手段により合成される前記非可視化情報の形態を設定する非可視化情報設定手段と、
前記非可視化情報設定手段により設定された非可視化情報から合成用の画像を生成する非可視化情報生成手段とを有することを特徴とする請求項１に記載の非可視化情報埋込装置。
【請求項３】
前記非可視化情報設定手段は、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項２に記載の非可視化情報埋込装置。
【請求項４】
前記画像合成手段は、
前記画像解析手段により取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする請求項１乃至３の何れか１項に記載の非可視化情報埋込装置。
【請求項５】
取得した画像に含まれる非可視化情報を認識する非可視化情報認識装置において、
前記画像から非可視化情報を抽出する非可視化情報抽出手段と、
前記非可視化情報抽出手段により前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析手段と、
前記非可視化情報解析手段により得られる付加情報から画面に表示する表示情報を生成する表示情報生成手段とを有することを特徴とする非可視化情報認識装置。
【請求項６】
前記非可視化情報抽出手段は、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする請求項５に記載の非可視化情報認識装置。
【請求項７】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報埋込方法において、
前記画像に含まれる物体情報及び位置情報を取得する画像解析ステップと、
前記画像解析ステップにより得られた物体情報から前記画像が埋め込み対象の画像であるかを判定する埋込対象画像判定ステップと、
前記埋込対象画像判定ステップにより得られる判定結果に基づいて、前記画像に前記非可視化情報を合成する画像合成ステップとを有することを特徴とする非可視化情報埋込方法。
【請求項８】
前記画像合成ステップにより合成される前記非可視化情報の形態を設定する非可視化情報設定ステップと、
前記非可視化情報設定ステップにより設定された非可視化情報から合成用の画像を生成する非可視化情報生成ステップとを有することを特徴とする請求項７に記載の非可視化情報埋込方法。
【請求項９】
前記非可視化情報設定ステップは、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項８に記載の非可視化情報埋込方法。
【請求項１０】
前記画像合成ステップは、
前記画像解析ステップにより取得される物体の位置情報に基づいて、前記物体に対応する非可視化情報を合成することを特徴とする請求項７乃至９の何れか１項に記載の非可視化情報埋込方法。
【請求項１１】
取得した画像に含まれる非可視化情報を認識する非可視化情報認識方法において、
前記画像から非可視化情報を抽出する非可視化情報抽出ステップと、
前記非可視化情報抽出ステップにより前記非可視化情報が抽出された場合、前記非可視化情報から得られる前記画像に含まれる物体の付加情報を解析する非可視化情報解析ステップと、
前記非可視化情報解析ステップにより得られる付加情報から画面に表示する表示情報を生成する表示情報生成ステップとを有することを特徴とする非可視化情報認識方法。
【請求項１２】
前記非可視化情報抽出ステップは、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする請求項１１に記載の非可視化情報認識装置。
【請求項１３】
コンピュータを、請求項１乃至４の何れか１項に記載の非可視化情報埋込装置として機能させることを特徴とする非可視化情報埋込プログラム。
【請求項１４】
コンピュータを、請求項５又は６に記載の非可視化情報認識装置として機能させることを特徴とする非可視化情報認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図６】
【図８】
【図１０】
【図１１】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１７Ｆ】
【図１７Ｇ】
【図１７Ｈ】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図６】
【図８】
【図１０】
【図１１】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１７Ｄ】
【図１７Ｅ】
【図１７Ｆ】
【図１７Ｇ】
【図１７Ｈ】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１４２６０７（Ｐ２０１１−１４２６０７Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−１９１２６７（Ｐ２０１０−１９１２６７）
【出願日】平成２２年８月２７日（２０１０．８．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年８月２７日（２０１０．８．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]