非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラム
【課題】非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツを提供する。
【解決手段】取得した画像の所定の位置に非可視化情報を埋め込む埋込装置において、前記画像に含まれるオブジェクト及び位置情報を取得する画像解析手段と、前記画像解析手段により得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定手段と、前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有することにより上記課題を解決する。
【解決手段】取得した画像の所定の位置に非可視化情報を埋め込む埋込装置において、前記画像に含まれるオブジェクト及び位置情報を取得する画像解析手段と、前記画像解析手段により得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定手段と、前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムに係り、特に非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供するための非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムに関する。
【背景技術】
【０００２】
従来では、カメラ付き携帯端末等の普及に伴い、静止画、動画等を用いた様々なディジタルコンテンツが提供されている。また、従来では、携帯端末等のカメラを用いて、紙等の印刷媒体に印刷されたＱＲコード（登録商標）等の２次元コードを読み取り、読み取った２次元コードから得られるコンテンツサイトにアクセスしたり、コンテンツに対応するメッセージ等を表示したりすることができる。
【０００３】
しかしながら、２次元コードは見栄えが悪く、また２次元コードを配置するためのスペースも必要となる。そこで、近年では２次元コードを使用せずにコンテンツの画像中から情報を取得し、取得した情報に基づいて、対応する処理を行う技術が開示されている（例えば、特許文献１及び特許文献２参照）。
【０００４】
特許文献１に示されている技術は、画像中に含まれる所定の領域を抽出する条件として、画像の属性に関する指示情報を取得し、取得した指示情報に基づいて、画像中から抽出すべき領域を特定する領域特定手段とを備える画像処理装置が示されている。つまり、特許文献１では、画像中の特徴量を用いて背景画像との分離を行う技術が示されている。
【０００５】
また特許文献２に示されている技術は、画像データを入力する入力手段と、画像データを符号化して符号化データを生成する符号化手段と、画像データから任意形状のオブジェクトを抽出し、オブジェクトの形状データを生成する形状データ生成手段と、形状データを電子透かしによって符号化データに埋め込む埋め込み手段とを備える画像処理装置が示されている。また、特許文献２では、画像中に電子透かしを埋め込み、電子透かしの埋め込まれている場所と埋め込まれていない場所の境界を背景分離の情報として用いる技術が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１３７２２号公報
【特許文献２】特開２００４−８００９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば特許文献１に示されているような技術では、画像中の特徴量を用いて背景画像との分離を行うため、背景画像とオブジェクトの色が同一であったり類似している場合には、画像中の特徴量から正確な位置でオブジェクトを分離することができない。
【０００８】
また、特許文献２に示されている技術では、２次元コード等を画像に埋め込む場合に原画像を周波数領域に変換した後、２次元コードを埋め込み、その後、更に空間領域に変換して埋め込みを行う必要が生じる。また、２次元コードを読み出す場合には、入力された画像を周波数領域に変換し、コードを読み出した後、空間領域に変換してコードを抽出する必要が生じる。したがって、コードを埋め込む場合や読み出す場合には、多くの画像処理が発生するため、携帯端末等の低スペックの機器での処理やリアルタイム処理には向いていなかった。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供するための非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
本発明は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込装置と、該埋込装置により得られる画像に含まれるオブジェクト及び非可視化情報を認識する認識装置とからなる非可視化情報を用いたコンテンツ提供システムにおいて、前記埋込装置は、前記取得した画像に含まれるオブジェクトから非可視化情報を埋め込むオブジェクトを設定する埋込対象オブジェクト設定手段と、前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有し、前記認識装置は、前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とするコンテンツ提供システム。
【００１２】
また本発明は、取得した画像の所定の位置に非可視化情報を埋め込む埋込装置において、前記画像に含まれるオブジェクト及び位置情報を取得する画像解析手段と、前記画像解析手段により得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定手段と、前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有することを特徴とする。
【００１３】
また本発明は、取得した画像に含まれるオブジェクト及び非可視化情報を認識する認識装置において、前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とする。
【００１４】
また本発明は、コンピュータを、上述した埋込装置が有する各手段として機能させるための埋込プログラムである。また本発明は、コンピュータを、上述した認識装置が有する各手段として機能させるための認識プログラムである。
【発明の効果】
【００１５】
本発明によれば、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態におけるコンテンツ提供システムの概略構成の一例を示す図である。
【図２】本実施形態における埋込装置の機能構成の一例を示す図である。
【図３】本実施形態における認識装置の機能構成の一例を示す図である。
【図４】本実施形態における非可視化情報の埋込処理及び認識処理が実現可能なハードウェア構成の一例を示す図である。
【図５】本実施形態における非可視化情報の埋込処理手順の一例を示すフローチャートである。
【図６】本実施形態における非可視化情報の認識処理手順の一例を示すフローチャートである。
【図７】本実施形態における非可視化情報の埋め込み例について説明するための図である。
【図８】本実施形態における非可視化情報の抽出及びオブジェクトの認識例について説明するための図である。
【図９】本実施形態におけるオブジェクト動作例を説明するための図である。
【図１０】高周波部及び低周波部を有する非可視化情報を説明するための図である。
【図１１】埋め込み強度と背景のグレースケール値の関係を示す図である。
【図１２】モノクロイメージ用の非可視化コードの例を示す図である。
【図１３】０〜２５５までグレーイメージを変化させた明るさに対する読み取り認識精度と非可視化との関係を示す図である。
【図１４】本実施形態におけるイメージ毎の非可視化情報の読み取り認識精度の評価について説明するための図である。
【図１５】図１４に対応する評価結果を示す図である。
【図１６】実施例１におけるＡＲアプリケーションシステムの一例を示す図である。
【図１７】取得したトリミングマーカによる風車の動作例を示す図である。
【図１８】画像中に含まれる非可視化情報と動作指示情報との関係を説明するための図である。
【図１９】実施例２におけるＡＲアプリケーションシステムの一例を示す図である。
【図２０】実施例３におけるＡＲアプリケーションシステムの一例を示す図である。
【図２１】実施例４におけるＡＲアプリケーションシステムの一例を示す図である。
【発明を実施するための形態】
【００１７】
＜本発明ついて＞
本発明では、例えば画面に表示される画像や映像、又は紙やフィルム等の各種印刷媒体等からなる写真、ハガキ、ポスター、カード等に対して、肉眼では認識不可能な加工により非可視化情報（マーカ）を画像中に含まれるオブジェクト（物体情報）の周囲に埋め込み、デジタルカメラや携帯端末（携帯電話、スマートフォン（登録商標）等）に設けられたカメラ等の撮影手段によって、その画像や映像、印刷媒体等の一部を撮影し、撮影された画像や映像等を、パソコンや携帯端末、ｉｐａｄ（登録商標）等のようなタブレットＰＣ等に取り込み画像処理することで、埋め込まれたマーカを認識し、オブジェクトを抽出する。
【００１８】
また本発明は、例えば携帯端末等のような容量や性能が制限された機種でも埋め込まれたマーカの認識が実施可能となるマーカの埋込方法と、画像処理を組み合わせたマーカ認識を可能にする。
【００１９】
更に、本発明では、認識されたマーカの情報から、例えばオブジェクトを動作させるための埋込情報を取得し、取得した埋込情報に基づいて、抽出された対象のオブジェクトに対する処理を行う。また、本発明では、非可視化情報の埋め込みから抽出、画像中のオブジェクトに対する処理内容までの一連の動作を行うコンテンツ提供システムを提供する。
【００２０】
なお、非可視化情報とは、ユーザの目の網膜が感知できない状態であってもよいし、ユーザの目の網膜は感知できるものの、ユーザの脳がそれを情報として識別できないような状態となる情報等を意味する。
【００２１】
また、非可視化情報は、画像中の画素毎の明度（明暗差）等を調整した高周波部や低周波部であってもよく、また直接認識することができる文字情報であってもよく、また記号や数字、マーク、模様、色彩、１次元コード、２次元コード等であってもよく、更にそれらの組み合わせであってもよい。なお、コード情報としては、例えばＱＲコード等の２次元バーコード等を使用することができる。また、本実施形態において、コード情報は、ＱＲコードに限定されるものではなく、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ−７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ Ｍａｔｒｉｘ、Ｍａｘｉ Ｃｏｄｅ等のバーコード情報等を用いることもできる。
【００２２】
以下に、本発明における非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムを好適に実施した形態について、図面を用いて説明する。なお、本実施形態において説明する「画像」とは、写真等の１枚の画像も、映像における連続したフレーム単位の画像も含まれるものとする。また、本実施形態におけるコンテンツ提供システムとは、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）システムを示しているが本発明においてはこれに限定されるものではなく、他のコンテンツサービス全般に適用される。
【００２３】
＜可視化情報を用いたコンテンツ提供システム＞
まず、本実施形態における可視化情報を用いたコンテンツ提供システムの概略について、図を用いて説明する。図１は、本実施形態におけるコンテンツ提供システムの概略構成の一例を示す図である。図１に示すコンテンツ提供システム１０は、入力される第１の印刷媒体１１と、第１の画像情報取得装置１２と、埋込装置１３と、第２の印刷媒体１４と、第２の画像情報取得装置１５と、認識装置１６とを有するよう構成されている。
【００２４】
第１の印刷媒体１１は、非可視化情報が埋め込まれる前の画像が印刷されている。コンテンツ提供システム１０では、複数の第１の印刷媒体１１（図１の例では、第１の印刷媒体１１−１，１１−２）を用いることができる。なお、本実施形態においては、一例として第１の印刷媒体１１に対して、埋込装置１３を用いて非可視化情報が埋め込まれた第２の印刷媒体１４を生成する例を示しているが、本発明においてはこれに限定されるものではなく、例えば画像を直接取得し、取得した画像に対して非可視化情報を埋め込み、埋め込んだ画像等を印刷して第２の印刷媒体１４を生成してもよい。
【００２５】
また、本実施形態において、第１の印刷媒体１１に印刷されている画像等には、オブジェクトが含まれている。オブジェクトとは、本発明において、例えば非可視化情報に含まれている情報等に基づいて動作させたり、関連情報を表示させるための物体情報を意味し、例えば人間や動物（顔や手、足等の部分的なオブジェクト等も含む）、虫、花、木、乗り物、机、椅子、帽子、眼鏡、靴、鞄等の製造物等、背景と分別可能なオブジェクト全般等を意味する。
【００２６】
画像情報取得装置１２は、非可視化情報が含まれていない第１の印刷媒体１１を撮影し、画像情報として取得する。なお、第１の画像情報取得手段１２としては、例えば、カメラ（撮像手段）１２−１や、スキャナ（情報読取装置）１２−２等を用いることができるが、本発明においてはこれに限定されるものではなく、例えば、複写機やカメラ機能のついた携帯端末、ゲーム機器、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等、画像情報が取得可能な機能を有する装置形態全般を用いることができる。
【００２７】
埋込装置１３は、第１の印刷媒体１１等から入力された画像データに対し、認識装置１６においてトリミング等の処理を実行する対象のオブジェクトを選択し、そのオブジェクトの所定の周囲に予め設定された非可視化情報を埋め込み、埋め込んだ画像を出力する。
【００２８】
なお、埋込装置１３は、非可視化情報を埋め込んだ後の画像を印刷媒体（第２の印刷媒体１４）として出力してよく、画像のまま出力してもよい。
【００２９】
なお、埋込装置１３は、例えば、汎用のＰＣ１３−１や携帯端末１３−２等を用いることができるが、本発明においてはこれに限定されるものではない。また、携帯端末１３−２には、第１の画像情報取得手段１２としての内蔵カメラ１２−３が設けられており、これにより直接第１の印刷媒体１１の画像データを取得することができる。なお、埋込装置１３の具体的な機能構成等については後述する。
【００３０】
第２の印刷媒体１４は、本実施形態における非可視化情報が埋め込まれた印刷媒体である。なお、第２の印刷媒体１４には、例えば所定のオブジェクに対してトリミングや所定の動作等を行わせるための非可視化情報が埋め込まれている。
【００３１】
第２の画像情報取得手段１５は、第２の印刷媒体１４に対して、上述した第１の画像情報取得手段１２と同様にその画像データを取得する。なお、第２の画像情報取得手段１５としては、例えば、カメラ１５−１や、スキャナ１５−２等を用いることができるが、本発明においてはこれに限定されるものではなく、例えば、複写機やカメラ機能のついた携帯端末、ゲーム機器、タブレットＰＣ等、画像情報が取得可能な機能を有する装置形態全般を用いることができる。
【００３２】
認識装置１６は、第２の画像情報取得手段１５から得られる画像データを用いて、画像に含まれる非可視化情報を認識し、認識した非可視化情報から画像データに含まれる所定のオブジェクトをトリミングする。なお、トリミングとは、例えば、画像中から不要な部分等を取り除いて対象のオブジェクトのみ（オブジェクトの大まかな外枠等も含む）を抽出することをいう。
【００３３】
また、認識手段１６は、抽出されたオブジェクトに対して、予め設定された又は非可視化情報に含まれる指示内容に対応した動作を実行させる。なお、オブジェクトに対する処理内容としては、例えば、認識装置１６の画面上でオブジェクトを移動させたり、回転させたり、拡大や縮小、他のオブジェクトに置換、他の異なる画像や文字の表示、音声出力、関連情報の表示、更にはそれらの組み合わせ等を行う。
【００３４】
また、認識装置１６は、抽出したオブジェクトに対して、直ぐに動作を行わずに、例えばユーザ等による二次的な指示情報に基づいて、その対象のオブジェクトに対する処理を実行することができる。なお、二次的な指示情報としては、例えば、その認識装置１６に対する風圧（例えば、マイク等の音声入力手段に息を吹きかけたり、実際に風が吹く等）や、音（声、音楽、特定の言葉（例えば、呪文やかけ声等））、光（例えば、太陽にあてる等）、機器の回転（例えば、その場で回したり、振ったり、水平や垂直に保つ等の動作を含む）、圧力（画面をタッチしたり、ドラッグする等）、その他、温度や時間、場所、天気等の環境条件等により得られる情報を含み、またこれらの情報のうち幾つかを組み合わせてもよく、その場合には、複数の二次的な指示情報の指示順序（例えば、回転させた後にかけ声等）や指示情報毎に予め設定された優先度等に応じて最終的な指示情報を設定してもよい。
【００３５】
なお、認識装置１６は、例えば、汎用のＰＣ１６−１や携帯端末１６−２等を用いることができるが、本発明においてはこれに限定されるものではない。また、携帯端末１６−２には、第２の画像情報取得手段１５としての内蔵カメラ１５−３が設けられており、これにより直接第２の印刷媒体１４の画像データを取得することができる。なお、認識装置１６の具体的な機能構成等については後述する。
【００３６】
＜埋込装置１３：機能構成例＞
ここで、上述した本実施形態における埋込装置１３の機能構成例について図を用いて説明する。図２は、本実施形態における埋込装置の機能構成の一例を示す図である。
【００３７】
図１に示す埋込装置１３は、入力手段２１と、出力手段２２と、蓄積手段２３と、画像取得手段２４と、画像解析手段２５と、埋込対象オブジェクト設定手段２６と、埋込情報設定手段２７と、埋込情報生成手段２８と、非可視化情報埋込手段２９と、送受信手段３０と、制御手段３１とを有するよう構成されている。
【００３８】
入力手段２１は、ユーザ等からの画像取得指示や、画像解析指示、埋込対象オブジェクト設定指示、埋込情報設定指示、埋込情報生成指示、非可視化情報埋込指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段２１は、例えばＰＣ等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。
【００３９】
また、入力手段２１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像等を入力する機能を有してもよい。その場合、撮像手段は、埋込装置１３に内蔵されていてもよく、外部の機能構成であってもよい。更に、入力手段２１は、音声等を入力する音声入力機能があってもよい。
【００４０】
出力手段２２は、入力手段２１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段２２は、取得した画像や、画像解析結果、埋込対象オブジェクト設定結果、設定された非可視化情報、生成された非可視化情報、非可視化情報が埋め込まれた（合成された）埋込画像、各構成における処理の結果等の画面表示や音声出力等を行う。なお、出力手段２２は、ディスプレイやスピーカ等からなる。
【００４１】
更に、出力手段２２は、プリンタ等の印刷機能を有していてもよく、上述の各出力内容を、例えば紙やハガキ、ポスター等の各種印刷媒体等に印刷し、上述した第２の印刷媒体１４としてユーザ等に提供することもできる。
【００４２】
蓄積手段２３は、本実施形態において必要となる各種情報や埋込処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段２３は、入力又は予め蓄積されている画像取得手段２４で取得される撮影等により得られた１又は複数の画像或いは映像を取得する。また、蓄積手段２３は、画像解析手段２５にて解析された結果や埋込対象オブジェクト設定手段２６における判定結果、埋込情報設定手段２７による設定内容、埋込情報生成手段２８により生成された埋込情報、非可視化情報埋込手段２９により埋め込まれた画像等を蓄積する。また、蓄積手段２３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００４３】
画像取得手段２４は、非可視化情報を埋め込む対象となるオブジェクトを含む画像や映像等を取得する。なお、画像や映像等は、例えばカメラ等の撮像手段により得られる画像や映像等でもよく、カタログやパンフレット、ポスター、写真、カード、シール、雑誌等の書籍類、商品の包装（箱も含む）や説明書等に適用される対象画像等であってもよい。また、画像取得手段２４は、送受信手段３０を介して通信ネットワーク上に接続される外部の装置で撮影された情報やデータベース等に蓄積された画像や映像等を取得することもでき、また、入力手段２１を介して実際にユーザ等がカメラ等で撮影した画像を用いてもよい。
【００４４】
画像解析手段２５は、画像取得手段２４にて取得した画像を解析して画像中に含まれる内容を解析する。具体的には、画像中のどの部分（位置、領域）にどのようなオブジェクトが映し出されているか、又は、映像中においてオブジェクトがどのように移動しているか等、オブジェクト情報及び座標等からなるオブジェクトの位置情報を取得する。
【００４５】
なお、画像解析手段２５は、オブジェクトを取得する際、例えば、予め設定された複数のオブジェクト画像等を蓄積手段２３に蓄積しておき、オブジェクト画像を用いてパターンマッチング等を行い、オブジェクトを抽出してもよい。また、画像解析手段２５は、例えば、オブジェクトが人物の場合に、その人物の顔の特徴部分から顔検出を行ってもよく、また顔の特徴量を数値化し、その結果により人物特定を行ってもよい。
【００４６】
更に、画像解析手段２５は、ユーザ等が入力手段２１等によって指定されたオブジェクトの輪郭（外枠）情報を用いて、オブジェクトを抽出することもできる。
【００４７】
埋込対象オブジェクト設定手段２６は、画像解析手段２５により解析された結果に基づいて、その画像データにオブジェクトが含まれているか、又は、画像データにオブジェクトが含まれている場合には、そのオブジェクトが予め設定された非可視化情報の埋め込み対象であるか否か等を判定し、その判定結果から埋込対象オブジェクトを設定する。なお、埋込対象オブジェクト設定手段２６は、画像データ中に複数のオブジェクトが存在する場合には、複数のオブジェクトのうち、少なくとも１つのオブジェクトを設定する。この場合には、オブジェクトに対して、例えば、予め設定される優先度や、そのオブジェクトの画面全体に対する表示領域の位置、映像であれば、そのオブジェクトが表示されていた時間等により任意に設定することができ、それらの埋込詳細情報も蓄積手段２３に蓄積される。
【００４８】
ここで、埋込対象オブジェクト設定手段２６において、画像中に含まれるオブジェクトが非可視化情報を埋め込む対象であるか否かは、例えばユーザ等により予め設定された埋込判定情報が蓄積手段２３等に蓄積され、その埋込判定情報を用いて埋め込み判定を行ってもよく、又は、そのオブジェクトに対する動作や付加情報が蓄積手段２３に蓄積されているかを検索し、もし付加情報が蓄積されている場合には、埋込対象のオブジェクトであると判定してもよい。
【００４９】
したがって、例えば、画像解析手段２５によって画像を解析した結果、画像の一部に風車やパンダ、商品等のオブジェクトが含まれていると解析された場合、埋込対象オブジェクト設定手段２６は、そのオブジェクトに関する付加情報が蓄積手段２３に蓄積されているか否かを判断し、そのオブジェクトに関する付加情報が存在する場合には、そのオブジェクトを埋込対象オブジェクトであると判定する。なお、埋め込む内容（付加情報）は、例えば埋込情報設定手段２７等において設定することもでき、設定された内容は、蓄積手段２３に蓄積される。
【００５０】
なお、上述した本実施形態では、画像解析手段２５による解析結果に基づいて、埋込対象オブジェクトの設定を行っていたが、本発明においてはこれに限定されるものではなく、例えば出力手段２２等を用いて画像データを画面に表示し、ユーザ等が表示された画像データに含まれる１又は複数のオブジェクトから、入力手段２１を用いて埋込対象オブジェクトを選択してもよい。
【００５１】
埋込情報設定手段２７は、埋込対象オブジェクト設定手段２６により設定されたオブジェクトに対して、どのような情報を付加情報として埋め込むのか、その具体的な情報の内容、及び表示手法（例えば、画面表示（表示サイズや位置等の詳細な情報を含む）、音声出力、印刷出力等）を設定する。具体的には、埋込情報設定手段２７は、例えば、オブジェクトが人物である場合には、そのオブジェクトに対してどのような動作（回転、移動、拡大、縮小、他のオブジェクトに置換等）をさせるかの動作指示情報を設定したり、その人物の氏名、年齢、性別、身長、趣味、経歴等を設定し、更にその設定された各種情報の表示手法等を設定する。また、オブジェクトが財布や洋服等の場合には、そのブランド名や商品名、値段、ホームページやブログ等のアドレス等を設定し、更にその設定された各種情報の表示手法等を設定する。また、オブジェクトが本である場合には、その本のタイトル、著者、発行日、値段、著者に関する情報等を設定し、更にその設定された各種情報の表示手法等を設定する。なお、埋込情報設定手段２７にて設定される付加情報としては、映像、画像等が含まれる。
【００５２】
また、埋込情報設定手段２７は、どのような形態で情報を付加するのかを設定する。例えば、付加情報は、特定の暗号化された文字であるのか、或いは模様や記号、コード情報等であるのか等を設定する。なお、コード情報等の場合には、認識装置１６側で、そのコードに対する情報が取得できるように対応データベースが設けられていることが好ましい。上述したように、複数の形態から設定することができるため、埋め込み対象の画像の内容に応じて適切な埋込情報を選択して設定することができる。
【００５３】
埋込情報生成手段２８は、埋込対象オブジェクトに対してどのような動作等をさせるか（動作指示情報）等の処理内容を含む埋込情報を生成する。なお、埋込情報生成手段２８は、直接文字情報として生成してもよく、コード情報として生成してもよい。具体的には、埋込情報生成手段２８は、例えば、埋込情報が実際にユーザに提供される印刷媒体や画像等に対して見えにくくするために埋込情報を、埋め込み対象の原画像の色情報等を基準にして、例えば、低周波部と高周波部とを用いた画像、又は、低周波部のみ或いは高周波部のみを用いた画像を生成する。
【００５４】
ここで、本実施形態における低周波部とは、非可視化情報を埋め込む部分の原画像の明度を基準とし、それより明度を低くした部分又は領域を示し、高周波部とは、上述した原画像の明度を基準として、それより明度を高くした部分又は領域を意味する。埋込情報生成手段２８における非可視化情報の詳細については後述する。
【００５５】
また、本実施形態における非可視化情報は、認識装置１６側において、オブジェクトを抽出するために用いられるため、埋込情報を埋め込む場合には、その非可視化情報の全部に埋込情報を埋め込んでもよく、また非可視化情報の一部（例えば、非可視化情報領域（トリミングマーカ）内の隅や周囲等）に埋め込んでもよい。
【００５６】
また、埋込情報生成手段２８は、画像中のどの位置に非可視化情報を埋め込むかを座標情報として取得する。なお、本実施形態では、例えば動作対象となるオブジェクトを基準にして、その周囲の所定領域に非可視化情報を埋め込む。つまり、本実施形態では、認識装置１６において、この非可視化情報によりオブジェクトの位置を把握し、オブジェクトをトリミング（抽出等）する。
【００５７】
したがって、本実施形態における非可視化情報には、認識装置１６側において、例えば、トリミングするオブジェクトを抽出させる用途と、必要に応じてオブジェクトにどのような動作をさせるかを指示する動作指示情報やその他の付加情報等を取得させる用途とがある。
【００５８】
非可視化情報埋込手段２９は、画像解析手段２５により得られる画像と、その画像のオブジェクト情報、及び座標情報等からなるオブジェクト位置情報等に基づいて、埋込情報生成手段２８にて生成された非可視化情報を所定の位置に埋め込んで画像を合成する。
【００５９】
なお、本実施形態において、埋込情報を埋め込む際、例えば画像中に表示されているオブジェクトの位置上又はその周辺に、そのオブジェクトに対応する埋込情報が埋め込まれているのが好ましく、この場合には、画像解析手段２５により得られたオブジェクト位置情報を基準として対象画像に埋込画像の埋め込みを行う。
【００６０】
つまり、本実施形態によれば、画像全体に対して１つの埋込情報を付与するのではなく、複数の非可視化情報を適切な場所に埋め込むことができる。なお、非可視化情報埋込手段２９は、原画像に含まれる複数又は全てのオブジェクトを動作させるための非可視化情報を埋め込むこともできる。
【００６１】
また、非可視化情報埋込手段２９は、埋込対象の画像が映像の場合、再生中の映像におけるオブジェクトの移動に対して追随して移動し、そのオブジェクト上に非可視化情報が埋め込まれるようにすることができる。つまり、非可視化情報埋込手段２９は、埋込対象画像が入力される毎に撮影画像に対して埋め込み処理を行い、その埋込画像を順次表示させたり、第２の印刷媒体１４として出力させることができる。
【００６２】
送受信手段３０は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像や埋込画像等）や、本発明における非可視化情報埋込処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段３０は、埋込装置１３内で生成された各種情報を外部装置に送信することができる。
【００６３】
制御手段３１は、埋込装置１３の各構成部全体の制御を行う。具体的には、制御手段３１は、例えばユーザ等による入力手段２１からの指示等に基づいて、画像の取得や画像解析、埋込対象オブジェクトであるか否かの判断、非可視化情報の設定並びに埋め込み等の各処理における制御等を行う。なお、埋込情報設定手段２７における非可視化情報や埋込情報生成手段２８における非可視化情報は、予め設定や生成をしておき蓄積手段２３に蓄積させていてもよい。
【００６４】
＜認識装置１６：機能構成例＞
次に、上述した本実施形態における認識装置１６の機能構成例について図を用いて説明する。図３は、本実施形態における認識装置の機能構成の一例を示す図である。
【００６５】
図２に示す認識装置１６は、入力手段４１と、出力手段４２と、蓄積手段４３と、埋込画像取得手段４４と、オブジェクト抽出手段４５と、非可視化情報解析手段４６と、表示情報生成手段４７と、送受信手段４８と、制御手段４９とを有するよう構成されている。
【００６６】
入力手段４１は、ユーザ等からの埋込画像取得指示や、非可視化情報抽出指示、非可視化情報解析指示、表示情報生成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段４１は、例えばＰＣ等の汎用コンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段４１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像を入力する機能も有する。なお、上述の撮像手段は、認識装置１６に内蔵されていてもよく、外部の機能構成であってもよい。更に、入力手段４１は、音声等を入力する音声入力機能があってもよい。
【００６７】
また、入力手段４１は、上述した第２の印刷媒体１４、つまり紙やハガキ、ポスター、写真、カード等の印刷媒体から埋込画像を取得することができる。この場合、カメラ等の撮像手段や、スキャナ機能等を用いてデータを読み取る機能を備える。
【００６８】
また、出力手段４２は、入力手段４１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段４２は、表示情報生成手段４７により得られる画像や映像に表示されるオブジェクトに対する付加情報等を出力する。なお、出力手段４２は、ディスプレイやスピーカ等からなる。
【００６９】
更に、出力手段４２は、プリンタ等の印刷機能を有していてもよく、上述のオブジェクトに対する実際の動作内容等の各出力内容を、例えば紙等の各種印刷媒体に印刷してユーザ等に提供することもできる。
【００７０】
蓄積手段４３は、本実施形態において必要となる各種情報や非可視化情報認識処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段４３は、埋込画像取得手段４４で取得した埋込画像や、オブジェクト抽出手段４５で取得した非可視化情報（マーカ）、非可視化情報解析手段４６により解析した非可視化情報や埋込情報、表示情報生成手段４７で生成された表示内容等を蓄積する。
【００７１】
更に、蓄積手段４３は、非可視化情報解析手段４６によって解析されたデータに対する関連情報を蓄積することができる。例えば、非可視化情報があるコード情報（文字コード、２次元コード等も含む）等であった場合には、そのコード情報に対応する各種データ（例えば、コード情報に対応するオブジェクトに対する詳細情報（文字、映像、画像、音声等）、データを画面に表示するときのサイズ、色、時間、位置、動作内容等）を蓄積手段４３に蓄積しておく。また、蓄積手段４３は、コード等を取得したときや、その他の必要に応じて蓄積されている各種データを読み出すことができる。
【００７２】
埋込画像取得手段４４は、第２の画像情報取得装置１５から第２の印刷媒体１４に対応する画像データを取得する。また、埋込画像取得手段４４は、予め蓄積手段４３に処理対象の画像データが蓄積されている場合は、蓄積手段４３から蓄積してもよく、また送受信手段４８を介して通信ネットワークに接続される外部装置から埋込画像を取得してもよい。なお、埋込画像には、映像も含まれる。
【００７３】
オブジェクト抽出手段４５は、埋込画像に含まれるオブジェクトを抽出する。具体的には、オブジェクト抽出手段４５は、例えば、入力される埋込画像に対して、ある所定の周波数によるフィルタリングを行い、画像中に埋め込まれている非可視化情報を取得する。所定の周波数によりフィルタリングを行うことで、高周波部、低周波部の領域を容易に抽出することができる。なお、本発明においては、これに限定されるものではなく他の手法を用いてもよい。また、画像中に複数の非可視化情報がある場合には、全ての非可視化情報を抽出する。
【００７４】
次に、オブジェクト抽出手段４５は、画像中に含まれる非可視化情報の埋め込み位置からオブジェクトの外枠（エッジ）を抽出し、その抽出されたオブジェクトの外枠（エッジ）に対応させて、その内側にあるオブジェクトを背景から分離して抽出する。
【００７５】
例えば、オブジェクト抽出手段４５は、非可視化情報として設定される低周波部と高周波部との組み合わせにより、オブジェクトの周囲の位置情報を抽出し、抽出した位置情報に基づいて、そのオブジェクトを抽出する。なお、本実施形態においては、上述した低周波部及び高周波部に限定されるものではなく、例えば色差、明度差等に基づいてオブジェクトを抽出してもよい。
【００７６】
なお、オブジェクト抽出手段４５は、埋込画像中に複数の非可視化情報がある場合には、その全ての非可視化情報からオブジェクトを抽出してもよく、予め決められた少なくとも１つの非可視化情報（例えば、埋込画像の一番左にある非可視化情報や、大きさが最大の非可視化情報等）を抽出してもよい。
【００７７】
また、オブジェクト抽出手段４５は、どの位置から非可視化情報を抽出したかの非可視化情報抽出位置情報も取得する。オブジェクト抽出手段４５は、上述にて取得した各種情報を蓄積手段４３に蓄積させる。
【００７８】
更に、本実施形態では、非可視化情報を抽出することで、そのオブジェクトの向き（角度）や傾き等を取得することができる。そのため、オブジェクト抽出手段４５は、非可視化情報から得られる向きや傾き等の情報から対象オブジェクトの角度や傾きを補正することができる。
【００７９】
非可視化情報解析手段４６は、オブジェクト抽出手段４５により得られた非可視化情報に埋込情報が含まれているか否か解析し、埋込情報が含まれている場合には、その具体的な埋込情報の内容を取得する。
【００８０】
例えば、非可視化情報に埋込情報として文字（例えば、回転、右に移動等）が含まれている場合には、その文字を付加情報として取得する。また、埋込情報としてコードが含まれている場合には、そのコードの情報を取得し、その取得した内容（例えば、コードＩＤ等）をキーにして、蓄積手段４３や送受信手段４８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置等を検索し、検索した結果、キーに対応するオブジェクトへの動作指示情報や表示手法等の各種処理内容（付加情報）があれば、その情報を取得する。
【００８１】
なお、本実施形態における非可視化情報解析手段４６は、バーコードを読み取るバーコードリーダ等の読み取り機能を有していてもよい。その場合には、例えば、非可視化情報が２次元バーコードである場合には、その２次元バーコードからバーコードリーダを用いて付加情報を取得する。
【００８２】
表示情報生成手段４７は、非可視化情報解析手段４６により得られた付加情報に基づいて画面に表示されたオブジェクトに対する動作内容や、表示手法に基づく表示内容等を生成する。なお、画面への表示は、画面上に別枠（別ウィンドウ）を設けて動作を表示させてもよく、対応するオブジェクトが表示されている位置上に表示してもよく、更に音声により出力してもよい。
【００８３】
なお、表示情報生成手段４７における処理としては、例えば、上述したようにオブジェクトを背景から消す処理を行ったり、その消した位置にオブジェクトを表示し、拡大、縮小、回転、移動、他のオブジェクトに置換等を行うことができる。したがって、画像中に含まれる所定のオブジェクトに対して、個々の動作を行わせて表示させることができる。更に、表示情報生成手段４７は、表示されるオブジェクトを背景画像に重畳させたり、空間認識による角度や傾きの補正処理等を行うことができる。
【００８４】
ここで、本実施形態において、どのオブジェクトにどのような動作をさせるかについては、例えば、そのオブジェクトの周囲にある非可視化情報から取得することができる。したがって、本実施形態では、画像中の動作させたいオブジェクトに対してのみ、その周囲に非可視化情報を埋め込むだけで、そのオブジェクト毎に独自の処理を埋込装置１３側で設定することができる。
【００８５】
また、表示情報生成手段４７は、取得した非可視化情報をそのまま可視化して表示してもよく、非可視化情報に対応する付加情報を蓄積手段４３や外部装置等から取得して、その取得した付加情報を表示してもよい。
【００８６】
更に、表示情報生成手段４７は、非可視化情報解析手段４６により得られた結果がコードである場合、上述したコードＩＤ等に基づいて蓄積手段４３等から取得した付加情報毎に設定されている画面に表示するときのサイズ、色、時間、位置、動作内容等に基づいて表示させるための表示情報を生成する。なお、映像として対象オブジェクトが移動している場合には、そのオブジェクトの位置に追随して表示させてもよく、また、最初に画面に表示した位置に固定して表示させてもよい。
【００８７】
送受信手段４８は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像等）や、本発明における非可視化情報認識処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段４８は、認識装置１６内で生成された各種情報を外部装置に送信することができる。
【００８８】
制御手段４９は、認識装置１６の各構成部全体の制御を行う。具体的には、制御手段４９は、例えばユーザ等による入力手段４１からの指示等に基づいて、埋込画像の取得や非可視化情報の抽出、非可視化情報の解析、表示情報の生成等の各処理の各制御等を行う。
【００８９】
上述した装置構成により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【００９０】
＜埋込装置１３、認識装置１６：ハードウェア構成＞
ここで、上述した埋込装置１３及び認識装置１６においては、各機能をコンピュータに実行させることができる実行プログラム（埋込プログラム、認識プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における非可視化情報の埋込処理及び認識処理等を実現することができる。
【００９１】
ここで、本実施形態における非可視化情報の埋込処理及び認識処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図４は、本実施形態における非可視化情報の埋込処理及び認識処理が実現可能なハードウェア構成の一例を示す図である。
【００９２】
図４におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００９３】
入力装置５１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置５１は、カメラ等の撮像手段から撮影された画像を入力する画像入力ユニットを有している。
【００９４】
出力装置５２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００９５】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【００９６】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行うことができる。
【００９７】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００９８】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、埋込処理及び認識処理における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。
【００９９】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１００】
上述したようなハードウェア構成により、本発明における非可視化情報の埋込処理及び認識処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における埋込処理及び認識処理を容易に実現することができる。
【０１０１】
次に、上述した埋込プログラムにおける非可視化情報の埋込処理、及び認識プログラムにおける非可視化情報の認識処理について具体的に説明する。
【０１０２】
＜非可視化情報の埋込処理手順＞
まず、本実施形態における非可視化情報の埋込処理手順について説明する。図５は、本実施形態における非可視化情報の埋込処理手順の一例を示すフローチャートである。
【０１０３】
図５に示す埋込処理は、まずカメラ等の撮像手段により撮影された画像を取得し（Ｓ０１）、画像の解析を行い（Ｓ０２）、画像中に含まれるオブジェクト、オブジェクト位置情報等を取得する。
【０１０４】
次に、Ｓ０２の処理にて得られた情報に基づいて埋込対象オブジェクトの設定を行い（Ｓ０３）、そのオブジェクトに対して非可視化情報（マーカ）を埋め込むか否かを判断する（Ｓ０４）。ここで、非可視化情報を埋め込む場合（Ｓ０４において、ＹＥＳ）、そのオブジェクトに対してどのような動作指示情報を埋め込むか等の処理内容を示した埋込情報を設定し（Ｓ０５）、Ｓ０５の処理により設定された埋込情報を生成する（Ｓ０６）。
【０１０５】
また、Ｓ０６の処理にて生成された埋込情報を含む画像中の所定のオブジェクトの周囲の所定位置に埋め込み（Ｓ０７）、その埋め込み後の合成画像をディスプレイ等の出力手段により表示又はデータとして出力する（Ｓ０８）。なお、Ｓ０８の処理では、Ｓ０７により得られた画像を印刷媒体に出力することもできる。
【０１０６】
Ｓ０８の処理終了後又はＳ０４の処理において、非可視化情報を埋め込まない場合（Ｓ０４において、ＮＯ）、他の画像に非可視化情報を埋め込むか否かを判断する（Ｓ０９）。他の画像に非可視化情報を埋め込む場合（Ｓ０９において、ＹＥＳ）、Ｓ０１に戻り以降の処理を繰り返し実行する。また、Ｓ０９の処理において、他の画像に非可視化情報を埋め込まない場合（Ｓ０９において、ＮＯ）、非可視化情報埋込処理を終了する。
【０１０７】
なお、本実施形態では、上述Ｓ０２の処理は行わずに、ユーザ等が画面上に表示される画像データから少なくとも１つのオブジェクトを設定してもよい。
【０１０８】
＜非可視化情報の認識処理手順＞
次に、本実施形態における非可視化情報の認識処理手順について説明する。図６は、本実施形態における非可視化情報の認識処理手順の一例を示すフローチャートである。
【０１０９】
図６に示す認識処理は、まず、上述した埋込処理により非可視化情報が埋め込まれた埋込画像を取得する（Ｓ１１）。なお、Ｓ１１の処理では、画像が取得できれば、どのような手段を用いてもよく、例えば、上述したように印刷媒体を撮影してその画像データを取得してもよく、また予め画像データとして存在する埋込画像を外部装置等から取得してもよい。次に、取得した画像に含まれる非可視化情報からオブジェクトを抽出する（Ｓ１２）。
【０１１０】
次に、Ｓ１２の処理において、非可視化情報からオブジェクトに対する動作指示内容や表示手法等の各種処理内容からなる埋込情報が抽出されたか否かを判断し（Ｓ１３）、埋込情報が抽出された場合（Ｓ１３において、ＹＥＳ）、埋込情報の解析を行う（Ｓ１４）。また、埋込情報の解析結果により得られた付加情報から画面等に表示する表示情報等を生成し（Ｓ１５）、生成した内容を表示する（Ｓ１６）。
【０１１１】
ここで、他の画像から非可視化情報を認識するか否かを判断し（Ｓ１７）、他の画像から非可視化情報を認識する場合（Ｓ１７において、ＹＥＳ）、Ｓ１１に戻り以降の処理を繰り返し実行する。また、Ｓ１７の処理において、他の画像から非可視化情報を認識しない場合（Ｓ１７において、ＮＯ）、非可視化情報認識処理を終了する。
【０１１２】
上述した処理により、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理や認識処理を容易に実現することができる。
【０１１３】
＜非可視化情報の埋め込み例について＞
次に、本実施形態における非可視化情報の埋め込み例について、図を用いて説明する。図７は、本実施形態における非可視化情報の埋め込み例について説明するための図である。なお、埋込処理を行う場合には、図７（ａ）〜図７（ｄ）の順序で埋め込みが行われる。
【０１１４】
まず、上述した第１の印刷媒体１１等から入力された撮影画像である画像データ６１に含まれるある所定のオブジェクト６２に対して非可視化情報を挿入する場合には、図７（ａ）に示すように、オブジェクト６２を中心とし、その中心から図７（ａ）の矢印に示すようにオブジェクト６２の周囲に所定形状のコードの外枠６３を配置する。
【０１１５】
なお、外枠形状は、認識装置１６における読み取り精度を向上させるために正方形が好ましいが、本発明においてはこれに限定されるものではなく、例えば、矩形や菱形、６角形、８角形等の多角形や円形、楕円形、オブジェクトの形状に相似して拡大された形状、或いはユーザ等によりマウス等の入力手段によってフリーライドされた形状等であってもよい。
【０１１６】
次に、図７（ｂ）に示すように、オブジェクト６２に対する大体の輪郭６４を指定する。なお、輪郭６４は、ユーザ等によりマウスやタッチパネル等の入力手段を用いて任意に設定することができる。また、輪郭６４は、オブジェクト６２とその背景との輝度値等の違いにより大まかな輪郭６４を抽出することもできる。なお、この輪郭６４は、大まかなものであってよく、例えばオブジェクト６２の全体を含む領域であればよい。
【０１１７】
次に、図７（ｃ）に示すように、輪郭６４の形状に対応させてコード内枠６５を設定する。なお、コード内枠６５は、外枠６３を超えることがなく、例えば輪郭６４の一回り（所定画素数分）外側の領域が設定される。次に、図７（ｄ）に示すように、コード内枠６５と外枠６３の間に高周波部６６の符号化領域を付加し、輪郭と内枠の間に低周波部６７を付与する。これにより、認識装置１６側でオブジェクト６２の位置を認識させるための非可視化情報を埋め込むことができる。
【０１１８】
また、本実施形態では、非可視化情報に何らかの文字や記号、コード等により、オブジェクトに対する動作指示情報や表示手法等の各処理内容を挿入することで、画像中の所定のオブジェクト毎に所定の動作等を行わせることができる。これにより、付加価値のあるコンテンツサービスを提供することができる。
【０１１９】
＜非可視化情報の抽出及びオブジェクトの認識例について＞
次に、本実施形態における認識装置１６における非可視化情報の抽出及びオブジェクトの認識例について図を用いて説明する。図８は、本実施形態における非可視化情報の抽出及びオブジェクトの認識例について説明するための図である。
【０１２０】
なお、本実施形態の認識処理に係る非可視化情報の抽出及びオブジェクトの認識を行う場合には、図８（ａ）〜図８（ｄ）の順序で埋め込みが行われる。まず、上述した第１の印刷媒体１１等から入力された画像データ６１に含まれるある所定のオブジェクト６２に対して非可視化情報を挿入する場合には、まず図８（ａ）に示すように、画像６１に含まれるコード情報を取得する。具体的には、例えば、外枠６３と高周波部６６と低周波部６７とが存在する領域を抽出する。
【０１２１】
次に、図８（ｂ）に示すように、外枠６３から内側の高周波部６６を透明化し、更に図８（ｃ）に示すように、高周波部６６のエッジから内側に向かって低周波部６７を透明にする。なお、低周波部６７は、周囲との画素の輝度情報等に基づいて、把握することができるが、本発明においてはこれに限定されるものではなく、例えば高周波部から所定ビット数分内側を透明化するといったように、予め設定されたビット数のみを透明化してもよく、又は色差や明暗差等を用いて上述した透明化処理を行ってもよい。
【０１２２】
その後、図８（ｄ）に示すようにオブジェクトのみからなるトリミング画像７１を得ることができる。なお、図８（ｄ）に示すオブジェクトの周囲のエリアは、便宜上、透明化されていることを示す模様が付されている。
【０１２３】
＜オブジェクトに対する動作例＞
次に、本実施形態において、提供されたコンテンツに含まれるオブジェクトに対する動作例について、図を用いて説明する。図９は、本実施形態におけるオブジェクト動作例を説明するための図である。
【０１２４】
オブジェクトを動作させる場合には、例えば、図９（ａ）に示すように、撮影画像６１にトリミング画像７１を重畳し、次に、図９（ｂ）に示すように、背景画像のオブジェクト６２ａを削除する。具体的には、例えば、オブジェクト６２ａの周囲の背景画像の画素を用いてオブジェクト６２ａの領域を上塗りする。なお、本発明においてはこれに限定されるものではなく、例えば、予め設定された色等を用いて塗り潰してもよい。
【０１２５】
次に、トリミング画像７１に含まれるオブジェクト６２ｂを、オブジェクト６２ａを削除した撮影画像６１を背景画像として、その上で動作させる。なお、図９（ｃ）の動作内容では、オブジェクト６２ｂを所定のタイミングで右回転に動作させる処理を示しているが、本発明においては、これに限定されるものではなく、オブジェクト６２ｂを拡大させたり、縮小させたり、所定の方向に移動させたり、他のオブジェクトに置換するといった動作を行うことができる。
【０１２６】
また、入力と対応動作のバリエーションとして、本実施形態では、例えば、ユーザ等が認識装置１６の音声入力装置等に対して息を吹きかける（マイク入力）とオブジェクトの一部又は全部が回転したり、傾けるとオブジェクトが転がったり、認識装置１６の画面に触るとオブジェクトがリアクションをとったり、特定の場所に行くとオブジェクトがその場所固有の動作をすることができる。
【０１２７】
更に、本実施形態では、向いている方角によってオブジェクトの動作が変化したり、時間によってオブジェクトが寝たり起きたりすることもでき、また天気等によってオブジェクトの動作が変化したり、ユーザが歩く動作やその動作に伴う振動、移動速度、移動距離等に従って、オブジェクトも変形するといった動作を行うことができる。
【０１２８】
＜低周波部、高周波部について＞
ここで、本実施形態における低周波部及び高周波部について説明する。通常、周波数には時間についての周波数（時間周波数）と空間の位置についての周波数（空間周波数）があるが、本実施形態においては、特に断らない限りは空間周波数を指す。空間周波数とは、「単位長さに対する画素値の周期の逆数」と定義される。
【０１２９】
本実施形態における周波数は、特に限定されるものではないが、例えば高周波部では０．２〜２［ｃｙｃｌｅ／画素］、低周波部では０〜１［ｃｙｃｌｅ／画素］の範囲で設定すればよく、具体的には低周波部より高周波部の方が、周波数が高くなっていればよい。
【０１３０】
また、高周波部にて形成される所定の画素領域（例えば、４×４ｐｘ（ピクセル）等）からなるグリッドは、明部と暗部が周期的に繰り返していればよく、例えば、縦縞、横縞、格子状等があげられる。
例えば、
明明明明
暗暗暗暗
明明明明
暗暗暗暗
又は、
明暗明暗
暗明暗明
明暗明暗
暗明暗明
等である。
【０１３１】
また、そのときの明部と暗部の明度差は１０以上であればよく、好適なのは５０以上であり、更に好適なのは１００以上である。なお、本実施形態における明度差は、上述したように、まず通常表示される画像の明度を基準として明部と暗部とを生成し、生成された明部と暗部とにおける明度差を用いていたが、本発明においてはこれに限定されるものではない。例えば、通常の画像の明度と、その明度に対して低周波部又は高周波部における明度とにおける明度差を用いていてもよい。
【０１３２】
この場合、例えば、高周波部と見なされる明暗差は、グレースケールで隣り合うエレメントを基準として約１５以上であれば高周波部とみなすことができる。具体的には、約１５〜３５程度の明度差が高周波部として主に使うことができる領域である。なお、エレメントとは、縦横１ｐｘ以上のピクセルで構成されたものであり、本実施形態では、例えば１エレメントを２×２ｐｘとすることができる。
【０１３３】
ここで、例えばカメラ等の撮像装置で読み取れる明度差の最小値が１５である場合、明度差が３５を超えると人間の目にも容易に認識できてしまう。また逆に、埋め込む画像の部分が極端に暗い場合や明るい場合には、カメラ等による読み取り精度を上げるために例えば３５以上の明度差を付けることも必要となる。したがって、本実施形態では、埋め込む位置の画像（背景）の明度や輝度等や撮影されるカメラの性能等に応じて任意に明度差に変化を付けて非可視化情報のコードを生成する。
【０１３４】
また、上述した付加情報における使用可能なピクセルサイズは、例えばその画像と、画像を見る人との距離により変化するため、特に限定されるものではないが、例えば約１ｍの距離であれば、約０．０５〜２ｍｍ程度が好ましく、約１０ｍの距離であれば、約０．５ｍｍ〜２０ｍｍ程度が好ましい。更に離れた距離から使用する場合でも、同様のピクセルサイズと距離の比率を保っていることが好ましい。
【０１３５】
つまり、本実施形態では、碁盤の目パターン中（市松模様）の小さな明るく暗い正方形から成る高頻度のブロックを使用する非可視化コードを本実施形態における非可視化情報として用いる。これにより、いかなる場所でも埋め込むことができ、任意の角度から読むことができる。
【０１３６】
ここで、図１０は、高周波部及び低周波部を有する非可視化情報を説明するための図である。図１０（ａ）に示す非可視化画像の構造例では、位置検知パターン８１内に回転検知パターン８２を有する。これにより、コードのある位置とコードの向きを正確に認識することができる。
【０１３７】
また、位置検知パターン８１には、イメージに埋め込まれていた高周波部としての高周波ブロック８３を有しており、中心には、オブジェクトを収納するエッジ８４を有している。図１０（ａ）に示すように、本実施形態では、イメージの位置及び方向は、周囲の位置と方向の検知パターンによって検知される。これらのパターンも高周波ブロック８３から構成される。なお、図１０（ａ）の例では、位置検知パターン８１の外枠を点線のガイドラインで囲み、回転検知パターン８２の外枠を実線のガイドラインで囲んでいるが、実際には枠線を必要としない。
【０１３８】
図１０（ｂ）に示す各ブロックは、人が目で見て認識しづらくして視界を縮小するために明るく暗い要素を交互にするＮ×Ｎの碁盤配列からなる。明るいエレメント（要素）と暗いエレメントは、上述したように背景の輝度（明るさ）を基準にして、その輝度を上げるか下げることにより生成される。
【０１３９】
なお、明るさにおける変化は、埋め込み強度(それは明るさにおける±α変化である)によって調節される。埋め込み強度が一定の場合、イメージが非常に明るいか、非常に暗い場合、読み取り認識精度はよくない。そこで、図１０（ｃ）に示すように、背景色の埋め込み強度を変えることにより読み取り認識精度を向上させる。具体的には、背景の各ＲＧＢ値がエレメント（要素）の明るさを変更するために独立して変えられる場合、色調はイメージの視界を上げて変わる。したがって、本実施形態では、視界を縮小し、かつ読み取り認識の正確さを向上させるため、オリジナルカラーイメージをグレーレベルに変換し、背景のグレーの規模の値を基準にして埋め込み強度を設定した。
【０１４０】
ここで、図１１は、埋め込み強度と背景のグレースケール値の関係を示す図である。図１１に示すように、人間の目は白の明るさの変化に非常に敏感で、黒の変化に無感覚である。そのため、埋め込み強度の変化は、グレースケール値に関して二次関数的に、最小の強さが２０となる方程式によって以下の式で与えられる。
グレーレベル値α＝１／２１６７×（αｒ−２５５）２＋２０
＜実験結果＞
ここで、本発明を適用した実験結果について図を用いて説明する。本実施形態における読み取り認識精度は、どのようなコードを埋め込んだか（コード・スタイル）で評価される。
【０１４１】
図１２は、モノクロイメージ用の非可視化コードの例を示す図である。図１２に示すコードは、約３ｃｍ程度正方形で、データを１００ビット保持することができる。また、高周波ブロックの各サイドは４つの長いエレメント（要素）を有している。また、エレメントのサイズは、約２×２ピクセルとしている。また、図１２に示すように、高周波部ブロックは、モノクロイメージに対する碁盤（市松模様）のブロックを有している。
【０１４２】
図１３は、０〜２５５までグレーイメージを変化させた明るさに対する読み取り認識精度と非可視化との関係を示す図である。本実施形態では、コードありのイメージとコードなしのイメージとの差を５０ｃｍ離れた地点から見た評価結果を示している。その結果、背景イメージの明るさの範囲がグレーレベル４０〜１８０にある場合に読み取り認識精度が９０％以上であり、可視化されていると判断される場合が１０％未満であった。
【０１４３】
更に、本実施形態における非可視化コードの有効性を確認するために、一例として３つの共通のタイプのイメージに埋め込まれていた非可視化コードの読み取り認識精度を評価した。
【０１４４】
図１４は、本実施形態におけるイメージ毎の非可視化情報の読み取り認識精度の評価について説明するための図である。図１４（ａ）に示すような非可視化コードを、図１４（ｂ）に示すテストイメージとして、白黒（モノクロ）イメージ、女性イメージ、動物（マントヒヒ）イメージに挿入して、様々なイメージにおけるコードの認識精度を評価した。
【０１４５】
ここで、図１５は、図１４に対応する評価結果を示す図である。なお、図１５（ａ）は、カメラからコードまで距離に対する認識精度を示すグラフであり、図１５（ｂ）は、カメラの撮影角度に対する認識精度を示すグラフである。
【０１４６】
図１５（ａ）に示すように、カメラからコードまでの距離に関する正確性については、その距離が約７〜１１ｃｍ程度の距離であれば全てのイメージに対して、認識精度が１００％であることが示された。
【０１４７】
また、図１５（ｂ）に示すように、カメラの角度に対しては、約０〜４０の角度で、全てのイメージに対して、認識精度が１００％であることが示された。
【０１４８】
＜本実施形態を適用したコンテンツアプリケーション例＞
次に、上述した本実施形態を適用したコンテンツアプリケーション例について図を用いて説明する。なお、以下に示す例では、非可視化情報としてのトリミングマーカを備えたＡＲアプリケーションシステムについて説明する。
【０１４９】
＜実施例１＞
図１６は、実施例１におけるＡＲアプリケーションシステムの一例を示す図である。図１６（ａ）では、非可視化情報としてトリミングマーカを用いるイメージの例を示している。トリミングマーカは、図１６（ａ）に示す風車のためのイメージの周囲に埋め込まれる。なお、実施例１においては、周囲全体であってもよく、また周囲の一部の領域であってもよい。
【０１５０】
例えば、ユーザは、例えばスマートフォン等の携帯端末に設けられたカメラによりイメージの写真を撮ることにより、風車のイメージを取得する。また、ユーザは、携帯端末を使って、撮影された画像に含まれるオブジェクトのうち少なくとも１つを選択すると、実施例１におけるＡＲアプリケーションにより、そのオブジェクトに対してトリミングマーカが埋め込まれる。図１６の例では、風車にトリミングマーカを埋め込み、埋め込んだ画像（風車）を印刷する。なお、実施例１において、トリミングマーカは、図１６（ａ）に示す複数の風車（オブジェクト）のうち、認識側でトリミングを行う対象の所定の風車（トリミングオブジェクト）に対してのみ行えばよい。
【０１５１】
ここで、図１６（ｂ）は、非可視化トリミングマーカの構造を示している。トリミングマーカは、高周波部と低周波部とを含み、トリミングマーカの中心には抽出する対象のオブジェクト（トリミングオブジェクト）からなる。トリミングマーカの位置は、オブジェクトの周りに存在する位置検知パターンにより取得される。また、オブジェクトの向き（方向）は、例えば上述した回転検知パターン等をトリミングマーカに埋め込んでおくことで取得することができる。なお、上述の処理は、携帯端末で行われる。したがって、携帯端末には、上述した第１の画像情報取得装置１２及び埋込装置１３としての機能を有し、それらの機能は、上述した埋込プログラムにおけるＡＲアプリケーションによって実現される。
【０１５２】
また、図１６（ｃ）は、トリミングマーカによるオブジェクトの抽出例を示す図である。ユーザは、例えばスマートフォン等の携帯端末に設けられたカメラによりトリミングマーカを含む印刷された画像を撮影する。携帯端末（認識装置１６）は、上述したように、トリミングマーカの埋め込み位置から高周波部、低周波部の順序で透明化処理を行い、トリミングオブジェクトを背景とは分離した状態で取得する。また、携帯端末は、取得したトリミングオブジェクトを、背景イメージとバーチャルに合成した画像を生成し、画面に表示する。
【０１５３】
次に、取得したトリミングマーカにより抽出されたオブジェクト（風車）がどのように動作するかについて、図を用いて具体的に説明する。図１７は、取得したトリミングマーカによる風車の動作例を示す図である。具体的には、図１７（ａ）〜図１７（ｄ）の順に動作が遷移する。
【０１５４】
例えば、あるユーザが、例えばスマートフォン等の携帯端末を使用して、風車イメージの写真を撮影すると（図１７（ａ））、ターゲットイメージである風車イメージ（トリミングオブジェクト）は、上述した本実施形態による手法により背景イメージから分けられる（図１７（ｂ））。その後、風車及び背景イメージは、携帯端末の表示画面に表示される（図１７（ｃ））。
【０１５５】
ここで、ユーザは、上述した二次的な指示情報として、スマートフォンに設けられたマイク等の音声入力装置に息や呼吸を吹きかけたり、何か喋ったりすることにより、その音量（ボリューム）又は音の変化を把握し、その変化量に応じて風車を回転させるイメージを作る（図１７（ｄ））。なお、どのような二次的な指示情報に対してどのような動作を行うかについては、予め設定されていてもよく、またトリミングマーカの情報から抽出されていてもよい。
【０１５６】
なお、上述の処理は、携帯端末で行われる。したがって、携帯端末には、上述した第２の画像情報取得装置１５及び認識装置１６としての機能を有し、それらの機能は、上述した認識プログラムにおけるＡＲアプリケーションによって実現される。
【０１５７】
なお、実施例１では、上述したトリミングマーカを用いて動作を指示する場合に、画面上にトリミングマーカが複数あれば、各オブジェクト（風車）に対応するトリミングマーカに含まれる埋込情報の指示内容によってオブジェクト毎に動作してもよく、また１つのトリミングマーカに含まれる指示情報によって、抽出された複数のオブジェクトに対して動作内容を指示してもよい。これにより、例えば、複数のオブジェクトで同一の動作を行う場合には、それぞれのオブジェクトに対応するトリミングマーカに対して、動作指示情報等を含む埋込情報を設定する必要がなく、１つの埋込情報により複数のオブジェクトを動作させることができるため、効率的且つ迅速にオブジェクト動作を実現できる。
【０１５８】
ここで、図１８は、画像中に含まれる非可視化情報と動作指示情報との関係を説明するための図である。なお、図１８（ａ）は埋込画像の一例を示し、図１８（ｂ）は非可視化情報及び動作指示情報（埋込情報）が埋め込まれたオブジェクトの拡大図（動作指示情報のガイドライン付き）を示し、図１８（ｃ）は図１８（ｂ）に対応するガイドラインなしの図を示している。
【０１５９】
次に、図１８（ａ）に示す埋込画像９１では、画像中の３つの風車のオブジェクトのうち、２つのオブジェクトに非可視化情報９２−１，９２−２が埋め込まれている。したがって、上述した実施例１においては、認識装置１６において、オブジェクトと認識され抽出されるオブジェクトは、非可視化情報９２−１，９２−２で囲まれた２つの風車のみとなる。なお、図１８（ａ）〜図１８（ｃ）の例では、説明の便宜上、非可視化情報９２−１，９２−２の外枠が可視化している。
【０１６０】
次に、図１８（ｂ）の例では、非可視化情報９２−２の４隅に動作指示情報（埋込情報）９３−１〜９３−４が埋め込まれている。なお、図１８（ｂ）の例では、動作指示情報９３−１〜９３−４の埋め込み領域にガイドライン（実線）が示されているが、実際の画像では、図１８（ｃ）に示すようになる。
【０１６１】
ここで、動作指示情報が非可視化情報のどこに埋め込まれるかについては、本発明においてはこれに限定されるものではなく、例えば非可視化情報の少なくとも１つの隅であってもよく、非可視化情報の外枠上にあってもよい。また、動作指示情報９３−１〜９３−４を上述した回転検知パターンとして利用することもできる。
【０１６２】
なお、図１８（ｂ）に示す動作指示情報９３−１〜９３−４は、例えば各隅に各４ビットの情報が埋め込まれている。したがって、動作指示情報９３−１〜９３−４は、この４隅の情報を所定の順序で繋げて全１６ビットとして、１つの情報を生成することができる。なお、１６ビットを用いることで、６５５３６通りのコードパターンを取得することができるため、コードから得られる情報をＩＤや動作スイッチとして用いることで、オブジェクトに対して多種の動作内容や表示手法を設定することができる。
【０１６３】
更に、実施例１では、上述した４隅の埋込情報に対応する動作を所定の順序及びタイミングで実行させてもよく、また、１つの埋込情報の内容を抽出された全てのオブジェクトに対して実行させてもよい。
【０１６４】
なお、上述した埋込情報は、予め特定された範囲に埋め込んでおくことで、上述した非可視化情報解析手段４６にて解析する際、その特定された範囲を参照することで、即座に埋込情報を取得することができる。
【０１６５】
＜実施例２＞
図１９は、実施例２におけるＡＲアプリケーションシステムの一例を示す図である。なお、図１９におけるＡＲアプリケーションシステムも上述した実施例１と同様に携帯端末を用いて行うことができる。なお、ここで使用される携帯端末は、例えば上述した第２の画像情報取得装置１５及び認識装置１６としての機能を有する。
【０１６６】
実施例２では、例えば絵本等の紙媒体１００の中に所定の動作をさせるターゲットであるトリミングオブジェクト１０１（図１９の例では、赤とんぼ）が描かれている。また、トリミングオブジェクト１０１の周囲には、上述したトリミングマーカ１０２が埋め込まれている。なお、図１９では、説明の便宜上、トリミングマーカ１０２の外枠を点線で示しているが、実際の紙媒体１００には、このような点線は存在しない。
【０１６７】
また、このトリミングマーカ１０２内には、図１９に示すように、トリミングオブジェクト１０１の外形の周囲に低周波部１０３が埋め込まれ、更に低周波部１０３の外側に高周波部１０４が埋め込まれている。また、トリミングマーカ１０２内には、トリミングオブジェクト１０１に所定の動作を行わせるための動作指示情報１０５−１〜１０５−４が埋め込まれている。
【０１６８】
実施例２では、この紙媒体１００を携帯端末等に設けられたカメラ（画像情報取得装置１５）等で撮影する。また、携帯端末（認識装置１６）は、撮影された画像からトリミングマーカ１０２を取得する。また、トリミングマーカの４隅には、動作指示情報が埋め込まれており、この動作指示情報の値によってトリミングオブジェクト１０１の動作を変化させる。
【０１６９】
ここで、動作指示情報１０５−１〜１０５−４は、例えばそれぞれ１ビットずつ情報が埋め込まれている。したがって、動作指示情報１０５−１〜１０５−４から動作指示情報を取得するためには、例えば４隅の情報を特定の順序（例えば時計回り）等で読み、例えば読み込んだ結果に応じて予め設定された動作を、背景イメージと分離してバーチャルに合成されているトリミングオブジェクト１０１に実行させる。具体的には、例えば動作指示情報（４ビット）が「１１００」である場合には、トリミングオブジェクト１０１を右に動かす。また、動作指示情報が、「１０１０」である場合にはトリミングオブジェクト１０１を左に動かし、「１１１１」である場合にはトリミングオブジェクト１０１をその場で回転させる等といった動作を行うことができる。実施例２における動作内容においては、これに限定されるものではなく、例えばトリミングオブジェクト１０１である赤とんぼが飛び去る方向を変化させることができる。また、動作指示情報によりトリミングオブジェクトの姿勢（例えば、位置（座標）、向き）や移動速度等を取得することもできる。
【０１７０】
また、上述した動作の実行タイミングは、例えばユーザが、携帯端末の画面に表示されたトリミングオブジェクト１０１を画面上でタップ（叩く、触れる、擦る等の意味を広く含む）することで、所定の動作させることができるが、本発明においてはこれに限定されるものではない。例えば、携帯端末のインカメラ（ユーザ側カメラ）を用いて明度の変化をリアルタイムで認識し、例えば予め設定された平均明度よりも一定以上低くなった場合に、トリミングオブジェクト１０１に触ろうとしていると判断して、トリミングオブジェクト１０１である赤とんぼが飛び去ってしまうような動作を行わせてもよい。
【０１７１】
なお、動作指示情報に応じて設定される動作内容については、予め蓄積手段等に蓄積されていてもよく、また予め設定された外部装置等に通信ネットワーク等を介して接続し、接続した外部装置から対象の動作内容を取得してもよい。これにより、例えば同一の動作指示内容でありながら、蓄積手段等に蓄積された動作内容と外部装置から取得される動作内容で異なる動作を行わせることもできる。また、外部装置等から動作内容を取得することで、動作の変更等を外部装置の管理で自由に行うことができる。
【０１７２】
＜実施例３＞
図２０は、実施例３におけるＡＲアプリケーションシステムの一例を示す図である。なお、図２０におけるＡＲアプリケーションシステムも上述した実施例２と同様に携帯端末を用いて行うことができる。
【０１７３】
実施例３では、例えば絵本等の紙媒体１１０の中に所定の動作をさせるターゲットである複数のトリミングオブジェクト１１１−１〜１１１−４（図２０の例では、鯉）が描かれている。また、各トリミングオブジェクト１１１−１〜１１１−４の周囲には、上述したトリミングマーカ１１２−１〜１１２−４が、各トリミングオブジェクトに対応させて埋め込まれている。
【０１７４】
このトリミングマーカ１１２−１〜１１２−４内には、図１９と同様に各トリミングオブジェクト１１１−１〜１１１−４の外形の周囲に低周波部が埋め込まれ、更に低周波部の外側に高周波部が埋め込まれている。また、トリミングマーカ１１２−１〜１１２−４内には、各トリミングオブジェクト１１１−１〜１１１−４に所定の動作を行わせるための動作指示情報が埋め込まれている。
【０１７５】
実施例３では、この紙媒体１１０を携帯端末等に設けられたカメラ（画像情報取得装置１５）等で撮影する。また、携帯端末（認識装置１６）は、撮影された画像からトリミングマーカ１１２−１〜１１２−４を取得する。又、携帯端末は、取得したトリミングマーカ１１２−１〜１１２−４に基づいて、トリミングしたトリミングオブジェクト１１１−１〜１１１−４である鯉と背景画像とを分離し、これをバーチャルに合成した画像を生成し画面に表示する。
【０１７６】
なお、トリミングマーカ１１２−１〜１１２−４内には、上述したように、動作指示情報が埋め込まれており、この動作指示情報の値によって、上述した実施例と同様に各トリミングオブジェクト１１１−１〜１１１−４の動作を変化させる。なお、この動作指示情報は、４隅ではなく、例えばトリミングマーカ１１２−１〜１１２−４内の周囲に埋め込まれていてもよく、予め設定されたトリミングマーカ内の所定の位置に埋め込まれていればよい。
【０１７７】
例えば、実施例３では、ユーザの手１１３で撮影された画像が表示された画面をタップすると、波紋が広がり、各トリミングオブジェクト１１１−１〜１１１−４である鯉が放射線状に逃げ出す動作を行う。具体的には、例えばユーザの手１１３の指先で画面がタップされると、携帯端末（認識装置１６）がタップされた座標と各トリミングオブジェクト１１１−１〜１１１−４である鯉の座標を取得し、取得したそれぞれの座標を用いて、各トリミングオブジェクト１１１−１〜１１１−４の進む方向ベクトルを生成する。
【０１７８】
なお、この場合には、動作指示情報に、各トリミングオブジェクト１１１−１〜１１１−４がどちらを向いているかの角度情報を埋め込んでおく。また、動作指示情報は、例えばトリミングマーカ１１２−１〜１１２−４の４隅ではなく、各マーカの周囲に８ビットの情報を埋め込み、０〜３６０度で表現できるようにすることもできる。
【０１７９】
更に、携帯端末は、その方向ベクトルを正規化することで、各トリミングオブジェクト１１１−１〜１１１−４の進む速度を調節する。このようにベクトルを生成することで、携帯端末上の画面上のどこをタップしても、各トリミングオブジェクト１１１−１〜１１１−４が放射線状に逃げるように動作させることができる。
【０１８０】
＜実施例４＞
図２１は、実施例４におけるＡＲアプリケーションシステムの一例を示す図である。なお、図２１におけるＡＲアプリケーションシステムも上述した実施例２と同様に携帯端末を用いて行うことができる。
【０１８１】
実施例４では、例えばファッション雑誌等の紙媒体１２０の中に所定の動作をさせるターゲットである複数のトリミングオブジェクト１２１−１，１２１−２（図２１の例では、衣類）が描かれている。また、トリミングオブジェクト１２１−１，１２１−２の周囲には、上述したトリミングマーカ１２２−１，１２２−２が、各トリミングオブジェクト１２１−１，１２１−２に対応させて埋め込まれている。
【０１８２】
実施例４では、この紙媒体１２０を携帯端末等に設けられたカメラ（画像情報取得装置１５）等で撮影する。また、携帯端末（認識装置１６）は、撮影された画像からトリミングマーカ１２２−１，１２２−２を取得する。また、携帯端末は、取得したトリミングマーカ１２２−１，１２２−２に基づいて、トリミングしたトリミングオブジェクト１２１−１，１２１−２である衣類と背景画像とを分離し、これをバーチャルに合成した画像を生成し、画面１３０に表示する。また、トリミングされた画像は画面上に拡大・縮小、回転、移動が可能であり、ユーザは商品を撮影する毎に画面上に衣類等の画像が追加されるため、自分の好きなようにコーディネートを楽しむことができる。
【０１８３】
したがって、実施例４では、上述した機能を行うことで、例えばファッションコーディネイトアプリとして提供することができる。具体的には、ファッション雑誌等に掲載されている服のオブジェクト１３１−１やスカートのオブジェクト１３１−２、靴のオブジェクト１３１−３等の商品にトリミングマーカを埋め込み、ユーザが気に入った商品を携帯端末で撮影すると、それぞれの商品が携帯端末の画面１３０上に切り出されて画面に表示される。ユーザは、携帯端末の画面１３０に表示される各商品から好みのものをユーザの手１３２で選択し、移動させることで画面１３０上でバーチャルにコーディネートすることができる。
【０１８４】
なお、実施例４では衣類に限定されるものではなく、例えば、帽子や眼鏡、アクセサリー、鞄等も含み、また顔画像等を取り込んで自分の顔に合わせてコーディネートすることもできる。
【０１８５】
また、上述したファッションコーディネイトアプリの場合には、例えば商品の裏側の画像（例えば、上着やスカートの裏側のデザイン等）や値段、色情報等をトリミングマーカ内に埋め込まれた動作指示情報から取得することができる。なお、例えば裏側のデザイン画像等のようにデータ容量の大きくなる場合には、Ｗｅｂ等によるブラウザ表示により画像を閲覧することもできる。つまり、動作指示情報は、例えば埋め込む情報が小さい場合いには（例えば数ビット程度）マーカの４隅や周囲にそれぞれの情報を埋め込み、埋め込む情報が大きい場合には、情報のＩＤ（識別情報）のみを埋め込んでおき、トリミングを行うと同時に所定の外部装置（サーバ）にＩＤを送り、対応する情報をＷｅｂ等から取得することができる。
【０１８６】
ここで、上述した各実施例では、トリミングマーカを認識した後、動作指示情報に伴う動作を直ぐに行ってもよく、認識してから所定時間経過後に行ってもよく、更に認識した後、ユーザにより携帯端末（認識装置）に対して所定の動作や操作が行われたときに行ってもよい。
【０１８７】
また、複数のオブジェクトに対して動作を行わせる場合には、それぞれのオブジェクトに対して動作指示情報で設定しておいてもよく、それぞれの動作指示情報から複数のオブジェクトに対して複合的な処理を行わせることもできる。なお、複合的な動作とは、例えば、２人の人間のオブジェクトがあった場合に、２人が肩を組んだり、握手をしたり、肩車をする等といった動作であるであるが、本発明においてはこれに限定されるものではない。
【０１８８】
更に、本実施形態においては、動作指示情報として、他のオブジェクトに対する動作を含めることもできる。これにより、オブジェクト全体として統一した動作を行わせることができる。なお、統一した動作とは、例えば複数の人間のオブジェクトの全員が手を振るといった動作である。また、動作指示情報として、例えば、オブジェクトが人物である場合に、その人物に関する情報（氏名、年齢、性別等）やホームページ、ブログ等のアドレス等の付加情報を埋め込むこともできる。更に、付加情報として、トリミングオブジェクトとは別の他のオブジェクトを画面に表示させるための情報を付加することもできる。
【０１８９】
また、他の実施例としては、例えば商品や食品の包装や箱、容器、又は説明書等に上述したトリミングマーカを埋め込んでおき、それをカメラで撮影して画像を認識することで、その商品の説明書や使用方法、調理法等を画面に表示することできる。例えば、例えばトリミングオブジェクトとして化粧品（例えば、口紅、アイシャドウ、マスカラ等）があった場合に、トリミングマーカによりその化粧品等の色情報を取得し、自分又は他人の顔画像に対して色情報を用いてメーキャップすることもできる。
【０１９０】
なお、上述した実施例２〜４に示す紙媒体１００，１１０，１２０は、画面に表示された画像であってもよい。また、画像には、映像も含まれる。
【０１９１】
上述したように本発明によれば、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツを提供することができる。
【０１９２】
以上本発明の好ましい実施例等について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１９３】
１０ コンテンツ提供システム
１１ 第１の印刷媒体
１２ 第１の画像情報取得装置
１３ 埋込装置
１４ 第２の印刷媒体
１５ 第２の画像情報取得装置
１６ 認識装置
２１，４１ 入力手段
２２，４２ 出力手段
２３，４３ 蓄積手段
２４ 画像取得手段
２５ 画像解析手段
２６ 埋込対象オブジェクト設定手段
２７ 埋込情報設定手段
２８ 埋込情報生成手段
２９ 非可視化情報埋込手段
３０，４８ 送受信手段
３１，４９ 制御手段
４４ 埋込画像取得手段
４５ オブジェクト抽出手段
４６ 非可視化情報解析手段
４７ 表示情報生成手段
５１ 入力装置
５２ 出力装置
５３ ドライブ装置
５４ 補助記憶装置
５５ メモリ装置
５６ ＣＰＵ
５７ ネットワーク接続装置
５８ 記録媒体
６１ 画像データ（撮影画像）
６２，１３１ オブジェクト
６３ 外枠
６４ 輪郭
６５ コード内枠
６６，１０４ 高周波部
６７，１０３ 低周波部
７１ トリミング画像
８１ 位置検知パターン
８２ 回転検知パターン
８４ エッジ
９１ 埋込画像
９２ 非可視化情報
９３ 動作指示情報（埋込情報）
１００，１１０，１２０ 紙媒体
１０１，１１１，１２１ トリミングオブジェクト
１０２、１１２，１２２ トリミングマーカ
１０５ 動作指示情報
１１３，１３２ 手
１３０ 画面
【技術分野】
【０００１】
本発明は、非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムに係り、特に非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供するための非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムに関する。
【背景技術】
【０００２】
従来では、カメラ付き携帯端末等の普及に伴い、静止画、動画等を用いた様々なディジタルコンテンツが提供されている。また、従来では、携帯端末等のカメラを用いて、紙等の印刷媒体に印刷されたＱＲコード（登録商標）等の２次元コードを読み取り、読み取った２次元コードから得られるコンテンツサイトにアクセスしたり、コンテンツに対応するメッセージ等を表示したりすることができる。
【０００３】
しかしながら、２次元コードは見栄えが悪く、また２次元コードを配置するためのスペースも必要となる。そこで、近年では２次元コードを使用せずにコンテンツの画像中から情報を取得し、取得した情報に基づいて、対応する処理を行う技術が開示されている（例えば、特許文献１及び特許文献２参照）。
【０００４】
特許文献１に示されている技術は、画像中に含まれる所定の領域を抽出する条件として、画像の属性に関する指示情報を取得し、取得した指示情報に基づいて、画像中から抽出すべき領域を特定する領域特定手段とを備える画像処理装置が示されている。つまり、特許文献１では、画像中の特徴量を用いて背景画像との分離を行う技術が示されている。
【０００５】
また特許文献２に示されている技術は、画像データを入力する入力手段と、画像データを符号化して符号化データを生成する符号化手段と、画像データから任意形状のオブジェクトを抽出し、オブジェクトの形状データを生成する形状データ生成手段と、形状データを電子透かしによって符号化データに埋め込む埋め込み手段とを備える画像処理装置が示されている。また、特許文献２では、画像中に電子透かしを埋め込み、電子透かしの埋め込まれている場所と埋め込まれていない場所の境界を背景分離の情報として用いる技術が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１３７２２号公報
【特許文献２】特開２００４−８００９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば特許文献１に示されているような技術では、画像中の特徴量を用いて背景画像との分離を行うため、背景画像とオブジェクトの色が同一であったり類似している場合には、画像中の特徴量から正確な位置でオブジェクトを分離することができない。
【０００８】
また、特許文献２に示されている技術では、２次元コード等を画像に埋め込む場合に原画像を周波数領域に変換した後、２次元コードを埋め込み、その後、更に空間領域に変換して埋め込みを行う必要が生じる。また、２次元コードを読み出す場合には、入力された画像を周波数領域に変換し、コードを読み出した後、空間領域に変換してコードを抽出する必要が生じる。したがって、コードを埋め込む場合や読み出す場合には、多くの画像処理が発生するため、携帯端末等の低スペックの機器での処理やリアルタイム処理には向いていなかった。
【０００９】
本発明は、上述した課題に鑑みてなされたものであって、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供するための非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
本発明は、取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込装置と、該埋込装置により得られる画像に含まれるオブジェクト及び非可視化情報を認識する認識装置とからなる非可視化情報を用いたコンテンツ提供システムにおいて、前記埋込装置は、前記取得した画像に含まれるオブジェクトから非可視化情報を埋め込むオブジェクトを設定する埋込対象オブジェクト設定手段と、前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有し、前記認識装置は、前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とするコンテンツ提供システム。
【００１２】
また本発明は、取得した画像の所定の位置に非可視化情報を埋め込む埋込装置において、前記画像に含まれるオブジェクト及び位置情報を取得する画像解析手段と、前記画像解析手段により得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定手段と、前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有することを特徴とする。
【００１３】
また本発明は、取得した画像に含まれるオブジェクト及び非可視化情報を認識する認識装置において、前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とする。
【００１４】
また本発明は、コンピュータを、上述した埋込装置が有する各手段として機能させるための埋込プログラムである。また本発明は、コンピュータを、上述した認識装置が有する各手段として機能させるための認識プログラムである。
【発明の効果】
【００１５】
本発明によれば、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態におけるコンテンツ提供システムの概略構成の一例を示す図である。
【図２】本実施形態における埋込装置の機能構成の一例を示す図である。
【図３】本実施形態における認識装置の機能構成の一例を示す図である。
【図４】本実施形態における非可視化情報の埋込処理及び認識処理が実現可能なハードウェア構成の一例を示す図である。
【図５】本実施形態における非可視化情報の埋込処理手順の一例を示すフローチャートである。
【図６】本実施形態における非可視化情報の認識処理手順の一例を示すフローチャートである。
【図７】本実施形態における非可視化情報の埋め込み例について説明するための図である。
【図８】本実施形態における非可視化情報の抽出及びオブジェクトの認識例について説明するための図である。
【図９】本実施形態におけるオブジェクト動作例を説明するための図である。
【図１０】高周波部及び低周波部を有する非可視化情報を説明するための図である。
【図１１】埋め込み強度と背景のグレースケール値の関係を示す図である。
【図１２】モノクロイメージ用の非可視化コードの例を示す図である。
【図１３】０〜２５５までグレーイメージを変化させた明るさに対する読み取り認識精度と非可視化との関係を示す図である。
【図１４】本実施形態におけるイメージ毎の非可視化情報の読み取り認識精度の評価について説明するための図である。
【図１５】図１４に対応する評価結果を示す図である。
【図１６】実施例１におけるＡＲアプリケーションシステムの一例を示す図である。
【図１７】取得したトリミングマーカによる風車の動作例を示す図である。
【図１８】画像中に含まれる非可視化情報と動作指示情報との関係を説明するための図である。
【図１９】実施例２におけるＡＲアプリケーションシステムの一例を示す図である。
【図２０】実施例３におけるＡＲアプリケーションシステムの一例を示す図である。
【図２１】実施例４におけるＡＲアプリケーションシステムの一例を示す図である。
【発明を実施するための形態】
【００１７】
＜本発明ついて＞
本発明では、例えば画面に表示される画像や映像、又は紙やフィルム等の各種印刷媒体等からなる写真、ハガキ、ポスター、カード等に対して、肉眼では認識不可能な加工により非可視化情報（マーカ）を画像中に含まれるオブジェクト（物体情報）の周囲に埋め込み、デジタルカメラや携帯端末（携帯電話、スマートフォン（登録商標）等）に設けられたカメラ等の撮影手段によって、その画像や映像、印刷媒体等の一部を撮影し、撮影された画像や映像等を、パソコンや携帯端末、ｉｐａｄ（登録商標）等のようなタブレットＰＣ等に取り込み画像処理することで、埋め込まれたマーカを認識し、オブジェクトを抽出する。
【００１８】
また本発明は、例えば携帯端末等のような容量や性能が制限された機種でも埋め込まれたマーカの認識が実施可能となるマーカの埋込方法と、画像処理を組み合わせたマーカ認識を可能にする。
【００１９】
更に、本発明では、認識されたマーカの情報から、例えばオブジェクトを動作させるための埋込情報を取得し、取得した埋込情報に基づいて、抽出された対象のオブジェクトに対する処理を行う。また、本発明では、非可視化情報の埋め込みから抽出、画像中のオブジェクトに対する処理内容までの一連の動作を行うコンテンツ提供システムを提供する。
【００２０】
なお、非可視化情報とは、ユーザの目の網膜が感知できない状態であってもよいし、ユーザの目の網膜は感知できるものの、ユーザの脳がそれを情報として識別できないような状態となる情報等を意味する。
【００２１】
また、非可視化情報は、画像中の画素毎の明度（明暗差）等を調整した高周波部や低周波部であってもよく、また直接認識することができる文字情報であってもよく、また記号や数字、マーク、模様、色彩、１次元コード、２次元コード等であってもよく、更にそれらの組み合わせであってもよい。なお、コード情報としては、例えばＱＲコード等の２次元バーコード等を使用することができる。また、本実施形態において、コード情報は、ＱＲコードに限定されるものではなく、例えばＪＡＮコードや、ＩＴＦコード、ＮＷ−７、ＣＯＤＥ３９、ＣＯＤＥ１２８、ＵＰＣ、ＰＤＦ４１７、ＣＯＤＥ４９、Ｄａｔａ Ｍａｔｒｉｘ、Ｍａｘｉ Ｃｏｄｅ等のバーコード情報等を用いることもできる。
【００２２】
以下に、本発明における非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラムを好適に実施した形態について、図面を用いて説明する。なお、本実施形態において説明する「画像」とは、写真等の１枚の画像も、映像における連続したフレーム単位の画像も含まれるものとする。また、本実施形態におけるコンテンツ提供システムとは、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）システムを示しているが本発明においてはこれに限定されるものではなく、他のコンテンツサービス全般に適用される。
【００２３】
＜可視化情報を用いたコンテンツ提供システム＞
まず、本実施形態における可視化情報を用いたコンテンツ提供システムの概略について、図を用いて説明する。図１は、本実施形態におけるコンテンツ提供システムの概略構成の一例を示す図である。図１に示すコンテンツ提供システム１０は、入力される第１の印刷媒体１１と、第１の画像情報取得装置１２と、埋込装置１３と、第２の印刷媒体１４と、第２の画像情報取得装置１５と、認識装置１６とを有するよう構成されている。
【００２４】
第１の印刷媒体１１は、非可視化情報が埋め込まれる前の画像が印刷されている。コンテンツ提供システム１０では、複数の第１の印刷媒体１１（図１の例では、第１の印刷媒体１１−１，１１−２）を用いることができる。なお、本実施形態においては、一例として第１の印刷媒体１１に対して、埋込装置１３を用いて非可視化情報が埋め込まれた第２の印刷媒体１４を生成する例を示しているが、本発明においてはこれに限定されるものではなく、例えば画像を直接取得し、取得した画像に対して非可視化情報を埋め込み、埋め込んだ画像等を印刷して第２の印刷媒体１４を生成してもよい。
【００２５】
また、本実施形態において、第１の印刷媒体１１に印刷されている画像等には、オブジェクトが含まれている。オブジェクトとは、本発明において、例えば非可視化情報に含まれている情報等に基づいて動作させたり、関連情報を表示させるための物体情報を意味し、例えば人間や動物（顔や手、足等の部分的なオブジェクト等も含む）、虫、花、木、乗り物、机、椅子、帽子、眼鏡、靴、鞄等の製造物等、背景と分別可能なオブジェクト全般等を意味する。
【００２６】
画像情報取得装置１２は、非可視化情報が含まれていない第１の印刷媒体１１を撮影し、画像情報として取得する。なお、第１の画像情報取得手段１２としては、例えば、カメラ（撮像手段）１２−１や、スキャナ（情報読取装置）１２−２等を用いることができるが、本発明においてはこれに限定されるものではなく、例えば、複写機やカメラ機能のついた携帯端末、ゲーム機器、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等、画像情報が取得可能な機能を有する装置形態全般を用いることができる。
【００２７】
埋込装置１３は、第１の印刷媒体１１等から入力された画像データに対し、認識装置１６においてトリミング等の処理を実行する対象のオブジェクトを選択し、そのオブジェクトの所定の周囲に予め設定された非可視化情報を埋め込み、埋め込んだ画像を出力する。
【００２８】
なお、埋込装置１３は、非可視化情報を埋め込んだ後の画像を印刷媒体（第２の印刷媒体１４）として出力してよく、画像のまま出力してもよい。
【００２９】
なお、埋込装置１３は、例えば、汎用のＰＣ１３−１や携帯端末１３−２等を用いることができるが、本発明においてはこれに限定されるものではない。また、携帯端末１３−２には、第１の画像情報取得手段１２としての内蔵カメラ１２−３が設けられており、これにより直接第１の印刷媒体１１の画像データを取得することができる。なお、埋込装置１３の具体的な機能構成等については後述する。
【００３０】
第２の印刷媒体１４は、本実施形態における非可視化情報が埋め込まれた印刷媒体である。なお、第２の印刷媒体１４には、例えば所定のオブジェクに対してトリミングや所定の動作等を行わせるための非可視化情報が埋め込まれている。
【００３１】
第２の画像情報取得手段１５は、第２の印刷媒体１４に対して、上述した第１の画像情報取得手段１２と同様にその画像データを取得する。なお、第２の画像情報取得手段１５としては、例えば、カメラ１５−１や、スキャナ１５−２等を用いることができるが、本発明においてはこれに限定されるものではなく、例えば、複写機やカメラ機能のついた携帯端末、ゲーム機器、タブレットＰＣ等、画像情報が取得可能な機能を有する装置形態全般を用いることができる。
【００３２】
認識装置１６は、第２の画像情報取得手段１５から得られる画像データを用いて、画像に含まれる非可視化情報を認識し、認識した非可視化情報から画像データに含まれる所定のオブジェクトをトリミングする。なお、トリミングとは、例えば、画像中から不要な部分等を取り除いて対象のオブジェクトのみ（オブジェクトの大まかな外枠等も含む）を抽出することをいう。
【００３３】
また、認識手段１６は、抽出されたオブジェクトに対して、予め設定された又は非可視化情報に含まれる指示内容に対応した動作を実行させる。なお、オブジェクトに対する処理内容としては、例えば、認識装置１６の画面上でオブジェクトを移動させたり、回転させたり、拡大や縮小、他のオブジェクトに置換、他の異なる画像や文字の表示、音声出力、関連情報の表示、更にはそれらの組み合わせ等を行う。
【００３４】
また、認識装置１６は、抽出したオブジェクトに対して、直ぐに動作を行わずに、例えばユーザ等による二次的な指示情報に基づいて、その対象のオブジェクトに対する処理を実行することができる。なお、二次的な指示情報としては、例えば、その認識装置１６に対する風圧（例えば、マイク等の音声入力手段に息を吹きかけたり、実際に風が吹く等）や、音（声、音楽、特定の言葉（例えば、呪文やかけ声等））、光（例えば、太陽にあてる等）、機器の回転（例えば、その場で回したり、振ったり、水平や垂直に保つ等の動作を含む）、圧力（画面をタッチしたり、ドラッグする等）、その他、温度や時間、場所、天気等の環境条件等により得られる情報を含み、またこれらの情報のうち幾つかを組み合わせてもよく、その場合には、複数の二次的な指示情報の指示順序（例えば、回転させた後にかけ声等）や指示情報毎に予め設定された優先度等に応じて最終的な指示情報を設定してもよい。
【００３５】
なお、認識装置１６は、例えば、汎用のＰＣ１６−１や携帯端末１６−２等を用いることができるが、本発明においてはこれに限定されるものではない。また、携帯端末１６−２には、第２の画像情報取得手段１５としての内蔵カメラ１５−３が設けられており、これにより直接第２の印刷媒体１４の画像データを取得することができる。なお、認識装置１６の具体的な機能構成等については後述する。
【００３６】
＜埋込装置１３：機能構成例＞
ここで、上述した本実施形態における埋込装置１３の機能構成例について図を用いて説明する。図２は、本実施形態における埋込装置の機能構成の一例を示す図である。
【００３７】
図１に示す埋込装置１３は、入力手段２１と、出力手段２２と、蓄積手段２３と、画像取得手段２４と、画像解析手段２５と、埋込対象オブジェクト設定手段２６と、埋込情報設定手段２７と、埋込情報生成手段２８と、非可視化情報埋込手段２９と、送受信手段３０と、制御手段３１とを有するよう構成されている。
【００３８】
入力手段２１は、ユーザ等からの画像取得指示や、画像解析指示、埋込対象オブジェクト設定指示、埋込情報設定指示、埋込情報生成指示、非可視化情報埋込指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段２１は、例えばＰＣ等の汎用のコンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。
【００３９】
また、入力手段２１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像等を入力する機能を有してもよい。その場合、撮像手段は、埋込装置１３に内蔵されていてもよく、外部の機能構成であってもよい。更に、入力手段２１は、音声等を入力する音声入力機能があってもよい。
【００４０】
出力手段２２は、入力手段２１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段２２は、取得した画像や、画像解析結果、埋込対象オブジェクト設定結果、設定された非可視化情報、生成された非可視化情報、非可視化情報が埋め込まれた（合成された）埋込画像、各構成における処理の結果等の画面表示や音声出力等を行う。なお、出力手段２２は、ディスプレイやスピーカ等からなる。
【００４１】
更に、出力手段２２は、プリンタ等の印刷機能を有していてもよく、上述の各出力内容を、例えば紙やハガキ、ポスター等の各種印刷媒体等に印刷し、上述した第２の印刷媒体１４としてユーザ等に提供することもできる。
【００４２】
蓄積手段２３は、本実施形態において必要となる各種情報や埋込処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段２３は、入力又は予め蓄積されている画像取得手段２４で取得される撮影等により得られた１又は複数の画像或いは映像を取得する。また、蓄積手段２３は、画像解析手段２５にて解析された結果や埋込対象オブジェクト設定手段２６における判定結果、埋込情報設定手段２７による設定内容、埋込情報生成手段２８により生成された埋込情報、非可視化情報埋込手段２９により埋め込まれた画像等を蓄積する。また、蓄積手段２３は、必要に応じて蓄積されている各種データを読み出すことができる。
【００４３】
画像取得手段２４は、非可視化情報を埋め込む対象となるオブジェクトを含む画像や映像等を取得する。なお、画像や映像等は、例えばカメラ等の撮像手段により得られる画像や映像等でもよく、カタログやパンフレット、ポスター、写真、カード、シール、雑誌等の書籍類、商品の包装（箱も含む）や説明書等に適用される対象画像等であってもよい。また、画像取得手段２４は、送受信手段３０を介して通信ネットワーク上に接続される外部の装置で撮影された情報やデータベース等に蓄積された画像や映像等を取得することもでき、また、入力手段２１を介して実際にユーザ等がカメラ等で撮影した画像を用いてもよい。
【００４４】
画像解析手段２５は、画像取得手段２４にて取得した画像を解析して画像中に含まれる内容を解析する。具体的には、画像中のどの部分（位置、領域）にどのようなオブジェクトが映し出されているか、又は、映像中においてオブジェクトがどのように移動しているか等、オブジェクト情報及び座標等からなるオブジェクトの位置情報を取得する。
【００４５】
なお、画像解析手段２５は、オブジェクトを取得する際、例えば、予め設定された複数のオブジェクト画像等を蓄積手段２３に蓄積しておき、オブジェクト画像を用いてパターンマッチング等を行い、オブジェクトを抽出してもよい。また、画像解析手段２５は、例えば、オブジェクトが人物の場合に、その人物の顔の特徴部分から顔検出を行ってもよく、また顔の特徴量を数値化し、その結果により人物特定を行ってもよい。
【００４６】
更に、画像解析手段２５は、ユーザ等が入力手段２１等によって指定されたオブジェクトの輪郭（外枠）情報を用いて、オブジェクトを抽出することもできる。
【００４７】
埋込対象オブジェクト設定手段２６は、画像解析手段２５により解析された結果に基づいて、その画像データにオブジェクトが含まれているか、又は、画像データにオブジェクトが含まれている場合には、そのオブジェクトが予め設定された非可視化情報の埋め込み対象であるか否か等を判定し、その判定結果から埋込対象オブジェクトを設定する。なお、埋込対象オブジェクト設定手段２６は、画像データ中に複数のオブジェクトが存在する場合には、複数のオブジェクトのうち、少なくとも１つのオブジェクトを設定する。この場合には、オブジェクトに対して、例えば、予め設定される優先度や、そのオブジェクトの画面全体に対する表示領域の位置、映像であれば、そのオブジェクトが表示されていた時間等により任意に設定することができ、それらの埋込詳細情報も蓄積手段２３に蓄積される。
【００４８】
ここで、埋込対象オブジェクト設定手段２６において、画像中に含まれるオブジェクトが非可視化情報を埋め込む対象であるか否かは、例えばユーザ等により予め設定された埋込判定情報が蓄積手段２３等に蓄積され、その埋込判定情報を用いて埋め込み判定を行ってもよく、又は、そのオブジェクトに対する動作や付加情報が蓄積手段２３に蓄積されているかを検索し、もし付加情報が蓄積されている場合には、埋込対象のオブジェクトであると判定してもよい。
【００４９】
したがって、例えば、画像解析手段２５によって画像を解析した結果、画像の一部に風車やパンダ、商品等のオブジェクトが含まれていると解析された場合、埋込対象オブジェクト設定手段２６は、そのオブジェクトに関する付加情報が蓄積手段２３に蓄積されているか否かを判断し、そのオブジェクトに関する付加情報が存在する場合には、そのオブジェクトを埋込対象オブジェクトであると判定する。なお、埋め込む内容（付加情報）は、例えば埋込情報設定手段２７等において設定することもでき、設定された内容は、蓄積手段２３に蓄積される。
【００５０】
なお、上述した本実施形態では、画像解析手段２５による解析結果に基づいて、埋込対象オブジェクトの設定を行っていたが、本発明においてはこれに限定されるものではなく、例えば出力手段２２等を用いて画像データを画面に表示し、ユーザ等が表示された画像データに含まれる１又は複数のオブジェクトから、入力手段２１を用いて埋込対象オブジェクトを選択してもよい。
【００５１】
埋込情報設定手段２７は、埋込対象オブジェクト設定手段２６により設定されたオブジェクトに対して、どのような情報を付加情報として埋め込むのか、その具体的な情報の内容、及び表示手法（例えば、画面表示（表示サイズや位置等の詳細な情報を含む）、音声出力、印刷出力等）を設定する。具体的には、埋込情報設定手段２７は、例えば、オブジェクトが人物である場合には、そのオブジェクトに対してどのような動作（回転、移動、拡大、縮小、他のオブジェクトに置換等）をさせるかの動作指示情報を設定したり、その人物の氏名、年齢、性別、身長、趣味、経歴等を設定し、更にその設定された各種情報の表示手法等を設定する。また、オブジェクトが財布や洋服等の場合には、そのブランド名や商品名、値段、ホームページやブログ等のアドレス等を設定し、更にその設定された各種情報の表示手法等を設定する。また、オブジェクトが本である場合には、その本のタイトル、著者、発行日、値段、著者に関する情報等を設定し、更にその設定された各種情報の表示手法等を設定する。なお、埋込情報設定手段２７にて設定される付加情報としては、映像、画像等が含まれる。
【００５２】
また、埋込情報設定手段２７は、どのような形態で情報を付加するのかを設定する。例えば、付加情報は、特定の暗号化された文字であるのか、或いは模様や記号、コード情報等であるのか等を設定する。なお、コード情報等の場合には、認識装置１６側で、そのコードに対する情報が取得できるように対応データベースが設けられていることが好ましい。上述したように、複数の形態から設定することができるため、埋め込み対象の画像の内容に応じて適切な埋込情報を選択して設定することができる。
【００５３】
埋込情報生成手段２８は、埋込対象オブジェクトに対してどのような動作等をさせるか（動作指示情報）等の処理内容を含む埋込情報を生成する。なお、埋込情報生成手段２８は、直接文字情報として生成してもよく、コード情報として生成してもよい。具体的には、埋込情報生成手段２８は、例えば、埋込情報が実際にユーザに提供される印刷媒体や画像等に対して見えにくくするために埋込情報を、埋め込み対象の原画像の色情報等を基準にして、例えば、低周波部と高周波部とを用いた画像、又は、低周波部のみ或いは高周波部のみを用いた画像を生成する。
【００５４】
ここで、本実施形態における低周波部とは、非可視化情報を埋め込む部分の原画像の明度を基準とし、それより明度を低くした部分又は領域を示し、高周波部とは、上述した原画像の明度を基準として、それより明度を高くした部分又は領域を意味する。埋込情報生成手段２８における非可視化情報の詳細については後述する。
【００５５】
また、本実施形態における非可視化情報は、認識装置１６側において、オブジェクトを抽出するために用いられるため、埋込情報を埋め込む場合には、その非可視化情報の全部に埋込情報を埋め込んでもよく、また非可視化情報の一部（例えば、非可視化情報領域（トリミングマーカ）内の隅や周囲等）に埋め込んでもよい。
【００５６】
また、埋込情報生成手段２８は、画像中のどの位置に非可視化情報を埋め込むかを座標情報として取得する。なお、本実施形態では、例えば動作対象となるオブジェクトを基準にして、その周囲の所定領域に非可視化情報を埋め込む。つまり、本実施形態では、認識装置１６において、この非可視化情報によりオブジェクトの位置を把握し、オブジェクトをトリミング（抽出等）する。
【００５７】
したがって、本実施形態における非可視化情報には、認識装置１６側において、例えば、トリミングするオブジェクトを抽出させる用途と、必要に応じてオブジェクトにどのような動作をさせるかを指示する動作指示情報やその他の付加情報等を取得させる用途とがある。
【００５８】
非可視化情報埋込手段２９は、画像解析手段２５により得られる画像と、その画像のオブジェクト情報、及び座標情報等からなるオブジェクト位置情報等に基づいて、埋込情報生成手段２８にて生成された非可視化情報を所定の位置に埋め込んで画像を合成する。
【００５９】
なお、本実施形態において、埋込情報を埋め込む際、例えば画像中に表示されているオブジェクトの位置上又はその周辺に、そのオブジェクトに対応する埋込情報が埋め込まれているのが好ましく、この場合には、画像解析手段２５により得られたオブジェクト位置情報を基準として対象画像に埋込画像の埋め込みを行う。
【００６０】
つまり、本実施形態によれば、画像全体に対して１つの埋込情報を付与するのではなく、複数の非可視化情報を適切な場所に埋め込むことができる。なお、非可視化情報埋込手段２９は、原画像に含まれる複数又は全てのオブジェクトを動作させるための非可視化情報を埋め込むこともできる。
【００６１】
また、非可視化情報埋込手段２９は、埋込対象の画像が映像の場合、再生中の映像におけるオブジェクトの移動に対して追随して移動し、そのオブジェクト上に非可視化情報が埋め込まれるようにすることができる。つまり、非可視化情報埋込手段２９は、埋込対象画像が入力される毎に撮影画像に対して埋め込み処理を行い、その埋込画像を順次表示させたり、第２の印刷媒体１４として出力させることができる。
【００６２】
送受信手段３０は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像や埋込画像等）や、本発明における非可視化情報埋込処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段３０は、埋込装置１３内で生成された各種情報を外部装置に送信することができる。
【００６３】
制御手段３１は、埋込装置１３の各構成部全体の制御を行う。具体的には、制御手段３１は、例えばユーザ等による入力手段２１からの指示等に基づいて、画像の取得や画像解析、埋込対象オブジェクトであるか否かの判断、非可視化情報の設定並びに埋め込み等の各処理における制御等を行う。なお、埋込情報設定手段２７における非可視化情報や埋込情報生成手段２８における非可視化情報は、予め設定や生成をしておき蓄積手段２３に蓄積させていてもよい。
【００６４】
＜認識装置１６：機能構成例＞
次に、上述した本実施形態における認識装置１６の機能構成例について図を用いて説明する。図３は、本実施形態における認識装置の機能構成の一例を示す図である。
【００６５】
図２に示す認識装置１６は、入力手段４１と、出力手段４２と、蓄積手段４３と、埋込画像取得手段４４と、オブジェクト抽出手段４５と、非可視化情報解析手段４６と、表示情報生成手段４７と、送受信手段４８と、制御手段４９とを有するよう構成されている。
【００６６】
入力手段４１は、ユーザ等からの埋込画像取得指示や、非可視化情報抽出指示、非可視化情報解析指示、表示情報生成指示、送受信指示等の各種指示の開始／終了等の入力を受け付ける。なお、入力手段４１は、例えばＰＣ等の汎用コンピュータであればキーボードやマウス等のポインティングデバイスからなり、携帯端末等であれば各操作ボタン群等からなる。また、入力手段４１は、例えばデジタルカメラ等の撮像手段等により撮影された画像や映像を入力する機能も有する。なお、上述の撮像手段は、認識装置１６に内蔵されていてもよく、外部の機能構成であってもよい。更に、入力手段４１は、音声等を入力する音声入力機能があってもよい。
【００６７】
また、入力手段４１は、上述した第２の印刷媒体１４、つまり紙やハガキ、ポスター、写真、カード等の印刷媒体から埋込画像を取得することができる。この場合、カメラ等の撮像手段や、スキャナ機能等を用いてデータを読み取る機能を備える。
【００６８】
また、出力手段４２は、入力手段４１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。具体的には、出力手段４２は、表示情報生成手段４７により得られる画像や映像に表示されるオブジェクトに対する付加情報等を出力する。なお、出力手段４２は、ディスプレイやスピーカ等からなる。
【００６９】
更に、出力手段４２は、プリンタ等の印刷機能を有していてもよく、上述のオブジェクトに対する実際の動作内容等の各出力内容を、例えば紙等の各種印刷媒体に印刷してユーザ等に提供することもできる。
【００７０】
蓄積手段４３は、本実施形態において必要となる各種情報や非可視化情報認識処理の実行時、又は実行後の各種データを蓄積する。具体的には、蓄積手段４３は、埋込画像取得手段４４で取得した埋込画像や、オブジェクト抽出手段４５で取得した非可視化情報（マーカ）、非可視化情報解析手段４６により解析した非可視化情報や埋込情報、表示情報生成手段４７で生成された表示内容等を蓄積する。
【００７１】
更に、蓄積手段４３は、非可視化情報解析手段４６によって解析されたデータに対する関連情報を蓄積することができる。例えば、非可視化情報があるコード情報（文字コード、２次元コード等も含む）等であった場合には、そのコード情報に対応する各種データ（例えば、コード情報に対応するオブジェクトに対する詳細情報（文字、映像、画像、音声等）、データを画面に表示するときのサイズ、色、時間、位置、動作内容等）を蓄積手段４３に蓄積しておく。また、蓄積手段４３は、コード等を取得したときや、その他の必要に応じて蓄積されている各種データを読み出すことができる。
【００７２】
埋込画像取得手段４４は、第２の画像情報取得装置１５から第２の印刷媒体１４に対応する画像データを取得する。また、埋込画像取得手段４４は、予め蓄積手段４３に処理対象の画像データが蓄積されている場合は、蓄積手段４３から蓄積してもよく、また送受信手段４８を介して通信ネットワークに接続される外部装置から埋込画像を取得してもよい。なお、埋込画像には、映像も含まれる。
【００７３】
オブジェクト抽出手段４５は、埋込画像に含まれるオブジェクトを抽出する。具体的には、オブジェクト抽出手段４５は、例えば、入力される埋込画像に対して、ある所定の周波数によるフィルタリングを行い、画像中に埋め込まれている非可視化情報を取得する。所定の周波数によりフィルタリングを行うことで、高周波部、低周波部の領域を容易に抽出することができる。なお、本発明においては、これに限定されるものではなく他の手法を用いてもよい。また、画像中に複数の非可視化情報がある場合には、全ての非可視化情報を抽出する。
【００７４】
次に、オブジェクト抽出手段４５は、画像中に含まれる非可視化情報の埋め込み位置からオブジェクトの外枠（エッジ）を抽出し、その抽出されたオブジェクトの外枠（エッジ）に対応させて、その内側にあるオブジェクトを背景から分離して抽出する。
【００７５】
例えば、オブジェクト抽出手段４５は、非可視化情報として設定される低周波部と高周波部との組み合わせにより、オブジェクトの周囲の位置情報を抽出し、抽出した位置情報に基づいて、そのオブジェクトを抽出する。なお、本実施形態においては、上述した低周波部及び高周波部に限定されるものではなく、例えば色差、明度差等に基づいてオブジェクトを抽出してもよい。
【００７６】
なお、オブジェクト抽出手段４５は、埋込画像中に複数の非可視化情報がある場合には、その全ての非可視化情報からオブジェクトを抽出してもよく、予め決められた少なくとも１つの非可視化情報（例えば、埋込画像の一番左にある非可視化情報や、大きさが最大の非可視化情報等）を抽出してもよい。
【００７７】
また、オブジェクト抽出手段４５は、どの位置から非可視化情報を抽出したかの非可視化情報抽出位置情報も取得する。オブジェクト抽出手段４５は、上述にて取得した各種情報を蓄積手段４３に蓄積させる。
【００７８】
更に、本実施形態では、非可視化情報を抽出することで、そのオブジェクトの向き（角度）や傾き等を取得することができる。そのため、オブジェクト抽出手段４５は、非可視化情報から得られる向きや傾き等の情報から対象オブジェクトの角度や傾きを補正することができる。
【００７９】
非可視化情報解析手段４６は、オブジェクト抽出手段４５により得られた非可視化情報に埋込情報が含まれているか否か解析し、埋込情報が含まれている場合には、その具体的な埋込情報の内容を取得する。
【００８０】
例えば、非可視化情報に埋込情報として文字（例えば、回転、右に移動等）が含まれている場合には、その文字を付加情報として取得する。また、埋込情報としてコードが含まれている場合には、そのコードの情報を取得し、その取得した内容（例えば、コードＩＤ等）をキーにして、蓄積手段４３や送受信手段４８を介して通信ネットワークに接続される予め設定されたサーバやデータベース等の外部装置等を検索し、検索した結果、キーに対応するオブジェクトへの動作指示情報や表示手法等の各種処理内容（付加情報）があれば、その情報を取得する。
【００８１】
なお、本実施形態における非可視化情報解析手段４６は、バーコードを読み取るバーコードリーダ等の読み取り機能を有していてもよい。その場合には、例えば、非可視化情報が２次元バーコードである場合には、その２次元バーコードからバーコードリーダを用いて付加情報を取得する。
【００８２】
表示情報生成手段４７は、非可視化情報解析手段４６により得られた付加情報に基づいて画面に表示されたオブジェクトに対する動作内容や、表示手法に基づく表示内容等を生成する。なお、画面への表示は、画面上に別枠（別ウィンドウ）を設けて動作を表示させてもよく、対応するオブジェクトが表示されている位置上に表示してもよく、更に音声により出力してもよい。
【００８３】
なお、表示情報生成手段４７における処理としては、例えば、上述したようにオブジェクトを背景から消す処理を行ったり、その消した位置にオブジェクトを表示し、拡大、縮小、回転、移動、他のオブジェクトに置換等を行うことができる。したがって、画像中に含まれる所定のオブジェクトに対して、個々の動作を行わせて表示させることができる。更に、表示情報生成手段４７は、表示されるオブジェクトを背景画像に重畳させたり、空間認識による角度や傾きの補正処理等を行うことができる。
【００８４】
ここで、本実施形態において、どのオブジェクトにどのような動作をさせるかについては、例えば、そのオブジェクトの周囲にある非可視化情報から取得することができる。したがって、本実施形態では、画像中の動作させたいオブジェクトに対してのみ、その周囲に非可視化情報を埋め込むだけで、そのオブジェクト毎に独自の処理を埋込装置１３側で設定することができる。
【００８５】
また、表示情報生成手段４７は、取得した非可視化情報をそのまま可視化して表示してもよく、非可視化情報に対応する付加情報を蓄積手段４３や外部装置等から取得して、その取得した付加情報を表示してもよい。
【００８６】
更に、表示情報生成手段４７は、非可視化情報解析手段４６により得られた結果がコードである場合、上述したコードＩＤ等に基づいて蓄積手段４３等から取得した付加情報毎に設定されている画面に表示するときのサイズ、色、時間、位置、動作内容等に基づいて表示させるための表示情報を生成する。なお、映像として対象オブジェクトが移動している場合には、そのオブジェクトの位置に追随して表示させてもよく、また、最初に画面に表示した位置に固定して表示させてもよい。
【００８７】
送受信手段４８は、通信ネットワーク等を用いて接続可能な外部装置から所望する外部画像（撮影画像等）や、本発明における非可視化情報認識処理を実現するための実行プログラム等を取得するためのインタフェースである。また、送受信手段４８は、認識装置１６内で生成された各種情報を外部装置に送信することができる。
【００８８】
制御手段４９は、認識装置１６の各構成部全体の制御を行う。具体的には、制御手段４９は、例えばユーザ等による入力手段４１からの指示等に基づいて、埋込画像の取得や非可視化情報の抽出、非可視化情報の解析、表示情報の生成等の各処理の各制御等を行う。
【００８９】
上述した装置構成により、効率的な情報の取得により付加価値性に優れた高精度な画像を提供することができる。
【００９０】
＜埋込装置１３、認識装置１６：ハードウェア構成＞
ここで、上述した埋込装置１３及び認識装置１６においては、各機能をコンピュータに実行させることができる実行プログラム（埋込プログラム、認識プログラム）を生成し、例えば汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における非可視化情報の埋込処理及び認識処理等を実現することができる。
【００９１】
ここで、本実施形態における非可視化情報の埋込処理及び認識処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図４は、本実施形態における非可視化情報の埋込処理及び認識処理が実現可能なハードウェア構成の一例を示す図である。
【００９２】
図４におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００９３】
入力装置５１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザ等からのプログラムの実行等、各種操作信号を入力する。また、入力装置５１は、カメラ等の撮像手段から撮影された画像を入力する画像入力ユニットを有している。
【００９４】
出力装置５２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００９５】
ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【００９６】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムやコンピュータに設けられた制御プログラム等を蓄積し、必要に応じて入出力を行うことができる。
【００９７】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００９８】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、埋込処理及び認識処理における各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置５４から取得することができ、また実行結果等を格納することもできる。
【００９９】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【０１００】
上述したようなハードウェア構成により、本発明における非可視化情報の埋込処理及び認識処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における埋込処理及び認識処理を容易に実現することができる。
【０１０１】
次に、上述した埋込プログラムにおける非可視化情報の埋込処理、及び認識プログラムにおける非可視化情報の認識処理について具体的に説明する。
【０１０２】
＜非可視化情報の埋込処理手順＞
まず、本実施形態における非可視化情報の埋込処理手順について説明する。図５は、本実施形態における非可視化情報の埋込処理手順の一例を示すフローチャートである。
【０１０３】
図５に示す埋込処理は、まずカメラ等の撮像手段により撮影された画像を取得し（Ｓ０１）、画像の解析を行い（Ｓ０２）、画像中に含まれるオブジェクト、オブジェクト位置情報等を取得する。
【０１０４】
次に、Ｓ０２の処理にて得られた情報に基づいて埋込対象オブジェクトの設定を行い（Ｓ０３）、そのオブジェクトに対して非可視化情報（マーカ）を埋め込むか否かを判断する（Ｓ０４）。ここで、非可視化情報を埋め込む場合（Ｓ０４において、ＹＥＳ）、そのオブジェクトに対してどのような動作指示情報を埋め込むか等の処理内容を示した埋込情報を設定し（Ｓ０５）、Ｓ０５の処理により設定された埋込情報を生成する（Ｓ０６）。
【０１０５】
また、Ｓ０６の処理にて生成された埋込情報を含む画像中の所定のオブジェクトの周囲の所定位置に埋め込み（Ｓ０７）、その埋め込み後の合成画像をディスプレイ等の出力手段により表示又はデータとして出力する（Ｓ０８）。なお、Ｓ０８の処理では、Ｓ０７により得られた画像を印刷媒体に出力することもできる。
【０１０６】
Ｓ０８の処理終了後又はＳ０４の処理において、非可視化情報を埋め込まない場合（Ｓ０４において、ＮＯ）、他の画像に非可視化情報を埋め込むか否かを判断する（Ｓ０９）。他の画像に非可視化情報を埋め込む場合（Ｓ０９において、ＹＥＳ）、Ｓ０１に戻り以降の処理を繰り返し実行する。また、Ｓ０９の処理において、他の画像に非可視化情報を埋め込まない場合（Ｓ０９において、ＮＯ）、非可視化情報埋込処理を終了する。
【０１０７】
なお、本実施形態では、上述Ｓ０２の処理は行わずに、ユーザ等が画面上に表示される画像データから少なくとも１つのオブジェクトを設定してもよい。
【０１０８】
＜非可視化情報の認識処理手順＞
次に、本実施形態における非可視化情報の認識処理手順について説明する。図６は、本実施形態における非可視化情報の認識処理手順の一例を示すフローチャートである。
【０１０９】
図６に示す認識処理は、まず、上述した埋込処理により非可視化情報が埋め込まれた埋込画像を取得する（Ｓ１１）。なお、Ｓ１１の処理では、画像が取得できれば、どのような手段を用いてもよく、例えば、上述したように印刷媒体を撮影してその画像データを取得してもよく、また予め画像データとして存在する埋込画像を外部装置等から取得してもよい。次に、取得した画像に含まれる非可視化情報からオブジェクトを抽出する（Ｓ１２）。
【０１１０】
次に、Ｓ１２の処理において、非可視化情報からオブジェクトに対する動作指示内容や表示手法等の各種処理内容からなる埋込情報が抽出されたか否かを判断し（Ｓ１３）、埋込情報が抽出された場合（Ｓ１３において、ＹＥＳ）、埋込情報の解析を行う（Ｓ１４）。また、埋込情報の解析結果により得られた付加情報から画面等に表示する表示情報等を生成し（Ｓ１５）、生成した内容を表示する（Ｓ１６）。
【０１１１】
ここで、他の画像から非可視化情報を認識するか否かを判断し（Ｓ１７）、他の画像から非可視化情報を認識する場合（Ｓ１７において、ＹＥＳ）、Ｓ１１に戻り以降の処理を繰り返し実行する。また、Ｓ１７の処理において、他の画像から非可視化情報を認識しない場合（Ｓ１７において、ＮＯ）、非可視化情報認識処理を終了する。
【０１１２】
上述した処理により、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツサービスを提供することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における非可視化情報埋込処理や認識処理を容易に実現することができる。
【０１１３】
＜非可視化情報の埋め込み例について＞
次に、本実施形態における非可視化情報の埋め込み例について、図を用いて説明する。図７は、本実施形態における非可視化情報の埋め込み例について説明するための図である。なお、埋込処理を行う場合には、図７（ａ）〜図７（ｄ）の順序で埋め込みが行われる。
【０１１４】
まず、上述した第１の印刷媒体１１等から入力された撮影画像である画像データ６１に含まれるある所定のオブジェクト６２に対して非可視化情報を挿入する場合には、図７（ａ）に示すように、オブジェクト６２を中心とし、その中心から図７（ａ）の矢印に示すようにオブジェクト６２の周囲に所定形状のコードの外枠６３を配置する。
【０１１５】
なお、外枠形状は、認識装置１６における読み取り精度を向上させるために正方形が好ましいが、本発明においてはこれに限定されるものではなく、例えば、矩形や菱形、６角形、８角形等の多角形や円形、楕円形、オブジェクトの形状に相似して拡大された形状、或いはユーザ等によりマウス等の入力手段によってフリーライドされた形状等であってもよい。
【０１１６】
次に、図７（ｂ）に示すように、オブジェクト６２に対する大体の輪郭６４を指定する。なお、輪郭６４は、ユーザ等によりマウスやタッチパネル等の入力手段を用いて任意に設定することができる。また、輪郭６４は、オブジェクト６２とその背景との輝度値等の違いにより大まかな輪郭６４を抽出することもできる。なお、この輪郭６４は、大まかなものであってよく、例えばオブジェクト６２の全体を含む領域であればよい。
【０１１７】
次に、図７（ｃ）に示すように、輪郭６４の形状に対応させてコード内枠６５を設定する。なお、コード内枠６５は、外枠６３を超えることがなく、例えば輪郭６４の一回り（所定画素数分）外側の領域が設定される。次に、図７（ｄ）に示すように、コード内枠６５と外枠６３の間に高周波部６６の符号化領域を付加し、輪郭と内枠の間に低周波部６７を付与する。これにより、認識装置１６側でオブジェクト６２の位置を認識させるための非可視化情報を埋め込むことができる。
【０１１８】
また、本実施形態では、非可視化情報に何らかの文字や記号、コード等により、オブジェクトに対する動作指示情報や表示手法等の各処理内容を挿入することで、画像中の所定のオブジェクト毎に所定の動作等を行わせることができる。これにより、付加価値のあるコンテンツサービスを提供することができる。
【０１１９】
＜非可視化情報の抽出及びオブジェクトの認識例について＞
次に、本実施形態における認識装置１６における非可視化情報の抽出及びオブジェクトの認識例について図を用いて説明する。図８は、本実施形態における非可視化情報の抽出及びオブジェクトの認識例について説明するための図である。
【０１２０】
なお、本実施形態の認識処理に係る非可視化情報の抽出及びオブジェクトの認識を行う場合には、図８（ａ）〜図８（ｄ）の順序で埋め込みが行われる。まず、上述した第１の印刷媒体１１等から入力された画像データ６１に含まれるある所定のオブジェクト６２に対して非可視化情報を挿入する場合には、まず図８（ａ）に示すように、画像６１に含まれるコード情報を取得する。具体的には、例えば、外枠６３と高周波部６６と低周波部６７とが存在する領域を抽出する。
【０１２１】
次に、図８（ｂ）に示すように、外枠６３から内側の高周波部６６を透明化し、更に図８（ｃ）に示すように、高周波部６６のエッジから内側に向かって低周波部６７を透明にする。なお、低周波部６７は、周囲との画素の輝度情報等に基づいて、把握することができるが、本発明においてはこれに限定されるものではなく、例えば高周波部から所定ビット数分内側を透明化するといったように、予め設定されたビット数のみを透明化してもよく、又は色差や明暗差等を用いて上述した透明化処理を行ってもよい。
【０１２２】
その後、図８（ｄ）に示すようにオブジェクトのみからなるトリミング画像７１を得ることができる。なお、図８（ｄ）に示すオブジェクトの周囲のエリアは、便宜上、透明化されていることを示す模様が付されている。
【０１２３】
＜オブジェクトに対する動作例＞
次に、本実施形態において、提供されたコンテンツに含まれるオブジェクトに対する動作例について、図を用いて説明する。図９は、本実施形態におけるオブジェクト動作例を説明するための図である。
【０１２４】
オブジェクトを動作させる場合には、例えば、図９（ａ）に示すように、撮影画像６１にトリミング画像７１を重畳し、次に、図９（ｂ）に示すように、背景画像のオブジェクト６２ａを削除する。具体的には、例えば、オブジェクト６２ａの周囲の背景画像の画素を用いてオブジェクト６２ａの領域を上塗りする。なお、本発明においてはこれに限定されるものではなく、例えば、予め設定された色等を用いて塗り潰してもよい。
【０１２５】
次に、トリミング画像７１に含まれるオブジェクト６２ｂを、オブジェクト６２ａを削除した撮影画像６１を背景画像として、その上で動作させる。なお、図９（ｃ）の動作内容では、オブジェクト６２ｂを所定のタイミングで右回転に動作させる処理を示しているが、本発明においては、これに限定されるものではなく、オブジェクト６２ｂを拡大させたり、縮小させたり、所定の方向に移動させたり、他のオブジェクトに置換するといった動作を行うことができる。
【０１２６】
また、入力と対応動作のバリエーションとして、本実施形態では、例えば、ユーザ等が認識装置１６の音声入力装置等に対して息を吹きかける（マイク入力）とオブジェクトの一部又は全部が回転したり、傾けるとオブジェクトが転がったり、認識装置１６の画面に触るとオブジェクトがリアクションをとったり、特定の場所に行くとオブジェクトがその場所固有の動作をすることができる。
【０１２７】
更に、本実施形態では、向いている方角によってオブジェクトの動作が変化したり、時間によってオブジェクトが寝たり起きたりすることもでき、また天気等によってオブジェクトの動作が変化したり、ユーザが歩く動作やその動作に伴う振動、移動速度、移動距離等に従って、オブジェクトも変形するといった動作を行うことができる。
【０１２８】
＜低周波部、高周波部について＞
ここで、本実施形態における低周波部及び高周波部について説明する。通常、周波数には時間についての周波数（時間周波数）と空間の位置についての周波数（空間周波数）があるが、本実施形態においては、特に断らない限りは空間周波数を指す。空間周波数とは、「単位長さに対する画素値の周期の逆数」と定義される。
【０１２９】
本実施形態における周波数は、特に限定されるものではないが、例えば高周波部では０．２〜２［ｃｙｃｌｅ／画素］、低周波部では０〜１［ｃｙｃｌｅ／画素］の範囲で設定すればよく、具体的には低周波部より高周波部の方が、周波数が高くなっていればよい。
【０１３０】
また、高周波部にて形成される所定の画素領域（例えば、４×４ｐｘ（ピクセル）等）からなるグリッドは、明部と暗部が周期的に繰り返していればよく、例えば、縦縞、横縞、格子状等があげられる。
例えば、
明明明明
暗暗暗暗
明明明明
暗暗暗暗
又は、
明暗明暗
暗明暗明
明暗明暗
暗明暗明
等である。
【０１３１】
また、そのときの明部と暗部の明度差は１０以上であればよく、好適なのは５０以上であり、更に好適なのは１００以上である。なお、本実施形態における明度差は、上述したように、まず通常表示される画像の明度を基準として明部と暗部とを生成し、生成された明部と暗部とにおける明度差を用いていたが、本発明においてはこれに限定されるものではない。例えば、通常の画像の明度と、その明度に対して低周波部又は高周波部における明度とにおける明度差を用いていてもよい。
【０１３２】
この場合、例えば、高周波部と見なされる明暗差は、グレースケールで隣り合うエレメントを基準として約１５以上であれば高周波部とみなすことができる。具体的には、約１５〜３５程度の明度差が高周波部として主に使うことができる領域である。なお、エレメントとは、縦横１ｐｘ以上のピクセルで構成されたものであり、本実施形態では、例えば１エレメントを２×２ｐｘとすることができる。
【０１３３】
ここで、例えばカメラ等の撮像装置で読み取れる明度差の最小値が１５である場合、明度差が３５を超えると人間の目にも容易に認識できてしまう。また逆に、埋め込む画像の部分が極端に暗い場合や明るい場合には、カメラ等による読み取り精度を上げるために例えば３５以上の明度差を付けることも必要となる。したがって、本実施形態では、埋め込む位置の画像（背景）の明度や輝度等や撮影されるカメラの性能等に応じて任意に明度差に変化を付けて非可視化情報のコードを生成する。
【０１３４】
また、上述した付加情報における使用可能なピクセルサイズは、例えばその画像と、画像を見る人との距離により変化するため、特に限定されるものではないが、例えば約１ｍの距離であれば、約０．０５〜２ｍｍ程度が好ましく、約１０ｍの距離であれば、約０．５ｍｍ〜２０ｍｍ程度が好ましい。更に離れた距離から使用する場合でも、同様のピクセルサイズと距離の比率を保っていることが好ましい。
【０１３５】
つまり、本実施形態では、碁盤の目パターン中（市松模様）の小さな明るく暗い正方形から成る高頻度のブロックを使用する非可視化コードを本実施形態における非可視化情報として用いる。これにより、いかなる場所でも埋め込むことができ、任意の角度から読むことができる。
【０１３６】
ここで、図１０は、高周波部及び低周波部を有する非可視化情報を説明するための図である。図１０（ａ）に示す非可視化画像の構造例では、位置検知パターン８１内に回転検知パターン８２を有する。これにより、コードのある位置とコードの向きを正確に認識することができる。
【０１３７】
また、位置検知パターン８１には、イメージに埋め込まれていた高周波部としての高周波ブロック８３を有しており、中心には、オブジェクトを収納するエッジ８４を有している。図１０（ａ）に示すように、本実施形態では、イメージの位置及び方向は、周囲の位置と方向の検知パターンによって検知される。これらのパターンも高周波ブロック８３から構成される。なお、図１０（ａ）の例では、位置検知パターン８１の外枠を点線のガイドラインで囲み、回転検知パターン８２の外枠を実線のガイドラインで囲んでいるが、実際には枠線を必要としない。
【０１３８】
図１０（ｂ）に示す各ブロックは、人が目で見て認識しづらくして視界を縮小するために明るく暗い要素を交互にするＮ×Ｎの碁盤配列からなる。明るいエレメント（要素）と暗いエレメントは、上述したように背景の輝度（明るさ）を基準にして、その輝度を上げるか下げることにより生成される。
【０１３９】
なお、明るさにおける変化は、埋め込み強度(それは明るさにおける±α変化である)によって調節される。埋め込み強度が一定の場合、イメージが非常に明るいか、非常に暗い場合、読み取り認識精度はよくない。そこで、図１０（ｃ）に示すように、背景色の埋め込み強度を変えることにより読み取り認識精度を向上させる。具体的には、背景の各ＲＧＢ値がエレメント（要素）の明るさを変更するために独立して変えられる場合、色調はイメージの視界を上げて変わる。したがって、本実施形態では、視界を縮小し、かつ読み取り認識の正確さを向上させるため、オリジナルカラーイメージをグレーレベルに変換し、背景のグレーの規模の値を基準にして埋め込み強度を設定した。
【０１４０】
ここで、図１１は、埋め込み強度と背景のグレースケール値の関係を示す図である。図１１に示すように、人間の目は白の明るさの変化に非常に敏感で、黒の変化に無感覚である。そのため、埋め込み強度の変化は、グレースケール値に関して二次関数的に、最小の強さが２０となる方程式によって以下の式で与えられる。
グレーレベル値α＝１／２１６７×（αｒ−２５５）２＋２０
＜実験結果＞
ここで、本発明を適用した実験結果について図を用いて説明する。本実施形態における読み取り認識精度は、どのようなコードを埋め込んだか（コード・スタイル）で評価される。
【０１４１】
図１２は、モノクロイメージ用の非可視化コードの例を示す図である。図１２に示すコードは、約３ｃｍ程度正方形で、データを１００ビット保持することができる。また、高周波ブロックの各サイドは４つの長いエレメント（要素）を有している。また、エレメントのサイズは、約２×２ピクセルとしている。また、図１２に示すように、高周波部ブロックは、モノクロイメージに対する碁盤（市松模様）のブロックを有している。
【０１４２】
図１３は、０〜２５５までグレーイメージを変化させた明るさに対する読み取り認識精度と非可視化との関係を示す図である。本実施形態では、コードありのイメージとコードなしのイメージとの差を５０ｃｍ離れた地点から見た評価結果を示している。その結果、背景イメージの明るさの範囲がグレーレベル４０〜１８０にある場合に読み取り認識精度が９０％以上であり、可視化されていると判断される場合が１０％未満であった。
【０１４３】
更に、本実施形態における非可視化コードの有効性を確認するために、一例として３つの共通のタイプのイメージに埋め込まれていた非可視化コードの読み取り認識精度を評価した。
【０１４４】
図１４は、本実施形態におけるイメージ毎の非可視化情報の読み取り認識精度の評価について説明するための図である。図１４（ａ）に示すような非可視化コードを、図１４（ｂ）に示すテストイメージとして、白黒（モノクロ）イメージ、女性イメージ、動物（マントヒヒ）イメージに挿入して、様々なイメージにおけるコードの認識精度を評価した。
【０１４５】
ここで、図１５は、図１４に対応する評価結果を示す図である。なお、図１５（ａ）は、カメラからコードまで距離に対する認識精度を示すグラフであり、図１５（ｂ）は、カメラの撮影角度に対する認識精度を示すグラフである。
【０１４６】
図１５（ａ）に示すように、カメラからコードまでの距離に関する正確性については、その距離が約７〜１１ｃｍ程度の距離であれば全てのイメージに対して、認識精度が１００％であることが示された。
【０１４７】
また、図１５（ｂ）に示すように、カメラの角度に対しては、約０〜４０の角度で、全てのイメージに対して、認識精度が１００％であることが示された。
【０１４８】
＜本実施形態を適用したコンテンツアプリケーション例＞
次に、上述した本実施形態を適用したコンテンツアプリケーション例について図を用いて説明する。なお、以下に示す例では、非可視化情報としてのトリミングマーカを備えたＡＲアプリケーションシステムについて説明する。
【０１４９】
＜実施例１＞
図１６は、実施例１におけるＡＲアプリケーションシステムの一例を示す図である。図１６（ａ）では、非可視化情報としてトリミングマーカを用いるイメージの例を示している。トリミングマーカは、図１６（ａ）に示す風車のためのイメージの周囲に埋め込まれる。なお、実施例１においては、周囲全体であってもよく、また周囲の一部の領域であってもよい。
【０１５０】
例えば、ユーザは、例えばスマートフォン等の携帯端末に設けられたカメラによりイメージの写真を撮ることにより、風車のイメージを取得する。また、ユーザは、携帯端末を使って、撮影された画像に含まれるオブジェクトのうち少なくとも１つを選択すると、実施例１におけるＡＲアプリケーションにより、そのオブジェクトに対してトリミングマーカが埋め込まれる。図１６の例では、風車にトリミングマーカを埋め込み、埋め込んだ画像（風車）を印刷する。なお、実施例１において、トリミングマーカは、図１６（ａ）に示す複数の風車（オブジェクト）のうち、認識側でトリミングを行う対象の所定の風車（トリミングオブジェクト）に対してのみ行えばよい。
【０１５１】
ここで、図１６（ｂ）は、非可視化トリミングマーカの構造を示している。トリミングマーカは、高周波部と低周波部とを含み、トリミングマーカの中心には抽出する対象のオブジェクト（トリミングオブジェクト）からなる。トリミングマーカの位置は、オブジェクトの周りに存在する位置検知パターンにより取得される。また、オブジェクトの向き（方向）は、例えば上述した回転検知パターン等をトリミングマーカに埋め込んでおくことで取得することができる。なお、上述の処理は、携帯端末で行われる。したがって、携帯端末には、上述した第１の画像情報取得装置１２及び埋込装置１３としての機能を有し、それらの機能は、上述した埋込プログラムにおけるＡＲアプリケーションによって実現される。
【０１５２】
また、図１６（ｃ）は、トリミングマーカによるオブジェクトの抽出例を示す図である。ユーザは、例えばスマートフォン等の携帯端末に設けられたカメラによりトリミングマーカを含む印刷された画像を撮影する。携帯端末（認識装置１６）は、上述したように、トリミングマーカの埋め込み位置から高周波部、低周波部の順序で透明化処理を行い、トリミングオブジェクトを背景とは分離した状態で取得する。また、携帯端末は、取得したトリミングオブジェクトを、背景イメージとバーチャルに合成した画像を生成し、画面に表示する。
【０１５３】
次に、取得したトリミングマーカにより抽出されたオブジェクト（風車）がどのように動作するかについて、図を用いて具体的に説明する。図１７は、取得したトリミングマーカによる風車の動作例を示す図である。具体的には、図１７（ａ）〜図１７（ｄ）の順に動作が遷移する。
【０１５４】
例えば、あるユーザが、例えばスマートフォン等の携帯端末を使用して、風車イメージの写真を撮影すると（図１７（ａ））、ターゲットイメージである風車イメージ（トリミングオブジェクト）は、上述した本実施形態による手法により背景イメージから分けられる（図１７（ｂ））。その後、風車及び背景イメージは、携帯端末の表示画面に表示される（図１７（ｃ））。
【０１５５】
ここで、ユーザは、上述した二次的な指示情報として、スマートフォンに設けられたマイク等の音声入力装置に息や呼吸を吹きかけたり、何か喋ったりすることにより、その音量（ボリューム）又は音の変化を把握し、その変化量に応じて風車を回転させるイメージを作る（図１７（ｄ））。なお、どのような二次的な指示情報に対してどのような動作を行うかについては、予め設定されていてもよく、またトリミングマーカの情報から抽出されていてもよい。
【０１５６】
なお、上述の処理は、携帯端末で行われる。したがって、携帯端末には、上述した第２の画像情報取得装置１５及び認識装置１６としての機能を有し、それらの機能は、上述した認識プログラムにおけるＡＲアプリケーションによって実現される。
【０１５７】
なお、実施例１では、上述したトリミングマーカを用いて動作を指示する場合に、画面上にトリミングマーカが複数あれば、各オブジェクト（風車）に対応するトリミングマーカに含まれる埋込情報の指示内容によってオブジェクト毎に動作してもよく、また１つのトリミングマーカに含まれる指示情報によって、抽出された複数のオブジェクトに対して動作内容を指示してもよい。これにより、例えば、複数のオブジェクトで同一の動作を行う場合には、それぞれのオブジェクトに対応するトリミングマーカに対して、動作指示情報等を含む埋込情報を設定する必要がなく、１つの埋込情報により複数のオブジェクトを動作させることができるため、効率的且つ迅速にオブジェクト動作を実現できる。
【０１５８】
ここで、図１８は、画像中に含まれる非可視化情報と動作指示情報との関係を説明するための図である。なお、図１８（ａ）は埋込画像の一例を示し、図１８（ｂ）は非可視化情報及び動作指示情報（埋込情報）が埋め込まれたオブジェクトの拡大図（動作指示情報のガイドライン付き）を示し、図１８（ｃ）は図１８（ｂ）に対応するガイドラインなしの図を示している。
【０１５９】
次に、図１８（ａ）に示す埋込画像９１では、画像中の３つの風車のオブジェクトのうち、２つのオブジェクトに非可視化情報９２−１，９２−２が埋め込まれている。したがって、上述した実施例１においては、認識装置１６において、オブジェクトと認識され抽出されるオブジェクトは、非可視化情報９２−１，９２−２で囲まれた２つの風車のみとなる。なお、図１８（ａ）〜図１８（ｃ）の例では、説明の便宜上、非可視化情報９２−１，９２−２の外枠が可視化している。
【０１６０】
次に、図１８（ｂ）の例では、非可視化情報９２−２の４隅に動作指示情報（埋込情報）９３−１〜９３−４が埋め込まれている。なお、図１８（ｂ）の例では、動作指示情報９３−１〜９３−４の埋め込み領域にガイドライン（実線）が示されているが、実際の画像では、図１８（ｃ）に示すようになる。
【０１６１】
ここで、動作指示情報が非可視化情報のどこに埋め込まれるかについては、本発明においてはこれに限定されるものではなく、例えば非可視化情報の少なくとも１つの隅であってもよく、非可視化情報の外枠上にあってもよい。また、動作指示情報９３−１〜９３−４を上述した回転検知パターンとして利用することもできる。
【０１６２】
なお、図１８（ｂ）に示す動作指示情報９３−１〜９３−４は、例えば各隅に各４ビットの情報が埋め込まれている。したがって、動作指示情報９３−１〜９３−４は、この４隅の情報を所定の順序で繋げて全１６ビットとして、１つの情報を生成することができる。なお、１６ビットを用いることで、６５５３６通りのコードパターンを取得することができるため、コードから得られる情報をＩＤや動作スイッチとして用いることで、オブジェクトに対して多種の動作内容や表示手法を設定することができる。
【０１６３】
更に、実施例１では、上述した４隅の埋込情報に対応する動作を所定の順序及びタイミングで実行させてもよく、また、１つの埋込情報の内容を抽出された全てのオブジェクトに対して実行させてもよい。
【０１６４】
なお、上述した埋込情報は、予め特定された範囲に埋め込んでおくことで、上述した非可視化情報解析手段４６にて解析する際、その特定された範囲を参照することで、即座に埋込情報を取得することができる。
【０１６５】
＜実施例２＞
図１９は、実施例２におけるＡＲアプリケーションシステムの一例を示す図である。なお、図１９におけるＡＲアプリケーションシステムも上述した実施例１と同様に携帯端末を用いて行うことができる。なお、ここで使用される携帯端末は、例えば上述した第２の画像情報取得装置１５及び認識装置１６としての機能を有する。
【０１６６】
実施例２では、例えば絵本等の紙媒体１００の中に所定の動作をさせるターゲットであるトリミングオブジェクト１０１（図１９の例では、赤とんぼ）が描かれている。また、トリミングオブジェクト１０１の周囲には、上述したトリミングマーカ１０２が埋め込まれている。なお、図１９では、説明の便宜上、トリミングマーカ１０２の外枠を点線で示しているが、実際の紙媒体１００には、このような点線は存在しない。
【０１６７】
また、このトリミングマーカ１０２内には、図１９に示すように、トリミングオブジェクト１０１の外形の周囲に低周波部１０３が埋め込まれ、更に低周波部１０３の外側に高周波部１０４が埋め込まれている。また、トリミングマーカ１０２内には、トリミングオブジェクト１０１に所定の動作を行わせるための動作指示情報１０５−１〜１０５−４が埋め込まれている。
【０１６８】
実施例２では、この紙媒体１００を携帯端末等に設けられたカメラ（画像情報取得装置１５）等で撮影する。また、携帯端末（認識装置１６）は、撮影された画像からトリミングマーカ１０２を取得する。また、トリミングマーカの４隅には、動作指示情報が埋め込まれており、この動作指示情報の値によってトリミングオブジェクト１０１の動作を変化させる。
【０１６９】
ここで、動作指示情報１０５−１〜１０５−４は、例えばそれぞれ１ビットずつ情報が埋め込まれている。したがって、動作指示情報１０５−１〜１０５−４から動作指示情報を取得するためには、例えば４隅の情報を特定の順序（例えば時計回り）等で読み、例えば読み込んだ結果に応じて予め設定された動作を、背景イメージと分離してバーチャルに合成されているトリミングオブジェクト１０１に実行させる。具体的には、例えば動作指示情報（４ビット）が「１１００」である場合には、トリミングオブジェクト１０１を右に動かす。また、動作指示情報が、「１０１０」である場合にはトリミングオブジェクト１０１を左に動かし、「１１１１」である場合にはトリミングオブジェクト１０１をその場で回転させる等といった動作を行うことができる。実施例２における動作内容においては、これに限定されるものではなく、例えばトリミングオブジェクト１０１である赤とんぼが飛び去る方向を変化させることができる。また、動作指示情報によりトリミングオブジェクトの姿勢（例えば、位置（座標）、向き）や移動速度等を取得することもできる。
【０１７０】
また、上述した動作の実行タイミングは、例えばユーザが、携帯端末の画面に表示されたトリミングオブジェクト１０１を画面上でタップ（叩く、触れる、擦る等の意味を広く含む）することで、所定の動作させることができるが、本発明においてはこれに限定されるものではない。例えば、携帯端末のインカメラ（ユーザ側カメラ）を用いて明度の変化をリアルタイムで認識し、例えば予め設定された平均明度よりも一定以上低くなった場合に、トリミングオブジェクト１０１に触ろうとしていると判断して、トリミングオブジェクト１０１である赤とんぼが飛び去ってしまうような動作を行わせてもよい。
【０１７１】
なお、動作指示情報に応じて設定される動作内容については、予め蓄積手段等に蓄積されていてもよく、また予め設定された外部装置等に通信ネットワーク等を介して接続し、接続した外部装置から対象の動作内容を取得してもよい。これにより、例えば同一の動作指示内容でありながら、蓄積手段等に蓄積された動作内容と外部装置から取得される動作内容で異なる動作を行わせることもできる。また、外部装置等から動作内容を取得することで、動作の変更等を外部装置の管理で自由に行うことができる。
【０１７２】
＜実施例３＞
図２０は、実施例３におけるＡＲアプリケーションシステムの一例を示す図である。なお、図２０におけるＡＲアプリケーションシステムも上述した実施例２と同様に携帯端末を用いて行うことができる。
【０１７３】
実施例３では、例えば絵本等の紙媒体１１０の中に所定の動作をさせるターゲットである複数のトリミングオブジェクト１１１−１〜１１１−４（図２０の例では、鯉）が描かれている。また、各トリミングオブジェクト１１１−１〜１１１−４の周囲には、上述したトリミングマーカ１１２−１〜１１２−４が、各トリミングオブジェクトに対応させて埋め込まれている。
【０１７４】
このトリミングマーカ１１２−１〜１１２−４内には、図１９と同様に各トリミングオブジェクト１１１−１〜１１１−４の外形の周囲に低周波部が埋め込まれ、更に低周波部の外側に高周波部が埋め込まれている。また、トリミングマーカ１１２−１〜１１２−４内には、各トリミングオブジェクト１１１−１〜１１１−４に所定の動作を行わせるための動作指示情報が埋め込まれている。
【０１７５】
実施例３では、この紙媒体１１０を携帯端末等に設けられたカメラ（画像情報取得装置１５）等で撮影する。また、携帯端末（認識装置１６）は、撮影された画像からトリミングマーカ１１２−１〜１１２−４を取得する。又、携帯端末は、取得したトリミングマーカ１１２−１〜１１２−４に基づいて、トリミングしたトリミングオブジェクト１１１−１〜１１１−４である鯉と背景画像とを分離し、これをバーチャルに合成した画像を生成し画面に表示する。
【０１７６】
なお、トリミングマーカ１１２−１〜１１２−４内には、上述したように、動作指示情報が埋め込まれており、この動作指示情報の値によって、上述した実施例と同様に各トリミングオブジェクト１１１−１〜１１１−４の動作を変化させる。なお、この動作指示情報は、４隅ではなく、例えばトリミングマーカ１１２−１〜１１２−４内の周囲に埋め込まれていてもよく、予め設定されたトリミングマーカ内の所定の位置に埋め込まれていればよい。
【０１７７】
例えば、実施例３では、ユーザの手１１３で撮影された画像が表示された画面をタップすると、波紋が広がり、各トリミングオブジェクト１１１−１〜１１１−４である鯉が放射線状に逃げ出す動作を行う。具体的には、例えばユーザの手１１３の指先で画面がタップされると、携帯端末（認識装置１６）がタップされた座標と各トリミングオブジェクト１１１−１〜１１１−４である鯉の座標を取得し、取得したそれぞれの座標を用いて、各トリミングオブジェクト１１１−１〜１１１−４の進む方向ベクトルを生成する。
【０１７８】
なお、この場合には、動作指示情報に、各トリミングオブジェクト１１１−１〜１１１−４がどちらを向いているかの角度情報を埋め込んでおく。また、動作指示情報は、例えばトリミングマーカ１１２−１〜１１２−４の４隅ではなく、各マーカの周囲に８ビットの情報を埋め込み、０〜３６０度で表現できるようにすることもできる。
【０１７９】
更に、携帯端末は、その方向ベクトルを正規化することで、各トリミングオブジェクト１１１−１〜１１１−４の進む速度を調節する。このようにベクトルを生成することで、携帯端末上の画面上のどこをタップしても、各トリミングオブジェクト１１１−１〜１１１−４が放射線状に逃げるように動作させることができる。
【０１８０】
＜実施例４＞
図２１は、実施例４におけるＡＲアプリケーションシステムの一例を示す図である。なお、図２１におけるＡＲアプリケーションシステムも上述した実施例２と同様に携帯端末を用いて行うことができる。
【０１８１】
実施例４では、例えばファッション雑誌等の紙媒体１２０の中に所定の動作をさせるターゲットである複数のトリミングオブジェクト１２１−１，１２１−２（図２１の例では、衣類）が描かれている。また、トリミングオブジェクト１２１−１，１２１−２の周囲には、上述したトリミングマーカ１２２−１，１２２−２が、各トリミングオブジェクト１２１−１，１２１−２に対応させて埋め込まれている。
【０１８２】
実施例４では、この紙媒体１２０を携帯端末等に設けられたカメラ（画像情報取得装置１５）等で撮影する。また、携帯端末（認識装置１６）は、撮影された画像からトリミングマーカ１２２−１，１２２−２を取得する。また、携帯端末は、取得したトリミングマーカ１２２−１，１２２−２に基づいて、トリミングしたトリミングオブジェクト１２１−１，１２１−２である衣類と背景画像とを分離し、これをバーチャルに合成した画像を生成し、画面１３０に表示する。また、トリミングされた画像は画面上に拡大・縮小、回転、移動が可能であり、ユーザは商品を撮影する毎に画面上に衣類等の画像が追加されるため、自分の好きなようにコーディネートを楽しむことができる。
【０１８３】
したがって、実施例４では、上述した機能を行うことで、例えばファッションコーディネイトアプリとして提供することができる。具体的には、ファッション雑誌等に掲載されている服のオブジェクト１３１−１やスカートのオブジェクト１３１−２、靴のオブジェクト１３１−３等の商品にトリミングマーカを埋め込み、ユーザが気に入った商品を携帯端末で撮影すると、それぞれの商品が携帯端末の画面１３０上に切り出されて画面に表示される。ユーザは、携帯端末の画面１３０に表示される各商品から好みのものをユーザの手１３２で選択し、移動させることで画面１３０上でバーチャルにコーディネートすることができる。
【０１８４】
なお、実施例４では衣類に限定されるものではなく、例えば、帽子や眼鏡、アクセサリー、鞄等も含み、また顔画像等を取り込んで自分の顔に合わせてコーディネートすることもできる。
【０１８５】
また、上述したファッションコーディネイトアプリの場合には、例えば商品の裏側の画像（例えば、上着やスカートの裏側のデザイン等）や値段、色情報等をトリミングマーカ内に埋め込まれた動作指示情報から取得することができる。なお、例えば裏側のデザイン画像等のようにデータ容量の大きくなる場合には、Ｗｅｂ等によるブラウザ表示により画像を閲覧することもできる。つまり、動作指示情報は、例えば埋め込む情報が小さい場合いには（例えば数ビット程度）マーカの４隅や周囲にそれぞれの情報を埋め込み、埋め込む情報が大きい場合には、情報のＩＤ（識別情報）のみを埋め込んでおき、トリミングを行うと同時に所定の外部装置（サーバ）にＩＤを送り、対応する情報をＷｅｂ等から取得することができる。
【０１８６】
ここで、上述した各実施例では、トリミングマーカを認識した後、動作指示情報に伴う動作を直ぐに行ってもよく、認識してから所定時間経過後に行ってもよく、更に認識した後、ユーザにより携帯端末（認識装置）に対して所定の動作や操作が行われたときに行ってもよい。
【０１８７】
また、複数のオブジェクトに対して動作を行わせる場合には、それぞれのオブジェクトに対して動作指示情報で設定しておいてもよく、それぞれの動作指示情報から複数のオブジェクトに対して複合的な処理を行わせることもできる。なお、複合的な動作とは、例えば、２人の人間のオブジェクトがあった場合に、２人が肩を組んだり、握手をしたり、肩車をする等といった動作であるであるが、本発明においてはこれに限定されるものではない。
【０１８８】
更に、本実施形態においては、動作指示情報として、他のオブジェクトに対する動作を含めることもできる。これにより、オブジェクト全体として統一した動作を行わせることができる。なお、統一した動作とは、例えば複数の人間のオブジェクトの全員が手を振るといった動作である。また、動作指示情報として、例えば、オブジェクトが人物である場合に、その人物に関する情報（氏名、年齢、性別等）やホームページ、ブログ等のアドレス等の付加情報を埋め込むこともできる。更に、付加情報として、トリミングオブジェクトとは別の他のオブジェクトを画面に表示させるための情報を付加することもできる。
【０１８９】
また、他の実施例としては、例えば商品や食品の包装や箱、容器、又は説明書等に上述したトリミングマーカを埋め込んでおき、それをカメラで撮影して画像を認識することで、その商品の説明書や使用方法、調理法等を画面に表示することできる。例えば、例えばトリミングオブジェクトとして化粧品（例えば、口紅、アイシャドウ、マスカラ等）があった場合に、トリミングマーカによりその化粧品等の色情報を取得し、自分又は他人の顔画像に対して色情報を用いてメーキャップすることもできる。
【０１９０】
なお、上述した実施例２〜４に示す紙媒体１００，１１０，１２０は、画面に表示された画像であってもよい。また、画像には、映像も含まれる。
【０１９１】
上述したように本発明によれば、非可視化情報の埋め込みや抽出を迅速に行うと共に付加価値性に優れた高精度なコンテンツを提供することができる。
【０１９２】
以上本発明の好ましい実施例等について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１９３】
１０ コンテンツ提供システム
１１ 第１の印刷媒体
１２ 第１の画像情報取得装置
１３ 埋込装置
１４ 第２の印刷媒体
１５ 第２の画像情報取得装置
１６ 認識装置
２１，４１ 入力手段
２２，４２ 出力手段
２３，４３ 蓄積手段
２４ 画像取得手段
２５ 画像解析手段
２６ 埋込対象オブジェクト設定手段
２７ 埋込情報設定手段
２８ 埋込情報生成手段
２９ 非可視化情報埋込手段
３０，４８ 送受信手段
３１，４９ 制御手段
４４ 埋込画像取得手段
４５ オブジェクト抽出手段
４６ 非可視化情報解析手段
４７ 表示情報生成手段
５１ 入力装置
５２ 出力装置
５３ ドライブ装置
５４ 補助記憶装置
５５ メモリ装置
５６ ＣＰＵ
５７ ネットワーク接続装置
５８ 記録媒体
６１ 画像データ（撮影画像）
６２，１３１ オブジェクト
６３ 外枠
６４ 輪郭
６５ コード内枠
６６，１０４ 高周波部
６７，１０３ 低周波部
７１ トリミング画像
８１ 位置検知パターン
８２ 回転検知パターン
８４ エッジ
９１ 埋込画像
９２ 非可視化情報
９３ 動作指示情報（埋込情報）
１００，１１０，１２０ 紙媒体
１０１，１１１，１２１ トリミングオブジェクト
１０２、１１２，１２２ トリミングマーカ
１０５ 動作指示情報
１１３，１３２ 手
１３０ 画面
【特許請求の範囲】
【請求項１】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込装置と、該埋込装置により得られる画像に含まれるオブジェクト及び非可視化情報を認識する認識装置とからなる非可視化情報を用いたコンテンツ提供システムにおいて、
前記埋込装置は、
前記取得した画像に含まれるオブジェクトから非可視化情報を埋め込むオブジェクトを設定する埋込対象オブジェクト設定手段と、
前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有し、
前記認識装置は、
前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、
前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とするコンテンツ提供システム。
【請求項２】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込装置において、
前記画像に含まれるオブジェクト及び位置情報を取得する画像解析手段と、
前記画像解析手段により得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定手段と、
前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有することを特徴とする埋込装置。
【請求項３】
前記非可視化情報埋込手段により埋め込まれる前記非可視化情報の埋め込み内容を設定する埋込情報設定手段と、
前記埋込情報設定手段により設定された埋込情報から非可視化された埋込情報を生成する埋込情報生成手段とを有することを特徴とする請求項２に記載の埋込装置。
【請求項４】
前記埋込情報設定手段は、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項３に記載の埋込装置。
【請求項５】
前記非可視化情報埋込手段は、
前記画像解析手段により取得されるオブジェクトの位置情報に基づいて、前記オブジェクトに対応する非可視化情報を合成することを特徴とする請求項２乃至４の何れか１項に記載の埋込装置。
【請求項６】
取得した画像に含まれるオブジェクト及び非可視化情報を認識する認識装置において、
前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、
前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とする認識装置。
【請求項７】
前記オブジェクト抽出手段は、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする請求項６に記載の認識装置。
【請求項８】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込方法において、
前記画像に含まれるオブジェクト及び位置情報を取得する画像解析ステップと、
前記画像解析ステップにより得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定ステップと、
前記埋込対象オブジェクト設定ステップにより得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込ステップとを有することを特徴とする埋込方法。
【請求項９】
前記非可視化情報埋込ステップにより埋め込まれる前記非可視化情報の埋め込み内容を設定する埋込情報設定ステップと、
前記埋込情報設定ステップにより設定された埋込情報から非可視化された埋込情報を生成する非可視化情報生成ステップとを有することを特徴とする請求項８に記載の埋込方法。
【請求項１０】
前記埋込情報設定ステップは、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項９に記載の埋込方法。
【請求項１１】
前記非可視化情報埋込ステップは、
前記画像解析ステップにより取得されるオブジェクトの位置情報に基づいて、前記オブジェクトに対応する非可視化情報を合成することを特徴とする請求項８乃至１０の何れか１項に記載の埋込方法。
【請求項１２】
取得した画像に含まれるオブジェクト及び非可視化情報を認識する認識方法において、
前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出ステップと、
前記オブジェクト抽出ステップにより前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析ステップと、
前記非可視化情報解析ステップにより得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成ステップとを有することを特徴とする認識方法。
【請求項１３】
前記オブジェクト抽出ステップは、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする請求項１２に記載の認識方法。
【請求項１４】
コンピュータを、請求項２乃至５の何れか１項に記載の埋込装置が有する各手段として機能させるための埋込プログラム。
【請求項１５】
コンピュータを、請求項６又は７に記載の認識装置が有する各手段として機能させるための認識プログラム。
【請求項１】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込装置と、該埋込装置により得られる画像に含まれるオブジェクト及び非可視化情報を認識する認識装置とからなる非可視化情報を用いたコンテンツ提供システムにおいて、
前記埋込装置は、
前記取得した画像に含まれるオブジェクトから非可視化情報を埋め込むオブジェクトを設定する埋込対象オブジェクト設定手段と、
前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有し、
前記認識装置は、
前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、
前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とするコンテンツ提供システム。
【請求項２】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込装置において、
前記画像に含まれるオブジェクト及び位置情報を取得する画像解析手段と、
前記画像解析手段により得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定手段と、
前記埋込対象オブジェクト設定手段により得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込手段とを有することを特徴とする埋込装置。
【請求項３】
前記非可視化情報埋込手段により埋め込まれる前記非可視化情報の埋め込み内容を設定する埋込情報設定手段と、
前記埋込情報設定手段により設定された埋込情報から非可視化された埋込情報を生成する埋込情報生成手段とを有することを特徴とする請求項２に記載の埋込装置。
【請求項４】
前記埋込情報設定手段は、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項３に記載の埋込装置。
【請求項５】
前記非可視化情報埋込手段は、
前記画像解析手段により取得されるオブジェクトの位置情報に基づいて、前記オブジェクトに対応する非可視化情報を合成することを特徴とする請求項２乃至４の何れか１項に記載の埋込装置。
【請求項６】
取得した画像に含まれるオブジェクト及び非可視化情報を認識する認識装置において、
前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出手段と、
前記オブジェクト抽出手段により前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析手段と、
前記非可視化情報解析手段により得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成手段とを有することを特徴とする認識装置。
【請求項７】
前記オブジェクト抽出手段は、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出することを特徴とする請求項６に記載の認識装置。
【請求項８】
取得した画像の所定の位置に非可視化情報を埋め込む非可視化情報の埋込方法において、
前記画像に含まれるオブジェクト及び位置情報を取得する画像解析ステップと、
前記画像解析ステップにより得られたオブジェクトから前記画像が埋め込み対象のオブジェクトを設定する埋込対象オブジェクト設定ステップと、
前記埋込対象オブジェクト設定ステップにより得られるオブジェクトの周囲に前記オブジェクトに対応する前記非可視化情報を埋め込む非可視化情報埋込ステップとを有することを特徴とする埋込方法。
【請求項９】
前記非可視化情報埋込ステップにより埋め込まれる前記非可視化情報の埋め込み内容を設定する埋込情報設定ステップと、
前記埋込情報設定ステップにより設定された埋込情報から非可視化された埋込情報を生成する非可視化情報生成ステップとを有することを特徴とする請求項８に記載の埋込方法。
【請求項１０】
前記埋込情報設定ステップは、
前記非可視化情報の形態を２次元コードとし、前記２次元コードのコード部を原画像の明度に対する低周波部及び／又は高周波部で構成することを特徴とする請求項９に記載の埋込方法。
【請求項１１】
前記非可視化情報埋込ステップは、
前記画像解析ステップにより取得されるオブジェクトの位置情報に基づいて、前記オブジェクトに対応する非可視化情報を合成することを特徴とする請求項８乃至１０の何れか１項に記載の埋込方法。
【請求項１２】
取得した画像に含まれるオブジェクト及び非可視化情報を認識する認識方法において、
前記画像中に含まれる非可視化情報の埋め込み領域からオブジェクトを抽出するオブジェクト抽出ステップと、
前記オブジェクト抽出ステップにより前記オブジェクトが抽出された場合、前記非可視化情報から、前記オブジェクトに対する処理内容を解析する非可視化情報解析ステップと、
前記非可視化情報解析ステップにより得られる処理内容に対応させて画面に表示させるオブジェクトを生成する表示情報生成ステップとを有することを特徴とする認識方法。
【請求項１３】
前記オブジェクト抽出ステップは、
前記画像を所定の周波数を用いてフィルタリング処理を行い、取得した周波数に対応する領域から非可視化情報を抽出し、抽出した領域を所定の画素ですることを特徴とする請求項１２に記載の認識方法。
【請求項１４】
コンピュータを、請求項２乃至５の何れか１項に記載の埋込装置が有する各手段として機能させるための埋込プログラム。
【請求項１５】
コンピュータを、請求項６又は７に記載の認識装置が有する各手段として機能させるための認識プログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１３】
【図１５】
【図１】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１３】
【図１５】
【図１】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１４】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１３８８９２（Ｐ２０１２−１３８８９２Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１１−１８７５９７（Ｐ２０１１−１８７５９７）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【特許番号】特許第４９７２７１２号（Ｐ４９７２７１２）
【特許公報発行日】平成２４年７月１１日（２０１２．７．１１）
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【特許番号】特許第４９７２７１２号（Ｐ４９７２７１２）
【特許公報発行日】平成２４年７月１１日（２０１２．７．１１）
【出願人】（０００００１９５９）株式会社 資生堂 (1,748)
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]