携帯情報端末、及びコンテンツ情報の取得／操作方法、並びにこの方法のプログラム
【課題】２次元コードを撮影し続けることを不要にしながら、コンテンツ情報の取得／操作が確実になる。
【解決手段】コンテンツ情報取得手段６１は撮影手段１０で撮影したＱＲコード２００Ａに対応したコンテンツ情報を取得する。対コードパラメータ算出手段６２はＱＲコードに対する携帯情報端末１００の相対的な位置および姿勢を算出し、これに基づいてコード操作パラメータを算出する。対フローパラメータ算出手段６３は撮影画像からオプティカルフローを検出し、これに基づいて携帯情報端末のフロー操作パラメータを算出する。パラメータ切り替え手段６４は予め定めた条件に基づいてコード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとする。コンテンツ操作手段６５はコンテンツ操作パラメータを用いてコンテンツ情報を操作する。
【解決手段】コンテンツ情報取得手段６１は撮影手段１０で撮影したＱＲコード２００Ａに対応したコンテンツ情報を取得する。対コードパラメータ算出手段６２はＱＲコードに対する携帯情報端末１００の相対的な位置および姿勢を算出し、これに基づいてコード操作パラメータを算出する。対フローパラメータ算出手段６３は撮影画像からオプティカルフローを検出し、これに基づいて携帯情報端末のフロー操作パラメータを算出する。パラメータ切り替え手段６４は予め定めた条件に基づいてコード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとする。コンテンツ操作手段６５はコンテンツ操作パラメータを用いてコンテンツ情報を操作する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した２次元コード（ＱＲコードなど）から読み取られるコンテンツ情報を取得／操作する携帯情報端末及びコンテンツ情報の取得／操作方法に係り、特に人のジェスチャや動きによって操作される携帯情報端末と２次元コードとの相対的な位置関係（空間位置及び姿勢）からコンテンツ情報を取得／操作する技術に関する。
【背景技術】
【０００２】
拡張現実感技術（ＡＲ）を応用し、２次元コードから読み取ることができる情報を人の動きによって操作する、２次元コードを用いたハンドヘルドＡＲインタフェース技術（以下、２次元コードを用いたＨＡＲ）がある。このインタフェース技術は、２次元コードと、それを読み取る携帯情報端末の相対的な位置関係をリアルタイムで算出し、該携帯情報端末の動きによって、該２次元コードから得られるコンテンツ情報を取得／操作可能にするものである。
【０００３】
ＣＤアルバムの宣伝ポスターに楽曲を試聴するための２次元コードを添付した利用例について説明する。この例では、ユーザが携帯情報端末が備えるデジタルカメラで２次元コードを読み取ると、該端末の画面上にはアルバムの各曲に対応する画像と各曲名が表示される。ユーザが、該２次元コードを撮影しながら、該端末を２次元コードに近づけたり、遠ざけたりすると、端末とコード間の距離に応じて表示される楽曲が変化する。そして、ユーザは試聴したい曲が表示されているときに決定ボタンを押すと、その楽曲を試聴することができる。従来インタフェースではボタンで選択していたが、このシステムでは楽曲の選択を端末の動きによって行うことができる。
【０００４】
また、音量ボリューム操作のための２次元コードを同ポスターに添付しておけば、楽曲の試聴中に、該音量ボリューム用のコードを読み取りながらユーザが端末をコードの法線ベクトル周りに回すと、音量を調整する機能を持たせることもできる。
【０００５】
他の応用例として、所定の形状をもつビジュアルコードを携帯情報端末のカメラで撮影するときの相対的な位置関係を算出し、該位置関係を数値に変換し、数値として入力する手法を本願出願人は既に提案している（例えば、特許文献１参照）。
【０００６】
以上のように、２次元コードを用いたＨＡＲを応用したシステムには２つの利点がある。１つは、従来２次元コードの読み取り後に行っていたボタン操作を動きによる操作に置き換えることによってスムーズな操作を提供することができる点である。もう１つは、音量ボリューム操作のように実世界にある操作方法に基づいた直感的な操作方法を提供することができる点である。
【特許文献１】特開２００６−１１４９４３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
２次元コードを用いたＨＡＲの従来の実現手法には操作性に問題がある。従来の手法では、ユーザは携帯情報端末を動かして操作している間、常にデジタルカメラの画角内に操作の対象となる２次元コードを収めなければならない。つまり、ユーザは、携帯情報端末が備えるデジタルカメラの画角に２次元コードを収めながら、該端末を近づけたり、遠ざけたり、回したりしなければならない。前記のボリューム操作を行っている間にデジタルカメラの画角から２次元コードが外れると、操作が中断される。このため、２次元コードが画角から外れないように注意深く操作することになり、スムーズに操作できないといった問題が発生する。
【０００８】
２次元コードを用いたＨＡＲによるサービスの普及を促進するには、その操作性を向上できることが望ましい。しかしながら、従来の操作方法では、操作に利用するパラメータを２次元コードを撮影することによってのみ算出するため、上述のように２次元コードを画角に収める必要があり、操作性が悪くなる問題があった。一方、ジャイロデバイスのような携帯情報端末の姿勢を検出するデバイスを利用する手法もあるが、新たなデバイスを追加する必要があるため、導入コストが高いという問題がある。
【０００９】
本発明の目的は、２次元コードを撮影し続けることを不要にしながら、コンテンツ情報の取得／操作を確実にした携帯情報端末、及びコンテンツ情報の取得／操作方法、並びにこの方法のプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、２次元コードが撮影されていない状況でも携帯情報端末の動きを検出するために、オプティカルフローによって操作に利用するフロー操作パラメータを算出する対フローパラメータと、２次元コードが撮影されているときは操作に利用するコード操作パラメータを算出する対コードパラメータを利用することを特徴とする。
【００１１】
また、２次元コードが画角から外れても操作を可能にするため、２次元コードが画角から外れてしまった場合は前記フロー操作パラメータを利用し、２次元コードが検出されている場合は前記コード操作パラメータを利用する、といった状況に応じていずれかの操作パラメータを適切に切り替えることを特徴とする。
【００１２】
また、前記パラメータ切り替えにおいて、前記フロー操作パラメータあるいは前記コード操作パラメータを２次元コードの検出状態を予測し、この予測結果に基づき、操作パラメータを適切に切り替えることを特徴とする。
【００１３】
また、前記フロー操作パラメータは、前記コード操作パラメータと比較し精度が低い短所がある。この短所を払拭するため、前記コード操作パラメータによって前記フロー操作パラメータを補正することを特徴とする。
【００１４】
以上のことから、本発明は、以下の装置、方法およびプログラムを特徴とする。
【００１５】
（携帯情報端末の発明）
（１）撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作する携帯情報端末であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得手段と、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出手段と、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出手段と、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替え手段と、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作手段とを備えることを特徴とする。
【００１６】
（２）前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測手段を備え、
前記パラメータ切り替え手段は、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする。
【００１７】
（３）前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする。
【００１８】
（４）前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする。
【００１９】
（方法の発明）
（５）撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作するコンテンツ情報の取得／操作方法であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得ステップと、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出ステップと、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出ステップと、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替えステップと、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作ステップとを備えることを特徴とする。
【００２０】
（６）前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測ステップを備え、
前記パラメータ切り替えステップは、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする。
【００２１】
（７）前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする。
【００２２】
（８）前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする。
【００２３】
（プログラムの発明）
（９）上記の（５）〜（８）におけるコンテンツ情報の取得／操作方法における処理ステップをコンピュータで実行可能にしたことを特徴とする。
【発明の効果】
【００２４】
以上のとおり、本発明によれば、２次元コードを撮影し続けることを不要にしながら、コンテンツ情報の取得／操作が確実になる。詳細には、
（１）２次元コードを用いたハンドヘルドＡＲインタフェースの操作中に、撮影された２次元コードおよびオプティカルフローの２つの手段から操作のためのパラメータを算出し、それらを切り替えて利用するため、２次元コードを撮影し続ける必要性がなく、操作性を高めることができる。
【００２５】
（２）２次元コードが撮影され、検出されているとき、画角から外れそうであるなどの状態を予測することで、前記２次元コードおよびオプティカルフローの手段から得られる操作のパラメータを適切に切り替えることができる。
【００２６】
（３）撮影された２次元コードの形状を利用し、オプティカルフローから操作のためのパラメータを算出するときの誤差を修正することができる。
【００２７】
（４）２次元コードの検出状態の予測結果を用いて、オプティカルフローの誤差を修正するタイミングを決めるため、計算コストをさげることができる。
【発明を実施するための最良の形態】
【００２８】
（実施形態１）
本実施形態は、携帯情報端末である携帯電話を用いて２次元コードであるＱＲコードを読み取り、そこに埋め込まれたコンテンツ情報である楽曲の再生音量を該携帯電話の動きによって操作する携帯情報端末およびコンテンツ情報の取得／操作方法を提案するものである。以下、音量の操作を行う場合を詳細に説明するが、以下に説明する各実施形態は音量に限定されるものでなく、操作パラメータ一般に適用可能である。
【００２９】
（Ａ）装置のブロック構成
図１は、携帯電話（携帯情報端末）で撮影した２次元コードによる音量ボリューム操作のための機能ブロック構成を示す。携帯電話端末１００は、動画像を撮影するための撮影手段１０、ネットワーク通信するための通信手段２０、ユーザが入力を行うための入力手段３０、ユーザが情報を確認、閲覧するための表示手段４０、音声を再生するための音声再生手段５０、計算処理を行うための汎用計算手段６０を備える。この汎用計算手段６０は、携帯電話に搭載されるマイクロコンピュータと、このコンピュータのプログラムメモリにプログラムとして記述されるソフトウェアで構成される。
【００３０】
汎用計算手段６０のブロック構成は、撮影手段１０で撮影されたポスター２００の撮影画像からＱＲコード（２次元コード）２００Ａを読み取り、この読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得手段６１、前記撮影画像から該撮影画像中に写るＱＲコードの形状を元に該ＱＲコードに対する前記携帯電話１００の位置・姿勢パラメータを算出し、コード操作パラメータを算出する対コードパラメータ算出手段６２、前記撮影画像（動画像）からオプティカルフローを検出し、フロー操作パラメータを算出する対フローパラメータ算出手段６３、前記対コードパラメータ算出手段６２と対フローパラメータ算出手段６３が算出する操作パラメータを予め定めた条件に基づいて切り替えるパラメータ切り替え手段６４，前記コンテンツ情報取得手段６１が取得するコンテンツ情報を、前記パラメータ切り替え手段が切り替えた前記コード操作パラメータあるいは前記フロー操作パラメータによって操作を加えるコンテンツ操作手段６５を備える。
【００３１】
（Ｂ）操作概要
ユーザが携帯電話１００の撮像手段１０によってポスター２００上のＱＲコード２００Ａを撮影すると、コンテンツ情報取得手段６１によって、ＱＲコード２００Ａに埋め込まれたコンテンツ識別情報を元に、楽曲データが通信手段２０を通じて取得され、音声再生手段５０によって楽曲データが再生される。ユーザは、楽曲データが再生される間、携帯電話１００をＱＲコード２００Ａの法線の軸を中心に回転操作することで、再生される楽曲データの音量を調整する。
【００３２】
（Ｃ）処理の詳細
図２は音量調整操作処理の手順（Ｓ１〜Ｓ７）を示し、以下、詳細に説明する。
【００３３】
（Ｓ１）コンテンツ情報取得ステップ
ユーザが、ＱＲコードを撮影手段１０によって撮影することによって操作が開始される。コンテンツ情報取得ステップにおいて、コンテンツ情報取得手段６１は、前記撮影手段１０によって生成された撮影画像からＱＲコードを抽出し、ＱＲコードに含まれるコード情報（コンテンツ識別情報）をキーに（図３参照）、通信手段２０を介して楽曲データベースからコンテンツ情報である楽曲データｈｏｇｅ．ｍｐ３を取得する（図４参照）。取得した楽曲データは、コンテンツ情報として保存される。
【００３４】
（Ｓ２）撮影ステップ
前記コンテンツ情報取得ステップにおいて、コンテンツ情報が取得された後、逐次撮影画像が生成され続ける。
【００３５】
（Ｓ３）対コードパラメータ算出ステップ
対コードパラメータ算出ステップでは、対コードパラメータ算出手段６２によって、前記撮影画像に写っているＱＲコードの形状を元にＱＲコードに対する携帯電話１００の位置および姿勢を算出する。
【００３６】
算出方法は、例えば前記の特許文献１（特開２００６−１１４９４３）に記載される方法を利用することができる。この算出方法の概要は、図５に示すように、ＱＲコードが１つの平面上にあることを利用して、カメラ映像上の４隅の点（同図のｂ）と実世界のＱＲコードの４隅の点（同図のａ）とを対応付け、カメラパラメータ行列を算出し、このカメラパラメータ行列からカメラ映像中の２次元の座標から実世界の３次元の座標を算出し、同図の（ｃ）のようにカメラ座標系におけるＱＲコードの法線ベクトル、およびＱＲコードの２つの直交する対角線のベクトル、また、同図の（ｄ）のようにＱＲコードの重心の位置ベクトルを検出し、この４つのベクトルを用いて、ＱＲコードに対するカメラの姿勢および位置を算出する。
【００３７】
この手法によって、ＱＲコードに対するカメラの相対位置ｘ、ｙ、ｚと、姿勢（ＸＹＺ軸周りの回転量φ、θ、ψ）の合計６つの位置および姿勢パラメータを算出することができる。本実施形態では、Ｙ軸周りの回転量θをコード操作パラメータとして利用する。
【００３８】
ただし、ＱＲコードが撮影画像中に検出されない場合は、コード操作パラメータの算出は、本ステップ中において行われず、コード操作パラメータをＮＵＬＬとして出力する。
【００３９】
（Ｓ４）対フローパラメータ算出ステップ
対フローパラメータ算出ステップでは、対フローパラメータ算出手段６３によって、オプティカルフローを算出し、フロー操作パラメータを算出する。オプティカルフローの算出は、例えば、下記の非特許文献に示されるＬｕｃａｓ＆Ｋａｎａｄｅアルゴリズムによって行うことができる。
【００４０】
非特許文献「Ｌｕｃａｓ，Ｂ．，ａｎｄ Ｋａｎａｄｅ，Ｔ．Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ，Ｐｒｏｃ．ｏｆ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ），ｐｐ．６７４−６７９．」
このオプティカルフローを用いて、携帯電話の角速度θｖを算出する。まず、中心点から各フローの方向を見て、図６に示すような角度θｎをすべてのフローについて算出する。これら角度θｎが４つの象限に平均的にフローが存在しない場合は、画角の中心を中心点として回転していないものと判断し、本ステップを終了する。続いて、前記条件に該当しない場合は、下記式（１）からすべてのθｎの平均を算出し、角速度θｖとして算出する。現在の回転角度をθlastとし、該θlastに算出された角速度θｖを追加し、下記式（２）から回転量θを算出する。
【００４１】
【数１】
【００４２】
ただし、ｋは重みで本実施形態では１とする。
【００４３】
本実施形態では、このＹ軸周りの回転量θをフロー操作パラメータとして利用する。
【００４４】
（Ｓ５）パラメータ切り替えステップ
パラメータ切り替えステップにおいて、パラメータ切り替え手段６４は、前記コード操作パラメータ、フロー操作パラメータを受け取り、コンテンツ操作パラメータを出力する。
【００４５】
前記コード操作パラメータがＮＵＬＬではないとき、コード操作パラメータをコンテンツ操作パラメータとして出力する。また、前記コード操作パラメータがＮＵＬＬであるときは、フロー操作パラメータをコンテンツ操作パラメータとして出力する。
【００４６】
（Ｓ６）コンテンツ操作ステップ
コンテンツ操作手段６５は、保存していた前記楽曲データを読み出し（コンテンツ情報読み出し）、前記楽曲データｈｏｇｅ．ｍｐ３を音声再生手段によって再生する。このときの音量は、パラメータ切り替えステップで出力された前記コンテンツ操作パラメータの大きさに基づき決定される。音量Ｖｏｌｕｍｅの設定は、下記式（３）に従って行われる（図７参照）。
【００４７】
【数２】
【００４８】
また、コンテンツ操作手段６５は、表示手段４０にボリュームを表すグラフィックを提示する（図８参照）。ユーザは、これを見ることで、現在の再生音量のボリュームを視覚的に確認しながら操作を行うことができる。
【００４９】
（Ｓ７）処理のループ
ユーザが入力手段によって、終了ボタンを押すと、処理が終了する。終了ボタンが押されない場合は、撮影ステップに戻り、引き続き前記一連のステップが繰り返される。
【００５０】
したがって、本実施形態によれば、２次元コードを用いたハンドヘルドＡＲインタフェースの操作中に、撮影された２次元コードおよびオプティカルフローの２つの手段から操作のためのパラメータを算出し、それらを切り替えて利用するため、２次元コードを撮影し続ける必要性がなく、操作性を高めることができる。
【００５１】
（実施形態１の変形例）
前記の実施形態１では、パラメータ切り替えステップ（Ｓ５）では、ＱＲコードが検出されない場合のみ、フロー操作パラメータをコンテンツ操作パラメータとして出力する。これをＱＲコード読み取り後は、常にフロー操作パラメータをコンテンツ操作パラメータとして出力するように構成することも可能である。
【００５２】
（実施形態２）
本実施形態は、ＱＲコードの検出状態を予測し、該予測結果をパラメータ切り替えステップに利用する場合である。
【００５３】
前記実施形態１では、ＱＲコードが検出されなくなると、コンテンツ操作パラメータを前記コード操作パラメータから、前記フロー操作パラメータへと切り替えるものであった。一般的にＱＲコードは、撮影画像のチラツキなどによって検出限界に近づくと、検出されなかったり、されたりする状態が発生する。このため、検出限界の近辺にある場合、前記コード操作パラメータと前記フロー操作パラメータの切り替えが頻繁に発生する可能性がある。本実施形態は、前記実施形態１に加えて、パラメータ切り替え手段が、ＱＲコードの検出状態を予測する２次元コード状態予測手段を備えることによって、この切り替えをスムーズにすると共に計算コストを下げるものである。以下、携帯情報端末の構成、及びコンテンツ情報の取得／操作方法を詳細に説明する。
【００５４】
（Ａ）装置のブロック構成
図９は、携帯電話（携帯情報端末）で撮影した２次元コードによる音声ボリューム操作のための機能ブロック構成を示す。また、図１０には、音量調整操作処理の手順（Ｓ１〜Ｓ８）を示す。
【００５５】
本実施形態は、実施形態１と異なる部分は、ＱＲコードの現在状態を示す状態パラメータから構成されるコード状態予測情報を生成する２次元コード状態予測手段６６と、２次元コード状態予測ステップ（Ｓ８）を追加した点にある。
【００５６】
パラメータ切り替え手段６４は、前記２次元コード状態予測情報に基づいて、フロー操作パラメータあるいはコード操作パラメータのいずれかをコンテンツ操作パラメータとする。
【００５７】
（Ｂ）処理の詳細
図１１に２次元コード状態予測を基にしたパラメータ切り替え処理の詳細な手順図示し、以下、各ステップ毎に説明する。
【００５８】
（Ｓ８）２次元コード状態予測ステップ
２次元コード状態予測ステップでは、２次元コード状態予測手段は、ＱＲコードが画角から外れそうかを予測するための外接長方形パラメータ、ＱＲコードの傾きが大きすぎて検出が不可能になりそうかを予測するための姿勢パラメータ、ＱＲコードの距離が離れすぎて、あるいは近すぎて検出が不可能になりそうかを予測するための距離推定パラメータの３つのパラメータを算出する。これらの外接長方形パラメータ、姿勢パラメータ、距離パラメータは下記の処理で算出され、これらをコード状態予測情報として、パラメータ切り替え手段６４に送信する。
【００５９】
（Ｓ８Ａ）外接長方形パラメータ算出ステップ
前記撮影画像中のＱＲコードの外接長方形を算出し、外接長方形から画像の端までの４つの距離を算出する。例えば、図１２に示す上下左右方向の４つの画角から外れるまでの距離、ｘ１、ｘ２、ｙ１、ｙ２を算出する。このｘ１、ｘ２、ｙ１、ｙ２、を外接長方形パラメータとする。
【００６０】
（Ｓ８Ｂ）姿勢パラメータ算出ステップ
前記コード操作パラメータ算出ステップと同じ手法によって、ＱＲコードの携帯電話に対する姿勢を検出する。例えば、姿勢は図１３に示す、φ、θ、ψの３つのパラメータとして算出され、この３つのパラメータを姿勢パラメータとする。
【００６１】
（Ｓ８Ｃ）距離パラメータ算出ステップ
撮影画像中のＱＲコードの形状が占める面積を用いて算出する（図１４参照）。この面積値を距離パラメータとする。
【００６２】
（Ｓ５）パラメータ切り替えステップ
パラメータ切り替え手段６４は、ＱＲコードが余裕を持って検出されるときの、前記外接長方形パラメータ値域、姿勢パラメータ値域、距離パラメータ値域の３つの値域からなる検出安定パラメータ範囲データを不揮発性メモリに予め保存しておき、以下の処理に従ってパラメータを切り替える。
【００６３】
（Ｓ５Ａ）判断結果情報保存ステップ
パラメータ切り替え手段６４は、前記ステップで得られた外接長方形パラメータ、姿勢パラメータ、距離パラメータがすべて検出安定パラメータ範囲データの値域に入っているかを判断する。ここで、該値域に入っているか、否かの判断結果情報を時刻情報とともに判断結果保存手段（メモリ）に保存する。
【００６４】
（Ｓ５Ｂ）予測ステップ
２次元コード状態予測手段６６は、判断結果保存手段に保存されている中から、時刻情報を元に一定時間内（例えば３秒間）に含まれる判断結果情報を引き出し、該判断結果情報がすべて値域に入っていないことを示す場合、フロー操作パラメータをコンテンツ操作パラメータとする。前記判断結果情報がすべて値域に入っていないことを示す場合以外の場合は、コード操作パラメータをコンテンツ操作パラメータとし、このコンテンツ操作パラメータをコンテンツ操作手段６５に転送する。
【００６５】
本実施形態によれば、２次元コードが撮影され、検出されているとき、画角から外れそうであるなどの状態を予測することで、前記２次元コードおよびオプティカルフローの手段から得られる操作のパラメータを適切に切り替えることができる。
【００６６】
（実施形態２の変形例）
前記の実施形態２では、検出安定パラメータ範囲から外れた時間を測定し、検出安定パラメータ範囲から撮影画像中のＱＲコードが規定時間内外れたことを算出し、それをもって、ＱＲコードが検出されない状況になりつつあるとしてコード状態予測情報を生成するものであった。
【００６７】
本変形例は、動きのスピードを考慮し、コード状態予測情報を生成するものである。ユーザが携帯電話を動かす速度によって、検出安定パラメータ範囲から実際に検出できない状態に陥るまでの時間間隔は異なってくる。本変形例は、前記３つのパラメータからなる２次元コード状態パラメータの速度を算出し、その速度に応じて、パラメータを切り替えるものである。
【００６８】
図１５に示すように、２次元コード状態予測ステップまで、前記実施形態２と同様の処理を行う。以降の処理をステップ毎に説明する。
【００６９】
（Ｓ５Ｃ）２次元コード状態パラメータ速度算出ステップ
パラメータ切り替え手段６４は、パラメータ一時保存手段に保存されている過去のコード状態予測情報を過去コード状態予測情報として読み出す。次に現在のコード状態予測情報を該パラメータ一時保存手段に保存する。
【００７０】
パラメータ切り替え手段６４は、コード状態予測情報から過去コード状態予測情報を引き算し、コード状態予測情報変化量を算出する。このコード状態予測情報変化量は、外接長方形パラメータ変化量、姿勢パラメータ変化量、距離パラメータ変化量からなる。
【００７１】
パラメータ切り替え手段６４は、前記外接長方形パラメータ、姿勢パラメータ、距離パラメータと、外接長方形パラメータ変化量、姿勢パラメータ変化量、距離パラメータ変化量とをそれぞれパラメータ毎に足し合わせ、予測外接長方形パラメータ、予測姿勢パラメータ、予測距離パラメータからなる予測用パラメータを算出する。
【００７２】
（Ｓ５Ｄ）予測ステップ
パラメータ切り替え手段６４は、予測外接長方形パラメータ、予測姿勢パラメータ、予測距離パラメータが、前記検出安定パラメータ範囲データから得られる前記外接長方形パラメータ値域、姿勢パラメータ値域、距離パラメータ値域に入っているかを判断する。
【００７３】
いずれか１つのパラメータでも前記値域入っていない場合は、予測結果として、次フレーム以降ＱＲコードが検出されなくなる可能性が高いとして、フロー操作パラメータをコンテンツ操作パラメータとする。これ以外の場合、コード操作パラメータをコンテンツ操作パラメータとする。最後に、パラメータ切り替え手段６４は、コンテンツ操作パラメータを、コンテンツ操作手段６５に転送する。
【００７４】
（実施形態３）
前記フロー操作パラメータは、前記実施形態１に記載のように角速度の和によって算出する。これは、常に角度を検出し続ける前記コード操作パラメータと比較し、誤差が集積しやすい。本実施形態では、図１６にブロック構成を示すように、携帯電話には前記コード操作パラメータを用いて前記フロー操作パラメータを補正するフロー算出補正手段６７を備えることが図１と異なる。また、図１７に音量調整操作処理の手順（Ｓ１〜Ｓ７、Ｓ９）を示し、以下、フロー算出補正ステップによる処理を詳細に説明する。
【００７５】
（Ｓ９）フロー算出補正ステップ
フロー算出補正ステップにおいて、フロー算出補正手段６７は、前記コード操作パラメータおよび前記フロー操作パラメータを取得する。これらは下記式（４）、（５）で表せるコード操作パラメータθcodeとフロー操作パラメータθflowとする。
【００７６】
【数３】
【００７７】
ここで、式（４）が成り立つようにｋtempを式（５）で算出する。算出されたｋtempは、フロー算出補正手段６７が備える重み保存手段（メモリ）に保存される。パラメータ切り替えステップＳ５においてフロー操作パラメータをコンテンツ操パラメータとして利用するとき、重み保存手段に保存されたすべてのｋtempの平均値ｋtemp_aveを算出し、以降、対フローパラメータ算出ステップで行われる式（１）のｋの値を平均値ｋtemp_aveで更新する。
【００７８】
したがって、本実施形態によれば、撮影された２次元コードの形状を利用し、オプティカルフローから操作のためのパラメータを算出するときの誤差を自動修正することができる。
【００７９】
（実施形態３の変形例）
前記の実施形態３は、常時フロー算出補正を行うものであった。コード操作パラメータ算出とフロー操作パラメータ算出と、フロー補正を同時に行うことは、計算コストが高い。そこで、フロー補正は、コード状態予測情報がフロー操作パラメータに切り替えることを示しており、さらにＱＲコードが検出されている場合のときのみ補正を行うように構成することも可能である。
【００８０】
（変形例１）縦横平行移動のオプティカルフローでの算出の例
前記実施形態は、端末のＱＲコードの法線ベクトル周りの回転角度を操作量として用いるものであった。これ以外にも、縦横の２次元の平行移動量を操作量として用いて実現することも可能である。
【００８１】
コード操作パラメータは、前記実施形態１に記載のｘ、ｙパラメータを利用し、２次元の平行移動量を算出することができる。フロー操作パラメータは、以下の方法により、オプティカルフローから縦横移動を算出することができる。
【００８２】
図１８に算出されたオプティカルフローの例を示し、（ａ）は携帯電話が右下に移動している瞬間のオプティカルフローの例であり、（ｂ）は携帯電話が左に平行移動している瞬間の同例である。同図に示すようなオプティカルフローが算出された場合、フローそれぞれのベクトルを２次元で、ベクトルｖn＝（ｘn，ｙn）として表す（式中ではｖの上に→を付して示す）。撮影画像中のベクトルｖnの平均から以下の式（６）で、平行移動速度ｖvを算出する。平行移動量をベクトルｐlastとし、以下の式（７）では該ｐlastに算出された平行移動速度（角速度）ｖvを追加し、平行移動量ベクトルｐを算出する。
【００８３】
【数４】
【００８４】
ただし、ｋx、ｋyは重みであり、ｋx＝１、ｋy＝１
この平行移動量も前記実施形態３に記載と同様の手法で、コード操作パラメータを用いて補正を行うことができる。フロー算出補正ステップＳ９において、フロー算出補正手段６７は、前記コード操作パラメータおよび前記フロー操作パラメータを取得する。これらはコード操作パラメータｐcodeとフロー操作パラメータｐflowとすると、以下の式（８）が成り立つようにｋxtemp、ｋytempを式（９）で算出する。
【００８５】
【数５】
【００８６】
算出されたｋytemp、ｋytempは、フロー算出補正手段６７が備える重み保存手段（メモリ）に保存される。
【００８７】
パラメータ切り替えステップＳ５において、フロー操作パラメータをコンテンツ操作パラメータとして利用するとき、重み保存手段に保存されたすべてのｋx、ｋyの値の平均値ｋxave、ｋyaveを算出し、以降、対フローパラメータ算出ステップで行われる式（７）の計算のｋx、ｋyの値の該平均値ｋxave、ｋyaveで更新する。
【００８８】
（変形例２）奥行き移動量のオプティカルフローでの算出の例
前記実施形態は、端末のＱＲコードの法線ベクトル周りの回転角度を操作量として用いるものであった。これ以外にも、奥行き移動量の算出も実現することが可能である。
【００８９】
コード操作パラメータは、前記実施形態１に記載のようにｚパラメータを利用し、奥行きの移動量を算出することができる。フロー操作パラメータは、以下の方法により、オプティカルフローから奥行き移動量を算出することができる。
【００９０】
まず、奥行き方向の移動の方向、および該移動があるかの判断を行う。図１９の（ａ）に例を示すように、第一象限に左下向きのオプティカルフローが、第二象限に右下向きのオプティカルフローが、第三象限に右上向きのオプティカルフローが、第四象限に左上向きのオプティカルフローが現れる場合は奥行き移動量は携帯電話をＱＲコードから遠ざける方向であるとする。また、図１９の（ｂ）に例を示すように、第一象限に右上向きのオプティカルフローが、第二象限に左上向きのオプティカルフローが、第三象限に左下向きのオプティカルフローが、第四象限に右下向きのオプティカルフローが現れる場合は奥行き移動量は携帯電話をＱＲコードから近づける方向であるとし、それ以外の場合は、奥行き移動量はないとして処理する。
【００９１】
次に、奥行きの移動量を推定する。図１９のようにオプティカルフローが算出された場合、フローそれぞれのベクトルを２次元で、ベクトルｖn＝（ｘn，ｙn）として表す。撮影画像中のベクトルｖnの絶対値｜ｖn｜の平均を以下の式（１０）で、平行移動速度絶対値｜ｖv｜を算出する。現在のフロー奥行き移動量をｄpastとし、以下の式（１１）では該ｄpastに算出された平行移動速度絶対値｜ｖv｜を追加し、フロー奥行き移動量ｄを算出する。
【００９２】
【数６】
【００９３】
このフロー奥行き移動量も前記実施形態３および前記変形例に記載と同様の手法で、コード操作パラメータを用いて補正を行うことができる。フロー算出補正ステップＳ９において、フロー算出補正手段６７は、前記コード操作パラメータおよび前記フロー操作パラメータを取得する。これらをコード操作パラメータｚとフロー操作パラメータｄとすると、
以下の式（１２）が成り立つようにｋtempを以下の式（１３）で算出する。
【００９４】
【数７】
【００９５】
算出されたｋtempは、フロー算出補正手段が備える重み保存手段（メモリ）に保存される。パラメータ切り替えステップＳ５において、フロー操作パラメータをコンテンツ操作パラメータとして利用するとき、重み保存手段に保存されたすべてのｋtempの値の平均値ｋaveを算出し、以降、対フローパラメータ算出ステップで行われる式（１１）の計算のｋの値を該平均値ｋaveで更新する。
【００９６】
（変形例３）物理量を利用する例
利用するＱＲコードに該コード自身の物理的なサイズを示す物理サイズ情報を含めて構成する、あるいはＱＲコードを予め定めた物理サイズで構成することによって、コード操作パラメータ算出時に算出されるｘ、ｙ、ｚパラメータを実サイズに再現することができる。これによって、フロー算出補正手段によって補正されたフロー操作パラメータを仮想的な物理量としてシステムに利用することができる。
【００９７】
（変形例４）他のＱＲコードを利用可能とする例
本実施形態では、ＱＲコードを２次元コードとして利用したが、下記の参考文献にも記載される、サイバーコード、ＡＲＴｏｏｌｋｉｔ、ＤａｔａＭａｔｒｉｘなどの２次元コードを利用して構成することも可能である。
【００９８】
参考文献「バーコード・二次元コードの知識」日本工業出版（２００１年度）
（変形例５）オプティカルフローの算出手法
本実施形態では、オプティカルフローの算出に前記Ｌｕｃａｓ＆Ｋａｎａｄｅアルゴリズムを用いたが、ブロックマッチング等のその他の手法を用いて算出するように構成することも可能である。
【００９９】
（変形例６）サーバサイドでも処理可能とする例
本実施形態では、あらゆるステップを携帯電話の汎用計算手段上で実行している。ネットワーク上のサーバ手段で前記汎用計算手段で行われるすべての処理を行うように構成することも可能である。
【０１００】
なお、本発明は、図２等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータで実行可能とすることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施形態１を示す携帯電話の機能ブロック構成図。
【図２】実施形態１における音量調整操作処理手順図。
【図３】２次元コードの概要図。
【図４】楽曲データのための楽曲データベースのデータ構成例。
【図５】対コードパラメータ算出の概要図。
【図６】回転量を算出するオプティカルフローの概要図。
【図７】再生音量を調整する操作イメージ。
【図８】再生音量調整中のグラフィックの例。
【図９】本発明の実施形態２を示す携帯電話の機能ブロック構成図。
【図１０】実施形態２における音量調整操作処理手順図。
【図１１】２次元コード状態予測を基にしたパラメータ切り替え処理の詳細な手順図。
【図１２】外接長方形パラメータの概要図。
【図１３】姿勢パラメータの概要図。
【図１４】距離パラメータの概要図。
【図１５】２次元コード状態予測処理の詳細な手順図。
【図１６】本発明の実施形態３を示す携帯電話の機能ブロック構成図。
【図１７】実施形態３における音量調整操作処理手順図。
【図１８】平行移動量のためのオプティカルフローのイメージ。
【図１９】奥行き移動量のためのオプティカルフローのイメージ。
【符号の説明】
【０１０２】
１００ 携帯電話（携帯情報端末）
２００ ポスター
２００Ａ ＱＲコード
１０ 撮影手段
２０ 通信手段
６１ コンテンツ情報取得手段
６２ 対コードパラメータ算出手段
６３ 対フローパラメータ算出手段
６４ パラメータ切り替え手段
６５ コンテンツ操作手段
６６ ２次元コード状態予測手段
６７ フロー算出補正手段
【技術分野】
【０００１】
本発明は、撮影した２次元コード（ＱＲコードなど）から読み取られるコンテンツ情報を取得／操作する携帯情報端末及びコンテンツ情報の取得／操作方法に係り、特に人のジェスチャや動きによって操作される携帯情報端末と２次元コードとの相対的な位置関係（空間位置及び姿勢）からコンテンツ情報を取得／操作する技術に関する。
【背景技術】
【０００２】
拡張現実感技術（ＡＲ）を応用し、２次元コードから読み取ることができる情報を人の動きによって操作する、２次元コードを用いたハンドヘルドＡＲインタフェース技術（以下、２次元コードを用いたＨＡＲ）がある。このインタフェース技術は、２次元コードと、それを読み取る携帯情報端末の相対的な位置関係をリアルタイムで算出し、該携帯情報端末の動きによって、該２次元コードから得られるコンテンツ情報を取得／操作可能にするものである。
【０００３】
ＣＤアルバムの宣伝ポスターに楽曲を試聴するための２次元コードを添付した利用例について説明する。この例では、ユーザが携帯情報端末が備えるデジタルカメラで２次元コードを読み取ると、該端末の画面上にはアルバムの各曲に対応する画像と各曲名が表示される。ユーザが、該２次元コードを撮影しながら、該端末を２次元コードに近づけたり、遠ざけたりすると、端末とコード間の距離に応じて表示される楽曲が変化する。そして、ユーザは試聴したい曲が表示されているときに決定ボタンを押すと、その楽曲を試聴することができる。従来インタフェースではボタンで選択していたが、このシステムでは楽曲の選択を端末の動きによって行うことができる。
【０００４】
また、音量ボリューム操作のための２次元コードを同ポスターに添付しておけば、楽曲の試聴中に、該音量ボリューム用のコードを読み取りながらユーザが端末をコードの法線ベクトル周りに回すと、音量を調整する機能を持たせることもできる。
【０００５】
他の応用例として、所定の形状をもつビジュアルコードを携帯情報端末のカメラで撮影するときの相対的な位置関係を算出し、該位置関係を数値に変換し、数値として入力する手法を本願出願人は既に提案している（例えば、特許文献１参照）。
【０００６】
以上のように、２次元コードを用いたＨＡＲを応用したシステムには２つの利点がある。１つは、従来２次元コードの読み取り後に行っていたボタン操作を動きによる操作に置き換えることによってスムーズな操作を提供することができる点である。もう１つは、音量ボリューム操作のように実世界にある操作方法に基づいた直感的な操作方法を提供することができる点である。
【特許文献１】特開２００６−１１４９４３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
２次元コードを用いたＨＡＲの従来の実現手法には操作性に問題がある。従来の手法では、ユーザは携帯情報端末を動かして操作している間、常にデジタルカメラの画角内に操作の対象となる２次元コードを収めなければならない。つまり、ユーザは、携帯情報端末が備えるデジタルカメラの画角に２次元コードを収めながら、該端末を近づけたり、遠ざけたり、回したりしなければならない。前記のボリューム操作を行っている間にデジタルカメラの画角から２次元コードが外れると、操作が中断される。このため、２次元コードが画角から外れないように注意深く操作することになり、スムーズに操作できないといった問題が発生する。
【０００８】
２次元コードを用いたＨＡＲによるサービスの普及を促進するには、その操作性を向上できることが望ましい。しかしながら、従来の操作方法では、操作に利用するパラメータを２次元コードを撮影することによってのみ算出するため、上述のように２次元コードを画角に収める必要があり、操作性が悪くなる問題があった。一方、ジャイロデバイスのような携帯情報端末の姿勢を検出するデバイスを利用する手法もあるが、新たなデバイスを追加する必要があるため、導入コストが高いという問題がある。
【０００９】
本発明の目的は、２次元コードを撮影し続けることを不要にしながら、コンテンツ情報の取得／操作を確実にした携帯情報端末、及びコンテンツ情報の取得／操作方法、並びにこの方法のプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、２次元コードが撮影されていない状況でも携帯情報端末の動きを検出するために、オプティカルフローによって操作に利用するフロー操作パラメータを算出する対フローパラメータと、２次元コードが撮影されているときは操作に利用するコード操作パラメータを算出する対コードパラメータを利用することを特徴とする。
【００１１】
また、２次元コードが画角から外れても操作を可能にするため、２次元コードが画角から外れてしまった場合は前記フロー操作パラメータを利用し、２次元コードが検出されている場合は前記コード操作パラメータを利用する、といった状況に応じていずれかの操作パラメータを適切に切り替えることを特徴とする。
【００１２】
また、前記パラメータ切り替えにおいて、前記フロー操作パラメータあるいは前記コード操作パラメータを２次元コードの検出状態を予測し、この予測結果に基づき、操作パラメータを適切に切り替えることを特徴とする。
【００１３】
また、前記フロー操作パラメータは、前記コード操作パラメータと比較し精度が低い短所がある。この短所を払拭するため、前記コード操作パラメータによって前記フロー操作パラメータを補正することを特徴とする。
【００１４】
以上のことから、本発明は、以下の装置、方法およびプログラムを特徴とする。
【００１５】
（携帯情報端末の発明）
（１）撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作する携帯情報端末であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得手段と、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出手段と、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出手段と、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替え手段と、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作手段とを備えることを特徴とする。
【００１６】
（２）前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測手段を備え、
前記パラメータ切り替え手段は、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする。
【００１７】
（３）前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする。
【００１８】
（４）前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする。
【００１９】
（方法の発明）
（５）撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作するコンテンツ情報の取得／操作方法であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得ステップと、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出ステップと、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出ステップと、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替えステップと、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作ステップとを備えることを特徴とする。
【００２０】
（６）前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測ステップを備え、
前記パラメータ切り替えステップは、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする。
【００２１】
（７）前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする。
【００２２】
（８）前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする。
【００２３】
（プログラムの発明）
（９）上記の（５）〜（８）におけるコンテンツ情報の取得／操作方法における処理ステップをコンピュータで実行可能にしたことを特徴とする。
【発明の効果】
【００２４】
以上のとおり、本発明によれば、２次元コードを撮影し続けることを不要にしながら、コンテンツ情報の取得／操作が確実になる。詳細には、
（１）２次元コードを用いたハンドヘルドＡＲインタフェースの操作中に、撮影された２次元コードおよびオプティカルフローの２つの手段から操作のためのパラメータを算出し、それらを切り替えて利用するため、２次元コードを撮影し続ける必要性がなく、操作性を高めることができる。
【００２５】
（２）２次元コードが撮影され、検出されているとき、画角から外れそうであるなどの状態を予測することで、前記２次元コードおよびオプティカルフローの手段から得られる操作のパラメータを適切に切り替えることができる。
【００２６】
（３）撮影された２次元コードの形状を利用し、オプティカルフローから操作のためのパラメータを算出するときの誤差を修正することができる。
【００２７】
（４）２次元コードの検出状態の予測結果を用いて、オプティカルフローの誤差を修正するタイミングを決めるため、計算コストをさげることができる。
【発明を実施するための最良の形態】
【００２８】
（実施形態１）
本実施形態は、携帯情報端末である携帯電話を用いて２次元コードであるＱＲコードを読み取り、そこに埋め込まれたコンテンツ情報である楽曲の再生音量を該携帯電話の動きによって操作する携帯情報端末およびコンテンツ情報の取得／操作方法を提案するものである。以下、音量の操作を行う場合を詳細に説明するが、以下に説明する各実施形態は音量に限定されるものでなく、操作パラメータ一般に適用可能である。
【００２９】
（Ａ）装置のブロック構成
図１は、携帯電話（携帯情報端末）で撮影した２次元コードによる音量ボリューム操作のための機能ブロック構成を示す。携帯電話端末１００は、動画像を撮影するための撮影手段１０、ネットワーク通信するための通信手段２０、ユーザが入力を行うための入力手段３０、ユーザが情報を確認、閲覧するための表示手段４０、音声を再生するための音声再生手段５０、計算処理を行うための汎用計算手段６０を備える。この汎用計算手段６０は、携帯電話に搭載されるマイクロコンピュータと、このコンピュータのプログラムメモリにプログラムとして記述されるソフトウェアで構成される。
【００３０】
汎用計算手段６０のブロック構成は、撮影手段１０で撮影されたポスター２００の撮影画像からＱＲコード（２次元コード）２００Ａを読み取り、この読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得手段６１、前記撮影画像から該撮影画像中に写るＱＲコードの形状を元に該ＱＲコードに対する前記携帯電話１００の位置・姿勢パラメータを算出し、コード操作パラメータを算出する対コードパラメータ算出手段６２、前記撮影画像（動画像）からオプティカルフローを検出し、フロー操作パラメータを算出する対フローパラメータ算出手段６３、前記対コードパラメータ算出手段６２と対フローパラメータ算出手段６３が算出する操作パラメータを予め定めた条件に基づいて切り替えるパラメータ切り替え手段６４，前記コンテンツ情報取得手段６１が取得するコンテンツ情報を、前記パラメータ切り替え手段が切り替えた前記コード操作パラメータあるいは前記フロー操作パラメータによって操作を加えるコンテンツ操作手段６５を備える。
【００３１】
（Ｂ）操作概要
ユーザが携帯電話１００の撮像手段１０によってポスター２００上のＱＲコード２００Ａを撮影すると、コンテンツ情報取得手段６１によって、ＱＲコード２００Ａに埋め込まれたコンテンツ識別情報を元に、楽曲データが通信手段２０を通じて取得され、音声再生手段５０によって楽曲データが再生される。ユーザは、楽曲データが再生される間、携帯電話１００をＱＲコード２００Ａの法線の軸を中心に回転操作することで、再生される楽曲データの音量を調整する。
【００３２】
（Ｃ）処理の詳細
図２は音量調整操作処理の手順（Ｓ１〜Ｓ７）を示し、以下、詳細に説明する。
【００３３】
（Ｓ１）コンテンツ情報取得ステップ
ユーザが、ＱＲコードを撮影手段１０によって撮影することによって操作が開始される。コンテンツ情報取得ステップにおいて、コンテンツ情報取得手段６１は、前記撮影手段１０によって生成された撮影画像からＱＲコードを抽出し、ＱＲコードに含まれるコード情報（コンテンツ識別情報）をキーに（図３参照）、通信手段２０を介して楽曲データベースからコンテンツ情報である楽曲データｈｏｇｅ．ｍｐ３を取得する（図４参照）。取得した楽曲データは、コンテンツ情報として保存される。
【００３４】
（Ｓ２）撮影ステップ
前記コンテンツ情報取得ステップにおいて、コンテンツ情報が取得された後、逐次撮影画像が生成され続ける。
【００３５】
（Ｓ３）対コードパラメータ算出ステップ
対コードパラメータ算出ステップでは、対コードパラメータ算出手段６２によって、前記撮影画像に写っているＱＲコードの形状を元にＱＲコードに対する携帯電話１００の位置および姿勢を算出する。
【００３６】
算出方法は、例えば前記の特許文献１（特開２００６−１１４９４３）に記載される方法を利用することができる。この算出方法の概要は、図５に示すように、ＱＲコードが１つの平面上にあることを利用して、カメラ映像上の４隅の点（同図のｂ）と実世界のＱＲコードの４隅の点（同図のａ）とを対応付け、カメラパラメータ行列を算出し、このカメラパラメータ行列からカメラ映像中の２次元の座標から実世界の３次元の座標を算出し、同図の（ｃ）のようにカメラ座標系におけるＱＲコードの法線ベクトル、およびＱＲコードの２つの直交する対角線のベクトル、また、同図の（ｄ）のようにＱＲコードの重心の位置ベクトルを検出し、この４つのベクトルを用いて、ＱＲコードに対するカメラの姿勢および位置を算出する。
【００３７】
この手法によって、ＱＲコードに対するカメラの相対位置ｘ、ｙ、ｚと、姿勢（ＸＹＺ軸周りの回転量φ、θ、ψ）の合計６つの位置および姿勢パラメータを算出することができる。本実施形態では、Ｙ軸周りの回転量θをコード操作パラメータとして利用する。
【００３８】
ただし、ＱＲコードが撮影画像中に検出されない場合は、コード操作パラメータの算出は、本ステップ中において行われず、コード操作パラメータをＮＵＬＬとして出力する。
【００３９】
（Ｓ４）対フローパラメータ算出ステップ
対フローパラメータ算出ステップでは、対フローパラメータ算出手段６３によって、オプティカルフローを算出し、フロー操作パラメータを算出する。オプティカルフローの算出は、例えば、下記の非特許文献に示されるＬｕｃａｓ＆Ｋａｎａｄｅアルゴリズムによって行うことができる。
【００４０】
非特許文献「Ｌｕｃａｓ，Ｂ．，ａｎｄ Ｋａｎａｄｅ，Ｔ．Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ，Ｐｒｏｃ．ｏｆ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ），ｐｐ．６７４−６７９．」
このオプティカルフローを用いて、携帯電話の角速度θｖを算出する。まず、中心点から各フローの方向を見て、図６に示すような角度θｎをすべてのフローについて算出する。これら角度θｎが４つの象限に平均的にフローが存在しない場合は、画角の中心を中心点として回転していないものと判断し、本ステップを終了する。続いて、前記条件に該当しない場合は、下記式（１）からすべてのθｎの平均を算出し、角速度θｖとして算出する。現在の回転角度をθlastとし、該θlastに算出された角速度θｖを追加し、下記式（２）から回転量θを算出する。
【００４１】
【数１】
【００４２】
ただし、ｋは重みで本実施形態では１とする。
【００４３】
本実施形態では、このＹ軸周りの回転量θをフロー操作パラメータとして利用する。
【００４４】
（Ｓ５）パラメータ切り替えステップ
パラメータ切り替えステップにおいて、パラメータ切り替え手段６４は、前記コード操作パラメータ、フロー操作パラメータを受け取り、コンテンツ操作パラメータを出力する。
【００４５】
前記コード操作パラメータがＮＵＬＬではないとき、コード操作パラメータをコンテンツ操作パラメータとして出力する。また、前記コード操作パラメータがＮＵＬＬであるときは、フロー操作パラメータをコンテンツ操作パラメータとして出力する。
【００４６】
（Ｓ６）コンテンツ操作ステップ
コンテンツ操作手段６５は、保存していた前記楽曲データを読み出し（コンテンツ情報読み出し）、前記楽曲データｈｏｇｅ．ｍｐ３を音声再生手段によって再生する。このときの音量は、パラメータ切り替えステップで出力された前記コンテンツ操作パラメータの大きさに基づき決定される。音量Ｖｏｌｕｍｅの設定は、下記式（３）に従って行われる（図７参照）。
【００４７】
【数２】
【００４８】
また、コンテンツ操作手段６５は、表示手段４０にボリュームを表すグラフィックを提示する（図８参照）。ユーザは、これを見ることで、現在の再生音量のボリュームを視覚的に確認しながら操作を行うことができる。
【００４９】
（Ｓ７）処理のループ
ユーザが入力手段によって、終了ボタンを押すと、処理が終了する。終了ボタンが押されない場合は、撮影ステップに戻り、引き続き前記一連のステップが繰り返される。
【００５０】
したがって、本実施形態によれば、２次元コードを用いたハンドヘルドＡＲインタフェースの操作中に、撮影された２次元コードおよびオプティカルフローの２つの手段から操作のためのパラメータを算出し、それらを切り替えて利用するため、２次元コードを撮影し続ける必要性がなく、操作性を高めることができる。
【００５１】
（実施形態１の変形例）
前記の実施形態１では、パラメータ切り替えステップ（Ｓ５）では、ＱＲコードが検出されない場合のみ、フロー操作パラメータをコンテンツ操作パラメータとして出力する。これをＱＲコード読み取り後は、常にフロー操作パラメータをコンテンツ操作パラメータとして出力するように構成することも可能である。
【００５２】
（実施形態２）
本実施形態は、ＱＲコードの検出状態を予測し、該予測結果をパラメータ切り替えステップに利用する場合である。
【００５３】
前記実施形態１では、ＱＲコードが検出されなくなると、コンテンツ操作パラメータを前記コード操作パラメータから、前記フロー操作パラメータへと切り替えるものであった。一般的にＱＲコードは、撮影画像のチラツキなどによって検出限界に近づくと、検出されなかったり、されたりする状態が発生する。このため、検出限界の近辺にある場合、前記コード操作パラメータと前記フロー操作パラメータの切り替えが頻繁に発生する可能性がある。本実施形態は、前記実施形態１に加えて、パラメータ切り替え手段が、ＱＲコードの検出状態を予測する２次元コード状態予測手段を備えることによって、この切り替えをスムーズにすると共に計算コストを下げるものである。以下、携帯情報端末の構成、及びコンテンツ情報の取得／操作方法を詳細に説明する。
【００５４】
（Ａ）装置のブロック構成
図９は、携帯電話（携帯情報端末）で撮影した２次元コードによる音声ボリューム操作のための機能ブロック構成を示す。また、図１０には、音量調整操作処理の手順（Ｓ１〜Ｓ８）を示す。
【００５５】
本実施形態は、実施形態１と異なる部分は、ＱＲコードの現在状態を示す状態パラメータから構成されるコード状態予測情報を生成する２次元コード状態予測手段６６と、２次元コード状態予測ステップ（Ｓ８）を追加した点にある。
【００５６】
パラメータ切り替え手段６４は、前記２次元コード状態予測情報に基づいて、フロー操作パラメータあるいはコード操作パラメータのいずれかをコンテンツ操作パラメータとする。
【００５７】
（Ｂ）処理の詳細
図１１に２次元コード状態予測を基にしたパラメータ切り替え処理の詳細な手順図示し、以下、各ステップ毎に説明する。
【００５８】
（Ｓ８）２次元コード状態予測ステップ
２次元コード状態予測ステップでは、２次元コード状態予測手段は、ＱＲコードが画角から外れそうかを予測するための外接長方形パラメータ、ＱＲコードの傾きが大きすぎて検出が不可能になりそうかを予測するための姿勢パラメータ、ＱＲコードの距離が離れすぎて、あるいは近すぎて検出が不可能になりそうかを予測するための距離推定パラメータの３つのパラメータを算出する。これらの外接長方形パラメータ、姿勢パラメータ、距離パラメータは下記の処理で算出され、これらをコード状態予測情報として、パラメータ切り替え手段６４に送信する。
【００５９】
（Ｓ８Ａ）外接長方形パラメータ算出ステップ
前記撮影画像中のＱＲコードの外接長方形を算出し、外接長方形から画像の端までの４つの距離を算出する。例えば、図１２に示す上下左右方向の４つの画角から外れるまでの距離、ｘ１、ｘ２、ｙ１、ｙ２を算出する。このｘ１、ｘ２、ｙ１、ｙ２、を外接長方形パラメータとする。
【００６０】
（Ｓ８Ｂ）姿勢パラメータ算出ステップ
前記コード操作パラメータ算出ステップと同じ手法によって、ＱＲコードの携帯電話に対する姿勢を検出する。例えば、姿勢は図１３に示す、φ、θ、ψの３つのパラメータとして算出され、この３つのパラメータを姿勢パラメータとする。
【００６１】
（Ｓ８Ｃ）距離パラメータ算出ステップ
撮影画像中のＱＲコードの形状が占める面積を用いて算出する（図１４参照）。この面積値を距離パラメータとする。
【００６２】
（Ｓ５）パラメータ切り替えステップ
パラメータ切り替え手段６４は、ＱＲコードが余裕を持って検出されるときの、前記外接長方形パラメータ値域、姿勢パラメータ値域、距離パラメータ値域の３つの値域からなる検出安定パラメータ範囲データを不揮発性メモリに予め保存しておき、以下の処理に従ってパラメータを切り替える。
【００６３】
（Ｓ５Ａ）判断結果情報保存ステップ
パラメータ切り替え手段６４は、前記ステップで得られた外接長方形パラメータ、姿勢パラメータ、距離パラメータがすべて検出安定パラメータ範囲データの値域に入っているかを判断する。ここで、該値域に入っているか、否かの判断結果情報を時刻情報とともに判断結果保存手段（メモリ）に保存する。
【００６４】
（Ｓ５Ｂ）予測ステップ
２次元コード状態予測手段６６は、判断結果保存手段に保存されている中から、時刻情報を元に一定時間内（例えば３秒間）に含まれる判断結果情報を引き出し、該判断結果情報がすべて値域に入っていないことを示す場合、フロー操作パラメータをコンテンツ操作パラメータとする。前記判断結果情報がすべて値域に入っていないことを示す場合以外の場合は、コード操作パラメータをコンテンツ操作パラメータとし、このコンテンツ操作パラメータをコンテンツ操作手段６５に転送する。
【００６５】
本実施形態によれば、２次元コードが撮影され、検出されているとき、画角から外れそうであるなどの状態を予測することで、前記２次元コードおよびオプティカルフローの手段から得られる操作のパラメータを適切に切り替えることができる。
【００６６】
（実施形態２の変形例）
前記の実施形態２では、検出安定パラメータ範囲から外れた時間を測定し、検出安定パラメータ範囲から撮影画像中のＱＲコードが規定時間内外れたことを算出し、それをもって、ＱＲコードが検出されない状況になりつつあるとしてコード状態予測情報を生成するものであった。
【００６７】
本変形例は、動きのスピードを考慮し、コード状態予測情報を生成するものである。ユーザが携帯電話を動かす速度によって、検出安定パラメータ範囲から実際に検出できない状態に陥るまでの時間間隔は異なってくる。本変形例は、前記３つのパラメータからなる２次元コード状態パラメータの速度を算出し、その速度に応じて、パラメータを切り替えるものである。
【００６８】
図１５に示すように、２次元コード状態予測ステップまで、前記実施形態２と同様の処理を行う。以降の処理をステップ毎に説明する。
【００６９】
（Ｓ５Ｃ）２次元コード状態パラメータ速度算出ステップ
パラメータ切り替え手段６４は、パラメータ一時保存手段に保存されている過去のコード状態予測情報を過去コード状態予測情報として読み出す。次に現在のコード状態予測情報を該パラメータ一時保存手段に保存する。
【００７０】
パラメータ切り替え手段６４は、コード状態予測情報から過去コード状態予測情報を引き算し、コード状態予測情報変化量を算出する。このコード状態予測情報変化量は、外接長方形パラメータ変化量、姿勢パラメータ変化量、距離パラメータ変化量からなる。
【００７１】
パラメータ切り替え手段６４は、前記外接長方形パラメータ、姿勢パラメータ、距離パラメータと、外接長方形パラメータ変化量、姿勢パラメータ変化量、距離パラメータ変化量とをそれぞれパラメータ毎に足し合わせ、予測外接長方形パラメータ、予測姿勢パラメータ、予測距離パラメータからなる予測用パラメータを算出する。
【００７２】
（Ｓ５Ｄ）予測ステップ
パラメータ切り替え手段６４は、予測外接長方形パラメータ、予測姿勢パラメータ、予測距離パラメータが、前記検出安定パラメータ範囲データから得られる前記外接長方形パラメータ値域、姿勢パラメータ値域、距離パラメータ値域に入っているかを判断する。
【００７３】
いずれか１つのパラメータでも前記値域入っていない場合は、予測結果として、次フレーム以降ＱＲコードが検出されなくなる可能性が高いとして、フロー操作パラメータをコンテンツ操作パラメータとする。これ以外の場合、コード操作パラメータをコンテンツ操作パラメータとする。最後に、パラメータ切り替え手段６４は、コンテンツ操作パラメータを、コンテンツ操作手段６５に転送する。
【００７４】
（実施形態３）
前記フロー操作パラメータは、前記実施形態１に記載のように角速度の和によって算出する。これは、常に角度を検出し続ける前記コード操作パラメータと比較し、誤差が集積しやすい。本実施形態では、図１６にブロック構成を示すように、携帯電話には前記コード操作パラメータを用いて前記フロー操作パラメータを補正するフロー算出補正手段６７を備えることが図１と異なる。また、図１７に音量調整操作処理の手順（Ｓ１〜Ｓ７、Ｓ９）を示し、以下、フロー算出補正ステップによる処理を詳細に説明する。
【００７５】
（Ｓ９）フロー算出補正ステップ
フロー算出補正ステップにおいて、フロー算出補正手段６７は、前記コード操作パラメータおよび前記フロー操作パラメータを取得する。これらは下記式（４）、（５）で表せるコード操作パラメータθcodeとフロー操作パラメータθflowとする。
【００７６】
【数３】
【００７７】
ここで、式（４）が成り立つようにｋtempを式（５）で算出する。算出されたｋtempは、フロー算出補正手段６７が備える重み保存手段（メモリ）に保存される。パラメータ切り替えステップＳ５においてフロー操作パラメータをコンテンツ操パラメータとして利用するとき、重み保存手段に保存されたすべてのｋtempの平均値ｋtemp_aveを算出し、以降、対フローパラメータ算出ステップで行われる式（１）のｋの値を平均値ｋtemp_aveで更新する。
【００７８】
したがって、本実施形態によれば、撮影された２次元コードの形状を利用し、オプティカルフローから操作のためのパラメータを算出するときの誤差を自動修正することができる。
【００７９】
（実施形態３の変形例）
前記の実施形態３は、常時フロー算出補正を行うものであった。コード操作パラメータ算出とフロー操作パラメータ算出と、フロー補正を同時に行うことは、計算コストが高い。そこで、フロー補正は、コード状態予測情報がフロー操作パラメータに切り替えることを示しており、さらにＱＲコードが検出されている場合のときのみ補正を行うように構成することも可能である。
【００８０】
（変形例１）縦横平行移動のオプティカルフローでの算出の例
前記実施形態は、端末のＱＲコードの法線ベクトル周りの回転角度を操作量として用いるものであった。これ以外にも、縦横の２次元の平行移動量を操作量として用いて実現することも可能である。
【００８１】
コード操作パラメータは、前記実施形態１に記載のｘ、ｙパラメータを利用し、２次元の平行移動量を算出することができる。フロー操作パラメータは、以下の方法により、オプティカルフローから縦横移動を算出することができる。
【００８２】
図１８に算出されたオプティカルフローの例を示し、（ａ）は携帯電話が右下に移動している瞬間のオプティカルフローの例であり、（ｂ）は携帯電話が左に平行移動している瞬間の同例である。同図に示すようなオプティカルフローが算出された場合、フローそれぞれのベクトルを２次元で、ベクトルｖn＝（ｘn，ｙn）として表す（式中ではｖの上に→を付して示す）。撮影画像中のベクトルｖnの平均から以下の式（６）で、平行移動速度ｖvを算出する。平行移動量をベクトルｐlastとし、以下の式（７）では該ｐlastに算出された平行移動速度（角速度）ｖvを追加し、平行移動量ベクトルｐを算出する。
【００８３】
【数４】
【００８４】
ただし、ｋx、ｋyは重みであり、ｋx＝１、ｋy＝１
この平行移動量も前記実施形態３に記載と同様の手法で、コード操作パラメータを用いて補正を行うことができる。フロー算出補正ステップＳ９において、フロー算出補正手段６７は、前記コード操作パラメータおよび前記フロー操作パラメータを取得する。これらはコード操作パラメータｐcodeとフロー操作パラメータｐflowとすると、以下の式（８）が成り立つようにｋxtemp、ｋytempを式（９）で算出する。
【００８５】
【数５】
【００８６】
算出されたｋytemp、ｋytempは、フロー算出補正手段６７が備える重み保存手段（メモリ）に保存される。
【００８７】
パラメータ切り替えステップＳ５において、フロー操作パラメータをコンテンツ操作パラメータとして利用するとき、重み保存手段に保存されたすべてのｋx、ｋyの値の平均値ｋxave、ｋyaveを算出し、以降、対フローパラメータ算出ステップで行われる式（７）の計算のｋx、ｋyの値の該平均値ｋxave、ｋyaveで更新する。
【００８８】
（変形例２）奥行き移動量のオプティカルフローでの算出の例
前記実施形態は、端末のＱＲコードの法線ベクトル周りの回転角度を操作量として用いるものであった。これ以外にも、奥行き移動量の算出も実現することが可能である。
【００８９】
コード操作パラメータは、前記実施形態１に記載のようにｚパラメータを利用し、奥行きの移動量を算出することができる。フロー操作パラメータは、以下の方法により、オプティカルフローから奥行き移動量を算出することができる。
【００９０】
まず、奥行き方向の移動の方向、および該移動があるかの判断を行う。図１９の（ａ）に例を示すように、第一象限に左下向きのオプティカルフローが、第二象限に右下向きのオプティカルフローが、第三象限に右上向きのオプティカルフローが、第四象限に左上向きのオプティカルフローが現れる場合は奥行き移動量は携帯電話をＱＲコードから遠ざける方向であるとする。また、図１９の（ｂ）に例を示すように、第一象限に右上向きのオプティカルフローが、第二象限に左上向きのオプティカルフローが、第三象限に左下向きのオプティカルフローが、第四象限に右下向きのオプティカルフローが現れる場合は奥行き移動量は携帯電話をＱＲコードから近づける方向であるとし、それ以外の場合は、奥行き移動量はないとして処理する。
【００９１】
次に、奥行きの移動量を推定する。図１９のようにオプティカルフローが算出された場合、フローそれぞれのベクトルを２次元で、ベクトルｖn＝（ｘn，ｙn）として表す。撮影画像中のベクトルｖnの絶対値｜ｖn｜の平均を以下の式（１０）で、平行移動速度絶対値｜ｖv｜を算出する。現在のフロー奥行き移動量をｄpastとし、以下の式（１１）では該ｄpastに算出された平行移動速度絶対値｜ｖv｜を追加し、フロー奥行き移動量ｄを算出する。
【００９２】
【数６】
【００９３】
このフロー奥行き移動量も前記実施形態３および前記変形例に記載と同様の手法で、コード操作パラメータを用いて補正を行うことができる。フロー算出補正ステップＳ９において、フロー算出補正手段６７は、前記コード操作パラメータおよび前記フロー操作パラメータを取得する。これらをコード操作パラメータｚとフロー操作パラメータｄとすると、
以下の式（１２）が成り立つようにｋtempを以下の式（１３）で算出する。
【００９４】
【数７】
【００９５】
算出されたｋtempは、フロー算出補正手段が備える重み保存手段（メモリ）に保存される。パラメータ切り替えステップＳ５において、フロー操作パラメータをコンテンツ操作パラメータとして利用するとき、重み保存手段に保存されたすべてのｋtempの値の平均値ｋaveを算出し、以降、対フローパラメータ算出ステップで行われる式（１１）の計算のｋの値を該平均値ｋaveで更新する。
【００９６】
（変形例３）物理量を利用する例
利用するＱＲコードに該コード自身の物理的なサイズを示す物理サイズ情報を含めて構成する、あるいはＱＲコードを予め定めた物理サイズで構成することによって、コード操作パラメータ算出時に算出されるｘ、ｙ、ｚパラメータを実サイズに再現することができる。これによって、フロー算出補正手段によって補正されたフロー操作パラメータを仮想的な物理量としてシステムに利用することができる。
【００９７】
（変形例４）他のＱＲコードを利用可能とする例
本実施形態では、ＱＲコードを２次元コードとして利用したが、下記の参考文献にも記載される、サイバーコード、ＡＲＴｏｏｌｋｉｔ、ＤａｔａＭａｔｒｉｘなどの２次元コードを利用して構成することも可能である。
【００９８】
参考文献「バーコード・二次元コードの知識」日本工業出版（２００１年度）
（変形例５）オプティカルフローの算出手法
本実施形態では、オプティカルフローの算出に前記Ｌｕｃａｓ＆Ｋａｎａｄｅアルゴリズムを用いたが、ブロックマッチング等のその他の手法を用いて算出するように構成することも可能である。
【００９９】
（変形例６）サーバサイドでも処理可能とする例
本実施形態では、あらゆるステップを携帯電話の汎用計算手段上で実行している。ネットワーク上のサーバ手段で前記汎用計算手段で行われるすべての処理を行うように構成することも可能である。
【０１００】
なお、本発明は、図２等に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータで実行可能とすることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施形態１を示す携帯電話の機能ブロック構成図。
【図２】実施形態１における音量調整操作処理手順図。
【図３】２次元コードの概要図。
【図４】楽曲データのための楽曲データベースのデータ構成例。
【図５】対コードパラメータ算出の概要図。
【図６】回転量を算出するオプティカルフローの概要図。
【図７】再生音量を調整する操作イメージ。
【図８】再生音量調整中のグラフィックの例。
【図９】本発明の実施形態２を示す携帯電話の機能ブロック構成図。
【図１０】実施形態２における音量調整操作処理手順図。
【図１１】２次元コード状態予測を基にしたパラメータ切り替え処理の詳細な手順図。
【図１２】外接長方形パラメータの概要図。
【図１３】姿勢パラメータの概要図。
【図１４】距離パラメータの概要図。
【図１５】２次元コード状態予測処理の詳細な手順図。
【図１６】本発明の実施形態３を示す携帯電話の機能ブロック構成図。
【図１７】実施形態３における音量調整操作処理手順図。
【図１８】平行移動量のためのオプティカルフローのイメージ。
【図１９】奥行き移動量のためのオプティカルフローのイメージ。
【符号の説明】
【０１０２】
１００ 携帯電話（携帯情報端末）
２００ ポスター
２００Ａ ＱＲコード
１０ 撮影手段
２０ 通信手段
６１ コンテンツ情報取得手段
６２ 対コードパラメータ算出手段
６３ 対フローパラメータ算出手段
６４ パラメータ切り替え手段
６５ コンテンツ操作手段
６６ ２次元コード状態予測手段
６７ フロー算出補正手段
【特許請求の範囲】
【請求項１】
撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作する携帯情報端末であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得手段と、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出手段と、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出手段と、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替え手段と、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作手段と、
を備えることを特徴とする携帯情報端末。
【請求項２】
前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測手段を備え、
前記パラメータ切り替え手段は、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする請求項１に記載の携帯情報端末。
【請求項３】
前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする請求項１に記載の携帯情報端末。
【請求項４】
前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする請求項２に記載の携帯情報端末。
【請求項５】
撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作するコンテンツ情報の取得／操作方法であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得ステップと、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出ステップと、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出ステップと、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替えステップと、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作ステップと、
を備えることを特徴とするコンテンツ情報の取得／操作方法。
【請求項６】
前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測ステップを備え、
前記パラメータ切り替えステップは、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする請求項５に記載のコンテンツ情報の取得／操作方法。
【請求項７】
前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする請求項５に記載のコンテンツ情報の取得／操作方法。
【請求項８】
前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする請求項６に記載のコンテンツ情報の取得／操作方法。
【請求項９】
請求項５〜８のいずれか１項に記載のコンテンツ情報の取得／操作方法における処理ステップをコンピュータで実行可能にしたことを特徴とするプログラム。
【請求項１】
撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作する携帯情報端末であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得手段と、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出手段と、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出手段と、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替え手段と、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作手段と、
を備えることを特徴とする携帯情報端末。
【請求項２】
前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測手段を備え、
前記パラメータ切り替え手段は、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする請求項１に記載の携帯情報端末。
【請求項３】
前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする請求項１に記載の携帯情報端末。
【請求項４】
前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正手段を備えることを特徴とする請求項２に記載の携帯情報端末。
【請求項５】
撮影手段を備えた携帯情報端末を用いて２次元コードを撮影し、携帯情報端末と２次元コードとの相対的な位置及び姿勢によって２次元コードから読み取られるコンテンツ情報を取得／操作するコンテンツ情報の取得／操作方法であって、
前記撮影手段によって読み取った２次元コードに対応したコンテンツ情報を取得するコンテンツ情報取得ステップと、
前記撮影手段によって撮影された撮影画像中の２次元コードの形状を用いて、２次元コードに対する携帯情報端末の相対的な位置および姿勢を算出し、該相対的な位置および姿勢に基づいてコード操作パラメータを算出する対コードパラメータ算出ステップと、
前記撮影手段によって撮影される画像からオプティカルフローを検出し、該オプティカルフローに基づいて携帯情報端末のフロー操作パラメータを算出する対フローパラメータ算出ステップと、
予め定めた条件に基づいて、前記コード操作パラメータまたはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとするパラメータ切り替えステップと、
前記コンテンツ操作パラメータを用いてコンテンツ情報を操作するコンテンツ操作ステップと、
を備えることを特徴とするコンテンツ情報の取得／操作方法。
【請求項６】
前記撮影画像中での前記２次元コードの検出状態を予測したコード状態予測情報を算出する２次元コード状態予測ステップを備え、
前記パラメータ切り替えステップは、前記コード状態予測情報に基づき、前記コード操作パラメータあるいはフロー操作パラメータのどちらか一方をコンテンツ操作パラメータとすることを特徴とする請求項５に記載のコンテンツ情報の取得／操作方法。
【請求項７】
前記コード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする請求項５に記載のコンテンツ情報の取得／操作方法。
【請求項８】
前記コード状態予測情報およびコード操作パラメータを用いて、前記フロー操作パラメータを補正するフロー算出補正ステップを備えることを特徴とする請求項６に記載のコンテンツ情報の取得／操作方法。
【請求項９】
請求項５〜８のいずれか１項に記載のコンテンツ情報の取得／操作方法における処理ステップをコンピュータで実行可能にしたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図８】
【公開番号】特開２００８−７２３２２（Ｐ２００８−７２３２２Ａ）
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願番号】特願２００６−２４８０９１（Ｐ２００６−２４８０９１）
【出願日】平成１８年９月１３日（２００６．９．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願日】平成１８年９月１３日（２００６．９．１３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]