携帯型端末装置、エリア指定方法及びエリア指定プログラム
【課題】撮影画像からターゲットのエリアを指定できる携帯型端末装置を提供すること。
【解決手段】携帯型端末装置に於いて、カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１、第２の軸を中心とする第１、第２の角速度を取得する第１の取得部と、前記第１、第２の角速度に基づき、前記携帯型端末装置の前記第１、第２の軸を中心とする第１、第２の回転量を算出する第１の算出部と、前記第１、第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、前記表示画像の前記座標にポインタを重畳する重畳部と、前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、前記表示画像から前記ポインタを包含する画像エリアを抽出する抽出部と、を備える。
【解決手段】携帯型端末装置に於いて、カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１、第２の軸を中心とする第１、第２の角速度を取得する第１の取得部と、前記第１、第２の角速度に基づき、前記携帯型端末装置の前記第１、第２の軸を中心とする第１、第２の回転量を算出する第１の算出部と、前記第１、第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、前記表示画像の前記座標にポインタを重畳する重畳部と、前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、前記表示画像から前記ポインタを包含する画像エリアを抽出する抽出部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、例えば携帯型端末装置、エリア指定方法及びエリア指定プログラムに関する。
【背景技術】
【０００２】
例えばスマートフォンなどの携帯型端末装置を周辺機器と連携させる場合、携帯型端末装置に周辺機器のＩＰアドレスやＭＡＣアドレス等を入力して、ターゲットとなる周辺機器を指定しなければならない。このような作業を省略するために、利用者が実世界で見ている物体、即ち周辺機器を直接ポインティングし、物体に紐づいた情報を取得する物体指定技術が開発されている。
【０００３】
物体指定技術としては、例えば、物体に貼り付けられた光ＩＤタグに光ビームを照射し、光ＩＤタグでの光ビームの反射光に基づき、光ＩＤタグの識別情報を読み取るＩＤリーダが開示されている。従来技術にかかる光ＩＤタグは、光ＩＤリーダから放射された光ビームを、光ＩＤタグのメモリに記憶された識別情報で変調することで、光ＩＤタグの反射光に識別情報を付加する。このため、ＩＤリーダは、光ＩＤタグの反射光を受信することで、光ＩＤタグの識別情報を取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来技術にかかるＩＤリーダによれば、光ＩＤタグに光ビームを照射しなければならない。しかし、遠隔地にある光ＩＤタグに光ビームを正確に照射することは容易ではない。
【０００６】
開示の技術は、撮影画像からターゲットのエリアを指定できる携帯型端末装置、エリア指定方法及びエリア指定プログラムを提供する。
【課題を解決するための手段】
【０００７】
開示の技術の一観点によれば、携帯型端末装置に於いて、カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、前記表示画像の前記座標にポインタを重畳する重畳部と、前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、前記表示画像から前記ポインタを包含する画像領域を抽出する抽出部と、を備える携帯型端末装置が提供される。
【発明の効果】
【０００８】
開示の技術によれば、撮影画像からターゲットのエリアを指定することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかるスマートフォンの斜視図である。
【図２】第１の実施形態にかかるスマートフォンのハードウェアの概略図である。
【図３】第１の実施形態にかかるコントローラの機能ブロックの概略図である。
【図４】第１の実施形態にかかるコントローラによる処理のフローチャートである。
【図５】第１の実施形態にかかるスマートフォンの動きにより表示画面に表示されるポインタの軌跡の概略図である。
【図６】第１の実施形態にかかるスマートフォンを動かして、表示画像から画像領域を抽出する抽出プロセスの概略図である。
【図７】第１の実施形態にかかる表示画像決定部の機能ブロックの概略図である。
【図８】第１の実施形態にかかるスマートフォンの動きに由来する加速度の動き成分のグラフ及びスマートフォンの加速度の動き成分から算出されたＳＭＡ値のグラフである。
【図９】第１の実施形態にかかる表示画像決定部による処理のフローチャートである。
【図１０】第１の実施形態にかかる画像比較部の機能ブロックの概略図である。
【図１１】第１の実施形態にかかるテンプレート記憶部に記憶されているテンプレートのデータベースの概略図である。
【図１２】第１の実施形態にかかる画像比較部によるマッチングの概略図である。
【図１３】第２の実施形態にかかるコントローラの機能ブロックの概略図である。
【図１４】第２の実施形態にかかるサイズ調整部の機能ブロックの概略図である。
【図１５】第２の実施形態にかかるサイズ調整部による処理のフローチャートである。
【図１６】第２の実施形態にかかる画像領域のサイズを調整するサイズ調整プロセスの概略図である。
【図１７】第２の実施形態にかかる画像領域のサイズを調整するサイズ調整プロセスの概略図である。
【図１８】第３の実施形態にかかるコントローラの機能ブロックの概略図である。
【図１９】第３の実施形態にかかるサイズ調整部の機能ブロックの概略図である。
【図２０】第４の実施形態にかかるコントローラの機能ブロックの概略図である。
【図２１】第４の実施形態にかかる画像領域抽出部の機能ブロックの概略図である。
【図２２】第４の実施形態にかかる画像領域抽出部による処理のフローチャートである。
【図２３】第４の実施形態にかかる最適な画像領域を抽出する抽出プロセスの概略図である。
【図２４】第５の実施形態にかかるコントローラの機能ブロックの概略図である。
【図２５】第５の実施形態にかかる表示画像決定部の機能ブロックの概略図である。
【図２６】第５の実施形態にかかる表示画像決定部による処理のフローチャートである。
【図２７】第６の実施形態にかかるスマートフォン及びサーバの概略図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図１−図１２を参照しながら、第１の実施形態を説明する。
【００１１】
（スマートフォン１０の概略）
図１は、第１の実施形態にかかるスマートフォン１０の斜視図である。
【００１２】
図１に示すように、本実施形態にかかるスマートフォン１０は、矩形箱型の筺体１１と、長方形型の表示画面１２と、丸型の操作ボタン１３と、を備える。なお、本実施形態では、スマートフォン１０を説明するが、カメラ機能を搭載する携帯性端末であれば、スマートフォン１０に限定されるものではない。
【００１３】
本実施形態にかかるスマートフォン１０は、相互に直交する３軸、即ちｘ軸、ｙ軸、ｚ軸が規定されている。なお、図示するように、ｘ軸は、表示画面１２の長手方向に、ｙ軸は、表示画面１２の短手方向に、ｚ軸は、表示画面１２の直交方向に、それぞれ延在している。
【００１４】
（スマートフォン１０のハードウェア）
図２は、第１の実施形態にかかるスマートフォン１０のハードウェアの概略図である。
【００１５】
図２に示すように、本実施形態にかかるスマートフォン１０は、コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８を備える。
【００１６】
コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８は、例えばバスＢにより相互に接続されている。
【００１７】
コントローラ２１は、フラッシュメモリ２３に格納された各種プログラムを読み出して、メモリ２２に展開するとともに、該メモリ２２に展開された各種プログラムを実行することで、各種機能を実現する。各種機能の詳細は、後述することとする。
【００１８】
メモリ２２は、コントローラ２１によりフラッシュメモリ２３から読み出された各種プログラムを記憶する。さらに、メモリ２２は、例えば画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３、として機能して、コントローラ２１により各種機能が実行されるときに使用される各種データなどを記憶する。画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３の詳細は、後述することとする。
【００１９】
フラッシュメモリ２３は、スマートフォン１０の動作を制御するための各種プログラムを記憶する。本実施形態にかかるエリア指定プログラムもフラッシュメモリ２３に記憶されている。なお、本実施形態では、フラッシュメモリ２３を使用しているが、不揮発性メモリであれば、これに限定されるものではない。
【００２０】
通信モジュール２４は、後述する表示画像Ｉから抽出された画像領域Ｒの画像情報を、例えばスマートフォン１０の通信機能により、例えば外部のサーバＳに送信する。さらに、通信モジュール２４は、周辺機器Ａ、Ｂ…のそれぞれに紐づけられた情報、例えば周辺機器Ａ、Ｂ…の識別情報や、周辺機器Ａ、Ｂ…の操作プログラムなどを、例えば外部のサーバＳから受信する。
【００２１】
リアルタイムクロック２５は、例えば、コントローラ２１のイベントタイマ（図示しない）の校正や、例えば複数の撮影画像から表示画像Ｉを取得するために使用される。
【００２２】
ディスプレイ２６は、筺体１１の内部に配置され、筺体１１の前面から表示画面１２を露出させている。ディスプレイ２６の種類は、特に限定されるものではないが、表示画面１２には、タッチスクリーン（図示しない）が貼り付けられている。
【００２３】
カメラ２７は、筺体１１の内部に配置され、筺体１１の後面からレンズユニット（図示しない）を露出させ、筺体１１の後側、即ち該ディスプレイ２６の表示画面１２とは逆側を撮影する。但し、本実施形態は、これに限定されるものではなく、例えば筺体１１の前面からカメラ２７のレンズユニット（図示しない）を露出させ、筺体１１の前側を撮影させても良い。
【００２４】
慣性センサ２８は、加速度センサ２８ａ及びジャイロセンサ２８ｂを備える。本実施形態では、加速度センサ２８ａ及びジャイロセンサ２８ｂを、慣性センサ２８の１パッケージに組み込んでいるが、別々のパッケージとしても良い。
【００２５】
加速度センサ２８ａは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸の軸方向の加速度、即ち第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚを、それぞれ検知する。但し、スマートフォン１０の姿勢によっては、第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚが、スマートフォン１０の動きに由来する動き成分のほかに、地球の重力成分を含むこともある。
【００２６】
ジャイロセンサ２８ｂは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸を中心とする角速度、即ち第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚを検出する。なお、第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚは、スマートフォン１０の動きに由来する動き成分の他に、ジャイロセンサ２８ｂのドリフトに由来するドリフト成分を含むこともある。
【００２７】
（コントローラ２１の機能ブロック）
図３は、第１の実施形態にかかるコントローラ２１の機能ブロックの概略図である。
【００２８】
図３に示すように、本実施形態にかかるコントローラ２１は、加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３を備える。
【００２９】
加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３は、何れもメモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
【００３０】
加速度取得部２１１は、慣性センサ２８の加速度センサ２８ａにより検出された加速度、即ちｘ軸の軸方向の第１の加速度ａｘ、ｙ軸の軸方向の第２の加速度ａｙ、ｚ軸の軸方向の第３の加速度ａｙ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。
【００３１】
角速度取得部２１２は、慣性センサ２８のジャイロセンサ２８ｂにより検出された角速度、即ちｘ軸を中心とする第１の角速度ωｘ、ｙ軸を中心とする第２の角速度ωｙ、ｚ軸を中心とする第３の角速度ωｚ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。
【００３２】
角度算出部２１３は、角速度取得部２１２により取得された第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚに基づき、ｘ軸を中心とする第１の角度θ、ｙ軸を中心とする第２の角度φ、ｚ軸を中心とする第３の角度ψを、それぞれ算出する。
【００３３】
第１の角度θ、第２の角度φ、第３の角度ψは、表示画像決定部２１６により表示画像Ｉが決定されたときのスマートフォン１０の姿勢（以下、初期姿勢とする）を基準とする、ｘ軸、ｙ軸、ｚ軸を中心とした回転量（回転角）である。従って、第１の角度θ、第２の角度φ、第３の角度ψが算出されると、初期姿勢を基準とするスマートフォン１０の姿勢が決まる。以下、第１の角度θ、第２の角度φ、第３の角度ψの算出法を説明する。
【００３４】
本実施形態では、第１の角度θ、第２の角度φ、第３の角度ψを算出するために、四元数を使用する。四元数をＱ（ｑ０、ｑ１、ｑ２、ｑ３）とし、角速度取得部２１２により取得されるｘ軸、ｙ軸、ｚ軸を中心とする加速度をΩ（ωｘ、ωｙ、ωｚ）とすると、姿勢更新運動微分方程式は、以下の数式（１）のように表現される。
【００３５】
【数１】
【００３６】
なお、四元数Ｑの初期値は、Ｑ０（１、０、０、０）と定義される。
【００３７】
数式（１）に於いて、ジャイロセンサ２８ｂのサンプリング周期を固定すると、数式（１）の姿勢更新運動微分方程式の解は、以下の数式（２）のように表現される。
【００３８】
【数２】
【００３９】
数式（２）に於いて、ジャイロセンサ２８ｂのサンプリング間隔内の角速度を一定とすると、数式（２）の積分項は、以下の数式（３）のように近似される。
【００４０】
【数３】
【００４１】
なお、数式（３）に於いて、Δθx、Δθy、Δθzは、それぞれ区間［ｔｋ、ｔｋ+１］に於ける角度の増量である。
【００４２】
数式（３）を利用して、数式（１）をテイラー展開すると、姿勢更新運動微分方程式の解を求めることができる。姿勢更新運動微分方程式の解は、以下の数式（４）のように表現される。
【００４３】
【数４】
【００４４】
但し、実際に、スマートフォン１０に於いて、数値演算を実行する場合、数式（４）に於けるsin項およびcos項を級数展開すれば良い。なお、級数展開による、数式（４）の１次近似式は、以下の数式（５）のように、２次近似式は、以下の数式（６）のように表現される。本実施形態では、数式（５）を使用する。
【００４５】
【数５】
【００４６】
【数６】
【００４７】
数式（５）によれば、ある時刻ｔｋの四元数Ｑ（ｔｋ）がわかれば、次の時刻ｔｋ＋１の四元素Ｑ（ｔｋ＋１）を求めることができる。本実施形態では、四元数Ｑの初期値をＱ０（１、０、０、０）としているので、数式（５）を使用すれば、表示画面１２に表示する表示画像Ｉの決定時から任意の時間ｔが経過したときの四元数Ｑ（ｔ）を算出することができる。
【００４８】
さらに、四元数Ｑによる姿勢表現をオイラー角（θ、φ、ψ）による姿勢表現に変換すれば、表示画面１２に表示する表示画像Ｉの決定時からのｘ軸、ｙ軸、ｚ軸を中心とする回転角、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出することができる。四元数をオイラー角に変換する変換式は、以下の数式（７）、（８）、（９）のように表現される。
【００４９】
【数７】
【００５０】
【数８】
【００５１】
【数９】
【００５２】
座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｘ軸を中心とする第１の角度θ及びｙ軸を中心とする第２の角度φに基づき、表示画面１２の範囲に包含される座標（ｘｉ、ｙｉ）を算出する。座標（ｘｉ、ｙｉ）は、カメラ２７の光軸、即ちカメラ２７のレンズ（図示しない）の中心軸の動きに連動する。但し、表示画面１２に表示する表示画像Ｉの決定時には、座標（ｘｉ、ｙｉ）が表示画面１２の中心、即ちＣ０（Ｗ／２、Ｈ／２）に位置するものとする。従って、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を前傾させると、カメラ２７の光軸も前傾するので、座標算出部２１４により算出される座標（ｘｉ、ｙｉ）は、表示画面１２の中心Ｃ０（Ｗ／２、Ｈ／２）よりも下側に移動する。同様に、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を後傾させると、カメラ２７の光軸も後傾するので、座標算出部２１４により算出される座標（ｘｉ、ｙｉ）は、表示画面１２の中心Ｃ０（Ｗ／２、Ｈ／２）よりも上側に移動する。なお、Ｗは、表示画面１２のｘ軸の軸方向の長さ、Ｈは、表示画面１２のｙ軸の軸方向の長さ、をそれぞれ示している。
【００５３】
画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する。画像取得部２１５により取得された複数の撮影画像は、それぞれメモリ２２に構築される画像記憶部２５０に記憶される。なお、画像取得部２１５により取得された複数の撮影画像を、それぞれの撮影時刻を対応づけて、画像記憶部２５０に記憶しても良い。
【００５４】
表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、ディスプレイ２６の表示画面１２に表示する表示画像Ｉを決定する。表示画像決定部２１６により決定された表示画像Ｉは、表示画面１２に表示されたまま固定される。即ち、表示画像Ｉは、いわゆる背景画像として、表示画面１２に表示される。表示画像Ｉの決定プロセスは、後述することとする。
【００５５】
ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘｉ、ｙｉ）に、それぞれポインタｐｉを重畳する。ポインタＰｉの形態は、特に限定されるものではないが、本実施形態では、赤色の丸型ドットを用いる。なお、座標算出部２１４は、所定時間ごとに、例えば１００［ｍｓ］ごとに座標（ｘｉ、ｙｉ）を算出する。従って、ポインタ重畳部２１７は、座標算出部２１４により座標（ｘｉ、ｙｉ）が算出されるたびに、表示画像Ｉにポインタｐｉを追加的に重畳することとなる。このため、表示画面１２に表示する表示画像Ｉを決定してから、ある程度の時間が経過すると、表示画面１２には、表示画面１２の中心である座標Ｃ０（Ｗ／２、Ｈ／２）を始点とする、複数のポインタＰｉの軌跡Ｔｐが表示される。
【００５６】
画像表示部２１８は、ポインタ重畳部２１７によりポインタＰｉが重畳された表示画像Ｉを、ディスプレイ２６の表示画面１２に表示する。但し、表示画像Ｉが決定されるまでの期間は、カメラ２７により撮影された複数の撮影画像をディスプレイ２６の表示画面１２に表示する。
【００５７】
画像領域抽出部２１９は、ポインタ重畳部２１７により表示画像Ｉに重畳された複数のポインタＰｉの座標（ｘｉ、ｙｉ）に基づき、表示画像Ｉから画像領域Ｒを抽出する。画像領域Ｒは、少なくとも表示画像Ｉよりも小さいことが好ましい。画像領域Ｒの抽出法は、種々の形態をとり得るが、本実施形態では、例えば表示画像Ｉに重畳された複数のポインタＰｉの軌跡Ｔｐの外接矩形、いわゆるＡＡＢＢ（Axis Aligned Bounding Box）を、画像領域Ｒとして抽出する。
【００５８】
画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備されている複数のパターン情報と、を比較する。画像領域Ｒの画像情報と、パターン情報との比較プロセスは、後述することとする。
【００５９】
情報取得部２２１は、画像比較部２２０による比較結果に基づき、画像領域Ｒに包含される物体に関連する情報を、例えばサーバＳから取得する。画像領域Ｒに周辺機器Ａが包含されている場合、例えば周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを取得しても良い。
【００６０】
時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像Ｉの決定時からの経過時間、エリア指定プログラムの起動時からの経過時間、などを管理する。
【００６１】
（コントローラ２１による処理フロー）
図４は、第１の実施形態にかかるコントローラ２１による処理のフローチャートである。図５は、第１の実施形態にかかるスマートフォン１０の動きにより表示画面１２に表示されるポインタＰｉの軌跡Ｔｐの概略図である。図６は、第１の実施形態にかかるスマートフォン１０を動かして、表示画像Ｉから画像領域Ｒを抽出する抽出プロセスの概略図である。
【００６２】
本実施形態にかかる処理フローは、エリア指定プログラムを起動することで開始する。処理フローが開始したら、図４に示すように、画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する（ステップＳ１０１）。画像取得部２１５により取得された複数の撮影画像は、逐次メモリ２２に構築された画像記憶部２５０に記憶される。
【００６３】
次に、表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、１枚の表示画像Ｉを決定する（ステップＳ１０２）。表示画像決定部２１６により決定された表示画像Ｉは、ディスプレイ２６の表示画面１２に背景画像として表示される。表示画像Ｉの決定プロセスは、後述することとする。
【００６４】
次に、角度算出部２１３は、角速度取得部２１２により取得されたｘ軸、ｙ軸、ｚ軸を中心とする第１の角速度ωｘ、第２の角速度ωｙ、第２の角速度ωｚに基づき、ｘ軸、ｙ軸、ｚ軸を中心とするスマートフォン１０の回転量、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出する（ステップＳ１０３）。
【００６５】
次に、座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、第１の角度θ及び第２の角度φに基づき、ディスプレイ２６の表示画面１２の範囲に包含され、カメラ２７の光軸の動きに連動する座標（ｘｉ、ｙｉ）を、所定時間ごとに算出する（ステップＳ１０４）。
【００６６】
次に、ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘｉ、ｙｉ）に、それぞれポインタｐｉを重畳する（ステップＳ１０５）。
【００６７】
例えば、図５（ａ）に示すように、利用者Ｕが、ｘ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰｉが次々と重畳され、表示画像Ｉの特定領域に、ｘ方向に往復するジグザグ型の軌跡Ｔｐが描写される。
【００６８】
又、図５（ｂ）に示すように、利用者Ｕが、ｙ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰｉが次々と重畳され、表示画像Ｉの特定領域に、ｙ方向に往復するジグザグ型の軌跡Ｔｐが描写される。
【００６９】
次に、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像決定部２１６により表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ１０６）。
【００７０】
表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断されない場合（ステップＳ１０６のＮｏ）、角度算出部２１３は、第１の角度θ、第２の角度φ、第３の角度ψの算出を継続する（ステップＳ１０３）。
【００７１】
一方、表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断された場合（ステップＳ１０６のＹｅｓ）、画像領域抽出部２１９は、複数のポインタＰｉの軌跡Ｔｐに外接する矩形領域を、表示画像Ｉから画像領域Ｒとして抽出する（ステップＳ１０７）。
【００７２】
次に、画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備された複数のパターン情報と、のマッチングを実施する（ステップＳ１０８）。画像領域Ｒの画像情報と、画像パターン情報とのマッチングプロセスは、後述することとする。
【００７３】
画像領域Ｒの画像領域と、複数のパターン情報の何れかとのマッチングが成功したと判断されなければ（ステップＳ１０９のＮｏ）、画像取得部２１５は、カメラ２７により撮影された撮影画像の取得を継続する（ステップＳ１０１）。
【００７４】
一方、画像領域Ｒの画像情報と、複数のパターン情報の何れかとのマッチングが成功したと判断されたら（ステップＳ１０９のＹｅｓ）、情報取得部２２１は、マッチングが成功したときのパターン情報に対応する関連情報を、例えばサーバＳから取得する。例えば、画像領域Ｒに周辺機器Ａが包含されている場合、周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを関連情報として取得しても良い。
【００７５】
本実施形態にかかるスマートフォン１０は、以上の処理フローを実現するためのエリア指定プログラムを搭載している。このため、カメラ２７の光軸を回転させるようにスマートフォン１０を動かすと、表示画面１２に表示された表示画像Ｉには、エリア指定プログラムの機能により、図６（ａ）に示すような、ポインタＰｉの軌跡Ｔｐが描写される。さらに、図６（ａ）に示すような、ポインタＰｉの軌跡Ｔｐが描写されると、エリア指定プログラムの機能により、図６（ｂ）に示すような、ポインタＰｉの軌跡Ｔｐに外接する矩形領域が、画像領域Ｒとして生成される。
【００７６】
従って、表示画像Ｉに表示されているターゲットとしての周辺機器Ａに、ポインタＰｉの軌跡Ｔｐが重畳するようにスマートフォン１０を動かせば、周辺機器Ａが包含された、表示画像Ｉよりも小さい矩形領域を、画像領域Ｒとして指定することができる。
【００７７】
以上の処理フローを経ることで、スマートフォン１０は、撮影画像に表示されている物体、例えば周辺機器Ａの関連情報を、スマートフォン１０に取り込むことができる。これにより、スマートフォン１０は、非常に簡単に、例えば周辺機器Ａと機能連携することができる。
【００７８】
（表示画像決定部２１６の詳細）
図７は、第１の実施形態にかかる表示画像決定部２１６の機能ブロックの概略図である。図８（ａ）は、第１の実施形態にかかるスマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍのグラフである。図８（ｂ）は、第１の実施形態にかかるスマートフォン１０の加速度の動き成分から算出されたＳＭＡ値のグラフである。なお、図８（ａ）に於ける３本のグラフは、それぞれ動き成分ａｘｍ、ａｙｍ、ａｚｍの何れかを示している。図８（ｂ）に於ける二点鎖線は、ＳＭＡ値の閾値を示している。
【００７９】
図７に示すように、本実施形態にかかる表示画像決定部２１６は、ＡＣ成分取得部２１６ａ、ＳＭＡ算出部２１６ｂ、静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備える。
【００８０】
ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得されたｘ軸、ｙ軸、ｚ軸の軸方向の第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚから重力成分を除去して、スマートフォン１０の動きに由来する加速度の成分、即ち動き成分ａｘｍ、ａｙｍ、ａｚｍを取得する。ＡＣ成分取得部２１６ａとしては、いわゆるハイパスフィルタが用いられる。
【００８１】
図８（ａ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍが高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍが低いことがわかる。
【００８２】
ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより取得された加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍに基づき、ＳＭＡ（Signal Magnitude Area）値を算出する。ＳＭＡ値の算出式は、特に限定されるものではないが、本実施形態では、以下の数式（１０）を使用する。
【００８３】
【数１０】
【００８４】
なお、数式（１０）に於いて、ｉは、サンプリングの識別番号（何回目のサンプリングかを意味するもの）であって、Ｔは、動き成分ａｘｍ（ｉ）、ａｙｍ（ｉ）、ａｚｍ（ｉ）のサンプリング期間である。
【００８５】
図８（ｂ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、ＳＭＡ値が高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、ＳＭＡ値が低いことがわかる。
【００８６】
静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されたＳＭＡ値と、事前に設定された閾値と、を比較して、事前に決められた時間にわたりＳＭＡ値が閾値より低い場合に、スマートフォン１０が静止したと判定する。
【００８７】
例えば、図８（ｂ）に示すように、事前に決められた時間が５０［ms］であれば、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、５０［ms］以上にわたりＳＭＡ値が閾値より低いので、スマートフォン１０は、静止したと判定されることになる。
【００８８】
撮影指示部２１６ｄは、静止判定部２１６ｃによりスマートフォン１０が静止していると判定された場合、表示画像取込部２１６ｅに撮影画像の取り込みを指示する。
【００８９】
表示画像取込部２１６ｅは、撮影指示部２１６ｄから撮影画像の取り込みを指示されたら、撮影画像の取り込みを指示された直後の撮影画像を、表示画像Ｉとして取り込む。表示画像取込部２１６ｅにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。
【００９０】
これにより、利用者Ｕは、例えば表示画面１２に周辺機器Ａを表示させつつ、スマートフォン１０を静止させると、自動的に１枚の撮影画像が表示画像Ｉとして取り込まれることとなる。このため、例えばスマートフォン１０を片手で保持しているときにも、簡単にターゲットである周辺機器Ａを包含する表示画像Ｉを取得することができる。
【００９１】
（表示画像決定部２１６による処理のフロー）
図９は、第１の実施形態にかかる表示画像決定部２１６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２１６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１が実現していることは言うまでもない。
【００９２】
本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始したら、図９に示すように、ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得された第１の加速度ａｘ、第２の加速度ａｙ第３の加速度ａｚから、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍを取得する（ステップＳ２０１）。
【００９３】
これと並行して、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間のカウントを開始する（ステップＳ２０２）。
【００９４】
次に、ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより抽出された加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍに基づき、ＳＭＡ値を算出する（ステップＳ２０３）。
【００９５】
次に、静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されるＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いか判断する（ステップＳ２０４）。
【００９６】
ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されない場合（ステップＳ２０４のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍの取得を継続する（ステップＳ２０１）。
【００９７】
一方、ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されたら（ステップＳ２０４のＹｅｓ）、撮影指示部２１６ｄは、表示画像取込部２１６ｅに撮影画像の取り込みを指示する（ステップＳ２０５）。
【００９８】
次に、表示画像取込部２１６ｅは、カメラ２７により連続的に取得されていた複数の撮影画像のうち、撮影指示部２１６ｂが取り込みを指示した直後に取得された撮影画像を取り込む（ステップＳ２０６）。表示画像取込部２１６ｅにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。
【００９９】
（画像比較部２２０の詳細）
図１０は、第１の実施形態にかかる画像比較部２２０の機能ブロックの概略図である。
【０１００】
図１０に示すように、本実施形態にかかる画像比較部２２０は、第１の特徴量算出部２２０ａ、第２の特徴量算出部２２０ｂ、特徴量比較部２２０ｃを備える。
【０１０１】
第１の特徴量算出部２２０ａは、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報に基づき、特徴量を算出する。特徴量は、特に限定されるものではないが、例えば画像領域Ｒに包含される物体の特徴的な位置などを数値化した指標を用いても良い。
【０１０２】
第２の特徴量算出部２２０ｂは、テンプレート記憶部２５１に記憶された複数のテンプレート情報に基づき、それぞれの特徴量を算出する。特徴量は、第１の特徴量算出部２２０ａにより算出される特徴量と同様に、それぞれのテンプレートの特徴的な位置などを数値化した指標を用いても良い。第２の特徴量算出部２２０ｂにより算出された、それぞれのテンプレートの特徴量は、テンプレートの識別情報に対応づけて、メモリ２２に構築された特徴量記憶部２５３に記憶される。テンプレート情報の詳細は、後述することとする。
【０１０３】
特徴量比較部２２０ｃは、第１の特徴量算出部２２０ａにより算出された、画像領域Ｒの画像情報の特徴量と、第２の特徴量算出部２２０ｂにより算出された複数のテンプレートの特徴量と、を比較して、相互の照合度を算出する。さらに、特徴量比較部２２０ｃは、特徴量の照合度が、事前に決められた閾値を超えるテンプレートが存在するか判断する。
【０１０４】
（データベースＤＢの概略）
図１１は、第１の実施形態にかかるテンプレート記憶部２５１に記憶されているテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…のデータベースＤＢの概略図である。
【０１０５】
図１１に示すように、本実施形態にかかるデータベースＤＢは、複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…と、それぞれのテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…の識別番号と、を対応づけている。
【０１０６】
例えば、テンプレートＴｍ１は、識別番号０００１に、テンプレートＴｍ２は、識別番号０００２に、テンプレートＴｍ３は、識別番号０００３に、それぞれ対応づけられている。なお、本実施形態では、テンプレートＴｍ１としてプロジェクタ、テンプレートＴｍ２としてコピー機、テンプレートＴｍ３としてＰＣモニタを採用している。
【０１０７】
（マッチングの概略）
図１２は、第１の実施形態にかかる画像比較部２２０によるマッチングの概略図である。画像領域抽出部２１９により画像領域Ｒが抽出されたら、図１２に示すように、画像領域Ｒの画像情報の特徴量が、テンプレート記憶部２５１に記憶されたデータベースＤＢの、それぞれのテンプレートＴｍ１、Ｔｍ２、Ｔｍ３の特徴量と照合される。なお、テンプレートＴｍ１、Ｔｍ２、Ｔｍ３の特徴量は、特徴量記憶部２５３に記憶されているので、実際には、特徴量記憶部２５３を参照することとなる。
【０１０８】
複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３の中に、画像領域Ｒの画像情報の特徴量との照合度が、事前に決められた閾値を超えるテンプレートがあれば、該テンプレートに対応づけられた情報、例えば識別番号や操作プログラムなどが、例えばサーバＳから取得される。本実施形態に於いて、例えば画像領域Ｒの画像情報の特徴量と、テンプレートＴｍ１の特徴量との照合度が、閾値を超えているとすれば、テンプレートＴｍ１に対応する識別情報０００１がスマートフォン１０により取得されることになる。
【０１０９】
このように、本実施形態によれば、表示画像Ｉよりも小さい画像領域Ｒの画像情報の特徴量と、複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…の特徴量とを比較している。このため、表示画像Ｉの全体の特徴量を算出するよりも計算量を減らすことができる。
【０１１０】
［第２の実施形態］
以下、図１３−図１７を参照しながら、第２の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１１１】
第２の実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える点で、第１の実施形態にかかるコントローラ２１と異なる。
【０１１２】
（コントローラ２１Ａの機能ブロック）
図１３は、第２の実施形態にかかるコントローラ２１Ａの機能ブロックの概略図である。
【０１１３】
図１３に示すように、本実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える。サイズ調整部２２３は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
【０１１４】
（サイズ調整部２２３の詳細）
図１４は、第２の実施形態にかかるサイズ調整部２２３の機能ブロックの概略図である。
【０１１５】
図１４に示すように、本実施形態にかかるサイズ調整部２２３は、比較部２２３ａ、倍率算出部２２３ｂ、拡縮部２２３ｃ、拡縮判定部２２３ｄを備える。
【０１１６】
比較部２２３ａは、角度算出部２１３により算出された、ｚ軸を中心とする第３の角度ψの絶対値と、事前に決められた閾値ψ０と、を比較する。
【０１１７】
倍率算出部２２３ｂは、角度算出部２１３により算出された第３の角度ψの絶対値と、角速度取得部２１２により取得された第３の角速度ωｚと、に基づき、画像領域Ｒを拡縮するための倍率を算出する。本実施形態に於いて、画像領域Ｒを拡縮するための倍率は、第３の角度ψの増加に比例している。このため、ｚ軸を中心とするスマートフォン１０の回転量を増大させると、画像領域Ｒを拡縮するための倍率も増大する。又、本実施形態に於いて、画像領域Ｒを拡大するか、もしくは、縮小するかは、第３の角速度ωｚの向きより決められる。このため、ｚ軸を中心とするスマートフォン１０の回転方向を反転させると、画像領域Ｒの拡大及び縮小も反転する。但し、第３の角度ψが閾値ψ０よりも小さい場合、倍率算出部２２３ｂは、画像領域Ｒの倍率を算出しない。これは、利用者Ｕの意図ではない、例えば手ぶれによるスマートフォン１０の回転を取り除くためである。
【０１１８】
拡縮部２２３ｃは、倍率算出部２２３ｂにより決定された倍率に基づき、画像領域Ｒのサイズを調整する。サイズを調整された画像領域Ｒは、表示画像Ｉにリアルタイム表示される。即ち、画像領域Ｒのサイズが変化する様子は、表示画面Ｉに表示される。
【０１１９】
拡縮判定部２２３ｄは、第３の角速度ωｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さいか判断する。第３の角速度ωｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さければ、画像領域Ｒのサイズ調整を目的としていないと推測されるからである。例えば、手ぶれ等によってスマートフォン１０が回転していると推測されるからである。
【０１２０】
（サイズ調整部２２３による処理のフロー）
図１５は、第２の実施形態にかかるサイズ調整部２２３による処理のフローチャートである。なお、本実施形態では、サイズ調整部２２３による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ａが実現していることは言うまでもない。
【０１２１】
画像領域Ｒを包含する表示画像Ｉが表示画面１２に表示されたら、図１５に示すように、比較部２２３ａは、角度算出部２１３により算出された第３の角度ψを取得し（ステップＳ３０１）、第３の角度ψの大きさが閾値ψ０よりも大きいか判断する（ステップＳ３０２）。
【０１２２】
第３の角度ψの大きさが閾値ψ０よりも大きいと判断されなければ（ステップＳ３０２のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、第３の角度ψの大きさが閾値ψ０よりも大きいと判断されたら（ステップＳ３０２のＹｅｓ）、倍率算出部２２３ｂは、第３の角度ψの大きさに基づき、画像領域Ｒを拡縮するための倍率の絶対値を、第３の角速度ωｚに基づき、画像領域Ｒの拡大もしくは縮小を、それぞれ算出する（ステップＳ３０３）。
【０１２３】
次に、拡縮部２２３ｃは、倍率算出部２２３ｂにより算出された倍率に基づき、画像領域Ｒのサイズを調整する（ステップＳ３０４）。
【０１２４】
次に、拡縮判定部２２３ｄは、第３の角速度ωｚが、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さいか判断する（ステップＳ３０５）。事前に決められた時間にわたり、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されなければ（ステップＳ３０５のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、事前に決められた時間にわたり、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されたら（ステップＳ３０５のＹｅｓ）、画像領域Ｒのサイズ調整が終了したものとみなして、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されたときの画像領域Ｒを固定する（ステップＳ３０６）。
【０１２５】
図１６は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。図１７は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。
【０１２６】
図１６（ａ）に示すように、サイズ調整前の表示画像Ｉは、ポインタＰｉの軌跡Ｔｐに外接する矩形状の画像領域Ｒを包含しているが、ｚ軸を中心にスマートフォン１０を左側に角度ψ（＞ψ０）だけ回転させると、図１６（ｂ）に示すように、画像領域Ｒが拡大する。このため、図１７（ａ）に示すように、ターゲットである周辺機器Ａの表示領域よりも画像領域Ｒが小さくても、ｚ軸を中心としてスマートフォン１０を回転させるだけで、周辺機器Ａの表示領域の全体を包含する画像領域Ｒを生成することができる。即ち、周辺機器Ａの表示領域の極一部にポインタＰｉの軌跡Ｔｐを描画すれば、画像領域Ｒを拡大させることで、周辺機器Ａを指定することができるので、ポインタＰｉの軌跡Ｔｐを描画するために要する時間を短縮することができる。
【０１２７】
［第３の実施形態］
以下、図１８、図１９を参照しながら、第３の実施形態を説明する。但し、第２の実施形態と同等の構成や処理については、説明を省略することとする。
【０１２８】
第３の実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３とは異なるサイズ調整部２２４を備える点で、第２の実施形態にかかるコントローラ２１Ａと異なる。
【０１２９】
（コントローラ２１Ｂの機能ブロック）
図１８は、第３の実施形態にかかるコントローラ２１Ｂの機能ブロックの概略図である。
【０１３０】
図１８に示すように、本実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３と異なるサイズ調整部２２４を備える。サイズ調整部２２４は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
【０１３１】
（サイズ調整部２２４の詳細）
図１９は、第３の実施形態にかかるサイズ調整部２２４の機能ブロックの概略図である。
【０１３２】
図１９に示すように、本実施形態にかかるサイズ調整部２２４は、さらに、第１のフィルタ部２２４ａ、第２のフィルタ部２２４ｂ、角度変換部２２４ｃ、角度指標算出部２２４ｄを備える。
【０１３３】
第１のフィルタ部２２４ａは、加速度取得部２１１により取得された第１の加速度ａｘ、第１の加速度ａｙ、第１の加速度ａｚのうち、ｘ軸の軸方向の第１の加速度ａｘを受け取り、第１の加速度ａｘからスマートフォン１０の動きに由来する動き成分ａｘｍを除去することで、地球の重力に由来する重力成分ａｘｇを取得する。なお、本実施形態では、第１の加速度ａｘの重力成分ａｘｇを取得しているが、本実施形態は、これに限定されるものではない。例えば、ｙ軸の軸方向の第２の加速度ａｙからスマートフォン１０の動きに由来する動き成分ａｙｍを除去して、地球の重力に由来する重力成分ａｙｇを取得しても良い。さらに、第１の加速度ａｘの重力成分ａｘｇ及び第２の加速度ａｙの成分ａｙｍの双方を取得しても良い。第１のフィルタ部２２４ａとしては、いわゆるローパスフィルタが用いられる。
【０１３４】
角度変換部２２４ｂは、第１のフィルタ部２２４ａにより取得された、ｘ軸の軸方向の第１の加速度ａｘの重力成分ａｘｇと、事前に記憶されている重力加速度ｇと、に基づき、第１の加速度ａｘの重力成分ａｘｇを、ｚ軸を中心とするスマートフォン１０の回転角ψａに変換する。
【０１３５】
第２のフィルタ部２２４ｃは、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｚ軸を中心とする第３の角度ψを受け取り、第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψｄを除去することで、ｚ軸を中心とするスマートフォン１０の回転角ψｂを取得する。第２のフィルタ部２２４ｃとしては、いわゆるハイパスフィルタが用いられる。
【０１３６】
角度指標算出部２２４ｄは、角度変換部２２４ｂにより変換された回転角ψａと、第２のフィルタ部２２４ｃにより取得された回転角ψｂと、を利用して、スマートフォン１０の傾きの程度を表現する回転角指標ψindexを算出する。回転角指標ψindexの算出式は、以下の数式（１１）のように表現される。
【０１３７】
【数１１】
【０１３８】
なお、数式（１１）に於いて、「α」及び「１−α」は、それぞれ回転角ψａ及び回転角ψｂへの重みづけ乗数である。
【０１３９】
本実施形態では、数式（１１）により算出された回転角指標ψindexを第３の角度ψとみなして、第２の実施形態と同様に、表示画面１２に表示された画像領域Ｒのサイズを調整することとなる。
【０１４０】
本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、角度算出部２１３により算出された第３の角度ψだけでなく、加速度取得部２１１により取得された第１の加速度ａｘも使用している。このため、画像領域Ｒのサイズ調整の信頼性を高めることができる。
【０１４１】
さらに、本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、ｚ軸を中心とする第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψｄを除去した回転角ψｂを用いている。このため、ジャイロセンサ２８ｂのドリフトの影響により、利用者Ｕが意図しないサイズ調整が行われることを防止することができる。
【０１４２】
［第４の実施形態］
以下、図２０−図２３を参照しながら、第４の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１４３】
第４の実施形態にかかるコントローラ２１Ｃは、第１の実施形態にかかる画像領域抽出部２１９とは異なる画像領域抽出部２２５を備える点で、第１の実施形態にかかるコントローラ２１と異なる。
【０１４４】
（コントローラ２１Ｃの機能ブロック）
図２０は、第４の実施形態にかかるコントローラ２１Ｃの機能ブロックの概略図である。
【０１４５】
図２０に示すように、本実施形態にかかるコントローラ２１Ｃは、第３の実施形態にかかる画像領域抽出部２１９と異なる画像領域抽出部２２５を備える。画像領域抽出部２２５は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｃにより実現される。
【０１４６】
（画像領域抽出部２２５の詳細）
図２１は、第４の実施形態にかかる画像領域抽出部２２５の機能ブロックの概略図である。
【０１４７】
図２１に示すように、本実施形態にかかる画像領域抽出部２２５は、第１の抽出部２２５ａ、ポインタ重心算出部２２５ｂ、距離算出部２２５ｃ、第２の抽出部２２５ｄを備える。
【０１４８】
第１の抽出部２２５ａは、ポインタ重畳部２１７により複数のポインタＰｉが重畳された表示画面Ｉから、複数のポインタＰｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ１を抽出する。複数のポインタＰｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ１の抽出法は、特に限定されるものではないが、本実施形態では、複数のポインタＰｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ１として抽出する。
【０１４９】
ポインタ重心算出部２２５ｂは、ポインタ重畳部２１７により複数のポインタＰｉが重畳された表示画面Ｉに基づき、表示画面Ｉに於ける複数のポインタＰｉの重心Ｃｇの座標を算出する。
【０１５０】
距離算出部２２５ｃは、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１のｘ軸の正方向に位置する第１の境界Ｂ１までの第１の距離ｄ１と、第１の矩形領域Ｒ１のｘ軸の負方向に位置する第２の境界Ｂ２までの第２の距離ｄ２と、をそれぞれ算出する。
【０１５１】
第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ１及び第２の距離ｄ２を比較する。さらに、第２の抽出部２２５ｄは、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離だけ、複数のポインタＰｉの重心Ｃｇから離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ２を抽出する。
【０１５２】
（画像領域抽出部２２５による処理のフロー）
図２２は、第４の実施形態にかかる画像領域抽出部２２５による処理のフローチャートである。図２３は、第４の実施形態にかかる最適な画像領域Ｒを抽出する抽出プロセスの概略図である。なお、本実施形態では、画像領域抽出部２２５による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｃが実現していることは言うまでもない。
【０１５３】
本実施形態にかかる処理フローは、表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたと判断された時点、即ちポインタ重畳部２１７による、複数のポインタＰｉの重畳が終了したと判断された時点で開始する。
【０１５４】
処理フローが開始したら、第１の抽出部２２５ａは、図２３（ａ）に示すように、複数のポインタＰｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ１として表示画面Ｉから抽出する（ステップＳ４０１）。
【０１５５】
次に、ポインタ重心算出部２２５ｂは、図２３（ｂ）に示すように、表示画像Ｉの画像情報に基づき、表示画像Ｉに於ける複数のポインタＰｉの重心Ｃｇの座標を算出する（ステップＳ４０２）。表示画像Ｉに於ける、複数のポインタＰｉの重心Ｃｇの座標に、重心のマーク、例えばドットなどを表示させても良い。
【０１５６】
次に、距離算出部２２５ｃは、図２３（ｃ）に示すように、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１のｘ軸の正方向に位置する第１の境界Ｂ１までの第１の距離ｄ１と、第１の矩形領域Ｒ１のｘ軸の負方向に位置する第２の境界Ｂ２までの第２の距離ｄ２と、をそれぞれ算出する（ステップＳ４０３）。
【０１５７】
次に、第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ１及び第２の距離ｄ２を比較する（ステップＳ４０４）。さらに、第２の抽出部２２５ｄは、図２３（ｄ）に示すように、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離、本実施形態では第１の距離ｄ１だけ、複数のポインタＰｉの重心Ｃｇからｘ軸の正負に離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ２を、画像領域Ｒとして抽出する（ステップＳ４０５）。なお、図中の斜線領域は、第１の矩形領域Ｒ１から第２の矩形領域Ｒ２を抽出するときに、第１の矩形領域Ｒ１から削除された領域である。
【０１５８】
本実施形態によれば、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１の第１の境界Ｂ１及び第２の境界Ｂ２までの第１の距離ｄ１及び第２の距離ｄ２を算出し、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離だけ、複数のポインタＰｉの重心Ｃｇから離間した位置に、それぞれの境界を有する画像領域Ｒを生成している。
【０１５９】
このため、利用者Ｕが画像領域Ｒを指定している最中に、例えばスマートフォン１０を不本意に揺らしてしまい、図２３（ａ）に示すように、複数のポインタＰｉの密度が低い領域が発生しても、図２３（ｄ）に示すように、複数のポインタＰｉの密度が低い領域（図中の斜線領域）を削除した画像領域Ｒを抽出することができる。即ち、利用者Ｕが指定したい領域だけを画像領域Ｒとして抽出することができる。
【０１６０】
［第５の実施形態］
以下、図２４−図２６を参照しながら、第５の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１６１】
第５の実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える点で、第１の実施形態にかかるコントローラ２１と異なる。
【０１６２】
（コントローラ２１Ｄの機能ブロック）
図２４は、第５の実施形態にかかるコントローラ２１Ｄの機能ブロックの概略図である。
【０１６３】
図２４に示すように、本実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える。表示画像決定部２２６は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｄにより実現される。
【０１６４】
（表示画像決定部２２６の詳細）
図２５は、第５の実施形態にかかる表示画像決定部２２６の機能ブロックの概略図である。
【０１６５】
図２５に示すように、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６のＡＣ成分取得部２１６ａ及びＳＭＡ算出部２１６ｂのほかに、最小ＳＭＡ特定部２２６ａ、表示画像取込部２２６ｂ、を備える。しかし、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６の静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備えない。
【０１６６】
最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより算出された複数のＳＭＡ値から、所定の時間区間に於ける最小のＳＭＡ値を特定する。なお、最小のＳＭＡ値の特定は、事前に決められた時間ごとに実施される。
【０１６７】
表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２６ａにより特定された、所定の時間区間に於ける最小のＳＭＡ値に対応する撮影画像を選択して、表示画像Ｉとして取り込む。なお、最小のＳＭＡ値に対応する撮影画像を選択する場合、それぞれの撮影画像に対応づけられた撮影時刻を利用すれば良い。表示画像取込部２２６ｂにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。
【０１６８】
（表示画像決定部２２６による処理のフロー）
図２６は、第５の実施形態にかかる表示画像決定部２２６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２２６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｄが実現していることは言うまでもない。
【０１６９】
本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始して、図２６に示すように、ＳＭＡ算出部２１６ｂによりＳＭＡ値が算出されたら（ステップＳ２０３）、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ５０１）。
【０１７０】
エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されなければ（ステップＳ５０１のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍの取得を継続する（ステップＳ２０１）。
【０１７１】
一方、エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されたら（ステップＳ５０１のＹｅｓ）、最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより所定の時間区間に算出された複数のＳＭＡ値から、最小のＳＭＡ値を特定する（ステップＳ５０２）。
【０１７２】
次に、表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２５ａにより特定された最小のＳＭＡ値に対応する１枚の撮影画像を取り込む（ステップＳ５０３）。表示画像取込部２２６ｂにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。
【０１７３】
本実施形態によれば、カメラ２７により撮影された複数の撮影画像を画像記憶部２５０に記憶しておき、所定時間が経過するごとに、直前の時間区間に撮影された撮影画像から、ＳＭＡ値が最小となる撮影画像を表示画像Ｉとして設定する。このため、例えば手ぶれ等の症状がある利用者Ｕであっても、確実に表示画像Ｉを設定することができる。
【０１７４】
［第６の実施形態］
以下、図２７を参照しながら、第６の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１７５】
図２７は、第６の実施形態にかかるスマートフォン１０及びサーバＳの概略図である。
【０１７６】
図２７に示すように、本実施形態にかかるスマートフォン１０のコントローラ２１Ｅは、画像比較部２２０を備えておらず、代わりに、サーバＳのコントローラ３００が画像比較部２２０を備えている。即ち、本実施形態にかかる画像比較部２２０は、第１の実施形態にかかる画像比較部２２０と同等の機能を有するが、サーバＳ側に構築している点で、第１の実施形態と異なる。これに付随して、テンプレート記憶部２５１もサーバＳのメモリ３１０に構築されている。
【０１７７】
本実施形態のように、画像比較部２２０をサーバＳ側に構築すれば、マッチングに必要な計算負荷をサーバＳに担わせることができるので、スマートフォン１０の負荷を軽減することができる。
【符号の説明】
【０１７８】
１０：スマートフォン
１２：表示画面
２７：カメラ
２１１：加速度取得部
２１２：角速度取得部
２１３：角度算出部
２１４：座標算出部
２１６：表示画像決定部
２１７：ポインタ重畳部
２１８：画像表示部
２１９：画像領域抽出部
２２０：画像比較部
２２１：情報取得部
２２３：サイズ調整部
２２４：サイズ調整部
２２５：画像領域抽出部
２２５ａ：第１の抽出部
２２５ｂ：ポインタ重心算出部
２２５ｃ：距離算出部
２２５ｄ：第２の抽出部
２２６：表示画像決定部
Ｂ１：第１の境界線
Ｂ２：第２の境界線
Ｃｇ：重心
ｄ１：第１の距離
ｄ２：第２の距離
Ｉ：表示画像
Ｐｉ：ポインタ
Ｒ：画像領域
Ｒ１：第１の矩形領域
Ｒ２：第２の矩形領域
θ：第１の角度
φ：第２の角度
ψ：第３の角度
【技術分野】
【０００１】
開示の技術は、例えば携帯型端末装置、エリア指定方法及びエリア指定プログラムに関する。
【背景技術】
【０００２】
例えばスマートフォンなどの携帯型端末装置を周辺機器と連携させる場合、携帯型端末装置に周辺機器のＩＰアドレスやＭＡＣアドレス等を入力して、ターゲットとなる周辺機器を指定しなければならない。このような作業を省略するために、利用者が実世界で見ている物体、即ち周辺機器を直接ポインティングし、物体に紐づいた情報を取得する物体指定技術が開発されている。
【０００３】
物体指定技術としては、例えば、物体に貼り付けられた光ＩＤタグに光ビームを照射し、光ＩＤタグでの光ビームの反射光に基づき、光ＩＤタグの識別情報を読み取るＩＤリーダが開示されている。従来技術にかかる光ＩＤタグは、光ＩＤリーダから放射された光ビームを、光ＩＤタグのメモリに記憶された識別情報で変調することで、光ＩＤタグの反射光に識別情報を付加する。このため、ＩＤリーダは、光ＩＤタグの反射光を受信することで、光ＩＤタグの識別情報を取得することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来技術にかかるＩＤリーダによれば、光ＩＤタグに光ビームを照射しなければならない。しかし、遠隔地にある光ＩＤタグに光ビームを正確に照射することは容易ではない。
【０００６】
開示の技術は、撮影画像からターゲットのエリアを指定できる携帯型端末装置、エリア指定方法及びエリア指定プログラムを提供する。
【課題を解決するための手段】
【０００７】
開示の技術の一観点によれば、携帯型端末装置に於いて、カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、前記表示画像の前記座標にポインタを重畳する重畳部と、前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、前記表示画像から前記ポインタを包含する画像領域を抽出する抽出部と、を備える携帯型端末装置が提供される。
【発明の効果】
【０００８】
開示の技術によれば、撮影画像からターゲットのエリアを指定することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかるスマートフォンの斜視図である。
【図２】第１の実施形態にかかるスマートフォンのハードウェアの概略図である。
【図３】第１の実施形態にかかるコントローラの機能ブロックの概略図である。
【図４】第１の実施形態にかかるコントローラによる処理のフローチャートである。
【図５】第１の実施形態にかかるスマートフォンの動きにより表示画面に表示されるポインタの軌跡の概略図である。
【図６】第１の実施形態にかかるスマートフォンを動かして、表示画像から画像領域を抽出する抽出プロセスの概略図である。
【図７】第１の実施形態にかかる表示画像決定部の機能ブロックの概略図である。
【図８】第１の実施形態にかかるスマートフォンの動きに由来する加速度の動き成分のグラフ及びスマートフォンの加速度の動き成分から算出されたＳＭＡ値のグラフである。
【図９】第１の実施形態にかかる表示画像決定部による処理のフローチャートである。
【図１０】第１の実施形態にかかる画像比較部の機能ブロックの概略図である。
【図１１】第１の実施形態にかかるテンプレート記憶部に記憶されているテンプレートのデータベースの概略図である。
【図１２】第１の実施形態にかかる画像比較部によるマッチングの概略図である。
【図１３】第２の実施形態にかかるコントローラの機能ブロックの概略図である。
【図１４】第２の実施形態にかかるサイズ調整部の機能ブロックの概略図である。
【図１５】第２の実施形態にかかるサイズ調整部による処理のフローチャートである。
【図１６】第２の実施形態にかかる画像領域のサイズを調整するサイズ調整プロセスの概略図である。
【図１７】第２の実施形態にかかる画像領域のサイズを調整するサイズ調整プロセスの概略図である。
【図１８】第３の実施形態にかかるコントローラの機能ブロックの概略図である。
【図１９】第３の実施形態にかかるサイズ調整部の機能ブロックの概略図である。
【図２０】第４の実施形態にかかるコントローラの機能ブロックの概略図である。
【図２１】第４の実施形態にかかる画像領域抽出部の機能ブロックの概略図である。
【図２２】第４の実施形態にかかる画像領域抽出部による処理のフローチャートである。
【図２３】第４の実施形態にかかる最適な画像領域を抽出する抽出プロセスの概略図である。
【図２４】第５の実施形態にかかるコントローラの機能ブロックの概略図である。
【図２５】第５の実施形態にかかる表示画像決定部の機能ブロックの概略図である。
【図２６】第５の実施形態にかかる表示画像決定部による処理のフローチャートである。
【図２７】第６の実施形態にかかるスマートフォン及びサーバの概略図である。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図１−図１２を参照しながら、第１の実施形態を説明する。
【００１１】
（スマートフォン１０の概略）
図１は、第１の実施形態にかかるスマートフォン１０の斜視図である。
【００１２】
図１に示すように、本実施形態にかかるスマートフォン１０は、矩形箱型の筺体１１と、長方形型の表示画面１２と、丸型の操作ボタン１３と、を備える。なお、本実施形態では、スマートフォン１０を説明するが、カメラ機能を搭載する携帯性端末であれば、スマートフォン１０に限定されるものではない。
【００１３】
本実施形態にかかるスマートフォン１０は、相互に直交する３軸、即ちｘ軸、ｙ軸、ｚ軸が規定されている。なお、図示するように、ｘ軸は、表示画面１２の長手方向に、ｙ軸は、表示画面１２の短手方向に、ｚ軸は、表示画面１２の直交方向に、それぞれ延在している。
【００１４】
（スマートフォン１０のハードウェア）
図２は、第１の実施形態にかかるスマートフォン１０のハードウェアの概略図である。
【００１５】
図２に示すように、本実施形態にかかるスマートフォン１０は、コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８を備える。
【００１６】
コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８は、例えばバスＢにより相互に接続されている。
【００１７】
コントローラ２１は、フラッシュメモリ２３に格納された各種プログラムを読み出して、メモリ２２に展開するとともに、該メモリ２２に展開された各種プログラムを実行することで、各種機能を実現する。各種機能の詳細は、後述することとする。
【００１８】
メモリ２２は、コントローラ２１によりフラッシュメモリ２３から読み出された各種プログラムを記憶する。さらに、メモリ２２は、例えば画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３、として機能して、コントローラ２１により各種機能が実行されるときに使用される各種データなどを記憶する。画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３の詳細は、後述することとする。
【００１９】
フラッシュメモリ２３は、スマートフォン１０の動作を制御するための各種プログラムを記憶する。本実施形態にかかるエリア指定プログラムもフラッシュメモリ２３に記憶されている。なお、本実施形態では、フラッシュメモリ２３を使用しているが、不揮発性メモリであれば、これに限定されるものではない。
【００２０】
通信モジュール２４は、後述する表示画像Ｉから抽出された画像領域Ｒの画像情報を、例えばスマートフォン１０の通信機能により、例えば外部のサーバＳに送信する。さらに、通信モジュール２４は、周辺機器Ａ、Ｂ…のそれぞれに紐づけられた情報、例えば周辺機器Ａ、Ｂ…の識別情報や、周辺機器Ａ、Ｂ…の操作プログラムなどを、例えば外部のサーバＳから受信する。
【００２１】
リアルタイムクロック２５は、例えば、コントローラ２１のイベントタイマ（図示しない）の校正や、例えば複数の撮影画像から表示画像Ｉを取得するために使用される。
【００２２】
ディスプレイ２６は、筺体１１の内部に配置され、筺体１１の前面から表示画面１２を露出させている。ディスプレイ２６の種類は、特に限定されるものではないが、表示画面１２には、タッチスクリーン（図示しない）が貼り付けられている。
【００２３】
カメラ２７は、筺体１１の内部に配置され、筺体１１の後面からレンズユニット（図示しない）を露出させ、筺体１１の後側、即ち該ディスプレイ２６の表示画面１２とは逆側を撮影する。但し、本実施形態は、これに限定されるものではなく、例えば筺体１１の前面からカメラ２７のレンズユニット（図示しない）を露出させ、筺体１１の前側を撮影させても良い。
【００２４】
慣性センサ２８は、加速度センサ２８ａ及びジャイロセンサ２８ｂを備える。本実施形態では、加速度センサ２８ａ及びジャイロセンサ２８ｂを、慣性センサ２８の１パッケージに組み込んでいるが、別々のパッケージとしても良い。
【００２５】
加速度センサ２８ａは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸の軸方向の加速度、即ち第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚを、それぞれ検知する。但し、スマートフォン１０の姿勢によっては、第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚが、スマートフォン１０の動きに由来する動き成分のほかに、地球の重力成分を含むこともある。
【００２６】
ジャイロセンサ２８ｂは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸を中心とする角速度、即ち第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚを検出する。なお、第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚは、スマートフォン１０の動きに由来する動き成分の他に、ジャイロセンサ２８ｂのドリフトに由来するドリフト成分を含むこともある。
【００２７】
（コントローラ２１の機能ブロック）
図３は、第１の実施形態にかかるコントローラ２１の機能ブロックの概略図である。
【００２８】
図３に示すように、本実施形態にかかるコントローラ２１は、加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３を備える。
【００２９】
加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３は、何れもメモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
【００３０】
加速度取得部２１１は、慣性センサ２８の加速度センサ２８ａにより検出された加速度、即ちｘ軸の軸方向の第１の加速度ａｘ、ｙ軸の軸方向の第２の加速度ａｙ、ｚ軸の軸方向の第３の加速度ａｙ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。
【００３１】
角速度取得部２１２は、慣性センサ２８のジャイロセンサ２８ｂにより検出された角速度、即ちｘ軸を中心とする第１の角速度ωｘ、ｙ軸を中心とする第２の角速度ωｙ、ｚ軸を中心とする第３の角速度ωｚ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。
【００３２】
角度算出部２１３は、角速度取得部２１２により取得された第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚに基づき、ｘ軸を中心とする第１の角度θ、ｙ軸を中心とする第２の角度φ、ｚ軸を中心とする第３の角度ψを、それぞれ算出する。
【００３３】
第１の角度θ、第２の角度φ、第３の角度ψは、表示画像決定部２１６により表示画像Ｉが決定されたときのスマートフォン１０の姿勢（以下、初期姿勢とする）を基準とする、ｘ軸、ｙ軸、ｚ軸を中心とした回転量（回転角）である。従って、第１の角度θ、第２の角度φ、第３の角度ψが算出されると、初期姿勢を基準とするスマートフォン１０の姿勢が決まる。以下、第１の角度θ、第２の角度φ、第３の角度ψの算出法を説明する。
【００３４】
本実施形態では、第１の角度θ、第２の角度φ、第３の角度ψを算出するために、四元数を使用する。四元数をＱ（ｑ０、ｑ１、ｑ２、ｑ３）とし、角速度取得部２１２により取得されるｘ軸、ｙ軸、ｚ軸を中心とする加速度をΩ（ωｘ、ωｙ、ωｚ）とすると、姿勢更新運動微分方程式は、以下の数式（１）のように表現される。
【００３５】
【数１】
【００３６】
なお、四元数Ｑの初期値は、Ｑ０（１、０、０、０）と定義される。
【００３７】
数式（１）に於いて、ジャイロセンサ２８ｂのサンプリング周期を固定すると、数式（１）の姿勢更新運動微分方程式の解は、以下の数式（２）のように表現される。
【００３８】
【数２】
【００３９】
数式（２）に於いて、ジャイロセンサ２８ｂのサンプリング間隔内の角速度を一定とすると、数式（２）の積分項は、以下の数式（３）のように近似される。
【００４０】
【数３】
【００４１】
なお、数式（３）に於いて、Δθx、Δθy、Δθzは、それぞれ区間［ｔｋ、ｔｋ+１］に於ける角度の増量である。
【００４２】
数式（３）を利用して、数式（１）をテイラー展開すると、姿勢更新運動微分方程式の解を求めることができる。姿勢更新運動微分方程式の解は、以下の数式（４）のように表現される。
【００４３】
【数４】
【００４４】
但し、実際に、スマートフォン１０に於いて、数値演算を実行する場合、数式（４）に於けるsin項およびcos項を級数展開すれば良い。なお、級数展開による、数式（４）の１次近似式は、以下の数式（５）のように、２次近似式は、以下の数式（６）のように表現される。本実施形態では、数式（５）を使用する。
【００４５】
【数５】
【００４６】
【数６】
【００４７】
数式（５）によれば、ある時刻ｔｋの四元数Ｑ（ｔｋ）がわかれば、次の時刻ｔｋ＋１の四元素Ｑ（ｔｋ＋１）を求めることができる。本実施形態では、四元数Ｑの初期値をＱ０（１、０、０、０）としているので、数式（５）を使用すれば、表示画面１２に表示する表示画像Ｉの決定時から任意の時間ｔが経過したときの四元数Ｑ（ｔ）を算出することができる。
【００４８】
さらに、四元数Ｑによる姿勢表現をオイラー角（θ、φ、ψ）による姿勢表現に変換すれば、表示画面１２に表示する表示画像Ｉの決定時からのｘ軸、ｙ軸、ｚ軸を中心とする回転角、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出することができる。四元数をオイラー角に変換する変換式は、以下の数式（７）、（８）、（９）のように表現される。
【００４９】
【数７】
【００５０】
【数８】
【００５１】
【数９】
【００５２】
座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｘ軸を中心とする第１の角度θ及びｙ軸を中心とする第２の角度φに基づき、表示画面１２の範囲に包含される座標（ｘｉ、ｙｉ）を算出する。座標（ｘｉ、ｙｉ）は、カメラ２７の光軸、即ちカメラ２７のレンズ（図示しない）の中心軸の動きに連動する。但し、表示画面１２に表示する表示画像Ｉの決定時には、座標（ｘｉ、ｙｉ）が表示画面１２の中心、即ちＣ０（Ｗ／２、Ｈ／２）に位置するものとする。従って、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を前傾させると、カメラ２７の光軸も前傾するので、座標算出部２１４により算出される座標（ｘｉ、ｙｉ）は、表示画面１２の中心Ｃ０（Ｗ／２、Ｈ／２）よりも下側に移動する。同様に、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を後傾させると、カメラ２７の光軸も後傾するので、座標算出部２１４により算出される座標（ｘｉ、ｙｉ）は、表示画面１２の中心Ｃ０（Ｗ／２、Ｈ／２）よりも上側に移動する。なお、Ｗは、表示画面１２のｘ軸の軸方向の長さ、Ｈは、表示画面１２のｙ軸の軸方向の長さ、をそれぞれ示している。
【００５３】
画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する。画像取得部２１５により取得された複数の撮影画像は、それぞれメモリ２２に構築される画像記憶部２５０に記憶される。なお、画像取得部２１５により取得された複数の撮影画像を、それぞれの撮影時刻を対応づけて、画像記憶部２５０に記憶しても良い。
【００５４】
表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、ディスプレイ２６の表示画面１２に表示する表示画像Ｉを決定する。表示画像決定部２１６により決定された表示画像Ｉは、表示画面１２に表示されたまま固定される。即ち、表示画像Ｉは、いわゆる背景画像として、表示画面１２に表示される。表示画像Ｉの決定プロセスは、後述することとする。
【００５５】
ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘｉ、ｙｉ）に、それぞれポインタｐｉを重畳する。ポインタＰｉの形態は、特に限定されるものではないが、本実施形態では、赤色の丸型ドットを用いる。なお、座標算出部２１４は、所定時間ごとに、例えば１００［ｍｓ］ごとに座標（ｘｉ、ｙｉ）を算出する。従って、ポインタ重畳部２１７は、座標算出部２１４により座標（ｘｉ、ｙｉ）が算出されるたびに、表示画像Ｉにポインタｐｉを追加的に重畳することとなる。このため、表示画面１２に表示する表示画像Ｉを決定してから、ある程度の時間が経過すると、表示画面１２には、表示画面１２の中心である座標Ｃ０（Ｗ／２、Ｈ／２）を始点とする、複数のポインタＰｉの軌跡Ｔｐが表示される。
【００５６】
画像表示部２１８は、ポインタ重畳部２１７によりポインタＰｉが重畳された表示画像Ｉを、ディスプレイ２６の表示画面１２に表示する。但し、表示画像Ｉが決定されるまでの期間は、カメラ２７により撮影された複数の撮影画像をディスプレイ２６の表示画面１２に表示する。
【００５７】
画像領域抽出部２１９は、ポインタ重畳部２１７により表示画像Ｉに重畳された複数のポインタＰｉの座標（ｘｉ、ｙｉ）に基づき、表示画像Ｉから画像領域Ｒを抽出する。画像領域Ｒは、少なくとも表示画像Ｉよりも小さいことが好ましい。画像領域Ｒの抽出法は、種々の形態をとり得るが、本実施形態では、例えば表示画像Ｉに重畳された複数のポインタＰｉの軌跡Ｔｐの外接矩形、いわゆるＡＡＢＢ（Axis Aligned Bounding Box）を、画像領域Ｒとして抽出する。
【００５８】
画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備されている複数のパターン情報と、を比較する。画像領域Ｒの画像情報と、パターン情報との比較プロセスは、後述することとする。
【００５９】
情報取得部２２１は、画像比較部２２０による比較結果に基づき、画像領域Ｒに包含される物体に関連する情報を、例えばサーバＳから取得する。画像領域Ｒに周辺機器Ａが包含されている場合、例えば周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを取得しても良い。
【００６０】
時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像Ｉの決定時からの経過時間、エリア指定プログラムの起動時からの経過時間、などを管理する。
【００６１】
（コントローラ２１による処理フロー）
図４は、第１の実施形態にかかるコントローラ２１による処理のフローチャートである。図５は、第１の実施形態にかかるスマートフォン１０の動きにより表示画面１２に表示されるポインタＰｉの軌跡Ｔｐの概略図である。図６は、第１の実施形態にかかるスマートフォン１０を動かして、表示画像Ｉから画像領域Ｒを抽出する抽出プロセスの概略図である。
【００６２】
本実施形態にかかる処理フローは、エリア指定プログラムを起動することで開始する。処理フローが開始したら、図４に示すように、画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する（ステップＳ１０１）。画像取得部２１５により取得された複数の撮影画像は、逐次メモリ２２に構築された画像記憶部２５０に記憶される。
【００６３】
次に、表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、１枚の表示画像Ｉを決定する（ステップＳ１０２）。表示画像決定部２１６により決定された表示画像Ｉは、ディスプレイ２６の表示画面１２に背景画像として表示される。表示画像Ｉの決定プロセスは、後述することとする。
【００６４】
次に、角度算出部２１３は、角速度取得部２１２により取得されたｘ軸、ｙ軸、ｚ軸を中心とする第１の角速度ωｘ、第２の角速度ωｙ、第２の角速度ωｚに基づき、ｘ軸、ｙ軸、ｚ軸を中心とするスマートフォン１０の回転量、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出する（ステップＳ１０３）。
【００６５】
次に、座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、第１の角度θ及び第２の角度φに基づき、ディスプレイ２６の表示画面１２の範囲に包含され、カメラ２７の光軸の動きに連動する座標（ｘｉ、ｙｉ）を、所定時間ごとに算出する（ステップＳ１０４）。
【００６６】
次に、ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘｉ、ｙｉ）に、それぞれポインタｐｉを重畳する（ステップＳ１０５）。
【００６７】
例えば、図５（ａ）に示すように、利用者Ｕが、ｘ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰｉが次々と重畳され、表示画像Ｉの特定領域に、ｘ方向に往復するジグザグ型の軌跡Ｔｐが描写される。
【００６８】
又、図５（ｂ）に示すように、利用者Ｕが、ｙ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰｉが次々と重畳され、表示画像Ｉの特定領域に、ｙ方向に往復するジグザグ型の軌跡Ｔｐが描写される。
【００６９】
次に、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像決定部２１６により表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ１０６）。
【００７０】
表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断されない場合（ステップＳ１０６のＮｏ）、角度算出部２１３は、第１の角度θ、第２の角度φ、第３の角度ψの算出を継続する（ステップＳ１０３）。
【００７１】
一方、表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断された場合（ステップＳ１０６のＹｅｓ）、画像領域抽出部２１９は、複数のポインタＰｉの軌跡Ｔｐに外接する矩形領域を、表示画像Ｉから画像領域Ｒとして抽出する（ステップＳ１０７）。
【００７２】
次に、画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備された複数のパターン情報と、のマッチングを実施する（ステップＳ１０８）。画像領域Ｒの画像情報と、画像パターン情報とのマッチングプロセスは、後述することとする。
【００７３】
画像領域Ｒの画像領域と、複数のパターン情報の何れかとのマッチングが成功したと判断されなければ（ステップＳ１０９のＮｏ）、画像取得部２１５は、カメラ２７により撮影された撮影画像の取得を継続する（ステップＳ１０１）。
【００７４】
一方、画像領域Ｒの画像情報と、複数のパターン情報の何れかとのマッチングが成功したと判断されたら（ステップＳ１０９のＹｅｓ）、情報取得部２２１は、マッチングが成功したときのパターン情報に対応する関連情報を、例えばサーバＳから取得する。例えば、画像領域Ｒに周辺機器Ａが包含されている場合、周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを関連情報として取得しても良い。
【００７５】
本実施形態にかかるスマートフォン１０は、以上の処理フローを実現するためのエリア指定プログラムを搭載している。このため、カメラ２７の光軸を回転させるようにスマートフォン１０を動かすと、表示画面１２に表示された表示画像Ｉには、エリア指定プログラムの機能により、図６（ａ）に示すような、ポインタＰｉの軌跡Ｔｐが描写される。さらに、図６（ａ）に示すような、ポインタＰｉの軌跡Ｔｐが描写されると、エリア指定プログラムの機能により、図６（ｂ）に示すような、ポインタＰｉの軌跡Ｔｐに外接する矩形領域が、画像領域Ｒとして生成される。
【００７６】
従って、表示画像Ｉに表示されているターゲットとしての周辺機器Ａに、ポインタＰｉの軌跡Ｔｐが重畳するようにスマートフォン１０を動かせば、周辺機器Ａが包含された、表示画像Ｉよりも小さい矩形領域を、画像領域Ｒとして指定することができる。
【００７７】
以上の処理フローを経ることで、スマートフォン１０は、撮影画像に表示されている物体、例えば周辺機器Ａの関連情報を、スマートフォン１０に取り込むことができる。これにより、スマートフォン１０は、非常に簡単に、例えば周辺機器Ａと機能連携することができる。
【００７８】
（表示画像決定部２１６の詳細）
図７は、第１の実施形態にかかる表示画像決定部２１６の機能ブロックの概略図である。図８（ａ）は、第１の実施形態にかかるスマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍのグラフである。図８（ｂ）は、第１の実施形態にかかるスマートフォン１０の加速度の動き成分から算出されたＳＭＡ値のグラフである。なお、図８（ａ）に於ける３本のグラフは、それぞれ動き成分ａｘｍ、ａｙｍ、ａｚｍの何れかを示している。図８（ｂ）に於ける二点鎖線は、ＳＭＡ値の閾値を示している。
【００７９】
図７に示すように、本実施形態にかかる表示画像決定部２１６は、ＡＣ成分取得部２１６ａ、ＳＭＡ算出部２１６ｂ、静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備える。
【００８０】
ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得されたｘ軸、ｙ軸、ｚ軸の軸方向の第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚから重力成分を除去して、スマートフォン１０の動きに由来する加速度の成分、即ち動き成分ａｘｍ、ａｙｍ、ａｚｍを取得する。ＡＣ成分取得部２１６ａとしては、いわゆるハイパスフィルタが用いられる。
【００８１】
図８（ａ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍが高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍが低いことがわかる。
【００８２】
ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより取得された加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍに基づき、ＳＭＡ（Signal Magnitude Area）値を算出する。ＳＭＡ値の算出式は、特に限定されるものではないが、本実施形態では、以下の数式（１０）を使用する。
【００８３】
【数１０】
【００８４】
なお、数式（１０）に於いて、ｉは、サンプリングの識別番号（何回目のサンプリングかを意味するもの）であって、Ｔは、動き成分ａｘｍ（ｉ）、ａｙｍ（ｉ）、ａｚｍ（ｉ）のサンプリング期間である。
【００８５】
図８（ｂ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、ＳＭＡ値が高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、ＳＭＡ値が低いことがわかる。
【００８６】
静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されたＳＭＡ値と、事前に設定された閾値と、を比較して、事前に決められた時間にわたりＳＭＡ値が閾値より低い場合に、スマートフォン１０が静止したと判定する。
【００８７】
例えば、図８（ｂ）に示すように、事前に決められた時間が５０［ms］であれば、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、５０［ms］以上にわたりＳＭＡ値が閾値より低いので、スマートフォン１０は、静止したと判定されることになる。
【００８８】
撮影指示部２１６ｄは、静止判定部２１６ｃによりスマートフォン１０が静止していると判定された場合、表示画像取込部２１６ｅに撮影画像の取り込みを指示する。
【００８９】
表示画像取込部２１６ｅは、撮影指示部２１６ｄから撮影画像の取り込みを指示されたら、撮影画像の取り込みを指示された直後の撮影画像を、表示画像Ｉとして取り込む。表示画像取込部２１６ｅにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。
【００９０】
これにより、利用者Ｕは、例えば表示画面１２に周辺機器Ａを表示させつつ、スマートフォン１０を静止させると、自動的に１枚の撮影画像が表示画像Ｉとして取り込まれることとなる。このため、例えばスマートフォン１０を片手で保持しているときにも、簡単にターゲットである周辺機器Ａを包含する表示画像Ｉを取得することができる。
【００９１】
（表示画像決定部２１６による処理のフロー）
図９は、第１の実施形態にかかる表示画像決定部２１６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２１６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１が実現していることは言うまでもない。
【００９２】
本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始したら、図９に示すように、ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得された第１の加速度ａｘ、第２の加速度ａｙ第３の加速度ａｚから、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍを取得する（ステップＳ２０１）。
【００９３】
これと並行して、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間のカウントを開始する（ステップＳ２０２）。
【００９４】
次に、ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより抽出された加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍに基づき、ＳＭＡ値を算出する（ステップＳ２０３）。
【００９５】
次に、静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されるＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いか判断する（ステップＳ２０４）。
【００９６】
ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されない場合（ステップＳ２０４のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍの取得を継続する（ステップＳ２０１）。
【００９７】
一方、ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されたら（ステップＳ２０４のＹｅｓ）、撮影指示部２１６ｄは、表示画像取込部２１６ｅに撮影画像の取り込みを指示する（ステップＳ２０５）。
【００９８】
次に、表示画像取込部２１６ｅは、カメラ２７により連続的に取得されていた複数の撮影画像のうち、撮影指示部２１６ｂが取り込みを指示した直後に取得された撮影画像を取り込む（ステップＳ２０６）。表示画像取込部２１６ｅにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。
【００９９】
（画像比較部２２０の詳細）
図１０は、第１の実施形態にかかる画像比較部２２０の機能ブロックの概略図である。
【０１００】
図１０に示すように、本実施形態にかかる画像比較部２２０は、第１の特徴量算出部２２０ａ、第２の特徴量算出部２２０ｂ、特徴量比較部２２０ｃを備える。
【０１０１】
第１の特徴量算出部２２０ａは、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報に基づき、特徴量を算出する。特徴量は、特に限定されるものではないが、例えば画像領域Ｒに包含される物体の特徴的な位置などを数値化した指標を用いても良い。
【０１０２】
第２の特徴量算出部２２０ｂは、テンプレート記憶部２５１に記憶された複数のテンプレート情報に基づき、それぞれの特徴量を算出する。特徴量は、第１の特徴量算出部２２０ａにより算出される特徴量と同様に、それぞれのテンプレートの特徴的な位置などを数値化した指標を用いても良い。第２の特徴量算出部２２０ｂにより算出された、それぞれのテンプレートの特徴量は、テンプレートの識別情報に対応づけて、メモリ２２に構築された特徴量記憶部２５３に記憶される。テンプレート情報の詳細は、後述することとする。
【０１０３】
特徴量比較部２２０ｃは、第１の特徴量算出部２２０ａにより算出された、画像領域Ｒの画像情報の特徴量と、第２の特徴量算出部２２０ｂにより算出された複数のテンプレートの特徴量と、を比較して、相互の照合度を算出する。さらに、特徴量比較部２２０ｃは、特徴量の照合度が、事前に決められた閾値を超えるテンプレートが存在するか判断する。
【０１０４】
（データベースＤＢの概略）
図１１は、第１の実施形態にかかるテンプレート記憶部２５１に記憶されているテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…のデータベースＤＢの概略図である。
【０１０５】
図１１に示すように、本実施形態にかかるデータベースＤＢは、複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…と、それぞれのテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…の識別番号と、を対応づけている。
【０１０６】
例えば、テンプレートＴｍ１は、識別番号０００１に、テンプレートＴｍ２は、識別番号０００２に、テンプレートＴｍ３は、識別番号０００３に、それぞれ対応づけられている。なお、本実施形態では、テンプレートＴｍ１としてプロジェクタ、テンプレートＴｍ２としてコピー機、テンプレートＴｍ３としてＰＣモニタを採用している。
【０１０７】
（マッチングの概略）
図１２は、第１の実施形態にかかる画像比較部２２０によるマッチングの概略図である。画像領域抽出部２１９により画像領域Ｒが抽出されたら、図１２に示すように、画像領域Ｒの画像情報の特徴量が、テンプレート記憶部２５１に記憶されたデータベースＤＢの、それぞれのテンプレートＴｍ１、Ｔｍ２、Ｔｍ３の特徴量と照合される。なお、テンプレートＴｍ１、Ｔｍ２、Ｔｍ３の特徴量は、特徴量記憶部２５３に記憶されているので、実際には、特徴量記憶部２５３を参照することとなる。
【０１０８】
複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３の中に、画像領域Ｒの画像情報の特徴量との照合度が、事前に決められた閾値を超えるテンプレートがあれば、該テンプレートに対応づけられた情報、例えば識別番号や操作プログラムなどが、例えばサーバＳから取得される。本実施形態に於いて、例えば画像領域Ｒの画像情報の特徴量と、テンプレートＴｍ１の特徴量との照合度が、閾値を超えているとすれば、テンプレートＴｍ１に対応する識別情報０００１がスマートフォン１０により取得されることになる。
【０１０９】
このように、本実施形態によれば、表示画像Ｉよりも小さい画像領域Ｒの画像情報の特徴量と、複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…の特徴量とを比較している。このため、表示画像Ｉの全体の特徴量を算出するよりも計算量を減らすことができる。
【０１１０】
［第２の実施形態］
以下、図１３−図１７を参照しながら、第２の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１１１】
第２の実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える点で、第１の実施形態にかかるコントローラ２１と異なる。
【０１１２】
（コントローラ２１Ａの機能ブロック）
図１３は、第２の実施形態にかかるコントローラ２１Ａの機能ブロックの概略図である。
【０１１３】
図１３に示すように、本実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える。サイズ調整部２２３は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
【０１１４】
（サイズ調整部２２３の詳細）
図１４は、第２の実施形態にかかるサイズ調整部２２３の機能ブロックの概略図である。
【０１１５】
図１４に示すように、本実施形態にかかるサイズ調整部２２３は、比較部２２３ａ、倍率算出部２２３ｂ、拡縮部２２３ｃ、拡縮判定部２２３ｄを備える。
【０１１６】
比較部２２３ａは、角度算出部２１３により算出された、ｚ軸を中心とする第３の角度ψの絶対値と、事前に決められた閾値ψ０と、を比較する。
【０１１７】
倍率算出部２２３ｂは、角度算出部２１３により算出された第３の角度ψの絶対値と、角速度取得部２１２により取得された第３の角速度ωｚと、に基づき、画像領域Ｒを拡縮するための倍率を算出する。本実施形態に於いて、画像領域Ｒを拡縮するための倍率は、第３の角度ψの増加に比例している。このため、ｚ軸を中心とするスマートフォン１０の回転量を増大させると、画像領域Ｒを拡縮するための倍率も増大する。又、本実施形態に於いて、画像領域Ｒを拡大するか、もしくは、縮小するかは、第３の角速度ωｚの向きより決められる。このため、ｚ軸を中心とするスマートフォン１０の回転方向を反転させると、画像領域Ｒの拡大及び縮小も反転する。但し、第３の角度ψが閾値ψ０よりも小さい場合、倍率算出部２２３ｂは、画像領域Ｒの倍率を算出しない。これは、利用者Ｕの意図ではない、例えば手ぶれによるスマートフォン１０の回転を取り除くためである。
【０１１８】
拡縮部２２３ｃは、倍率算出部２２３ｂにより決定された倍率に基づき、画像領域Ｒのサイズを調整する。サイズを調整された画像領域Ｒは、表示画像Ｉにリアルタイム表示される。即ち、画像領域Ｒのサイズが変化する様子は、表示画面Ｉに表示される。
【０１１９】
拡縮判定部２２３ｄは、第３の角速度ωｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さいか判断する。第３の角速度ωｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さければ、画像領域Ｒのサイズ調整を目的としていないと推測されるからである。例えば、手ぶれ等によってスマートフォン１０が回転していると推測されるからである。
【０１２０】
（サイズ調整部２２３による処理のフロー）
図１５は、第２の実施形態にかかるサイズ調整部２２３による処理のフローチャートである。なお、本実施形態では、サイズ調整部２２３による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ａが実現していることは言うまでもない。
【０１２１】
画像領域Ｒを包含する表示画像Ｉが表示画面１２に表示されたら、図１５に示すように、比較部２２３ａは、角度算出部２１３により算出された第３の角度ψを取得し（ステップＳ３０１）、第３の角度ψの大きさが閾値ψ０よりも大きいか判断する（ステップＳ３０２）。
【０１２２】
第３の角度ψの大きさが閾値ψ０よりも大きいと判断されなければ（ステップＳ３０２のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、第３の角度ψの大きさが閾値ψ０よりも大きいと判断されたら（ステップＳ３０２のＹｅｓ）、倍率算出部２２３ｂは、第３の角度ψの大きさに基づき、画像領域Ｒを拡縮するための倍率の絶対値を、第３の角速度ωｚに基づき、画像領域Ｒの拡大もしくは縮小を、それぞれ算出する（ステップＳ３０３）。
【０１２３】
次に、拡縮部２２３ｃは、倍率算出部２２３ｂにより算出された倍率に基づき、画像領域Ｒのサイズを調整する（ステップＳ３０４）。
【０１２４】
次に、拡縮判定部２２３ｄは、第３の角速度ωｚが、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さいか判断する（ステップＳ３０５）。事前に決められた時間にわたり、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されなければ（ステップＳ３０５のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、事前に決められた時間にわたり、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されたら（ステップＳ３０５のＹｅｓ）、画像領域Ｒのサイズ調整が終了したものとみなして、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されたときの画像領域Ｒを固定する（ステップＳ３０６）。
【０１２５】
図１６は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。図１７は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。
【０１２６】
図１６（ａ）に示すように、サイズ調整前の表示画像Ｉは、ポインタＰｉの軌跡Ｔｐに外接する矩形状の画像領域Ｒを包含しているが、ｚ軸を中心にスマートフォン１０を左側に角度ψ（＞ψ０）だけ回転させると、図１６（ｂ）に示すように、画像領域Ｒが拡大する。このため、図１７（ａ）に示すように、ターゲットである周辺機器Ａの表示領域よりも画像領域Ｒが小さくても、ｚ軸を中心としてスマートフォン１０を回転させるだけで、周辺機器Ａの表示領域の全体を包含する画像領域Ｒを生成することができる。即ち、周辺機器Ａの表示領域の極一部にポインタＰｉの軌跡Ｔｐを描画すれば、画像領域Ｒを拡大させることで、周辺機器Ａを指定することができるので、ポインタＰｉの軌跡Ｔｐを描画するために要する時間を短縮することができる。
【０１２７】
［第３の実施形態］
以下、図１８、図１９を参照しながら、第３の実施形態を説明する。但し、第２の実施形態と同等の構成や処理については、説明を省略することとする。
【０１２８】
第３の実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３とは異なるサイズ調整部２２４を備える点で、第２の実施形態にかかるコントローラ２１Ａと異なる。
【０１２９】
（コントローラ２１Ｂの機能ブロック）
図１８は、第３の実施形態にかかるコントローラ２１Ｂの機能ブロックの概略図である。
【０１３０】
図１８に示すように、本実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３と異なるサイズ調整部２２４を備える。サイズ調整部２２４は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
【０１３１】
（サイズ調整部２２４の詳細）
図１９は、第３の実施形態にかかるサイズ調整部２２４の機能ブロックの概略図である。
【０１３２】
図１９に示すように、本実施形態にかかるサイズ調整部２２４は、さらに、第１のフィルタ部２２４ａ、第２のフィルタ部２２４ｂ、角度変換部２２４ｃ、角度指標算出部２２４ｄを備える。
【０１３３】
第１のフィルタ部２２４ａは、加速度取得部２１１により取得された第１の加速度ａｘ、第１の加速度ａｙ、第１の加速度ａｚのうち、ｘ軸の軸方向の第１の加速度ａｘを受け取り、第１の加速度ａｘからスマートフォン１０の動きに由来する動き成分ａｘｍを除去することで、地球の重力に由来する重力成分ａｘｇを取得する。なお、本実施形態では、第１の加速度ａｘの重力成分ａｘｇを取得しているが、本実施形態は、これに限定されるものではない。例えば、ｙ軸の軸方向の第２の加速度ａｙからスマートフォン１０の動きに由来する動き成分ａｙｍを除去して、地球の重力に由来する重力成分ａｙｇを取得しても良い。さらに、第１の加速度ａｘの重力成分ａｘｇ及び第２の加速度ａｙの成分ａｙｍの双方を取得しても良い。第１のフィルタ部２２４ａとしては、いわゆるローパスフィルタが用いられる。
【０１３４】
角度変換部２２４ｂは、第１のフィルタ部２２４ａにより取得された、ｘ軸の軸方向の第１の加速度ａｘの重力成分ａｘｇと、事前に記憶されている重力加速度ｇと、に基づき、第１の加速度ａｘの重力成分ａｘｇを、ｚ軸を中心とするスマートフォン１０の回転角ψａに変換する。
【０１３５】
第２のフィルタ部２２４ｃは、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｚ軸を中心とする第３の角度ψを受け取り、第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψｄを除去することで、ｚ軸を中心とするスマートフォン１０の回転角ψｂを取得する。第２のフィルタ部２２４ｃとしては、いわゆるハイパスフィルタが用いられる。
【０１３６】
角度指標算出部２２４ｄは、角度変換部２２４ｂにより変換された回転角ψａと、第２のフィルタ部２２４ｃにより取得された回転角ψｂと、を利用して、スマートフォン１０の傾きの程度を表現する回転角指標ψindexを算出する。回転角指標ψindexの算出式は、以下の数式（１１）のように表現される。
【０１３７】
【数１１】
【０１３８】
なお、数式（１１）に於いて、「α」及び「１−α」は、それぞれ回転角ψａ及び回転角ψｂへの重みづけ乗数である。
【０１３９】
本実施形態では、数式（１１）により算出された回転角指標ψindexを第３の角度ψとみなして、第２の実施形態と同様に、表示画面１２に表示された画像領域Ｒのサイズを調整することとなる。
【０１４０】
本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、角度算出部２１３により算出された第３の角度ψだけでなく、加速度取得部２１１により取得された第１の加速度ａｘも使用している。このため、画像領域Ｒのサイズ調整の信頼性を高めることができる。
【０１４１】
さらに、本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、ｚ軸を中心とする第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψｄを除去した回転角ψｂを用いている。このため、ジャイロセンサ２８ｂのドリフトの影響により、利用者Ｕが意図しないサイズ調整が行われることを防止することができる。
【０１４２】
［第４の実施形態］
以下、図２０−図２３を参照しながら、第４の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１４３】
第４の実施形態にかかるコントローラ２１Ｃは、第１の実施形態にかかる画像領域抽出部２１９とは異なる画像領域抽出部２２５を備える点で、第１の実施形態にかかるコントローラ２１と異なる。
【０１４４】
（コントローラ２１Ｃの機能ブロック）
図２０は、第４の実施形態にかかるコントローラ２１Ｃの機能ブロックの概略図である。
【０１４５】
図２０に示すように、本実施形態にかかるコントローラ２１Ｃは、第３の実施形態にかかる画像領域抽出部２１９と異なる画像領域抽出部２２５を備える。画像領域抽出部２２５は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｃにより実現される。
【０１４６】
（画像領域抽出部２２５の詳細）
図２１は、第４の実施形態にかかる画像領域抽出部２２５の機能ブロックの概略図である。
【０１４７】
図２１に示すように、本実施形態にかかる画像領域抽出部２２５は、第１の抽出部２２５ａ、ポインタ重心算出部２２５ｂ、距離算出部２２５ｃ、第２の抽出部２２５ｄを備える。
【０１４８】
第１の抽出部２２５ａは、ポインタ重畳部２１７により複数のポインタＰｉが重畳された表示画面Ｉから、複数のポインタＰｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ１を抽出する。複数のポインタＰｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ１の抽出法は、特に限定されるものではないが、本実施形態では、複数のポインタＰｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ１として抽出する。
【０１４９】
ポインタ重心算出部２２５ｂは、ポインタ重畳部２１７により複数のポインタＰｉが重畳された表示画面Ｉに基づき、表示画面Ｉに於ける複数のポインタＰｉの重心Ｃｇの座標を算出する。
【０１５０】
距離算出部２２５ｃは、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１のｘ軸の正方向に位置する第１の境界Ｂ１までの第１の距離ｄ１と、第１の矩形領域Ｒ１のｘ軸の負方向に位置する第２の境界Ｂ２までの第２の距離ｄ２と、をそれぞれ算出する。
【０１５１】
第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ１及び第２の距離ｄ２を比較する。さらに、第２の抽出部２２５ｄは、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離だけ、複数のポインタＰｉの重心Ｃｇから離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ２を抽出する。
【０１５２】
（画像領域抽出部２２５による処理のフロー）
図２２は、第４の実施形態にかかる画像領域抽出部２２５による処理のフローチャートである。図２３は、第４の実施形態にかかる最適な画像領域Ｒを抽出する抽出プロセスの概略図である。なお、本実施形態では、画像領域抽出部２２５による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｃが実現していることは言うまでもない。
【０１５３】
本実施形態にかかる処理フローは、表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたと判断された時点、即ちポインタ重畳部２１７による、複数のポインタＰｉの重畳が終了したと判断された時点で開始する。
【０１５４】
処理フローが開始したら、第１の抽出部２２５ａは、図２３（ａ）に示すように、複数のポインタＰｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ１として表示画面Ｉから抽出する（ステップＳ４０１）。
【０１５５】
次に、ポインタ重心算出部２２５ｂは、図２３（ｂ）に示すように、表示画像Ｉの画像情報に基づき、表示画像Ｉに於ける複数のポインタＰｉの重心Ｃｇの座標を算出する（ステップＳ４０２）。表示画像Ｉに於ける、複数のポインタＰｉの重心Ｃｇの座標に、重心のマーク、例えばドットなどを表示させても良い。
【０１５６】
次に、距離算出部２２５ｃは、図２３（ｃ）に示すように、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１のｘ軸の正方向に位置する第１の境界Ｂ１までの第１の距離ｄ１と、第１の矩形領域Ｒ１のｘ軸の負方向に位置する第２の境界Ｂ２までの第２の距離ｄ２と、をそれぞれ算出する（ステップＳ４０３）。
【０１５７】
次に、第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ１及び第２の距離ｄ２を比較する（ステップＳ４０４）。さらに、第２の抽出部２２５ｄは、図２３（ｄ）に示すように、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離、本実施形態では第１の距離ｄ１だけ、複数のポインタＰｉの重心Ｃｇからｘ軸の正負に離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ２を、画像領域Ｒとして抽出する（ステップＳ４０５）。なお、図中の斜線領域は、第１の矩形領域Ｒ１から第２の矩形領域Ｒ２を抽出するときに、第１の矩形領域Ｒ１から削除された領域である。
【０１５８】
本実施形態によれば、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１の第１の境界Ｂ１及び第２の境界Ｂ２までの第１の距離ｄ１及び第２の距離ｄ２を算出し、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離だけ、複数のポインタＰｉの重心Ｃｇから離間した位置に、それぞれの境界を有する画像領域Ｒを生成している。
【０１５９】
このため、利用者Ｕが画像領域Ｒを指定している最中に、例えばスマートフォン１０を不本意に揺らしてしまい、図２３（ａ）に示すように、複数のポインタＰｉの密度が低い領域が発生しても、図２３（ｄ）に示すように、複数のポインタＰｉの密度が低い領域（図中の斜線領域）を削除した画像領域Ｒを抽出することができる。即ち、利用者Ｕが指定したい領域だけを画像領域Ｒとして抽出することができる。
【０１６０】
［第５の実施形態］
以下、図２４−図２６を参照しながら、第５の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１６１】
第５の実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える点で、第１の実施形態にかかるコントローラ２１と異なる。
【０１６２】
（コントローラ２１Ｄの機能ブロック）
図２４は、第５の実施形態にかかるコントローラ２１Ｄの機能ブロックの概略図である。
【０１６３】
図２４に示すように、本実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える。表示画像決定部２２６は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｄにより実現される。
【０１６４】
（表示画像決定部２２６の詳細）
図２５は、第５の実施形態にかかる表示画像決定部２２６の機能ブロックの概略図である。
【０１６５】
図２５に示すように、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６のＡＣ成分取得部２１６ａ及びＳＭＡ算出部２１６ｂのほかに、最小ＳＭＡ特定部２２６ａ、表示画像取込部２２６ｂ、を備える。しかし、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６の静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備えない。
【０１６６】
最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより算出された複数のＳＭＡ値から、所定の時間区間に於ける最小のＳＭＡ値を特定する。なお、最小のＳＭＡ値の特定は、事前に決められた時間ごとに実施される。
【０１６７】
表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２６ａにより特定された、所定の時間区間に於ける最小のＳＭＡ値に対応する撮影画像を選択して、表示画像Ｉとして取り込む。なお、最小のＳＭＡ値に対応する撮影画像を選択する場合、それぞれの撮影画像に対応づけられた撮影時刻を利用すれば良い。表示画像取込部２２６ｂにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。
【０１６８】
（表示画像決定部２２６による処理のフロー）
図２６は、第５の実施形態にかかる表示画像決定部２２６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２２６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｄが実現していることは言うまでもない。
【０１６９】
本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始して、図２６に示すように、ＳＭＡ算出部２１６ｂによりＳＭＡ値が算出されたら（ステップＳ２０３）、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ５０１）。
【０１７０】
エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されなければ（ステップＳ５０１のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍの取得を継続する（ステップＳ２０１）。
【０１７１】
一方、エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されたら（ステップＳ５０１のＹｅｓ）、最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより所定の時間区間に算出された複数のＳＭＡ値から、最小のＳＭＡ値を特定する（ステップＳ５０２）。
【０１７２】
次に、表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２５ａにより特定された最小のＳＭＡ値に対応する１枚の撮影画像を取り込む（ステップＳ５０３）。表示画像取込部２２６ｂにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。
【０１７３】
本実施形態によれば、カメラ２７により撮影された複数の撮影画像を画像記憶部２５０に記憶しておき、所定時間が経過するごとに、直前の時間区間に撮影された撮影画像から、ＳＭＡ値が最小となる撮影画像を表示画像Ｉとして設定する。このため、例えば手ぶれ等の症状がある利用者Ｕであっても、確実に表示画像Ｉを設定することができる。
【０１７４】
［第６の実施形態］
以下、図２７を参照しながら、第６の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
【０１７５】
図２７は、第６の実施形態にかかるスマートフォン１０及びサーバＳの概略図である。
【０１７６】
図２７に示すように、本実施形態にかかるスマートフォン１０のコントローラ２１Ｅは、画像比較部２２０を備えておらず、代わりに、サーバＳのコントローラ３００が画像比較部２２０を備えている。即ち、本実施形態にかかる画像比較部２２０は、第１の実施形態にかかる画像比較部２２０と同等の機能を有するが、サーバＳ側に構築している点で、第１の実施形態と異なる。これに付随して、テンプレート記憶部２５１もサーバＳのメモリ３１０に構築されている。
【０１７７】
本実施形態のように、画像比較部２２０をサーバＳ側に構築すれば、マッチングに必要な計算負荷をサーバＳに担わせることができるので、スマートフォン１０の負荷を軽減することができる。
【符号の説明】
【０１７８】
１０：スマートフォン
１２：表示画面
２７：カメラ
２１１：加速度取得部
２１２：角速度取得部
２１３：角度算出部
２１４：座標算出部
２１６：表示画像決定部
２１７：ポインタ重畳部
２１８：画像表示部
２１９：画像領域抽出部
２２０：画像比較部
２２１：情報取得部
２２３：サイズ調整部
２２４：サイズ調整部
２２５：画像領域抽出部
２２５ａ：第１の抽出部
２２５ｂ：ポインタ重心算出部
２２５ｃ：距離算出部
２２５ｄ：第２の抽出部
２２６：表示画像決定部
Ｂ１：第１の境界線
Ｂ２：第２の境界線
Ｃｇ：重心
ｄ１：第１の距離
ｄ２：第２の距離
Ｉ：表示画像
Ｐｉ：ポインタ
Ｒ：画像領域
Ｒ１：第１の矩形領域
Ｒ２：第２の矩形領域
θ：第１の角度
φ：第２の角度
ψ：第３の角度
【特許請求の範囲】
【請求項１】
携帯型端末装置に於いて、
カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、
前記表示画像の前記座標にポインタを重畳する重畳部と、
前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、
前記表示画像から前記ポインタを包含する画像エリアを抽出する抽出部と、
を備える携帯型端末装置。
【請求項２】
請求項１に記載の携帯型端末装置に於いて、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する指定部を備える携帯型端末装置。
【請求項３】
請求項２に記載の携帯型端末装置に於いて、
前記指定部は、
前記画像エリアの画像情報と、事前に準備されている画像情報と、を比較する比較部と、
前記比較部の比較結果に基づき、前記画像エリアの前記画像情報に対応する情報を取得する取得部と、
を備える携帯型端末装置。
【請求項４】
請求項１乃至３の何れかに記載の携帯型端末装置に於いて、
前記第１の取得部は、さらに前記第１の軸及び前記第２の軸に交差する第３の軸を中心とする第３の角速度を取得し、
前記第１の算出部は、前記第３の角速度に基づき、前記携帯型端末装置の前記第３の軸を中心とする第３の回転量を算出し、
前記携帯型端末装置は、さらに、
前記第３の回転量に基づき、前記画像エリアのサイズを調整する調整部を備える携帯型端末装置。
【請求項５】
請求項４に記載の携帯型端末装置に於いて、
前記調整部は、前記第３の軸を中心とする前記携帯型端末装置の回転の向きに基づき、前記画像エリアのサイズの拡大及び縮小を決定する携帯型端末装置。
【請求項６】
請求項４又は５に記載の携帯型端末装置に於いて、
前記調整部は、前記第３の回転量と、事前に設定された基準回転量と、を比較して、前記第３の回転量が前記基準回転量を超えた場合に、前記画像エリアのサイズを調整する携帯型端末装置。
【請求項７】
請求項１乃至３の何れかに記載の携帯型端末装置に於いて、さらに、
前記携帯型端末装置の、少なくとも前記第１の軸及び前記第２の軸の何れかの軸方向の加速度を取得する第２の取得部と、
前記軸方向の加速度の変化に基づき、前記画像エリアのサイズを調整する調整部と、
を備える携帯型端末装置。
【請求項８】
請求項１乃至７の何れかに記載の携帯型端末装置に於いて、
前記抽出部は、前記表示画像に於ける前記ポインタの密度に基づき、前記画像エリアを決定する携帯型端末装置。
【請求項９】
請求項１乃至８の何れかに記載の携帯型端末装置に於いて、
前記抽出部は、
互いに平行な第１の境界線及び第２の境界線を含み、かつ、前記ポインタを包含する矩形状の第１のエリアを、前記表示画像から抽出する第１の抽出部と、
前記第１のエリアに於ける前記ポインタの重心を算出する第３の算出部と、
前記ポインタの重心から前記第１の境界線及び前記第２の境界線までの距離を算出する第４の算出部と、
前記ポインタの重心から前記第１の境界線までの距離と、前記ポインタの重心から前記第２の境界線までの距離と、のうち小さい方の距離だけ前記重心から離間した位置に、それぞれ境界線を有する矩形状の第２のエリアを、前記画像エリアとして抽出する第２の抽出部と、
を備える携帯型端末装置。
【請求項１０】
携帯型端末装置によりエリアを指定するエリア指定方法に於いて、
前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する工程と、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する工程と、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する工程と、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する工程と、
前記表示画像の前記座標にポインタを重畳する工程と、
前記表示画像から前記ポインタを包含する画像エリアを抽出する工程と、
を備えるエリア指定方法。
【請求項１１】
請求項１０に記載のエリア指定方法に於いて、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する工程を備えるエリア指定方法。
【請求項１２】
携帯型端末装置によりエリアを指定するエリア指定プログラムに於いて、
前記エリア指定プログラムは、コンピュータに、
前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定するステップ、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得するステップ、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出するステップ、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する特定の座標を算出するステップ、
前記表示画像の前記座標にポインタを重畳するステップ、及び
前記表示画像から前記ポインタを包含する画像エリアを抽出するステップ、
を実行させるエリア指定プログラム。
【請求項１３】
請求項１２に記載のエリア指定プログラムに於いて、
前記エリア指定プログラムは、コンピュータに、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定するステップを実行させるエリア指定プログラム。
【請求項１】
携帯型端末装置に於いて、
カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、
前記表示画像の前記座標にポインタを重畳する重畳部と、
前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、
前記表示画像から前記ポインタを包含する画像エリアを抽出する抽出部と、
を備える携帯型端末装置。
【請求項２】
請求項１に記載の携帯型端末装置に於いて、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する指定部を備える携帯型端末装置。
【請求項３】
請求項２に記載の携帯型端末装置に於いて、
前記指定部は、
前記画像エリアの画像情報と、事前に準備されている画像情報と、を比較する比較部と、
前記比較部の比較結果に基づき、前記画像エリアの前記画像情報に対応する情報を取得する取得部と、
を備える携帯型端末装置。
【請求項４】
請求項１乃至３の何れかに記載の携帯型端末装置に於いて、
前記第１の取得部は、さらに前記第１の軸及び前記第２の軸に交差する第３の軸を中心とする第３の角速度を取得し、
前記第１の算出部は、前記第３の角速度に基づき、前記携帯型端末装置の前記第３の軸を中心とする第３の回転量を算出し、
前記携帯型端末装置は、さらに、
前記第３の回転量に基づき、前記画像エリアのサイズを調整する調整部を備える携帯型端末装置。
【請求項５】
請求項４に記載の携帯型端末装置に於いて、
前記調整部は、前記第３の軸を中心とする前記携帯型端末装置の回転の向きに基づき、前記画像エリアのサイズの拡大及び縮小を決定する携帯型端末装置。
【請求項６】
請求項４又は５に記載の携帯型端末装置に於いて、
前記調整部は、前記第３の回転量と、事前に設定された基準回転量と、を比較して、前記第３の回転量が前記基準回転量を超えた場合に、前記画像エリアのサイズを調整する携帯型端末装置。
【請求項７】
請求項１乃至３の何れかに記載の携帯型端末装置に於いて、さらに、
前記携帯型端末装置の、少なくとも前記第１の軸及び前記第２の軸の何れかの軸方向の加速度を取得する第２の取得部と、
前記軸方向の加速度の変化に基づき、前記画像エリアのサイズを調整する調整部と、
を備える携帯型端末装置。
【請求項８】
請求項１乃至７の何れかに記載の携帯型端末装置に於いて、
前記抽出部は、前記表示画像に於ける前記ポインタの密度に基づき、前記画像エリアを決定する携帯型端末装置。
【請求項９】
請求項１乃至８の何れかに記載の携帯型端末装置に於いて、
前記抽出部は、
互いに平行な第１の境界線及び第２の境界線を含み、かつ、前記ポインタを包含する矩形状の第１のエリアを、前記表示画像から抽出する第１の抽出部と、
前記第１のエリアに於ける前記ポインタの重心を算出する第３の算出部と、
前記ポインタの重心から前記第１の境界線及び前記第２の境界線までの距離を算出する第４の算出部と、
前記ポインタの重心から前記第１の境界線までの距離と、前記ポインタの重心から前記第２の境界線までの距離と、のうち小さい方の距離だけ前記重心から離間した位置に、それぞれ境界線を有する矩形状の第２のエリアを、前記画像エリアとして抽出する第２の抽出部と、
を備える携帯型端末装置。
【請求項１０】
携帯型端末装置によりエリアを指定するエリア指定方法に於いて、
前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する工程と、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する工程と、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する工程と、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する工程と、
前記表示画像の前記座標にポインタを重畳する工程と、
前記表示画像から前記ポインタを包含する画像エリアを抽出する工程と、
を備えるエリア指定方法。
【請求項１１】
請求項１０に記載のエリア指定方法に於いて、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する工程を備えるエリア指定方法。
【請求項１２】
携帯型端末装置によりエリアを指定するエリア指定プログラムに於いて、
前記エリア指定プログラムは、コンピュータに、
前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定するステップ、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得するステップ、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出するステップ、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する特定の座標を算出するステップ、
前記表示画像の前記座標にポインタを重畳するステップ、及び
前記表示画像から前記ポインタを包含する画像エリアを抽出するステップ、
を実行させるエリア指定プログラム。
【請求項１３】
請求項１２に記載のエリア指定プログラムに於いて、
前記エリア指定プログラムは、コンピュータに、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定するステップを実行させるエリア指定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１３−１０９６７７（Ｐ２０１３−１０９６７７Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５６４４（Ｐ２０１１−２５５６４４）
【出願日】平成２３年１１月２３日（２０１１．１１．２３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２３日（２０１１．１１．２３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]