認識装置および認識方法
【課題】 本発明は、簡易な構成でかつ任意の一物体を認識することができる認識装置および認識方法を提供することを目的とする。
【解決手段】 マーカ検出部１２は、識別対象である入出力用物体２３に付加され、当該入出力用物体２３と区別可能に形成されているマーカ２４を検出する。また、物体領域検出部１３は、検出されたマーカの動きと同期する入出力用物体２３の領域を検出し、特徴点抽出部２２は、物体領域検出部１３により検出された領域に基づいて、入出力用物体２３の大きさ、形状などの特徴点を抽出することができる。これにより、予め入出力用物体２３を登録することなく、かつ簡単な処理により入出力用物体２３を認識することができる。
【解決手段】 マーカ検出部１２は、識別対象である入出力用物体２３に付加され、当該入出力用物体２３と区別可能に形成されているマーカ２４を検出する。また、物体領域検出部１３は、検出されたマーカの動きと同期する入出力用物体２３の領域を検出し、特徴点抽出部２２は、物体領域検出部１３により検出された領域に基づいて、入出力用物体２３の大きさ、形状などの特徴点を抽出することができる。これにより、予め入出力用物体２３を登録することなく、かつ簡単な処理により入出力用物体２３を認識することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を認識する認識装置および認識方法に関する。
【背景技術】
【０００２】
周囲に存在する任意の物体を特定する技術として、特許文献１に記載されている技術が知られている。この特許文献１には、路面を走行する自動車および当該自動車と路面との位置関係を認識することが記載されている。また、センサーを用いて、物体を特定せず、そこに物体が存在するという情報のみを検出する技術として、特許文献２に記載されている技術が知られている。また、画像中の任意の物体を画像処理のみで特徴点を抽出し、物体を認識する技術が知られている（非特許文献1）。
【特許文献１】特許第３４２４３３４号公報
【特許文献２】特許第３７３１１２３号公報
【非特許文献１】木村俊、荒谷真一、菅泰雄 “カラー情報による物体の抽出と特徴点検出による３次元形状の認識”、第８回画像センシングシンポジウム講演論文集、H８、ｐｐ．３８１−３８４（２００２）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、近年、携帯電話などの携帯端末で電子メールなど文字入力をする機会が増えてきている。一般的に、携帯電話では、テンキーを複数回押下することにより所望の文字を入力することができる。
【０００４】
一方で、このような携帯端末のキーボードにおいて、ボタンが小さいため打ちづらいという問題がある。そのため、ユーザが周囲にある物体の中から好みの大きさの物体を選んで入力手段として用いることができればこのような問題は解決できると考えられるが、周囲にある物体を入力手段として用いるための物体として認識する必要がある。
【０００５】
しかしながら、上述従来の技術として知られている物体を認識する技術においては、周囲の任意の物体を、利用したい唯一の物体として特定することは大変困難である。例えば、特許文献１に記載されている技術においては、路面、自動車などを認識することができるが、任意の一物体のみを認識するということはできず、上述のユーザの身近にある物体を認識させることに適用するには不適切である。
【０００６】
また、特許文献２に記載の技術においては位置のみ認識するため、やはり任意の一物体のみを認識させることはできない。
【０００７】
また、非特許文献１に記載の技術においては、高度な画像処理を必要とすることから、その構成が複雑となるという問題がある。
【０００８】
そこで、上述の課題を解決するために、本発明は、簡易な構成でかつ任意の一物体を認識することができる認識装置および認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明の認識装置は、識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出手段と、前記マーカ検出手段により検出されたマーカの動きと同期する領域を検出する物体領域検出手段と、前記物体領域検出手段により検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出手段とを備えている。
【００１０】
また、本発明の認識方法は、識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出ステップと、前記マーカ検出ステップにより検出されたマーカの動きと同期する領域を検出する物体領域検出ステップと、前記物体領域検出ステップにより検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出ステップとを備えている。
【００１１】
この発明によれば、識別対象の物体に付加され、物体と区別可能に形成されているマーカを検出し、検出されたマーカの動きと同期する領域を検出し、検出された領域に基づいて、物体の特徴点を抽出することができる。これにより、予め物体を登録することなく、かつ簡単な処理により物体を認識することができる。
【００１２】
また、本発明の認識装置は、前記物体の特徴点に合わせた映像を表示する表示手段と、を備えることが好ましい。
【００１３】
この発明によれば、物体の特徴点に合わせた映像を表示することができ、表示したい映像を拡大し、または縮小するといった使い勝手のよい装置を実現することができる。
【００１４】
また、本発明の認識装置は、前記マーカの状態を算出する状態算出手段と、前記状態算出手段により算出された前記マーカの状態に従って前記表示手段に表示される映像を加工する変換手段とを備え、前記表示手段は、前記変換手段により加工された映像を表示することが好ましい。
【００１５】
この発明によれば、算出されたマーカの状態に従って映像を加工し、加工された映像を表示することができ、例えば、マーカの位置、傾きなどにより、映像を拡大、縮小、角度変換などの加工を施すことにより、物体の状態に応じた表示を行うことができ、より使い勝手のよい装置を実現することができる。
【００１６】
また、本発明の認識装置は、前記物体とユーザによる操作位置との位置関係を検出する入力検出手段と、前記入力検出手段により検出されたユーザによる操作位置に基づいた入力操作を受け付ける受付手段と、を備え、前記表示手段は、前記物体の特徴に合わせた操作画面を構成する映像を表示し、前記ユーザは、操作画面を構成する映像に従った操作を行うことができることが好ましい。
【００１７】
この発明によれば、操作画面を表示するとともに、物体に対するユーザによる操作位置を検出し、物体と操作位置とに基づいた入力操作を受け付けることができる。よって、ユーザは、操作画面を構成する映像に従った操作を行うことができるとともに、ユーザが任意に選択した物体を入力手段として扱うことができ、使い勝手のよい装置を実現することができる。したがって、携帯電話などのキーのように小さいものである場合には、ユーザが任意に比較的大きい物体を入力手段として選択した場合には、使い勝手のよい入力手段を実現することができる。
【発明の効果】
【００１８】
本発明によれば、予め物体を登録することなく、かつ簡単な処理により物体を認識することができる。
【発明を実施するための最良の形態】
【００１９】
本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２０】
図1は、本実施形態における認識装置１００の機能構成を示すブロック図である。この認識装置１００は、検出部1０、処理部２０、変換パラメータ算出部３０、映像蓄積部４０、変換部５０（変換手段）、表示部６０（表示手段）、および入力検出部７０（入出力検出手段、受付手段））を含んで構成されている。ここで検出部１０は、登録部１１、マーカ検出部１２（マーカ検出手段）、および物体領域検出部１３（物体領域検出手段）を含んで構成され、処理部２０は、マーカ状態算出部２１（状態算出手段）、および特徴点抽出部２２（特徴点抽出手段）を含んで構成されている。
【００２１】
図２は、認識装置１００のハードウェア構成図である。認識装置１００は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、センサー１０４（マーカ検出部１２、物体領域検出部１３に相当）、ハードディスク等の補助記憶装置１０５、ディスプレイ等の表示部１０５（表示部６０に相当）、近距離無線通信部１０６（入出力検出部７０に相当）などを含むコンピュータシステムとして構成されている。図１において説明した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとでセンサー１０４、表示部１０５、近距離無線通信部１０６を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。以下、図１に示す機能ブロックに基づいて、各機能ブロックを説明する。
【００２２】
登録部１１は、任意の物体に装着するマーカを事前に登録し、マーカの持っている特徴を示す情報およびその特徴に基づいた基準値となる初期値（形状、色、大きさ、位置、傾きなど）を記憶する部分である。例えば、マーカは、所定のパターンが形成された物体であったり、発光などの動的情報を有している物体であったり、センサーに感知され得る物体であったりするものであり、これら特徴をユーザにより登録され、そして記憶される。
【００２３】
なお、このマーカは事前に用意されているマーカを用いてもよいし、使用者がその場で書いた絵のパターンや周囲の物体から抽出されるパターンを自動で認識し、登録してもよい。また、初期値はユーザが指定してもよいし、電源オン時または登録時に自動的に登録されるようにしてもよい。また、この登録部１１に登録されるマーカの情報は、マーカを識別するための情報であるとともに、その状態（位置、傾き）を示す情報であってもよい。
【００２４】
マーカ検出部１２は、マーカを検出するセンサーであって、登録部１１に記憶されている情報をもとに、マーカ検出部１２の検出範囲に含まれている周囲の空間からマーカのみを検出する。このマーカ検出部１２には位置センサー、加速度センサー、地磁気センサーなどあらゆるセンサーを用いることができ、簡易に利用できるものとしてカメラが考えられる。可視光カメラや赤外照射による撮像装置で周囲の画像を撮像し、撮像画像を画像処理し、テンプレートマッチングなどの手法を用いて登録部１１に登録してあるマーカの特徴と比較することによってマーカを検出することができる。マーカ検出部１２は、認識されたマーカの動きを常に追従し、マーカの状態を算出するとともに、その状態を物体領域検出部１３に通知する。
【００２５】
物体領域検出部１３は、マーカ検出部１２によりマーカが検出されると、その検出されたマーカの動きと同期する特徴を有する集合体を検出する部分であり、周囲に存在する任意の物体を入出力用物体として検出する。例えば、ユーザは自分が入出力に用いたい物体を任意に選び、この任意の物体を入出力用物体として検出するために、ユーザは選んだ物体にマーカを装着する。このとき基準となるマーカの状態の初期値、例えばマーカの位置、傾きのいずれかあるいは複数の組み合わせなどを登録部１１に登録しておくとよい。そして、物体領域検出部１３はマーカの動きと同期する特徴を含んだ集合体を物体領域として検出し、この集合体を入出力用物体として認識する。
【００２６】
なお、物体領域の検出方法は、後述するようにオプティカルフローを利用して、マーカに同期して動く部分を入出力用物体として認識するようにしてもよいし、物体領域のエッジを認識して入出力用物体を認識してもよいし、色情報を利用して、同一の色を有する部分は同一の入出力用物体として認識するようにしてもよい。また、物体領域検出部１３は、２つ以上の情報を用いて領域を認識するようにしてもよい。例えば、物体領域検出部１３は、同じオプティカルフローの集合が存在する付近の色情報を用いて、その色を共通にする領域全体が検出するようにしてもよい。
【００２７】
図５にオプティカルフローなどを用いたマーカが付加された入出力用物体の検出の概念を示す。図５に示されるように、マーカ検出部１２により検出されたマーカ２４の動きに同期する部分を、物体領域検出部１３が検出する。例えば、入出力用物体２３のエッジ部分、表面などの各部分における動き（矢印で示された部分）を検出する。
【００２８】
マーカ状態算出部２１は、マーカ検出部１２で検出されたマーカの状態、例えば位置（ユーザからの距離を含む）または傾きのいずれかあるいは複数の組み合わせを登録部１１で記憶されている初期値を基準に算出するものである。算出方法としては、ＡＲ（拡張現実感）におけるマーカの検出の手法を用いることができる。
【００２９】
特徴点抽出部２２は、物体領域検出部１３によって検出された入出力用物体２３の形状および大きさなどの特徴点ならびにその特徴点を構成する座標を算出する部分である。例えば、特徴点抽出部２２は、入出力用物体２３が長方形からなる紙であった場合には、その対角線の２点を抽出することにより、入出力用物体２３の大きさを算出することができる。また、入出力用物体２３が長方形ではなく、人形、ぬいぐるみのような複雑な形状を有する物体に対して、少なくとも２点、望ましくは、４点を入出力用物体２３内に抽出することにより、入出力用物体２３に映像を投影できる大きさを把握することができる。これら２点または４点はユーザが手動で指示してもよいし、画像処理を用いて自動で決定してもよい。この特徴点抽出部２２は、少なくとも入出力用物体２３の大きさを把握するものであり、その把握した大きさにしたがって入出力用物体２３に合わせた映像を表示部６０は表示することができる。
【００３０】
このように２点または４点抽出した部分に基づいて、特徴点抽出部２２は、特徴点の集合の領域を矩形で近似したり、集合（同じ特徴を持つ）の一番外側にある点を結んでその内側を領域として検出したりすることにより、入出力用物体２３に映像を投影することができる部分を認識することができる。
【００３１】
さらに、物体領域検出部１３により、同じオプティカルフローの集合が存在する付近の色情報を用いて、その色を共通にする領域全体が検出される場合においては、特徴点抽出部２２はその２つ以上の特徴を用いて、特徴点を抽出することができる。このように特徴点を抽出すると、特徴点抽出部２２は、抽出した特徴点とマーカとの位置関係を記憶する。
【００３２】
変換パラメータ算出部３０は、マーカ２４の状態（すなわち入出力用物体２３の状態）を判定し、入出力用物体２３に表示する映像を変換するための変換パラメータを算出する部分である。マーカ２４と入出力用物体２３との状態は同一であるため、マーカ状態算出部２１により算出されたマーカ２４の状態から入出力用物体２３の状態（位置（ユーザからの距離）、傾きなど）を判定する。すなわち、マーカ２４を基準とした入出力用物体２３の状態を算出し、この状態に基づいて、表示する映像の変換パラメータ、例えば入出力用物体２３の位置および傾きとその入出力用物体２３に重畳して表示する映像の表示位置、映像の大きさ、傾きなどを一致させるための変換パラメータを算出する。このように算出された変換パラメータを変換部５０に出力する。
【００３３】
この変換パラメータの具体例について説明する。この変換パラメータは、変換行列Ｍを構成する数値情報である。変換処理を行うための変換行列Ｍは、映像が表示される座標（Ｘ，Ｙ，Ｚ）を入出力用物体２３の座標（ｘ，ｙ，ｚ）にあわせて、それぞれの軸に対する回転移動や平行移動を行う行列で表現される（式（１）参照）。この変換行列Ｍによると、入出力用物体２３が回転している場合は回転パラメータＲ部分がその回転角度θaによって規定され、平行移動の場合にはΔＸ,ΔＹ,ΔＺのうちその移動軸に従ったパラメータが規定される。なお、この変換パラメータは変換行列Ｍに限られるものではなく、映像の移動・回転処理を行わせるものであれば何でもよく、また拡大・縮小を行うことを可能とする変換パラメータを構成してもよい。
【数１】
【００３４】
映像蓄積部４０は、入出力用物体２３に合わせた画像を蓄積する部分である。この画像はキーボードやペン入力用の画像といった入力手段のみの画像であってもよいし、入力手法とこの入力を反映した出力とが一緒になっている画像であってもよい。また、入力手法がない、一般のディスプレイに描画される画像のみでもよい。どの画像を表示するかはユーザが事前に選んでもよいし、コンテンツによって自動に決定されてもよい。また映像蓄積部４０は認識装置１００を備える携帯電話などのメモリであってもよいし、通信網を介したサーバであってもよい。映像蓄積部４０に蓄積されている画像は、変換部５０に出力される。
【００３５】
変換部５０は、変換パラメータ算出部３０により出力された変換パラメータに基づいて映像蓄積部４０に記憶されている映像を、拡大・縮小、回転、平行移動などの変換処理を行い、これを表示部６０に出力する。
【００３６】
表示部６０は、変換された映像を表示する。なお、表示部６０は、ＨＭＤ（Head Mount Display）のようなメガネ型ディスプレイでもよいし、一般のディスプレイであってもよい。ここで表示部６０は、メガネ型ディスプレイである場合には、透過性のあるディスプレイであることが好ましい。透過性のあるディスプレイとすることによりレンズを通して見た対象物に映像を重畳して表示することができる。
【００３７】
入力検出部７０は、表示部６０に表示された入力手段の映像に対して行ったユーザの入力の動作を検出し、入力操作を受け付ける部分である。この入力検出部７０は、入出力用物体２３の映像上での入力位置を検出し、その検出した入力位置に基づいてユーザの行った入力を判定する。この入力検出部７０により検出された位置情報に基づいて赤外線や超音波を用いたバーチャルキーボードやカメラでのジェスチャー認識やペン認識を実行することができる。
【００３８】
例えば、入力検出部７０が赤外線を用いたバーチャルキーボードであれば、入出力用物体２３の特徴（大きさ、形状）を、特徴点抽出部２２から入力検出部７０（赤外線センサー（図示せず））に送り、赤外線の投射範囲を入出力用物体２３の形状に合わせて変化させる。そして、ユーザの指が入出力用物体２３に触れたことによって変化する赤外線の反射率を測定することによって入力を判定する。この処理を実現するために、入力を行う指の位置と投射範囲内に表示された各キーボードの位置とを対応づけて記憶することによって、入力動作を検出可能にする。また、入力検出部７０がカメラから構成されている場合には、指の位置と入出力用物体２３に表示されている画像の位置を対応付けて記憶しておき、その指の位置に応じた処理、例えば指示信号を機器８０に出力する。
【００３９】
この入力検出部７０により検出された入力を変換部５０に出力し、変換部５０で入力結果を反映し、表示部６０で表示する。例えば、ボタンが押された場合には、その押された映像が表示部６０に表示されることになり、また操作された内容、例えば、キーボードが表示されており、ユーザは“Ｋ”を押下した場合には、押下された“Ｋ”が表示される。
【００４０】
機器８０は、例えば、テレビなどの家庭用電化製品またはパソコン等の情報機器であり、入力検出部７０から出力される信号を受信することができる受信部８１を備えている。受信部８１は、入力検出部7０の入力を受信し、その入力に応じた処理を行う。例えば、たとえば入出力用物体２３をリモコンとして用いた場合には、入力検出部７０はリモコン操作の入力を受け付け、その結果を受信部８１に出力する。受信部８１は、その結果に基づいた処理を行い、例えばチャンネルの変更処理を行うような処理を実行する。
【００４１】
ここでマーカ２４と入出力用物体２３との関係について図３を用いて説明する。ここの例では、認識装置１００はメガネ型の形状を採用したものである。このめがね型の認識装置１００は、入出力用物体２３を検出する物体領域検出部１３、およびマーカ２４を検出するマーカ検出部１２をメガネのフレーム部分に備えており、それぞれ入出力用物体２３およびマーカ２４を検出可能にしている。また、表示部６０は、レンズの内側に形成されており、レンズを通して物体を視認可能とするとともに、映像を表示することができるよう構成されている。
【００４２】
図３は、マーカ２４と入出力用物体２３との関係を示す説明図である。図３に示すようにマーカ２４は入出力用物体２３に付加される。この入出力用物体２３として、紙が挙げられるが、これに限らず立体的なものでもよい。マーカ検出部１２は、上述したとおり登録部１１に記憶されている情報に基づいてマーカ２４を検出する。物体領域検出部１３は、マーカ２４の動きに同期する特徴の集合体を検出する。ここでは入出力用物体２３を検出することになる。そして、特徴点抽出部２２は、物体領域検出部１３により検出された物体領域にしたがった特徴点（形状、大きさなど）を抽出することができる。図３においては、入出力用物体２３は矩形の形状で形成されている物体であるため、対角線の２点、すなわち物体領域上にもっとも長い線を形成することができる２点を抽出することにより、物体領域に従った大きさを認識することができる。また、同様に４点抽出するようにしてもよい。また、２点、４点など矩形に限定することなく、複数の点をとるようにしてもよい。
【００４３】
抽出された特徴点にしたがって、変換パラメータ算出部３０は、変換パラメータを算出し、変換部５０はその変換パラメータにしたがって、映像蓄積部４０に蓄積されている映像を加工する。ここでは、図３に示されているように、ユーザのメガネの内側に形成されているディスプレイ（表示部６０）に、メガネのレンズを通して観察される投影対象物（例えば、紙や平面状の物体など）にキーボードの映像２５が重ねられて表示される。この映像２５には、表示部分２５ａとキーボード部分２５ｂとが表示されており、ユーザは入出力用物体２３を構成する紙を触ることにより、擬似的にキーボードを操作することができる。操作すると、例えばキーを押下すると、その押下位置に応じた文字が表示部分２５ａに表示されることになる。
【００４４】
このようにユーザは、入出力用物体２３に重畳して表示部６０に表示されたキーボードを操作することにより、入力操作を行うことができる。
【００４５】
つぎに、本実施形態の認識装置１００の動作について説明する。図４は、認識装置１００の動作を示すフローチャートである。まず、認識装置１００のユーザによりマーカ２４が装着される（Ｓ１０１）。そして、マーカ検出部１２によりマーカ２４が検出される（Ｓ１０２）。つぎに、物体領域検出部１３により、マーカ２４が装着された入出力用物体２３が検出される（Ｓ１０３）。物体領域検出部１３により検出された入出力用物体２３の特徴点が抽出され、入出力用物体２３を構成する座標が取得される（Ｓ１０４）。
【００４６】
つぎに、変換パラメータ算出部３０により、マーカ２４の状態に基づいて映像蓄積部４０に格納されている映像の傾き、位置、および大きさなどを変換するための変換パラメータが算出される（Ｓ１０５）。この変換パラメータに基づいて変換部５０により映像が変換される（Ｓ１０６）。変換された映像は、表示部６０表示される（１０７）。本実施形態においてはメガネの内側に、透過可能にディスプレイがレンズ上に形成されているため、入出力用物体２３に映像が重畳されて表示されることになる。
【００４７】
ユーザは、入出力用物体２３に重畳されて表示されている映像であるキーボードを操作する。そして、入力検出部７０により、ユーザの入出力用物体２３上の操作位置が検出され、その位置に応じた入力処理が行われる（Ｓ１０８）。そして、表示部分２５ａに表示された表示映像が書き換えられ、例えば押下した文字が表示される（Ｓ１０９）
【００４８】
なお、Ｓ１０７の処理の時点では、入出力用物体２３の形状がわかっているため、Ｓ１０４〜Ｓ１０７の動作を繰り返し行うことにより、多少、入出力用物体２３の状態が変わってもロバストに追従することができる。なお、マーカ２４を他の物体に装着する際は電源をオフにするなどの切り替え動作が必要となる。
【００４９】
また、Ｓ１０２〜Ｓ１０７の動作を繰り返し行うように制御することにより、その都度、マーカ検出部１２がマーカ２４を検出し、物体領域検出部１３が入出力用物体２３を検出するようにしてもよい。この場合には、明示的な切り替え動作なしにマーカ２４を他の物体に装着し、物体を認識することができる。
【００５０】
Ｓ１０８、Ｓ１０９の処理を省略することによって、物体をディスプレイのみの利用とすることができ、ユーザの好みの大きさの画面で映像を見ることができる。
【００５１】
また、入力用画像はキーボードや文字入力のような入力パターンのみの表示だけではなく、一般のディスプレイに描画される出力画像が一緒に表示されてもよいし、出力画像のみでもよい。また、ぬいぐるみなど立体的な物体を入出力用物体とし、各部位に機能を持たせることができ、例えば手を押すことで電話に出るなどの感覚的な操作を可能とすることができる。
【００５２】
つぎに、本実施形態の認識装置１００の作用効果について説明する。この認識装置１００において、マーカ検出部１２は、識別対象である入出力用物体２３に付加され、当該入出力用物体２３と区別可能に形成されているマーカ２４を検出する。また、物体領域検出部１３は、検出されたマーカの動きと同期する入出力用物体２３の領域を検出し、特徴点抽出部２２は、物体領域検出部１３により検出された領域に基づいて、入出力用物体２３の大きさ、形状などの特徴点を抽出することができる。これにより、予め入出力用物体２３を登録することなく、かつ簡単な処理により入出力用物体２３を認識することができる。
【００５３】
また、認識装置１００において、その表示部６０は、入出力用物体２３の大きさおよび形状に特徴点に合わせた画像を表示することができ、表示したい映像を拡大し、または縮小するといった使い勝手のよい装置を実現することができる。
【００５４】
また、認識装置１００において、変換部５０はマーカ状態算出部２１により算出されたマーカ２４の状態に従って映像を加工し、表示部６０は加工された映像を表示することができる。よって、マーカ２４の位置、傾きなどにより、映像を拡大、縮小、角度変換などの加工を施すことにより、入出力用物体２３の状態に応じた表示を行うことができ、より使い勝手のよい装置を実現することができる。
【００５５】
また、認識装置１００において、表示部６０は、入出力用物体２３の大きさ、形状などの特徴に合わせた操作画面を表示するとともに、入力検出部７０は入出力用物体２３に対するユーザによる指示した操作位置を検出する。そして、入力検出部７０は、操作画面と検出された位置とに基づいた入力操作を受け付けることができる。よって、ユーザが任意に選択した入出力用物体２３を入力手段として扱うことができ、使い勝手のよい装置を実現することができる。例えば、携帯電話などのキーのように小さいものである場合には、ユーザが任意に比較的大きい物体を入力手段として選択した場合には、使い勝手のよい入力手段を実現することができる。
【図面の簡単な説明】
【００５６】
【図１】本実施形態における認識装置１００の機能構成を示すブロック図である。
【図２】認識装置１００のハードウェア構成図である。
【図３】マーカ２４と入出力用物体２３との関係を示す説明図である。
【図４】認識装置１００の動作を示すフローチャートである。
【図５】オプティカルフローなどを用いたマーカが付加された入出力用物体の検出の概念を示す概念図である。
【符号の説明】
【００５７】
１０…検出部、１１…登録部、１２…マーカ検出部、１３…物体領域検出部、２０…処理部、２１…マーカ状態算出部、２２…特徴点抽出部、２３…入出力用物体、２４…マーカ、２５…映像、３０…変換パラメータ算出部、４０…映像蓄積部、５０…変換部、６０…表示部、７０…入力検出部、８０…機器、８１…受信部、１００…認識装置、１０４…センサー、１０５…表示部、１０５…補助記憶装置、１０６…近距離無線通信部。
【技術分野】
【０００１】
本発明は、物体を認識する認識装置および認識方法に関する。
【背景技術】
【０００２】
周囲に存在する任意の物体を特定する技術として、特許文献１に記載されている技術が知られている。この特許文献１には、路面を走行する自動車および当該自動車と路面との位置関係を認識することが記載されている。また、センサーを用いて、物体を特定せず、そこに物体が存在するという情報のみを検出する技術として、特許文献２に記載されている技術が知られている。また、画像中の任意の物体を画像処理のみで特徴点を抽出し、物体を認識する技術が知られている（非特許文献1）。
【特許文献１】特許第３４２４３３４号公報
【特許文献２】特許第３７３１１２３号公報
【非特許文献１】木村俊、荒谷真一、菅泰雄 “カラー情報による物体の抽出と特徴点検出による３次元形状の認識”、第８回画像センシングシンポジウム講演論文集、H８、ｐｐ．３８１−３８４（２００２）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、近年、携帯電話などの携帯端末で電子メールなど文字入力をする機会が増えてきている。一般的に、携帯電話では、テンキーを複数回押下することにより所望の文字を入力することができる。
【０００４】
一方で、このような携帯端末のキーボードにおいて、ボタンが小さいため打ちづらいという問題がある。そのため、ユーザが周囲にある物体の中から好みの大きさの物体を選んで入力手段として用いることができればこのような問題は解決できると考えられるが、周囲にある物体を入力手段として用いるための物体として認識する必要がある。
【０００５】
しかしながら、上述従来の技術として知られている物体を認識する技術においては、周囲の任意の物体を、利用したい唯一の物体として特定することは大変困難である。例えば、特許文献１に記載されている技術においては、路面、自動車などを認識することができるが、任意の一物体のみを認識するということはできず、上述のユーザの身近にある物体を認識させることに適用するには不適切である。
【０００６】
また、特許文献２に記載の技術においては位置のみ認識するため、やはり任意の一物体のみを認識させることはできない。
【０００７】
また、非特許文献１に記載の技術においては、高度な画像処理を必要とすることから、その構成が複雑となるという問題がある。
【０００８】
そこで、上述の課題を解決するために、本発明は、簡易な構成でかつ任意の一物体を認識することができる認識装置および認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明の認識装置は、識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出手段と、前記マーカ検出手段により検出されたマーカの動きと同期する領域を検出する物体領域検出手段と、前記物体領域検出手段により検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出手段とを備えている。
【００１０】
また、本発明の認識方法は、識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出ステップと、前記マーカ検出ステップにより検出されたマーカの動きと同期する領域を検出する物体領域検出ステップと、前記物体領域検出ステップにより検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出ステップとを備えている。
【００１１】
この発明によれば、識別対象の物体に付加され、物体と区別可能に形成されているマーカを検出し、検出されたマーカの動きと同期する領域を検出し、検出された領域に基づいて、物体の特徴点を抽出することができる。これにより、予め物体を登録することなく、かつ簡単な処理により物体を認識することができる。
【００１２】
また、本発明の認識装置は、前記物体の特徴点に合わせた映像を表示する表示手段と、を備えることが好ましい。
【００１３】
この発明によれば、物体の特徴点に合わせた映像を表示することができ、表示したい映像を拡大し、または縮小するといった使い勝手のよい装置を実現することができる。
【００１４】
また、本発明の認識装置は、前記マーカの状態を算出する状態算出手段と、前記状態算出手段により算出された前記マーカの状態に従って前記表示手段に表示される映像を加工する変換手段とを備え、前記表示手段は、前記変換手段により加工された映像を表示することが好ましい。
【００１５】
この発明によれば、算出されたマーカの状態に従って映像を加工し、加工された映像を表示することができ、例えば、マーカの位置、傾きなどにより、映像を拡大、縮小、角度変換などの加工を施すことにより、物体の状態に応じた表示を行うことができ、より使い勝手のよい装置を実現することができる。
【００１６】
また、本発明の認識装置は、前記物体とユーザによる操作位置との位置関係を検出する入力検出手段と、前記入力検出手段により検出されたユーザによる操作位置に基づいた入力操作を受け付ける受付手段と、を備え、前記表示手段は、前記物体の特徴に合わせた操作画面を構成する映像を表示し、前記ユーザは、操作画面を構成する映像に従った操作を行うことができることが好ましい。
【００１７】
この発明によれば、操作画面を表示するとともに、物体に対するユーザによる操作位置を検出し、物体と操作位置とに基づいた入力操作を受け付けることができる。よって、ユーザは、操作画面を構成する映像に従った操作を行うことができるとともに、ユーザが任意に選択した物体を入力手段として扱うことができ、使い勝手のよい装置を実現することができる。したがって、携帯電話などのキーのように小さいものである場合には、ユーザが任意に比較的大きい物体を入力手段として選択した場合には、使い勝手のよい入力手段を実現することができる。
【発明の効果】
【００１８】
本発明によれば、予め物体を登録することなく、かつ簡単な処理により物体を認識することができる。
【発明を実施するための最良の形態】
【００１９】
本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２０】
図1は、本実施形態における認識装置１００の機能構成を示すブロック図である。この認識装置１００は、検出部1０、処理部２０、変換パラメータ算出部３０、映像蓄積部４０、変換部５０（変換手段）、表示部６０（表示手段）、および入力検出部７０（入出力検出手段、受付手段））を含んで構成されている。ここで検出部１０は、登録部１１、マーカ検出部１２（マーカ検出手段）、および物体領域検出部１３（物体領域検出手段）を含んで構成され、処理部２０は、マーカ状態算出部２１（状態算出手段）、および特徴点抽出部２２（特徴点抽出手段）を含んで構成されている。
【００２１】
図２は、認識装置１００のハードウェア構成図である。認識装置１００は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、センサー１０４（マーカ検出部１２、物体領域検出部１３に相当）、ハードディスク等の補助記憶装置１０５、ディスプレイ等の表示部１０５（表示部６０に相当）、近距離無線通信部１０６（入出力検出部７０に相当）などを含むコンピュータシステムとして構成されている。図１において説明した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとでセンサー１０４、表示部１０５、近距離無線通信部１０６を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。以下、図１に示す機能ブロックに基づいて、各機能ブロックを説明する。
【００２２】
登録部１１は、任意の物体に装着するマーカを事前に登録し、マーカの持っている特徴を示す情報およびその特徴に基づいた基準値となる初期値（形状、色、大きさ、位置、傾きなど）を記憶する部分である。例えば、マーカは、所定のパターンが形成された物体であったり、発光などの動的情報を有している物体であったり、センサーに感知され得る物体であったりするものであり、これら特徴をユーザにより登録され、そして記憶される。
【００２３】
なお、このマーカは事前に用意されているマーカを用いてもよいし、使用者がその場で書いた絵のパターンや周囲の物体から抽出されるパターンを自動で認識し、登録してもよい。また、初期値はユーザが指定してもよいし、電源オン時または登録時に自動的に登録されるようにしてもよい。また、この登録部１１に登録されるマーカの情報は、マーカを識別するための情報であるとともに、その状態（位置、傾き）を示す情報であってもよい。
【００２４】
マーカ検出部１２は、マーカを検出するセンサーであって、登録部１１に記憶されている情報をもとに、マーカ検出部１２の検出範囲に含まれている周囲の空間からマーカのみを検出する。このマーカ検出部１２には位置センサー、加速度センサー、地磁気センサーなどあらゆるセンサーを用いることができ、簡易に利用できるものとしてカメラが考えられる。可視光カメラや赤外照射による撮像装置で周囲の画像を撮像し、撮像画像を画像処理し、テンプレートマッチングなどの手法を用いて登録部１１に登録してあるマーカの特徴と比較することによってマーカを検出することができる。マーカ検出部１２は、認識されたマーカの動きを常に追従し、マーカの状態を算出するとともに、その状態を物体領域検出部１３に通知する。
【００２５】
物体領域検出部１３は、マーカ検出部１２によりマーカが検出されると、その検出されたマーカの動きと同期する特徴を有する集合体を検出する部分であり、周囲に存在する任意の物体を入出力用物体として検出する。例えば、ユーザは自分が入出力に用いたい物体を任意に選び、この任意の物体を入出力用物体として検出するために、ユーザは選んだ物体にマーカを装着する。このとき基準となるマーカの状態の初期値、例えばマーカの位置、傾きのいずれかあるいは複数の組み合わせなどを登録部１１に登録しておくとよい。そして、物体領域検出部１３はマーカの動きと同期する特徴を含んだ集合体を物体領域として検出し、この集合体を入出力用物体として認識する。
【００２６】
なお、物体領域の検出方法は、後述するようにオプティカルフローを利用して、マーカに同期して動く部分を入出力用物体として認識するようにしてもよいし、物体領域のエッジを認識して入出力用物体を認識してもよいし、色情報を利用して、同一の色を有する部分は同一の入出力用物体として認識するようにしてもよい。また、物体領域検出部１３は、２つ以上の情報を用いて領域を認識するようにしてもよい。例えば、物体領域検出部１３は、同じオプティカルフローの集合が存在する付近の色情報を用いて、その色を共通にする領域全体が検出するようにしてもよい。
【００２７】
図５にオプティカルフローなどを用いたマーカが付加された入出力用物体の検出の概念を示す。図５に示されるように、マーカ検出部１２により検出されたマーカ２４の動きに同期する部分を、物体領域検出部１３が検出する。例えば、入出力用物体２３のエッジ部分、表面などの各部分における動き（矢印で示された部分）を検出する。
【００２８】
マーカ状態算出部２１は、マーカ検出部１２で検出されたマーカの状態、例えば位置（ユーザからの距離を含む）または傾きのいずれかあるいは複数の組み合わせを登録部１１で記憶されている初期値を基準に算出するものである。算出方法としては、ＡＲ（拡張現実感）におけるマーカの検出の手法を用いることができる。
【００２９】
特徴点抽出部２２は、物体領域検出部１３によって検出された入出力用物体２３の形状および大きさなどの特徴点ならびにその特徴点を構成する座標を算出する部分である。例えば、特徴点抽出部２２は、入出力用物体２３が長方形からなる紙であった場合には、その対角線の２点を抽出することにより、入出力用物体２３の大きさを算出することができる。また、入出力用物体２３が長方形ではなく、人形、ぬいぐるみのような複雑な形状を有する物体に対して、少なくとも２点、望ましくは、４点を入出力用物体２３内に抽出することにより、入出力用物体２３に映像を投影できる大きさを把握することができる。これら２点または４点はユーザが手動で指示してもよいし、画像処理を用いて自動で決定してもよい。この特徴点抽出部２２は、少なくとも入出力用物体２３の大きさを把握するものであり、その把握した大きさにしたがって入出力用物体２３に合わせた映像を表示部６０は表示することができる。
【００３０】
このように２点または４点抽出した部分に基づいて、特徴点抽出部２２は、特徴点の集合の領域を矩形で近似したり、集合（同じ特徴を持つ）の一番外側にある点を結んでその内側を領域として検出したりすることにより、入出力用物体２３に映像を投影することができる部分を認識することができる。
【００３１】
さらに、物体領域検出部１３により、同じオプティカルフローの集合が存在する付近の色情報を用いて、その色を共通にする領域全体が検出される場合においては、特徴点抽出部２２はその２つ以上の特徴を用いて、特徴点を抽出することができる。このように特徴点を抽出すると、特徴点抽出部２２は、抽出した特徴点とマーカとの位置関係を記憶する。
【００３２】
変換パラメータ算出部３０は、マーカ２４の状態（すなわち入出力用物体２３の状態）を判定し、入出力用物体２３に表示する映像を変換するための変換パラメータを算出する部分である。マーカ２４と入出力用物体２３との状態は同一であるため、マーカ状態算出部２１により算出されたマーカ２４の状態から入出力用物体２３の状態（位置（ユーザからの距離）、傾きなど）を判定する。すなわち、マーカ２４を基準とした入出力用物体２３の状態を算出し、この状態に基づいて、表示する映像の変換パラメータ、例えば入出力用物体２３の位置および傾きとその入出力用物体２３に重畳して表示する映像の表示位置、映像の大きさ、傾きなどを一致させるための変換パラメータを算出する。このように算出された変換パラメータを変換部５０に出力する。
【００３３】
この変換パラメータの具体例について説明する。この変換パラメータは、変換行列Ｍを構成する数値情報である。変換処理を行うための変換行列Ｍは、映像が表示される座標（Ｘ，Ｙ，Ｚ）を入出力用物体２３の座標（ｘ，ｙ，ｚ）にあわせて、それぞれの軸に対する回転移動や平行移動を行う行列で表現される（式（１）参照）。この変換行列Ｍによると、入出力用物体２３が回転している場合は回転パラメータＲ部分がその回転角度θaによって規定され、平行移動の場合にはΔＸ,ΔＹ,ΔＺのうちその移動軸に従ったパラメータが規定される。なお、この変換パラメータは変換行列Ｍに限られるものではなく、映像の移動・回転処理を行わせるものであれば何でもよく、また拡大・縮小を行うことを可能とする変換パラメータを構成してもよい。
【数１】
【００３４】
映像蓄積部４０は、入出力用物体２３に合わせた画像を蓄積する部分である。この画像はキーボードやペン入力用の画像といった入力手段のみの画像であってもよいし、入力手法とこの入力を反映した出力とが一緒になっている画像であってもよい。また、入力手法がない、一般のディスプレイに描画される画像のみでもよい。どの画像を表示するかはユーザが事前に選んでもよいし、コンテンツによって自動に決定されてもよい。また映像蓄積部４０は認識装置１００を備える携帯電話などのメモリであってもよいし、通信網を介したサーバであってもよい。映像蓄積部４０に蓄積されている画像は、変換部５０に出力される。
【００３５】
変換部５０は、変換パラメータ算出部３０により出力された変換パラメータに基づいて映像蓄積部４０に記憶されている映像を、拡大・縮小、回転、平行移動などの変換処理を行い、これを表示部６０に出力する。
【００３６】
表示部６０は、変換された映像を表示する。なお、表示部６０は、ＨＭＤ（Head Mount Display）のようなメガネ型ディスプレイでもよいし、一般のディスプレイであってもよい。ここで表示部６０は、メガネ型ディスプレイである場合には、透過性のあるディスプレイであることが好ましい。透過性のあるディスプレイとすることによりレンズを通して見た対象物に映像を重畳して表示することができる。
【００３７】
入力検出部７０は、表示部６０に表示された入力手段の映像に対して行ったユーザの入力の動作を検出し、入力操作を受け付ける部分である。この入力検出部７０は、入出力用物体２３の映像上での入力位置を検出し、その検出した入力位置に基づいてユーザの行った入力を判定する。この入力検出部７０により検出された位置情報に基づいて赤外線や超音波を用いたバーチャルキーボードやカメラでのジェスチャー認識やペン認識を実行することができる。
【００３８】
例えば、入力検出部７０が赤外線を用いたバーチャルキーボードであれば、入出力用物体２３の特徴（大きさ、形状）を、特徴点抽出部２２から入力検出部７０（赤外線センサー（図示せず））に送り、赤外線の投射範囲を入出力用物体２３の形状に合わせて変化させる。そして、ユーザの指が入出力用物体２３に触れたことによって変化する赤外線の反射率を測定することによって入力を判定する。この処理を実現するために、入力を行う指の位置と投射範囲内に表示された各キーボードの位置とを対応づけて記憶することによって、入力動作を検出可能にする。また、入力検出部７０がカメラから構成されている場合には、指の位置と入出力用物体２３に表示されている画像の位置を対応付けて記憶しておき、その指の位置に応じた処理、例えば指示信号を機器８０に出力する。
【００３９】
この入力検出部７０により検出された入力を変換部５０に出力し、変換部５０で入力結果を反映し、表示部６０で表示する。例えば、ボタンが押された場合には、その押された映像が表示部６０に表示されることになり、また操作された内容、例えば、キーボードが表示されており、ユーザは“Ｋ”を押下した場合には、押下された“Ｋ”が表示される。
【００４０】
機器８０は、例えば、テレビなどの家庭用電化製品またはパソコン等の情報機器であり、入力検出部７０から出力される信号を受信することができる受信部８１を備えている。受信部８１は、入力検出部7０の入力を受信し、その入力に応じた処理を行う。例えば、たとえば入出力用物体２３をリモコンとして用いた場合には、入力検出部７０はリモコン操作の入力を受け付け、その結果を受信部８１に出力する。受信部８１は、その結果に基づいた処理を行い、例えばチャンネルの変更処理を行うような処理を実行する。
【００４１】
ここでマーカ２４と入出力用物体２３との関係について図３を用いて説明する。ここの例では、認識装置１００はメガネ型の形状を採用したものである。このめがね型の認識装置１００は、入出力用物体２３を検出する物体領域検出部１３、およびマーカ２４を検出するマーカ検出部１２をメガネのフレーム部分に備えており、それぞれ入出力用物体２３およびマーカ２４を検出可能にしている。また、表示部６０は、レンズの内側に形成されており、レンズを通して物体を視認可能とするとともに、映像を表示することができるよう構成されている。
【００４２】
図３は、マーカ２４と入出力用物体２３との関係を示す説明図である。図３に示すようにマーカ２４は入出力用物体２３に付加される。この入出力用物体２３として、紙が挙げられるが、これに限らず立体的なものでもよい。マーカ検出部１２は、上述したとおり登録部１１に記憶されている情報に基づいてマーカ２４を検出する。物体領域検出部１３は、マーカ２４の動きに同期する特徴の集合体を検出する。ここでは入出力用物体２３を検出することになる。そして、特徴点抽出部２２は、物体領域検出部１３により検出された物体領域にしたがった特徴点（形状、大きさなど）を抽出することができる。図３においては、入出力用物体２３は矩形の形状で形成されている物体であるため、対角線の２点、すなわち物体領域上にもっとも長い線を形成することができる２点を抽出することにより、物体領域に従った大きさを認識することができる。また、同様に４点抽出するようにしてもよい。また、２点、４点など矩形に限定することなく、複数の点をとるようにしてもよい。
【００４３】
抽出された特徴点にしたがって、変換パラメータ算出部３０は、変換パラメータを算出し、変換部５０はその変換パラメータにしたがって、映像蓄積部４０に蓄積されている映像を加工する。ここでは、図３に示されているように、ユーザのメガネの内側に形成されているディスプレイ（表示部６０）に、メガネのレンズを通して観察される投影対象物（例えば、紙や平面状の物体など）にキーボードの映像２５が重ねられて表示される。この映像２５には、表示部分２５ａとキーボード部分２５ｂとが表示されており、ユーザは入出力用物体２３を構成する紙を触ることにより、擬似的にキーボードを操作することができる。操作すると、例えばキーを押下すると、その押下位置に応じた文字が表示部分２５ａに表示されることになる。
【００４４】
このようにユーザは、入出力用物体２３に重畳して表示部６０に表示されたキーボードを操作することにより、入力操作を行うことができる。
【００４５】
つぎに、本実施形態の認識装置１００の動作について説明する。図４は、認識装置１００の動作を示すフローチャートである。まず、認識装置１００のユーザによりマーカ２４が装着される（Ｓ１０１）。そして、マーカ検出部１２によりマーカ２４が検出される（Ｓ１０２）。つぎに、物体領域検出部１３により、マーカ２４が装着された入出力用物体２３が検出される（Ｓ１０３）。物体領域検出部１３により検出された入出力用物体２３の特徴点が抽出され、入出力用物体２３を構成する座標が取得される（Ｓ１０４）。
【００４６】
つぎに、変換パラメータ算出部３０により、マーカ２４の状態に基づいて映像蓄積部４０に格納されている映像の傾き、位置、および大きさなどを変換するための変換パラメータが算出される（Ｓ１０５）。この変換パラメータに基づいて変換部５０により映像が変換される（Ｓ１０６）。変換された映像は、表示部６０表示される（１０７）。本実施形態においてはメガネの内側に、透過可能にディスプレイがレンズ上に形成されているため、入出力用物体２３に映像が重畳されて表示されることになる。
【００４７】
ユーザは、入出力用物体２３に重畳されて表示されている映像であるキーボードを操作する。そして、入力検出部７０により、ユーザの入出力用物体２３上の操作位置が検出され、その位置に応じた入力処理が行われる（Ｓ１０８）。そして、表示部分２５ａに表示された表示映像が書き換えられ、例えば押下した文字が表示される（Ｓ１０９）
【００４８】
なお、Ｓ１０７の処理の時点では、入出力用物体２３の形状がわかっているため、Ｓ１０４〜Ｓ１０７の動作を繰り返し行うことにより、多少、入出力用物体２３の状態が変わってもロバストに追従することができる。なお、マーカ２４を他の物体に装着する際は電源をオフにするなどの切り替え動作が必要となる。
【００４９】
また、Ｓ１０２〜Ｓ１０７の動作を繰り返し行うように制御することにより、その都度、マーカ検出部１２がマーカ２４を検出し、物体領域検出部１３が入出力用物体２３を検出するようにしてもよい。この場合には、明示的な切り替え動作なしにマーカ２４を他の物体に装着し、物体を認識することができる。
【００５０】
Ｓ１０８、Ｓ１０９の処理を省略することによって、物体をディスプレイのみの利用とすることができ、ユーザの好みの大きさの画面で映像を見ることができる。
【００５１】
また、入力用画像はキーボードや文字入力のような入力パターンのみの表示だけではなく、一般のディスプレイに描画される出力画像が一緒に表示されてもよいし、出力画像のみでもよい。また、ぬいぐるみなど立体的な物体を入出力用物体とし、各部位に機能を持たせることができ、例えば手を押すことで電話に出るなどの感覚的な操作を可能とすることができる。
【００５２】
つぎに、本実施形態の認識装置１００の作用効果について説明する。この認識装置１００において、マーカ検出部１２は、識別対象である入出力用物体２３に付加され、当該入出力用物体２３と区別可能に形成されているマーカ２４を検出する。また、物体領域検出部１３は、検出されたマーカの動きと同期する入出力用物体２３の領域を検出し、特徴点抽出部２２は、物体領域検出部１３により検出された領域に基づいて、入出力用物体２３の大きさ、形状などの特徴点を抽出することができる。これにより、予め入出力用物体２３を登録することなく、かつ簡単な処理により入出力用物体２３を認識することができる。
【００５３】
また、認識装置１００において、その表示部６０は、入出力用物体２３の大きさおよび形状に特徴点に合わせた画像を表示することができ、表示したい映像を拡大し、または縮小するといった使い勝手のよい装置を実現することができる。
【００５４】
また、認識装置１００において、変換部５０はマーカ状態算出部２１により算出されたマーカ２４の状態に従って映像を加工し、表示部６０は加工された映像を表示することができる。よって、マーカ２４の位置、傾きなどにより、映像を拡大、縮小、角度変換などの加工を施すことにより、入出力用物体２３の状態に応じた表示を行うことができ、より使い勝手のよい装置を実現することができる。
【００５５】
また、認識装置１００において、表示部６０は、入出力用物体２３の大きさ、形状などの特徴に合わせた操作画面を表示するとともに、入力検出部７０は入出力用物体２３に対するユーザによる指示した操作位置を検出する。そして、入力検出部７０は、操作画面と検出された位置とに基づいた入力操作を受け付けることができる。よって、ユーザが任意に選択した入出力用物体２３を入力手段として扱うことができ、使い勝手のよい装置を実現することができる。例えば、携帯電話などのキーのように小さいものである場合には、ユーザが任意に比較的大きい物体を入力手段として選択した場合には、使い勝手のよい入力手段を実現することができる。
【図面の簡単な説明】
【００５６】
【図１】本実施形態における認識装置１００の機能構成を示すブロック図である。
【図２】認識装置１００のハードウェア構成図である。
【図３】マーカ２４と入出力用物体２３との関係を示す説明図である。
【図４】認識装置１００の動作を示すフローチャートである。
【図５】オプティカルフローなどを用いたマーカが付加された入出力用物体の検出の概念を示す概念図である。
【符号の説明】
【００５７】
１０…検出部、１１…登録部、１２…マーカ検出部、１３…物体領域検出部、２０…処理部、２１…マーカ状態算出部、２２…特徴点抽出部、２３…入出力用物体、２４…マーカ、２５…映像、３０…変換パラメータ算出部、４０…映像蓄積部、５０…変換部、６０…表示部、７０…入力検出部、８０…機器、８１…受信部、１００…認識装置、１０４…センサー、１０５…表示部、１０５…補助記憶装置、１０６…近距離無線通信部。
【特許請求の範囲】
【請求項１】
識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出手段と、
前記マーカ検出手段により検出されたマーカの動きと同期する領域を検出する物体領域検出手段と、
前記物体領域検出手段により検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出手段と
を備える認識装置。
【請求項２】
前記物体の特徴点に合わせた映像を表示する表示手段と、
を備える請求項１に記載の認識装置。
【請求項３】
前記マーカの状態を算出する状態算出手段と、
前記状態算出手段により算出された前記マーカの状態に従って前記表示手段に表示される映像を加工する変換手段とを備え、
前記表示手段は、前記変換手段により加工された映像を表示することを特徴とする請求項２に記載の認識装置。
【請求項４】
前記物体とユーザによる操作位置との位置関係を検出する入力検出手段と、
前記入力検出手段により検出されたユーザによる操作位置に基づいた入力操作を受け付ける受付手段と、
を備え、
前記表示手段は、前記物体の特徴に合わせた操作画面を構成する映像を表示し、前記ユーザは、操作画面を構成する映像に従った操作を行うことができることを特徴とする請求項２または３に記載の認識装置。
【請求項５】
識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出ステップと、
前記マーカ検出ステップにより検出されたマーカの動きと同期する領域を検出する物体領域検出ステップと、
前記物体領域検出ステップにより検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出ステップと
を備える認識方法。
【請求項１】
識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出手段と、
前記マーカ検出手段により検出されたマーカの動きと同期する領域を検出する物体領域検出手段と、
前記物体領域検出手段により検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出手段と
を備える認識装置。
【請求項２】
前記物体の特徴点に合わせた映像を表示する表示手段と、
を備える請求項１に記載の認識装置。
【請求項３】
前記マーカの状態を算出する状態算出手段と、
前記状態算出手段により算出された前記マーカの状態に従って前記表示手段に表示される映像を加工する変換手段とを備え、
前記表示手段は、前記変換手段により加工された映像を表示することを特徴とする請求項２に記載の認識装置。
【請求項４】
前記物体とユーザによる操作位置との位置関係を検出する入力検出手段と、
前記入力検出手段により検出されたユーザによる操作位置に基づいた入力操作を受け付ける受付手段と、
を備え、
前記表示手段は、前記物体の特徴に合わせた操作画面を構成する映像を表示し、前記ユーザは、操作画面を構成する映像に従った操作を行うことができることを特徴とする請求項２または３に記載の認識装置。
【請求項５】
識別対象の物体に付加され、前記物体と区別可能に形成されているマーカを検出するマーカ検出ステップと、
前記マーカ検出ステップにより検出されたマーカの動きと同期する領域を検出する物体領域検出ステップと、
前記物体領域検出ステップにより検出された領域に基づいて前記物体の特徴点を抽出する特徴点抽出ステップと
を備える認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１５７２０（Ｐ２００９−１５７２０Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７８７０２（Ｐ２００７−１７８７０２）
【出願日】平成１９年７月６日（２００７．７．６）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月６日（２００７．７．６）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]