説明

入力装置、入力制御方法及びプログラム

【課題】 低消費電力でコストを掛けずに直感的な遠隔操作を行えるようにすることにある。
【解決手段】 入力装置(10)は、離隔位置にある所定立体形状のマーカ体(18、33、42)を画像認識する画像認識手段(8)と、前記画像認識手段の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定手段(13)と、前記姿勢判定手段の判定結果に対応したイベントを発生するイベント発生手段(15)とを備える。マーカ体(18、33、42)の画像を認識し、その画像に基づいてマーカ体の姿勢を判定して遠隔操作用のイベントを発生する。リモコンに適用する場合は、リモコン本体にマーカ体を取り付ければよい。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力装置、入力制御方法及びプログラムに関し、詳細には、離れた場所から機器を遠隔操作するための入力装置、入力制御方法及びプログラムに関する。
【背景技術】
【0002】
いわゆるリモコンは、リモコン本体に設けられているボタンを操作して離れた場所にある電子機器を遠隔操作する。かかるリモコンにおいては、たとえば、電子機器の画面に表示されているカーソルを動かす場合に、リモコン上のカーソルボタンを操作しなければならないが、このようなカーソル操作は面倒であり、直感的ともいえない。カーソルの移動方向に合わせて、いちいち手元のボタンを操作しなければならないからである。
【0003】
そこで、たとえば、リモコン内部に加速度センサを備え、その加速度センサの検出信号に基づいてリモコン本体の傾斜などの姿勢を検出し、その検出結果を赤外線などを用いて、離れた場所の電子機器に送信する技術(以下、第1従来技術)が知られている(たとえば、下記の特許文献1参照)。
これによれば、リモコンの姿勢を変えるだけで、所要の機器操作を行うことができ、上記の欠点を解消できる。
【0004】
また、リモコン本体に一対の受光部を設け、離れた場所の機器から送られてくる赤外光をこの一対の受光部で受光するとともに、その受光量の差に基づいて機器に対するリモコンの傾きを検出し、その検出結果を赤外線などで電子機器に送信する技術(以下、第2従来技術)も知られている(たとえば、下記の特許文献2参照)。同様に、リモコンの姿勢を変えるだけで、所要の機器操作を行うことができ、上記の欠点を解消できる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−333361号公報
【特許文献2】特開平8−122070号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、いずれの従来技術もリモコンのコストアップという問題点を指摘できる。第1従来技術は加速度センサが必要であり、また、第2従来技術は一対の受光部が必要であるからである。また、いずれの従来技術も電力消費の問題点を指摘できる。加速度センサや受光部の電源を必要とする上、さらに、姿勢検出のための動作電源も必要とするからであり、且つ、姿勢検出の結果を送信するための電源も必要とするからである。
【0007】
そこで、本発明の目的は、低消費電力でコストを掛けずに直感的な遠隔操作を行えるようにすることにある。
【課題を解決するための手段】
【0008】
本発明は、離隔位置にある所定立体形状のマーカ体を画像認識する画像認識手段と、前記画像認識手段の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定手段と、前記姿勢判定手段の判定結果に対応したイベントを発生するイベント発生手段とを備えたことを特徴とする入力装置である。
【発明の効果】
【0009】
本発明によれば、低消費電力でコストを掛けずに直感的な遠隔操作を行うことができる。
【図面の簡単な説明】
【0010】
【図1】実施形態における全体的なシステム構成図である。
【図2】電子機器3の内部構成図である。
【図3】リモコン2の外観図及び要部側面図並びに正面図である。
【図4】リモコン2の内部構成図である。
【図5】電子機器3から見たマーカ体18の様子を示す図である。
【図6】リモコン受信装置10の動作フローを示す図である。
【図7】第1の発展例を示す図である。
【図8】電子機器3から見たマーカ体33の様子を示す図である。
【図9】第1の発展例における回転の検出を示す図である。
【図10】第2の発展例を示す図である。
【図11】電子機器3から見たマーカ体42の様子を示す図である。
【図12】第2の発展例における回転の検出を示す図である。
【図13】前記の実施形態におけるマーカ体18を単純化したマーカ体49を示す図である。
【図14】実用上の観点で改良した例を示す図である。
【図15】回転検出の原理図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を、リモコンへの適用を例にして図面を参照しながら説明する。
まず、構成を説明する。
図1は、実施形態における全体的なシステム構成図である。この図において、人物(以下、ユーザという)1に手持ちされたリモコン2は、離れた場所にある電子機器3に対して所要の遠隔操作信号を無線媒体4で送信することができるものである。なお、無線媒体4は、ここでは赤外線とするが、これに限定されない。可視光や電波等の他のワイヤレス媒体であってもよい。
【0012】
電子機器3は、リモコン2からの遠隔操作信号に応答して所要の動作を行うものであり、その具体的機能については任意であり、特に限定しないが、たとえば、テレビ受信機や、ゲーム機またはフォトフレームもしくはパーソナルコンピュータなどであってもよい。
電子機器3は任意形状の筐体5と、その筐体5に収められた液晶ディスプレイパネル等の表示部6とを備えるとともに、表示部6の周囲の額縁7に、CCDやCMOSなどの二次元撮像デバイスからなる撮像部8と赤外線受光部9を備えており、さらに、筐体5の内部にリモコン受信装置10と、電子機器3のアプリケーション装置11とを実装している。なお、図では、表示部6に矢印形の図形を描いているが、この図形は画面上における入力位置を示す記号、いわゆる、カーソル(cursor)12を表している。カーソル12の形状は矢印以外であってもよい。
【0013】
図2は、電子機器3の内部構成図である。この図において、リモコン受信装置10は、マイクロコンピュータ(または単にコンピュータ)やその周辺回路などのハードウェアリソースと、そのマイクロコンピュータで実行される制御プログラム等のソフトウェアリソースを格納した記憶要素(メモリ等)とからなるプログラム制御方式の制御要素であって、それらのハードウェアリソースとソフトウェアリソースの有機的結合により、以下の各制御要素、すなわち、撮像部8からの撮像信号に基づき、後述する原理でリモコン2の姿勢を検出する姿勢検出部13と、赤外線受光部9の受光信号に基づいてリモコン2からの操作信号を検出する操作信号検出部14と、姿勢検出部13の検出結果(リモコン2の姿勢)と操作信号検出部14の検出結果(リモコン2からの操作信号)の双方またはいずれか一方に基づいて、所要のイベント信号を発生してアプリケーション装置11に出力するイベント発生部15とを実現する。
【0014】
アプリケーション装置11は、上記のイベント信号に応答して所要のアプリケーション操作を実行する。このアプリケーション操作は、たとえば、カーソル12(図1参照)の移動などであってもよい。
【0015】
図3は、リモコン2の外観図及び要部側面図並びに正面図である。図3(a)において、リモコン2は、手持ちに適した形状(ここでは一例として細長い箱状とする)の本体部16の操作面(本体部16を手で持ったときに指先で操作しやすい面;図では上面)に所要数(図は4個であるが、これは一例に過ぎない)のボタン17を備えるとともに、本体部16の先端面16a(本体部16を手で持ったときに前方を指す面;図では本体部16の左端面)に特異形状を有するマーカ体18を取り付けて構成されている。
【0016】
本実施形態のリモコン2は、かかる特異形状のマーカ体18を有している点に大きな特徴がある。図3(b)は、マーカ体18の側面図、図3(c)は、マーカ体18の平面図である。これらの図に示すように、マーカ体18は、円を底面19として錐状にとがった立体(すなわち、円錐)の形状を有しており、その底面19を本体部16の先端面16aに接するようにして本体部16に取り付けられている。マーカ体18の頂部(円錐の先端部)は、底面19と平行に切除されており、その切除面に赤外線発光部20が埋め込まれている。この赤外線発光部20は、後述の光源駆動部30によって適宜に駆動され、その駆動時にマーカ体18の軸線21の方向に、所要の操作信号で変調された赤外光22を照射する。
【0017】
マーカ体18は、以上のとおり、円錐状をなし、また、その円錐頂部に埋め込まれた赤外線発光部20から適宜に赤外光22を照射するというものであるが、このマーカ体18の特徴とする点は、さらに、円錐の側面に描かれた同心状の複数の“帯”からなる帯模様を有していることにある。すなわち、図示の例では、マーカ体18の底面19から頂部にかけて等間隔の6本の帯(以下、第1の帯23、第2の帯24、第3の帯25、第4の帯26、第5の帯27、第6の帯28)を有している点に大きな特徴がある。なお、ここでは「等間隔」の「6本」の帯23〜28としているが、これに限定されない。間隔は既知であればよく(つまり、一部または全ての間隔が不等であってもよく)、また、本数も2本(たとえば、第1の帯23と第6の帯28)あるいはそれ以外の本数であってもよい。さらに、ここでは「帯」としているが、帯のように見えるもの、たとえば、段差や溝のようなものであってもよい。
【0018】
図4は、リモコン2の内部構成図である。この図において、リモコン2は、本体部16の内部に、ボタン17の操作に対応した操作信号を発生する操作信号発生部29と、その操作信号で赤外線発光部20の駆動電流を変調して赤外線発光部20を駆動する光源駆動部30と、リモコン2の動作電源を供給するバッテリ31とを実装して構成されている。
【0019】
次に、作用を説明する。
前記のとおり、リモコン2の赤外線発光部20は、リモコン2の先端面16aに取り付けられたマーカ体18の頂部に埋め込まれており、この赤外線発光部20から照射される赤外光22は、マーカ体18の軸線21の方向、つまり、リモコン2の本体部16の長手方向に沿って照射されるようになっている。したがって、離れた場所にある電子機器3を操作しようとするユーザ1は、リモコン2の所定面(ここでは本体部16の先端面16a)を電子機器3の方向に自然に向けることになる。このときのリモコン2の姿勢を便宜的に「正対」ということにする。
【0020】
図5は、電子機器3から見たマーカ体18の様子を示す図である。図5(a)は、ユーザ1がリモコン2を「正対」させているときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像32には、マーカ体18の6本の帯23〜28が、第6の帯28を中心としてほぼ同心状に映し出されている。
【0021】
ここで、ユーザ1がリモコン2を「正対」から少し傾けた場合を考える。たとえば、リモコン2の先端面16aを若干左方向に傾けた場合を想定する。この場合、電子機器3から見たマーカ体18は逆側(右側)に動く。図5(b)は、そのときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像32には、右側に若干偏心した状態の6本の帯23〜28が映し出されることになる。
【0022】
さらに、リモコン2の先端面16aを大きく左方向に傾けた場合を想定する。図5(c)は、そのときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像32には、より大きく右側に偏心した状態の6本の帯23〜28が映し出されることになる。
【0023】
リモコン2を他の方向に傾けた場合も同様である。たとえば、右側(電子機器3から見た場合は左側)に若干傾けた場合は、左側に若干偏心した状態の6本の帯23〜28が映し出され、同方向に大きく傾けた場合は、左側に大きく偏心した状態の6本の帯23〜28が映し出される。また、下側に若干傾けた場合は、同方向に若干偏心した状態の6本の帯23〜28が映し出され、同方向に大きく傾けた場合は、下側に大きく偏心した状態の6本の帯23〜28が映し出される。さらに、上側に若干傾けた場合は、同方向に若干偏心した状態の6本の帯23〜28が映し出され、同方向に大きく傾けた場合は、上側に大きく偏心した状態の6本の帯23〜28が映し出される。あるいは、上下左右だけでなく、上下左右の間の斜め方向であっても同様である。傾けた方向に偏心した6本の帯23〜28が映し出される。
【0024】
このように、実施形態のリモコン2は、特異形状(ここでは円錐状)のマーカ体18を有しているので、リモコン2の上下左右等の任意方向の傾き具合を、そのマーカ体18の見え方(具体的にはマーカ体18の帯23〜28の見え方)から知ることができる。したがって、離れた場所にある電子機器3の撮像部8を用いて、マーカ体18の見え方を画像認識し、リモコン2の傾きを検出することにより、その検出結果を電子機器3に対する入力信号として利用することができるから、冒頭で説明した技術課題、すなわち、「低消費電力でコストを掛けずに直感的な遠隔操作を行うことができる」という技術課題を達成することができる。これは、リモコン2を傾けるだけでよく(ボタン操作不要)、しかも、電力を消費しないからである。
【0025】
図6は、リモコン受信装置10の動作フローを示す図である。このフローに示すように、リモコン受信装置10は、通常は赤外線受光部20の出力をモニタする待機状態(ステップS1)にあり、リモコン2からの赤外光22を受光すると、赤外線受光部20の出力を操作信号検出部14に取り込み、正当な操作信号、つまり、リモコン2の操作信号であるか否かを判定する(ステップS2)。そして、正当な操作信号でない場合、たとえば、ノイズ等による不正な信号である場合は、再び待機状態に戻り、一方、正当な操作信号の場合は、次に、その操作信号が傾き指示であるか否かを判定し(ステップS3)、傾き指示でなければ、イベント発生部15で、その操作信号に応じたイベントを発生(ステップS4)した後、再び待機状態に戻る。ここで、傾き指示の操作信号とは、リモコン2に備えられた複数のボタン17のうちの特定のボタンが操作されたときの信号のことをいう。
【0026】
ステップS3の判定結果がYESの場合、すなわち、傾き指示の操作信号であると判定された場合には、次に、撮像部8を駆動し(ステップS5)、撮像部8からの画像信号を姿勢検出部13に取り込むとともに、その姿勢検出部13でリモコン2の傾きを検出し(ステップS6)、イベント発生部15で、傾きに応じたイベントを発生(ステップS7)した後、再び待機状態に戻る。
【0027】
ここで、ステップS6における傾き検出の一例は、前出の図5のように示される。たとえば、傾きゼロの「正対」の場合は、図5(a)のように、マーカ体18の6本の帯23〜28が第6の帯28を中心としてほぼ同心状に見え、また、若干の左傾け(電子機器3から見て右傾け)の場合は、図5(b)のように、右側に若干偏心した状態の6本の帯23〜28が見え、さらに、大きめの左傾け(電子機器3から見て右傾け)の場合は、図5(c)のように、より大きく右側に偏心した状態の6本の帯23〜28が見えるから、それらの帯23〜28の様子を撮像部8で撮像し、姿勢検出部13で画像処理して帯23〜28の偏心の有無や偏心の度合い(偏心量)及び偏心の方向を調べることにより、リモコン2の傾き方向とその量を検出することができる。つまり、前出の図5を例にすると、図5(a)のような画像32が得られたときには「偏心無し(正対)」を検出でき、また、図5(b)のような画像32が得られたときには「右偏心小」を検出でき、さらに、図5(c)のような画像32が得られたときには「右偏心大」を検出できる。
【0028】
したがって、この実施形態によれば、たとえば、前出の図5を例にすると、「偏心無し(正対)」、「右偏心小」及び「右偏心大」といった三つの姿勢(リモコン2の姿勢)を検出することができるから、それらの検出結果に対応した任意のイベントをイベント発生部15で発生することができる。イベントの内容は特に限定されない。たとえば、図1に示すカーソル12を動かすためのイベントであってもよい。
【0029】
なお、以上の説明では、「偏心無し(正対)」、「右偏心小」及び「右偏心大」といった三つの姿勢を示したが、これらは説明上の一例に過ぎない。上下左右いずれの方向であってもよく、あるいは、上下左右の間の任意の方向であってもよい。また、偏心の度合い(偏心量)についても「小」と「大」の二段階検出のみならず三段階またはそれ以上の多段階検出であってもよいし、あるいは、偏心無し(正対)と最大偏心の間を線形的に連続して偏心量を検出する態様であってもよい。
【0030】
以上のとおり、この実施形態によれば、電子機器3に向けてリモコン2を「正対」させ、そのリモコン2の特定のボタンを押した後、または、当該ボタンを押しながら、リモコン2の姿勢を変えるだけで、電子機器3に対して所要の操作入力を行うことができる。たとえば、その操作入力をカーソル12の操作とすれば、リモコン2の姿勢に応じてカーソル12を自在に動かすことができる。したがって、直感的なカーソル操作を行うことができ、また、リモコン2の電力消費を少なくでき、さらに、冒頭の従来技術のような姿勢センサを必要としないため、リモコン2のコスト削減も図ることができる。
【0031】
なお、以上の実施形態では、リモコン2の「傾き」を検出する態様としているが、これに限定されない。さらに、リモコン2の「回転」も検出する態様に発展させてもよい。
【0032】
<第1の発展例>
図7は、第1の発展例を示す図である。この図において、前記実施形態のマーカ体18に置き換わるマーカ体33は、底面34が二等辺三角形の三角錐の形状を有しており、その三角錐の底面34を本体部16の先端面16aに接するようにして本体部16に取り付けられている。マーカ体33の頂部(三角錐の先端部)は、底面34と平行に切除されており、その切除面に赤外線発光部20が埋め込まれている。この赤外線発光部20は、前述の光源駆動部30(図4参照)によって適宜に駆動され、その駆動時にマーカ体33の軸線35の方向に、所要の操作信号で変調された赤外光22を照射する。
【0033】
マーカ体33は、以上のとおり、三角錐状をなし、また、その三角推体頂部に埋め込まれた赤外線発光部20から適宜に赤外光22を照射するというものであるが、このマーカ体33の特徴とする点は、さらに、三角錐の側面に描かれた複数の“帯”からなる帯模様を有していることにある。すなわち、図示の例では、マーカ体33の底面34から頂部にかけて5本の帯(以下、第1の帯36、第2の帯37、第3の帯38、第4の帯39、第5の帯40)を有している点に大きな特徴がある。なお、ここでは「5本」の帯36〜40としているが、これに限定されない。2本(たとえば、第1の帯36と第5の帯40)あるいはそれ以外の本数であってもよい。また、帯36〜40の間隔は、図示のように第1の帯36〜第4の帯39までを等間隔とし、残りを不等間隔としてもよいが、これに限らず、たとえば、全てを等間隔にしたり、あるいは、全てを不等間隔にしたりしてもよい。さらに、ここでは「帯」としているが、帯のように見えるもの、たとえば、段差や溝のようなものであってもよい。
【0034】
このような形状のマーカ体33であっても、前記実施形態と同様にリモコン2の「傾き」を検出することができる。
【0035】
図8は、電子機器3から見たマーカ体33の様子を示す図である。図8(a)は、ユーザ1がリモコン2を「正対」させているときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像41には、マーカ体33の5本の帯36〜40が、第5の帯40を中心としてほぼ同心状に映し出されている。
【0036】
ここで、ユーザ1がリモコン2を「正対」から少し傾けた場合を考える。たとえば、リモコン2の先端面16aを若干左方向に傾けた場合を想定する。この場合、電子機器3から見たマーカ体33は逆側(右側)に動く。図8(b)は、そのときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像41には、右側に若干偏心した状態の5本の帯36〜40が映し出されることになる。
【0037】
さらに、リモコン2の先端面16aを大きく左方向に傾けた場合を想定する。図8(c)は、そのときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像41には、より大きく右側に偏心した状態の5本の帯36〜40が映し出されることになる。
【0038】
リモコン2を他の方向に傾けた場合も同様である。たとえば、右側(電子機器3から見た場合は左側)に若干傾けた場合は、左側に若干偏心した状態の5本の帯36〜40が映し出され、同方向に大きく傾けた場合は、左側に大きく偏心した状態の5本の帯36〜40が映し出される。また、下側に若干傾けた場合は、同方向に若干偏心した状態の5本の帯36〜40が映し出され、同方向に大きく傾けた場合は、下側に大きく偏心した状態の5本の帯36〜40が映し出される。さらに、上側に若干傾けた場合は、同方向に若干偏心した状態の5本の帯36〜40が映し出され、同方向に大きく傾けた場合は、上側に大きく偏心した状態の5本の帯36〜40が映し出される。あるいは、上下左右だけでなく、上下左右の間の斜め方向であっても同様である。傾けた方向に偏心した5本の帯36〜40が映し出される。
【0039】
このように、第1の発展例におけるリモコン2は、特異形状(ここでは三角錐状)のマーカ体33を有しているので、リモコン2の上下左右等の任意方向の傾き具合を、そのマーカ体33の見え方(具体的にはマーカ体33の帯36〜40の見え方)から知ることができる。したがって、離れた場所にある電子機器3の撮像部8を用いて、マーカ体33の見え方を画像認識し、リモコン2の傾きを検出することにより、その検出結果を電子機器3に対する入力信号として利用することができるから、前記実施形態と同様に、「低消費電力でコストを掛けずに直感的な遠隔操作を行うことができる」という技術課題を達成することができる。
【0040】
加えて、この第1の発展例では、リモコン2の「回転」も検出することができる。
図9は、第1の発展例における回転の検出を示す図である。たとえば、リモコン2を時計回り方向(右回り方向)に回転させた場合を想定する。図9(a)はそのときの画像41である。この場合、画像41に映し出されたマーカ体33は反時計回り方向(左回り方向)に回転する。または、リモコン2を反時計回り方向(左回り方向)に回転させた場合は、図9(a)に示すように、画像41に映し出されたマーカ体33は時計回り方向(右回り方向)に回転する。
したがって、この第1の発展例によれば、リモコン2の回転方向及び回転の大きさも検出できるから、たとえば、カーソル12(図1参照)を回転させるためのイベントを発生することができるようになり、より多彩な操作を行うことができる。
【0041】
<第2の発展例>
図10は、第2の発展例を示す図である。この図において、前記実施形態のマーカ体18に置き換わるマーカ体42は、底面43が逆凸形の台形体状を有しており、その底面43を本体部16の先端面16aに接するようにして本体部16に取り付けられている。マーカ体42の頂部(台形体の先端部)は、底面43と平行に平坦になっており、その平坦面の略中央部分に赤外線発光部20が埋め込まれている。この赤外線発光部20は、前述の光源駆動部30(図4参照)によって適宜に駆動され、その駆動時にマーカ体42の軸線44の方向に、所要の操作信号で変調された赤外光22を照射する。
【0042】
マーカ体42は、以上のとおり、台形状をなし、また、その頂部に埋め込まれた赤外線発光部20から適宜に赤外光22を照射するというものであるが、このマーカ体42の特徴とする点は、さらに、台形体の側面に描かれた複数の“帯”からなる帯模様を有していることにある。すなわち、図示の例では、マーカ体42の底面43から頂部にかけて4本の帯(以下、第1の帯45、第2の帯46、第3の帯47、第4の帯48)を有している点に大きな特徴がある。なお、ここでは「4本」の帯45〜48としているが、これに限定されない。2本(たとえば、第1の帯45と第4の帯48)あるいはそれ以外の本数であってもよい。また、帯45〜48の間隔は、図示のとおり等間隔であってもよいが、一部または全てを不等間隔にしてもよい。さらに、ここでは「帯」としているが、帯のように見えるもの、たとえば、段差や溝のようなものであってもよい。
【0043】
このような形状のマーカ体42であっても、前記実施形態と同様にリモコン2の「傾き」を検出することができる。
【0044】
図11は、電子機器3から見たマーカ体42の様子を示す図である。図11(a)は、ユーザ1がリモコン2を「正対」させているときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像41には、マーカ体42の4本の帯45〜48が、第4の帯48を中心としてほぼ同心状に映し出されている。
【0045】
ここで、ユーザ1がリモコン2を「正対」から少し傾けた場合を考える。たとえば、リモコン2の先端面16aを若干左方向に傾けた場合を想定する。この場合、電子機器3から見たマーカ体42は逆側(右側)に動く。図11(b)は、そのときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像41には、右側に若干偏心した状態の4本の帯45〜48が映し出されることになる。
【0046】
さらに、リモコン2の先端面16aを大きく左方向に傾けた場合を想定する。図11(c)は、そのときの様子である。すなわち、この場合、電子機器3の撮像部8によって撮影された画像41には、より大きく右側に偏心した状態の4本の帯45〜48が映し出されることになる。
【0047】
リモコン2を他の方向に傾けた場合も同様である。たとえば、右側(電子機器3から見た場合は左側)に若干傾けた場合は、左側に若干偏心した状態の4本の帯45〜48が映し出され、同方向に大きく傾けた場合は、左側に大きく偏心した状態の4本の帯45〜48が映し出される。また、下側に若干傾けた場合は、同方向に若干偏心した状態の4本の帯45〜48が映し出され、同方向に大きく傾けた場合は、下側に大きく偏心した状態の4本の帯45〜48が映し出される。さらに、上側に若干傾けた場合は、同方向に若干偏心した状態の4本の帯45〜48が映し出され、同方向に大きく傾けた場合は、上側に大きく偏心した状態の4本の帯45〜48が映し出される。あるいは、上下左右だけでなく、上下左右の間の斜め方向であっても同様である。傾けた方向に偏心した4本の帯45〜48が映し出される。
【0048】
このように、第2の発展例におけるリモコン2は、特異形状(ここでは台形状)のマーカ体42を有しているので、リモコン2の上下左右等の任意方向の傾き具合を、そのマーカ体42の見え方(具体的にはマーカ体42の帯35〜48の見え方)から知ることができる。したがって、離れた場所にある電子機器3の撮像部8を用いて、マーカ体42の見え方を画像認識し、リモコン2の傾きを検出することにより、その検出結果を電子機器3に対する入力信号として利用することができるから、前記実施形態と同様に、「低消費電力でコストを掛けずに直感的な遠隔操作を行うことができる」という技術課題を達成することができる。
【0049】
加えて、この第2の発展例でも、リモコン2の「回転」を検出することができる。
図12は、第2の発展例における回転の検出を示す図である。たとえば、リモコン2を時計回り方向(右回り方向)に回転させた場合を想定する。図12(a)はそのときの画像41である。この場合、画像41に映し出されたマーカ体42は反時計回り方向(左回り方向)に回転する。または、リモコン2を反時計回り方向(左回り方向)に回転させた場合は、図12(a)に示すように、画像41に映し出されたマーカ体42は時計回り方向(右回り方向)に回転する。
したがって、この第2の発展例によれば、リモコン2の回転方向及び回転の大きさも検出できるから、たとえば、カーソル12(図1参照)を回転させるためのイベントを発生することができるようになり、より多彩な操作を行うことができる。
【0050】
なお、以上の説明は、リモコン2への適用を例にしたが、これに限定されない。たとえば、自動車等車両の先行車追従技術の分野にも適用することができる。当該分野では、一般的に車載カメラを用いて先行車を画像認識し、先行車との車間距離を保つように車速を制御したり、また、先行車に追従するようにハンドル舵角を制御したりしているが、先行車の種類が多岐にわたることから、画像認識の精度に課題があった。このため、先行車の後尾に画像認識用のプレートを装着するなどの工夫が行われている。しかしながら、このプレートは単なる一枚の板であって、その板に識別用の図形を描いただけに過ぎないものであることから、先行車までの距離の測定には有効であるものの、たとえば、先行車の方向変化を検出することができないものであった。このため、先行車が急に進路を変更した場合に追従制御が間に合わず、先行車を見失ってしまう(先行車をロストする)ことがあった。本実施形態のマーカ体18、33、42を先行車の後尾に取り付ければ、そのような欠点(先行車のロスト)を解消することができる。マーカ体18、33、42の傾きを検出することにより、先行車の方向変化を速やかに検知することができるからであり、それに伴って先行車追従制御の応答性を改善できるからである。
【0051】
次に、前記の実施形態(「傾き」を検出するもの)の原理について考察する。
図13は、前記の実施形態におけるマーカ体18を単純化したマーカ体49を示す図である。このマーカ体49は、図13(a)、(b)に示すように、所定厚みの板状三角形をなしており、マーカ体49の高さHaは、前記の実施形態におけるマーカ体18(円錐状を有するもの;図3参照)の底面から頂部までの高さにほぼ一致し、また、マーカ体49の底辺長Laは、同マーカ体18の円形状底面の直径にほぼ一致している。
【0052】
マーカ体49の頂部は、マーカ体18と同様に切り欠かれており、その切り欠き部に特異色の指標(ここでは黒色の指標とする)50が印刷または塗布等によって設けられている。また、同様の一対の指標51、52が、マーカ体49の二つの斜辺の同じ位置に設けられている。一対の指標51、52の位置は、マーカ体18の側面に描かれた複数の帯(図3の第1の帯23〜第6の帯28)のうちの一つの帯(たとえば、第3の帯25)の位置に対応する。
【0053】
このようなマーカ体49を頂部方向から俯瞰してみると、図13(c)のように見える。この見え方は、前記の実施形態におけるマーカ体18の「正対」の見え方に相当する。以下、図13(c)の見え方を単に「正対」とすると、この「正対」の場合、マーカ体49の頂部の指標50と一方側斜辺の指標51の間の距離Aと、マーカ体49の頂部の指標50と他方側斜辺の指標52の間の距離Bとが一致して見える(つまり、A=B)。
【0054】
ここで、マーカ体49の俯瞰視線を図面の左右方向いずれかにずらした場合を想定する。「図面の左右方向」とは、マーカ体49の右辺または左辺の方向である。前記の二つの距離A、Bは、視線を左辺方向にずらすと「A>B」に変化し、視線を右辺方向にずらすと「A<B」に変化する。いずれの場合も、AとBの差は視線のずらし量に対応する。このような変化は、一つの指標50と一対の指標51、52との間に適当な視距離差が設けられているからである。視距離差とは、頂部を見下ろすある点からそれらの指標50〜52を見た場合の距離の差のことをいう。頂部の指標50の視距離よりも、左右辺の指標51、52の視距離は大きい。
【0055】
さて、以上の説明では、「視線」をずらしているが、これは説明の便宜である。実際には、このマーカ体49は、前記実施形態のマーカ体18と同様にリモコン2に取り付けられ、リモコン2の動きに合わせて「姿勢」を変化するのであるから、結局のところ、三つの指標の距離A、Bに基づいて、マーカ体49の「姿勢」の変化を検出することができる。
【0056】
したがって、傾き検出の原理上の要件は、第一に、頂部に設けられた一つの指標50と、側面に設けられた少なくとも二つの指標51、52とを有すること、第二に、一つの指標50と他の指標51、52との間に適切な視距離差を設けることにある。
【0057】
このような要件を備えたもの(図示のマーカ体49)であれば、リモコン2の姿勢を一応検出することができる。ただし、これら二つの要件は、あくまでも原理上のものに過ぎない。図13(c)のマーカ体49は、特定方向(図面の左右辺方向)の傾きしか検出できないからであり、実用的でないからである。
【0058】
図14は、実用上の観点で改良した例を示す図である。この図において、マーカ体53は、図13のマーカ体49を十字状に2個組み合わせたものである。このマーカ体53によれば、図面の横方向に加え、図面の縦方向の傾きも検出することができる。さらに、マーカ体54は、図13のマーカ体49を4個組み合わせたものである。このマーカ体53によれば、図面の横方向と縦方向だけでなく、その間の細かな方向の傾きも検出することができる。さらに、マーカ体55は、図13のマーカ体49を8個組み合わせたものである。このマーカ体55によれば、より多方向の傾きを検出することができる。マーカ体49の組み合わせ数は、これらの例示(2個、4個、8個)に限らない。求められる傾き検出の方向数に応じて、さらに、16個、32個、・・・・、と増やしていってもかまわない。ちなみに、前記の実施形態におけるマーカ体18は、組み合わせ数を無限大にしたものである。
【0059】
実用上のベストモードは、組み合わせ数を無限大にしたもの、すなわち、前記の実施形態におけるマーカ体18であるが、これに限らず、たとえば、図13に示すものや、図14に示すものなどであってもよい。求められる傾き検出の方向精度(つまり、方向数)に応じて適宜に選択すればよい。
【0060】
次に、前記の実施形態(「回転」を検出するもの)の原理について考察する。先に説明したとおり、第1の発展例のマーカ体33や第2の発展例のマーカ体42は、リモコン2の「回転」も検出することができる。
【0061】
図15は、回転検出の原理図である。図において、頂部と帯の一部を黒丸指標で示す。(a)に示すように、マーカ体33の頂部の指標56と、他の指標57〜59との間の距離をそれぞれa、b、cとすると、このマーカ体33を俯瞰したとき(「正対」のとき)の各距離の関係は、a<b、a<c、b=cとなる。つまり、一つの距離aだけが他の距離b、cと相違している。このように、一つの距離(この図ではa)だけを異ならせておくことにより、マーカ体33の回転を知ることができる。第1の発展例のマーカ体33は、かかる考え方に従って二等辺三角形の底面を持つ三角錐状としたものである。
【0062】
同様に、(b)に示すように、マーカ体42の頂部の指標60と、他の指標61〜64との間の距離をそれぞれd、e、f、gとすると、このマーカ体42を俯瞰したとき(「正対」のとき)の各距離の関係は、d<e、d<f、d<g、e<f、e<g、f=gとなる。つまり、一つの距離dが最小で、他の一つの距離eがそれに次ぎ、残りの距離f、gが最長となっている。このように、二つの距離(この図ではd、e)を異ならせておいてもよい。距離dまたはeの方向から回転を知ることができる。第2の発展例のマーカ体42は、かかる考え方に従って逆凸形のの底面を持つ台形状としたものである。
【0063】
このように、二等辺三角形の底面を持つ三角錐状のマーカ体33や、逆凸形のの底面を持つ台形状のマーカ体42を用いることによってリモコン2の「回転」を検出できるが、これは一例である。上記の考え方に基づくもの(一部の距離を異ならせておく)であれば、他の形状であってもかまわない。
【0064】
以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。
【0065】
(付記1)
請求項1記載の発明は、離隔位置にある所定立体形状のマーカ体を画像認識する画像認識手段と、前記画像認識手段の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定手段と、前記姿勢判定手段の判定結果に対応したイベントを発生するイベント発生手段とを備えたことを特徴とする入力装置である。
【0066】
(付記2)
請求項2記載の発明は、前記マーカ体は、少なくとも、頂部に一つの指標と該頂部から所定量下がった側面に複数の指標とを有していることを特徴とする請求項1に記載の入力装置である。
【0067】
(付記3)
請求項3記載の発明は、前記マーカ体は、頂部の指標と他の指標との間の距離のうち少なくとも一つの距離を異ならせていることを特徴とする請求項2に記載の入力装置である。
【0068】
(付記4)
請求項4記載の発明は、前記マーカ体は、円錐状または三角錐状もしくは台形状の立体形状を有していることを特徴とする請求項1乃至請求項3いずれかに記載の入力装置である。
【0069】
(付記5)
請求項5記載の発明は、前記指標は、前記立体の高さ方向に配列された帯模様または段差もしくは溝であることを特徴とする請求項2乃至請求項3いずれかに記載の入力装置である。
【0070】
(付記6)
請求項6記載の発明は、離隔位置にある所定立体形状のマーカ体を画像認識する画像認識工程と、前記画像認識工程の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定工程と、前記姿勢判定工程の判定結果に対応したイベントを発生するイベント発生工程とを含むことを特徴とする入力制御方法である。
【0071】
(付記7)
請求項7記載の発明は、コンピュータに、離隔位置にある所定立体形状のマーカ体を画像認識する画像認識手段、前記画像認識手段の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定手段、及び、前記姿勢判定手段の判定結果に対応したイベントを発生するイベント発生手段としての機能を与えることを特徴とするプログラムである。
【符号の説明】
【0072】
8 撮像部
10 リモコン受信装置
13 姿勢検出部
15 イベント発生部
18 マーカ体
33 マーカ体
42 マーカ体
49 マーカ体
53〜55 マーカ体
50〜52 指標
56〜59 指標
60〜64 指標

【特許請求の範囲】
【請求項1】
離隔位置にある所定立体形状のマーカ体を画像認識する画像認識手段と、
前記画像認識手段の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定手段と、
前記姿勢判定手段の判定結果に対応したイベントを発生するイベント発生手段と
を備えたことを特徴とする入力装置。
【請求項2】
前記マーカ体は、少なくとも、頂部に一つの指標と該頂部から所定量下がった側面に複数の指標とを有していることを特徴とする請求項1に記載の入力装置。
【請求項3】
前記マーカ体は、頂部の指標と他の指標との間の距離のうち少なくとも一つの距離を異ならせていることを特徴とする請求項2に記載の入力装置。
【請求項4】
前記マーカ体は、円錐状または三角錐状もしくは台形状の立体形状を有していることを特徴とする請求項1乃至請求項3いずれかに記載の入力装置。
【請求項5】
前記指標は、前記立体の高さ方向に配列された帯模様または段差もしくは溝であることを特徴とする請求項2乃至請求項3いずれかに記載の入力装置。
【請求項6】
離隔位置にある所定立体形状のマーカ体を画像認識する画像認識工程と、
前記画像認識工程の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定工程と、
前記姿勢判定工程の判定結果に対応したイベントを発生するイベント発生工程と
を含むことを特徴とする入力制御方法。
【請求項7】
コンピュータに、
離隔位置にある所定立体形状のマーカ体を画像認識する画像認識手段、
前記画像認識手段の認識結果に基づいて前記マーカ体の姿勢を判定する姿勢判定手段、
及び、前記姿勢判定手段の判定結果に対応したイベントを発生するイベント発生手段
としての機能を与えることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−213010(P2012−213010A)
【公開日】平成24年11月1日(2012.11.1)
【国際特許分類】
【出願番号】特願2011−77241(P2011−77241)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】