カメラとマーク出力とによるポインティング装置
【課題】モニタ画面の周囲にいかなる物理的なマークや付加装置を装着することなく、任意のモニタに適用可能なポインティング装置を提供する。
【解決手段】ポインティング装置は、マーク（ｍｋ）をモニタ画面（ｍｏ）に出力するマーク出力部と、該マーク（ｍｋ）を撮影するカメラ（ｃａ）と、該カメラ（ｃａ）によって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、を含んで構成されるものであって、既存のポインティング装置とは異なり、任意の種類のモニタに使用可能であり、別途の物理的なマークや追跡装置をモニタに装着せずに、マークをモニタ画面に出力し、ポインティング作業が可能である。
【解決手段】ポインティング装置は、マーク（ｍｋ）をモニタ画面（ｍｏ）に出力するマーク出力部と、該マーク（ｍｋ）を撮影するカメラ（ｃａ）と、該カメラ（ｃａ）によって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、を含んで構成されるものであって、既存のポインティング装置とは異なり、任意の種類のモニタに使用可能であり、別途の物理的なマークや追跡装置をモニタに装着せずに、マークをモニタ画面に出力し、ポインティング作業が可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラとマーク出力とによるポインティング装置に関する。
【背景技術】
【０００２】
カメラを装着したリモコンやペン状のポインティング装置で、モニタ画面に出力される特定マークを撮影してそのマークを認識し、カメラを装着したポインティング装置が画面のどの点に向いているかを知り、マウスカーソルのようなポインタの座標を変化させるポインティング装置に類似したものとして、特許文献１がある。
【０００３】
前記特許文献１は、モニタ周辺に光源を装着し、カメラでその光源を撮影して形態を認識し、ポインティング作業を行う方式である。
【０００４】
しかしながら、前記特許文献１は、モニタ周辺に光源を装着し、光源に電源を接続しなければならないという短所がある。また、電子黒板に使われるポインティング装置の場合は、ポインティング装置の追跡のために、超音波や赤外線発生装置をモニタ画面に装着しなければならないという短所がある。そして、ＰＤＡやタブレットコンピュータに使われるスタイラスペン状のポインティング装置の場合は、モニタ画面に圧力を感知させたり、または磁場を感知する特別の装置を必要とする。このような特別な装置は、現在開発中である巻き物のように巻き取ることが可能な電子紙型ディスプレイに、非常に適用し難いという短所がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国特許第１０−０５３２５２５−００００号公報（「カメラを利用した三次元ポインティング装置」）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記の既存のポインティング装置のように、モニタ周辺に光源や超音波発生装置のような付加装置を装着しなければならないという欠点を解消するためになされたもので、その目的は、モニタ画面の周囲にいかなる物理的なマークや付加装置を装着することなく、任意のモニタに適用可能なポインティング装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、前記目的を達成するために、モニタ画面の周囲に物理的なマークや付加装置を装着する代わり、モニタ画面に特定のマークを出力したり、コンピュータやデジタルＴＶ画面映像自体をマークとして使用し、カメラでそのマークを撮影して映像処理部で認識し、ポインティング作業を行う構成を提供するものである。
【０００８】
具体的には、本発明によるポインティング装置は、マークをモニタ画面に出力するマーク出力部と、前記マークを撮影するカメラと、前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、を含むことを特徴とするものである。
【発明の効果】
【０００９】
本発明によるポインティング装置を使用すれば、モニタディスプレイにいかなる付加的な装置を追加することなしに使用可能なために、現在商用化を控えている巻き物のように巻き取ることのできる電子紙型ディスプレイに適用し、既存のタブレットパソコン（ＰＣ）に、スタイラスペンで文字や絵を描くように使用できる。このような方式で、物理的なノートや手帳を、本発明によるポインティング装置を使用した電子紙形態のディスプレイで代替可能である。また、本発明によるポインティング装置をリモコンや銃の形態にして、デジタルＴＶ画面に表示されるカーソルを移動させ、またはゲーム画面中のカーソルを移動させ、射撃ゲームを含んだ任意のゲームを行うことも可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例を示した図面である。
【図２】左側に移動するマークを示した図面である。
【図３】任意方向に移動するマークを示した図面である。
【図４】モニタ画面を多数の四角形領域で分けた様子を示した図面である。
【図５】マーク映像を示した図面である。
【図６】図５の白黒反転映像を示した図面である。
【図７】バーコードが二次元マトリックス形態で配列されたマークを画面に出力中の様子を示した図面である。
【発明を実施するための形態】
【実施例１】
【００１１】
本発明によるポインティング装置は、モニタ画面にマウスカーソルのようなマークを出力するマーク出力部、前記マークを撮影するペンやリモコンまたは銃形態のカメラ、前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部を含むことを特徴とする。
【００１２】
前記映像処理部は、例えば、コンピュータやデジタルシグナルプロセッサ（ＤＳＰ）で実行される映像処理プログラムにより構成することができる。マークは、マイクロソフト社のウインドウズのようなグラフィックＯＳに使われる矢印や、手の形態をしたマウスカーソルをそのまま使用してもよいが、四角形、円または任意のアイコン状の本発明固有のマークを使用してもよい。
【００１３】
既存のマウスカーソルをマークとして使用する場合、マーク出力部は省略可能である。また、ゲームプログラムに使われる特殊なカーソルをユーザがプログラムを介して登録して使用してもよい。すなわち、マークの形態や色相に対する制限はなく、映像処理部で認識可能であるならば、マークはいかなる形態でもよい。
【００１４】
図１は、タブレットパソコン形態のモニタ画面（ｍｏ）上に矢印状のマーク（ｍｋ）を出力し、スタイラスペン状（以下「ペン状」という）のカメラ（ｃａ）で前記マーク（ｍｋ）を撮影してポインティング作業を行う本発明によるポインティング装置の様子を示している。
【００１５】
図１において、モニタ画面に表示されているマーク（ｍｋ）をペン状のカメラ（ｃａ）で撮影し、マークを移動させようとする方向に絵を描くように、ペン状のカメラを移動させる。それにより、撮影された動画映像において、マークは動画映像の外部方向に移動することになる。このような映像において、映像処理プログラムは、マークの移動方向を検出し、マークが映像の中心に来るように、当該マークの位置を調整する。
【００１６】
例えば、図１に表示されているように、水平線をｘ軸、垂直線をｙ軸としたとき、ペン状のカメラをｘ軸方向（ｄｘ）に移動させれば、カメラで撮影された映像において、矢印マーク（ｍｋ）は、図２に表示されているように、−ｘ軸方向（−ｄｘ）に移動する。それにより、映像処理部は、マークの位置をｘ方向に少しずつ増加させる。すなわち、映像処理部は、撮影された映像において、映像処理プログラムによりマークの移動方向動きベクトル（motion vector）を求め、マークが映像の中心に来ることができるように、マークのカーソルの座標を適度に変化させる。
【００１７】
ここで、前記マークの位置は、マウスポインタやジョイスティックのポインタに該当する。それにより、ペンに沿ってマークがついてくるようになり、ポインティング作業を行える。もし撮影された映像で、マークが映像の中心に位置しているならば、それ以上マークの座標を変化させない。
【００１８】
以上の説明では、説明の便宜上、ｘ軸方向に動くことを例に挙げたが、任意の方向に対しても、同一に動作する。すなわち、ペン状のカメラをモニタ画面に向かわせ、任意の方向（ｄｘ，ｄｙ）に移動させれば、映像処理部では、撮影された映像で、マークが中心から外れた程度と方向（−ｄｘ，−ｄｙ）とを検出し、マークが映像の中心に来ることができるように、マーク位置を変化させる。もし撮影された映像で、マークを認識できなかったならば、現在のマーク位置を維持する。
【００１９】
また、マークの形態とサイズとを認識し、カメラとマークとの距離と方向とを算出することによって、三次元ポインティング作業を行うこともできる。すなわち、撮影された映像で認識したマークのサイズが小さければ、それはカメラとマークとの距離が遠いことを意味し、撮影された映像で認識したマークのサイズが大きいならば、それはカメラとマークとの距離が近いことを意味している。このような距離情報を、既存のマウスカーソルの二次元座標（ｘ，ｙ）に、図１に表示された第３座標値ｚとして付け加え、（ｘ，ｙ，ｚ）のような三次元ポインティング座標を算出することもできる。
【００２０】
さらに、撮影された映像で、矢印マークの矢印方向を検出することによって、ペン状のカメラが回転した角度も検出し、図１に表示された回転座標（ｒ）として入力することが可能である。また、矢印をなす特徴点（例えば、矢印多角形の頂点）がなす多角形のゆがんだ程度を分析し、ペン状のカメラがモニタ画面に向かった方向も検出して入力することができる。
【００２１】
このような方向検出方法は、多角形の一例として、四角形を使用した韓国特許第１０−０５３２５２５−００００号公報（カメラを利用した三次元ポインティング装置）に説明された直観的な方法を使用してもよく、数学的な公式を使用してもよい。数学的な公式はperspective n point problemという分野で公知の方法である。この方法は、相対位置が知られたｎ個の点を撮影し、撮影されたｎ個の点から、カメラとＪＵＭとの相対位置を求める問題である。これについての説明は、「http://homepages.Inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solving.htm」で得ることができる。
【００２２】
本発明によるポインティング装置でポインティング作業をしている最中に、ポインティング装置のカメラを、モニタ画面ではない他の場所に向けた場合には、モニタ画面のマークを撮影できずに、モニタ画面に表示されるマークは、そこに停止することになる。この状態で、カメラをマークがある場所に持っていけば、そのときからマークが撮影され、マークが動くカメラについて来ることになるが、もしカメラをマークがない画面上の他の場所に持っていけば、マークを撮影できずに、相変らずそこに停止することになる。
【００２３】
すなわち、ユーザは、しばらく中断したポインティング作業を再び始めようとするならば、カメラをマークが存在する場所まで移動させねばならない。これは非常に面倒なことである。これを解消するために、ポインティング装置にリセットボタンを設け、ユーザがそのリセットボタンを押せば、マークを、カメラが向かったモニタ画面のポインティング地点に自動的に移動させることが望ましい。このようなリセット機能の詳細な構成は次の通りである。
【００２４】
すなわち、リセットボタンを押したり、ある原因によってソフトウェア的にリセット信号が発生したら、マーク出力部は、モニタ画面を、図４のように、マトリックス状の多数の領域に分け、各領域の中心にマークを順次に移動させる。
【００２５】
図４において、モニタ画面は６行６列のマトリックス状の領域に分けられている。この場合、マーク出力部は、０行０列の四角形領域にマークを出力させ、マークを順次右に移動させる。そして、マークが０行５列まで移動したら、１行下に移動し、１行０列から１行５列に、すなわち左から右にマークを移動させる。これにより、６ｘ６＝３６個の領域を通過するようにマークを順次移動させれば、移動中のある瞬間にカメラにマークが撮影されて認識される。その瞬間から、正常なポインティング作業を始めればよい。
【００２６】
なお、先に説明した６ｘ６個の領域は一例であり、実際には、マークのサイズとカメラの視野角とに適当な領域の数を選択すればよい。このようなマークの移動は、目障りでありうるので、非常に速い速度で移動させ、カメラは、高速カメラを使用することが望ましい。また、リセットボタンを省略し、カメラで撮影された映像において、マークを認識できない場合、無条件にこのようなマーク移動を行うこともできる。
【実施例２】
【００２７】
前記実施例１では、カメラがモニタ画面にほとんど接するほどに近接してカーソルマークを撮影する方式について説明した。もしモニタ画面から遠く離れたところで、カメラにモニタ画面を撮影させれば、カーソルマークがあまりにも小さく撮影され、認識し難くなる。そのような場合には、カメラのレンズに、望遠レンズを使用すればよい。このとき、焦点が合わなければ、カーソルマークがぼやけて撮影され、認識を行えないので、現在実用化されているデジタルカメラに使われる、自動的に焦点を合わせる装置をさらに含むことが望ましい。
【００２８】
そして、カメラとモニタ画面との距離が可変的である場合にも、良好にポインティング作業を行うためには、ズームレンズを使用することが望ましい。このような構成を採る場合は、カメラとモニタ画面との距離を測定する装置をさらに含み、その装置で測定した距離情報を利用してズームレンズを調整し、カーソル映像を常に鮮明であって大き目に撮影することが望ましい。このような構成によると、本発明によるカメラを使用したポインティング装置は、モニタ画面に接触する一般のライトペンのように使用することもできるし、モニタ画面から遠く離れても、リモコンのように使用することもできる。
【実施例３】
【００２９】
前記実施例１では、カメラがモニタ画面に非常に近接した状態で、マウスカーソル用アイコンと共に既定のマークをモニタ画面に出力する方式である。本実施例３では、カメラがモニタ画面から遠く離れており、そのような既定の一定形態のマークがない場合に、ポインティング作業を行う構成について説明する。
【００３０】
かかる構成は、任意の映像がモニタ画面に出力中である場合に、その映像情報を映像処理部に伝送し、マークの代わりに使用する方式を採用したものである。すなわち、現在モニタ画面に出力中である映像全体が実施例１のカーソルマークに該当する。この場合、カメラは、モニタ画面の全領域を一度に撮影できるほど、モニタ画面から適当に離れていることが望ましい。そして、映像処理部では、毎瞬間撮影された映像から、現在モニタ画面に出力中である映像を検出し、その映像の枠である四角形を分析し、カメラとモニタ画面との三次元相対位置と距離とを算出する。この構成を採るためには、現在モニタ画面に出力中である映像を得てきて映像処理部に伝送するモニタ映像伝達部を追加しなければならない。
【００３１】
現在モニタ画面に出力中の映像を持ってくる方法は、マイクロソフト社のウインドウズＸＰを搭載したコンピュータの場合を例にとれば、キーボードのPrint Screen SysRqキーを押し、モニタ画面に出力中である映像をウインドウズＸＰのクリップボードにキャプチャする方法をソフトウェア的に実行することである。
【００３２】
すなわち、キーボードのPrint Screen SysRqキーが押されることをエミュレーションするプログラムを実行すれば、モニタ画面の映像を得ることができる。キーボードのエミュレーションプログラムは、一定の時間間隔（例えば、１／３０秒）ごとにモニタ画面をキャプチャし、クリップボードにモニタ画面の映像を保存する。
【００３３】
そして、映像処理プログラムでは、クリップボードから映像を読み取って、カメラで撮影された映像と比較することにより、撮影された映像のうち、どこにモニタ画面があるかを知ることができる。また、ハードウェア的にビデオメモリに接近する装置を構成することもできる。
【００３４】
カメラで撮影された映像で、モニタ画面に出力中である映像部分を検出する方法の例を挙げれば、イメージプロセシングの公知技術であるモデル基盤ビジョン（model based vision）技法がある。
【００３５】
モデル基盤ビジョン技法は、与えられたイメージ（カメラで撮影された映像）で、予め知られたモデル（モニタ画面に出力中である映像）の位置と対応点とを探す技法である。さらに詳細に説明すれば、撮影された映像の適度な候補位置にモデルをアファイン（affine）変換、投射変換などを利用して拡大、縮小、回転、投影し、実際に撮影された映像の領域と最も好ましく対応する地点を探すものである。これについての詳細な説明は、David A．ForsythとJean Ponceとの共著「Computer vision a modern approach」（ＩＳＢＮ：0-13-085198-1）の１８ページ（Model based vision）に詳細に記述されている。
【００３６】
本実施例３と類似した方式のポインティング装置としては、韓国特許第１０−０７０８８７５号公報（「表示画面を指すポインタのポインティング位置を算出する装置及び方法）がある。この特許文献では、本来の出力映像画面に対して、四角形の枠の形態からなる人工的な基準映像をさらに出力し、その枠をカメラで撮影した映像から検出し、ポインティング作業を行うようになっている。かかる人工的な基準映像の枠は、ユーザに目障りになるという短所がある。これに比べ、本実施例３は、そのような人工的な基準映像の枠を出力せずに、モニタ映像伝達部を介して得た本来の出力映像自体をマークとして使用して認識する方式である。
【実施例４】
【００３７】
本実施例４では、前記実施例３で使われるモデル基盤ビジョン技法を、さらに容易に行うために、モニタ画面のちらつき（flicker）を利用する構成について説明する。
【００３８】
すなわち、撮影された映像からモニタ画面領域を求めることは、モニタ画面の背景が単純な場合（例えば、広い白い壁面に映像をビームプロジェクタで投射する場合）、比較的容易に行うことができるが、背景が複雑な場合、背景からモニタ画面を区別し難いことがある。このような場合には、モニタ画面に出力される映像のフレームのうち、偶数番目（０，２，４，…）のフレームは、空白映像（blank image）を出力し、奇数番目（１，３，５，…）のフレームのみ映像を出力する。
【００３９】
ここで、空白映像を出力するということは、モニタ画面全体またはモニタ画面の特定領域を特定色で塗って出力することを意味する。このとき、各フレーム間の時間は、十分に短く（例えば、１／３０秒より短い時間）し、肉眼にはちらつきが感じられないようにすることが望ましい。その簡単な例としては、偶数番目のフレームの間には、モニタ画面全体を黒色に出力し、奇数番目のフレームには、正常な映像を出力する。そして、カメラでフレームごとに撮影し、奇数番目のフレームが出力された直後に撮影した映像と、その直前の瞬間の偶数番目のフレームが出力された直後に撮影された映像との差分映像（difference image）を求める。
【００４０】
前記差分映像は、２つの映像のそれぞれの同位置の画素値の差を求めて得られる映像であり、映像処理分野の公知概念である。例えば、差分映像の（ｘ，ｙ）地点の画素値は、２つの入力映像の（ｘ，ｙ）地点の画素値の差から得られる。それにより、カメラが停止した状態で、背景が変わっていないならば、モニタ画面の部分だけ画素値が０ではない差分映像が得られ、モニタ画面以外の部分では、差分映像がいずれも０である画素値を有するようになる。この場合は、差分映像で、画素値が０ではない領域を検出すれば、その領域が直ちにモニタ画面の領域に該当する。
【００４１】
従って、上記のような画素値が０ではない領域に対して、モデル基盤ビジョン技法で、モニタ映像の対応点を遂行すれば、差分映像を使用しない場合より、はるかに容易にモニタ画面領域を認識できる。
【００４２】
カメラが動いたとするならば、背景部分でも差分映像の画素値が０ではなくなるが、その領域は非常に狭い領域に制限されるので、実施例３のように、差分映像ではない本来の映像を利用し、モデル基盤ビジョン技法を適用するより、はるかに容易にモニタ領域を検出できる。
【００４３】
また、カメラ撮影速度（秒当たりの撮影フレーム数）と画面出力速度（秒当たり出力フレーム数）とを速くするならば、カメラが動いても、ほとんどの背景領域での差分映像の画素値を０にすることができる。
【００４４】
ｃｒｔモニタのように、モニタ画面自体に走査線のスキャニングによるちらつきがあるならば、そのちらつきを撮影して差分映像を求めてもよい。もし、ある任意のモニタ画面自体にちらつきがほとんどない場合ならば、画面出力プログラムで、適当なちらつきを具現したり、またはモニタ映像がちらつくように適切なハードウェアをモニタに追加してもよい。例えば、コンピュータのＯＳに画面ちらつきを調節する機能を追加することもできる。
【００４５】
また、ゲームプログラムの画面出力方式を、偶数番目のフレームは画面全体を黒色または白色に出力し、奇数番目のフレームは、正常なゲームグラフィック映像を出力するようにすることができる。このとき、各フレームの出力瞬間と、カメラで撮影されるフレームとの間を同期化させることが望ましい。例えば、偶数番目のフレームをモニタ画面に出力した直後に、カメラでモニタ画面を撮影し、次に、奇数番目のフレームをモニタ画面に出力した後、カメラでモニタ画面を撮影し、以前フレームを撮影した映像と、現在フレームを撮影した映像との差分映像を求めるのである。この場合、前記ちらつきを具現する部分が、実施例１のマーク出力部に該当する。この場合、マークは、２つのフレームにわたって出力される空白映像と正常な画面映像とに該当する。
【実施例５】
【００４６】
本実施例５では、前記実施例４と同様に、偶数番目のフレームには、特定マークの映像を出力し、奇数番目のフレームには、正常な本来の出力映像を出力して偶数番目のフレームの映像だけ撮影し、その撮影した映像を映像処理部で認識してマークを検出し、ポインティング作業を行う構成について説明する。
【００４７】
すなわち、前記実施例４では、偶数番目のフレームには空白映像を出力したが、本実施例５では、例えば、図５のように、上辺中央が空いた四角形と、その四角形中心に位置した＋状のマークとを出力することを例として説明する。
【００４８】
図５において、四角形中心の＋は、マークの中心を早く検出するためであり、一方、四角形は、三次元ポインティングを行うためのものである。そして、四角形の上辺が空いているのは、カメラの回転状態を検出するための基準点を表示するためのものである。このような図５のマークの形態は一例に過ぎず、いかなる形態のマークを使用してもよい。
【００４９】
このような方式は、前記実施例３で説明した前記特許文献（韓国特許第１０−０７０８８７５号公報（「表示画面を指すポインタのポインティング位置を算出する装置及び方法」））とある程度類似している。しかし、前記特許文献では、マークを本来の出力映像上に合成して出力するので、本来の映像部分が識別され、映像処理部でマークを検出し難いという短所がある。
【００５０】
これに比べ、本実施例５の方式によると、本来の映像とマーク映像とが時間差をおいて、互いに異なるフレームに出力され、映像処理部ではマーク映像のフレームのみ分析すればよいので、はるかに容易にマークを検出できる。また、本来の映像がマークによって識別されないという長所がある。このとき、マーク映像が出力される頻度数は、本来の映像が出力される頻度数に比べて小さくすることができるので、肉眼ではマーク映像が見えないようにすることが望ましい。例えば、偶数番号目のフレームのうち、フレーム番号が４またはそれ以上の偶数の倍数である場合にだけマークを出力し、残りのフレームは、正常な映像を出力する方式である。
【実施例６】
【００５１】
前記実施例５では、マーク映像が肉眼に見えないようにするために、マーク映像の出力フレームと本来の映像の出力フレームとの映像出力頻度数を調整した。本実施例６ではそのようなマーク映像とそのマーク映像を反転させた映像（例えば、白黒反転）とを交互に出力することによって、肉眼ではマーク映像とその白黒反転映像とが合わさり、全体的にマーク形状が消えた空白映像（全体が灰色の映像）に見えるようにする方式について説明する。
【００５２】
例えば、マーク映像は図５のように白い土台に黒色マークであり、その白黒反転映像は図６に示されている。このようなマーク映像とその反転映像とを交互に速く反復して順次出力すれば、肉眼では２つの映像が重なって全体的にマークが消えたように見えることになる。具体的には、フレーム番号を３で割った余りが０である場合は、マーク映像を出力し、余りが１である場合は、マークの反転映像を出力し、余りが２である場合は、正常な画面映像を出力する。そして、映像処理部では、余りが０であるフレームを撮影してマークを検出し、ポインティング作業を行う。
【００５３】
この場合、マークが肉眼に見えないようにするために、マーク映像のフレームとその反転映像のフレームは、時間的に隣接して順次出力することが望ましい。そして、マーク映像とその反転映像のフレームの出力頻度数は、本来の映像フレームの出力頻度数よりも少なくすることが望ましい。例えば、フレーム数を１０で割った余りが０であるならば、マーク映像を出力し、余りが１であるならば、その反転映像を出力し、余りが２ないし９であるならば、正常な画面映像を出力することが望ましい。
【実施例７】
【００５４】
本実施例７では、前記実施例１のように、ペン状のカメラでタブレット形態のモニタ画面に文字を記入するように使用するポインティング装置に、前記実施例５及び６で使われた、フレーム別に異なった映像を出力する技法を適用した方式について説明する。
【００５５】
本実施例７の方式では、前記実施例５及び６においてマークに該当する映像で、二次元マトリックス状に配列されたバーコード映像（ｍｋｂ）（図７）を使用する。ここで、バーコードは、それ自体の位置がｘ，ｙ座標情報を示す。各バーコードサイズは、ペン状のカメラがモニタ画面に近接したとき、１つのバーコードが１画面に撮影できるほどのサイズであることが望ましい。図７は、そのようなバーコードのマトリックス状のマーク映像が出力される様子である。
【００５６】
本実施例７の方式でも、前記実施例５及び６と同様に、マーク映像と本来の映像とを交互に出力する。そして、映像処理部では、そのマーク映像のバーコードを認識し、バーコードからそのバーコードの座標が分かる。それにより、その座標が現在ペン状のカメラが向かっているモニタ画面上の座標に該当する。その座標を使用し、ポインティング作業を行うことができる。
【００５７】
これと類似の技術は、韓国特許公開第１０−２００７−００１５２３０号公報（「イメージ感知オペレーター入力装置」）に（「絶対位置装置でのマウスの使用」）欄に紹介されている。
【００５８】
前記特許文献は、マウスパッドにバーコードマトリックスを印刷し、マウス底のカメラでバーコードを撮影し、絶対座標を入力する装置である。これに比べ、本実施例７のポインティング装置は、モニタ画面上に肉眼で見えないように、バーコードマトリックス状のマークを出力する方式である。すなわち、別途のマウスパッドが不要な簡単な構成であることを特徴とする。
【００５９】
本実施例７は、マークの形態がバーコードのマトリックス状である点と、カメラとモニタ画面との距離が近いという点とを除いて、具体的な残りの動作方式は、前記実施例５及び６と同一である。ここで、バーコードの代わりにその他のマークや数字を使用してもよい。例えば、数字やアルファベットをバーコードの代わりに使用してもよい。また、それぞれのバーコードを含むセルを表示する四角形の枠を、図７のように方眼紙の如く表示し、その方眼紙のセルの四角形のゆがんだ形態とサイズとを認識することによって、三次元ポインティング作業を行うこともできる。
【００６０】
本実施例７は、前記実施例１で必要なリセット機能が不要であるという長所がある。これに比べ、前記実施例１は、カメラの撮影速度がそれほど速くなくともよいという長所がある。すなわち、本実施例７は実施例１に比べ、撮影速度が速いカメラを必要とする。
【技術分野】
【０００１】
本発明は、カメラとマーク出力とによるポインティング装置に関する。
【背景技術】
【０００２】
カメラを装着したリモコンやペン状のポインティング装置で、モニタ画面に出力される特定マークを撮影してそのマークを認識し、カメラを装着したポインティング装置が画面のどの点に向いているかを知り、マウスカーソルのようなポインタの座標を変化させるポインティング装置に類似したものとして、特許文献１がある。
【０００３】
前記特許文献１は、モニタ周辺に光源を装着し、カメラでその光源を撮影して形態を認識し、ポインティング作業を行う方式である。
【０００４】
しかしながら、前記特許文献１は、モニタ周辺に光源を装着し、光源に電源を接続しなければならないという短所がある。また、電子黒板に使われるポインティング装置の場合は、ポインティング装置の追跡のために、超音波や赤外線発生装置をモニタ画面に装着しなければならないという短所がある。そして、ＰＤＡやタブレットコンピュータに使われるスタイラスペン状のポインティング装置の場合は、モニタ画面に圧力を感知させたり、または磁場を感知する特別の装置を必要とする。このような特別な装置は、現在開発中である巻き物のように巻き取ることが可能な電子紙型ディスプレイに、非常に適用し難いという短所がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国特許第１０−０５３２５２５−００００号公報（「カメラを利用した三次元ポインティング装置」）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記の既存のポインティング装置のように、モニタ周辺に光源や超音波発生装置のような付加装置を装着しなければならないという欠点を解消するためになされたもので、その目的は、モニタ画面の周囲にいかなる物理的なマークや付加装置を装着することなく、任意のモニタに適用可能なポインティング装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、前記目的を達成するために、モニタ画面の周囲に物理的なマークや付加装置を装着する代わり、モニタ画面に特定のマークを出力したり、コンピュータやデジタルＴＶ画面映像自体をマークとして使用し、カメラでそのマークを撮影して映像処理部で認識し、ポインティング作業を行う構成を提供するものである。
【０００８】
具体的には、本発明によるポインティング装置は、マークをモニタ画面に出力するマーク出力部と、前記マークを撮影するカメラと、前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、を含むことを特徴とするものである。
【発明の効果】
【０００９】
本発明によるポインティング装置を使用すれば、モニタディスプレイにいかなる付加的な装置を追加することなしに使用可能なために、現在商用化を控えている巻き物のように巻き取ることのできる電子紙型ディスプレイに適用し、既存のタブレットパソコン（ＰＣ）に、スタイラスペンで文字や絵を描くように使用できる。このような方式で、物理的なノートや手帳を、本発明によるポインティング装置を使用した電子紙形態のディスプレイで代替可能である。また、本発明によるポインティング装置をリモコンや銃の形態にして、デジタルＴＶ画面に表示されるカーソルを移動させ、またはゲーム画面中のカーソルを移動させ、射撃ゲームを含んだ任意のゲームを行うことも可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例を示した図面である。
【図２】左側に移動するマークを示した図面である。
【図３】任意方向に移動するマークを示した図面である。
【図４】モニタ画面を多数の四角形領域で分けた様子を示した図面である。
【図５】マーク映像を示した図面である。
【図６】図５の白黒反転映像を示した図面である。
【図７】バーコードが二次元マトリックス形態で配列されたマークを画面に出力中の様子を示した図面である。
【発明を実施するための形態】
【実施例１】
【００１１】
本発明によるポインティング装置は、モニタ画面にマウスカーソルのようなマークを出力するマーク出力部、前記マークを撮影するペンやリモコンまたは銃形態のカメラ、前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部を含むことを特徴とする。
【００１２】
前記映像処理部は、例えば、コンピュータやデジタルシグナルプロセッサ（ＤＳＰ）で実行される映像処理プログラムにより構成することができる。マークは、マイクロソフト社のウインドウズのようなグラフィックＯＳに使われる矢印や、手の形態をしたマウスカーソルをそのまま使用してもよいが、四角形、円または任意のアイコン状の本発明固有のマークを使用してもよい。
【００１３】
既存のマウスカーソルをマークとして使用する場合、マーク出力部は省略可能である。また、ゲームプログラムに使われる特殊なカーソルをユーザがプログラムを介して登録して使用してもよい。すなわち、マークの形態や色相に対する制限はなく、映像処理部で認識可能であるならば、マークはいかなる形態でもよい。
【００１４】
図１は、タブレットパソコン形態のモニタ画面（ｍｏ）上に矢印状のマーク（ｍｋ）を出力し、スタイラスペン状（以下「ペン状」という）のカメラ（ｃａ）で前記マーク（ｍｋ）を撮影してポインティング作業を行う本発明によるポインティング装置の様子を示している。
【００１５】
図１において、モニタ画面に表示されているマーク（ｍｋ）をペン状のカメラ（ｃａ）で撮影し、マークを移動させようとする方向に絵を描くように、ペン状のカメラを移動させる。それにより、撮影された動画映像において、マークは動画映像の外部方向に移動することになる。このような映像において、映像処理プログラムは、マークの移動方向を検出し、マークが映像の中心に来るように、当該マークの位置を調整する。
【００１６】
例えば、図１に表示されているように、水平線をｘ軸、垂直線をｙ軸としたとき、ペン状のカメラをｘ軸方向（ｄｘ）に移動させれば、カメラで撮影された映像において、矢印マーク（ｍｋ）は、図２に表示されているように、−ｘ軸方向（−ｄｘ）に移動する。それにより、映像処理部は、マークの位置をｘ方向に少しずつ増加させる。すなわち、映像処理部は、撮影された映像において、映像処理プログラムによりマークの移動方向動きベクトル（motion vector）を求め、マークが映像の中心に来ることができるように、マークのカーソルの座標を適度に変化させる。
【００１７】
ここで、前記マークの位置は、マウスポインタやジョイスティックのポインタに該当する。それにより、ペンに沿ってマークがついてくるようになり、ポインティング作業を行える。もし撮影された映像で、マークが映像の中心に位置しているならば、それ以上マークの座標を変化させない。
【００１８】
以上の説明では、説明の便宜上、ｘ軸方向に動くことを例に挙げたが、任意の方向に対しても、同一に動作する。すなわち、ペン状のカメラをモニタ画面に向かわせ、任意の方向（ｄｘ，ｄｙ）に移動させれば、映像処理部では、撮影された映像で、マークが中心から外れた程度と方向（−ｄｘ，−ｄｙ）とを検出し、マークが映像の中心に来ることができるように、マーク位置を変化させる。もし撮影された映像で、マークを認識できなかったならば、現在のマーク位置を維持する。
【００１９】
また、マークの形態とサイズとを認識し、カメラとマークとの距離と方向とを算出することによって、三次元ポインティング作業を行うこともできる。すなわち、撮影された映像で認識したマークのサイズが小さければ、それはカメラとマークとの距離が遠いことを意味し、撮影された映像で認識したマークのサイズが大きいならば、それはカメラとマークとの距離が近いことを意味している。このような距離情報を、既存のマウスカーソルの二次元座標（ｘ，ｙ）に、図１に表示された第３座標値ｚとして付け加え、（ｘ，ｙ，ｚ）のような三次元ポインティング座標を算出することもできる。
【００２０】
さらに、撮影された映像で、矢印マークの矢印方向を検出することによって、ペン状のカメラが回転した角度も検出し、図１に表示された回転座標（ｒ）として入力することが可能である。また、矢印をなす特徴点（例えば、矢印多角形の頂点）がなす多角形のゆがんだ程度を分析し、ペン状のカメラがモニタ画面に向かった方向も検出して入力することができる。
【００２１】
このような方向検出方法は、多角形の一例として、四角形を使用した韓国特許第１０−０５３２５２５−００００号公報（カメラを利用した三次元ポインティング装置）に説明された直観的な方法を使用してもよく、数学的な公式を使用してもよい。数学的な公式はperspective n point problemという分野で公知の方法である。この方法は、相対位置が知られたｎ個の点を撮影し、撮影されたｎ個の点から、カメラとＪＵＭとの相対位置を求める問題である。これについての説明は、「http://homepages.Inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solving.htm」で得ることができる。
【００２２】
本発明によるポインティング装置でポインティング作業をしている最中に、ポインティング装置のカメラを、モニタ画面ではない他の場所に向けた場合には、モニタ画面のマークを撮影できずに、モニタ画面に表示されるマークは、そこに停止することになる。この状態で、カメラをマークがある場所に持っていけば、そのときからマークが撮影され、マークが動くカメラについて来ることになるが、もしカメラをマークがない画面上の他の場所に持っていけば、マークを撮影できずに、相変らずそこに停止することになる。
【００２３】
すなわち、ユーザは、しばらく中断したポインティング作業を再び始めようとするならば、カメラをマークが存在する場所まで移動させねばならない。これは非常に面倒なことである。これを解消するために、ポインティング装置にリセットボタンを設け、ユーザがそのリセットボタンを押せば、マークを、カメラが向かったモニタ画面のポインティング地点に自動的に移動させることが望ましい。このようなリセット機能の詳細な構成は次の通りである。
【００２４】
すなわち、リセットボタンを押したり、ある原因によってソフトウェア的にリセット信号が発生したら、マーク出力部は、モニタ画面を、図４のように、マトリックス状の多数の領域に分け、各領域の中心にマークを順次に移動させる。
【００２５】
図４において、モニタ画面は６行６列のマトリックス状の領域に分けられている。この場合、マーク出力部は、０行０列の四角形領域にマークを出力させ、マークを順次右に移動させる。そして、マークが０行５列まで移動したら、１行下に移動し、１行０列から１行５列に、すなわち左から右にマークを移動させる。これにより、６ｘ６＝３６個の領域を通過するようにマークを順次移動させれば、移動中のある瞬間にカメラにマークが撮影されて認識される。その瞬間から、正常なポインティング作業を始めればよい。
【００２６】
なお、先に説明した６ｘ６個の領域は一例であり、実際には、マークのサイズとカメラの視野角とに適当な領域の数を選択すればよい。このようなマークの移動は、目障りでありうるので、非常に速い速度で移動させ、カメラは、高速カメラを使用することが望ましい。また、リセットボタンを省略し、カメラで撮影された映像において、マークを認識できない場合、無条件にこのようなマーク移動を行うこともできる。
【実施例２】
【００２７】
前記実施例１では、カメラがモニタ画面にほとんど接するほどに近接してカーソルマークを撮影する方式について説明した。もしモニタ画面から遠く離れたところで、カメラにモニタ画面を撮影させれば、カーソルマークがあまりにも小さく撮影され、認識し難くなる。そのような場合には、カメラのレンズに、望遠レンズを使用すればよい。このとき、焦点が合わなければ、カーソルマークがぼやけて撮影され、認識を行えないので、現在実用化されているデジタルカメラに使われる、自動的に焦点を合わせる装置をさらに含むことが望ましい。
【００２８】
そして、カメラとモニタ画面との距離が可変的である場合にも、良好にポインティング作業を行うためには、ズームレンズを使用することが望ましい。このような構成を採る場合は、カメラとモニタ画面との距離を測定する装置をさらに含み、その装置で測定した距離情報を利用してズームレンズを調整し、カーソル映像を常に鮮明であって大き目に撮影することが望ましい。このような構成によると、本発明によるカメラを使用したポインティング装置は、モニタ画面に接触する一般のライトペンのように使用することもできるし、モニタ画面から遠く離れても、リモコンのように使用することもできる。
【実施例３】
【００２９】
前記実施例１では、カメラがモニタ画面に非常に近接した状態で、マウスカーソル用アイコンと共に既定のマークをモニタ画面に出力する方式である。本実施例３では、カメラがモニタ画面から遠く離れており、そのような既定の一定形態のマークがない場合に、ポインティング作業を行う構成について説明する。
【００３０】
かかる構成は、任意の映像がモニタ画面に出力中である場合に、その映像情報を映像処理部に伝送し、マークの代わりに使用する方式を採用したものである。すなわち、現在モニタ画面に出力中である映像全体が実施例１のカーソルマークに該当する。この場合、カメラは、モニタ画面の全領域を一度に撮影できるほど、モニタ画面から適当に離れていることが望ましい。そして、映像処理部では、毎瞬間撮影された映像から、現在モニタ画面に出力中である映像を検出し、その映像の枠である四角形を分析し、カメラとモニタ画面との三次元相対位置と距離とを算出する。この構成を採るためには、現在モニタ画面に出力中である映像を得てきて映像処理部に伝送するモニタ映像伝達部を追加しなければならない。
【００３１】
現在モニタ画面に出力中の映像を持ってくる方法は、マイクロソフト社のウインドウズＸＰを搭載したコンピュータの場合を例にとれば、キーボードのPrint Screen SysRqキーを押し、モニタ画面に出力中である映像をウインドウズＸＰのクリップボードにキャプチャする方法をソフトウェア的に実行することである。
【００３２】
すなわち、キーボードのPrint Screen SysRqキーが押されることをエミュレーションするプログラムを実行すれば、モニタ画面の映像を得ることができる。キーボードのエミュレーションプログラムは、一定の時間間隔（例えば、１／３０秒）ごとにモニタ画面をキャプチャし、クリップボードにモニタ画面の映像を保存する。
【００３３】
そして、映像処理プログラムでは、クリップボードから映像を読み取って、カメラで撮影された映像と比較することにより、撮影された映像のうち、どこにモニタ画面があるかを知ることができる。また、ハードウェア的にビデオメモリに接近する装置を構成することもできる。
【００３４】
カメラで撮影された映像で、モニタ画面に出力中である映像部分を検出する方法の例を挙げれば、イメージプロセシングの公知技術であるモデル基盤ビジョン（model based vision）技法がある。
【００３５】
モデル基盤ビジョン技法は、与えられたイメージ（カメラで撮影された映像）で、予め知られたモデル（モニタ画面に出力中である映像）の位置と対応点とを探す技法である。さらに詳細に説明すれば、撮影された映像の適度な候補位置にモデルをアファイン（affine）変換、投射変換などを利用して拡大、縮小、回転、投影し、実際に撮影された映像の領域と最も好ましく対応する地点を探すものである。これについての詳細な説明は、David A．ForsythとJean Ponceとの共著「Computer vision a modern approach」（ＩＳＢＮ：0-13-085198-1）の１８ページ（Model based vision）に詳細に記述されている。
【００３６】
本実施例３と類似した方式のポインティング装置としては、韓国特許第１０−０７０８８７５号公報（「表示画面を指すポインタのポインティング位置を算出する装置及び方法）がある。この特許文献では、本来の出力映像画面に対して、四角形の枠の形態からなる人工的な基準映像をさらに出力し、その枠をカメラで撮影した映像から検出し、ポインティング作業を行うようになっている。かかる人工的な基準映像の枠は、ユーザに目障りになるという短所がある。これに比べ、本実施例３は、そのような人工的な基準映像の枠を出力せずに、モニタ映像伝達部を介して得た本来の出力映像自体をマークとして使用して認識する方式である。
【実施例４】
【００３７】
本実施例４では、前記実施例３で使われるモデル基盤ビジョン技法を、さらに容易に行うために、モニタ画面のちらつき（flicker）を利用する構成について説明する。
【００３８】
すなわち、撮影された映像からモニタ画面領域を求めることは、モニタ画面の背景が単純な場合（例えば、広い白い壁面に映像をビームプロジェクタで投射する場合）、比較的容易に行うことができるが、背景が複雑な場合、背景からモニタ画面を区別し難いことがある。このような場合には、モニタ画面に出力される映像のフレームのうち、偶数番目（０，２，４，…）のフレームは、空白映像（blank image）を出力し、奇数番目（１，３，５，…）のフレームのみ映像を出力する。
【００３９】
ここで、空白映像を出力するということは、モニタ画面全体またはモニタ画面の特定領域を特定色で塗って出力することを意味する。このとき、各フレーム間の時間は、十分に短く（例えば、１／３０秒より短い時間）し、肉眼にはちらつきが感じられないようにすることが望ましい。その簡単な例としては、偶数番目のフレームの間には、モニタ画面全体を黒色に出力し、奇数番目のフレームには、正常な映像を出力する。そして、カメラでフレームごとに撮影し、奇数番目のフレームが出力された直後に撮影した映像と、その直前の瞬間の偶数番目のフレームが出力された直後に撮影された映像との差分映像（difference image）を求める。
【００４０】
前記差分映像は、２つの映像のそれぞれの同位置の画素値の差を求めて得られる映像であり、映像処理分野の公知概念である。例えば、差分映像の（ｘ，ｙ）地点の画素値は、２つの入力映像の（ｘ，ｙ）地点の画素値の差から得られる。それにより、カメラが停止した状態で、背景が変わっていないならば、モニタ画面の部分だけ画素値が０ではない差分映像が得られ、モニタ画面以外の部分では、差分映像がいずれも０である画素値を有するようになる。この場合は、差分映像で、画素値が０ではない領域を検出すれば、その領域が直ちにモニタ画面の領域に該当する。
【００４１】
従って、上記のような画素値が０ではない領域に対して、モデル基盤ビジョン技法で、モニタ映像の対応点を遂行すれば、差分映像を使用しない場合より、はるかに容易にモニタ画面領域を認識できる。
【００４２】
カメラが動いたとするならば、背景部分でも差分映像の画素値が０ではなくなるが、その領域は非常に狭い領域に制限されるので、実施例３のように、差分映像ではない本来の映像を利用し、モデル基盤ビジョン技法を適用するより、はるかに容易にモニタ領域を検出できる。
【００４３】
また、カメラ撮影速度（秒当たりの撮影フレーム数）と画面出力速度（秒当たり出力フレーム数）とを速くするならば、カメラが動いても、ほとんどの背景領域での差分映像の画素値を０にすることができる。
【００４４】
ｃｒｔモニタのように、モニタ画面自体に走査線のスキャニングによるちらつきがあるならば、そのちらつきを撮影して差分映像を求めてもよい。もし、ある任意のモニタ画面自体にちらつきがほとんどない場合ならば、画面出力プログラムで、適当なちらつきを具現したり、またはモニタ映像がちらつくように適切なハードウェアをモニタに追加してもよい。例えば、コンピュータのＯＳに画面ちらつきを調節する機能を追加することもできる。
【００４５】
また、ゲームプログラムの画面出力方式を、偶数番目のフレームは画面全体を黒色または白色に出力し、奇数番目のフレームは、正常なゲームグラフィック映像を出力するようにすることができる。このとき、各フレームの出力瞬間と、カメラで撮影されるフレームとの間を同期化させることが望ましい。例えば、偶数番目のフレームをモニタ画面に出力した直後に、カメラでモニタ画面を撮影し、次に、奇数番目のフレームをモニタ画面に出力した後、カメラでモニタ画面を撮影し、以前フレームを撮影した映像と、現在フレームを撮影した映像との差分映像を求めるのである。この場合、前記ちらつきを具現する部分が、実施例１のマーク出力部に該当する。この場合、マークは、２つのフレームにわたって出力される空白映像と正常な画面映像とに該当する。
【実施例５】
【００４６】
本実施例５では、前記実施例４と同様に、偶数番目のフレームには、特定マークの映像を出力し、奇数番目のフレームには、正常な本来の出力映像を出力して偶数番目のフレームの映像だけ撮影し、その撮影した映像を映像処理部で認識してマークを検出し、ポインティング作業を行う構成について説明する。
【００４７】
すなわち、前記実施例４では、偶数番目のフレームには空白映像を出力したが、本実施例５では、例えば、図５のように、上辺中央が空いた四角形と、その四角形中心に位置した＋状のマークとを出力することを例として説明する。
【００４８】
図５において、四角形中心の＋は、マークの中心を早く検出するためであり、一方、四角形は、三次元ポインティングを行うためのものである。そして、四角形の上辺が空いているのは、カメラの回転状態を検出するための基準点を表示するためのものである。このような図５のマークの形態は一例に過ぎず、いかなる形態のマークを使用してもよい。
【００４９】
このような方式は、前記実施例３で説明した前記特許文献（韓国特許第１０−０７０８８７５号公報（「表示画面を指すポインタのポインティング位置を算出する装置及び方法」））とある程度類似している。しかし、前記特許文献では、マークを本来の出力映像上に合成して出力するので、本来の映像部分が識別され、映像処理部でマークを検出し難いという短所がある。
【００５０】
これに比べ、本実施例５の方式によると、本来の映像とマーク映像とが時間差をおいて、互いに異なるフレームに出力され、映像処理部ではマーク映像のフレームのみ分析すればよいので、はるかに容易にマークを検出できる。また、本来の映像がマークによって識別されないという長所がある。このとき、マーク映像が出力される頻度数は、本来の映像が出力される頻度数に比べて小さくすることができるので、肉眼ではマーク映像が見えないようにすることが望ましい。例えば、偶数番号目のフレームのうち、フレーム番号が４またはそれ以上の偶数の倍数である場合にだけマークを出力し、残りのフレームは、正常な映像を出力する方式である。
【実施例６】
【００５１】
前記実施例５では、マーク映像が肉眼に見えないようにするために、マーク映像の出力フレームと本来の映像の出力フレームとの映像出力頻度数を調整した。本実施例６ではそのようなマーク映像とそのマーク映像を反転させた映像（例えば、白黒反転）とを交互に出力することによって、肉眼ではマーク映像とその白黒反転映像とが合わさり、全体的にマーク形状が消えた空白映像（全体が灰色の映像）に見えるようにする方式について説明する。
【００５２】
例えば、マーク映像は図５のように白い土台に黒色マークであり、その白黒反転映像は図６に示されている。このようなマーク映像とその反転映像とを交互に速く反復して順次出力すれば、肉眼では２つの映像が重なって全体的にマークが消えたように見えることになる。具体的には、フレーム番号を３で割った余りが０である場合は、マーク映像を出力し、余りが１である場合は、マークの反転映像を出力し、余りが２である場合は、正常な画面映像を出力する。そして、映像処理部では、余りが０であるフレームを撮影してマークを検出し、ポインティング作業を行う。
【００５３】
この場合、マークが肉眼に見えないようにするために、マーク映像のフレームとその反転映像のフレームは、時間的に隣接して順次出力することが望ましい。そして、マーク映像とその反転映像のフレームの出力頻度数は、本来の映像フレームの出力頻度数よりも少なくすることが望ましい。例えば、フレーム数を１０で割った余りが０であるならば、マーク映像を出力し、余りが１であるならば、その反転映像を出力し、余りが２ないし９であるならば、正常な画面映像を出力することが望ましい。
【実施例７】
【００５４】
本実施例７では、前記実施例１のように、ペン状のカメラでタブレット形態のモニタ画面に文字を記入するように使用するポインティング装置に、前記実施例５及び６で使われた、フレーム別に異なった映像を出力する技法を適用した方式について説明する。
【００５５】
本実施例７の方式では、前記実施例５及び６においてマークに該当する映像で、二次元マトリックス状に配列されたバーコード映像（ｍｋｂ）（図７）を使用する。ここで、バーコードは、それ自体の位置がｘ，ｙ座標情報を示す。各バーコードサイズは、ペン状のカメラがモニタ画面に近接したとき、１つのバーコードが１画面に撮影できるほどのサイズであることが望ましい。図７は、そのようなバーコードのマトリックス状のマーク映像が出力される様子である。
【００５６】
本実施例７の方式でも、前記実施例５及び６と同様に、マーク映像と本来の映像とを交互に出力する。そして、映像処理部では、そのマーク映像のバーコードを認識し、バーコードからそのバーコードの座標が分かる。それにより、その座標が現在ペン状のカメラが向かっているモニタ画面上の座標に該当する。その座標を使用し、ポインティング作業を行うことができる。
【００５７】
これと類似の技術は、韓国特許公開第１０−２００７−００１５２３０号公報（「イメージ感知オペレーター入力装置」）に（「絶対位置装置でのマウスの使用」）欄に紹介されている。
【００５８】
前記特許文献は、マウスパッドにバーコードマトリックスを印刷し、マウス底のカメラでバーコードを撮影し、絶対座標を入力する装置である。これに比べ、本実施例７のポインティング装置は、モニタ画面上に肉眼で見えないように、バーコードマトリックス状のマークを出力する方式である。すなわち、別途のマウスパッドが不要な簡単な構成であることを特徴とする。
【００５９】
本実施例７は、マークの形態がバーコードのマトリックス状である点と、カメラとモニタ画面との距離が近いという点とを除いて、具体的な残りの動作方式は、前記実施例５及び６と同一である。ここで、バーコードの代わりにその他のマークや数字を使用してもよい。例えば、数字やアルファベットをバーコードの代わりに使用してもよい。また、それぞれのバーコードを含むセルを表示する四角形の枠を、図７のように方眼紙の如く表示し、その方眼紙のセルの四角形のゆがんだ形態とサイズとを認識することによって、三次元ポインティング作業を行うこともできる。
【００６０】
本実施例７は、前記実施例１で必要なリセット機能が不要であるという長所がある。これに比べ、前記実施例１は、カメラの撮影速度がそれほど速くなくともよいという長所がある。すなわち、本実施例７は実施例１に比べ、撮影速度が速いカメラを必要とする。
【特許請求の範囲】
【請求項１】
ポインティング装置において、
マークをモニタ画面に出力するマーク出力部と、
前記マークを撮影するカメラと、
前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、
を含み、
前記マーク出力部は、
マーク映像と正常映像とを続けて反復して出力し、
前記映像処理部は、マーク映像を撮影した映像からマークを認識し、ポインティング座標を算出することを特徴とするカメラとマーク出力とによるポインティング装置。
【請求項２】
ポインティング装置において、
マークをモニタ画面に出力するマーク出力部と、
前記マークを撮影するカメラと、
前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、
を含み、
前記マーク出力部は、
マーク映像、マーク映像を白黒反転または補色反転した映像、及び正常映像を続けて反復して出力し、
前記映像処理部は、マーク映像を撮影した映像からマークを認識し、ポインティング座標を算出することを特徴とするカメラとマーク出力とによるポインティング装置。
【請求項３】
前記マーク映像は、二次元ｘｙ座標値を表すパターンが、二次元マトリックス状に配列された映像であることを特徴とする請求項１または請求項２に記載のカメラとマーク出力とによるポインティング装置。
【請求項１】
ポインティング装置において、
マークをモニタ画面に出力するマーク出力部と、
前記マークを撮影するカメラと、
前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、
を含み、
前記マーク出力部は、
マーク映像と正常映像とを続けて反復して出力し、
前記映像処理部は、マーク映像を撮影した映像からマークを認識し、ポインティング座標を算出することを特徴とするカメラとマーク出力とによるポインティング装置。
【請求項２】
ポインティング装置において、
マークをモニタ画面に出力するマーク出力部と、
前記マークを撮影するカメラと、
前記カメラによって撮影された映像を映像処理してマークを認識し、ポインティング座標を算出する映像処理部と、
を含み、
前記マーク出力部は、
マーク映像、マーク映像を白黒反転または補色反転した映像、及び正常映像を続けて反復して出力し、
前記映像処理部は、マーク映像を撮影した映像からマークを認識し、ポインティング座標を算出することを特徴とするカメラとマーク出力とによるポインティング装置。
【請求項３】
前記マーク映像は、二次元ｘｙ座標値を表すパターンが、二次元マトリックス状に配列された映像であることを特徴とする請求項１または請求項２に記載のカメラとマーク出力とによるポインティング装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２３０７０２（Ｐ２０１２−２３０７０２Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１２−１５８４５５（Ｐ２０１２−１５８４５５）
【出願日】平成２４年７月１７日（２０１２．７．１７）
【分割の表示】特願２０１０−５１０２０５（Ｐ２０１０−５１０２０５）の分割
【原出願日】平成２０年５月２５日（２００８．５．２５）
【出願人】（５０９３２６１５３）
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２４年７月１７日（２０１２．７．１７）
【分割の表示】特願２０１０−５１０２０５（Ｐ２０１０−５１０２０５）の分割
【原出願日】平成２０年５月２５日（２００８．５．２５）
【出願人】（５０９３２６１５３）
【Ｆターム（参考）】
[ Back to top ]