電子機器
【課題】認識エラーが少なくプロジェクタモジュールへの入力操作の信頼性を高めることができるとともに、電子機器の意匠性(外観)の低下を抑制でき、さらには低コスト化をも実現できる電子機器を提供する。
【解決手段】光源としての赤外線レーザ11からのビームはプロジェクタモジュールのプロジェクタ走査手段であるMEMSミラー13の一部で走査され、反射ミラー29で設置面Fに平行となる。投影画像の所定箇所を指がタッチすると、指で反射された非可視光の赤外線はビームスプリッタ27によってフォトダイオード15に入射する。測距手段によりTOF法で指の距離が測定される。
【解決手段】光源としての赤外線レーザ11からのビームはプロジェクタモジュールのプロジェクタ走査手段であるMEMSミラー13の一部で走査され、反射ミラー29で設置面Fに平行となる。投影画像の所定箇所を指がタッチすると、指で反射された非可視光の赤外線はビームスプリッタ27によってフォトダイオード15に入射する。測距手段によりTOF法で指の距離が測定される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プロジェクタモジュールを備えたプロジェクタ、携帯電話機、PDA、ノートパソコン、ゲーム機などの電子機器に関し、特に卓上設置および卓上投影が可能な電子機器に関する。
【背景技術】
【0002】
パソコンを用いたミーティングやホームシアター用のツールとして、プロジェクタの普及が急速に進んでいる。最近ではノートパソコンと共に携帯に便利な小型プロジェクタも開発されてきており、外出先でのプレゼンテーションやミーティングも効果的に行えるようになってきている。
そういった状況の中、携帯電話機などをはじめとした電子機器にプロジェクタを組み込もうとする動きも出てきている。モバイル機能を有する電子機器でプロジェクタを用いることにより、利便性が格段に良くなるからである。
【0003】
上記のような、小型プロジェクタの利用シーンを考えてみる。まず、携帯電話機にプロジェクタモジュールが付いているとき、主には手持ちにて投影を行うことが考えられる。小型であるが故の投影方法であるが、手振れの問題や発熱等の問題などもあり、クリアしなければならない課題は多い。
したがって、設置して投影を行うといった使われ方をするケースも多いと考えられる。例えば、机上に設置して投影させる場合、鉛直面のスクリーンに投射させることが一般的であるが、小型のプロジェクタモジュールで出力が小さいものであるならば、近い位置に投射させなければならない。
あるいは、設置された机上そのものに投影するという使われ方も考えられる(図17参照)。こうすることによって、スクリーンレスで机上への投射が可能になり、コンパクトな会議スペースなどにおける利用シーンが膨らむ。小型プロジェクタモジュールからの投影距離も小さくてすむので、出力も小さくてすむ。
【0004】
このような投影系において、出力画面を操作するためのインターフェイスについては、小型プロジェクタモジュールの搭載された電子機器(携帯電話機)そのものの操作部を利用することがまず考えられる。
しかし、この方法には以下の問題がある。まず、電子機器が携帯電話機などの小型のものである場合、電子機器の操作部を操作することによって電子機器そのものを動かさないように操作するのは難しく、動いてしまうと投射された画像も動いてしまって、操作している間、画像が見づらくなってしまう。さらに、小型であることから、発熱した熱の逃げ場が少なく、操作部に熱が伝わらないようにするための対策が必要となる。
したがって、電子機器そのもので操作を行うことは使い勝手が悪いと考えられる。リモコン等を使うという方法も考えられるが、リモコンそのものが必要であることから、携帯性やコストに難がある。
投影された画面を直接タッチすることによって操作を行うことができれば、それが一番望ましい形態である。そのためには、電子機器に投影画面の特定の位置がタッチされたことを認識するモジュールが必要となる。
このような構成にすることによって、あらゆる平面に投射されたものに対しても、それに対するタッチを検出することができる。
【0005】
このような投影画面タッチ方式を採用するものとして、例えば特許文献1、2、3に記載のものが知られている。
これらの特許文献で開示されているものは、すでに市販されているバーチャルキーボードに関するものである。バーチャルキーボードは卓上置きでキーボード画像を卓上投射し、そのキーボード画像のキーをタッチすると読み取りセンサでどのキーがタッチされたかを認識するものである。
投射できるのはキーボードパターンだけであり、代表的な手段としては、特殊な回折格子パターンにレーザ光を照射してキーボードパターンを生成するというものである。すなわち、回折格子のパターンによって投射パターンが決まる。そういった面では、データプロジェクタとは異なっている。
【0006】
また、どのキーが押されたかを判定する読み取りセンサは、図18に示すような構成が主である。例えば、プロジェクタモジュール60からキーボード画像が投影された卓上61のわずか上方の平面上には、平面状に広がる赤外線レーザ62によるビームが投影されており、操作者がキーボード画像の特定のキーにタッチするように指を配置すると、赤外線ビームが、指により反射され、反射された赤外線ビームは、赤外ビームの投影平面よりも上方に設けられたCCDカメラ等の赤外センサ63により検出される。
この検出された反射光のCCDカメラ上の位置によって、投射されたキーボード画像上でタッチされたキー入力の判定がなされる。
特許文献4には、上記のバーチャルキーボードと同じ読み取りセンサの機能を持ったもので、投射画像を任意に設定できるものが開示されている。
画像投射部は、レーザ光を2つのポリゴンミラーで走査して2次元画像として投射する方式となっている。読み取りセンサ部は、先のバーチャルキーボードの例と同じく独立したモジュールとなっている。
したがって、赤外線レーザと、レーザ光を平面状のプロファイルに変換する変換素子と、反射光を読み取る2次元CCDカメラが必要となっている。レーザ光を平面状のプロファイルに変換する変換素子としては、レーザ光を走査する構成として記載され、その走査手段としてはポリゴンミラーが挙げられている。
【0007】
特許文献5には、レーザ光を2軸のMEMSミラーで走査するタイプのプロジェクタが開示されている。イメージキャプチャによってバーチャルキーボードの読み取りを行っている。
【0008】
【特許文献1】特開2007−219966号公報
【特許文献2】特開2007−133835号公報
【特許文献3】特開2005−165804号公報
【特許文献4】特開2007−53420号公報
【特許文献5】特表2007−528023号公報
【特許文献6】特開2007−310194号公報
【特許文献7】特開2008−009136号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
特許文献1〜3に開示された方式では、赤外線レーザと、レーザ光を平面状のプロファイルに変換する変換素子と、反射光を読み取る2次元CCDカメラが必要となっている。
このため、光学的な窓も赤外線レーザのビーム出射部とCCDカメラ受光部の2箇所が必要となり、携帯電話機等の電子機器における意匠性の低下を増大させている。
特許文献4に開示された方式では、画像投射部にポリゴンミラーが2つ、読み取りセンサ部にポリゴンミラーが1つ必要であるため、コストアップが懸念される。
特許文献5に開示された方式では、指の高さを検出する精度は低いと考えられ、本当に指でバーチャルキーボードのキーが押されたかどうかを判定する精度も低下し、その結果検知エラーが多発すると考えられる。
【0010】
特許文献5の方式に似たようなものとして、遊技場などでよく見られるものであるが、天井に設置されたプロジェクタが床面に画像を投射し、その画像を踏むことによって画像情報が変化するものがある。原理はいろいろあると思われるが、最も一般的なものとしては、プロジェクタと共に3次元イメージキャプチャを設置して、足の甲の高さを検出するものである。
たとえば、CCDセンサでイメージを撮影し、同時にCCDの各画素ごとにTOF法で距離を計測して3次元データを取るものなどがある。これもやはり同様に、足の甲の高さというシビアな距離検出が求められる対象物に対して測距の精度が十分ではないと考えられ、したがって、精度の高い検出機能を得ることができない。
その他、測距センサを備えたプロジェクタに関する特許文献は多く存在するが、そのほとんどはスクリーンとの距離を検知してキーストーン補正を行うことを目的としている。
【0011】
本発明は、認識エラーが少なくプロジェクタモジュールへの入力操作の信頼性を高めることができるとともに、電子機器の意匠性(外観)の低下を抑制でき、さらには低コスト化をも実現できる電子機器の提供を、その目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、請求項1記載の発明では、画像を投影するプロジェクタモジュールを有する電子機器であって、前記プロジェクタモジュールは、単色あるいは複数色のレーザによるレーザ光を2軸方向に走査するプロジェクタ走査手段によって2次元画像を投射するものであって、前記プロジェクタモジュールによる画像投影は該電子機器の設置部によって形成される平面の延長面上になされる電子機器において、光源と、前記光源からの光を走査する走査手段と、光遮蔽物に反射して戻ってくる前記光源の光を検知する光検知手段とによって構成される1次元走査型の測距手段を備え、前記走査手段は、前記プロジェクタ走査手段の1軸成分のみの部分で兼用され、前記測距手段による光の走査方向と光線方向がなす平面は、前記プロジェクタモジュールの投影面と平行な平面内であり、さらに該プロジェクタモジュールからの投影画像の少なくとも真上の領域は全て前記測距手段による走査の範囲内であって、
前記測距手段の走査範囲における測距データを、走査方向と測距方向の2次元平面座標系の位置データとして、前記投影画像の2次元座標のデータと対比し、前記測距手段の走査光を遮る前記光遮蔽物が前記投影画像上のどの部分に来ているかを認識し、前記光遮蔽物による光遮蔽が、所定の大きさを持った領域で所定の時間だけ、前記投影画像の所定の領域上の部分になされたとき、該電子機器に所望の入力信号を与える制御手段を備えていることを特徴とする。
【0013】
請求項2記載の発明では、請求項1記載の電子機器において、前記測距手段は、前記光源の出力波形と、前記光検知手段の検出波形との位相差より距離を検出するTime of Flight(TOF)法にて距離を検出することを特徴とする。
請求項3記載の発明では、請求項1又は2記載の電子機器において、前記光源からの光が非可視光であることを特徴とする。
請求項4記載の発明では、請求項1〜3のいずれか1つに記載の電子機器において、前記プロジェクタモジュールによる投影画像データと、前記測距手段による前記光遮蔽物の検出位置データとの整合を行う校正手段を有することを特徴とする。
【0014】
請求項5記載の発明では、請求項4記載の電子機器において、前記校正手段による校正方法は、前記プロジェクタモジュールにより、位置の異なるタッチポイントが少なくとも2箇所投影され、前記2箇所のタッチポイントに対応したタッチインプットを前記測距手段が検出し、前記制御手段にて、前記投影画像データにおける各タッチポイントの位置との比較を行って各々の整合を取るものであることを特徴とする。
請求項6記載の発明では、請求項1〜5のいずれか1つに記載の電子機器において、設置面が強磁性体である場合に、磁力で設置固定可能であることを特徴とする。
【0015】
請求項7記載の発明では、請求項1〜6のいずれか1つに記載の電子機器において、無線通信機能を備えていることを特徴とする。
請求項8記載の発明では、請求項1〜7のいずれか1つに記載の電子機器において、電話機能を備えていることを特徴とする。
【発明の効果】
【0016】
本発明によれば、入力操作の認識エラーが少なくでき、且つ測距手段の構成要素である走査手段を独立して設ける必要がないのでコスト低減を実現できる。
測距手段の光検知手段として、CCDセンサではなく、安価なフォトダイオードを用いることができるので、一層のコスト低減を実現できる。
投影画像データと、インプット位置がずれてきたときにも修正が可能となり、電子機器の設置状況や環境変化、経時変化に対しても、正確なプロジェクタモジュールへの入力操作を実現できる。
ホワイトボードや冷蔵庫外壁面などの強磁性体が含まれた面に対しては、水平面以外の平面であっても、設置及び投影が可能になる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施形態を図を参照して説明する。
本発明は机上設置で机上投影するタイプのプロジェクタモジュールを有する電子機器に関するものであり、具体的には、プロジェクタ単体のほか、携帯電話機、ノートパソコン、PDA、ゲーム機、デジカメなどが挙げられる。電子機器は携帯が可能な小型機器であるほど本発明の効果が発揮されて望ましいが、特には限定しない。
図1乃至図12に基づいて第1の実施形態を説明する。図1に本実施形態に係る電子機器としての携帯電話機の概略レイアウト構成図を、図2にその構成ブロック図を示す。
【0018】
図1に示すように、携帯電話機1は、電話機としての操作キーが設けられた下半部3と、ディスプレイ画面を有する上半部5とからなる一般的な折り畳み方式の構成を有している。ここでは、下半部3を机上等の水平な設置面Fに載せて上半部5を略直角に立てて使用する例を示している。
携帯電話機1の上半部5にはプロジェクタモジュール7が搭載されている。プロジェクタモジュール7によって、設置された水平面と同一の平面に画像を投射(設置面投射)するものである。また、上半部5の設置面近傍には、測距手段9が搭載されている。
【0019】
測距手段9は、画像投影面と平行で且つ近傍の平面内において、非可視光の光源、具体的には赤外線レーザ11(図3参照)からのレーザ光を走査手段としてのMEMSミラー13(図3参照)の一部で1次元走査するものであり、その走査されたレーザが物体に当たって戻ってくる光を光検知手段としてのフォトダイオード15(図3に参照)で検知するものである。
出射されたレーザとフォトダイオード15で検知されたレーザの波形を比較してその時間差を検出することによって物体の携帯電話機1からの距離を求めるTime of Flight(TOF)法で、距離検出を行っている。構成の詳細については図3以降で説明する。
【0020】
したがって、レーザが走査していることによって角度成分、距離検出していることで半径方向成分の座標を特定できるので、検出対象の物体の走査平面内の2次元座標における位置を特定することができる。
図2は機能ブロック構成図である。測距手段9は、上記の通り、非可視光の光源である赤外線レーザ11と、走査手段としてのMEMSミラー13の一部と、フォトダイオード15等で構成されている。このうち、MEMSミラー13は、プロジェクタモジュール7のプロジェクタ走査手段としてのMEMSミラー13に含まれるものになっている。
プロジェクタモジュール7は、少なくとも単色あるいは複数色のレーザとプロジェクタ走査手段(MEMSミラー13)で構成されている。すなわち、プロジェクタ走査手段の一部を測距手段の走査手段に兼用している。
【0021】
測距手段9では上記の通り、走査平面内の2次元座標内における測定対象物の位置を極座標系で特定することができる。
制御手段17は、前記の2次元座標系に変換された測定対象物の位置情報と、プロジェクタモジュール7により投射されている投射画像を比較して、投影画像のどの位置に測定対象物(具体的には指によるタッチ)があるかを判定し、そのことによって、プロジェクタ出力をはじめとした携帯電話機1の動作を制御する機能を最低限持ち合わせている。
測定対象物が投影画像上のどの位置にあるのかを判定する基準を明確にするのが校正手段19である。具体的な構成方法については後述するが、基本的には、プロジェクタモジュール7により投影された画像と、測距手段9で検出された指などによる画像タッチ位置との整合を図るものであり、その整合テーブルを制御手段17に格納させるものである。
したがって、それらにズレが発生したときには、校正手段19による校正が実行されなければならない。
携帯電話機1は、モバイル通信機能(無線通信機能)と電話機能のブロックも含んでいる。携帯電話機1に前記の機能を盛り込むことによって、非常に使い勝手のいいものとなり、たとえば、外出先での少人数でのテーブルのみが用意された会議スペースでもプロジェクタ機能によって効率のいい打ち合わせが可能になり、また測距手段9やモバイル通信手段等によってその操作性も優れたものになる。
【0022】
次に、各構成要素と動作について詳細に説明をする。
図3に携帯電話機1の上半部5の構成の詳細を示す。まずプロジェクタモジュール7について詳細に説明する。
プロジェクタのタイプとして、本実施形態で採用しているレーザ走査型プロジェクタについて説明する。レーザ走査型プロジェクタは、当然ながら光源としてはレーザを用いる。レーザが1本のみの単色であるならば単色プロジェクタとなるが、複数色、たとえば赤(R)、緑(G)、青(B)の3色のレーザを光源とするならば、フルカラーのプロジェクタを得ることができる。
ここでは、Rレーザ21、Gレーザ23、Bレーザ25を用いている。
昨今利用されているデータプロジェクタを考慮すれば、フルカラープロジェクタである方が商品価値としては高く、図中でもRGBの複数色のレーザを用いたものを示しているが、発明そのものとしては、単色のものであっても良い。
【0023】
携帯電話機などをはじめとした携帯性の高い機器にプロジェクタモジュール7を搭載するためにはプロジェクタモジュール7も相応に小さくなければならない。したがって、レーザとしては小型の素子で実現可能なレーザダイオード(LD)を用いることが望ましい。LDはRとBに関しては実在しているが、Gについては実在しておらず、現状ではSHG(第2高調波発生素子Second Harmonic Generation)を用いた比較的小型のものを用いることになる。もちろん、GのLDが世に出回ることになればそれを用いても良い。
前記のレーザはプロジェクタ走査手段としてのMEMSミラー13によって2方向に走査され、2次元画像を得ることになる。したがって、画像情報に応じて各レーザは変調されなければならない。LDの変調はそのままでも行えるので、R、Bについては問題はないが、Gについては直接変調が困難なため、一般的にはAOM(音響光学変調器)を用いた外部変調を行う必要がある。ただし、今後の技術革新によって、GのLDの出現や、そうでなくとも直接変調が可能なGのレーザが出現すれば、外部変調の必要がないということは言うまでもない。
図3において、符号27はビームスプリッタ、29は反射ミラー、31、33は光学素子、35、37は測距手段ブロック、39はプロジェクタモジュールブロックをそれぞれ示している。
【0024】
プロジェクタ走査手段は、2方向に走査されるべきものであり、代表的なものとして2軸のMEMSミラー13が挙げられる。代表的なものを図4に示す。MEMSミラー13は、中央にメインミラー部13Aを有し、メインミラー部13Aは2箇所の第1ミラー支持体13Bで支持され、第1ミラー支持体13Bは、メインミラー部13Aと第1ミラーフレーム13Cとをつないでいる。
第1ミラー支持体13Bを概略回転中心として、メインミラー部13Aは第1ミラーフレーム13Cに対して回動可能に支持されている。第1ミラーフレーム13Cは、2箇所の第2ミラー支持体13Dで支持されており、第2ミラー支持体13Dを概略回転中心としてメインフレーム13Eに対して回動可能に支持されている。
ここで、第1ミラー支持体13Bと第2ミラー支持体13Dとの位置関係が直交方向となっているので、メインミラー部13Aはメインフレーム13Eに対して2軸方向に回動可能に保持されていることになる。
【0025】
これらは1枚板で形成されており、したがってミラー支持体周りは弾性を有することになる。上記のように回動可能という表現を用いたが厳密には弾性体の弾性の範囲内における回動である。
したがって、固有振動数を持つことになり、MEMSミラー13に外力を与えると固有振動数で共振し、ミラーに大きな振幅を与えることができる。外力を与える手段としては、具体的には電磁コイル、ピエゾ素子などが考えられる。このようにして、レーザ走査が可能になる。
これらの要素でプロジェクタモジュール7としての最低限の機能を果たすが、さらに光学素子や画像補正手段などを追加することによって、高品質な投影画像を得ることもできる。
【0026】
次に、測距手段9について詳細に説明する。ここでは、本発明で取り上げている代表的な測距手段のタイプとして、TOF法を用いた1次元走査型のものについて説明する。
測距手段9の構成要素は、非可視光の光源と、走査手段と、光検知手段とからなる。非可視光の光源とは、具体的には赤外線レーザを用いることが一般的である。距離を検知するための手段であることから非可視であることが望ましいということは言うまでもない。やはりこれも、小型の電子機器に搭載することを考えたときLDであることが望ましい。
赤外線レーザ11は走査手段によって1次元走査される。1次元走査なので、たとえばMEMSミラーなら1軸のものを用いることになる。
【0027】
図3に示すように、本実施形態ではプロジェクタ走査手段が測距手段の走査手段を兼用している。
プロジェクタ走査手段は2軸のMEMSミラー13なので、メインミラー部13Aを測距手段9のレーザ走査に用いてしまっては、2次元走査となって、測距手段9としては不適当となる。したがって、図5に示すように、MEMSミラー13の第1ミラーフレーム13Cの部分を測距手段9の走査手段として用いる。
これにより、測距手段9の走査光は1次元方向にのみ走査することが可能になる。したがって、第1ミラーフレーム13Cは、レーザ走査が行えるだけの面積を持っていることが望ましい。
また、先にも述べたとおり、測距手段9は、画像投影面と平行で且つ近傍の平面内において、1次元走査するものである。よって、第1ミラーフレーム13Cの走査方向が画像投影面に平行になるようにレイアウトされる。
【0028】
必要に応じて反射ミラー29などをレイアウトすることによって、図6に示すように、画像投影面と平行で且つ近傍の平面内において、扇形に走査することが可能になる。
走査されたレーザ光は物体に当たって散乱するが、図3のレイアウトのようにビームスプリッタ27を用いて光検知手段15を配することによって、正面に反射してきた成分を光検知手段に入射させることが可能になる。光検知手段は代表的なものとしてはフォトダイオードが挙げられる。当然ながら、前記フォトダイオードは赤外線レーザ光の波長領域において感度が優れているものが望ましい。
【0029】
TOF法によって、赤外線レーザ光が当たった物体の、測距手段9からの距離を検出する。具体的には、赤外線レーザ11の出力をパルス出力、sin波形、矩形波等に変調して出力する。
フォトダイオード15に返ってくる赤外線レーザの波形は、出力波形に対して時間差が生ずるものとなる。この時間差は、
2×(物体までの距離)/(光速)
となって現れる。したがってこの時間差を読み取ることによって物体までの距離を算出できる(図7参照)。
こうすることによって、図6に示すように、レーザを走査することによってθ方向、TOF法による距離算出によってR方向となる極座標系の平面における物体の位置を特定することができる。現在θ方向のどの位置を走査しているのかは、あらかじめMEMSミラー13の駆動信号に対するMEMSミラー13の動き(位相ズレ情報など)が分かっていれば、MEMSミラー13の駆動信号より求めることができる。
当然ながらプロジェクタモジュール7の出力についても同様である。
【0030】
レーザ走査は、画像投影面と平行で且つ近傍の平面内、具体的には画像投影面に1mmほど上の面で行うことが望ましい。検知したい対象の物体は、画像投影面に触れる指なので、触れたときに検知するためには走査面が投影面に近いほど良いということになるが、近すぎると凹凸のある画像投影面で誤検知する虞があるからである。
一般的な卓上置きで壁面投射型のプロジェクタで、画像投影部までの距離検出を行って、投影画像へのタッチを検出するものもあるが、投影画像へタッチしたかどうかは距離検出による距離データで求めることとなる。すなわち、タッチした指の高さ分(およそ10〜15mm)距離が縮まればタッチしたと認識されるものである。
しかし、TOF法では、高精度のものでも距離検出精度は±10mmくらいであり、したがって、画像にタッチしたかどうかの正確な判定は難しく、誤検知が多いものになると考えられる。
しかし、本発明の構成では、不動である測距手段9のレーザ走査面に指が入ってこない限り検知されないので、意図的なタッチがあったかどうかの判定に優れている。TOF法による誤差に関しては、タッチする投影画像上のボタンをある程度の大きさにすることによってカバーできる(図8参照)。
【0031】
このようにして、本発明における測距手段9は、その走査手段をプロジェクタ走査手段と兼用することによって不要とし、赤外線レーザ11と、フォトダイオード15と、必要ならば反射ミラー29によって構成されるので、非常に安価で且つ検知エラーの少ないものを得ることができる。
また、測距手段9に必要とされる光学窓は赤外線レーザ11の出入り口の1箇所だけとなるので、外観のレイアウトもすっきりしたものとなり、携帯電話機1の意匠性の低下を抑制できる。先述のバーチャルキーボードの説明ではCCDカメラを用いているために2箇所の光学窓が必要であり、これに対するメリットは大きい。
【0032】
測距手段9では上記の通り、走査平面内の2次元座標内における測定対象物の位置を極座標系で特定しているが、一方、プロジェクタモジュール7による投影画像の画像データはXYの座標系で与えられる(図6参照)。言うまでもないが、2次元平面内での極座標系とXY座標系は1対1の関係として互いに変換できる座標系である。
そして、これらの比較を行うのが制御手段17である。図9に基づいて制御手段17の役割について述べる。制御手段17は、測距手段9による測定データである2次元極座標系の位置情報が、XY座標系である投影画像上のどの位置に一致するかのテーブルを持つ。
そのテーブルに従って、測距手段9によって得られたタッチ位置が、投影画像上のどの部分に相当するのかを判断する。そして、投影画像データ上のタッチが促されるべき位置と測距手段9によって得られたタッチ位置とが一致したとき、そのタッチが促すべき動作をプロジェクタモジュール7あるいは電子機器全体に対して行わせる。
【0033】
投影画像上にタッチされたかどうかの判定はケースバイケースだが、測距手段9でゴミ等を検知して、それをタッチされたものと判断されるのも問題である。したがって、タッチされたかどうかの判断には、少なくともある程度の大きさのものが検知されている必要がある。
すなわち測距手段9で得られたデータにおいて、図10(b)に示すように、ある程度のエリアが埋まっていることが必要である。そのエリアの大きさは指の大きさを基準に決めても良いし、専用の指し棒を使うなら、その指し棒の大きさを基準に決めればよい。
また、電気的なノイズの影響を除去するために、測距手段9で得られたデータにおいて一定時間同一のエリアが埋まっていなければならないという条件も必要である。それは0.5秒であっても1秒であっても良いが、操作性との兼ね合いで決めると良い。
また、指で投影画像上をなぞるように動かしたときについても検知したいなら、測距手段9で得られたデータにおいて埋まっているエリアが連続的に動いていることを判断するようにすればよい。情報処理技術で如何様にも使える。
【0034】
先にも述べたとおり、制御手段17は、測距手段9によって得られた2次元極座標系の位置情報が、XY座標系である投影画像上のどの位置に一致するかのテーブルを持つ。そのテーブルは校正手段19によって与えられる。
図11に基づいて、校正手段19の具体的な動作フローについて述べる。校正動作に入った後、まず、プロジェクタモジュール7より、タッチが促される画像が表示される。図の例に従って説明すると、任意の位置に二重丸と表示された画像が投影され、そのポイントにタッチを促す。タッチが測距手段9で検出されてタッチ位置の座標情報が与えられ、制御手段17で有効なタッチだと認識されたとき、前記のタッチ位置の座標情報を記憶し、再びプロジェクタモジュール7で任意の位置に二重丸と表示された画像が投影される。投影される二重丸の位置は最初の画像とは異なった位置である。
そして、以下同様の動作を行う。このことによって、プロジェクタモジュール7によって投影された2箇所の二重丸の位置と、実際にタッチされて測距手段9に取り込まれた2箇所のタッチ位置との対比がなされる。そして、各々の座標系の位置や倍率情報を合わせ込むことができる。
【0035】
このことによって、互いの座標を一致させるためのテーブルを作成し、制御手段17に格納する。
このとき、2箇所の二重丸の位置、X軸Y軸共にできるだけ離れていることが望ましい。その方がテーブル作成の精度が上がるからである。
上記の例のほかにも、校正用投影画像1画面に、図12に示すように丸1、丸2というタッチポイントを表示し、順にタッチを促すようにする方法でも良い、このとき、タッチが認識されたらタッチポイントの色が変わるようにすれば使いやすいものになる。
さらに、タッチポイントは3点以上あってもかまわない。タッチ位置の座標系と投影画像データの座標系に傾き誤差が発生した場合には3点による校正が必要となる。電子機器の特性上、傾き誤差が発生することがほとんどないような系ならば、3点の校正はオーバースペックになるので、電子機器の特性に応じて校正点数は決めてやればよい。
【0036】
これらの校正は、当然ながら、電子機器の工場からの出荷の前に既に行われてテーブルが作成された状態で納入されるものであるが、電子機器の使用環境の変化や経時による機器そのものの特性変化によって測距手段9によるタッチ位置の座標系と投影画像データの座標系のズレが発生したときに行われることによって効果を発揮する。
さらに、電子機器のプロジェクタモジュール7の投射方向を変化させることができるような機器に対しては、さらに校正手段19は必要なもので且つ効果を発揮するものとなる。その他、投影面が微妙に傾いていたり湾曲していたりする場合にも有効である。もっとも投影面の湾曲が大きすぎる場合には、本発明における測距手段9が機能しなくなる場合もあるので、その範囲内の投影面で使用することになる。
【0037】
図13に第2の実施形態を示す。なお、上記実施形態と同一部分は同一符号で示し、特に必要がない限り既にした構成上及び機能上の説明は適宜省略して要部のみ説明する(以下の他の実施形態において同じ)。
上記実施形態では、電子機器を卓上に設置し、その卓上面に投射するものを前提としてきたが、本実施形態では垂直面に対しても同様に設置することを目的としている。
具体的には、ホワイトボードや、冷蔵庫の外壁面などの、磁石が引き付けられるような強磁性体からなる設置面を対象としている。
本実施形態における電子機器41の設置部あるいは設置部周辺(設置面Fに対応する部分)には、マグネット等からなる磁気帯びた部材43が設けられている。
これにより、電子機器41を垂直に設置固定することができ、垂直面投射が可能になる。これは、電子機器41が小型で軽量であることによる大きなメリットの一つとなる。こうすることによって、手軽で安全なホワイトボードへの投射で、あらゆるミーティングのシーンで有用となり、また、都会の住宅事情による狭いキッチンにおいても、冷蔵庫壁面などへのレシピ等の投射でレシピを置くスペースを省略できるなどの有効な活用法を得ることができる。
【0038】
図14及び図15に第3の実施形態を示す。
本実施形態における携帯電話機45の上半部47には、測距手段9の光検知手段として、カメラモジュール49を用いている。カメラモジュール49は、測距手段9のために新設しなければならないということではない。
図に示したように、昨今の携帯電話機では、カメラモジュールが付いていることが当たり前となっている。したがって、既存のモジュールであるカメラモジュールを用いることになるので、逆に言えば光検知手段を設けるためのコストを低減することができる。
本実施形態では携帯電話機の例であるが、同様なことは本発明に記載のプロジェクタモジュールが搭載されたデジタルカメラにおいても言える。
【0039】
カメラモジュール49による距離検出の方法は、これまで説明してきた通りのTOF法である。カメラモジュール49は多画素数のCCDセンサあるいはCMOSセンサを有しているが、その画素の一部を用いて、走査された赤外線レーザ光の物体に当たって散乱した光を検知する。以下、TOF法によって距離を検出する。そして、赤外線レーザ光の走査位置とTOF法で検出された距離情報から物体の2次元平面上における位置を特定することができる。
ところで、カメラモジュール49で用いられているCCDセンサ、CMOSセンサでは、一般的に赤外光がノイズとなってしまうので、赤外カットフィルタを用いている。このままでは、測距手段9の赤外レーザ光を受光することはできない。
この対応として、例えば、図16に示すように、通常カメラ機能で用いる画素センサの領域の外側にも画素センサ領域を設け、その部分については赤外カットフィルタ51を外して、測距手段9の赤外レーザ光の物体に当たって散乱した光を拾う画素センサ領域としてやればよい。図15において、符号53は画素センサを、55はレンズ系を示している。
当然ながら、画素センサの赤外センサ領域は、プロジェクタモジュール7からの投影画像領域の方向からの結像位置と一致していなければならない。カメラモジュール49のズーム状態にも依存してくることなので、プロジェクタモジュール7を使用するときは、カメラモジュール49のズーム状態を上記所定の状態(画素センサの赤外センサ領域と、プロジェクタモジュールからの投影画像領域の方向からの結像位置と一致)にしておくことが必要となることは言うまでもない。
【0040】
さらに、TOF法ではなく、図18で示したバーチャルキーボードの例のように、測距手段の赤外レーザ光の物体に当たって散乱した光を拾った画素センサのアドレスによって、物体の2次元平面上における位置を特定するという方法であっても良い。
【図面の簡単な説明】
【0041】
【図1】本発明の第1の実施形態に係る電子機器としての携帯電話機の机上での投影状態を示す図で、(a)は側面図、(b)は平面図である。
【図2】同ブロック図である。
【図3】構成の詳細を示す断面図である。
【図4】プロジェクタ走査手段としてのMEMSミラーの正面図である。
【図5】MEMSミラーの一部が測距手段の走査手段を兼ねることを示す図である。
【図6】測距手段による走査と座標系を示す平面図である。
【図7】測距手段におけるTOF法の例を示す図である。
【図8】指の検知に対する本発明の優位性を示す図である。
【図9】制御手段の制御動作を示すブロック図である。
【図10】指などによるタッチ検出の条件を示す図で、(a)は指と認識しない場合を示す図、(b)は指と認識する場合を示す図である。
【図11】校正動作を示すフローチャートである。
【図12】校正動作の別例を示すフローチャートである。
【図13】第2の実施形態に係る電子機器の使用状態を示す図で、(a)は側面図、(b)は正面図である。
【図14】第3の実施形態に係る電子機器の投影状態を示す側面図である。
【図15】同ブロック図である。
【図16】カメラモジュールの詳細を示す縦断面図である。
【図17】携帯電話機による机上への投影状態を示す斜視図である。
【図18】従来の仮想キーボードに対する検知構成を示す図である。
【符号の説明】
【0042】
1 電子機器としての携帯電話機
7 プロジェクタモジュール
9 測距手段
11 光源としての赤外線レーザ
13 プロジェクタ走査手段としてのMEMSミラー
15 光検知手段としてのフォトダイオード
17制御手段
19 校正手段
【技術分野】
【0001】
本発明は、プロジェクタモジュールを備えたプロジェクタ、携帯電話機、PDA、ノートパソコン、ゲーム機などの電子機器に関し、特に卓上設置および卓上投影が可能な電子機器に関する。
【背景技術】
【0002】
パソコンを用いたミーティングやホームシアター用のツールとして、プロジェクタの普及が急速に進んでいる。最近ではノートパソコンと共に携帯に便利な小型プロジェクタも開発されてきており、外出先でのプレゼンテーションやミーティングも効果的に行えるようになってきている。
そういった状況の中、携帯電話機などをはじめとした電子機器にプロジェクタを組み込もうとする動きも出てきている。モバイル機能を有する電子機器でプロジェクタを用いることにより、利便性が格段に良くなるからである。
【0003】
上記のような、小型プロジェクタの利用シーンを考えてみる。まず、携帯電話機にプロジェクタモジュールが付いているとき、主には手持ちにて投影を行うことが考えられる。小型であるが故の投影方法であるが、手振れの問題や発熱等の問題などもあり、クリアしなければならない課題は多い。
したがって、設置して投影を行うといった使われ方をするケースも多いと考えられる。例えば、机上に設置して投影させる場合、鉛直面のスクリーンに投射させることが一般的であるが、小型のプロジェクタモジュールで出力が小さいものであるならば、近い位置に投射させなければならない。
あるいは、設置された机上そのものに投影するという使われ方も考えられる(図17参照)。こうすることによって、スクリーンレスで机上への投射が可能になり、コンパクトな会議スペースなどにおける利用シーンが膨らむ。小型プロジェクタモジュールからの投影距離も小さくてすむので、出力も小さくてすむ。
【0004】
このような投影系において、出力画面を操作するためのインターフェイスについては、小型プロジェクタモジュールの搭載された電子機器(携帯電話機)そのものの操作部を利用することがまず考えられる。
しかし、この方法には以下の問題がある。まず、電子機器が携帯電話機などの小型のものである場合、電子機器の操作部を操作することによって電子機器そのものを動かさないように操作するのは難しく、動いてしまうと投射された画像も動いてしまって、操作している間、画像が見づらくなってしまう。さらに、小型であることから、発熱した熱の逃げ場が少なく、操作部に熱が伝わらないようにするための対策が必要となる。
したがって、電子機器そのもので操作を行うことは使い勝手が悪いと考えられる。リモコン等を使うという方法も考えられるが、リモコンそのものが必要であることから、携帯性やコストに難がある。
投影された画面を直接タッチすることによって操作を行うことができれば、それが一番望ましい形態である。そのためには、電子機器に投影画面の特定の位置がタッチされたことを認識するモジュールが必要となる。
このような構成にすることによって、あらゆる平面に投射されたものに対しても、それに対するタッチを検出することができる。
【0005】
このような投影画面タッチ方式を採用するものとして、例えば特許文献1、2、3に記載のものが知られている。
これらの特許文献で開示されているものは、すでに市販されているバーチャルキーボードに関するものである。バーチャルキーボードは卓上置きでキーボード画像を卓上投射し、そのキーボード画像のキーをタッチすると読み取りセンサでどのキーがタッチされたかを認識するものである。
投射できるのはキーボードパターンだけであり、代表的な手段としては、特殊な回折格子パターンにレーザ光を照射してキーボードパターンを生成するというものである。すなわち、回折格子のパターンによって投射パターンが決まる。そういった面では、データプロジェクタとは異なっている。
【0006】
また、どのキーが押されたかを判定する読み取りセンサは、図18に示すような構成が主である。例えば、プロジェクタモジュール60からキーボード画像が投影された卓上61のわずか上方の平面上には、平面状に広がる赤外線レーザ62によるビームが投影されており、操作者がキーボード画像の特定のキーにタッチするように指を配置すると、赤外線ビームが、指により反射され、反射された赤外線ビームは、赤外ビームの投影平面よりも上方に設けられたCCDカメラ等の赤外センサ63により検出される。
この検出された反射光のCCDカメラ上の位置によって、投射されたキーボード画像上でタッチされたキー入力の判定がなされる。
特許文献4には、上記のバーチャルキーボードと同じ読み取りセンサの機能を持ったもので、投射画像を任意に設定できるものが開示されている。
画像投射部は、レーザ光を2つのポリゴンミラーで走査して2次元画像として投射する方式となっている。読み取りセンサ部は、先のバーチャルキーボードの例と同じく独立したモジュールとなっている。
したがって、赤外線レーザと、レーザ光を平面状のプロファイルに変換する変換素子と、反射光を読み取る2次元CCDカメラが必要となっている。レーザ光を平面状のプロファイルに変換する変換素子としては、レーザ光を走査する構成として記載され、その走査手段としてはポリゴンミラーが挙げられている。
【0007】
特許文献5には、レーザ光を2軸のMEMSミラーで走査するタイプのプロジェクタが開示されている。イメージキャプチャによってバーチャルキーボードの読み取りを行っている。
【0008】
【特許文献1】特開2007−219966号公報
【特許文献2】特開2007−133835号公報
【特許文献3】特開2005−165804号公報
【特許文献4】特開2007−53420号公報
【特許文献5】特表2007−528023号公報
【特許文献6】特開2007−310194号公報
【特許文献7】特開2008−009136号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
特許文献1〜3に開示された方式では、赤外線レーザと、レーザ光を平面状のプロファイルに変換する変換素子と、反射光を読み取る2次元CCDカメラが必要となっている。
このため、光学的な窓も赤外線レーザのビーム出射部とCCDカメラ受光部の2箇所が必要となり、携帯電話機等の電子機器における意匠性の低下を増大させている。
特許文献4に開示された方式では、画像投射部にポリゴンミラーが2つ、読み取りセンサ部にポリゴンミラーが1つ必要であるため、コストアップが懸念される。
特許文献5に開示された方式では、指の高さを検出する精度は低いと考えられ、本当に指でバーチャルキーボードのキーが押されたかどうかを判定する精度も低下し、その結果検知エラーが多発すると考えられる。
【0010】
特許文献5の方式に似たようなものとして、遊技場などでよく見られるものであるが、天井に設置されたプロジェクタが床面に画像を投射し、その画像を踏むことによって画像情報が変化するものがある。原理はいろいろあると思われるが、最も一般的なものとしては、プロジェクタと共に3次元イメージキャプチャを設置して、足の甲の高さを検出するものである。
たとえば、CCDセンサでイメージを撮影し、同時にCCDの各画素ごとにTOF法で距離を計測して3次元データを取るものなどがある。これもやはり同様に、足の甲の高さというシビアな距離検出が求められる対象物に対して測距の精度が十分ではないと考えられ、したがって、精度の高い検出機能を得ることができない。
その他、測距センサを備えたプロジェクタに関する特許文献は多く存在するが、そのほとんどはスクリーンとの距離を検知してキーストーン補正を行うことを目的としている。
【0011】
本発明は、認識エラーが少なくプロジェクタモジュールへの入力操作の信頼性を高めることができるとともに、電子機器の意匠性(外観)の低下を抑制でき、さらには低コスト化をも実現できる電子機器の提供を、その目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するために、請求項1記載の発明では、画像を投影するプロジェクタモジュールを有する電子機器であって、前記プロジェクタモジュールは、単色あるいは複数色のレーザによるレーザ光を2軸方向に走査するプロジェクタ走査手段によって2次元画像を投射するものであって、前記プロジェクタモジュールによる画像投影は該電子機器の設置部によって形成される平面の延長面上になされる電子機器において、光源と、前記光源からの光を走査する走査手段と、光遮蔽物に反射して戻ってくる前記光源の光を検知する光検知手段とによって構成される1次元走査型の測距手段を備え、前記走査手段は、前記プロジェクタ走査手段の1軸成分のみの部分で兼用され、前記測距手段による光の走査方向と光線方向がなす平面は、前記プロジェクタモジュールの投影面と平行な平面内であり、さらに該プロジェクタモジュールからの投影画像の少なくとも真上の領域は全て前記測距手段による走査の範囲内であって、
前記測距手段の走査範囲における測距データを、走査方向と測距方向の2次元平面座標系の位置データとして、前記投影画像の2次元座標のデータと対比し、前記測距手段の走査光を遮る前記光遮蔽物が前記投影画像上のどの部分に来ているかを認識し、前記光遮蔽物による光遮蔽が、所定の大きさを持った領域で所定の時間だけ、前記投影画像の所定の領域上の部分になされたとき、該電子機器に所望の入力信号を与える制御手段を備えていることを特徴とする。
【0013】
請求項2記載の発明では、請求項1記載の電子機器において、前記測距手段は、前記光源の出力波形と、前記光検知手段の検出波形との位相差より距離を検出するTime of Flight(TOF)法にて距離を検出することを特徴とする。
請求項3記載の発明では、請求項1又は2記載の電子機器において、前記光源からの光が非可視光であることを特徴とする。
請求項4記載の発明では、請求項1〜3のいずれか1つに記載の電子機器において、前記プロジェクタモジュールによる投影画像データと、前記測距手段による前記光遮蔽物の検出位置データとの整合を行う校正手段を有することを特徴とする。
【0014】
請求項5記載の発明では、請求項4記載の電子機器において、前記校正手段による校正方法は、前記プロジェクタモジュールにより、位置の異なるタッチポイントが少なくとも2箇所投影され、前記2箇所のタッチポイントに対応したタッチインプットを前記測距手段が検出し、前記制御手段にて、前記投影画像データにおける各タッチポイントの位置との比較を行って各々の整合を取るものであることを特徴とする。
請求項6記載の発明では、請求項1〜5のいずれか1つに記載の電子機器において、設置面が強磁性体である場合に、磁力で設置固定可能であることを特徴とする。
【0015】
請求項7記載の発明では、請求項1〜6のいずれか1つに記載の電子機器において、無線通信機能を備えていることを特徴とする。
請求項8記載の発明では、請求項1〜7のいずれか1つに記載の電子機器において、電話機能を備えていることを特徴とする。
【発明の効果】
【0016】
本発明によれば、入力操作の認識エラーが少なくでき、且つ測距手段の構成要素である走査手段を独立して設ける必要がないのでコスト低減を実現できる。
測距手段の光検知手段として、CCDセンサではなく、安価なフォトダイオードを用いることができるので、一層のコスト低減を実現できる。
投影画像データと、インプット位置がずれてきたときにも修正が可能となり、電子機器の設置状況や環境変化、経時変化に対しても、正確なプロジェクタモジュールへの入力操作を実現できる。
ホワイトボードや冷蔵庫外壁面などの強磁性体が含まれた面に対しては、水平面以外の平面であっても、設置及び投影が可能になる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施形態を図を参照して説明する。
本発明は机上設置で机上投影するタイプのプロジェクタモジュールを有する電子機器に関するものであり、具体的には、プロジェクタ単体のほか、携帯電話機、ノートパソコン、PDA、ゲーム機、デジカメなどが挙げられる。電子機器は携帯が可能な小型機器であるほど本発明の効果が発揮されて望ましいが、特には限定しない。
図1乃至図12に基づいて第1の実施形態を説明する。図1に本実施形態に係る電子機器としての携帯電話機の概略レイアウト構成図を、図2にその構成ブロック図を示す。
【0018】
図1に示すように、携帯電話機1は、電話機としての操作キーが設けられた下半部3と、ディスプレイ画面を有する上半部5とからなる一般的な折り畳み方式の構成を有している。ここでは、下半部3を机上等の水平な設置面Fに載せて上半部5を略直角に立てて使用する例を示している。
携帯電話機1の上半部5にはプロジェクタモジュール7が搭載されている。プロジェクタモジュール7によって、設置された水平面と同一の平面に画像を投射(設置面投射)するものである。また、上半部5の設置面近傍には、測距手段9が搭載されている。
【0019】
測距手段9は、画像投影面と平行で且つ近傍の平面内において、非可視光の光源、具体的には赤外線レーザ11(図3参照)からのレーザ光を走査手段としてのMEMSミラー13(図3参照)の一部で1次元走査するものであり、その走査されたレーザが物体に当たって戻ってくる光を光検知手段としてのフォトダイオード15(図3に参照)で検知するものである。
出射されたレーザとフォトダイオード15で検知されたレーザの波形を比較してその時間差を検出することによって物体の携帯電話機1からの距離を求めるTime of Flight(TOF)法で、距離検出を行っている。構成の詳細については図3以降で説明する。
【0020】
したがって、レーザが走査していることによって角度成分、距離検出していることで半径方向成分の座標を特定できるので、検出対象の物体の走査平面内の2次元座標における位置を特定することができる。
図2は機能ブロック構成図である。測距手段9は、上記の通り、非可視光の光源である赤外線レーザ11と、走査手段としてのMEMSミラー13の一部と、フォトダイオード15等で構成されている。このうち、MEMSミラー13は、プロジェクタモジュール7のプロジェクタ走査手段としてのMEMSミラー13に含まれるものになっている。
プロジェクタモジュール7は、少なくとも単色あるいは複数色のレーザとプロジェクタ走査手段(MEMSミラー13)で構成されている。すなわち、プロジェクタ走査手段の一部を測距手段の走査手段に兼用している。
【0021】
測距手段9では上記の通り、走査平面内の2次元座標内における測定対象物の位置を極座標系で特定することができる。
制御手段17は、前記の2次元座標系に変換された測定対象物の位置情報と、プロジェクタモジュール7により投射されている投射画像を比較して、投影画像のどの位置に測定対象物(具体的には指によるタッチ)があるかを判定し、そのことによって、プロジェクタ出力をはじめとした携帯電話機1の動作を制御する機能を最低限持ち合わせている。
測定対象物が投影画像上のどの位置にあるのかを判定する基準を明確にするのが校正手段19である。具体的な構成方法については後述するが、基本的には、プロジェクタモジュール7により投影された画像と、測距手段9で検出された指などによる画像タッチ位置との整合を図るものであり、その整合テーブルを制御手段17に格納させるものである。
したがって、それらにズレが発生したときには、校正手段19による校正が実行されなければならない。
携帯電話機1は、モバイル通信機能(無線通信機能)と電話機能のブロックも含んでいる。携帯電話機1に前記の機能を盛り込むことによって、非常に使い勝手のいいものとなり、たとえば、外出先での少人数でのテーブルのみが用意された会議スペースでもプロジェクタ機能によって効率のいい打ち合わせが可能になり、また測距手段9やモバイル通信手段等によってその操作性も優れたものになる。
【0022】
次に、各構成要素と動作について詳細に説明をする。
図3に携帯電話機1の上半部5の構成の詳細を示す。まずプロジェクタモジュール7について詳細に説明する。
プロジェクタのタイプとして、本実施形態で採用しているレーザ走査型プロジェクタについて説明する。レーザ走査型プロジェクタは、当然ながら光源としてはレーザを用いる。レーザが1本のみの単色であるならば単色プロジェクタとなるが、複数色、たとえば赤(R)、緑(G)、青(B)の3色のレーザを光源とするならば、フルカラーのプロジェクタを得ることができる。
ここでは、Rレーザ21、Gレーザ23、Bレーザ25を用いている。
昨今利用されているデータプロジェクタを考慮すれば、フルカラープロジェクタである方が商品価値としては高く、図中でもRGBの複数色のレーザを用いたものを示しているが、発明そのものとしては、単色のものであっても良い。
【0023】
携帯電話機などをはじめとした携帯性の高い機器にプロジェクタモジュール7を搭載するためにはプロジェクタモジュール7も相応に小さくなければならない。したがって、レーザとしては小型の素子で実現可能なレーザダイオード(LD)を用いることが望ましい。LDはRとBに関しては実在しているが、Gについては実在しておらず、現状ではSHG(第2高調波発生素子Second Harmonic Generation)を用いた比較的小型のものを用いることになる。もちろん、GのLDが世に出回ることになればそれを用いても良い。
前記のレーザはプロジェクタ走査手段としてのMEMSミラー13によって2方向に走査され、2次元画像を得ることになる。したがって、画像情報に応じて各レーザは変調されなければならない。LDの変調はそのままでも行えるので、R、Bについては問題はないが、Gについては直接変調が困難なため、一般的にはAOM(音響光学変調器)を用いた外部変調を行う必要がある。ただし、今後の技術革新によって、GのLDの出現や、そうでなくとも直接変調が可能なGのレーザが出現すれば、外部変調の必要がないということは言うまでもない。
図3において、符号27はビームスプリッタ、29は反射ミラー、31、33は光学素子、35、37は測距手段ブロック、39はプロジェクタモジュールブロックをそれぞれ示している。
【0024】
プロジェクタ走査手段は、2方向に走査されるべきものであり、代表的なものとして2軸のMEMSミラー13が挙げられる。代表的なものを図4に示す。MEMSミラー13は、中央にメインミラー部13Aを有し、メインミラー部13Aは2箇所の第1ミラー支持体13Bで支持され、第1ミラー支持体13Bは、メインミラー部13Aと第1ミラーフレーム13Cとをつないでいる。
第1ミラー支持体13Bを概略回転中心として、メインミラー部13Aは第1ミラーフレーム13Cに対して回動可能に支持されている。第1ミラーフレーム13Cは、2箇所の第2ミラー支持体13Dで支持されており、第2ミラー支持体13Dを概略回転中心としてメインフレーム13Eに対して回動可能に支持されている。
ここで、第1ミラー支持体13Bと第2ミラー支持体13Dとの位置関係が直交方向となっているので、メインミラー部13Aはメインフレーム13Eに対して2軸方向に回動可能に保持されていることになる。
【0025】
これらは1枚板で形成されており、したがってミラー支持体周りは弾性を有することになる。上記のように回動可能という表現を用いたが厳密には弾性体の弾性の範囲内における回動である。
したがって、固有振動数を持つことになり、MEMSミラー13に外力を与えると固有振動数で共振し、ミラーに大きな振幅を与えることができる。外力を与える手段としては、具体的には電磁コイル、ピエゾ素子などが考えられる。このようにして、レーザ走査が可能になる。
これらの要素でプロジェクタモジュール7としての最低限の機能を果たすが、さらに光学素子や画像補正手段などを追加することによって、高品質な投影画像を得ることもできる。
【0026】
次に、測距手段9について詳細に説明する。ここでは、本発明で取り上げている代表的な測距手段のタイプとして、TOF法を用いた1次元走査型のものについて説明する。
測距手段9の構成要素は、非可視光の光源と、走査手段と、光検知手段とからなる。非可視光の光源とは、具体的には赤外線レーザを用いることが一般的である。距離を検知するための手段であることから非可視であることが望ましいということは言うまでもない。やはりこれも、小型の電子機器に搭載することを考えたときLDであることが望ましい。
赤外線レーザ11は走査手段によって1次元走査される。1次元走査なので、たとえばMEMSミラーなら1軸のものを用いることになる。
【0027】
図3に示すように、本実施形態ではプロジェクタ走査手段が測距手段の走査手段を兼用している。
プロジェクタ走査手段は2軸のMEMSミラー13なので、メインミラー部13Aを測距手段9のレーザ走査に用いてしまっては、2次元走査となって、測距手段9としては不適当となる。したがって、図5に示すように、MEMSミラー13の第1ミラーフレーム13Cの部分を測距手段9の走査手段として用いる。
これにより、測距手段9の走査光は1次元方向にのみ走査することが可能になる。したがって、第1ミラーフレーム13Cは、レーザ走査が行えるだけの面積を持っていることが望ましい。
また、先にも述べたとおり、測距手段9は、画像投影面と平行で且つ近傍の平面内において、1次元走査するものである。よって、第1ミラーフレーム13Cの走査方向が画像投影面に平行になるようにレイアウトされる。
【0028】
必要に応じて反射ミラー29などをレイアウトすることによって、図6に示すように、画像投影面と平行で且つ近傍の平面内において、扇形に走査することが可能になる。
走査されたレーザ光は物体に当たって散乱するが、図3のレイアウトのようにビームスプリッタ27を用いて光検知手段15を配することによって、正面に反射してきた成分を光検知手段に入射させることが可能になる。光検知手段は代表的なものとしてはフォトダイオードが挙げられる。当然ながら、前記フォトダイオードは赤外線レーザ光の波長領域において感度が優れているものが望ましい。
【0029】
TOF法によって、赤外線レーザ光が当たった物体の、測距手段9からの距離を検出する。具体的には、赤外線レーザ11の出力をパルス出力、sin波形、矩形波等に変調して出力する。
フォトダイオード15に返ってくる赤外線レーザの波形は、出力波形に対して時間差が生ずるものとなる。この時間差は、
2×(物体までの距離)/(光速)
となって現れる。したがってこの時間差を読み取ることによって物体までの距離を算出できる(図7参照)。
こうすることによって、図6に示すように、レーザを走査することによってθ方向、TOF法による距離算出によってR方向となる極座標系の平面における物体の位置を特定することができる。現在θ方向のどの位置を走査しているのかは、あらかじめMEMSミラー13の駆動信号に対するMEMSミラー13の動き(位相ズレ情報など)が分かっていれば、MEMSミラー13の駆動信号より求めることができる。
当然ながらプロジェクタモジュール7の出力についても同様である。
【0030】
レーザ走査は、画像投影面と平行で且つ近傍の平面内、具体的には画像投影面に1mmほど上の面で行うことが望ましい。検知したい対象の物体は、画像投影面に触れる指なので、触れたときに検知するためには走査面が投影面に近いほど良いということになるが、近すぎると凹凸のある画像投影面で誤検知する虞があるからである。
一般的な卓上置きで壁面投射型のプロジェクタで、画像投影部までの距離検出を行って、投影画像へのタッチを検出するものもあるが、投影画像へタッチしたかどうかは距離検出による距離データで求めることとなる。すなわち、タッチした指の高さ分(およそ10〜15mm)距離が縮まればタッチしたと認識されるものである。
しかし、TOF法では、高精度のものでも距離検出精度は±10mmくらいであり、したがって、画像にタッチしたかどうかの正確な判定は難しく、誤検知が多いものになると考えられる。
しかし、本発明の構成では、不動である測距手段9のレーザ走査面に指が入ってこない限り検知されないので、意図的なタッチがあったかどうかの判定に優れている。TOF法による誤差に関しては、タッチする投影画像上のボタンをある程度の大きさにすることによってカバーできる(図8参照)。
【0031】
このようにして、本発明における測距手段9は、その走査手段をプロジェクタ走査手段と兼用することによって不要とし、赤外線レーザ11と、フォトダイオード15と、必要ならば反射ミラー29によって構成されるので、非常に安価で且つ検知エラーの少ないものを得ることができる。
また、測距手段9に必要とされる光学窓は赤外線レーザ11の出入り口の1箇所だけとなるので、外観のレイアウトもすっきりしたものとなり、携帯電話機1の意匠性の低下を抑制できる。先述のバーチャルキーボードの説明ではCCDカメラを用いているために2箇所の光学窓が必要であり、これに対するメリットは大きい。
【0032】
測距手段9では上記の通り、走査平面内の2次元座標内における測定対象物の位置を極座標系で特定しているが、一方、プロジェクタモジュール7による投影画像の画像データはXYの座標系で与えられる(図6参照)。言うまでもないが、2次元平面内での極座標系とXY座標系は1対1の関係として互いに変換できる座標系である。
そして、これらの比較を行うのが制御手段17である。図9に基づいて制御手段17の役割について述べる。制御手段17は、測距手段9による測定データである2次元極座標系の位置情報が、XY座標系である投影画像上のどの位置に一致するかのテーブルを持つ。
そのテーブルに従って、測距手段9によって得られたタッチ位置が、投影画像上のどの部分に相当するのかを判断する。そして、投影画像データ上のタッチが促されるべき位置と測距手段9によって得られたタッチ位置とが一致したとき、そのタッチが促すべき動作をプロジェクタモジュール7あるいは電子機器全体に対して行わせる。
【0033】
投影画像上にタッチされたかどうかの判定はケースバイケースだが、測距手段9でゴミ等を検知して、それをタッチされたものと判断されるのも問題である。したがって、タッチされたかどうかの判断には、少なくともある程度の大きさのものが検知されている必要がある。
すなわち測距手段9で得られたデータにおいて、図10(b)に示すように、ある程度のエリアが埋まっていることが必要である。そのエリアの大きさは指の大きさを基準に決めても良いし、専用の指し棒を使うなら、その指し棒の大きさを基準に決めればよい。
また、電気的なノイズの影響を除去するために、測距手段9で得られたデータにおいて一定時間同一のエリアが埋まっていなければならないという条件も必要である。それは0.5秒であっても1秒であっても良いが、操作性との兼ね合いで決めると良い。
また、指で投影画像上をなぞるように動かしたときについても検知したいなら、測距手段9で得られたデータにおいて埋まっているエリアが連続的に動いていることを判断するようにすればよい。情報処理技術で如何様にも使える。
【0034】
先にも述べたとおり、制御手段17は、測距手段9によって得られた2次元極座標系の位置情報が、XY座標系である投影画像上のどの位置に一致するかのテーブルを持つ。そのテーブルは校正手段19によって与えられる。
図11に基づいて、校正手段19の具体的な動作フローについて述べる。校正動作に入った後、まず、プロジェクタモジュール7より、タッチが促される画像が表示される。図の例に従って説明すると、任意の位置に二重丸と表示された画像が投影され、そのポイントにタッチを促す。タッチが測距手段9で検出されてタッチ位置の座標情報が与えられ、制御手段17で有効なタッチだと認識されたとき、前記のタッチ位置の座標情報を記憶し、再びプロジェクタモジュール7で任意の位置に二重丸と表示された画像が投影される。投影される二重丸の位置は最初の画像とは異なった位置である。
そして、以下同様の動作を行う。このことによって、プロジェクタモジュール7によって投影された2箇所の二重丸の位置と、実際にタッチされて測距手段9に取り込まれた2箇所のタッチ位置との対比がなされる。そして、各々の座標系の位置や倍率情報を合わせ込むことができる。
【0035】
このことによって、互いの座標を一致させるためのテーブルを作成し、制御手段17に格納する。
このとき、2箇所の二重丸の位置、X軸Y軸共にできるだけ離れていることが望ましい。その方がテーブル作成の精度が上がるからである。
上記の例のほかにも、校正用投影画像1画面に、図12に示すように丸1、丸2というタッチポイントを表示し、順にタッチを促すようにする方法でも良い、このとき、タッチが認識されたらタッチポイントの色が変わるようにすれば使いやすいものになる。
さらに、タッチポイントは3点以上あってもかまわない。タッチ位置の座標系と投影画像データの座標系に傾き誤差が発生した場合には3点による校正が必要となる。電子機器の特性上、傾き誤差が発生することがほとんどないような系ならば、3点の校正はオーバースペックになるので、電子機器の特性に応じて校正点数は決めてやればよい。
【0036】
これらの校正は、当然ながら、電子機器の工場からの出荷の前に既に行われてテーブルが作成された状態で納入されるものであるが、電子機器の使用環境の変化や経時による機器そのものの特性変化によって測距手段9によるタッチ位置の座標系と投影画像データの座標系のズレが発生したときに行われることによって効果を発揮する。
さらに、電子機器のプロジェクタモジュール7の投射方向を変化させることができるような機器に対しては、さらに校正手段19は必要なもので且つ効果を発揮するものとなる。その他、投影面が微妙に傾いていたり湾曲していたりする場合にも有効である。もっとも投影面の湾曲が大きすぎる場合には、本発明における測距手段9が機能しなくなる場合もあるので、その範囲内の投影面で使用することになる。
【0037】
図13に第2の実施形態を示す。なお、上記実施形態と同一部分は同一符号で示し、特に必要がない限り既にした構成上及び機能上の説明は適宜省略して要部のみ説明する(以下の他の実施形態において同じ)。
上記実施形態では、電子機器を卓上に設置し、その卓上面に投射するものを前提としてきたが、本実施形態では垂直面に対しても同様に設置することを目的としている。
具体的には、ホワイトボードや、冷蔵庫の外壁面などの、磁石が引き付けられるような強磁性体からなる設置面を対象としている。
本実施形態における電子機器41の設置部あるいは設置部周辺(設置面Fに対応する部分)には、マグネット等からなる磁気帯びた部材43が設けられている。
これにより、電子機器41を垂直に設置固定することができ、垂直面投射が可能になる。これは、電子機器41が小型で軽量であることによる大きなメリットの一つとなる。こうすることによって、手軽で安全なホワイトボードへの投射で、あらゆるミーティングのシーンで有用となり、また、都会の住宅事情による狭いキッチンにおいても、冷蔵庫壁面などへのレシピ等の投射でレシピを置くスペースを省略できるなどの有効な活用法を得ることができる。
【0038】
図14及び図15に第3の実施形態を示す。
本実施形態における携帯電話機45の上半部47には、測距手段9の光検知手段として、カメラモジュール49を用いている。カメラモジュール49は、測距手段9のために新設しなければならないということではない。
図に示したように、昨今の携帯電話機では、カメラモジュールが付いていることが当たり前となっている。したがって、既存のモジュールであるカメラモジュールを用いることになるので、逆に言えば光検知手段を設けるためのコストを低減することができる。
本実施形態では携帯電話機の例であるが、同様なことは本発明に記載のプロジェクタモジュールが搭載されたデジタルカメラにおいても言える。
【0039】
カメラモジュール49による距離検出の方法は、これまで説明してきた通りのTOF法である。カメラモジュール49は多画素数のCCDセンサあるいはCMOSセンサを有しているが、その画素の一部を用いて、走査された赤外線レーザ光の物体に当たって散乱した光を検知する。以下、TOF法によって距離を検出する。そして、赤外線レーザ光の走査位置とTOF法で検出された距離情報から物体の2次元平面上における位置を特定することができる。
ところで、カメラモジュール49で用いられているCCDセンサ、CMOSセンサでは、一般的に赤外光がノイズとなってしまうので、赤外カットフィルタを用いている。このままでは、測距手段9の赤外レーザ光を受光することはできない。
この対応として、例えば、図16に示すように、通常カメラ機能で用いる画素センサの領域の外側にも画素センサ領域を設け、その部分については赤外カットフィルタ51を外して、測距手段9の赤外レーザ光の物体に当たって散乱した光を拾う画素センサ領域としてやればよい。図15において、符号53は画素センサを、55はレンズ系を示している。
当然ながら、画素センサの赤外センサ領域は、プロジェクタモジュール7からの投影画像領域の方向からの結像位置と一致していなければならない。カメラモジュール49のズーム状態にも依存してくることなので、プロジェクタモジュール7を使用するときは、カメラモジュール49のズーム状態を上記所定の状態(画素センサの赤外センサ領域と、プロジェクタモジュールからの投影画像領域の方向からの結像位置と一致)にしておくことが必要となることは言うまでもない。
【0040】
さらに、TOF法ではなく、図18で示したバーチャルキーボードの例のように、測距手段の赤外レーザ光の物体に当たって散乱した光を拾った画素センサのアドレスによって、物体の2次元平面上における位置を特定するという方法であっても良い。
【図面の簡単な説明】
【0041】
【図1】本発明の第1の実施形態に係る電子機器としての携帯電話機の机上での投影状態を示す図で、(a)は側面図、(b)は平面図である。
【図2】同ブロック図である。
【図3】構成の詳細を示す断面図である。
【図4】プロジェクタ走査手段としてのMEMSミラーの正面図である。
【図5】MEMSミラーの一部が測距手段の走査手段を兼ねることを示す図である。
【図6】測距手段による走査と座標系を示す平面図である。
【図7】測距手段におけるTOF法の例を示す図である。
【図8】指の検知に対する本発明の優位性を示す図である。
【図9】制御手段の制御動作を示すブロック図である。
【図10】指などによるタッチ検出の条件を示す図で、(a)は指と認識しない場合を示す図、(b)は指と認識する場合を示す図である。
【図11】校正動作を示すフローチャートである。
【図12】校正動作の別例を示すフローチャートである。
【図13】第2の実施形態に係る電子機器の使用状態を示す図で、(a)は側面図、(b)は正面図である。
【図14】第3の実施形態に係る電子機器の投影状態を示す側面図である。
【図15】同ブロック図である。
【図16】カメラモジュールの詳細を示す縦断面図である。
【図17】携帯電話機による机上への投影状態を示す斜視図である。
【図18】従来の仮想キーボードに対する検知構成を示す図である。
【符号の説明】
【0042】
1 電子機器としての携帯電話機
7 プロジェクタモジュール
9 測距手段
11 光源としての赤外線レーザ
13 プロジェクタ走査手段としてのMEMSミラー
15 光検知手段としてのフォトダイオード
17制御手段
19 校正手段
【特許請求の範囲】
【請求項1】
画像を投影するプロジェクタモジュールを有する電子機器であって、前記プロジェクタモジュールは、単色あるいは複数色のレーザによるレーザ光を2軸方向に走査するプロジェクタ走査手段によって2次元画像を投射するものであって、前記プロジェクタモジュールによる画像投影は該電子機器の設置部によって形成される平面の延長面上になされる電子機器において、
光源と、前記光源からの光を走査する走査手段と、光遮蔽物に反射して戻ってくる前記光源の光を検知する光検知手段とによって構成される1次元走査型の測距手段を備え、
前記走査手段は、前記プロジェクタ走査手段の1軸成分のみの部分で兼用され、
前記測距手段による光の走査方向と光線方向がなす平面は、前記プロジェクタモジュールの投影面と平行な平面内であり、さらに該プロジェクタモジュールからの投影画像の少なくとも真上の領域は全て前記測距手段による走査の範囲内であって、
前記測距手段の走査範囲における測距データを、走査方向と測距方向の2次元平面座標系の位置データとして、前記投影画像の2次元座標のデータと対比し、前記測距手段の走査光を遮る前記光遮蔽物が前記投影画像上のどの部分に来ているかを認識し、前記光遮蔽物による光遮蔽が、所定の大きさを持った領域で所定の時間だけ、前記投影画像の所定の領域上の部分になされたとき、該電子機器に所望の入力信号を与える制御手段を備えていることを特徴とする電子機器。
【請求項2】
請求項1記載の電子機器において、
前記測距手段は、前記光源の出力波形と、前記光検知手段の検出波形との位相差より距離を検出するTime of Flight(TOF)法にて距離を検出することを特徴とする電子機器。
【請求項3】
請求項1又は2記載の電子機器において、
前記光源からの光が非可視光であることを特徴とする電子機器。
【請求項4】
請求項1〜3のいずれか1つに記載の電子機器において、
前記プロジェクタモジュールによる投影画像データと、前記測距手段による前記光遮蔽物の検出位置データとの整合を行う校正手段を有することを特徴とする電子機器。
【請求項5】
請求項4記載の電子機器において、
前記校正手段による校正方法は、前記プロジェクタモジュールにより、位置の異なるタッチポイントが少なくとも2箇所投影され、前記2箇所のタッチポイントに対応したタッチインプットを前記測距手段が検出し、前記制御手段にて、前記投影画像データにおける各タッチポイントの位置との比較を行って各々の整合を取るものであることを特徴とする電子機器。
【請求項6】
請求項1〜5のいずれか1つに記載の電子機器において、
設置面が強磁性体である場合に、磁力で設置固定可能であることを特徴とする電子機器。
【請求項7】
請求項1〜6のいずれか1つに記載の電子機器において、
無線通信機能を備えていることを特徴とする電子機器。
【請求項8】
請求項1〜7のいずれか1つに記載の電子機器において、
電話機能を備えていることを特徴とする電子機器。
【請求項1】
画像を投影するプロジェクタモジュールを有する電子機器であって、前記プロジェクタモジュールは、単色あるいは複数色のレーザによるレーザ光を2軸方向に走査するプロジェクタ走査手段によって2次元画像を投射するものであって、前記プロジェクタモジュールによる画像投影は該電子機器の設置部によって形成される平面の延長面上になされる電子機器において、
光源と、前記光源からの光を走査する走査手段と、光遮蔽物に反射して戻ってくる前記光源の光を検知する光検知手段とによって構成される1次元走査型の測距手段を備え、
前記走査手段は、前記プロジェクタ走査手段の1軸成分のみの部分で兼用され、
前記測距手段による光の走査方向と光線方向がなす平面は、前記プロジェクタモジュールの投影面と平行な平面内であり、さらに該プロジェクタモジュールからの投影画像の少なくとも真上の領域は全て前記測距手段による走査の範囲内であって、
前記測距手段の走査範囲における測距データを、走査方向と測距方向の2次元平面座標系の位置データとして、前記投影画像の2次元座標のデータと対比し、前記測距手段の走査光を遮る前記光遮蔽物が前記投影画像上のどの部分に来ているかを認識し、前記光遮蔽物による光遮蔽が、所定の大きさを持った領域で所定の時間だけ、前記投影画像の所定の領域上の部分になされたとき、該電子機器に所望の入力信号を与える制御手段を備えていることを特徴とする電子機器。
【請求項2】
請求項1記載の電子機器において、
前記測距手段は、前記光源の出力波形と、前記光検知手段の検出波形との位相差より距離を検出するTime of Flight(TOF)法にて距離を検出することを特徴とする電子機器。
【請求項3】
請求項1又は2記載の電子機器において、
前記光源からの光が非可視光であることを特徴とする電子機器。
【請求項4】
請求項1〜3のいずれか1つに記載の電子機器において、
前記プロジェクタモジュールによる投影画像データと、前記測距手段による前記光遮蔽物の検出位置データとの整合を行う校正手段を有することを特徴とする電子機器。
【請求項5】
請求項4記載の電子機器において、
前記校正手段による校正方法は、前記プロジェクタモジュールにより、位置の異なるタッチポイントが少なくとも2箇所投影され、前記2箇所のタッチポイントに対応したタッチインプットを前記測距手段が検出し、前記制御手段にて、前記投影画像データにおける各タッチポイントの位置との比較を行って各々の整合を取るものであることを特徴とする電子機器。
【請求項6】
請求項1〜5のいずれか1つに記載の電子機器において、
設置面が強磁性体である場合に、磁力で設置固定可能であることを特徴とする電子機器。
【請求項7】
請求項1〜6のいずれか1つに記載の電子機器において、
無線通信機能を備えていることを特徴とする電子機器。
【請求項8】
請求項1〜7のいずれか1つに記載の電子機器において、
電話機能を備えていることを特徴とする電子機器。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2009−258569(P2009−258569A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−110496(P2008−110496)
【出願日】平成20年4月21日(2008.4.21)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願日】平成20年4月21日(2008.4.21)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]