撮像光学系
【課題】 ホログラフィック光学素子を用いた撮像光学系において、作製時と同じ波長の照明光によらず、白色光照明を利用して明瞭な像を取得できる撮像光学系を提供する。
【解決手段】 撮像光学系100は、白色光照明下における背景光がホログラフィック光学素子1を透過して撮像手段3に入射することを妨げるための手段として、波長選択反射フィルタ4がホログラフィック光学素子1の前にあるとともに、波長選択透過フィルタ5がホログラフィック光学素子1と撮像手段3との間にある。
【解決手段】 撮像光学系100は、白色光照明下における背景光がホログラフィック光学素子1を透過して撮像手段3に入射することを妨げるための手段として、波長選択反射フィルタ4がホログラフィック光学素子1の前にあるとともに、波長選択透過フィルタ5がホログラフィック光学素子1と撮像手段3との間にある。
【発明の詳細な説明】
【技術分野】
【0001】
請求項に係る発明は、ホログラフィック光学素子を用いた撮像光学系に関し、より詳しくは、白色光照明下で利用可能な撮像光学系に関する。
【背景技術】
【0002】
近年、情報技術の進歩に伴って、あらゆる状況でコンピュータやネットワークを利用できるユビキタス環境を構築する技術が注目されている。その一つとして、ウェアラブルコンピュータと呼ばれるような装着型機器の利用が期待されている。
発明者らは、ハンズフリー入力可能な、新たなウェアラブル型視線入力装置に応用するための視線検出方法と、目の像と視線がとらえている対象の像との両方のシーンを一つの光学系で撮像可能な多重シーン撮像用光学素子を考案した(特許文献1)。
【0003】
図9に、特許文献1で開示した視線入力装置の基本構成を示す。視線入力装置100’の多重シーン撮像用光学素子1’は、一つの素子で反射型レンズと透過型レンズとを有する。目からの反射光が反射型レンズによってカメラc’へ達し、視線がとらえている対象物からの反射光が透過型レンズによってカメラc’へ達する。このように、多重シーン撮像用光学素子1’には、目の像eと視線がとらえている対象物の像mの両方をカメラc’の撮像面に結像する二重焦点機能がある。したがって、カメラの画像には目の像e’と、視線がとらえている対象物の像m’との両方を得ることができる。この多重シーン撮像用光学素子1’において、反射型レンズおよび透過型レンズとして、ホログラフィックレンズを適用している。
なお、ホログラフィックレンズはレーザー光源から発散光と収束光をつくり、それらの干渉縞を記録して作製される。そして、ホログラフィックレンズの使用時には、明瞭な像を取得するために、作製時と同じ波長の単色光源照明を用いることを前提としている。
【特許文献1】特開2006−267529号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1の視線検出装置において、ホログラフィックレンズの作製時と同じ波長の光を照明することは必ずしも容易ではない。しかし、一般的な照明光である白色光源を使用すると下記のような不都合がある。すなわち、図10に示すように、透過型ホログラフィック光学素子1a’を用いて撮像手段3’に物体Aの像を得る撮像光学系100a’を構成する場合、白色光照明下で透過型ホログラフィック光学素子1a’を透過してくる背景光が、光学素子1a’により回折されて結像する物体Aの像に重なって悪影響を及ぼすことになり、画像を得ようとしている物体Aの明瞭な像が得られなくなる。一方、図11に示す反射型ホログラフィック光学素子1b’を用いた撮像光学系100b’の場合にも、白色光照明下では、反射型ホログラフィック光学素子1b’で反射してカメラ3’で結像した物体Bの像に、光学素子1b’を透過した背景光が重なり、物体Bの明瞭な像が得られない。したがって、一般的な照明光である白色光源照明環境下で使用できるホログラフィック光学素子の開発が技術的課題となっていた。
【0005】
このような点を考慮し、請求項に係る本発明は、ホログラフィック光学素子の作製時と同じ波長の照明光に限らず、白色光照明によっても明瞭な像を取得できる撮像光学系を提供する。
【課題を解決するための手段】
【0006】
請求項1に記載の撮像光学系は、撮像手段(カメラ等)を、反射型または透過型のホログラフィック光学素子とともに使用する撮像光学系であって、白色光照明下における背景光が上記(反射型または透過型の)ホログラフィック光学素子を透過して上記撮像手段に入射することを妨げるための手段が付加されていることを特徴とする。
【0007】
このような撮像光学系によれば、白色光照明下における背景光が撮像手段に入射しないため、ホログラフィック光学素子が反射または透過した物体の明瞭な像を撮像手段に取得できる。ホログラフィック光学素子の作製時と同じ波長の照明光のみにはよらず白色光照明下でも明瞭な像が得られることは、この撮像光学系が視線検出入力の手段として日常的な環境で使用できることを意味し、利用範囲が広がる。
【0008】
請求項2に記載の撮像光学系は、背景光の入射を妨げるための上記手段として、特定の波長であって特定の方向から入射する光に限って反射する波長選択反射フィルタが上記ホログラフィック光学素子の前(撮像手段から見て前方。すなわちホログラフィック光学素子における、撮像手段がある側と反対の側)にあるとともに、上記特定の波長の光のみを透過する波長選択透過フィルタが上記ホログラフィック光学素子と上記撮像手段との間にあることを特徴とする。なお、ここでいう「特定の波長」は、撮像手段の感度と要求される像の明瞭さとによって決まる幅(最大で±10nm程度)を有するものであり、発明の撮像光学系は、その幅の範囲内で当該波長間に僅かなズレがある場合を含む。
【0009】
この撮像光学系によれば、特定の方向(撮像手段の光軸方向)から撮像手段に向かう背景光のうち、特定の波長(ホログラフィック光学素子が回折する波長(ホログラフィック光学素子の作製時の使用波長で、以下、波長λ1とする))の光は、波長選択反射フィルタによって反射され、ホログラフィック光学素子を通過することができない。背景光のうち残りの波長の光はホログラフィック光学素子を透過するが、ホログラフィック光学素子と撮像手段の間に設けた、上記特定の波長(波長λ1)のみを透過する波長選択透過フィルタによって除去される。したがって、白色光照明下で使用した場合に撮像手段に入射する光から、背景光をすべて除去することができる。
【0010】
ホログラフィック光学素子として、透過型ホログラフィック光学素子を用いた場合(図3参照)、ホログラフィック光学素子1aに対して撮像手段の反対側にある物体Aからの光は、特定の方向(撮像手段の光軸方向)からずれているため、すべての波長の光が波長選択反射フィルタ4を透過して、透過型ホログラフィック光学素子1aに入射する。そして波長λ1の光のみが透過型ホログラフィック光学素子1aにより回折して撮像手段に向かい、さらに撮像手段3と透過型ホログラフィック光学素子1aとの間に置かれた波長選択透過フィルタ5も透過して撮像手段3に到達し、像を結ぶ。この物体Aの像は、背景光の影響を受けない明瞭な像である。
【0011】
一方、ホログラフィック光学素子として、反射型ホログラフィック光学素子1bを用いた場合(図4参照)、ホログラフィック光学素子1bに対して撮像手段3と同じ側にある物体Bからの光のうち、反射型ホログラフィック光学素子1bにより回折されて撮像手段に向かうのは波長λ1の光のみであり、この光は、撮像手段3と反射型ホログラフィック光学素子1bとの間に置かれた波長選択透過フィルタ5を透過して撮像手段3に到達し、像を結ぶ。この物体Bの像も背景光の影響を受けない明瞭な像である。
したがって、この撮像光学系は、ホログラフィック光学素子が透過型であっても反射型であっても背景光の影響を受けることなく、得ようとする物体の明瞭な像を取得できる。
【0012】
請求項3に記載の撮像光学系は、上記のホログラフィック光学素子が反射型と透過型とを集積したものであり、その素子をはさむ両側のシーンを、一方の側にある1台の撮像手段に同時に取得させるものであることを特徴とする。
ホログラフィック光学素子として、反射と透過の両方の機能をもつものを用いた場合でも、波長選択反射フィルタと波長選択透過フィルタの組み合わせで背景光をすべて除去することができる。上述のとおり、波長選択反射フィルタおよび波長選択透過フィルタの配置は、ホログラフィック光学素子が反射型であるか透過型であるかを問わず、同じでよいからである。そのため、ホログラフィック光学素子をはさむ両側にあるシーンの明瞭な像(反射像および透過像)を撮像手段で得ることが可能である。この撮像光学系によれば、2つのシーンを観察者の眼やカメラなどに同時に導きたい場合に広く利用できる。単一のホログラフィック光学素子から構成したものであるため、コンパクト化および軽量化することができる。
【0013】
請求項4に記載の撮像光学系は、上記ホログラフィック光学素子をはさむ両側のシーンとして、人の視線が捉えている対象の光景とその人の目の像とを、上記撮像手段に同時に取得させることを特徴とする。
このような撮像光学系によれば、1台の撮像手段により、観察者の目(黒目とその周辺)とその人の視野にある光景との両方が撮像される。そのため、他の光学系機器は不要であり、シンプルかつ小型に装置を構成することができる。また、双方の像が明瞭に得られるうえ、別々の撮像手段に取り込まれるのではないため、計測機器を用いて特殊な演算やキャリブレーション等をしなくとも、視線が捉えている対象を正確かつ容易に把握することができる。
【0014】
上記の撮像光学系においては、上記ホログラフィック光学素子がメガネフレームのレンズ部相当箇所に取り付けられ、上記の撮像手段が、同じメガネフレームの耳かけ部付近に取り付けられていることが好ましい。
そのようにすれば、使用者がこの撮像光学系をメガネのように頭部に装着し、従来のパーソナルコンピュータ用マウス等に代わる、視線検出により信号を入力する装置として使用することができる。メガネフレーム上にホログラフィック光学素子と撮像手段とを取り付けるのであるから、ハンズフリーの新しい入力デバイスとなる。なお、前方の光景と後方の目の像とを、単一のホログラフィック光学素子が共通の撮像手段に結像させることから、コンパクトかつ軽量に構成することが可能である。
【0015】
請求項の撮像光学系は、上記の波長選択反射フィルタまたは波長選択透過フィルタが、干渉フィルタによって構成され、またはホログラフィック光学素子によって構成されていることが好ましい。干渉フィルタまたはホログラフィック光学素子以外のもので構成された場合、選択されて反射または透過する特定波長の幅が大きくなり、シャープで明瞭な像が得られがたくなるからである。
【発明の効果】
【0016】
本発明によれば、ホログラフィック光学素子の作製時と同じ波長の照明光によらず、白色光照明を利用する場合にも明瞭な像を取得できる撮像光学系を得ることが出来る。
請求項1の撮像光学系は、ホログラフィック光学素子を透過して撮像手段に入射する背景光を除去できるので、観察対象となる物体の明瞭な像が得られる。
請求項2の撮像光学系は、波長選択反射フィルタと波長選択透過フィルタの2つの要素を付加するだけの簡単な構成で、請求項1の撮像光学系を実現できる。
請求項3の撮像光学系は、ホログラフィック光学素子をはさむ両側のシーンを、背景光の影響を受けない明瞭な像として得ることができる。
請求項4の撮像光学系は、特に、人の視線が捉えている対象の光景とその人の目の像とを、背景光の影響を受けない明瞭な像として得ることができる。しかも、それらの像を1台の撮像手段で同時に取得するので、キャリブレーションをしなくても、また特殊な演算をしなくても、視線が捉えている対象を正確かつ容易に把握することができる。
請求項5の撮像光学系は、メガネのように装着でき、パーソナルコンピュータのマウス等の入力手段に代わるハンズフリーの視線検出入力手段としての、軽量かつコンパクトな装置を構成できる。
請求項6の撮像光学系は、不要な背景光を確実に遮断することができる。
【発明を実施するための最良の形態】
【0017】
以下、添付図面を適宜参照しつつ、本発明に係る撮像光学系の一実施形態について説明する。
【0018】
図1は、本発明の一実施形態に係る、集積型ホログラフィック光学素子(HOE)1を用いた撮像光学系100を示す概念図である。撮像光学系100は、集積型ホログラフィック光学素子1とカメラ(撮像手段)3、集積型ホログラフィック光学素子1の前方に配置した波長選択反射フィルタ4、およびカメラ3と集積型ホログラフィック光学素子1との間に配置した波長選択透過フィルタ5とからなる。
【0019】
集積型ホログラフィック光学素子1は、透過型と反射型の機能を併せ持つホログラフィック光学素子で、図2(a)〜(c)にその作成手順を示す。
【0020】
まず図2(a)は、透過型ホログラフィック光学素子(ホログラム)1aの作製要領を示す図である。入力面1の位置P1にある光源O1からの光と、光学素子1aに対して入力面1の光源O1からの光と同じ側から入射し、かつ観測面の位置P2に結像する光との干渉縞を、光学素子1aに記録する。そうすると、光学素子1aにおける干渉縞による光の干渉・回折作用によって、入力面1の位置P1の光景が上記の観測面の位置P2上に結像する。
【0021】
図2(b)は反射型ホログラフィック光学素子(ホログラム)1bの作製要領を示すもので、入力面2の位置P3にある光源O3からの光と、光学素子1bに対して入力面の光源の反対側から入射し位置P4に結像する光との干渉縞を、位置P3と位置P4から同一の向きに離して置いた光学素子1bに記録する。こうした光学素子1bを用いると、入力面2の位置P3の光景が光学素子1bからみて同じ側にある観測面の位置P4上に結像する。
【0022】
図2(c)に示す集積型ホログラフィック光学素子1は、図2(a)・(b)によって形成される透過型および反射型のホログラフィック光学素子1a・1bを集積することにより作製する。光学素子1a・1bを集積することは、たとえば、干渉縞を記録する一つの感光体に図2(a)・(b)に示す双方の露光を行ったうえ当該感光体を現像処理することにより行えるが、コンピュータシミュレーションによる干渉縞情報に基づく屈折率分布を電子ビーム描画等によって作製するのもよい。いずれの場合も、集積型ホログラフィック光学素子1は、ホログラム等と呼ばれる単一のホログラフィック光学素子として構成される。
【0023】
作製した光学素子1によると、入力面1の位置にある物mなどのシーンが上記観測面上に結像するとともに、入力面2の位置にある眼部eなどのシーンも同じ観測面上に結像する。つまり、この集積型ホログラフィック光学素子1には、物mなどの光を観測面上に結像するレンズ機能と、眼部eなどの光を反射して観測面上に結像させるミラー機能およびレンズ機能とが備わっている。したがって、その観測面に撮像面sの位置を合わせて撮像素子cを配置するなら、その撮像素子cには、二つのシーン(物mおよび眼部e)が一つの画像として結像することになる。なお、上記した集積の数を増やせば、3以上のシーンを同じ画像として結像させることも可能である。なお、上述した作製方法において、入力面および観測面は平面に限らず任意の曲面であっても可能である。作製には、特定の波長λ1(通常は532nmが使用されるが、これに限定されない)のレーザー光を使用している。
【0024】
図1に示す波長選択反射フィルタ4は、干渉フィルタまたはホログラフィック光学素子で構成したもので、カメラ3の光軸方向から入射する波長λ1の光に限って反射させる機能を有する。一方、波長選択透過フィルタ5は、やはり干渉フィルタまたはホログラフィック光学素子で構成したものであるが、逆に波長λ1の光のみを透過させる機能を有する。このように構成された撮像光学系100によれば、背景光は波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去され、集積型ホログラフィック光学素子1の両側にある図示のシーンCおよびシーンDが、カメラ3に明瞭な像として結像する。その詳細を、透過型ホログラフィック光学素子1aを用いた場合と、反射型ホログラフィック光学素子1bを用いた場合とに分けて、それぞれ図3・図4に基づき説明する。
【0025】
まず、図3は、透過型ホログラフィック光学素子1aを用いた撮像光学系100aを示す概念図である。撮像光学系100aは、上記の撮像光学系100における集積型ホログラフィック光学素子1を、透過型ホログラフィック光学素子1aに置き換えた構成であり、波長選択反射フィルタ4と波長選択透過フィルタ5とを同様に備えている。透過型ホログラフィック光学素子1aは、上記のとおり、素子1aに対してカメラ3とは反対側にある物体Aの像がカメラ3に結像するよう作製している。
【0026】
撮像光学系100aにおいて、白色光照明下でカメラ3の光軸方向に沿って透過型ホログラフィック光学素子1aに向かう背景光(図中の点線)のうち、波長λ1の光は波長選択反射フィルタ4によって反射されて除去される。残りの波長の光は透過型ホログラフィック光学素子1aを透過するが、カメラ3の前に配置された、波長λ1の光のみを透過させる波長選択透過フィルタ5により遮断される。したがって、カメラ3の光軸方向から入射する背景光はすべて除去されることになる。
【0027】
一方、物体Aから透過型ホログラフィック光学素子1aに向かう光は、図3に示すようにカメラ3の光軸方向と異なるため、波長選択反射フィルタ4で除去されずに透過型ホログラフィック光学素子1aに入射し、回折した波長λ1の光が波長選択透過フィルタ5を透過し、カメラ3に結像する。背景光が波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去されているので、結像した物体Aの像に影響せず、明瞭な像が得られる。
【0028】
つぎに図4は、もう一つの機能に係る、反射型ホログラフィック光学素子1bを用いた撮像光学系100bを示す概念図である。撮像光学系100bは、上記の撮像光学系100における集積型ホログラフィック光学素子1を、反射型ホログラフィック光学素子1bに置き換えた構成であり、波長選択反射フィルタ4と波長選択透過フィルタ5とを同様に備えている。反射型ホログラフィック光学素子1bは、上記のとおり、素子1bに対してカメラ3と同じ側にある物体Bの像がカメラ3に結像するよう作製している。
【0029】
撮像光学系100bにおいても、白色光照明下でカメラ3の光軸方向に沿って反射型ホログラフィック光学素子1bに向かう背景光(図中の波線)のうち、波長λ1の光は波長選択反射フィルタ4によって反射されて除去される。残りの波長の光は反射型ホログラフィック光学素子1bを透過するが、カメラ3の前に配置された、波長λ1の光のみを透過させる波長選択透過フィルタ5により遮断される。したがって、カメラ3の光軸方向から入射する背景光は、やはりすべて除去されることになる。
【0030】
一方、物体Bからの光は、反射型ホログラフィック光学素子1bにより波長λ1の光が回折(反射)し、波長選択透過フィルタ5を透過してカメラ3に結像する。撮像光学系100aと同様に、背景光が影響しないのでカメラ3で取得される物体Bの像は明瞭なものとなる。
【0031】
以上のとおり、ホログラフィック光学素子が透過型でも反射型でも、白色光照明下でカメラ3へ光軸方向から入射する背景光を、波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去することができる。
【0032】
透過型と反射型を集積した集積型ホログラフィック光学素子1を用いた、図1の撮像光学系100においても、波長選択反射フィルタ4と波長選択透過フィルタ5とにより同様にして、カメラの光軸方向に沿って入射する背景光をすべて除去できる。一方、シーンCから集積型ホログラフィック光学素子1に入射した光は、素子1により波長λ1の光が回折して波長選択透過フィルタ5を透過し、カメラ3に結像する。またシーンDからの光は、カメラ3の光軸方向と異なる角度で素子1に入射するため、波長選択反射フィルタ4で除去されずにホログラフィック光学素子1に入射し、回折した波長λ1の光が波長選択透過フィルタ5をも透過し、同じくカメラ3に結像する。背景光が波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去されているので、シーンC・Dの明瞭な像がカメラ3で取得できる。
【0033】
ホログラフィック光学素子1を波長選択反射フィルタ4および波長選択透過フィルタ5とともに使用する場合の、背景光の除去に関する試験結果を図5に示す。
試験では、カメラの前に波長選択透過フィルタを取り付けておき、その前方に、透過型と反射型とを集積した集積型ホログラフィック光学素子を置いた。そして、白色光照明のもとで、そのカメラに、上記光学素子を透過回折させて「目」の文字を結像させるとともに、上記光学素子で反射回折させて義眼の像を結像させた。
図5(a)は、背景のない場合にカメラが検出・撮像した画像である。同(b)は、カメラの正面(20〜30cm前方。上記光学素子よりも前)に背景としての英文印刷物を置き、波長選択反射フィルタを使用しなかった場合のカメラの検出画像である。さらに同(c)は、同様に背景として英文印刷物を置きながら、上記光学素子の前面に波長選択反射フィルタを設けた場合のカメラの検出画像である。同(b)において検出された背景の英文が、同(c)では、背景のない同(a)と同様に検出されなくなっており、二つのフィルタの使用によって背景光の影響が除かれたことが分かる。
なお、図5の試験における諸条件はつぎのとおりである。
集積型ホログラフィック光学素子の作成条件:
1.二光束干渉法
2.YAGレーザ、波長532nm
3.フォトポリマー薄膜、加熱型
波長選択透過フィルター(干渉フィルター):
中心波長532nm、半値幅10nm。(532±5nmの光を透過)
【0034】
図6(a)・(b)は、上述のような撮像光学系100を用いて人の視線検出入力を行う方法を概念的に示す図である。上述のようにして作製した集積型ホログラフィック光学素子1を、図6(a)のとおり使用者の眼部eの前に置き、その使用者の頭の横などにCCDカメラ等の撮像素子cを配置する。さらに、ホログラフィック光学素子1の前面には波長選択反射フィルタ4を、撮像素子cの前面には波長選択透過フィルタ5を配置する。そうすると、撮像素子cには、図6(b)に示すように、使用者の前方にある物mの画像m’とともに使用者の眼部eの画像e’とが1枚の画像として撮り込まれる(画像の重なり方は任意に設定できる)。その画像には、前方に見えるシーンが映るとともに、使用者の黒目の位置が表示されるため、その使用者が視線をどこに向けて何をとらえているかをその画像から容易に知ることができる。撮像素子cの光軸方向に沿った背景光は、波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去されているので、撮像素子cには明瞭な像として画像m’および画像e’が得られる。
【0035】
そのような原理にしたがい、コンピュータ用のウェアラブルなメガネ型の視線検出入力装置として、図7に示す装置10を構成することができる。図示の視線検出入力装置10は、メガネフレーム11の左右のレンズ部相当箇所に集積型ホログラフィック光学素子1を取り付け、同じフレーム11のうち耳かけに近い左右の部分に撮像素子cを取り付けている。さらに、図示はしていないが、集積型ホログラフィック光学素子1の前面には上記の波長選択反射フィルタを、撮像素子cの前面には上記の波長選択透過フィルタを、それぞれ配置している。
【0036】
こうした視線検出入力装置10は、使用者がメガネと同じように頭部に装着したうえ、マウス等に代わるコンピュータ用入力装置として使用することができる。つまり、見ようとしているシーンが視野に入るように顔を向けて視線検出入力装置10の向きを定めるとともに、その視野のうちの特定のシーン(物mなど)に視線を向ければ、撮像素子cの1画像中に撮り込まれる当該物mなどの画像m’と使用者の眼部eの画像e’とから、視線による使用者の意図を検知できる。波長選択反射フィルタと波長選択透過フィルタの作用により背景光が重ならない画像m’・e’(図6(b)参照)が得られるので、白色光照明下でも正確に検知できる。一定時間以上凝視したことや特定回数の瞬きをしたこと等をその意図の確定信号として定めれば、マウス等と同様の入力機能を全くのハンズフリーで実現できることになる。使用者が動いても視線検出に支障がないことは言うまでもない。
左右のレンズ部相当箇所にホログラフィック光学素子1を取り付ければ、右目眼部の像と右目の視野を含む画像、および左目眼部の像と左目の視野を含む画像より、人の視野の3次元情報を取得できる。
【0037】
図8には、メガネフレーム21上に、上記した集積型ホログラフィック光学素子1や撮像素子cとともにディスプレイ6(つまり使用者に対して視覚的に情報を伝える情報提示手段)を取り付けたメガネ型の視線検出入力装置20などを示している。上記の光学素子1は右側(または左側)のレンズ部相当箇所に取り付け、それと反対の側のレンズ部相当箇所にディスプレイ6を取り付けている。撮像素子cは、光学素子1の後面に向けて耳かけ部の付近に取り付けた。また、撮像素子cには、その画像情報を外部に伝える送信手段2を接続し、ディスプレイ6には、外部からの画像情報をディスプレイ6に取り込むための受信手段8を接続している。図示はしていないが、ホログラフィック光学素子1の前面には上記の波長選択反射フィルタを、撮像素子cの前面には上記の波長選択透過フィルタを、それぞれ配置している。
【0038】
この視線検出入力装置20によると、集積型ホログラフィック光学素子1と撮像素子cおよび送信手段2の作用により、使用者の視線による入力情報を外部へ送信することができるばかりでなく、受信手段8とディスプレイ6とを有することから、外部からの情報を使用者へ視覚的に提供することができる。つまり、この視線検出入力装置20を用いれば、使用者は外部との間で双方向の情報伝達を行える。ディスプレイ6に代えて、またはディスプレイ6とともに、イヤフォン7のような聴覚的な情報提示手段を設けることも可能で、そうした場合にも同様の双方向情報伝達が可能である。
【0039】
視線検出入力装置20は、図8のようにネット(情報伝達網)30に接続し、同様にネット30に接続されたデータベース41等との間で情報の送受信システムを形成するのもよい。視線検出入力装置20の使用者は、送信手段2から送る信号(視線による入力情報)によってデータベース41中の特定の情報にアクセスし、受信手段8を介して当該データベース41中の情報につき提示を受ける。その場合、ディスプレイ6に表示される情報のうち何を見ているかについても、使用者の黒目の動きを撮像素子cで認識することにより視線検出入力装置20が検知してデータベース41へ送信することとすれば、情報の選択や収集がとくに容易に行える。
【0040】
上記した送受信システムにおいて、視線検出入力装置20が、エキスパート(特定の作業の熟練者であって作業指示や情報提供をなし得る者)の使用する端末機器42に接続される場合にもメリットがある。たとえば、
1) 視線検出入力装置20の使用者が見ているシーンとその使用者の視線がとらえている対象とを、遠隔地にいるエキスパートの端末機器42に伝え、その画面に表示する、
2) そのエキスパートは、端末機器42の画面を見て使用者の作業状況等を知り、作業対象部分や注目すべき箇所を教えたり必要なデータやマニュアルを提示したりするなど、ディスプレイ6やイヤフォン7などの情報提示手段を介して使用者に作業指示を出す
――といった使い方をすることも可能だからである。
同様にして、手術中の医師に対する情報提供システムや、遭遇状況に合ったルートを指示するなどの誘導ナビゲーションシステム、さらには、読んでいる箇所の外国語を翻訳する辞書システムなどとして送受信システムを構成し、好ましい使用をすることも可能である。用途によっては、情報提示手段を有しない視線検出入力装置(たとえば図7の装置10など)を、図8の装置20に代えて使用できる場合もある。
【図面の簡単な説明】
【0041】
【図1】図1は、本発明の一実施形態にかかる、集積型ホログラフィック光学素子1を用いた撮像光学系100を示す概念図である。
【図2】図2(a)〜(c)は、集積型ホログラフィック光学素子1の作製手順を示す図である。
【図3】図3は、透過型ホログラフィック光学素子1aを用いた撮像光学系100aを示す概念図である。
【図4】図4は、反射型ホログラフィック光学素子1bを用いた撮像光学系100bを示す概念図である。
【図5】ホログラフィック光学素子を波長選択反射フィルタおよび波長選択透過フィルタとともに使用する場合の、背景光の除去に関する試験結果を示す図(写真)である。図5(a)は背景のない場合、同(b)は背景があって波長選択反射フィルタを使用しな場合、同(c)は背景があって波長選択反射フィルタを使用する場合の、カメラの検出画像を示す。
【図6】図6(a)・(b)は、撮像光学系100を用いて人の視線検出入力を行う方法を概念的に示す図である。
【図7】図7は、撮像光学系100をメガネ型に構成した視線検出入力装置10を示す斜視図である。
【図8】図8は、メガネ型の視線検出入力装置20と、それを含む送受信システムを示す概念図である。
【図9】図9は、従来の、多重シーン撮像用光学素子1’を使用した視線入力装置100’の基本構成を示す概要図である。
【図10】図10は、透過型ホログラフィック光学素子1a’を用いた従来の撮像光学系100a’を示す概念図である。
【図11】図11は、反射型ホログラフィック光学素子1b’を用いた従来の撮像光学系100b’を示す概念図である。
【符号の説明】
【0042】
1 集積型ホログラフィック光学素子
1a 透過型ホログラフィック光学素子
1b 反射型ホログラフィック光学素子
3 カメラ(撮像手段)
4 波長選択反射フィルタ
5 波長選択透過フィルタ
10 視線検出入力装置
11 メガネフレーム
20 メガネ型視線検出入力装置
21 メガネフレーム
100・100a・100b 撮像光学系
c 撮像素子
m 物
e 眼部
【技術分野】
【0001】
請求項に係る発明は、ホログラフィック光学素子を用いた撮像光学系に関し、より詳しくは、白色光照明下で利用可能な撮像光学系に関する。
【背景技術】
【0002】
近年、情報技術の進歩に伴って、あらゆる状況でコンピュータやネットワークを利用できるユビキタス環境を構築する技術が注目されている。その一つとして、ウェアラブルコンピュータと呼ばれるような装着型機器の利用が期待されている。
発明者らは、ハンズフリー入力可能な、新たなウェアラブル型視線入力装置に応用するための視線検出方法と、目の像と視線がとらえている対象の像との両方のシーンを一つの光学系で撮像可能な多重シーン撮像用光学素子を考案した(特許文献1)。
【0003】
図9に、特許文献1で開示した視線入力装置の基本構成を示す。視線入力装置100’の多重シーン撮像用光学素子1’は、一つの素子で反射型レンズと透過型レンズとを有する。目からの反射光が反射型レンズによってカメラc’へ達し、視線がとらえている対象物からの反射光が透過型レンズによってカメラc’へ達する。このように、多重シーン撮像用光学素子1’には、目の像eと視線がとらえている対象物の像mの両方をカメラc’の撮像面に結像する二重焦点機能がある。したがって、カメラの画像には目の像e’と、視線がとらえている対象物の像m’との両方を得ることができる。この多重シーン撮像用光学素子1’において、反射型レンズおよび透過型レンズとして、ホログラフィックレンズを適用している。
なお、ホログラフィックレンズはレーザー光源から発散光と収束光をつくり、それらの干渉縞を記録して作製される。そして、ホログラフィックレンズの使用時には、明瞭な像を取得するために、作製時と同じ波長の単色光源照明を用いることを前提としている。
【特許文献1】特開2006−267529号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1の視線検出装置において、ホログラフィックレンズの作製時と同じ波長の光を照明することは必ずしも容易ではない。しかし、一般的な照明光である白色光源を使用すると下記のような不都合がある。すなわち、図10に示すように、透過型ホログラフィック光学素子1a’を用いて撮像手段3’に物体Aの像を得る撮像光学系100a’を構成する場合、白色光照明下で透過型ホログラフィック光学素子1a’を透過してくる背景光が、光学素子1a’により回折されて結像する物体Aの像に重なって悪影響を及ぼすことになり、画像を得ようとしている物体Aの明瞭な像が得られなくなる。一方、図11に示す反射型ホログラフィック光学素子1b’を用いた撮像光学系100b’の場合にも、白色光照明下では、反射型ホログラフィック光学素子1b’で反射してカメラ3’で結像した物体Bの像に、光学素子1b’を透過した背景光が重なり、物体Bの明瞭な像が得られない。したがって、一般的な照明光である白色光源照明環境下で使用できるホログラフィック光学素子の開発が技術的課題となっていた。
【0005】
このような点を考慮し、請求項に係る本発明は、ホログラフィック光学素子の作製時と同じ波長の照明光に限らず、白色光照明によっても明瞭な像を取得できる撮像光学系を提供する。
【課題を解決するための手段】
【0006】
請求項1に記載の撮像光学系は、撮像手段(カメラ等)を、反射型または透過型のホログラフィック光学素子とともに使用する撮像光学系であって、白色光照明下における背景光が上記(反射型または透過型の)ホログラフィック光学素子を透過して上記撮像手段に入射することを妨げるための手段が付加されていることを特徴とする。
【0007】
このような撮像光学系によれば、白色光照明下における背景光が撮像手段に入射しないため、ホログラフィック光学素子が反射または透過した物体の明瞭な像を撮像手段に取得できる。ホログラフィック光学素子の作製時と同じ波長の照明光のみにはよらず白色光照明下でも明瞭な像が得られることは、この撮像光学系が視線検出入力の手段として日常的な環境で使用できることを意味し、利用範囲が広がる。
【0008】
請求項2に記載の撮像光学系は、背景光の入射を妨げるための上記手段として、特定の波長であって特定の方向から入射する光に限って反射する波長選択反射フィルタが上記ホログラフィック光学素子の前(撮像手段から見て前方。すなわちホログラフィック光学素子における、撮像手段がある側と反対の側)にあるとともに、上記特定の波長の光のみを透過する波長選択透過フィルタが上記ホログラフィック光学素子と上記撮像手段との間にあることを特徴とする。なお、ここでいう「特定の波長」は、撮像手段の感度と要求される像の明瞭さとによって決まる幅(最大で±10nm程度)を有するものであり、発明の撮像光学系は、その幅の範囲内で当該波長間に僅かなズレがある場合を含む。
【0009】
この撮像光学系によれば、特定の方向(撮像手段の光軸方向)から撮像手段に向かう背景光のうち、特定の波長(ホログラフィック光学素子が回折する波長(ホログラフィック光学素子の作製時の使用波長で、以下、波長λ1とする))の光は、波長選択反射フィルタによって反射され、ホログラフィック光学素子を通過することができない。背景光のうち残りの波長の光はホログラフィック光学素子を透過するが、ホログラフィック光学素子と撮像手段の間に設けた、上記特定の波長(波長λ1)のみを透過する波長選択透過フィルタによって除去される。したがって、白色光照明下で使用した場合に撮像手段に入射する光から、背景光をすべて除去することができる。
【0010】
ホログラフィック光学素子として、透過型ホログラフィック光学素子を用いた場合(図3参照)、ホログラフィック光学素子1aに対して撮像手段の反対側にある物体Aからの光は、特定の方向(撮像手段の光軸方向)からずれているため、すべての波長の光が波長選択反射フィルタ4を透過して、透過型ホログラフィック光学素子1aに入射する。そして波長λ1の光のみが透過型ホログラフィック光学素子1aにより回折して撮像手段に向かい、さらに撮像手段3と透過型ホログラフィック光学素子1aとの間に置かれた波長選択透過フィルタ5も透過して撮像手段3に到達し、像を結ぶ。この物体Aの像は、背景光の影響を受けない明瞭な像である。
【0011】
一方、ホログラフィック光学素子として、反射型ホログラフィック光学素子1bを用いた場合(図4参照)、ホログラフィック光学素子1bに対して撮像手段3と同じ側にある物体Bからの光のうち、反射型ホログラフィック光学素子1bにより回折されて撮像手段に向かうのは波長λ1の光のみであり、この光は、撮像手段3と反射型ホログラフィック光学素子1bとの間に置かれた波長選択透過フィルタ5を透過して撮像手段3に到達し、像を結ぶ。この物体Bの像も背景光の影響を受けない明瞭な像である。
したがって、この撮像光学系は、ホログラフィック光学素子が透過型であっても反射型であっても背景光の影響を受けることなく、得ようとする物体の明瞭な像を取得できる。
【0012】
請求項3に記載の撮像光学系は、上記のホログラフィック光学素子が反射型と透過型とを集積したものであり、その素子をはさむ両側のシーンを、一方の側にある1台の撮像手段に同時に取得させるものであることを特徴とする。
ホログラフィック光学素子として、反射と透過の両方の機能をもつものを用いた場合でも、波長選択反射フィルタと波長選択透過フィルタの組み合わせで背景光をすべて除去することができる。上述のとおり、波長選択反射フィルタおよび波長選択透過フィルタの配置は、ホログラフィック光学素子が反射型であるか透過型であるかを問わず、同じでよいからである。そのため、ホログラフィック光学素子をはさむ両側にあるシーンの明瞭な像(反射像および透過像)を撮像手段で得ることが可能である。この撮像光学系によれば、2つのシーンを観察者の眼やカメラなどに同時に導きたい場合に広く利用できる。単一のホログラフィック光学素子から構成したものであるため、コンパクト化および軽量化することができる。
【0013】
請求項4に記載の撮像光学系は、上記ホログラフィック光学素子をはさむ両側のシーンとして、人の視線が捉えている対象の光景とその人の目の像とを、上記撮像手段に同時に取得させることを特徴とする。
このような撮像光学系によれば、1台の撮像手段により、観察者の目(黒目とその周辺)とその人の視野にある光景との両方が撮像される。そのため、他の光学系機器は不要であり、シンプルかつ小型に装置を構成することができる。また、双方の像が明瞭に得られるうえ、別々の撮像手段に取り込まれるのではないため、計測機器を用いて特殊な演算やキャリブレーション等をしなくとも、視線が捉えている対象を正確かつ容易に把握することができる。
【0014】
上記の撮像光学系においては、上記ホログラフィック光学素子がメガネフレームのレンズ部相当箇所に取り付けられ、上記の撮像手段が、同じメガネフレームの耳かけ部付近に取り付けられていることが好ましい。
そのようにすれば、使用者がこの撮像光学系をメガネのように頭部に装着し、従来のパーソナルコンピュータ用マウス等に代わる、視線検出により信号を入力する装置として使用することができる。メガネフレーム上にホログラフィック光学素子と撮像手段とを取り付けるのであるから、ハンズフリーの新しい入力デバイスとなる。なお、前方の光景と後方の目の像とを、単一のホログラフィック光学素子が共通の撮像手段に結像させることから、コンパクトかつ軽量に構成することが可能である。
【0015】
請求項の撮像光学系は、上記の波長選択反射フィルタまたは波長選択透過フィルタが、干渉フィルタによって構成され、またはホログラフィック光学素子によって構成されていることが好ましい。干渉フィルタまたはホログラフィック光学素子以外のもので構成された場合、選択されて反射または透過する特定波長の幅が大きくなり、シャープで明瞭な像が得られがたくなるからである。
【発明の効果】
【0016】
本発明によれば、ホログラフィック光学素子の作製時と同じ波長の照明光によらず、白色光照明を利用する場合にも明瞭な像を取得できる撮像光学系を得ることが出来る。
請求項1の撮像光学系は、ホログラフィック光学素子を透過して撮像手段に入射する背景光を除去できるので、観察対象となる物体の明瞭な像が得られる。
請求項2の撮像光学系は、波長選択反射フィルタと波長選択透過フィルタの2つの要素を付加するだけの簡単な構成で、請求項1の撮像光学系を実現できる。
請求項3の撮像光学系は、ホログラフィック光学素子をはさむ両側のシーンを、背景光の影響を受けない明瞭な像として得ることができる。
請求項4の撮像光学系は、特に、人の視線が捉えている対象の光景とその人の目の像とを、背景光の影響を受けない明瞭な像として得ることができる。しかも、それらの像を1台の撮像手段で同時に取得するので、キャリブレーションをしなくても、また特殊な演算をしなくても、視線が捉えている対象を正確かつ容易に把握することができる。
請求項5の撮像光学系は、メガネのように装着でき、パーソナルコンピュータのマウス等の入力手段に代わるハンズフリーの視線検出入力手段としての、軽量かつコンパクトな装置を構成できる。
請求項6の撮像光学系は、不要な背景光を確実に遮断することができる。
【発明を実施するための最良の形態】
【0017】
以下、添付図面を適宜参照しつつ、本発明に係る撮像光学系の一実施形態について説明する。
【0018】
図1は、本発明の一実施形態に係る、集積型ホログラフィック光学素子(HOE)1を用いた撮像光学系100を示す概念図である。撮像光学系100は、集積型ホログラフィック光学素子1とカメラ(撮像手段)3、集積型ホログラフィック光学素子1の前方に配置した波長選択反射フィルタ4、およびカメラ3と集積型ホログラフィック光学素子1との間に配置した波長選択透過フィルタ5とからなる。
【0019】
集積型ホログラフィック光学素子1は、透過型と反射型の機能を併せ持つホログラフィック光学素子で、図2(a)〜(c)にその作成手順を示す。
【0020】
まず図2(a)は、透過型ホログラフィック光学素子(ホログラム)1aの作製要領を示す図である。入力面1の位置P1にある光源O1からの光と、光学素子1aに対して入力面1の光源O1からの光と同じ側から入射し、かつ観測面の位置P2に結像する光との干渉縞を、光学素子1aに記録する。そうすると、光学素子1aにおける干渉縞による光の干渉・回折作用によって、入力面1の位置P1の光景が上記の観測面の位置P2上に結像する。
【0021】
図2(b)は反射型ホログラフィック光学素子(ホログラム)1bの作製要領を示すもので、入力面2の位置P3にある光源O3からの光と、光学素子1bに対して入力面の光源の反対側から入射し位置P4に結像する光との干渉縞を、位置P3と位置P4から同一の向きに離して置いた光学素子1bに記録する。こうした光学素子1bを用いると、入力面2の位置P3の光景が光学素子1bからみて同じ側にある観測面の位置P4上に結像する。
【0022】
図2(c)に示す集積型ホログラフィック光学素子1は、図2(a)・(b)によって形成される透過型および反射型のホログラフィック光学素子1a・1bを集積することにより作製する。光学素子1a・1bを集積することは、たとえば、干渉縞を記録する一つの感光体に図2(a)・(b)に示す双方の露光を行ったうえ当該感光体を現像処理することにより行えるが、コンピュータシミュレーションによる干渉縞情報に基づく屈折率分布を電子ビーム描画等によって作製するのもよい。いずれの場合も、集積型ホログラフィック光学素子1は、ホログラム等と呼ばれる単一のホログラフィック光学素子として構成される。
【0023】
作製した光学素子1によると、入力面1の位置にある物mなどのシーンが上記観測面上に結像するとともに、入力面2の位置にある眼部eなどのシーンも同じ観測面上に結像する。つまり、この集積型ホログラフィック光学素子1には、物mなどの光を観測面上に結像するレンズ機能と、眼部eなどの光を反射して観測面上に結像させるミラー機能およびレンズ機能とが備わっている。したがって、その観測面に撮像面sの位置を合わせて撮像素子cを配置するなら、その撮像素子cには、二つのシーン(物mおよび眼部e)が一つの画像として結像することになる。なお、上記した集積の数を増やせば、3以上のシーンを同じ画像として結像させることも可能である。なお、上述した作製方法において、入力面および観測面は平面に限らず任意の曲面であっても可能である。作製には、特定の波長λ1(通常は532nmが使用されるが、これに限定されない)のレーザー光を使用している。
【0024】
図1に示す波長選択反射フィルタ4は、干渉フィルタまたはホログラフィック光学素子で構成したもので、カメラ3の光軸方向から入射する波長λ1の光に限って反射させる機能を有する。一方、波長選択透過フィルタ5は、やはり干渉フィルタまたはホログラフィック光学素子で構成したものであるが、逆に波長λ1の光のみを透過させる機能を有する。このように構成された撮像光学系100によれば、背景光は波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去され、集積型ホログラフィック光学素子1の両側にある図示のシーンCおよびシーンDが、カメラ3に明瞭な像として結像する。その詳細を、透過型ホログラフィック光学素子1aを用いた場合と、反射型ホログラフィック光学素子1bを用いた場合とに分けて、それぞれ図3・図4に基づき説明する。
【0025】
まず、図3は、透過型ホログラフィック光学素子1aを用いた撮像光学系100aを示す概念図である。撮像光学系100aは、上記の撮像光学系100における集積型ホログラフィック光学素子1を、透過型ホログラフィック光学素子1aに置き換えた構成であり、波長選択反射フィルタ4と波長選択透過フィルタ5とを同様に備えている。透過型ホログラフィック光学素子1aは、上記のとおり、素子1aに対してカメラ3とは反対側にある物体Aの像がカメラ3に結像するよう作製している。
【0026】
撮像光学系100aにおいて、白色光照明下でカメラ3の光軸方向に沿って透過型ホログラフィック光学素子1aに向かう背景光(図中の点線)のうち、波長λ1の光は波長選択反射フィルタ4によって反射されて除去される。残りの波長の光は透過型ホログラフィック光学素子1aを透過するが、カメラ3の前に配置された、波長λ1の光のみを透過させる波長選択透過フィルタ5により遮断される。したがって、カメラ3の光軸方向から入射する背景光はすべて除去されることになる。
【0027】
一方、物体Aから透過型ホログラフィック光学素子1aに向かう光は、図3に示すようにカメラ3の光軸方向と異なるため、波長選択反射フィルタ4で除去されずに透過型ホログラフィック光学素子1aに入射し、回折した波長λ1の光が波長選択透過フィルタ5を透過し、カメラ3に結像する。背景光が波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去されているので、結像した物体Aの像に影響せず、明瞭な像が得られる。
【0028】
つぎに図4は、もう一つの機能に係る、反射型ホログラフィック光学素子1bを用いた撮像光学系100bを示す概念図である。撮像光学系100bは、上記の撮像光学系100における集積型ホログラフィック光学素子1を、反射型ホログラフィック光学素子1bに置き換えた構成であり、波長選択反射フィルタ4と波長選択透過フィルタ5とを同様に備えている。反射型ホログラフィック光学素子1bは、上記のとおり、素子1bに対してカメラ3と同じ側にある物体Bの像がカメラ3に結像するよう作製している。
【0029】
撮像光学系100bにおいても、白色光照明下でカメラ3の光軸方向に沿って反射型ホログラフィック光学素子1bに向かう背景光(図中の波線)のうち、波長λ1の光は波長選択反射フィルタ4によって反射されて除去される。残りの波長の光は反射型ホログラフィック光学素子1bを透過するが、カメラ3の前に配置された、波長λ1の光のみを透過させる波長選択透過フィルタ5により遮断される。したがって、カメラ3の光軸方向から入射する背景光は、やはりすべて除去されることになる。
【0030】
一方、物体Bからの光は、反射型ホログラフィック光学素子1bにより波長λ1の光が回折(反射)し、波長選択透過フィルタ5を透過してカメラ3に結像する。撮像光学系100aと同様に、背景光が影響しないのでカメラ3で取得される物体Bの像は明瞭なものとなる。
【0031】
以上のとおり、ホログラフィック光学素子が透過型でも反射型でも、白色光照明下でカメラ3へ光軸方向から入射する背景光を、波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去することができる。
【0032】
透過型と反射型を集積した集積型ホログラフィック光学素子1を用いた、図1の撮像光学系100においても、波長選択反射フィルタ4と波長選択透過フィルタ5とにより同様にして、カメラの光軸方向に沿って入射する背景光をすべて除去できる。一方、シーンCから集積型ホログラフィック光学素子1に入射した光は、素子1により波長λ1の光が回折して波長選択透過フィルタ5を透過し、カメラ3に結像する。またシーンDからの光は、カメラ3の光軸方向と異なる角度で素子1に入射するため、波長選択反射フィルタ4で除去されずにホログラフィック光学素子1に入射し、回折した波長λ1の光が波長選択透過フィルタ5をも透過し、同じくカメラ3に結像する。背景光が波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去されているので、シーンC・Dの明瞭な像がカメラ3で取得できる。
【0033】
ホログラフィック光学素子1を波長選択反射フィルタ4および波長選択透過フィルタ5とともに使用する場合の、背景光の除去に関する試験結果を図5に示す。
試験では、カメラの前に波長選択透過フィルタを取り付けておき、その前方に、透過型と反射型とを集積した集積型ホログラフィック光学素子を置いた。そして、白色光照明のもとで、そのカメラに、上記光学素子を透過回折させて「目」の文字を結像させるとともに、上記光学素子で反射回折させて義眼の像を結像させた。
図5(a)は、背景のない場合にカメラが検出・撮像した画像である。同(b)は、カメラの正面(20〜30cm前方。上記光学素子よりも前)に背景としての英文印刷物を置き、波長選択反射フィルタを使用しなかった場合のカメラの検出画像である。さらに同(c)は、同様に背景として英文印刷物を置きながら、上記光学素子の前面に波長選択反射フィルタを設けた場合のカメラの検出画像である。同(b)において検出された背景の英文が、同(c)では、背景のない同(a)と同様に検出されなくなっており、二つのフィルタの使用によって背景光の影響が除かれたことが分かる。
なお、図5の試験における諸条件はつぎのとおりである。
集積型ホログラフィック光学素子の作成条件:
1.二光束干渉法
2.YAGレーザ、波長532nm
3.フォトポリマー薄膜、加熱型
波長選択透過フィルター(干渉フィルター):
中心波長532nm、半値幅10nm。(532±5nmの光を透過)
【0034】
図6(a)・(b)は、上述のような撮像光学系100を用いて人の視線検出入力を行う方法を概念的に示す図である。上述のようにして作製した集積型ホログラフィック光学素子1を、図6(a)のとおり使用者の眼部eの前に置き、その使用者の頭の横などにCCDカメラ等の撮像素子cを配置する。さらに、ホログラフィック光学素子1の前面には波長選択反射フィルタ4を、撮像素子cの前面には波長選択透過フィルタ5を配置する。そうすると、撮像素子cには、図6(b)に示すように、使用者の前方にある物mの画像m’とともに使用者の眼部eの画像e’とが1枚の画像として撮り込まれる(画像の重なり方は任意に設定できる)。その画像には、前方に見えるシーンが映るとともに、使用者の黒目の位置が表示されるため、その使用者が視線をどこに向けて何をとらえているかをその画像から容易に知ることができる。撮像素子cの光軸方向に沿った背景光は、波長選択反射フィルタ4と波長選択透過フィルタ5とにより除去されているので、撮像素子cには明瞭な像として画像m’および画像e’が得られる。
【0035】
そのような原理にしたがい、コンピュータ用のウェアラブルなメガネ型の視線検出入力装置として、図7に示す装置10を構成することができる。図示の視線検出入力装置10は、メガネフレーム11の左右のレンズ部相当箇所に集積型ホログラフィック光学素子1を取り付け、同じフレーム11のうち耳かけに近い左右の部分に撮像素子cを取り付けている。さらに、図示はしていないが、集積型ホログラフィック光学素子1の前面には上記の波長選択反射フィルタを、撮像素子cの前面には上記の波長選択透過フィルタを、それぞれ配置している。
【0036】
こうした視線検出入力装置10は、使用者がメガネと同じように頭部に装着したうえ、マウス等に代わるコンピュータ用入力装置として使用することができる。つまり、見ようとしているシーンが視野に入るように顔を向けて視線検出入力装置10の向きを定めるとともに、その視野のうちの特定のシーン(物mなど)に視線を向ければ、撮像素子cの1画像中に撮り込まれる当該物mなどの画像m’と使用者の眼部eの画像e’とから、視線による使用者の意図を検知できる。波長選択反射フィルタと波長選択透過フィルタの作用により背景光が重ならない画像m’・e’(図6(b)参照)が得られるので、白色光照明下でも正確に検知できる。一定時間以上凝視したことや特定回数の瞬きをしたこと等をその意図の確定信号として定めれば、マウス等と同様の入力機能を全くのハンズフリーで実現できることになる。使用者が動いても視線検出に支障がないことは言うまでもない。
左右のレンズ部相当箇所にホログラフィック光学素子1を取り付ければ、右目眼部の像と右目の視野を含む画像、および左目眼部の像と左目の視野を含む画像より、人の視野の3次元情報を取得できる。
【0037】
図8には、メガネフレーム21上に、上記した集積型ホログラフィック光学素子1や撮像素子cとともにディスプレイ6(つまり使用者に対して視覚的に情報を伝える情報提示手段)を取り付けたメガネ型の視線検出入力装置20などを示している。上記の光学素子1は右側(または左側)のレンズ部相当箇所に取り付け、それと反対の側のレンズ部相当箇所にディスプレイ6を取り付けている。撮像素子cは、光学素子1の後面に向けて耳かけ部の付近に取り付けた。また、撮像素子cには、その画像情報を外部に伝える送信手段2を接続し、ディスプレイ6には、外部からの画像情報をディスプレイ6に取り込むための受信手段8を接続している。図示はしていないが、ホログラフィック光学素子1の前面には上記の波長選択反射フィルタを、撮像素子cの前面には上記の波長選択透過フィルタを、それぞれ配置している。
【0038】
この視線検出入力装置20によると、集積型ホログラフィック光学素子1と撮像素子cおよび送信手段2の作用により、使用者の視線による入力情報を外部へ送信することができるばかりでなく、受信手段8とディスプレイ6とを有することから、外部からの情報を使用者へ視覚的に提供することができる。つまり、この視線検出入力装置20を用いれば、使用者は外部との間で双方向の情報伝達を行える。ディスプレイ6に代えて、またはディスプレイ6とともに、イヤフォン7のような聴覚的な情報提示手段を設けることも可能で、そうした場合にも同様の双方向情報伝達が可能である。
【0039】
視線検出入力装置20は、図8のようにネット(情報伝達網)30に接続し、同様にネット30に接続されたデータベース41等との間で情報の送受信システムを形成するのもよい。視線検出入力装置20の使用者は、送信手段2から送る信号(視線による入力情報)によってデータベース41中の特定の情報にアクセスし、受信手段8を介して当該データベース41中の情報につき提示を受ける。その場合、ディスプレイ6に表示される情報のうち何を見ているかについても、使用者の黒目の動きを撮像素子cで認識することにより視線検出入力装置20が検知してデータベース41へ送信することとすれば、情報の選択や収集がとくに容易に行える。
【0040】
上記した送受信システムにおいて、視線検出入力装置20が、エキスパート(特定の作業の熟練者であって作業指示や情報提供をなし得る者)の使用する端末機器42に接続される場合にもメリットがある。たとえば、
1) 視線検出入力装置20の使用者が見ているシーンとその使用者の視線がとらえている対象とを、遠隔地にいるエキスパートの端末機器42に伝え、その画面に表示する、
2) そのエキスパートは、端末機器42の画面を見て使用者の作業状況等を知り、作業対象部分や注目すべき箇所を教えたり必要なデータやマニュアルを提示したりするなど、ディスプレイ6やイヤフォン7などの情報提示手段を介して使用者に作業指示を出す
――といった使い方をすることも可能だからである。
同様にして、手術中の医師に対する情報提供システムや、遭遇状況に合ったルートを指示するなどの誘導ナビゲーションシステム、さらには、読んでいる箇所の外国語を翻訳する辞書システムなどとして送受信システムを構成し、好ましい使用をすることも可能である。用途によっては、情報提示手段を有しない視線検出入力装置(たとえば図7の装置10など)を、図8の装置20に代えて使用できる場合もある。
【図面の簡単な説明】
【0041】
【図1】図1は、本発明の一実施形態にかかる、集積型ホログラフィック光学素子1を用いた撮像光学系100を示す概念図である。
【図2】図2(a)〜(c)は、集積型ホログラフィック光学素子1の作製手順を示す図である。
【図3】図3は、透過型ホログラフィック光学素子1aを用いた撮像光学系100aを示す概念図である。
【図4】図4は、反射型ホログラフィック光学素子1bを用いた撮像光学系100bを示す概念図である。
【図5】ホログラフィック光学素子を波長選択反射フィルタおよび波長選択透過フィルタとともに使用する場合の、背景光の除去に関する試験結果を示す図(写真)である。図5(a)は背景のない場合、同(b)は背景があって波長選択反射フィルタを使用しな場合、同(c)は背景があって波長選択反射フィルタを使用する場合の、カメラの検出画像を示す。
【図6】図6(a)・(b)は、撮像光学系100を用いて人の視線検出入力を行う方法を概念的に示す図である。
【図7】図7は、撮像光学系100をメガネ型に構成した視線検出入力装置10を示す斜視図である。
【図8】図8は、メガネ型の視線検出入力装置20と、それを含む送受信システムを示す概念図である。
【図9】図9は、従来の、多重シーン撮像用光学素子1’を使用した視線入力装置100’の基本構成を示す概要図である。
【図10】図10は、透過型ホログラフィック光学素子1a’を用いた従来の撮像光学系100a’を示す概念図である。
【図11】図11は、反射型ホログラフィック光学素子1b’を用いた従来の撮像光学系100b’を示す概念図である。
【符号の説明】
【0042】
1 集積型ホログラフィック光学素子
1a 透過型ホログラフィック光学素子
1b 反射型ホログラフィック光学素子
3 カメラ(撮像手段)
4 波長選択反射フィルタ
5 波長選択透過フィルタ
10 視線検出入力装置
11 メガネフレーム
20 メガネ型視線検出入力装置
21 メガネフレーム
100・100a・100b 撮像光学系
c 撮像素子
m 物
e 眼部
【特許請求の範囲】
【請求項1】
撮像手段を、反射型または透過型のホログラフィック光学素子とともに使用する撮像光学系であって、
白色光照明下における背景光が上記ホログラフィック光学素子を透過して上記撮像手段に入射することを妨げるための手段が付加されていることを特徴とする撮像光学系。
【請求項2】
背景光の入射を妨げるための上記手段として、特定の波長であって特定の方向から入射する光に限って反射する波長選択反射フィルタが上記ホログラフィック光学素子の前にあるとともに、上記特定の波長の光のみを透過する波長選択透過フィルタが上記ホログラフィック光学素子と上記撮像手段との間にあることを特徴とする請求項1に記載の撮像光学系。
【請求項3】
上記のホログラフィック光学素子が反射型と透過型とを集積したものであり、その素子をはさむ両側のシーンを、一方の側にある1台の撮像手段に同時に取得させるものであることを特徴とする請求項1または2に記載の撮像光学系。
【請求項4】
上記ホログラフィック光学素子をはさむ両側のシーンとして、人の視線が捉えている対象の光景とその人の目の像とを、上記撮像手段に同時に取得させることを特徴とする請求項3に記載の撮像光学系。
【請求項5】
上記ホログラフィック光学素子がメガネフレームのレンズ部相当箇所に取り付けられ、上記の撮像手段が、同じメガネフレームの耳かけ部付近に取り付けられていることを特徴とする請求項4に記載の撮像光学系。
【請求項6】
上記の波長選択反射フィルタまたは波長選択透過フィルタが、干渉フィルタによって構成され、またはホログラフィック光学素子によって構成されていることを特徴とする請求項1〜5のいずれかに記載の撮像光学系。
【請求項1】
撮像手段を、反射型または透過型のホログラフィック光学素子とともに使用する撮像光学系であって、
白色光照明下における背景光が上記ホログラフィック光学素子を透過して上記撮像手段に入射することを妨げるための手段が付加されていることを特徴とする撮像光学系。
【請求項2】
背景光の入射を妨げるための上記手段として、特定の波長であって特定の方向から入射する光に限って反射する波長選択反射フィルタが上記ホログラフィック光学素子の前にあるとともに、上記特定の波長の光のみを透過する波長選択透過フィルタが上記ホログラフィック光学素子と上記撮像手段との間にあることを特徴とする請求項1に記載の撮像光学系。
【請求項3】
上記のホログラフィック光学素子が反射型と透過型とを集積したものであり、その素子をはさむ両側のシーンを、一方の側にある1台の撮像手段に同時に取得させるものであることを特徴とする請求項1または2に記載の撮像光学系。
【請求項4】
上記ホログラフィック光学素子をはさむ両側のシーンとして、人の視線が捉えている対象の光景とその人の目の像とを、上記撮像手段に同時に取得させることを特徴とする請求項3に記載の撮像光学系。
【請求項5】
上記ホログラフィック光学素子がメガネフレームのレンズ部相当箇所に取り付けられ、上記の撮像手段が、同じメガネフレームの耳かけ部付近に取り付けられていることを特徴とする請求項4に記載の撮像光学系。
【請求項6】
上記の波長選択反射フィルタまたは波長選択透過フィルタが、干渉フィルタによって構成され、またはホログラフィック光学素子によって構成されていることを特徴とする請求項1〜5のいずれかに記載の撮像光学系。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図5】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図5】
【公開番号】特開2010−107829(P2010−107829A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2008−281188(P2008−281188)
【出願日】平成20年10月31日(2008.10.31)
【出願人】(000108993)ダイソー株式会社 (229)
【出願人】(508327618)株式会社共和電子製作所 (3)
【出願人】(504150450)国立大学法人神戸大学 (421)
【出願人】(800000057)財団法人新産業創造研究機構 (99)
【出願人】(592216384)兵庫県 (258)
【Fターム(参考)】
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願日】平成20年10月31日(2008.10.31)
【出願人】(000108993)ダイソー株式会社 (229)
【出願人】(508327618)株式会社共和電子製作所 (3)
【出願人】(504150450)国立大学法人神戸大学 (421)
【出願人】(800000057)財団法人新産業創造研究機構 (99)
【出願人】(592216384)兵庫県 (258)
【Fターム(参考)】
[ Back to top ]