携帯情報端末装置
【課題】 重畳させた表示画像情報を、使用者が認識できる携帯情報端末装置を提供する。
【解決手段】 情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、表示面１ａに表示された情報と実視野の像とを使用者の眼Ｅに導くビームコンバイナ２と、ビームコンバイナ開閉部材６と、表示部開閉部材５と、実視野方向の入射光を受光するように配置された撮像ユニット7と、画像処理ユニット１３とを備え、撮像ユニット7は、実視野を撮像し、画像処理ユニット１３は、撮像ユニット7によって撮像された画像の領域について、所定の閾値よりも暗い領域を検出する領域検出工程と、表示面１ａの表示領域のうち、前記領域検出工程で検出した暗い領域に対応する表示面１ａの表示領域に、撮像ユニット７により撮像された画像の領域内にある所定の対象物に関連する情報を表示する表示工程とを有するようにした。
【解決手段】 情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、表示面１ａに表示された情報と実視野の像とを使用者の眼Ｅに導くビームコンバイナ２と、ビームコンバイナ開閉部材６と、表示部開閉部材５と、実視野方向の入射光を受光するように配置された撮像ユニット7と、画像処理ユニット１３とを備え、撮像ユニット7は、実視野を撮像し、画像処理ユニット１３は、撮像ユニット7によって撮像された画像の領域について、所定の閾値よりも暗い領域を検出する領域検出工程と、表示面１ａの表示領域のうち、前記領域検出工程で検出した暗い領域に対応する表示面１ａの表示領域に、撮像ユニット７により撮像された画像の領域内にある所定の対象物に関連する情報を表示する表示工程とを有するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶パネルなどの表示素子を有する携帯情報端末装置に関するものである。
【背景技術】
【０００２】
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。
【０００３】
そして、携帯電話においては、通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報端末装置が、例えば、特許文献１に提案されている。
【特許文献１】特開２００１−３０８９９７号公報
【０００４】
特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ ｖｉｅｗｅｒ）として用いることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般に、実視野内に存在する物体の反射率は、それぞれの物体によって異なる。そのため、シースルービュアーの使用時には、実視野内の場所によって、実視野内での明るさが異なる。従来技術の表示機能付き携帯情報端末装置では、実視野内の位置によっては、実視野内の物体の明るさが、表示素子で表示される画像情報の明るさに対して明るすぎることがある。その結果、使用者が、重畳させた表示画像情報を認識できなくなることが生じるという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、重畳させた表示画像情報を、使用者が認識できる携帯情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による携帯情報端末装置は、情報入力部を有する把持部と、前記情報入力部で入力した情報又は外部から得た情報を表示する表示面を有する表示部と、前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、画像処理ユニットとを備え、前記撮像ユニットは、前記実視野を撮像し、前記画像処理ユニットは、領域検出工程と表示工程とを有し、前記領域検出工程は、前記撮像ユニットによって撮像された実視野の画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する領域である暗い領域を検出し、前記表示工程は、前記表示面の表示領域のうち、前記暗い領域に対応する前記表示面の表示領域に、前記実視野の画像の領域内にある所定の対象物に関連する関連情報を表示するようにしたことを特徴とする。
また、本発明による携帯情報端末装置は、前記暗い領域の面積に応じて、前記関連情報の量を異ならせるようにするのが好ましい。
また、本発明による携帯情報端末装置は、前記暗い領域の色に応じて、前記関連情報の表示色を異ならせるようにするのが好ましい。
また、本発明による携帯情報端末装置は、前記対象物と前記暗い領域との間を結びつけるための画像を表示するようにするのが好ましい。
【発明の効果】
【０００８】
本発明によれば、実視野内の明るさが変化しても、重畳させた表示画像情報を使用者が良好に認識できる携帯情報端末装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
実施例の説明に先立ち、本発明の作用効果について説明する。
図１は、一実施形態にかかる携帯情報端末装置における説明図を示している。図１では、携帯情報端末装置の表示部とビームコンバイナとの位置、及びこれらと使用者の眼Ｅとの関係を示している。
【００１０】
携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、ビームコンバイナ２を有している。表示面１ａは、画像（情報）を表示する。ビームコンバイナ２は、表示面１ａに表示された画像（情報）を拡大するような光学的パワーを持つ。このビームコンバイナ２は、ハーフミラーで構成されている。また、把持部３と表示部１の接続部には、表示部開閉部材５が設けられている。また、表示部１とビームコンバイナ２の接続部には、ビームコンバイナ開閉部材６が設けられている。そして、表示部１には、受光素子７ａを備えた受光ユニット７が設けられている。
【００１１】
表示部１の表示面１ａに表示された画像（情報）は、ビームコンバイナ２で反射されて使用者の眼Ｅに導かれる。また、使用者の眼Ｅから、ビームコンバイナ２を隔てた所定の位置に、表示面１ａに表示された画像（情報）の虚像が、拡大形成される。よって、使用者は、この虚像を拡大観察できる。このように、使用者の眼Ｅには、ビームコンバイナ２を通過してくる光が入射すると共に、ビームコンバイナ２で反射された光が入射する。
【００１２】
ここで、ビームコンバイナ２を通過して見える領域を、実視野とする。この実視野内の明るさは、場所によって異なる。例えば、実視野内に、高い建物と低い建物があったとした場合に、太陽の位置によっては、低い建物は、高い建物の影の中に入り、低い建物の明るさは、高い建物の明るさより暗くなる。
【００１３】
表示部１の一面１ｃは、使用者がビームコンバイナ２を通して見ている領域、すなわち実視野と略対向する面である。そして、撮像ユニット７は受光素子７ａを有する。受光素子７ａは、複数の受光面で構成されていて、使用者の前方からの入射する光を受光する位置に配置されている。また、図１に示す携帯情報端末装置の構成は、使用者が把持部３を右手で掴んで携帯情報端末装置を保持するようにしている。
【００１４】
そこで、本実施形態の携帯情報端末装置では、撮像ユニット７を実視野と略対向する面である表示部１の面１ｃに配置して、実視野からの光を受光するようにしている。
【００１５】
このような状態において、撮像ユニット７は、使用者の前方にある実視野を撮像する。そして、撮像ユニット７は、各画素に入射した光量に応じた信号を出力する。続いて、前記出力された信号は、画像処理ユニット１３に入力される。画像処理ユニット１３では、入力された信号と所定の閾値との比較が行われる。このような工程を経ることで、撮像した画像のうち、明るさが所定の閾値よりも低い領域である、暗い領域が検出される。
【００１６】
ここで、撮像ユニット７で撮像した画像は、ビームコンバイナ２を介して透過観察した実視野と同じ領域の画像である。そのため、上記工程により検出された暗い領域は、実視野における暗い領域に相当する。また、使用者はビームコンバイナ２を介して実視野を見ている。よって、実視野における暗い領域に相当する領域が、ビームコンバイナ２の光学面にも、同様に存在していることになる。
【００１７】
一方、ビームコンバイナ２の光学面は、表示面１ａに表示された情報を反射している。そのため、ビームコンバイナ２の光学面内における所定の位置は、表示面１ａ内における所定の位置と対応していることになる。
【００１８】
そして、使用者は、表示面１ａに表示された情報を、ビームコンバイナ２を介して見ている。よって、ビームコンバイナ２における暗い領域は、表示面１ａ内にも対応した暗い領域が存在していることになる。
【００１９】
そこで、画像処理ユニット１３は、実視野の暗い領域に対応する表示面１ａの表示領域を特定する。そして、画像処理ユニット１３は、特定した表示面１ａの表示領域に、撮像ユニット７によって撮像された画像の領域内にある所定の対象物に関連する情報を表示する。以下、「撮像ユニット７によって・・・対象物」を、単に「所定の対象物」と称する。その結果、前記特定した表示面１ａの表示領域に、所定の対象物に関連する情報が、表示される。この関連情報は、実視野の像と重畳される。
【００２０】
このような構成とすることで、使用者は、特定した表示面１ａの表示領域に、対象物に関連する情報を、良好に認識することができる。
【００２１】
なお、本実施形態の携帯情報端末では、特定した表示面１ａの表示領域に、所定の対象物に関連する情報をビームコンバイナ２で反射して、使用者の眼Ｅに導くように構成している。
【００２２】
なお、このような構成の携帯情報端末装置においては、ビームコンバイナ２が、表示面１ａに対して偏心配置されている。このため、ビームコンバイナ２を介して観察される像に偏心収差が生じやすい。
【００２３】
しかるに、本実施形態のように、ビームコンバイナ２に非対称なパワーを持たせる。例えば、仮想線Ｌに沿う方向において、徐々にパワーが変化するように、ビームコンバイナ２の光学面を形成する。このような構成とすれば、表示面１ａに対しビームコンバイナ２が偏心していることにより偏心収差が発生しても、この偏心収差を補正することができる。
【００２４】
以下、本発明の実施例について、図面を用いて説明する。
【実施例１】
【００２５】
図２は、実施例１の携帯情報端末装置を、側方からみた概略構成図である。ここで、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態を示している。図３は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。図４は、表示部開閉部材５と、ビームコンバイナ開閉部材６の構造を示す説明図である。
【００２６】
実施例１の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１を把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
【００２７】
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して、所定の角度でビームコンバイナ２を固定することができる。このような構成により、実施例１の携帯情報端末装置は、図３に示すように、シースルービュアーとしても構成されている。
【００２８】
表示部開閉部材５は、図４に示すように、円筒部５ａと、円筒部５ｂと、バネ５ｃと、球状部材５ｄと、ピン５ｅと、止め具５ｆとを有している。ここで、円筒部５ｂは、表示部１の一端に一体形成されている。また、円筒部５ａは、把持部３の一端に一体形成されている。
【００２９】
円筒部５ａには、長手方向に沿って、中央に貫通孔５ａ1が形成されている。そして、円筒部５ａの一端には、ピン５ｅの頭部を収納するための凹部５ａ2が、他端には、バネ５ｃを取り付けるための取付部（図示省略）が、それぞれ形成されている。
【００３０】
円筒部５ｂの中央には、長手方向に沿って、中央に貫通孔５ｂ1が形成されている。そして、円筒部５ｂの一端には、止め具５ｆを収納するための凹部（図示省略）が、他端には、球状部材５ｄの一部を嵌合可能な係止溝５ｂ2と，５ｂ3とが、それぞれ形成されている。
【００３１】
そして、表示部開閉部材５では、バネ５ｃを円筒部５ａの取付部に取り付けると共に、バネ５ｃの先端に球状部材５ｄを取り付けている。そして、この状態で、ピン５ｅを円筒部５ａの凹部５ａ2側から、円筒部５ａ及び５ｂの貫通孔５ａ1と５ｂ1に通し、その先端を止め具５ｆで止めている。このような構成により、表示部開閉部材５は、表示部１を把持部３に対し開閉可能に支持している。
【００３２】
また、表示部開閉部材５では、表示部１を展開したときに、球状部材５ｄが係止溝５ｂ2，５ｂ3に嵌合し、且つ、バネ５ｃに付勢される。このような構成とすることで、表示部１と把持部３を、任意の角度で固定することができるようになっている。
【００３３】
なお、表示部開閉部材５の具体的な構成は、上記構成に限定されるものではない。例えば、円筒部５ａ及び５ｂのそれぞれに磁石を備えた係止部を設け、互いの係止部が当接したときに、表示部１と把持部３が固定されるように構成してもよい。
【００３４】
ビームコンバイナ開閉部材６は、円筒部６ａと、係止部６ｂと、円筒部６ｃと、係止爪６ｃ2と、図示省略したピン及び止め具を有している。ここで、円筒部６ａと係止部６ｂは、表示部１の他端に一体形成されている。一方、円筒部６ｃは、ビームコンバイナ２の一端に一体形成されている。また、係止爪６ｃ2は、円筒部６ｃに一体形成されている。円筒部６ａ及び６ｃには、中央に貫通孔６ａ1及び６ｃ1がそれぞれ形成されている。係止部６ｂ及び係止爪６ｃ2にはそれぞれ磁石が設けられている。
【００３５】
そして、ビームコンバイナ開閉部材６は、図示省略したピンを円筒部６ａ及び６ｃの貫通孔６ａ1及び６ｃ1に通し、その先端を図示省略した止め具で止めて構成されている。このような構成により、ビームコンバイナ開閉部材６は、ビームコンバイナ２を、表示部１に対し開閉可能に支持している。
【００３６】
また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を展開したときに、係止爪６ｃ2が係止部６ｂに当接し、且つ、互いの磁力でその状態を保持することで、ビームコンバイナ２を表示部１に対して固定することができるようになっている。
【００３７】
なお、ビームコンバイナ開閉部材６は、上記構成に限定されるものではない。例えば、表示部開閉部材５における球状部材５ｄが係止溝５ｂ2及び５ｂ3に嵌合し、且つ、バネ５ｃに付勢される構成と同様に構成してもよい。
【００３８】
このような構成によって、図３に示すように、表示面１ａに表示された情報が、使用者の眼Ｅ方向に反射されるようになっている。このように、実施例１の携帯情報端末装置は、携帯電話としての使用と、シースルービュアーとしての使用とを可能にすることができる。
【００３９】
そして、本実施例１の携帯情報端末装置では、撮像ユニット８が、図１の受光ユニット７に相当する構成として、表示部１内に設けられている。この撮像ユニット８は、面１ｃを介して、外部を撮像する。この面１ｃは、実視野と略対向している面である。
【００４０】
図５は、実施例１の情報表示装置に備えられた撮像ユニットの構造を示す説明図であって、（ａ）は撮像ユニットの概略構成図、（ｂ）はビームコンバイナを通して使用者が実視野を見る方向と、撮像レンズの光軸方向との関係を示す。撮像ユニット８は、図５（ａ）に示すように、撮像レンズ８ａと、撮像素子８ｂ及びカバーガラス８ｃを有する。撮像レンズ８ａは、プリズムと、負レンズと、正レンズとからなる。なお、カバーガラス８ｃは、撮像用の窓部となる。また、撮像素子８ｂは受光素子である。本実施例１では、撮像素子８ｂはＣＣＤであって、複数の受光部で構成されている。
【００４１】
なお、本実施例１では、表示部１を展開した時に、表示部１が把持部３に対して、１８０°以上の角度で折り曲がった状態になっている。そのため、図５（ｂ）に示すように、矢印Ｘ１の方向と矢印Ｘ２の方向が異なる。ここで、矢印Ｘ１の方向は、ビームコンバイナ２を通して、使用者が実視野を見る方向である。一方、矢印Ｘ２の方向は、面１ｃにおける法線の方向である。
【００４２】
そのため、撮像レンズ８ａの光軸が矢印Ｘ２の方向と平行になるように、撮像レンズ８ａを配置すると、使用者が見ている実視野を撮像できない。そこで、撮像レンズ８ａの光軸が矢印Ｘ３の方向と平行になるように、撮像レンズ８ａを配置するようにすることで、撮像素子８ｂは実視野内（所定の撮像領域）を撮像する。
【００４３】
また、携帯情報端末装置は、メモリ１２を内蔵している。よって、撮像ユニット８に備えられている撮像素子８ｂによって撮像された画像は、一旦、メモリ１２に保存される。また、携帯情報端末装置は、画像処理ユニット１３を内蔵している。そして、この画像処理ユニット１３において、所定の処理が行われる。
【００４４】
図６は、撮像ユニット８で撮像した画像を画像処理ユニット１３において処理する工程を示すフローチャートである。まず、画像処理ユニット１３は、撮像ユニット８で撮像した画像をメモリ１２から読み出す（ステップＳ１）。ここで、画像は、複数の画素から構成されている。そこで、画像処理ユニット１３は、各画素の有する明るさと閾値との比較を行う（ステップＳ２）。
【００４５】
ここで、画素の有する明るさが閾値よりも小さい場合、画像処理ユニット１３は、この画素の座標を記憶する（ステップＳ３）。一方、画素の明るさが閾値以上である場合、画像処理ユニット１３は何も行わない。画像処理ユニット１３は、上記処理を、全ての画素について行う（ステップＳ４）。
【００４６】
上記比較が全ての画素について終了したら、画像処理ユニット１３は、記憶した座標から、座標が連続する画像の集まり、すなわち暗い領域、を特定する（ステップＳ５）。ここで、暗い領域の数は、撮像領域の様子によって異なる。そこで、暗い領域の数に応じて、処理を異ならせる（ステップＳ６）。
【００４７】
暗い領域が複数存在する場合、最も面積の大きな暗い領域が、所定の対象物に関連する情報を表示するための表示用の暗い領域に該当する（ステップＳ７）。以下、「所定の対象物・・・暗い領域」を、単に、「表示用の暗い領域」と称する。
【００４８】
一方、暗い領域が１つしか存在しない場合、この暗い領域が、表示用の暗い領域に該当する。
【００４９】
表示用の暗い領域が特定されると、画像処理ユニット１３は、実視野における表示用の暗い領域を特定する。更に、この特定に基いて、表示用の暗い領域に対応する表示面１ａの表示領域を特定する。（ステップＳ８）。
【００５０】
そして、表示面１ａの表示領域が特定されると、画像処理ユニット１３は、特定した表示面１ａの表示領域に情報を表示する（ステップＳ９）。
【００５１】
ここで、表示される情報は、所定の対象物に関連する情報である。なお、所定の対象物に関する関連情報は、携帯情報端末装置と別体、または、携帯情報端末装置に内蔵して設けられたデータベースから検索抽出するような構成にしてもよい。
【００５２】
情報を表示させたい対象物は、予め使用者が選定を行っておけばよい。この選定方法としては、例えば、視線検出装置を設けて、撮像領域内の対象物を特定する方法がある。また、表示面１ａに矢印を表示させ、この矢印を、情報入力部４を使って、使用者が操作できるようにしておく方法がある。
【００５３】
このように、表示面１ａに表示された情報は、ビームコンバイナ２によって、使用者の眼Ｅに向けて反射される。その際、図７に示すように、情報は、実視野内の暗い領域に、重畳されて表示されることになる。よって、使用者は、実視野内の対象物と表示面１ａに表示された情報との両方を、良好に見ることができる。
【００５４】
なお、図５に示す構成では、撮像用の窓部（カバーガラス８ｃ）が側面１ｃに設けられている。しかしながら、このような構成に限定されるわけではない。図８は、情報表示装置に備えられた撮像ユニット８の構造の変形例を示す説明図である。
【００５５】
例えば、図８（ａ）に示すように、撮像レンズ８ａを構成しているプリズムを表示部１から突出させるようにすれば、表示部１の別の側面１ｃ'に、撮像用の窓部を設けることができる。
【００５６】
また、撮像ユニット８は図８（ｂ）に示すように、図５の撮像ユニット８の配置と直交する方向に配置しても良い。いずれの場合にも、撮像レンズａの光軸が、実視野の方向に向くように、撮像ユニット８を配置している。
【００５７】
以上のように、本実施例１の携帯情報端末装置は、シースルービュアーとして使用する場合、携帯情報端末装置を、側頭部に当接させて保持する構成になっていて、この状態で、撮像レンズ８ａの光軸が実視野方向に向くように、撮像ユニット８が配置されている。
【００５８】
本実施例１の携帯情報端末装置によれば、撮像ユニット８によって、使用者が見ている実視野を撮像し、画像処理ユニット１３によって、撮像した画像から実視野内の明るさの変化を検出し、実視野の暗い領域に対応する表示面１ａの表示領域を特定して、情報を表示することができる。そのため、表示面１ａに表示されるべき情報を、実視野内の暗い領域に、実視野の像と重畳して表示させることができる。その結果、使用者は、実視野と撮像した画像による情報の重畳させた表示画像情報を、良好に認識することができる。
【実施例２】
【００５９】
図９は、実施例２にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナと表示面構成部を展開した状態を示している。図１０は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。
【００６０】
実施例２の携帯情報端末装置は、情報入力部４を有する把持部３と、表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示部１は、表示面１ａと、表示面１ａの周りを囲む外枠部１ｂとを有する。なお、図中１ａ'は表示面１ａを含む表示面構成部である。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１の外枠部１ｂを把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
【００６１】
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して所定の角度で、ビームコンバイナ２を固定することができる。このような構成により、実施例２の携帯情報端末装置は、図１０に示すように、シースルービュアーとしても構成されている。
【００６２】
表示部開閉部材５、ビームコンバイナ開閉部材６は、実施例１で説明したとおりである。また、表示面回動手段９は、表示面１ａを外枠部１ｂに対して回動可能に支持し、且つ、表示面１ａを所定量回動させたときの状態を保持する構成を有する。表示面回動手段９としては、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。
【００６３】
そして、実施例２の携帯情報端末装置では、撮像ユニット８が、図１の受光ユニット７に相当する構成として、外枠部１ｂに設けられている。この撮像ユニット８は、実施例１と同様に、複数の受光面を有する。本実施例２においても、撮像ユニット８によって、実視野内（所定の撮像領域）を撮像する。そして、実施例１と同様にして、暗い領域の検出を行う。
【００６４】
ここで、暗い領域の面積は、実視野内の様子によって異なる。そこで、本実施例２では、暗い領域の面積に応じて、表示する情報の量を異ならせている。図１１は、実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図である。図１１（ａ）のように、暗い領域の面積が大きい場合は、表示する情報の量を多くする。一方、図１１（ｂ）のように、暗い領域の面積が小さい場合には、表示する情報の量を少なくする。
【００６５】
本実施例２の携帯情報端末装置によれば、実視野内（所定の撮像領域）の暗い領域の面積に応じて、表示面１ａに表示されるべき情報の量を異ならせることができるので、使用者は、撮像した画像による情報が効率よく実視野と重畳して表示された表示画像情報を、効果的に認識することができる。
【００６６】
なお、表示する情報量は、暗い領域の面積に比例して多くしている。そのため、図１１（ｂ）の場合のように、暗い領域の面積が小さい場合には、表示する情報の量が少なくなる。よって、全ての情報を、一度に表示できない場合がある。
【００６７】
そこで、暗い領域に表示される情報は、所定の時間が経過した時に、次の情報を表示させるようにすればよい。あるいは、情報入力部４を操作することで、次の情報を表示させるようにすればよい。
【実施例３】
【００６８】
図１２は、実施例３にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、 （ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態を示している。図１３は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。
【００６９】
実施例３の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉手段５とを有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉手段５は、表示部１を把持部３に対して開閉可能に支持する。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
【００７０】
そして、ビームコンバイナ２が、ビームコンバイナ開閉部材６と、ビームコンバイナ連結部材１０及びビームコンバイナ移動部材１１を介して、表示部１に接続されている。このような構成により、実施例３の携帯情報端末装置は、図１１に示すように、シースルービュアーとしても構成されている。
【００７１】
表示部開閉部材５は、実施例１で説明したとおりである。また、ビームコンバイナ連結部材１０は、棒状部材である。また、ビームコンバイナ開閉部材６、ビームコンバイナ移動部材１１は、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。
【００７２】
ビームコンバイナ連結部材１０には、一端にビームコンバイナ２が接続され、他端に表示部１が接続されている。そして、ビームコンバイナ移動部材１１は、ビームコンバイナ連結部材１０を表示部１に対して、移動可能に支持している。移動方向は、ビームコンバイナ２が表示面１ａから離れる方向である。
【００７３】
また、ビームコンバイナ移動部材１１は、ビームコンバイナ連結部材１０を所定量移動させた時に、その位置での状態を保持できるような機構を有している。また、ビームコンバイナ開閉部材６は、ビームコンバイナ２をビームコンバイナ連結部材１０に対して開閉可能に支持している。また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を所定量展開したとき、その位置での状態を保持できるような機構を有している。
【００７４】
そして、実施例３の携帯情報端末装置では、図１の受光ユニット７に相当する構成として、撮像ユニット８が表示部１内に設けられている。この撮像ユニット８は、実施例１と同様に、複数の受光面を有する。本実施例３においても、撮像ユニット８によって、実視野内（所定の撮像領域）を撮像する。そして、実施例１と同様にして、暗い領域の検出を行う。
【００７５】
なお、本実施例３では、撮像ユニット８はカラーＣＣＤであるため、暗い領域について、その領域の色情報を得ることができる。そこで、本実施例３では、暗い領域の色に応じて、最も認識しやすい色を、情報表示用の色として使用している。
【００７６】
図１４は、実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、暗い領域の色と、表示される情報の色との関係を示す。暗い領域１の色が色Ａの場合は情報を表示する色を色αとしている。暗い領域２の色が色Ｂの場合は情報を表示する色を色βとしている。暗い領域３の色が色Ｃの場合は情報を表示する色を色γとしている。色Ａと色αは、互いに異なる色である。色Ｂと色β、色Ｃと色γについても、同様である。
【００７７】
また、暗い領域と、対象物とが離れている場合には、対象物から離れた位置に、対象物の情報が表示される。この場合には、所定の対象物に関連する情報と、所定の対象物を結びつける画像を表示させればよい。例えば、図１５に示すように、暗い領域に表示される情報と対象物とを結びつけるために矢印を表示させればよい。
【００７８】
本実施例３の携帯情報端末装置も、実施例１や実施例２と同様の効果を得られる。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態にかかる携帯情報端末装置における説明図である。
【図２】実施例１の携帯情報端末装置を、側方からみた概略構成図であって、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態である。
【図３】実施例１の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼の位置との関係を示す説明図である。
【図４】表示部開閉部材、ビームコンバイナ開閉部材の構造を示す説明図である。
【図５】実施例１の情報表示装置に備えられた撮像ユニットの構造を示す説明図であって、（ａ）は撮像ユニットの概略構成図、（ｂ）はビームコンバイナを通して使用者が実視野を見る方向と、撮像レンズの光軸方向との関係を示す図である。
【図６】撮像ユニットで撮像した情報を画像処理ユニットにおいて処理する工程を示すフローチャートである。
【図７】実視野の暗い領域に、情報が重畳して表示されている様子を示す図である。
【図８】情報表示装置に備えられた撮像ユニットの構造の変形例を示す説明図であって、（ａ）は撮像用の窓部を表示部の別の側面に設けた場合、（ｂ）は図５の撮像ユニット配置位置と直交する方向に配置した場合である。
【図９】実施例２にかかる携帯情報端末装置の概略構成を側方からみた斜視図であって、 （ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態である。
【図１０】実施例２の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼の位置との関係を示す説明図である。
【図１１】実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、（ａ）暗い領域の面積が大きい場合に表示される情報量、（ｂ）暗い領域の面積が小さい場合に表示される情報量を示す図である。
【図１２】実施例３にかかる携帯情報端末装置の概略構成を側方からみた斜視図であって、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態である。
【図１３】実施例３の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼の位置との関係を示す説明図である。
【図１４】実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、暗い領域の色と、表示される情報の色との関係を示す。
【図１５】実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、暗い領域と対象物が離れている場合に、両者を関連付ける画像が表示されている様子を示す。
【符号の説明】
【００８０】
１ 表示部
１ａ 表示面
１ａ' 表示面構成部
１ｂ 外枠部
１ｃ(１ｃ') 表示部の一面（側面）
２ ビームコンバイナ
３ 把持部
３ａ，３ｂ 把持部の一面（側面）
４ 情報入力部
５ 表示部開閉手段
５ａ，５ｂ 円筒部
５ａ1１，５ｂ1 貫通孔
５ａ2 凹部
５ｂ2，５ｂ3 係止溝
５ｃ バネ
５ｄ 球状部材
５ｅ ピン
５ｆ 止め具
６ ビームコンバイナ開閉手段
６ａ，６ｃ 円筒部
６ａ1，６ｃ1 貫通孔
６ｂ 係止部
６ｃ2 係止爪
７ 受光ユニット
８ 撮像ユニット
８ａ 撮像レンズ
８ｂ 撮像素子
８ｃ カバーガラス
９ 表示面回動手段
１０ ビームコンバイナ連結部材
１１ ビームコンバイナ移動部材
１２ メモリ
１３ 画像処理ユニット
Ｅ 使用者の眼
Ｌ 仮想線
【技術分野】
【０００１】
本発明は、液晶パネルなどの表示素子を有する携帯情報端末装置に関するものである。
【背景技術】
【０００２】
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う携帯情報端末装置は、パソコンに限られず、例えば携帯電話等も用いることができる。
【０００３】
そして、携帯電話においては、通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報端末装置が、例えば、特許文献１に提案されている。
【特許文献１】特開２００１−３０８９９７号公報
【０００４】
特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば、通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報端末装置は、実視野の像にデジタル情報を重畳させて表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ ｖｉｅｗｅｒ）として用いることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般に、実視野内に存在する物体の反射率は、それぞれの物体によって異なる。そのため、シースルービュアーの使用時には、実視野内の場所によって、実視野内での明るさが異なる。従来技術の表示機能付き携帯情報端末装置では、実視野内の位置によっては、実視野内の物体の明るさが、表示素子で表示される画像情報の明るさに対して明るすぎることがある。その結果、使用者が、重畳させた表示画像情報を認識できなくなることが生じるという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、重畳させた表示画像情報を、使用者が認識できる携帯情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による携帯情報端末装置は、情報入力部を有する把持部と、前記情報入力部で入力した情報又は外部から得た情報を表示する表示面を有する表示部と、前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、画像処理ユニットとを備え、前記撮像ユニットは、前記実視野を撮像し、前記画像処理ユニットは、領域検出工程と表示工程とを有し、前記領域検出工程は、前記撮像ユニットによって撮像された実視野の画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する領域である暗い領域を検出し、前記表示工程は、前記表示面の表示領域のうち、前記暗い領域に対応する前記表示面の表示領域に、前記実視野の画像の領域内にある所定の対象物に関連する関連情報を表示するようにしたことを特徴とする。
また、本発明による携帯情報端末装置は、前記暗い領域の面積に応じて、前記関連情報の量を異ならせるようにするのが好ましい。
また、本発明による携帯情報端末装置は、前記暗い領域の色に応じて、前記関連情報の表示色を異ならせるようにするのが好ましい。
また、本発明による携帯情報端末装置は、前記対象物と前記暗い領域との間を結びつけるための画像を表示するようにするのが好ましい。
【発明の効果】
【０００８】
本発明によれば、実視野内の明るさが変化しても、重畳させた表示画像情報を使用者が良好に認識できる携帯情報端末装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
実施例の説明に先立ち、本発明の作用効果について説明する。
図１は、一実施形態にかかる携帯情報端末装置における説明図を示している。図１では、携帯情報端末装置の表示部とビームコンバイナとの位置、及びこれらと使用者の眼Ｅとの関係を示している。
【００１０】
携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、ビームコンバイナ２を有している。表示面１ａは、画像（情報）を表示する。ビームコンバイナ２は、表示面１ａに表示された画像（情報）を拡大するような光学的パワーを持つ。このビームコンバイナ２は、ハーフミラーで構成されている。また、把持部３と表示部１の接続部には、表示部開閉部材５が設けられている。また、表示部１とビームコンバイナ２の接続部には、ビームコンバイナ開閉部材６が設けられている。そして、表示部１には、受光素子７ａを備えた受光ユニット７が設けられている。
【００１１】
表示部１の表示面１ａに表示された画像（情報）は、ビームコンバイナ２で反射されて使用者の眼Ｅに導かれる。また、使用者の眼Ｅから、ビームコンバイナ２を隔てた所定の位置に、表示面１ａに表示された画像（情報）の虚像が、拡大形成される。よって、使用者は、この虚像を拡大観察できる。このように、使用者の眼Ｅには、ビームコンバイナ２を通過してくる光が入射すると共に、ビームコンバイナ２で反射された光が入射する。
【００１２】
ここで、ビームコンバイナ２を通過して見える領域を、実視野とする。この実視野内の明るさは、場所によって異なる。例えば、実視野内に、高い建物と低い建物があったとした場合に、太陽の位置によっては、低い建物は、高い建物の影の中に入り、低い建物の明るさは、高い建物の明るさより暗くなる。
【００１３】
表示部１の一面１ｃは、使用者がビームコンバイナ２を通して見ている領域、すなわち実視野と略対向する面である。そして、撮像ユニット７は受光素子７ａを有する。受光素子７ａは、複数の受光面で構成されていて、使用者の前方からの入射する光を受光する位置に配置されている。また、図１に示す携帯情報端末装置の構成は、使用者が把持部３を右手で掴んで携帯情報端末装置を保持するようにしている。
【００１４】
そこで、本実施形態の携帯情報端末装置では、撮像ユニット７を実視野と略対向する面である表示部１の面１ｃに配置して、実視野からの光を受光するようにしている。
【００１５】
このような状態において、撮像ユニット７は、使用者の前方にある実視野を撮像する。そして、撮像ユニット７は、各画素に入射した光量に応じた信号を出力する。続いて、前記出力された信号は、画像処理ユニット１３に入力される。画像処理ユニット１３では、入力された信号と所定の閾値との比較が行われる。このような工程を経ることで、撮像した画像のうち、明るさが所定の閾値よりも低い領域である、暗い領域が検出される。
【００１６】
ここで、撮像ユニット７で撮像した画像は、ビームコンバイナ２を介して透過観察した実視野と同じ領域の画像である。そのため、上記工程により検出された暗い領域は、実視野における暗い領域に相当する。また、使用者はビームコンバイナ２を介して実視野を見ている。よって、実視野における暗い領域に相当する領域が、ビームコンバイナ２の光学面にも、同様に存在していることになる。
【００１７】
一方、ビームコンバイナ２の光学面は、表示面１ａに表示された情報を反射している。そのため、ビームコンバイナ２の光学面内における所定の位置は、表示面１ａ内における所定の位置と対応していることになる。
【００１８】
そして、使用者は、表示面１ａに表示された情報を、ビームコンバイナ２を介して見ている。よって、ビームコンバイナ２における暗い領域は、表示面１ａ内にも対応した暗い領域が存在していることになる。
【００１９】
そこで、画像処理ユニット１３は、実視野の暗い領域に対応する表示面１ａの表示領域を特定する。そして、画像処理ユニット１３は、特定した表示面１ａの表示領域に、撮像ユニット７によって撮像された画像の領域内にある所定の対象物に関連する情報を表示する。以下、「撮像ユニット７によって・・・対象物」を、単に「所定の対象物」と称する。その結果、前記特定した表示面１ａの表示領域に、所定の対象物に関連する情報が、表示される。この関連情報は、実視野の像と重畳される。
【００２０】
このような構成とすることで、使用者は、特定した表示面１ａの表示領域に、対象物に関連する情報を、良好に認識することができる。
【００２１】
なお、本実施形態の携帯情報端末では、特定した表示面１ａの表示領域に、所定の対象物に関連する情報をビームコンバイナ２で反射して、使用者の眼Ｅに導くように構成している。
【００２２】
なお、このような構成の携帯情報端末装置においては、ビームコンバイナ２が、表示面１ａに対して偏心配置されている。このため、ビームコンバイナ２を介して観察される像に偏心収差が生じやすい。
【００２３】
しかるに、本実施形態のように、ビームコンバイナ２に非対称なパワーを持たせる。例えば、仮想線Ｌに沿う方向において、徐々にパワーが変化するように、ビームコンバイナ２の光学面を形成する。このような構成とすれば、表示面１ａに対しビームコンバイナ２が偏心していることにより偏心収差が発生しても、この偏心収差を補正することができる。
【００２４】
以下、本発明の実施例について、図面を用いて説明する。
【実施例１】
【００２５】
図２は、実施例１の携帯情報端末装置を、側方からみた概略構成図である。ここで、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態を示している。図３は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。図４は、表示部開閉部材５と、ビームコンバイナ開閉部材６の構造を示す説明図である。
【００２６】
実施例１の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１を把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
【００２７】
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して、所定の角度でビームコンバイナ２を固定することができる。このような構成により、実施例１の携帯情報端末装置は、図３に示すように、シースルービュアーとしても構成されている。
【００２８】
表示部開閉部材５は、図４に示すように、円筒部５ａと、円筒部５ｂと、バネ５ｃと、球状部材５ｄと、ピン５ｅと、止め具５ｆとを有している。ここで、円筒部５ｂは、表示部１の一端に一体形成されている。また、円筒部５ａは、把持部３の一端に一体形成されている。
【００２９】
円筒部５ａには、長手方向に沿って、中央に貫通孔５ａ1が形成されている。そして、円筒部５ａの一端には、ピン５ｅの頭部を収納するための凹部５ａ2が、他端には、バネ５ｃを取り付けるための取付部（図示省略）が、それぞれ形成されている。
【００３０】
円筒部５ｂの中央には、長手方向に沿って、中央に貫通孔５ｂ1が形成されている。そして、円筒部５ｂの一端には、止め具５ｆを収納するための凹部（図示省略）が、他端には、球状部材５ｄの一部を嵌合可能な係止溝５ｂ2と，５ｂ3とが、それぞれ形成されている。
【００３１】
そして、表示部開閉部材５では、バネ５ｃを円筒部５ａの取付部に取り付けると共に、バネ５ｃの先端に球状部材５ｄを取り付けている。そして、この状態で、ピン５ｅを円筒部５ａの凹部５ａ2側から、円筒部５ａ及び５ｂの貫通孔５ａ1と５ｂ1に通し、その先端を止め具５ｆで止めている。このような構成により、表示部開閉部材５は、表示部１を把持部３に対し開閉可能に支持している。
【００３２】
また、表示部開閉部材５では、表示部１を展開したときに、球状部材５ｄが係止溝５ｂ2，５ｂ3に嵌合し、且つ、バネ５ｃに付勢される。このような構成とすることで、表示部１と把持部３を、任意の角度で固定することができるようになっている。
【００３３】
なお、表示部開閉部材５の具体的な構成は、上記構成に限定されるものではない。例えば、円筒部５ａ及び５ｂのそれぞれに磁石を備えた係止部を設け、互いの係止部が当接したときに、表示部１と把持部３が固定されるように構成してもよい。
【００３４】
ビームコンバイナ開閉部材６は、円筒部６ａと、係止部６ｂと、円筒部６ｃと、係止爪６ｃ2と、図示省略したピン及び止め具を有している。ここで、円筒部６ａと係止部６ｂは、表示部１の他端に一体形成されている。一方、円筒部６ｃは、ビームコンバイナ２の一端に一体形成されている。また、係止爪６ｃ2は、円筒部６ｃに一体形成されている。円筒部６ａ及び６ｃには、中央に貫通孔６ａ1及び６ｃ1がそれぞれ形成されている。係止部６ｂ及び係止爪６ｃ2にはそれぞれ磁石が設けられている。
【００３５】
そして、ビームコンバイナ開閉部材６は、図示省略したピンを円筒部６ａ及び６ｃの貫通孔６ａ1及び６ｃ1に通し、その先端を図示省略した止め具で止めて構成されている。このような構成により、ビームコンバイナ開閉部材６は、ビームコンバイナ２を、表示部１に対し開閉可能に支持している。
【００３６】
また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を展開したときに、係止爪６ｃ2が係止部６ｂに当接し、且つ、互いの磁力でその状態を保持することで、ビームコンバイナ２を表示部１に対して固定することができるようになっている。
【００３７】
なお、ビームコンバイナ開閉部材６は、上記構成に限定されるものではない。例えば、表示部開閉部材５における球状部材５ｄが係止溝５ｂ2及び５ｂ3に嵌合し、且つ、バネ５ｃに付勢される構成と同様に構成してもよい。
【００３８】
このような構成によって、図３に示すように、表示面１ａに表示された情報が、使用者の眼Ｅ方向に反射されるようになっている。このように、実施例１の携帯情報端末装置は、携帯電話としての使用と、シースルービュアーとしての使用とを可能にすることができる。
【００３９】
そして、本実施例１の携帯情報端末装置では、撮像ユニット８が、図１の受光ユニット７に相当する構成として、表示部１内に設けられている。この撮像ユニット８は、面１ｃを介して、外部を撮像する。この面１ｃは、実視野と略対向している面である。
【００４０】
図５は、実施例１の情報表示装置に備えられた撮像ユニットの構造を示す説明図であって、（ａ）は撮像ユニットの概略構成図、（ｂ）はビームコンバイナを通して使用者が実視野を見る方向と、撮像レンズの光軸方向との関係を示す。撮像ユニット８は、図５（ａ）に示すように、撮像レンズ８ａと、撮像素子８ｂ及びカバーガラス８ｃを有する。撮像レンズ８ａは、プリズムと、負レンズと、正レンズとからなる。なお、カバーガラス８ｃは、撮像用の窓部となる。また、撮像素子８ｂは受光素子である。本実施例１では、撮像素子８ｂはＣＣＤであって、複数の受光部で構成されている。
【００４１】
なお、本実施例１では、表示部１を展開した時に、表示部１が把持部３に対して、１８０°以上の角度で折り曲がった状態になっている。そのため、図５（ｂ）に示すように、矢印Ｘ１の方向と矢印Ｘ２の方向が異なる。ここで、矢印Ｘ１の方向は、ビームコンバイナ２を通して、使用者が実視野を見る方向である。一方、矢印Ｘ２の方向は、面１ｃにおける法線の方向である。
【００４２】
そのため、撮像レンズ８ａの光軸が矢印Ｘ２の方向と平行になるように、撮像レンズ８ａを配置すると、使用者が見ている実視野を撮像できない。そこで、撮像レンズ８ａの光軸が矢印Ｘ３の方向と平行になるように、撮像レンズ８ａを配置するようにすることで、撮像素子８ｂは実視野内（所定の撮像領域）を撮像する。
【００４３】
また、携帯情報端末装置は、メモリ１２を内蔵している。よって、撮像ユニット８に備えられている撮像素子８ｂによって撮像された画像は、一旦、メモリ１２に保存される。また、携帯情報端末装置は、画像処理ユニット１３を内蔵している。そして、この画像処理ユニット１３において、所定の処理が行われる。
【００４４】
図６は、撮像ユニット８で撮像した画像を画像処理ユニット１３において処理する工程を示すフローチャートである。まず、画像処理ユニット１３は、撮像ユニット８で撮像した画像をメモリ１２から読み出す（ステップＳ１）。ここで、画像は、複数の画素から構成されている。そこで、画像処理ユニット１３は、各画素の有する明るさと閾値との比較を行う（ステップＳ２）。
【００４５】
ここで、画素の有する明るさが閾値よりも小さい場合、画像処理ユニット１３は、この画素の座標を記憶する（ステップＳ３）。一方、画素の明るさが閾値以上である場合、画像処理ユニット１３は何も行わない。画像処理ユニット１３は、上記処理を、全ての画素について行う（ステップＳ４）。
【００４６】
上記比較が全ての画素について終了したら、画像処理ユニット１３は、記憶した座標から、座標が連続する画像の集まり、すなわち暗い領域、を特定する（ステップＳ５）。ここで、暗い領域の数は、撮像領域の様子によって異なる。そこで、暗い領域の数に応じて、処理を異ならせる（ステップＳ６）。
【００４７】
暗い領域が複数存在する場合、最も面積の大きな暗い領域が、所定の対象物に関連する情報を表示するための表示用の暗い領域に該当する（ステップＳ７）。以下、「所定の対象物・・・暗い領域」を、単に、「表示用の暗い領域」と称する。
【００４８】
一方、暗い領域が１つしか存在しない場合、この暗い領域が、表示用の暗い領域に該当する。
【００４９】
表示用の暗い領域が特定されると、画像処理ユニット１３は、実視野における表示用の暗い領域を特定する。更に、この特定に基いて、表示用の暗い領域に対応する表示面１ａの表示領域を特定する。（ステップＳ８）。
【００５０】
そして、表示面１ａの表示領域が特定されると、画像処理ユニット１３は、特定した表示面１ａの表示領域に情報を表示する（ステップＳ９）。
【００５１】
ここで、表示される情報は、所定の対象物に関連する情報である。なお、所定の対象物に関する関連情報は、携帯情報端末装置と別体、または、携帯情報端末装置に内蔵して設けられたデータベースから検索抽出するような構成にしてもよい。
【００５２】
情報を表示させたい対象物は、予め使用者が選定を行っておけばよい。この選定方法としては、例えば、視線検出装置を設けて、撮像領域内の対象物を特定する方法がある。また、表示面１ａに矢印を表示させ、この矢印を、情報入力部４を使って、使用者が操作できるようにしておく方法がある。
【００５３】
このように、表示面１ａに表示された情報は、ビームコンバイナ２によって、使用者の眼Ｅに向けて反射される。その際、図７に示すように、情報は、実視野内の暗い領域に、重畳されて表示されることになる。よって、使用者は、実視野内の対象物と表示面１ａに表示された情報との両方を、良好に見ることができる。
【００５４】
なお、図５に示す構成では、撮像用の窓部（カバーガラス８ｃ）が側面１ｃに設けられている。しかしながら、このような構成に限定されるわけではない。図８は、情報表示装置に備えられた撮像ユニット８の構造の変形例を示す説明図である。
【００５５】
例えば、図８（ａ）に示すように、撮像レンズ８ａを構成しているプリズムを表示部１から突出させるようにすれば、表示部１の別の側面１ｃ'に、撮像用の窓部を設けることができる。
【００５６】
また、撮像ユニット８は図８（ｂ）に示すように、図５の撮像ユニット８の配置と直交する方向に配置しても良い。いずれの場合にも、撮像レンズａの光軸が、実視野の方向に向くように、撮像ユニット８を配置している。
【００５７】
以上のように、本実施例１の携帯情報端末装置は、シースルービュアーとして使用する場合、携帯情報端末装置を、側頭部に当接させて保持する構成になっていて、この状態で、撮像レンズ８ａの光軸が実視野方向に向くように、撮像ユニット８が配置されている。
【００５８】
本実施例１の携帯情報端末装置によれば、撮像ユニット８によって、使用者が見ている実視野を撮像し、画像処理ユニット１３によって、撮像した画像から実視野内の明るさの変化を検出し、実視野の暗い領域に対応する表示面１ａの表示領域を特定して、情報を表示することができる。そのため、表示面１ａに表示されるべき情報を、実視野内の暗い領域に、実視野の像と重畳して表示させることができる。その結果、使用者は、実視野と撮像した画像による情報の重畳させた表示画像情報を、良好に認識することができる。
【実施例２】
【００５９】
図９は、実施例２にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナと表示面構成部を展開した状態を示している。図１０は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。
【００６０】
実施例２の携帯情報端末装置は、情報入力部４を有する把持部３と、表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉部材５を有している。ここで、表示部１は、表示面１ａと、表示面１ａの周りを囲む外枠部１ｂとを有する。なお、図中１ａ'は表示面１ａを含む表示面構成部である。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉部材５は、表示部１の外枠部１ｂを把持部３に対して開閉可能に支持している。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
【００６１】
そして、更に、ビームコンバイナ２が、ビームコンバイナ開閉部材６を介して、表示部１に接続されている。この接続位置は、表示部１の一端側であって、表示部開閉部材５と対向する位置である。このビームコンバイナ開閉部材６によって、表示部１に対して所定の角度で、ビームコンバイナ２を固定することができる。このような構成により、実施例２の携帯情報端末装置は、図１０に示すように、シースルービュアーとしても構成されている。
【００６２】
表示部開閉部材５、ビームコンバイナ開閉部材６は、実施例１で説明したとおりである。また、表示面回動手段９は、表示面１ａを外枠部１ｂに対して回動可能に支持し、且つ、表示面１ａを所定量回動させたときの状態を保持する構成を有する。表示面回動手段９としては、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。
【００６３】
そして、実施例２の携帯情報端末装置では、撮像ユニット８が、図１の受光ユニット７に相当する構成として、外枠部１ｂに設けられている。この撮像ユニット８は、実施例１と同様に、複数の受光面を有する。本実施例２においても、撮像ユニット８によって、実視野内（所定の撮像領域）を撮像する。そして、実施例１と同様にして、暗い領域の検出を行う。
【００６４】
ここで、暗い領域の面積は、実視野内の様子によって異なる。そこで、本実施例２では、暗い領域の面積に応じて、表示する情報の量を異ならせている。図１１は、実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図である。図１１（ａ）のように、暗い領域の面積が大きい場合は、表示する情報の量を多くする。一方、図１１（ｂ）のように、暗い領域の面積が小さい場合には、表示する情報の量を少なくする。
【００６５】
本実施例２の携帯情報端末装置によれば、実視野内（所定の撮像領域）の暗い領域の面積に応じて、表示面１ａに表示されるべき情報の量を異ならせることができるので、使用者は、撮像した画像による情報が効率よく実視野と重畳して表示された表示画像情報を、効果的に認識することができる。
【００６６】
なお、表示する情報量は、暗い領域の面積に比例して多くしている。そのため、図１１（ｂ）の場合のように、暗い領域の面積が小さい場合には、表示する情報の量が少なくなる。よって、全ての情報を、一度に表示できない場合がある。
【００６７】
そこで、暗い領域に表示される情報は、所定の時間が経過した時に、次の情報を表示させるようにすればよい。あるいは、情報入力部４を操作することで、次の情報を表示させるようにすればよい。
【実施例３】
【００６８】
図１２は、実施例３にかかる携帯情報端末装置の概略構成を側方からみた斜視図である。ここで、 （ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態を示している。図１３は、携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼Ｅの位置との関係を示す説明図である。
【００６９】
実施例３の携帯情報端末装置は、情報入力部４を有する把持部３と、表示面１ａを有する表示部１と、光学的パワーを有するビームコンバイナ２と、表示部開閉手段５とを有している。ここで、表示面１ａは、情報入力部４で入力した情報、又は外部から受信した情報を表示する。また、表示部開閉手段５は、表示部１を把持部３に対して開閉可能に支持する。このような構成により、実施例１の携帯情報端末装置は、所謂折り畳みタイプの携帯電話機として構成されている。
【００７０】
そして、ビームコンバイナ２が、ビームコンバイナ開閉部材６と、ビームコンバイナ連結部材１０及びビームコンバイナ移動部材１１を介して、表示部１に接続されている。このような構成により、実施例３の携帯情報端末装置は、図１１に示すように、シースルービュアーとしても構成されている。
【００７１】
表示部開閉部材５は、実施例１で説明したとおりである。また、ビームコンバイナ連結部材１０は、棒状部材である。また、ビームコンバイナ開閉部材６、ビームコンバイナ移動部材１１は、公知の回転機構を用いればよい。よって、具体的な構成について、詳細な説明は省略する。
【００７２】
ビームコンバイナ連結部材１０には、一端にビームコンバイナ２が接続され、他端に表示部１が接続されている。そして、ビームコンバイナ移動部材１１は、ビームコンバイナ連結部材１０を表示部１に対して、移動可能に支持している。移動方向は、ビームコンバイナ２が表示面１ａから離れる方向である。
【００７３】
また、ビームコンバイナ移動部材１１は、ビームコンバイナ連結部材１０を所定量移動させた時に、その位置での状態を保持できるような機構を有している。また、ビームコンバイナ開閉部材６は、ビームコンバイナ２をビームコンバイナ連結部材１０に対して開閉可能に支持している。また、ビームコンバイナ開閉部材６は、ビームコンバイナ２を所定量展開したとき、その位置での状態を保持できるような機構を有している。
【００７４】
そして、実施例３の携帯情報端末装置では、図１の受光ユニット７に相当する構成として、撮像ユニット８が表示部１内に設けられている。この撮像ユニット８は、実施例１と同様に、複数の受光面を有する。本実施例３においても、撮像ユニット８によって、実視野内（所定の撮像領域）を撮像する。そして、実施例１と同様にして、暗い領域の検出を行う。
【００７５】
なお、本実施例３では、撮像ユニット８はカラーＣＣＤであるため、暗い領域について、その領域の色情報を得ることができる。そこで、本実施例３では、暗い領域の色に応じて、最も認識しやすい色を、情報表示用の色として使用している。
【００７６】
図１４は、実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、暗い領域の色と、表示される情報の色との関係を示す。暗い領域１の色が色Ａの場合は情報を表示する色を色αとしている。暗い領域２の色が色Ｂの場合は情報を表示する色を色βとしている。暗い領域３の色が色Ｃの場合は情報を表示する色を色γとしている。色Ａと色αは、互いに異なる色である。色Ｂと色β、色Ｃと色γについても、同様である。
【００７７】
また、暗い領域と、対象物とが離れている場合には、対象物から離れた位置に、対象物の情報が表示される。この場合には、所定の対象物に関連する情報と、所定の対象物を結びつける画像を表示させればよい。例えば、図１５に示すように、暗い領域に表示される情報と対象物とを結びつけるために矢印を表示させればよい。
【００７８】
本実施例３の携帯情報端末装置も、実施例１や実施例２と同様の効果を得られる。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態にかかる携帯情報端末装置における説明図である。
【図２】実施例１の携帯情報端末装置を、側方からみた概略構成図であって、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態である。
【図３】実施例１の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼の位置との関係を示す説明図である。
【図４】表示部開閉部材、ビームコンバイナ開閉部材の構造を示す説明図である。
【図５】実施例１の情報表示装置に備えられた撮像ユニットの構造を示す説明図であって、（ａ）は撮像ユニットの概略構成図、（ｂ）はビームコンバイナを通して使用者が実視野を見る方向と、撮像レンズの光軸方向との関係を示す図である。
【図６】撮像ユニットで撮像した情報を画像処理ユニットにおいて処理する工程を示すフローチャートである。
【図７】実視野の暗い領域に、情報が重畳して表示されている様子を示す図である。
【図８】情報表示装置に備えられた撮像ユニットの構造の変形例を示す説明図であって、（ａ）は撮像用の窓部を表示部の別の側面に設けた場合、（ｂ）は図５の撮像ユニット配置位置と直交する方向に配置した場合である。
【図９】実施例２にかかる携帯情報端末装置の概略構成を側方からみた斜視図であって、 （ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態である。
【図１０】実施例２の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼の位置との関係を示す説明図である。
【図１１】実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、（ａ）暗い領域の面積が大きい場合に表示される情報量、（ｂ）暗い領域の面積が小さい場合に表示される情報量を示す図である。
【図１２】実施例３にかかる携帯情報端末装置の概略構成を側方からみた斜視図であって、（ａ）は表示部を閉じた状態、（ｂ）は表示部を展開した状態、（ｃ）は（ｂ）の状態からビームコンバイナを展開した状態である。
【図１３】実施例３の携帯情報端末装置における表示部とビームコンバイナ、及びビームコンバイナと使用者の眼の位置との関係を示す説明図である。
【図１４】実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、暗い領域の色と、表示される情報の色との関係を示す。
【図１５】実視野の暗い領域に、情報が重畳して表示されている様子を示す説明図であって、暗い領域と対象物が離れている場合に、両者を関連付ける画像が表示されている様子を示す。
【符号の説明】
【００８０】
１ 表示部
１ａ 表示面
１ａ' 表示面構成部
１ｂ 外枠部
１ｃ(１ｃ') 表示部の一面（側面）
２ ビームコンバイナ
３ 把持部
３ａ，３ｂ 把持部の一面（側面）
４ 情報入力部
５ 表示部開閉手段
５ａ，５ｂ 円筒部
５ａ1１，５ｂ1 貫通孔
５ａ2 凹部
５ｂ2，５ｂ3 係止溝
５ｃ バネ
５ｄ 球状部材
５ｅ ピン
５ｆ 止め具
６ ビームコンバイナ開閉手段
６ａ，６ｃ 円筒部
６ａ1，６ｃ1 貫通孔
６ｂ 係止部
６ｃ2 係止爪
７ 受光ユニット
８ 撮像ユニット
８ａ 撮像レンズ
８ｂ 撮像素子
８ｃ カバーガラス
９ 表示面回動手段
１０ ビームコンバイナ連結部材
１１ ビームコンバイナ移動部材
１２ メモリ
１３ 画像処理ユニット
Ｅ 使用者の眼
Ｌ 仮想線
【特許請求の範囲】
【請求項１】
情報入力部を有する把持部と、
前記情報入力部で入力した情報又は外部から得た情報を表示する表示面を有する表示部と、
前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、
前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、
前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、
画像処理ユニットとを備え、
前記撮像ユニットは、前記実視野を撮像し、
前記画像処理ユニットは、領域検出工程と表示工程とを有し、
前記領域検出工程は、前記撮像ユニットによって撮像された実視野の画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する領域である暗い領域を検出し、
前記表示工程は、前記表示面の表示領域のうち、前記暗い領域に対応する前記表示面の表示領域に、前記実視野の画像の領域内にある所定の対象物に関連する関連情報を表示するようにしたことを特徴とする携帯情報端末装置。
【請求項２】
前記暗い領域の面積に応じて、前記関連情報の量を異ならせるようにしたことを特徴とする請求項１に記載の携帯情報端末装置。
【請求項３】
前記暗い領域の色に応じて、前記関連情報の表示色を異ならせるようにしたことを特徴とする請求項１または請求項２に記載の携帯情報端末装置。
【請求項４】
前記対象物と前記暗い領域との間を結びつけるための画像を表示するようにしたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の携帯情報端末装置。
【請求項１】
情報入力部を有する把持部と、
前記情報入力部で入力した情報又は外部から得た情報を表示する表示面を有する表示部と、
前記表示面に表示された情報を反射して使用者の眼に導くと共に、使用者の前方の実視野の対象物の像を透過して使用者の眼に導くビームコンバイナと、
前記ビームコンバイナを、前記表示部に対して開閉可能に支持するビームコンバイナ開閉部材と、
前記表示部を、前記把持部に対して開閉可能に支持する表示部開閉部材と、
前記実視野側から入射する光を受光するように配置された複数の受光面を備えた撮像ユニットと、
画像処理ユニットとを備え、
前記撮像ユニットは、前記実視野を撮像し、
前記画像処理ユニットは、領域検出工程と表示工程とを有し、
前記領域検出工程は、前記撮像ユニットによって撮像された実視野の画像について、所定の閾値との比較を行い、所定の閾値よりも低い値を有する領域である暗い領域を検出し、
前記表示工程は、前記表示面の表示領域のうち、前記暗い領域に対応する前記表示面の表示領域に、前記実視野の画像の領域内にある所定の対象物に関連する関連情報を表示するようにしたことを特徴とする携帯情報端末装置。
【請求項２】
前記暗い領域の面積に応じて、前記関連情報の量を異ならせるようにしたことを特徴とする請求項１に記載の携帯情報端末装置。
【請求項３】
前記暗い領域の色に応じて、前記関連情報の表示色を異ならせるようにしたことを特徴とする請求項１または請求項２に記載の携帯情報端末装置。
【請求項４】
前記対象物と前記暗い領域との間を結びつけるための画像を表示するようにしたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の携帯情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−１５３９６６（Ｐ２００６−１５３９６６Ａ）
【公開日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願番号】特願２００４−３４０６８１（Ｐ２００４−３４０６８１）
【出願日】平成１６年１１月２５日（２００４．１１．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年６月１５日（２００６．６．１５）
【国際特許分類】
【出願日】平成１６年１１月２５日（２００４．１１．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]