表示装置、表示方法
【課題】ユーザのユーザの状況（意志、視覚状態、身体状況等）に応じた的確な表示動作制御の実現。
【解決手段】例えばユーザが眼鏡型もしくは頭部装着型の装着ユニットを装着することで、眼の直前の表示部で各種画像を視認できるようにし、撮像された画像、再生された画像、受信した画像などを提供する。このとき表示動作のオン／オフや、表示動作態様、ソース切換など、各種の表示動作に関する制御として、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者のユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて適切な制御を行う。
【解決手段】例えばユーザが眼鏡型もしくは頭部装着型の装着ユニットを装着することで、眼の直前の表示部で各種画像を視認できるようにし、撮像された画像、再生された画像、受信した画像などを提供する。このとき表示動作のオン／オフや、表示動作態様、ソース切換など、各種の表示動作に関する制御として、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者のユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて適切な制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの目の前方に位置するように表示手段が配置されて画像の表示を行う表示装置と、表示方法に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開平８−１２６０３１号公報
【特許文献２】特開平９−２７９７０号公報
【特許文献３】特開平９−１８５００９号公報
【背景技術】
【０００３】
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、ユーザが操作キー等の操作子の操作を不要としたうえで、ユーザの意志や状況に応じて、ユーザにとって望ましい表示動作を行う装置は開発されていない。
そこで本発明では、ユーザの状況（意志や身体状況等）に応じて、的確な表示動作が行われるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の表示装置は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段と、上記使用者情報取得手段で取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、を備える。
【０００６】
上記制御手段は、使用者が快適でないと判断した場合、輝度、コントラスト又はシャープネスの調整値を算出し、表示手段の画質を調整する制御を行う。
画像の撮像を行う撮像手段を更に備え、上記制御手段は、上記撮像手段で撮像された画像を上記表示手段に表示する制御を行う。
請求項１に記載の表示装置。
【０００７】
上記制御手段は、使用者の眼が疲労している状態かを判定し、使用者の眼が疲労していると判断した場合には、上記表示手段の表示を終了させる制御を行う。
上記使用者の視覚情報を検出するセンサは、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は、使用者の眼底パターン、又はまぶたの動きを検出するためのセンサである。
上記生体センサは、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出する。
【０００８】
本発明の表示方法は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、上記使用者情報取得ステップで取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップとを備える。
【０００９】
以上の本発明では、使用者（ユーザ）は、表示装置を例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより装着することで、目の前方に位置する表示手段を視認する状態となる。即ちユーザは装着状態で、撮像手段で撮像された画像や、再生手段で再生されたデータの画像、或いは受信手段で受信されたデータの画像などを表示手段で視認できる。
ここで、表示動作のオン／オフ／スルー、表示する画像データのソースの選択、各種表示動作態様（例えば分割表示、拡大／縮小表示、表示輝度などの表示画質調整、画像のスクロールやページ送り／ページ戻しなど）、表示に対する入力、再生画像表示の際の再生動作など、表示動作に関する制御としてユーザの意志や状況に応じた適切な制御が行われることが好ましいが、本発明では、これらをユーザの操作子の操作ではなく、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて各種適切な制御を行うようにする。
【発明の効果】
【００１０】
本発明によれば、ユーザの眼の直前とされる表示手段で各種画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担がないまま、ユーザの意志又は状況に応じた的確な表示動作が実行される。これによりユーザにとって使用性が良く、また多様な視界光景を提供できる表示装置を実現できるという効果がある。
また表示手段は透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の表示装置の利点を有効に得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態の表示装置の外観例の説明図である。
【図２】実施の形態の表示装置の使用形態の説明図である。
【図３】実施の形態の表示装置の構成例のブロック図である。
【図４】実施の形態の表示装置の他の構成例のブロック図である。
【図５】実施の形態のスルー状態と撮像画像表示状態の説明図である。
【図６】実施の形態のストレージ部から画像の表示状態の説明図である。
【図７】実施の形態の通信部からの画像の表示状態の説明図である。
【図８】実施の形態の通信部からの画像の表示状態の説明図である。
【図９】実施の形態の分割表示の説明図である。
【図１０】実施の形態の拡大画像の表示状態の説明図である。
【図１１】実施の形態の明るさ調整画像の表示状態の説明図である。
【図１２】実施の形態の制御処理のフローチャートである。
【図１３】実施の形態の表示開始トリガの判別処理のフローチャートである。
【図１４】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１５】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１６】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１７】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１８】実施の形態の表示終了トリガの判別処理のフローチャートである。
【図１９】実施の形態の表示終了トリガの判別処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
［１．表示装置の外観例及び外部機器との関連］
［２．表示装置の構成例］
［３．表示例］
［４．ユーザ状況の判定］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］
【００１３】
［１．表示装置の外観例及び外部機器との関連］
実施の形態として、図１に眼鏡型ディスプレイとした表示装置１の外観例を示す。表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【００１４】
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
【００１５】
なお図１は一例であり、表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。
また図１は撮像機能を含む例としているが、撮像機能を備えない例も考えられる。
さらには、表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。
【００１６】
ところで内部構成例については後述するが、この表示装置１は、記録媒体に対して再生を行う再生機能（図３，図４で述べるストレージ部２５）や、外部機器と通信を行う通信機能（図３，図４で述べる通信部２６）を備えることも考えられる。
従って、表示部２において表示する画像としてのデータのソースは、撮像機能部位、再生機能部位、通信機能部位が想定される。
図２は、表示装置１の使用形態を、外部機器との関連において例示したものである。
【００１７】
図２（ａ）は表示装置１を単体で使用する場合であり、この場合、表示装置１が撮像機能を有していれば、撮像された画像データを表示部２に表示させることができる。また、表示装置１が再生機能を有していれば、記録媒体から再生されたデータによる画像を表示部２に表示させることができる。記録媒体から再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成して記録媒体に記録した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、記録媒体に記録されたゲームプログラムに基づくゲーム画像など、記録媒体に記録されて表示対象となるあらゆるデータが想定される。
【００１８】
図２（ｂ）は、表示装置１が通信機能を備え、外部の撮像装置７０と通信を行う例である。この場合、表示装置１は、撮像装置７０で撮像された画像（動画／静止画）を受信して表示部２に表示させる。外部の撮像装置７０とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また図１のように撮像機能を備えた表示装置１を、或る表示装置１に対して外部の撮像装置１と考えることもできる。
また外部の撮像装置７０は、表示装置１を用いるユーザ本人が所有する撮像装置であったり、表示装置１のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって表示装置１と通信可能とされているものなど多様に考えられる。
【００１９】
図２（ｃ）は、表示装置１が通信機能を備え、外部のコンテンツソース機器７１と通信を行う例である。この場合、表示装置１は、コンテンツソース機器７１から提供される画像（動画／静止画）を受信して表示部２に表示させる。
コンテンツソース機器７１とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のＡＶ（Audio-Visual）機器や、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器７１も、表示装置１を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器７１から表示装置１に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
【００２０】
図２（ｄ）は、表示装置１が通信機能、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７０やコンテンツソース機器７１と通信を行う例である。この場合表示装置１は、ネットワーク７３を介して各種データを受信し、その受信したデータの画像を表示部２で表示させる。
【００２１】
［２．表示装置の構成例］
図３に表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０はユーザの状況に基づいて、表示装置１内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能１０ａと、ユーザ状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
【００２２】
表示装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
【００２３】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
【００２４】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
【００２５】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール部２７に供給される。
画像入出力コントロール部２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち撮像系（撮像信号処理部１５）、表示系（表示画像処理部１２）、ストレージ部２５、通信部２６の間の画像データの転送を制御する。
例えば画像入出力コントロール部２７は、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えば通信部２６で受信された画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給する動作を行う。
【００２６】
表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
例えば撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データは、画像入出力コントロール部２７を介して表示画像処理部１２に供給することができる。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、供給された画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成や、供給された画像データの分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を供給された画像データに合成する処理なども行うことができる。つまり供給された画像データに対しての各種処理を行うことができる。
【００２７】
表示駆動部１３は、表示画像処理部１２から供給される画像データを、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
【００２８】
なお、ストレージ部２５で再生された画像データや、通信部２６で受信された画像データも、画像入出力コントロール部２７を介して表示画像処理部１２に供給できる。その場合、表示画像処理部１２、表示駆動部１３の上記動作により、表示部２において再生画像や受信画像が出力されることになる。
【００２９】
また表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを出力する。
【００３０】
音声入力部６で得られた音声データは音声入出力コントロール部２８に供給される。
音声入出力コントロール部２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。即ち音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。
例えば音声入出力コントロール部２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。
【００３１】
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、或いは通信部２６からの音声データが、音声入出力コントロール部２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。
【００３２】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disc Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録媒体から画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。
【００３３】
通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、図２で述べた撮像装置７０やコンテンツソース機器７１などとしての各種の機器が考えられる。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
【００３４】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生した画像データは、画像入出力コントロール部２７を介して通信部２６に供給することができる。また音声入力部６で得られた音声データや、ストレージ部２５で再生された音声データは、音声入出力コントロール部２８を介して通信部２６に供給することができる。
通信部２６はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。
また通信部２６は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部２７へ出力し、また受信復調した音声データは音声入出力コントロール部２８へ出力する。
【００３５】
表示装置１には照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【００３６】
この表示装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を有する。
視覚センサ１９は、ユーザの視覚に関する情報を検出する。視覚センサ１９は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ２２は、ユーザの生体情報を検出する。例えば生体センサ２２は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応（ＧＳＲ）、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ２２の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
【００３７】
これら視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２により、表示装置１を装着したユーザの動作又は身体の状況に関する情報（使用者情報）が取得され、システムコントローラ１０に供給される。
システムコントローラ１０はユーザ状況判定機能１０ａの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ１０は判定したユーザの意志又は状況に応じて動作制御機能１０ｂの処理により、表示動作に関する制御を行う。即ちシステムコントローラ１０は表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御したり、表示するデータのソースを選択したり、ストレージ部２５の再生動作や通信部２６の通信動作の制御を行う。
【００３８】
なお、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、入力部１７を示したが、これらは必ずしも全てを備える必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
【００３９】
次に図４は、撮像機能を有しない表示装置１の構成例を示すものである。なお、図３と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図４の構成は、図３の構成から、撮像部３，撮像信号処理部１５、撮像制御部１１、照明部４、照明制御部１８、音声入力部６を省いたものとなっている。
【００４０】
上記図３の構成例の場合、表示部２に表示させるデータのソースは、撮像機能系（撮像部３，撮像信号処理部１５、撮像制御部１１）と、再生機能系（ストレージ部２５）と、受信機能系（通信部２６）の３つとなるが、この図４の構成例の場合、表示部２に表示させるデータのソースは、再生機能系（ストレージ部２５）と、受信機能系（通信部２６）の２つとなる。
つまり図３は表示画像のソースとして表示装置１内に３系統のソースを備える場合の例であり、図４は表示装置１内に２系統のソースを備える場合の例である。
なお図示しないが表示装置１の構成例としては、この図３，図４以外に、表示装置１内の表示画像のソースとして、例えば撮像機能系のみを備える例、再生機能系のみを備える例、受信機能系のみを備える例、撮像機能系と再生機能系を備える例、撮像機能系と受信機能系を備える例などが、それぞれ考えられる。
【００４１】
［３．表示例］
システムコントローラ１０が、ユーザの意志又は状況に応じて表示動作に関する制御を行い、表示するデータのソースを選択したり、表示画像処理を行うことなどにより、ユーザは表示部２において多様な表示態様、表示内容の画像を見ることができる。図５から図１０により、各種の表示例を示す。
【００４２】
図５（ａ）は表示部２がスルー状態となっている場合を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図５（ｂ）は、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図５（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
図５（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合であり、望遠画像が表示部２に表示されている。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。
【００４３】
上記図５（ｂ）（ｃ）は撮像機能系を画像ソースとして表示部２に表示を行った例を示したが、図６はストレージ部２５を表示画像のソースとして表示部２に表示を行う例を示している。
図６（ａ）は、ストレージ部２５における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部２で表示されている例である。
図６（ｂ）は、ストレージ部２５における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部２で表示されている例である。
図６（ｃ）は、ストレージ部２５における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部２で表示されている例である。
これら図６（ａ）（ｂ）（ｃ）のようにユーザは表示装置１を用いて記録媒体に記録されたデータの再生画像を楽しむことができる。
【００４４】
次に図７，図８は通信部２６を表示画像のソースとして表示部２に表示を行う例を示している。
図７は、図２（ｂ）又は図２（ｄ）のような通信で、外部の撮像装置７０から送信され、通信部２６で受信した画像を表示する例である。
図７（ａ）は、例えばユーザからの視界が図５（ａ）のようであり、つまりスタジアムで客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像を行う撮像装置７０による映像を、通信部２６で受信し、表示部２に表示させている例である。例えば監督席近辺に設置された撮像装置７０や、審判が装着する小型の撮像装置７０などからの映像を受信して、表示部２で表示することで、より興味深く試合観戦を行うことができる。
図７（ｂ）は、リゾート地に設置した撮像装置７０や、旅行中の知人が所持する撮像装置７０によって撮像した映像を、通信部２６で受信し、表示部２に表示させている例である。このような映像表示により、ユーザは、例えば自宅等にいながら、多様な地域の映像を見ることができる。
図７（ｃ）は、航空機や衛星に設置された撮像装置７０で撮像した地上の映像（バードビュー映像）を、通信部２６で受信し、表示部２に表示させている例である。このような映像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
【００４５】
図８は、図２（ｃ）又は図２（ｄ）のような通信で、外部のコンテンツソース機器７１から送信され、通信部２６で受信した画像を表示する例である。
図８（ａ）は、ＡＶ機器やパーソナルコンピュータ等のコンテンツソース機器７１から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部２で表示されている例である。
図８（ｂ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、表示装置１に送信させ、表示装置１においては通信部２６で受信した画像データを表示部２で表示させている例である。
図８（ｃ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１において見ることのできる写真画像の一覧表示画像などを表示装置１に送信させ、表示装置１において通信部２６で受信し、表示部２に表示させている例である。
例えばこのようにコンテンツソース機器７１からの画像として、ビデオプレーヤ等のＡＶ機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置１において、これらの画像を確認したり、各種の作業を行うことができる。
【００４６】
なお、図６はストレージ部２５をソースとする画像、図８は通信部２６をソースとする画像として述べたが、例えば図８で例に挙げた画像内容を、ストレージ部２５からの再生画像と考えることもできるし、図６で例に挙げた画像内容を、外部機器から送信されて通信部２６で受信した画像と考えることもできる。
【００４７】
図９，図１０，図１１は、上記のような各種ソース（撮像機能系、再生機能系、又は受信機能系）からの画像について、表示態様や画像データに関する処理を行う例である。
図９（ａ）は、表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して分割表示を指示することにより、図９（ｂ）のような画像を表示部２に表示させることができる。即ち表示部２の画面上を領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態又は通常画像表示とし、領域ＡＲ２には、例えばストレージ部２５或いは通信部２６をソースとする画像（例えば再生又は受信した映像コンテンツの画像など）を表示させている例である。
また図９（ｃ）は他の分割表示の例を示しており、この場合は表示部２の画面上を領域ＡＲ１、ＡＲ２、ＡＲ３，ＡＲ４に分割するとともに、各領域には、所定時間間隔で画像の１フレームを抽出して表示させている。例えば表示画像処理部１２に、画像データについて０．５秒間隔で１フレームを抽出させ、抽出したフレームの画像を領域ＡＲ１→ＡＲ２→ＡＲ３→ＡＲ４→ＡＲ１→ＡＲ２・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部２で分割表示により実行した例である。
もちろん画面上の複数の領域で、それぞれ異なるソースからの画像を表示することも考えられる。
【００４８】
図１０（ａ）は表示部２に、撮像機能系、再生機能系、又は受信機能系からの画像がそのまま通常のサイズで表示されている場合を示している。
このときにシステムコントローラ１０が、表示制御部１４を介して表示画像処理部１２に対して画像拡大処理を指示することで、図１０（ｂ）のような拡大画像を表示部２に表示させることができる。
【００４９】
図１１（ａ）は表示部２に、撮像機能系、再生機能系、又は受信機能系からの画像が通常に表示されている場合を示している。
但しこの表示画像は、輝度の低い画像であって、ユーザにとって快適な見やすい画像ではないとする。
このような場合に、システムコントローラ１０は表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図１１（ｂ）のように、よりはっきりした画像を表示部２に表示させることができる。
【００５０】
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像機能系、再生機能系、受信機能系というソースの選択や、撮像機能系や再生機能系の動作、さらには表示画像処理部１２，表示駆動部１３の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、撮像機能系を表示画像ソースとする場合は、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示（高フレームレートや低フレームレートでの撮像など）、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示なども可能である。
また再生機能系、受信機能系を表示画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像表示や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の表示も可能である。
また表示画像処理部１２の処理により、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト表示なども想定される。
【００５１】
［４．ユーザ状況の判定］
上述したように本例の表示装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を有する。
【００５２】
視覚センサ１９は、ユーザの視覚に関する情報を検出するものとするが、この視覚センサ１９は、一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、ユーザ状況判定機能１０ａが画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ１９は、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
【００５３】
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、表示装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。
【００５４】
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば加速度センサ２０は直線方向の動きを検出し、ジャイロ２１により回転系の動きや振動を検出する場合に適している。
加速度センサ２０やジャイロ２１の配置位置にもよるが、加速度センサ２０やジャイロ２１によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の表示装置１の内部に取り付けられた場合、つまり加速度センサ２０及びジャイロ２１がユーザの頭部の動きを検出するものとされた場合は、加速度センサ２０の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ２１はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ２０及びジャイロ２１によっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ２０やジャイロ２１が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
【００５５】
生体センサ２２は、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが表示装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが表示装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ２２による検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサ２２は、例えば眼鏡型の表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
【００５６】
［５．各種動作例］
本実施の形態の表示装置１は、以上のように視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２から検出されるユーザの情報に応じて、システムコントローラ１０が表示動作に関する制御することで、表示部２においてユーザの意志や状況に応じた表示を実行し、これによってユーザに好適な画像を提供できる。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
【００５７】
図１２は、システムコントローラ１０の動作制御機能１０ｂとしての制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２をスルー状態とする制御処理を示している。例えば表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示部２をスルー状態に制御する。
表示部２をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２で表示開始のトリガが発生したか否かを確認している。ここでは表示開始トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示部２での表示を開始させるとシステムコントローラ１０自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザ個人の認識も含む）によって、システムコントローラ１０は表示開始トリガの有無を判断する。具体例は後述する。
【００５８】
表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、表示開始制御を行う。即ち表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、供給されるデータを通常撮像画像の態様で表示部２に表示させる動作を実行させる。
表示画像処理部１２には、画像入出力コントロール部２７を介して画像データが供給されるが、例えば図３又は図４のように複数の画像データソースを備える場合は、この時点では、撮像機能系（撮像部３、撮像信号処理部１５）、再生機能系（ストレージ部２５）、受信機能系（通信部２６）のソースのうちで内でデフォルト設定で選択されているソースからの画像データが、表示画像処理部１２に供給されるようにすればよい。例えば撮像機能系をデフォルト設定のソースであるとすると、ステップＦ１０３の表示開始制御の際に、システムコントローラ１０は撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、その撮像信号としての画像データを、画像入出力コントロール部２７を介して表示画像処理部１２に供給させる。この場合、表示部２では例えば図５（ａ）のスルー状態から例えば図５（ｂ）の通常撮像画像のモニタ表示状態に切り換えられることになる。
また、デフォルト設定のソースがストレージ部２５であれば、表示開始制御の際にストレージ部２５の制御も行い、コンテンツの再生やコンテンツ選択等のメニュー画面を表示部２に表示させてもよいし、デフォルト設定のソースが通信部２６であれば、表示開始制御の際に通信部２６の動作の制御も行い、通信用の画面や、外部機器からの受信データによる表示を表示部２に実行させてもよい。
もちろん、ソースが１つの構成の場合は、そのソースからの画像データが表示画像処理部１２に供給されるようにすればよい。
さらには、ステップＦ１０３での表示開始制御の際には、画像ソースからの画像データは供給させず、初期画面としてメニュー画面やソース選択画面等を表示部２に表示させるような制御を行うことも考えられる。
【００５９】
なお、この図１２の処理では音声出力部５からの音声出力動作については特に述べないが、表示部２で表示動作が実行される際には、システムコントローラ１０は、表示画像と同一のソースからの音声データに基づく音声出力が実行されるよに音声入出力コントロール部２８及び音声信号処理部１６を制御するものとする。
【００６０】
表示部２で或るソースからの画像の表示を行っている期間は、システムコントローラ１０は、ステップＦ１０４で表示制御トリガが発生したか否かを監視し、またステップＦ１０５でソース切換トリガが発生したか否かを監視し、またステップＦ１０６で表示終了トリガが発生したか否かを監視する。
表示制御トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示動作における表示画像態様や表示する画像データに関する処理などについての変更を行うとシステムコントローラ１０自身が判断することを意味している。
またソース切換トリガの発生とは、例えば図３，図４のように表示装置１に複数のソースが設けられている場合に、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示する画像データのソースの切換を行うとシステムコントローラ１０自身が判断することを意味している。
また表示終了トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示部２での表示を終了してスルー状態への切り換えを行うとシステムコントローラ１０自身が判断することを意味している。
これらのトリガ発生は、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザの身体状況やユーザ個人の認識など）によって、システムコントローラ１０が判断するが、その判断手法やトリガに応じた制御内容についても、具体例は後述する。
【００６１】
表示制御トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０７に進め、画像の表示動作に関しての制御を行う。つまり表示制御部１４に所定の指示を与え、その時点のユーザの意志又は状況に応じた態様の表示を表示部２において実行させる。その時点で選択されているソースによっては、システムコントローラ１０は撮像機能系の制御、ストレージ部２５に対する動作制御、通信部２６に対する動作制御を行う場合もある。
ステップＦ１０７で表示動作制御を行った後も、システムコントローラ１０はステップＦ１０４，Ｆ１０５，Ｆ１０６のトリガ発生の監視を行う。
【００６２】
ソース切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０８に進め、ソース切換制御を行う。この場合、切換前後のソースに対する動作制御や、新たなソースからの画像データ／音声データが、表示画像処理部１２／音声信号処理部１６に供給されるように画像入出力コントロール部２７／音声入出力コントロール部２８の制御を行う。
このソース切換制御により、例えば表示部２は、撮像部３で撮像された画像が表示されていた状態から、例えばストレージ部２５での再生画像が表示される状態等に切り換えられることになる。
ステップＦ１０８でソース切換制御を行った後も、システムコントローラ１０はステップＦ１０４，Ｆ１０５，Ｆ１０６のトリガ発生の監視を行う。
【００６３】
表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０６からＦ１０１に戻し、表示制御部１４に対して表示部２をスルーとする指示を行う。またその時点で選択されていた画像ソースに対して画像供給動作の終了を指示する。
【００６４】
ユーザが表示装置１を装着して電源オンとしている期間は、システムコントローラ１０の動作制御機能１０ｂは、例えばこの図１２のような制御処理を行うことになる。
そしてこの処理においては、表示開始トリガの判断による表示開始制御、表示制御トリガの判断による表示態様制御、ソース切換トリガの判断によるソース切換制御、及び表示終了トリガの判断による表示部２の表示を停止させてスルー状態とする制御を行うが、これらのトリガ判断と制御内容の具体例について、図１３以降で説明していく。
【００６５】
図１３から図１９は、システムコントローラ１０のユーザ状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１２の処理を実行している期間中に、図１３〜図１９のような検知処理が定期的に割込処理として行われればよいものである。これら図１３〜図１９のような処理のプログラムは、図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【００６６】
まず図１３で、スルー状態から表示状態に切り換える、表示開始トリガの判断についての例を述べる。
図１３（ａ）（ｂ）は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図１３（ａ）のステップＦ２００では、システムコントローラ１０が加速度センサ２０、又はジャイロ２１からの検出情報（加速度信号、角速度信号）を監視する処理を示している。
例えば首を縦に２回振る、左右に１往復振る、首を１周回す・・など、特定の動作を、ユーザが表示開始を求める操作であると設定されているとする。システムコントローラ１０は、加速度センサ２０又はジャイロ２１（又はその両方）からの検出情報により、そのような表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップＦ２０１からＦ２０２に進め、表示開始トリガ発生と判別する。
このようにステップＦ２０２で表示開始トリガ発生と判別することにより、上記図１２の処理はステップＦ１０２からＦ１０３に進むことになり、システムコントローラ１０は表示部２において画像表示を開始する制御を実行することになる。
なお加速度センサ２０又はジャイロ２１からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。
【００６７】
図１３（ｂ）は、視覚センサ１９の情報に基づいて表示開始トリガを判別する例である。
システムコントローラ１０はステップＦ２１０で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示開始を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ２１１からＦ２１２に進め、表示開始トリガ発生と判別する。
ステップＦ２１２で表示開始トリガ発生と判別することにより、上記図１２の処理はステップＦ１０２からＦ１０３に進むことになり、システムコントローラ１０は表示部２において画像表示を開始する制御を実行することになる。
なお視覚センサ１９からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に２往復させるなど、他にも各種考えられる。
【００６８】
図１３（ｃ）は、ユーザが表示装置１を装着すること自体を、表示開始トリガとする例である。
システムコントローラ１０はステップＦ２３０で、生体センサ２２からの脳波、心拍数、皮膚電気反応などの情報をチェックする。
そしてステップＦ２３１でシステムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが表示装置１を装着したか否かを判断する。生体センサ２２により人体からの情報が得られる状態になったか否かによりユーザの装着を検知できる。
システムコントローラ１０はユーザが表示装置１を装着したと判別した場合は、処理をステップＦ２３１からＦ２３２に進め、表示開始トリガ発生と判別する。
このようにステップＦ２３２で表示開始トリガ発生と判別することにより、上記図１２のステップＦ１０３で、システムコントローラ１０は表示開始制御を行うことになる。
このように例えば生体センサ２２の反応により、ユーザによる装着を検出できるため、生体センサ２２による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始されたことを撮像開始トリガ発生とする。これにより、ユーザが装着したら表示を開始するという動作制御を実行できる。
【００６９】
なお、不特定のユーザの装着ではなく、特定のユーザが装着したら、表示を開始するという制御ことも考えられる。上述のように視覚センサ１９で検出する眼底パターンや生体センサ２２による検出信号によっては、ユーザの個人を識別できる。例えば予め使用するユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ１０は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ１０は、表示装置１が或るユーザに装着された際に個人認証を行い、特定のユーザを認識した場合に、それを表示開始トリガと判別し、表示開始制御を行うこともできる。
【００７０】
なお、ユーザの無意識的な挙動や身体状況によって撮像開始トリガを判別する処理として他にも各種想定される。
例えば視覚センサ１９からの情報で、ユーザの視線が急に動いた場合に撮像開始トリガ発生と判断するなど、視覚センサ１９の情報を用いたり、また音声入力部６からの入力音声に基づいて表示開始トリガ発生を判断することも考えられる。
【００７１】
なお、以上のような表示開始トリガに応じて画像を表示部２に表示させる際には、図９（ｂ）のように表示部２の画面上でスルー状態の領域ＡＲ１を残し、一部の領域ＡＲ２において画像表示を行うようにしてもよい。
また図１２には示していないが、上記図１３（ｃ）のようなユーザによる装着検出を電源オンのトリガとし、システムコントローラ１０はユーザの装着を検知したら表示装置１の電源をオンとするようにしてもよい。
この場合、逆に、ユーザが表示装置１を取り外したことを検知したら、電源オフとすればよい。
【００７２】
次に、図１２のステップＦ１０４としての、表示制御トリガ発生の判断に関する処理例を図１４から図１７で説明する。
図１４は、ユーザの視線の動きにより表示画像のページや選択部分の進み／戻しの制御を行う例である。
システムコントローラ１０は図１４のステップＦ３００で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ１０は、ユーザの視線方向が左方に移動したことを検知したら、ステップＦ３０１からＦ３０３に進め、画像戻しのトリガ発生と判別する。
またシステムコントローラ１０は、ユーザの視線方向が右方に移動したことを検知したら、ステップＦ３０２からＦ３０４に進め、画像進みのトリガ発生と判別する。
これらの場合、上記図１２の処理はステップＦ１０４からＦ１０７に進むことになり、システムコントローラ１０は表示画像の進み／戻しの制御を行う。例えばストレージ部２５をソースとし、その再生画像として図６（ｃ）や図８（ｃ）のような画像を表示させているときに、そのページ又は選択部分の進み／戻しが行われるように表示画像処理部１２やストレージ部２５の制御を行う。
【００７３】
ここでは視線方向の左右の動きを検知したが、例えば視線方向の上下の動きを検知したときに、画面スクロールのトリガ発生と判別し、表示画面のスクロール処理を実行させるようにすることも好適である。
【００７４】
図１５は、ユーザの視覚としての快、不快の感覚に応じた制御の例である。
システムコントローラ１０は図１４のステップＦ４００で、視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況（単位時間あたりのまばたき回数など）を検出する。
またステップＦ４０１で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ１０は、これらの視覚センサ１９や生体センサ２２からの情報に基づいて、表示部２の表示画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ１０は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップＦ４０２からＦ４０３に進め、画像の調整制御のトリガ発生と判別する。その場合ステップＦ４０４で、ユーザの状況に応じて快適と考えられる調整値、例えば表示輝度、コントラスト、シャープネス等の調整値を算出する。
このステップＦ４０３，Ｆ４０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、この場合は表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、ユーザにとって快適な表示画像となる。
例えばユーザの撮像機能系からの撮像画像を表示しているときの周囲の明るさや、ユーザの眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このような処理が行われることで、快適な視覚状況を提供できる。例えば図１１（ａ）のように暗くて見にくい画像が表示されている場合に、図１１（ｂ）のようなはっきり見えるような画像を提供したり、また眼が疲れてきたような場合は、柔らかな画質の画像とすることなどが可能となる。
【００７５】
図１６はユーザの首（頭部）の動きを操作とみなす処理である。
システムコントローラ１０はステップＦ５００で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ステップＦ５０１でユーザの頭部の動きを判定する。例えばここでは、後ろに２回頭部を傾ける動作があったか、又は前に２回頭部を傾ける動作があったか、又は２回左に首を振る動作があったかを判定する。
後ろに２回頭部を傾ける動作を検出した場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０５に進め、画像拡大のトリガ発生と判別する。
この場合、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、表示画像処理部１２に画像拡大処理を指示する。これにより表示部２では、例えば図１０（ｂ）のような拡大画像が表示されることになる。
また前に２回頭部を傾ける動作を検出したら、システムコントローラ１０は処理をステップＦ５０３からＦ５０６に進め、画像縮小のトリガ発生と判別する。この場合も、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、表示画像処理部１２にに画像縮小処理を指示する。これにより表示部２では、縮小画像が表示されることになる。
また２回左に首を振る動作を検出したら、システムコントローラ１０は処理をステップＦ５０４からＦ５０７に進め、拡大／縮小倍率をリセットするというトリガ発生と判別する。この場合も、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、表示画像処理部１２に拡大／縮小処理をリセットさせる。これにより表示部２では、標準倍率に戻された画像が表示されることになる。
【００７６】
図１７は、視覚センサ１９の情報により表示画面上での操作入力のトリガを判別する例である。
システムコントローラ１０は図１７のステップＦ６００で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析し、表示部２を見ているユーザの視線移動やまばたきを検出する。
システムコントローラ１０は、ユーザの視線移動を検知したら、ステップＦ６０１からＦ６０３に進め、表示画面上のカーソル（画面上のポインタ）の移動のトリガ発生と判別する。そしてステップＦ６０４で、視線の移動方向と移動量から、画面上でのカーソル移動方向と移動量を算出する。
この場合、システムコントローラ１０は図１２のステップＦ１０７で、表示画像処理部１２にカーソル移動を指示する。例えば図８（ｂ）（ｃ）のような画像を表示しているときに、その表示画面上でカーソルを移動させる。
また、システムコントローラ１０は、ユーザが２回連続してまばたきを行ったことを検知したら、ステップＦ６０２からＦ６０５に進め、クリック操作のトリガ発生と判別する。この場合、システムコントローラ１０は図１２のステップＦ１０７で、クリック操作に応じた制御処理を行うことになる。例えばストレージ部２５での再生画像に関しての何らかの操作であれば、操作に応じたストレージ部２５の再生動作の制御を行い、また通信部２６で受信している画像上でのクリック操作であれば、その際のカーソル位置やクリック操作の情報を外部機器に送信するなどの処理を行う。
このような処理により、ユーザの眼の動作を、コンピュータシステムにおけるマウスの操作と同等に扱うことができる。また、図６（ｂ）のようなゲーム画像を表示しているときに、ユーザの視線方向やまばたきをゲームに対する操作として扱うこともできる。
【００７７】
ここまでの図１４，図１５，図１６、図１７の処理として、ユーザの意識的な動作や無意識な動作又は身体状況に応じて、表示画像の表示態様、或いは表示する画像データの処理、或いは表示画面上での操作などの制御を行う例を挙げたが、これらは一例にすぎず、他にも表示制御トリガの判別及び制御例として非常に多様な例が考えられる。
表示制御トリガとしては、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２の各情報から各種のユーザの挙動や身体状況を検知し、所定の条件が満たされた場合にトリガ発生と判断すればよい。
【００７８】
そして多様な条件において表示制御トリガ発生と判断した場合の制御例として、表示画像処理部１２に対する制御としては、拡大／縮小の制御、輝度、コントラスト、シャープネス等の調整制御、モザイク画像／輝度反転画像／ソフトフォーカスなどの画像エフェクト表示、更には図９のような画面分割やストロボ表示などの制御を、ユーザの挙動や身体状況に応じて実行できる。
また撮像機能系をソースとして撮像画像を表示部２に表示している場合は、撮像部３，撮像信号処理部１５の動作制御として、望遠／広角のズーム処理、撮像感度の制御、撮像フレームレートの切換、赤外線撮像感度や紫外線撮像感度の変更制御などを行うことが考えられる。
またストレージ部２５での再生画像や通信部２６での受信画像を表示部２に表示している場合は、表示制御トリガを、早送り／早戻し、頭出し、コマ送り、スロー、一時停止などの変速再生制御を行ったり、ページ送り、ページスクロール、一覧表示上での選択部分の送り、カーソル移動、決定操作、ゲーム操作などのトリガとして扱い、ストレージ部２５や通信部２６に所要の動作を実行させるように制御することが想定される。
即ち、表示制御トリガの発生判断の条件と、それに応じた制御内容としては、これらの中でのあらゆる組み合わせが考えられる。
【００７９】
また、以上のように表示制御のトリガに応じて表示部２の表示を切り換える際には、図９（ｂ）のように表示部２の画面上でスルー状態もしくは通常撮像画像の領域ＡＲ１を残し、一部の領域ＡＲ２において、異なる態様の画像の表示を行うようにしてもよい。もちろん逆に広い領域ＡＲ１において、画像制御トリガに応じた画像を表示してもよいし、画面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。
【００８０】
ところで以上の図１４〜図１７では表示制御トリガの発生判断の例と、それに応じた制御の例について述べたが、図１２のステップＦ１０５で判断するソース切換トリガについても、同様に各種の例が想定される。
即ち視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２の各情報から各種のユーザの意識的な挙動や無意識の動作や身体状況を検知し、所定の条件が満たされた場合にソース切換トリガ発生と判断すればよい。
そして図１２のステップＦ１０８では、そのソース切換トリガ発生に応じて、システムコントローラ１０は表示画像処理部１２に供給する画像データのソースを切り換える制御を行う。
【００８１】
続いて、図１２のステップＦ１０６として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図１８，図１９で述べる。
図１８（ａ）は、ユーザが意識的な挙動により表示を終了させる処理例である。
図１８（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、表示終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【００８２】
図１８（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１８（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、表示終了トリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進み、表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【００８３】
続いて、図１２のステップＦ１０６として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図１８，図１９で述べる。
図１８（ａ）は、ユーザが意識的な挙動により表示を終了させる処理例である。
図１８（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、表示終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。
【００８４】
図１８（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１８（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、表示終了トリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進み、表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。
【００８５】
この図１８（ａ）（ｂ）のような処理により、ユーザがスルー状態を求めた場合に、スルー状態となるという、ユーザの意志に応じた制御が実行される。もちろん、スルー状態に戻すというユーザの意志を表す挙動は、他にも各種考えられる。
【００８６】
図１９（ａ）は、ユーザの動作（操作として意識しない動作）に応じて自動的にスルー状態に戻す処理例である。
図１９（ａ）において、システムコントローラ１０はステップＦ９００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ１０は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップＦ９０１からＦ９０２に進め、表示終了トリガ発生と判断する。
このステップＦ９０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【００８７】
例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図５（ｂ）のような通常撮像画像の表示に切り換えるようにしてもよい。
【００８８】
図１９（ｂ）は、ユーザの身体状況に応じて自動的にスルー状態に戻す処理例である。
図１９（ｂ）において、システムコントローラ１０はステップＦ９１０で、生体センサ２２からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。
またステップＦ９１１で視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況（単位時間あたりのまばたき回数など）を検出する。
システムコントローラ１０は、生体センサ２２や視覚センサ１９からの情報に基づいて、ユーザの眼が疲労している状態にあるか否かを判断する。
そして、ユーザの眼が疲労していると判断した場合は、ステップＦ９１２からＦ９１３に進み、表示終了トリガ発生と判断する。
このステップＦ９１３の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部２はスルー状態に戻る。
このようにユーザの眼の疲れなどの身体状況に応じて表示部２の表示を終了させることで、ユーザの身体に負担をかけないような表示装置１の使用が実現できる。
【００８９】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された表示部２により、使用者の目の直前で画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担をかけずに、ユーザの意志又は状況に応じた的確な表示動作が実行される。これにより表示装置１は、ユーザにとって使用性が良く、また多様な視界光景を提供できる装置となる。
また表示部２は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットにより装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の表示装置１の利点を有効に活用できる。
【００９０】
なお、実施の形態では特に表示動作に関する制御について説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ２２の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像、再生画像、受信画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部５から出力させるようにすることも考えられる。
また、表示装置１の外観や構成は図１，図３，図４の例に限定されるものではなく、各種の変形例が考えられる。
表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
【符号の説明】
【００９１】
１ 表示装置、２ 表示部、３ 撮像部、４ 照明部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 音声信号処理部、１７ 入力部、１９ 視覚センサ、２０ 加速度センサ、２１ ジャイロ、２２ 生体センサ、２５ ストレージ部、２６ 通信部
【技術分野】
【０００１】
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの目の前方に位置するように表示手段が配置されて画像の表示を行う表示装置と、表示方法に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開平８−１２６０３１号公報
【特許文献２】特開平９−２７９７０号公報
【特許文献３】特開平９−１８５００９号公報
【背景技術】
【０００３】
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、ユーザが操作キー等の操作子の操作を不要としたうえで、ユーザの意志や状況に応じて、ユーザにとって望ましい表示動作を行う装置は開発されていない。
そこで本発明では、ユーザの状況（意志や身体状況等）に応じて、的確な表示動作が行われるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の表示装置は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段と、上記使用者情報取得手段で取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、を備える。
【０００６】
上記制御手段は、使用者が快適でないと判断した場合、輝度、コントラスト又はシャープネスの調整値を算出し、表示手段の画質を調整する制御を行う。
画像の撮像を行う撮像手段を更に備え、上記制御手段は、上記撮像手段で撮像された画像を上記表示手段に表示する制御を行う。
請求項１に記載の表示装置。
【０００７】
上記制御手段は、使用者の眼が疲労している状態かを判定し、使用者の眼が疲労していると判断した場合には、上記表示手段の表示を終了させる制御を行う。
上記使用者の視覚情報を検出するセンサは、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は、使用者の眼底パターン、又はまぶたの動きを検出するためのセンサである。
上記生体センサは、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出する。
【０００８】
本発明の表示方法は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、上記使用者情報取得ステップで取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップとを備える。
【０００９】
以上の本発明では、使用者（ユーザ）は、表示装置を例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより装着することで、目の前方に位置する表示手段を視認する状態となる。即ちユーザは装着状態で、撮像手段で撮像された画像や、再生手段で再生されたデータの画像、或いは受信手段で受信されたデータの画像などを表示手段で視認できる。
ここで、表示動作のオン／オフ／スルー、表示する画像データのソースの選択、各種表示動作態様（例えば分割表示、拡大／縮小表示、表示輝度などの表示画質調整、画像のスクロールやページ送り／ページ戻しなど）、表示に対する入力、再生画像表示の際の再生動作など、表示動作に関する制御としてユーザの意志や状況に応じた適切な制御が行われることが好ましいが、本発明では、これらをユーザの操作子の操作ではなく、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて各種適切な制御を行うようにする。
【発明の効果】
【００１０】
本発明によれば、ユーザの眼の直前とされる表示手段で各種画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担がないまま、ユーザの意志又は状況に応じた的確な表示動作が実行される。これによりユーザにとって使用性が良く、また多様な視界光景を提供できる表示装置を実現できるという効果がある。
また表示手段は透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の表示装置の利点を有効に得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態の表示装置の外観例の説明図である。
【図２】実施の形態の表示装置の使用形態の説明図である。
【図３】実施の形態の表示装置の構成例のブロック図である。
【図４】実施の形態の表示装置の他の構成例のブロック図である。
【図５】実施の形態のスルー状態と撮像画像表示状態の説明図である。
【図６】実施の形態のストレージ部から画像の表示状態の説明図である。
【図７】実施の形態の通信部からの画像の表示状態の説明図である。
【図８】実施の形態の通信部からの画像の表示状態の説明図である。
【図９】実施の形態の分割表示の説明図である。
【図１０】実施の形態の拡大画像の表示状態の説明図である。
【図１１】実施の形態の明るさ調整画像の表示状態の説明図である。
【図１２】実施の形態の制御処理のフローチャートである。
【図１３】実施の形態の表示開始トリガの判別処理のフローチャートである。
【図１４】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１５】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１６】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１７】実施の形態の表示制御トリガの判別処理のフローチャートである。
【図１８】実施の形態の表示終了トリガの判別処理のフローチャートである。
【図１９】実施の形態の表示終了トリガの判別処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
［１．表示装置の外観例及び外部機器との関連］
［２．表示装置の構成例］
［３．表示例］
［４．ユーザ状況の判定］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］
【００１３】
［１．表示装置の外観例及び外部機器との関連］
実施の形態として、図１に眼鏡型ディスプレイとした表示装置１の外観例を示す。表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【００１４】
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
【００１５】
なお図１は一例であり、表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。
また図１は撮像機能を含む例としているが、撮像機能を備えない例も考えられる。
さらには、表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。
【００１６】
ところで内部構成例については後述するが、この表示装置１は、記録媒体に対して再生を行う再生機能（図３，図４で述べるストレージ部２５）や、外部機器と通信を行う通信機能（図３，図４で述べる通信部２６）を備えることも考えられる。
従って、表示部２において表示する画像としてのデータのソースは、撮像機能部位、再生機能部位、通信機能部位が想定される。
図２は、表示装置１の使用形態を、外部機器との関連において例示したものである。
【００１７】
図２（ａ）は表示装置１を単体で使用する場合であり、この場合、表示装置１が撮像機能を有していれば、撮像された画像データを表示部２に表示させることができる。また、表示装置１が再生機能を有していれば、記録媒体から再生されたデータによる画像を表示部２に表示させることができる。記録媒体から再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成して記録媒体に記録した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、記録媒体に記録されたゲームプログラムに基づくゲーム画像など、記録媒体に記録されて表示対象となるあらゆるデータが想定される。
【００１８】
図２（ｂ）は、表示装置１が通信機能を備え、外部の撮像装置７０と通信を行う例である。この場合、表示装置１は、撮像装置７０で撮像された画像（動画／静止画）を受信して表示部２に表示させる。外部の撮像装置７０とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また図１のように撮像機能を備えた表示装置１を、或る表示装置１に対して外部の撮像装置１と考えることもできる。
また外部の撮像装置７０は、表示装置１を用いるユーザ本人が所有する撮像装置であったり、表示装置１のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって表示装置１と通信可能とされているものなど多様に考えられる。
【００１９】
図２（ｃ）は、表示装置１が通信機能を備え、外部のコンテンツソース機器７１と通信を行う例である。この場合、表示装置１は、コンテンツソース機器７１から提供される画像（動画／静止画）を受信して表示部２に表示させる。
コンテンツソース機器７１とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のＡＶ（Audio-Visual）機器や、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器７１も、表示装置１を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器７１から表示装置１に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
【００２０】
図２（ｄ）は、表示装置１が通信機能、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７０やコンテンツソース機器７１と通信を行う例である。この場合表示装置１は、ネットワーク７３を介して各種データを受信し、その受信したデータの画像を表示部２で表示させる。
【００２１】
［２．表示装置の構成例］
図３に表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０はユーザの状況に基づいて、表示装置１内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能１０ａと、ユーザ状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
【００２２】
表示装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
【００２３】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
【００２４】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
【００２５】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号（撮像による画像データ）は画像入出力コントロール部２７に供給される。
画像入出力コントロール部２７は、システムコントローラ１０の制御に応じて、画像データの転送を制御する。即ち撮像系（撮像信号処理部１５）、表示系（表示画像処理部１２）、ストレージ部２５、通信部２６の間の画像データの転送を制御する。
例えば画像入出力コントロール部２７は、撮像信号処理部１５で処理された撮像信号としての画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えばストレージ部２５から再生された画像データを、表示画像処理部１２に供給したり、通信部２６に供給する動作を行う。
また画像入出力コントロール部２７は例えば通信部２６で受信された画像データを、表示画像処理部１２に供給したり、ストレージ部２５に供給する動作を行う。
【００２６】
表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
例えば撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データは、画像入出力コントロール部２７を介して表示画像処理部１２に供給することができる。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、供給された画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成や、供給された画像データの分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を供給された画像データに合成する処理なども行うことができる。つまり供給された画像データに対しての各種処理を行うことができる。
【００２７】
表示駆動部１３は、表示画像処理部１２から供給される画像データを、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
【００２８】
なお、ストレージ部２５で再生された画像データや、通信部２６で受信された画像データも、画像入出力コントロール部２７を介して表示画像処理部１２に供給できる。その場合、表示画像処理部１２、表示駆動部１３の上記動作により、表示部２において再生画像や受信画像が出力されることになる。
【００２９】
また表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを出力する。
【００３０】
音声入力部６で得られた音声データは音声入出力コントロール部２８に供給される。
音声入出力コントロール部２８は、システムコントローラ１０の制御に応じて、音声データの転送を制御する。即ち音声入力部６、音声信号処理部１６、ストレージ部２５、通信部２６の間の音声信号の転送を制御する。
例えば音声入出力コントロール部２８は、音声入力部６で得られた音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えばストレージ部２５で再生された音声データを、音声信号処理部１６に供給したり、通信部２６に供給する動作を行う。
また音声入出力コントロール部２８は例えば通信部２６で受信された音声データを、音声信号処理部１６に供給したり、ストレージ部２５に供給する動作を行う。
【００３１】
音声信号処理部１６は、例えばデジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなる。この音声信号処理部１６には、音声入力部６で得られた音声データや、ストレージ部２５、或いは通信部２６からの音声データが、音声入出力コントロール部２８を介して供給される。音声信号処理部１６は、供給された音声データに対して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を聞いたり、ストレージ部２５で再生された音声を聞いたり、通信部２６で受信された音声を聞くことができる。なお音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。
【００３２】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disc Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部２５はシステムコントローラ１０の制御に従って、記録媒体から画像データや音声データを再生する。再生した画像データは画像入出力コントロール部２７へ出力し、また再生した音声データは音声入出力コントロール部２８へ出力する。
【００３３】
通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、図２で述べた撮像装置７０やコンテンツソース機器７１などとしての各種の機器が考えられる。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
【００３４】
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、ストレージ部２５で再生した画像データは、画像入出力コントロール部２７を介して通信部２６に供給することができる。また音声入力部６で得られた音声データや、ストレージ部２５で再生された音声データは、音声入出力コントロール部２８を介して通信部２６に供給することができる。
通信部２６はシステムコントローラ１０の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。
また通信部２６は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部２７へ出力し、また受信復調した音声データは音声入出力コントロール部２８へ出力する。
【００３５】
表示装置１には照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【００３６】
この表示装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を有する。
視覚センサ１９は、ユーザの視覚に関する情報を検出する。視覚センサ１９は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ２２は、ユーザの生体情報を検出する。例えば生体センサ２２は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応（ＧＳＲ）、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ２２の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
【００３７】
これら視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２により、表示装置１を装着したユーザの動作又は身体の状況に関する情報（使用者情報）が取得され、システムコントローラ１０に供給される。
システムコントローラ１０はユーザ状況判定機能１０ａの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ１０は判定したユーザの意志又は状況に応じて動作制御機能１０ｂの処理により、表示動作に関する制御を行う。即ちシステムコントローラ１０は表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御したり、表示するデータのソースを選択したり、ストレージ部２５の再生動作や通信部２６の通信動作の制御を行う。
【００３８】
なお、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、入力部１７を示したが、これらは必ずしも全てを備える必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
【００３９】
次に図４は、撮像機能を有しない表示装置１の構成例を示すものである。なお、図３と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図４の構成は、図３の構成から、撮像部３，撮像信号処理部１５、撮像制御部１１、照明部４、照明制御部１８、音声入力部６を省いたものとなっている。
【００４０】
上記図３の構成例の場合、表示部２に表示させるデータのソースは、撮像機能系（撮像部３，撮像信号処理部１５、撮像制御部１１）と、再生機能系（ストレージ部２５）と、受信機能系（通信部２６）の３つとなるが、この図４の構成例の場合、表示部２に表示させるデータのソースは、再生機能系（ストレージ部２５）と、受信機能系（通信部２６）の２つとなる。
つまり図３は表示画像のソースとして表示装置１内に３系統のソースを備える場合の例であり、図４は表示装置１内に２系統のソースを備える場合の例である。
なお図示しないが表示装置１の構成例としては、この図３，図４以外に、表示装置１内の表示画像のソースとして、例えば撮像機能系のみを備える例、再生機能系のみを備える例、受信機能系のみを備える例、撮像機能系と再生機能系を備える例、撮像機能系と受信機能系を備える例などが、それぞれ考えられる。
【００４１】
［３．表示例］
システムコントローラ１０が、ユーザの意志又は状況に応じて表示動作に関する制御を行い、表示するデータのソースを選択したり、表示画像処理を行うことなどにより、ユーザは表示部２において多様な表示態様、表示内容の画像を見ることができる。図５から図１０により、各種の表示例を示す。
【００４２】
図５（ａ）は表示部２がスルー状態となっている場合を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図５（ｂ）は、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図５（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
図５（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合であり、望遠画像が表示部２に表示されている。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。
【００４３】
上記図５（ｂ）（ｃ）は撮像機能系を画像ソースとして表示部２に表示を行った例を示したが、図６はストレージ部２５を表示画像のソースとして表示部２に表示を行う例を示している。
図６（ａ）は、ストレージ部２５における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部２で表示されている例である。
図６（ｂ）は、ストレージ部２５における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部２で表示されている例である。
図６（ｃ）は、ストレージ部２５における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部２で表示されている例である。
これら図６（ａ）（ｂ）（ｃ）のようにユーザは表示装置１を用いて記録媒体に記録されたデータの再生画像を楽しむことができる。
【００４４】
次に図７，図８は通信部２６を表示画像のソースとして表示部２に表示を行う例を示している。
図７は、図２（ｂ）又は図２（ｄ）のような通信で、外部の撮像装置７０から送信され、通信部２６で受信した画像を表示する例である。
図７（ａ）は、例えばユーザからの視界が図５（ａ）のようであり、つまりスタジアムで客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像を行う撮像装置７０による映像を、通信部２６で受信し、表示部２に表示させている例である。例えば監督席近辺に設置された撮像装置７０や、審判が装着する小型の撮像装置７０などからの映像を受信して、表示部２で表示することで、より興味深く試合観戦を行うことができる。
図７（ｂ）は、リゾート地に設置した撮像装置７０や、旅行中の知人が所持する撮像装置７０によって撮像した映像を、通信部２６で受信し、表示部２に表示させている例である。このような映像表示により、ユーザは、例えば自宅等にいながら、多様な地域の映像を見ることができる。
図７（ｃ）は、航空機や衛星に設置された撮像装置７０で撮像した地上の映像（バードビュー映像）を、通信部２６で受信し、表示部２に表示させている例である。このような映像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
【００４５】
図８は、図２（ｃ）又は図２（ｄ）のような通信で、外部のコンテンツソース機器７１から送信され、通信部２６で受信した画像を表示する例である。
図８（ａ）は、ＡＶ機器やパーソナルコンピュータ等のコンテンツソース機器７１から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部２で表示されている例である。
図８（ｂ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、表示装置１に送信させ、表示装置１においては通信部２６で受信した画像データを表示部２で表示させている例である。
図８（ｃ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１において見ることのできる写真画像の一覧表示画像などを表示装置１に送信させ、表示装置１において通信部２６で受信し、表示部２に表示させている例である。
例えばこのようにコンテンツソース機器７１からの画像として、ビデオプレーヤ等のＡＶ機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置１において、これらの画像を確認したり、各種の作業を行うことができる。
【００４６】
なお、図６はストレージ部２５をソースとする画像、図８は通信部２６をソースとする画像として述べたが、例えば図８で例に挙げた画像内容を、ストレージ部２５からの再生画像と考えることもできるし、図６で例に挙げた画像内容を、外部機器から送信されて通信部２６で受信した画像と考えることもできる。
【００４７】
図９，図１０，図１１は、上記のような各種ソース（撮像機能系、再生機能系、又は受信機能系）からの画像について、表示態様や画像データに関する処理を行う例である。
図９（ａ）は、表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して分割表示を指示することにより、図９（ｂ）のような画像を表示部２に表示させることができる。即ち表示部２の画面上を領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態又は通常画像表示とし、領域ＡＲ２には、例えばストレージ部２５或いは通信部２６をソースとする画像（例えば再生又は受信した映像コンテンツの画像など）を表示させている例である。
また図９（ｃ）は他の分割表示の例を示しており、この場合は表示部２の画面上を領域ＡＲ１、ＡＲ２、ＡＲ３，ＡＲ４に分割するとともに、各領域には、所定時間間隔で画像の１フレームを抽出して表示させている。例えば表示画像処理部１２に、画像データについて０．５秒間隔で１フレームを抽出させ、抽出したフレームの画像を領域ＡＲ１→ＡＲ２→ＡＲ３→ＡＲ４→ＡＲ１→ＡＲ２・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部２で分割表示により実行した例である。
もちろん画面上の複数の領域で、それぞれ異なるソースからの画像を表示することも考えられる。
【００４８】
図１０（ａ）は表示部２に、撮像機能系、再生機能系、又は受信機能系からの画像がそのまま通常のサイズで表示されている場合を示している。
このときにシステムコントローラ１０が、表示制御部１４を介して表示画像処理部１２に対して画像拡大処理を指示することで、図１０（ｂ）のような拡大画像を表示部２に表示させることができる。
【００４９】
図１１（ａ）は表示部２に、撮像機能系、再生機能系、又は受信機能系からの画像が通常に表示されている場合を示している。
但しこの表示画像は、輝度の低い画像であって、ユーザにとって快適な見やすい画像ではないとする。
このような場合に、システムコントローラ１０は表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図１１（ｂ）のように、よりはっきりした画像を表示部２に表示させることができる。
【００５０】
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像機能系、再生機能系、受信機能系というソースの選択や、撮像機能系や再生機能系の動作、さらには表示画像処理部１２，表示駆動部１３の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、撮像機能系を表示画像ソースとする場合は、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示（高フレームレートや低フレームレートでの撮像など）、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示なども可能である。
また再生機能系、受信機能系を表示画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像表示や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の表示も可能である。
また表示画像処理部１２の処理により、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト表示なども想定される。
【００５１】
［４．ユーザ状況の判定］
上述したように本例の表示装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２を有する。
【００５２】
視覚センサ１９は、ユーザの視覚に関する情報を検出するものとするが、この視覚センサ１９は、一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、ユーザ状況判定機能１０ａが画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ１９は、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
【００５３】
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、表示装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。
【００５４】
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば加速度センサ２０は直線方向の動きを検出し、ジャイロ２１により回転系の動きや振動を検出する場合に適している。
加速度センサ２０やジャイロ２１の配置位置にもよるが、加速度センサ２０やジャイロ２１によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の表示装置１の内部に取り付けられた場合、つまり加速度センサ２０及びジャイロ２１がユーザの頭部の動きを検出するものとされた場合は、加速度センサ２０の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ２１はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ２０及びジャイロ２１によっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ２０やジャイロ２１が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
【００５５】
生体センサ２２は、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが表示装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが表示装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ２２による検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサ２２は、例えば眼鏡型の表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
【００５６】
［５．各種動作例］
本実施の形態の表示装置１は、以上のように視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２から検出されるユーザの情報に応じて、システムコントローラ１０が表示動作に関する制御することで、表示部２においてユーザの意志や状況に応じた表示を実行し、これによってユーザに好適な画像を提供できる。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
【００５７】
図１２は、システムコントローラ１０の動作制御機能１０ｂとしての制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２をスルー状態とする制御処理を示している。例えば表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示部２をスルー状態に制御する。
表示部２をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２で表示開始のトリガが発生したか否かを確認している。ここでは表示開始トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示部２での表示を開始させるとシステムコントローラ１０自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザ個人の認識も含む）によって、システムコントローラ１０は表示開始トリガの有無を判断する。具体例は後述する。
【００５８】
表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、表示開始制御を行う。即ち表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、供給されるデータを通常撮像画像の態様で表示部２に表示させる動作を実行させる。
表示画像処理部１２には、画像入出力コントロール部２７を介して画像データが供給されるが、例えば図３又は図４のように複数の画像データソースを備える場合は、この時点では、撮像機能系（撮像部３、撮像信号処理部１５）、再生機能系（ストレージ部２５）、受信機能系（通信部２６）のソースのうちで内でデフォルト設定で選択されているソースからの画像データが、表示画像処理部１２に供給されるようにすればよい。例えば撮像機能系をデフォルト設定のソースであるとすると、ステップＦ１０３の表示開始制御の際に、システムコントローラ１０は撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、その撮像信号としての画像データを、画像入出力コントロール部２７を介して表示画像処理部１２に供給させる。この場合、表示部２では例えば図５（ａ）のスルー状態から例えば図５（ｂ）の通常撮像画像のモニタ表示状態に切り換えられることになる。
また、デフォルト設定のソースがストレージ部２５であれば、表示開始制御の際にストレージ部２５の制御も行い、コンテンツの再生やコンテンツ選択等のメニュー画面を表示部２に表示させてもよいし、デフォルト設定のソースが通信部２６であれば、表示開始制御の際に通信部２６の動作の制御も行い、通信用の画面や、外部機器からの受信データによる表示を表示部２に実行させてもよい。
もちろん、ソースが１つの構成の場合は、そのソースからの画像データが表示画像処理部１２に供給されるようにすればよい。
さらには、ステップＦ１０３での表示開始制御の際には、画像ソースからの画像データは供給させず、初期画面としてメニュー画面やソース選択画面等を表示部２に表示させるような制御を行うことも考えられる。
【００５９】
なお、この図１２の処理では音声出力部５からの音声出力動作については特に述べないが、表示部２で表示動作が実行される際には、システムコントローラ１０は、表示画像と同一のソースからの音声データに基づく音声出力が実行されるよに音声入出力コントロール部２８及び音声信号処理部１６を制御するものとする。
【００６０】
表示部２で或るソースからの画像の表示を行っている期間は、システムコントローラ１０は、ステップＦ１０４で表示制御トリガが発生したか否かを監視し、またステップＦ１０５でソース切換トリガが発生したか否かを監視し、またステップＦ１０６で表示終了トリガが発生したか否かを監視する。
表示制御トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示動作における表示画像態様や表示する画像データに関する処理などについての変更を行うとシステムコントローラ１０自身が判断することを意味している。
またソース切換トリガの発生とは、例えば図３，図４のように表示装置１に複数のソースが設けられている場合に、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示する画像データのソースの切換を行うとシステムコントローラ１０自身が判断することを意味している。
また表示終了トリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、表示部２での表示を終了してスルー状態への切り換えを行うとシステムコントローラ１０自身が判断することを意味している。
これらのトリガ発生は、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザの身体状況やユーザ個人の認識など）によって、システムコントローラ１０が判断するが、その判断手法やトリガに応じた制御内容についても、具体例は後述する。
【００６１】
表示制御トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０７に進め、画像の表示動作に関しての制御を行う。つまり表示制御部１４に所定の指示を与え、その時点のユーザの意志又は状況に応じた態様の表示を表示部２において実行させる。その時点で選択されているソースによっては、システムコントローラ１０は撮像機能系の制御、ストレージ部２５に対する動作制御、通信部２６に対する動作制御を行う場合もある。
ステップＦ１０７で表示動作制御を行った後も、システムコントローラ１０はステップＦ１０４，Ｆ１０５，Ｆ１０６のトリガ発生の監視を行う。
【００６２】
ソース切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０８に進め、ソース切換制御を行う。この場合、切換前後のソースに対する動作制御や、新たなソースからの画像データ／音声データが、表示画像処理部１２／音声信号処理部１６に供給されるように画像入出力コントロール部２７／音声入出力コントロール部２８の制御を行う。
このソース切換制御により、例えば表示部２は、撮像部３で撮像された画像が表示されていた状態から、例えばストレージ部２５での再生画像が表示される状態等に切り換えられることになる。
ステップＦ１０８でソース切換制御を行った後も、システムコントローラ１０はステップＦ１０４，Ｆ１０５，Ｆ１０６のトリガ発生の監視を行う。
【００６３】
表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０６からＦ１０１に戻し、表示制御部１４に対して表示部２をスルーとする指示を行う。またその時点で選択されていた画像ソースに対して画像供給動作の終了を指示する。
【００６４】
ユーザが表示装置１を装着して電源オンとしている期間は、システムコントローラ１０の動作制御機能１０ｂは、例えばこの図１２のような制御処理を行うことになる。
そしてこの処理においては、表示開始トリガの判断による表示開始制御、表示制御トリガの判断による表示態様制御、ソース切換トリガの判断によるソース切換制御、及び表示終了トリガの判断による表示部２の表示を停止させてスルー状態とする制御を行うが、これらのトリガ判断と制御内容の具体例について、図１３以降で説明していく。
【００６５】
図１３から図１９は、システムコントローラ１０のユーザ状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１２の処理を実行している期間中に、図１３〜図１９のような検知処理が定期的に割込処理として行われればよいものである。これら図１３〜図１９のような処理のプログラムは、図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【００６６】
まず図１３で、スルー状態から表示状態に切り換える、表示開始トリガの判断についての例を述べる。
図１３（ａ）（ｂ）は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図１３（ａ）のステップＦ２００では、システムコントローラ１０が加速度センサ２０、又はジャイロ２１からの検出情報（加速度信号、角速度信号）を監視する処理を示している。
例えば首を縦に２回振る、左右に１往復振る、首を１周回す・・など、特定の動作を、ユーザが表示開始を求める操作であると設定されているとする。システムコントローラ１０は、加速度センサ２０又はジャイロ２１（又はその両方）からの検出情報により、そのような表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップＦ２０１からＦ２０２に進め、表示開始トリガ発生と判別する。
このようにステップＦ２０２で表示開始トリガ発生と判別することにより、上記図１２の処理はステップＦ１０２からＦ１０３に進むことになり、システムコントローラ１０は表示部２において画像表示を開始する制御を実行することになる。
なお加速度センサ２０又はジャイロ２１からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。
【００６７】
図１３（ｂ）は、視覚センサ１９の情報に基づいて表示開始トリガを判別する例である。
システムコントローラ１０はステップＦ２１０で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示開始を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ２１１からＦ２１２に進め、表示開始トリガ発生と判別する。
ステップＦ２１２で表示開始トリガ発生と判別することにより、上記図１２の処理はステップＦ１０２からＦ１０３に進むことになり、システムコントローラ１０は表示部２において画像表示を開始する制御を実行することになる。
なお視覚センサ１９からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に２往復させるなど、他にも各種考えられる。
【００６８】
図１３（ｃ）は、ユーザが表示装置１を装着すること自体を、表示開始トリガとする例である。
システムコントローラ１０はステップＦ２３０で、生体センサ２２からの脳波、心拍数、皮膚電気反応などの情報をチェックする。
そしてステップＦ２３１でシステムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが表示装置１を装着したか否かを判断する。生体センサ２２により人体からの情報が得られる状態になったか否かによりユーザの装着を検知できる。
システムコントローラ１０はユーザが表示装置１を装着したと判別した場合は、処理をステップＦ２３１からＦ２３２に進め、表示開始トリガ発生と判別する。
このようにステップＦ２３２で表示開始トリガ発生と判別することにより、上記図１２のステップＦ１０３で、システムコントローラ１０は表示開始制御を行うことになる。
このように例えば生体センサ２２の反応により、ユーザによる装着を検出できるため、生体センサ２２による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始されたことを撮像開始トリガ発生とする。これにより、ユーザが装着したら表示を開始するという動作制御を実行できる。
【００６９】
なお、不特定のユーザの装着ではなく、特定のユーザが装着したら、表示を開始するという制御ことも考えられる。上述のように視覚センサ１９で検出する眼底パターンや生体センサ２２による検出信号によっては、ユーザの個人を識別できる。例えば予め使用するユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ１０は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ１０は、表示装置１が或るユーザに装着された際に個人認証を行い、特定のユーザを認識した場合に、それを表示開始トリガと判別し、表示開始制御を行うこともできる。
【００７０】
なお、ユーザの無意識的な挙動や身体状況によって撮像開始トリガを判別する処理として他にも各種想定される。
例えば視覚センサ１９からの情報で、ユーザの視線が急に動いた場合に撮像開始トリガ発生と判断するなど、視覚センサ１９の情報を用いたり、また音声入力部６からの入力音声に基づいて表示開始トリガ発生を判断することも考えられる。
【００７１】
なお、以上のような表示開始トリガに応じて画像を表示部２に表示させる際には、図９（ｂ）のように表示部２の画面上でスルー状態の領域ＡＲ１を残し、一部の領域ＡＲ２において画像表示を行うようにしてもよい。
また図１２には示していないが、上記図１３（ｃ）のようなユーザによる装着検出を電源オンのトリガとし、システムコントローラ１０はユーザの装着を検知したら表示装置１の電源をオンとするようにしてもよい。
この場合、逆に、ユーザが表示装置１を取り外したことを検知したら、電源オフとすればよい。
【００７２】
次に、図１２のステップＦ１０４としての、表示制御トリガ発生の判断に関する処理例を図１４から図１７で説明する。
図１４は、ユーザの視線の動きにより表示画像のページや選択部分の進み／戻しの制御を行う例である。
システムコントローラ１０は図１４のステップＦ３００で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ１０は、ユーザの視線方向が左方に移動したことを検知したら、ステップＦ３０１からＦ３０３に進め、画像戻しのトリガ発生と判別する。
またシステムコントローラ１０は、ユーザの視線方向が右方に移動したことを検知したら、ステップＦ３０２からＦ３０４に進め、画像進みのトリガ発生と判別する。
これらの場合、上記図１２の処理はステップＦ１０４からＦ１０７に進むことになり、システムコントローラ１０は表示画像の進み／戻しの制御を行う。例えばストレージ部２５をソースとし、その再生画像として図６（ｃ）や図８（ｃ）のような画像を表示させているときに、そのページ又は選択部分の進み／戻しが行われるように表示画像処理部１２やストレージ部２５の制御を行う。
【００７３】
ここでは視線方向の左右の動きを検知したが、例えば視線方向の上下の動きを検知したときに、画面スクロールのトリガ発生と判別し、表示画面のスクロール処理を実行させるようにすることも好適である。
【００７４】
図１５は、ユーザの視覚としての快、不快の感覚に応じた制御の例である。
システムコントローラ１０は図１４のステップＦ４００で、視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況（単位時間あたりのまばたき回数など）を検出する。
またステップＦ４０１で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ１０は、これらの視覚センサ１９や生体センサ２２からの情報に基づいて、表示部２の表示画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ１０は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップＦ４０２からＦ４０３に進め、画像の調整制御のトリガ発生と判別する。その場合ステップＦ４０４で、ユーザの状況に応じて快適と考えられる調整値、例えば表示輝度、コントラスト、シャープネス等の調整値を算出する。
このステップＦ４０３，Ｆ４０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、この場合は表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、ユーザにとって快適な表示画像となる。
例えばユーザの撮像機能系からの撮像画像を表示しているときの周囲の明るさや、ユーザの眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このような処理が行われることで、快適な視覚状況を提供できる。例えば図１１（ａ）のように暗くて見にくい画像が表示されている場合に、図１１（ｂ）のようなはっきり見えるような画像を提供したり、また眼が疲れてきたような場合は、柔らかな画質の画像とすることなどが可能となる。
【００７５】
図１６はユーザの首（頭部）の動きを操作とみなす処理である。
システムコントローラ１０はステップＦ５００で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ステップＦ５０１でユーザの頭部の動きを判定する。例えばここでは、後ろに２回頭部を傾ける動作があったか、又は前に２回頭部を傾ける動作があったか、又は２回左に首を振る動作があったかを判定する。
後ろに２回頭部を傾ける動作を検出した場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０５に進め、画像拡大のトリガ発生と判別する。
この場合、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、表示画像処理部１２に画像拡大処理を指示する。これにより表示部２では、例えば図１０（ｂ）のような拡大画像が表示されることになる。
また前に２回頭部を傾ける動作を検出したら、システムコントローラ１０は処理をステップＦ５０３からＦ５０６に進め、画像縮小のトリガ発生と判別する。この場合も、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、表示画像処理部１２にに画像縮小処理を指示する。これにより表示部２では、縮小画像が表示されることになる。
また２回左に首を振る動作を検出したら、システムコントローラ１０は処理をステップＦ５０４からＦ５０７に進め、拡大／縮小倍率をリセットするというトリガ発生と判別する。この場合も、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０７に進むことになり、表示画像処理部１２に拡大／縮小処理をリセットさせる。これにより表示部２では、標準倍率に戻された画像が表示されることになる。
【００７６】
図１７は、視覚センサ１９の情報により表示画面上での操作入力のトリガを判別する例である。
システムコントローラ１０は図１７のステップＦ６００で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析し、表示部２を見ているユーザの視線移動やまばたきを検出する。
システムコントローラ１０は、ユーザの視線移動を検知したら、ステップＦ６０１からＦ６０３に進め、表示画面上のカーソル（画面上のポインタ）の移動のトリガ発生と判別する。そしてステップＦ６０４で、視線の移動方向と移動量から、画面上でのカーソル移動方向と移動量を算出する。
この場合、システムコントローラ１０は図１２のステップＦ１０７で、表示画像処理部１２にカーソル移動を指示する。例えば図８（ｂ）（ｃ）のような画像を表示しているときに、その表示画面上でカーソルを移動させる。
また、システムコントローラ１０は、ユーザが２回連続してまばたきを行ったことを検知したら、ステップＦ６０２からＦ６０５に進め、クリック操作のトリガ発生と判別する。この場合、システムコントローラ１０は図１２のステップＦ１０７で、クリック操作に応じた制御処理を行うことになる。例えばストレージ部２５での再生画像に関しての何らかの操作であれば、操作に応じたストレージ部２５の再生動作の制御を行い、また通信部２６で受信している画像上でのクリック操作であれば、その際のカーソル位置やクリック操作の情報を外部機器に送信するなどの処理を行う。
このような処理により、ユーザの眼の動作を、コンピュータシステムにおけるマウスの操作と同等に扱うことができる。また、図６（ｂ）のようなゲーム画像を表示しているときに、ユーザの視線方向やまばたきをゲームに対する操作として扱うこともできる。
【００７７】
ここまでの図１４，図１５，図１６、図１７の処理として、ユーザの意識的な動作や無意識な動作又は身体状況に応じて、表示画像の表示態様、或いは表示する画像データの処理、或いは表示画面上での操作などの制御を行う例を挙げたが、これらは一例にすぎず、他にも表示制御トリガの判別及び制御例として非常に多様な例が考えられる。
表示制御トリガとしては、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２の各情報から各種のユーザの挙動や身体状況を検知し、所定の条件が満たされた場合にトリガ発生と判断すればよい。
【００７８】
そして多様な条件において表示制御トリガ発生と判断した場合の制御例として、表示画像処理部１２に対する制御としては、拡大／縮小の制御、輝度、コントラスト、シャープネス等の調整制御、モザイク画像／輝度反転画像／ソフトフォーカスなどの画像エフェクト表示、更には図９のような画面分割やストロボ表示などの制御を、ユーザの挙動や身体状況に応じて実行できる。
また撮像機能系をソースとして撮像画像を表示部２に表示している場合は、撮像部３，撮像信号処理部１５の動作制御として、望遠／広角のズーム処理、撮像感度の制御、撮像フレームレートの切換、赤外線撮像感度や紫外線撮像感度の変更制御などを行うことが考えられる。
またストレージ部２５での再生画像や通信部２６での受信画像を表示部２に表示している場合は、表示制御トリガを、早送り／早戻し、頭出し、コマ送り、スロー、一時停止などの変速再生制御を行ったり、ページ送り、ページスクロール、一覧表示上での選択部分の送り、カーソル移動、決定操作、ゲーム操作などのトリガとして扱い、ストレージ部２５や通信部２６に所要の動作を実行させるように制御することが想定される。
即ち、表示制御トリガの発生判断の条件と、それに応じた制御内容としては、これらの中でのあらゆる組み合わせが考えられる。
【００７９】
また、以上のように表示制御のトリガに応じて表示部２の表示を切り換える際には、図９（ｂ）のように表示部２の画面上でスルー状態もしくは通常撮像画像の領域ＡＲ１を残し、一部の領域ＡＲ２において、異なる態様の画像の表示を行うようにしてもよい。もちろん逆に広い領域ＡＲ１において、画像制御トリガに応じた画像を表示してもよいし、画面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。
【００８０】
ところで以上の図１４〜図１７では表示制御トリガの発生判断の例と、それに応じた制御の例について述べたが、図１２のステップＦ１０５で判断するソース切換トリガについても、同様に各種の例が想定される。
即ち視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２の各情報から各種のユーザの意識的な挙動や無意識の動作や身体状況を検知し、所定の条件が満たされた場合にソース切換トリガ発生と判断すればよい。
そして図１２のステップＦ１０８では、そのソース切換トリガ発生に応じて、システムコントローラ１０は表示画像処理部１２に供給する画像データのソースを切り換える制御を行う。
【００８１】
続いて、図１２のステップＦ１０６として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図１８，図１９で述べる。
図１８（ａ）は、ユーザが意識的な挙動により表示を終了させる処理例である。
図１８（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、表示終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【００８２】
図１８（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１８（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、表示終了トリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進み、表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【００８３】
続いて、図１２のステップＦ１０６として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図１８，図１９で述べる。
図１８（ａ）は、ユーザが意識的な挙動により表示を終了させる処理例である。
図１８（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、表示終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。
【００８４】
図１８（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１８（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、表示終了トリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進み、表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。
【００８５】
この図１８（ａ）（ｂ）のような処理により、ユーザがスルー状態を求めた場合に、スルー状態となるという、ユーザの意志に応じた制御が実行される。もちろん、スルー状態に戻すというユーザの意志を表す挙動は、他にも各種考えられる。
【００８６】
図１９（ａ）は、ユーザの動作（操作として意識しない動作）に応じて自動的にスルー状態に戻す処理例である。
図１９（ａ）において、システムコントローラ１０はステップＦ９００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ１０は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップＦ９０１からＦ９０２に進め、表示終了トリガ発生と判断する。
このステップＦ９０２の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図５（ａ）のようなスルー状態に戻る。
【００８７】
例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図５（ｂ）のような通常撮像画像の表示に切り換えるようにしてもよい。
【００８８】
図１９（ｂ）は、ユーザの身体状況に応じて自動的にスルー状態に戻す処理例である。
図１９（ｂ）において、システムコントローラ１０はステップＦ９１０で、生体センサ２２からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。
またステップＦ９１１で視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況（単位時間あたりのまばたき回数など）を検出する。
システムコントローラ１０は、生体センサ２２や視覚センサ１９からの情報に基づいて、ユーザの眼が疲労している状態にあるか否かを判断する。
そして、ユーザの眼が疲労していると判断した場合は、ステップＦ９１２からＦ９１３に進み、表示終了トリガ発生と判断する。
このステップＦ９１３の処理により、システムコントローラ１０の図１２の処理はステップＦ１０６からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部２はスルー状態に戻る。
このようにユーザの眼の疲れなどの身体状況に応じて表示部２の表示を終了させることで、ユーザの身体に負担をかけないような表示装置１の使用が実現できる。
【００８９】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された表示部２により、使用者の目の直前で画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担をかけずに、ユーザの意志又は状況に応じた的確な表示動作が実行される。これにより表示装置１は、ユーザにとって使用性が良く、また多様な視界光景を提供できる装置となる。
また表示部２は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットにより装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の表示装置１の利点を有効に活用できる。
【００９０】
なお、実施の形態では特に表示動作に関する制御について説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ２２の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像、再生画像、受信画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部５から出力させるようにすることも考えられる。
また、表示装置１の外観や構成は図１，図３，図４の例に限定されるものではなく、各種の変形例が考えられる。
表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
【符号の説明】
【００９１】
１ 表示装置、２ 表示部、３ 撮像部、４ 照明部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 音声信号処理部、１７ 入力部、１９ 視覚センサ、２０ 加速度センサ、２１ ジャイロ、２２ 生体センサ、２５ ストレージ部、２６ 通信部
【特許請求の範囲】
【請求項１】
使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、
使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、
を備える表示装置。
【請求項２】
上記制御手段は、使用者が快適でないと判断した場合、輝度、コントラスト又はシャープネスの調整値を算出し、表示手段の画質を調整する制御を行う
請求項１に記載の表示装置。
【請求項３】
画像の撮像を行う撮像手段を更に備え、
上記制御手段は、上記撮像手段で撮像された画像を上記表示手段に表示する制御を行う
請求項１に記載の表示装置。
【請求項４】
上記制御手段は、使用者の眼が疲労している状態かを判定し、使用者の眼が疲労していると判断した場合には、上記表示手段の表示を終了させる制御を行う
請求項１に記載の表示装置。
【請求項５】
上記使用者の視覚情報を検出するセンサは、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は、使用者の眼底パターン、又はまぶたの動きを検出するためのセンサとされている
請求項１に記載の表示装置。
【請求項６】
上記生体センサは、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出する
請求項１に記載の表示装置。
【請求項７】
使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記使用者情報取得ステップで取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップと、
を備えることを特徴とする表示方法。
【請求項１】
使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、
使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、
を備える表示装置。
【請求項２】
上記制御手段は、使用者が快適でないと判断した場合、輝度、コントラスト又はシャープネスの調整値を算出し、表示手段の画質を調整する制御を行う
請求項１に記載の表示装置。
【請求項３】
画像の撮像を行う撮像手段を更に備え、
上記制御手段は、上記撮像手段で撮像された画像を上記表示手段に表示する制御を行う
請求項１に記載の表示装置。
【請求項４】
上記制御手段は、使用者の眼が疲労している状態かを判定し、使用者の眼が疲労していると判断した場合には、上記表示手段の表示を終了させる制御を行う
請求項１に記載の表示装置。
【請求項５】
上記使用者の視覚情報を検出するセンサは、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は、使用者の眼底パターン、又はまぶたの動きを検出するためのセンサとされている
請求項１に記載の表示装置。
【請求項６】
上記生体センサは、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出する
請求項１に記載の表示装置。
【請求項７】
使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記使用者情報取得ステップで取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップと、
を備えることを特徴とする表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−７７０１３（Ｐ２０１３−７７０１３Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−２５４４０２（Ｐ２０１２−２５４４０２）
【出願日】平成２４年１１月２０日（２０１２．１１．２０）
【分割の表示】特願２００６−２４４６８６（Ｐ２００６−２４４６８６）の分割
【原出願日】平成１８年９月８日（２００６．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年１１月２０日（２０１２．１１．２０）
【分割の表示】特願２００６−２４４６８６（Ｐ２００６−２４４６８６）の分割
【原出願日】平成１８年９月８日（２００６．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]