撮像表示装置、撮像表示方法
【課題】ユーザの視力補助や視覚能力の拡大、及び外界状況（周囲状況、撮像対象の状況、現在日時、現在位置の状況等）に応じた的確な動作制御の実現。
【解決手段】ユーザが眼鏡型もしくは頭部装着型の装着ユニットを装着することで、目の前方に位置する表示手段を視認する状態となるようにする。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を表示手段で視認できるようにする。そして表示手段に映し出す画像の態様を、外界状況に応じて変化させることでユーザの視覚能力を補助したり拡大した状態とする。
【解決手段】ユーザが眼鏡型もしくは頭部装着型の装着ユニットを装着することで、目の前方に位置する表示手段を視認する状態となるようにする。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を表示手段で視認できるようにする。そして表示手段に映し出す画像の態様を、外界状況に応じて変化させることでユーザの視覚能力を補助したり拡大した状態とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像し、ユーザの眼の前方で撮像画像の表示を行う撮像表示装置と、撮像表示方法に関する。
【背景技術】
【０００２】
【特許文献１】特開平８−１２６０３１号公報
【特許文献２】特開平９−２７９７０号公報
【特許文献３】特開平９−１８５００９号公報
【０００３】
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、特にユーザの視覚の補助や、視覚能力の拡大という観点で撮像や表示に関する制御を行うものは知られていない。
そこで本発明では、ユーザの視覚の補助や拡張を実現することを目的とする。さらには、視覚の補助や拡張を実現する表示動作や撮像動作の制御に関して、外界の状況（周囲の環境、被写体、日時、場所等）に応じて、的確な動作制御が行われるようにする。
【課題を解決するための手段】
【０００５】
本発明の撮像表示装置は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、外界情報を取得する外界情報取得手段と、上記外界情報取得手段で取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段とを備える。
また上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とを切換可能であるとする。
また上記撮像手段は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
【０００６】
また上記外界情報取得手段は、上記外界情報として周囲環境状況を検出するセンサである。
また上記外界情報取得手段は、上記外界情報として、上記撮像手段の撮像対象に関する情報を検出するセンサである。
また上記外界情報取得手段は、上記外界情報として、現在位置情報を取得する。
また上記外界情報取得手段は、上記外界情報として、現在日時を取得する。
また上記外界情報取得手段は、外部機器との通信により、上記外界情報を取得する。
また上記外界情報取得手段は、上記撮像手段により撮像した画像についての画像解析により、上記外界情報を取得する。
【０００７】
また上記外界情報取得手段が取得する上記外界情報は、周囲の明るさの情報、又は温度の情報、又は湿度の情報、又は気圧の情報、又は天候の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象までの距離の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する赤外線の情報又はエネルギーである。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する紫外線の情報又はエネルギーである。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象を判別する情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象として、人物、又は動物、又は建造物、又は自然物、又は機器を判別する情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象の動きの情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象とされた人物の個人を特定する情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が文字であるか否かを判別する情報である。
また上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地点の情報である。
また上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地域における建造物、又は自然物の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の明暗、又は鮮明度の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の画像内の部分的な明暗、又は部分的な鮮明度の情報である。
【０００８】
また上記制御手段は、上記撮像手段における撮像動作のオン／オフの制御を行う。
また上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行う。
また上記制御手段は、上記撮像手段における焦点制御を行う。
また上記制御手段は、上記撮像手段における撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における一部の撮像素子領域の撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行う。
また上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行う。
また上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行う。
また上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行う。
また上記制御手段は、上記表示手段における表示画像の拡大／縮小の制御を行う。
また上記制御手段は、上記表示手段に表示する画面の一部のハイライト表示の制御を行う。
また上記制御手段は、上記表示手段における画面分割表示の制御を行う。
また上記制御手段は、上記表示手段における表示輝度の制御を行う。
また上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行う。
また上記被写体方向に対して照明を行う照明手段を更に備え、上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う。
また上記撮像手段で撮像された画像に含まれる文字に基づいて音声合成を行う音声合成手段と、上記音声合成手段で生成された音声を出力する音声出力手段とを更に備え、上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記音声合成手段による合成音声の出力動作の制御を行う。
【０００９】
本発明の撮像表示方法は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、外界情報を取得する外界情報取得ステップと、上記外界情報取得ステップで取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップとを備える。
【００１０】
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の撮像表示装置を装着することで、目の前方に位置する表示手段を視認する状態となる。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を、表示手段で視認できることになる。
これはユーザにとっては、通常に視認する前方の光景を、本発明の撮像表示装置を介して見ることになるが、するとこの場合、ユーザは表示手段に映し出された画像を通常の視覚風景として見ることになる。ここで、表示手段に映し出す画像の態様を、周囲環境状態や被写体の状況など、外界の状況に応じて変化させると、ユーザの視覚能力を補助したり拡張した状態とすることができる。
例えば望遠画像を表示させれば、ユーザが通常では見えない遠方の光景が見える。また本や新聞を見ているときに、表示手段でそれらの文字の拡大表示や輝度やコントラストの調整を行えば、例えば暗い状況でも、読みやすい状態とできる。
即ち、外界情報に応じて撮像手段や表示手段の動作を制御し、表示される撮像画像の態様を制御することで、ユーザにとって快適或いはおもしろみのある視覚状況を作り出すことができる。
【発明の効果】
【００１１】
本発明によれば、撮像手段で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示手段で表示させるが、この場合に、外界情報に基づいて撮像手段又は表示手段の動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができるという効果がある。
また撮像手段又は表示手段の制御による表示態様の変更は、外界情報から判定される周囲の環境や被写体の別や被写体の状況等に基づいて行うことで、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示手段は、撮像手段による撮像画像を表示させずに透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の撮像表示装置の利点を有効に得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の撮像表示装置、撮像表示方法の実施の形態を、次の順序で説明する。
［１．撮像表示装置の外観例］
［２．撮像表示装置の構成例］
［３．表示例］
［４．外界情報の検出］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］
【００１３】
［１．撮像表示装置の外観例］
実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【００１４】
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
【００１５】
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられ、また撮像レンズ３ａによる撮像方向がユーザが視認する方向、つまりユーザの前方となるようにされていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部４ａを設けない構成も考えられる。
【００１６】
［２．撮像表示装置の構成例］
図２に撮像表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は外界の状況に基づいて、撮像表示装置１内の各部の制御を行う。つまり外界の状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するように外界の状況を判定する外界状況判定機能１０ａと、外界状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
【００１７】
撮像表示装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
【００１８】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
【００１９】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
【００２０】
また撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号は表示画像処理部１２に供給される。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、画像内の一部をハイライト表示（強調表示）させる画像処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
【００２１】
表示駆動部１３は、表示画像処理部１２から供給される映像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部２を透明もしくは半透明とする「スルー状態」に対して、表示部２で画像表示を行っている動作（及びその状態）を「モニタ表示」（「モニタ表示状態」）と言うこととする。
【００２２】
また撮像表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を処理するマイクアンプ部を有して成る。
音声信号処理部１６は、例えばＡ／Ｄ変換器、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなり、音声入力部６から供給される音声信号をデジタルデータに変換して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声信号をアナログ信号に変換して音声出力部２に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を当該撮像表示装置１を介して聞くことができる。
なお、音声出力部５は、いわゆる骨伝導スピーカとして構成されても良い。
【００２３】
また撮像表示装置１には音声合成部２７が設けられる。この音声合成部２７はシステムコントローラ１０の指示に応じて音声合成を行い、音声信号を出力する。
音声合成部２７から出力された音声信号は、音声信号処理部１６で処理されて音声出力部５に供給され、ユーザに対して音声出力される。
この音声合成部２７は、例えば後述する読み上げ音声の音声信号を発生させることになる。
【００２４】
また照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【００２５】
この撮像表示装置１は、外界情報を取得するための構成として、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を有する。
【００２６】
周囲環境センサ１９としては、具体的には例えば照度センサ、温度センサ、湿度センサ、気圧センサ等が想定され、撮像表示装置１の周囲環境として、周囲の明るさ、温度、湿度、或いは天候等を検出するための情報を得るセンサとされる。
撮像対象センサ２０は、撮像部３での撮像動作の被写体となっている撮像対象に関する情報を検出するセンサである。例えば当該撮像表示装置１から撮像対象までの距離の情報を検出する測距センサが想定される。
また、焦電センサなどの赤外線センサのように、撮像対象が発する赤外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が人や動物などの生体であるか否かの検出が可能となる。
さらに、各種ＵＶ（Ultra Violet）センサのように、撮像対象が発する紫外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が蛍光物質や蛍光体であるか否かの検出や、日焼け対策に必要な外界の紫外線量の検出が可能となる。
【００２７】
ＧＰＳ受信部２１は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力する。
日時計数部２２は、いわゆる時計部として、日時（年月日時分秒）を計数し、現在日時情報を出力する。
画像解析部１７は、撮像部３，撮像信号処理部１５により得られた撮像画像について画像解析を行う。即ち被写体としての画像を解析し、撮像画像に含まれる被写体の情報を得る。
【００２８】
通信部２６は、外部機器との間でのデータ通信を行う。外部機器としては、コンピュータ機器、ＰＤＡ（Personal Digital Assistant）、携帯電話機、ビデオ機器、オーディオ機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定される。
またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。
さらには、ＩＣチップを内蔵した非接触通信ＩＣカード、ＱＲコード等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部２６はこれらの外部機器から情報を読み取る構成とすることも考えられる。
さらには他の撮像表示装置１も外部機器として想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良い。
【００２９】
これら周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６により、撮像表示装置１からみての外界の情報が取得され、システムコントローラ１０に供給される。
システムコントローラ１０は外界状況判定機能１０ａの処理により、取得した外界情報に応じて、動作制御機能１０ｂの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ１０は撮像制御部１１に指示して撮像部３や撮像信号処理部１５の動作を制御し、また表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御する。
【００３０】
なお、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を示したが、これらは必ずしも全てを備える必要はない。また、周囲の音声を検知・解析する音声解析部など、他のセンサが設けられても良い。
【００３１】
［３．表示例］
システムコントローラ１０が、取得した外界情報に応じて撮像動作や表示動作に関する制御を行うことは、結果として表示部２における多様な表示態様としてユーザに認識される。図３から図１１により、各種の表示態様を例示する。
図３（ａ）は表示部２がスルー状態となっている場合を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図３（ｂ）は、モニタ表示状態として、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図３（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、これらの部位が撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
【００３２】
図３（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合であり、望遠画像が表示部２に表示されている。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。
【００３３】
図４（ａ）は表示部２がスルー状態となっている場合を示しているとする。例えばユーザが新聞等を見ている状態である。
図４（ｂ）は、いわゆる広角ズームとした状態である。即ち近距離の焦点位置状態でズーム撮像を行い、例えば新聞等の文字がユーザに拡大されるように表示部２に表示されている状態である。
【００３４】
図５（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
このときにシステムコントローラ１０が、表示制御部１４を介して表示画像処理部１２に対して画像拡大処理を指示することで、図５（ｂ）のような拡大画像が表示部２に表示されることになる。
【００３５】
図６（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。特に、ユーザが新聞や書籍を読んでいる場合を示している。ここでは、周囲が薄暗く、通常撮像画像やスルー状態では、新聞等の文字が見えにくい状況となっているとする。
このような場合に、システムコントローラ１０は撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図６（ｂ）のように、よりはっきりした画像を表示部２に表示させることができる。なお、照明部４に照明動作を実行させることも、このような表示を行う場合に好適となる。
【００３６】
図７（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。ここでは、ユーザが、子供が寝ている暗い寝室に居る場合を示している。暗い部屋の中であるため、通常撮像画像やスルー状態では、子供の姿等がはっきり見えない状況である。
このときにシステムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、図７（ｂ）のように赤外線撮像画像が表示部２に表示され、暗い部屋で子供の寝顔などを確認できる。
【００３７】
図８（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、図８（ｂ）のように紫外光成分を表した撮像画像が表示部２に表示される。
【００３８】
図９（ａ）は、表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して分割表示及び分割画面での拡大表示を指示することにより、図９（ｂ）のような画像を表示部２に表示させることができる。即ち表示部２の画面上を領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態又は通常画像表示とし、領域ＡＲ２には拡大画像とした例である。
また図９（ｃ）は他の分割表示の例を示しており、この場合は表示部２の画面上を領域ＡＲ１、ＡＲ２、ＡＲ３，ＡＲ４に分割するとともに、各領域には、所定時間間隔で撮像画像の１フレームを抽出して表示させている。例えば表示画像処理部１２に、撮像画像信号において０．５秒間隔で１フレームを抽出させ、抽出したフレームの画像を領域ＡＲ１→ＡＲ２→ＡＲ３→ＡＲ４→ＡＲ１→ＡＲ２・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部２で分割表示により実行した例である。
【００３９】
図１０（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。この画像では、例えばサッカースタジアムにおいてピッチ上に日陰と日なたの境界が生じ、見にくい状況となっている。
システムコントローラ１０は、例えばＣＣＤセンサ又はＣＭＯＳセンサ上で日陰部分に相当する領域の画素について撮像感度を向上させたり表示輝度を向上させ、一方、日なた部分に相当する領域の画素について撮像感度を低下させたり表示輝度を低下させることで、図１０（ｂ）のように日なた／日陰の影響が低減された画像が表示される。
【００４０】
図１１（ａ）（ｂ）は特定の対象として、画像内に例えば鳥が含まれている場合に、その鳥を強調させるようにハイライト表示させた表示例である。
画像内で、鳥が検知される場合に、その鳥の部分をハイライト表示させることで、ユーザが対象を見失いにくいようにした表示を実現できる。
ハイライト画像処理としては、画像内で注目部分のみを輝度を上げたり、注目部分以外の輝度を下げたり、注目部分をカラー表示で注目部分以外をモノクロ表示とするなどの手法が考えられる。また注目部分に注目枠やカーソル、ポインタマーク等、何らかのキャラクタ画像を表示させることで画像内の特定部分を強調しても良い。
【００４１】
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像部３，撮像信号処理部１５、表示画像処理部１２，表示駆動部１３の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示（高フレームレートでの撮像画像や低フレームレートでの撮像画像の表示）、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト表示、スロー表示、コマ送り表示、これらの各種の撮像画像表示を組み合わせた分割表示、スルー状態と撮像画像を組み合わせた分割表示、ストロボ表示、撮像画像の１フレームの表示を継続させる静止画表示など、非常に多様な表示態様が想定される。
【００４２】
［４．外界情報の検出］
上述したように本例の撮像表示装置１は、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を有する。
【００４３】
周囲環境センサ１９としては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定される。
照度センサによっては、撮像表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサ１９により、撮像表示装置１は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周囲の明るさや気象状況に適した撮像動作、表示動作を実行制御できる。
【００４４】
撮像対象センサ２０は撮像対象についての情報を検知する。例えば測距センサや焦電センサなどが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることができる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた撮像動作、表示動作を実行制御できる。
【００４５】
ＧＰＳ受信部２１は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出した場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情報を得ることができる。図２の構成では特に述べていないが、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。
また撮像表示装置１に地図データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在位置や現在地点の近辺の地理的条件や施設などに応じた撮像動作、表示動作を実行制御できる。
【００４６】
日時計数部２２は例えば年月日時分秒を計数する。この日時計数部２２によってシステムコントローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜の別（時刻）に応じた撮像動作、表示動作や、現在の季節に適した撮像動作、表示動作などを実行制御できる。
【００４７】
画像解析部１７によれば、撮像画像から撮像対象についての以下のような各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
【００４８】
また画像解析部１７による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部１７による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
【００４９】
また、画像解析部１７による画像解析によれば、例えば書籍や新聞などを撮像している状況であることを判別できる。例えば画像内での文字認識を行うことや、書籍や新聞などの形状の認識を行えばよい。
なお画像解析部１７で文字認識を行った場合、システムコントローラ１０は、その認識した文字をテキストデータとして音声合成部２７に供給することができる。
【００５０】
また、画像解析部１７による画像解析によれば、人物が被写体となっている場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って、画像解析部１７は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置１に人物データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたとき）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
【００５１】
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように撮像表示装置１から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
【００５２】
以上、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、通信部２６のそれぞれで取得できる情報の例を挙げたが、これらのうちの複数の系統で或る外界情報について検知判別してもよい。
例えば周囲環境センサ１９で得られた湿度等の情報と、通信部２６で受信された天候情報を組み合わせ、より正確に現在の天候を判別することもできる。
またＧＰＳ受信部２１と通信部２６の動作により取得した現在場所に関する情報と、画像解析部１７で得られる情報により、現在位置や撮像対象の状況をより正確に判別することもできる。
【００５３】
［５．各種動作例］
本実施の形態の撮像表示装置１は、以上のように周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、通信部２６で取得される外界情報により、システムコントローラ１０が周囲の状況や撮像対象の状況などを判別し、それに応じて撮像動作や表示動作を制御することで、ユーザの視覚の補助や拡張を実現するものである。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
【００５４】
図１２は、システムコントローラ１０の動作制御機能１０ｂとしての制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２をスルー状態とする制御処理を示している。例えば撮像表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示部２をスルー状態に制御する。
表示部２をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２でモニタ表示状態の開始のトリガが発生したか否かを確認している。図２では示していないが、例えばユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことでモニタ表示状態を開始させるトリガの発生と判断すればよい。但し、後に例を述べるが、外界情報に応じてモニタ表示状態を開始させるトリガの発生と判断することもできる。
【００５５】
モニタ表示開始のトリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、モニタ表示の開始制御を行う。即ち撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、また表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、撮像信号を通常撮像画像の態様で表示部２に表示させる動作を実行させる。
この処理により、例えば図３（ａ）のスルー状態から例えば図３（ｂ）の通常撮像画像のモニタ表示状態となる。
【００５６】
通常撮像画像、つまりスルー状態で見える光景と同様の撮像画像を表示部２に表示させている期間は、システムコントローラ１０は、ステップＦ１０４で画像制御のトリガが発生したか否かを監視し、またステップＦ１０５でモニタ表示の終了のトリガが発生したか否かを監視する。
ステップＦ１０４での画像制御のトリガの発生とは、外界状況判定機能１０ａによって判定された外界状況（周囲や被写体の状況、現在日時、現在位置の状況等）により、モニタ表示の表示画像態様の変更を行うとシステムコントローラ１０自身が判断することを意味している。
またステップＦ１０５でのモニタ表示の終了のトリガの発生とは、例えばユーザが所定の操作子によりモニタ表示状態を終了させる操作を行った場合とすればよいが、ステップＦ１０２のモニタ表示開始のトリガと同様、このモニタ表示の終了のトリガも、検知された外界情報に応じてトリガ発生と判断する場合もある。
【００５７】
画像制御のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、撮像画像の表示動作に関しての制御を行う。つまり撮像制御部１１、表示制御部１４に指示し、その時点の外界状況に応じた態様の表示を表示部２において実行させる。
ステップＦ１０６で表示態様に関しての制御を行った後も、ステップＦ１０４，Ｆ１０５のトリガ発生の監視を行う。
【００５８】
モニタ終了のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０１に戻し、撮像制御部１１に対して撮像動作の終了を指示し、また表示制御部１４に対して表示部２をスルーとする指示を行う。
【００５９】
ユーザが撮像表示装置１を装着して電源オンとしている期間は、システムコントローラ１０の動作制御機能１０ｂは、例えばこの図１２のような制御処理を行うことになる。
そしてこの処理においては、ステップＦ１０４での画像制御トリガの判断による表示態様制御を行うが、このトリガ発生判断と制御内容の具体例について、図１３以降で説明していく。
【００６０】
図１３から図２０は、システムコントローラ１０の外界状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１２の処理を実行している期間中に、図１３〜図２０のような検知処理が定期的に割込処理としてに行われればよいものである。これら図１３〜図２０のような処理のプログラムは、図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【００６１】
図１３〜図２０は、図１２のステップＦ１０４としての画像制御のトリガ発生の判断に関する処理例であるが、まず図１３では、周囲環境センサ１９もしくは画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例を示す。
図１３のステップＦ２０１は、システムコントローラ１０が周囲環境センサ１９と画像解析部１７の一方又は両方の情報を監視する処理を示している。ここでは周囲環境センサ１９が照度センサであり、また画像解析部１７は画像から周囲の明るさを解析する処理を行っているものとする。
システムコントローラ１０は周囲環境センサ１９と画像解析部１７の一方又は両方からの情報に基づいて、現在、周囲が暗い状況であるか否か、或いは明るすぎる状況であるか否か判別する。例えば検出照度を数値化し、検出照度がｘルクス以下であれば暗い状況、検出照度がｙルクス以上であれば明るすぎる状況と判断する。
【００６２】
周囲が暗い状況であると判断した場合、システムコントローラ１０は処理をステップＦ２０２からＦ２０４に進め、画像制御トリガ発生と判別する。
そしてステップＦ２０５で、現在の周囲の照度（暗さ）に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。
このステップＦ２０４，Ｆ２０５の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、周囲が暗くとも、ユーザは表示部２での表示画像により周囲を視認しやすい状態となる。例えば周囲が暗くて表示部２の表示画像が図６（ａ）のようになっている状況から、図６（ｂ）のような見やすい状態に切り換えられる。
なお、このように周囲が暗い状況と判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
【００６３】
またシステムコントローラ１０は、周囲が明るすぎる状況であると判断した場合も、処理をステップＦ２０３からＦ２０６に進め、画像制御トリガ発生と判別する。
そしてステップＦ２０７で、現在の周囲の照度に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。この場合、明るすぎる状況で、ユーザがまぶしい感じを受けている場合であるため、撮像感度を低下させたり、表示輝度を低下させる調整値を求めることになる。
このステップＦ２０６，Ｆ２０７の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合も撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、周囲が明るすぎても、ユーザは表示部２での表示画像により周囲をまぶしさを感じずに視認できる状態となる。
【００６４】
図１４（ａ）は、周囲環境センサ１９もしくは通信部２６からの情報に基づいて画像制御トリガ発生と判断する例である。
図１４（ａ）のステップＦ３０１は、システムコントローラ１０が周囲環境センサ１９からの検出情報と通信部２６による受信情報の一方又は両方の情報を監視する処理を示している。周囲環境センサ１９としては温度センサ、湿度センサ、気圧センサ等が想定される。また通信部２６では、例えばネットワークサーバ等から逐次気象情報が受信されるものとする。
システムコントローラ１０は、例えば周囲環境センサ１９で得られる気圧、湿度、気温から周囲の天候状況を判別できる。また通信部２６で受信される気象情報でも天候状況を判別できる。なお、ネットワークサーバから天候状況を受信するためには、システムコントローラ１０は逐次ＧＰＳ受信部２１で得られる現在位置情報をネットワークサーバに対して送信するようにし、その現在位置に該当する地域の気象情報をネットワークサーバから受信するようにするとよい。
周囲環境センサ１９の検出情報、又は通信部２６の受信情報により、システムコントローラ１０は周囲の天候状況を判断できるが、この両方の情報を用いれば、より正確に天候状況を判断できることにもなる。
【００６５】
システムコントローラ１０は例えば晴天、曇天、雨天、雷雨、台風、降雪などの状況や、雨が降り出す、雨が止む、曇天となるなど天候状況の変化に応じて、画像調整が必要か否かを判断する。そして調整が必要な状況と判断したら、システムコントローラ１０は処理をステップＦ３０２からＦ３０３に進め、画像制御トリガ発生と判別し、ステップＦ３０４で、現在の天候に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により周囲を視認しやすくなる調整値を求める。
このステップＦ３０３，Ｆ３０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が天候状況に応じた画質に調整され、ユーザは表示部２での表示画像により周囲を視認しやすい状態となる。
なお、天候によってはシステムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
また、ここでは周囲環境センサ１９又は通信部２６の受信情報により天候判断を行うとしたが、画像解析部１７で雨の画像を認識することで、雨が降り出したことや雨が止んだこと、雷が発生したことなども正確に検知できるようになる。
【００６６】
次に図１４（ｂ）により、周囲環境センサ１９からの情報に基づいて暗視機能を発揮させるための画像制御トリガ発生と判断する例を示す。
図１４（ｂ）のステップＦ３１０は、システムコントローラ１０が周囲環境センサ１９の情報を監視する処理を示している。ここでは周囲環境センサ１９が照度センサであるとする。
システムコントローラ１０は周囲環境センサ１９の検出情報に基づいて、現在、周囲が暗い状況であるか否か判別する。例えば検出照度を数値化し、検出照度がｘルクス以下であれば暗い状況と判断する。
【００６７】
周囲が暗い状況であると判断した場合、システムコントローラ１０は処理をステップＦ３１１からＦ３１３に進め、暗視機能をオンとする画像制御トリガ発生と判別する。
このステップＦ３１３の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は暗視機能をオンとする制御を行うことになる。即ちシステムコントローラ１０は撮像制御部１１に、撮像部１３の赤外線撮像感度を上昇させる指示を行う。
この処理により、暗視機能が発揮され、例えば図７（ａ）のように暗くて見えない状況において、図７（ｂ）のような赤外線感度上昇撮像の画像が表示部２に表示されることになり、ユーザは暗い場所で周囲を視認できる。
【００６８】
また、システムコントローラ１０は周囲が暗い状態でないと判断した場合は、ステップＦ３１１からＦ３１２に進む。この場合、その時点で暗視機能（赤外線感度上昇撮像）をオンとしていれば、ステップＦ３１４に進むことになり、このときは暗視機能をオフとする画像制御トリガ発生と判別する。このステップＦ３１４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は暗視機能をオフとする制御を行うことになる。即ちシステムコントローラ１０は撮像制御部１１に、撮像部１３の赤外線撮像感度を通常に戻し、通常の撮像を実行させる指示を行う。
【００６９】
この図１４（ｂ）の処理により、ユーザにとっては暗い部屋などに入った場合に自動的に暗視機能がオンとされ、暗いままで周囲を見やすい状況となる。また例えば暗い部屋から出たら、自動的に暗視機能がオフとなる。つまり周囲状況に応じてユーザの視覚能力を拡大できるような処理が実現される。
なお、周囲が暗い状況であるか否かの検知は、また画像解析部１７での画像解析でも可能である。例えば撮像画像全体の輝度が非常に低くなったときに、周囲が暗状態になったとして暗視機能オンの画像制御トリガの発生と判断しても良い。
【００７０】
図１５は、撮像対象センサ２０又は画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１５のステップＦ４０１は、システムコントローラ１０が撮像対象センサ２０からの検出情報と画像解析部１７からの情報の一方又は両方を監視する処理を示している。撮像対象センサ２０としては例えば測距センサが想定される。また画像解析部１７は撮像画像の解析により、被写体までの距離を算出するものとする。
即ちシステムコントローラ１０は、これらの情報に基づいて、ユーザが見ている対象（撮像対象）が遠方であるか、手元などの近傍であるかを判別する。
【００７１】
例えばユーザが遠くの風景を見ている場合や、スタジアムの遠い席で試合を観戦しているなどであって、撮像対象が遠方であると判断される場合は、システムコントローラ１０はステップＦ４０２からＦ４０４に進んで、望遠ズーム表示に切り換える画像制御トリガの発生と判別する。そしてステップＦ４０５で、その際の撮像対象までの距離に応じて適切なズーム倍率を算出する。
また例えばユーザが近くの風景を見ている場合や、手元の新聞等を見ている場合などであって、撮像対象が近傍であると判断される場合は、システムコントローラ１０はステップＦ４０３からＦ４０６に進んで、ズームアップ（広角ズーム）表示への切換の画像制御トリガの発生と判別する。そしてステップＦ４０７で撮像対象までの距離に応じて適切なズーム倍率を算出する。
【００７２】
このステップＦ４０４，Ｆ４０５の処理、又はステップＦ４０６，Ｆ４０７の処理が行われることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に計算した倍率でのズーム動作を指示する。
これにより表示部２では、ユーザが見ようとしている光景に応じて図３（ｃ）のような望遠画像や、図４（ｂ）のような広角ズーム画像が表示されることになる。
なお、ここでは望遠／広角のズーム動作制御を行う例としたが、撮像対象までの距離に応じて、焦点位置を変更させる制御を行ったり、画像の拡大／縮小動作を実行させるような制御動作も考えられる。
【００７３】
図１６は、撮像対象センサ２０と画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例であるが、これは特に撮像対象が新聞、書籍等の文字を含むものであるか否かを判別する例である。
図１６のステップＦ５０１は、システムコントローラ１０が撮像対象センサ２０からの検出情報と画像解析部１７からの情報を監視する処理を示している。撮像対象センサ２０は測距センサであるとする。また画像解析部１７は撮像画像の解析により、被写体に文字が含まれているか否かを検出するものとする。
システムコントローラ１０は、これらの情報に基づいて、ユーザが見ている対象（撮像対象）が近傍であって、それが新聞や書籍など文字を含むものであるか否かを判別する。つまり手元の新聞を読んでいるような状況であるか否かを判断する。
【００７４】
撮像対象が近傍であって文字を含んでいると判断された場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０３に進め、画像制御トリガ発生と判別する。
そしてステップＦ５０４で、現在の新聞、書籍を読む場合に適した調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが新聞等を快適に読める調整値を求める。
このステップＦ５０３，Ｆ５０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、例えば図６（ｂ）のような文字を読みやすい表示が実行される。
【００７５】
なお、文字を含むことの検出に加え、周囲の明るさも検出し、周囲の明るさを上記調整値の算出に反映させてもよい。
また、画像解析の際に書籍や新聞の形状を認識することを、ステップＦ５０３に進む条件に加えても良い。
また、撮像対象が新聞等であると判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
また、画質調整ではなく、例えば表示画像処理部１２に拡大処理を実行させて、図４（ｂ）のような拡大画像を表示させ、ユーザに文字を読みやすい画像を提供することも考えられる。
【００７６】
また、文字を含む画像の場合に、画像解析部１７は文字を判別し、文字をテキストデータとしてシステムコントローラ１０に供給してもよい。この場合、システムコントローラ１０は画像から検出されたテキストデータに基づいて音声合成部２７に音声合成処理を実行させる。
すると音声合成部２７では、撮像画像に含まれる文字の読み上げ音声としての音声信号が生成される。システムコントローラ１０は、この読み上げ音声を音声出力部５から出力させる。
このようにすると、ユーザは新聞等を見るだけで、その読み上げ音声を聞くことができるようになる。
【００７７】
図１７は、日時計数部２２による現在時刻の情報に基づいて画像制御トリガ発生と判断する例である。
図１７のステップＦ６０１は、システムコントローラ１０が日時計数部２２で計数されている現在日時時刻をチェックする処理を示している。システムコントローラ１０は、現在時刻に基づいて、時間帯を判断する。例えば早朝、朝方、日中、夕方、夜間という時間帯を判別する。例えば４時〜７時を早朝、７時〜９時を朝方、９時〜１７時を日中、１７時〜１９時を夕方、１９時〜４時を夜間などとする。
また、この時間帯毎の時刻の区切りの基準は、月日の判断により変更するとよい。例えば月日によって日の出時間、日没時間の違いを考慮して、上記各時間帯としての判断時刻を変化させる。例えば早朝とする時間帯を夏期は４時〜７時、冬期を６時〜８時とするなどである。
【００７８】
ステップＦ６０１での日時チェックにより判別される時間帯として、時間帯の変化があったと判断した場合は、システムコントローラ１０は処理をステップＦ６０２からＦ６０３以降に進む。
例えば早朝とされる時刻になった時点では、ステップＦ６０３からＦ６０７に進み、早朝用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また朝方とされる時刻になったときは、ステップＦ６０４からＦ６０８に進み、朝方用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また日中とされる時刻になったときは、ステップＦ６０５からＦ６０９に進み、日中用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また夕方とされる時刻になったときは、ステップＦ６０６からＦ６１０に進み、夕方用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また夜間とされる時刻になったときは、ステップＦ６１１に進み、夜間用の撮像動作／表示動作の画像制御トリガの発生と判別する。
【００７９】
ステップＦ６０７、Ｆ６０８，Ｆ６０９，Ｆ６１０，Ｆ６１１のいずれかで画像制御トリガの発生と判断された場合は、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に、時間帯に応じた撮像動作、表示動作の指示を行う。例えば撮像感度の調整、輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。或いはソフトフォーカス表示などの画像エフェクトを指示しても良い。、
この処理により、時間帯に応じたイメージの画像がユーザに提供される。例えば早朝では柔らかい画質の画像、日中はコントラストの強いはっきりした画像、夕方はセピア色のような画質の画像、夜間はくすんだ画質の画像などである。このように時間帯毎のユーザの気分に合わせたようなおもしろみのある画像提供を実現できる。
もちろん、時間帯毎の明るさに応じて画質を調整し、視認性を向上させるという画質調整も考えられる。
なお、時間帯とともに、天候状況、屋内／屋外の別を判断して、状況に好適な画質調整を行うことも考えられる。
また、時間帯ではなく日時情報から季節を判断して、季節に応じた画質調整を行うことも考えられる。例えば表示画像において、夏は青色成分を強調させ、秋は赤色成分を強調させ、冬は白色成分を強調させ、春は緑／ピンク系統を強調させるなどとして、季節感のある画像提供を行うことなどである。
【００８０】
図１８（ａ）はＧＰＳ受信部２１及び通信部２６の受信情報に基づいて画像制御トリガ発生と判断する例である。
図１８（ａ）のステップＦ７０１は、システムコントローラ１０がＧＰＳ受信部２１で得られる現在位置の緯度・経度の情報を通信部２６からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する動作を示している。なお撮像表示装置１内に地図データベースが保持されていれば、システムコントローラ１０は、ＧＰＳ受信部２１からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索することができる。
【００８１】
システムコントローラ１０は、取得した現在地点の情報に基づいて、現在、所定の画像制御を実行する場所にいるか否かを判別する。そして現在位置が所定の画像制御を実行する場所であると判断したら、ステップＦ７０２からＦ７０３に進み、当該所定の画像制御を実行すべき画像制御トリガ発生と判断する。
このステップＦ７０３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
【００８２】
例えば現在位置がスポーツ競技場、サーキットなどであると検出した場合は、ユーザが見る対象（撮像対象）は素早い動きの人物や車などであることから、システムコントローラ１０は撮像制御部１１に対して撮像フレームレートを高くして、速い動きを良好に表現できる表示を実行させる。
また現在位置がコンサート会場、寄席、演芸場、スポーツ競技場などであれば、撮像対象のステージまでの距離に応じて、システムコントローラ１０は撮像制御部１１に対して望遠撮像動作を指示することが考えられる。現在位置情報としてステージ等の撮像対象までの距離までもが判別できれば、それに応じて望遠倍率を設定すればよいし、撮像対象までの距離を撮像対象センサ２０（測距センサ）により検出して望遠倍率を設定すればよい。また、望遠動作ではなく、撮像信号処理部１５又は表示画像処理部１２に画像拡大処理を指示してもよい。
また現在位置が海岸、山などであれば、システムコントローラ１０は撮像制御部１１に対して紫外線感度向上撮像を指示し、例えば図８（ｂ）のような画像を表示させ、ユーザに紫外線の量を認識させるような表示を実行させることが考えられる。
また、取得された現在地点の情報に基づいて、地名、撮像している施設・店舗等の名称などをキャラクタ画像や文字で重畳表示させたり、宣伝情報、施設の案内情報、周辺の注意情報などを表示部２に表示させるように制御することも考えられる。
【００８３】
図１８（ｂ）もＧＰＳ受信部２１及び通信部２６の受信情報に基づいて画像制御トリガ発生と判断する例であるが、特に赤外線感度向上撮像の実行中における処理例である。
図１８（ｂ）の処理は、現在、撮像部３において赤外線感度向上撮像を実行している場合にステップＦ７１０からＦ７１１に進む。
ステップＦ７１１では、システムコントローラ１０がＧＰＳ受信部２１で得られる現在位置の緯度・経度の情報を通信部２６からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する。なお撮像表示装置１内に地図データベースが保持されていれば、システムコントローラ１０は、ＧＰＳ受信部２１からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索する処理となる。
【００８４】
システムコントローラ１０は、現在位置の情報を取得したら、現在位置が赤外線感度向上撮像を禁止すべき場所であるか否かを判断する。
そして禁止すべき場所であると判断したら、ステップＦ７１２からＦ７１３に進み、システムコントローラ１０は、赤外線感度向上撮像の終了の画像制御トリガの発生と判断する。
このステップＦ７１３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に対して赤外線感度向上撮像の終了の指示を行う。
このように、場所に応じて赤外線感度向上撮像が実行できなくすることで、赤外線感度上昇撮像などの特殊撮像機能の悪用防止に有効である。
【００８５】
図１９（ａ）は、画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１９（ａ）のステップＦ８０１は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体に特定の対象が含まれているか否かを検出するものとする。
画像解析結果として、特定の対象が撮像されていると検出された場合は、システムコントローラ１０はステップＦ８０２からＦ８０３に進み画像制御トリガの発生と判断する。
このステップＦ８０３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
【００８６】
例えば特定の対象を鳥とした場合、撮像画像内で鳥が検出されることで、図１１（ａ）（ｂ）のように画像内の鳥の部分のハイライト表示を実行させるように表示画像処理部１２の動作を指示することが考えられる。この場合、例えばバードウォッチングの際に、ユーザが鳥を見つけることや、鳥の動きを追うことが容易となる。
また猫を特定の対象とすれば、猫が好きなユーザが、通常に生活している中で、猫が視界に入ったときに、それが表示画像上で強調されることで、猫を認識し易くできる。
また特定の対象を人物した場合、撮像画像内で人物が検出されることで、画像内の人物の部分をハイライト表示等で強調させたり、拡大表示、ズーム表示等を実行させるように表示画像処理部１２や撮像信号処理部１５、或いは撮像部３の動作を指示することが考えられる。
また人物や動物、或いは建造物などの特定の対象において、その特定の対象のみが表示され、人物等の特定の対象の周囲の光景は全て塗りつぶされるような画像を表示させるようにしてもよい。
逆に、特定の対象として人物を検知したら、その人物のみが画像内で消されるような画像処理を実行させることも考えられる。例えば自然風景内で人物や車などの人工的なものを排除（マスキング）した画像を表示させるなどである。この場合、マスキングしようとする特定対象の周囲の画素からの補間処理で、特定対象の画素部分を埋めるような処理を行っても良い。
また人物等の特定対象についてはモザイク表示などの画像エフェクトを加えることも考えられる。
【００８７】
なお、この図１９（ａ）では画像解析部１７からの情報に基づく例としたが、例えば特定の対象を人物や動物という生体とした場合、撮像対象センサ２０としての焦電センサにより、特定の対象を検知したときに画像制御トリガの発生と判断するようにしてもよい。
【００８８】
図１９（ｂ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１９（ｂ）のステップＦ８１０は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体において素早い動きが発生しているか否かを検出する。例えば各撮像フレームでの差分から動きの素早さを判定する。
画像解析結果として、被写体の素早い動きが検出された場合は、システムコントローラ１０はステップＦ８１１からＦ８１２に進み、ストロボ表示の画像制御トリガの発生と判断する。
このステップＦ８１２で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、表示制御部１４に対して図９（ｃ）のような表示を実行させるように画像処理の指示を行う。
この処理によれば、例えばスポーツ観戦中に、選手の素早い動きがあったときに、ユーザはその動きをストロボ表示で確認できることになる。
【００８９】
なお、ここでは撮像対象の素早い動きの検出をストロボ表示のトリガとしたが、高フレームレートへの切換のトリガとしてもよいし、或いは素早い動きがあった撮像対象についてのズーム表示やハイライト表示へのトリガとしてもよい。
【００９０】
図２０（ａ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。これは特に、人物が撮像された際に、その人物の個人判別を行う例である。
図２０（ａ）のステップＦ９０１は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体において人物の顔が含まれているかを判別し、また人物が顔が含まれていた場合、その顔の画像から個人特徴データを生成する。個人特徴データとは、例えば上述したように目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）である。
【００９１】
個人特徴データが抽出された場合、システムコントローラ１０はステップＦ９０２からＦ９０３に進み、個人特徴データに基づいて人物情報を検索する。
例えばシスムコントローラ１０は個人特徴データを通信部２６からネットワークサーバ或いは人物データベース搭載機器に送信し、送信先において人物情報を検索してもらい、その検索結果を受信する。或いは撮像表示装置１内に人物データベースが保持されていれば、システムコントローラ１０は、個人特徴データに基づいて人物データベースを検索することができる。
外部装置もしくはシステムコントローラ１０自身による検索結果として、特定の人物の人物情報が検索できたら、処理をステップＦ９０４からＦ９０５に進め、人物情報表示の画像制御トリガの発生と判断する。
このステップＦ９０５で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、表示制御部１４に対して、例えば検索された人物情報を重畳表示させるように指示する。
この処理によれば、例えば道行く人の中で、ユーザが過去に会った人、或いは有名人などで、人物データベースに登録されている人がいた場合に、表示部２にはその人物の画像とともに情報（氏名や所属、過去に出会った場所など、人物データベースに登録されていた情報）が表示されることになり、ユーザは人物を正確に認識できる。
【００９２】
図２０（ｂ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。これは図１０（ａ）のように日なた、日陰の影響で画像が見づらくなっている場合に対応する処理例である。
図２０（ｂ）のステップＦ９１０は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、撮像画像内で、日照状況によって明るい領域、暗い領域が発生しているか否かを検出する。
画像解析結果として、画像上に日なた／日陰による差が生じていると判別された場合は、システムコントローラ１０はステップＦ９１１からＦ９１２に進み、画像制御トリガの発生と判断する。
【００９３】
このステップＦ９１２で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して日なた／日陰の差を解消するような画像処理或いは撮像感度の部分的な変更を指示する。これにより、例えば図１０（ｂ）のように日なた／日陰の影響の少ない、見やすい画像をユーザに提供できる。
なお、日照による影響ではなく、家屋や施設内での照明等の影響で部分的な明暗の差が大きく生じているような場合や、画像が部分的に不鮮明となるような場合に、画面内の部分的な輝度調整、撮像感度調整、コントラスト調整などを実行させることも想定される。
【００９４】
以上、図１３〜図２０では、図１２のステップＦ１０４の画像制御トリガの発生判断の例として述べたが、これらの処理例を、図１２のステップＦ１０２のモニタ表示の開始トリガの判断や、ステップＦ１０５のモニタ表示終了のトリガの判断に適用することもできる。
【００９５】
例えば図１２のステップＦ１０１でスルー状態とされているときに、図１３の処理例のように周囲が暗いこと、或いは明るすぎることを検出したら、モニタ表示開始のトリガ発生と判別して、スルー状態からモニタ表示状態に切り換えても良い。
また図１４（ａ）のように天候による調整が必要と判断した場合にモニタ表示開始のトリガ発生と判別してもよい。すると特定の天候の場合にモニタ表示機能が発揮される。
図１４（ｂ）のように周囲が暗状態と判断した場合にモニタ表示開始のトリガ発生と判別すれば、暗状態において自動的にモニタ表示機能を発揮できる。
図１５のように、撮像対象が遠方或いは近傍となったときにモニタ表示開始のトリガ発生と判別してもよい。
図１６のように、近傍で文字を含む画像を検知したときにモニタ表示開始のトリガ発生と判別してもよい。
図１７のように時間帯に応じてモニタ表示開始のトリガ発生と判別してもよい。
図１８（ａ）のように現在位置が所定の場所となったときにモニタ表示開始のトリガ発生と判別しても良い。すると特定の場所や施設の種別においてモニタ表示機能を発揮させるようにすることができる。
図１９（ａ）のように特定の対象が存在したときにモニタ表示開始のトリガ発生と判別しても良い。
図１９（ｂ）のように撮像対象の素早い動きを検出したときにモニタ表示開始のトリガ発生と判別しても良い。
図２０（ａ）のように特定の人物を検出したときにモニタ表示開始のトリガ発生と判別してもよい。
図２０（ｂ）のように画像内での明暗の分布が生じている場合にモニタ表示開始のトリガ発生と判別してもよい。
これらのようにモニタ表示開始のトリガ発生と判別し、図１２のステップＦ１０３に進むようにすれば、ユーザはスルー状態で撮像表示装置１を装着していれば、特に操作をせずに、状況に応じてモニタ表示が実行され、かつその状況に応じた画像を見ることができる。
【００９６】
またモニタ終了トリガも同様に判別できる。
例えば図１３の処理例では、周囲が暗いこと、或いは明るすぎることを検出しているが、暗くもなく、また明るすぎることもないような状況のときに、モニタ表示終了のトリガ発生と判別して、スルー状態に戻すようにしてもよい。
また図１４（ａ）では天候による調整が必要か否かを判断しているが、特に調整が必要ないと判断されたときに、モニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図１４（ｂ）のように周囲が暗状態か否かを判断し、暗状態でなければモニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図１５のように、撮像対象が遠方或いは近傍となったかを判断した場合に、撮像対象が遠方でも近傍でもないと判断されたら、モニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図１６のように、近傍で文字を含む画像を検知する場合に、それが検知されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図１７のように時間帯、月日、季節等に応じてモニタ表示終了のトリガ発生と判別してもよい。
図１８（ａ）のように現在位置が所定の場所となったときにモニタ表示終了のトリガ発生と判別しても良い。すると特定の場所や施設の種別において撮像及びモニタ表示機能を停止させるようにすることができる。
図１８（ｂ）のように赤外線感度向上撮像を停止させる場合においてステップＦ７１３でモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
図１９（ａ）のように特定の対象が存在したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。例えば特定の対象について撮像／モニタ表示を禁止する場合である。
或いは、特定の対象が存在しないと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図１９（ｂ）のように撮像対象の素早い動きを検出している場合に、素早い動きが検出されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻しても良い。
図２０（ａ）のように特定の人物を検出したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。特定の人物に対して撮像／モニタ表示を禁止する例である。
或いは、特定の人物が画像内に存在しなくなったと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図２０（ｂ）のように画像内での明暗の分布を検出している場合に、撮像対象において明暗の差がなくなったらモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
これらのようにモニタ表示終了のトリガ発生と判別し、図１２のステップＦ１０１に戻るようにすれば、ユーザにとってモニタ表示の必要性が低下した、或いは必要性が無くなった状況、さらにはモニタ表示機能を禁止させたい状況において、自動的にスルー状態とすることができる。
【００９７】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部３で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示部２で表示させるが、この場合に、外界状況として周囲の明るさ、天候、被写体の状況、被写体自体の認識、被写体の動き、場所、日時などの情報に基づいて撮像動作又は表示動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができる。
また撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理に対する制御による表示態様の変更は、外界状況に基づいて行われるため、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示部２は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットが装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の撮像表示装置１の利点を有効に活用できる。
【００９８】
なお、実施の形態では撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理の制御によって実現される表示態様に関する制御を主に説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、外界の状況に基づいて行っても良い。例えば時刻や場所に応じて音量調整を行ったり、或いは周囲の音量を検知し、その音量に応じてスピーカ出力音量調整を行うことなども考えられる。
【００９９】
また、撮像表示装置１の外観や構成は図１，図２の例に限定されるものではなく、各種の変形例が考えられる。
例えば撮像部３で撮像した画像信号を記録するストレージ部や、他の機器に送信する送信部を設けてもよい。
さらには、表示部２で表示させる画像のソースとして、撮像部３に加えて、外部機器から映像を入力する入力部や受信部を設けても良い。
また、撮像表示画像１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、ユーザの視界方向を撮像するとともに、ユーザの眼前で表示を行いことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図２】実施の形態の撮像表示装置のブロック図である。
【図３】実施の形態のスルー状態、通常撮像画像表示状態、望遠画像表示状態の説明図である。
【図４】実施の形態の広角ズーム画像の表示状態の説明図である。
【図５】実施の形態の拡大画像の表示状態の説明図である。
【図６】実施の形態の調整画像の表示状態の説明図である。
【図７】実施の形態の赤外線感度上昇撮像画像の表示状態の説明図である。
【図８】実施の形態の紫外線感度上昇撮像画像の表示状態の説明図である。
【図９】実施の形態の分割表示の説明図である。
【図１０】実施の形態の調整画像の表示状態の説明図である。
【図１１】実施の形態のハイライト画像の表示状態の説明図である。
【図１２】実施の形態の制御処理のフローチャートである。
【図１３】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１４】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１５】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１６】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１７】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１８】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１９】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図２０】実施の形態の画像制御トリガの判別処理のフローチャートである。
【符号の説明】
【０１０１】
１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 音声信号処理部、１７ 画像解析部、１９ 周囲環境センサ、２０ 撮像対象センサ、２１ ＧＰＳ受信部、２２ 日時計数部、２６ 通信部、２７ 音声合成部
【技術分野】
【０００１】
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像し、ユーザの眼の前方で撮像画像の表示を行う撮像表示装置と、撮像表示方法に関する。
【背景技術】
【０００２】
【特許文献１】特開平８−１２６０３１号公報
【特許文献２】特開平９−２７９７０号公報
【特許文献３】特開平９−１８５００９号公報
【０００３】
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、特にユーザの視覚の補助や、視覚能力の拡大という観点で撮像や表示に関する制御を行うものは知られていない。
そこで本発明では、ユーザの視覚の補助や拡張を実現することを目的とする。さらには、視覚の補助や拡張を実現する表示動作や撮像動作の制御に関して、外界の状況（周囲の環境、被写体、日時、場所等）に応じて、的確な動作制御が行われるようにする。
【課題を解決するための手段】
【０００５】
本発明の撮像表示装置は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、外界情報を取得する外界情報取得手段と、上記外界情報取得手段で取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段とを備える。
また上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とを切換可能であるとする。
また上記撮像手段は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
【０００６】
また上記外界情報取得手段は、上記外界情報として周囲環境状況を検出するセンサである。
また上記外界情報取得手段は、上記外界情報として、上記撮像手段の撮像対象に関する情報を検出するセンサである。
また上記外界情報取得手段は、上記外界情報として、現在位置情報を取得する。
また上記外界情報取得手段は、上記外界情報として、現在日時を取得する。
また上記外界情報取得手段は、外部機器との通信により、上記外界情報を取得する。
また上記外界情報取得手段は、上記撮像手段により撮像した画像についての画像解析により、上記外界情報を取得する。
【０００７】
また上記外界情報取得手段が取得する上記外界情報は、周囲の明るさの情報、又は温度の情報、又は湿度の情報、又は気圧の情報、又は天候の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象までの距離の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する赤外線の情報又はエネルギーである。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する紫外線の情報又はエネルギーである。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象を判別する情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象として、人物、又は動物、又は建造物、又は自然物、又は機器を判別する情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象の動きの情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象とされた人物の個人を特定する情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が文字であるか否かを判別する情報である。
また上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地点の情報である。
また上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地域における建造物、又は自然物の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の明暗、又は鮮明度の情報である。
また上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の画像内の部分的な明暗、又は部分的な鮮明度の情報である。
【０００８】
また上記制御手段は、上記撮像手段における撮像動作のオン／オフの制御を行う。
また上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行う。
また上記制御手段は、上記撮像手段における焦点制御を行う。
また上記制御手段は、上記撮像手段における撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における一部の撮像素子領域の撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行う。
また上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行う。
また上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行う。
また上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行う。
また上記制御手段は、上記表示手段における表示画像の拡大／縮小の制御を行う。
また上記制御手段は、上記表示手段に表示する画面の一部のハイライト表示の制御を行う。
また上記制御手段は、上記表示手段における画面分割表示の制御を行う。
また上記制御手段は、上記表示手段における表示輝度の制御を行う。
また上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行う。
また上記被写体方向に対して照明を行う照明手段を更に備え、上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う。
また上記撮像手段で撮像された画像に含まれる文字に基づいて音声合成を行う音声合成手段と、上記音声合成手段で生成された音声を出力する音声出力手段とを更に備え、上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記音声合成手段による合成音声の出力動作の制御を行う。
【０００９】
本発明の撮像表示方法は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、外界情報を取得する外界情報取得ステップと、上記外界情報取得ステップで取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップとを備える。
【００１０】
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の撮像表示装置を装着することで、目の前方に位置する表示手段を視認する状態となる。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を、表示手段で視認できることになる。
これはユーザにとっては、通常に視認する前方の光景を、本発明の撮像表示装置を介して見ることになるが、するとこの場合、ユーザは表示手段に映し出された画像を通常の視覚風景として見ることになる。ここで、表示手段に映し出す画像の態様を、周囲環境状態や被写体の状況など、外界の状況に応じて変化させると、ユーザの視覚能力を補助したり拡張した状態とすることができる。
例えば望遠画像を表示させれば、ユーザが通常では見えない遠方の光景が見える。また本や新聞を見ているときに、表示手段でそれらの文字の拡大表示や輝度やコントラストの調整を行えば、例えば暗い状況でも、読みやすい状態とできる。
即ち、外界情報に応じて撮像手段や表示手段の動作を制御し、表示される撮像画像の態様を制御することで、ユーザにとって快適或いはおもしろみのある視覚状況を作り出すことができる。
【発明の効果】
【００１１】
本発明によれば、撮像手段で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示手段で表示させるが、この場合に、外界情報に基づいて撮像手段又は表示手段の動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができるという効果がある。
また撮像手段又は表示手段の制御による表示態様の変更は、外界情報から判定される周囲の環境や被写体の別や被写体の状況等に基づいて行うことで、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示手段は、撮像手段による撮像画像を表示させずに透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の撮像表示装置の利点を有効に得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の撮像表示装置、撮像表示方法の実施の形態を、次の順序で説明する。
［１．撮像表示装置の外観例］
［２．撮像表示装置の構成例］
［３．表示例］
［４．外界情報の検出］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］
【００１３】
［１．撮像表示装置の外観例］
実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
【００１４】
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。
【００１５】
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられ、また撮像レンズ３ａによる撮像方向がユーザが視認する方向、つまりユーザの前方となるようにされていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部４ａを設けない構成も考えられる。
【００１６】
［２．撮像表示装置の構成例］
図２に撮像表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は外界の状況に基づいて、撮像表示装置１内の各部の制御を行う。つまり外界の状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するように外界の状況を判定する外界状況判定機能１０ａと、外界状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。
【００１７】
撮像表示装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
【００１８】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
【００１９】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
【００２０】
また撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号は表示画像処理部１２に供給される。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、画像内の一部をハイライト表示（強調表示）させる画像処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
【００２１】
表示駆動部１３は、表示画像処理部１２から供給される映像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部２を透明もしくは半透明とする「スルー状態」に対して、表示部２で画像表示を行っている動作（及びその状態）を「モニタ表示」（「モニタ表示状態」）と言うこととする。
【００２２】
また撮像表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を処理するマイクアンプ部を有して成る。
音声信号処理部１６は、例えばＡ／Ｄ変換器、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなり、音声入力部６から供給される音声信号をデジタルデータに変換して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声信号をアナログ信号に変換して音声出力部２に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を当該撮像表示装置１を介して聞くことができる。
なお、音声出力部５は、いわゆる骨伝導スピーカとして構成されても良い。
【００２３】
また撮像表示装置１には音声合成部２７が設けられる。この音声合成部２７はシステムコントローラ１０の指示に応じて音声合成を行い、音声信号を出力する。
音声合成部２７から出力された音声信号は、音声信号処理部１６で処理されて音声出力部５に供給され、ユーザに対して音声出力される。
この音声合成部２７は、例えば後述する読み上げ音声の音声信号を発生させることになる。
【００２４】
また照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
【００２５】
この撮像表示装置１は、外界情報を取得するための構成として、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を有する。
【００２６】
周囲環境センサ１９としては、具体的には例えば照度センサ、温度センサ、湿度センサ、気圧センサ等が想定され、撮像表示装置１の周囲環境として、周囲の明るさ、温度、湿度、或いは天候等を検出するための情報を得るセンサとされる。
撮像対象センサ２０は、撮像部３での撮像動作の被写体となっている撮像対象に関する情報を検出するセンサである。例えば当該撮像表示装置１から撮像対象までの距離の情報を検出する測距センサが想定される。
また、焦電センサなどの赤外線センサのように、撮像対象が発する赤外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が人や動物などの生体であるか否かの検出が可能となる。
さらに、各種ＵＶ（Ultra Violet）センサのように、撮像対象が発する紫外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が蛍光物質や蛍光体であるか否かの検出や、日焼け対策に必要な外界の紫外線量の検出が可能となる。
【００２７】
ＧＰＳ受信部２１は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力する。
日時計数部２２は、いわゆる時計部として、日時（年月日時分秒）を計数し、現在日時情報を出力する。
画像解析部１７は、撮像部３，撮像信号処理部１５により得られた撮像画像について画像解析を行う。即ち被写体としての画像を解析し、撮像画像に含まれる被写体の情報を得る。
【００２８】
通信部２６は、外部機器との間でのデータ通信を行う。外部機器としては、コンピュータ機器、ＰＤＡ（Personal Digital Assistant）、携帯電話機、ビデオ機器、オーディオ機器、チューナ機器など、情報処理及び通信機能を備えたあらゆる機器が想定される。
またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。
さらには、ＩＣチップを内蔵した非接触通信ＩＣカード、ＱＲコード等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部２６はこれらの外部機器から情報を読み取る構成とすることも考えられる。
さらには他の撮像表示装置１も外部機器として想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良い。
【００２９】
これら周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６により、撮像表示装置１からみての外界の情報が取得され、システムコントローラ１０に供給される。
システムコントローラ１０は外界状況判定機能１０ａの処理により、取得した外界情報に応じて、動作制御機能１０ｂの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ１０は撮像制御部１１に指示して撮像部３や撮像信号処理部１５の動作を制御し、また表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御する。
【００３０】
なお、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を示したが、これらは必ずしも全てを備える必要はない。また、周囲の音声を検知・解析する音声解析部など、他のセンサが設けられても良い。
【００３１】
［３．表示例］
システムコントローラ１０が、取得した外界情報に応じて撮像動作や表示動作に関する制御を行うことは、結果として表示部２における多様な表示態様としてユーザに認識される。図３から図１１により、各種の表示態様を例示する。
図３（ａ）は表示部２がスルー状態となっている場合を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図３（ｂ）は、モニタ表示状態として、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図３（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、これらの部位が撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
【００３２】
図３（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合であり、望遠画像が表示部２に表示されている。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。
【００３３】
図４（ａ）は表示部２がスルー状態となっている場合を示しているとする。例えばユーザが新聞等を見ている状態である。
図４（ｂ）は、いわゆる広角ズームとした状態である。即ち近距離の焦点位置状態でズーム撮像を行い、例えば新聞等の文字がユーザに拡大されるように表示部２に表示されている状態である。
【００３４】
図５（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
このときにシステムコントローラ１０が、表示制御部１４を介して表示画像処理部１２に対して画像拡大処理を指示することで、図５（ｂ）のような拡大画像が表示部２に表示されることになる。
【００３５】
図６（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。特に、ユーザが新聞や書籍を読んでいる場合を示している。ここでは、周囲が薄暗く、通常撮像画像やスルー状態では、新聞等の文字が見えにくい状況となっているとする。
このような場合に、システムコントローラ１０は撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図６（ｂ）のように、よりはっきりした画像を表示部２に表示させることができる。なお、照明部４に照明動作を実行させることも、このような表示を行う場合に好適となる。
【００３６】
図７（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。ここでは、ユーザが、子供が寝ている暗い寝室に居る場合を示している。暗い部屋の中であるため、通常撮像画像やスルー状態では、子供の姿等がはっきり見えない状況である。
このときにシステムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、図７（ｂ）のように赤外線撮像画像が表示部２に表示され、暗い部屋で子供の寝顔などを確認できる。
【００３７】
図８（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、図８（ｂ）のように紫外光成分を表した撮像画像が表示部２に表示される。
【００３８】
図９（ａ）は、表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して分割表示及び分割画面での拡大表示を指示することにより、図９（ｂ）のような画像を表示部２に表示させることができる。即ち表示部２の画面上を領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態又は通常画像表示とし、領域ＡＲ２には拡大画像とした例である。
また図９（ｃ）は他の分割表示の例を示しており、この場合は表示部２の画面上を領域ＡＲ１、ＡＲ２、ＡＲ３，ＡＲ４に分割するとともに、各領域には、所定時間間隔で撮像画像の１フレームを抽出して表示させている。例えば表示画像処理部１２に、撮像画像信号において０．５秒間隔で１フレームを抽出させ、抽出したフレームの画像を領域ＡＲ１→ＡＲ２→ＡＲ３→ＡＲ４→ＡＲ１→ＡＲ２・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部２で分割表示により実行した例である。
【００３９】
図１０（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。この画像では、例えばサッカースタジアムにおいてピッチ上に日陰と日なたの境界が生じ、見にくい状況となっている。
システムコントローラ１０は、例えばＣＣＤセンサ又はＣＭＯＳセンサ上で日陰部分に相当する領域の画素について撮像感度を向上させたり表示輝度を向上させ、一方、日なた部分に相当する領域の画素について撮像感度を低下させたり表示輝度を低下させることで、図１０（ｂ）のように日なた／日陰の影響が低減された画像が表示される。
【００４０】
図１１（ａ）（ｂ）は特定の対象として、画像内に例えば鳥が含まれている場合に、その鳥を強調させるようにハイライト表示させた表示例である。
画像内で、鳥が検知される場合に、その鳥の部分をハイライト表示させることで、ユーザが対象を見失いにくいようにした表示を実現できる。
ハイライト画像処理としては、画像内で注目部分のみを輝度を上げたり、注目部分以外の輝度を下げたり、注目部分をカラー表示で注目部分以外をモノクロ表示とするなどの手法が考えられる。また注目部分に注目枠やカーソル、ポインタマーク等、何らかのキャラクタ画像を表示させることで画像内の特定部分を強調しても良い。
【００４１】
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像部３，撮像信号処理部１５、表示画像処理部１２，表示駆動部１３の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示（高フレームレートでの撮像画像や低フレームレートでの撮像画像の表示）、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト表示、スロー表示、コマ送り表示、これらの各種の撮像画像表示を組み合わせた分割表示、スルー状態と撮像画像を組み合わせた分割表示、ストロボ表示、撮像画像の１フレームの表示を継続させる静止画表示など、非常に多様な表示態様が想定される。
【００４２】
［４．外界情報の検出］
上述したように本例の撮像表示装置１は、外界情報を取得するための構成として周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、及び通信部２６を有する。
【００４３】
周囲環境センサ１９としては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定される。
照度センサによっては、撮像表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサ１９により、撮像表示装置１は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周囲の明るさや気象状況に適した撮像動作、表示動作を実行制御できる。
【００４４】
撮像対象センサ２０は撮像対象についての情報を検知する。例えば測距センサや焦電センサなどが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることができる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた撮像動作、表示動作を実行制御できる。
【００４５】
ＧＰＳ受信部２１は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出した場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情報を得ることができる。図２の構成では特に述べていないが、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。
また撮像表示装置１に地図データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在位置や現在地点の近辺の地理的条件や施設などに応じた撮像動作、表示動作を実行制御できる。
【００４６】
日時計数部２２は例えば年月日時分秒を計数する。この日時計数部２２によってシステムコントローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜の別（時刻）に応じた撮像動作、表示動作や、現在の季節に適した撮像動作、表示動作などを実行制御できる。
【００４７】
画像解析部１７によれば、撮像画像から撮像対象についての以下のような各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
【００４８】
また画像解析部１７による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部１７による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
【００４９】
また、画像解析部１７による画像解析によれば、例えば書籍や新聞などを撮像している状況であることを判別できる。例えば画像内での文字認識を行うことや、書籍や新聞などの形状の認識を行えばよい。
なお画像解析部１７で文字認識を行った場合、システムコントローラ１０は、その認識した文字をテキストデータとして音声合成部２７に供給することができる。
【００５０】
また、画像解析部１７による画像解析によれば、人物が被写体となっている場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って、画像解析部１７は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置１に人物データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたとき）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
【００５１】
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように撮像表示装置１から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
【００５２】
以上、周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、通信部２６のそれぞれで取得できる情報の例を挙げたが、これらのうちの複数の系統で或る外界情報について検知判別してもよい。
例えば周囲環境センサ１９で得られた湿度等の情報と、通信部２６で受信された天候情報を組み合わせ、より正確に現在の天候を判別することもできる。
またＧＰＳ受信部２１と通信部２６の動作により取得した現在場所に関する情報と、画像解析部１７で得られる情報により、現在位置や撮像対象の状況をより正確に判別することもできる。
【００５３】
［５．各種動作例］
本実施の形態の撮像表示装置１は、以上のように周囲環境センサ１９、撮像対象センサ２０、ＧＰＳ受信部２１、日時計数部２２、画像解析部１７、通信部２６で取得される外界情報により、システムコントローラ１０が周囲の状況や撮像対象の状況などを判別し、それに応じて撮像動作や表示動作を制御することで、ユーザの視覚の補助や拡張を実現するものである。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
【００５４】
図１２は、システムコントローラ１０の動作制御機能１０ｂとしての制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２をスルー状態とする制御処理を示している。例えば撮像表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示部２をスルー状態に制御する。
表示部２をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２でモニタ表示状態の開始のトリガが発生したか否かを確認している。図２では示していないが、例えばユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことでモニタ表示状態を開始させるトリガの発生と判断すればよい。但し、後に例を述べるが、外界情報に応じてモニタ表示状態を開始させるトリガの発生と判断することもできる。
【００５５】
モニタ表示開始のトリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、モニタ表示の開始制御を行う。即ち撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、また表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、撮像信号を通常撮像画像の態様で表示部２に表示させる動作を実行させる。
この処理により、例えば図３（ａ）のスルー状態から例えば図３（ｂ）の通常撮像画像のモニタ表示状態となる。
【００５６】
通常撮像画像、つまりスルー状態で見える光景と同様の撮像画像を表示部２に表示させている期間は、システムコントローラ１０は、ステップＦ１０４で画像制御のトリガが発生したか否かを監視し、またステップＦ１０５でモニタ表示の終了のトリガが発生したか否かを監視する。
ステップＦ１０４での画像制御のトリガの発生とは、外界状況判定機能１０ａによって判定された外界状況（周囲や被写体の状況、現在日時、現在位置の状況等）により、モニタ表示の表示画像態様の変更を行うとシステムコントローラ１０自身が判断することを意味している。
またステップＦ１０５でのモニタ表示の終了のトリガの発生とは、例えばユーザが所定の操作子によりモニタ表示状態を終了させる操作を行った場合とすればよいが、ステップＦ１０２のモニタ表示開始のトリガと同様、このモニタ表示の終了のトリガも、検知された外界情報に応じてトリガ発生と判断する場合もある。
【００５７】
画像制御のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、撮像画像の表示動作に関しての制御を行う。つまり撮像制御部１１、表示制御部１４に指示し、その時点の外界状況に応じた態様の表示を表示部２において実行させる。
ステップＦ１０６で表示態様に関しての制御を行った後も、ステップＦ１０４，Ｆ１０５のトリガ発生の監視を行う。
【００５８】
モニタ終了のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０１に戻し、撮像制御部１１に対して撮像動作の終了を指示し、また表示制御部１４に対して表示部２をスルーとする指示を行う。
【００５９】
ユーザが撮像表示装置１を装着して電源オンとしている期間は、システムコントローラ１０の動作制御機能１０ｂは、例えばこの図１２のような制御処理を行うことになる。
そしてこの処理においては、ステップＦ１０４での画像制御トリガの判断による表示態様制御を行うが、このトリガ発生判断と制御内容の具体例について、図１３以降で説明していく。
【００６０】
図１３から図２０は、システムコントローラ１０の外界状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１２の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１２の処理を実行している期間中に、図１３〜図２０のような検知処理が定期的に割込処理としてに行われればよいものである。これら図１３〜図２０のような処理のプログラムは、図１２の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
【００６１】
図１３〜図２０は、図１２のステップＦ１０４としての画像制御のトリガ発生の判断に関する処理例であるが、まず図１３では、周囲環境センサ１９もしくは画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例を示す。
図１３のステップＦ２０１は、システムコントローラ１０が周囲環境センサ１９と画像解析部１７の一方又は両方の情報を監視する処理を示している。ここでは周囲環境センサ１９が照度センサであり、また画像解析部１７は画像から周囲の明るさを解析する処理を行っているものとする。
システムコントローラ１０は周囲環境センサ１９と画像解析部１７の一方又は両方からの情報に基づいて、現在、周囲が暗い状況であるか否か、或いは明るすぎる状況であるか否か判別する。例えば検出照度を数値化し、検出照度がｘルクス以下であれば暗い状況、検出照度がｙルクス以上であれば明るすぎる状況と判断する。
【００６２】
周囲が暗い状況であると判断した場合、システムコントローラ１０は処理をステップＦ２０２からＦ２０４に進め、画像制御トリガ発生と判別する。
そしてステップＦ２０５で、現在の周囲の照度（暗さ）に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。
このステップＦ２０４，Ｆ２０５の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、周囲が暗くとも、ユーザは表示部２での表示画像により周囲を視認しやすい状態となる。例えば周囲が暗くて表示部２の表示画像が図６（ａ）のようになっている状況から、図６（ｂ）のような見やすい状態に切り換えられる。
なお、このように周囲が暗い状況と判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
【００６３】
またシステムコントローラ１０は、周囲が明るすぎる状況であると判断した場合も、処理をステップＦ２０３からＦ２０６に進め、画像制御トリガ発生と判別する。
そしてステップＦ２０７で、現在の周囲の照度に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。この場合、明るすぎる状況で、ユーザがまぶしい感じを受けている場合であるため、撮像感度を低下させたり、表示輝度を低下させる調整値を求めることになる。
このステップＦ２０６，Ｆ２０７の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合も撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、周囲が明るすぎても、ユーザは表示部２での表示画像により周囲をまぶしさを感じずに視認できる状態となる。
【００６４】
図１４（ａ）は、周囲環境センサ１９もしくは通信部２６からの情報に基づいて画像制御トリガ発生と判断する例である。
図１４（ａ）のステップＦ３０１は、システムコントローラ１０が周囲環境センサ１９からの検出情報と通信部２６による受信情報の一方又は両方の情報を監視する処理を示している。周囲環境センサ１９としては温度センサ、湿度センサ、気圧センサ等が想定される。また通信部２６では、例えばネットワークサーバ等から逐次気象情報が受信されるものとする。
システムコントローラ１０は、例えば周囲環境センサ１９で得られる気圧、湿度、気温から周囲の天候状況を判別できる。また通信部２６で受信される気象情報でも天候状況を判別できる。なお、ネットワークサーバから天候状況を受信するためには、システムコントローラ１０は逐次ＧＰＳ受信部２１で得られる現在位置情報をネットワークサーバに対して送信するようにし、その現在位置に該当する地域の気象情報をネットワークサーバから受信するようにするとよい。
周囲環境センサ１９の検出情報、又は通信部２６の受信情報により、システムコントローラ１０は周囲の天候状況を判断できるが、この両方の情報を用いれば、より正確に天候状況を判断できることにもなる。
【００６５】
システムコントローラ１０は例えば晴天、曇天、雨天、雷雨、台風、降雪などの状況や、雨が降り出す、雨が止む、曇天となるなど天候状況の変化に応じて、画像調整が必要か否かを判断する。そして調整が必要な状況と判断したら、システムコントローラ１０は処理をステップＦ３０２からＦ３０３に進め、画像制御トリガ発生と判別し、ステップＦ３０４で、現在の天候に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により周囲を視認しやすくなる調整値を求める。
このステップＦ３０３，Ｆ３０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が天候状況に応じた画質に調整され、ユーザは表示部２での表示画像により周囲を視認しやすい状態となる。
なお、天候によってはシステムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
また、ここでは周囲環境センサ１９又は通信部２６の受信情報により天候判断を行うとしたが、画像解析部１７で雨の画像を認識することで、雨が降り出したことや雨が止んだこと、雷が発生したことなども正確に検知できるようになる。
【００６６】
次に図１４（ｂ）により、周囲環境センサ１９からの情報に基づいて暗視機能を発揮させるための画像制御トリガ発生と判断する例を示す。
図１４（ｂ）のステップＦ３１０は、システムコントローラ１０が周囲環境センサ１９の情報を監視する処理を示している。ここでは周囲環境センサ１９が照度センサであるとする。
システムコントローラ１０は周囲環境センサ１９の検出情報に基づいて、現在、周囲が暗い状況であるか否か判別する。例えば検出照度を数値化し、検出照度がｘルクス以下であれば暗い状況と判断する。
【００６７】
周囲が暗い状況であると判断した場合、システムコントローラ１０は処理をステップＦ３１１からＦ３１３に進め、暗視機能をオンとする画像制御トリガ発生と判別する。
このステップＦ３１３の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は暗視機能をオンとする制御を行うことになる。即ちシステムコントローラ１０は撮像制御部１１に、撮像部１３の赤外線撮像感度を上昇させる指示を行う。
この処理により、暗視機能が発揮され、例えば図７（ａ）のように暗くて見えない状況において、図７（ｂ）のような赤外線感度上昇撮像の画像が表示部２に表示されることになり、ユーザは暗い場所で周囲を視認できる。
【００６８】
また、システムコントローラ１０は周囲が暗い状態でないと判断した場合は、ステップＦ３１１からＦ３１２に進む。この場合、その時点で暗視機能（赤外線感度上昇撮像）をオンとしていれば、ステップＦ３１４に進むことになり、このときは暗視機能をオフとする画像制御トリガ発生と判別する。このステップＦ３１４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は暗視機能をオフとする制御を行うことになる。即ちシステムコントローラ１０は撮像制御部１１に、撮像部１３の赤外線撮像感度を通常に戻し、通常の撮像を実行させる指示を行う。
【００６９】
この図１４（ｂ）の処理により、ユーザにとっては暗い部屋などに入った場合に自動的に暗視機能がオンとされ、暗いままで周囲を見やすい状況となる。また例えば暗い部屋から出たら、自動的に暗視機能がオフとなる。つまり周囲状況に応じてユーザの視覚能力を拡大できるような処理が実現される。
なお、周囲が暗い状況であるか否かの検知は、また画像解析部１７での画像解析でも可能である。例えば撮像画像全体の輝度が非常に低くなったときに、周囲が暗状態になったとして暗視機能オンの画像制御トリガの発生と判断しても良い。
【００７０】
図１５は、撮像対象センサ２０又は画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１５のステップＦ４０１は、システムコントローラ１０が撮像対象センサ２０からの検出情報と画像解析部１７からの情報の一方又は両方を監視する処理を示している。撮像対象センサ２０としては例えば測距センサが想定される。また画像解析部１７は撮像画像の解析により、被写体までの距離を算出するものとする。
即ちシステムコントローラ１０は、これらの情報に基づいて、ユーザが見ている対象（撮像対象）が遠方であるか、手元などの近傍であるかを判別する。
【００７１】
例えばユーザが遠くの風景を見ている場合や、スタジアムの遠い席で試合を観戦しているなどであって、撮像対象が遠方であると判断される場合は、システムコントローラ１０はステップＦ４０２からＦ４０４に進んで、望遠ズーム表示に切り換える画像制御トリガの発生と判別する。そしてステップＦ４０５で、その際の撮像対象までの距離に応じて適切なズーム倍率を算出する。
また例えばユーザが近くの風景を見ている場合や、手元の新聞等を見ている場合などであって、撮像対象が近傍であると判断される場合は、システムコントローラ１０はステップＦ４０３からＦ４０６に進んで、ズームアップ（広角ズーム）表示への切換の画像制御トリガの発生と判別する。そしてステップＦ４０７で撮像対象までの距離に応じて適切なズーム倍率を算出する。
【００７２】
このステップＦ４０４，Ｆ４０５の処理、又はステップＦ４０６，Ｆ４０７の処理が行われることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に計算した倍率でのズーム動作を指示する。
これにより表示部２では、ユーザが見ようとしている光景に応じて図３（ｃ）のような望遠画像や、図４（ｂ）のような広角ズーム画像が表示されることになる。
なお、ここでは望遠／広角のズーム動作制御を行う例としたが、撮像対象までの距離に応じて、焦点位置を変更させる制御を行ったり、画像の拡大／縮小動作を実行させるような制御動作も考えられる。
【００７３】
図１６は、撮像対象センサ２０と画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例であるが、これは特に撮像対象が新聞、書籍等の文字を含むものであるか否かを判別する例である。
図１６のステップＦ５０１は、システムコントローラ１０が撮像対象センサ２０からの検出情報と画像解析部１７からの情報を監視する処理を示している。撮像対象センサ２０は測距センサであるとする。また画像解析部１７は撮像画像の解析により、被写体に文字が含まれているか否かを検出するものとする。
システムコントローラ１０は、これらの情報に基づいて、ユーザが見ている対象（撮像対象）が近傍であって、それが新聞や書籍など文字を含むものであるか否かを判別する。つまり手元の新聞を読んでいるような状況であるか否かを判断する。
【００７４】
撮像対象が近傍であって文字を含んでいると判断された場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０３に進め、画像制御トリガ発生と判別する。
そしてステップＦ５０４で、現在の新聞、書籍を読む場合に適した調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが新聞等を快適に読める調整値を求める。
このステップＦ５０３，Ｆ５０４の処理により、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、例えば図６（ｂ）のような文字を読みやすい表示が実行される。
【００７５】
なお、文字を含むことの検出に加え、周囲の明るさも検出し、周囲の明るさを上記調整値の算出に反映させてもよい。
また、画像解析の際に書籍や新聞の形状を認識することを、ステップＦ５０３に進む条件に加えても良い。
また、撮像対象が新聞等であると判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
また、画質調整ではなく、例えば表示画像処理部１２に拡大処理を実行させて、図４（ｂ）のような拡大画像を表示させ、ユーザに文字を読みやすい画像を提供することも考えられる。
【００７６】
また、文字を含む画像の場合に、画像解析部１７は文字を判別し、文字をテキストデータとしてシステムコントローラ１０に供給してもよい。この場合、システムコントローラ１０は画像から検出されたテキストデータに基づいて音声合成部２７に音声合成処理を実行させる。
すると音声合成部２７では、撮像画像に含まれる文字の読み上げ音声としての音声信号が生成される。システムコントローラ１０は、この読み上げ音声を音声出力部５から出力させる。
このようにすると、ユーザは新聞等を見るだけで、その読み上げ音声を聞くことができるようになる。
【００７７】
図１７は、日時計数部２２による現在時刻の情報に基づいて画像制御トリガ発生と判断する例である。
図１７のステップＦ６０１は、システムコントローラ１０が日時計数部２２で計数されている現在日時時刻をチェックする処理を示している。システムコントローラ１０は、現在時刻に基づいて、時間帯を判断する。例えば早朝、朝方、日中、夕方、夜間という時間帯を判別する。例えば４時〜７時を早朝、７時〜９時を朝方、９時〜１７時を日中、１７時〜１９時を夕方、１９時〜４時を夜間などとする。
また、この時間帯毎の時刻の区切りの基準は、月日の判断により変更するとよい。例えば月日によって日の出時間、日没時間の違いを考慮して、上記各時間帯としての判断時刻を変化させる。例えば早朝とする時間帯を夏期は４時〜７時、冬期を６時〜８時とするなどである。
【００７８】
ステップＦ６０１での日時チェックにより判別される時間帯として、時間帯の変化があったと判断した場合は、システムコントローラ１０は処理をステップＦ６０２からＦ６０３以降に進む。
例えば早朝とされる時刻になった時点では、ステップＦ６０３からＦ６０７に進み、早朝用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また朝方とされる時刻になったときは、ステップＦ６０４からＦ６０８に進み、朝方用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また日中とされる時刻になったときは、ステップＦ６０５からＦ６０９に進み、日中用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また夕方とされる時刻になったときは、ステップＦ６０６からＦ６１０に進み、夕方用の撮像動作／表示動作の画像制御トリガの発生と判別する。
また夜間とされる時刻になったときは、ステップＦ６１１に進み、夜間用の撮像動作／表示動作の画像制御トリガの発生と判別する。
【００７９】
ステップＦ６０７、Ｆ６０８，Ｆ６０９，Ｆ６１０，Ｆ６１１のいずれかで画像制御トリガの発生と判断された場合は、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に、時間帯に応じた撮像動作、表示動作の指示を行う。例えば撮像感度の調整、輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。或いはソフトフォーカス表示などの画像エフェクトを指示しても良い。、
この処理により、時間帯に応じたイメージの画像がユーザに提供される。例えば早朝では柔らかい画質の画像、日中はコントラストの強いはっきりした画像、夕方はセピア色のような画質の画像、夜間はくすんだ画質の画像などである。このように時間帯毎のユーザの気分に合わせたようなおもしろみのある画像提供を実現できる。
もちろん、時間帯毎の明るさに応じて画質を調整し、視認性を向上させるという画質調整も考えられる。
なお、時間帯とともに、天候状況、屋内／屋外の別を判断して、状況に好適な画質調整を行うことも考えられる。
また、時間帯ではなく日時情報から季節を判断して、季節に応じた画質調整を行うことも考えられる。例えば表示画像において、夏は青色成分を強調させ、秋は赤色成分を強調させ、冬は白色成分を強調させ、春は緑／ピンク系統を強調させるなどとして、季節感のある画像提供を行うことなどである。
【００８０】
図１８（ａ）はＧＰＳ受信部２１及び通信部２６の受信情報に基づいて画像制御トリガ発生と判断する例である。
図１８（ａ）のステップＦ７０１は、システムコントローラ１０がＧＰＳ受信部２１で得られる現在位置の緯度・経度の情報を通信部２６からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する動作を示している。なお撮像表示装置１内に地図データベースが保持されていれば、システムコントローラ１０は、ＧＰＳ受信部２１からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索することができる。
【００８１】
システムコントローラ１０は、取得した現在地点の情報に基づいて、現在、所定の画像制御を実行する場所にいるか否かを判別する。そして現在位置が所定の画像制御を実行する場所であると判断したら、ステップＦ７０２からＦ７０３に進み、当該所定の画像制御を実行すべき画像制御トリガ発生と判断する。
このステップＦ７０３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
【００８２】
例えば現在位置がスポーツ競技場、サーキットなどであると検出した場合は、ユーザが見る対象（撮像対象）は素早い動きの人物や車などであることから、システムコントローラ１０は撮像制御部１１に対して撮像フレームレートを高くして、速い動きを良好に表現できる表示を実行させる。
また現在位置がコンサート会場、寄席、演芸場、スポーツ競技場などであれば、撮像対象のステージまでの距離に応じて、システムコントローラ１０は撮像制御部１１に対して望遠撮像動作を指示することが考えられる。現在位置情報としてステージ等の撮像対象までの距離までもが判別できれば、それに応じて望遠倍率を設定すればよいし、撮像対象までの距離を撮像対象センサ２０（測距センサ）により検出して望遠倍率を設定すればよい。また、望遠動作ではなく、撮像信号処理部１５又は表示画像処理部１２に画像拡大処理を指示してもよい。
また現在位置が海岸、山などであれば、システムコントローラ１０は撮像制御部１１に対して紫外線感度向上撮像を指示し、例えば図８（ｂ）のような画像を表示させ、ユーザに紫外線の量を認識させるような表示を実行させることが考えられる。
また、取得された現在地点の情報に基づいて、地名、撮像している施設・店舗等の名称などをキャラクタ画像や文字で重畳表示させたり、宣伝情報、施設の案内情報、周辺の注意情報などを表示部２に表示させるように制御することも考えられる。
【００８３】
図１８（ｂ）もＧＰＳ受信部２１及び通信部２６の受信情報に基づいて画像制御トリガ発生と判断する例であるが、特に赤外線感度向上撮像の実行中における処理例である。
図１８（ｂ）の処理は、現在、撮像部３において赤外線感度向上撮像を実行している場合にステップＦ７１０からＦ７１１に進む。
ステップＦ７１１では、システムコントローラ１０がＧＰＳ受信部２１で得られる現在位置の緯度・経度の情報を通信部２６からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する。なお撮像表示装置１内に地図データベースが保持されていれば、システムコントローラ１０は、ＧＰＳ受信部２１からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索する処理となる。
【００８４】
システムコントローラ１０は、現在位置の情報を取得したら、現在位置が赤外線感度向上撮像を禁止すべき場所であるか否かを判断する。
そして禁止すべき場所であると判断したら、ステップＦ７１２からＦ７１３に進み、システムコントローラ１０は、赤外線感度向上撮像の終了の画像制御トリガの発生と判断する。
このステップＦ７１３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に対して赤外線感度向上撮像の終了の指示を行う。
このように、場所に応じて赤外線感度向上撮像が実行できなくすることで、赤外線感度上昇撮像などの特殊撮像機能の悪用防止に有効である。
【００８５】
図１９（ａ）は、画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１９（ａ）のステップＦ８０１は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体に特定の対象が含まれているか否かを検出するものとする。
画像解析結果として、特定の対象が撮像されていると検出された場合は、システムコントローラ１０はステップＦ８０２からＦ８０３に進み画像制御トリガの発生と判断する。
このステップＦ８０３で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
【００８６】
例えば特定の対象を鳥とした場合、撮像画像内で鳥が検出されることで、図１１（ａ）（ｂ）のように画像内の鳥の部分のハイライト表示を実行させるように表示画像処理部１２の動作を指示することが考えられる。この場合、例えばバードウォッチングの際に、ユーザが鳥を見つけることや、鳥の動きを追うことが容易となる。
また猫を特定の対象とすれば、猫が好きなユーザが、通常に生活している中で、猫が視界に入ったときに、それが表示画像上で強調されることで、猫を認識し易くできる。
また特定の対象を人物した場合、撮像画像内で人物が検出されることで、画像内の人物の部分をハイライト表示等で強調させたり、拡大表示、ズーム表示等を実行させるように表示画像処理部１２や撮像信号処理部１５、或いは撮像部３の動作を指示することが考えられる。
また人物や動物、或いは建造物などの特定の対象において、その特定の対象のみが表示され、人物等の特定の対象の周囲の光景は全て塗りつぶされるような画像を表示させるようにしてもよい。
逆に、特定の対象として人物を検知したら、その人物のみが画像内で消されるような画像処理を実行させることも考えられる。例えば自然風景内で人物や車などの人工的なものを排除（マスキング）した画像を表示させるなどである。この場合、マスキングしようとする特定対象の周囲の画素からの補間処理で、特定対象の画素部分を埋めるような処理を行っても良い。
また人物等の特定対象についてはモザイク表示などの画像エフェクトを加えることも考えられる。
【００８７】
なお、この図１９（ａ）では画像解析部１７からの情報に基づく例としたが、例えば特定の対象を人物や動物という生体とした場合、撮像対象センサ２０としての焦電センサにより、特定の対象を検知したときに画像制御トリガの発生と判断するようにしてもよい。
【００８８】
図１９（ｂ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。
図１９（ｂ）のステップＦ８１０は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体において素早い動きが発生しているか否かを検出する。例えば各撮像フレームでの差分から動きの素早さを判定する。
画像解析結果として、被写体の素早い動きが検出された場合は、システムコントローラ１０はステップＦ８１１からＦ８１２に進み、ストロボ表示の画像制御トリガの発生と判断する。
このステップＦ８１２で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、表示制御部１４に対して図９（ｃ）のような表示を実行させるように画像処理の指示を行う。
この処理によれば、例えばスポーツ観戦中に、選手の素早い動きがあったときに、ユーザはその動きをストロボ表示で確認できることになる。
【００８９】
なお、ここでは撮像対象の素早い動きの検出をストロボ表示のトリガとしたが、高フレームレートへの切換のトリガとしてもよいし、或いは素早い動きがあった撮像対象についてのズーム表示やハイライト表示へのトリガとしてもよい。
【００９０】
図２０（ａ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。これは特に、人物が撮像された際に、その人物の個人判別を行う例である。
図２０（ａ）のステップＦ９０１は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、被写体において人物の顔が含まれているかを判別し、また人物が顔が含まれていた場合、その顔の画像から個人特徴データを生成する。個人特徴データとは、例えば上述したように目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）である。
【００９１】
個人特徴データが抽出された場合、システムコントローラ１０はステップＦ９０２からＦ９０３に進み、個人特徴データに基づいて人物情報を検索する。
例えばシスムコントローラ１０は個人特徴データを通信部２６からネットワークサーバ或いは人物データベース搭載機器に送信し、送信先において人物情報を検索してもらい、その検索結果を受信する。或いは撮像表示装置１内に人物データベースが保持されていれば、システムコントローラ１０は、個人特徴データに基づいて人物データベースを検索することができる。
外部装置もしくはシステムコントローラ１０自身による検索結果として、特定の人物の人物情報が検索できたら、処理をステップＦ９０４からＦ９０５に進め、人物情報表示の画像制御トリガの発生と判断する。
このステップＦ９０５で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、表示制御部１４に対して、例えば検索された人物情報を重畳表示させるように指示する。
この処理によれば、例えば道行く人の中で、ユーザが過去に会った人、或いは有名人などで、人物データベースに登録されている人がいた場合に、表示部２にはその人物の画像とともに情報（氏名や所属、過去に出会った場所など、人物データベースに登録されていた情報）が表示されることになり、ユーザは人物を正確に認識できる。
【００９２】
図２０（ｂ）も画像解析部１７からの情報に基づいて画像制御トリガ発生と判断する例である。これは図１０（ａ）のように日なた、日陰の影響で画像が見づらくなっている場合に対応する処理例である。
図２０（ｂ）のステップＦ９１０は、システムコントローラ１０が画像解析部１７からの情報を監視する処理を示している。画像解析部１７は撮像画像の解析により、撮像画像内で、日照状況によって明るい領域、暗い領域が発生しているか否かを検出する。
画像解析結果として、画像上に日なた／日陰による差が生じていると判別された場合は、システムコントローラ１０はステップＦ９１１からＦ９１２に進み、画像制御トリガの発生と判断する。
【００９３】
このステップＦ９１２で画像制御トリガの発生と判断されることで、システムコントローラ１０の図１２の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１や表示制御部１４に対して日なた／日陰の差を解消するような画像処理或いは撮像感度の部分的な変更を指示する。これにより、例えば図１０（ｂ）のように日なた／日陰の影響の少ない、見やすい画像をユーザに提供できる。
なお、日照による影響ではなく、家屋や施設内での照明等の影響で部分的な明暗の差が大きく生じているような場合や、画像が部分的に不鮮明となるような場合に、画面内の部分的な輝度調整、撮像感度調整、コントラスト調整などを実行させることも想定される。
【００９４】
以上、図１３〜図２０では、図１２のステップＦ１０４の画像制御トリガの発生判断の例として述べたが、これらの処理例を、図１２のステップＦ１０２のモニタ表示の開始トリガの判断や、ステップＦ１０５のモニタ表示終了のトリガの判断に適用することもできる。
【００９５】
例えば図１２のステップＦ１０１でスルー状態とされているときに、図１３の処理例のように周囲が暗いこと、或いは明るすぎることを検出したら、モニタ表示開始のトリガ発生と判別して、スルー状態からモニタ表示状態に切り換えても良い。
また図１４（ａ）のように天候による調整が必要と判断した場合にモニタ表示開始のトリガ発生と判別してもよい。すると特定の天候の場合にモニタ表示機能が発揮される。
図１４（ｂ）のように周囲が暗状態と判断した場合にモニタ表示開始のトリガ発生と判別すれば、暗状態において自動的にモニタ表示機能を発揮できる。
図１５のように、撮像対象が遠方或いは近傍となったときにモニタ表示開始のトリガ発生と判別してもよい。
図１６のように、近傍で文字を含む画像を検知したときにモニタ表示開始のトリガ発生と判別してもよい。
図１７のように時間帯に応じてモニタ表示開始のトリガ発生と判別してもよい。
図１８（ａ）のように現在位置が所定の場所となったときにモニタ表示開始のトリガ発生と判別しても良い。すると特定の場所や施設の種別においてモニタ表示機能を発揮させるようにすることができる。
図１９（ａ）のように特定の対象が存在したときにモニタ表示開始のトリガ発生と判別しても良い。
図１９（ｂ）のように撮像対象の素早い動きを検出したときにモニタ表示開始のトリガ発生と判別しても良い。
図２０（ａ）のように特定の人物を検出したときにモニタ表示開始のトリガ発生と判別してもよい。
図２０（ｂ）のように画像内での明暗の分布が生じている場合にモニタ表示開始のトリガ発生と判別してもよい。
これらのようにモニタ表示開始のトリガ発生と判別し、図１２のステップＦ１０３に進むようにすれば、ユーザはスルー状態で撮像表示装置１を装着していれば、特に操作をせずに、状況に応じてモニタ表示が実行され、かつその状況に応じた画像を見ることができる。
【００９６】
またモニタ終了トリガも同様に判別できる。
例えば図１３の処理例では、周囲が暗いこと、或いは明るすぎることを検出しているが、暗くもなく、また明るすぎることもないような状況のときに、モニタ表示終了のトリガ発生と判別して、スルー状態に戻すようにしてもよい。
また図１４（ａ）では天候による調整が必要か否かを判断しているが、特に調整が必要ないと判断されたときに、モニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図１４（ｂ）のように周囲が暗状態か否かを判断し、暗状態でなければモニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図１５のように、撮像対象が遠方或いは近傍となったかを判断した場合に、撮像対象が遠方でも近傍でもないと判断されたら、モニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図１６のように、近傍で文字を含む画像を検知する場合に、それが検知されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図１７のように時間帯、月日、季節等に応じてモニタ表示終了のトリガ発生と判別してもよい。
図１８（ａ）のように現在位置が所定の場所となったときにモニタ表示終了のトリガ発生と判別しても良い。すると特定の場所や施設の種別において撮像及びモニタ表示機能を停止させるようにすることができる。
図１８（ｂ）のように赤外線感度向上撮像を停止させる場合においてステップＦ７１３でモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
図１９（ａ）のように特定の対象が存在したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。例えば特定の対象について撮像／モニタ表示を禁止する場合である。
或いは、特定の対象が存在しないと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図１９（ｂ）のように撮像対象の素早い動きを検出している場合に、素早い動きが検出されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻しても良い。
図２０（ａ）のように特定の人物を検出したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。特定の人物に対して撮像／モニタ表示を禁止する例である。
或いは、特定の人物が画像内に存在しなくなったと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図２０（ｂ）のように画像内での明暗の分布を検出している場合に、撮像対象において明暗の差がなくなったらモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
これらのようにモニタ表示終了のトリガ発生と判別し、図１２のステップＦ１０１に戻るようにすれば、ユーザにとってモニタ表示の必要性が低下した、或いは必要性が無くなった状況、さらにはモニタ表示機能を禁止させたい状況において、自動的にスルー状態とすることができる。
【００９７】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部３で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示部２で表示させるが、この場合に、外界状況として周囲の明るさ、天候、被写体の状況、被写体自体の認識、被写体の動き、場所、日時などの情報に基づいて撮像動作又は表示動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができる。
また撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理に対する制御による表示態様の変更は、外界状況に基づいて行われるため、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示部２は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットが装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の撮像表示装置１の利点を有効に活用できる。
【００９８】
なお、実施の形態では撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理の制御によって実現される表示態様に関する制御を主に説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、外界の状況に基づいて行っても良い。例えば時刻や場所に応じて音量調整を行ったり、或いは周囲の音量を検知し、その音量に応じてスピーカ出力音量調整を行うことなども考えられる。
【００９９】
また、撮像表示装置１の外観や構成は図１，図２の例に限定されるものではなく、各種の変形例が考えられる。
例えば撮像部３で撮像した画像信号を記録するストレージ部や、他の機器に送信する送信部を設けてもよい。
さらには、表示部２で表示させる画像のソースとして、撮像部３に加えて、外部機器から映像を入力する入力部や受信部を設けても良い。
また、撮像表示画像１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、ユーザの視界方向を撮像するとともに、ユーザの眼前で表示を行いことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図２】実施の形態の撮像表示装置のブロック図である。
【図３】実施の形態のスルー状態、通常撮像画像表示状態、望遠画像表示状態の説明図である。
【図４】実施の形態の広角ズーム画像の表示状態の説明図である。
【図５】実施の形態の拡大画像の表示状態の説明図である。
【図６】実施の形態の調整画像の表示状態の説明図である。
【図７】実施の形態の赤外線感度上昇撮像画像の表示状態の説明図である。
【図８】実施の形態の紫外線感度上昇撮像画像の表示状態の説明図である。
【図９】実施の形態の分割表示の説明図である。
【図１０】実施の形態の調整画像の表示状態の説明図である。
【図１１】実施の形態のハイライト画像の表示状態の説明図である。
【図１２】実施の形態の制御処理のフローチャートである。
【図１３】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１４】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１５】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１６】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１７】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１８】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図１９】実施の形態の画像制御トリガの判別処理のフローチャートである。
【図２０】実施の形態の画像制御トリガの判別処理のフローチャートである。
【符号の説明】
【０１０１】
１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 音声信号処理部、１７ 画像解析部、１９ 周囲環境センサ、２０ 撮像対象センサ、２１ ＧＰＳ受信部、２２ 日時計数部、２６ 通信部、２７ 音声合成部
【特許請求の範囲】
【請求項１】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、
上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、
外界情報を取得する外界情報取得手段と、
上記外界情報取得手段で取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段と、
を備えることを特徴とする撮像表示装置。
【請求項２】
上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とを切換可能であることを特徴とする請求項１に記載の撮像表示装置。
【請求項３】
上記撮像手段は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項１に記載の撮像表示装置。
【請求項４】
上記外界情報取得手段は、上記外界情報として周囲環境状況を検出するセンサであることを特徴とする請求項１に記載の撮像表示装置。
【請求項５】
上記外界情報取得手段は、上記外界情報として、上記撮像手段の撮像対象に関する情報を検出するセンサであることを特徴とする請求項１に記載の撮像表示装置。
【請求項６】
上記外界情報取得手段は、上記外界情報として、現在位置情報を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項７】
上記外界情報取得手段は、上記外界情報として、現在日時を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項８】
上記外界情報取得手段は、外部機器との通信により、上記外界情報を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項９】
上記外界情報取得手段は、上記撮像手段により撮像した画像についての画像解析により、上記外界情報を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項１０】
上記外界情報取得手段が取得する上記外界情報は、周囲の明るさ、又は温度、又は湿度、又は気圧、又は天候の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１１】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象までの距離の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１２】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する赤外線の情報又はエネルギーであることを特徴とする請求項１に記載の撮像表示装置。
【請求項１３】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する紫外線の情報又はエネルギーであることを特徴とする請求項１に記載の撮像表示装置。
【請求項１４】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象を判別する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１５】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象として、人物、又は動物、又は建造物、又は自然物、又は機器を判別する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１６】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象の動きの情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１７】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象とされた人物の個人を特定する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１８】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が文字であるか否かを判別する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１９】
上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地点の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２０】
上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地域における建造物、又は自然物の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２１】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の明暗、又は鮮明度の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２２】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の画像内の部分的な明暗、又は部分的な鮮明度の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２３】
上記制御手段は、上記撮像手段における撮像動作のオン／オフの制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２４】
上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２５】
上記制御手段は、上記撮像手段における焦点制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２６】
上記制御手段は、上記撮像手段における撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２７】
上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２８】
上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２９】
上記制御手段は、上記撮像手段における一部の撮像素子領域の撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３０】
上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３１】
上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３２】
上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３３】
上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、
上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３４】
上記制御手段は、上記表示手段における表示画像の拡大／縮小の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３５】
上記制御手段は、上記表示手段に表示する画面の一部のハイライト表示の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３６】
上記制御手段は、上記表示手段における画面分割表示の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３７】
上記制御手段は、上記表示手段における表示輝度の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３８】
上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３９】
上記被写体方向に対して照明を行う照明手段を更に備え、
上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項４０】
上記撮像手段で撮像された画像に含まれる文字に基づいて音声合成を行う音声合成手段と、
上記音声合成手段で生成された音声を出力する音声出力手段と、
を更に備え、
上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記音声合成手段による合成音声の出力動作の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項４１】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、
外界情報を取得する外界情報取得ステップと、
上記外界情報取得ステップで取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップと、
を備えることを特徴とする撮像表示方法。
【請求項１】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、
上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、
外界情報を取得する外界情報取得手段と、
上記外界情報取得手段で取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段と、
を備えることを特徴とする撮像表示装置。
【請求項２】
上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とを切換可能であることを特徴とする請求項１に記載の撮像表示装置。
【請求項３】
上記撮像手段は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項１に記載の撮像表示装置。
【請求項４】
上記外界情報取得手段は、上記外界情報として周囲環境状況を検出するセンサであることを特徴とする請求項１に記載の撮像表示装置。
【請求項５】
上記外界情報取得手段は、上記外界情報として、上記撮像手段の撮像対象に関する情報を検出するセンサであることを特徴とする請求項１に記載の撮像表示装置。
【請求項６】
上記外界情報取得手段は、上記外界情報として、現在位置情報を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項７】
上記外界情報取得手段は、上記外界情報として、現在日時を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項８】
上記外界情報取得手段は、外部機器との通信により、上記外界情報を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項９】
上記外界情報取得手段は、上記撮像手段により撮像した画像についての画像解析により、上記外界情報を取得することを特徴とする請求項１に記載の撮像表示装置。
【請求項１０】
上記外界情報取得手段が取得する上記外界情報は、周囲の明るさ、又は温度、又は湿度、又は気圧、又は天候の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１１】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象までの距離の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１２】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する赤外線の情報又はエネルギーであることを特徴とする請求項１に記載の撮像表示装置。
【請求項１３】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が発する紫外線の情報又はエネルギーであることを特徴とする請求項１に記載の撮像表示装置。
【請求項１４】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象を判別する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１５】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象として、人物、又は動物、又は建造物、又は自然物、又は機器を判別する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１６】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象の動きの情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１７】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象とされた人物の個人を特定する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１８】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段の撮像対象が文字であるか否かを判別する情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１９】
上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地点の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２０】
上記外界情報取得手段が取得する上記外界情報は、現在位置に該当する地域における建造物、又は自然物の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２１】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の明暗、又は鮮明度の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２２】
上記外界情報取得手段が取得する上記外界情報は、上記撮像手段で撮像された画像の画像内の部分的な明暗、又は部分的な鮮明度の情報であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２３】
上記制御手段は、上記撮像手段における撮像動作のオン／オフの制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２４】
上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２５】
上記制御手段は、上記撮像手段における焦点制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２６】
上記制御手段は、上記撮像手段における撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２７】
上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２８】
上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項２９】
上記制御手段は、上記撮像手段における一部の撮像素子領域の撮像感度の可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３０】
上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３１】
上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３２】
上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３３】
上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、
上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３４】
上記制御手段は、上記表示手段における表示画像の拡大／縮小の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３５】
上記制御手段は、上記表示手段に表示する画面の一部のハイライト表示の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３６】
上記制御手段は、上記表示手段における画面分割表示の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３７】
上記制御手段は、上記表示手段における表示輝度の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３８】
上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項３９】
上記被写体方向に対して照明を行う照明手段を更に備え、
上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項４０】
上記撮像手段で撮像された画像に含まれる文字に基づいて音声合成を行う音声合成手段と、
上記音声合成手段で生成された音声を出力する音声出力手段と、
を更に備え、
上記制御手段は、上記外界情報取得手段で取得された情報に基づいて、上記音声合成手段による合成音声の出力動作の制御を行うことを特徴とする請求項１に記載の撮像表示装置。
【請求項４１】
使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、
外界情報を取得する外界情報取得ステップと、
上記外界情報取得ステップで取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップと、
を備えることを特徴とする撮像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００８−８３２８９（Ｐ２００８−８３２８９Ａ）
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願番号】特願２００６−２６１９７５（Ｐ２００６−２６１９７５）
【出願日】平成１８年９月２７日（２００６．９．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願日】平成１８年９月２７日（２００６．９．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]