撮像表示装置、撮像表示方法
【課題】ユーザの視覚能力の拡大や多様な画像提供の実現。
【解決手段】ユーザが例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより撮像表示装置を装着した際に、撮像部がユーザの視界方向の光景を撮像する状態とする。そして撮像部で撮像された画像、即ち第１の画像信号生成手段（Ｃ１）で得られたユーザの視界方向の光景となる表示画像信号を表示手段に供給して表示させるが、そのときに、同時に第２の画像信号生成手段（Ｃ２）で生成された表示画像信号による異なる画像も表示させる。例えば画面分割や親子画面などの形態で同時に複数の画像を表示させる。
【解決手段】ユーザが例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより撮像表示装置を装着した際に、撮像部がユーザの視界方向の光景を撮像する状態とする。そして撮像部で撮像された画像、即ち第１の画像信号生成手段（Ｃ１）で得られたユーザの視界方向の光景となる表示画像信号を表示手段に供給して表示させるが、そのときに、同時に第２の画像信号生成手段（Ｃ２）で生成された表示画像信号による異なる画像も表示させる。例えば画面分割や親子画面などの形態で同時に複数の画像を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の視界方向を被写体方向とする撮像部によって撮像された画像を表示することのできる撮像表示装置と撮像表示方法に関する。
【背景技術】
【０００２】
【特許文献１】特開平８−１２６０３１号公報
【特許文献２】特開平９−２７９７０号公報
【特許文献３】特開平９−１８５００９号公報
【特許文献４】特開２００５−１７２８５１号公報
【０００３】
例えば上記各特許文献１，２，３のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
また上記特許文献４のように、眼鏡型もしくは頭部装着型の装着ユニットに小型のカメラを取り付け、ユーザの視界方向の光景を撮像できるようにした装置が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、ユーザの視界方向の光景を含め、多様な画像をユーザに提供できる装置は開発されていない。
そこで本発明では、ユーザの視界方向の光景を含め、多様な画像をユーザに対して表示し、ユーザの視覚能力を拡張したり、ユーザに有用性や楽しさを提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像表示装置は、画像表示を行う表示手段と、使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段と、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成手段と、上記表示手段において上記第１，第２の画像信号生成手段で生成された複数の表示画像信号による画像表示を同時に実行させる制御を行う制御手段とを備える。
【０００６】
また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる。
或いは上記表示手段は、上記第１の画像信号生成手段を備えた筐体とは別筐体で形成されている。
また上記第１の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
【０００７】
上記第２の画像信号生成手段は、撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成する。
またこの場合、上記第２の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、使用者の視界方向を被写体方向とする撮像部である。
或いは上記撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部である。
また上記撮像部は、被写体方向が可変とされた撮像部である。
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
また 上記第２の画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第２の画像信号生成手段は、上記信号処理部における信号処理により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
【０００８】
また上記第２の画像信号生成手段は、外部機器から画像信号を受信する受信部を有し、上記受信部で受信した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第２の画像信号生成手段は、記録媒体から画像信号を再生する再生部を有し、上記再生部で再生した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
【０００９】
また上記表示手段において、画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われる。
また上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われる。
【００１０】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、近景撮像又は遠景撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、望遠撮像又は広角撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、拡大処理又は縮小処理により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、撮像感度を上昇又は低下させた撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、赤外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、紫外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号である。
【００１１】
本発明の撮像表示方法は、使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成ステップと、上記第１の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成ステップと、上記第１，第２の画像信号生成ステップで生成された複数の表示画像信号による画像表示を同時に実行させる表示ステップとを備える。
【００１２】
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の撮像表示装置を装着することで、撮像部がユーザの視界方向の光景を撮像する状態となる。そして撮像部で撮像された画像、即ち第１の画像信号生成手段で得られたユーザの視界方向の光景となる表示画像信号を表示手段に供給して表示させるが、そのときに、同時に第２の画像信号生成手段で生成された表示画像信号も表示させる。例えば画面分割や親子画面などの形態で同時に複数の画像を表示させればよい。
第２の画像信号生成手段で生成される表示画像信号は、第１の画像信号生成手段による表示画像信号とは異なる画像である。異なる画像とは、別方向の撮像画像、同方向の撮像画像であるがズーミング、焦点位置、感度、信号処理の違いなどによって異なるものとなる画像、他の機器から受信した画像、記録媒体から再生した画像など、多様に考えられる。
そして、第１の画像信号生成手段で得られる表示画像信号により通常の視界光景を表示すると同時に、第２の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張させたり、おもしろみのある表示を提供する。
なお、第１、第２の画像信号生成手段は、表示する表示画像信号のソースとなるが、第１，第２という表記は、画像信号生成手段が２つであると限定する意味ではなく、画像信号生成手段を３つ以上を備えることを本発明は妨げるものではない。
【発明の効果】
【００１３】
本発明によれば、表示手段において第１の画像信号生成手段で得られる表示画像信号により視界光景の画像を表示すると同時に、第２の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張したり、有用或いはおもしろみのある表示を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の撮像表示装置、撮像表示方法の実施の形態を、次の順序で説明する。
［１．撮像表示装置の外観例及び外部機器との関連］
［２．撮像表示装置の構成例］
［３．画面上の領域形態］
［４．表示動作例］
［５．動作トリガの例］
［６．実施の形態の効果、変形例及び拡張例］
【００１５】
［１．撮像表示装置の外観例及び外部機器との関連］
実施の形態として、図１（ａ）（ｂ）に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば図１（ｂ）のように両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図１（ａ）のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられる。なお、表示部２で画像表示を行わない期間は、液晶パネルにおける透過率を制御し、透明又は半透明のスルー状態とできるようにしてもよい。
【００１６】
またユーザが装着した状態において、ユーザの前方方向に向けて２つの撮像レンズ３ａ、３ａが配置されている。この場合、２つの撮像レンズ３ａ、３ａは、共に撮像表示装置１を装着したユーザの視界方向（前方）が被写体方向となるように取り付けられている。
また撮像レンズ３ａ、３ａによる撮像方向に対して照明を行う発光部４ａ、４ａが設けられる。発光部４ａ、４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
図４で後述するが、撮像レンズ３ａ、３ａはそれぞれが撮像機能部位（Ｃ１，Ｃ２）に含まれる撮像レンズである。そして撮像レンズ３ａ、３ａから撮像された撮像画像信号は、それぞれが所定の処理を経て表示画像信号とされて表示部２に表示される。
【００１７】
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
また発光部４ａを設けない構成も考えられる。
【００１８】
また図１では撮像レンズ３ａ、３ａがユーザの前方を被写体方向とするように取り付けられているが、２つの撮像レンズ３ａが互いに異なる方向を被写体方向として撮像するように取り付けられていても良い。
図２（ａ）（ｂ）に例を示す。図２（ａ）（ｂ）の例では、前方を撮像する１つの撮像レンズ３ａ及び発光部４ａが設けられると共に、後頭部側に位置することになるユニットにもう１つの撮像レンズ３ａ及び発光部４ａが設けられている。つまりこの場合、２つの撮像レンズ３ａ、３ａは、それぞれがユーザの視界方向と、ユーザの視界方向とは異なる方向（この場合、ユーザの後方）を撮像するものとされる。
【００１９】
なお本実施の形態では、少なくとも１つの撮像レンズ３ａがユーザの視界方向を撮像するものとされるが、他の撮像レンズ３ａがユーザの視界方向とは異なる方向を撮像するように配置される場合、その被写体方向は、ユーザの後方に限られず、ユーザの上方、左側方、右側方、足下などを被写体方向とするように取り付けられていてもよい。
さらに、３つ以上の撮像レンズ３ａを設け、それぞれが同一方向に向けられたり、異なる方向に向けられたりしてもよい。
【００２０】
また、図１，図２の例では撮像レンズ３ａ、３ａは固定的に取り付けられていることで撮像時の被写体方向は固定（ユーザの前方、又はユーザの後方）であるが、被写体方向を変化させることのできる可動機構を介して撮像レンズ３ａを取り付けることで、手動又は自動で撮像時の被写体方向を変化させることができるようにしてもよい。
複数の撮像レンズ３ａについては、全てが固定型、全てが可動型、一部が可動型等、多様な例が考えられる。
【００２１】
ところで図１、図２の撮像表示装置１は、撮像のための構成部分と撮像した画像をモニタできる表示部２が一体に形成された例であるが、図３の撮像表示装置１のように表示部２が別体とされている例も考えられる。
図３の撮像表示装置１は、撮像装置部４０と表示装置部３０が別体で形成されている。
撮像装置部４０は所定の装着フレームによりユーザの頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤにより形成される。
この場合、後述するが撮像装置部４０の内部には撮像した画像データ等を、別体構成される表示装置部３０に送信する通信部が設けられている。
【００２２】
表示装置部３０は例えばユーザが携帯可能な小型軽量の機器とされる。
表示装置部３０は内部に撮像装置部４０との間のデータ通信を行う通信部が設けられており、撮像装置部４０から供給される画像データについて表示画面３１に表示させる動作を行う。
ユーザは、このように撮像装置部４０と表示装置部３０が別体とされた撮像表示装置１を用いることもできる。
【００２３】
［２．撮像表示装置の構成例］
図４〜図８により撮像表示装置１の内部構成例を説明していく。
まず図４は、上記図１，図２に対応した構成例であり、即ち２つの撮像機能部位を備えた構成例である。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は内部の動作プログラム及び動作トリガ情報発生部１６からの動作トリガに基づいて、撮像表示装置１内の各部の制御を行い、表示部２において所要の画像表示を実行させる。
【００２４】
撮像表示装置１内では、第１の撮像機能部位Ｃ１として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像機能部位Ｃ１における撮像部３は、図１又は図２に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
図１、図２の例の場合は、この撮像機能部位Ｃ１の撮像部３によってユーザの前方の光景が撮像される。
【００２５】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
また撮像信号処理部１５は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また撮像信号処理部１５は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
つまり撮像信号処理部１５は、撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
【００２６】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作、つまり撮像機能部位Ｃ１による撮像動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の画像処理動作を制御する。即ち撮像信号処理部１５に対して、上記の各種処理を実行させる。
【００２７】
また撮像表示装置１内では、第２の撮像機能部位Ｃ２としての、撮像部３、撮像制御部１１、撮像信号処理部１５も設けられる。
撮像機能部位Ｃ２における撮像部３、撮像制御部１１、撮像信号処理部１５は、上記撮像機能部位Ｃ１における撮像部３、撮像制御部１１、撮像信号処理部１５と基本的に同様である。
撮像機能部位Ｃ２における撮像部３は、図１又は図２に示した、もう１つの撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成するＣＣＤセンサアレイ又はＣＭＯＳセンサアレイによる固体撮像素子アレイなどが設けられる。
図１の例の場合は、この撮像機能部位Ｃ２の撮像部３も撮像機能部位Ｃ１と同じくユーザの前方の光景を撮像することになり、一方、図２の例の場合は、この撮像機能部位Ｃ２の撮像部３は撮像機能部位Ｃ１と異なる方向、例えばユーザの後方の光景を撮像することになる。
【００２８】
撮像機能部位Ｃ２における撮像信号処理部１５も、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。また撮像信号処理部１５は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また撮像信号処理部１５は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
【００２９】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作、つまり撮像機能部位Ｃ２による撮像動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の画像処理動作を制御する。即ち撮像信号処理部１５に対して、上記の各種処理を実行させる。
【００３０】
これら撮像機能部位Ｃ１、Ｃ２は、それぞれ撮像によって得られた撮像画像信号を、表示部２での表示に用いる表示画像信号として、表示画像処理部１２に供給する。
【００３１】
撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像機能部位Ｃ１、Ｃ２で得られる表示画像信号は表示画像処理部１２に供給される。表示画像処理部１２は、この場合、撮像機能部位Ｃ１、Ｃ２という２つの画像ソース（画像信号生成手段）から供給される表示画像信号を同時に表示部２に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部２の画面領域を設定し、各領域に撮像機能部位Ｃ１、Ｃ２からの各表示画像信号による画像が表示されるようにする。
【００３２】
表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
なお表示駆動部１３は、表示部２の各画素の透過率を制御して、画面全体又は一部をスルー状態とできるようにしてもよい。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。
【００３３】
また撮像機能部位Ｃ１、Ｃ２のそれぞれに対応して、照明部4と照明制御部１８が設けられる。照明部４は、図１、図２に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１又は図２に示したように取り付けられていることで、照明部４は撮像レンズ３ａによる被写体方向に対する照明動作を行うことになる。
【００３４】
動作トリガ情報発生部１６は、表示部２での画像表示の開始／終了、表示態様の切換などのための動作トリガ情報を発生する。
この動作トリガ情報発生部１６は、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構により構成することができる。即ちユーザの手動操作を各種動作の動作トリガ情報とする場合である。動作トリガ情報発生部１６は、ユーザの操作情報を動作トリガ情報としてシステムコントローラ１０に供給することで、システムコントローラ１０はユーザの操作に応じた表示動作制御を行う。
また、動作トリガ情報発生部１６は、ユーザ情報（ユーザの視覚状況、身体の挙動、生体状況等の検知情報）を検知したり、外界情報（撮像表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成としてもよい。例えばシステムコントローラ１０がこれらのユーザ情報や外界情報に基づいて、動作トリガ発生の判断を行うようにしてもよい。なお、ユーザ情報や外界情報についての例は後に述べる。
【００３５】
図５は、撮像表示装置１としての他の構成例を示すものである。なお、図４と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図５の構成は、図４の構成における第２の撮像機能部位Ｃ２と、撮像機能部位Ｃ２に対応した照明部４，照明制御部１８を備えず、代わりに通信部２６を有する構成とされている。
【００３６】
通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、例えばコンピュータ装置、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ビデオストレージ機器やテレビジョン受像器等のＡＶ機器、ネットワークサーバ装置などが想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
【００３７】
この図５の例の場合、通信部２６は外部機器との間で、次の図６のように通信を行い、外部機器から画像データを受信する。そして通信部２６は受信した画像データを、表示部２での表示を行う表示画像信号として表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画像信号が表示駆動部１３に供給され、表示部２で表示される。
図６は、撮像表示装置１の使用形態を、外部機器との関連において例示している。
図６（ａ）は撮像表示装置１が通信部２６により、外部の撮像装置７０と通信を行う例である。この場合、撮像表示装置１は、撮像装置７０で撮像された画像を受信して表示部２に表示させる。外部の撮像装置７０とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また本実施の形態と同様の他の撮像表示装置１を、外部の撮像装置７０と考えることもできる。
また外部の撮像装置７０は、撮像表示装置１を用いるユーザ本人が所有する撮像装置であったり、撮像表示装置１のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって撮像表示装置１と通信可能とされているものなど多様に考えられる。
【００３８】
図６（ｂ）は、撮像表示装置１が通信機能を備え、外部のコンテンツソース機器７１と通信を行う例である。この場合、撮像表示装置１は、コンテンツソース機器７１から提供される画像（動画／静止画）を受信して表示部２に表示させる。
コンテンツソース機器７１とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のＡＶ（Audio-Visual）機器や、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器７１も、撮像表示装置１を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器７１から撮像表示装置１に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
【００３９】
図６（ｃ）は、撮像表示装置１の通信部２６が、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７０やコンテンツソース機器７１と通信を行う例である。この場合、撮像表示装置１は、ネットワーク７３を介して画像データを受信し、その受信した画像データに基づいた表示画像信号による画像表示を表示部２で実行させる。
【００４０】
図７は、撮像表示装置１としてのさらに他の構成例を示すものである。なお、上記図４、図５と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図７の構成は、図４の構成における第２の撮像機能部位Ｃ２と、撮像機能部位Ｃ２に対応した照明部４，照明制御部１８を備えず、代わりにストレージ部２５を有する構成とされている。
【００４１】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disk Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【００４２】
撮像機能部位Ｃ１部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、記録媒体から画像データを再生する。そして再生した画像データを、表示部２での表示を行う表示画像信号として表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画像信号が表示駆動部１３に供給され、表示部２で表示される。
ストレージ部２５で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
【００４３】
図８は、撮像表示装置１の更に他の構成例を示し、これは図３で述べたように撮像装置部４０と表示装置部３０が別体で形成された例に対応する構成例である。
この例では、撮像装置部４０において図５と同様に撮像機能部位Ｃ１と、通信部２６を有する構成としている。
この撮像機能部位Ｃ１及び通信部２６で得られる表示画像信号は、表示通信制御部２０に供給される。表示通信制御部２０は、表示装置部３０との通信の為のエンコード処理を行う。即ち撮像機能部位Ｃ１及び通信部２６から供給される表示画像信号をエンコードする。
表示通信制御部２０でエンコードされた画像データは、通信部２１から表示装置部３０に送信される。
【００４４】
表示装置部３０は、通信部３４、表示部３１、表示画像処理部３２、表示駆動部３３，表示制御部３５、及び操作部３６が設けられる。
通信部３４は、撮像装置部４０の通信部２１との間でデータ通信を行う。特には、撮像装置部４０から送信されてくる画像データ、つまり撮像機能部位Ｃ１と通信部２６で得られた表示画像信号としての画像データを受信し、デコード処理をおこなう。
通信部３４でデコードされた表示画像信号は、表示画像処理部１２に供給される。表示画像処理部１２は、この場合、撮像機能部位Ｃ１、通信部２６という２つの画像信号ソース（画像信号生成手段）から供給される表示画像信号を同時に表示部３１に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部３１の画面領域を設定し、各領域に撮像機能部位Ｃ１と通信部２６からの各表示画像信号による画像が表示されるようにする。
【００４５】
表示駆動部３３は、表示画像処理部３２から供給される画像信号を、例えば液晶ディスプレイとされる表示部３１において表示させるための画素駆動回路で構成されている。即ち表示部３１においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部３５は、表示画像処理部３２の処理動作や表示駆動部３３の動作を制御する。例えば操作部３６からのユーザの操作に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御も行う。
なお、システムコントローラ１０からの指示情報が通信部２１，３４の通信で送信されてくる場合、表示制御部３５は、そのシステムコントローラ１０からの指示情報に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御を行うようにしてもよい。
【００４６】
以上、図４，図５，図７、図８として撮像表示装置１の構成例を示した。
図４は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、２つの撮像機能部位Ｃ１、Ｃ２が設けられた例である。
図５は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１と通信部２６が設けられた例である。
図７は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１とストレージ部２５が設けられた例である。
図８は、図５と同様、表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１と通信部２６が設けられるが、特に撮像装置部４０と表示装置部３０が別体構成とされる場合の例である。
これらの構成例を挙げたが、撮像表示装置１としてはさらに多様な構成例が想定される。
特に上記各例では２系統の画像ソースを有する例を挙げているが、３系統以上の画像ソースを有する場合もある。
例えば撮像機能部位Ｃ１と、通信部２６と、ストレージ部２５を有する構成例や、３つ以上の撮像機能部位Ｃ１，Ｃ２，Ｃ３・・・を有する構成例なども考えられる。
【００４７】
そして本実施の形態においては、複数の画像ソースのうち、少なくとも１つはユーザの視界方向の光景を撮像するものとされる。即ち各構成例における撮像機能部位Ｃ１がこれに相当し、撮像機能部位Ｃ１で得られる表示画像信号は、ユーザの視界光景の撮像信号である。
他の画像ソースは、この撮像機能部位Ｃ１とは異なる画像を表示する表示画像信号を生成する。
ここで、撮像機能部位Ｃ１で得られる表示画像信号による画像、即ちユーザの視界光景の撮像画像とは異なる画像がどのように得られるかは多様に考えられる。
例えば撮像機能部位Ｃ２が撮像機能部位Ｃ１とは異なる方向の撮像を行っている場合、その撮像機能部位Ｃ２で撮像された画像そのものが、撮像機能部位Ｃ１により得られる画像とは異なるものとなる。通信部２６で受信された画像やストレージ部２５で再生された画像も、撮像機能部位Ｃ１により得られる画像とは異なるものとなる。
また図１の例のように撮像機能部位Ｃ２が撮像機能部位Ｃ１と同一方向（ユーザの視界方向）の撮像を行っている場合でも、その撮像動作態様や撮像信号処理により、撮像機能部位Ｃ１により得られる画像とは異なる画像を得ることができる。
そして本例では、これら複数の画像ソースからの表示画像信号を同時に表示部２に表示させ、ユーザに多様な画像を提供するものである。
【００４８】
［３．画面上の領域形態］
表示部２の画面上で、複数の画像ソースからの表示画像信号による画像を同時に表示する場合の領域形態の例を図９，図１０に示す。
表示部２（図８の場合は表示装置３０の表示部３１：以下同様）において、複数の画像ソースからの画像を同時に表示する形態としては、画面領域内で親画面領域と子画面領域を設定したり、画面領域を分割することが考えられる。
【００４９】
図９における領域ＡＲ１、ＡＲ２は、それぞれ異なる画像ソースからの画像を表示する領域を示している。
図９（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下に子画面としての領域ＡＲ２を設定し、各領域ＡＲ１，ＡＲ２で画像表示を行っている例である。
図９（ｂ）は、表示部２の画面領域で、領域ＡＲ１内で左下に子画面としての領域ＡＲ２を設定し、各領域ＡＲ１，ＡＲ２で画像表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域ＡＲ１内の右上、左上、中央、中央右寄り、中央左寄りなど、各種の位置に子画面としての領域ＡＲ２を設定することもできる。
図９（ｃ）は、領域ＡＲ２としてのサイズを小さくした例である。
図９（ｄ）は、領域ＡＲ２としてのサイズを大きくした例である。
図９（ｅ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して左右に分けた例である。
図９（ｆ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して上下に分けた例である。
【００５０】
例えば図４〜図８の構成において、画像表示を行う場合、この図９（ａ）〜（ｆ）のような形態で、領域ＡＲ１で撮像機能部位Ｃ１を画像ソースとしてユーザの視界光景の画像を表示し、領域ＡＲ２に他の画像ソース（撮像機能部位Ｃ２，通信部２６、ストレージ部２５等）による画像表示を行うことが考えられる。
またシステムコントローラ１０は、動作トリガ情報発生部１６からの情報（例えばユーザの操作情報、ユーザ情報、外界情報等）に基づいて、図９（ａ）〜（ｆ）どのような領域形態で画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。例えばユーザの操作等に応じて図９（ａ）（ｂ）のように子画面とされる領域ＡＲ２の位置を変更したり、図９（ｃ）（ｄ）のように領域ＡＲ２のサイズを変更したり、図９（ｅ）（ｆ）のように等分割することで、ユーザの好みに合わせることができる。
また、いわゆる表示領域交代として、図９（ａ）〜（ｆ）における領域ＡＲ１と領域ＡＲ２を入れ換え、領域ＡＲ２で撮像機能部位Ｃ１を画像ソースとしてユーザの視界光景の画像を表示し、領域ＡＲ１に他の画像ソース（撮像機能部位Ｃ２，通信部２６、ストレージ部２５等）による画像表示を行うような切り換えを行うことも考えられる。
【００５１】
次に図１０は、画像ソースが３つ存在する場合の表示部２の領域形態の例であり、図１０において領域ＡＲ１、ＡＲ２、ＡＲ３は、それぞれ異なる画像ソースからの表示画像信号による画像表示を行っている領域であるとする。
図１０（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下と左下に２つの子画面としての領域ＡＲ２、ＡＲ３を設定し、各領域ＡＲ１，ＡＲ２，ＡＲ３でそれぞれ画像表示を行っている例である。
図１０（ｂ）は、表示部２の画面領域で、領域ＡＲ１の左右に領域ＡＲ２、ＡＲ３を設定し、それぞれ画像表示を行っている例である。
図１０（ｃ）は、表示部２の画面領域で、領域ＡＲ１の上下に領域ＡＲ２、ＡＲ３を設定し、それぞれ画像表示を行っている例である。
また図示しないが、領域ＡＲ１、ＡＲ２、ＡＲ３を３等分に分割設定しても良い。
また、システムコントローラ１０の制御によって領域形態の切換や領域の交代が行われることも図９の場合と同様に想定される。
【００５２】
なお、３つ以上の画像ソースを有する場合であっても、そのうちの２つの画像ソースを選択して図９（ａ）〜（ｆ）のような領域形態で表示させることも考えられる。
もちろん４つ以上の画像ソースを有する場合も、その全部の画像をそれぞれ表示させても良いし、選択された２以上の画像ソースの画像を表示させてもよい。
また、図１、図２のように表示部２が右眼用と左眼用で２つある場合に、その一方の画面全体で一方の画像ソースによる画像表示を行い、他方の画面全体で他方の画像ソースによる画像表示を行うことも考えられる。
さらに、携帯型ゲーム機などで実用化されている２画面ディスプレイのような複数画面ディスプレイのそれぞれに画像表示を行うようにしてもよい。
【００５３】
［４．表示動作例］
上記図４〜図８のような各種構成の本実施の形態の撮像表示装置１においては、複数の画像ソースからの表示画像信号を表示部２に表示させ、かつ複数の画像ソースの１つは撮像機能部位Ｃ１としてユーザの視界方向を撮像し、他の画像ソースは撮像機能部位Ｃ１からの画像とは異なる画像としての表示画像信号を生成することで、ユーザにとっての視覚の拡張やおもしろみのある表示を提供するものである。
【００５４】
このためのシステムコントローラ１０の制御と、それによる各種表示動作例を説明していく。
図１１は、システムコントローラ１０の制御処理を示している。
システムコントローラ１０は、ステップＦ１０１で複数画像の表示開始トリガが発生したか否かを確認している。例えば動作トリガ情報発生部１６としてユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことで複数画像の表示を開始させるトリガの発生と判断すればよい。或いは後に例を述べるが、動作トリガ情報発生部１６でユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像表示を開始させるトリガの発生とシステムコントローラ１０が判断することもできる。
なお、複数画像の表示開始トリガが発生するまでの期間は、表示部２をスルー状態としたり、或いは表示部２で撮像機能部位Ｃ１の撮像画像を単独で表示させるなどの制御が考えられる。
或いは、撮像表示装置１の電源オンを複数画像の表示開始トリガとし、撮像表示装置１は常に複数画像を表示させるようにしてもよい。
【００５５】
複数画像の表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０２に進め、複数の表示画像信号の表示開始制御を行う。即ち撮像機能部位Ｃ１からの表示画像信号と、他の画像ソースからの表示画像信号とについて、表示部２で画像表示をおこなうように制御する。
【００５６】
例えば図４の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１、Ｃ２の撮像動作を開始させ、撮像機能部位Ｃ１、Ｃ２による各表示画像信号を表示画像処理部１２に供給させ、図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。
なお、図２のように撮像機能部位Ｃ１、Ｃ２が異なる方向を被写体方向としている場合は、撮像機能部位Ｃ２で通常に撮像した撮像画像は、撮像機能部位Ｃ１の撮像画像とは異なる画像となるため、表示部２において複数の領域で異なる画像が表示される。
一方、図１のように撮像機能部位Ｃ１、Ｃ２が同一方向を被写体方向としている場合は、システムコントローラ１０は撮像機能部位Ｃ２での撮像動作態様や信号処理を指示して、撮像機能部位Ｃ２で得られる画像を撮像機能部位Ｃ１の撮像画像とは異なる画像となるように制御することで、表示部２において複数の領域で異なる画像が表示されるようにする。
【００５７】
また図５の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１の撮像動作を開始させ、撮像機能部位Ｃ１による表示画像信号を表示画像処理部１２に供給させるとともに、通信部２６による受信画像データを表示画像信号として表示画像処理部１２に供給させる。そして図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。
なお、図５の構成の場合、通信部２６に対して外部機器からの画像データの送信があったときに、ステップＦ１０１で表示開始トリガ発生と判断し、そのときにステップＦ１０２で撮像機能部位Ｃ１と通信部２６を画像ソースとする画像表示を開始するようにしてもよい。通信部２６により画像データが受信されていない期間は、例えば撮像機能部位Ｃ１からの表示画像信号を単独で表示部２に表示させるようにしていてもよい。
【００５８】
また図７の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１の撮像動作を開始させ、撮像機能部位Ｃ１による表示画像信号を表示画像処理部１２に供給させるとともに、ストレージ部２５に再生動作を指示し、再生画像データを表示画像信号として表示画像処理部１２に供給させる。そして図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。なお、図７の構成の場合、ユーザの操作、ユーザ状況、外界状況などによりストレージ部２５での再生開始のトリガが発生したときに、ステップＦ１０１で表示開始トリガ発生と判断し、そのときにステップＦ１０２で撮像機能部位Ｃ１とストレージ部２５を画像ソースとする画像表示を開始するようにしてもよい。ストレージ部２５で再生が行われていない期間は、例えば撮像機能部位Ｃ１からの表示画像信号を単独で表示部２に表示させるようにしてもよい。
【００５９】
例えば図９，図１０のような領域形態で複数画像の表示を開始させた後は、システムコントローラ１０は、ステップＦ１０３で表示切換トリガが発生したか否かを監視し、またステップＦ１０４で複数画像の表示終了トリガが発生したか否かを監視する。
【００６０】
ステップＦ１０３での表示切換トリガの発生とは、ユーザ操作、或いはユーザ状況や外界状況によるシステムコントローラ１０の判断により、表示画像の切換を行うとシステムコントローラ１０が判断することを意味している。
表示画像の切換とは、複数画像の内の１つ或いは複数の表示画像内容の切換や、領域形態の切換がある。
そして表示画像内容の切換とは、例えば撮像機能部位Ｃ１又はＣ２における撮像部３でのズーム処理や焦点位置の変更による画像変更、撮像感度の変更による画像変更、撮像信号処理部１５での信号処理による画像変更、撮像部３が可動カメラの場合の撮像方向（被写体方向）の変更による画像変更、３つ以上の表示画像信号のソースを有する場合の画像ソース切換による画像変更など、非常に多様な例が考えられる。
また領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や領域交代、全画面表示への切換などであり、例えば図９（ａ）の状態から図９（ｂ）の状態に切り換えたり、図９（ａ）の状態から図９（ｅ）の状態に切り換えるなどの制御である。
【００６１】
またステップＦ１０４での複数画像の表示終了トリガについては、例えばユーザが所定の操作子により表示を終了させる操作を行った場合に、システムコントローラ１０は複数画像の表示状態を終了させるトリガの発生と判断すればよいが、ユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像の表示終了トリガの発生とシステムコントローラ１０が判断することもできる。
【００６２】
表示切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０５に進め、画像表示動作に関しての切換制御を行う。これにより表示部２において或る領域（ＡＲ１，ＡＲ２の一方又は両方）に表示されている画像の内容、もしくは領域形態の切換が行われる。
システムコントローラ１０はステップＦ１０５で表示切換に関しての制御を行った後も、ステップＦ１０３，Ｆ１０４のトリガ発生の監視を行う。
【００６３】
複数画像の表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、複数ソースからの画像を表示部２に同時表示させる動作を終了させる。
この場合の表示終了制御としては、例えば撮像機能部位Ｃ１からの画像のみを表示させる状態に切り換えるようにしたり、或いは表示部２での画像表示を終了させたり、或いは表示部２での画像表示を終了させて表示部２をスルー状態にしたり、さらに電源オフとすることなどが想定される。
【００６４】
システムコントローラ１０が、例えばこの図１１のような制御処理を行うことで、表示部２において複数の画像ソースからの画像が同時表示される。
以下では、複数の画像ソースからの画像の同時表示の例を図１２以降を参照しながら述べていく。
【００６５】
まず図１２，図１３により、撮像表示装置１が図１，図４の構成例であって、撮像機能部位Ｃ１、Ｃ２が共にユーザの前方、つまりユーザの視界方向の光景を撮像するように構成されている場合を説明する。
【００６６】
図１２（ａ）は表示部２の全面で通常に表示を行っている場合を示している。例えば撮像機能部位Ｃ１で通常に撮像した画像のみを表示部２に表示させた状態である。
これに対して図１２（ｂ）は本例の動作により複数の画像ソースからの画像が同時表示されている例である。この場合、撮像機能部位Ｃ１による通常撮像画像が表示画像信号とされて領域ＡＲ１に表示されながら、撮像機能部位Ｃ２による撮像画像が表示画像信号とされて領域ＡＲ２において表示される。そして、システムコントローラ１０は、撮像機能部位Ｃ２の撮像部３に対して望遠ズーム動作制御を行っており、撮像機能部位Ｃ２により望遠撮像が行われることで、領域ＡＲ２の画像は、領域ＡＲ１の画像とは異なる画像となっている。これによりユーザーは、通常の光景をみながら、通常の視覚では見ることのできない望遠画像を楽しむことができる。
なお、ここでは撮像機能部位Ｃ２により望遠画像が得られる例を挙げたが、撮像機能部位Ｃ２に広角ズームを実行させることで、近距離の光景が広角に映し出された画像を領域ＡＲ２に表示させることも可能である。望遠−広角の画像を取得するには、撮像機能部位Ｃ２の撮像部３におけるズームレンズの駆動制御の他、撮像機能部位Ｃ２の撮像信号処理部１５での信号処理によっても可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ１０が撮像機能部位Ｃ２の撮像部３に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画像を表示部２の領域ＡＲ２に表示させてもよい。
【００６７】
また、撮像機能部位Ｃ１による画像、即ちユーザの視界方向の通常撮像画像を領域ＡＲ１に表示し、撮像機能部位Ｃ２による画像を領域ＡＲ２に表示させる例を示しているが、逆に撮像機能部位Ｃ１による画像、即ちユーザの視界方向の通常撮像画像を領域ＡＲ２に表示し、撮像機能部位Ｃ２による画像（望遠画像等）を領域ＡＲ１に表示させるようにしてもよい。
以下の各例でも、撮像機能部位Ｃ１による画像としてユーザの視界方向の通常撮像画像を領域ＡＲ１に表示し、撮像機能部位Ｃ１とは異なる画像となる他の画像ソースによる画像を領域ＡＲ２に表示させた例を挙げるが、各例すべて、撮像機能部位Ｃ１による画像としてユーザの視界方向の通常撮像画像を領域ＡＲ２に表示し、撮像機能部位Ｃ１とは異なる画像となる他の画像ソースによる画像を領域ＡＲ１に表示させる例も考えられる。
【００６８】
図１２（ｃ）も、撮像機能部位Ｃ１による通常撮像画像が表示画像信号とされて領域ＡＲ１に表示されながら、撮像機能部位Ｃ２による撮像画像が拡大処理されて表示画像信号とされ、領域ＡＲ２において表示される例である。このような表示は、システムコントローラ１０は、撮像機能部位Ｃ２の撮像信号処理部１５に対して撮像部３から得られた画像についての拡大処理を指示することで実現される。
このような表示によっても、ユーザーは通常の光景をみながら、通常の視覚では見ることのできない拡大画像を楽しむことができる。
また、システムコントローラ１０が撮像機能部位Ｃ２に対して撮像部３から得られた画像についての縮小処理を実行させ、領域ＡＲ２に縮小画像の表示を行うことも考えられる。
【００６９】
図１２（ａ）は周囲が薄暗い場合を示している。撮像機能部位Ｃ１で通常に撮像された画像が領域ＡＲ１に表示される。一方、このように周囲が薄暗い場合に、システムコントローラ１０は撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、よりはっきりした明るい表示画像信号を得るようにし、それを領域ＡＲ２に表示させる。このように明るさ調整画像として、領域ＡＲ１の通常撮像画像とは異なる光景の画像が領域ＡＲ２に表示されることで、ユーザーは、通常の視覚では見ることのできない画像を見ることができる。
また逆に、周囲が明るすぎる場合などに、システムコントローラ１０は撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を下げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、まぶしくない表示画像信号を得るようにし、それを領域ＡＲ２に表示させるようにすることも考えられる。
【００７０】
図１３（ｂ）は、例えばユーザが、子供が寝ている暗い寝室に居る場合などであり、領域ＡＲ１に表示される撮像機能部位Ｃ１の通常撮像画像では、殆ど真っ暗で見えない状況であるとしている。システムコントローラ１０が、撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、領域ＡＲ２に赤外線感度上昇撮像の画像が表示される。即ち暗い部屋で子供の寝顔などを確認できるような画像表示が行われる。これによりユーザーは、通常の視覚では見ることのできない暗視画像を見ることができる。
【００７１】
図１３（ｃ）は、領域ＡＲ１で撮像機能部位Ｃ１による通常撮像画像が表示され、このときシステムコントローラ１０が撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、領域ＡＲ２に紫外線感度上昇撮像の画像が表示されている例である。これによりユーザーは、通常の視覚では見ることのできない紫外光成分を表した画像を見ることができる。
【００７２】
以上の図１２、図１３は、図４の構成において撮像機能部位Ｃ１、Ｃ２が共にユーザの前方を撮像するように配置されている場合の例を述べたが、図１４は図４の構成において、撮像機能部位Ｃ１がユーザの前方を撮像し、撮像機能部位Ｃ２がユーザの視界方向である前方とは異なる方向を撮像するように配置されている場合の表示例である。
【００７３】
撮像機能部位Ｃ２が例えばユーザの後方を撮像するように配置されている場合、画像表示状態は図１５（ａ）のようになり、領域ＡＲ１は撮像機能部位Ｃ１による前方の画像が表示され、領域ＡＲ２に撮像機能部位Ｃ２によるユーザの後方の撮像画像の表示が行われる。
また撮像機能部位Ｃ２が例えばユーザの上方を撮像するように配置されている場合、画像表示状態は図１５（ｂ）のようになり、領域ＡＲ１ではユーザの前方の撮像画像が表示され、領域ＡＲ２ではユーザの上方の撮像画像の表示が行われる。
これらの場合も、ユーザは通常の視界方向の画像を領域ＡＲ１で見ながら、ユーザの視界とは異なる光景の画像（後方画像や上方画像など）を領域ＡＲ２で見ることができる。
【００７４】
図１４（ｃ）は、例えば撮像機能部位を３個（構成は図示しないが、説明上、撮像機能部位Ｃ１、Ｃ２，Ｃ３と言う）備えた構成の場合の表示例である。
撮像機能部位Ｃ１はユーザの前方を撮像し、撮像機能部位Ｃ２はユーザの右後方を撮像し、撮像機能部位Ｃ３はユーザの左後方を撮像するように配置されているとする。
この場合、領域ＡＲ１は撮像機能部位Ｃ１によるユーザ前方の撮像画像が表示され、領域ＡＲ２、ＡＲ３にそれぞれ撮像機能部位Ｃ２、Ｃ３によるユーザの右後方と左後方の撮像画像の表示が行われる。
この場合ユーザーは、領域ＡＲ１での通常の前方の光景に加えて右後方、左後方を視認でき、ほぼ周囲全周を確認できる状態となる。
【００７５】
図１５、図１６は、図５のように画像ソースとして通信部２６を備えた構成の場合の表示例である。
まず図１５は、図６（ａ）又は図６（ｃ）のような通信で、外部の撮像装置７０から送信され、通信部２６で受信した画像を表示する例である。
図１５（ａ）は、例えばユーザからの視界として撮像機能部位Ｃ１による撮像画像が領域ＡＲ１に表示されている。即ちユーザが、スタジアムで客席からサッカーを観戦している状態である。このときにシステムコントローラ１０は、スタジアムの別の場所で撮像を行う撮像装置７０で撮像され通信部２６で受信した画像を、表示部２の領域ＡＲ２に表示させる。
例えば監督席近辺に設置された撮像装置７０や、審判が装着する小型の撮像装置７０などからの映像を受信して、表示部２の領域ＡＲ２で表示することで、より興味深く試合観戦を行うことができる。
図１５（ｂ）は、リゾート地に設置した撮像装置７０や、旅行中の知人が所持する撮像装置７０によって撮像した映像を、通信部２６で受信した場合である。システムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
このような画像表示により、ユーザは、例えば近所の公園等にいながら、多様な地域の映像を見ることができる。
図１５（ｃ）は、航空機や衛星に設置された撮像装置７０で撮像した地上の映像（バードビュー映像）を、通信部２６で受信し、表示部２に表示させている例である。即ちシステムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
このような画像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
【００７６】
図１６は、図６（ｂ）又は図６（ｃ）のような通信で、外部のコンテンツソース機器７１から送信され、通信部２６で受信した画像を表示する例である。
図１６（ａ）は、ＡＶ機器やパーソナルコンピュータ等のコンテンツソース機器７１から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部２で表示されている例である。システムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信したコンテンツ画像を表示させる。
図１６（ｂ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、撮像表示装置１に送信させ、撮像表示装置１においては通信部２６で受信した画像データを表示部２で表示させている例である。例えばシステムコントローラ１０は通信部２６を介して外部のコンテンツソース機器７１にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部２６で受信させる。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信したブラウザ画面等の画像を表示させる。
図１６（ｃ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１において見ることのできる写真画像の一覧表示画像などを撮像表示装置１に送信させ、撮像表示装置１において通信部２６で受信し、表示部２に表示させている例である。例えばシステムコントローラ１０は通信部２６を介して外部のコンテンツソース機器７１にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部２６で受信させる。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
例えば以上の図１６（ａ）（ｂ）（ｃ）のように、コンテンツソース機器７１からの画像として、ビデオプレーヤ等のＡＶ機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置１において、これらの画像を確認したり、各種の作業を行うことができる。
【００７７】
次に図１７は、図７に示したようにストレージ部２５を画像ソースとして備える構成において実行される表示例を示す。
図１７（ａ）は、ストレージ部２５における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部２で表示されている例である。システムコントローラ１０はストレージ部２５に再生を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で再生させたコンテンツ画像を表示させる。
図１７（ｂ）は、ストレージ部２５における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部２で表示されている例である。システムコントローラ１０はストレージ部２５にゲームプログラムの実行を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で実行させたゲーム画像を表示させる。
図１７（ｃ）は、ストレージ部２５における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部２で表示されている例である。システムコントローラ１０はストレージ部２５に電子書籍データの再生を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で再生させた電子書籍画像を表示させる。
これら図１７（ａ）（ｂ）（ｃ）のようにユーザは撮像表示装置１を用いて、通常の視界方向の画像を見ながら、記録媒体に記録されたデータの再生画像を楽しむことができる。
【００７８】
なお、図１７はストレージ部２５をソースとする画像、図１６は通信部２６で受信された外部のコンテンツソース機器７１からの画像の例を挙げたが、例えば図１６で例に挙げた画像内容をストレージ部２５からの再生画像と考えることもできるし、図１７で例に挙げた画像内容を外部のコンテンツソース機器７１から送信されて通信部２６で受信した画像と考えることもできる。
【００７９】
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、第１の画像ソースである撮像機能部位Ｃ１においてユーザの視界方向の光景を撮像し、それを表示画像信号とすると共に、他の画像ソースにおいて、撮像機能部位Ｃ１による画像とは異なる画像としての表示画像信号を生成する。そして、これら各画像ソースからの表示画像信号による画像を表示部２に同時に表示させるものである。このような動作による表示は非常に多様に考えられる。
【００８０】
以下、撮像機能部位Ｃ１でユーザの視界方向の通常撮像画像の画像信号を表示画像信号として、例えば表示部２の領域ＡＲ１に表示させる場合に、領域ＡＲ２に表示させる画像としての表示画像信号の例を挙げていく。
【００８１】
まず図４のような構成で撮像機能部位Ｃ２が、撮像機能部位Ｃ１と同様にユーザの前方を撮像するように配置されている場合において、撮像機能部位Ｃ２の撮像部３で得られた撮像信号に基づく表示画像信号例は次のとおりである。
・撮像機能部位Ｃ２の撮像部３のズーム動作で得られる望遠ズーム画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３のズーム動作で得られる広角ズーム画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３の焦点制御動作で得られる遠景画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３の焦点制御動作で得られる近景画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像などとしての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で拡大処理を行った表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で縮小処理を行った表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像感度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像感度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での赤外線撮像感度を上昇させて得た暗視画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での紫外線撮像感度を上昇させて得た画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３で特定波長帯域をカットして撮像した画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で輝度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で輝度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の色信号処理で色合いや雰囲気を変化させた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理でコントラスト、シャープネス等を調整した画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理として、モザイク／輝度反転／ソフトフォーカス／画像内の一部の強調表示／ハイライト表示などの画像エフェクト処理を行って得た画像としての表示画像信号
・以上の各動作又は信号処理の組み合わせにより撮像機能部位Ｃ２で得た表示画像信号
【００８２】
撮像機能部位Ｃ２で、撮像機能部位Ｃ１と同様にユーザ正面の光景を撮像する場合は、例えばこれらのような動作や処理で表示画像信号を得ることで、撮像機能部位Ｃ１からの表示画像信号による画像と、それとは異なる画像とが同時表示できることになる。
もちろん、上記列挙したものに限定されるものではなく、撮像機能部位Ｃ２の撮像部３の動作、撮像信号処理部１５の信号処理により得られる、「撮像機能部位Ｃ１による画像とは異なる画像」としての表示画像信号は多様に考えられる。
またズーム処理や拡大／縮小処理の倍率、撮像感度変更時の変更するレベル、輝度信号処理や色信号処理での処理係数など、任意に可変することも考えられる。
【００８３】
一方、図４のような構成で撮像機能部位Ｃ２が、撮像機能部位Ｃ１の被写体方向（ユーザの前方）とは異なる方向を撮像するように配置されている場合においては、撮像機能部位Ｃ２による表示画像信号例は次のように考えればよい。
即ち、この場合、撮像機能部位Ｃ２での通常撮像で得られた撮像画像は、それ自体が既に撮像機能部位Ｃ１での通常撮像で得られる撮像画像とは異なる光景（例えば後方、上方、足下、右方、左方などの光景）であるため、撮像機能部位Ｃ２の撮像画像信号を、そのまま表示画像信号とし、撮像機能部位Ｃ１からの表示画像信号とともに表示部２に表示させればよい。
さらに、その場合に上記列挙したように、撮像機能部位Ｃ２の撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
【００８４】
また、例えば３つ以上の撮像機能部位Ｃ１、Ｃ２，Ｃ３・・・を備える場合も同様に考えることができる。撮像機能部位Ｃ２，Ｃ３・・・のうち、撮像機能部位Ｃ１と同方向を撮像する撮像機能部位が存在する場合は、その撮像画像信号については、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の信号処理により、撮像機能部位Ｃ１の画像とは異なる光景とした画像を表示画像信号とすればよい。
また撮像機能部位Ｃ２，Ｃ３・・・のうち、撮像機能部位Ｃ１とは異なる方向（ユーザの前方以外の方向）を撮像する撮像部３が存在する場合は、その撮像画像信号そのものを表示画像信号としてもよいし、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
【００８５】
なお、撮像機能部位Ｃ２，Ｃ３・・・のうちで同方向を撮像する撮像機能部位が設けられた場合は、一方を通常撮像画像を表示画像信号とし、他方を上記列挙したように撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号とすることで、それら同方向の撮像画像から異なる画像の表示画像信号を得ることができる。もちろんその場合に、両方とも、上記列挙したように撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
例えばユーザの後方を撮像する撮像機能部位Ｃ２、Ｃ３を有する場合に、一方で通常撮像画像を表示画像信号とし、他方で望遠撮像画像を表示画像信号とする例や、一方で拡大画像を表示画像信号とし、他方で紫外線撮像感度上昇撮像による撮像画像を表示画像信号とするなどである。
【００８６】
また撮像機能部位Ｃ２として、撮像方向可変の可動式の撮像部を有する構成の場合も同様であり、撮像機能部位Ｃ２において、ユーザの前方以外の撮像画像や、撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
また可動式の場合、特定の対象を追尾するような可動制御を行うことも考えられる。例えば撮像画像信号についての画像解析を行い、特定対象を検出した場合、撮像画像内での特定対象の動きに合わせて撮像方向を変化させる。このような制御により、ユーザは、特定の対象を追尾する画像を、例えば領域ＡＲ２において見ることができる。
【００８７】
通信部２６で受信した外部機器からの画像を表示させる場合も同様に考えることができる。
即ち、外部の撮像装置７０やコンテンツソース機器７１からの画像は、それ自体が撮像機能部位Ｃ１で得られる表示画像信号とは異なる画像であるため、通信部２６で受信した画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な画像を提供できることになる。
さらにストレージ部２５で再生した画像も同様であり、それ自体が撮像機能部位Ｃ１で得られる表示画像信号とは異なる画像であるため、ストレージ部２５で再生した画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な画像を提供できる。
なお、表示画像処理部１２において、拡大、縮小、輝度処理、色処理、コントラスト調整、シャープネス調整、画像エフェクト等の画像信号処理を実行できるようにする場合、通信部２６で受信した画像信号やストレージ部２５で再生した画像信号に対して、それらの画像信号処理を加えて表示画像信号を生成してもよい。
また通信部２６やストレージ部２５を画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の画像表示も可能である。
【００８８】
また、以上では撮像機能部位Ｃ１については通常撮像画像を表示画像信号とするとして説明してきたが、撮像機能部位Ｃ１における撮像部３や撮像信号処理部１５により、例えば望遠／広角ズーム、拡大／縮小、感度変更、近景撮像／遠景撮像、輝度処理、色処理、画像エフェクト等を行った画像信号を表示画像信号としてもよい。
いずれにしても、他の画像ソースでは、撮像機能部位Ｃ１からの画像とは異なる画像の表示画像信号を生成させればよい。
【００８９】
［５．動作トリガの例］
上記図１１の処理に示したように、システムコントローラ１０はステップＦ１０１で複数画像の表示開始トリガ発生と判断することで複数の画像ソースからの画像表示を実行させる。またステップＦ１０３で表示切換トリガ発生と判断することに応じて表示内容や領域形態の切換を行う。さらにステップＦ１０４で複数画像の表示終了トリガ発生と判断することで複数画像の表示動作を終了させる。
そしてこれらの表示動作に関するトリガとしては、ユーザの操作によるものとすればよいが、ユーザの状況や外界の状況を検知し、所定の条件によりシステムコントローラ１０がトリガ発生と判断しても良いと述べた。
ここでは、ユーザ状況や外界状況によりトリガ発生の判断を行う例について述べる。
【００９０】
まずユーザ状況によりトリガ発生と判断する場合、撮像表示装置１は動作トリガ情報発生部１６として視覚センサ、加速度センサ、ジャイロ、生体センサなどを設けるようにする。
視覚センサは、ユーザの視覚に関する情報を検出するものとするが、この視覚センサは、一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサは、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
【００９１】
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像表示装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御、焦点変更制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみ表示動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。
【００９２】
加速度センサ、及びジャイロは、ユーザの動きに応じた信号を出力する。例えば加速度センサは直線方向の動きを検出し、ジャイロにより回転系の動きや振動を検出する場合に適している。
加速度センサやジャイロの配置位置にもよるが、加速度センサやジャイロによって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の撮像表示装置１の内部に取り付けられた場合、つまり加速度センサ及びジャイロがユーザの頭部の動きを検出するものとされた場合は、加速度センサの検出情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロの検出情報はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ及びジャイロによっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサやジャイロが、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
【００９３】
生体センサは、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また撮像表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが撮像表示装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像表示装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像表示装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサによる検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサは、例えば眼鏡型の撮像表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
【００９４】
次に外界の状況を検知する場合においては、撮像表示装置１は、外界情報を取得するための構成として、動作トリガ情報発生部１６に周囲環境センサ、撮像対象センサ、ＧＰＳ受信部、日時計数部、画像解析部を設けたり、通信部２６を利用する。
【００９５】
周囲環境センサとしては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定される。
照度センサによっては、撮像表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサにより、撮像表示装置１は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周囲の明るさや気象状況に適した表示画像信号の生成動作を実行制御できる。例えば周囲の明るさに応じて画像の輝度レベルを上下させたり、天候状況に応じて画像の雰囲気を変えるなどである。
【００９６】
撮像対象センサは撮像対象についての情報を検知する。例えば測距センサや焦電センサなどが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることができる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた表示画像信号の生成動作を実行制御できる。
【００９７】
ＧＰＳ受信部２１は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出した場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情報を得ることができる。例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。
また通信部２６を有する構成の場合、撮像表示装置１に地図データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在位置や現在地点の近辺の地理的条件や施設などに応じた表示画像信号の生成動作を実行制御したり、特定の場所において表示開始制御或いは表示終了制御を行うなどが可能となる。
【００９８】
日時計数部は例えば年月日時分秒を計数する。この日時計数部によってシステムコントローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜の別（時刻）に応じた表示画像信号の生成動作や、現在の季節に適した表示画像信号の生成動作などを実行制御できる。
【００９９】
撮像画像を解析する画像解析部を設ければ、撮像画像から撮像対象についての以下のような各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
【０１００】
また、画像解析部による画像解析によれば、人物が被写体となっている場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って、画像解析部は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤやフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置１に人物データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたとき）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
【０１０１】
このような画像解析部による検出情報に基づいて、システムコントローラ１０は撮像対象に応じた表示画像信号の生成処理を実行制御できる。例えば特定の対象や特定の人物が撮像されている場合は、その特定の対象をハイライト表示させるような表示画像信号を生成することなどが考えられる。
【０１０２】
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように撮像表示装置１から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
このような通信部２６で取得できる情報に基づいて、システムコントローラ１０は表示画像信号の生成処理を実行制御できる。
【０１０３】
以上の例のような構成要素を動作トリガ情報発生部１６として設け、ユーザの状況や外界の状況を検知し、それら状況に応じた表示開始／終了や、表示切換（表示内容の変更や領域形態の切換）を行うようにすることで、ユーザが操作しなくとも、適切或いはおもしろみのある表示動作が実現される。
また、ユーザの状況や外界の状況を検出するための構成例は他にも考えられる。
【０１０４】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、表示部２の画面領域の一部で撮像機能部位Ｃ１によるユーザの視界方向の撮像画像としての表示画像信号による表示を実行させながら、他の画像ソース（撮像機能部位Ｃ２、通信部２６、ストレージ部２５等）からの表示画像信号による表示を実行させることで、ユーザは通常の視界光景が見える状態のまま、視覚光景とは異なる画像を見ることができる。例えば撮像機能部位Ｃ１による前方の画像を見ながら、撮像機能部位Ｃ２による望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見ることができる。このため通常の視覚光景と同時に、通常の視覚では見ることのできない光景等の画像を見る状態となり、擬似的にユーザの視覚能力を拡張させる状況を作り出すことができる。
【０１０５】
撮像表示装置１の外観や構成は図１，図２、図３，図４，図５，図７，図８の例に限定されるものではなく、各種の変形例が考えられる。
撮像機能部位Ｃ１等で撮像した画像信号をストレージ部２５において記録媒体に記録するような構成としても良い。
また撮像した画像信号を、通信部２６から他の機器に送信する動作を行うようにしてもよい。
また撮像時に周囲音声を集音するマイクロホンや、音声を出力するイヤホン型等のスピーカ部が設けられても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、スピーカ部から出力させるようにすることも考えられる。
【０１０６】
また表示画像信号は静止画としても良い。例えば撮像機能部位Ｃ１、Ｃ２等で所定のトリガのタイミングを静止画撮像を行い、その撮像された静止画像を表示部２に表示させる。
【０１０７】
また、撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、例えば撮像機能部位Ｃ１のように、ユーザの視界方向を撮像する撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段が有するように構成されればよい。つまり少なくともユーザの視界方向を撮像できる構成であればよい。従って、第１の画像信号生成手段（撮像機能部位Ｃ１）を有する部位が、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。また必ずしもユーザの頭部に装着されなくてもよい。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図２】実施の形態の撮像表示装置の他の外観例の説明図である。
【図３】実施の形態の撮像表示装置のさらに他の外観例の説明図である。
【図４】実施の形態の撮像表示装置のブロック図である。
【図５】実施の形態の撮像表示装置の他のブロック図である。
【図６】実施の形態の撮像表示装置の外部機器との関係の説明図である。
【図７】実施の形態の撮像表示装置の更に他のブロック図である。
【図８】実施の形態の撮像表示装置の更に他のブロック図である。
【図９】実施の形態の表示部の領域形態の説明図である。
【図１０】実施の形態の表示部の領域形態の説明図である。
【図１１】実施の形態の制御処理のフローチャートである。
【図１２】実施の形態の画像表示状態の説明図である。
【図１３】実施の形態の画像表示状態の説明図である。
【図１４】実施の形態の画像表示状態の説明図である。
【図１５】実施の形態の画像表示状態の説明図である。
【図１６】実施の形態の画像表示状態の説明図である。
【図１７】実施の形態の画像表示状態の説明図である。
【符号の説明】
【０１０９】
１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 動作トリガ情報発生部、２５ ストレージ部、２６ 通信部、Ｃ１，Ｃ２ 撮像機能部位
【技術分野】
【０００１】
本発明は、使用者の視界方向を被写体方向とする撮像部によって撮像された画像を表示することのできる撮像表示装置と撮像表示方法に関する。
【背景技術】
【０００２】
【特許文献１】特開平８−１２６０３１号公報
【特許文献２】特開平９−２７９７０号公報
【特許文献３】特開平９−１８５００９号公報
【特許文献４】特開２００５−１７２８５１号公報
【０００３】
例えば上記各特許文献１，２，３のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
また上記特許文献４のように、眼鏡型もしくは頭部装着型の装着ユニットに小型のカメラを取り付け、ユーザの視界方向の光景を撮像できるようにした装置が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の装置では、ユーザの視界方向の光景を含め、多様な画像をユーザに提供できる装置は開発されていない。
そこで本発明では、ユーザの視界方向の光景を含め、多様な画像をユーザに対して表示し、ユーザの視覚能力を拡張したり、ユーザに有用性や楽しさを提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像表示装置は、画像表示を行う表示手段と、使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段と、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成手段と、上記表示手段において上記第１，第２の画像信号生成手段で生成された複数の表示画像信号による画像表示を同時に実行させる制御を行う制御手段とを備える。
【０００６】
また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる。
或いは上記表示手段は、上記第１の画像信号生成手段を備えた筐体とは別筐体で形成されている。
また上記第１の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
【０００７】
上記第２の画像信号生成手段は、撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成する。
またこの場合、上記第２の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、使用者の視界方向を被写体方向とする撮像部である。
或いは上記撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部である。
また上記撮像部は、被写体方向が可変とされた撮像部である。
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
また 上記第２の画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第２の画像信号生成手段は、上記信号処理部における信号処理により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
【０００８】
また上記第２の画像信号生成手段は、外部機器から画像信号を受信する受信部を有し、上記受信部で受信した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第２の画像信号生成手段は、記録媒体から画像信号を再生する再生部を有し、上記再生部で再生した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
【０００９】
また上記表示手段において、画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われる。
また上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われる。
【００１０】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、近景撮像又は遠景撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、望遠撮像又は広角撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、拡大処理又は縮小処理により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、撮像感度を上昇又は低下させた撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、赤外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、紫外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号である。
また上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号である。
【００１１】
本発明の撮像表示方法は、使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成ステップと、上記第１の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成ステップと、上記第１，第２の画像信号生成ステップで生成された複数の表示画像信号による画像表示を同時に実行させる表示ステップとを備える。
【００１２】
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の撮像表示装置を装着することで、撮像部がユーザの視界方向の光景を撮像する状態となる。そして撮像部で撮像された画像、即ち第１の画像信号生成手段で得られたユーザの視界方向の光景となる表示画像信号を表示手段に供給して表示させるが、そのときに、同時に第２の画像信号生成手段で生成された表示画像信号も表示させる。例えば画面分割や親子画面などの形態で同時に複数の画像を表示させればよい。
第２の画像信号生成手段で生成される表示画像信号は、第１の画像信号生成手段による表示画像信号とは異なる画像である。異なる画像とは、別方向の撮像画像、同方向の撮像画像であるがズーミング、焦点位置、感度、信号処理の違いなどによって異なるものとなる画像、他の機器から受信した画像、記録媒体から再生した画像など、多様に考えられる。
そして、第１の画像信号生成手段で得られる表示画像信号により通常の視界光景を表示すると同時に、第２の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張させたり、おもしろみのある表示を提供する。
なお、第１、第２の画像信号生成手段は、表示する表示画像信号のソースとなるが、第１，第２という表記は、画像信号生成手段が２つであると限定する意味ではなく、画像信号生成手段を３つ以上を備えることを本発明は妨げるものではない。
【発明の効果】
【００１３】
本発明によれば、表示手段において第１の画像信号生成手段で得られる表示画像信号により視界光景の画像を表示すると同時に、第２の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張したり、有用或いはおもしろみのある表示を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の撮像表示装置、撮像表示方法の実施の形態を、次の順序で説明する。
［１．撮像表示装置の外観例及び外部機器との関連］
［２．撮像表示装置の構成例］
［３．画面上の領域形態］
［４．表示動作例］
［５．動作トリガの例］
［６．実施の形態の効果、変形例及び拡張例］
【００１５】
［１．撮像表示装置の外観例及び外部機器との関連］
実施の形態として、図１（ａ）（ｂ）に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば図１（ｂ）のように両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図１（ａ）のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられる。なお、表示部２で画像表示を行わない期間は、液晶パネルにおける透過率を制御し、透明又は半透明のスルー状態とできるようにしてもよい。
【００１６】
またユーザが装着した状態において、ユーザの前方方向に向けて２つの撮像レンズ３ａ、３ａが配置されている。この場合、２つの撮像レンズ３ａ、３ａは、共に撮像表示装置１を装着したユーザの視界方向（前方）が被写体方向となるように取り付けられている。
また撮像レンズ３ａ、３ａによる撮像方向に対して照明を行う発光部４ａ、４ａが設けられる。発光部４ａ、４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
図４で後述するが、撮像レンズ３ａ、３ａはそれぞれが撮像機能部位（Ｃ１，Ｃ２）に含まれる撮像レンズである。そして撮像レンズ３ａ、３ａから撮像された撮像画像信号は、それぞれが所定の処理を経て表示画像信号とされて表示部２に表示される。
【００１７】
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
また発光部４ａを設けない構成も考えられる。
【００１８】
また図１では撮像レンズ３ａ、３ａがユーザの前方を被写体方向とするように取り付けられているが、２つの撮像レンズ３ａが互いに異なる方向を被写体方向として撮像するように取り付けられていても良い。
図２（ａ）（ｂ）に例を示す。図２（ａ）（ｂ）の例では、前方を撮像する１つの撮像レンズ３ａ及び発光部４ａが設けられると共に、後頭部側に位置することになるユニットにもう１つの撮像レンズ３ａ及び発光部４ａが設けられている。つまりこの場合、２つの撮像レンズ３ａ、３ａは、それぞれがユーザの視界方向と、ユーザの視界方向とは異なる方向（この場合、ユーザの後方）を撮像するものとされる。
【００１９】
なお本実施の形態では、少なくとも１つの撮像レンズ３ａがユーザの視界方向を撮像するものとされるが、他の撮像レンズ３ａがユーザの視界方向とは異なる方向を撮像するように配置される場合、その被写体方向は、ユーザの後方に限られず、ユーザの上方、左側方、右側方、足下などを被写体方向とするように取り付けられていてもよい。
さらに、３つ以上の撮像レンズ３ａを設け、それぞれが同一方向に向けられたり、異なる方向に向けられたりしてもよい。
【００２０】
また、図１，図２の例では撮像レンズ３ａ、３ａは固定的に取り付けられていることで撮像時の被写体方向は固定（ユーザの前方、又はユーザの後方）であるが、被写体方向を変化させることのできる可動機構を介して撮像レンズ３ａを取り付けることで、手動又は自動で撮像時の被写体方向を変化させることができるようにしてもよい。
複数の撮像レンズ３ａについては、全てが固定型、全てが可動型、一部が可動型等、多様な例が考えられる。
【００２１】
ところで図１、図２の撮像表示装置１は、撮像のための構成部分と撮像した画像をモニタできる表示部２が一体に形成された例であるが、図３の撮像表示装置１のように表示部２が別体とされている例も考えられる。
図３の撮像表示装置１は、撮像装置部４０と表示装置部３０が別体で形成されている。
撮像装置部４０は所定の装着フレームによりユーザの頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤにより形成される。
この場合、後述するが撮像装置部４０の内部には撮像した画像データ等を、別体構成される表示装置部３０に送信する通信部が設けられている。
【００２２】
表示装置部３０は例えばユーザが携帯可能な小型軽量の機器とされる。
表示装置部３０は内部に撮像装置部４０との間のデータ通信を行う通信部が設けられており、撮像装置部４０から供給される画像データについて表示画面３１に表示させる動作を行う。
ユーザは、このように撮像装置部４０と表示装置部３０が別体とされた撮像表示装置１を用いることもできる。
【００２３】
［２．撮像表示装置の構成例］
図４〜図８により撮像表示装置１の内部構成例を説明していく。
まず図４は、上記図１，図２に対応した構成例であり、即ち２つの撮像機能部位を備えた構成例である。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は内部の動作プログラム及び動作トリガ情報発生部１６からの動作トリガに基づいて、撮像表示装置１内の各部の制御を行い、表示部２において所要の画像表示を実行させる。
【００２４】
撮像表示装置１内では、第１の撮像機能部位Ｃ１として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像機能部位Ｃ１における撮像部３は、図１又は図２に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
図１、図２の例の場合は、この撮像機能部位Ｃ１の撮像部３によってユーザの前方の光景が撮像される。
【００２５】
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
また撮像信号処理部１５は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また撮像信号処理部１５は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
つまり撮像信号処理部１５は、撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
【００２６】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作、つまり撮像機能部位Ｃ１による撮像動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の画像処理動作を制御する。即ち撮像信号処理部１５に対して、上記の各種処理を実行させる。
【００２７】
また撮像表示装置１内では、第２の撮像機能部位Ｃ２としての、撮像部３、撮像制御部１１、撮像信号処理部１５も設けられる。
撮像機能部位Ｃ２における撮像部３、撮像制御部１１、撮像信号処理部１５は、上記撮像機能部位Ｃ１における撮像部３、撮像制御部１１、撮像信号処理部１５と基本的に同様である。
撮像機能部位Ｃ２における撮像部３は、図１又は図２に示した、もう１つの撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成するＣＣＤセンサアレイ又はＣＭＯＳセンサアレイによる固体撮像素子アレイなどが設けられる。
図１の例の場合は、この撮像機能部位Ｃ２の撮像部３も撮像機能部位Ｃ１と同じくユーザの前方の光景を撮像することになり、一方、図２の例の場合は、この撮像機能部位Ｃ２の撮像部３は撮像機能部位Ｃ１と異なる方向、例えばユーザの後方の光景を撮像することになる。
【００２８】
撮像機能部位Ｃ２における撮像信号処理部１５も、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。また撮像信号処理部１５は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また撮像信号処理部１５は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
【００２９】
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作、つまり撮像機能部位Ｃ２による撮像動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の画像処理動作を制御する。即ち撮像信号処理部１５に対して、上記の各種処理を実行させる。
【００３０】
これら撮像機能部位Ｃ１、Ｃ２は、それぞれ撮像によって得られた撮像画像信号を、表示部２での表示に用いる表示画像信号として、表示画像処理部１２に供給する。
【００３１】
撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像機能部位Ｃ１、Ｃ２で得られる表示画像信号は表示画像処理部１２に供給される。表示画像処理部１２は、この場合、撮像機能部位Ｃ１、Ｃ２という２つの画像ソース（画像信号生成手段）から供給される表示画像信号を同時に表示部２に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部２の画面領域を設定し、各領域に撮像機能部位Ｃ１、Ｃ２からの各表示画像信号による画像が表示されるようにする。
【００３２】
表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
なお表示駆動部１３は、表示部２の各画素の透過率を制御して、画面全体又は一部をスルー状態とできるようにしてもよい。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。
【００３３】
また撮像機能部位Ｃ１、Ｃ２のそれぞれに対応して、照明部4と照明制御部１８が設けられる。照明部４は、図１、図２に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１又は図２に示したように取り付けられていることで、照明部４は撮像レンズ３ａによる被写体方向に対する照明動作を行うことになる。
【００３４】
動作トリガ情報発生部１６は、表示部２での画像表示の開始／終了、表示態様の切換などのための動作トリガ情報を発生する。
この動作トリガ情報発生部１６は、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構により構成することができる。即ちユーザの手動操作を各種動作の動作トリガ情報とする場合である。動作トリガ情報発生部１６は、ユーザの操作情報を動作トリガ情報としてシステムコントローラ１０に供給することで、システムコントローラ１０はユーザの操作に応じた表示動作制御を行う。
また、動作トリガ情報発生部１６は、ユーザ情報（ユーザの視覚状況、身体の挙動、生体状況等の検知情報）を検知したり、外界情報（撮像表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成としてもよい。例えばシステムコントローラ１０がこれらのユーザ情報や外界情報に基づいて、動作トリガ発生の判断を行うようにしてもよい。なお、ユーザ情報や外界情報についての例は後に述べる。
【００３５】
図５は、撮像表示装置１としての他の構成例を示すものである。なお、図４と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図５の構成は、図４の構成における第２の撮像機能部位Ｃ２と、撮像機能部位Ｃ２に対応した照明部４，照明制御部１８を備えず、代わりに通信部２６を有する構成とされている。
【００３６】
通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、例えばコンピュータ装置、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ビデオストレージ機器やテレビジョン受像器等のＡＶ機器、ネットワークサーバ装置などが想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
【００３７】
この図５の例の場合、通信部２６は外部機器との間で、次の図６のように通信を行い、外部機器から画像データを受信する。そして通信部２６は受信した画像データを、表示部２での表示を行う表示画像信号として表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画像信号が表示駆動部１３に供給され、表示部２で表示される。
図６は、撮像表示装置１の使用形態を、外部機器との関連において例示している。
図６（ａ）は撮像表示装置１が通信部２６により、外部の撮像装置７０と通信を行う例である。この場合、撮像表示装置１は、撮像装置７０で撮像された画像を受信して表示部２に表示させる。外部の撮像装置７０とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また本実施の形態と同様の他の撮像表示装置１を、外部の撮像装置７０と考えることもできる。
また外部の撮像装置７０は、撮像表示装置１を用いるユーザ本人が所有する撮像装置であったり、撮像表示装置１のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって撮像表示装置１と通信可能とされているものなど多様に考えられる。
【００３８】
図６（ｂ）は、撮像表示装置１が通信機能を備え、外部のコンテンツソース機器７１と通信を行う例である。この場合、撮像表示装置１は、コンテンツソース機器７１から提供される画像（動画／静止画）を受信して表示部２に表示させる。
コンテンツソース機器７１とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のＡＶ（Audio-Visual）機器や、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器７１も、撮像表示装置１を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器７１から撮像表示装置１に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
【００３９】
図６（ｃ）は、撮像表示装置１の通信部２６が、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７０やコンテンツソース機器７１と通信を行う例である。この場合、撮像表示装置１は、ネットワーク７３を介して画像データを受信し、その受信した画像データに基づいた表示画像信号による画像表示を表示部２で実行させる。
【００４０】
図７は、撮像表示装置１としてのさらに他の構成例を示すものである。なお、上記図４、図５と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図７の構成は、図４の構成における第２の撮像機能部位Ｃ２と、撮像機能部位Ｃ２に対応した照明部４，照明制御部１８を備えず、代わりにストレージ部２５を有する構成とされている。
【００４１】
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disk Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
【００４２】
撮像機能部位Ｃ１部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、記録媒体から画像データを再生する。そして再生した画像データを、表示部２での表示を行う表示画像信号として表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画像信号が表示駆動部１３に供給され、表示部２で表示される。
ストレージ部２５で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
【００４３】
図８は、撮像表示装置１の更に他の構成例を示し、これは図３で述べたように撮像装置部４０と表示装置部３０が別体で形成された例に対応する構成例である。
この例では、撮像装置部４０において図５と同様に撮像機能部位Ｃ１と、通信部２６を有する構成としている。
この撮像機能部位Ｃ１及び通信部２６で得られる表示画像信号は、表示通信制御部２０に供給される。表示通信制御部２０は、表示装置部３０との通信の為のエンコード処理を行う。即ち撮像機能部位Ｃ１及び通信部２６から供給される表示画像信号をエンコードする。
表示通信制御部２０でエンコードされた画像データは、通信部２１から表示装置部３０に送信される。
【００４４】
表示装置部３０は、通信部３４、表示部３１、表示画像処理部３２、表示駆動部３３，表示制御部３５、及び操作部３６が設けられる。
通信部３４は、撮像装置部４０の通信部２１との間でデータ通信を行う。特には、撮像装置部４０から送信されてくる画像データ、つまり撮像機能部位Ｃ１と通信部２６で得られた表示画像信号としての画像データを受信し、デコード処理をおこなう。
通信部３４でデコードされた表示画像信号は、表示画像処理部１２に供給される。表示画像処理部１２は、この場合、撮像機能部位Ｃ１、通信部２６という２つの画像信号ソース（画像信号生成手段）から供給される表示画像信号を同時に表示部３１に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部３１の画面領域を設定し、各領域に撮像機能部位Ｃ１と通信部２６からの各表示画像信号による画像が表示されるようにする。
【００４５】
表示駆動部３３は、表示画像処理部３２から供給される画像信号を、例えば液晶ディスプレイとされる表示部３１において表示させるための画素駆動回路で構成されている。即ち表示部３１においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部３５は、表示画像処理部３２の処理動作や表示駆動部３３の動作を制御する。例えば操作部３６からのユーザの操作に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御も行う。
なお、システムコントローラ１０からの指示情報が通信部２１，３４の通信で送信されてくる場合、表示制御部３５は、そのシステムコントローラ１０からの指示情報に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御を行うようにしてもよい。
【００４６】
以上、図４，図５，図７、図８として撮像表示装置１の構成例を示した。
図４は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、２つの撮像機能部位Ｃ１、Ｃ２が設けられた例である。
図５は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１と通信部２６が設けられた例である。
図７は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１とストレージ部２５が設けられた例である。
図８は、図５と同様、表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１と通信部２６が設けられるが、特に撮像装置部４０と表示装置部３０が別体構成とされる場合の例である。
これらの構成例を挙げたが、撮像表示装置１としてはさらに多様な構成例が想定される。
特に上記各例では２系統の画像ソースを有する例を挙げているが、３系統以上の画像ソースを有する場合もある。
例えば撮像機能部位Ｃ１と、通信部２６と、ストレージ部２５を有する構成例や、３つ以上の撮像機能部位Ｃ１，Ｃ２，Ｃ３・・・を有する構成例なども考えられる。
【００４７】
そして本実施の形態においては、複数の画像ソースのうち、少なくとも１つはユーザの視界方向の光景を撮像するものとされる。即ち各構成例における撮像機能部位Ｃ１がこれに相当し、撮像機能部位Ｃ１で得られる表示画像信号は、ユーザの視界光景の撮像信号である。
他の画像ソースは、この撮像機能部位Ｃ１とは異なる画像を表示する表示画像信号を生成する。
ここで、撮像機能部位Ｃ１で得られる表示画像信号による画像、即ちユーザの視界光景の撮像画像とは異なる画像がどのように得られるかは多様に考えられる。
例えば撮像機能部位Ｃ２が撮像機能部位Ｃ１とは異なる方向の撮像を行っている場合、その撮像機能部位Ｃ２で撮像された画像そのものが、撮像機能部位Ｃ１により得られる画像とは異なるものとなる。通信部２６で受信された画像やストレージ部２５で再生された画像も、撮像機能部位Ｃ１により得られる画像とは異なるものとなる。
また図１の例のように撮像機能部位Ｃ２が撮像機能部位Ｃ１と同一方向（ユーザの視界方向）の撮像を行っている場合でも、その撮像動作態様や撮像信号処理により、撮像機能部位Ｃ１により得られる画像とは異なる画像を得ることができる。
そして本例では、これら複数の画像ソースからの表示画像信号を同時に表示部２に表示させ、ユーザに多様な画像を提供するものである。
【００４８】
［３．画面上の領域形態］
表示部２の画面上で、複数の画像ソースからの表示画像信号による画像を同時に表示する場合の領域形態の例を図９，図１０に示す。
表示部２（図８の場合は表示装置３０の表示部３１：以下同様）において、複数の画像ソースからの画像を同時に表示する形態としては、画面領域内で親画面領域と子画面領域を設定したり、画面領域を分割することが考えられる。
【００４９】
図９における領域ＡＲ１、ＡＲ２は、それぞれ異なる画像ソースからの画像を表示する領域を示している。
図９（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下に子画面としての領域ＡＲ２を設定し、各領域ＡＲ１，ＡＲ２で画像表示を行っている例である。
図９（ｂ）は、表示部２の画面領域で、領域ＡＲ１内で左下に子画面としての領域ＡＲ２を設定し、各領域ＡＲ１，ＡＲ２で画像表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域ＡＲ１内の右上、左上、中央、中央右寄り、中央左寄りなど、各種の位置に子画面としての領域ＡＲ２を設定することもできる。
図９（ｃ）は、領域ＡＲ２としてのサイズを小さくした例である。
図９（ｄ）は、領域ＡＲ２としてのサイズを大きくした例である。
図９（ｅ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して左右に分けた例である。
図９（ｆ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して上下に分けた例である。
【００５０】
例えば図４〜図８の構成において、画像表示を行う場合、この図９（ａ）〜（ｆ）のような形態で、領域ＡＲ１で撮像機能部位Ｃ１を画像ソースとしてユーザの視界光景の画像を表示し、領域ＡＲ２に他の画像ソース（撮像機能部位Ｃ２，通信部２６、ストレージ部２５等）による画像表示を行うことが考えられる。
またシステムコントローラ１０は、動作トリガ情報発生部１６からの情報（例えばユーザの操作情報、ユーザ情報、外界情報等）に基づいて、図９（ａ）〜（ｆ）どのような領域形態で画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。例えばユーザの操作等に応じて図９（ａ）（ｂ）のように子画面とされる領域ＡＲ２の位置を変更したり、図９（ｃ）（ｄ）のように領域ＡＲ２のサイズを変更したり、図９（ｅ）（ｆ）のように等分割することで、ユーザの好みに合わせることができる。
また、いわゆる表示領域交代として、図９（ａ）〜（ｆ）における領域ＡＲ１と領域ＡＲ２を入れ換え、領域ＡＲ２で撮像機能部位Ｃ１を画像ソースとしてユーザの視界光景の画像を表示し、領域ＡＲ１に他の画像ソース（撮像機能部位Ｃ２，通信部２６、ストレージ部２５等）による画像表示を行うような切り換えを行うことも考えられる。
【００５１】
次に図１０は、画像ソースが３つ存在する場合の表示部２の領域形態の例であり、図１０において領域ＡＲ１、ＡＲ２、ＡＲ３は、それぞれ異なる画像ソースからの表示画像信号による画像表示を行っている領域であるとする。
図１０（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下と左下に２つの子画面としての領域ＡＲ２、ＡＲ３を設定し、各領域ＡＲ１，ＡＲ２，ＡＲ３でそれぞれ画像表示を行っている例である。
図１０（ｂ）は、表示部２の画面領域で、領域ＡＲ１の左右に領域ＡＲ２、ＡＲ３を設定し、それぞれ画像表示を行っている例である。
図１０（ｃ）は、表示部２の画面領域で、領域ＡＲ１の上下に領域ＡＲ２、ＡＲ３を設定し、それぞれ画像表示を行っている例である。
また図示しないが、領域ＡＲ１、ＡＲ２、ＡＲ３を３等分に分割設定しても良い。
また、システムコントローラ１０の制御によって領域形態の切換や領域の交代が行われることも図９の場合と同様に想定される。
【００５２】
なお、３つ以上の画像ソースを有する場合であっても、そのうちの２つの画像ソースを選択して図９（ａ）〜（ｆ）のような領域形態で表示させることも考えられる。
もちろん４つ以上の画像ソースを有する場合も、その全部の画像をそれぞれ表示させても良いし、選択された２以上の画像ソースの画像を表示させてもよい。
また、図１、図２のように表示部２が右眼用と左眼用で２つある場合に、その一方の画面全体で一方の画像ソースによる画像表示を行い、他方の画面全体で他方の画像ソースによる画像表示を行うことも考えられる。
さらに、携帯型ゲーム機などで実用化されている２画面ディスプレイのような複数画面ディスプレイのそれぞれに画像表示を行うようにしてもよい。
【００５３】
［４．表示動作例］
上記図４〜図８のような各種構成の本実施の形態の撮像表示装置１においては、複数の画像ソースからの表示画像信号を表示部２に表示させ、かつ複数の画像ソースの１つは撮像機能部位Ｃ１としてユーザの視界方向を撮像し、他の画像ソースは撮像機能部位Ｃ１からの画像とは異なる画像としての表示画像信号を生成することで、ユーザにとっての視覚の拡張やおもしろみのある表示を提供するものである。
【００５４】
このためのシステムコントローラ１０の制御と、それによる各種表示動作例を説明していく。
図１１は、システムコントローラ１０の制御処理を示している。
システムコントローラ１０は、ステップＦ１０１で複数画像の表示開始トリガが発生したか否かを確認している。例えば動作トリガ情報発生部１６としてユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことで複数画像の表示を開始させるトリガの発生と判断すればよい。或いは後に例を述べるが、動作トリガ情報発生部１６でユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像表示を開始させるトリガの発生とシステムコントローラ１０が判断することもできる。
なお、複数画像の表示開始トリガが発生するまでの期間は、表示部２をスルー状態としたり、或いは表示部２で撮像機能部位Ｃ１の撮像画像を単独で表示させるなどの制御が考えられる。
或いは、撮像表示装置１の電源オンを複数画像の表示開始トリガとし、撮像表示装置１は常に複数画像を表示させるようにしてもよい。
【００５５】
複数画像の表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０２に進め、複数の表示画像信号の表示開始制御を行う。即ち撮像機能部位Ｃ１からの表示画像信号と、他の画像ソースからの表示画像信号とについて、表示部２で画像表示をおこなうように制御する。
【００５６】
例えば図４の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１、Ｃ２の撮像動作を開始させ、撮像機能部位Ｃ１、Ｃ２による各表示画像信号を表示画像処理部１２に供給させ、図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。
なお、図２のように撮像機能部位Ｃ１、Ｃ２が異なる方向を被写体方向としている場合は、撮像機能部位Ｃ２で通常に撮像した撮像画像は、撮像機能部位Ｃ１の撮像画像とは異なる画像となるため、表示部２において複数の領域で異なる画像が表示される。
一方、図１のように撮像機能部位Ｃ１、Ｃ２が同一方向を被写体方向としている場合は、システムコントローラ１０は撮像機能部位Ｃ２での撮像動作態様や信号処理を指示して、撮像機能部位Ｃ２で得られる画像を撮像機能部位Ｃ１の撮像画像とは異なる画像となるように制御することで、表示部２において複数の領域で異なる画像が表示されるようにする。
【００５７】
また図５の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１の撮像動作を開始させ、撮像機能部位Ｃ１による表示画像信号を表示画像処理部１２に供給させるとともに、通信部２６による受信画像データを表示画像信号として表示画像処理部１２に供給させる。そして図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。
なお、図５の構成の場合、通信部２６に対して外部機器からの画像データの送信があったときに、ステップＦ１０１で表示開始トリガ発生と判断し、そのときにステップＦ１０２で撮像機能部位Ｃ１と通信部２６を画像ソースとする画像表示を開始するようにしてもよい。通信部２６により画像データが受信されていない期間は、例えば撮像機能部位Ｃ１からの表示画像信号を単独で表示部２に表示させるようにしていてもよい。
【００５８】
また図７の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１の撮像動作を開始させ、撮像機能部位Ｃ１による表示画像信号を表示画像処理部１２に供給させるとともに、ストレージ部２５に再生動作を指示し、再生画像データを表示画像信号として表示画像処理部１２に供給させる。そして図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。なお、図７の構成の場合、ユーザの操作、ユーザ状況、外界状況などによりストレージ部２５での再生開始のトリガが発生したときに、ステップＦ１０１で表示開始トリガ発生と判断し、そのときにステップＦ１０２で撮像機能部位Ｃ１とストレージ部２５を画像ソースとする画像表示を開始するようにしてもよい。ストレージ部２５で再生が行われていない期間は、例えば撮像機能部位Ｃ１からの表示画像信号を単独で表示部２に表示させるようにしてもよい。
【００５９】
例えば図９，図１０のような領域形態で複数画像の表示を開始させた後は、システムコントローラ１０は、ステップＦ１０３で表示切換トリガが発生したか否かを監視し、またステップＦ１０４で複数画像の表示終了トリガが発生したか否かを監視する。
【００６０】
ステップＦ１０３での表示切換トリガの発生とは、ユーザ操作、或いはユーザ状況や外界状況によるシステムコントローラ１０の判断により、表示画像の切換を行うとシステムコントローラ１０が判断することを意味している。
表示画像の切換とは、複数画像の内の１つ或いは複数の表示画像内容の切換や、領域形態の切換がある。
そして表示画像内容の切換とは、例えば撮像機能部位Ｃ１又はＣ２における撮像部３でのズーム処理や焦点位置の変更による画像変更、撮像感度の変更による画像変更、撮像信号処理部１５での信号処理による画像変更、撮像部３が可動カメラの場合の撮像方向（被写体方向）の変更による画像変更、３つ以上の表示画像信号のソースを有する場合の画像ソース切換による画像変更など、非常に多様な例が考えられる。
また領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や領域交代、全画面表示への切換などであり、例えば図９（ａ）の状態から図９（ｂ）の状態に切り換えたり、図９（ａ）の状態から図９（ｅ）の状態に切り換えるなどの制御である。
【００６１】
またステップＦ１０４での複数画像の表示終了トリガについては、例えばユーザが所定の操作子により表示を終了させる操作を行った場合に、システムコントローラ１０は複数画像の表示状態を終了させるトリガの発生と判断すればよいが、ユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像の表示終了トリガの発生とシステムコントローラ１０が判断することもできる。
【００６２】
表示切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０５に進め、画像表示動作に関しての切換制御を行う。これにより表示部２において或る領域（ＡＲ１，ＡＲ２の一方又は両方）に表示されている画像の内容、もしくは領域形態の切換が行われる。
システムコントローラ１０はステップＦ１０５で表示切換に関しての制御を行った後も、ステップＦ１０３，Ｆ１０４のトリガ発生の監視を行う。
【００６３】
複数画像の表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、複数ソースからの画像を表示部２に同時表示させる動作を終了させる。
この場合の表示終了制御としては、例えば撮像機能部位Ｃ１からの画像のみを表示させる状態に切り換えるようにしたり、或いは表示部２での画像表示を終了させたり、或いは表示部２での画像表示を終了させて表示部２をスルー状態にしたり、さらに電源オフとすることなどが想定される。
【００６４】
システムコントローラ１０が、例えばこの図１１のような制御処理を行うことで、表示部２において複数の画像ソースからの画像が同時表示される。
以下では、複数の画像ソースからの画像の同時表示の例を図１２以降を参照しながら述べていく。
【００６５】
まず図１２，図１３により、撮像表示装置１が図１，図４の構成例であって、撮像機能部位Ｃ１、Ｃ２が共にユーザの前方、つまりユーザの視界方向の光景を撮像するように構成されている場合を説明する。
【００６６】
図１２（ａ）は表示部２の全面で通常に表示を行っている場合を示している。例えば撮像機能部位Ｃ１で通常に撮像した画像のみを表示部２に表示させた状態である。
これに対して図１２（ｂ）は本例の動作により複数の画像ソースからの画像が同時表示されている例である。この場合、撮像機能部位Ｃ１による通常撮像画像が表示画像信号とされて領域ＡＲ１に表示されながら、撮像機能部位Ｃ２による撮像画像が表示画像信号とされて領域ＡＲ２において表示される。そして、システムコントローラ１０は、撮像機能部位Ｃ２の撮像部３に対して望遠ズーム動作制御を行っており、撮像機能部位Ｃ２により望遠撮像が行われることで、領域ＡＲ２の画像は、領域ＡＲ１の画像とは異なる画像となっている。これによりユーザーは、通常の光景をみながら、通常の視覚では見ることのできない望遠画像を楽しむことができる。
なお、ここでは撮像機能部位Ｃ２により望遠画像が得られる例を挙げたが、撮像機能部位Ｃ２に広角ズームを実行させることで、近距離の光景が広角に映し出された画像を領域ＡＲ２に表示させることも可能である。望遠−広角の画像を取得するには、撮像機能部位Ｃ２の撮像部３におけるズームレンズの駆動制御の他、撮像機能部位Ｃ２の撮像信号処理部１５での信号処理によっても可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ１０が撮像機能部位Ｃ２の撮像部３に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画像を表示部２の領域ＡＲ２に表示させてもよい。
【００６７】
また、撮像機能部位Ｃ１による画像、即ちユーザの視界方向の通常撮像画像を領域ＡＲ１に表示し、撮像機能部位Ｃ２による画像を領域ＡＲ２に表示させる例を示しているが、逆に撮像機能部位Ｃ１による画像、即ちユーザの視界方向の通常撮像画像を領域ＡＲ２に表示し、撮像機能部位Ｃ２による画像（望遠画像等）を領域ＡＲ１に表示させるようにしてもよい。
以下の各例でも、撮像機能部位Ｃ１による画像としてユーザの視界方向の通常撮像画像を領域ＡＲ１に表示し、撮像機能部位Ｃ１とは異なる画像となる他の画像ソースによる画像を領域ＡＲ２に表示させた例を挙げるが、各例すべて、撮像機能部位Ｃ１による画像としてユーザの視界方向の通常撮像画像を領域ＡＲ２に表示し、撮像機能部位Ｃ１とは異なる画像となる他の画像ソースによる画像を領域ＡＲ１に表示させる例も考えられる。
【００６８】
図１２（ｃ）も、撮像機能部位Ｃ１による通常撮像画像が表示画像信号とされて領域ＡＲ１に表示されながら、撮像機能部位Ｃ２による撮像画像が拡大処理されて表示画像信号とされ、領域ＡＲ２において表示される例である。このような表示は、システムコントローラ１０は、撮像機能部位Ｃ２の撮像信号処理部１５に対して撮像部３から得られた画像についての拡大処理を指示することで実現される。
このような表示によっても、ユーザーは通常の光景をみながら、通常の視覚では見ることのできない拡大画像を楽しむことができる。
また、システムコントローラ１０が撮像機能部位Ｃ２に対して撮像部３から得られた画像についての縮小処理を実行させ、領域ＡＲ２に縮小画像の表示を行うことも考えられる。
【００６９】
図１２（ａ）は周囲が薄暗い場合を示している。撮像機能部位Ｃ１で通常に撮像された画像が領域ＡＲ１に表示される。一方、このように周囲が薄暗い場合に、システムコントローラ１０は撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、よりはっきりした明るい表示画像信号を得るようにし、それを領域ＡＲ２に表示させる。このように明るさ調整画像として、領域ＡＲ１の通常撮像画像とは異なる光景の画像が領域ＡＲ２に表示されることで、ユーザーは、通常の視覚では見ることのできない画像を見ることができる。
また逆に、周囲が明るすぎる場合などに、システムコントローラ１０は撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を下げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、まぶしくない表示画像信号を得るようにし、それを領域ＡＲ２に表示させるようにすることも考えられる。
【００７０】
図１３（ｂ）は、例えばユーザが、子供が寝ている暗い寝室に居る場合などであり、領域ＡＲ１に表示される撮像機能部位Ｃ１の通常撮像画像では、殆ど真っ暗で見えない状況であるとしている。システムコントローラ１０が、撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、領域ＡＲ２に赤外線感度上昇撮像の画像が表示される。即ち暗い部屋で子供の寝顔などを確認できるような画像表示が行われる。これによりユーザーは、通常の視覚では見ることのできない暗視画像を見ることができる。
【００７１】
図１３（ｃ）は、領域ＡＲ１で撮像機能部位Ｃ１による通常撮像画像が表示され、このときシステムコントローラ１０が撮像機能部位Ｃ２の撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、領域ＡＲ２に紫外線感度上昇撮像の画像が表示されている例である。これによりユーザーは、通常の視覚では見ることのできない紫外光成分を表した画像を見ることができる。
【００７２】
以上の図１２、図１３は、図４の構成において撮像機能部位Ｃ１、Ｃ２が共にユーザの前方を撮像するように配置されている場合の例を述べたが、図１４は図４の構成において、撮像機能部位Ｃ１がユーザの前方を撮像し、撮像機能部位Ｃ２がユーザの視界方向である前方とは異なる方向を撮像するように配置されている場合の表示例である。
【００７３】
撮像機能部位Ｃ２が例えばユーザの後方を撮像するように配置されている場合、画像表示状態は図１５（ａ）のようになり、領域ＡＲ１は撮像機能部位Ｃ１による前方の画像が表示され、領域ＡＲ２に撮像機能部位Ｃ２によるユーザの後方の撮像画像の表示が行われる。
また撮像機能部位Ｃ２が例えばユーザの上方を撮像するように配置されている場合、画像表示状態は図１５（ｂ）のようになり、領域ＡＲ１ではユーザの前方の撮像画像が表示され、領域ＡＲ２ではユーザの上方の撮像画像の表示が行われる。
これらの場合も、ユーザは通常の視界方向の画像を領域ＡＲ１で見ながら、ユーザの視界とは異なる光景の画像（後方画像や上方画像など）を領域ＡＲ２で見ることができる。
【００７４】
図１４（ｃ）は、例えば撮像機能部位を３個（構成は図示しないが、説明上、撮像機能部位Ｃ１、Ｃ２，Ｃ３と言う）備えた構成の場合の表示例である。
撮像機能部位Ｃ１はユーザの前方を撮像し、撮像機能部位Ｃ２はユーザの右後方を撮像し、撮像機能部位Ｃ３はユーザの左後方を撮像するように配置されているとする。
この場合、領域ＡＲ１は撮像機能部位Ｃ１によるユーザ前方の撮像画像が表示され、領域ＡＲ２、ＡＲ３にそれぞれ撮像機能部位Ｃ２、Ｃ３によるユーザの右後方と左後方の撮像画像の表示が行われる。
この場合ユーザーは、領域ＡＲ１での通常の前方の光景に加えて右後方、左後方を視認でき、ほぼ周囲全周を確認できる状態となる。
【００７５】
図１５、図１６は、図５のように画像ソースとして通信部２６を備えた構成の場合の表示例である。
まず図１５は、図６（ａ）又は図６（ｃ）のような通信で、外部の撮像装置７０から送信され、通信部２６で受信した画像を表示する例である。
図１５（ａ）は、例えばユーザからの視界として撮像機能部位Ｃ１による撮像画像が領域ＡＲ１に表示されている。即ちユーザが、スタジアムで客席からサッカーを観戦している状態である。このときにシステムコントローラ１０は、スタジアムの別の場所で撮像を行う撮像装置７０で撮像され通信部２６で受信した画像を、表示部２の領域ＡＲ２に表示させる。
例えば監督席近辺に設置された撮像装置７０や、審判が装着する小型の撮像装置７０などからの映像を受信して、表示部２の領域ＡＲ２で表示することで、より興味深く試合観戦を行うことができる。
図１５（ｂ）は、リゾート地に設置した撮像装置７０や、旅行中の知人が所持する撮像装置７０によって撮像した映像を、通信部２６で受信した場合である。システムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
このような画像表示により、ユーザは、例えば近所の公園等にいながら、多様な地域の映像を見ることができる。
図１５（ｃ）は、航空機や衛星に設置された撮像装置７０で撮像した地上の映像（バードビュー映像）を、通信部２６で受信し、表示部２に表示させている例である。即ちシステムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
このような画像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
【００７６】
図１６は、図６（ｂ）又は図６（ｃ）のような通信で、外部のコンテンツソース機器７１から送信され、通信部２６で受信した画像を表示する例である。
図１６（ａ）は、ＡＶ機器やパーソナルコンピュータ等のコンテンツソース機器７１から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部２で表示されている例である。システムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信したコンテンツ画像を表示させる。
図１６（ｂ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、撮像表示装置１に送信させ、撮像表示装置１においては通信部２６で受信した画像データを表示部２で表示させている例である。例えばシステムコントローラ１０は通信部２６を介して外部のコンテンツソース機器７１にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部２６で受信させる。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信したブラウザ画面等の画像を表示させる。
図１６（ｃ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１において見ることのできる写真画像の一覧表示画像などを撮像表示装置１に送信させ、撮像表示装置１において通信部２６で受信し、表示部２に表示させている例である。例えばシステムコントローラ１０は通信部２６を介して外部のコンテンツソース機器７１にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部２６で受信させる。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
例えば以上の図１６（ａ）（ｂ）（ｃ）のように、コンテンツソース機器７１からの画像として、ビデオプレーヤ等のＡＶ機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置１において、これらの画像を確認したり、各種の作業を行うことができる。
【００７７】
次に図１７は、図７に示したようにストレージ部２５を画像ソースとして備える構成において実行される表示例を示す。
図１７（ａ）は、ストレージ部２５における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部２で表示されている例である。システムコントローラ１０はストレージ部２５に再生を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で再生させたコンテンツ画像を表示させる。
図１７（ｂ）は、ストレージ部２５における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部２で表示されている例である。システムコントローラ１０はストレージ部２５にゲームプログラムの実行を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で実行させたゲーム画像を表示させる。
図１７（ｃ）は、ストレージ部２５における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部２で表示されている例である。システムコントローラ１０はストレージ部２５に電子書籍データの再生を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で再生させた電子書籍画像を表示させる。
これら図１７（ａ）（ｂ）（ｃ）のようにユーザは撮像表示装置１を用いて、通常の視界方向の画像を見ながら、記録媒体に記録されたデータの再生画像を楽しむことができる。
【００７８】
なお、図１７はストレージ部２５をソースとする画像、図１６は通信部２６で受信された外部のコンテンツソース機器７１からの画像の例を挙げたが、例えば図１６で例に挙げた画像内容をストレージ部２５からの再生画像と考えることもできるし、図１７で例に挙げた画像内容を外部のコンテンツソース機器７１から送信されて通信部２６で受信した画像と考えることもできる。
【００７９】
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、第１の画像ソースである撮像機能部位Ｃ１においてユーザの視界方向の光景を撮像し、それを表示画像信号とすると共に、他の画像ソースにおいて、撮像機能部位Ｃ１による画像とは異なる画像としての表示画像信号を生成する。そして、これら各画像ソースからの表示画像信号による画像を表示部２に同時に表示させるものである。このような動作による表示は非常に多様に考えられる。
【００８０】
以下、撮像機能部位Ｃ１でユーザの視界方向の通常撮像画像の画像信号を表示画像信号として、例えば表示部２の領域ＡＲ１に表示させる場合に、領域ＡＲ２に表示させる画像としての表示画像信号の例を挙げていく。
【００８１】
まず図４のような構成で撮像機能部位Ｃ２が、撮像機能部位Ｃ１と同様にユーザの前方を撮像するように配置されている場合において、撮像機能部位Ｃ２の撮像部３で得られた撮像信号に基づく表示画像信号例は次のとおりである。
・撮像機能部位Ｃ２の撮像部３のズーム動作で得られる望遠ズーム画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３のズーム動作で得られる広角ズーム画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３の焦点制御動作で得られる遠景画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３の焦点制御動作で得られる近景画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像などとしての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で拡大処理を行った表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で縮小処理を行った表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像感度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像感度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での赤外線撮像感度を上昇させて得た暗視画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での紫外線撮像感度を上昇させて得た画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３で特定波長帯域をカットして撮像した画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で輝度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で輝度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の色信号処理で色合いや雰囲気を変化させた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理でコントラスト、シャープネス等を調整した画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理として、モザイク／輝度反転／ソフトフォーカス／画像内の一部の強調表示／ハイライト表示などの画像エフェクト処理を行って得た画像としての表示画像信号
・以上の各動作又は信号処理の組み合わせにより撮像機能部位Ｃ２で得た表示画像信号
【００８２】
撮像機能部位Ｃ２で、撮像機能部位Ｃ１と同様にユーザ正面の光景を撮像する場合は、例えばこれらのような動作や処理で表示画像信号を得ることで、撮像機能部位Ｃ１からの表示画像信号による画像と、それとは異なる画像とが同時表示できることになる。
もちろん、上記列挙したものに限定されるものではなく、撮像機能部位Ｃ２の撮像部３の動作、撮像信号処理部１５の信号処理により得られる、「撮像機能部位Ｃ１による画像とは異なる画像」としての表示画像信号は多様に考えられる。
またズーム処理や拡大／縮小処理の倍率、撮像感度変更時の変更するレベル、輝度信号処理や色信号処理での処理係数など、任意に可変することも考えられる。
【００８３】
一方、図４のような構成で撮像機能部位Ｃ２が、撮像機能部位Ｃ１の被写体方向（ユーザの前方）とは異なる方向を撮像するように配置されている場合においては、撮像機能部位Ｃ２による表示画像信号例は次のように考えればよい。
即ち、この場合、撮像機能部位Ｃ２での通常撮像で得られた撮像画像は、それ自体が既に撮像機能部位Ｃ１での通常撮像で得られる撮像画像とは異なる光景（例えば後方、上方、足下、右方、左方などの光景）であるため、撮像機能部位Ｃ２の撮像画像信号を、そのまま表示画像信号とし、撮像機能部位Ｃ１からの表示画像信号とともに表示部２に表示させればよい。
さらに、その場合に上記列挙したように、撮像機能部位Ｃ２の撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
【００８４】
また、例えば３つ以上の撮像機能部位Ｃ１、Ｃ２，Ｃ３・・・を備える場合も同様に考えることができる。撮像機能部位Ｃ２，Ｃ３・・・のうち、撮像機能部位Ｃ１と同方向を撮像する撮像機能部位が存在する場合は、その撮像画像信号については、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の信号処理により、撮像機能部位Ｃ１の画像とは異なる光景とした画像を表示画像信号とすればよい。
また撮像機能部位Ｃ２，Ｃ３・・・のうち、撮像機能部位Ｃ１とは異なる方向（ユーザの前方以外の方向）を撮像する撮像部３が存在する場合は、その撮像画像信号そのものを表示画像信号としてもよいし、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
【００８５】
なお、撮像機能部位Ｃ２，Ｃ３・・・のうちで同方向を撮像する撮像機能部位が設けられた場合は、一方を通常撮像画像を表示画像信号とし、他方を上記列挙したように撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号とすることで、それら同方向の撮像画像から異なる画像の表示画像信号を得ることができる。もちろんその場合に、両方とも、上記列挙したように撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
例えばユーザの後方を撮像する撮像機能部位Ｃ２、Ｃ３を有する場合に、一方で通常撮像画像を表示画像信号とし、他方で望遠撮像画像を表示画像信号とする例や、一方で拡大画像を表示画像信号とし、他方で紫外線撮像感度上昇撮像による撮像画像を表示画像信号とするなどである。
【００８６】
また撮像機能部位Ｃ２として、撮像方向可変の可動式の撮像部を有する構成の場合も同様であり、撮像機能部位Ｃ２において、ユーザの前方以外の撮像画像や、撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
また可動式の場合、特定の対象を追尾するような可動制御を行うことも考えられる。例えば撮像画像信号についての画像解析を行い、特定対象を検出した場合、撮像画像内での特定対象の動きに合わせて撮像方向を変化させる。このような制御により、ユーザは、特定の対象を追尾する画像を、例えば領域ＡＲ２において見ることができる。
【００８７】
通信部２６で受信した外部機器からの画像を表示させる場合も同様に考えることができる。
即ち、外部の撮像装置７０やコンテンツソース機器７１からの画像は、それ自体が撮像機能部位Ｃ１で得られる表示画像信号とは異なる画像であるため、通信部２６で受信した画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な画像を提供できることになる。
さらにストレージ部２５で再生した画像も同様であり、それ自体が撮像機能部位Ｃ１で得られる表示画像信号とは異なる画像であるため、ストレージ部２５で再生した画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な画像を提供できる。
なお、表示画像処理部１２において、拡大、縮小、輝度処理、色処理、コントラスト調整、シャープネス調整、画像エフェクト等の画像信号処理を実行できるようにする場合、通信部２６で受信した画像信号やストレージ部２５で再生した画像信号に対して、それらの画像信号処理を加えて表示画像信号を生成してもよい。
また通信部２６やストレージ部２５を画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の画像表示も可能である。
【００８８】
また、以上では撮像機能部位Ｃ１については通常撮像画像を表示画像信号とするとして説明してきたが、撮像機能部位Ｃ１における撮像部３や撮像信号処理部１５により、例えば望遠／広角ズーム、拡大／縮小、感度変更、近景撮像／遠景撮像、輝度処理、色処理、画像エフェクト等を行った画像信号を表示画像信号としてもよい。
いずれにしても、他の画像ソースでは、撮像機能部位Ｃ１からの画像とは異なる画像の表示画像信号を生成させればよい。
【００８９】
［５．動作トリガの例］
上記図１１の処理に示したように、システムコントローラ１０はステップＦ１０１で複数画像の表示開始トリガ発生と判断することで複数の画像ソースからの画像表示を実行させる。またステップＦ１０３で表示切換トリガ発生と判断することに応じて表示内容や領域形態の切換を行う。さらにステップＦ１０４で複数画像の表示終了トリガ発生と判断することで複数画像の表示動作を終了させる。
そしてこれらの表示動作に関するトリガとしては、ユーザの操作によるものとすればよいが、ユーザの状況や外界の状況を検知し、所定の条件によりシステムコントローラ１０がトリガ発生と判断しても良いと述べた。
ここでは、ユーザ状況や外界状況によりトリガ発生の判断を行う例について述べる。
【００９０】
まずユーザ状況によりトリガ発生と判断する場合、撮像表示装置１は動作トリガ情報発生部１６として視覚センサ、加速度センサ、ジャイロ、生体センサなどを設けるようにする。
視覚センサは、ユーザの視覚に関する情報を検出するものとするが、この視覚センサは、一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサは、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
【００９１】
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像表示装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御、焦点変更制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみ表示動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。
【００９２】
加速度センサ、及びジャイロは、ユーザの動きに応じた信号を出力する。例えば加速度センサは直線方向の動きを検出し、ジャイロにより回転系の動きや振動を検出する場合に適している。
加速度センサやジャイロの配置位置にもよるが、加速度センサやジャイロによって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の撮像表示装置１の内部に取り付けられた場合、つまり加速度センサ及びジャイロがユーザの頭部の動きを検出するものとされた場合は、加速度センサの検出情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロの検出情報はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ及びジャイロによっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサやジャイロが、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
【００９３】
生体センサは、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また撮像表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが撮像表示装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像表示装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像表示装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサによる検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサは、例えば眼鏡型の撮像表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
【００９４】
次に外界の状況を検知する場合においては、撮像表示装置１は、外界情報を取得するための構成として、動作トリガ情報発生部１６に周囲環境センサ、撮像対象センサ、ＧＰＳ受信部、日時計数部、画像解析部を設けたり、通信部２６を利用する。
【００９５】
周囲環境センサとしては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定される。
照度センサによっては、撮像表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサにより、撮像表示装置１は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周囲の明るさや気象状況に適した表示画像信号の生成動作を実行制御できる。例えば周囲の明るさに応じて画像の輝度レベルを上下させたり、天候状況に応じて画像の雰囲気を変えるなどである。
【００９６】
撮像対象センサは撮像対象についての情報を検知する。例えば測距センサや焦電センサなどが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることができる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた表示画像信号の生成動作を実行制御できる。
【００９７】
ＧＰＳ受信部２１は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出した場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情報を得ることができる。例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。
また通信部２６を有する構成の場合、撮像表示装置１に地図データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在位置や現在地点の近辺の地理的条件や施設などに応じた表示画像信号の生成動作を実行制御したり、特定の場所において表示開始制御或いは表示終了制御を行うなどが可能となる。
【００９８】
日時計数部は例えば年月日時分秒を計数する。この日時計数部によってシステムコントローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜の別（時刻）に応じた表示画像信号の生成動作や、現在の季節に適した表示画像信号の生成動作などを実行制御できる。
【００９９】
撮像画像を解析する画像解析部を設ければ、撮像画像から撮像対象についての以下のような各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
【０１００】
また、画像解析部による画像解析によれば、人物が被写体となっている場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って、画像解析部は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤやフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置１に人物データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたとき）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
【０１０１】
このような画像解析部による検出情報に基づいて、システムコントローラ１０は撮像対象に応じた表示画像信号の生成処理を実行制御できる。例えば特定の対象や特定の人物が撮像されている場合は、その特定の対象をハイライト表示させるような表示画像信号を生成することなどが考えられる。
【０１０２】
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように撮像表示装置１から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
このような通信部２６で取得できる情報に基づいて、システムコントローラ１０は表示画像信号の生成処理を実行制御できる。
【０１０３】
以上の例のような構成要素を動作トリガ情報発生部１６として設け、ユーザの状況や外界の状況を検知し、それら状況に応じた表示開始／終了や、表示切換（表示内容の変更や領域形態の切換）を行うようにすることで、ユーザが操作しなくとも、適切或いはおもしろみのある表示動作が実現される。
また、ユーザの状況や外界の状況を検出するための構成例は他にも考えられる。
【０１０４】
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、表示部２の画面領域の一部で撮像機能部位Ｃ１によるユーザの視界方向の撮像画像としての表示画像信号による表示を実行させながら、他の画像ソース（撮像機能部位Ｃ２、通信部２６、ストレージ部２５等）からの表示画像信号による表示を実行させることで、ユーザは通常の視界光景が見える状態のまま、視覚光景とは異なる画像を見ることができる。例えば撮像機能部位Ｃ１による前方の画像を見ながら、撮像機能部位Ｃ２による望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見ることができる。このため通常の視覚光景と同時に、通常の視覚では見ることのできない光景等の画像を見る状態となり、擬似的にユーザの視覚能力を拡張させる状況を作り出すことができる。
【０１０５】
撮像表示装置１の外観や構成は図１，図２、図３，図４，図５，図７，図８の例に限定されるものではなく、各種の変形例が考えられる。
撮像機能部位Ｃ１等で撮像した画像信号をストレージ部２５において記録媒体に記録するような構成としても良い。
また撮像した画像信号を、通信部２６から他の機器に送信する動作を行うようにしてもよい。
また撮像時に周囲音声を集音するマイクロホンや、音声を出力するイヤホン型等のスピーカ部が設けられても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、スピーカ部から出力させるようにすることも考えられる。
【０１０６】
また表示画像信号は静止画としても良い。例えば撮像機能部位Ｃ１、Ｃ２等で所定のトリガのタイミングを静止画撮像を行い、その撮像された静止画像を表示部２に表示させる。
【０１０７】
また、撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、例えば撮像機能部位Ｃ１のように、ユーザの視界方向を撮像する撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段が有するように構成されればよい。つまり少なくともユーザの視界方向を撮像できる構成であればよい。従って、第１の画像信号生成手段（撮像機能部位Ｃ１）を有する部位が、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。また必ずしもユーザの頭部に装着されなくてもよい。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図２】実施の形態の撮像表示装置の他の外観例の説明図である。
【図３】実施の形態の撮像表示装置のさらに他の外観例の説明図である。
【図４】実施の形態の撮像表示装置のブロック図である。
【図５】実施の形態の撮像表示装置の他のブロック図である。
【図６】実施の形態の撮像表示装置の外部機器との関係の説明図である。
【図７】実施の形態の撮像表示装置の更に他のブロック図である。
【図８】実施の形態の撮像表示装置の更に他のブロック図である。
【図９】実施の形態の表示部の領域形態の説明図である。
【図１０】実施の形態の表示部の領域形態の説明図である。
【図１１】実施の形態の制御処理のフローチャートである。
【図１２】実施の形態の画像表示状態の説明図である。
【図１３】実施の形態の画像表示状態の説明図である。
【図１４】実施の形態の画像表示状態の説明図である。
【図１５】実施の形態の画像表示状態の説明図である。
【図１６】実施の形態の画像表示状態の説明図である。
【図１７】実施の形態の画像表示状態の説明図である。
【符号の説明】
【０１０９】
１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 動作トリガ情報発生部、２５ ストレージ部、２６ 通信部、Ｃ１，Ｃ２ 撮像機能部位
【特許請求の範囲】
【請求項１】
画像表示を行う表示手段と、
使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段と、
上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成手段と、
上記表示手段において、上記第１，第２の画像信号生成手段で生成された複数の表示画像信号による画像表示を同時に実行させる制御を行う制御手段と、
を備えることを特徴とする撮像表示装置。
【請求項２】
上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされることを特徴とする請求項１に記載の撮像表示装置。
【請求項３】
上記表示手段は、上記第１の画像信号生成手段を備えた筐体とは別筐体で形成されていることを特徴とする請求項１に記載の撮像表示装置。
【請求項４】
上記第１の画像信号生成手段は、
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部と、
を有することを特徴とする請求項１に記載の撮像表示装置。
【請求項５】
上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項１に記載の撮像表示装置。
【請求項６】
上記第２の画像信号生成手段は、
撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成することを特徴とする請求項１に記載の撮像表示装置。
【請求項７】
上記第２の画像信号生成手段は、
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部と、
を有することを特徴とする請求項６に記載の撮像表示装置。
【請求項８】
上記撮像部は、使用者の視界方向を被写体方向とする撮像部であることを特徴とする請求項６に記載の撮像表示装置。
【請求項９】
上記撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部であることを特徴とする請求項６に記載の撮像表示装置。
【請求項１０】
上記撮像部は、被写体方向が可変とされた撮像部であることを特徴とする請求項６に記載の撮像表示装置。
【請求項１１】
上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項６に記載の撮像表示装置。
【請求項１２】
上記第２の画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項６に記載の撮像表示装置。
【請求項１３】
上記第２の画像信号生成手段は、上記信号処理部における信号処理により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項７に記載の撮像表示装置。
【請求項１４】
上記第２の画像信号生成手段は、
外部機器から画像信号を受信する受信部を有し、
上記受信部で受信した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項１に記載の撮像表示装置。
【請求項１５】
上記第２の画像信号生成手段は、
記録媒体から画像信号を再生する再生部を有し、
上記再生部で再生した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項１に記載の撮像表示装置。
【請求項１６】
上記表示手段において、画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われることを特徴とする請求項１に記載の撮像表示装置。
【請求項１７】
上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われることを特徴とする請求項１に記載の撮像表示装置。
【請求項１８】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、近景撮像又は遠景撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１９】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、望遠撮像又は広角撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２０】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、拡大処理又は縮小処理により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２１】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、撮像感度を上昇又は低下させた撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２２】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、赤外線撮像感度を上昇させた撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２３】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、紫外線撮像感度を上昇させた撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２４】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２５】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２６】
使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成ステップと、
上記第１の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成ステップと、
上記第１，第２の画像信号生成ステップで生成された複数の表示画像信号による画像表示を同時に実行させる表示ステップと、
を備えることを特徴とする撮像表示方法。
【請求項１】
画像表示を行う表示手段と、
使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段と、
上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成手段と、
上記表示手段において、上記第１，第２の画像信号生成手段で生成された複数の表示画像信号による画像表示を同時に実行させる制御を行う制御手段と、
を備えることを特徴とする撮像表示装置。
【請求項２】
上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされることを特徴とする請求項１に記載の撮像表示装置。
【請求項３】
上記表示手段は、上記第１の画像信号生成手段を備えた筐体とは別筐体で形成されていることを特徴とする請求項１に記載の撮像表示装置。
【請求項４】
上記第１の画像信号生成手段は、
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部と、
を有することを特徴とする請求項１に記載の撮像表示装置。
【請求項５】
上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項１に記載の撮像表示装置。
【請求項６】
上記第２の画像信号生成手段は、
撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成することを特徴とする請求項１に記載の撮像表示装置。
【請求項７】
上記第２の画像信号生成手段は、
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部と、
を有することを特徴とする請求項６に記載の撮像表示装置。
【請求項８】
上記撮像部は、使用者の視界方向を被写体方向とする撮像部であることを特徴とする請求項６に記載の撮像表示装置。
【請求項９】
上記撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部であることを特徴とする請求項６に記載の撮像表示装置。
【請求項１０】
上記撮像部は、被写体方向が可変とされた撮像部であることを特徴とする請求項６に記載の撮像表示装置。
【請求項１１】
上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されていることを特徴とする請求項６に記載の撮像表示装置。
【請求項１２】
上記第２の画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項６に記載の撮像表示装置。
【請求項１３】
上記第２の画像信号生成手段は、上記信号処理部における信号処理により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項７に記載の撮像表示装置。
【請求項１４】
上記第２の画像信号生成手段は、
外部機器から画像信号を受信する受信部を有し、
上記受信部で受信した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項１に記載の撮像表示装置。
【請求項１５】
上記第２の画像信号生成手段は、
記録媒体から画像信号を再生する再生部を有し、
上記再生部で再生した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成することを特徴とする請求項１に記載の撮像表示装置。
【請求項１６】
上記表示手段において、画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われることを特徴とする請求項１に記載の撮像表示装置。
【請求項１７】
上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われることを特徴とする請求項１に記載の撮像表示装置。
【請求項１８】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、近景撮像又は遠景撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項１９】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、望遠撮像又は広角撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２０】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、拡大処理又は縮小処理により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２１】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、撮像感度を上昇又は低下させた撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２２】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、赤外線撮像感度を上昇させた撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２３】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、紫外線撮像感度を上昇させた撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２４】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２５】
上記第１，第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号であることを特徴とする請求項１に記載の撮像表示装置。
【請求項２６】
使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成ステップと、
上記第１の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を生成する第２の画像信号生成ステップと、
上記第１，第２の画像信号生成ステップで生成された複数の表示画像信号による画像表示を同時に実行させる表示ステップと、
を備えることを特徴とする撮像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−９６８６８（Ｐ２００８−９６８６８Ａ）
【公開日】平成２０年４月２４日（２００８．４．２４）
【国際特許分類】
【出願番号】特願２００６−２８１０４３（Ｐ２００６−２８１０４３）
【出願日】平成１８年１０月１６日（２００６．１０．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年４月２４日（２００８．４．２４）
【国際特許分類】
【出願日】平成１８年１０月１６日（２００６．１０．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]