撮像表示システム、撮像表示装置、撮像表示装置の制御方法
【課題】視覚交換の簡易な実現。
【解決手段】一方の撮像表示装置で撮像した撮像画像データを、他方の撮像表示装置に送信して表示させる。また他方の撮像表示装置で撮像した撮像画像データを、一方の撮像表示装置で表示させたり記録する。さらに、一方又は他方の撮像表示装置で撮像し、一方の撮像表示装置で記録した撮像画像データを、該一方の撮像表示装置で再生させ、一方の撮像表示装置や他方の撮像表示装置で表示させる。ここで、一方又は他方の撮像表示装置の撮像手段で撮像される撮像画像データとは、撮像表示装置の使用者の視界方向の画像であるようにする。また一方又は他方の撮像表示装置では、表示画面が使用者の目の前方に位置される。従って、撮像表示装置のユーザは、撮像表示装置を装着した状態で、自分の視界光景としての現在又は過去の光景を見るだけでなく、他の撮像表示装置のユーザの視界光景としての現在又は過去の光景を見ることができる。
【解決手段】一方の撮像表示装置で撮像した撮像画像データを、他方の撮像表示装置に送信して表示させる。また他方の撮像表示装置で撮像した撮像画像データを、一方の撮像表示装置で表示させたり記録する。さらに、一方又は他方の撮像表示装置で撮像し、一方の撮像表示装置で記録した撮像画像データを、該一方の撮像表示装置で再生させ、一方の撮像表示装置や他方の撮像表示装置で表示させる。ここで、一方又は他方の撮像表示装置の撮像手段で撮像される撮像画像データとは、撮像表示装置の使用者の視界方向の画像であるようにする。また一方又は他方の撮像表示装置では、表示画面が使用者の目の前方に位置される。従って、撮像表示装置のユーザは、撮像表示装置を装着した状態で、自分の視界光景としての現在又は過去の光景を見るだけでなく、他の撮像表示装置のユーザの視界光景としての現在又は過去の光景を見ることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像表示システム、撮像表示装置、撮像表示装置の制御方法に関し、特に複数の撮像表示装置を使用するユーザの視覚交換を実現できるようにする技術に関する。
【背景技術】
【0002】
【特許文献1】特開2005−341604号公報
【特許文献2】特開2003−244691号公報
【0003】
上記特許文献1にはデータ通信システムの一例が述べられている。
上記特許文献2には自身の見る視聴覚にタイムスタンプを押して事後に利用するシステムが開示されている。
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら従来は、ユーザが任意に自分以外の視界を見るという技術は提案されていない。
ここで、視覚交換という観点で、或る人が、他の人から見えている光景を手軽に見ることができるようにすることで、多様な利便性が生ずると考えられる。
【0005】
例えばゴルフ教室などのスポーツ講習を行う際、受講者のフォームを映像として記録し、受講者自身がその映像を確認して、悪いところを改善するといった手法は適切である。
ところがこのためには、他者が受講者のフォームをビデオ撮影して、後に再生して見るということになり、はなはだ面倒である。また機材環境にもよるが、再生して本人が見るまでに時間がかかる。特には、リアルタイムで受講者が受講者自身のフォームを見ながらフォーム練習するといったこともできない。
また例えば受講者に教える講師以外にビデオスタッフが必要になることが多く、その点でも手軽に実行できない。
さらには、講師が意図するような撮像角度(例えば講師が受講者に対してチェックしている目線)などでの撮影は困難である。
さらに、講師が撮影しようとすると、講師は撮影機材や撮影操作を気にしなければならず、的確に受講者を見ることができないことにもなる。
【0006】
また、教則画像データ等による講習も、一般には、鑑賞する部屋で行われ、その場でゴルフのスイング練習などが行えないのが実情で、結局はイメージトレーニング程度に利用することしかできない。
【0007】
そこで本発明は、例えばスポーツ練習などにも好適に利用できるように、手軽に視覚交換を実現できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本発明の撮像表示システムは、複数の本発明の撮像表示装置を有して成る。また、使用者の操作に応じて一方の撮像表示装置に対してコマンド信号を送信するリモートコントローラを有する場合もある。
【0009】
この撮像表示システムを構成する、本発明の撮像表示装置は、使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、外部の撮像表示装置との間で撮像画像データの通信を行う通信手段と、上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、上記外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させる制御とを行う制御手段と、を備えている。
また撮像画像データの記録を行う記録手段をさらに備え、上記制御手段はさらに、上記撮像手段で得られた撮像画像データを上記記録手段により記録させる制御を行う。
また上記制御手段はさらに、上記他方の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記記録手段により記録させる制御を行う。
また画像データの再生を行う再生手段をさらに備え、上記制御手段はさらに、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御を行う。
また上記制御手段はさらに、上記再生手段で再生された撮像画像データを上記表示手段で表示させる制御と、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御とを行う。
【0010】
また上記制御手段は、操作入力信号に応じて、自己の動作制御を実行するとともに、上記通信手段により、外部の撮像表示装置に動作制御情報を送信させる制御を行う。
また上記制御手段は、上記操作入力信号に応じて、上記表示画面の透過率の可変制御と、外部の撮像表示装置の表示画面の透過率制御情報の送信制御の一方又は両方を実行する。
また上記制御手段は、上記操作入力信号に応じて、撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、外部の撮像表示装置への撮像画像データの送信を求める制御情報の送信制御の、一方又は両方を実行する。
また上記操作入力信号は、リモートコントローラからのコマンド信号として入力される信号である。
【0011】
本発明の撮像表示装置の制御方法は、操作入力に応じて、上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させるステップと、操作入力に応じて、外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させるステップとを備える。
【0012】
以上の本発明では、一方の撮像表示装置で撮像した撮像画像データを、他方の撮像表示装置に送信して表示させることができる。また他方の撮像表示装置で撮像した撮像画像データを、一方の撮像表示装置で表示させたり記録することができる。
さらに、一方又は他方の撮像表示装置で撮像し、一方の撮像表示装置で記録した撮像画像データを、該一方の撮像表示装置で再生させ、一方の撮像表示装置や他方の撮像表示装置で表示させることができる。
ここで、一方又は他方の撮像表示装置の撮像手段で撮像される撮像画像データとは、撮像表示装置の使用者の視界方向の画像である。
また一方又は他方の撮像表示装置では、表示画面が使用者の目の前方に位置される。
従って、撮像表示装置のユーザは、撮像表示装置を装着した状態で、自分の視界光景としての現在又は過去の光景を見るだけでなく、他の撮像表示装置のユーザの視界光景としての現在又は過去の光景を見ることができる。つまり視覚交換としての動作を実現できる。
【発明の効果】
【0013】
本発明によれば、複数のユーザがそれぞれ撮像表示装置を装着することで、お互いに他方のユーザの視覚光景を容易に見ることができる。つまり手軽に視覚交換としての表示画像を体験できる有用な撮像表示装置となり、例えばスポーツ講習その他の多様な使用機会で有効に用いることができる。
また、1つの操作入力手段(例えばリモートコントローラ)により、両方の撮像表示装置を制御して視覚交換動作を制御できることで、使用性も向上される。
【発明を実施するための最良の形態】
【0014】
以下、本発明の撮像表示システム、撮像表示装置、及びその制御方法の実施の形態を説明する。説明は次の順序で行う。
[1.システム概要]
[2.撮像表示装置の構成例]
[3.リモートコントローラの構成例及び動作]
[4.被制御機器モード設定処理]
[5.透過率制御処理]
[6.撮像処理(自機撮像、自機記録、自機表示)]
[7.撮像処理(他機撮像、自機記録、自機表示)]
[8.撮像処理(自機撮像、自機記録、他機表示)]
[9.再生処理(自機再生、自機表示)]
[10.再生処理(自機再生、他機表示)]
[11.再生処理(自機再生、両機表示)]
[12.実施の形態の効果、及び変形例、拡張例]
【0015】
[1.システム概要]
実施の形態の撮像表示システムは、複数(例えば2つ)の撮像表示装置を有する。
図1に撮像表示装置1の外観例を示す。この撮像表示装置1は眼鏡型ディスプレイカメラとしてユーザが装着できるものとしている。
撮像表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2bが配置される構成とされている。この表示パネル部2a、2bには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2a,2bがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、ユーザの活動には支障がない。
【0016】
またユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが、例えばLED(Light Emitting Diode)等により設けられる。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
【0017】
なお図1は一例であり、撮像表示装置1をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示パネル部2a、2bが設けられ、また撮像レンズ3aによる撮像方向がユーザの視界方向、つまりユーザの前方となるようにされていればよい。
また表示パネル部2a,2bとして両眼に対応して表示部が一対設けられる構成の他、片側の眼に対応して1つ表示部が設けられる構成でもよい。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。さらには、撮像表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部4aを設けない構成も考えられる。
撮像表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を示したが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。
【0018】
このような撮像表示装置1の使用状態の例を図2に示す。
この図2は、2つの撮像表示装置1A、1Bを用い、例えばゴルフの講習の場において、一方のユーザとして講師U1が、撮像表示装置1Aを装着しているとともに、他方のユーザとして、受講者U2も、同様の撮像表示装置1Bを装着している。
また、講師U1は、撮像表示装置1Aに対応するリモートコントローラ30を指に装着している。
リモートコントローラ30については後述するが、指にはめた状態で各種の操作入力を行うことのできる装置とされ、このリモートコントローラ30は、撮像表示装置1Aに対してコマンド信号を無線送信する。
【0019】
例えばこのように講師U1がリモートコントローラ30を用いて操作を行うことで、撮像表示装置1A、1Bの間での画像データ伝送が行われ、視覚交換としての動作を含む各種の動作が実現される。
例えば講師U1から見た受講者U2の姿(例えばスイングしている姿)を、撮像表示装置1Bで表示させて受講者U2自身がみることができるようにしたり、受講者U2の姿の画像を撮像表示装置1Aで記録して、後に撮像表示装置1A、1Bの一方又は両方で再生表示させることができる。
また受講者U2から見た講師U1の姿(例えばスイングフォームの見本の動作)を撮像表示装置1Aで記録したり表示させることや、記録した画像を、撮像表示装置1A、1Bの一方又は両方で再生表示させることができる。
【0020】
[2.撮像表示装置の構成例]
撮像表示装置1(1A、1B)の構成例を図3で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
【0021】
撮像表示装置1内では、ユーザの視界方向の光景の撮像のための構成として、撮像部3が設けられる。
撮像部3は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部3により、撮像が行われ、撮像画像データが得られる。
システムコントローラ10は、この撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行う。
【0022】
この撮像部3の撮像動作によって得られた撮像画像データは、画像処理部15を介して表示部2、ストレージ部17,通信部18に供給することができる。
画像処理部15は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、表示部2でモニタ表示させるための所要の信号処理を行う。表示部2でモニタ表示させるための信号処理とは、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整、画面分割処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト処理などである。
また画像処理部15は、撮像部3,表示部2,ストレージ部17、通信部18の間の画像データの転送処理も行う。即ち、撮像部3からの撮像画像データを表示部2,ストレージ部17,通信部18に供給する処理や、ストレージ部17で再生された画像データを表示部2に供給する処理や、通信部18で受信した画像データを表示部2に供給する処理も行う。
【0023】
撮像表示装置1においてユーザに対して表示を行う構成としては、表示部2が設けられる。この表示部2は、上述した液晶パネル等による表示パネル部2a、2bと、表示パネル部2a、2bを表示駆動する表示駆動部が設けられる。
表示駆動部は、画像処理部15から供給される画像信号を、例えば液晶ディスプレイとされる表示パネル部2a,2bにおいて表示させるための画素駆動回路で構成されている。即ち表示パネル部2a,2bにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。この処理により、撮像部3での撮像モニタとしての表示や、ストレージ部17で再生された再生画像の表示、さらには通信部18で受信された受信画像の表示が、表示パネル部2a、2bにおいて行われる。
また表示駆動部は、表示パネル部2a、2bの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。
システムコントローラ10は、この表示部2における表示動作のオン/オフ(スルー)制御、表示する画像データに対する処理パラメータの指示、画面領域設定制御、キャラクタ発生指示などを行う。
【0024】
また撮像表示装置1には、音声入力部6、音声処理部16,音声出力部5が設けられる。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
【0025】
音声入力部6で得られた音声データは音声処理部16に供給される。
音声処理部16は、システムコントローラ10の制御に応じて、音声データの転送を制御する。即ち音声入力部6で得られた音声データを、音声出力部5、ストレージ部17、通信部18に供給する。或いは、ストレージ部17で再生された音声データや、通信部18で受信された音声データを音声出力部5に供給する。
また音声処理部16は、システムコントローラ10の制御に基づいて、音量調整、音質調整、音響エフェクト等の処理を行う。
【0026】
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路やD/A変換器を有する。
即ち音声処理部から供給された音声データはD/A変換器でアナログ音声信号に変換され、アンプ回路で増幅されてイヤホンスピーカ5aから音声として出力される。これによりユーザは外部音声を聞いたり、ストレージ部17で再生された音声データや通信部18で受信した音声データによる音声を聞くことができる。
なお音声出力部5は、いわゆる骨伝導スピーカを用いた構成とされてもよい。
【0027】
ストレージ部17は、所定の記録媒体に対して画像データ(及び音声データ)の記録再生を行う部位とされる。例えばHDD(Hard Disk Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部17としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
このストレージ部17は、システムコントローラ10の制御に基づいて、撮像によって得られる画像データ(及び音声データ)を記録媒体に記録する。即ち、画像処理部15を介して供給される画像データや音声処理部16を介して供給される音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部17はシステムコントローラ10の制御に従って、記録した画像データ、音声データを再生することができる。再生した画像データは画像処理部15を介して表示部2に供給され、音声データは音声処理部16を介して音声出力部5に供給される。また再生した画像データ/音声データは、外部機器(他の撮像表示装置)に送信するデータとして通信部18に供給することもできる。
【0028】
通信部18は外部機器である他の撮像表示装置との間でのデータの送受信を行う。つまり図2に示した撮像表示装置1A、1Bは、それぞれが有する通信部18により相互のデータ通信を実行する。
この通信部18は、例えばブルートゥース通信や赤外線を用いた光通信などにより、近距離の撮像表示装置同志での通信を実行する構成が考えられる。但し、無線LANその他のネットワーク通信で、所定の撮像表示装置同志間での通信を行う構成としても良い。
通信部18に対しては、撮像部3で得られた撮像画像データが画像処理部15を介して供給される。また音声入力部6で得られた音声データが音声処理部16を介して供給される。通信部18は、この画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って外部機器に送信することができる。つまりこの撮像表示装置1で現在撮像及び集音されているリアルタイムの画像データ/音声データを、外部機器(他の撮像表示装置)に送信することができる。
また、ストレージ部17で再生された画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って他の撮像表示装置に送信することもできる。
【0029】
また通信部18は外部機器(他の撮像表示装置)から送信されてきた画像データ/音声データを受信し、復調して画像処理部15及び音声処理部16に供給する。この場合、表示部2と音声出力部5により、受信した画像及び音声の出力が行われる。
もちろん、通信部18で受信した画像データ/音声データをストレージ部17に供給して記録媒体に記録することも可能である。
【0030】
また撮像表示装置1には照明部4と照明制御部18が設けられる。照明部4は、図1に示した発光部4aとその発光部4a(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の指示に基づいて、照明部4に発光動作を実行させる。
照明部4における発光部4aが図1に示したように取り付けられていることで、照明部4は撮像レンズ3aによる被写体方向に対する照明動作を行うことになる。
【0031】
この撮像表示装置1では、ユーザの操作のために操作入力部11が設けられる。
上述のように、ユーザによる操作入力には、リモートコントローラ30が用いられる。そのため、操作入力部11は、リモートコントローラ30からのコマンド信号を受信する受信部として構成されることになる。
操作入力部20は、コマンド信号を受信したら、そのコマンド信号を復調して操作入力情報をシステムコントローラ10に供給する。これによりシステムコントローラ10はユーザの操作を検知し、操作に応じた所要の制御処理を行う。
【0032】
なお、操作入力部11として、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、例えば表示パネル部2a,2bの表側にタッチパネル構造を設けたり、所定部分にタッチパッドを設けるなどして、ユーザのタッチ操作で操作入力が行われるようにしてもよい。
さらには、ユーザの意識的な挙動を検知する構成としても良い。
ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像表示装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像表示装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
【0033】
さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化、眼の状態などである。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像表示装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
【0034】
以上、撮像表示装置1の構成を示したが、これは一例にすぎない。実際に実施されるシステム動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
【0035】
[3.リモートコントローラの構成例及び動作]
図4〜図7で、リモートコントローラ30の構成例を説明する。
図4(a)は、ユーザの指にリモートコントローラ30が装着されている状態を示している。また図5(a)はリモートコントローラ30の斜視図を示している。
リモートコントローラ30は、円筒状の本体部31と、その本体部の周面に位置される円筒状の操作子部32を有する。そしてユーザは、本体部31に例えば人差し指をなどを差し入れて、指輪状に装着することができる構造となっている。
【0036】
操作子部32は、本体部31に対して、スライド移動可能に取り付けられている。
図5(b)(c)(d)は、操作子部32をスライド移動させた各状態を示している。即ち操作子部32は、図5(b)のように、本体部31の略中央部に位置する状態と、図5(c)のように本体部31の上方に移動された位置状態と、図5(d)のように本体部31の下方に移動された位置状態とに、それぞれスライド移動可能とされている。
つまり図4(a)の装着状態において、ユーザは親指を用いて操作子部32を指先側に移動させたり、或いは指の付け根側に移動させることができる。
この各スライド位置により、操作モードの切換が行われる。
例えば図5(b)のように中央位置にある状態が、ビデオ再生関係の操作を行うビデオ操作モードとされる。また図5(c)の位置状態が、メニュー操作に関する操作のためのメニュー操作モードとされる。まら図5(d)の位置状態が、表示パネル部2aの透過率可変操作を行うためのシースル操作モードとされる。
ユーザは、操作子部32を任意にスライドさせて、所望の操作モードを選択できる。
【0037】
また、操作子部32は図5(e)(f)に示すように、本体部31に対して回転(左回転及び右回転)可能とされ、かつ押し込むことが可能とされている。
例えば操作子部32の内径は、本体部31の外径よりも大きくされており、操作子部32は、部材33を介して本体部31の周囲に取り付けられている。部材33は、弾性を有する材質又は構造とされている。
この状態で、操作子部32は図5(e)のように任意に回転させることができるとともに、側面から押圧することで、図5(f)のように押し込むことができる。
ユーザは、図4のように指にはめた状態で、親指を用いて操作子部32を任意の方向に回転させたり、親指で押しこむ操作が可能となる。
【0038】
またリモートコントローラ30は内部に姿勢検出部41(図6で後述)を備え、リモートコントローラ30自体の姿勢方向を検出できる。例えば図4(b)のようにユーザが指を垂直方向に立てている状態と、図4(c)のように指を水平方向に寝かせている状態を判定できる。
図4(b)のように指を垂直にした場合、操作子部32の回転方向は、水平方向となる。以降、このような姿勢を「水平回転姿勢」という。また図4(c)のように指を水平にした場合、操作子部32の回転方向は、垂直方向となる。以降、このような姿勢を「垂直回転姿勢」という。
例えばこの水平回転姿勢での回転操作と、垂直回転姿勢での回転操作は、異なる操作情報の操作入力とすることができる。後述するがユーザは、メニュー操作におけるカーソルの水平移動を指示する操作と、垂直移動を指示する操作とを、この姿勢変化により使い分けることができる。
【0039】
図6により、リモートコントローラ30の内部構成を説明する。
コマンド信号制御35は、マイクロコンピュータにより形成され、操作入力等に応じたコマンド選択/送信動作の制御を行う。
ROM36には、リモートコントローラ30が撮像表示装置1に送信する各種のコマンド信号としてのコード値が記憶されている。
コマンド送信部37は、コマンド発生制御部35から供給されるコマンドコードに対して変調処理及び送信処理を行う。
【0040】
操作モード判定部38は、図5(b)(c)(d)で述べた操作子部32のスライド位置状態を検出し、現在のスライド位置状態をコマンド発生制御部35に通知する。この操作モード判定部38は、例えばメカニカルな小型スイッチ構造や、フォトカプラ等を用いた位置センサなどにより構成できる。
回転検知部39は、操作子部32の回転方向及び回転量を検知し、その情報をコマンド発生制御部35に通知する。これもスイッチ機構やフォトカプラ等で構成できる。
押圧検知部40は、図5(f)のような操作子部32が押圧された状態を検知し、コマンド発生制御部35に通知する。例えばスイッチ機構で実現可能である。
姿勢検出部41は、図4(b)(c)のような水平回転姿勢、垂直回転姿勢の別を検出する。例えばジャイロセンサにより構成できる。なお、実際には完全な水平、垂直とは言えなくても、例えば45°程度の傾きより水平に近いか垂直に近いかを判別して、水平回転姿勢、垂直回転姿勢のいずれかの検出信号をコマンド発生制御部35に通知すればよい。
【0041】
このようなリモートコントローラ30における、コマンド発生制御部35が実行するコマンド発信処理の例を図7で説明する。
コマンド発生制御部35は、操作モード判定部38,回転検知部39、押圧検知部40,姿勢検出部41の各部からの情報に基づいて、図7の処理としてコマンド信号発信制御を行う。
【0042】
コマンド発生制御部35は、ステップF10、F11、F12,F13として、操作モード判定部38,回転検知部39、押圧検知部40からの情報を監視する。
ステップF10では、操作モード判定部38からの検知情報として、操作子部32のスライド移動があったか否かを監視する。つまり検知される操作子部32の位置状態の変化を監視する。
コマンド発生制御部35は、操作子部32のスライド移動が検知された場合は、ステップF14に進み、そのスライド移動後の位置状態に応じて内部でモードフラグをセットする。即ち、スライド移動により図5(a)の状態となった場合は、モードフラグをビデオ操作モードを示す値にセットする。またスライド移動により図5(b)の状態となった場合は、モードフラグをメニュー操作モードを示す値にセットする。またスライド移動により図5(c)の状態となった場合は、モードフラグをシースルー操作モードを示す値にセットする。
【0043】
コマンド発生制御部35は、回転検知部39からの検知情報により、操作子部32の右回転を認識した場合は、処理をステップF11からF15に進め、ここでモードフラグにより現在の操作モードを確認する。
そしてメニュー操作モードであれば(つまり図5(c)のスライド位置で回転操作が行われたのであれば)、ステップF16に進む。この場合は、姿勢検出部41の現在の検出情報を確認して、現在水平回転姿勢にあるか垂直回転姿勢にあるかを判別する。
現在、垂直回転姿勢であった場合は、ステップF17に進み、カーソルの下移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル下移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
また、現在水平回転姿勢であった場合は、ステップF18に進み、カーソルの右移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル右移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
なお、このステップF17,F18,及び後述するステップF23,F24の処理で送信されるカーソル移動に関するコマンドに応じて撮像表示装置1A側で行われるメニュー上の動作については図8で後述する。
【0044】
ステップF15の時点でビデオ操作モードと判定された場合(つまり図5(b)のスライド位置で回転操作が行われた場合)は、コマンド発生制御部35はステップF19に進み、早戻し(REW)コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから早戻しコマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この早戻しコマンドに応じて早戻し再生を行う。
【0045】
ステップF15の時点でシースル操作モードと判定された場合(つまり図5(d)のスライド位置で回転操作が行われた場合)は、コマンド発生制御部35はステップF20に進み、透過率低下コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから透過率低下コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この透過率低下コマンドに応じて、表示パネル部2aの透過率を下げる処理を行う。
【0046】
コマンド発生制御部35は、回転検知部39からの検知情報により、操作子部32の左回転を認識した場合は、処理をステップF12からF20に進め、ここでモードフラグにより現在の操作モードを確認する。
そしてメニュー操作モードであればステップF22に進み、姿勢検出部41の現在の検出情報を確認して、現在水平回転姿勢にあるか垂直回転姿勢にあるかを判別する。
現在、垂直回転姿勢であった場合は、ステップF23に進み、カーソルの上移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル上移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
また、現在水平回転姿勢であった場合は、ステップF24に進み、カーソルの左移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル左移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
【0047】
ステップF21の時点でビデオ操作モードと判定された場合は、コマンド発生制御部35はステップF25に進み、早送り(FF)コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから早送りコマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この早送りコマンドに応じて早送り再生を行う。
【0048】
ステップF21の時点でシースル操作モードと判定された場合は、コマンド発生制御部35はステップF26に進み、透過率上昇コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから透過率上昇コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この透過率上昇コマンドに応じて、表示パネル部2aの透過率を上げる処理を行う。
【0049】
コマンド発生制御部35は、押圧検知部40からの検知情報により押圧操作を認識した場合は、処理をステップF13からF27に進め、この場合決定コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから決定コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この決定コマンドに応じて、そのときの動作状態に基づいた処理を行う。例えばメニュー項目の選択中であれば、選択決定の操作入力と認識する。この場合、選択された項目によった処理や、ビデオコンテンツが選択された場合は、そのビデオコンテンツの画像再生処理を行う。
また画像再生中であれば、決定コマンドを再生停止の操作入力として認識し、また再生停止中であれば決定コマンドを再生再開の操作入力として認識する。
また撮像画像データの記録や送信のスタンバイ中であれば、決定コマンドを撮像画像データの記録開始、送信開始の操作入力として認識し、また記録又は送信の動作中であれば決定コマンドを記録又は送信の停止の操作入力として認識する。
【0050】
以上のようにリモートコントローラ30では、ユーザの操作入力に応じてコマンド信号を撮像表示装置1Aに送信する。図7の処理により、操作子部32のスライド、回転、押圧、姿勢に応じて、ユーザが必要とする各種の操作入力情報をコマンド信号として撮像表示装置1Aに供給できることになる。
【0051】
なお、この図7の例では、コマンド発生制御部35が具体的なコマンド内容を示すコマンドコードを選択して撮像表示装置1Aに送信するものとしたが、リモートコントローラ30は、操作子部32に対する操作や姿勢の検知内容のみを示す情報をコマンドコードとして送信するようにしてもよい。
即ち、コマンド発生制御部35は、操作子部32のスライド、回転、押圧などを認識した場合に、スライド位置(スライド位置による操作モード)の情報、回転方向の情報、押圧情報、姿勢情報について、それら自体をコマンド信号として、撮像表示装置1Aに送信する。その場合は、撮像表示装置1A側でシステムコントローラ10が、スライド位置の情報、回転方向の情報、姿勢情報、押圧情報から図7のような判断で操作入力の内容を判断するようにすればよい。
例えばスライド位置情報としてビデオ操作モードに相当する情報と、右回転という情報が送信されてくれば、撮像表示装置1Aのシステムコントローラ10は、図7と同等の処理を行うことで、それを早戻しコマンドであると判定することができる。
同様に例えば、スライド位置情報としてメニュー操作モードに相当する情報と、左回転という情報と、水平回転姿勢という情報が送信されてくれば、撮像表示装置1Aのシステムコントローラ10は、図7と同等の処理を行うことで、それをカーソル左移動コマンドであると判定することができる。
【0052】
つまり、リモートコントローラ30は、単純にユーザの操作にかかる操作子部32の状態変化の情報や姿勢をコマンド信号として送信し、実際のコマンド信号としての内容は撮像表示装置1Aのシステムコントローラ10側で解釈するという方式である。
このようにすると、リモートコントローラ30側でコマンドコードを記憶するROM36を不要とでき、また送信制御処理も簡易となり、リモートコントローラ30の小型化にもより好適となる。
【0053】
ところで、上記図7のステップF17、F18、F23、F24ではカーソル移動コマンドが送信出力されるが、このカーソル移動コマンドに応じた撮像表示装置1A側のメニュー上の制御の例について図8で説明する。
図8ではメニュー形式として横方向にメインメニュー項目MM(MM1,MM2,MM3,MM4,MM5)が表示される例を示している。このメインメニュー項目MMは、実際には主たるメニュー項目の内容を示す画像や文字などであり、例えば「機器設定」「ビデオ」「オーディオ」「操作設定」・・・などといった項目が用意される。
【0054】
そして、各メインメニュー項目には、サブメニュー項目MSが用意され、カーソルKが位置しているメインメニュー項目についてサブメニュー項目MSが表示される。
例えば図8(a)では、カーソルKはメインメニュー項目MM1に位置しているが、この場合、メインメニュー項目MM1についてのサブメニュー項目MS(MS11、MS12,MS13)が縦方向に表示される。
また図8(b)のように、カーソルKがメインメニュー項目MM3に移動された場合、メインメニュー項目MM3についてのサブメニュー項目MS(MS31、MS32)が縦方向に表示される。
例えばメインメニュー項目MM1が「機器設定」の場合、サブメニュー項目MS11、MS12,MS13として、各種の機器設定項目が表示される。
またメインメニュー項目MM3「ビデオ」の場合、サブメニュー項目MS31,MS32として、例えばストレージ部17に記録されている画像コンテンツが表示される。
【0055】
システムコントローラ10は、表示部2においてこのようなメニュー画面を表示させた状態で、ユーザの操作に応じてカーソル移動やメニュー項目決定に応じた処理を行う。
ユーザは、表示パネル部2a上で表示されるメニュー画面を見ながら、リモートコントローラ30を用いてメニュー操作を行うことができる。
例えば指を図4(b)の水平回転姿勢として操作子部32を左右回転させることで、システムコントローラ10がカーソル左移動コマンド、又はカーソル右移動コマンドを認識してカーソル移動制御を行う。これによって表示上では、例えば図8(a)から図8(b)のようにカーソルKがメインメニュー項目MM上を移動(カーソルが左右に移動)される。
またユーザが、指を図4(c)の垂直回転姿勢として操作子部32を左右回転させることで、システムコントローラ10がカーソル上移動コマンド、又はカーソル下移動コマンドを認識してカーソル移動制御を行う。これによって表示上では、例えば図8(b)から図8(c)のようにカーソルKがサブメニュー項目MS上を移動(カーソルが上下に移動)される。
つまり、ユーザの回転操作による操作子部32の回転方向に応じて、メニュー画面上でカーソルが左右又は上下に移動されることになり、操作子部32の回転と、姿勢によって、いわゆる十字方向キーと同様の操作を行うことが可能とされる。
【0056】
また、ユーザは、このようにカーソルKを移動させた後、選択決定する場合は、操作子部32を押圧すればよい。これをシステムコントローラ10は決定コマンドと認識する。例えば図8(c)のカーソルKの状態でユーザが操作子部32を押圧すれば、システムコントローラ10は、サブメニュー項目MS32の決定操作と認識し、その決定操作に応じた制御処理を実行する。
【0057】
以上のようにリモートコントローラ30を用いてメニュー操作(カーソル移動操作や決定操作)を行うことができるため、メニュー項目の設定により、リモートコントローラ30を用いて非常に多様な操作を実行できることになる。
【0058】
[4.被制御機器モード設定処理]
例えば図2のように、講師U1が撮像表示装置1Aとリモートコントローラ30を装着し、受講者U2が撮像表示装置1Bを装着しているような状況においては、講師U1は、各撮像表示装置1A、1Bの撮像動作や、撮像画像データの転送による視覚交換動作を、リモートコントローラ30を用いて操作できる。
リモートコントローラ30は撮像表示装置1Aに対応する操作機器であり、リモートコントローラ30から送信されるコマンド信号は、例えば撮像表示装置1Aの装置IDが含まれるなどにより、対象機器が指定されていることにより、撮像表示装置1Aで受信復調される。この場合、リモートコントローラ30からのコマンド信号に、他方の撮像表示装置1Bが直接対処することはない。つまり撮像表示装置1B側では、リモートコントローラ30からのコマンド信号を受信しても、コマンド信号とともに受信される装置IDが自分ではないこと判別した場合、そのコマンド信号は無効であるとする。
例えばこのようにすることで、リモートコントローラ30は、撮像表示装置1Aに対応する操作機器として位置づけることができる。
【0059】
従って、講師U1は、リモートコントローラ30により、基本的には自分が装着している撮像表示装置1Aに関する操作を行うことができるが、本例では、講師U1は、さらにリモートコントローラ30によって、受講者U2側の撮像表示装置1Bに所要の動作を実行させることができる。
特に、撮像動作に関しては、撮像表示装置1Aでの実行を指示する他、撮像表示装置1B側で実行させることができる。
また、画像撮像時や再生時の表示に関しては、撮像表示装置1Aでの実行を指示する他、撮像表示装置1B側で実行させたり、或いは両方で実行させることができる。
また各撮像表示装置1A、1Bの各表示部2の表示パネル部2a、2bの透過率を指示できる。
【0060】
これらの場合として、具体的には次のような動作をリモートコントローラ30により指示することが可能となる。
・撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Aで記録(及び/又は表示)させる。
・撮像表示装置1Bで撮像して、撮像画像データを、撮像表示装置1Aで記録(及び/又は表示)させる。
・撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Bで表示させる。この場合、撮像表示装置1A側では撮像画像データを記録及び/又は表示させてもよい。
・撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Aで表示させる。
・撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Bで表示させる。
・撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1A、1Bの両方で表示させる。
・撮像表示装置1Aの表示部2の透過率を上下させる。
・撮像表示装置1Bの表示部2の透過率を上下させる。
・撮像表示装置1A、1Bの両方の表示部2の透過率を上下させる。
【0061】
これらの各種の動作を実行させるようにするため、撮像表示装置1Aでは、リモートコントローラ30からの操作に応じて、被制御機器モードが設定される。
例えば撮像表示装置1Aでは、図8で説明したようなメニュー項目において、被制御機器モードの設定項目が用意されており、講師U1は、リモートコントローラ30を用いてメニュー操作を行うことで、被制御機器モードとして「自機モード」「他機モード」「両機モード」を選択できる。
【0062】
この場合、講師U1は、リモートコントローラ30を用いて上述のメニュー操作モードでの操作を行う。即ちカーソル移動コマンドや決定コマンドをリモートコントローラ30から撮像表示装置1Aに送信させる。
これに応じて撮像表示装置1Aのシステムコントローラ10はメニュー表示や、メニュー表示上でのカーソル移動などの処理を行うが、特に図9に示すように、ステップF101でメニュー操作の決定コマンド(被制御機器モードを指定するメニュー操作の決定コマンド)が受信されたら、ステップF102で、その操作に応じて、被制御機器モードを「自機モード」「他機モード」「両機モード」のいずれかに設定する。これによって、システムコントローラ10は、内部的に被制御機器モードを切り換える。
【0063】
自機モードの場合、システムコントローラ10は、基本的に次の処理を行う。
リモートコントローラ30からの撮像画像記録の指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)の撮像部3で撮像させ、ストレージ部17での記録を実行させる。
また再生指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)のストレージ部17で画像データを再生させ自機(撮像表示装置1A)の表示部2での表示を実行させる。
また透過率制御の指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)の表示部2の透過率を制御する。
【0064】
また他機モードの場合、システムコントローラ10は、基本的に次の処理を行う。
リモートコントローラ30からの撮像画像記録の指示があった場合は、システムコントローラ10は他機(撮像表示装置1B)の撮像部3に撮像を実行させ、自機(撮像表示装置1A)のストレージ部17で画像データの記録を実行させる。
また再生指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)のストレージ部17で画像データを再生させ他機(撮像表示装置1B)の表示部2での表示を実行させる。
また透過率制御の指示があった場合は、システムコントローラ10は他機(撮像表示装置1B)の表示部2の透過率を制御する。
【0065】
また両機モードの場合、システムコントローラ10は、基本的に次の処理を行う。
リモートコントローラ30からの再生指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)のストレージ部17で画像データを再生させ、自機(撮像表示装置1A)の表示部2での表示を実行させるとともに、他機(撮像表示装置1B)の表示部2での表示を実行させる。
また透過率制御の指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)及び他機(撮像表示装置1B)の表示部2の透過率を制御する。
【0066】
[5.透過率制御処理]
講師U1がリモートコントローラ30を上述したシースルー操作モードとして操作した場合の撮像表示装置1Aのシステムコントローラ10の処理を図10に示す。
なお以下では、説明のわかりやすさを考え、撮像表示装置1Aのシステムコントローラ10を「システムコントローラ10(A)」、撮像表示装置1Bのシステムコントローラ10を「システムコントローラ10(B)」と記載する。
同様に、撮像部3、表示部2、ストレージ部17、通信部18などの他の部位についても、撮像表示装置1A側の場合は撮像部3(A)、表示部2(A)、ストレージ部17(A)、通信部18(A)、撮像表示装置1B側の場合は撮像部3(B)、表示部2(B)、ストレージ部17(B)、通信部18(B)というように記載する。
【0067】
リモートコントローラ30から透過率上昇又は低下を指示する透過率制御コマンドが送信されてきた場合、システムコントローラ10(A)は、処理を図10のステップF201からF202に進める。ここで、現在選択されている被制御機器モード(上記図9の処理で選択された被制御機器モード)に応じて処理を分岐する。
【0068】
現在、自機モードであったら、システムコントローラ10(A)はステップF203に進み、自機(撮像表示装置1A)の表示部2(A)に対して透過率の上昇又は低下の制御を行う。
【0069】
現在、他機モードであったら、システムコントローラ10(A)はステップF205に進み、透過率制御コマンドを通信部18(A)から他機(撮像表示装置1B)に送信させる。撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1A側からの透過率制御コマンドを受信したら、ステップF301からF302に進み、その撮像表示装置1B側の表示部2(B)に対して透過率の上昇又は低下の制御を行う。
【0070】
現在、両機モードであったら、システムコントローラ10(A)はステップF204に進み、まず自機(撮像表示装置1A)の表示部2(A)に対して透過率の上昇又は低下の制御を行う。そしてさらにステップF205で、透過率制御コマンドを通信部18(A)から他機(撮像表示装置1B)に送信させる。撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1A側からの透過率制御コマンドを受信したら、ステップF301からF302に進み、その撮像表示装置1B側の表示部2(B)に対して透過率の上昇又は低下の制御を行う。
【0071】
以上の処理が行われることで、講師U1は、リモートコントローラ30を用いて、自分が装着している撮像表示装置1Aの表示部2の透過率を任意に変化させることができるとともに、受講者U2が装着している撮像表示装置1Aの表示部2の透過率を任意に変化させることもできる。さらに、撮像表示装置1A、1Bの両方の表示部2の透過率を同時に変化させることもできる。
【0072】
[6.撮像処理(自機撮像、自機記録、自機表示)]
講師U1がリモートコントローラ30を操作して、撮像を実行させる場合の処理を説明する。まずここでは、撮像表示装置1Aが自機モードとされている場合について述べる。
例えば撮像表示装置1Aの操作メニューのメニュー項目には、撮像画像データの撮像及び記録の項目が用意されており、講師U1は、メニュー操作モードでリモートコントローラ30を操作することで、撮像表示装置1Aに、撮像画像の記録の指示を行うことができる。
撮像表示装置1Aのシステムコントローラ10(A)は、例えばメニュー操作により撮像画像データの記録の指示があった場合は、処理を図11のステップF401からF402に進め、ここで現在の被制御機器モードを判別する。
ここでは自機モードか他機モードかによって処理を分岐する。なお、この時点で両機モードであった場合については後述する。
【0073】
自機モードであった場合は、システムコントローラ10(A)は図12の処理に進むことになる。これは、撮像表示装置1Aが、自機で撮像した撮像画像データを記録する処理となる。
まず図12のステップF403では、システムコントローラ10(A)は表示部2(A)をシースルー状態もしくは撮像モニタ状態に制御する。
撮像モニタ状態とは、撮像部3(A)で得られる撮像画像データを、表示部2(A)で表示させる状態である。つまり現在撮像している画像を、ユーザが表示部2(A)で確認できるようにする状態である。表示部2(A)を撮像モニタ状態とすることで、以降、表示部2(A)の表示パネル部2a、2bには、撮像部3(A)で得られた撮像画像データのモニタ表示が実行される。
ただし、撮像部3(A)は、ユーザの視界方向を撮像するものであるため、撮像部3(A)で得られる撮像画像は、シースルーとされた表示部2(A)を介してユーザが見ている画像とほぼ同等である。このため、表示部2(A)の表示パネル部2a、2bはシースルー状態でもよいものである。
【0074】
次にシステムコントローラ10(A)は、ステップF404で、撮像部3(A)に撮像開始を指示するとともに、ストレージ部17(A)に対して記録スタンバイを指示する。これによって撮像部3(A)は画像撮像を開始する。
【0075】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。システムコントローラ10(A)は、記録スタンバイ中に決定コマンドが受信された場合は、それを記録の開始操作と判断する。またシステムコントローラ10(A)は、記録中に決定コマンドが受信された場合は、それを記録の停止操作と判断する。
従って、ステップF404で記録スタンバイとなった際に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを開始コマンドと解釈して、処理をステップF405からF406に進める。そしてストレージ部17(A)に撮像画像データの記録開始を指示する。これによって、撮像部3(A)で得られた撮像画像データの記録が開始される。
【0076】
ステップF406の制御で記録が開始された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF407からF408に進める。この場合システムコントローラ10(A)は、ストレージ部17(A)に撮像画像データの記録の停止を指示する。これによって、撮像部3(A)で得られた撮像画像データの記録が停止される。ストレージ部17(A)は記録スタンバイ状態となる。
【0077】
その後、さらに決定コマンドが受信されたら、システムコントローラ10(A)は、それを開始コマンドと解釈して、ステップF405からF406に進んで記録を再開させる。また、その後決定コマンドが受信されたら、停止コマンドと解釈し、ステップF407からF408に進み、記録動作を停止させる。
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、撮像画像データの記録を実行させたり停止させたりすることができる。特には、撮像画像データの記録は、講師U1の視界光景である。つまり講師U1自身が撮像を気にしていなくても、講師U1が注目すべきと考えて見ている箇所(例えば受講者U2のスイングフォームとして注意する箇所など)を的確に捉えた画像となる。
【0078】
システムコントローラ10(A)は終了トリガを検出したら、ステップF409からF410に進み、撮像/記録の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、撮像画像記録の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF408で記録スタンバイ状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF401で撮像画像記録の指示が出た直前の状態に戻す。
【0079】
[7.撮像処理(他機撮像、自機記録、自機表示)]
撮像表示装置1Aのシステムコントローラ10(A)は、撮像画像データの記録の指示があり、処理を図11のステップF401からF402に進め、現在の被制御機器モードが他機モードであった場合は、図13の処理に進むことになる。これは、撮像表示装置1Aが、他機(撮像表示装置1B)で撮像した撮像画像データを記録及び表示する処理となる。
【0080】
まず図13のステップF420では、システムコントローラ10(A)は、撮像及び送信スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。またストレージ部17(A)について記録スタンバイを指示する。
【0081】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの撮像及び送信スタンバイのコマンドを受信したら、処理をステップF501からF502に進め、その撮像表示装置1Bの表示部2(B)をシースルー状態もしくは撮像モニタ状態に制御する。そして次に撮像表示装置1Bのシステムコントローラ10(B)は、ステップF503で、撮像部3(B)に撮像開始を指示するとともに、通信部18(B)に対して送信スタンバイを指示する。これによって撮像部3(B)は画像撮像を開始する。
【0082】
撮像表示装置1Aのシステムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。上述の図12の場合と同様、システムコントローラ10(A)は、記録スタンバイ中に決定コマンドが受信された場合は、それを記録の開始操作と判断する。またシステムコントローラ10(A)は、記録中に決定コマンドが受信された場合は、それを記録の停止操作と判断する。
従って、ステップF420で記録スタンバイとした際に、決定コマンドが受信されたら、システムコントローラ10はそれを開始コマンドと解釈して、処理をステップF421からF422に進める。ここではまず、システムコントローラ10(A)は送信開始コマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
撮像表示装置1Bのシステムコントローラ10(B)は、送信開始コマンドの受信を認識したら、ステップF504からF505に進み、撮像画像データの送信を開始させる。即ち撮像部3(B)で得られる撮像画像データを、通信部18(B)により撮像表示装置1Aに送信する動作を開始させる。
撮像表示装置1A側のシステムコントローラ10(A)は、ステップF423で、撮像表示装置1Bから送信されてくる撮像画像データを通信部18(A)で受信し、ストレージ部17(A)で記録する動作を開始させる。
また、ステップF425として、システムコントローラ10(A)は、撮像表示装置1Bから送信されてくる撮像画像データを表示部2(A)で表示する動作も開始させる。
なお、特にこの場合に、表示部2(A)での表示は実行させない設定も可能である。例えばメニュー操作により講師U1が任意に設定できる。表示部2で表示させない設定がなされている場合は、ステップF424からステップF425に進まないようにする。
【0083】
このステップF422、F423,F425の処理により、撮像表示装置1Bで撮像されている撮像画像データが、撮像表示装置1A側で記録されるとともに表示される。
従って撮像表示装置1Aを装着している講師U1は、撮像表示装置1Bを装着している受講者U2の視界光景を、表示部2(A)において見ることができる。
【0084】
ステップF423の制御で記録が開始された後において、リモートコントローラ30からの決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF426からF427に進める。この場合システムコントローラ10(A)は、送信停止コマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
撮像表示装置1Bのシステムコントローラ10(B)は、送信停止コマンドの受信を認識したら、ステップF506からF507に進み、通信部18(B)による撮像画像データの送信を停止させる。そして送信スタンバイ状態とする。
撮像表示装置1A側では、システムコントローラ10(A)は、ステップF428で、ストレージ部17に撮像画像データの記録の停止を指示する。また表示部2での受信した撮像画像データの表示を停止させ、例えばシースルー状態に戻す。
つまり、撮像表示装置1B側での送信が停止されるとともに、撮像表示装置1A側での記録及び表示が停止されることになる。
【0085】
その後、さらにリモートコントローラ30からの決定コマンドが受信されたら、システムコントローラ10(A)をそれを開始コマンドと解釈して、ステップF421からF422、F423、F425に進んで上記同様の処理を行うことで、撮像表示装置1B側で送信が再開され、撮像表示装置1A側での記録及び表示が再開されることになる。
また、その後リモートコントローラ30からの決定コマンドが受信されたら、システムコントローラ10(A)は停止コマンドと解釈し、ステップF426からF427,F428に進み、上記同様の処理を行うことで、撮像表示装置1B側で送信が停止され、撮像表示装置1A側での記録及び表示が停止されることになる。
【0086】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、受講者U2の視界光景の画像の記録や表示を実行させたり停止させたりすることができる。
例えば図15(b)は、受講者U2が装着している撮像表示装置1Bで撮像される画像の例として、講師U1の撮像画像を示しているが、講師U1がリモートコントローラ30で操作することで、講師U1が装着している撮像表示装置1Aにおいて、このような講師U1自身の画像の記録や表示が任意に可能となる。
【0087】
システムコントローラ10(A)は終了トリガを検出したら、ステップF429からF430に進み、通信部18(A)から撮像表示装置1Bに終了通知を送信させる。
またステップF421で終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、撮像画像記録の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF428で記録スタンバイ状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF401で撮像画像記録の指示が出た直前の状態に戻す。
一方、撮像表示装置1B側では、終了通知を受信したら、システムコントローラ10(B)はステップF508からF509に進み、撮像部3(B)の撮像動作終了などの終了処理を行って、処理を終える。
【0088】
[8.撮像処理(自機撮像、自機記録、他機表示)]
以上の図12,図13のように、撮像表示装置1Aでは、自機の撮像部3(A)で撮像した撮像画像データをストレージ部17(A)で記録したり、他機の撮像部3(B)で撮像した撮像画像データをストレージ部17(A)で記録したり、表示部2(A)で表示させることができるが、さらに、次の図14のような処理例も考えられる。
図14は、撮像表示装置1Aが撮像部3(A)で撮像した撮像画像データを、ストレージ部17(A)で記録するとともに、撮像表示装置1Bの表示部2(B)で表示させる処理例である。
【0089】
この図14の処理は、例えば上記図11のステップF402で自機モードと判断された際の処理の他の例と考えることができる。図14において、図12と同一の処理は同一のステップ番号を付している。
システムコントローラ10(A)は図14の処理に進んだ場合、ステップF403で、は表示部2(A)をシースルー状態もしくは撮像モニタ状態に制御する。
またステップF440で、システムコントローラ10(A)は、撮像部3(A)に撮像開始を指示する。これによって撮像部3(A)は画像撮像を開始する。またシステムコントローラ10(A)は、通信部18(A)に対して送信スタンバイを指示するとともに、ストレージ部17(A)に対して記録スタンバイを指示する。
【0090】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。システムコントローラ10(A)は、送信及び記録スタンバイ中に決定コマンドが受信された場合は、それを送信及び記録の開始操作と判断する。またシステムコントローラ10(A)は、送信及び記録中に決定コマンドが受信された場合は、それを送信及び記録の停止操作と判断する。
従って、ステップF440で送信スタンバイ、記録スタンバイとなった際に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを開始コマンドと解釈して、処理をステップF405からF441に進める。
ステップF441では、システムコントローラ10(A)は、表示スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
またステップF442で、ストレージ部17(A)に撮像画像データの記録開始を指示するとともに、通信部18(A)に撮像画像データの送信開始を指示する。これによって、撮像部3(A)で得られた撮像画像データの記録及び送信が開始される。
【0091】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの表示スタンバイのコマンドを受信したら、処理をステップF701からF702に進め、その撮像表示装置1Bの表示部2(B)に対して、受信画像の表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
その後、撮像表示装置1A側のステップF442により、撮像画像データが送信されてくるため、システムコントローラ10(B)は、ステップF703で、通信部18(B)で受信される撮像画像データについての表示部2(B)での表示を開始させる。
【0092】
このステップF441,F442、及びステップF702,F703の処理により、撮像表示装置1Aで撮像されている撮像画像データが、撮像表示装置1A側で記録されるとともに、撮像表示装置1B側で表示される。
従って撮像表示装置1Aを装着している講師U1が見ている視界光景を、撮像表示装置1Bを装着している受講者U2が、表示部2(B)において見ることができる。
【0093】
ステップF442の制御で送信及び記録が開始された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF407からF443に進める。この場合システムコントローラ10(A)は、ストレージ部17(A)に撮像画像データの記録の停止を指示するとともに、通信部18(A)による撮像画像データの送信を停止させる。これによって、撮像部3(A)で得られた撮像画像データの記録及び送信が停止される。ストレージ部17(A)は記録スタンバイ状態となり、通信部18(A)は送信スタンバイ状態となる。
またステップF444で、システムコントローラ10(A)は、停止通知を、通信部18(A)から撮像表示装置1Bに送信させる。
【0094】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの停止通知を受信したら、処理をステップF704からF705に進め、撮像画像データの受信/表示を停止させる。つまり表示部2(B)において受信画像の表示を行う動作状態を終了させ、例えば表示部2をシースルー状態に戻す。
【0095】
その後、撮像表示装置1Aのシステムコントローラ10(A)は、さらに決定コマンドが受信されたら、それを開始コマンドと解釈して、ステップF405からF441、F442に進んで、表示スタンバイのコマンド送信を実行させた後、送信及び記録を再開させる。撮像表示装置1B側では、それに対応してステップF702,F703の処理を行う。
また、その後決定コマンドが受信されたら、システムコントローラ10(A)は停止コマンドと解釈し、ステップF407からF443,F444に進み、送信及び記録動作を停止させ、また停止通知を送信させる。撮像表示装置1B側では、それに対応してステップF704,F705の処理を行う。
【0096】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、自分の視界光景としての撮像画像データを記録するとともに受講者U2が見ることができるようにしたり、それらを停止させたりすることができる。
例えば図15(a)は、講師U1が装着している撮像表示装置1Aで撮像される画像の例として、受講者U2の撮像画像を示しているが、講師U1がリモートコントローラ30で操作することで、受講者U2が装着している撮像表示装置1Bにおいて、このような受講者U2自身の画像を表示させること、及び講師U1が装着している撮像表示装置1Aで記録することが、任意に可能となる。
【0097】
システムコントローラ10(A)は終了トリガを検出したら、ステップF409からF410に進み、撮像/記録の終了処理を行って一連の処理を終える。
なお、この図14の処理の変形例として、撮像表示装置1A側では、撮像画像データの送信のみを行って、記録を行わないものとする例も考えられる。
【0098】
講師U1がリモートコントローラ30により撮像画像記録を指示する操作を行った場合、自機モードか他機モードかにより、以上の図12,図13,図14のような処理が行われる。
なお、図11のステップF402の時点で、両機モードであった場合は、撮像画像記録に関しては自機モードとみなして図12又は図14の処理を行なえばよい。
或いは、自機モードの場合は図12の処理、両機モードの場合は図14の処理を行うようにしてもよい。
さらに両機モードの場合は、撮像表示装置1A、1Bの両方で撮像が行われるようにしてもよい。
その場合、両方の撮像画像データが撮像表示装置1Aのストレージ部17(A)で記録及び表示されるようにしてもよい。或いは、表示に関しては、表示部2(A)、表示部2(B)の一方又は両方で、画面分割により、両方の撮像画像が同時表示されるようにしてもよい。
また両機モードの場合は、撮像表示装置1A、1Bの両方で撮像が行われるようにし、撮像表示装置1Aの撮像画像データが撮像表示装置1Aのストレージ部17(A)で記録され、撮像表示装置1Bの撮像画像データが撮像表示装置1Bのストレージ部17(B)で記録されるようにし、表示に関しては、表示部2(A)、表示部2(B)の一方又は両方で、画面分割により、両方の撮像画像が同時表示されるようにしてもよい。
さらに両機モードの場合は、撮像表示装置1A、1Bの両方で撮像が行われるようにし、撮像表示装置1Aの撮像画像データが撮像表示装置1Bのストレージ部17(B)で記録されるとともに表示部2(B)で表示され、撮像表示装置1Bの撮像画像データが撮像表示装置1Aのストレージ部17(A)で記録されるとともに表示部2(A)で表示されるようにしてもよい。もちろんこの場合も、表示部2(A)、表示部2(B)の一方又は両方で、画面分割により、両方の撮像画像が同時表示されるようにしてもよい。
【0099】
なお、本例では、自機モード、他機モード、両機モードを設定した上で、撮像画像記録の指示(図11のステップF401で認識される指示)を行うものとして述べているが、例えば撮像画像記録の指示の操作として、自機撮像、他機撮像、或いは両機撮像をダイレクトに指定できるようなメニュー項目を用意してもよい。
【0100】
[9.再生処理(自機再生、自機表示)]
次に、講師U1がリモートコントローラ30を操作して、画像の再生を実行させる場合の処理を説明する。まずここでは、撮像表示装置1Aが自機モードとされている場合について述べる。
例えば撮像表示装置1Aの操作メニューのメニュー項目には、ストレージ部17(A)に記録された画像コンテンツが示され、講師U1は、メニュー操作モードでリモートコントローラ30を操作することで、撮像表示装置1Aに、画像コンテンツを指定して再生の指示を行うことができる。
ストレージ部17(A)に記録された画像コンテンツとは、上記図12,図13,図14のような処理で記録された撮像画像データである。つまり撮像表示装置1A又は1Bで撮像された画像データである。もちろん、それ以外の画像データであってもかまわない。例えば通信部18(A)がネットワーク通信によりダウンロードした画像コンテンツでもよいし、ストレージ部17(A)が可搬性記録媒体の再生機能を備えていれば、可搬性記録媒体に記録されている画像コンテンツであってもよい。
【0101】
撮像表示装置1Aのシステムコントローラ10(A)は、例えばメニュー操作により、再生する画像コンテンツの指定の指示があった場合は、処理を図16のステップF601からF602に進め、ここで現在の被制御機器モードを判別する。そして自機モードか他機モードか両機モードかによって処理を分岐する。
【0102】
自機モードであった場合は、システムコントローラ10(A)は図17の処理に進むことになる。これは、撮像表示装置1Aが、再生する画像データを自機で表示する処理となる。
まず図17のステップF603では、システムコントローラ10(A)は表示部2(A)
での再生画像表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
そしてステップF604で、ストレージ部17(A)に指定された画像データの読み出しを指示するとともに、その再生された画像データを表示部2(A)に転送させ、再生画像の表示を開始させる。
【0103】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。システムコントローラ10(A)は、再生画像表示中に決定コマンドが受信された場合は、それを再生及び表示の停止操作と判断する。またシステムコントローラ10(A)は、再生及び表示の停止中に決定コマンドが受信された場合は、それを再生及び表示の再開操作と判断する。
【0104】
従って、ステップF604で再生及び表示を開始させた後に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF605からF606に進める。そしてストレージ部17(A)に画像データの読み出しの停止を指示する。また表示部2(A)に再生画像表示の停止を指示し、表示パネル部2aをシースルー状態に戻させる。
【0105】
ステップF606の制御で再生及び表示が停止された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを再開コマンドと解釈して、処理をステップF607からF603に戻す。
つまり上記同様にシステムコントローラ10(A)は、ステップF603で表示部2(A)での再生画像表示を指示し、ステップF604でストレージ部17(A)に画像データの読み出し(例えば前回の停止ポイントからの読み出し)を指示するとともに、その再生された画像データを表示部2(A)に転送させ、再生画像の表示を再開させる。
【0106】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、再生画像の表示を実行させたり停止させたりすることができる。
【0107】
システムコントローラ10(A)は終了トリガを検出したら、ステップF608からF609に進み、画像再生/表示の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、画像再生/表示の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF606で表示停止された状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF601で画像再生の指示が出た直前の状態に戻す。
【0108】
[10.再生処理(自機再生、他機表示)]
撮像表示装置1Aのシステムコントローラ10(A)は、再生する画像データの指定操作があると、処理を図16のステップF601からF602に進めるが、このときに現在の被制御機器モードが他機モードであった場合は、図18の処理に進むことになる。これは、撮像表示装置1Aで再生する画像を、他機(撮像表示装置1B)で表示させる処理となる。
【0109】
まず図18のステップF620では、システムコントローラ10(A)は、表示スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
そしてステップF621で、ストレージ部17(A)に指定された画像データの読み出しを指示するとともに、その再生された画像データを通信部18(A)に転送させ、通信部18(A)に再生画像の送信を開始させる。
【0110】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの表示スタンバイのコマンドを受信したら、処理をステップF701からF702に進め、その撮像表示装置1Bの表示部2(B)に対して、受信画像の表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
その後、撮像表示装置1A側のステップF621により、再生された撮像画像データが送信されてくるため、システムコントローラ10(B)は、ステップF703で、通信部18(B)で受信される撮像画像データについての表示部2(B)での表示を開始させる。
【0111】
このステップF620,F621、及びステップF702,F703の処理により、撮像表示装置1Aのストレージ部17(A)で再生されている画像データが、撮像表示装置1B側で表示される。
従って撮像表示装置1Aで再生した画像を、撮像表示装置1Bを装着している受講者U2が、表示部2(B)において見ることができる。
【0112】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンドを待機し、上記図17の場合と同様に決定コマンドを解釈する。
従って、ステップF621で再生及び送信を開始させた後に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF622からF623に進める。
そしてストレージ部17(A)に画像データの読み出しの停止を指示する。また通信部18(A)に再生画像データの送信の停止を指示する。
さらにステップF624で、システムコントローラ10(A)は、停止通知を、通信部18(A)から撮像表示装置1Bに送信させる。
【0113】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの停止通知を受信したら、処理をステップF704からF705に進め、撮像画像データの受信/表示を停止させる。つまり表示部2(B)において受信画像の表示を行う動作状態を終了させ、例えば表示部2をシースルー状態に戻す。
【0114】
ステップF623の制御で再生及び送信が停止された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを再開コマンドと解釈して、処理をステップF625からF620に戻す。
つまり上記同様にシステムコントローラ10(A)は、ステップF620で撮像表示装置1Bに対する表示スタンバイのコマンド送信を通信部18(A)に実行させ、ステップF621でストレージ部17(A)に画像データの読み出し(例えば停止ポイントからの読み出し)を指示するとともに、その再生された画像データについての通信部18(A)による送信を再開させる。
撮像表示装置1B側では、それに対応してステップF702,F703の処理を行う。
【0115】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、再生画像の受講者U2側での表示を実行させたり停止させたりすることができる。
【0116】
システムコントローラ10(A)は終了トリガを検出したら、ステップF626からF627に進み、画像再生/送信の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、画像再生/送信の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF623で送信停止された状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF601で画像再生の指示が出た直前の状態に戻す。
【0117】
なお、撮像表示装置1B側では、ステップF704で停止通知が受信されることで、ステップF705で受信及び表示動作を終了させるが、例えば停止通知が受信されなくとも、一定時間以上、再生画像データの受信が途切れたような場合、停止通知と同様に判断してステップF705で表示処理を終了させてもよい。
【0118】
[11.再生処理(自機再生、両機表示)]
撮像表示装置1Aのシステムコントローラ10(A)は、再生する画像データの指定操作があると、処理を図16のステップF601からF602に進めるが、ここで現在の被制御機器モードが両機モードであった場合は、図19の処理に進むことになる。これは、撮像表示装置1Aで再生する画像を、自機(撮像表示装置1A)と他機(撮像表示装置1B)の両方で表示させる処理となる。
【0119】
まず図19のステップF640では、システムコントローラ10(A)は表示部2(A)での再生画像表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
またステップF641で、システムコントローラ10(A)は、表示スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
そしてステップF642で、システムコントローラ10(A)は、ストレージ部17(A)に指定された画像データの読み出しを指示するとともに、その再生された画像データを表示部2(A)に転送させ、再生画像の表示を開始させる。さらに、その再生された画像データを通信部18(A)に転送させ、通信部18(A)に再生画像の送信を開始させる。
【0120】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの表示スタンバイのコマンドを受信したら、処理をステップF701からF702に進め、その撮像表示装置1Bの表示部2(B)に対して、受信画像の表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
その後、撮像表示装置1A側のステップF621により、再生された撮像画像データが送信されてくるため、システムコントローラ10(B)は、ステップF703で、通信部18(B)で受信される撮像画像データについての表示部2(B)での表示を開始させる。
【0121】
このステップF640,F641,F642、及びステップF702,F703の処理により、撮像表示装置1Aのストレージ部17(A)で再生されている画像データが、撮像表示装置1A、撮像表示装置1Bの両方で表示される。
従って撮像表示装置1Aで再生した画像を、撮像表示装置1Aを装着している講師U1と撮像表示装置1Bを装着している受講者U2が、それぞれ表示部2(A)、表示部2(B)で見ることができる。
【0122】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンドを待機し、上記図17の場合と同様に決定コマンドを解釈する。
従って、ステップF642で再生、表示、及び送信を開始させた後に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF643からF644に進める。
そしてストレージ部17(A)に画像データの読み出しの停止を指示する。また通信部18(A)に再生画像データの送信の停止を指示する。さらに表示部2(A)に再生画像の表示停止を指示し、表示部2(A)の表示パネル部2aをシースルー状態に制御する。
またステップF645で、システムコントローラ10(A)は、停止通知を、通信部18(A)から撮像表示装置1Bに送信させる。
【0123】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの停止通知を受信したら、処理をステップF704からF705に進め、撮像画像データの受信/表示を停止させる。つまり表示部2(B)において受信画像の表示を行う動作状態を終了させ、例えば表示部2をシースルー状態に戻す。
【0124】
ステップF644の制御で再生、表示及び送信が停止された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを再開コマンドと解釈して、処理をステップF646からF640に戻す。
つまり上記同様にシステムコントローラ10(A)は、ステップF640で表示部2(A)に再生画像表示を指示し、ステップF641で撮像表示装置1Bに対する表示スタンバイのコマンド送信を通信部18(A)に実行させ、ステップF642でストレージ部17(A)に画像データの読み出し(例えば停止ポイントからの読み出し)を指示するとともに、その再生された画像データについての表示部2(A)での表示と、通信部18(A)による送信を再開させる。
撮像表示装置1B側では、それに対応してステップF702,F703の処理を行う。
【0125】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、講師U1側と受講者U2側での再生画像の表示を実行させたり停止させたりすることができる。
【0126】
システムコントローラ10(A)は終了トリガを検出したら、ステップF647からF648に進み、画像再生/送信の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、画像再生/表示の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF644で表示停止された状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF601で画像再生の指示が出た直前の状態に戻す。
【0127】
なおこの場合も、撮像表示装置1B側では、ステップF704で停止通知が受信されることで、ステップF705で受信及び表示動作を終了させるが、例えば停止通知が受信されなくとも、一定時間以上、再生画像データの受信が途切れたような場合、停止通知と同様に判断してステップF705で表示処理を終了させてもよい。
【0128】
以上の図16,図17,図18,図19の処理例は、自機モード、他機モード、両機モードを設定した上で、再生する画像データの指示(図16のステップF601で認識される指示)を行うものとして述べているが、例えば再生する画像コンテンツ指定の際に、自機撮像、他機撮像、或いは両機撮像をダイレクトに指定できるようなメニュー項目を用意してもよい。
【0129】
なお、図17,図18,図19では省略したが、再生中や再生停止中には、リモートコントローラ30から早送りコマンドや早戻しコマンドが送信されてくることもある。システムコントローラ10(A)は、これらのコマンドに応じた早送り再生、早戻し再生なども実行されるようにストレージ部17(A)に対する制御を行うことになる。
【0130】
[12.実施の形態の効果、及び変形例、拡張例]
以上、実施の形態を説明してきたが、実施の形態によれば、例えば講師U1と受講者U2が撮像表示装置1A、1Bを装着することで、お互いに他方のユーザの視覚光景を容易に見ることができる。また、お互いの視界光景を撮像表示装置1A側で記録し、後に再生させて、講師U1で、或いは受講者U2で、或いはその双方で、見ることができる。
【0131】
例えばゴルフ講習の使用を想定すると、撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Aで記録することで、講師U1の視界光景を記録できる。例えば受講者のスイングフォームなどを講師の視点の光景として記録できる。特に講師が考えるチェックポイントなどを的確に記録できることになる。
また撮像表示装置1Bで撮像して、撮像画像データを、撮像表示装置1Aで記録させることで、受講者U2から見た講師の見本フォームなどを記録することができる。
また撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Bで表示させることで、講師U1から見た受講者U2の動作を、受講者U2自身がリアルタイムで見ることができる。例えばゴルフのスイングを、自分のスイングフォームを見ながら練習できる。
また、撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Aで表示させることで、講師U1は、自分のフォームや受講者U2のフォームなどを容易に確認できる。
また、撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Bで表示させることで、講師U1は、自分のフォームや受講者U2のフォームなどを容易に受講者U2に見させることができる。
また、撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1A、1Bの両方で表示させることで、講師U1や受講者U2の動作を、同時に見ながら講習を進めることができる。
【0132】
これらのことで、受講者U2は、自分の動きやフォームを受講者自身がその場で視認しながら、口頭で説明してもらったりするなど、効果的な練習が可能になる。また練習場所や時間の制約が少ない講習が可能になるという大きな効果がある。
さらに、講師U1がリモートコントローラ30を操作することで、これらを容易に実現できることも、非常に好適である。
【0133】
これらは、ゴルフ講習という例において述べた効果の一例であるが、これ以外にもリアルタイムの視覚交換や、再生画像の視覚交換、さらには視覚共用としての本システムの動作を有効に活用できる使用形態は非常に多様に考えられる。
例えばスポーツ練習に好適であるばかりでなく、自動車運転教習や、各種の習い事、さらには遊技、ゲーム、テーマパークのアトラクション等にも利用できる。また学術研究や調査などの用途も考えられる。
【0134】
なお、本発明の撮像表示システム、撮像表示装置、撮像表示装置の制御方法の実施の形態を説明してきたが、本発明は、上記実施の形態の例に限らず多様な変形例や拡張例が考えられる。
本発明の撮像表示装置やリモートコントローラとしての構成例や処理例は、それぞれ多様に考えられる。
【0135】
また、撮像表示装置1(1A、1B)では、通常の撮像だけでなく、多様な撮像動作を行って記録や送信を行うようにしてもよい。例えば、望遠撮像、広角撮像、望遠から広角までの間のズームインもしくはズームアウトを行いながらの撮像、画像拡大撮像、画像縮小撮像、フレームレートの可変撮像(高フレームレートでの撮像や低フレームレートでの撮像など)、高輝度撮像、低輝度撮像、コントラスト可変撮像、シャープネス可変撮像、撮像感度上昇状態の撮像、赤外線撮像感度上昇状態の撮像、紫外線撮像感度上昇状態の撮像、特定波長帯域をカットした撮像、撮像画像データに対するモザイク処理/輝度反転処理/ソフトフォーカス処理/画像内の一部の強調処理/画像全体の色の雰囲気の可変処理などの画像エフェクトを加えた撮像、静止画撮像などである。
【0136】
また、画像データによる視覚交換だけでなく、音声データを例えば撮像表示装置1Bから撮像表示装置1Aに送信したり、その逆をおこなって聴覚交換を実行できるようにしてもよい。
【0137】
また、上記実施の形態では、撮像表示装置1Aに対応するリモートコントローラ30を用いて操作することとしたが、これに加えて、撮像表示装置1Bに対応するリモートコントローラ30を同時に用いることも考えられる。例えば上記例で言えば、受講者U2もリモートコントローラ30により操作可能とする。その場合、撮像表示装置1Bのシステムコントローラ10(B)が、受講者U2が装着したリモートコントローラ30に対応して、上述した図9〜図17で撮像表示装置1A側の処理として説明した処理を行えばよい。(その場合は、システムコントローラ10(A)が、撮像表示装置1B側の処理として説明した処理を行う。)
すると、双方のユーザが、それぞれ任意に、上述した各種動作を指示できることになる。
【0138】
さらに、3以上の撮像表示装置1において、相互に視覚交換としての上述した撮像、記録、再生、表示を行うことも可能である。
例えば撮像表示装置1A、1B、1Cとして3台を考えた場合、撮像表示装置1Aで撮像した画像を、撮像表示装置1B、1Cで表示させることができる。
また、撮像表示装置1Aで再生した画像を、撮像表示装置1A、1B、1Cで表示させることもできる。
また撮像表示装置1Aで撮像(又は再生)した画像と撮像表示装置1Bで撮像(又は再生)した画像を、撮像表示装置1Cで画面分割して同時表示させることもできる。
また撮像表示装置1A、1B、1Cで撮像した各画像を、撮像表示装置1A、1B、1Cで画面分割して同時表示させることもできる。
【図面の簡単な説明】
【0139】
【図1】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図2】実施の形態の撮像表示システムの使用形態の説明図である。
【図3】実施の形態の撮像表示装置のブロック図である。
【図4】実施の形態のリモートコントローラの装着状態の説明図である。
【図5】実施の形態のリモートコントローラの説明図である。
【図6】実施の形態のリモートコントローラのブロック図である。
【図7】実施の形態のリモートコントローラの処理のフローチャートである。
【図8】実施の形態の表示装置のブロック図である。
【図9】実施の形態のメニュー操作の説明図である。
【図10】実施の形態の透過率制御処理のフローチャートである。
【図11】実施の形態の撮像画像記録指示の際の処理のフローチャートである。
【図12】実施の形態で自機撮像、自機記録の処理のフローチャートである。
【図13】実施の形態で他機撮像、自機記録/表示の処理のフローチャートである。
【図14】実施の形態で自機撮像/記録、他機表示の処理のフローチャートである。
【図15】実施の形態で自機撮像画像、他機撮像画像の説明図である。
【図16】実施の形態で再生画像指定時の処理のフローチャートである。
【図17】実施の形態で自機再生、自機表示の処理のフローチャートである。
【図18】実施の形態で自機再生、他機記録の処理のフローチャートである。
【図19】実施の形態で自機再生、両機記録の処理のフローチャートである。
【符号の説明】
【0140】
1、1A、1B 撮像表示装置、2 表示部、3 撮像部、5 音声出力部、6 音声入力部、10 システムコントローラ、11 操作入力部、17 ストレージ部、18 通信部、30 リモートコントローラ、31 本体部、32 操作子部
【技術分野】
【0001】
本発明は、撮像表示システム、撮像表示装置、撮像表示装置の制御方法に関し、特に複数の撮像表示装置を使用するユーザの視覚交換を実現できるようにする技術に関する。
【背景技術】
【0002】
【特許文献1】特開2005−341604号公報
【特許文献2】特開2003−244691号公報
【0003】
上記特許文献1にはデータ通信システムの一例が述べられている。
上記特許文献2には自身の見る視聴覚にタイムスタンプを押して事後に利用するシステムが開示されている。
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら従来は、ユーザが任意に自分以外の視界を見るという技術は提案されていない。
ここで、視覚交換という観点で、或る人が、他の人から見えている光景を手軽に見ることができるようにすることで、多様な利便性が生ずると考えられる。
【0005】
例えばゴルフ教室などのスポーツ講習を行う際、受講者のフォームを映像として記録し、受講者自身がその映像を確認して、悪いところを改善するといった手法は適切である。
ところがこのためには、他者が受講者のフォームをビデオ撮影して、後に再生して見るということになり、はなはだ面倒である。また機材環境にもよるが、再生して本人が見るまでに時間がかかる。特には、リアルタイムで受講者が受講者自身のフォームを見ながらフォーム練習するといったこともできない。
また例えば受講者に教える講師以外にビデオスタッフが必要になることが多く、その点でも手軽に実行できない。
さらには、講師が意図するような撮像角度(例えば講師が受講者に対してチェックしている目線)などでの撮影は困難である。
さらに、講師が撮影しようとすると、講師は撮影機材や撮影操作を気にしなければならず、的確に受講者を見ることができないことにもなる。
【0006】
また、教則画像データ等による講習も、一般には、鑑賞する部屋で行われ、その場でゴルフのスイング練習などが行えないのが実情で、結局はイメージトレーニング程度に利用することしかできない。
【0007】
そこで本発明は、例えばスポーツ練習などにも好適に利用できるように、手軽に視覚交換を実現できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本発明の撮像表示システムは、複数の本発明の撮像表示装置を有して成る。また、使用者の操作に応じて一方の撮像表示装置に対してコマンド信号を送信するリモートコントローラを有する場合もある。
【0009】
この撮像表示システムを構成する、本発明の撮像表示装置は、使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、外部の撮像表示装置との間で撮像画像データの通信を行う通信手段と、上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、上記外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させる制御とを行う制御手段と、を備えている。
また撮像画像データの記録を行う記録手段をさらに備え、上記制御手段はさらに、上記撮像手段で得られた撮像画像データを上記記録手段により記録させる制御を行う。
また上記制御手段はさらに、上記他方の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記記録手段により記録させる制御を行う。
また画像データの再生を行う再生手段をさらに備え、上記制御手段はさらに、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御を行う。
また上記制御手段はさらに、上記再生手段で再生された撮像画像データを上記表示手段で表示させる制御と、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御とを行う。
【0010】
また上記制御手段は、操作入力信号に応じて、自己の動作制御を実行するとともに、上記通信手段により、外部の撮像表示装置に動作制御情報を送信させる制御を行う。
また上記制御手段は、上記操作入力信号に応じて、上記表示画面の透過率の可変制御と、外部の撮像表示装置の表示画面の透過率制御情報の送信制御の一方又は両方を実行する。
また上記制御手段は、上記操作入力信号に応じて、撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、外部の撮像表示装置への撮像画像データの送信を求める制御情報の送信制御の、一方又は両方を実行する。
また上記操作入力信号は、リモートコントローラからのコマンド信号として入力される信号である。
【0011】
本発明の撮像表示装置の制御方法は、操作入力に応じて、上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させるステップと、操作入力に応じて、外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させるステップとを備える。
【0012】
以上の本発明では、一方の撮像表示装置で撮像した撮像画像データを、他方の撮像表示装置に送信して表示させることができる。また他方の撮像表示装置で撮像した撮像画像データを、一方の撮像表示装置で表示させたり記録することができる。
さらに、一方又は他方の撮像表示装置で撮像し、一方の撮像表示装置で記録した撮像画像データを、該一方の撮像表示装置で再生させ、一方の撮像表示装置や他方の撮像表示装置で表示させることができる。
ここで、一方又は他方の撮像表示装置の撮像手段で撮像される撮像画像データとは、撮像表示装置の使用者の視界方向の画像である。
また一方又は他方の撮像表示装置では、表示画面が使用者の目の前方に位置される。
従って、撮像表示装置のユーザは、撮像表示装置を装着した状態で、自分の視界光景としての現在又は過去の光景を見るだけでなく、他の撮像表示装置のユーザの視界光景としての現在又は過去の光景を見ることができる。つまり視覚交換としての動作を実現できる。
【発明の効果】
【0013】
本発明によれば、複数のユーザがそれぞれ撮像表示装置を装着することで、お互いに他方のユーザの視覚光景を容易に見ることができる。つまり手軽に視覚交換としての表示画像を体験できる有用な撮像表示装置となり、例えばスポーツ講習その他の多様な使用機会で有効に用いることができる。
また、1つの操作入力手段(例えばリモートコントローラ)により、両方の撮像表示装置を制御して視覚交換動作を制御できることで、使用性も向上される。
【発明を実施するための最良の形態】
【0014】
以下、本発明の撮像表示システム、撮像表示装置、及びその制御方法の実施の形態を説明する。説明は次の順序で行う。
[1.システム概要]
[2.撮像表示装置の構成例]
[3.リモートコントローラの構成例及び動作]
[4.被制御機器モード設定処理]
[5.透過率制御処理]
[6.撮像処理(自機撮像、自機記録、自機表示)]
[7.撮像処理(他機撮像、自機記録、自機表示)]
[8.撮像処理(自機撮像、自機記録、他機表示)]
[9.再生処理(自機再生、自機表示)]
[10.再生処理(自機再生、他機表示)]
[11.再生処理(自機再生、両機表示)]
[12.実施の形態の効果、及び変形例、拡張例]
【0015】
[1.システム概要]
実施の形態の撮像表示システムは、複数(例えば2つ)の撮像表示装置を有する。
図1に撮像表示装置1の外観例を示す。この撮像表示装置1は眼鏡型ディスプレイカメラとしてユーザが装着できるものとしている。
撮像表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2bが配置される構成とされている。この表示パネル部2a、2bには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2a,2bがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、ユーザの活動には支障がない。
【0016】
またユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが、例えばLED(Light Emitting Diode)等により設けられる。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
【0017】
なお図1は一例であり、撮像表示装置1をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示パネル部2a、2bが設けられ、また撮像レンズ3aによる撮像方向がユーザの視界方向、つまりユーザの前方となるようにされていればよい。
また表示パネル部2a,2bとして両眼に対応して表示部が一対設けられる構成の他、片側の眼に対応して1つ表示部が設けられる構成でもよい。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。さらには、撮像表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部4aを設けない構成も考えられる。
撮像表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を示したが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。
【0018】
このような撮像表示装置1の使用状態の例を図2に示す。
この図2は、2つの撮像表示装置1A、1Bを用い、例えばゴルフの講習の場において、一方のユーザとして講師U1が、撮像表示装置1Aを装着しているとともに、他方のユーザとして、受講者U2も、同様の撮像表示装置1Bを装着している。
また、講師U1は、撮像表示装置1Aに対応するリモートコントローラ30を指に装着している。
リモートコントローラ30については後述するが、指にはめた状態で各種の操作入力を行うことのできる装置とされ、このリモートコントローラ30は、撮像表示装置1Aに対してコマンド信号を無線送信する。
【0019】
例えばこのように講師U1がリモートコントローラ30を用いて操作を行うことで、撮像表示装置1A、1Bの間での画像データ伝送が行われ、視覚交換としての動作を含む各種の動作が実現される。
例えば講師U1から見た受講者U2の姿(例えばスイングしている姿)を、撮像表示装置1Bで表示させて受講者U2自身がみることができるようにしたり、受講者U2の姿の画像を撮像表示装置1Aで記録して、後に撮像表示装置1A、1Bの一方又は両方で再生表示させることができる。
また受講者U2から見た講師U1の姿(例えばスイングフォームの見本の動作)を撮像表示装置1Aで記録したり表示させることや、記録した画像を、撮像表示装置1A、1Bの一方又は両方で再生表示させることができる。
【0020】
[2.撮像表示装置の構成例]
撮像表示装置1(1A、1B)の構成例を図3で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
【0021】
撮像表示装置1内では、ユーザの視界方向の光景の撮像のための構成として、撮像部3が設けられる。
撮像部3は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部3により、撮像が行われ、撮像画像データが得られる。
システムコントローラ10は、この撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行う。
【0022】
この撮像部3の撮像動作によって得られた撮像画像データは、画像処理部15を介して表示部2、ストレージ部17,通信部18に供給することができる。
画像処理部15は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、表示部2でモニタ表示させるための所要の信号処理を行う。表示部2でモニタ表示させるための信号処理とは、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整、画面分割処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト処理などである。
また画像処理部15は、撮像部3,表示部2,ストレージ部17、通信部18の間の画像データの転送処理も行う。即ち、撮像部3からの撮像画像データを表示部2,ストレージ部17,通信部18に供給する処理や、ストレージ部17で再生された画像データを表示部2に供給する処理や、通信部18で受信した画像データを表示部2に供給する処理も行う。
【0023】
撮像表示装置1においてユーザに対して表示を行う構成としては、表示部2が設けられる。この表示部2は、上述した液晶パネル等による表示パネル部2a、2bと、表示パネル部2a、2bを表示駆動する表示駆動部が設けられる。
表示駆動部は、画像処理部15から供給される画像信号を、例えば液晶ディスプレイとされる表示パネル部2a,2bにおいて表示させるための画素駆動回路で構成されている。即ち表示パネル部2a,2bにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。この処理により、撮像部3での撮像モニタとしての表示や、ストレージ部17で再生された再生画像の表示、さらには通信部18で受信された受信画像の表示が、表示パネル部2a、2bにおいて行われる。
また表示駆動部は、表示パネル部2a、2bの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。
システムコントローラ10は、この表示部2における表示動作のオン/オフ(スルー)制御、表示する画像データに対する処理パラメータの指示、画面領域設定制御、キャラクタ発生指示などを行う。
【0024】
また撮像表示装置1には、音声入力部6、音声処理部16,音声出力部5が設けられる。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
【0025】
音声入力部6で得られた音声データは音声処理部16に供給される。
音声処理部16は、システムコントローラ10の制御に応じて、音声データの転送を制御する。即ち音声入力部6で得られた音声データを、音声出力部5、ストレージ部17、通信部18に供給する。或いは、ストレージ部17で再生された音声データや、通信部18で受信された音声データを音声出力部5に供給する。
また音声処理部16は、システムコントローラ10の制御に基づいて、音量調整、音質調整、音響エフェクト等の処理を行う。
【0026】
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路やD/A変換器を有する。
即ち音声処理部から供給された音声データはD/A変換器でアナログ音声信号に変換され、アンプ回路で増幅されてイヤホンスピーカ5aから音声として出力される。これによりユーザは外部音声を聞いたり、ストレージ部17で再生された音声データや通信部18で受信した音声データによる音声を聞くことができる。
なお音声出力部5は、いわゆる骨伝導スピーカを用いた構成とされてもよい。
【0027】
ストレージ部17は、所定の記録媒体に対して画像データ(及び音声データ)の記録再生を行う部位とされる。例えばHDD(Hard Disk Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部17としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
このストレージ部17は、システムコントローラ10の制御に基づいて、撮像によって得られる画像データ(及び音声データ)を記録媒体に記録する。即ち、画像処理部15を介して供給される画像データや音声処理部16を介して供給される音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部17はシステムコントローラ10の制御に従って、記録した画像データ、音声データを再生することができる。再生した画像データは画像処理部15を介して表示部2に供給され、音声データは音声処理部16を介して音声出力部5に供給される。また再生した画像データ/音声データは、外部機器(他の撮像表示装置)に送信するデータとして通信部18に供給することもできる。
【0028】
通信部18は外部機器である他の撮像表示装置との間でのデータの送受信を行う。つまり図2に示した撮像表示装置1A、1Bは、それぞれが有する通信部18により相互のデータ通信を実行する。
この通信部18は、例えばブルートゥース通信や赤外線を用いた光通信などにより、近距離の撮像表示装置同志での通信を実行する構成が考えられる。但し、無線LANその他のネットワーク通信で、所定の撮像表示装置同志間での通信を行う構成としても良い。
通信部18に対しては、撮像部3で得られた撮像画像データが画像処理部15を介して供給される。また音声入力部6で得られた音声データが音声処理部16を介して供給される。通信部18は、この画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って外部機器に送信することができる。つまりこの撮像表示装置1で現在撮像及び集音されているリアルタイムの画像データ/音声データを、外部機器(他の撮像表示装置)に送信することができる。
また、ストレージ部17で再生された画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って他の撮像表示装置に送信することもできる。
【0029】
また通信部18は外部機器(他の撮像表示装置)から送信されてきた画像データ/音声データを受信し、復調して画像処理部15及び音声処理部16に供給する。この場合、表示部2と音声出力部5により、受信した画像及び音声の出力が行われる。
もちろん、通信部18で受信した画像データ/音声データをストレージ部17に供給して記録媒体に記録することも可能である。
【0030】
また撮像表示装置1には照明部4と照明制御部18が設けられる。照明部4は、図1に示した発光部4aとその発光部4a(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の指示に基づいて、照明部4に発光動作を実行させる。
照明部4における発光部4aが図1に示したように取り付けられていることで、照明部4は撮像レンズ3aによる被写体方向に対する照明動作を行うことになる。
【0031】
この撮像表示装置1では、ユーザの操作のために操作入力部11が設けられる。
上述のように、ユーザによる操作入力には、リモートコントローラ30が用いられる。そのため、操作入力部11は、リモートコントローラ30からのコマンド信号を受信する受信部として構成されることになる。
操作入力部20は、コマンド信号を受信したら、そのコマンド信号を復調して操作入力情報をシステムコントローラ10に供給する。これによりシステムコントローラ10はユーザの操作を検知し、操作に応じた所要の制御処理を行う。
【0032】
なお、操作入力部11として、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、例えば表示パネル部2a,2bの表側にタッチパネル構造を設けたり、所定部分にタッチパッドを設けるなどして、ユーザのタッチ操作で操作入力が行われるようにしてもよい。
さらには、ユーザの意識的な挙動を検知する構成としても良い。
ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像表示装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像表示装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
【0033】
さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化、眼の状態などである。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像表示装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
【0034】
以上、撮像表示装置1の構成を示したが、これは一例にすぎない。実際に実施されるシステム動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。
【0035】
[3.リモートコントローラの構成例及び動作]
図4〜図7で、リモートコントローラ30の構成例を説明する。
図4(a)は、ユーザの指にリモートコントローラ30が装着されている状態を示している。また図5(a)はリモートコントローラ30の斜視図を示している。
リモートコントローラ30は、円筒状の本体部31と、その本体部の周面に位置される円筒状の操作子部32を有する。そしてユーザは、本体部31に例えば人差し指をなどを差し入れて、指輪状に装着することができる構造となっている。
【0036】
操作子部32は、本体部31に対して、スライド移動可能に取り付けられている。
図5(b)(c)(d)は、操作子部32をスライド移動させた各状態を示している。即ち操作子部32は、図5(b)のように、本体部31の略中央部に位置する状態と、図5(c)のように本体部31の上方に移動された位置状態と、図5(d)のように本体部31の下方に移動された位置状態とに、それぞれスライド移動可能とされている。
つまり図4(a)の装着状態において、ユーザは親指を用いて操作子部32を指先側に移動させたり、或いは指の付け根側に移動させることができる。
この各スライド位置により、操作モードの切換が行われる。
例えば図5(b)のように中央位置にある状態が、ビデオ再生関係の操作を行うビデオ操作モードとされる。また図5(c)の位置状態が、メニュー操作に関する操作のためのメニュー操作モードとされる。まら図5(d)の位置状態が、表示パネル部2aの透過率可変操作を行うためのシースル操作モードとされる。
ユーザは、操作子部32を任意にスライドさせて、所望の操作モードを選択できる。
【0037】
また、操作子部32は図5(e)(f)に示すように、本体部31に対して回転(左回転及び右回転)可能とされ、かつ押し込むことが可能とされている。
例えば操作子部32の内径は、本体部31の外径よりも大きくされており、操作子部32は、部材33を介して本体部31の周囲に取り付けられている。部材33は、弾性を有する材質又は構造とされている。
この状態で、操作子部32は図5(e)のように任意に回転させることができるとともに、側面から押圧することで、図5(f)のように押し込むことができる。
ユーザは、図4のように指にはめた状態で、親指を用いて操作子部32を任意の方向に回転させたり、親指で押しこむ操作が可能となる。
【0038】
またリモートコントローラ30は内部に姿勢検出部41(図6で後述)を備え、リモートコントローラ30自体の姿勢方向を検出できる。例えば図4(b)のようにユーザが指を垂直方向に立てている状態と、図4(c)のように指を水平方向に寝かせている状態を判定できる。
図4(b)のように指を垂直にした場合、操作子部32の回転方向は、水平方向となる。以降、このような姿勢を「水平回転姿勢」という。また図4(c)のように指を水平にした場合、操作子部32の回転方向は、垂直方向となる。以降、このような姿勢を「垂直回転姿勢」という。
例えばこの水平回転姿勢での回転操作と、垂直回転姿勢での回転操作は、異なる操作情報の操作入力とすることができる。後述するがユーザは、メニュー操作におけるカーソルの水平移動を指示する操作と、垂直移動を指示する操作とを、この姿勢変化により使い分けることができる。
【0039】
図6により、リモートコントローラ30の内部構成を説明する。
コマンド信号制御35は、マイクロコンピュータにより形成され、操作入力等に応じたコマンド選択/送信動作の制御を行う。
ROM36には、リモートコントローラ30が撮像表示装置1に送信する各種のコマンド信号としてのコード値が記憶されている。
コマンド送信部37は、コマンド発生制御部35から供給されるコマンドコードに対して変調処理及び送信処理を行う。
【0040】
操作モード判定部38は、図5(b)(c)(d)で述べた操作子部32のスライド位置状態を検出し、現在のスライド位置状態をコマンド発生制御部35に通知する。この操作モード判定部38は、例えばメカニカルな小型スイッチ構造や、フォトカプラ等を用いた位置センサなどにより構成できる。
回転検知部39は、操作子部32の回転方向及び回転量を検知し、その情報をコマンド発生制御部35に通知する。これもスイッチ機構やフォトカプラ等で構成できる。
押圧検知部40は、図5(f)のような操作子部32が押圧された状態を検知し、コマンド発生制御部35に通知する。例えばスイッチ機構で実現可能である。
姿勢検出部41は、図4(b)(c)のような水平回転姿勢、垂直回転姿勢の別を検出する。例えばジャイロセンサにより構成できる。なお、実際には完全な水平、垂直とは言えなくても、例えば45°程度の傾きより水平に近いか垂直に近いかを判別して、水平回転姿勢、垂直回転姿勢のいずれかの検出信号をコマンド発生制御部35に通知すればよい。
【0041】
このようなリモートコントローラ30における、コマンド発生制御部35が実行するコマンド発信処理の例を図7で説明する。
コマンド発生制御部35は、操作モード判定部38,回転検知部39、押圧検知部40,姿勢検出部41の各部からの情報に基づいて、図7の処理としてコマンド信号発信制御を行う。
【0042】
コマンド発生制御部35は、ステップF10、F11、F12,F13として、操作モード判定部38,回転検知部39、押圧検知部40からの情報を監視する。
ステップF10では、操作モード判定部38からの検知情報として、操作子部32のスライド移動があったか否かを監視する。つまり検知される操作子部32の位置状態の変化を監視する。
コマンド発生制御部35は、操作子部32のスライド移動が検知された場合は、ステップF14に進み、そのスライド移動後の位置状態に応じて内部でモードフラグをセットする。即ち、スライド移動により図5(a)の状態となった場合は、モードフラグをビデオ操作モードを示す値にセットする。またスライド移動により図5(b)の状態となった場合は、モードフラグをメニュー操作モードを示す値にセットする。またスライド移動により図5(c)の状態となった場合は、モードフラグをシースルー操作モードを示す値にセットする。
【0043】
コマンド発生制御部35は、回転検知部39からの検知情報により、操作子部32の右回転を認識した場合は、処理をステップF11からF15に進め、ここでモードフラグにより現在の操作モードを確認する。
そしてメニュー操作モードであれば(つまり図5(c)のスライド位置で回転操作が行われたのであれば)、ステップF16に進む。この場合は、姿勢検出部41の現在の検出情報を確認して、現在水平回転姿勢にあるか垂直回転姿勢にあるかを判別する。
現在、垂直回転姿勢であった場合は、ステップF17に進み、カーソルの下移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル下移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
また、現在水平回転姿勢であった場合は、ステップF18に進み、カーソルの右移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル右移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
なお、このステップF17,F18,及び後述するステップF23,F24の処理で送信されるカーソル移動に関するコマンドに応じて撮像表示装置1A側で行われるメニュー上の動作については図8で後述する。
【0044】
ステップF15の時点でビデオ操作モードと判定された場合(つまり図5(b)のスライド位置で回転操作が行われた場合)は、コマンド発生制御部35はステップF19に進み、早戻し(REW)コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから早戻しコマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この早戻しコマンドに応じて早戻し再生を行う。
【0045】
ステップF15の時点でシースル操作モードと判定された場合(つまり図5(d)のスライド位置で回転操作が行われた場合)は、コマンド発生制御部35はステップF20に進み、透過率低下コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから透過率低下コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この透過率低下コマンドに応じて、表示パネル部2aの透過率を下げる処理を行う。
【0046】
コマンド発生制御部35は、回転検知部39からの検知情報により、操作子部32の左回転を認識した場合は、処理をステップF12からF20に進め、ここでモードフラグにより現在の操作モードを確認する。
そしてメニュー操作モードであればステップF22に進み、姿勢検出部41の現在の検出情報を確認して、現在水平回転姿勢にあるか垂直回転姿勢にあるかを判別する。
現在、垂直回転姿勢であった場合は、ステップF23に進み、カーソルの上移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル上移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
また、現在水平回転姿勢であった場合は、ステップF24に進み、カーソルの左移動コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちからカーソル左移動コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
【0047】
ステップF21の時点でビデオ操作モードと判定された場合は、コマンド発生制御部35はステップF25に進み、早送り(FF)コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから早送りコマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この早送りコマンドに応じて早送り再生を行う。
【0048】
ステップF21の時点でシースル操作モードと判定された場合は、コマンド発生制御部35はステップF26に進み、透過率上昇コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから透過率上昇コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この透過率上昇コマンドに応じて、表示パネル部2aの透過率を上げる処理を行う。
【0049】
コマンド発生制御部35は、押圧検知部40からの検知情報により押圧操作を認識した場合は、処理をステップF13からF27に進め、この場合決定コマンドの出力制御を行う。つまりROM36に記憶されているコマンドコードのうちから決定コマンドとしてのコマンドコードを選択し、これをコマンド送信部37に供給して、撮像表示装置1Aに対して送信させる。
例えば撮像表示装置1Aでは、この決定コマンドに応じて、そのときの動作状態に基づいた処理を行う。例えばメニュー項目の選択中であれば、選択決定の操作入力と認識する。この場合、選択された項目によった処理や、ビデオコンテンツが選択された場合は、そのビデオコンテンツの画像再生処理を行う。
また画像再生中であれば、決定コマンドを再生停止の操作入力として認識し、また再生停止中であれば決定コマンドを再生再開の操作入力として認識する。
また撮像画像データの記録や送信のスタンバイ中であれば、決定コマンドを撮像画像データの記録開始、送信開始の操作入力として認識し、また記録又は送信の動作中であれば決定コマンドを記録又は送信の停止の操作入力として認識する。
【0050】
以上のようにリモートコントローラ30では、ユーザの操作入力に応じてコマンド信号を撮像表示装置1Aに送信する。図7の処理により、操作子部32のスライド、回転、押圧、姿勢に応じて、ユーザが必要とする各種の操作入力情報をコマンド信号として撮像表示装置1Aに供給できることになる。
【0051】
なお、この図7の例では、コマンド発生制御部35が具体的なコマンド内容を示すコマンドコードを選択して撮像表示装置1Aに送信するものとしたが、リモートコントローラ30は、操作子部32に対する操作や姿勢の検知内容のみを示す情報をコマンドコードとして送信するようにしてもよい。
即ち、コマンド発生制御部35は、操作子部32のスライド、回転、押圧などを認識した場合に、スライド位置(スライド位置による操作モード)の情報、回転方向の情報、押圧情報、姿勢情報について、それら自体をコマンド信号として、撮像表示装置1Aに送信する。その場合は、撮像表示装置1A側でシステムコントローラ10が、スライド位置の情報、回転方向の情報、姿勢情報、押圧情報から図7のような判断で操作入力の内容を判断するようにすればよい。
例えばスライド位置情報としてビデオ操作モードに相当する情報と、右回転という情報が送信されてくれば、撮像表示装置1Aのシステムコントローラ10は、図7と同等の処理を行うことで、それを早戻しコマンドであると判定することができる。
同様に例えば、スライド位置情報としてメニュー操作モードに相当する情報と、左回転という情報と、水平回転姿勢という情報が送信されてくれば、撮像表示装置1Aのシステムコントローラ10は、図7と同等の処理を行うことで、それをカーソル左移動コマンドであると判定することができる。
【0052】
つまり、リモートコントローラ30は、単純にユーザの操作にかかる操作子部32の状態変化の情報や姿勢をコマンド信号として送信し、実際のコマンド信号としての内容は撮像表示装置1Aのシステムコントローラ10側で解釈するという方式である。
このようにすると、リモートコントローラ30側でコマンドコードを記憶するROM36を不要とでき、また送信制御処理も簡易となり、リモートコントローラ30の小型化にもより好適となる。
【0053】
ところで、上記図7のステップF17、F18、F23、F24ではカーソル移動コマンドが送信出力されるが、このカーソル移動コマンドに応じた撮像表示装置1A側のメニュー上の制御の例について図8で説明する。
図8ではメニュー形式として横方向にメインメニュー項目MM(MM1,MM2,MM3,MM4,MM5)が表示される例を示している。このメインメニュー項目MMは、実際には主たるメニュー項目の内容を示す画像や文字などであり、例えば「機器設定」「ビデオ」「オーディオ」「操作設定」・・・などといった項目が用意される。
【0054】
そして、各メインメニュー項目には、サブメニュー項目MSが用意され、カーソルKが位置しているメインメニュー項目についてサブメニュー項目MSが表示される。
例えば図8(a)では、カーソルKはメインメニュー項目MM1に位置しているが、この場合、メインメニュー項目MM1についてのサブメニュー項目MS(MS11、MS12,MS13)が縦方向に表示される。
また図8(b)のように、カーソルKがメインメニュー項目MM3に移動された場合、メインメニュー項目MM3についてのサブメニュー項目MS(MS31、MS32)が縦方向に表示される。
例えばメインメニュー項目MM1が「機器設定」の場合、サブメニュー項目MS11、MS12,MS13として、各種の機器設定項目が表示される。
またメインメニュー項目MM3「ビデオ」の場合、サブメニュー項目MS31,MS32として、例えばストレージ部17に記録されている画像コンテンツが表示される。
【0055】
システムコントローラ10は、表示部2においてこのようなメニュー画面を表示させた状態で、ユーザの操作に応じてカーソル移動やメニュー項目決定に応じた処理を行う。
ユーザは、表示パネル部2a上で表示されるメニュー画面を見ながら、リモートコントローラ30を用いてメニュー操作を行うことができる。
例えば指を図4(b)の水平回転姿勢として操作子部32を左右回転させることで、システムコントローラ10がカーソル左移動コマンド、又はカーソル右移動コマンドを認識してカーソル移動制御を行う。これによって表示上では、例えば図8(a)から図8(b)のようにカーソルKがメインメニュー項目MM上を移動(カーソルが左右に移動)される。
またユーザが、指を図4(c)の垂直回転姿勢として操作子部32を左右回転させることで、システムコントローラ10がカーソル上移動コマンド、又はカーソル下移動コマンドを認識してカーソル移動制御を行う。これによって表示上では、例えば図8(b)から図8(c)のようにカーソルKがサブメニュー項目MS上を移動(カーソルが上下に移動)される。
つまり、ユーザの回転操作による操作子部32の回転方向に応じて、メニュー画面上でカーソルが左右又は上下に移動されることになり、操作子部32の回転と、姿勢によって、いわゆる十字方向キーと同様の操作を行うことが可能とされる。
【0056】
また、ユーザは、このようにカーソルKを移動させた後、選択決定する場合は、操作子部32を押圧すればよい。これをシステムコントローラ10は決定コマンドと認識する。例えば図8(c)のカーソルKの状態でユーザが操作子部32を押圧すれば、システムコントローラ10は、サブメニュー項目MS32の決定操作と認識し、その決定操作に応じた制御処理を実行する。
【0057】
以上のようにリモートコントローラ30を用いてメニュー操作(カーソル移動操作や決定操作)を行うことができるため、メニュー項目の設定により、リモートコントローラ30を用いて非常に多様な操作を実行できることになる。
【0058】
[4.被制御機器モード設定処理]
例えば図2のように、講師U1が撮像表示装置1Aとリモートコントローラ30を装着し、受講者U2が撮像表示装置1Bを装着しているような状況においては、講師U1は、各撮像表示装置1A、1Bの撮像動作や、撮像画像データの転送による視覚交換動作を、リモートコントローラ30を用いて操作できる。
リモートコントローラ30は撮像表示装置1Aに対応する操作機器であり、リモートコントローラ30から送信されるコマンド信号は、例えば撮像表示装置1Aの装置IDが含まれるなどにより、対象機器が指定されていることにより、撮像表示装置1Aで受信復調される。この場合、リモートコントローラ30からのコマンド信号に、他方の撮像表示装置1Bが直接対処することはない。つまり撮像表示装置1B側では、リモートコントローラ30からのコマンド信号を受信しても、コマンド信号とともに受信される装置IDが自分ではないこと判別した場合、そのコマンド信号は無効であるとする。
例えばこのようにすることで、リモートコントローラ30は、撮像表示装置1Aに対応する操作機器として位置づけることができる。
【0059】
従って、講師U1は、リモートコントローラ30により、基本的には自分が装着している撮像表示装置1Aに関する操作を行うことができるが、本例では、講師U1は、さらにリモートコントローラ30によって、受講者U2側の撮像表示装置1Bに所要の動作を実行させることができる。
特に、撮像動作に関しては、撮像表示装置1Aでの実行を指示する他、撮像表示装置1B側で実行させることができる。
また、画像撮像時や再生時の表示に関しては、撮像表示装置1Aでの実行を指示する他、撮像表示装置1B側で実行させたり、或いは両方で実行させることができる。
また各撮像表示装置1A、1Bの各表示部2の表示パネル部2a、2bの透過率を指示できる。
【0060】
これらの場合として、具体的には次のような動作をリモートコントローラ30により指示することが可能となる。
・撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Aで記録(及び/又は表示)させる。
・撮像表示装置1Bで撮像して、撮像画像データを、撮像表示装置1Aで記録(及び/又は表示)させる。
・撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Bで表示させる。この場合、撮像表示装置1A側では撮像画像データを記録及び/又は表示させてもよい。
・撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Aで表示させる。
・撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Bで表示させる。
・撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1A、1Bの両方で表示させる。
・撮像表示装置1Aの表示部2の透過率を上下させる。
・撮像表示装置1Bの表示部2の透過率を上下させる。
・撮像表示装置1A、1Bの両方の表示部2の透過率を上下させる。
【0061】
これらの各種の動作を実行させるようにするため、撮像表示装置1Aでは、リモートコントローラ30からの操作に応じて、被制御機器モードが設定される。
例えば撮像表示装置1Aでは、図8で説明したようなメニュー項目において、被制御機器モードの設定項目が用意されており、講師U1は、リモートコントローラ30を用いてメニュー操作を行うことで、被制御機器モードとして「自機モード」「他機モード」「両機モード」を選択できる。
【0062】
この場合、講師U1は、リモートコントローラ30を用いて上述のメニュー操作モードでの操作を行う。即ちカーソル移動コマンドや決定コマンドをリモートコントローラ30から撮像表示装置1Aに送信させる。
これに応じて撮像表示装置1Aのシステムコントローラ10はメニュー表示や、メニュー表示上でのカーソル移動などの処理を行うが、特に図9に示すように、ステップF101でメニュー操作の決定コマンド(被制御機器モードを指定するメニュー操作の決定コマンド)が受信されたら、ステップF102で、その操作に応じて、被制御機器モードを「自機モード」「他機モード」「両機モード」のいずれかに設定する。これによって、システムコントローラ10は、内部的に被制御機器モードを切り換える。
【0063】
自機モードの場合、システムコントローラ10は、基本的に次の処理を行う。
リモートコントローラ30からの撮像画像記録の指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)の撮像部3で撮像させ、ストレージ部17での記録を実行させる。
また再生指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)のストレージ部17で画像データを再生させ自機(撮像表示装置1A)の表示部2での表示を実行させる。
また透過率制御の指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)の表示部2の透過率を制御する。
【0064】
また他機モードの場合、システムコントローラ10は、基本的に次の処理を行う。
リモートコントローラ30からの撮像画像記録の指示があった場合は、システムコントローラ10は他機(撮像表示装置1B)の撮像部3に撮像を実行させ、自機(撮像表示装置1A)のストレージ部17で画像データの記録を実行させる。
また再生指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)のストレージ部17で画像データを再生させ他機(撮像表示装置1B)の表示部2での表示を実行させる。
また透過率制御の指示があった場合は、システムコントローラ10は他機(撮像表示装置1B)の表示部2の透過率を制御する。
【0065】
また両機モードの場合、システムコントローラ10は、基本的に次の処理を行う。
リモートコントローラ30からの再生指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)のストレージ部17で画像データを再生させ、自機(撮像表示装置1A)の表示部2での表示を実行させるとともに、他機(撮像表示装置1B)の表示部2での表示を実行させる。
また透過率制御の指示があった場合は、システムコントローラ10は自機(撮像表示装置1A)及び他機(撮像表示装置1B)の表示部2の透過率を制御する。
【0066】
[5.透過率制御処理]
講師U1がリモートコントローラ30を上述したシースルー操作モードとして操作した場合の撮像表示装置1Aのシステムコントローラ10の処理を図10に示す。
なお以下では、説明のわかりやすさを考え、撮像表示装置1Aのシステムコントローラ10を「システムコントローラ10(A)」、撮像表示装置1Bのシステムコントローラ10を「システムコントローラ10(B)」と記載する。
同様に、撮像部3、表示部2、ストレージ部17、通信部18などの他の部位についても、撮像表示装置1A側の場合は撮像部3(A)、表示部2(A)、ストレージ部17(A)、通信部18(A)、撮像表示装置1B側の場合は撮像部3(B)、表示部2(B)、ストレージ部17(B)、通信部18(B)というように記載する。
【0067】
リモートコントローラ30から透過率上昇又は低下を指示する透過率制御コマンドが送信されてきた場合、システムコントローラ10(A)は、処理を図10のステップF201からF202に進める。ここで、現在選択されている被制御機器モード(上記図9の処理で選択された被制御機器モード)に応じて処理を分岐する。
【0068】
現在、自機モードであったら、システムコントローラ10(A)はステップF203に進み、自機(撮像表示装置1A)の表示部2(A)に対して透過率の上昇又は低下の制御を行う。
【0069】
現在、他機モードであったら、システムコントローラ10(A)はステップF205に進み、透過率制御コマンドを通信部18(A)から他機(撮像表示装置1B)に送信させる。撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1A側からの透過率制御コマンドを受信したら、ステップF301からF302に進み、その撮像表示装置1B側の表示部2(B)に対して透過率の上昇又は低下の制御を行う。
【0070】
現在、両機モードであったら、システムコントローラ10(A)はステップF204に進み、まず自機(撮像表示装置1A)の表示部2(A)に対して透過率の上昇又は低下の制御を行う。そしてさらにステップF205で、透過率制御コマンドを通信部18(A)から他機(撮像表示装置1B)に送信させる。撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1A側からの透過率制御コマンドを受信したら、ステップF301からF302に進み、その撮像表示装置1B側の表示部2(B)に対して透過率の上昇又は低下の制御を行う。
【0071】
以上の処理が行われることで、講師U1は、リモートコントローラ30を用いて、自分が装着している撮像表示装置1Aの表示部2の透過率を任意に変化させることができるとともに、受講者U2が装着している撮像表示装置1Aの表示部2の透過率を任意に変化させることもできる。さらに、撮像表示装置1A、1Bの両方の表示部2の透過率を同時に変化させることもできる。
【0072】
[6.撮像処理(自機撮像、自機記録、自機表示)]
講師U1がリモートコントローラ30を操作して、撮像を実行させる場合の処理を説明する。まずここでは、撮像表示装置1Aが自機モードとされている場合について述べる。
例えば撮像表示装置1Aの操作メニューのメニュー項目には、撮像画像データの撮像及び記録の項目が用意されており、講師U1は、メニュー操作モードでリモートコントローラ30を操作することで、撮像表示装置1Aに、撮像画像の記録の指示を行うことができる。
撮像表示装置1Aのシステムコントローラ10(A)は、例えばメニュー操作により撮像画像データの記録の指示があった場合は、処理を図11のステップF401からF402に進め、ここで現在の被制御機器モードを判別する。
ここでは自機モードか他機モードかによって処理を分岐する。なお、この時点で両機モードであった場合については後述する。
【0073】
自機モードであった場合は、システムコントローラ10(A)は図12の処理に進むことになる。これは、撮像表示装置1Aが、自機で撮像した撮像画像データを記録する処理となる。
まず図12のステップF403では、システムコントローラ10(A)は表示部2(A)をシースルー状態もしくは撮像モニタ状態に制御する。
撮像モニタ状態とは、撮像部3(A)で得られる撮像画像データを、表示部2(A)で表示させる状態である。つまり現在撮像している画像を、ユーザが表示部2(A)で確認できるようにする状態である。表示部2(A)を撮像モニタ状態とすることで、以降、表示部2(A)の表示パネル部2a、2bには、撮像部3(A)で得られた撮像画像データのモニタ表示が実行される。
ただし、撮像部3(A)は、ユーザの視界方向を撮像するものであるため、撮像部3(A)で得られる撮像画像は、シースルーとされた表示部2(A)を介してユーザが見ている画像とほぼ同等である。このため、表示部2(A)の表示パネル部2a、2bはシースルー状態でもよいものである。
【0074】
次にシステムコントローラ10(A)は、ステップF404で、撮像部3(A)に撮像開始を指示するとともに、ストレージ部17(A)に対して記録スタンバイを指示する。これによって撮像部3(A)は画像撮像を開始する。
【0075】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。システムコントローラ10(A)は、記録スタンバイ中に決定コマンドが受信された場合は、それを記録の開始操作と判断する。またシステムコントローラ10(A)は、記録中に決定コマンドが受信された場合は、それを記録の停止操作と判断する。
従って、ステップF404で記録スタンバイとなった際に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを開始コマンドと解釈して、処理をステップF405からF406に進める。そしてストレージ部17(A)に撮像画像データの記録開始を指示する。これによって、撮像部3(A)で得られた撮像画像データの記録が開始される。
【0076】
ステップF406の制御で記録が開始された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF407からF408に進める。この場合システムコントローラ10(A)は、ストレージ部17(A)に撮像画像データの記録の停止を指示する。これによって、撮像部3(A)で得られた撮像画像データの記録が停止される。ストレージ部17(A)は記録スタンバイ状態となる。
【0077】
その後、さらに決定コマンドが受信されたら、システムコントローラ10(A)は、それを開始コマンドと解釈して、ステップF405からF406に進んで記録を再開させる。また、その後決定コマンドが受信されたら、停止コマンドと解釈し、ステップF407からF408に進み、記録動作を停止させる。
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、撮像画像データの記録を実行させたり停止させたりすることができる。特には、撮像画像データの記録は、講師U1の視界光景である。つまり講師U1自身が撮像を気にしていなくても、講師U1が注目すべきと考えて見ている箇所(例えば受講者U2のスイングフォームとして注意する箇所など)を的確に捉えた画像となる。
【0078】
システムコントローラ10(A)は終了トリガを検出したら、ステップF409からF410に進み、撮像/記録の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、撮像画像記録の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF408で記録スタンバイ状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF401で撮像画像記録の指示が出た直前の状態に戻す。
【0079】
[7.撮像処理(他機撮像、自機記録、自機表示)]
撮像表示装置1Aのシステムコントローラ10(A)は、撮像画像データの記録の指示があり、処理を図11のステップF401からF402に進め、現在の被制御機器モードが他機モードであった場合は、図13の処理に進むことになる。これは、撮像表示装置1Aが、他機(撮像表示装置1B)で撮像した撮像画像データを記録及び表示する処理となる。
【0080】
まず図13のステップF420では、システムコントローラ10(A)は、撮像及び送信スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。またストレージ部17(A)について記録スタンバイを指示する。
【0081】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの撮像及び送信スタンバイのコマンドを受信したら、処理をステップF501からF502に進め、その撮像表示装置1Bの表示部2(B)をシースルー状態もしくは撮像モニタ状態に制御する。そして次に撮像表示装置1Bのシステムコントローラ10(B)は、ステップF503で、撮像部3(B)に撮像開始を指示するとともに、通信部18(B)に対して送信スタンバイを指示する。これによって撮像部3(B)は画像撮像を開始する。
【0082】
撮像表示装置1Aのシステムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。上述の図12の場合と同様、システムコントローラ10(A)は、記録スタンバイ中に決定コマンドが受信された場合は、それを記録の開始操作と判断する。またシステムコントローラ10(A)は、記録中に決定コマンドが受信された場合は、それを記録の停止操作と判断する。
従って、ステップF420で記録スタンバイとした際に、決定コマンドが受信されたら、システムコントローラ10はそれを開始コマンドと解釈して、処理をステップF421からF422に進める。ここではまず、システムコントローラ10(A)は送信開始コマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
撮像表示装置1Bのシステムコントローラ10(B)は、送信開始コマンドの受信を認識したら、ステップF504からF505に進み、撮像画像データの送信を開始させる。即ち撮像部3(B)で得られる撮像画像データを、通信部18(B)により撮像表示装置1Aに送信する動作を開始させる。
撮像表示装置1A側のシステムコントローラ10(A)は、ステップF423で、撮像表示装置1Bから送信されてくる撮像画像データを通信部18(A)で受信し、ストレージ部17(A)で記録する動作を開始させる。
また、ステップF425として、システムコントローラ10(A)は、撮像表示装置1Bから送信されてくる撮像画像データを表示部2(A)で表示する動作も開始させる。
なお、特にこの場合に、表示部2(A)での表示は実行させない設定も可能である。例えばメニュー操作により講師U1が任意に設定できる。表示部2で表示させない設定がなされている場合は、ステップF424からステップF425に進まないようにする。
【0083】
このステップF422、F423,F425の処理により、撮像表示装置1Bで撮像されている撮像画像データが、撮像表示装置1A側で記録されるとともに表示される。
従って撮像表示装置1Aを装着している講師U1は、撮像表示装置1Bを装着している受講者U2の視界光景を、表示部2(A)において見ることができる。
【0084】
ステップF423の制御で記録が開始された後において、リモートコントローラ30からの決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF426からF427に進める。この場合システムコントローラ10(A)は、送信停止コマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
撮像表示装置1Bのシステムコントローラ10(B)は、送信停止コマンドの受信を認識したら、ステップF506からF507に進み、通信部18(B)による撮像画像データの送信を停止させる。そして送信スタンバイ状態とする。
撮像表示装置1A側では、システムコントローラ10(A)は、ステップF428で、ストレージ部17に撮像画像データの記録の停止を指示する。また表示部2での受信した撮像画像データの表示を停止させ、例えばシースルー状態に戻す。
つまり、撮像表示装置1B側での送信が停止されるとともに、撮像表示装置1A側での記録及び表示が停止されることになる。
【0085】
その後、さらにリモートコントローラ30からの決定コマンドが受信されたら、システムコントローラ10(A)をそれを開始コマンドと解釈して、ステップF421からF422、F423、F425に進んで上記同様の処理を行うことで、撮像表示装置1B側で送信が再開され、撮像表示装置1A側での記録及び表示が再開されることになる。
また、その後リモートコントローラ30からの決定コマンドが受信されたら、システムコントローラ10(A)は停止コマンドと解釈し、ステップF426からF427,F428に進み、上記同様の処理を行うことで、撮像表示装置1B側で送信が停止され、撮像表示装置1A側での記録及び表示が停止されることになる。
【0086】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、受講者U2の視界光景の画像の記録や表示を実行させたり停止させたりすることができる。
例えば図15(b)は、受講者U2が装着している撮像表示装置1Bで撮像される画像の例として、講師U1の撮像画像を示しているが、講師U1がリモートコントローラ30で操作することで、講師U1が装着している撮像表示装置1Aにおいて、このような講師U1自身の画像の記録や表示が任意に可能となる。
【0087】
システムコントローラ10(A)は終了トリガを検出したら、ステップF429からF430に進み、通信部18(A)から撮像表示装置1Bに終了通知を送信させる。
またステップF421で終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、撮像画像記録の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF428で記録スタンバイ状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF401で撮像画像記録の指示が出た直前の状態に戻す。
一方、撮像表示装置1B側では、終了通知を受信したら、システムコントローラ10(B)はステップF508からF509に進み、撮像部3(B)の撮像動作終了などの終了処理を行って、処理を終える。
【0088】
[8.撮像処理(自機撮像、自機記録、他機表示)]
以上の図12,図13のように、撮像表示装置1Aでは、自機の撮像部3(A)で撮像した撮像画像データをストレージ部17(A)で記録したり、他機の撮像部3(B)で撮像した撮像画像データをストレージ部17(A)で記録したり、表示部2(A)で表示させることができるが、さらに、次の図14のような処理例も考えられる。
図14は、撮像表示装置1Aが撮像部3(A)で撮像した撮像画像データを、ストレージ部17(A)で記録するとともに、撮像表示装置1Bの表示部2(B)で表示させる処理例である。
【0089】
この図14の処理は、例えば上記図11のステップF402で自機モードと判断された際の処理の他の例と考えることができる。図14において、図12と同一の処理は同一のステップ番号を付している。
システムコントローラ10(A)は図14の処理に進んだ場合、ステップF403で、は表示部2(A)をシースルー状態もしくは撮像モニタ状態に制御する。
またステップF440で、システムコントローラ10(A)は、撮像部3(A)に撮像開始を指示する。これによって撮像部3(A)は画像撮像を開始する。またシステムコントローラ10(A)は、通信部18(A)に対して送信スタンバイを指示するとともに、ストレージ部17(A)に対して記録スタンバイを指示する。
【0090】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。システムコントローラ10(A)は、送信及び記録スタンバイ中に決定コマンドが受信された場合は、それを送信及び記録の開始操作と判断する。またシステムコントローラ10(A)は、送信及び記録中に決定コマンドが受信された場合は、それを送信及び記録の停止操作と判断する。
従って、ステップF440で送信スタンバイ、記録スタンバイとなった際に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを開始コマンドと解釈して、処理をステップF405からF441に進める。
ステップF441では、システムコントローラ10(A)は、表示スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
またステップF442で、ストレージ部17(A)に撮像画像データの記録開始を指示するとともに、通信部18(A)に撮像画像データの送信開始を指示する。これによって、撮像部3(A)で得られた撮像画像データの記録及び送信が開始される。
【0091】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの表示スタンバイのコマンドを受信したら、処理をステップF701からF702に進め、その撮像表示装置1Bの表示部2(B)に対して、受信画像の表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
その後、撮像表示装置1A側のステップF442により、撮像画像データが送信されてくるため、システムコントローラ10(B)は、ステップF703で、通信部18(B)で受信される撮像画像データについての表示部2(B)での表示を開始させる。
【0092】
このステップF441,F442、及びステップF702,F703の処理により、撮像表示装置1Aで撮像されている撮像画像データが、撮像表示装置1A側で記録されるとともに、撮像表示装置1B側で表示される。
従って撮像表示装置1Aを装着している講師U1が見ている視界光景を、撮像表示装置1Bを装着している受講者U2が、表示部2(B)において見ることができる。
【0093】
ステップF442の制御で送信及び記録が開始された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF407からF443に進める。この場合システムコントローラ10(A)は、ストレージ部17(A)に撮像画像データの記録の停止を指示するとともに、通信部18(A)による撮像画像データの送信を停止させる。これによって、撮像部3(A)で得られた撮像画像データの記録及び送信が停止される。ストレージ部17(A)は記録スタンバイ状態となり、通信部18(A)は送信スタンバイ状態となる。
またステップF444で、システムコントローラ10(A)は、停止通知を、通信部18(A)から撮像表示装置1Bに送信させる。
【0094】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの停止通知を受信したら、処理をステップF704からF705に進め、撮像画像データの受信/表示を停止させる。つまり表示部2(B)において受信画像の表示を行う動作状態を終了させ、例えば表示部2をシースルー状態に戻す。
【0095】
その後、撮像表示装置1Aのシステムコントローラ10(A)は、さらに決定コマンドが受信されたら、それを開始コマンドと解釈して、ステップF405からF441、F442に進んで、表示スタンバイのコマンド送信を実行させた後、送信及び記録を再開させる。撮像表示装置1B側では、それに対応してステップF702,F703の処理を行う。
また、その後決定コマンドが受信されたら、システムコントローラ10(A)は停止コマンドと解釈し、ステップF407からF443,F444に進み、送信及び記録動作を停止させ、また停止通知を送信させる。撮像表示装置1B側では、それに対応してステップF704,F705の処理を行う。
【0096】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、自分の視界光景としての撮像画像データを記録するとともに受講者U2が見ることができるようにしたり、それらを停止させたりすることができる。
例えば図15(a)は、講師U1が装着している撮像表示装置1Aで撮像される画像の例として、受講者U2の撮像画像を示しているが、講師U1がリモートコントローラ30で操作することで、受講者U2が装着している撮像表示装置1Bにおいて、このような受講者U2自身の画像を表示させること、及び講師U1が装着している撮像表示装置1Aで記録することが、任意に可能となる。
【0097】
システムコントローラ10(A)は終了トリガを検出したら、ステップF409からF410に進み、撮像/記録の終了処理を行って一連の処理を終える。
なお、この図14の処理の変形例として、撮像表示装置1A側では、撮像画像データの送信のみを行って、記録を行わないものとする例も考えられる。
【0098】
講師U1がリモートコントローラ30により撮像画像記録を指示する操作を行った場合、自機モードか他機モードかにより、以上の図12,図13,図14のような処理が行われる。
なお、図11のステップF402の時点で、両機モードであった場合は、撮像画像記録に関しては自機モードとみなして図12又は図14の処理を行なえばよい。
或いは、自機モードの場合は図12の処理、両機モードの場合は図14の処理を行うようにしてもよい。
さらに両機モードの場合は、撮像表示装置1A、1Bの両方で撮像が行われるようにしてもよい。
その場合、両方の撮像画像データが撮像表示装置1Aのストレージ部17(A)で記録及び表示されるようにしてもよい。或いは、表示に関しては、表示部2(A)、表示部2(B)の一方又は両方で、画面分割により、両方の撮像画像が同時表示されるようにしてもよい。
また両機モードの場合は、撮像表示装置1A、1Bの両方で撮像が行われるようにし、撮像表示装置1Aの撮像画像データが撮像表示装置1Aのストレージ部17(A)で記録され、撮像表示装置1Bの撮像画像データが撮像表示装置1Bのストレージ部17(B)で記録されるようにし、表示に関しては、表示部2(A)、表示部2(B)の一方又は両方で、画面分割により、両方の撮像画像が同時表示されるようにしてもよい。
さらに両機モードの場合は、撮像表示装置1A、1Bの両方で撮像が行われるようにし、撮像表示装置1Aの撮像画像データが撮像表示装置1Bのストレージ部17(B)で記録されるとともに表示部2(B)で表示され、撮像表示装置1Bの撮像画像データが撮像表示装置1Aのストレージ部17(A)で記録されるとともに表示部2(A)で表示されるようにしてもよい。もちろんこの場合も、表示部2(A)、表示部2(B)の一方又は両方で、画面分割により、両方の撮像画像が同時表示されるようにしてもよい。
【0099】
なお、本例では、自機モード、他機モード、両機モードを設定した上で、撮像画像記録の指示(図11のステップF401で認識される指示)を行うものとして述べているが、例えば撮像画像記録の指示の操作として、自機撮像、他機撮像、或いは両機撮像をダイレクトに指定できるようなメニュー項目を用意してもよい。
【0100】
[9.再生処理(自機再生、自機表示)]
次に、講師U1がリモートコントローラ30を操作して、画像の再生を実行させる場合の処理を説明する。まずここでは、撮像表示装置1Aが自機モードとされている場合について述べる。
例えば撮像表示装置1Aの操作メニューのメニュー項目には、ストレージ部17(A)に記録された画像コンテンツが示され、講師U1は、メニュー操作モードでリモートコントローラ30を操作することで、撮像表示装置1Aに、画像コンテンツを指定して再生の指示を行うことができる。
ストレージ部17(A)に記録された画像コンテンツとは、上記図12,図13,図14のような処理で記録された撮像画像データである。つまり撮像表示装置1A又は1Bで撮像された画像データである。もちろん、それ以外の画像データであってもかまわない。例えば通信部18(A)がネットワーク通信によりダウンロードした画像コンテンツでもよいし、ストレージ部17(A)が可搬性記録媒体の再生機能を備えていれば、可搬性記録媒体に記録されている画像コンテンツであってもよい。
【0101】
撮像表示装置1Aのシステムコントローラ10(A)は、例えばメニュー操作により、再生する画像コンテンツの指定の指示があった場合は、処理を図16のステップF601からF602に進め、ここで現在の被制御機器モードを判別する。そして自機モードか他機モードか両機モードかによって処理を分岐する。
【0102】
自機モードであった場合は、システムコントローラ10(A)は図17の処理に進むことになる。これは、撮像表示装置1Aが、再生する画像データを自機で表示する処理となる。
まず図17のステップF603では、システムコントローラ10(A)は表示部2(A)
での再生画像表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
そしてステップF604で、ストレージ部17(A)に指定された画像データの読み出しを指示するとともに、その再生された画像データを表示部2(A)に転送させ、再生画像の表示を開始させる。
【0103】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンド(操作子部32の押圧操作によるコマンド)を待機する。システムコントローラ10(A)は、再生画像表示中に決定コマンドが受信された場合は、それを再生及び表示の停止操作と判断する。またシステムコントローラ10(A)は、再生及び表示の停止中に決定コマンドが受信された場合は、それを再生及び表示の再開操作と判断する。
【0104】
従って、ステップF604で再生及び表示を開始させた後に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF605からF606に進める。そしてストレージ部17(A)に画像データの読み出しの停止を指示する。また表示部2(A)に再生画像表示の停止を指示し、表示パネル部2aをシースルー状態に戻させる。
【0105】
ステップF606の制御で再生及び表示が停止された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを再開コマンドと解釈して、処理をステップF607からF603に戻す。
つまり上記同様にシステムコントローラ10(A)は、ステップF603で表示部2(A)での再生画像表示を指示し、ステップF604でストレージ部17(A)に画像データの読み出し(例えば前回の停止ポイントからの読み出し)を指示するとともに、その再生された画像データを表示部2(A)に転送させ、再生画像の表示を再開させる。
【0106】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、再生画像の表示を実行させたり停止させたりすることができる。
【0107】
システムコントローラ10(A)は終了トリガを検出したら、ステップF608からF609に進み、画像再生/表示の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、画像再生/表示の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF606で表示停止された状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF601で画像再生の指示が出た直前の状態に戻す。
【0108】
[10.再生処理(自機再生、他機表示)]
撮像表示装置1Aのシステムコントローラ10(A)は、再生する画像データの指定操作があると、処理を図16のステップF601からF602に進めるが、このときに現在の被制御機器モードが他機モードであった場合は、図18の処理に進むことになる。これは、撮像表示装置1Aで再生する画像を、他機(撮像表示装置1B)で表示させる処理となる。
【0109】
まず図18のステップF620では、システムコントローラ10(A)は、表示スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
そしてステップF621で、ストレージ部17(A)に指定された画像データの読み出しを指示するとともに、その再生された画像データを通信部18(A)に転送させ、通信部18(A)に再生画像の送信を開始させる。
【0110】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの表示スタンバイのコマンドを受信したら、処理をステップF701からF702に進め、その撮像表示装置1Bの表示部2(B)に対して、受信画像の表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
その後、撮像表示装置1A側のステップF621により、再生された撮像画像データが送信されてくるため、システムコントローラ10(B)は、ステップF703で、通信部18(B)で受信される撮像画像データについての表示部2(B)での表示を開始させる。
【0111】
このステップF620,F621、及びステップF702,F703の処理により、撮像表示装置1Aのストレージ部17(A)で再生されている画像データが、撮像表示装置1B側で表示される。
従って撮像表示装置1Aで再生した画像を、撮像表示装置1Bを装着している受講者U2が、表示部2(B)において見ることができる。
【0112】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンドを待機し、上記図17の場合と同様に決定コマンドを解釈する。
従って、ステップF621で再生及び送信を開始させた後に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF622からF623に進める。
そしてストレージ部17(A)に画像データの読み出しの停止を指示する。また通信部18(A)に再生画像データの送信の停止を指示する。
さらにステップF624で、システムコントローラ10(A)は、停止通知を、通信部18(A)から撮像表示装置1Bに送信させる。
【0113】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの停止通知を受信したら、処理をステップF704からF705に進め、撮像画像データの受信/表示を停止させる。つまり表示部2(B)において受信画像の表示を行う動作状態を終了させ、例えば表示部2をシースルー状態に戻す。
【0114】
ステップF623の制御で再生及び送信が停止された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを再開コマンドと解釈して、処理をステップF625からF620に戻す。
つまり上記同様にシステムコントローラ10(A)は、ステップF620で撮像表示装置1Bに対する表示スタンバイのコマンド送信を通信部18(A)に実行させ、ステップF621でストレージ部17(A)に画像データの読み出し(例えば停止ポイントからの読み出し)を指示するとともに、その再生された画像データについての通信部18(A)による送信を再開させる。
撮像表示装置1B側では、それに対応してステップF702,F703の処理を行う。
【0115】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、再生画像の受講者U2側での表示を実行させたり停止させたりすることができる。
【0116】
システムコントローラ10(A)は終了トリガを検出したら、ステップF626からF627に進み、画像再生/送信の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、画像再生/送信の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF623で送信停止された状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF601で画像再生の指示が出た直前の状態に戻す。
【0117】
なお、撮像表示装置1B側では、ステップF704で停止通知が受信されることで、ステップF705で受信及び表示動作を終了させるが、例えば停止通知が受信されなくとも、一定時間以上、再生画像データの受信が途切れたような場合、停止通知と同様に判断してステップF705で表示処理を終了させてもよい。
【0118】
[11.再生処理(自機再生、両機表示)]
撮像表示装置1Aのシステムコントローラ10(A)は、再生する画像データの指定操作があると、処理を図16のステップF601からF602に進めるが、ここで現在の被制御機器モードが両機モードであった場合は、図19の処理に進むことになる。これは、撮像表示装置1Aで再生する画像を、自機(撮像表示装置1A)と他機(撮像表示装置1B)の両方で表示させる処理となる。
【0119】
まず図19のステップF640では、システムコントローラ10(A)は表示部2(A)での再生画像表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
またステップF641で、システムコントローラ10(A)は、表示スタンバイのコマンドを、通信部18(A)から撮像表示装置1Bに送信させる。
そしてステップF642で、システムコントローラ10(A)は、ストレージ部17(A)に指定された画像データの読み出しを指示するとともに、その再生された画像データを表示部2(A)に転送させ、再生画像の表示を開始させる。さらに、その再生された画像データを通信部18(A)に転送させ、通信部18(A)に再生画像の送信を開始させる。
【0120】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの表示スタンバイのコマンドを受信したら、処理をステップF701からF702に進め、その撮像表示装置1Bの表示部2(B)に対して、受信画像の表示を指示する。例えばシースルー状態から、画像表示状態となるように制御する。
その後、撮像表示装置1A側のステップF621により、再生された撮像画像データが送信されてくるため、システムコントローラ10(B)は、ステップF703で、通信部18(B)で受信される撮像画像データについての表示部2(B)での表示を開始させる。
【0121】
このステップF640,F641,F642、及びステップF702,F703の処理により、撮像表示装置1Aのストレージ部17(A)で再生されている画像データが、撮像表示装置1A、撮像表示装置1Bの両方で表示される。
従って撮像表示装置1Aで再生した画像を、撮像表示装置1Aを装着している講師U1と撮像表示装置1Bを装着している受講者U2が、それぞれ表示部2(A)、表示部2(B)で見ることができる。
【0122】
以降、システムコントローラ10(A)は、リモートコントローラ30からの決定コマンドを待機し、上記図17の場合と同様に決定コマンドを解釈する。
従って、ステップF642で再生、表示、及び送信を開始させた後に、決定コマンドが受信されたら、システムコントローラ10(A)はそれを停止コマンドと解釈して、処理をステップF643からF644に進める。
そしてストレージ部17(A)に画像データの読み出しの停止を指示する。また通信部18(A)に再生画像データの送信の停止を指示する。さらに表示部2(A)に再生画像の表示停止を指示し、表示部2(A)の表示パネル部2aをシースルー状態に制御する。
またステップF645で、システムコントローラ10(A)は、停止通知を、通信部18(A)から撮像表示装置1Bに送信させる。
【0123】
撮像表示装置1B側のシステムコントローラ10(B)は、撮像表示装置1Aからの停止通知を受信したら、処理をステップF704からF705に進め、撮像画像データの受信/表示を停止させる。つまり表示部2(B)において受信画像の表示を行う動作状態を終了させ、例えば表示部2をシースルー状態に戻す。
【0124】
ステップF644の制御で再生、表示及び送信が停止された後において、決定コマンドが受信されたら、システムコントローラ10(A)はそれを再開コマンドと解釈して、処理をステップF646からF640に戻す。
つまり上記同様にシステムコントローラ10(A)は、ステップF640で表示部2(A)に再生画像表示を指示し、ステップF641で撮像表示装置1Bに対する表示スタンバイのコマンド送信を通信部18(A)に実行させ、ステップF642でストレージ部17(A)に画像データの読み出し(例えば停止ポイントからの読み出し)を指示するとともに、その再生された画像データについての表示部2(A)での表示と、通信部18(A)による送信を再開させる。
撮像表示装置1B側では、それに対応してステップF702,F703の処理を行う。
【0125】
従って、講師U1は、リモートコントローラ30の操作子部32の押圧を行うことで、講師U1側と受講者U2側での再生画像の表示を実行させたり停止させたりすることができる。
【0126】
システムコントローラ10(A)は終了トリガを検出したら、ステップF647からF648に進み、画像再生/送信の終了処理を行って一連の処理を終える。
終了トリガは、例えば講師U1がメニュー操作等を行って、画像再生/表示の終了を指示できるようにしてもよいし、リモートコントローラ30の所定の操作(例えば2連続押圧など)を終了操作とするようにしてもよい。
またステップF644で表示停止された状態で一定時間以上経過したら、それを終了トリガとシステムコントローラ10(A)が判断するようにしてもよい。
終了処理としては、例えば各部を、ステップF601で画像再生の指示が出た直前の状態に戻す。
【0127】
なおこの場合も、撮像表示装置1B側では、ステップF704で停止通知が受信されることで、ステップF705で受信及び表示動作を終了させるが、例えば停止通知が受信されなくとも、一定時間以上、再生画像データの受信が途切れたような場合、停止通知と同様に判断してステップF705で表示処理を終了させてもよい。
【0128】
以上の図16,図17,図18,図19の処理例は、自機モード、他機モード、両機モードを設定した上で、再生する画像データの指示(図16のステップF601で認識される指示)を行うものとして述べているが、例えば再生する画像コンテンツ指定の際に、自機撮像、他機撮像、或いは両機撮像をダイレクトに指定できるようなメニュー項目を用意してもよい。
【0129】
なお、図17,図18,図19では省略したが、再生中や再生停止中には、リモートコントローラ30から早送りコマンドや早戻しコマンドが送信されてくることもある。システムコントローラ10(A)は、これらのコマンドに応じた早送り再生、早戻し再生なども実行されるようにストレージ部17(A)に対する制御を行うことになる。
【0130】
[12.実施の形態の効果、及び変形例、拡張例]
以上、実施の形態を説明してきたが、実施の形態によれば、例えば講師U1と受講者U2が撮像表示装置1A、1Bを装着することで、お互いに他方のユーザの視覚光景を容易に見ることができる。また、お互いの視界光景を撮像表示装置1A側で記録し、後に再生させて、講師U1で、或いは受講者U2で、或いはその双方で、見ることができる。
【0131】
例えばゴルフ講習の使用を想定すると、撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Aで記録することで、講師U1の視界光景を記録できる。例えば受講者のスイングフォームなどを講師の視点の光景として記録できる。特に講師が考えるチェックポイントなどを的確に記録できることになる。
また撮像表示装置1Bで撮像して、撮像画像データを、撮像表示装置1Aで記録させることで、受講者U2から見た講師の見本フォームなどを記録することができる。
また撮像表示装置1Aで撮像して、撮像画像データを、撮像表示装置1Bで表示させることで、講師U1から見た受講者U2の動作を、受講者U2自身がリアルタイムで見ることができる。例えばゴルフのスイングを、自分のスイングフォームを見ながら練習できる。
また、撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Aで表示させることで、講師U1は、自分のフォームや受講者U2のフォームなどを容易に確認できる。
また、撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1Bで表示させることで、講師U1は、自分のフォームや受講者U2のフォームなどを容易に受講者U2に見させることができる。
また、撮像表示装置1Aで再生する撮像画像データを、撮像表示装置1A、1Bの両方で表示させることで、講師U1や受講者U2の動作を、同時に見ながら講習を進めることができる。
【0132】
これらのことで、受講者U2は、自分の動きやフォームを受講者自身がその場で視認しながら、口頭で説明してもらったりするなど、効果的な練習が可能になる。また練習場所や時間の制約が少ない講習が可能になるという大きな効果がある。
さらに、講師U1がリモートコントローラ30を操作することで、これらを容易に実現できることも、非常に好適である。
【0133】
これらは、ゴルフ講習という例において述べた効果の一例であるが、これ以外にもリアルタイムの視覚交換や、再生画像の視覚交換、さらには視覚共用としての本システムの動作を有効に活用できる使用形態は非常に多様に考えられる。
例えばスポーツ練習に好適であるばかりでなく、自動車運転教習や、各種の習い事、さらには遊技、ゲーム、テーマパークのアトラクション等にも利用できる。また学術研究や調査などの用途も考えられる。
【0134】
なお、本発明の撮像表示システム、撮像表示装置、撮像表示装置の制御方法の実施の形態を説明してきたが、本発明は、上記実施の形態の例に限らず多様な変形例や拡張例が考えられる。
本発明の撮像表示装置やリモートコントローラとしての構成例や処理例は、それぞれ多様に考えられる。
【0135】
また、撮像表示装置1(1A、1B)では、通常の撮像だけでなく、多様な撮像動作を行って記録や送信を行うようにしてもよい。例えば、望遠撮像、広角撮像、望遠から広角までの間のズームインもしくはズームアウトを行いながらの撮像、画像拡大撮像、画像縮小撮像、フレームレートの可変撮像(高フレームレートでの撮像や低フレームレートでの撮像など)、高輝度撮像、低輝度撮像、コントラスト可変撮像、シャープネス可変撮像、撮像感度上昇状態の撮像、赤外線撮像感度上昇状態の撮像、紫外線撮像感度上昇状態の撮像、特定波長帯域をカットした撮像、撮像画像データに対するモザイク処理/輝度反転処理/ソフトフォーカス処理/画像内の一部の強調処理/画像全体の色の雰囲気の可変処理などの画像エフェクトを加えた撮像、静止画撮像などである。
【0136】
また、画像データによる視覚交換だけでなく、音声データを例えば撮像表示装置1Bから撮像表示装置1Aに送信したり、その逆をおこなって聴覚交換を実行できるようにしてもよい。
【0137】
また、上記実施の形態では、撮像表示装置1Aに対応するリモートコントローラ30を用いて操作することとしたが、これに加えて、撮像表示装置1Bに対応するリモートコントローラ30を同時に用いることも考えられる。例えば上記例で言えば、受講者U2もリモートコントローラ30により操作可能とする。その場合、撮像表示装置1Bのシステムコントローラ10(B)が、受講者U2が装着したリモートコントローラ30に対応して、上述した図9〜図17で撮像表示装置1A側の処理として説明した処理を行えばよい。(その場合は、システムコントローラ10(A)が、撮像表示装置1B側の処理として説明した処理を行う。)
すると、双方のユーザが、それぞれ任意に、上述した各種動作を指示できることになる。
【0138】
さらに、3以上の撮像表示装置1において、相互に視覚交換としての上述した撮像、記録、再生、表示を行うことも可能である。
例えば撮像表示装置1A、1B、1Cとして3台を考えた場合、撮像表示装置1Aで撮像した画像を、撮像表示装置1B、1Cで表示させることができる。
また、撮像表示装置1Aで再生した画像を、撮像表示装置1A、1B、1Cで表示させることもできる。
また撮像表示装置1Aで撮像(又は再生)した画像と撮像表示装置1Bで撮像(又は再生)した画像を、撮像表示装置1Cで画面分割して同時表示させることもできる。
また撮像表示装置1A、1B、1Cで撮像した各画像を、撮像表示装置1A、1B、1Cで画面分割して同時表示させることもできる。
【図面の簡単な説明】
【0139】
【図1】本発明の実施の形態の撮像表示装置の外観例の説明図である。
【図2】実施の形態の撮像表示システムの使用形態の説明図である。
【図3】実施の形態の撮像表示装置のブロック図である。
【図4】実施の形態のリモートコントローラの装着状態の説明図である。
【図5】実施の形態のリモートコントローラの説明図である。
【図6】実施の形態のリモートコントローラのブロック図である。
【図7】実施の形態のリモートコントローラの処理のフローチャートである。
【図8】実施の形態の表示装置のブロック図である。
【図9】実施の形態のメニュー操作の説明図である。
【図10】実施の形態の透過率制御処理のフローチャートである。
【図11】実施の形態の撮像画像記録指示の際の処理のフローチャートである。
【図12】実施の形態で自機撮像、自機記録の処理のフローチャートである。
【図13】実施の形態で他機撮像、自機記録/表示の処理のフローチャートである。
【図14】実施の形態で自機撮像/記録、他機表示の処理のフローチャートである。
【図15】実施の形態で自機撮像画像、他機撮像画像の説明図である。
【図16】実施の形態で再生画像指定時の処理のフローチャートである。
【図17】実施の形態で自機再生、自機表示の処理のフローチャートである。
【図18】実施の形態で自機再生、他機記録の処理のフローチャートである。
【図19】実施の形態で自機再生、両機記録の処理のフローチャートである。
【符号の説明】
【0140】
1、1A、1B 撮像表示装置、2 表示部、3 撮像部、5 音声出力部、6 音声入力部、10 システムコントローラ、11 操作入力部、17 ストレージ部、18 通信部、30 リモートコントローラ、31 本体部、32 操作子部
【特許請求の範囲】
【請求項1】
複数の撮像表示装置を有する撮像表示システムであって、
上記各撮像表示装置は、
使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、
使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、
他方の撮像表示装置との間で撮像画像データの通信を行う通信手段と、
上記撮像手段で得られた撮像画像データを上記通信手段により他方の撮像表示装置に送信させる制御と、上記他方の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させる制御と、を行う制御手段と、
を備えていることを特徴とする撮像表示システム。
【請求項2】
さらにリモートコントローラを備え、
上記リモートコントローラは、使用者の操作に応じて一方の撮像表示装置に対してコマンド信号を送信するとともに、
上記一方の撮像表示装置の制御手段は、上記コマンド信号に応じて、自己の動作制御を行うとともに、上記通信手段により、他方の撮像表示装置に動作制御情報を送信する制御を行うことを特徴とする請求項1に記載の撮像表示システム。
【請求項3】
使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、
使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、
外部の撮像表示装置との間で撮像画像データの通信を行う通信手段と、
上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させる制御と、を行う制御手段と、
を備えていることを特徴とする撮像表示装置。
【請求項4】
撮像画像データの記録を行う記録手段をさらに備え、
上記制御手段はさらに、上記撮像手段で得られた撮像画像データを上記記録手段により記録させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項5】
撮像画像データの記録を行う記録手段をさらに備え、
上記制御手段はさらに、上記他方の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記記録手段により記録させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項6】
画像データの再生を行う再生手段をさらに備え、
上記制御手段はさらに、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項7】
画像データの再生を行う再生手段をさらに備え、
上記制御手段はさらに、上記再生手段で再生された撮像画像データを上記表示手段で表示させる制御と、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御とを行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項8】
上記制御手段は、操作入力信号に応じて、自己の動作制御を実行するとともに、上記通信手段により、外部の撮像表示装置に動作制御情報を送信させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項9】
上記制御手段は、上記操作入力信号に応じて、上記表示画面の透過率の可変制御と、外部の撮像表示装置の表示画面の透過率制御情報の送信制御の一方又は両方を実行することを特徴とする請求項8に記載の撮像表示装置。
【請求項10】
上記制御手段は、上記操作入力信号に応じて、
撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、外部の撮像表示装置への撮像画像データの送信を求める制御情報の送信制御の、一方又は両方を実行することを特徴とする請求項8に記載の撮像表示装置。
【請求項11】
上記操作入力信号は、リモートコントローラからのコマンド信号として入力される信号であることを特徴とする請求項8に記載の撮像表示装置。
【請求項12】
使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、
使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、
外部の撮像表示装置との間で撮像画像データの通信を行う通信手段と、
を備えた撮像表示装置の制御方法として、
操作入力に応じて、上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させるステップと、
操作入力に応じて、外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させるステップと、
を備えることを特徴とする撮像表示装置の制御方法。
【請求項1】
複数の撮像表示装置を有する撮像表示システムであって、
上記各撮像表示装置は、
使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、
使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、
他方の撮像表示装置との間で撮像画像データの通信を行う通信手段と、
上記撮像手段で得られた撮像画像データを上記通信手段により他方の撮像表示装置に送信させる制御と、上記他方の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させる制御と、を行う制御手段と、
を備えていることを特徴とする撮像表示システム。
【請求項2】
さらにリモートコントローラを備え、
上記リモートコントローラは、使用者の操作に応じて一方の撮像表示装置に対してコマンド信号を送信するとともに、
上記一方の撮像表示装置の制御手段は、上記コマンド信号に応じて、自己の動作制御を行うとともに、上記通信手段により、他方の撮像表示装置に動作制御情報を送信する制御を行うことを特徴とする請求項1に記載の撮像表示システム。
【請求項3】
使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、
使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、
外部の撮像表示装置との間で撮像画像データの通信を行う通信手段と、
上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させる制御と、を行う制御手段と、
を備えていることを特徴とする撮像表示装置。
【請求項4】
撮像画像データの記録を行う記録手段をさらに備え、
上記制御手段はさらに、上記撮像手段で得られた撮像画像データを上記記録手段により記録させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項5】
撮像画像データの記録を行う記録手段をさらに備え、
上記制御手段はさらに、上記他方の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記記録手段により記録させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項6】
画像データの再生を行う再生手段をさらに備え、
上記制御手段はさらに、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項7】
画像データの再生を行う再生手段をさらに備え、
上記制御手段はさらに、上記再生手段で再生された撮像画像データを上記表示手段で表示させる制御と、上記再生手段で再生された画像データを上記通信手段により外部の撮像表示装置に送信させる制御とを行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項8】
上記制御手段は、操作入力信号に応じて、自己の動作制御を実行するとともに、上記通信手段により、外部の撮像表示装置に動作制御情報を送信させる制御を行うことを特徴とする請求項3に記載の撮像表示装置。
【請求項9】
上記制御手段は、上記操作入力信号に応じて、上記表示画面の透過率の可変制御と、外部の撮像表示装置の表示画面の透過率制御情報の送信制御の一方又は両方を実行することを特徴とする請求項8に記載の撮像表示装置。
【請求項10】
上記制御手段は、上記操作入力信号に応じて、
撮像画像データを上記通信手段により外部の撮像表示装置に送信させる制御と、外部の撮像表示装置への撮像画像データの送信を求める制御情報の送信制御の、一方又は両方を実行することを特徴とする請求項8に記載の撮像表示装置。
【請求項11】
上記操作入力信号は、リモートコントローラからのコマンド信号として入力される信号であることを特徴とする請求項8に記載の撮像表示装置。
【請求項12】
使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、上記表示画面を透明又は半透明のスルー状態とすることができる表示手段と、
使用者の視界方向を被写体方向として撮像して撮像画像データを得る撮像手段と、
外部の撮像表示装置との間で撮像画像データの通信を行う通信手段と、
を備えた撮像表示装置の制御方法として、
操作入力に応じて、上記撮像手段で得られた撮像画像データを上記通信手段により外部の撮像表示装置に送信させるステップと、
操作入力に応じて、外部の撮像表示装置から送信され上記通信手段で受信された撮像画像データを上記表示手段で表示させるステップと、
を備えることを特徴とする撮像表示装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2009−21914(P2009−21914A)
【公開日】平成21年1月29日(2009.1.29)
【国際特許分類】
【出願番号】特願2007−184145(P2007−184145)
【出願日】平成19年7月13日(2007.7.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成21年1月29日(2009.1.29)
【国際特許分類】
【出願日】平成19年7月13日(2007.7.13)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]