画像処理装置
【課題】ＨＭＤ１２と一緒に観察者の頭部に装着されるカメラ２１によって現実外界内の対象物が撮像されたカメラ画像をモニタ装置１３０が観察者とは別の者に対して表示する場合に、前記対象物が適切にモニタ装置１３０によって表示されるように、前記カメラ画像に対して画像処理を行う。
【解決手段】観察者の頭部の、重力方向に対する傾き角を検出し、カメラ画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を行う。その画像傾き補正が行われたカメラ画像をモニタ画像としてモニタ装置１３０の画面１５０上に表示する。
【解決手段】観察者の頭部の、重力方向に対する傾き角を検出し、カメラ画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を行う。その画像傾き補正が行われたカメラ画像をモニタ画像としてモニタ装置１３０の画面１５０上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ（以下、「ＨＭＤ」と略称する。）と一緒に観察者の頭部に装着されるカメラによって現実外界内の対象物が撮像されたカメラ画像をモニタ装置が観察者とは別の者に対して表示する技術に関し、特に、前記対象物が適切にモニタ装置によって表示されるように、前記カメラ画像に対して画像処理を行う技術に関する。
【背景技術】
【０００２】
表示すべき画像を表す画像光を観察者の眼の網膜に投影するために観察者の頭部に装着されるＨＭＤを有する画像表示装置が既に知られている。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。
【０００３】
ＨＭＤを、画像光形成方式によって分類すると、空間変調型、すなわち、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ）を用いて、光源からの出射光を用いて前記画像光を形成する方式と、走査型、すなわち、光源からの出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式とに分類される。
【０００４】
また、ＨＭＤを、表示画像の観察方式によって分類すると、シースルー型、すなわち、観察者が、当該ＨＭＤによる表示画像に重ねて、現実外界を観察することが可能である方式と、密閉型、すなわち、現実外界を表す外光の入射を完全にまたは部分的に（例えば、片眼についてのみ）遮断し、観察者が、主に、ＨＭＤによる表示画像のみを観察することを可能である方式とに分類される。
【０００５】
ＨＭＤは、シースルー型である場合には、観察者は、自身の前方に位置する現実外界を実像として、ＨＭＤによる表示画像と一緒に観察することが可能である。しかし、ＨＭＤが密閉型である場合であっても、観察者の頭部に装着されたカメラによって現実外界を撮像し、そのカメラ画像を第２の表示画像として観察者に表示するようにＨＭＤを構成することが可能である。この構成によれば、密閉型のＨＭＤであっても、観察者は、自身の前方に位置する現実外界を虚像として、ＨＭＤによる表示画像と一緒に観察することが可能である。
【０００６】
特許文献１は、シースルー型のＨＭＤであって、画像信号に応じた画像を虚像として表示するが、現実外界を撮像するカメラを用いないものを開示している。そのＨＭＤにおいては、そのＨＭＤが装着される観察者の頭部の傾き角が検出され、その検出された傾き角に基づき、画像の傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正が、ＨＭＤによる表示画像に対して行われる。
【０００７】
特許文献２は、ＨＭＤであって、現実外界内の被写体を撮像しているカメラのファインダ画像を観察者に表示するものを開示している。このＨＭＤにおいては、ファインダ画像（カメラ画像の一種）が、ＨＭＤによる表示画像である。このカメラは、観察者が自ら手で持って撮影するというように、観察者の頭部に装着されておらず、よって、ＨＭＤとは異なる動きをする可能性がある。それにもかかわらず、ＨＭＤによる表示画像内の被写体の向きが変化しないように、このＨＭＤにおいては、前記画像傾き補正が前記表示画像に対して行われる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３２３００１号公報
【特許文献２】特開２００７−３３３９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明者は、ＨＭＤを有する画像表示装置について研究を行い、その結果、ＨＭＤと一緒に観察者の頭部に装着されたカメラが撮像したカメラ画像を、観察者の位置から離れた遠隔地においてモニタ装置が観察者とは別の者に表示することが可能な遠隔支援システムを提案した。
【００１０】
具体的には、この遠隔支援システムにおいては、観察者の頭部に装着されたカメラが、ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物（被写体）をカメラ画像として撮像する。この遠隔支援システムにおいては、さらに、ＨＭＤを有する画像表示装置と、観察者とは別の者に対して前記カメラ画像をモニタ画像として表示するモニタ装置とが、無線または有線により、相互に通信可能となっている。この遠隔支援システムによれば、観察者の視界の状態および／または前記対象物の状態を遠隔地において、観察者とは別の者がモニタすることが可能となる。
【００１１】
本発明者は、この遠隔支援システムについてさらに研究を行った結果、この遠隔支援システムには改善の余地があることに気が付いた。以下、このことを説明するが、ここでは簡単に説明し、後に図面を参照して詳細に説明する。
【００１２】
この遠隔支援システムにおいては、観察者が首を傾けると、カメラ画像内における対象物の像が傾き、この傾きに伴い、モニタ装置の画面上のモニタ画像内における対象物の像も傾く。その結果、そのモニタ画像を見ながら、観察者に対して何らかの指示や助言などの支援を行おうとする者（以下、「支援者」という。）にとっては、観察者が首を傾けるごとに、モニタ画像内において、対象物の像の向きが変化し、その結果、対象物の像が揺れる。これは、支援者がモニタ画像を分析して支援作業を行う際の効率を低下させる要因となり得、さらに、支援者に視覚的な不快感を与える要因ともなり得る。
【００１３】
さらに、この遠隔支援システムにおいては、観察者が首を傾けると、支援者には、対象物の像が、その対象物の、現実外界（絶対空間）内における実際の向きとは異なる向きを有するように表示される。これに対し、観察者にとっては、自身が首を傾けると、対象物の像が観察者に対して相対的に傾くが、その原因が、観察者が自ら首を傾けたことにあることを知っているため、観察者は、首を傾けても、対象物の向きは変化していないと認識する傾向がある。
【００１４】
そうすると、対象物の向きに関し、観察者と支援者との間で認識のずれが発生してしまう。このようなずれが存在するにもかかわらず、支援者が、モニタ画像を見ながら、方向に関する表現を用いたメッセージを観察者に対して発信すると、その表現の意味を観察者が誤解してしまう可能性がある。
【００１５】
よって、この遠隔支援システムにおいては、観察者が首を傾けても、モニタ画像内における対象物の像の向きができる限り変化しないようにすることが、支援者の作業効率や作業快適性を向上させるために望ましい。
【００１６】
このような知見に基づき、本発明は、ＨＭＤと一緒に観察者の頭部に装着されるカメラによって現実外界内の対象物が撮像されたカメラ画像をモニタ装置が観察者とは別の者に対して表示する場合に、前記対象物が適切にモニタ装置によって表示されるように、前記カメラ画像に対して画像処理を行う技術を提供することを課題としてなされたものである。
【課題を解決するための手段】
【００１７】
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
【００１８】
（１） ヘッドマウントディスプレイ（ＨＭＤ）と一緒に観察者の頭部に装着されるカメラが撮像したカメラ画像であって、前記ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物を撮像したものに対して画像処理を行う画像処理装置であって、
当該画像処理装置は、前記ＨＭＤを有する画像表示装置とモニタ装置とのうちの少なくとも前記画像表示装置に設けられ、
前記ＨＭＤは、画像信号に応じた画像を表す画像光を観察者の眼に投影し、それにより、前記画像を第１画像表示エリア内に表示画像として表示し、
前記モニタ装置は、前記画像表示装置から無線または有線で受信した、前記カメラ画像を表すカメラ画像データに基づき、前記カメラ画像をモニタ画像として第２画像表示エリア内に表示し、
当該画像処理装置は、
観察者の頭部の、重力方向に対する傾き角を検出し、その検出された傾き角を表す傾き角データを出力する傾き角検出部と、
その出力された傾き角データに基づき、画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を、前記カメラ画像データに対しては行うが、前記表示画像を表す表示画像データに対しては行わない画像傾き補正部と
を含み、
前記モニタ装置は、前記画像傾き補正が行われたカメラ画像データである補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する画像処理装置。
【００１９】
（２） さらに、
前記画像表示装置に設けられ、前記カメラ画像データおよび前記傾き角データを前記モニタ装置に送信する送信部を含み、
前記画像傾き補正部は、前記モニタ装置に設けられ、前記送信部から受信した傾き角データに基づき、前記送信部から受信したカメラ画像データに対して前記画像傾き補正を行う（１）項に記載の画像処理装置。
【００２０】
（３） 前記画像傾き補正部は、前記画像表示装置に設けられ、前記傾き角データに基づき、前記カメラ画像データに対して前記画像傾き補正を行い、
当該画像処理装置は、さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像データを前記モニタ装置に送信する送信部を含み、
前記モニタ装置は、その送信部から受信した補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する（１）項に記載の画像処理装置。
【００２１】
（４） さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像を前記第１画像表示エリア内の所定位置に配置されたサブエリア内に、観察者のためのチェック画像として表示するチェック画像表示部を含む（１）ないし（３）項のいずれかに記載の画像処理装置。
【００２２】
（５） さらに、
前記画像表示装置に設けられ、前記対象物を表す外光を、前記表示画像を表す表示光と一緒に前記第１画像表示エリアに投影するシースルー形式であるか、前記カメラによって前記対象物を撮像し、その撮像された画像と前記表示画像との双方を表す表示光を前記第１画像表示エリアに投影する形式であるかを問わず、観察者が前記第１画像表示エリア内において観察する全体画像であって前記表示画像と前記対象物の像とを含むもののうち、前記補正後カメラ画像と一致する一致部分画像を一致しない不一致部分画像から視覚的に区別するための枠画像を前記第１画像表示エリア内に表示する枠画像表示部を含む（１）ないし（３）項のいずれかに記載の画像処理装置。
【００２３】
（６） 前記画像傾き補正部は、前記画像傾き補正前の前記カメラ画像を、位置が指定された回転中心点まわりに、前記傾き角とは逆向きに、かつ、実質的に同じ角度で回転させる画像回転処理と、その画像回転処理後のカメラ画像から、形状とサイズとが指定された部分画像を切り取るトリミング処理とを行うことにより、前記補正後カメラ画像を取得する（１）ないし（５）項のいずれかに記載の画像処理装置。
【００２４】
（７） ヘッドマウントディスプレイ（ＨＭＤ）と一緒に観察者の頭部に装着されるカメラが撮像したカメラ画像であって、前記ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物を撮像したものに対して画像処理を行う画像処理方法であって、
当該画像処理方法は、前記ＨＭＤを有する画像表示装置とモニタ装置とのうちの少なくとも前記画像表示装置において実行され、
前記ＨＭＤは、画像信号に応じた画像を表す画像光を観察者の眼に投影し、それにより、前記画像を第１画像表示エリア内に表示画像として表示し、
前記モニタ装置は、前記画像表示装置から無線または有線で受信した、前記カメラ画像を表すカメラ画像データに基づき、前記カメラ画像をモニタ画像として第２画像表示エリア内に表示し、
当該画像処理方法は、
観察者の頭部の、重力方向に対する傾き角を検出し、その検出された傾き角を表す傾き角データを出力する傾き角検出工程と、
その出力された傾き角データに基づき、画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を、前記カメラ画像データに対しては行うが、前記表示画像を表す表示画像データに対しては行わない画像傾き補正工程と
を含み、
前記モニタ装置は、前記画像傾き補正が行われたカメラ画像データである補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する画像処理方法。
【００２５】
（８） （７）項に記載の画像処理方法を実施するためにコンピュータによって実行されるプログラム。
【００２６】
（９） （８）項に記載のプログラムをコンピュータ読取可能に記録した記録媒体。
【発明の効果】
【００２７】
本発明によれば、ＨＭＤと一緒に観察者の頭部に装着されるカメラによって現実外界内の対象物が撮像されたカメラ画像をモニタ装置が観察者とは別の者に対して表示する場合に、カメラ画像に対して前記画像傾き補正が行われる。よって、本発明によれば、モニタ画像の表示中に、観察者が首を傾けても、モニタ画像内における対象物の向きが実質的に変化せずに済む。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の第１実施形態に従う画像処理装置を互いに共同して実現する画像表示装置およびモニタ装置のうち、前記画像表示装置の外観を示す平面図であり、その画像表示装置は、シースルー型ＨＭＤと制御ユニットとを有する。
【図２】図２は、図１に示す画像表示装置を、その画像表示装置にネットワークを介して接続された前記モニタ装置と共に示す機能ブロック図であり、前記画像表示装置にネットワークを介して前記モニタ装置が接続されることにより、遠隔支援システムが構築される。
【図３】図３は、図１に示すＨＭＤの全体画像表示エリア内において観察者が視認する支援画像の例およびシースルー画像の例を示す正面図である。
【図４】図４（ａ）は、前記第１実施形態に従う遠隔支援システムにおいて、図１に示すＨＭＤがカメラと共に作業者に装着される様子と、そのカメラによって撮像されたカメラ画像が、図２に示すモニタ装置の画面上に表示される様子とを説明するための正面図であり、図４（ｂ）は、従来の遠隔支援システムにおいて、作業者が首を傾けるとモニタ画像内において対象物も傾くことを説明するための正面図であり、図４（ｃ）は、前記第１実施形態に従う遠隔支援システムにおいて、画像傾き補正の効果として、作業者が首を傾けてもモニタ画像内において対象物が傾かずに済むことを説明するための正面図である。
【図５】図５は、図２に示す画像表示装置のＣＰＵによって実行されるデータ送信プログラムを概念的に表すフローチャートである。
【図６】図６は、図２に示すモニタ装置のＣＰＵによって実行される基準傾き角設定プログラムを概念的に表すフローチャートである。
【図７】図７は、図２に示すモニタ装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図８】図８（ａ）は、前記第１実施形態における画像傾き補正のアルゴリズムの一例を説明するための正面図であり、図８（ｂ）は、前記画像傾き補正のアルゴリズムの別の例を説明するための正面図であり、図８（ｃ）は、前記画像傾き補正のアルゴリズムのさらに別の例を説明するための正面図である。
【図９】図９は、図２に示す画像表示装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１０】図１０は、前記第１実施形態において、作業者が、首を傾けた状態で、図１に示すＨＭＤの全体画像表示エリア内において、シースルー画像と共に観察する支援画像およびチェック画像のそれぞれの例を説明するための正面図である。
【図１１】図１１は、本発明の第２実施形態に従う画像処理装置を互いに共同して実現する画像表示装置およびモニタ装置のうち、前記画像表示装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１２】図１２は、前記第２実施形態において、前記モニタ装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１３】図１３は、本発明の第３実施形態に従う画像処理装置を互いに共同して実現する画像表示装置およびモニタ装置のうち、前記画像表示装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１４】図１４は、前記第３実施形態において、作業者が、首を傾けた状態で、前記画像表示装置の全体画像表示エリア内において、シースルー画像と共に観察する支援画像および枠画像のそれぞれの例を説明するための正面図である。
【発明を実施するための形態】
【００２９】
以下、本発明のさらに具体的な実施の形態であって例示的なもののうちのいくつかを図面に基づいて詳細に説明する。
【００３０】
図１には、本発明の第１実施形態に従う画像処理装置を実現するために使用される画像表示装置１０が平面図で示されている。この画像表示装置１０は、シースルー型のＨＭＤ１２を有する。このＨＭＤ１２は、画像を表す画像光を観察者の眼に投影するように構成されている。このＨＭＤ１２は、ヘッドマウント装置１４により、観察者が眼鏡（図示しない）を装着している状態で、観察者の頭部に装着される。
【００３１】
ヘッドマウント装置１４は、フレーム１６と、アタッチメント装置１８とを備えている。フレーム１６は、観察者が装着している眼鏡（図示しない）のフレームであるか、専用のフレームであるかを問わず、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム１６の一部に、アタッチメント装置１８を介してＨＭＤ１２が搭載される。
【００３２】
次に、図１および図２を参照することにより、ＨＭＤ１２およびそのＨＭＤ１２を制御するための制御ユニット２０であってコンピュータを主体として構成されているものを説明する。本実施形態おいては、共に独立した部品であるＨＭＤ１２と制御ユニット２０とが互いに組み合わされて画像表示装置１０を構成しているが、制御ユニット２０をＨＭＤ１２内に組み込むことによって画像表示装置１０を構成してもよい。
【００３３】
まず、ＨＭＤ１２の概略を説明する。図１には、このＨＭＤ１２が平面図で示されている。このＨＭＤ１２は、単眼式であり、画像を表す画像光を観察者の片眼に投影して前記画像を観察者に表示する。さらに、ＨＭＤ１２は、網膜走査型であり、レーザ等、光源からの、画像信号に応じた強度を有する光束をスキャナによって走査し、その走査された光束を観察者の網膜に投影することにより、観察者が画像を虚像として観察することを可能にする。さらに、ＨＭＤ１２は、シースルー型であり、表示画像を観察者が現実外界に重ねて観察することを可能にする。
【００３４】
なお付言するに、本実施形態においては、ＨＭＤ１２が単眼式、網膜走査型およびシースルー型であるが、両眼式に変更したり、光源からの面状の光を、ＬＣＤ（液晶ディスプレイ）、有機ＥＬ（エレクトロ・ルミネッセンス）等、空間変調素子を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の網膜に投影する型式に変更したり、表示画像の観察と並行して現実外界を観察することができないクローズド型に変更することが可能である。
【００３５】
本発明は、ＨＭＤ１２がシースルー型であるかクローズド型であるかを問わず、そのＨＭＤ１２を使用して実施することが可能である。しかし、そのＨＭＤ１２は、観察者が、ＨＭＤ１２による表示画像（例えば、図３に示す支援画像）と一緒に観察者が現実外界を観察することを可能にするものであることが、ＨＭＤ１２を使用して本発明を実施するための必要条件である。
【００３６】
そのため、ＨＭＤ１２がクローズド型である場合には、ＨＭＤ１２を、観察者の前方に位置する現実外界であって、ＨＭＤ１２がシースルー型であったならば観察者が観察し得たであろうシースルー画像（例えば、昼間においてカメラ２１により撮像された、例えば図５に示すシースルー画像や、夜間において赤外線カメラ（図示しない）により撮像された暗視野画像）と同じ画像を第２の表示画像として観察者に表示するように構成することが必要である。
【００３７】
本実施形態においては、カメラ２１（例えば、ＣＣＤ(Charge-Coupled Device)カメラ）が、観察者の前方に位置する現実外界を撮像するために、フレーム１６に固定されている。それにより、カメラ２１は、フレーム１６を介して間接的に、観察者の頭部に装着されている。これにより、カメラ２１は、観察者の頭部の動きに応じ、ＨＭＤ１２と一緒に動くことになる。ただし、カメラ２１は、例えば、ＨＭＤ１２に直接的に装着してもよいことは言うまでもない。
【００３８】
次に、制御ユニット２０を説明する。ＨＭＤ１２に制御ユニット２０が、図１に示すように、ケーブル２２を介して接続されている。ケーブル２２は、制御信号を供給する制御ラインと、電力を供給するパワーラインと、光を伝送する光ファイバ８２（後に詳述する）とを含んでいる。ＨＭＤ１２が観察者の頭部に装着されるのに対し、制御ユニット２０は、観察者のうち、頭部以外の部分（例えば、腰）に装着される。
【００３９】
制御ユニット２０は、図２に機能ブロック図で概念的に表すように、プロセッサとしてのＣＰＵ(Central Processing Unit)２６と、不揮発性メモリとしてのプログラムＲＯＭ(Read Only Memory)２７およびフラッシュＲＯＭ２８と、揮発性メモリとしてのＲＡＭ(Ramdom Access Memory)２９とを備えている。
【００４０】
制御ユニット２０は、さらに、画像表示装置１０の電源を投入・切断するためにユーザによって操作される電源スイッチ３０ａと、画像表示装置１０の電源がオン状態にあることを示すために点灯させられる電源ランプ３０ｂと、操作部（図示しないが、例えば、複数のキーやボタン）とを備えている。
【００４１】
制御ユニット２０は、さらに、ネットワーク・インタフェース（図２においては、「ネットワークＩ／Ｆ」で表す。）３１ａと、周辺インタフェース３１ｂ（図２においては、「周辺Ｉ／Ｆ」で表す。）と、ビデオＲＡＭ３２ａと、ＨＭＤ接続インタフェース・コントローラ３２ｂ（図２においては、「ＨＭＤ接続Ｉ／Ｆコントローラ」で表す。）と、バス３３とを備えている。周辺インタフェース３１ｂに、カメラ２１と、電源スイッチ３０ａと、電源ランプ３０ｂとが接続され、また、ＨＭＤ接続インタフェース・コントローラ３２ｂにＨＭＤ１２が接続されている。
【００４２】
バス３３を介して、ＣＰＵ２６、プログラムＲＯＭ２７、フラッシュＲＯＭ２８、ＲＡＭ２９、ネットワーク・インタフェース３１ａ、周辺インタフェース３１ｂ、ビデオＲＡＭ３２ａおよびＨＭＤ接続インタフェース・コントローラ３２ｂが相互に接続されている。さらに、ネットワーク・インタフェース３１ａおよびビデオＲＡＭ３２ａが相互に直接接続され、また、同様に、ビデオＲＡＭ３２ａおよびＨＭＤ接続インタフェース・コントローラ３２ｂが相互に直接接続されている。
【００４３】
周辺インタフェース３１ｂには、パーソナルコンピュータ等、外部機器（図示しない）が接続され、その外部機器から、周辺インタフェース３１ｂを介して、映像信号が制御ユニット２０に入力される。映像信号は、画像表示装置１０によって再生されるべき表示コンテンツを表す。その入力された表示コンテンツを表すデータは、後述の支援画像を表す支援画像データを含んでおり、その支援画像データは、フラッシュＲＯＭ２８に保存される。
【００４４】
網膜１２４に入射した画像光により、観察者が２次元画像を虚像として観察することが可能となる。観察者の片眼には、ハーフミラー１１２において反射した画像光のみならず、現実外界からの光（外光）がハーフミラー１１２を透過して入射する。その結果、観察者は、画像光によって表示される画像の観察と並行して現実外界を観察することが可能となる。
【００４５】
図３に示す例においては、ＨＭＤ１２が、画像信号に応じた画像を全体画像表示エリア（前記第１画像表示エリアの一例）１２６内に表示画像として表示する。この例においては、その表示画像が、第１画像表示エリア１２６内の所定位置に配置され、その第１画像表示エリア１２６より小さい第１サブエリア１２７内に表示される。その表示画像は、この例においては、前述のように、観察者である作業者による作業を支援するために作業者に表示される支援画像である。作業者は、その支援画像と共に、現実外界内の対象物１２８（図３に示す例においては、地面から垂直に真っ直ぐに延びる１本の樹木）をシースルー画像として観察する。作業者の頭部には、ＨＭＤ１２に加えて、カメラ２１も装着されており、そのカメラ２１は、前記表示画像と一緒に作業者が観察している対象物１２８を撮像する。
【００４６】
本実施形態においては、カメラ２１を使用する目的が、ＨＭＤ１２を装着しつつ対象物１２８を観察しながら作業を行っている作業者による作業を、遠隔地において、その作業者とは別の者である作業支援者が支援することを可能にすることにある。具体的には、カメラ２１は、作業者が観察している対象物１２８を遠隔地において作業支援者がリアルタイムでモニタするために、対象物１２８を撮像する。
【００４７】
このような遠隔支援という目的を達するために、図２に示すように、作業者によって使用されるＨＭＤ１２を有する画像表示装置１０と、作業支援者によって使用されるモニタ装置１３０とが、無線または有線のネットワーク（例えば、ＬＡＮ）１４０を介して相互に接続されている。図４（ａ）には、作業者が、自身の頭部にＨＭＤ１２とカメラ２１とが装着されている状態で対象物１２８を観察している様子と、遠隔地にいる作業支援者が、作業者が観察している対象物１２８であって、作業者の頭部に装着されたカメラ２１によって撮像されたものをモニタ装置１３０においてモニタ画像としてリアルタイムで監視している様子とが概念的に示されている。この遠隔支援システムによれば、観察者の視界の状態および／または対象物の状態を遠隔地において、観察者とは別の者がモニタすることが可能となる。
【００４８】
図２に示すように、モニタ装置１３０は、コンピュータを主体として構成されている。具体的には、モニタ装置１３０は、プロセッサとしてのＣＰＵ１４２と、不揮発性メモリとしてのＲＯＭ１４４と、揮発性メモリとしてのＲＡＭ１４６と、それら要素を互いに接続するバス１４８とを備えている。
【００４９】
そのバス１４８には、前記モニタ画像が表示される画像表示エリア（前記第２画像表示エリアの一例）を有する画面１５０（図４（ａ）参照）と、その画面１５０の表示動作を制御する表示コントローラ（図示しない）とを有する表示部１６０と、モニタ装置１３０にデータを入力するために作業支援者によって操作される操作部１６２とが接続され、さらに、ネットワーク・インタフェース（図２においては、「ネットワークＩ／Ｆ」で表す。）１６４も接続されている。このネットワーク・インタフェース１６４は、ネットワーク１４０に接続されており、このネットワーク１４０に、画像表示装置１０内のネットワーク・インタフェース３１ａも接続されている。これにより、画像表示装置１０とモニタ装置１３０とが相互に通信可能となっている。その結果、作業者と作業支援者との間に遠隔支援システムが構築される。
【００５０】
この遠隔支援システムにつき、本発明者が研究を行ったところ、特別の対策を講じない従来の遠隔支援システムには、次のような不都合があることが判明した。このことを、図４（ｂ）を参照しつつ具体的に説明する。
【００５１】
作業者が、自身の頭部にＨＭＤ１２とカメラ２１とが装着されている状態で、首を傾けると、ＨＭＤ１２およびカメラ２１も一緒に傾き、その結果、カメラ２１によって撮像されたカメラ画像内において対象物１２８の像も傾くことになる。
【００５２】
そのため、モニタ装置１３０を、カメラ画像をそのままモニタ画像として表示するように設計すると、対象物１２８自体は、図４（ｂ）において中央位置に示すように、絶対空間に対して（重力方向に対して）、全く傾いていないにもかかわらず、モニタ装置１３０の画面１５０上に表示される対象物１２８の像が、図４（ｂ）において右側に示すように、モニタ画像の枠に対して相対的に、作業者が首を傾けた向きとは逆の向きに、かつ、首の傾き角と同じ角度で傾くことになる。作業者が首を傾ける行為は、傾き角度の差はあるにしても、頻繁に起こるため、作業支援者は、現実には傾斜していない対象物１２８を、画面１５０上において、左右に繰り返し傾く状態で観察することになる。
【００５３】
ところで、特定の方向を表現するために、絶対空間上で方向を定義する用語を使用する場合がある。そのような用語としては、例えば、上、下、左、右、縦、横、垂直、水平などがある。そこで、対象物１２８が画面１５０上に傾斜状態で表示されている状態で、作業支援者が、対象物１２８である樹木について特定の方向を、絶対空間上で方向を定義する用語を用いて、指示する場合について検討する。
【００５４】
一例として、作業支援者が、絶対空間上で定義される方向を用いなければ、「樹木の先端部から、その樹木を延長する方向」とでも表現すべき方向を指示することが必要である場合を想定する。この場合、作業支援者は、樹木が傾斜して表示されているモニタ画像を見ながら、絶対空間上で定義される用語である「上方」という用語を使用して、例えば、「樹木の先端部から左斜め上方」と表現する可能性がある。
【００５５】
この場合、その表現を作業者が聞くと、作業者は、「現実外界において重力方向に延びる樹木の先端部から左斜め上方」を意味する表現であると解釈する可能性がある。この解釈は、上述の、「樹木の先端部から、その樹木を延長する方向」に一致しない。そのため、作業支援者の、方向に関する指示が、作業者によって正しく理解されないという不都合が発生する。
【００５６】
このような、作業支援者と作業者との間の、方向に関する認識の不一致を防止するために、本実施形態においては、図４（ｃ）に示すように、作業者の頭部の、重力方向に対する傾き角が検出され、その検出された傾き角に応じ、対象物１２８を撮像したカメラ画像の、重力方向に対する傾きを、前記傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正が行われる。ただし、この画像傾き補正は、ＨＭＤ１２による表示画像（前述の支援画像）に対しては行われない。
【００５７】
上述の画像傾き補正が実施されると、対象物１２８を撮像したカメラ画像に対して、モニタ装置１３０の画面１５０上に表示されるべきモニタ画像が生成され、その結果、作業者の頭部の傾斜の有無にかかわらず、対象物１２８が、絶対空間上における実際の向きと同じ向きを有するように、画面１５０上に表示される。図４に示す例においては、作業者の頭部の傾斜の有無にかかわらず、対象物１２８が常に、画面１５０上に重力方向に延びる姿勢で表示される。
【００５８】
その結果、作業者が認識している対象物１２８の向きと、作業支援者が画面１３０上において観察している対象物１２８の向き（絶対空間上における向き）とが常に互いに一致し、それにより、作業支援者と作業者との間の、方向に関する認識の不一致が防止される。
【００５９】
さらに、上述の画像傾き補正が実施されると、実際の対象物１２８の向きが変化しない限り、作業者の頭部の傾斜の有無にかかわらず、対象物１２８が常に、画面１５０上に同じ方向に延びる姿勢で表示され、それにより、画面１５０上のモニタ画像における対象物１２８の向きが安定する。
【００６０】
以上、概略的に説明した画像傾き補正を実施するために、本実施形態においては、図２に示すように、ＨＭＤ１２が装着されている作業者の頭部に傾き角センサ１７０が装着され、さらに、前記画像傾き補正を行うためのいくつかのプログラムが画像表示装置１０のプログラムＲＯＭ２７と、モニタ装置１３０のＲＯＭ１４４とに予め記憶されている。傾き角センサ１７０は、周辺インタフェース３１ｂに電気的に接続されている。
【００６１】
傾き角センサ１７０は、作業者の頭部の傾きの向き（右方向か左方向か）と角度とを検出するために作業者の頭部に装着される。傾き角センサ１７０は、作業者の頭部に直接的に装着されてもよいが、頭部に直接的に装着される別の部材、例えば、ＨＭＤ１２、フレーム１６、カメラ２１などに直接的に装着してもよい。この傾き角センサ１７０は、作業者の頭部の、前後方向に延びる軸線まわりの回転を検出する。この傾き角センサ１７０は、例えば、ジャイロセンサを主体とするものとすることが可能である。この場合、ジャイロセンサによって検出された角速度を時間積分することにより、頭部の傾き角を計算することが可能である。
【００６２】
次に、前記画像傾き補正のための画像処理を詳細に説明する。
【００６３】
図５には、画像表示装置１０のＣＰＵ２６によって実行されるデータ送信プログラムが概念的にフローチャートで表されている。このデータ送信プログラムは、画像表示装置１０の電源がオンである間、繰り返し実行される。各回の実行時には、まず、ステップＳ１において、カメラ２１から、それの撮像結果を表すカメラ画像データ（補正前カメラ画像データ）がＣＰＵ２６に取り込まれる。次に、ステップＳ２において、その取り込まれたカメラ画像データが、ネットワーク・インタフェース３１ａから、ネットワーク１４０を介して、モニタ装置１３０に送信される。
【００６４】
続いて、ステップＳ３において、傾き角センサ１７０からのセンサ信号がＣＰＵ２６に取り込まれ、そのセンサ信号に基づき、作業者の頭部の傾き角θが検出される。その後、ステップＳ４において、その検出された傾き角θを表す傾き角データが、ネットワーク・インタフェース３１ａから、ネットワーク１４０を介して、モニタ装置１３０に送信される。以上で、このデータ送信プログラムの一回の実行が終了する。
【００６５】
図６には、モニタ装置１３０のＣＰＵ１４２によって実行される基準傾き角設定プログラムが概念的にフローチャートで表されている。この基準傾き角設定プログラムは、モニタ装置１３０の電源がオンである間、繰り返し実行される。
【００６６】
作業支援者は、各回の遠隔支援作業に先立ち、作業者の頭部傾き角検出値のためのキャリブレーション作業を行う。具体的には、作業支援者は、画像表示装置１０から受信したカメラ画像データに基づいて画面１５０上に現在表示されている現実外界の向き（例えば、対象物１２８の向き）から、作業者の頭部に装着されているカメラ２１が水平面上に位置するか否か（例えば、カメラ画像における対象物１２８が画面１５０上において垂直に延びているか否か）を判断する。作業支援者は、カメラ２１が水平面上に位置すると判断すると、操作部１６２を介して、水平リセット操作を行う。
【００６７】
なお付言するに、同様なキャリブレーション作業は、作業支援者に代えて、カメラ２１が装着されている作業者が自ら行うことも可能である。例えば、画像表示装置１０において、前記ジャイロセンサによって検出された角速度を、基準時刻、すなわち、作業者の頭部が正立位置にあることが作業者によって入力された時刻から時間積分することにより、頭部の傾き角を、重力方向に対する相対角（絶対空間上における絶対角に等しい）として計算することが可能である。
【００６８】
しかし、作業者は、カメラ２１が作業者の頭部に傾いて装着されていても、そのことに気付くことができない可能性がある。この場合には、作業者は、上述のキャリブレーション作業を精度よく行うことができない。
【００６９】
これに対し、作業支援者は、作業者の頭部の傾きのみならず、カメラ２１の、作業者に対する装着のずれ角をも反映するカメラ画像を用いて、作業者が観察している現実外界の向きを画面１５０上において確認できる。よって、作業支援者は、上述のキャリブレーション作業を精度よく行うことができる。
【００７０】
図６に示す基準傾き角設定プログラムは各回の実行時には、まず、ステップＳ１０１において、作業支援者が、操作部１６２に対し、前記水平リセット操作を行ったか否かが判定される。今回は、作業支援者が水平リセット操作を行っていないと仮定すると、直ちに、この基準傾き角設定プログラムの一回の実行が終了する。
【００７１】
これに対し、今回は、作業支援者が水平リセット操作を行ったと仮定すると、ステップＳ１０２において、画像表示装置１０から最新の前記傾き角データを受信する。続いて、ステップＳ１０３において、その受信された傾き角データによって表される傾き角θが、基準傾き角θＲＥＦに設定される。その設定された基準傾き角θＲＥＦは、後の使用に備えて、ＲＡＭ１４６に保存される。傾き角θと設定傾き角θＲＥＦとの差が、作業者の頭部の、絶対空間上における、重力方向からの傾き角（以下、「絶対傾き角θａｂｓ」という。）を表す。以上で、この基準傾き角設定プログラムの一回の実行が終了する。
【００７２】
図７には、モニタ装置１３０のＣＰＵ１４２によって実行される画像表示プログラムが概念的にフローチャートで表されている。この画像表示プログラムは、モニタ装置１３０の電源がオンである間、繰り返し実行される。
【００７３】
各回の実行時には、まず、ステップＳ２０１において、画像表示装置１０から、最新のカメラ画像データと、最新の傾き角データとが受信される。次に、ステップＳ２０２において、その受信された傾き角データにより表される現在の傾き角θが、前記基準傾き角θＲＥＦからずれているか否か、すなわち、前記絶対傾き角θａｂｓが０であるか否かがが判定される。これにより、作業者の頭部が、重力方向に対して傾斜しているか否かが判定され、その結果、カメラ画像における対象物１２８が、そのカメラ画像の枠に対して傾斜しているか否かが判定される。
【００７４】
今回は、現在の傾き角θが基準傾き角θＲＥＦからずれていないと仮定すると、ステップＳ２０３において、前記画像傾き補正が行われることなく、画面１５０上に表示されるべきモニタ画像を表すモニタ画像データが、カラー画像データと同じ画像を表すデータとなるように生成される。
【００７５】
これに対し、今回は、現在の傾き角θが基準傾き角θＲＥＦからずれていると仮定すると、ステップＳ２０４において、カラー画像データに対して前記画像傾き補正が行われる。具体的には、図８（ａ）に示すように、まず、画像傾き補正前のカメラ画像である元カメラ画像を、指定された回転中心点（例えば、元カメラ画像の中心点と一致する位置）まわりに、絶対傾き角θａｂｓとは逆向きに、かつ、絶対傾き角θａｂｓと実質的に同じ角度で回転させる画像回転処理が行われる。図８（ａ）には、画像回転処理後の元カメラ画像が示されている。この段階で、その画像内の対象物１２８は、作業者の頭部の絶対傾き角θａｂｓが０ではないにもかかわらず、重力方向に延びている。
【００７６】
次に、その画像回転処理後の元カメラ画像から、形状とサイズとが指定された部分画像を切り取るトリミング処理が行われる。その部分画像は、それの中心点が、元カメラ画像の中心点と一致するように、元カメラ画像に対して位置決めされる。このトリミング処理により、画面１５０上に全体的に表示されるべきモニタ画像が生成される。画面１５０と、その画面１５０上に表示されるべきモニタ画像（矩形の画像）とは、サイズも形状も、互いに一致する。
【００７７】
その後、ステップＳ２０５において、その生成されたモニタ画像を表すモニタ画像データが生成される。
【００７８】
ステップＳ２０３の実行時であるかステップＳ２０５の実行時であるかを問わず、その後、ステップＳ２０６において、生成されたモニタ画像データに基づき、モニタ画像が画面１５０上に表示される。
【００７９】
続いて、ステップＳ２０７において、画像表示装置１０から送信された信号が、前記モニタ画像と同じ画像をＨＭＤ１２でも表示するためのリクエスト（後述のチェック画像表示リクエスト）を作業者が画像表示装置１０に対して入力したことを表しているか否かが判定される。そのチェック画像表示リクエストを作業者が入力していない場合には、直ちに、この画像表示プログラムの一回の実行が終了するが、そのチェック画像表示リクエストを作業者が入力した場合には、ステップＳ２０８において、前記モニタ画像データが、チェック画像をＨＭＤ１２において表示するために、画像表示装置１０に送信される。以上で、この画像表示プログラムの一回の実行が終了する。
【００８０】
ここで、図８を参照することにより、画像傾き補正のアルゴリズムについてのいくつかの例を説明する。図８（ａ）に示すアルゴリズムの例においては、前述のように、モニタ画像の中心点がカメラ画像の中心点に一致する状態で、カメラ画像が回転させられ、その回転角がそれほど大きくないことと、モニタ画像のサイズがそれほど大きくないこととが相俟って、モニタ画像が、回転後のカメラ画像からはみ出さずに済む。
【００８１】
これに対し、図８（ｂ）に示すアルゴリズムの例においては、作業支援者の操作により、モニタ画像の中心点が、カメラ画像の中心点から移動させられ、その結果、モニタ画像の一部が元カメラ画像からはみ出している。モニタ画像のうち、元カメラ画像からはみ出している部分は、カメラ画像データが存在しない部分であり、この部分は、特に対策を講じないと、画面１５０上に表示することができない。
【００８２】
そこで、このアルゴリズムの例においては、モニタ画像のうち、元カメラ画像からはみ出している部分が、黒色に着色されるように、モニタ画像データが生成される。これにより、作業支援者は、モニタ画像中に、カメラ２１の視野からはみ出した部分が存在することを知ることができる。
【００８３】
図８（ａ）に示すアルゴリズムの例においては、カメラ画像がモニタ画像に対して回転させられる角度が小さいため、モニタ画像が、回転後のカメラ画像からはみ出さずに済むが、その角度が大きい場合には、モニタ画像が回転後のカメラ画像からはみ出してしまう。これに対し、図８（ｃ）に示すアルゴリズムの例においては、モニタ画像が回転後のカメラ画像からはみ出すことがない最大面積を有するように、カメラ画像の回転角に応じて、モニタ画像のサイズが伸縮させられる。
【００８４】
図９には、画像表示装置１０のＣＰＵ２６によって実行される画像表示プログラムが概念的にフローチャートで表されている。この画像表示プログラムは、画像表示装置１０の電源がオンである間、繰り返し実行される。各回の実行時には、まず、ステップＳ３０１において、フラッシュＲＯＭ２７から、第１サブエリア１２７内に表示すべき支援画像（図１０参照）を表す支援画像データが読み込まれる。
【００８５】
次に、ステップＳ３０２において、作業者が、画像表示装置１０に対し、前記支援画像と共に、前記チェック画像（図１０参照）を第２サブエリア１８０内に表示するためのチェック画像表示リクエストを入力したか否かが判定される。第２サブエリア１８０は、全体画像表示エリア１２６内の所定位置であって、第１サブエリア１２７から視覚的に区別され、かつ、それとはオーバラップしない位置に配置されている。
【００８６】
作業者が前記チェック画像表示リクエストを入力していない場合には、ステップＳ３０３において、前記読み込まれた支援画像データをそのまま用いて、表示画像データが生成される。
【００８７】
これに対し、作業者が前記チェック画像表示リクエストを入力した場合には、ステップＳ３０４において、モニタ装置１３０から前記モニタ画像データが受信される。続いて、ステップＳ３０５において、その受信されたモニタ画像データに基づき、作業支援者が現在観察しているモニタ画像を同じものを縮小状態で、第２サブエリア１８０内に前記チェック画像としてリアルタイムで表示するためのデータがチェック画像データとして生成される。
【００８８】
その後、ステップＳ３０６において、前記読み込まれた支援画像データと、前記生成されたチェック画像データとを合成することにより、表示画像データが生成される。その生成された表示画像データは、図１０に示すように、支援画像を第１サブエリア１２６内に表示することと、チェック画像を第２サブエリア１８０内に表示することとを一緒に行うためのデータである。
【００８９】
ステップＳ３０３の実行時であるかステップＳ３０６の実行時であるかを問わず、その後、ステップＳ３０７において、前記生成された表示画像データに基づき、ＨＭＤ１２において画像を表示するための表示信号（例えば、ＨＭＤ１２が前述の網膜走査型である場合には、レーザ等、光源を制御するための信号（例えば、輝度信号、強度信号）であり、また、ＨＭＤ１２が前述の空間変調型である場合には、ＬＣＤ、有機ＥＬ等、空間変調素子を制御するための信号（例えば、画素信号）である）が生成される。続いて、ステップＳ３０８において、その生成された表示信号が、前記光源または前記空間変調素子に出力される。それにより、図１０に示すように、支援画像が第１サブエリア１２６内に表示され、また、作業者が前記チェック画像表示リクエストを入力した場合には、併せて、チェック画像が第２サブエリア１８０内に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【００９０】
これにより、作業者は、現実外界内の対象物１２８をシースルー画像として観察しつつ、支援画像を観察し、さらに、チェック画像を観察することが可能となる。そのチェック画像の観察により、作業者は、作業支援者が観察しているモニタ画像（例えば、作業支援者が特定の方向を作業者に指示する際に、その指示の根拠となった画像）と同じ画像を、縮小状態で、リアルタイムで確認することが可能となる。
【００９１】
次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多いため、異なる要素についてのみ詳細に説明し、共通の要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略する。
【００９２】
第１実施形態においては、前記画像傾き補正という画像処理がモニタ装置１３０において実行されるようになっていた。これに対し、本実施形態においては、同じ画像処理が画像表示装置１０において行われる。
【００９３】
本実施形態においては、画像表示装置１０のＣＰＵ２６により、図１１に概念的にフローチャートで表されている画像表示プログラムが、図５に示すデータ送信プログラムおよび図９に示す画像表示プログラムに代えて実行される。さらに、図６に示す基準傾き角設定プログラムがモニタ装置１３０のＣＰＵ１４２により実行される代わりに、図６に示す基準傾き角設定プログラムと実質的に同じプログラムが、画像表示装置１０のＣＰＵ２６により実行される。
【００９４】
図１１に示す画像表示プログラムの各回の実行時には、まず、ステップＳ４０１において、図９に示すステップＳ３０１と同様にして、前記支援画像データがフラッシュＲＯＭ２８から読み込まれ、次に、ステップＳ４０２において、図５に示すステップＳ３と同様にして、前記傾き角θが検出される。続いて、ステップＳ４０３において、図５に示すステップＳ１と同様にして、カメラ画像データがカメラ２１から取り込まれる。
【００９５】
その後、ステップＳ４０４ないしＳ４０７が、図７に示すステップＳ２０２ないしＳ２０５と同様にして実行される。続いて、ステップＳ４０８において、ステップＳ４０５またはＳ４０７の実行によって形成されたモニタ画像データがモニタ装置１３０に送信される。
【００９６】
続いて、ステップＳ４０９において、図９に示すステップＳ３０２と同様にして、作業者が、画像表示装置１０に対し、前記チェック画像表示リクエストを入力したか否かが判定される。作業者が前記チェック画像表示リクエストを入力していない場合には、ステップＳ４１０において、図９に示すステップＳ３０３と同様にして、前記読み込まれた支援画像データをそのまま用いて、表示画像データが生成される。
【００９７】
これに対し、作業者が前記チェック画像表示リクエストを入力した場合には、ステップＳ４１１において、図９に示すステップＳ３０５に準じて、ステップＳ４０３において取り込まれたモニタ画像データに基づき、前記チェック画像データとして生成される。その後、ステップＳ４１２において、図９に示すステップＳ３０６と同様に、ステップＳ４０１において読み込まれた支援画像データと、ステップＳ４１１において生成されたチェック画像データとを合成することにより、前記表示画像データが生成される。
【００９８】
ステップＳ４１０の実行時であるかステップＳ４１２の実行時であるかを問わず、その後、ステップＳ４１３において、図９に示すステップＳ３０７と同様にして、前記生成された表示画像データに基づき、前記表示信号が生成される。続いて、ステップＳ４１４において、図９に示すステップＳ３０８と同様にして、前記生成された表示信号が前記光源または前記空間変調素子に出力されることにより、支援画像が第１サブエリア１２６内に表示され、また、作業者が前記チェック画像表示リクエストを入力した場合には、併せて、チェック画像が第２サブエリア１８０内に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【００９９】
さらに、本実施形態においては、モニタ装置１３０のＣＰＵ１４２により、図１２に概念的にフローチャートで表されている画像表示プログラムが、図７に示す画像表示プログラムに代えて実行される。
【０１００】
図１１に示す画像表示プログラムの各回の実行時には、まず、ステップＳ５０１において、画像表示装置１０から、前記モニタ画像データが受信される。次に、ステップＳ５０２において、その受信されたモニタ画像データに基づき、前記モニタ画像が画面１５０上に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【０１０１】
次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第２実施形態と共通する要素が多いため、異なる要素についてのみ詳細に説明し、共通の要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略する。
【０１０２】
第２実施形態においては、作業支援者がモニタ装置１３０において観察しているモニタ画像と同じものがチェック画像としてＨＭＤ１２によって表示され、それにより、作業者が、作業支援者が観察しているモニタ画像を確認することが可能であった。
【０１０３】
これに対し、本実施形態においては、図１４に示すように、画像表示装置１０が、作業者が全体画像表示エリア１２６内において観察する全体画像（前記支援画像（虚像）と前記シースルー画像（実像）とを含む。）のうち、作業支援者がモニタ装置１３０において観察しているモニタ画像（対象物１２８の像とそれの背景画像とを含む矩形の画像）と一致する一致部分画像１９０を一致しない不一致部分画像１９２から視覚的に区別するための枠画像２００（一致部分画像１９０を包囲する矩形の枠を表す画像）を全体画像表示エリア１２６内に表示するように設計されている。
【０１０４】
本実施形態においては、画像表示装置１０のＣＰＵ２６により、図１３に概念的にフローチャートで表されている画像表示プログラムが、図１１に示す画像表示プログラムに代えて実行される。
【０１０５】
図１３に示す画像表示プログラムの各回の実行時には、ステップＳ５０１ないしＳ５０８が、図１１に示すＳ４０１ないしＳ４０８と同様にして実行される。
【０１０６】
その後、ステップＳ５０９において、作業者が、画像表示装置１０に対し、枠画像２００を全体画像表示エリア１２６内に表示するための枠画像表示リクエストを入力したか否かが判定される。作業者が前記枠画像表示リクエストを入力していない場合には、ステップＳ４１０において、前記読み込まれた支援画像データをそのまま用いて、表示画像データが生成される。
【０１０７】
これに対し、作業者が前記枠画像表示リクエストを入力した場合には、ステップＳ４１１において、前記生成されたモニタ画像データに基づき、枠画像２００を表す枠画像データが生成される。
【０１０８】
このステップＳ４１１の詳細を説明するに、画像表示装置１０においては、全体画像表示エリア１２６の中心位置と、カメラ画像の中心位置とが、例えば互いに一致するというように、両者の中心位置間の相対位置が既知である。さらに、全体画像表示エリア１２６とカメラ画像との間の相対回転角が０であるというように、両者間の相対角も既知である。さらに、全体画像表示エリア１２６とカメラ画像とが互いに一致するというように、両者間の、サイズおよび形状に関する関係も既知である。
【０１０９】
すなわち、画像表示装置１０においては、全体画像表示エリア１２６（前記全体画像）とカメラ画像との間の、相対位置、相対角、サイズおよび形状に関する関係が既知であり、よって、全体画像表示エリア１２６の幾何学的情報から、カメラ画像の幾何学的情報を一義的に誘導することが可能である。
【０１１０】
さらに、画像表示装置１０においては、ステップＳ５０６の実行の結果、モニタ画像とカメラ画像との間の、相対位置、相対角、サイズおよび形状に関する関係が既知である。したがって、画像表示装置１０においては、全体画像表示エリア１２６の幾何学的情報から、モニタ画像の幾何学的情報（モニタ画像の枠に関する幾何学的情報を含む）を一義的に誘導することが可能である。
【０１１１】
そこで、このステップＳ４１１においては、前記生成されたモニタ画像データに基づき、全体画像表示エリア１２６内の全体画像のうち、モニタ画像と一致する一致部分画像１９０が特定され、さらに、その一致部分画像１９０の枠を表す枠画像２００の幾何学的情報が特定される。枠画像２００の太さおよび線種は既知である。そして、枠画像２００を表す枠画像データが生成される。
【０１１２】
その後、ステップＳ５１２において、前記読み込まれた支援画像データと、前記生成された枠画像データとを合成することにより、表示画像データが生成される。その生成された表示画像データは、図１４に示すように、支援画像を第１サブエリア１２６内に表示することと、枠画像２００を全体画像表示エリア１２６内に表示することとを一緒に行うためのデータである。
【０１１３】
ステップＳ５１０の実行時であるかステップＳ５１２の実行時であるかを問わず、その後、ステップＳ５１３において、前記生成された表示画像データに基づき、前記表示信号が生成される。続いて、ステップＳ５１４において、その生成された表示信号が、前記光源または前記空間変調素子に出力される。それにより、図１４に示すように、支援画像が第１サブエリア１２６内に表示され、また、作業者が前記枠画像表示リクエストを入力した場合には、併せて、枠画像２００が全体画像表示エリア１２６内に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【０１１４】
これにより、作業者は、現実外界内の対象物１２８をシースルー画像として観察しつつ、支援画像を観察し、さらに、作業支援者がモニタ装置１３０において観察しているモニタ画像と同じもの（モニタ画像における対象物１２８と同じ向き）を、枠画像２００の向きを考慮して、リアルタイムで観察することが可能となる。これにより、作業者は、作業支援者が観察しているモニタ画像における対象物１２８の、そのモニタ画像の枠に対する相対的な向きを、作業支援者と共通に認識することができる。
【０１１５】
以上の説明から明らかなように、本実施形態においては、説明の便宜上、傾き角センサ１７０と、画像表示装置１０のうち、図５に示すステップＳ３を実行する部分とが互いに共同して、前記（１）項における「傾き角検出部」の一例を構成し、また、画像表示装置１０のうち、図５に示すステップＳ１、Ｓ２およびＳ４を実行する部分と、モニタ装置１３０のうち、図６に示す基準傾き角設定プログラムを実行する部分と、画像表示装置１０のうち、図９に示すステップＳ３０２ないしＳ３０６を実行する部分とが互いに共同して、同項における「画像傾き補正部」の一例を構成していると考えることが可能である。
【０１１６】
さらに、本実施形態においては、説明の便宜上、ネットワークＩ／Ｆ３１ａと、画像表示装置１０のうち、図５に示すステップＳ１、Ｓ２およびＳ４を実行する部分とが互いに共同して、前記（２）項における「送信部」の一例を構成し、また、モニタ装置１３０のうち、図７に示すステップＳ２０１、Ｓ２０２、Ｓ２０４およびＳ２０５を実行する部分が、同項における「画像傾き補正部」の一例を構成していると考えることが可能である。
【０１１７】
さらに、本実施形態においては、説明の便宜上、画像表示装置１０のうち、図１１に示すステップＳ４０２ないしＳ４０４、Ｓ４０６およびＳ４０７を実行する部分が、前記（３）項における「画像傾き補正部」の一例を構成し、また、ネットワークＩ／Ｆ３１ａと、画像表示装置１０のうち、図１１に示すステップＳ４０８を実行する部分とが互いに共同して、同項における「送信部」の一例を構成していると考えることが可能である。
【０１１８】
さらに、本実施形態においては、説明の便宜上、画像表示装置１０のうち、図９に示すステップＳ３０２およびＳ３０４ないしＳ３０６を実行する部分が、前記（４）項における「チェック画像表示部」の一例を構成し、また、画像表示装置１０のうち、図１３に示すステップＳ５０２ないしＳ５０４、Ｓ５０６、Ｓ５０７およびＳ５０９ないしＳ５１２を実行する部分が、前記（５）項における「枠画像表示部」の一例を構成していると考えることが可能である。
【０１１９】
以上、本発明のいくつかの実施形態を図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ（以下、「ＨＭＤ」と略称する。）と一緒に観察者の頭部に装着されるカメラによって現実外界内の対象物が撮像されたカメラ画像をモニタ装置が観察者とは別の者に対して表示する技術に関し、特に、前記対象物が適切にモニタ装置によって表示されるように、前記カメラ画像に対して画像処理を行う技術に関する。
【背景技術】
【０００２】
表示すべき画像を表す画像光を観察者の眼の網膜に投影するために観察者の頭部に装着されるＨＭＤを有する画像表示装置が既に知られている。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。
【０００３】
ＨＭＤを、画像光形成方式によって分類すると、空間変調型、すなわち、画像信号に応じて作動する空間変調素子（例えば、液晶または有機ＥＬ）を用いて、光源からの出射光を用いて前記画像光を形成する方式と、走査型、すなわち、光源からの出射光であって、前記画像信号に応じた強度を有するものを走査することによって前記画像光を形成する方式とに分類される。
【０００４】
また、ＨＭＤを、表示画像の観察方式によって分類すると、シースルー型、すなわち、観察者が、当該ＨＭＤによる表示画像に重ねて、現実外界を観察することが可能である方式と、密閉型、すなわち、現実外界を表す外光の入射を完全にまたは部分的に（例えば、片眼についてのみ）遮断し、観察者が、主に、ＨＭＤによる表示画像のみを観察することを可能である方式とに分類される。
【０００５】
ＨＭＤは、シースルー型である場合には、観察者は、自身の前方に位置する現実外界を実像として、ＨＭＤによる表示画像と一緒に観察することが可能である。しかし、ＨＭＤが密閉型である場合であっても、観察者の頭部に装着されたカメラによって現実外界を撮像し、そのカメラ画像を第２の表示画像として観察者に表示するようにＨＭＤを構成することが可能である。この構成によれば、密閉型のＨＭＤであっても、観察者は、自身の前方に位置する現実外界を虚像として、ＨＭＤによる表示画像と一緒に観察することが可能である。
【０００６】
特許文献１は、シースルー型のＨＭＤであって、画像信号に応じた画像を虚像として表示するが、現実外界を撮像するカメラを用いないものを開示している。そのＨＭＤにおいては、そのＨＭＤが装着される観察者の頭部の傾き角が検出され、その検出された傾き角に基づき、画像の傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正が、ＨＭＤによる表示画像に対して行われる。
【０００７】
特許文献２は、ＨＭＤであって、現実外界内の被写体を撮像しているカメラのファインダ画像を観察者に表示するものを開示している。このＨＭＤにおいては、ファインダ画像（カメラ画像の一種）が、ＨＭＤによる表示画像である。このカメラは、観察者が自ら手で持って撮影するというように、観察者の頭部に装着されておらず、よって、ＨＭＤとは異なる動きをする可能性がある。それにもかかわらず、ＨＭＤによる表示画像内の被写体の向きが変化しないように、このＨＭＤにおいては、前記画像傾き補正が前記表示画像に対して行われる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３２３００１号公報
【特許文献２】特開２００７−３３３９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明者は、ＨＭＤを有する画像表示装置について研究を行い、その結果、ＨＭＤと一緒に観察者の頭部に装着されたカメラが撮像したカメラ画像を、観察者の位置から離れた遠隔地においてモニタ装置が観察者とは別の者に表示することが可能な遠隔支援システムを提案した。
【００１０】
具体的には、この遠隔支援システムにおいては、観察者の頭部に装着されたカメラが、ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物（被写体）をカメラ画像として撮像する。この遠隔支援システムにおいては、さらに、ＨＭＤを有する画像表示装置と、観察者とは別の者に対して前記カメラ画像をモニタ画像として表示するモニタ装置とが、無線または有線により、相互に通信可能となっている。この遠隔支援システムによれば、観察者の視界の状態および／または前記対象物の状態を遠隔地において、観察者とは別の者がモニタすることが可能となる。
【００１１】
本発明者は、この遠隔支援システムについてさらに研究を行った結果、この遠隔支援システムには改善の余地があることに気が付いた。以下、このことを説明するが、ここでは簡単に説明し、後に図面を参照して詳細に説明する。
【００１２】
この遠隔支援システムにおいては、観察者が首を傾けると、カメラ画像内における対象物の像が傾き、この傾きに伴い、モニタ装置の画面上のモニタ画像内における対象物の像も傾く。その結果、そのモニタ画像を見ながら、観察者に対して何らかの指示や助言などの支援を行おうとする者（以下、「支援者」という。）にとっては、観察者が首を傾けるごとに、モニタ画像内において、対象物の像の向きが変化し、その結果、対象物の像が揺れる。これは、支援者がモニタ画像を分析して支援作業を行う際の効率を低下させる要因となり得、さらに、支援者に視覚的な不快感を与える要因ともなり得る。
【００１３】
さらに、この遠隔支援システムにおいては、観察者が首を傾けると、支援者には、対象物の像が、その対象物の、現実外界（絶対空間）内における実際の向きとは異なる向きを有するように表示される。これに対し、観察者にとっては、自身が首を傾けると、対象物の像が観察者に対して相対的に傾くが、その原因が、観察者が自ら首を傾けたことにあることを知っているため、観察者は、首を傾けても、対象物の向きは変化していないと認識する傾向がある。
【００１４】
そうすると、対象物の向きに関し、観察者と支援者との間で認識のずれが発生してしまう。このようなずれが存在するにもかかわらず、支援者が、モニタ画像を見ながら、方向に関する表現を用いたメッセージを観察者に対して発信すると、その表現の意味を観察者が誤解してしまう可能性がある。
【００１５】
よって、この遠隔支援システムにおいては、観察者が首を傾けても、モニタ画像内における対象物の像の向きができる限り変化しないようにすることが、支援者の作業効率や作業快適性を向上させるために望ましい。
【００１６】
このような知見に基づき、本発明は、ＨＭＤと一緒に観察者の頭部に装着されるカメラによって現実外界内の対象物が撮像されたカメラ画像をモニタ装置が観察者とは別の者に対して表示する場合に、前記対象物が適切にモニタ装置によって表示されるように、前記カメラ画像に対して画像処理を行う技術を提供することを課題としてなされたものである。
【課題を解決するための手段】
【００１７】
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
【００１８】
（１） ヘッドマウントディスプレイ（ＨＭＤ）と一緒に観察者の頭部に装着されるカメラが撮像したカメラ画像であって、前記ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物を撮像したものに対して画像処理を行う画像処理装置であって、
当該画像処理装置は、前記ＨＭＤを有する画像表示装置とモニタ装置とのうちの少なくとも前記画像表示装置に設けられ、
前記ＨＭＤは、画像信号に応じた画像を表す画像光を観察者の眼に投影し、それにより、前記画像を第１画像表示エリア内に表示画像として表示し、
前記モニタ装置は、前記画像表示装置から無線または有線で受信した、前記カメラ画像を表すカメラ画像データに基づき、前記カメラ画像をモニタ画像として第２画像表示エリア内に表示し、
当該画像処理装置は、
観察者の頭部の、重力方向に対する傾き角を検出し、その検出された傾き角を表す傾き角データを出力する傾き角検出部と、
その出力された傾き角データに基づき、画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を、前記カメラ画像データに対しては行うが、前記表示画像を表す表示画像データに対しては行わない画像傾き補正部と
を含み、
前記モニタ装置は、前記画像傾き補正が行われたカメラ画像データである補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する画像処理装置。
【００１９】
（２） さらに、
前記画像表示装置に設けられ、前記カメラ画像データおよび前記傾き角データを前記モニタ装置に送信する送信部を含み、
前記画像傾き補正部は、前記モニタ装置に設けられ、前記送信部から受信した傾き角データに基づき、前記送信部から受信したカメラ画像データに対して前記画像傾き補正を行う（１）項に記載の画像処理装置。
【００２０】
（３） 前記画像傾き補正部は、前記画像表示装置に設けられ、前記傾き角データに基づき、前記カメラ画像データに対して前記画像傾き補正を行い、
当該画像処理装置は、さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像データを前記モニタ装置に送信する送信部を含み、
前記モニタ装置は、その送信部から受信した補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する（１）項に記載の画像処理装置。
【００２１】
（４） さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像を前記第１画像表示エリア内の所定位置に配置されたサブエリア内に、観察者のためのチェック画像として表示するチェック画像表示部を含む（１）ないし（３）項のいずれかに記載の画像処理装置。
【００２２】
（５） さらに、
前記画像表示装置に設けられ、前記対象物を表す外光を、前記表示画像を表す表示光と一緒に前記第１画像表示エリアに投影するシースルー形式であるか、前記カメラによって前記対象物を撮像し、その撮像された画像と前記表示画像との双方を表す表示光を前記第１画像表示エリアに投影する形式であるかを問わず、観察者が前記第１画像表示エリア内において観察する全体画像であって前記表示画像と前記対象物の像とを含むもののうち、前記補正後カメラ画像と一致する一致部分画像を一致しない不一致部分画像から視覚的に区別するための枠画像を前記第１画像表示エリア内に表示する枠画像表示部を含む（１）ないし（３）項のいずれかに記載の画像処理装置。
【００２３】
（６） 前記画像傾き補正部は、前記画像傾き補正前の前記カメラ画像を、位置が指定された回転中心点まわりに、前記傾き角とは逆向きに、かつ、実質的に同じ角度で回転させる画像回転処理と、その画像回転処理後のカメラ画像から、形状とサイズとが指定された部分画像を切り取るトリミング処理とを行うことにより、前記補正後カメラ画像を取得する（１）ないし（５）項のいずれかに記載の画像処理装置。
【００２４】
（７） ヘッドマウントディスプレイ（ＨＭＤ）と一緒に観察者の頭部に装着されるカメラが撮像したカメラ画像であって、前記ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物を撮像したものに対して画像処理を行う画像処理方法であって、
当該画像処理方法は、前記ＨＭＤを有する画像表示装置とモニタ装置とのうちの少なくとも前記画像表示装置において実行され、
前記ＨＭＤは、画像信号に応じた画像を表す画像光を観察者の眼に投影し、それにより、前記画像を第１画像表示エリア内に表示画像として表示し、
前記モニタ装置は、前記画像表示装置から無線または有線で受信した、前記カメラ画像を表すカメラ画像データに基づき、前記カメラ画像をモニタ画像として第２画像表示エリア内に表示し、
当該画像処理方法は、
観察者の頭部の、重力方向に対する傾き角を検出し、その検出された傾き角を表す傾き角データを出力する傾き角検出工程と、
その出力された傾き角データに基づき、画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を、前記カメラ画像データに対しては行うが、前記表示画像を表す表示画像データに対しては行わない画像傾き補正工程と
を含み、
前記モニタ装置は、前記画像傾き補正が行われたカメラ画像データである補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する画像処理方法。
【００２５】
（８） （７）項に記載の画像処理方法を実施するためにコンピュータによって実行されるプログラム。
【００２６】
（９） （８）項に記載のプログラムをコンピュータ読取可能に記録した記録媒体。
【発明の効果】
【００２７】
本発明によれば、ＨＭＤと一緒に観察者の頭部に装着されるカメラによって現実外界内の対象物が撮像されたカメラ画像をモニタ装置が観察者とは別の者に対して表示する場合に、カメラ画像に対して前記画像傾き補正が行われる。よって、本発明によれば、モニタ画像の表示中に、観察者が首を傾けても、モニタ画像内における対象物の向きが実質的に変化せずに済む。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の第１実施形態に従う画像処理装置を互いに共同して実現する画像表示装置およびモニタ装置のうち、前記画像表示装置の外観を示す平面図であり、その画像表示装置は、シースルー型ＨＭＤと制御ユニットとを有する。
【図２】図２は、図１に示す画像表示装置を、その画像表示装置にネットワークを介して接続された前記モニタ装置と共に示す機能ブロック図であり、前記画像表示装置にネットワークを介して前記モニタ装置が接続されることにより、遠隔支援システムが構築される。
【図３】図３は、図１に示すＨＭＤの全体画像表示エリア内において観察者が視認する支援画像の例およびシースルー画像の例を示す正面図である。
【図４】図４（ａ）は、前記第１実施形態に従う遠隔支援システムにおいて、図１に示すＨＭＤがカメラと共に作業者に装着される様子と、そのカメラによって撮像されたカメラ画像が、図２に示すモニタ装置の画面上に表示される様子とを説明するための正面図であり、図４（ｂ）は、従来の遠隔支援システムにおいて、作業者が首を傾けるとモニタ画像内において対象物も傾くことを説明するための正面図であり、図４（ｃ）は、前記第１実施形態に従う遠隔支援システムにおいて、画像傾き補正の効果として、作業者が首を傾けてもモニタ画像内において対象物が傾かずに済むことを説明するための正面図である。
【図５】図５は、図２に示す画像表示装置のＣＰＵによって実行されるデータ送信プログラムを概念的に表すフローチャートである。
【図６】図６は、図２に示すモニタ装置のＣＰＵによって実行される基準傾き角設定プログラムを概念的に表すフローチャートである。
【図７】図７は、図２に示すモニタ装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図８】図８（ａ）は、前記第１実施形態における画像傾き補正のアルゴリズムの一例を説明するための正面図であり、図８（ｂ）は、前記画像傾き補正のアルゴリズムの別の例を説明するための正面図であり、図８（ｃ）は、前記画像傾き補正のアルゴリズムのさらに別の例を説明するための正面図である。
【図９】図９は、図２に示す画像表示装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１０】図１０は、前記第１実施形態において、作業者が、首を傾けた状態で、図１に示すＨＭＤの全体画像表示エリア内において、シースルー画像と共に観察する支援画像およびチェック画像のそれぞれの例を説明するための正面図である。
【図１１】図１１は、本発明の第２実施形態に従う画像処理装置を互いに共同して実現する画像表示装置およびモニタ装置のうち、前記画像表示装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１２】図１２は、前記第２実施形態において、前記モニタ装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１３】図１３は、本発明の第３実施形態に従う画像処理装置を互いに共同して実現する画像表示装置およびモニタ装置のうち、前記画像表示装置のＣＰＵによって実行される画像表示プログラムを概念的に表すフローチャートである。
【図１４】図１４は、前記第３実施形態において、作業者が、首を傾けた状態で、前記画像表示装置の全体画像表示エリア内において、シースルー画像と共に観察する支援画像および枠画像のそれぞれの例を説明するための正面図である。
【発明を実施するための形態】
【００２９】
以下、本発明のさらに具体的な実施の形態であって例示的なもののうちのいくつかを図面に基づいて詳細に説明する。
【００３０】
図１には、本発明の第１実施形態に従う画像処理装置を実現するために使用される画像表示装置１０が平面図で示されている。この画像表示装置１０は、シースルー型のＨＭＤ１２を有する。このＨＭＤ１２は、画像を表す画像光を観察者の眼に投影するように構成されている。このＨＭＤ１２は、ヘッドマウント装置１４により、観察者が眼鏡（図示しない）を装着している状態で、観察者の頭部に装着される。
【００３１】
ヘッドマウント装置１４は、フレーム１６と、アタッチメント装置１８とを備えている。フレーム１６は、観察者が装着している眼鏡（図示しない）のフレームであるか、専用のフレームであるかを問わず、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム１６の一部に、アタッチメント装置１８を介してＨＭＤ１２が搭載される。
【００３２】
次に、図１および図２を参照することにより、ＨＭＤ１２およびそのＨＭＤ１２を制御するための制御ユニット２０であってコンピュータを主体として構成されているものを説明する。本実施形態おいては、共に独立した部品であるＨＭＤ１２と制御ユニット２０とが互いに組み合わされて画像表示装置１０を構成しているが、制御ユニット２０をＨＭＤ１２内に組み込むことによって画像表示装置１０を構成してもよい。
【００３３】
まず、ＨＭＤ１２の概略を説明する。図１には、このＨＭＤ１２が平面図で示されている。このＨＭＤ１２は、単眼式であり、画像を表す画像光を観察者の片眼に投影して前記画像を観察者に表示する。さらに、ＨＭＤ１２は、網膜走査型であり、レーザ等、光源からの、画像信号に応じた強度を有する光束をスキャナによって走査し、その走査された光束を観察者の網膜に投影することにより、観察者が画像を虚像として観察することを可能にする。さらに、ＨＭＤ１２は、シースルー型であり、表示画像を観察者が現実外界に重ねて観察することを可能にする。
【００３４】
なお付言するに、本実施形態においては、ＨＭＤ１２が単眼式、網膜走査型およびシースルー型であるが、両眼式に変更したり、光源からの面状の光を、ＬＣＤ（液晶ディスプレイ）、有機ＥＬ（エレクトロ・ルミネッセンス）等、空間変調素子を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の網膜に投影する型式に変更したり、表示画像の観察と並行して現実外界を観察することができないクローズド型に変更することが可能である。
【００３５】
本発明は、ＨＭＤ１２がシースルー型であるかクローズド型であるかを問わず、そのＨＭＤ１２を使用して実施することが可能である。しかし、そのＨＭＤ１２は、観察者が、ＨＭＤ１２による表示画像（例えば、図３に示す支援画像）と一緒に観察者が現実外界を観察することを可能にするものであることが、ＨＭＤ１２を使用して本発明を実施するための必要条件である。
【００３６】
そのため、ＨＭＤ１２がクローズド型である場合には、ＨＭＤ１２を、観察者の前方に位置する現実外界であって、ＨＭＤ１２がシースルー型であったならば観察者が観察し得たであろうシースルー画像（例えば、昼間においてカメラ２１により撮像された、例えば図５に示すシースルー画像や、夜間において赤外線カメラ（図示しない）により撮像された暗視野画像）と同じ画像を第２の表示画像として観察者に表示するように構成することが必要である。
【００３７】
本実施形態においては、カメラ２１（例えば、ＣＣＤ(Charge-Coupled Device)カメラ）が、観察者の前方に位置する現実外界を撮像するために、フレーム１６に固定されている。それにより、カメラ２１は、フレーム１６を介して間接的に、観察者の頭部に装着されている。これにより、カメラ２１は、観察者の頭部の動きに応じ、ＨＭＤ１２と一緒に動くことになる。ただし、カメラ２１は、例えば、ＨＭＤ１２に直接的に装着してもよいことは言うまでもない。
【００３８】
次に、制御ユニット２０を説明する。ＨＭＤ１２に制御ユニット２０が、図１に示すように、ケーブル２２を介して接続されている。ケーブル２２は、制御信号を供給する制御ラインと、電力を供給するパワーラインと、光を伝送する光ファイバ８２（後に詳述する）とを含んでいる。ＨＭＤ１２が観察者の頭部に装着されるのに対し、制御ユニット２０は、観察者のうち、頭部以外の部分（例えば、腰）に装着される。
【００３９】
制御ユニット２０は、図２に機能ブロック図で概念的に表すように、プロセッサとしてのＣＰＵ(Central Processing Unit)２６と、不揮発性メモリとしてのプログラムＲＯＭ(Read Only Memory)２７およびフラッシュＲＯＭ２８と、揮発性メモリとしてのＲＡＭ(Ramdom Access Memory)２９とを備えている。
【００４０】
制御ユニット２０は、さらに、画像表示装置１０の電源を投入・切断するためにユーザによって操作される電源スイッチ３０ａと、画像表示装置１０の電源がオン状態にあることを示すために点灯させられる電源ランプ３０ｂと、操作部（図示しないが、例えば、複数のキーやボタン）とを備えている。
【００４１】
制御ユニット２０は、さらに、ネットワーク・インタフェース（図２においては、「ネットワークＩ／Ｆ」で表す。）３１ａと、周辺インタフェース３１ｂ（図２においては、「周辺Ｉ／Ｆ」で表す。）と、ビデオＲＡＭ３２ａと、ＨＭＤ接続インタフェース・コントローラ３２ｂ（図２においては、「ＨＭＤ接続Ｉ／Ｆコントローラ」で表す。）と、バス３３とを備えている。周辺インタフェース３１ｂに、カメラ２１と、電源スイッチ３０ａと、電源ランプ３０ｂとが接続され、また、ＨＭＤ接続インタフェース・コントローラ３２ｂにＨＭＤ１２が接続されている。
【００４２】
バス３３を介して、ＣＰＵ２６、プログラムＲＯＭ２７、フラッシュＲＯＭ２８、ＲＡＭ２９、ネットワーク・インタフェース３１ａ、周辺インタフェース３１ｂ、ビデオＲＡＭ３２ａおよびＨＭＤ接続インタフェース・コントローラ３２ｂが相互に接続されている。さらに、ネットワーク・インタフェース３１ａおよびビデオＲＡＭ３２ａが相互に直接接続され、また、同様に、ビデオＲＡＭ３２ａおよびＨＭＤ接続インタフェース・コントローラ３２ｂが相互に直接接続されている。
【００４３】
周辺インタフェース３１ｂには、パーソナルコンピュータ等、外部機器（図示しない）が接続され、その外部機器から、周辺インタフェース３１ｂを介して、映像信号が制御ユニット２０に入力される。映像信号は、画像表示装置１０によって再生されるべき表示コンテンツを表す。その入力された表示コンテンツを表すデータは、後述の支援画像を表す支援画像データを含んでおり、その支援画像データは、フラッシュＲＯＭ２８に保存される。
【００４４】
網膜１２４に入射した画像光により、観察者が２次元画像を虚像として観察することが可能となる。観察者の片眼には、ハーフミラー１１２において反射した画像光のみならず、現実外界からの光（外光）がハーフミラー１１２を透過して入射する。その結果、観察者は、画像光によって表示される画像の観察と並行して現実外界を観察することが可能となる。
【００４５】
図３に示す例においては、ＨＭＤ１２が、画像信号に応じた画像を全体画像表示エリア（前記第１画像表示エリアの一例）１２６内に表示画像として表示する。この例においては、その表示画像が、第１画像表示エリア１２６内の所定位置に配置され、その第１画像表示エリア１２６より小さい第１サブエリア１２７内に表示される。その表示画像は、この例においては、前述のように、観察者である作業者による作業を支援するために作業者に表示される支援画像である。作業者は、その支援画像と共に、現実外界内の対象物１２８（図３に示す例においては、地面から垂直に真っ直ぐに延びる１本の樹木）をシースルー画像として観察する。作業者の頭部には、ＨＭＤ１２に加えて、カメラ２１も装着されており、そのカメラ２１は、前記表示画像と一緒に作業者が観察している対象物１２８を撮像する。
【００４６】
本実施形態においては、カメラ２１を使用する目的が、ＨＭＤ１２を装着しつつ対象物１２８を観察しながら作業を行っている作業者による作業を、遠隔地において、その作業者とは別の者である作業支援者が支援することを可能にすることにある。具体的には、カメラ２１は、作業者が観察している対象物１２８を遠隔地において作業支援者がリアルタイムでモニタするために、対象物１２８を撮像する。
【００４７】
このような遠隔支援という目的を達するために、図２に示すように、作業者によって使用されるＨＭＤ１２を有する画像表示装置１０と、作業支援者によって使用されるモニタ装置１３０とが、無線または有線のネットワーク（例えば、ＬＡＮ）１４０を介して相互に接続されている。図４（ａ）には、作業者が、自身の頭部にＨＭＤ１２とカメラ２１とが装着されている状態で対象物１２８を観察している様子と、遠隔地にいる作業支援者が、作業者が観察している対象物１２８であって、作業者の頭部に装着されたカメラ２１によって撮像されたものをモニタ装置１３０においてモニタ画像としてリアルタイムで監視している様子とが概念的に示されている。この遠隔支援システムによれば、観察者の視界の状態および／または対象物の状態を遠隔地において、観察者とは別の者がモニタすることが可能となる。
【００４８】
図２に示すように、モニタ装置１３０は、コンピュータを主体として構成されている。具体的には、モニタ装置１３０は、プロセッサとしてのＣＰＵ１４２と、不揮発性メモリとしてのＲＯＭ１４４と、揮発性メモリとしてのＲＡＭ１４６と、それら要素を互いに接続するバス１４８とを備えている。
【００４９】
そのバス１４８には、前記モニタ画像が表示される画像表示エリア（前記第２画像表示エリアの一例）を有する画面１５０（図４（ａ）参照）と、その画面１５０の表示動作を制御する表示コントローラ（図示しない）とを有する表示部１６０と、モニタ装置１３０にデータを入力するために作業支援者によって操作される操作部１６２とが接続され、さらに、ネットワーク・インタフェース（図２においては、「ネットワークＩ／Ｆ」で表す。）１６４も接続されている。このネットワーク・インタフェース１６４は、ネットワーク１４０に接続されており、このネットワーク１４０に、画像表示装置１０内のネットワーク・インタフェース３１ａも接続されている。これにより、画像表示装置１０とモニタ装置１３０とが相互に通信可能となっている。その結果、作業者と作業支援者との間に遠隔支援システムが構築される。
【００５０】
この遠隔支援システムにつき、本発明者が研究を行ったところ、特別の対策を講じない従来の遠隔支援システムには、次のような不都合があることが判明した。このことを、図４（ｂ）を参照しつつ具体的に説明する。
【００５１】
作業者が、自身の頭部にＨＭＤ１２とカメラ２１とが装着されている状態で、首を傾けると、ＨＭＤ１２およびカメラ２１も一緒に傾き、その結果、カメラ２１によって撮像されたカメラ画像内において対象物１２８の像も傾くことになる。
【００５２】
そのため、モニタ装置１３０を、カメラ画像をそのままモニタ画像として表示するように設計すると、対象物１２８自体は、図４（ｂ）において中央位置に示すように、絶対空間に対して（重力方向に対して）、全く傾いていないにもかかわらず、モニタ装置１３０の画面１５０上に表示される対象物１２８の像が、図４（ｂ）において右側に示すように、モニタ画像の枠に対して相対的に、作業者が首を傾けた向きとは逆の向きに、かつ、首の傾き角と同じ角度で傾くことになる。作業者が首を傾ける行為は、傾き角度の差はあるにしても、頻繁に起こるため、作業支援者は、現実には傾斜していない対象物１２８を、画面１５０上において、左右に繰り返し傾く状態で観察することになる。
【００５３】
ところで、特定の方向を表現するために、絶対空間上で方向を定義する用語を使用する場合がある。そのような用語としては、例えば、上、下、左、右、縦、横、垂直、水平などがある。そこで、対象物１２８が画面１５０上に傾斜状態で表示されている状態で、作業支援者が、対象物１２８である樹木について特定の方向を、絶対空間上で方向を定義する用語を用いて、指示する場合について検討する。
【００５４】
一例として、作業支援者が、絶対空間上で定義される方向を用いなければ、「樹木の先端部から、その樹木を延長する方向」とでも表現すべき方向を指示することが必要である場合を想定する。この場合、作業支援者は、樹木が傾斜して表示されているモニタ画像を見ながら、絶対空間上で定義される用語である「上方」という用語を使用して、例えば、「樹木の先端部から左斜め上方」と表現する可能性がある。
【００５５】
この場合、その表現を作業者が聞くと、作業者は、「現実外界において重力方向に延びる樹木の先端部から左斜め上方」を意味する表現であると解釈する可能性がある。この解釈は、上述の、「樹木の先端部から、その樹木を延長する方向」に一致しない。そのため、作業支援者の、方向に関する指示が、作業者によって正しく理解されないという不都合が発生する。
【００５６】
このような、作業支援者と作業者との間の、方向に関する認識の不一致を防止するために、本実施形態においては、図４（ｃ）に示すように、作業者の頭部の、重力方向に対する傾き角が検出され、その検出された傾き角に応じ、対象物１２８を撮像したカメラ画像の、重力方向に対する傾きを、前記傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正が行われる。ただし、この画像傾き補正は、ＨＭＤ１２による表示画像（前述の支援画像）に対しては行われない。
【００５７】
上述の画像傾き補正が実施されると、対象物１２８を撮像したカメラ画像に対して、モニタ装置１３０の画面１５０上に表示されるべきモニタ画像が生成され、その結果、作業者の頭部の傾斜の有無にかかわらず、対象物１２８が、絶対空間上における実際の向きと同じ向きを有するように、画面１５０上に表示される。図４に示す例においては、作業者の頭部の傾斜の有無にかかわらず、対象物１２８が常に、画面１５０上に重力方向に延びる姿勢で表示される。
【００５８】
その結果、作業者が認識している対象物１２８の向きと、作業支援者が画面１３０上において観察している対象物１２８の向き（絶対空間上における向き）とが常に互いに一致し、それにより、作業支援者と作業者との間の、方向に関する認識の不一致が防止される。
【００５９】
さらに、上述の画像傾き補正が実施されると、実際の対象物１２８の向きが変化しない限り、作業者の頭部の傾斜の有無にかかわらず、対象物１２８が常に、画面１５０上に同じ方向に延びる姿勢で表示され、それにより、画面１５０上のモニタ画像における対象物１２８の向きが安定する。
【００６０】
以上、概略的に説明した画像傾き補正を実施するために、本実施形態においては、図２に示すように、ＨＭＤ１２が装着されている作業者の頭部に傾き角センサ１７０が装着され、さらに、前記画像傾き補正を行うためのいくつかのプログラムが画像表示装置１０のプログラムＲＯＭ２７と、モニタ装置１３０のＲＯＭ１４４とに予め記憶されている。傾き角センサ１７０は、周辺インタフェース３１ｂに電気的に接続されている。
【００６１】
傾き角センサ１７０は、作業者の頭部の傾きの向き（右方向か左方向か）と角度とを検出するために作業者の頭部に装着される。傾き角センサ１７０は、作業者の頭部に直接的に装着されてもよいが、頭部に直接的に装着される別の部材、例えば、ＨＭＤ１２、フレーム１６、カメラ２１などに直接的に装着してもよい。この傾き角センサ１７０は、作業者の頭部の、前後方向に延びる軸線まわりの回転を検出する。この傾き角センサ１７０は、例えば、ジャイロセンサを主体とするものとすることが可能である。この場合、ジャイロセンサによって検出された角速度を時間積分することにより、頭部の傾き角を計算することが可能である。
【００６２】
次に、前記画像傾き補正のための画像処理を詳細に説明する。
【００６３】
図５には、画像表示装置１０のＣＰＵ２６によって実行されるデータ送信プログラムが概念的にフローチャートで表されている。このデータ送信プログラムは、画像表示装置１０の電源がオンである間、繰り返し実行される。各回の実行時には、まず、ステップＳ１において、カメラ２１から、それの撮像結果を表すカメラ画像データ（補正前カメラ画像データ）がＣＰＵ２６に取り込まれる。次に、ステップＳ２において、その取り込まれたカメラ画像データが、ネットワーク・インタフェース３１ａから、ネットワーク１４０を介して、モニタ装置１３０に送信される。
【００６４】
続いて、ステップＳ３において、傾き角センサ１７０からのセンサ信号がＣＰＵ２６に取り込まれ、そのセンサ信号に基づき、作業者の頭部の傾き角θが検出される。その後、ステップＳ４において、その検出された傾き角θを表す傾き角データが、ネットワーク・インタフェース３１ａから、ネットワーク１４０を介して、モニタ装置１３０に送信される。以上で、このデータ送信プログラムの一回の実行が終了する。
【００６５】
図６には、モニタ装置１３０のＣＰＵ１４２によって実行される基準傾き角設定プログラムが概念的にフローチャートで表されている。この基準傾き角設定プログラムは、モニタ装置１３０の電源がオンである間、繰り返し実行される。
【００６６】
作業支援者は、各回の遠隔支援作業に先立ち、作業者の頭部傾き角検出値のためのキャリブレーション作業を行う。具体的には、作業支援者は、画像表示装置１０から受信したカメラ画像データに基づいて画面１５０上に現在表示されている現実外界の向き（例えば、対象物１２８の向き）から、作業者の頭部に装着されているカメラ２１が水平面上に位置するか否か（例えば、カメラ画像における対象物１２８が画面１５０上において垂直に延びているか否か）を判断する。作業支援者は、カメラ２１が水平面上に位置すると判断すると、操作部１６２を介して、水平リセット操作を行う。
【００６７】
なお付言するに、同様なキャリブレーション作業は、作業支援者に代えて、カメラ２１が装着されている作業者が自ら行うことも可能である。例えば、画像表示装置１０において、前記ジャイロセンサによって検出された角速度を、基準時刻、すなわち、作業者の頭部が正立位置にあることが作業者によって入力された時刻から時間積分することにより、頭部の傾き角を、重力方向に対する相対角（絶対空間上における絶対角に等しい）として計算することが可能である。
【００６８】
しかし、作業者は、カメラ２１が作業者の頭部に傾いて装着されていても、そのことに気付くことができない可能性がある。この場合には、作業者は、上述のキャリブレーション作業を精度よく行うことができない。
【００６９】
これに対し、作業支援者は、作業者の頭部の傾きのみならず、カメラ２１の、作業者に対する装着のずれ角をも反映するカメラ画像を用いて、作業者が観察している現実外界の向きを画面１５０上において確認できる。よって、作業支援者は、上述のキャリブレーション作業を精度よく行うことができる。
【００７０】
図６に示す基準傾き角設定プログラムは各回の実行時には、まず、ステップＳ１０１において、作業支援者が、操作部１６２に対し、前記水平リセット操作を行ったか否かが判定される。今回は、作業支援者が水平リセット操作を行っていないと仮定すると、直ちに、この基準傾き角設定プログラムの一回の実行が終了する。
【００７１】
これに対し、今回は、作業支援者が水平リセット操作を行ったと仮定すると、ステップＳ１０２において、画像表示装置１０から最新の前記傾き角データを受信する。続いて、ステップＳ１０３において、その受信された傾き角データによって表される傾き角θが、基準傾き角θＲＥＦに設定される。その設定された基準傾き角θＲＥＦは、後の使用に備えて、ＲＡＭ１４６に保存される。傾き角θと設定傾き角θＲＥＦとの差が、作業者の頭部の、絶対空間上における、重力方向からの傾き角（以下、「絶対傾き角θａｂｓ」という。）を表す。以上で、この基準傾き角設定プログラムの一回の実行が終了する。
【００７２】
図７には、モニタ装置１３０のＣＰＵ１４２によって実行される画像表示プログラムが概念的にフローチャートで表されている。この画像表示プログラムは、モニタ装置１３０の電源がオンである間、繰り返し実行される。
【００７３】
各回の実行時には、まず、ステップＳ２０１において、画像表示装置１０から、最新のカメラ画像データと、最新の傾き角データとが受信される。次に、ステップＳ２０２において、その受信された傾き角データにより表される現在の傾き角θが、前記基準傾き角θＲＥＦからずれているか否か、すなわち、前記絶対傾き角θａｂｓが０であるか否かがが判定される。これにより、作業者の頭部が、重力方向に対して傾斜しているか否かが判定され、その結果、カメラ画像における対象物１２８が、そのカメラ画像の枠に対して傾斜しているか否かが判定される。
【００７４】
今回は、現在の傾き角θが基準傾き角θＲＥＦからずれていないと仮定すると、ステップＳ２０３において、前記画像傾き補正が行われることなく、画面１５０上に表示されるべきモニタ画像を表すモニタ画像データが、カラー画像データと同じ画像を表すデータとなるように生成される。
【００７５】
これに対し、今回は、現在の傾き角θが基準傾き角θＲＥＦからずれていると仮定すると、ステップＳ２０４において、カラー画像データに対して前記画像傾き補正が行われる。具体的には、図８（ａ）に示すように、まず、画像傾き補正前のカメラ画像である元カメラ画像を、指定された回転中心点（例えば、元カメラ画像の中心点と一致する位置）まわりに、絶対傾き角θａｂｓとは逆向きに、かつ、絶対傾き角θａｂｓと実質的に同じ角度で回転させる画像回転処理が行われる。図８（ａ）には、画像回転処理後の元カメラ画像が示されている。この段階で、その画像内の対象物１２８は、作業者の頭部の絶対傾き角θａｂｓが０ではないにもかかわらず、重力方向に延びている。
【００７６】
次に、その画像回転処理後の元カメラ画像から、形状とサイズとが指定された部分画像を切り取るトリミング処理が行われる。その部分画像は、それの中心点が、元カメラ画像の中心点と一致するように、元カメラ画像に対して位置決めされる。このトリミング処理により、画面１５０上に全体的に表示されるべきモニタ画像が生成される。画面１５０と、その画面１５０上に表示されるべきモニタ画像（矩形の画像）とは、サイズも形状も、互いに一致する。
【００７７】
その後、ステップＳ２０５において、その生成されたモニタ画像を表すモニタ画像データが生成される。
【００７８】
ステップＳ２０３の実行時であるかステップＳ２０５の実行時であるかを問わず、その後、ステップＳ２０６において、生成されたモニタ画像データに基づき、モニタ画像が画面１５０上に表示される。
【００７９】
続いて、ステップＳ２０７において、画像表示装置１０から送信された信号が、前記モニタ画像と同じ画像をＨＭＤ１２でも表示するためのリクエスト（後述のチェック画像表示リクエスト）を作業者が画像表示装置１０に対して入力したことを表しているか否かが判定される。そのチェック画像表示リクエストを作業者が入力していない場合には、直ちに、この画像表示プログラムの一回の実行が終了するが、そのチェック画像表示リクエストを作業者が入力した場合には、ステップＳ２０８において、前記モニタ画像データが、チェック画像をＨＭＤ１２において表示するために、画像表示装置１０に送信される。以上で、この画像表示プログラムの一回の実行が終了する。
【００８０】
ここで、図８を参照することにより、画像傾き補正のアルゴリズムについてのいくつかの例を説明する。図８（ａ）に示すアルゴリズムの例においては、前述のように、モニタ画像の中心点がカメラ画像の中心点に一致する状態で、カメラ画像が回転させられ、その回転角がそれほど大きくないことと、モニタ画像のサイズがそれほど大きくないこととが相俟って、モニタ画像が、回転後のカメラ画像からはみ出さずに済む。
【００８１】
これに対し、図８（ｂ）に示すアルゴリズムの例においては、作業支援者の操作により、モニタ画像の中心点が、カメラ画像の中心点から移動させられ、その結果、モニタ画像の一部が元カメラ画像からはみ出している。モニタ画像のうち、元カメラ画像からはみ出している部分は、カメラ画像データが存在しない部分であり、この部分は、特に対策を講じないと、画面１５０上に表示することができない。
【００８２】
そこで、このアルゴリズムの例においては、モニタ画像のうち、元カメラ画像からはみ出している部分が、黒色に着色されるように、モニタ画像データが生成される。これにより、作業支援者は、モニタ画像中に、カメラ２１の視野からはみ出した部分が存在することを知ることができる。
【００８３】
図８（ａ）に示すアルゴリズムの例においては、カメラ画像がモニタ画像に対して回転させられる角度が小さいため、モニタ画像が、回転後のカメラ画像からはみ出さずに済むが、その角度が大きい場合には、モニタ画像が回転後のカメラ画像からはみ出してしまう。これに対し、図８（ｃ）に示すアルゴリズムの例においては、モニタ画像が回転後のカメラ画像からはみ出すことがない最大面積を有するように、カメラ画像の回転角に応じて、モニタ画像のサイズが伸縮させられる。
【００８４】
図９には、画像表示装置１０のＣＰＵ２６によって実行される画像表示プログラムが概念的にフローチャートで表されている。この画像表示プログラムは、画像表示装置１０の電源がオンである間、繰り返し実行される。各回の実行時には、まず、ステップＳ３０１において、フラッシュＲＯＭ２７から、第１サブエリア１２７内に表示すべき支援画像（図１０参照）を表す支援画像データが読み込まれる。
【００８５】
次に、ステップＳ３０２において、作業者が、画像表示装置１０に対し、前記支援画像と共に、前記チェック画像（図１０参照）を第２サブエリア１８０内に表示するためのチェック画像表示リクエストを入力したか否かが判定される。第２サブエリア１８０は、全体画像表示エリア１２６内の所定位置であって、第１サブエリア１２７から視覚的に区別され、かつ、それとはオーバラップしない位置に配置されている。
【００８６】
作業者が前記チェック画像表示リクエストを入力していない場合には、ステップＳ３０３において、前記読み込まれた支援画像データをそのまま用いて、表示画像データが生成される。
【００８７】
これに対し、作業者が前記チェック画像表示リクエストを入力した場合には、ステップＳ３０４において、モニタ装置１３０から前記モニタ画像データが受信される。続いて、ステップＳ３０５において、その受信されたモニタ画像データに基づき、作業支援者が現在観察しているモニタ画像を同じものを縮小状態で、第２サブエリア１８０内に前記チェック画像としてリアルタイムで表示するためのデータがチェック画像データとして生成される。
【００８８】
その後、ステップＳ３０６において、前記読み込まれた支援画像データと、前記生成されたチェック画像データとを合成することにより、表示画像データが生成される。その生成された表示画像データは、図１０に示すように、支援画像を第１サブエリア１２６内に表示することと、チェック画像を第２サブエリア１８０内に表示することとを一緒に行うためのデータである。
【００８９】
ステップＳ３０３の実行時であるかステップＳ３０６の実行時であるかを問わず、その後、ステップＳ３０７において、前記生成された表示画像データに基づき、ＨＭＤ１２において画像を表示するための表示信号（例えば、ＨＭＤ１２が前述の網膜走査型である場合には、レーザ等、光源を制御するための信号（例えば、輝度信号、強度信号）であり、また、ＨＭＤ１２が前述の空間変調型である場合には、ＬＣＤ、有機ＥＬ等、空間変調素子を制御するための信号（例えば、画素信号）である）が生成される。続いて、ステップＳ３０８において、その生成された表示信号が、前記光源または前記空間変調素子に出力される。それにより、図１０に示すように、支援画像が第１サブエリア１２６内に表示され、また、作業者が前記チェック画像表示リクエストを入力した場合には、併せて、チェック画像が第２サブエリア１８０内に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【００９０】
これにより、作業者は、現実外界内の対象物１２８をシースルー画像として観察しつつ、支援画像を観察し、さらに、チェック画像を観察することが可能となる。そのチェック画像の観察により、作業者は、作業支援者が観察しているモニタ画像（例えば、作業支援者が特定の方向を作業者に指示する際に、その指示の根拠となった画像）と同じ画像を、縮小状態で、リアルタイムで確認することが可能となる。
【００９１】
次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多いため、異なる要素についてのみ詳細に説明し、共通の要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略する。
【００９２】
第１実施形態においては、前記画像傾き補正という画像処理がモニタ装置１３０において実行されるようになっていた。これに対し、本実施形態においては、同じ画像処理が画像表示装置１０において行われる。
【００９３】
本実施形態においては、画像表示装置１０のＣＰＵ２６により、図１１に概念的にフローチャートで表されている画像表示プログラムが、図５に示すデータ送信プログラムおよび図９に示す画像表示プログラムに代えて実行される。さらに、図６に示す基準傾き角設定プログラムがモニタ装置１３０のＣＰＵ１４２により実行される代わりに、図６に示す基準傾き角設定プログラムと実質的に同じプログラムが、画像表示装置１０のＣＰＵ２６により実行される。
【００９４】
図１１に示す画像表示プログラムの各回の実行時には、まず、ステップＳ４０１において、図９に示すステップＳ３０１と同様にして、前記支援画像データがフラッシュＲＯＭ２８から読み込まれ、次に、ステップＳ４０２において、図５に示すステップＳ３と同様にして、前記傾き角θが検出される。続いて、ステップＳ４０３において、図５に示すステップＳ１と同様にして、カメラ画像データがカメラ２１から取り込まれる。
【００９５】
その後、ステップＳ４０４ないしＳ４０７が、図７に示すステップＳ２０２ないしＳ２０５と同様にして実行される。続いて、ステップＳ４０８において、ステップＳ４０５またはＳ４０７の実行によって形成されたモニタ画像データがモニタ装置１３０に送信される。
【００９６】
続いて、ステップＳ４０９において、図９に示すステップＳ３０２と同様にして、作業者が、画像表示装置１０に対し、前記チェック画像表示リクエストを入力したか否かが判定される。作業者が前記チェック画像表示リクエストを入力していない場合には、ステップＳ４１０において、図９に示すステップＳ３０３と同様にして、前記読み込まれた支援画像データをそのまま用いて、表示画像データが生成される。
【００９７】
これに対し、作業者が前記チェック画像表示リクエストを入力した場合には、ステップＳ４１１において、図９に示すステップＳ３０５に準じて、ステップＳ４０３において取り込まれたモニタ画像データに基づき、前記チェック画像データとして生成される。その後、ステップＳ４１２において、図９に示すステップＳ３０６と同様に、ステップＳ４０１において読み込まれた支援画像データと、ステップＳ４１１において生成されたチェック画像データとを合成することにより、前記表示画像データが生成される。
【００９８】
ステップＳ４１０の実行時であるかステップＳ４１２の実行時であるかを問わず、その後、ステップＳ４１３において、図９に示すステップＳ３０７と同様にして、前記生成された表示画像データに基づき、前記表示信号が生成される。続いて、ステップＳ４１４において、図９に示すステップＳ３０８と同様にして、前記生成された表示信号が前記光源または前記空間変調素子に出力されることにより、支援画像が第１サブエリア１２６内に表示され、また、作業者が前記チェック画像表示リクエストを入力した場合には、併せて、チェック画像が第２サブエリア１８０内に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【００９９】
さらに、本実施形態においては、モニタ装置１３０のＣＰＵ１４２により、図１２に概念的にフローチャートで表されている画像表示プログラムが、図７に示す画像表示プログラムに代えて実行される。
【０１００】
図１１に示す画像表示プログラムの各回の実行時には、まず、ステップＳ５０１において、画像表示装置１０から、前記モニタ画像データが受信される。次に、ステップＳ５０２において、その受信されたモニタ画像データに基づき、前記モニタ画像が画面１５０上に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【０１０１】
次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第２実施形態と共通する要素が多いため、異なる要素についてのみ詳細に説明し、共通の要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略する。
【０１０２】
第２実施形態においては、作業支援者がモニタ装置１３０において観察しているモニタ画像と同じものがチェック画像としてＨＭＤ１２によって表示され、それにより、作業者が、作業支援者が観察しているモニタ画像を確認することが可能であった。
【０１０３】
これに対し、本実施形態においては、図１４に示すように、画像表示装置１０が、作業者が全体画像表示エリア１２６内において観察する全体画像（前記支援画像（虚像）と前記シースルー画像（実像）とを含む。）のうち、作業支援者がモニタ装置１３０において観察しているモニタ画像（対象物１２８の像とそれの背景画像とを含む矩形の画像）と一致する一致部分画像１９０を一致しない不一致部分画像１９２から視覚的に区別するための枠画像２００（一致部分画像１９０を包囲する矩形の枠を表す画像）を全体画像表示エリア１２６内に表示するように設計されている。
【０１０４】
本実施形態においては、画像表示装置１０のＣＰＵ２６により、図１３に概念的にフローチャートで表されている画像表示プログラムが、図１１に示す画像表示プログラムに代えて実行される。
【０１０５】
図１３に示す画像表示プログラムの各回の実行時には、ステップＳ５０１ないしＳ５０８が、図１１に示すＳ４０１ないしＳ４０８と同様にして実行される。
【０１０６】
その後、ステップＳ５０９において、作業者が、画像表示装置１０に対し、枠画像２００を全体画像表示エリア１２６内に表示するための枠画像表示リクエストを入力したか否かが判定される。作業者が前記枠画像表示リクエストを入力していない場合には、ステップＳ４１０において、前記読み込まれた支援画像データをそのまま用いて、表示画像データが生成される。
【０１０７】
これに対し、作業者が前記枠画像表示リクエストを入力した場合には、ステップＳ４１１において、前記生成されたモニタ画像データに基づき、枠画像２００を表す枠画像データが生成される。
【０１０８】
このステップＳ４１１の詳細を説明するに、画像表示装置１０においては、全体画像表示エリア１２６の中心位置と、カメラ画像の中心位置とが、例えば互いに一致するというように、両者の中心位置間の相対位置が既知である。さらに、全体画像表示エリア１２６とカメラ画像との間の相対回転角が０であるというように、両者間の相対角も既知である。さらに、全体画像表示エリア１２６とカメラ画像とが互いに一致するというように、両者間の、サイズおよび形状に関する関係も既知である。
【０１０９】
すなわち、画像表示装置１０においては、全体画像表示エリア１２６（前記全体画像）とカメラ画像との間の、相対位置、相対角、サイズおよび形状に関する関係が既知であり、よって、全体画像表示エリア１２６の幾何学的情報から、カメラ画像の幾何学的情報を一義的に誘導することが可能である。
【０１１０】
さらに、画像表示装置１０においては、ステップＳ５０６の実行の結果、モニタ画像とカメラ画像との間の、相対位置、相対角、サイズおよび形状に関する関係が既知である。したがって、画像表示装置１０においては、全体画像表示エリア１２６の幾何学的情報から、モニタ画像の幾何学的情報（モニタ画像の枠に関する幾何学的情報を含む）を一義的に誘導することが可能である。
【０１１１】
そこで、このステップＳ４１１においては、前記生成されたモニタ画像データに基づき、全体画像表示エリア１２６内の全体画像のうち、モニタ画像と一致する一致部分画像１９０が特定され、さらに、その一致部分画像１９０の枠を表す枠画像２００の幾何学的情報が特定される。枠画像２００の太さおよび線種は既知である。そして、枠画像２００を表す枠画像データが生成される。
【０１１２】
その後、ステップＳ５１２において、前記読み込まれた支援画像データと、前記生成された枠画像データとを合成することにより、表示画像データが生成される。その生成された表示画像データは、図１４に示すように、支援画像を第１サブエリア１２６内に表示することと、枠画像２００を全体画像表示エリア１２６内に表示することとを一緒に行うためのデータである。
【０１１３】
ステップＳ５１０の実行時であるかステップＳ５１２の実行時であるかを問わず、その後、ステップＳ５１３において、前記生成された表示画像データに基づき、前記表示信号が生成される。続いて、ステップＳ５１４において、その生成された表示信号が、前記光源または前記空間変調素子に出力される。それにより、図１４に示すように、支援画像が第１サブエリア１２６内に表示され、また、作業者が前記枠画像表示リクエストを入力した場合には、併せて、枠画像２００が全体画像表示エリア１２６内に表示される。以上で、この画像表示プログラムの一回の実行が終了する。
【０１１４】
これにより、作業者は、現実外界内の対象物１２８をシースルー画像として観察しつつ、支援画像を観察し、さらに、作業支援者がモニタ装置１３０において観察しているモニタ画像と同じもの（モニタ画像における対象物１２８と同じ向き）を、枠画像２００の向きを考慮して、リアルタイムで観察することが可能となる。これにより、作業者は、作業支援者が観察しているモニタ画像における対象物１２８の、そのモニタ画像の枠に対する相対的な向きを、作業支援者と共通に認識することができる。
【０１１５】
以上の説明から明らかなように、本実施形態においては、説明の便宜上、傾き角センサ１７０と、画像表示装置１０のうち、図５に示すステップＳ３を実行する部分とが互いに共同して、前記（１）項における「傾き角検出部」の一例を構成し、また、画像表示装置１０のうち、図５に示すステップＳ１、Ｓ２およびＳ４を実行する部分と、モニタ装置１３０のうち、図６に示す基準傾き角設定プログラムを実行する部分と、画像表示装置１０のうち、図９に示すステップＳ３０２ないしＳ３０６を実行する部分とが互いに共同して、同項における「画像傾き補正部」の一例を構成していると考えることが可能である。
【０１１６】
さらに、本実施形態においては、説明の便宜上、ネットワークＩ／Ｆ３１ａと、画像表示装置１０のうち、図５に示すステップＳ１、Ｓ２およびＳ４を実行する部分とが互いに共同して、前記（２）項における「送信部」の一例を構成し、また、モニタ装置１３０のうち、図７に示すステップＳ２０１、Ｓ２０２、Ｓ２０４およびＳ２０５を実行する部分が、同項における「画像傾き補正部」の一例を構成していると考えることが可能である。
【０１１７】
さらに、本実施形態においては、説明の便宜上、画像表示装置１０のうち、図１１に示すステップＳ４０２ないしＳ４０４、Ｓ４０６およびＳ４０７を実行する部分が、前記（３）項における「画像傾き補正部」の一例を構成し、また、ネットワークＩ／Ｆ３１ａと、画像表示装置１０のうち、図１１に示すステップＳ４０８を実行する部分とが互いに共同して、同項における「送信部」の一例を構成していると考えることが可能である。
【０１１８】
さらに、本実施形態においては、説明の便宜上、画像表示装置１０のうち、図９に示すステップＳ３０２およびＳ３０４ないしＳ３０６を実行する部分が、前記（４）項における「チェック画像表示部」の一例を構成し、また、画像表示装置１０のうち、図１３に示すステップＳ５０２ないしＳ５０４、Ｓ５０６、Ｓ５０７およびＳ５０９ないしＳ５１２を実行する部分が、前記（５）項における「枠画像表示部」の一例を構成していると考えることが可能である。
【０１１９】
以上、本発明のいくつかの実施形態を図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）と一緒に観察者の頭部に装着されるカメラが撮像したカメラ画像であって、前記ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物を撮像したものに対して画像処理を行う画像処理装置であって、
当該画像処理装置は、前記ＨＭＤを有する画像表示装置とモニタ装置とのうちの少なくとも前記画像表示装置に設けられ、
前記ＨＭＤは、画像信号に応じた画像を表す画像光を観察者の眼に投影し、それにより、前記画像を第１画像表示エリア内に表示画像として表示し、
前記モニタ装置は、前記画像表示装置から無線または有線で受信した、前記カメラ画像を表すカメラ画像データに基づき、前記カメラ画像をモニタ画像として第２画像表示エリア内に表示し、
当該画像処理装置は、
観察者の頭部の、重力方向に対する傾き角を検出し、その検出された傾き角を表す傾き角データを出力する傾き角検出部と、
その出力された傾き角データに基づき、画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を、前記カメラ画像データに対しては行うが、前記表示画像を表す表示画像データに対しては行わない画像傾き補正部と
を含み、
前記モニタ装置は、前記画像傾き補正が行われたカメラ画像データである補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する画像処理装置。
【請求項２】
さらに、
前記画像表示装置に設けられ、前記カメラ画像データおよび前記傾き角データを前記モニタ装置に送信する送信部を含み、
前記画像傾き補正部は、前記モニタ装置に設けられ、前記送信部から受信した傾き角データに基づき、前記送信部から受信したカメラ画像データに対して前記画像傾き補正を行う請求項１に記載の画像処理装置。
【請求項３】
前記画像傾き補正部は、前記画像表示装置に設けられ、前記傾き角データに基づき、前記カメラ画像データに対して前記画像傾き補正を行い、
当該画像処理装置は、さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像データを前記モニタ装置に送信する送信部を含み、
前記モニタ装置は、その送信部から受信した補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する請求項１に記載の画像処理装置。
【請求項４】
さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像を前記第１画像表示エリア内の所定位置に配置されたサブエリア内に、観察者のためのチェック画像として表示するチェック画像表示部を含む請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
さらに、
前記画像表示装置に設けられ、前記対象物を表す外光を、前記表示画像を表す表示光と一緒に前記第１画像表示エリアに投影するシースルー形式であるか、前記カメラによって前記対象物を撮像し、その撮像された画像と前記表示画像との双方を表す表示光を前記第１画像表示エリアに投影する形式であるかを問わず、観察者が前記第１画像表示エリア内において観察する全体画像であって前記表示画像と前記対象物の像とを含むもののうち、前記補正後カメラ画像と一致する一致部分画像を一致しない不一致部分画像から視覚的に区別するための枠画像を前記第１画像表示エリア内に表示する枠画像表示部を含む請求項１ないし３のいずれかに記載の画像処理装置。
【請求項６】
前記画像傾き補正部は、前記画像傾き補正前の前記カメラ画像を、位置が指定された回転中心点まわりに、前記傾き角とは逆向きに、かつ、実質的に同じ角度で回転させる画像回転処理と、その画像回転処理後のカメラ画像から、形状とサイズとが指定された部分画像を切り取るトリミング処理とを行うことにより、前記補正後カメラ画像を取得する請求項１ないし５のいずれかに記載の画像処理装置。
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）と一緒に観察者の頭部に装着されるカメラが撮像したカメラ画像であって、前記ＨＭＤによる表示画像と一緒に観察者が観察している現実外界内の対象物を撮像したものに対して画像処理を行う画像処理装置であって、
当該画像処理装置は、前記ＨＭＤを有する画像表示装置とモニタ装置とのうちの少なくとも前記画像表示装置に設けられ、
前記ＨＭＤは、画像信号に応じた画像を表す画像光を観察者の眼に投影し、それにより、前記画像を第１画像表示エリア内に表示画像として表示し、
前記モニタ装置は、前記画像表示装置から無線または有線で受信した、前記カメラ画像を表すカメラ画像データに基づき、前記カメラ画像をモニタ画像として第２画像表示エリア内に表示し、
当該画像処理装置は、
観察者の頭部の、重力方向に対する傾き角を検出し、その検出された傾き角を表す傾き角データを出力する傾き角検出部と、
その出力された傾き角データに基づき、画像の、重力方向に対する傾きを、前記検出された傾き角の向きとは逆向きに、かつ、実質的に同じ角度で補正する画像傾き補正を、前記カメラ画像データに対しては行うが、前記表示画像を表す表示画像データに対しては行わない画像傾き補正部と
を含み、
前記モニタ装置は、前記画像傾き補正が行われたカメラ画像データである補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する画像処理装置。
【請求項２】
さらに、
前記画像表示装置に設けられ、前記カメラ画像データおよび前記傾き角データを前記モニタ装置に送信する送信部を含み、
前記画像傾き補正部は、前記モニタ装置に設けられ、前記送信部から受信した傾き角データに基づき、前記送信部から受信したカメラ画像データに対して前記画像傾き補正を行う請求項１に記載の画像処理装置。
【請求項３】
前記画像傾き補正部は、前記画像表示装置に設けられ、前記傾き角データに基づき、前記カメラ画像データに対して前記画像傾き補正を行い、
当該画像処理装置は、さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像データを前記モニタ装置に送信する送信部を含み、
前記モニタ装置は、その送信部から受信した補正後カメラ画像データに基づき、前記モニタ画像を前記第２画像表示エリア内に表示する請求項１に記載の画像処理装置。
【請求項４】
さらに、
前記画像表示装置に設けられ、前記補正後カメラ画像を前記第１画像表示エリア内の所定位置に配置されたサブエリア内に、観察者のためのチェック画像として表示するチェック画像表示部を含む請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
さらに、
前記画像表示装置に設けられ、前記対象物を表す外光を、前記表示画像を表す表示光と一緒に前記第１画像表示エリアに投影するシースルー形式であるか、前記カメラによって前記対象物を撮像し、その撮像された画像と前記表示画像との双方を表す表示光を前記第１画像表示エリアに投影する形式であるかを問わず、観察者が前記第１画像表示エリア内において観察する全体画像であって前記表示画像と前記対象物の像とを含むもののうち、前記補正後カメラ画像と一致する一致部分画像を一致しない不一致部分画像から視覚的に区別するための枠画像を前記第１画像表示エリア内に表示する枠画像表示部を含む請求項１ないし３のいずれかに記載の画像処理装置。
【請求項６】
前記画像傾き補正部は、前記画像傾き補正前の前記カメラ画像を、位置が指定された回転中心点まわりに、前記傾き角とは逆向きに、かつ、実質的に同じ角度で回転させる画像回転処理と、その画像回転処理後のカメラ画像から、形状とサイズとが指定された部分画像を切り取るトリミング処理とを行うことにより、前記補正後カメラ画像を取得する請求項１ないし５のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１６０８９８（Ｐ２０１２−１６０８９８Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１９０６６（Ｐ２０１１−１９０６６）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]