画像処理装置、画像処理方法
【課題】 画像の画像情報を削減する為の処理を行う場合に生じる、異なる領域間での色ずれを解消するための技術を提供すること。
【解決手段】 注目ライン上の注目画素と、注目画素より１つ前の前画素とで、位置する属性領域が異なる場合、注目画素の輝度値と色差値とをこの順で、注目ラインに対して設定したデータパケット内に記録済みのデータに隣接させて記録する（Ｓ８１１）。注目画素が位置する属性領域と、前画素が位置する属性領域とが同じ場合、注目画素の輝度値を、データパケット内に記録済みのデータに隣接させて記録する（Ｓ８１２）。１ラインを構成する各画素について上記記録処理を行うことで完成するデータパケットを出力する。
【解決手段】 注目ライン上の注目画素と、注目画素より１つ前の前画素とで、位置する属性領域が異なる場合、注目画素の輝度値と色差値とをこの順で、注目ラインに対して設定したデータパケット内に記録済みのデータに隣接させて記録する（Ｓ８１１）。注目画素が位置する属性領域と、前画素が位置する属性領域とが同じ場合、注目画素の輝度値を、データパケット内に記録済みのデータに隣接させて記録する（Ｓ８１２）。１ラインを構成する各画素について上記記録処理を行うことで完成するデータパケットを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間画像と仮想空間画像とを合成するための技術に関するものである。
【背景技術】
【０００２】
従来、画素値がＲ（Ｒｅｄ、赤）、Ｇ（Ｇｒｅｅｎ、緑）、Ｂ（Ｂｌｕｅ、青）で表現される画素で構成されている画像の画像情報を圧縮する方法の１つとして、次のようなものが提案されている。即ち、ＲＧＢ画素データをＹＵＶ画素データやＹＣｂＣｒ画素データのような輝度データと色差データとのセットに変換し、そのうち、色差データの空間解像度を落とすことで情報量を削減する、即ち、画像情報を圧縮する方法がある。具体的には、画像を複数の画素グループ毎に分割し、それぞれの画素グループにおいて、画素グループ内の各画素の輝度値はそのまま保存し、色差値については画素グループ内の代表値のみを保存することで、色差データの空間解像度を落としている。この方法は、明るさの変化には敏感ではあるが、色の変化には鈍感であるという人間の目の特性に基づいており、人間が見た際に画像品質の劣化を感じにくく、効率的な圧縮手法として広く用いられている。
【０００３】
しかしながら、このような色空間変換を利用した圧縮手法は、画像中の境界近傍で色ズレが発生しやすいといった問題があることが知られている。
【０００４】
図２は、色空間変換を利用した画像情報の圧縮に伴う色ズレを説明する図である。
【０００５】
図２において２０１は、球体のオブジェクトの領域２０１ａと、背景領域２０１ｂと、で構成されている画像であって、係る画像２０１を構成する各画素はＲＧＢ色空間における画素値を有している。また、画像２０１内において２０２，２０３はそれぞれ、領域２０１ａと２０１ｂとの境界部分における領域を示す。
【０００６】
図２の中部に示す如く、それぞれの領域２０２，２０３を拡大すると、係る領域２０２，２０３内には複数の画素が含まれており、実線で示す如く、１行４列の画素群（画素グループ）毎に画像は管理されている。ここで、上述のように、画像情報の削減を行うべく、画像２０１を構成する各画素の画素値を輝度値、色差値に変換し、その後、画素グループを構成するそれぞれの画素の色差値を、係る画素グループの開始位置に位置する画素の色差値に統一する。
【０００７】
図２の下部には、上述のようにして画像情報を削減した領域２０２，３０３内の各画素の画素値をＲＧＢ色空間におけるものに変換した領域２０２、２０３内の各画素を示している。上述のようにして領域２０２，３０３内の画像情報を削減すると、２０６で示す如く、画素グループ内で開始位置の次の位置以降の各画素の色差値は元の色差値から変わってしまう。従って、このような各画素の画素値をＲＧＢ色空間におけるものに変換すると、画素グループ内で開始位置の次の位置以降の各画素のＲＧＢ値は元のＲＧＢ値とは大きく異なってしまう可能性がある。ここで、画素２０６が、領域２０２と領域２０３との境界部分に位置する画素である場合、境界付近では色ずれが生じてしまう。
【０００８】
境界近傍の画素の色ズレを補正し、画質劣化を抑制する技術は、すでに開示されている（特許文献１）。係る技術によれば、水平主走査方向に沿って並んでいる各画素の輝度値と色差値とを、画像メモリに格納する。そして、輝度変化が所定値以上となるエッジ始点とエッジ終点を検出し、エッジ始点に先続する画素の色差と、エッジ終点に後続する画素の色差を画像メモリ内の色差を用いて補正する。
【特許文献１】特開平６−２９６２８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来の技術には以下のような問題があった。
【００１０】
輝度変化の大きさによってエッジを検出する手法では、例えば、見た目の色の差が大きくても、境界近傍画素の輝度が同程度となる場合、エッジを検出することができない。その結果、境界部分の色ズレが非常に大きくなる。これは特に、クロマキー合成等、忠実な背景分離が必要とされる場合には支障をきたし、画質劣化や違和感のある画像を生成してしまうなどの問題を生じることとなる。
【００１１】
本発明は以上の問題に鑑みてなされたものであり、画像の画像情報を減少させる為の処理を行う場合に生じる、異なる領域間での色ずれを解消するための技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１３】
即ち、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力手段と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り手段と、
注目画素について前記読み取り手段が読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断手段と、
前記注目画素が属している属性領域と、前記読み取り手段による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録手段と
前記記録手段により記録された前記データを出力する出力手段と
を備えることを特徴とする。
【００１４】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１５】
即ち、前記出力手段から出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置であって、
前記出力手段が出力したデータを受信する受信手段と、
前記データの先頭から順に、前記データ内に記録されている輝度値若しくは色差値を、読み出し値として読み出す手段と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する手段と、
復元された画素の色空間を変換して、表示データを生成する手段と
を備えることを特徴とする。
【００１６】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１７】
即ち、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力工程と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り工程と、
注目画素について前記読み取り工程で読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断工程と、
前記注目画素が属している属性領域と、前記読み取り工程による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録工程と
前記記録工程により記録された前記データパケットを出力する出力工程と
を備えることを特徴とする。
【００１８】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１９】
即ち、前記出力工程で出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置が行う画像処理方法であって、
前記出力工程で出力したデータを受信する受信工程と、
前記データの先頭から順に、前記データ内に記録されている輝度値若しくは色差値を、読み出し値として読み出す工程と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する工程と、
復元された画素の色空間を変換して、表示データを生成する工程と
を備えることを特徴とする。
【発明の効果】
【００２０】
本発明の構成によれば、画像の画像情報を減少させる為の処理を行う場合に生じる、異なる領域間での色ずれを解消することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【００２２】
［第１の実施形態］
図３は、本実施形態に係るシステムの構成例を示す図である。図３に示す如く、本実施形態に係るシステムは、頭部装着型表示装置の一例としてのＨＭＤ（ヘッドマウントディスプレイ）３０１とコントローラ３０２とにより構成されている。そして、コントローラ３０２とＨＭＤ３０１とは互いにデータ通信が可能なように接続されている。係る接続に関しては、無線、有線の何れでも良い。
【００２３】
先ず、ＨＭＤ３０１について説明する。ＨＭＤ３０１は周知の如く、観察者の頭部に装着するものであり、係る観察者の眼前に画像を提供する為のものである。本実施形態では、ＨＭＤ３０１は、コントローラ３０２から送出された画像を、係るＨＭＤ３０１を頭部に装着した観察者の眼前に表示する。ＨＭＤ３０１は、コントローラ３０２からの電源供給によって動作しても良いし、自身が有するバッテリーからの電源供給によって動作しても良い。なお、ＨＭＤ３０１の代わりに、双眼鏡のような手持ちタイプの表示装置を用いても良く、頭部装着型表示装置に限定するものではない。
【００２４】
次に、コントローラ３０２について説明する。コントローラ３０２は、ＨＭＤ３０１に送出する為の画像を生成し、生成した画像をＨＭＤ３０１に送信する。詳しくは後述するが、コントローラ３０２は画像に対する処理として、画像の解像度変換、色空間変換、光学系の歪み補正等の各種画像処理や、伝送フォーマット変換等の処理を行う。
【００２５】
本実施形態では係る構成において、ＨＭＤ３０１は観察者の視点の位置姿勢情報を求め、コントローラ３０２に転送する。コントローラ３０２は係る位置姿勢情報を用いて仮想空間画像を生成し、生成した仮想空間画像の情報量を減少させ（圧縮し）、その結果をＨＭＤ３０１に送出する。ＨＭＤ３０１は、係る結果に基づいて復号した仮想空間画像と、ＨＭＤ３０１が有する後述の撮像部が撮像した現実空間画像とのクロマキー合成を行うことで合成画像を生成し、生成した合成画像を、自身が有する表示部に表示する。
【００２６】
図４は、クロマキー合成について説明する図である。図４において４０１は、現実空間を撮像することによって得られる現実空間画像である。また、４０２は、仮想物体（オブジェクト）が配された仮想空間を任意の視点から見た仮想空間画像であって、仮想空間画像４０２は、仮想物体が描画されている領域４０３（オブジェクト領域）と、背景領域４０４の、２つの属性領域によって構成されている。背景領域４０４は、予め設定されたクロマキー色を有する画素群で構成された領域である。
【００２７】
コントローラ３０２側で仮想空間画像４０２を生成し、ＨＭＤ３０１に送出すると、ＨＭＤ３０１は、自身が有する後述の撮像部によって撮像した現実空間画像４０１と、コントローラ３０２から受けた仮想空間画像４０２とのクロマキー合成を行う。その結果、合成画像４０５を生成する。係るクロマキー合成では、仮想空間画像４０２上の各画素値を参照し、クロマキー色を示す画素値を有する画素については、現実空間画像４０１上の対応する画素に置き換える。これにより、仮想空間画像４０２において、背景領域４０４を現実空間画像４０１上の対応する領域に置き換えた合成画像４０５を生成することができる。
【００２８】
図１は、図３に示したシステムの機能構成例を示すブロック図である。上述の通り、本実施形態に係るシステムは、コントローラ３０２とＨＭＤ３０１とで構成されており、それぞれは互いにデータ通信が可能なように無線若しくは有線で接続されている。
【００２９】
先ず、ＨＭＤ３０１について説明する。
【００３０】
三次元位置姿勢センサ１０３は、自身の位置姿勢を計測するためのものであり、その計測結果は後段の位置姿勢情報生成部１０４に位置姿勢情報として送出される。三次元位置姿勢センサ１０３には、磁気式センサ、光学式センサ、超音波式センサなど、様々なセンサを適用することができる。
【００３１】
撮像部１０１は、ＨＭＤ３０１を頭部に装着した観察者の目の近傍に位置するようにＨＭＤ３０１に取り付けられたものであり、自身の位置から自身の姿勢に応じて見える現実空間の動画像を撮像する。撮像した各フレームの画像（現実空間画像）は、位置姿勢情報生成部１０４、クロマキー合成部１０５に送出される。
【００３２】
表示部１０２は、クロマキー合成部１０５から送出される画像を表示する。表示部１０２は、ＨＭＤ３０１を頭部に装着した観察者の眼前に位置するようにＨＭＤ３０１に取り付けられたものであるので、ＨＭＤ３０１を装着した観察者の眼前には、クロマキー合成部１０５から送出された画像が表示されることになる。
【００３３】
位置姿勢情報生成部１０４は、撮像部１０１から受けた現実空間画像と、三次元位置姿勢センサ１０３から送出された位置姿勢情報と、を用いて、撮像部１０１の位置姿勢を求める。位置姿勢情報生成部１０４が行う処理については周知の技術であるので、これについての説明は省略する。なお、位置姿勢情報生成部１０４が撮像部１０１の位置姿勢を求めるための処理についてはこれに限定するものではなく、様々な方法がある。例えば、三次元位置姿勢センサ１０３から送出された位置姿勢情報に、予め測定した三次元位置姿勢センサ１０３と撮像部１０１との位置姿勢関係を加えたものを、撮像部１０１の位置姿勢として求めても良い。また、撮像部１０１からの現実空間画像中に写っている対象物を指標として用いることで、撮像部１０１の位置姿勢を求めても良い。また、位置姿勢情報生成部１０４は、ＨＭＤ３０１内に設けず、コントローラ３０２側に設けても良い。その場合、ＨＭＤ３０１からは、三次元位置姿勢センサ１０３による計測結果としての位置姿勢情報のみをコントローラ３０２に送出する。そしてコントローラ３０２側に設けた位置姿勢情報生成部１０４は、係る位置姿勢情報を用いて上述の通りの処理を行い、撮像部１０１の位置姿勢を求める。
【００３４】
何れの方法を用いるにせよ、位置姿勢情報生成部１０４は、求めた撮像部１０１の位置姿勢を示す位置姿勢情報を、後段のＩ／Ｆ（インターフェース）１０６に送出する。
【００３５】
Ｉ／Ｆ１０６は係る位置姿勢情報をコントローラ３０２に送出する。また、Ｉ／Ｆ１０６は、コントローラ３０２から送出される、後述の画像情報（データパケット）を受けると、これを復号部１１１内の境界判断部１０８に送出する。復号部１１１内の各部については後述する。先にコントローラ３０２について説明する。
【００３６】
Ｉ／Ｆ１１２は、Ｉ／Ｆ１０６から送出された位置姿勢情報を受けると、これを後段のＣＧ（コンピュータグラフィックス）描画部１１３に送出（出力）する。また、Ｉ／Ｆ１１２は、コントローラ３０２が後述する処理により生成した画像情報をＨＭＤ３０１に対して送出する。
【００３７】
ＣＧ描画部１１３は、自身が保持する仮想空間のデータに基づいて仮想空間を構築する。そして構築した仮想空間を、Ｉ／Ｆ１１２から受けた位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。なお、仮想空間画像は、仮想物体が描画されているオブジェクト領域（非背景領域）と、予め設定されたクロマキー色を有する背景領域と、の２つの属性領域で構成されている。そして生成した仮想空間画像を、後段の変換部１２０内の色空間変換部１１４に送出する。
【００３８】
色空間変換部１１４は、ＣＧ描画部１１３から受けた仮想空間画像を構成する各画素の画素値がＲＧＢ値を表すものである場合には、係る画素値を、輝度成分、色差成分のセットを示す画素値に変換する。即ち、仮想空間画像を構成する各画素の画素値が示す色成分を、輝度成分、色差成分に変換する。例えば、仮想空間画像を構成する各画素の画素値を、ＹＵＶ、ＹＣｂＣｒ等の輝度成分、色差成分のセットで表現される画素値に変換する。そして係る変換済みの仮想空間画像を後段の境界検出部１１６に対して送出する。もちろん、ＣＧ描画部１１３から受けた仮想空間画像を構成する各画素の画素値が輝度値、色差値を示すものである場合には、色空間変換部１１４は係る仮想空間画像に対して何も処理せず、そのまま係る仮想空間画像を後段の境界検出部１１６に送出する。
【００３９】
背景情報格納部１１５には、上記クロマキー色の輝度値、色差値を示すデータが格納されている。なお、背景情報格納部１１５が保持しているデータと同じものが、ＨＭＤ３０１が有する後述の背景情報格納部１０７にも保持されている。更に、背景情報格納部１０７には、クロマキー色を示すＲＧＢ値のデータも格納されている。
【００４０】
境界検出部１１６は、色空間変換部１１４から色空間変換済みの仮想空間画像を受けると、係る仮想空間画像を構成するライン毎に、ラインを構成する各画素の輝度値、色差値を順次読み取る（参照する）。読み取り順は、ライン毎に、ラインの一端側から他端側に読み取る。そして、読み取った輝度値、色差値が、背景情報格納部１１５に保持されている輝度値、色差値と一致しているか否かを判断する。ここで、本実施形態において「一致」なる文言は「値として完全に同じである」という意味で解釈されるべきではなく、「予め設定された範囲内に収まっている」という意味で解釈されるべきである。そして、一致していると判断された画素は、背景領域内に位置している画素として判断され、一致していないと判断された画素については、オブジェクト領域内に位置している画素として判断される。
【００４１】
輝度変更部１１７は、境界検出部１１６がオブジェクト領域内に位置していると判断した画素の輝度値ｘと、背景情報格納部１１５に保持されている輝度値ｙとの大小比較を行い、ｘ≧ｙであれば、輝度値ｘを増加させる。増分については特に限定するものではないが、本実施形態では「＋１」とする。なお、係る輝度値の制御処理は、背景領域の画素とオブジェクト領域の画素が、同じ輝度値を有することがないようにするためのものであるので、このような画素がない場合には、係る輝度値の制御処理は行わなくても良い。
【００４２】
変換制御部１１８は、後述する各処理によって、先頭画素位置（後述）をライン中の複数箇所に設定する。
【００４３】
画素グループ生成部１１９は、設定された先頭画素位置を先頭とする予め定められた長さ（＝Ｌ）を有する画素列内で、先頭画素位置以降の連続した画素位置に、先頭画素位置と同じ属性領域内に位置する画素として並んでいる画素群を特定する。そして係る先頭画素位置における画素と、係る画素群とで構成される画素グループを決定する。そして、先頭画素位置における画素の輝度値と色差値（この順で）、係る画素群のそれぞれの輝度値、を、ライン毎に設定されるデータパケット内に、既に記録済みのデータに隣接させて記録する。そして、ライン中の各箇所に設定された先頭画素位置毎にデータパケットに上記記録処理を行うことで、「１ライン分のデータパケット」を完成させることができる。従って、係る「１ライン分のデータパケット」をＩ／Ｆ１１２に送出するので、Ｉ／Ｆ１１２は係るデータパケットを画像情報としてＨＭＤ３０１に送出する。尚、パケット伝送に限らず、画素ごとに順次処理した画像情報をパケット化せずにストリーム伝送するように構成しても良い。
【００４４】
Ｉ／Ｆ１０６は係るデータパケットを受信すると、これを復号部１１１内の境界判断部１０８に送出する。
【００４５】
境界判断部１０８は先ず、受信したデータパケットに基づいて、仮想空間画像を復号する。より詳しくは、次の通りである。先ず、注目ラインにおけるデータパケットを受信したとする。先ず、データパケットの先頭から順に、データパケット内に記録されている輝度値若しくは色差値を、読み出し値として読み出す。ここで、データパケット内の記録されているものは上述の通り、輝度値と色差値の２種類であるが、始めは必ず輝度値から読み出すことになる。従って、読み出し値として輝度値を読み出した場合、この輝度値が、背景情報格納部１０７に格納されている輝度値に一致するか否かを判断する。係る判断の結果、一致する場合には、読み出した輝度値の画素は背景領域内に位置する画素であると判断することができる。一方、一致しなかった場合には、読み出した輝度値の画素は、オブジェクト領域内に位置する画素であると判断することができる。
【００４６】
そして、読み出した輝度値（注目輝度値）の画素（注目画素）が属する属性領域と、注目輝度値よりも１つ前に読み出された輝度値の画素が属する属性領域とが異なる場合には、注目輝度値に隣接して後続する色差値を読み出す。そして、読み出した色差値を、この色差値以降に読み出される輝度値と共に用いて画素を復元するために用いる設定値として設定する。そして、注目輝度値とこの色差値とに基づいて１つの画素を復元する。
【００４７】
一方、読み出した注目輝度値の注目画素が属する属性領域と、注目輝度値より１つ前に読み出された輝度値の画素が属する属性領域とが同じである場合には、注目輝度値と、上記設定値として設定されている色差値と、に基づいて１つの画素を復元する。以上の処理をデータパケットに対して行うことで、１ライン分の仮想空間画像を復号することができる。そして、このような復号処理を、データパケットを受ける毎に行うことで、複数ラインの仮想空間画像を復号することができる。
【００４８】
輝度復元部１０９は、仮想空間画像を構成する各画素のうち、オブジェクト領域内に位置していると判断された画素の輝度値を、上記輝度変更部１１７が変更した分だけ元に戻す。例えば、輝度変更部１１７が「＋１」だけ輝度値を増加させた場合には、輝度復元部１０９は「＋１」だけ輝度値を減じる。そして、輝度復元部１０９により復元された仮想空間画像は後段の色空間変換部１１０に送出される。
【００４９】
色空間変換部１１０は、上記色空間変換部１１４が行った変換処理の逆変換処理を行い、輝度復元部１０９から受けた仮想空間画像中の各画素の画素値の色空間をＲＧＢに変換する。色空間変換部１１０により各画素の色空間がＲＧＢに変換された仮想空間画像は、後段のクロマキー合成部１０５に送出される。
【００５０】
クロマキー合成部１０５は、色空間変換部１１０から受けた仮想空間画像と撮像部１０１から受けた現実空間画像とのクロマキー合成を行う。より詳しくは、仮想空間画像を構成する画素の画素値を参照し、背景情報格納部１０７に格納されているクロマキー色のＲＧＢ値と一致している場合には、係る画素の画素値を、現実空間画像上において対応する位置の画素の画素値に更新する。一方、一致していない場合には、何も処理は行わない。
【００５１】
次に、変換制御部１１８、画素グループ生成部１１９が行う、データパケットの生成処理について、図５，６を用いて説明する。
【００５２】
図５は、画像についての情報量を減少させるために、予め定められた長さの画素列毎に色差値を統一する、従来技術を説明する図である。
【００５３】
図５において５０１は、画素Ｎ１〜Ｎ１３による画素列を示す。図５では、画素Ｎ１〜Ｎ６、Ｎ１２，Ｎ１３は背景領域内に位置する画素で、画素Ｎ７〜Ｎ１１は、オブジェクト領域内に位置する画素である。図５に矢印で示す如く、画素Ｎ１から画素Ｎ１３へ向かう方向を、処理、伝送を行う際の走査方向とする。
【００５４】
５０２は、画素Ｎ１〜Ｎ１３のそれぞれのＲＧＢ値を示しており、例えば、画素Ｎ４のＲ、Ｇ、Ｂのそれぞれの値はｒ１，ｇ１，ｂ１であり、画素Ｎ８のＲ、Ｇ、Ｂのそれぞれの値はｒ３，ｇ３，ｂ３である。
【００５５】
５０３は、画素Ｎ１〜Ｎ１３の色空間（ＲＧＢ色空間）をＹＵＶ色空間に変換した場合における、画素Ｎ１〜Ｎ１３の各画素値を示す。
【００５６】
ここで、画素Ｎ１〜Ｎ１３を４画素毎にグループ分割し、それぞれの画素グループ（太線内）内で色差値を統一することで、画像全体の情報量が削減される。そこで、画素グループ内の先頭画素位置における画素の色差値をこの画素グループの代表色差値とし、この画素グループ内の各画素の色差値をこの代表色差値とする。
【００５７】
５０４は、画素グループ毎に代表色差値で色差値を統一した場合における、画素Ｎ１〜Ｎ１３の画素値を示している。５０４に示す如く、最初の画素グループ５０４ａの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ５０４ａ内の各画素の色差値としている。２番目の画素グループ５０４ｂの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ５０４ｂ内の各画素の色差値としている。３番目の画素グループ５０４ｃの先頭画素位置における色差値ｕ４、ｖ４を、この画素グループ５０４ｃ内の各画素の色差値としている。
【００５８】
５０５は、５０４に示した各画素の画素値をＹＵＶからＲＧＢに色空間変換する前の各画素のＹＵＶの画素値を示している。
【００５９】
このように、画素グループ内の先頭画素位置以外の画素位置におけるそれぞれの画素のオリジナルの色差情報については削除するので、画像全体の情報量を削減することはできる。しかし５０４に示す如く、オブジェクト領域内の画素である画素Ｎ７、Ｎ８の色差値は、背景領域内の画素である画素Ｎ５の色差値に変更されている。また、背景領域内の画素である画素Ｎ１２の色差値は、オブジェクト領域内の画素である画素Ｎ９の色差値に変更されている。
【００６０】
このような処理を行った画像の色空間をＲＧＢ色空間に変換すると、クロマキー合成に用いても、境界１，２付近では色ずれが発生する。例えば、画素Ｎ１２に関しては、本来は背景領域内における画素であったものの、上記処理を行ったが故に、オブジェクト領域内の色差を持った画素となっている。従って、クロマキー合成を行う際に、係る画素Ｎ１２については背景領域内の画素と見なされなくなってしまう。
【００６１】
本実施形態は係る問題に鑑み、オブジェクト領域、背景領域のように異なる属性領域の境界を画素グループがまたぐことを禁止し、画素グループが同じ属性領域内で収まるように、画素グループの先頭画素位置を制御する。
【００６２】
図６は、画素グループの先頭画素位置を制御することによって、画素グループ毎に色差値を統一する処理を説明する図である。
【００６３】
図６において６０１は、画素Ｎ１〜Ｎ１３による画素列を示す。図６では、画素Ｎ１〜Ｎ６、Ｎ１２，Ｎ１３は背景領域内に位置する画素で、画素Ｎ７〜Ｎ１１は、オブジェクト領域内に位置する画素である。図６に矢印で示す如く、画素Ｎ１から画素Ｎ１３へ向かう方向を、処理、伝送を行う際の走査方向とする。
【００６４】
６０２は、画素Ｎ１〜Ｎ１３のそれぞれのＲＧＢ値を示しており、例えば、画素Ｎ４のＲ、Ｇ、Ｂのそれぞれの値はｒ１，ｇ１，ｂ１であり、画素Ｎ８のＲ、Ｇ、Ｂのそれぞれの値はｒ３，ｇ３，ｂ３である。
【００６５】
６０３は、画素Ｎ１〜Ｎ１３の色空間（ＲＧＢ色空間）をＹＵＶ色空間に変換した場合における、画素Ｎ１〜Ｎ１３の各画素値を示す。
【００６６】
ここで、本実施形態においても、画素Ｎ１〜Ｎ１３を４画素毎にグループ分割し、それぞれの画素グループ（太線内）内で色差値を統一することで、画像全体の情報量を削減することを基本としている。しかし、画素グループ中の注目画素の属する属性領域が、注目画素より１画素分、先頭画素位置寄りの画素位置における画素（前画素）の属する属性領域とは異なる場合、本実施形態では、前画素までを１つの画素グループとする。そして注目画素位置を先頭画素位置とする新たな画素グループを設定し、以降は同じ処理を行う。
【００６７】
６０４は、画素グループ毎に代表色差値で色差値を統一した場合における、画素Ｎ１〜Ｎ１３の画素値を示している。６０４に示す如く、最初の画素グループ６０４ａ内の各画素は何れも同じ属性領域（背景領域）内に属している。従って、上記画素グループ５０４ａと同様、係る画素グループ６０４ａ内の先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ６０４ａ内の各画素の色差値としている。次に、従来であれば画素グループ５０４ｂに示す如く、２番目の画素グループは、背景領域とオブジェクト領域とにまたがってしまう。図５では、画素Ｎ５、Ｎ６が属する属性領域（背景領域）と、画素Ｎ７、Ｎ８が属する属性領域（オブジェクト領域）とは異なっている。そこで本実施形態では、画素Ｎ５、Ｎ６を１つの画素グループ６０４ｂとし、係る画素グループ６０４ｂの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ６０４ｂ内の各画素の色差値としている。次に、画素Ｎ７の画素位置を先頭画素位置とする４画素の画素グループを新たに設定するのであるが、係る画素グループ内の各画素は何れも同じ属性領域（オブジェクト領域）内に属している。従って、係る画素グループ６０４ｃ内の先頭画素位置における色差値ｕ２、ｖ２を、この画素グループ６０４ｃ内の各画素の色差値としている。なお、６０４ｃ内の輝度値ｙ２’、ｙ３’、ｙ４’、ｙ５’、Ｙ６’のそれぞれは、輝度変更部１１７において輝度値を増加させた値である。
【００６８】
６０５は、６０４に示した各画素の画素値をＹＵＶからＲＧＢに色空間変換する前の各画素のＹＵＶの画素値を示している。
【００６９】
図６に示す如く、本実施形態に係る画素グループの作成方法によれば、異なる属性領域間にまたがって画素グループを作成すること、即ち、異なる属性領域にまたがって同じ色差値に統一することは避ける。これにより、異なる属性領域間における上記色ずれの問題は解消することができる。
【００７０】
図７は、コントローラ３０２が行う、画像情報生成処理のフローチャートである。なお、図７に示したフローチャートに従った処理は、仮想空間画像中の１つの画素について行う処理であり、実際には係る処理を、仮想空間画像を構成する全ての画素について行うことになる。また、図７に示したフローチャートに従った処理を介する前段では既に、ＣＧ描画部１１３は、各画素の画素値がＲＧＢ値で表現されている仮想空間画像を生成し、生成した仮想空間のデータを後段の色空間変換部１１４に送出している。色空間変換部１１４は、仮想空間画像を構成する各画素の画素値を、例えばラスタースキャン順に読み取る。
【００７１】
ステップＳ８０１では、色空間変換部１１４は、注目ラインにおける注目画素の画素値を読み取る。
【００７２】
ステップＳ８０２では、色空間変換部１１４は、ステップＳ８０１で読み取った画素値がＲＧＢ値を表すものである場合には、係る画素値を、輝度成分、色差成分のセットを示す画素値に変換する。そして係る変換済みの画素値を後段の境界検出部１１６に対して送出する。もちろん、ステップＳ８０１で読み取った画素値が既に輝度値、色差値を示すものである場合には、色空間変換部１１４は係る画素値をそのまま後段の境界検出部１１６に送出する。
【００７３】
ステップＳ８０３では、境界検出部１１６は、色空間変換部１１４から受けた画素値が示す輝度値、色差値と、背景情報格納部１１５に保持されている輝度値、色差値とを、それぞれ比較する。
【００７４】
係る比較の結果、一致している場合には、処理をステップＳ８０４を介してステップＳ８０５に進め、ステップＳ８０５では、ステップＳ８０１で画素値を読み取った注目画素は、背景領域内に位置している画素として判断する。
【００７５】
一方、一致していない場合には、処理をステップＳ８０４を介してステップＳ８０６に進め、ステップＳ８０６では、ステップＳ８０１で画素値を読み取った注目画素は、オブジェクト領域内に位置している画素として判断する。
【００７６】
次にステップＳ８０７では、輝度変更部１１７は、オブジェクト領域内に位置する画素としての注目画素の輝度値ｘと、背景情報格納部１１５に保持されている輝度値ｙとの大小比較を行う。係る比較の結果、ｘ≧ｙであれば、処理をステップＳ８０８に進め、ステップＳ８０８では、輝度値ｘを増加させる、増分については特に限定するものではないが、本実施形態では「＋１」とする。
【００７７】
なお、ステップＳ８０７、Ｓ８０８における処理は、オブジェクト領域内の画素の画素値を背景領域内の画素の画素値と異ならせると共に、画素値を異ならせた画素を明示的にする為の処理である。従って、同じ目的を達成できるのであれば、ステップＳ８０７，Ｓ８０８で行う処理は、係る処理に限定するものではない。
【００７８】
次にステップＳ８０９では、変換制御部１１８は、次のような処理を行う。先ず、注目画素に隣接した画素位置に位置しており、且つステップＳ８０１において画素値を読み出す順番が注目画素よりも１つ前の画素（前画素）が位置するとステップＳ８０５又はステップＳ８０６で判断された属性領域を特定する。そして、この特定した属性領域と、注目画素が位置するとステップＳ８０５又はステップＳ８０６で判断された属性領域とが同じであるのか否かを判断する。即ち、前画素と注目画素とが同じ属性領域内に位置しているのか否かを判断する。
【００７９】
係る判断の結果、同じ属性領域内に位置していないと判断した場合には処理をステップＳ８１１に進める。一方、同じ属性領域内に位置していると判断した場合には処理をステップＳ８１３に進める。なお、注目画素の前画素が存在しない場合（注目画素が画像の左端に位置する場合）には、同じ属性領域内に位置していないと判断する。
【００８０】
ここで、同じ属性領域内に位置していると判断した場合、通常は、注目画素は前画素が属している画素グループ内に属することができる。しかし、１つの画素グループには、最大でも長さＬの画素列の画素数分だけしか含めることができないため、前画素が属する画素グループ内に現在何個の画素が属しているのかを判断する。そして、前画素が属する画素グループ内に属している画素の個数が、長さＬの画素列の画素数よりも少ない場合には、注目画素をこの画素グループ内に含めることができる。一方、前画素が属する画素グループ内に属している画素の個数が、長さＬの画素列の画素数に一致した場合には、注目画素はこの画素グループ内に含めることはできず、注目画素を先頭画素位置とする新たな画素グループを設ける必要がある。
【００８１】
従ってステップＳ８１３では、変換制御部１１８は、上述のような処理を行い、注目画素を前画素と同じ画素グループ内に含めることができるか否かを判断する。係る判断は換言すれば次のようなものになる。即ち、前画素が属する画素グループ内の先頭画素位置以降の連続した画素位置に先頭画素位置と同じ属性領域に属する画素の画素列が長さＬ（本実施形態では４画素）に達しているか否かを判断する。
【００８２】
そして、係る判断処理の結果、長さＬに達していない場合には、注目画素を前画素と同じ画素グループ内に含めることができると判断し、処理をステップＳ８１２に進める。
【００８３】
ステップＳ８１２では、画素グループ生成部１１９は、注目ラインについて設定されているデータパケット内に、注目画素の輝度値を、既に記録済みのデータに隣接させて記録する。
【００８４】
一方、ステップＳ８１３における判断処理の結果、長さＬに達している場合には、注目画素を前画素と同じ画素グループ内に含めることができないと判断し、処理をステップＳ８１１に進める。
【００８５】
ステップＳ８１１では、変換制御部１１８は、注目画素の画素位置を先頭画素位置として設定する。
【００８６】
ステップＳ８１２では、画素グループ生成部１１９は、ステップＳ８１１で先頭画素位置として設定した画素位置における画素（注目画素）の輝度値、色差値を、注目ラインについて設定されているデータパケット内に、記録済みのデータに隣接させて記録する。
【００８７】
なお、以上説明した図７のフローチャートに従った処理を換言すれば、以下のようになる。
【００８８】
即ち、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域と、の２つの属性領域で構成されている画像を構成するライン毎に、ラインを構成する各画素の輝度値と色差値とを順次読み取る。そして、注目ライン上の注目画素について読み取った輝度値と色差値とに基づいて、注目画素が背景領域内に属しているのか非背景領域内に属しているのかを判断する。そして、注目画素が属している属性領域と、読み取り順において注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、次のような処理を行う。
【００８９】
即ち、注目画素の輝度値と色差値とをこの順で、注目ラインに対して設定したデータパケット内に既に記録済みのデータに隣接させて記録する。一方、注目画素が属している属性領域と、前画素が属している属性領域とが同じである場合には、注目画素の輝度値を、データパケット内に既に記録済みのデータに隣接させて記録する。
【００９０】
このように、１ラインを構成する各画素についてデータパケットへの上記記録処理を行うことで完成するデータパケットは上述の通り、ＨＭＤ３０１側に送出される。
【００９１】
次に、ＨＭＤ３０１側で係るデータパケットを復号し、ＲＧＢ値を有する画素を復元する処理について、同処理のフローチャートを示す図８を用いて以下説明する。
【００９２】
ステップＳ９０１では、境界判断部１０８は先ず、受信したデータパケットの先頭から順に、データパケット内に記録されている輝度値若しくは色差値を、読み出し値として読み出す。
【００９３】
ステップＳ９０２では、境界判断部１０８は、読み出し値として読み出した輝度値が、非背景領域内に属する画素の輝度値であるのか、背景領域内に属する画素の輝度値であるのかを判断する。係る判断では、読み出し値として読み出した輝度値と、背景情報格納部１０７に保持されている輝度値と、の比較処理を行う。係る比較処理の結果、一致する場合には、処理をステップＳ９０３を介してステップＳ９０４に進め、ステップＳ９０４では、読み出し値として読み出した輝度値を有する画素は背景領域内に位置していると判断する。一方、一致しない場合には、処理をステップＳ９０３を介してステップＳ９０５に進め、ステップＳ９０５では、読み出し値として読み出した輝度値を有する画素はオブジェクト領域内に位置していると判断する。
【００９４】
次にステップＳ９０６では、輝度復元部１０９は、読み出し値として読み出した輝度値ｘ（オブジェクト領域内に属するものとして判断された輝度値）と、背景情報格納部１０７に保持されている輝度値ｙとの大小比較処理を行う。そして、ｘ＞ｙである場合には処理をステップＳ９０７に進める。
【００９５】
ステップＳ９０７では、輝度復元部１０９は、輝度値ｘを、上記輝度変更部１１７が変更した分だけ元に戻す。例えば、輝度変更部１１７が「＋１」だけ輝度値を増加させた場合には、輝度復元部１０９は「＋１」だけ輝度値を減じる。
【００９６】
次にステップＳ９０８では、境界判断部１０８は、ステップＳ９０１で読み出し値が読み出された画素（以下、復号対象画素）が属する属性領域と、復号対象画素よりも１つ前に読み出し値が読み出された画素が属する属性領域とが同じであるか否かを判断する。
【００９７】
係る判断の結果、同じであると判断された場合には処理をステップＳ９１２に進め、異なると判断された場合には処理をステップＳ９０９に進める。
【００９８】
ステップＳ９０９では、境界判断部１０８は、ステップＳ９０１で読み出した輝度値に隣接して後続する色差値（注目色差値）を読み出す。そして、読み出した色差値を、この色差値以降（注目色差値以降）に読み出される輝度値と共に用いて画素を復元するために用いる設定値として設定する。
【００９９】
そしてステップＳ９１０では、境界判断部１０８は、ステップＳ９０１で読み出した輝度値（若しくはステップＳ９０７で修正した輝度値）と、ステップＳ９０９で読み出した色差値とに基づいて１つの画素を復元する。
【０１００】
そして、長さＬの画素列の画素数分から１を引いた数だけ、連続してステップＳ９０８で「同じ」と判断されている場合には、処理はステップＳ９０８からステップＳ９１２を介してステップＳ９０９に進む。
【０１０１】
一方、長さＬの画素列の画素数分から１を引いた数だけ、連続してステップＳ９０８で「同じ」と判断されていない場合には、処理はステップＳ９０８からステップＳ９１２を介してステップＳ９１５に進む。
【０１０２】
ステップＳ９１５では、境界判断部１０８は、ステップＳ９０１で読み出した輝度値（若しくはステップＳ９０７で修正した輝度値）と、設定値として設定されている色差値と、に基づいて１つの画素を復元する。
【０１０３】
ステップＳ９１１では、復元された画素の輝度値、色差値を、ＲＧＢ値に変換することで、係る画素の表示データを生成する。
【０１０４】
以上の説明により、本実施形態によって、異なる属性領域間にまたがって画素グループを作成する。即ち、異なる属性領域にまたがって同じ色差値に統一することはないので、異なる属性領域間における上記色ずれの問題は解消することができる。
【０１０５】
なお、本実施形態では、コントローラ３０２とＨＭＤ３０１との間における通信エラーについては特に考慮していない。係る点について考慮するのであれば、その対策として、誤り訂正符号等を用いた誤り制御機能や、ＨＭＤ３０１側で前の画像情報やステレオ画像の反対側の画像情報を用いて通信エラーが発生した画像を補間する補間機能を持たせてもよい。係る対策を行うことにより、通信エラー発生時にも正確な画像情報を復元し、色ズレを抑制することが可能となる。
【０１０６】
また、以上の説明では、色空間変換部１１４における変換後に境界検出部１１６において境界検出を行っているが、この順番を入れ替えてもよい。その場合、背景情報格納部１１５には背景色のＲＧＢ各色の画素値および変換後の輝度値を格納し、境界検出部では、変換前のＣＧ画像と背景色のＲＧＢ各色の画素値を比較し、一致するか否かで境界を検出する。
【０１０７】
［第２の実施形態］
第１の実施形態では、コントローラ３０２側で仮想空間画像におけるオブジェクト領域内の輝度値を制御することによって、ＨＭＤ３０１側での属性領域の判別を可能にし、また、これにより、属性領域の境界部分をも特定することができた。本実施形態では、オブジェクト領域内の輝度値の制御は行わず、オブジェクト領域と背景領域との境界部分を示す境界情報を、データパケットに添付してＨＭＤ３０１に送出する。
【０１０８】
図９は、本実施形態に係るシステムの機能構成例を示すブロック図である。図９に示す如く、本実施形態に係るシステムは、頭部装着型表示装置の一例としてのＨＭＤ（ヘッドマウントディスプレイ）９０１とコントローラ９０２とにより構成されている。そして、コントローラ９０２とＨＭＤ９０１とは互いにデータ通信が可能なように接続されている。図９において、図１に示したものと同じものについては同じ参照番号を付けており、その説明は省略する。
【０１０９】
コントローラ９０２における境界検出部１０１５は、図１に示した境界検出部１１６と同様、色空間変換部１１４から色空間変換済み仮想空間画像を受けると、係る色空間変換済み仮想空間画像を構成する画素（注目画素）の輝度値、色差値を読み取る。そして、読み取った輝度値、色差値が、背景情報格納部１１５に保持されている輝度値、色差値と一致しているか否かを判断する。そして、一致している場合には、注目画素は背景領域内に位置していることを示す情報（属性領域情報）を後段の変換制御部１０１６、境界情報付加部１０１８に送出する。一方、一致していないと判断された場合には、注目画素はオブジェクト領域内に位置していることを示す情報（属性領域情報）を後段の変換制御部１０１６、境界情報付加部１０１８に送出する。
【０１１０】
変換制御部１０１６は、境界検出部１０１５から受けた各画素についての属性領域情報に基づいて、背景領域と非背景領域との境界を検知する。境界を検知すると、後は第１の実施形態と同様の処理を行い、先頭画素位置を特定する。そして、特定した先頭画素位置を後段の画素グループ生成部１１９に送出する。
【０１１１】
画素グループ生成部１１９は、第１の実施形態で説明したように、ライン毎のデータパケットを生成する。生成したライン毎のデータパケットは境界情報付加部１０１８に送出する。
【０１１２】
境界情報付加部１０１８は、注目ラインのデータパケットを画素グループ生成部１１９から受けると、係るデータパケットを、注目ラインを構成する各画素についての属性領域情報と共に、Ｉ／Ｆ１１２に対して送出する。
【０１１３】
境界判断部１００８は、Ｉ／Ｆ１０６を介して、注目ラインのデータパケットと、注目ラインを構成する各画素についての属性領域情報を受けると、係る属性領域情報に基づいて、注目ライン上における境界位置を特定する。境界判断部１００８の動作については、背景領域と非背景領域との境界を検知する方法が異なるだけで、それ以外については境界判断部１０８と同じである。
【０１１４】
図１０は、データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【０１１５】
図１０において１１０１は仮想空間画像で、背景領域１１９８とオブジェクト領域１１９９との２つの属性領域で構成されている。１１０２は注目ラインであり、１１０３は注目ライン上における背景領域１１９８とオブジェクト領域１１９９との境界位置を示す。以下の説明は、注目ライン以外の何れのラインについても同じであり、且つ注目ライン上の他の境界位置についても同じである。
【０１１６】
１１５０は、注目ライン上の各画素を示す。
【０１１７】
１１５１は、１１５０で示す各画素に対する属性領域情報を示したものである。図１０では、背景領域１１９８内に属する画素の属性領域情報は「０」、オブジェクト領域１１９９内に属する画素の属性領域情報は「１」となっている。もちろん、それぞれの属性領域を識別するための情報についてはこれに限定するものではない。
【０１１８】
１１０４は、データパケット１１８０に対応する属性領域情報であり、１１０５は、データパケット１１８１に対応する属性領域情報である。即ち、図１０では、注目ラインについて生成したデータパケットに、注目ラインを構成する各画素について求めた属性領域情報を付加している。そしてこのように、ライン毎にデータパケット、属性領域情報をセットにしてＨＭＤ９０１に送出する。これにより、ＨＭＤ９０１側では、データパケットにヘッダとして付加されている属性領域情報を参照すれば、データパケット中の各データの属性領域を判断することができる。
【０１１９】
なお、各画素についての属性領域情報を１ラインについて列挙したビット列はそのまま送信しても良いが、係るビット列は、例えば、ランレングス符号化など、バイナリのビット列に適した符号化方法を用いて符号化してから送信しても良い。このように、図１０に示した方法は、属性領域情報を圧縮符号化することができる方法であり、その点では好適である。
【０１２０】
図１１は、データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【０１２１】
図１１において１２０１は仮想空間画像で、背景領域１２９８とオブジェクト領域１２９９との２つの属性領域で構成されている。１２０２は注目ラインであり、１２０３は注目ライン上における背景領域１２９８とオブジェクト領域１２９９との境界位置を示す。以下の説明は、注目ライン以外の何れのラインについても同じであり、且つ注目ライン上の他の境界位置についても同じである。
【０１２２】
１２５０は、注目ライン上の各画素を示す。
【０１２３】
１２５１は、１２５０で示す各画素に対する属性領域情報を示したものである。図１１では、背景領域１２９８内に属する画素の属性領域情報は「０」、オブジェクト領域１１９９内に属する画素の属性領域情報は「１」となっている。もちろん、それぞれの属性領域を識別するための情報についてはこれに限定するものではない。
【０１２４】
１２５２は、注目ライン１２０２に対するデータパケットである。図１１では、注目ラインについて生成したデータパケット中の各画素について、対応する属性領域情報を付加している。そしてこのように、ライン毎にデータパケット、属性領域情報をセットにしてＨＭＤ９０１に送出する。これにより、ＨＭＤ９０１側では、データパケット中の各画素に対応する属性領域情報を参照すれば、対応する画素の属性領域を判断することができる。
【０１２５】
なお、各画素のデータに属性領域情報を付加する場合、例えば、次のような方法がある。輝度データが８ビットである場合、係るデータを９ビットに拡張し、９ビットのうち最上位ビットあるいは最下位ビットを属性領域情報である１ビットを割り当てる。また、係る８ビットのうち最下位の１ビットを削除することで７ビットに変換し、１ビットの属性領域情報を付加することで、８ビットとしても良い。
【０１２６】
このように、属性領域情報をデータパケットに付加する方法については様々なものがあり、それぞれには当然メリットデメリットがある。従って、どの方法を採用するのかについてはシステムの設計者が適宜決めればよい。
【０１２７】
以上の説明により、本実施形態によれば、第１の実施形態で説明した効果に加え、以下のような効果も奏することができる。即ち、コントローラ９０２からＨＭＤ９０１に転送する情報量は増えるものの、ＨＭＤ９０１の構成は図１と図９とを比べてみれば一目瞭然で、より簡素化することができる。
【０１２８】
ＨＭＤ９０１は周知の通り、観察者の頭部に装着するものであるので、より軽量であることが好ましい。従って、ＨＭＤ９０１の構成をより簡素化することは、ＨＭＤ９０１の軽量化にも繋がり、本実施形態は係る点で好適なものとなる。
【０１２９】
なお、本実施形態においても、第１の実施形態で説明したような、通信エラーへの対処を行うようにしても良い。
【０１３０】
［第３の実施形態］
図１２は、本実施形態に係るシステムの機能構成例を示すブロック図である。なお、図１２において、図１と同じ部分については同じ番号を付けており、その説明は省略する。
【０１３１】
先ず、コントローラ１３０２内の変換部１３１９の動作について説明する。変換部１３１９を構成する各部の動作については第１の実施形態で説明したとおりであるので、ここでは各部間における協調動作について説明する。
【０１３２】
色空間変換部１１４は、ＣＧ描画部１１３が生成した仮想空間画像を構成する各画素の画素値を、ＲＧＢ値から、輝度値、色差値を示す画素値に変換する。
【０１３３】
境界検出部１０１５は、現在着目している画素の属性領域が背景領域であるのかオブジェクト領域であるのかを輝度変更部１１７に通知し、輝度変更部１１７は、オブジェクト領域内に位置している画素の輝度値を変更する。
【０１３４】
そして、結果として輝度変更部１１７からは、色空間変換部１１４から送出された仮想空間画像において、オブジェクト領域内に属する画素の輝度値を変更した仮想空間画像が画素グループ生成部１３９９に送出される。
【０１３５】
画素グループ生成部１３９９は、受けた仮想空間画像を構成するライン毎に、１ラインを４画素毎にグループ分割し、分割したそれぞれの画素グループ毎に、画素グループ内の全ての画素の色差値を、画素グループの先頭位置における画素の色差値に更新する。そして画素グループ生成部１３９９は、ライン毎に設定したデータパケットに、画素グループ毎に、先頭位置における画素については輝度値と色差値を、先頭位置に後続する画素については輝度値を記録する。
【０１３６】
そして、画素グループ生成部１３９９により生成されたデータパケットはＩ／Ｆ１３１３に対して送出されるので、Ｉ／Ｆ１３１３は係るデータパケットをＨＭＤ１３０１に送出する。
【０１３７】
次に、ＨＭＤ１３０１内の復号部１３１２の動作について説明する。
【０１３８】
境界画素補間部１３１０には、属性領域の境界は無視し、固定長の画素グループ毎に同じ色差の画素が復元された仮想空間画像が入力される。従って、境界画素補間部１３１０は、係る仮想空間画像において、属性領域の境界における画素について更に画素グループ分割を行う。
【０１３９】
境界画素補間部１３１０により得られる結果としての仮想空間画像は、色空間変換部１１０に入力される。
【０１４０】
図１３は、境界画素補間部１３１０が行う処理を説明する図である。
【０１４１】
図１３において１４０１は、画素Ｎ１〜Ｎ１３による画素列を示す。図１３では、画素Ｎ１〜Ｎ６、Ｎ１２，Ｎ１３は背景領域内に位置する画素で、画素Ｎ７〜Ｎ１１は、オブジェクト領域内に位置する画素である。図１３に矢印で示す如く、画素Ｎ１から画素Ｎ１３へ向かう方向を、処理、伝送を行う際の走査方向とする。
【０１４２】
１４０２は、画素Ｎ１〜Ｎ１３のそれぞれのＲＧＢ値を示しており、例えば、画素Ｎ４のＲ、Ｇ、Ｂのそれぞれの値はｒ１，ｇ１，ｂ１であり、画素Ｎ８のＲ、Ｇ、Ｂのそれぞれの値はｒ３，ｇ３，ｂ３である。
【０１４３】
１４０３は、画素Ｎ１〜Ｎ１３の色空間（ＲＧＢ色空間）をＹＵＶ色空間に変換した場合における、画素Ｎ１〜Ｎ１３の各画素値を示す。
【０１４４】
ここで、画素Ｎ１〜Ｎ１３を４画素毎にグループ分割し、それぞれの画素グループ（太線内）内で色差値を統一することで、画像全体の情報量が削減される。そこで、画素グループ内の先頭画素位置における画素の色差値をこの画素グループの代表色差値とし、この画素グループ内の各画素の色差値をこの代表色差値とする。
【０１４５】
１４０４は、画素グループ毎に代表色差値で色差値を統一した場合における、画素Ｎ１〜Ｎ１３の画素値を示している。１４０４に示す如く、最初の画素グループ１４０４ａの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ１４０４ａ内の各画素の色差値としている。２番目の画素グループ１４０４ｂの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ１４０４ｂ内の各画素の色差値としている。３番目の画素グループ１４０４ｃの先頭画素位置における色差値ｕ４、ｖ４を、この画素グループ１４０４ｃ内の各画素の色差値としている。なお、ｙ２’、ｙ３’、ｙ４’、ｙ５’、ｙ６’のそれぞれは、輝度変更部１１７において輝度値を増加させた値である。、
コントローラ１３０２からはこのような画素グループ毎のデータが記録されたデータパケットがＨＭＤ１３０１に送出されている。
【０１４６】
１４０５は、境界画素補間部１３１０による補間後の画素毎の輝度値、色差値を示す。境界画素補間部１３１０は、画素グループ内の全ての画素が同じ属性領域内に位置していれば、この画素グループについては何も処理は行わない。しかし、画素グループ１４０４ｂのように、背景領域とオブジェクト領域とにまたがっている画素グループについては、画素グループ分割する。図１３の場合には、画素Ｎ５、Ｎ６の画素グループ１４０５ａと画素Ｎ７、Ｎ８の画素グループ１４０５ｂとに分割する。そして、画素グループ１４０５ｂの色差値として、これに後続する画素グループの色差値を与える。これにより、２つの属性領域をまたぐ画素グループを、それぞれの属性領域内のみで属する２つの画素グループに分割することができる。
【０１４７】
これにより、本来背景領域内における画素については、背景領域内の色差値が与えられるので、上記色ずれの問題は軽減される。
【０１４８】
また、境界２のように主走査方向に対してオブジェクト領域から背景領域へ切り替わる境界の画素については、隣接画素グループの色差値に置き換える補正を行っても良い。また、境界１のように背景領域からオブジェクト領域へ切り替わる境界の画素については、近傍画素の画素値を用いて線形補間、フィルタ処理等によって補正を行っても良い。即ち、別々の補正処理を行うことも可能である。また上記の近傍画素とは、境界における画素に対して主走査方向に隣接している画素のみを指すものではなく、垂直方向に隣接する画素、あるいは境界における画素を含む任意の複数画素から成る画素ブロックに含まれるオブジェクト領域内の画素を含んでもよい。
【０１４９】
このような補正処理を行うことにより、正しい背景色を再現できる上、オブジェクト領域内部の色ズレを比較的目立たなくすることができ、伝送量を削減しても、ＨＭＤ側で高画質なＣＧ画像を再現することが可能となる。
【０１５０】
以上の説明により、本実施形態によれば、コントローラ側の構成を簡略化することができる。
【０１５１】
本実施形態では、属性領域の境界を特定するために、第１の実施形態と同様に、先頭画素位置を特定している。しかし、属性領域の境界を特定するための処理としては、第２の実施形態で説明したように、属性領域情報を求めるようにしても良い。属性領域の境界を特定するために、第１の実施形態で説明したような構成を採用するのか、第２の実施形態で説明したような構成を採用するのかについては、システムの設計者が適宜決めればよい。
【０１５２】
また、本実施形態においても、第１の実施形態で説明したような、通信エラーへの対処を行うようにしても良い。
【０１５３】
また、上記実施形態では、画素値の置き換え等については輝度成分、色差成分において行っていたが、ＲＧＢの色空間で行うようにしても良い。
【０１５４】
［第４の実施形態］
上記第１乃至３の実施形態のうちの任意の２つの実施形態で説明した機能を選択的に使用可能なシステムを設計しても良い。設計するシステムは当然、システムの使用環境に応じて決めるのであるが、例えば、次のようなシステムが上げられる。
【０１５５】
ＨＭＤとコントローラとの間のデータ通信を無線でもって行うとする。そして、無線における電波状況に応じて、後述するように、２つのシステム動作のうち一方の動作に切り替える。
【０１５６】
例えば、電波状況が悪く、相手に伝送する情報量を極力少なくしたい場合には、属性領域情報を用いず、データパケットのみを送信する第１の実施形態に係るシステム動作を行う。一方、電波状況がさほど悪くない場合には、データパケットに属性領域情報を付加してから送信する第２の実施形態に係るシステム動作を行う。
【０１５７】
係る切り替えは、システムのユーザが適宜判断して手動で切り替えても良いし、電波状況を検知する装置による検知結果に応じて自動的に切り替えるようにしても良い。もちろん、切り替えるための条件についてはこれに限定するものではない。
【０１５８】
［第５の実施形態］
以上の実施形態では、位置姿勢情報に基づいて仮想空間画像を生成し、更にこの生成した仮想空間画像の画素値をＲＧＢ値から輝度値、色差値のセットに変換する処理は全てコントローラが行っていた。しかし、係る処理の一部若しくは全部を、外部の装置に行わせても良い。例えば、コントローラがＨＭＤから位置姿勢情報を受けると、これを外部のＰＣ（パーソナルコンピュータ）に送出する。ＰＣは係る位置姿勢情報に基づいて仮想空間画像を生成した後、生成した仮想空間画像の画素値をＲＧＢ値から輝度値、色差値のセットに変換し、変換後の仮想空間画像をコントローラに返信するようにしても良い。
【０１５９】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１６０】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１６３】
【図１】図３に示したシステムの機能構成例を示すブロック図である。
【図２】色空間変換を利用した画像情報の圧縮に伴う色ズレを説明する図である。
【図３】本発明の第１の実施形態に係るシステムの構成例を示す図である。
【図４】クロマキー合成について説明する図である。
【図５】画像についての情報量を削減するために、予め定められた長さの画素列毎に色差値を統一する、従来技術を説明する図である。
【図６】画素グループの先頭画素位置を制御することによって、画素グループ毎に色差値を統一する処理を説明する図である。
【図７】コントローラ３０２が行う、画像情報生成処理のフローチャートである。
【図８】ＨＭＤ３０１側で係るデータパケットを復号し、ＲＧＢ値を有する画素を復元する処理のフローチャートである。
【図９】本発明の第２の実施形態に係るシステムの機能構成例を示すブロック図である。
【図１０】データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【図１１】データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【図１２】本発明の第３の実施形態に係るシステムの機能構成例を示すブロック図である。
【図１３】境界画素補間部１３１０が行う処理を説明する図である。
【技術分野】
【０００１】
本発明は、現実空間画像と仮想空間画像とを合成するための技術に関するものである。
【背景技術】
【０００２】
従来、画素値がＲ（Ｒｅｄ、赤）、Ｇ（Ｇｒｅｅｎ、緑）、Ｂ（Ｂｌｕｅ、青）で表現される画素で構成されている画像の画像情報を圧縮する方法の１つとして、次のようなものが提案されている。即ち、ＲＧＢ画素データをＹＵＶ画素データやＹＣｂＣｒ画素データのような輝度データと色差データとのセットに変換し、そのうち、色差データの空間解像度を落とすことで情報量を削減する、即ち、画像情報を圧縮する方法がある。具体的には、画像を複数の画素グループ毎に分割し、それぞれの画素グループにおいて、画素グループ内の各画素の輝度値はそのまま保存し、色差値については画素グループ内の代表値のみを保存することで、色差データの空間解像度を落としている。この方法は、明るさの変化には敏感ではあるが、色の変化には鈍感であるという人間の目の特性に基づいており、人間が見た際に画像品質の劣化を感じにくく、効率的な圧縮手法として広く用いられている。
【０００３】
しかしながら、このような色空間変換を利用した圧縮手法は、画像中の境界近傍で色ズレが発生しやすいといった問題があることが知られている。
【０００４】
図２は、色空間変換を利用した画像情報の圧縮に伴う色ズレを説明する図である。
【０００５】
図２において２０１は、球体のオブジェクトの領域２０１ａと、背景領域２０１ｂと、で構成されている画像であって、係る画像２０１を構成する各画素はＲＧＢ色空間における画素値を有している。また、画像２０１内において２０２，２０３はそれぞれ、領域２０１ａと２０１ｂとの境界部分における領域を示す。
【０００６】
図２の中部に示す如く、それぞれの領域２０２，２０３を拡大すると、係る領域２０２，２０３内には複数の画素が含まれており、実線で示す如く、１行４列の画素群（画素グループ）毎に画像は管理されている。ここで、上述のように、画像情報の削減を行うべく、画像２０１を構成する各画素の画素値を輝度値、色差値に変換し、その後、画素グループを構成するそれぞれの画素の色差値を、係る画素グループの開始位置に位置する画素の色差値に統一する。
【０００７】
図２の下部には、上述のようにして画像情報を削減した領域２０２，３０３内の各画素の画素値をＲＧＢ色空間におけるものに変換した領域２０２、２０３内の各画素を示している。上述のようにして領域２０２，３０３内の画像情報を削減すると、２０６で示す如く、画素グループ内で開始位置の次の位置以降の各画素の色差値は元の色差値から変わってしまう。従って、このような各画素の画素値をＲＧＢ色空間におけるものに変換すると、画素グループ内で開始位置の次の位置以降の各画素のＲＧＢ値は元のＲＧＢ値とは大きく異なってしまう可能性がある。ここで、画素２０６が、領域２０２と領域２０３との境界部分に位置する画素である場合、境界付近では色ずれが生じてしまう。
【０００８】
境界近傍の画素の色ズレを補正し、画質劣化を抑制する技術は、すでに開示されている（特許文献１）。係る技術によれば、水平主走査方向に沿って並んでいる各画素の輝度値と色差値とを、画像メモリに格納する。そして、輝度変化が所定値以上となるエッジ始点とエッジ終点を検出し、エッジ始点に先続する画素の色差と、エッジ終点に後続する画素の色差を画像メモリ内の色差を用いて補正する。
【特許文献１】特開平６−２９６２８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来の技術には以下のような問題があった。
【００１０】
輝度変化の大きさによってエッジを検出する手法では、例えば、見た目の色の差が大きくても、境界近傍画素の輝度が同程度となる場合、エッジを検出することができない。その結果、境界部分の色ズレが非常に大きくなる。これは特に、クロマキー合成等、忠実な背景分離が必要とされる場合には支障をきたし、画質劣化や違和感のある画像を生成してしまうなどの問題を生じることとなる。
【００１１】
本発明は以上の問題に鑑みてなされたものであり、画像の画像情報を減少させる為の処理を行う場合に生じる、異なる領域間での色ずれを解消するための技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１３】
即ち、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力手段と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り手段と、
注目画素について前記読み取り手段が読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断手段と、
前記注目画素が属している属性領域と、前記読み取り手段による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録手段と
前記記録手段により記録された前記データを出力する出力手段と
を備えることを特徴とする。
【００１４】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１５】
即ち、前記出力手段から出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置であって、
前記出力手段が出力したデータを受信する受信手段と、
前記データの先頭から順に、前記データ内に記録されている輝度値若しくは色差値を、読み出し値として読み出す手段と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する手段と、
復元された画素の色空間を変換して、表示データを生成する手段と
を備えることを特徴とする。
【００１６】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１７】
即ち、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力工程と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り工程と、
注目画素について前記読み取り工程で読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断工程と、
前記注目画素が属している属性領域と、前記読み取り工程による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録工程と
前記記録工程により記録された前記データパケットを出力する出力工程と
を備えることを特徴とする。
【００１８】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１９】
即ち、前記出力工程で出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置が行う画像処理方法であって、
前記出力工程で出力したデータを受信する受信工程と、
前記データの先頭から順に、前記データ内に記録されている輝度値若しくは色差値を、読み出し値として読み出す工程と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する工程と、
復元された画素の色空間を変換して、表示データを生成する工程と
を備えることを特徴とする。
【発明の効果】
【００２０】
本発明の構成によれば、画像の画像情報を減少させる為の処理を行う場合に生じる、異なる領域間での色ずれを解消することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【００２２】
［第１の実施形態］
図３は、本実施形態に係るシステムの構成例を示す図である。図３に示す如く、本実施形態に係るシステムは、頭部装着型表示装置の一例としてのＨＭＤ（ヘッドマウントディスプレイ）３０１とコントローラ３０２とにより構成されている。そして、コントローラ３０２とＨＭＤ３０１とは互いにデータ通信が可能なように接続されている。係る接続に関しては、無線、有線の何れでも良い。
【００２３】
先ず、ＨＭＤ３０１について説明する。ＨＭＤ３０１は周知の如く、観察者の頭部に装着するものであり、係る観察者の眼前に画像を提供する為のものである。本実施形態では、ＨＭＤ３０１は、コントローラ３０２から送出された画像を、係るＨＭＤ３０１を頭部に装着した観察者の眼前に表示する。ＨＭＤ３０１は、コントローラ３０２からの電源供給によって動作しても良いし、自身が有するバッテリーからの電源供給によって動作しても良い。なお、ＨＭＤ３０１の代わりに、双眼鏡のような手持ちタイプの表示装置を用いても良く、頭部装着型表示装置に限定するものではない。
【００２４】
次に、コントローラ３０２について説明する。コントローラ３０２は、ＨＭＤ３０１に送出する為の画像を生成し、生成した画像をＨＭＤ３０１に送信する。詳しくは後述するが、コントローラ３０２は画像に対する処理として、画像の解像度変換、色空間変換、光学系の歪み補正等の各種画像処理や、伝送フォーマット変換等の処理を行う。
【００２５】
本実施形態では係る構成において、ＨＭＤ３０１は観察者の視点の位置姿勢情報を求め、コントローラ３０２に転送する。コントローラ３０２は係る位置姿勢情報を用いて仮想空間画像を生成し、生成した仮想空間画像の情報量を減少させ（圧縮し）、その結果をＨＭＤ３０１に送出する。ＨＭＤ３０１は、係る結果に基づいて復号した仮想空間画像と、ＨＭＤ３０１が有する後述の撮像部が撮像した現実空間画像とのクロマキー合成を行うことで合成画像を生成し、生成した合成画像を、自身が有する表示部に表示する。
【００２６】
図４は、クロマキー合成について説明する図である。図４において４０１は、現実空間を撮像することによって得られる現実空間画像である。また、４０２は、仮想物体（オブジェクト）が配された仮想空間を任意の視点から見た仮想空間画像であって、仮想空間画像４０２は、仮想物体が描画されている領域４０３（オブジェクト領域）と、背景領域４０４の、２つの属性領域によって構成されている。背景領域４０４は、予め設定されたクロマキー色を有する画素群で構成された領域である。
【００２７】
コントローラ３０２側で仮想空間画像４０２を生成し、ＨＭＤ３０１に送出すると、ＨＭＤ３０１は、自身が有する後述の撮像部によって撮像した現実空間画像４０１と、コントローラ３０２から受けた仮想空間画像４０２とのクロマキー合成を行う。その結果、合成画像４０５を生成する。係るクロマキー合成では、仮想空間画像４０２上の各画素値を参照し、クロマキー色を示す画素値を有する画素については、現実空間画像４０１上の対応する画素に置き換える。これにより、仮想空間画像４０２において、背景領域４０４を現実空間画像４０１上の対応する領域に置き換えた合成画像４０５を生成することができる。
【００２８】
図１は、図３に示したシステムの機能構成例を示すブロック図である。上述の通り、本実施形態に係るシステムは、コントローラ３０２とＨＭＤ３０１とで構成されており、それぞれは互いにデータ通信が可能なように無線若しくは有線で接続されている。
【００２９】
先ず、ＨＭＤ３０１について説明する。
【００３０】
三次元位置姿勢センサ１０３は、自身の位置姿勢を計測するためのものであり、その計測結果は後段の位置姿勢情報生成部１０４に位置姿勢情報として送出される。三次元位置姿勢センサ１０３には、磁気式センサ、光学式センサ、超音波式センサなど、様々なセンサを適用することができる。
【００３１】
撮像部１０１は、ＨＭＤ３０１を頭部に装着した観察者の目の近傍に位置するようにＨＭＤ３０１に取り付けられたものであり、自身の位置から自身の姿勢に応じて見える現実空間の動画像を撮像する。撮像した各フレームの画像（現実空間画像）は、位置姿勢情報生成部１０４、クロマキー合成部１０５に送出される。
【００３２】
表示部１０２は、クロマキー合成部１０５から送出される画像を表示する。表示部１０２は、ＨＭＤ３０１を頭部に装着した観察者の眼前に位置するようにＨＭＤ３０１に取り付けられたものであるので、ＨＭＤ３０１を装着した観察者の眼前には、クロマキー合成部１０５から送出された画像が表示されることになる。
【００３３】
位置姿勢情報生成部１０４は、撮像部１０１から受けた現実空間画像と、三次元位置姿勢センサ１０３から送出された位置姿勢情報と、を用いて、撮像部１０１の位置姿勢を求める。位置姿勢情報生成部１０４が行う処理については周知の技術であるので、これについての説明は省略する。なお、位置姿勢情報生成部１０４が撮像部１０１の位置姿勢を求めるための処理についてはこれに限定するものではなく、様々な方法がある。例えば、三次元位置姿勢センサ１０３から送出された位置姿勢情報に、予め測定した三次元位置姿勢センサ１０３と撮像部１０１との位置姿勢関係を加えたものを、撮像部１０１の位置姿勢として求めても良い。また、撮像部１０１からの現実空間画像中に写っている対象物を指標として用いることで、撮像部１０１の位置姿勢を求めても良い。また、位置姿勢情報生成部１０４は、ＨＭＤ３０１内に設けず、コントローラ３０２側に設けても良い。その場合、ＨＭＤ３０１からは、三次元位置姿勢センサ１０３による計測結果としての位置姿勢情報のみをコントローラ３０２に送出する。そしてコントローラ３０２側に設けた位置姿勢情報生成部１０４は、係る位置姿勢情報を用いて上述の通りの処理を行い、撮像部１０１の位置姿勢を求める。
【００３４】
何れの方法を用いるにせよ、位置姿勢情報生成部１０４は、求めた撮像部１０１の位置姿勢を示す位置姿勢情報を、後段のＩ／Ｆ（インターフェース）１０６に送出する。
【００３５】
Ｉ／Ｆ１０６は係る位置姿勢情報をコントローラ３０２に送出する。また、Ｉ／Ｆ１０６は、コントローラ３０２から送出される、後述の画像情報（データパケット）を受けると、これを復号部１１１内の境界判断部１０８に送出する。復号部１１１内の各部については後述する。先にコントローラ３０２について説明する。
【００３６】
Ｉ／Ｆ１１２は、Ｉ／Ｆ１０６から送出された位置姿勢情報を受けると、これを後段のＣＧ（コンピュータグラフィックス）描画部１１３に送出（出力）する。また、Ｉ／Ｆ１１２は、コントローラ３０２が後述する処理により生成した画像情報をＨＭＤ３０１に対して送出する。
【００３７】
ＣＧ描画部１１３は、自身が保持する仮想空間のデータに基づいて仮想空間を構築する。そして構築した仮想空間を、Ｉ／Ｆ１１２から受けた位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。なお、仮想空間画像は、仮想物体が描画されているオブジェクト領域（非背景領域）と、予め設定されたクロマキー色を有する背景領域と、の２つの属性領域で構成されている。そして生成した仮想空間画像を、後段の変換部１２０内の色空間変換部１１４に送出する。
【００３８】
色空間変換部１１４は、ＣＧ描画部１１３から受けた仮想空間画像を構成する各画素の画素値がＲＧＢ値を表すものである場合には、係る画素値を、輝度成分、色差成分のセットを示す画素値に変換する。即ち、仮想空間画像を構成する各画素の画素値が示す色成分を、輝度成分、色差成分に変換する。例えば、仮想空間画像を構成する各画素の画素値を、ＹＵＶ、ＹＣｂＣｒ等の輝度成分、色差成分のセットで表現される画素値に変換する。そして係る変換済みの仮想空間画像を後段の境界検出部１１６に対して送出する。もちろん、ＣＧ描画部１１３から受けた仮想空間画像を構成する各画素の画素値が輝度値、色差値を示すものである場合には、色空間変換部１１４は係る仮想空間画像に対して何も処理せず、そのまま係る仮想空間画像を後段の境界検出部１１６に送出する。
【００３９】
背景情報格納部１１５には、上記クロマキー色の輝度値、色差値を示すデータが格納されている。なお、背景情報格納部１１５が保持しているデータと同じものが、ＨＭＤ３０１が有する後述の背景情報格納部１０７にも保持されている。更に、背景情報格納部１０７には、クロマキー色を示すＲＧＢ値のデータも格納されている。
【００４０】
境界検出部１１６は、色空間変換部１１４から色空間変換済みの仮想空間画像を受けると、係る仮想空間画像を構成するライン毎に、ラインを構成する各画素の輝度値、色差値を順次読み取る（参照する）。読み取り順は、ライン毎に、ラインの一端側から他端側に読み取る。そして、読み取った輝度値、色差値が、背景情報格納部１１５に保持されている輝度値、色差値と一致しているか否かを判断する。ここで、本実施形態において「一致」なる文言は「値として完全に同じである」という意味で解釈されるべきではなく、「予め設定された範囲内に収まっている」という意味で解釈されるべきである。そして、一致していると判断された画素は、背景領域内に位置している画素として判断され、一致していないと判断された画素については、オブジェクト領域内に位置している画素として判断される。
【００４１】
輝度変更部１１７は、境界検出部１１６がオブジェクト領域内に位置していると判断した画素の輝度値ｘと、背景情報格納部１１５に保持されている輝度値ｙとの大小比較を行い、ｘ≧ｙであれば、輝度値ｘを増加させる。増分については特に限定するものではないが、本実施形態では「＋１」とする。なお、係る輝度値の制御処理は、背景領域の画素とオブジェクト領域の画素が、同じ輝度値を有することがないようにするためのものであるので、このような画素がない場合には、係る輝度値の制御処理は行わなくても良い。
【００４２】
変換制御部１１８は、後述する各処理によって、先頭画素位置（後述）をライン中の複数箇所に設定する。
【００４３】
画素グループ生成部１１９は、設定された先頭画素位置を先頭とする予め定められた長さ（＝Ｌ）を有する画素列内で、先頭画素位置以降の連続した画素位置に、先頭画素位置と同じ属性領域内に位置する画素として並んでいる画素群を特定する。そして係る先頭画素位置における画素と、係る画素群とで構成される画素グループを決定する。そして、先頭画素位置における画素の輝度値と色差値（この順で）、係る画素群のそれぞれの輝度値、を、ライン毎に設定されるデータパケット内に、既に記録済みのデータに隣接させて記録する。そして、ライン中の各箇所に設定された先頭画素位置毎にデータパケットに上記記録処理を行うことで、「１ライン分のデータパケット」を完成させることができる。従って、係る「１ライン分のデータパケット」をＩ／Ｆ１１２に送出するので、Ｉ／Ｆ１１２は係るデータパケットを画像情報としてＨＭＤ３０１に送出する。尚、パケット伝送に限らず、画素ごとに順次処理した画像情報をパケット化せずにストリーム伝送するように構成しても良い。
【００４４】
Ｉ／Ｆ１０６は係るデータパケットを受信すると、これを復号部１１１内の境界判断部１０８に送出する。
【００４５】
境界判断部１０８は先ず、受信したデータパケットに基づいて、仮想空間画像を復号する。より詳しくは、次の通りである。先ず、注目ラインにおけるデータパケットを受信したとする。先ず、データパケットの先頭から順に、データパケット内に記録されている輝度値若しくは色差値を、読み出し値として読み出す。ここで、データパケット内の記録されているものは上述の通り、輝度値と色差値の２種類であるが、始めは必ず輝度値から読み出すことになる。従って、読み出し値として輝度値を読み出した場合、この輝度値が、背景情報格納部１０７に格納されている輝度値に一致するか否かを判断する。係る判断の結果、一致する場合には、読み出した輝度値の画素は背景領域内に位置する画素であると判断することができる。一方、一致しなかった場合には、読み出した輝度値の画素は、オブジェクト領域内に位置する画素であると判断することができる。
【００４６】
そして、読み出した輝度値（注目輝度値）の画素（注目画素）が属する属性領域と、注目輝度値よりも１つ前に読み出された輝度値の画素が属する属性領域とが異なる場合には、注目輝度値に隣接して後続する色差値を読み出す。そして、読み出した色差値を、この色差値以降に読み出される輝度値と共に用いて画素を復元するために用いる設定値として設定する。そして、注目輝度値とこの色差値とに基づいて１つの画素を復元する。
【００４７】
一方、読み出した注目輝度値の注目画素が属する属性領域と、注目輝度値より１つ前に読み出された輝度値の画素が属する属性領域とが同じである場合には、注目輝度値と、上記設定値として設定されている色差値と、に基づいて１つの画素を復元する。以上の処理をデータパケットに対して行うことで、１ライン分の仮想空間画像を復号することができる。そして、このような復号処理を、データパケットを受ける毎に行うことで、複数ラインの仮想空間画像を復号することができる。
【００４８】
輝度復元部１０９は、仮想空間画像を構成する各画素のうち、オブジェクト領域内に位置していると判断された画素の輝度値を、上記輝度変更部１１７が変更した分だけ元に戻す。例えば、輝度変更部１１７が「＋１」だけ輝度値を増加させた場合には、輝度復元部１０９は「＋１」だけ輝度値を減じる。そして、輝度復元部１０９により復元された仮想空間画像は後段の色空間変換部１１０に送出される。
【００４９】
色空間変換部１１０は、上記色空間変換部１１４が行った変換処理の逆変換処理を行い、輝度復元部１０９から受けた仮想空間画像中の各画素の画素値の色空間をＲＧＢに変換する。色空間変換部１１０により各画素の色空間がＲＧＢに変換された仮想空間画像は、後段のクロマキー合成部１０５に送出される。
【００５０】
クロマキー合成部１０５は、色空間変換部１１０から受けた仮想空間画像と撮像部１０１から受けた現実空間画像とのクロマキー合成を行う。より詳しくは、仮想空間画像を構成する画素の画素値を参照し、背景情報格納部１０７に格納されているクロマキー色のＲＧＢ値と一致している場合には、係る画素の画素値を、現実空間画像上において対応する位置の画素の画素値に更新する。一方、一致していない場合には、何も処理は行わない。
【００５１】
次に、変換制御部１１８、画素グループ生成部１１９が行う、データパケットの生成処理について、図５，６を用いて説明する。
【００５２】
図５は、画像についての情報量を減少させるために、予め定められた長さの画素列毎に色差値を統一する、従来技術を説明する図である。
【００５３】
図５において５０１は、画素Ｎ１〜Ｎ１３による画素列を示す。図５では、画素Ｎ１〜Ｎ６、Ｎ１２，Ｎ１３は背景領域内に位置する画素で、画素Ｎ７〜Ｎ１１は、オブジェクト領域内に位置する画素である。図５に矢印で示す如く、画素Ｎ１から画素Ｎ１３へ向かう方向を、処理、伝送を行う際の走査方向とする。
【００５４】
５０２は、画素Ｎ１〜Ｎ１３のそれぞれのＲＧＢ値を示しており、例えば、画素Ｎ４のＲ、Ｇ、Ｂのそれぞれの値はｒ１，ｇ１，ｂ１であり、画素Ｎ８のＲ、Ｇ、Ｂのそれぞれの値はｒ３，ｇ３，ｂ３である。
【００５５】
５０３は、画素Ｎ１〜Ｎ１３の色空間（ＲＧＢ色空間）をＹＵＶ色空間に変換した場合における、画素Ｎ１〜Ｎ１３の各画素値を示す。
【００５６】
ここで、画素Ｎ１〜Ｎ１３を４画素毎にグループ分割し、それぞれの画素グループ（太線内）内で色差値を統一することで、画像全体の情報量が削減される。そこで、画素グループ内の先頭画素位置における画素の色差値をこの画素グループの代表色差値とし、この画素グループ内の各画素の色差値をこの代表色差値とする。
【００５７】
５０４は、画素グループ毎に代表色差値で色差値を統一した場合における、画素Ｎ１〜Ｎ１３の画素値を示している。５０４に示す如く、最初の画素グループ５０４ａの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ５０４ａ内の各画素の色差値としている。２番目の画素グループ５０４ｂの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ５０４ｂ内の各画素の色差値としている。３番目の画素グループ５０４ｃの先頭画素位置における色差値ｕ４、ｖ４を、この画素グループ５０４ｃ内の各画素の色差値としている。
【００５８】
５０５は、５０４に示した各画素の画素値をＹＵＶからＲＧＢに色空間変換する前の各画素のＹＵＶの画素値を示している。
【００５９】
このように、画素グループ内の先頭画素位置以外の画素位置におけるそれぞれの画素のオリジナルの色差情報については削除するので、画像全体の情報量を削減することはできる。しかし５０４に示す如く、オブジェクト領域内の画素である画素Ｎ７、Ｎ８の色差値は、背景領域内の画素である画素Ｎ５の色差値に変更されている。また、背景領域内の画素である画素Ｎ１２の色差値は、オブジェクト領域内の画素である画素Ｎ９の色差値に変更されている。
【００６０】
このような処理を行った画像の色空間をＲＧＢ色空間に変換すると、クロマキー合成に用いても、境界１，２付近では色ずれが発生する。例えば、画素Ｎ１２に関しては、本来は背景領域内における画素であったものの、上記処理を行ったが故に、オブジェクト領域内の色差を持った画素となっている。従って、クロマキー合成を行う際に、係る画素Ｎ１２については背景領域内の画素と見なされなくなってしまう。
【００６１】
本実施形態は係る問題に鑑み、オブジェクト領域、背景領域のように異なる属性領域の境界を画素グループがまたぐことを禁止し、画素グループが同じ属性領域内で収まるように、画素グループの先頭画素位置を制御する。
【００６２】
図６は、画素グループの先頭画素位置を制御することによって、画素グループ毎に色差値を統一する処理を説明する図である。
【００６３】
図６において６０１は、画素Ｎ１〜Ｎ１３による画素列を示す。図６では、画素Ｎ１〜Ｎ６、Ｎ１２，Ｎ１３は背景領域内に位置する画素で、画素Ｎ７〜Ｎ１１は、オブジェクト領域内に位置する画素である。図６に矢印で示す如く、画素Ｎ１から画素Ｎ１３へ向かう方向を、処理、伝送を行う際の走査方向とする。
【００６４】
６０２は、画素Ｎ１〜Ｎ１３のそれぞれのＲＧＢ値を示しており、例えば、画素Ｎ４のＲ、Ｇ、Ｂのそれぞれの値はｒ１，ｇ１，ｂ１であり、画素Ｎ８のＲ、Ｇ、Ｂのそれぞれの値はｒ３，ｇ３，ｂ３である。
【００６５】
６０３は、画素Ｎ１〜Ｎ１３の色空間（ＲＧＢ色空間）をＹＵＶ色空間に変換した場合における、画素Ｎ１〜Ｎ１３の各画素値を示す。
【００６６】
ここで、本実施形態においても、画素Ｎ１〜Ｎ１３を４画素毎にグループ分割し、それぞれの画素グループ（太線内）内で色差値を統一することで、画像全体の情報量を削減することを基本としている。しかし、画素グループ中の注目画素の属する属性領域が、注目画素より１画素分、先頭画素位置寄りの画素位置における画素（前画素）の属する属性領域とは異なる場合、本実施形態では、前画素までを１つの画素グループとする。そして注目画素位置を先頭画素位置とする新たな画素グループを設定し、以降は同じ処理を行う。
【００６７】
６０４は、画素グループ毎に代表色差値で色差値を統一した場合における、画素Ｎ１〜Ｎ１３の画素値を示している。６０４に示す如く、最初の画素グループ６０４ａ内の各画素は何れも同じ属性領域（背景領域）内に属している。従って、上記画素グループ５０４ａと同様、係る画素グループ６０４ａ内の先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ６０４ａ内の各画素の色差値としている。次に、従来であれば画素グループ５０４ｂに示す如く、２番目の画素グループは、背景領域とオブジェクト領域とにまたがってしまう。図５では、画素Ｎ５、Ｎ６が属する属性領域（背景領域）と、画素Ｎ７、Ｎ８が属する属性領域（オブジェクト領域）とは異なっている。そこで本実施形態では、画素Ｎ５、Ｎ６を１つの画素グループ６０４ｂとし、係る画素グループ６０４ｂの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ６０４ｂ内の各画素の色差値としている。次に、画素Ｎ７の画素位置を先頭画素位置とする４画素の画素グループを新たに設定するのであるが、係る画素グループ内の各画素は何れも同じ属性領域（オブジェクト領域）内に属している。従って、係る画素グループ６０４ｃ内の先頭画素位置における色差値ｕ２、ｖ２を、この画素グループ６０４ｃ内の各画素の色差値としている。なお、６０４ｃ内の輝度値ｙ２’、ｙ３’、ｙ４’、ｙ５’、Ｙ６’のそれぞれは、輝度変更部１１７において輝度値を増加させた値である。
【００６８】
６０５は、６０４に示した各画素の画素値をＹＵＶからＲＧＢに色空間変換する前の各画素のＹＵＶの画素値を示している。
【００６９】
図６に示す如く、本実施形態に係る画素グループの作成方法によれば、異なる属性領域間にまたがって画素グループを作成すること、即ち、異なる属性領域にまたがって同じ色差値に統一することは避ける。これにより、異なる属性領域間における上記色ずれの問題は解消することができる。
【００７０】
図７は、コントローラ３０２が行う、画像情報生成処理のフローチャートである。なお、図７に示したフローチャートに従った処理は、仮想空間画像中の１つの画素について行う処理であり、実際には係る処理を、仮想空間画像を構成する全ての画素について行うことになる。また、図７に示したフローチャートに従った処理を介する前段では既に、ＣＧ描画部１１３は、各画素の画素値がＲＧＢ値で表現されている仮想空間画像を生成し、生成した仮想空間のデータを後段の色空間変換部１１４に送出している。色空間変換部１１４は、仮想空間画像を構成する各画素の画素値を、例えばラスタースキャン順に読み取る。
【００７１】
ステップＳ８０１では、色空間変換部１１４は、注目ラインにおける注目画素の画素値を読み取る。
【００７２】
ステップＳ８０２では、色空間変換部１１４は、ステップＳ８０１で読み取った画素値がＲＧＢ値を表すものである場合には、係る画素値を、輝度成分、色差成分のセットを示す画素値に変換する。そして係る変換済みの画素値を後段の境界検出部１１６に対して送出する。もちろん、ステップＳ８０１で読み取った画素値が既に輝度値、色差値を示すものである場合には、色空間変換部１１４は係る画素値をそのまま後段の境界検出部１１６に送出する。
【００７３】
ステップＳ８０３では、境界検出部１１６は、色空間変換部１１４から受けた画素値が示す輝度値、色差値と、背景情報格納部１１５に保持されている輝度値、色差値とを、それぞれ比較する。
【００７４】
係る比較の結果、一致している場合には、処理をステップＳ８０４を介してステップＳ８０５に進め、ステップＳ８０５では、ステップＳ８０１で画素値を読み取った注目画素は、背景領域内に位置している画素として判断する。
【００７５】
一方、一致していない場合には、処理をステップＳ８０４を介してステップＳ８０６に進め、ステップＳ８０６では、ステップＳ８０１で画素値を読み取った注目画素は、オブジェクト領域内に位置している画素として判断する。
【００７６】
次にステップＳ８０７では、輝度変更部１１７は、オブジェクト領域内に位置する画素としての注目画素の輝度値ｘと、背景情報格納部１１５に保持されている輝度値ｙとの大小比較を行う。係る比較の結果、ｘ≧ｙであれば、処理をステップＳ８０８に進め、ステップＳ８０８では、輝度値ｘを増加させる、増分については特に限定するものではないが、本実施形態では「＋１」とする。
【００７７】
なお、ステップＳ８０７、Ｓ８０８における処理は、オブジェクト領域内の画素の画素値を背景領域内の画素の画素値と異ならせると共に、画素値を異ならせた画素を明示的にする為の処理である。従って、同じ目的を達成できるのであれば、ステップＳ８０７，Ｓ８０８で行う処理は、係る処理に限定するものではない。
【００７８】
次にステップＳ８０９では、変換制御部１１８は、次のような処理を行う。先ず、注目画素に隣接した画素位置に位置しており、且つステップＳ８０１において画素値を読み出す順番が注目画素よりも１つ前の画素（前画素）が位置するとステップＳ８０５又はステップＳ８０６で判断された属性領域を特定する。そして、この特定した属性領域と、注目画素が位置するとステップＳ８０５又はステップＳ８０６で判断された属性領域とが同じであるのか否かを判断する。即ち、前画素と注目画素とが同じ属性領域内に位置しているのか否かを判断する。
【００７９】
係る判断の結果、同じ属性領域内に位置していないと判断した場合には処理をステップＳ８１１に進める。一方、同じ属性領域内に位置していると判断した場合には処理をステップＳ８１３に進める。なお、注目画素の前画素が存在しない場合（注目画素が画像の左端に位置する場合）には、同じ属性領域内に位置していないと判断する。
【００８０】
ここで、同じ属性領域内に位置していると判断した場合、通常は、注目画素は前画素が属している画素グループ内に属することができる。しかし、１つの画素グループには、最大でも長さＬの画素列の画素数分だけしか含めることができないため、前画素が属する画素グループ内に現在何個の画素が属しているのかを判断する。そして、前画素が属する画素グループ内に属している画素の個数が、長さＬの画素列の画素数よりも少ない場合には、注目画素をこの画素グループ内に含めることができる。一方、前画素が属する画素グループ内に属している画素の個数が、長さＬの画素列の画素数に一致した場合には、注目画素はこの画素グループ内に含めることはできず、注目画素を先頭画素位置とする新たな画素グループを設ける必要がある。
【００８１】
従ってステップＳ８１３では、変換制御部１１８は、上述のような処理を行い、注目画素を前画素と同じ画素グループ内に含めることができるか否かを判断する。係る判断は換言すれば次のようなものになる。即ち、前画素が属する画素グループ内の先頭画素位置以降の連続した画素位置に先頭画素位置と同じ属性領域に属する画素の画素列が長さＬ（本実施形態では４画素）に達しているか否かを判断する。
【００８２】
そして、係る判断処理の結果、長さＬに達していない場合には、注目画素を前画素と同じ画素グループ内に含めることができると判断し、処理をステップＳ８１２に進める。
【００８３】
ステップＳ８１２では、画素グループ生成部１１９は、注目ラインについて設定されているデータパケット内に、注目画素の輝度値を、既に記録済みのデータに隣接させて記録する。
【００８４】
一方、ステップＳ８１３における判断処理の結果、長さＬに達している場合には、注目画素を前画素と同じ画素グループ内に含めることができないと判断し、処理をステップＳ８１１に進める。
【００８５】
ステップＳ８１１では、変換制御部１１８は、注目画素の画素位置を先頭画素位置として設定する。
【００８６】
ステップＳ８１２では、画素グループ生成部１１９は、ステップＳ８１１で先頭画素位置として設定した画素位置における画素（注目画素）の輝度値、色差値を、注目ラインについて設定されているデータパケット内に、記録済みのデータに隣接させて記録する。
【００８７】
なお、以上説明した図７のフローチャートに従った処理を換言すれば、以下のようになる。
【００８８】
即ち、非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域と、の２つの属性領域で構成されている画像を構成するライン毎に、ラインを構成する各画素の輝度値と色差値とを順次読み取る。そして、注目ライン上の注目画素について読み取った輝度値と色差値とに基づいて、注目画素が背景領域内に属しているのか非背景領域内に属しているのかを判断する。そして、注目画素が属している属性領域と、読み取り順において注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、次のような処理を行う。
【００８９】
即ち、注目画素の輝度値と色差値とをこの順で、注目ラインに対して設定したデータパケット内に既に記録済みのデータに隣接させて記録する。一方、注目画素が属している属性領域と、前画素が属している属性領域とが同じである場合には、注目画素の輝度値を、データパケット内に既に記録済みのデータに隣接させて記録する。
【００９０】
このように、１ラインを構成する各画素についてデータパケットへの上記記録処理を行うことで完成するデータパケットは上述の通り、ＨＭＤ３０１側に送出される。
【００９１】
次に、ＨＭＤ３０１側で係るデータパケットを復号し、ＲＧＢ値を有する画素を復元する処理について、同処理のフローチャートを示す図８を用いて以下説明する。
【００９２】
ステップＳ９０１では、境界判断部１０８は先ず、受信したデータパケットの先頭から順に、データパケット内に記録されている輝度値若しくは色差値を、読み出し値として読み出す。
【００９３】
ステップＳ９０２では、境界判断部１０８は、読み出し値として読み出した輝度値が、非背景領域内に属する画素の輝度値であるのか、背景領域内に属する画素の輝度値であるのかを判断する。係る判断では、読み出し値として読み出した輝度値と、背景情報格納部１０７に保持されている輝度値と、の比較処理を行う。係る比較処理の結果、一致する場合には、処理をステップＳ９０３を介してステップＳ９０４に進め、ステップＳ９０４では、読み出し値として読み出した輝度値を有する画素は背景領域内に位置していると判断する。一方、一致しない場合には、処理をステップＳ９０３を介してステップＳ９０５に進め、ステップＳ９０５では、読み出し値として読み出した輝度値を有する画素はオブジェクト領域内に位置していると判断する。
【００９４】
次にステップＳ９０６では、輝度復元部１０９は、読み出し値として読み出した輝度値ｘ（オブジェクト領域内に属するものとして判断された輝度値）と、背景情報格納部１０７に保持されている輝度値ｙとの大小比較処理を行う。そして、ｘ＞ｙである場合には処理をステップＳ９０７に進める。
【００９５】
ステップＳ９０７では、輝度復元部１０９は、輝度値ｘを、上記輝度変更部１１７が変更した分だけ元に戻す。例えば、輝度変更部１１７が「＋１」だけ輝度値を増加させた場合には、輝度復元部１０９は「＋１」だけ輝度値を減じる。
【００９６】
次にステップＳ９０８では、境界判断部１０８は、ステップＳ９０１で読み出し値が読み出された画素（以下、復号対象画素）が属する属性領域と、復号対象画素よりも１つ前に読み出し値が読み出された画素が属する属性領域とが同じであるか否かを判断する。
【００９７】
係る判断の結果、同じであると判断された場合には処理をステップＳ９１２に進め、異なると判断された場合には処理をステップＳ９０９に進める。
【００９８】
ステップＳ９０９では、境界判断部１０８は、ステップＳ９０１で読み出した輝度値に隣接して後続する色差値（注目色差値）を読み出す。そして、読み出した色差値を、この色差値以降（注目色差値以降）に読み出される輝度値と共に用いて画素を復元するために用いる設定値として設定する。
【００９９】
そしてステップＳ９１０では、境界判断部１０８は、ステップＳ９０１で読み出した輝度値（若しくはステップＳ９０７で修正した輝度値）と、ステップＳ９０９で読み出した色差値とに基づいて１つの画素を復元する。
【０１００】
そして、長さＬの画素列の画素数分から１を引いた数だけ、連続してステップＳ９０８で「同じ」と判断されている場合には、処理はステップＳ９０８からステップＳ９１２を介してステップＳ９０９に進む。
【０１０１】
一方、長さＬの画素列の画素数分から１を引いた数だけ、連続してステップＳ９０８で「同じ」と判断されていない場合には、処理はステップＳ９０８からステップＳ９１２を介してステップＳ９１５に進む。
【０１０２】
ステップＳ９１５では、境界判断部１０８は、ステップＳ９０１で読み出した輝度値（若しくはステップＳ９０７で修正した輝度値）と、設定値として設定されている色差値と、に基づいて１つの画素を復元する。
【０１０３】
ステップＳ９１１では、復元された画素の輝度値、色差値を、ＲＧＢ値に変換することで、係る画素の表示データを生成する。
【０１０４】
以上の説明により、本実施形態によって、異なる属性領域間にまたがって画素グループを作成する。即ち、異なる属性領域にまたがって同じ色差値に統一することはないので、異なる属性領域間における上記色ずれの問題は解消することができる。
【０１０５】
なお、本実施形態では、コントローラ３０２とＨＭＤ３０１との間における通信エラーについては特に考慮していない。係る点について考慮するのであれば、その対策として、誤り訂正符号等を用いた誤り制御機能や、ＨＭＤ３０１側で前の画像情報やステレオ画像の反対側の画像情報を用いて通信エラーが発生した画像を補間する補間機能を持たせてもよい。係る対策を行うことにより、通信エラー発生時にも正確な画像情報を復元し、色ズレを抑制することが可能となる。
【０１０６】
また、以上の説明では、色空間変換部１１４における変換後に境界検出部１１６において境界検出を行っているが、この順番を入れ替えてもよい。その場合、背景情報格納部１１５には背景色のＲＧＢ各色の画素値および変換後の輝度値を格納し、境界検出部では、変換前のＣＧ画像と背景色のＲＧＢ各色の画素値を比較し、一致するか否かで境界を検出する。
【０１０７】
［第２の実施形態］
第１の実施形態では、コントローラ３０２側で仮想空間画像におけるオブジェクト領域内の輝度値を制御することによって、ＨＭＤ３０１側での属性領域の判別を可能にし、また、これにより、属性領域の境界部分をも特定することができた。本実施形態では、オブジェクト領域内の輝度値の制御は行わず、オブジェクト領域と背景領域との境界部分を示す境界情報を、データパケットに添付してＨＭＤ３０１に送出する。
【０１０８】
図９は、本実施形態に係るシステムの機能構成例を示すブロック図である。図９に示す如く、本実施形態に係るシステムは、頭部装着型表示装置の一例としてのＨＭＤ（ヘッドマウントディスプレイ）９０１とコントローラ９０２とにより構成されている。そして、コントローラ９０２とＨＭＤ９０１とは互いにデータ通信が可能なように接続されている。図９において、図１に示したものと同じものについては同じ参照番号を付けており、その説明は省略する。
【０１０９】
コントローラ９０２における境界検出部１０１５は、図１に示した境界検出部１１６と同様、色空間変換部１１４から色空間変換済み仮想空間画像を受けると、係る色空間変換済み仮想空間画像を構成する画素（注目画素）の輝度値、色差値を読み取る。そして、読み取った輝度値、色差値が、背景情報格納部１１５に保持されている輝度値、色差値と一致しているか否かを判断する。そして、一致している場合には、注目画素は背景領域内に位置していることを示す情報（属性領域情報）を後段の変換制御部１０１６、境界情報付加部１０１８に送出する。一方、一致していないと判断された場合には、注目画素はオブジェクト領域内に位置していることを示す情報（属性領域情報）を後段の変換制御部１０１６、境界情報付加部１０１８に送出する。
【０１１０】
変換制御部１０１６は、境界検出部１０１５から受けた各画素についての属性領域情報に基づいて、背景領域と非背景領域との境界を検知する。境界を検知すると、後は第１の実施形態と同様の処理を行い、先頭画素位置を特定する。そして、特定した先頭画素位置を後段の画素グループ生成部１１９に送出する。
【０１１１】
画素グループ生成部１１９は、第１の実施形態で説明したように、ライン毎のデータパケットを生成する。生成したライン毎のデータパケットは境界情報付加部１０１８に送出する。
【０１１２】
境界情報付加部１０１８は、注目ラインのデータパケットを画素グループ生成部１１９から受けると、係るデータパケットを、注目ラインを構成する各画素についての属性領域情報と共に、Ｉ／Ｆ１１２に対して送出する。
【０１１３】
境界判断部１００８は、Ｉ／Ｆ１０６を介して、注目ラインのデータパケットと、注目ラインを構成する各画素についての属性領域情報を受けると、係る属性領域情報に基づいて、注目ライン上における境界位置を特定する。境界判断部１００８の動作については、背景領域と非背景領域との境界を検知する方法が異なるだけで、それ以外については境界判断部１０８と同じである。
【０１１４】
図１０は、データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【０１１５】
図１０において１１０１は仮想空間画像で、背景領域１１９８とオブジェクト領域１１９９との２つの属性領域で構成されている。１１０２は注目ラインであり、１１０３は注目ライン上における背景領域１１９８とオブジェクト領域１１９９との境界位置を示す。以下の説明は、注目ライン以外の何れのラインについても同じであり、且つ注目ライン上の他の境界位置についても同じである。
【０１１６】
１１５０は、注目ライン上の各画素を示す。
【０１１７】
１１５１は、１１５０で示す各画素に対する属性領域情報を示したものである。図１０では、背景領域１１９８内に属する画素の属性領域情報は「０」、オブジェクト領域１１９９内に属する画素の属性領域情報は「１」となっている。もちろん、それぞれの属性領域を識別するための情報についてはこれに限定するものではない。
【０１１８】
１１０４は、データパケット１１８０に対応する属性領域情報であり、１１０５は、データパケット１１８１に対応する属性領域情報である。即ち、図１０では、注目ラインについて生成したデータパケットに、注目ラインを構成する各画素について求めた属性領域情報を付加している。そしてこのように、ライン毎にデータパケット、属性領域情報をセットにしてＨＭＤ９０１に送出する。これにより、ＨＭＤ９０１側では、データパケットにヘッダとして付加されている属性領域情報を参照すれば、データパケット中の各データの属性領域を判断することができる。
【０１１９】
なお、各画素についての属性領域情報を１ラインについて列挙したビット列はそのまま送信しても良いが、係るビット列は、例えば、ランレングス符号化など、バイナリのビット列に適した符号化方法を用いて符号化してから送信しても良い。このように、図１０に示した方法は、属性領域情報を圧縮符号化することができる方法であり、その点では好適である。
【０１２０】
図１１は、データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【０１２１】
図１１において１２０１は仮想空間画像で、背景領域１２９８とオブジェクト領域１２９９との２つの属性領域で構成されている。１２０２は注目ラインであり、１２０３は注目ライン上における背景領域１２９８とオブジェクト領域１２９９との境界位置を示す。以下の説明は、注目ライン以外の何れのラインについても同じであり、且つ注目ライン上の他の境界位置についても同じである。
【０１２２】
１２５０は、注目ライン上の各画素を示す。
【０１２３】
１２５１は、１２５０で示す各画素に対する属性領域情報を示したものである。図１１では、背景領域１２９８内に属する画素の属性領域情報は「０」、オブジェクト領域１１９９内に属する画素の属性領域情報は「１」となっている。もちろん、それぞれの属性領域を識別するための情報についてはこれに限定するものではない。
【０１２４】
１２５２は、注目ライン１２０２に対するデータパケットである。図１１では、注目ラインについて生成したデータパケット中の各画素について、対応する属性領域情報を付加している。そしてこのように、ライン毎にデータパケット、属性領域情報をセットにしてＨＭＤ９０１に送出する。これにより、ＨＭＤ９０１側では、データパケット中の各画素に対応する属性領域情報を参照すれば、対応する画素の属性領域を判断することができる。
【０１２５】
なお、各画素のデータに属性領域情報を付加する場合、例えば、次のような方法がある。輝度データが８ビットである場合、係るデータを９ビットに拡張し、９ビットのうち最上位ビットあるいは最下位ビットを属性領域情報である１ビットを割り当てる。また、係る８ビットのうち最下位の１ビットを削除することで７ビットに変換し、１ビットの属性領域情報を付加することで、８ビットとしても良い。
【０１２６】
このように、属性領域情報をデータパケットに付加する方法については様々なものがあり、それぞれには当然メリットデメリットがある。従って、どの方法を採用するのかについてはシステムの設計者が適宜決めればよい。
【０１２７】
以上の説明により、本実施形態によれば、第１の実施形態で説明した効果に加え、以下のような効果も奏することができる。即ち、コントローラ９０２からＨＭＤ９０１に転送する情報量は増えるものの、ＨＭＤ９０１の構成は図１と図９とを比べてみれば一目瞭然で、より簡素化することができる。
【０１２８】
ＨＭＤ９０１は周知の通り、観察者の頭部に装着するものであるので、より軽量であることが好ましい。従って、ＨＭＤ９０１の構成をより簡素化することは、ＨＭＤ９０１の軽量化にも繋がり、本実施形態は係る点で好適なものとなる。
【０１２９】
なお、本実施形態においても、第１の実施形態で説明したような、通信エラーへの対処を行うようにしても良い。
【０１３０】
［第３の実施形態］
図１２は、本実施形態に係るシステムの機能構成例を示すブロック図である。なお、図１２において、図１と同じ部分については同じ番号を付けており、その説明は省略する。
【０１３１】
先ず、コントローラ１３０２内の変換部１３１９の動作について説明する。変換部１３１９を構成する各部の動作については第１の実施形態で説明したとおりであるので、ここでは各部間における協調動作について説明する。
【０１３２】
色空間変換部１１４は、ＣＧ描画部１１３が生成した仮想空間画像を構成する各画素の画素値を、ＲＧＢ値から、輝度値、色差値を示す画素値に変換する。
【０１３３】
境界検出部１０１５は、現在着目している画素の属性領域が背景領域であるのかオブジェクト領域であるのかを輝度変更部１１７に通知し、輝度変更部１１７は、オブジェクト領域内に位置している画素の輝度値を変更する。
【０１３４】
そして、結果として輝度変更部１１７からは、色空間変換部１１４から送出された仮想空間画像において、オブジェクト領域内に属する画素の輝度値を変更した仮想空間画像が画素グループ生成部１３９９に送出される。
【０１３５】
画素グループ生成部１３９９は、受けた仮想空間画像を構成するライン毎に、１ラインを４画素毎にグループ分割し、分割したそれぞれの画素グループ毎に、画素グループ内の全ての画素の色差値を、画素グループの先頭位置における画素の色差値に更新する。そして画素グループ生成部１３９９は、ライン毎に設定したデータパケットに、画素グループ毎に、先頭位置における画素については輝度値と色差値を、先頭位置に後続する画素については輝度値を記録する。
【０１３６】
そして、画素グループ生成部１３９９により生成されたデータパケットはＩ／Ｆ１３１３に対して送出されるので、Ｉ／Ｆ１３１３は係るデータパケットをＨＭＤ１３０１に送出する。
【０１３７】
次に、ＨＭＤ１３０１内の復号部１３１２の動作について説明する。
【０１３８】
境界画素補間部１３１０には、属性領域の境界は無視し、固定長の画素グループ毎に同じ色差の画素が復元された仮想空間画像が入力される。従って、境界画素補間部１３１０は、係る仮想空間画像において、属性領域の境界における画素について更に画素グループ分割を行う。
【０１３９】
境界画素補間部１３１０により得られる結果としての仮想空間画像は、色空間変換部１１０に入力される。
【０１４０】
図１３は、境界画素補間部１３１０が行う処理を説明する図である。
【０１４１】
図１３において１４０１は、画素Ｎ１〜Ｎ１３による画素列を示す。図１３では、画素Ｎ１〜Ｎ６、Ｎ１２，Ｎ１３は背景領域内に位置する画素で、画素Ｎ７〜Ｎ１１は、オブジェクト領域内に位置する画素である。図１３に矢印で示す如く、画素Ｎ１から画素Ｎ１３へ向かう方向を、処理、伝送を行う際の走査方向とする。
【０１４２】
１４０２は、画素Ｎ１〜Ｎ１３のそれぞれのＲＧＢ値を示しており、例えば、画素Ｎ４のＲ、Ｇ、Ｂのそれぞれの値はｒ１，ｇ１，ｂ１であり、画素Ｎ８のＲ、Ｇ、Ｂのそれぞれの値はｒ３，ｇ３，ｂ３である。
【０１４３】
１４０３は、画素Ｎ１〜Ｎ１３の色空間（ＲＧＢ色空間）をＹＵＶ色空間に変換した場合における、画素Ｎ１〜Ｎ１３の各画素値を示す。
【０１４４】
ここで、画素Ｎ１〜Ｎ１３を４画素毎にグループ分割し、それぞれの画素グループ（太線内）内で色差値を統一することで、画像全体の情報量が削減される。そこで、画素グループ内の先頭画素位置における画素の色差値をこの画素グループの代表色差値とし、この画素グループ内の各画素の色差値をこの代表色差値とする。
【０１４５】
１４０４は、画素グループ毎に代表色差値で色差値を統一した場合における、画素Ｎ１〜Ｎ１３の画素値を示している。１４０４に示す如く、最初の画素グループ１４０４ａの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ１４０４ａ内の各画素の色差値としている。２番目の画素グループ１４０４ｂの先頭画素位置における色差値ｕ１、ｖ１を、この画素グループ１４０４ｂ内の各画素の色差値としている。３番目の画素グループ１４０４ｃの先頭画素位置における色差値ｕ４、ｖ４を、この画素グループ１４０４ｃ内の各画素の色差値としている。なお、ｙ２’、ｙ３’、ｙ４’、ｙ５’、ｙ６’のそれぞれは、輝度変更部１１７において輝度値を増加させた値である。、
コントローラ１３０２からはこのような画素グループ毎のデータが記録されたデータパケットがＨＭＤ１３０１に送出されている。
【０１４６】
１４０５は、境界画素補間部１３１０による補間後の画素毎の輝度値、色差値を示す。境界画素補間部１３１０は、画素グループ内の全ての画素が同じ属性領域内に位置していれば、この画素グループについては何も処理は行わない。しかし、画素グループ１４０４ｂのように、背景領域とオブジェクト領域とにまたがっている画素グループについては、画素グループ分割する。図１３の場合には、画素Ｎ５、Ｎ６の画素グループ１４０５ａと画素Ｎ７、Ｎ８の画素グループ１４０５ｂとに分割する。そして、画素グループ１４０５ｂの色差値として、これに後続する画素グループの色差値を与える。これにより、２つの属性領域をまたぐ画素グループを、それぞれの属性領域内のみで属する２つの画素グループに分割することができる。
【０１４７】
これにより、本来背景領域内における画素については、背景領域内の色差値が与えられるので、上記色ずれの問題は軽減される。
【０１４８】
また、境界２のように主走査方向に対してオブジェクト領域から背景領域へ切り替わる境界の画素については、隣接画素グループの色差値に置き換える補正を行っても良い。また、境界１のように背景領域からオブジェクト領域へ切り替わる境界の画素については、近傍画素の画素値を用いて線形補間、フィルタ処理等によって補正を行っても良い。即ち、別々の補正処理を行うことも可能である。また上記の近傍画素とは、境界における画素に対して主走査方向に隣接している画素のみを指すものではなく、垂直方向に隣接する画素、あるいは境界における画素を含む任意の複数画素から成る画素ブロックに含まれるオブジェクト領域内の画素を含んでもよい。
【０１４９】
このような補正処理を行うことにより、正しい背景色を再現できる上、オブジェクト領域内部の色ズレを比較的目立たなくすることができ、伝送量を削減しても、ＨＭＤ側で高画質なＣＧ画像を再現することが可能となる。
【０１５０】
以上の説明により、本実施形態によれば、コントローラ側の構成を簡略化することができる。
【０１５１】
本実施形態では、属性領域の境界を特定するために、第１の実施形態と同様に、先頭画素位置を特定している。しかし、属性領域の境界を特定するための処理としては、第２の実施形態で説明したように、属性領域情報を求めるようにしても良い。属性領域の境界を特定するために、第１の実施形態で説明したような構成を採用するのか、第２の実施形態で説明したような構成を採用するのかについては、システムの設計者が適宜決めればよい。
【０１５２】
また、本実施形態においても、第１の実施形態で説明したような、通信エラーへの対処を行うようにしても良い。
【０１５３】
また、上記実施形態では、画素値の置き換え等については輝度成分、色差成分において行っていたが、ＲＧＢの色空間で行うようにしても良い。
【０１５４】
［第４の実施形態］
上記第１乃至３の実施形態のうちの任意の２つの実施形態で説明した機能を選択的に使用可能なシステムを設計しても良い。設計するシステムは当然、システムの使用環境に応じて決めるのであるが、例えば、次のようなシステムが上げられる。
【０１５５】
ＨＭＤとコントローラとの間のデータ通信を無線でもって行うとする。そして、無線における電波状況に応じて、後述するように、２つのシステム動作のうち一方の動作に切り替える。
【０１５６】
例えば、電波状況が悪く、相手に伝送する情報量を極力少なくしたい場合には、属性領域情報を用いず、データパケットのみを送信する第１の実施形態に係るシステム動作を行う。一方、電波状況がさほど悪くない場合には、データパケットに属性領域情報を付加してから送信する第２の実施形態に係るシステム動作を行う。
【０１５７】
係る切り替えは、システムのユーザが適宜判断して手動で切り替えても良いし、電波状況を検知する装置による検知結果に応じて自動的に切り替えるようにしても良い。もちろん、切り替えるための条件についてはこれに限定するものではない。
【０１５８】
［第５の実施形態］
以上の実施形態では、位置姿勢情報に基づいて仮想空間画像を生成し、更にこの生成した仮想空間画像の画素値をＲＧＢ値から輝度値、色差値のセットに変換する処理は全てコントローラが行っていた。しかし、係る処理の一部若しくは全部を、外部の装置に行わせても良い。例えば、コントローラがＨＭＤから位置姿勢情報を受けると、これを外部のＰＣ（パーソナルコンピュータ）に送出する。ＰＣは係る位置姿勢情報に基づいて仮想空間画像を生成した後、生成した仮想空間画像の画素値をＲＧＢ値から輝度値、色差値のセットに変換し、変換後の仮想空間画像をコントローラに返信するようにしても良い。
【０１５９】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１６０】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１６３】
【図１】図３に示したシステムの機能構成例を示すブロック図である。
【図２】色空間変換を利用した画像情報の圧縮に伴う色ズレを説明する図である。
【図３】本発明の第１の実施形態に係るシステムの構成例を示す図である。
【図４】クロマキー合成について説明する図である。
【図５】画像についての情報量を削減するために、予め定められた長さの画素列毎に色差値を統一する、従来技術を説明する図である。
【図６】画素グループの先頭画素位置を制御することによって、画素グループ毎に色差値を統一する処理を説明する図である。
【図７】コントローラ３０２が行う、画像情報生成処理のフローチャートである。
【図８】ＨＭＤ３０１側で係るデータパケットを復号し、ＲＧＢ値を有する画素を復元する処理のフローチャートである。
【図９】本発明の第２の実施形態に係るシステムの機能構成例を示すブロック図である。
【図１０】データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【図１１】データパケットと、各画素についての属性領域情報と、をコントローラ９０２からＨＭＤ９０１に送出するための、コントローラ９０２側で行う処理について説明する図である。
【図１２】本発明の第３の実施形態に係るシステムの機能構成例を示すブロック図である。
【図１３】境界画素補間部１３１０が行う処理を説明する図である。
【特許請求の範囲】
【請求項１】
非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力手段と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り手段と、
注目画素について前記読み取り手段が読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断手段と、
前記注目画素が属している属性領域と、前記読み取り手段による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録手段と
前記記録手段により記録されたデータを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記予め設定された輝度値と色差値のデータを保持する保持手段を備え、
前記判断手段は、前記注目画素について前記読み取り手段が読み取った輝度値と前記保持手段が保持する輝度値との比較、前記注目画素について前記読み取り手段が読み取った色差値と前記保持手段が保持する色差値との比較、に基づいて前記判断を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、
前記判断手段により前記非背景領域内に属すると判断された画素の輝度値を、前記予め設定された輝度値と異なるように制御する手段を備え、
前記記録手段は、前記非背景領域内に属する画素の輝度値については、前記制御が成された輝度値を用いることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
更に、
前記判断手段により判断されたそれぞれの画素の属性領域を示す属性領域情報を作成する手段を備え、
前記出力手段は、前記データに加え、前記属性領域情報をも出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力手段は、現実空間の画像とクロマキー合成する対象としての仮想空間の画像であって、前記背景領域はクロマキー色を表す輝度値と色差値を有する画素群で構成されていることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記出力手段から出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置であって、
前記出力手段が出力したデータを受信する受信手段と、
前記データの先頭から順に、前記データに記録されている輝度値若しくは色差値を、読み出し値として読み出す手段と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する手段と、
復元された画素の色空間を変換して、表示データを生成する手段と
を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力工程と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り工程と、
注目画素について前記読み取り工程で読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断工程と、
前記注目画素が属している属性領域と、前記読み取り工程による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録工程と
前記記録工程により記録された前記データを出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項８】
前記出力工程で出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置が行う画像処理方法であって、
前記出力工程で出力したデータを受信する受信工程と、
前記データの先頭から順に、前記データに記録されている輝度値若しくは色差値を、読み出し値として読み出す工程と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する工程と、
復元された画素の色空間を変換して、表示データを生成する工程と
を備えることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
コンピュータに請求項７又は８に記載の画像処理方法を実行させるためのコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項１】
非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力手段と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り手段と、
注目画素について前記読み取り手段が読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断手段と、
前記注目画素が属している属性領域と、前記読み取り手段による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録手段と
前記記録手段により記録されたデータを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記予め設定された輝度値と色差値のデータを保持する保持手段を備え、
前記判断手段は、前記注目画素について前記読み取り手段が読み取った輝度値と前記保持手段が保持する輝度値との比較、前記注目画素について前記読み取り手段が読み取った色差値と前記保持手段が保持する色差値との比較、に基づいて前記判断を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、
前記判断手段により前記非背景領域内に属すると判断された画素の輝度値を、前記予め設定された輝度値と異なるように制御する手段を備え、
前記記録手段は、前記非背景領域内に属する画素の輝度値については、前記制御が成された輝度値を用いることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
更に、
前記判断手段により判断されたそれぞれの画素の属性領域を示す属性領域情報を作成する手段を備え、
前記出力手段は、前記データに加え、前記属性領域情報をも出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力手段は、現実空間の画像とクロマキー合成する対象としての仮想空間の画像であって、前記背景領域はクロマキー色を表す輝度値と色差値を有する画素群で構成されていることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記出力手段から出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置であって、
前記出力手段が出力したデータを受信する受信手段と、
前記データの先頭から順に、前記データに記録されている輝度値若しくは色差値を、読み出し値として読み出す手段と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する手段と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する手段と、
復元された画素の色空間を変換して、表示データを生成する手段と
を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
非背景領域と、予め設定された輝度値と色差値を有する画素群で構成されている背景領域との属性領域で構成されている画像を入力する入力工程と、
前記画像を構成する各画素の輝度値と色差値とを順次読み取る読み取り工程と、
注目画素について前記読み取り工程で読み取った輝度値と色差値とに基づいて、当該注目画素が前記背景領域内に属しているのか前記非背景領域内に属しているのかを判断する判断工程と、
前記注目画素が属している属性領域と、前記読み取り工程による読み取り順において前記注目画素よりも１つ前の前画素が属している属性領域とが異なる場合には、前記注目画素の輝度値と色差値とを、前記前画素が属するグループとは異なるグループのデータとして記録し、前記注目画素が属している属性領域と、前記前画素が属している属性領域とが同じである場合には、前記注目画素の輝度値を、前記前画素が属するグループ内に既に記録済みのデータに隣接させて記録する記録工程と
前記記録工程により記録された前記データを出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項８】
前記出力工程で出力されたデータを復号することで、前記画像の表示データを生成する画像処理装置が行う画像処理方法であって、
前記出力工程で出力したデータを受信する受信工程と、
前記データの先頭から順に、前記データに記録されている輝度値若しくは色差値を、読み出し値として読み出す工程と、
前記読み出し値として輝度値を読み出した場合、当該輝度値が、前記非背景領域内に属する画素の輝度値であるのか、前記背景領域内に属する画素の輝度値であるのかを判断する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ前に読み出された輝度値に対応する画素が属する属性領域とが異なる場合には、前記注目輝度値に隣接して後続する色差値を注目色差値として読み出し、当該注目色差値を、当該注目色差値以降に読み出される輝度値と共に用いて画素を復元するために用いられる設定値として設定すると共に、前記注目輝度値と前記注目色差値とに基づいて１つの画素を復元する工程と、
読み出した注目輝度値に対応する画素が属する属性領域と、当該注目輝度値よりも１つ先に読み出される輝度値に対応する画素が属する属性領域とが同じである場合には、当該読み出した注目輝度値と、当該注目輝度値が読み出される前に前記設定値として設定されている色差値と、に基づいて１つの画素を復元する工程と、
復元された画素の色空間を変換して、表示データを生成する工程と
を備えることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
コンピュータに請求項７又は８に記載の画像処理方法を実行させるためのコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−３０４８０５（Ｐ２００８−３０４８０５Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１５３３９２（Ｐ２００７−１５３３９２）
【出願日】平成１９年６月８日（２００７．６．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月８日（２００７．６．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]