画像処理装置及び方法
【課題】 任意の角度から見た自身の姿を確認することができるようにする。
【解決手段】 表示画像生成部は、被写体の注目部分の変化量に連動させて、異なる視点で被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する。画像表示制御部は、表示画像生成部により生成された被写体画像を表示画面に表示させる。本技術は、被写体の画像を表示する画像処理装置に適用することができる。
【解決手段】 表示画像生成部は、被写体の注目部分の変化量に連動させて、異なる視点で被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する。画像表示制御部は、表示画像生成部により生成された被写体画像を表示画面に表示させる。本技術は、被写体の画像を表示する画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置及び方法に関し、特に、任意の角度から見た姿を確認することができる、画像処理装置及び方法に関する。
【背景技術】
【０００２】
従来から、人は、自身の姿を確認するために鏡を用いる。人は、１つの鏡を用いるだけでは自身の側面や背面の姿を確認することは困難であるため、２枚の鏡を合わせた合わせ鏡又は三面鏡を用いる。近年では、合わせ鏡又は三面鏡を用いる手法の代替として、カメラで撮影した人の側面や背面の姿を、正面の姿と共に同時にディスプレイに表示させる手法も存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８７５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の従来の手法では、人は、カメラが設置されていない角度からの自身の姿を確認することはできない。また、特許文献１の従来の手法では、正面以外の人の姿は、表示位置や大きさが制限される場合があることから、人は、正面以外の姿を確認することが困難である。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、任意の角度から見た自身の姿を確認することができるようにしたものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成部と、前記画像生成部により生成された前記被写体画像を表示画面に表示させる表示制御部とを備える。
【０００７】
前記画像生成部は、基準となる位置及び方向の視点で前記被写体を撮影した画像又はそれと等価な画像を、基準被写体画像として生成し、前記被写体の注目部分が前記基準被写体画像が生成された初期状態から変化した場合、前記変化量に連動させて、前記視点の位置と方向の少なくとも一方を変化させ、変化後の視点で前記被写体が撮影された画像又はそれと等価な画像を、前記被写体画像として生成することができる。
【０００８】
前記被写体の注目部分の変化量を検出する検出部を更に備え、前記画像生成部は、前記検出部により検出された変化量に連動させて、前記被写体画像を生成することができる。
【０００９】
異なる位置にそれぞれ設置され、別々の撮影方向で前記被写体を撮影して、撮影画像のデータをそれぞれ出力する複数の撮像部をさらに備え、前記画像生成部は、前記変化後の視点の位置及び方向が、前記複数の撮像部のうちの何れの撮像部の設置位置及び撮影方向とも一致しない場合、前記複数の撮像部から選択したものから出力された撮影画像のデータを合成することによって、前記変化後の視点で前記被写体が撮影されたのと等価な画像を、前記被写体画像として生成することができる。
【００１０】
前記被写体の注目部分の変化量は、前記被写体の注目部分が前記初期状態から回転移動した場合の回転角度とすることができる。
【００１１】
前記回転方向は、水平方向とすることができる。
【００１２】
前記回転方向は、垂直方向とすることができる。
【００１３】
前記合成画像が静止画である場合の前記変化量は、前記被写体のジェスチャの動作内容の変化量とすることができる。
【００１４】
前記合成画像が動画である場合の前記変化量は、前記被写体の顔の位置または視線の方向の変化量とすることができる。
【００１５】
前記画像生成部は、前記被写体画像の大きさ及び前記表示画面上の前記被写体画像の表示領域が、前記基準被写体画像の大きさ及び前記表示画面上の前記基準被写体画像の表示領域と一致するように前記被写体画像を生成することができる。
【００１６】
前記被写体画像は、過去の前記被写体が撮影された画像またはそれと等価な画像とすることができる。
【００１７】
前記被写体画像は、前記被写体とは異なる被写体が撮影された画像またはそれと等価な画像とすることができる。
【００１８】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を重ね合わせて表示させることができる。
【００１９】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を並べて表示させることができる。
【００２０】
前記表示制御部は、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のそれぞれの透過率を変えて表示させることができる。
【００２１】
本技術の一側面の画像処理方法は、上述した本技術の一側面の画像処理装置に対応する方法である。
【００２２】
本技術の一側面の画像処理装置及び方法においては、被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像が、被写体画像として生成され、生成された前記被写体画像が表示画面に表示される。
【発明の効果】
【００２３】
以上のごとく、本技術によれば、任意の角度から見た自身の姿を確認することができる。
【図面の簡単な説明】
【００２４】
【図１】本技術の概略について説明する図である。
【図２】ユーザＵの顔の変化量と所定視点の関係について説明する図である。
【図３】ユーザ画像ＵＰのデータの生成手法の概略を説明する図である。
【図４】ユーザ画像ＵＰのデータの生成手法の概略を説明する図である。
【図５】ディスプレイ型ミラー装置の外観構成例を示す図である。
【図６】主制御装置の機能的構成例を示すブロック図である。
【図７】表示処理の一例を説明するフローチャートである。
【図８】ユーザ画像ＵＰの表示内容の切り替えの手法について説明する図である。
【図９】ディスプレイ型ミラー装置の他の外観構成例を示す図である。
【図１０】重ね合わせ表示モードの表示例を示す図である。
【図１１】並列表示モードの表示例を示す図である。
【図１２】本技術が適用される画像処理装置のハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
[本技術の概要]
はじめに、本技術の理解を容易なものとすべく、その概略について説明する。
【００２６】
図１は、本技術の概略について説明する図である。
【００２７】
本技術のディスプレイ型ミラー装置１は、ディスプレイ１１と、当該ディスプレイ１１と対向する位置に存在する人であるユーザＵの正面画像を撮影するためのカメラ（図１に図示せず）とを有している。
【００２８】
なお、ここでいうユーザＵの正面画像とは、１台のカメラにより撮影された撮影画像のみならず、複数台のカメラの各々により撮影された複数の撮影画像が加工されて、その結果得られた合成画像なども含む。換言すると、ユーザＵの正面画像を撮影するためのカメラとは、ユーザＵを正面から撮影する１台のカメラのみならず、ユーザＵを様々な方向から撮影する複数台のカメラも含む。そこで、以下、１台のカメラにより撮影された撮影画像をそのまま正面画像としたものの他、複数台のカメラにより撮影された複数の撮影画像が加工され、その結果として得られた合成画像などを正面画像としたものも含めて、カメラにより撮影された正面画像と称する。
【００２９】
ディスプレイ１１は、その対向する位置にユーザＵが立つと、初期状態の画像として、図１の左の図に示すように、カメラにより撮影された正面画像、すなわちディスプレイ１１を鏡とした場合の鏡像と等価な画像を、ユーザ画像ＵＰとして表示する。なお、ディスプレイ１１の形式は特に限定されず、通常の２次元画像を表示する形式であってもよいし、３次元立体視が可能な形式であってもよい。
【００３０】
ユーザＵが自身の顔を移動させると、ディスプレイ１１に表示されるユーザ画像ＵＰの姿が変化していく。具体的には、ディスプレイ１１には、所定視点からユーザＵが撮影された場合に得られるユーザ画像ＵＰが表示される。例えば初期状態の場合には、ディスプレイ１１の背面から正面（すなわち、表示面）に向かう方向が所定視点の方向とされ、その結果、ユーザＵの正面画像がユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３１】
ユーザＵを撮影する所定視点の位置及び方向は、ユーザＵの顔の移動方向及び移動量（以下、移動方向と移動量をまとめて変化量と称する）に連動して変化する。すなわち、ユーザＵがディスプレイ１１に対向して立った後に自身の顔を移動させると、その変化量に連動して所定視点の位置及び方向も変化する。そして、位置及び方向が変化した後の所定視点からユーザＵが撮影された場合に得られる画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３２】
例えば、所定視点がユーザＵの側面を撮影するようになるまで、その位置及び方向が変化した場合には、図１の中央の図に示すように、ユーザＵの側面画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３３】
さらに、ユーザＵの顔が移動して、その変化量がさらに増大すると、それに連動して、所定視点の位置及び方向もさらに変化する。例えば、所定視点がユーザＵの背面を撮影するようになるまで、その位置及び方向が変化した場合には、図１の右の図に示すように、ユーザＵの背面画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３４】
ここで、図１には図示しないが、ディスプレイ型ミラー装置１には、上述のユーザＵの正面画像を撮影するカメラとは別に、様々な位置にユーザＵを撮影する複数のカメラが設置されている（後述する図５参照）。したがって、これら複数のカメラのうち一のカメラの設置位置及び撮影方向（すなわち、レンズの光軸の方向）と、所定視点の位置及び方向とが一致した場合には、当該一のカメラがユーザＵを実際に撮影した結果得られる撮影画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３５】
ただし、複数のカメラの設置台数には限度があるため、自在に変化する所定視点の位置及び方向と、カメラの設置位置及び撮影方向とが一致することは稀である。そこで、所定視点の位置及び方向が何れのカメラの設置位置及び撮影方向とも一致しない場合には、ディスプレイ型ミラー装置１は、所定視点の近傍の位置に設置された複数のカメラを選択する。次に、ディスプレイ型ミラー装置１は、選択した複数のカメラがユーザＵを実際に撮影した結果得られる複数の撮影画像の各データを合成することによって、所定視点からユーザＵを仮想的に撮影したのと等価な合成画像のデータを生成する。そして、ディスプレイ型ミラー装置１は、当該合成画像をユーザ画像ＵＰとしてディスプレイ１１に表示させる。
【００３６】
このように、ディスプレイ型ミラー装置１は、ユーザＵの顔が移動すると、その変化量に連動して所定視点の位置及び方向を更新し、所定視点が更新後の位置及び方向からユーザＵを撮影した場合に得られる画像をディスプレイ１１に表示させる。したがって、ユーザＵは、ディスプレイ型ミラー装置１のディスプレイ１１の前に立ち、その後、視線はディスプレイ１１に向けたまま顔を所定の方向に所定の量だけ移動させるという簡便で直感的な操作をするだけで、任意の位置及び方向の所定視点から自身をあたかも見た姿を確認することができる。
【００３７】
以下、このような本技術に係るディスプレイ型ミラー装置１の実施形態について説明する。
【００３８】
[顔の変化量と所定のカメラの撮影角度の関係]
図２は、ユーザＵの顔の変化量と所定視点の関係について説明する図である。
【００３９】
ここで、ユーザＵの後頭部から顔に向かう方向であって、中心（同図中鼻の箇所）を通る方向を、以下、ユーザ視向方向と称する。また、ユーザＵが、ディスプレイ１１の表示面と対向する位置に立っており、ディスプレイ１１の法線方向とユーザ視向方向が略一致する状態が、初期状態であるとする。すなわち、初期状態の場合、上述した図１の左の図に示されるように、ユーザＵの正面画像がユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００４０】
ユーザＵは、頭部の中心を通る鉛直方向の軸ａｘを中心に、顔を水平方向（すなわち、図２の紙面に対して平行な方向）に例えば左回りに回転させるものとする。この場合、ユーザＵの顔の移動量Δｘは、図２に示されるように、初期状態のユーザ視向方向（すなわち、ディスプレイ１１の法線方向と略一致の方向）と、顔の移動後のユーザ視向方向とのなす角度で表すことができる。また、移動量Δｘに連動して変化する視点Ｐが既定され、その変化量Δθは、例えば次の式（１）のように表わされる。
【００４１】
Δθ＝ａ×Δｘ＋ｂ・・・（１）
【００４２】
式（１）において、係数ａと係数ｂは、調整用のパラメータであり、ディスプレイ型ミラー装置１の設計者、製造者又はユーザＵが自由に設定変更することが可能である。
【００４３】
すなわち、視点Ｐは、ディスプレイ１１に表示されるユーザＵの画像を撮影するカメラを仮想的に配置する位置に対応し、ユーザＵの頭部中心の軸ａｘを中心とする所定の円周ｒｐの上に沿って移動するものとされている。具体的には、初期状態の視点Ｐの円周ｒｐ上の位置Ａ１が初期位置とするならば、移動量Δｘ分のユーザＵの顔の移動に連動して、視点Ｐも、初期位置Ａ１から、変化量Δθの回転に対応する円周ｒｐ上の位置Ａ２まで移動する。この場合、視点Ｐは、当該視点Ｐから、ユーザＵの頭部中心の軸ａｘを結ぶ線分に沿ってユーザＵを指向することになる。したがって、円周ｒｐ上の位置Ａ２に存在する視点Ｐが、ユーザＵの頭部中心の軸ａｘの方向を向いてユーザＵが撮影された場合に得られる画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００４４】
ここで、上述したように、変化量Δθにより特定される視点Ｐの位置Ａ２及び方向が、ディスプレイ型ミラー装置１において実際に配置されているカメラの設置位置及び撮影方向と一致することは稀である。したがって、通常、ディスプレイ型ミラー装置１は、視点Ｐの近傍の位置に設置された複数のカメラを選択し、選択した複数のカメラがユーザＵを実際に撮影した結果得られる複数の撮影画像の各データを合成することで、視点Ｐからのユーザ画像ＵＰのデータを生成する。
【００４５】
以下、変化量Δθにより特定される視点Ｐの位置Ａ２及び方向が、ディスプレイ型ミラー装置１の何れのカメラの設置位置とも一致しない場合のユーザ画像ＵＰのデータの生成手法について、図３及び図４を用いて説明する。
【００４６】
[ユーザ画像ＵＰのデータの生成手法の前提条件]
図３は、ユーザ画像ＵＰのデータの生成手法の概略を説明する図であって、説明の前提条件を示す図である。
【００４７】
図３の例では、カメラＣ１が、ユーザＵの正面を撮影できる位置、すなわち円周ｒｐ上の初期位置Ａ１に対応する位置に設置されている。また、カメラＣ２が、ユーザＵの左側面を撮影できる位置、すなわち、円周ｒｐ上に沿って初期位置Ａ１から左方向に９０度分だけ移動した位置に対応する位置に設置されている。
【００４８】
ここで、視点Ｐが、カメラＣ１及びＣ２の設置位置以外に移動した場合の例として、図３に示されるように、変化量Δθ１に対応する円周ｒｐ上の第１の位置Ａ２１に移動した場合と、変化量Δθ２に対応する円周ｒｐ上の第２の位置Ａ２２に移動した場合との各々を想定する。
【００４９】
[ユーザ画像ＵＰのデータの生成手法の具体例]
図４は、ユーザ画像ＵＰのデータの生成手法の概略を説明する図であって、図３の前提条件に基づいて生成されたユーザ画像ＵＰのデータの具体例を示す図である。
【００５０】
図４において、撮影画像ＣＰ１は、カメラＣ１によりユーザＵが実際に撮影された結果得られる画像であり、撮影画像ＣＰ２は、カメラＣ２によりユーザＵが実際に撮影された結果得られる画像である。
【００５１】
視点Ｐが変化量Δθ１だけ移動して円周ｒｐ上の位置Ａ２１に存在する場合、ディスプレイ型ミラー装置１は、カメラＣ１の撮影画像ＣＰ１とカメラＣ２の撮影画像ＣＰ２との各データを合成することによって、図４の右上に示されるように、視点ＰからユーザＵを仮想的に撮影したのと等価な合成画像のデータを、ユーザ画像ＵＰ２１のデータとして生成する。
【００５２】
一方、視点Ｐが変化量Δθ２だけ移動して円周ｒｐ上の位置Ａ２２に存在する場合、ディスプレイ型ミラー装置１は、カメラＣ１の撮影画像ＣＰ１とカメラＣ２の撮影画像ＣＰ２との各データを合成する。これにより、図４の右下に示されるように、視点ＰからユーザＵを仮想的に撮影したのと等価な合成画像のデータが、ユーザ画像ＵＰ２２のデータとして生成される。なお、ユーザＵが顔を逆方向、すなわち水平方向に右回りに回転させた場合は、ユーザＵを右方向の視点ＰからユーザＵを仮想的に撮影したのと等価な合成画像のデータが、ユーザ画像ＵＰのデータとして生成される。すなわち、ディスプレイ型ミラー装置１は、ユーザＵの右方向に設置されている所定のカメラの撮影画像を用いて、ユーザ画像ＵＰのデータを生成する。
【００５３】
このように、視点Ｐの位置及び方向が何れのカメラの設置位置及び撮影方向とも一致しない場合であっても、複数のカメラにより得られた撮影画像のデータから生成された合成画像のデータを、ユーザ画像ＵＰのデータとして採用することができる。これにより、ディスプレイ型ミラー装置１におけるカメラの設置台数を抑制し、ひいてはディスプレイ型ミラー装置１の製造コストを削減することが可能になる。
【００５４】
また、ディスプレイ１１に表示されるユーザ画像ＵＰは、ユーザＵの顔の移動に応じて滑らかに変化していくので、ユーザＵは違和感なく自己の姿の変化を視認することが可能になる。
【００５５】
なお、ディスプレイ１１に表示されるユーザ画像ＵＰは、静止画であっても、動画であってもよい。また、ディスプレイ１１に表示されるユーザ画像ＵＰのフレームレートは、ユーザＵが任意に設定することができる。また、ユーザＵの顔の移動量Δｘに所定の閾値を設定して、移動量Δｘに連動して変化する視点Ｐの変化量Δθに上限値が設定されるようにしてもよい。この場合、ユーザＵの顔の移動量Δｘが所定の閾値よりも大きくなると、移動量Δｘに連動して変化する視点Ｐに基づいて生成されるユーザ画像ＵＰの表示内容が、それ以上変化しないようにしてもよい。
【００５６】
また、ディスプレイ型ミラー装置１は、ユーザＵの顔の移動量Δｘに連動して変化するユーザ画像ＵＰの表示内容を、ユーザＵによる所定の操作に従って、停止させるようにしてもよい。これにより、ユーザＵは、ユーザ画像ＵＰの表示内容を停止させた後、任意の姿勢、例えばディスプレイ１１の正面に顔を向けた姿勢で、任意の位置及び方向の所定視点から自身をあたかも見た姿を確認することができる。
【００５７】
また、ディスプレイ型ミラー装置１は、複数のカメラにより得られた撮影画像のデータからユーザ画像ＵＰを生成する場合、人体の形状を拘束条件として用いてもよい。
【００５８】
次に、ディスプレイ型ミラー装置１の外観について説明する。
【００５９】
[ディスプレイ型ミラー装置１の外観構成例]
図５は、ディスプレイ型ミラー装置１の外観構成例を示す図である。
【００６０】
図５に示されるようにディスプレイ型ミラー装置１は、上述したディスプレイ１１に加えて、カメラ１２−１乃至１２−１０（図３のカメラＣ１やＣ２も適宜含む）と、主制御装置１３とを有する。カメラ１２−１及び１２−２は、ディスプレイ１１の側面に設置され、カメラ１２−３乃至１２−１０は、カメラ保持用フレームＣＦにより略均等間隔で保持されるように設置される。なお、以下、カメラ１２−１乃至１２−１０を個々に区別する必要がない場合、これらをまとめてカメラ１２と称する。
【００６１】
カメラ保持用フレームＣＦは、ユーザＵの行動を邪魔しない位置、例えば図５の例ではユーザＵの立ち位置の上方（ユーザＵの身長より高い位置）に設置されている。この場合、カメラ保持用フレームＣＦに設置されたカメラ１２−３乃至１２−１０の撮影方向は、矢印に示されるように斜め下方向になる。その結果、カメラ１２−３乃至１２−１０がユーザＵを撮影した結果得られる撮影画像は、上方からユーザＵを見下ろした様子が写った画像になる。一方、ディスプレイ１１の側面であって、ユーザＵの身長の略１/２の高さに設置されたカメラ１２−１及び１２−２については、撮影方向は水平方向であるが、設置位置はユーザＵの顔に比較して下方になる。その結果、カメラ１２−１及び１２−２がユーザＵを撮影した結果得られる撮影画像は、ユーザＵの顔の下方の胴体が中心に移った画像になる。したがって、ディスプレイ型ミラー装置１は、カメラ保持用フレームＣＦに設置されたカメラ１２−３乃至１２−１０のうちの幾つかから出力された撮影画像のデータに加えて、カメラ１２−１及び１２−２から出力された撮影画像のデータを適宜合成することによって、ユーザＵの全体の姿を水平方向から見た画像のデータを、ユーザ画像ＵＰのデータとして生成することができる。このため、ユーザＵが立つ床の近傍にユーザＵを囲むようにカメラ１２を配置し、上下のカメラ１２から出力された撮影画像のデータを合成するようにしてもよい。
【００６２】
なお、カメラ保持用フレームＣＦの形状は、図５の例では正方形の形状とされたが、図５の例に限定されず、長方形や円形等の他の形状であってもよい。また、カメラ１２の設置位置は図５の例に限定されず、例えば可動式であってもよい。また、カメラ１２の設置台数は、図５の例に限定されない。また、カメラ１２は、通常の一眼式のカメラであっても、ステレオカメラであってもよい。
【００６３】
また、ディスプレイ１１、カメラ１２、及び主制御装置１３の間の各通信方式は、特に限定されず、有線方式であっても無線方式であってもよい。また、ディスプレイ１１と主制御装置１３とは、図５の例では物理的に分離されて構成されているが、特に図５の例に限定されず、一体化されて構成されてもよい。
【００６４】
次に、図５に示されるディスプレイ型ミラー装置１の主制御装置１３が有する機能のうち、ディスプレイ１１にユーザ画像ＵＰを表示させるための各種機能を実現させるための機能的構成例を、図６を用いて説明する。
【００６５】
[ディスプレイ型ミラー装置１の主制御装置１３の機能的構成例]
図６は、ディスプレイ型ミラー装置１の主制御装置１３の機能的構成例を示すブロック図である。
【００６６】
図６のディスプレイ型ミラー装置１の主制御装置１３は、画像処理部３１、機器位置情報記録部３２、及び画像情報記録部３３を有する。画像処理部３１は、カメラ制御部５１、画像取得部５２、顔位置検出部５３、表示画像生成部５４、及び画像表示制御部５５から構成される。
【００６７】
カメラ制御部５１は、カメラ１２−１乃至１２−１０のうちの少なくとも１台がユーザＵを撮影するように制御する。
【００６８】
画像取得部５２は、カメラ制御部５１の制御により、カメラ１２−１乃至１２−１０のうち１台以上の各々から撮影画像の各データが出力された場合、当該撮影画像の各データを取得して、画像情報記録部３３に記憶させる。
【００６９】
機器位置情報記録部３２は、カメラ１２−１乃至カメラ１２−１０の各々についての、ディスプレイ１１との相対的な位置関係を示す情報（以下、機器位置情報と称する）を予め記録している。そこで、画像取得部５２は、カメラ１２−Ｋ（Ｋは１乃至１０のうち、任意の整数値）の撮影画像のデータを取得すると、当該カメラ１２−Ｋの機器位置情報を機器位置情報記録部３２から読み出して、カメラ１２−Ｋの撮影画像のデータとともに画像情報記録部３３に記録させる。
【００７０】
顔位置検出部５３は、画像情報記録部３３から撮影画像のデータを読み出して、当該撮影画像からユーザＵの顔の位置を検出する。顔位置検出部５３の検出結果は、表示画像生成部５４に供給される。なお、顔位置検出部５３の検出結果は、必要に応じて、カメラ制御部５１にも供給される。この場合、カメラ制御部５１は、当該検出結果に基づいて、カメラ１２−１乃至１２−１０のうち動作させる対象、すなわち画像取得部５２によって取得される撮影画像のデータを出力させる対象を絞り込むこともできる。
【００７１】
表示画像生成部５４は、時間的に離間して撮影された複数の撮影画像のデータの各々から検出したユーザＵの顔の各位置から、ユーザＵの顔の移動量Δｘを算出する。そして、表示画像生成部５４は、当該移動量Δｘを式（１）に代入して演算することによって、視点Ｐの変化量Δθを算出する。さらに、表示画像生成部５４は、撮影画像のデータを画像情報記録部３３から読み出して、当該変化量Δθだけ移動した視点ＰからユーザＵを撮影した場合と等価な画像のデータを、ユーザ画像ＵＰのデータとして生成する。
【００７２】
画像表示制御部５５は、表示画像生成部５４により生成されたデータに対応する当該ユーザ画像ＵＰを、ディスプレイ１１に表示させる。
【００７３】
なお、機器位置情報は、機器位置情報記録部３２に予め記録させずに、画像取得部５２が、カメラ１２−Ｋの撮影画像のデータとともに常時取得するようにしてもよい。
【００７４】
次に、このような構成のディスプレイ型ミラー装置１がユーザ画像ＵＰを表示する処理（以下、表示処理と称する）の例について説明する。
【００７５】
[表示処理]
図７は、表示処理の一例を説明するフローチャートである。
【００７６】
ディスプレイ型ミラー装置１は、ユーザＵがディスプレイ１１の対向する位置に立つと、処理を開始する。
【００７７】
ステップＳ１において、表示画像生成部５４は、カメラ１２の撮影画像のデータを読み出す。すなわち、表示画像生成部５４は、カメラ制御部５１の制御に従って、ユーザＵの正面画像のデータを生成するのに必要なカメラ１２により撮影された結果得られる撮影画像のデータを、画像情報記録部３３から読み出す。この場合、例えば、カメラ１２−１，１２−２，１２−１０により撮影された結果得られる撮影画像のデータが読み出される。
【００７８】
ステップＳ２において、表示画像生成部５４は、ステップＳ１で読み出した各画像データからユーザＵの正面画像のデータを生成する。
【００７９】
ステップＳ３において、画像表示制御部５５は、ユーザＵの正面画像をディスプレイ１１に表示させる。すなわち、画像表示制御部５５は、ステップＳ２で表示画像生成部５４により生成されたデータに対応するユーザＵの正面画像を、ユーザ画像ＵＰとしてディスプレイ１１に表示させる。
【００８０】
ステップＳ４において、顔位置検出部５３は、画像情報記録部３３から撮影画像のデータを読み出して、当該撮影画像のデータから、ユーザＵの顔の位置を検出する。
【００８１】
ステップＳ５において、表示画像生成部５４は、前回からの移動後（０移動を含む）の視点Ｐの位置及び方向を算出する。すなわち、表示画像生成部５４は、顔位置検出部５３により検出されたユーザＵの顔の位置から、ユーザＵの顔の移動量Δｘを算出する。そして、表示画像生成部５４は、当該移動量Δｘを式（１）に代入して演算することによって、視点Ｐの変化量Δθを算出し、視点Ｐの位置及び方向を特定する。
【００８２】
ステップＳ６において、表示画像生成部５４は、視点Ｐの位置と一致またはその近傍にある１台以上のカメラ１２により出力された撮影画像のデータを、画像情報記録部３３から読み出す。
【００８３】
ステップＳ７において、表示画像生成部５４は、ステップＳ６で読み出した１以上の撮影画像のデータから、ユーザ画像ＵＰのデータを生成する。すなわち、表示画像生成部５４は、ステップＳ５で算出した変化量Δθだけ移動した視点ＰからユーザＵを撮影した場合と等価な画像のデータを、ユーザ画像ＵＰのデータとして生成する。
【００８４】
ステップＳ８において、表示画像生成部５４は、ユーザ画像ＵＰのデータを補正する。すなわち、表示画像生成部５４は、ステップＳ７により生成されたユーザ画像ＵＰのデータにより表されるユーザＵの全身のサイズ（すなわち、ディスプレイ１１の表示画面のうちユーザＵの全身の領域の占有率）を、ステップＳ２により生成された正面画像のデータによるものと対応させる（すなわち、表示される身長が一致する）ように、ユーザ画像ＵＰのデータを補正する。また、表示画像生成部５４は、ステップＳ７により生成されたユーザ画像ＵＰのデータにより表されるユーザ画像ＵＰのディスプレイ１１上での表示領域を、ステップＳ２により生成されたユーザＵの正面画像のデータによるものと対応させる。当該補正は、ユーザＵに違和感を与えないためである。
【００８５】
ステップＳ９において、画像表示制御部５５は、補正が施されたユーザ画像ＵＰを、ディスプレイ１１に表示させる。このとき、ユーザＵは、顔の位置を移動させたまま視線だけをディスプレイ１１に向けることにより、ユーザ画像ＵＰを確認することができる。
【００８６】
ステップＳ１０において、画像処理部３１は、処理の終了が指示されたかを判定する。ここで、処理の終了の指示は特に限定されず、例えば、ユーザＵがディスプレイ１１の前から存在しなくなったとカメラ１２が検知したのを処理の終了の指示としてもよい。また、例えば、ユーザＵが処理の終了を指示するための明示の操作をしたことを処理の終了の指示としてもよい。
【００８７】
処理の終了が指示されていない場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。すなわち、処理の終了が指示されるまでの間、ステップＳ４乃至Ｓ１０のループ処理が繰り返される。
【００８８】
その後、処理の終了が指示された場合、ステップＳ１０においてＹＥＳであると判定されて、表示処理は終了する。
【００８９】
なお、ステップＳ３，Ｓ９においてディスプレイ１１に表示される、ユーザ画像ＵＰのサイズは、ユーザＵが任意に設定可能である。例えば、ユーザＵは、自身の実際の姿よりも細身や長身にユーザ画像ＵＰを表示させることも可能である。また、ステップＳ３，Ｓ９においてディスプレイ１１に表示されるユーザ画像ＵＰの表示領域は、常にディスプレイ１１の表示領域の中央であっても、任意の領域であってもよい。例えば、ディスプレイ型ミラー装置１は、ユーザＵが、所定の時間（例えば、数秒間）以上、ディスプレイ１１の対向する位置に立って静止したと認識した場合に、当該位置に正対するディスプレイ１１の表示領域にユーザ画像ＵＰを表示させるようにしてもよい。
【００９０】
上述の例では、ユーザＵの顔の移動量Δｘに連動して視点Ｐの位置及び方向が変化することにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容（すなわち、ユーザＵの姿勢）が切り替えられた。しかしながら、ユーザ画像ＵＰの表示内容の切り替えは、他の対象の変化に連動させて視点Ｐの位置及び方向を変化させることにより行ってもよい。
【００９１】
[ユーザ画像ＵＰの表示内容の切り替えの手法]
図８は、ユーザ画像ＵＰの表示内容の切り替えの手法について説明する図である。
【００９２】
ユーザ画像ＵＰの表示内容を切り替えるための手法として、ユーザＵの動作の種類に応じて幾つかの手法を適用することができる。図８の例では、ユーザＵの顔の位置の移動動作、ユーザＵの視線の方向の移動動作、手や指のジェスチャ動作、別途設けられたゲームパッドの操作動作に連動させて、視点Ｐの位置及び方向を変化させる手法が存在する。
【００９３】
以下、これらの手法について、「正面を向いたまま視認可能」、「手ぶらで動作可能」、「姿勢の拘束がない」といった３つの特徴の点の比較をしつつ個別に説明する。なお、「正面を向いたまま視認可能」とは、ユーザＵがディスプレイ１１に対して正面を向いたまま、表示されるユーザ画像ＵＰを視認することが可能な状態で、各手法で採用される動作が可能であることを意味する。「手ぶらで動作可能」とは、ユーザＵが手ぶらの状態で、各手法で採用される動作が可能であることを意味する。「姿勢の拘束がない」とは、ユーザＵが姿勢の拘束がない状態で、各手法で採用される動作が可能であることを意味する。
【００９４】
顔の位置の移動動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、上述したように、ユーザＵが顔の位置を移動させる動作をすると、顔の位置の移動量Δｘに連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印が示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、手ぶらな状態で、かつ姿勢が拘束されない状態で、顔の移動動作を行うことができる。
【００９５】
視線の方向の移動動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、ユーザＵが視線の方向を移動させる動作をすると、視線の移動量Δｘに連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印で示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、手ぶらな状態で、かつ姿勢が拘束されない状態で、視線の方向の移動動作を行うことができる。なお、上述したように、ユーザＵは、所定の操作を行うことにより、ユーザ画像ＵＰの表示内容を停止させることができる。ここで、所定の操作として、例えば、ユーザＵによる所定時間以上の瞬きの動作を採用することができる。したがって、ユーザＵは、所定時間以上の瞬きの動作等によりユーザ画像ＵＰの表示内容を停止させた後、視線をディスプレイ１１の正面に向けた状態で、任意の位置及び方向の所定視点から自身をあたかも見た姿を確認することができる。
【００９６】
手や指のジェスチャ動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、ユーザＵが、予め規定された手や指のジェスチャ動作をすると、その動作内容の変化に連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印、またはバツ印で示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、かつ手ぶらな状態で、手や指のジェスチャ動作を行うことができる。しかしながら、ユーザＵは、姿勢の拘束がある状態で、手や指のジェスチャ動作を行うことになる。
【００９７】
ゲームパッドの操作動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、ユーザＵが、ゲームパッドに対する操作の動作をすることにより、その操作内容の変化に連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印、バツ印、又は三角印で示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、ゲームパッドに対する操作の動作をすることができる。しかしながら、ユーザＵは、手ぶらな状態で、ゲームパッドに対する操作の動作をすることができない。また、ユーザＵは、姿勢が拘束されない状態で、ゲームパッドに対する操作の動作を行うことは不可能ではないが、多少の困難を伴う。
【００９８】
このように、ユーザ画像ＵＰの表示内容の切り替えるためのユーザＵの動作としては、「正面を向いたまま視認可能」、「手ぶらで動作可能」、「姿勢の拘束がない」といった３つの特徴の点をすべて満足する動作、すなわち上述の顔の位置の移動動作又は視線の方向の移動動作を採用すると好適である。また、３つの特徴の点のうちの幾つかを犠牲にしてもよいならば、ユーザ画像ＵＰの表示内容の切り替えるためのユーザＵの動作として、さらに、手や指のジェスチャ動作、ゲームパッドの操作動作といった各種各様の種類を採用することができる。
【００９９】
なお、ディスプレイ１１に表示されるユーザ画像ＵＰが静止画である場合には、ユーザ画像ＵＰの表示内容を切り替えるための手法として、手や指のジェスチャ動作が採用されると好適である。これに対して、ディスプレイ１１に表示されるユーザ画像ＵＰが動画である場合には、ユーザ画像ＵＰの表示内容を切り替えるための手法として、ユーザＵの顔の位置や視線の方向の移動動作が採用されると好適である。
【０１００】
いずれにしても、ユーザ画像ＵＰの表示内容を切り替えるためのユーザＵの動作として、ユーザにとって負担とならない簡便で直感的な動作を採用することができる。なお、ユーザ画像ＵＰの表示内容を切り替えるためのユーザＵの動作は、上述の例に限定されない。
【０１０１】
[ディスプレイ型ミラー装置１の他の外観構成例]
上述の例では、ディスプレイ型ミラー装置１には、カメラ保持用フレームＣＦに複数のカメラ１２が設置された。しかしながら、ディスプレイ型ミラー装置１の外観構成は、これに限定されない。
【０１０２】
図９は、ディスプレイ型ミラー装置１の他の外観構成例を示す図である。
【０１０３】
図９に示されるように、ディスプレイ型ミラー装置１は、ディスプレイ１１、周囲鏡７１、及びカメラ７２−１乃至７２−３を有する。カメラ７２−１，７２−２は、ディスプレイ１１の側面に設置され、カメラ７２−３は、ディスプレイ１１の上面に設置される。周囲鏡７１は、ユーザＵの行動を邪魔しない位置、例えば図９の例ではユーザＵの立ち位置の上方に設置される。なお、以下、カメラ７２−１乃至７２−３を個々に区別する必要がない場合、これらをまとめてカメラ７２と称する。
【０１０４】
カメラ７２−３は、周囲鏡７１に映し出されるユーザＵを撮影する。すなわち、カメラ７２−３は、撮影方向を適宜移動させて、周囲鏡７１により反射された光束を取り込むことで、複数の方向からユーザＵを撮影したのと等価な撮影画像のデータを出力することができる。すなわち、カメラ７２−３は、１台で、図５のカメラ保持用フレームＣＦに設置された複数のカメラ１２−３乃至１２−１０と同一の機能を発揮することができる。さらに、カメラ７２−３の撮影方向の移動を緻密に制御することにより、複数の撮影画像のデータを合成せずとも、１枚の撮影画像のデータをそのまま、任意の方向からユーザＵを撮影したユーザ画像ＵＰのデータとして採用することも可能になる。
【０１０５】
なお、周囲鏡７１の形状は、図９の例では正方形の形状とされたが、図９の例に限定されず、円形やドーム型等の他の形状であってもよい。また、カメラ７２の設置位置は図９の例に限定されず、例えば可動式であってもよい。また、カメラ７２の設置台数は、図９の例に限定されない。
【０１０６】
上述の例では、現在のユーザＵの姿が、ユーザ画像ＵＰとしてディスプレイ１１に表示された。しかしながら、ユーザ画像ＵＰは、過去や未来のユーザＵの姿であっても、ユーザＵとは異なる他人の姿であってもよい。この場合、ユーザＵは、過去や未来のユーザＵの姿のユーザ画像ＵＰや、他人の姿のユーザ画像ＵＰを、現在のユーザＵの姿のユーザ画像ＵＰに重ね合わせて表示させることも、並べて表示させることもできる。以下、前者のユーザ画像ＵＰの表示手法を重ね合わせ表示モード、後者のユーザ画像ＵＰの表示手法を並列表示モードと称する。ユーザ画像ＵＰの表示例について、図１０と図１１を用いて説明する。
【０１０７】
[重ね合わせ表示モードの表示例]
図１０は、重ね合わせ表示モードの表示例を示す図である。
【０１０８】
ディスプレイ１１に表示されている、実線で示されるユーザ画像ＵＰ４１、点線で示されるユーザ画像ＵＰ４２、一点鎖線で示されるユーザ画像ＵＰ４３は、それぞれ現在、過去、未来のユーザＵの姿を示している。図１０に示されるように、重ね合わせ表示モードにおいては、ユーザ画像ＵＰ４１の表示領域を基準にして、ユーザ画像ＵＰ４２とユーザ画像ＵＰ４３が、ユーザ画像ＵＰ４１の表示領域に、身体の中心が一致しるようにして重ね合わせて表示される。
【０１０９】
なお、過去のユーザＵの姿であるユーザ画像ＵＰ４２は、表示画像生成部５４によって、画像情報記録部３３に記録された過去のユーザＵの撮影画像のデータを用いて生成される。また、未来のユーザＵの姿であるユーザ画像ＵＰ４３は、表示画像生成部５４によって、画像情報記録部３３に記録された過去のユーザＵの撮影画像のデータと現在のユーザＵの撮影画像のデータとを用いて予測された未来のユーザＵの撮影画像のデータを用いて生成される。具体的には例えば、表示画像生成部５４は、所定の関数、例えば相関関数や予測関数等を用いて、過去と現在のそれぞれのユーザＵの撮影画像のデータに含まれるユーザＵの形状の差分から未来のユーザＵの形状を予測し、ユーザ画像ＵＰ４３を生成する。
【０１１０】
重ね合わせ表示モードにおいて、ユーザ画像ＵＰ４１乃至４３は、それぞれが時系列で識別可能な状態で表示される。具体的には例えば、ユーザ画像ＵＰ４２、ユーザ画像ＵＰ４１、ユーザ画像ＵＰ４３の順、すなわち、ユーザＵの過去、現在、未来の姿の順に透過率が高くなるように表示する。当然のことながら、この逆の順に透過率が高くなるように表示してもよい。
【０１１１】
また、同じ過去のユーザＵの姿であるユーザ画像ＵＰ４２であっても、より過去の撮影画像のデータにより生成されたユーザ画像ＵＰ４２の透過率が高く、より現在に近い撮影画像のデータにより生成されたユーザ画像ＵＰ４２の透過率が低くなるように表示されてもよい。同様に、同じ未来のユーザＵの姿であるユーザ画像ＵＰ４３であっても、より未来の予測に基づき生成されたユーザ画像ＵＰ４３の透過率が高く、より現在に近い撮影画像のデータにより生成されたユーザ画像ＵＰ４３の透過率が低くなるように表示されてもよい。
【０１１２】
このように、ユーザＵの現在、過去、及び未来の姿であるユーザ画像ＵＰ４１乃至４３が、時系列で識別できる状態で重ね合わせてディスプレイ１１に表示されるので、ユーザＵは、自身の体型の変化を容易に把握することができる。
【０１１３】
なお、ユーザ画像ＵＰ４１乃至４３は、それぞれユーザＵとは異なる他人の現在、過去、未来の姿であってもよい。また、ユーザ画像ＵＰ４１乃至４３は、全てが同一の被写体（すなわち、全てがユーザＵ又は全てがユーザＵとは異なる他人）の画像であっても、その中の一部が別の被写体（すなわち、ユーザＵとユーザＵとは異なる他人が混在）の画像であってもよい。また、ユーザ画像ＵＰ４１乃至４３の全てが重ね合わせて表示されずに、任意の２つが重ね合わせて表示されるようにしてもよい。
【０１１４】
[並列表示モードの表示例]
図１１は、並列表示モードの表示例を示す図である。
【０１１５】
図１１に示されるように、並列表示モードにおいては、現在のユーザＵの姿であるユーザ画像ＵＰ４１の横に、過去のユーザＵの姿であるユーザ画像ＵＰ４２が並べられて表示される。なお、並列表示モードにおいて表示されるユーザ画像ＵＰは、これに限定されず、ユーザ画像ＵＰ４１乃至４３のうち、任意の２つ、または全てが表示されるようにしてもよい。
【０１１６】
このように、ユーザＵの現在、過去、及び未来の姿であるユーザ画像ＵＰ４１乃至４３が、時系列で識別できる状態で並べられてディスプレイ１１に表示されるので、ユーザＵは、現在、過去、及び未来のそれぞれの自身の体型を詳細に確認しながら、自身の体型の変化を把握することができる。
【０１１７】
並列表示モードにおいても、重ね合わせ表示モードの場合と同様に、ユーザ画像ＵＰ４１乃至４３は、それぞれユーザＵとは異なる他人の現在、過去、未来の姿であってもよい。また、ユーザ画像ＵＰ４１乃至４３は、全てが同一の被写体（すなわち、全てがユーザＵ又は全てがユーザＵとは異なる他人）の画像であっても、その中の一部が別の被写体（すなわち、ユーザＵとユーザＵとは異なる他人が混在）の画像であってもよい。なお、ユーザＵとは異なる他人の姿であるユーザ画像ＵＰ４２は、表示画像生成部５４によって、画像情報記録部３３に記録されたユーザＵとは異なる他人の撮影画像のデータを用いて生成される。
【０１１８】
上述の例では、ユーザＵの顔の移動量Δｘに基づいてユーザ画像ＵＰのデータが更新されたが、さらに、ユーザＵの顔の移動速度に基づいてユーザ画像ＵＰのデータが更新されてもよい。すなわち、ディスプレイ型ミラー装置１は、ユーザＵの顔の移動速度が速いほど、視点Ｐの変化量Δθが大きくなるようにして、ユーザ画像ＵＰのデータを生成してもよい。
【０１１９】
また、上述の例では、ユーザＵの顔の移動量Δｘは、ユーザＵの顔が水平方向に回転移動した場合の回転角度とされたが、回転方向は、垂直方向であってもよい。この場合、例えば、ディスプレイ型ミラー装置１は、ユーザＵが上方向を見上げたり背伸びをすると、ユーザＵの頭頂部をディスプレイ１１に表示させ、ユーザＵが下方向を見下げたりしゃがむと、ユーザＵを下方向から見た姿をディスプレイ１１に表示させるようにしてもよい。
【０１２０】
また、上述の例では、ユーザＵの全身がディスプレイ１１に表示されたが、当然のことながら、ユーザＵの顔、上半身、または下半身だけが表示されるようにしてもよい。
【０１２１】
また、上述の例では、ディスプレイ１１を鏡とした場合の鏡像と等価な画像を、ユーザ画像ＵＰとして表示したが、これに限定されず、他者からみたユーザＵの姿（すなわち、鏡像と等価な画像とは左右対称の画像）をユーザ画像ＵＰとして表示してもよい。この場合、前者のユーザ画像ＵＰが表示される表示モードを鏡モード、後者のユーザ画像ＵＰが表示される表示モードを通常モードとして、ユーザＵが、任意の表示モードを選択可能とする。
【０１２２】
また、上述の例では、顔位置検出部５３によりユーザＵの顔の移動量Δｘが検出されて、当該移動量Δｘに基づいてユーザ画像ＵＰのデータが更新されたが、特に顔位置検出部５３を採用することは必須ではない。すなわち、被写体の画像のデータの更新をする場合に利用することができ、かつ、当該被写体の注目部分の変化量を検出することが可能な検出部を、顔位置検出部５３の代わりに採用してもよい。換言すると、ディスプレイ型ミラー装置１にこのような検出部が採用されていれば足り、顔位置検出部５３とは、被写体としてユーザＵが採用されており、撮影画像に含まれるユーザＵの顔の領域が注目部分として採用された検出部の一例に過ぎない。
【０１２３】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１２４】
この場合、上述した画像処理装置の少なくとも一部として、例えば、図１０に示されるパーソナルコンピュータを採用してもよい。
【０１２５】
図１０において、CPU１０１は、ROM１０２に記録されているプログラムに従って各種の処理を実行する。または記憶部１０８からRAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２６】
CPU１０１、ROM１０２、及びRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１２７】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７が接続されている。また、ハードディスクなどより構成される記憶部１０８、及び、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１２８】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１２９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３０】
このようなプログラムを含む記録媒体は、図１０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１３１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３３】
なお、本技術は、以下のような構成もとることができる。
（１）
被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成部と、
前記画像生成部により生成された前記被写体画像を表示画面に表示させる表示制御部と
を備える画像処理装置。
（２）
前記画像生成部は、
基準となる位置及び方向の視点で前記被写体を撮影した画像又はそれと等価な画像を、基準被写体画像として生成し、
前記被写体の注目部分が前記基準被写体画像が生成された初期状態から変化した場合、前記変化量に連動させて、前記視点の位置と方向の少なくとも一方を変化させ、変化後の視点で前記被写体が撮影された画像又はそれと等価な画像を、前記被写体画像として生成する
前記（１）に記載の画像処理装置。
（３）
前記被写体の注目部分の変化量を検出する検出部を更に備え、
前記画像生成部は、前記検出部により検出された変化量に連動させて、前記被写体画像を生成する
前記（１）または（２）に記載の画像処理装置。
（４）
異なる位置にそれぞれ設置され、別々の撮影方向で前記被写体を撮影して、撮影画像のデータをそれぞれ出力する複数の撮像部をさらに備え、
前記画像生成部は、前記変化後の視点の位置及び方向が、前記複数の撮像部のうちの何れの撮像部の設置位置及び撮影方向とも一致しない場合、前記複数の撮像部から選択したものから出力された撮影画像のデータを合成することによって、前記変化後の視点で前記被写体が撮影されたのと等価な画像を、前記被写体画像として生成する
前記（１）、（２）、または（３）に記載の画像処理装置。
（５）
前記被写体の注目部分の変化量は、前記被写体の注目部分が前記初期状態から回転移動した場合の回転角度である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記回転方向は、水平方向である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記回転方向は、垂直方向である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記合成画像が静止画である場合の前記変化量は、前記被写体のジェスチャの動作内容の変化量である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記合成画像が動画である場合の前記変化量は、前記被写体の顔の位置または視線の方向の変化量である
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記画像生成部は、前記被写体画像の大きさ及び前記表示画面上の前記被写体画像の表示領域が、前記基準被写体画像の大きさ及び前記表示画面上の前記基準被写体画像の表示領域と一致するように前記被写体画像を生成する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記被写体画像は、過去の前記被写体が撮影された画像またはそれと等価な画像である
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記被写体画像は、前記被写体とは異なる被写体が撮影された画像またはそれと等価な画像である
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を重ね合わせて表示させる
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を並べて表示させる
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記表示制御部は、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のそれぞれの透過率を変えて表示させる
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
【０１３４】
本技術は、被写体の画像を表示する画像処理装置に適用することができる。
【符号の説明】
【０１３５】
１ ディスプレイ型ミラー装置， １１ ディスプレイ， １２ カメラ， １３ 主制御装置， ３１ 画像処理部， ３２ 機器位置情報記録部， ３３ 画像情報記録部， ５１ カメラ制御部， ５２ 画像取得部， ５３ 顔位置検出部， ５４ 表示画像生成部， ５５ 画像表示制御部， ７１ 周囲鏡
【技術分野】
【０００１】
本技術は、画像処理装置及び方法に関し、特に、任意の角度から見た姿を確認することができる、画像処理装置及び方法に関する。
【背景技術】
【０００２】
従来から、人は、自身の姿を確認するために鏡を用いる。人は、１つの鏡を用いるだけでは自身の側面や背面の姿を確認することは困難であるため、２枚の鏡を合わせた合わせ鏡又は三面鏡を用いる。近年では、合わせ鏡又は三面鏡を用いる手法の代替として、カメラで撮影した人の側面や背面の姿を、正面の姿と共に同時にディスプレイに表示させる手法も存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８７５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の従来の手法では、人は、カメラが設置されていない角度からの自身の姿を確認することはできない。また、特許文献１の従来の手法では、正面以外の人の姿は、表示位置や大きさが制限される場合があることから、人は、正面以外の姿を確認することが困難である。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、任意の角度から見た自身の姿を確認することができるようにしたものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成部と、前記画像生成部により生成された前記被写体画像を表示画面に表示させる表示制御部とを備える。
【０００７】
前記画像生成部は、基準となる位置及び方向の視点で前記被写体を撮影した画像又はそれと等価な画像を、基準被写体画像として生成し、前記被写体の注目部分が前記基準被写体画像が生成された初期状態から変化した場合、前記変化量に連動させて、前記視点の位置と方向の少なくとも一方を変化させ、変化後の視点で前記被写体が撮影された画像又はそれと等価な画像を、前記被写体画像として生成することができる。
【０００８】
前記被写体の注目部分の変化量を検出する検出部を更に備え、前記画像生成部は、前記検出部により検出された変化量に連動させて、前記被写体画像を生成することができる。
【０００９】
異なる位置にそれぞれ設置され、別々の撮影方向で前記被写体を撮影して、撮影画像のデータをそれぞれ出力する複数の撮像部をさらに備え、前記画像生成部は、前記変化後の視点の位置及び方向が、前記複数の撮像部のうちの何れの撮像部の設置位置及び撮影方向とも一致しない場合、前記複数の撮像部から選択したものから出力された撮影画像のデータを合成することによって、前記変化後の視点で前記被写体が撮影されたのと等価な画像を、前記被写体画像として生成することができる。
【００１０】
前記被写体の注目部分の変化量は、前記被写体の注目部分が前記初期状態から回転移動した場合の回転角度とすることができる。
【００１１】
前記回転方向は、水平方向とすることができる。
【００１２】
前記回転方向は、垂直方向とすることができる。
【００１３】
前記合成画像が静止画である場合の前記変化量は、前記被写体のジェスチャの動作内容の変化量とすることができる。
【００１４】
前記合成画像が動画である場合の前記変化量は、前記被写体の顔の位置または視線の方向の変化量とすることができる。
【００１５】
前記画像生成部は、前記被写体画像の大きさ及び前記表示画面上の前記被写体画像の表示領域が、前記基準被写体画像の大きさ及び前記表示画面上の前記基準被写体画像の表示領域と一致するように前記被写体画像を生成することができる。
【００１６】
前記被写体画像は、過去の前記被写体が撮影された画像またはそれと等価な画像とすることができる。
【００１７】
前記被写体画像は、前記被写体とは異なる被写体が撮影された画像またはそれと等価な画像とすることができる。
【００１８】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を重ね合わせて表示させることができる。
【００１９】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を並べて表示させることができる。
【００２０】
前記表示制御部は、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のそれぞれの透過率を変えて表示させることができる。
【００２１】
本技術の一側面の画像処理方法は、上述した本技術の一側面の画像処理装置に対応する方法である。
【００２２】
本技術の一側面の画像処理装置及び方法においては、被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像が、被写体画像として生成され、生成された前記被写体画像が表示画面に表示される。
【発明の効果】
【００２３】
以上のごとく、本技術によれば、任意の角度から見た自身の姿を確認することができる。
【図面の簡単な説明】
【００２４】
【図１】本技術の概略について説明する図である。
【図２】ユーザＵの顔の変化量と所定視点の関係について説明する図である。
【図３】ユーザ画像ＵＰのデータの生成手法の概略を説明する図である。
【図４】ユーザ画像ＵＰのデータの生成手法の概略を説明する図である。
【図５】ディスプレイ型ミラー装置の外観構成例を示す図である。
【図６】主制御装置の機能的構成例を示すブロック図である。
【図７】表示処理の一例を説明するフローチャートである。
【図８】ユーザ画像ＵＰの表示内容の切り替えの手法について説明する図である。
【図９】ディスプレイ型ミラー装置の他の外観構成例を示す図である。
【図１０】重ね合わせ表示モードの表示例を示す図である。
【図１１】並列表示モードの表示例を示す図である。
【図１２】本技術が適用される画像処理装置のハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
[本技術の概要]
はじめに、本技術の理解を容易なものとすべく、その概略について説明する。
【００２６】
図１は、本技術の概略について説明する図である。
【００２７】
本技術のディスプレイ型ミラー装置１は、ディスプレイ１１と、当該ディスプレイ１１と対向する位置に存在する人であるユーザＵの正面画像を撮影するためのカメラ（図１に図示せず）とを有している。
【００２８】
なお、ここでいうユーザＵの正面画像とは、１台のカメラにより撮影された撮影画像のみならず、複数台のカメラの各々により撮影された複数の撮影画像が加工されて、その結果得られた合成画像なども含む。換言すると、ユーザＵの正面画像を撮影するためのカメラとは、ユーザＵを正面から撮影する１台のカメラのみならず、ユーザＵを様々な方向から撮影する複数台のカメラも含む。そこで、以下、１台のカメラにより撮影された撮影画像をそのまま正面画像としたものの他、複数台のカメラにより撮影された複数の撮影画像が加工され、その結果として得られた合成画像などを正面画像としたものも含めて、カメラにより撮影された正面画像と称する。
【００２９】
ディスプレイ１１は、その対向する位置にユーザＵが立つと、初期状態の画像として、図１の左の図に示すように、カメラにより撮影された正面画像、すなわちディスプレイ１１を鏡とした場合の鏡像と等価な画像を、ユーザ画像ＵＰとして表示する。なお、ディスプレイ１１の形式は特に限定されず、通常の２次元画像を表示する形式であってもよいし、３次元立体視が可能な形式であってもよい。
【００３０】
ユーザＵが自身の顔を移動させると、ディスプレイ１１に表示されるユーザ画像ＵＰの姿が変化していく。具体的には、ディスプレイ１１には、所定視点からユーザＵが撮影された場合に得られるユーザ画像ＵＰが表示される。例えば初期状態の場合には、ディスプレイ１１の背面から正面（すなわち、表示面）に向かう方向が所定視点の方向とされ、その結果、ユーザＵの正面画像がユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３１】
ユーザＵを撮影する所定視点の位置及び方向は、ユーザＵの顔の移動方向及び移動量（以下、移動方向と移動量をまとめて変化量と称する）に連動して変化する。すなわち、ユーザＵがディスプレイ１１に対向して立った後に自身の顔を移動させると、その変化量に連動して所定視点の位置及び方向も変化する。そして、位置及び方向が変化した後の所定視点からユーザＵが撮影された場合に得られる画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３２】
例えば、所定視点がユーザＵの側面を撮影するようになるまで、その位置及び方向が変化した場合には、図１の中央の図に示すように、ユーザＵの側面画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３３】
さらに、ユーザＵの顔が移動して、その変化量がさらに増大すると、それに連動して、所定視点の位置及び方向もさらに変化する。例えば、所定視点がユーザＵの背面を撮影するようになるまで、その位置及び方向が変化した場合には、図１の右の図に示すように、ユーザＵの背面画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３４】
ここで、図１には図示しないが、ディスプレイ型ミラー装置１には、上述のユーザＵの正面画像を撮影するカメラとは別に、様々な位置にユーザＵを撮影する複数のカメラが設置されている（後述する図５参照）。したがって、これら複数のカメラのうち一のカメラの設置位置及び撮影方向（すなわち、レンズの光軸の方向）と、所定視点の位置及び方向とが一致した場合には、当該一のカメラがユーザＵを実際に撮影した結果得られる撮影画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００３５】
ただし、複数のカメラの設置台数には限度があるため、自在に変化する所定視点の位置及び方向と、カメラの設置位置及び撮影方向とが一致することは稀である。そこで、所定視点の位置及び方向が何れのカメラの設置位置及び撮影方向とも一致しない場合には、ディスプレイ型ミラー装置１は、所定視点の近傍の位置に設置された複数のカメラを選択する。次に、ディスプレイ型ミラー装置１は、選択した複数のカメラがユーザＵを実際に撮影した結果得られる複数の撮影画像の各データを合成することによって、所定視点からユーザＵを仮想的に撮影したのと等価な合成画像のデータを生成する。そして、ディスプレイ型ミラー装置１は、当該合成画像をユーザ画像ＵＰとしてディスプレイ１１に表示させる。
【００３６】
このように、ディスプレイ型ミラー装置１は、ユーザＵの顔が移動すると、その変化量に連動して所定視点の位置及び方向を更新し、所定視点が更新後の位置及び方向からユーザＵを撮影した場合に得られる画像をディスプレイ１１に表示させる。したがって、ユーザＵは、ディスプレイ型ミラー装置１のディスプレイ１１の前に立ち、その後、視線はディスプレイ１１に向けたまま顔を所定の方向に所定の量だけ移動させるという簡便で直感的な操作をするだけで、任意の位置及び方向の所定視点から自身をあたかも見た姿を確認することができる。
【００３７】
以下、このような本技術に係るディスプレイ型ミラー装置１の実施形態について説明する。
【００３８】
[顔の変化量と所定のカメラの撮影角度の関係]
図２は、ユーザＵの顔の変化量と所定視点の関係について説明する図である。
【００３９】
ここで、ユーザＵの後頭部から顔に向かう方向であって、中心（同図中鼻の箇所）を通る方向を、以下、ユーザ視向方向と称する。また、ユーザＵが、ディスプレイ１１の表示面と対向する位置に立っており、ディスプレイ１１の法線方向とユーザ視向方向が略一致する状態が、初期状態であるとする。すなわち、初期状態の場合、上述した図１の左の図に示されるように、ユーザＵの正面画像がユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００４０】
ユーザＵは、頭部の中心を通る鉛直方向の軸ａｘを中心に、顔を水平方向（すなわち、図２の紙面に対して平行な方向）に例えば左回りに回転させるものとする。この場合、ユーザＵの顔の移動量Δｘは、図２に示されるように、初期状態のユーザ視向方向（すなわち、ディスプレイ１１の法線方向と略一致の方向）と、顔の移動後のユーザ視向方向とのなす角度で表すことができる。また、移動量Δｘに連動して変化する視点Ｐが既定され、その変化量Δθは、例えば次の式（１）のように表わされる。
【００４１】
Δθ＝ａ×Δｘ＋ｂ・・・（１）
【００４２】
式（１）において、係数ａと係数ｂは、調整用のパラメータであり、ディスプレイ型ミラー装置１の設計者、製造者又はユーザＵが自由に設定変更することが可能である。
【００４３】
すなわち、視点Ｐは、ディスプレイ１１に表示されるユーザＵの画像を撮影するカメラを仮想的に配置する位置に対応し、ユーザＵの頭部中心の軸ａｘを中心とする所定の円周ｒｐの上に沿って移動するものとされている。具体的には、初期状態の視点Ｐの円周ｒｐ上の位置Ａ１が初期位置とするならば、移動量Δｘ分のユーザＵの顔の移動に連動して、視点Ｐも、初期位置Ａ１から、変化量Δθの回転に対応する円周ｒｐ上の位置Ａ２まで移動する。この場合、視点Ｐは、当該視点Ｐから、ユーザＵの頭部中心の軸ａｘを結ぶ線分に沿ってユーザＵを指向することになる。したがって、円周ｒｐ上の位置Ａ２に存在する視点Ｐが、ユーザＵの頭部中心の軸ａｘの方向を向いてユーザＵが撮影された場合に得られる画像が、ユーザ画像ＵＰとしてディスプレイ１１に表示される。
【００４４】
ここで、上述したように、変化量Δθにより特定される視点Ｐの位置Ａ２及び方向が、ディスプレイ型ミラー装置１において実際に配置されているカメラの設置位置及び撮影方向と一致することは稀である。したがって、通常、ディスプレイ型ミラー装置１は、視点Ｐの近傍の位置に設置された複数のカメラを選択し、選択した複数のカメラがユーザＵを実際に撮影した結果得られる複数の撮影画像の各データを合成することで、視点Ｐからのユーザ画像ＵＰのデータを生成する。
【００４５】
以下、変化量Δθにより特定される視点Ｐの位置Ａ２及び方向が、ディスプレイ型ミラー装置１の何れのカメラの設置位置とも一致しない場合のユーザ画像ＵＰのデータの生成手法について、図３及び図４を用いて説明する。
【００４６】
[ユーザ画像ＵＰのデータの生成手法の前提条件]
図３は、ユーザ画像ＵＰのデータの生成手法の概略を説明する図であって、説明の前提条件を示す図である。
【００４７】
図３の例では、カメラＣ１が、ユーザＵの正面を撮影できる位置、すなわち円周ｒｐ上の初期位置Ａ１に対応する位置に設置されている。また、カメラＣ２が、ユーザＵの左側面を撮影できる位置、すなわち、円周ｒｐ上に沿って初期位置Ａ１から左方向に９０度分だけ移動した位置に対応する位置に設置されている。
【００４８】
ここで、視点Ｐが、カメラＣ１及びＣ２の設置位置以外に移動した場合の例として、図３に示されるように、変化量Δθ１に対応する円周ｒｐ上の第１の位置Ａ２１に移動した場合と、変化量Δθ２に対応する円周ｒｐ上の第２の位置Ａ２２に移動した場合との各々を想定する。
【００４９】
[ユーザ画像ＵＰのデータの生成手法の具体例]
図４は、ユーザ画像ＵＰのデータの生成手法の概略を説明する図であって、図３の前提条件に基づいて生成されたユーザ画像ＵＰのデータの具体例を示す図である。
【００５０】
図４において、撮影画像ＣＰ１は、カメラＣ１によりユーザＵが実際に撮影された結果得られる画像であり、撮影画像ＣＰ２は、カメラＣ２によりユーザＵが実際に撮影された結果得られる画像である。
【００５１】
視点Ｐが変化量Δθ１だけ移動して円周ｒｐ上の位置Ａ２１に存在する場合、ディスプレイ型ミラー装置１は、カメラＣ１の撮影画像ＣＰ１とカメラＣ２の撮影画像ＣＰ２との各データを合成することによって、図４の右上に示されるように、視点ＰからユーザＵを仮想的に撮影したのと等価な合成画像のデータを、ユーザ画像ＵＰ２１のデータとして生成する。
【００５２】
一方、視点Ｐが変化量Δθ２だけ移動して円周ｒｐ上の位置Ａ２２に存在する場合、ディスプレイ型ミラー装置１は、カメラＣ１の撮影画像ＣＰ１とカメラＣ２の撮影画像ＣＰ２との各データを合成する。これにより、図４の右下に示されるように、視点ＰからユーザＵを仮想的に撮影したのと等価な合成画像のデータが、ユーザ画像ＵＰ２２のデータとして生成される。なお、ユーザＵが顔を逆方向、すなわち水平方向に右回りに回転させた場合は、ユーザＵを右方向の視点ＰからユーザＵを仮想的に撮影したのと等価な合成画像のデータが、ユーザ画像ＵＰのデータとして生成される。すなわち、ディスプレイ型ミラー装置１は、ユーザＵの右方向に設置されている所定のカメラの撮影画像を用いて、ユーザ画像ＵＰのデータを生成する。
【００５３】
このように、視点Ｐの位置及び方向が何れのカメラの設置位置及び撮影方向とも一致しない場合であっても、複数のカメラにより得られた撮影画像のデータから生成された合成画像のデータを、ユーザ画像ＵＰのデータとして採用することができる。これにより、ディスプレイ型ミラー装置１におけるカメラの設置台数を抑制し、ひいてはディスプレイ型ミラー装置１の製造コストを削減することが可能になる。
【００５４】
また、ディスプレイ１１に表示されるユーザ画像ＵＰは、ユーザＵの顔の移動に応じて滑らかに変化していくので、ユーザＵは違和感なく自己の姿の変化を視認することが可能になる。
【００５５】
なお、ディスプレイ１１に表示されるユーザ画像ＵＰは、静止画であっても、動画であってもよい。また、ディスプレイ１１に表示されるユーザ画像ＵＰのフレームレートは、ユーザＵが任意に設定することができる。また、ユーザＵの顔の移動量Δｘに所定の閾値を設定して、移動量Δｘに連動して変化する視点Ｐの変化量Δθに上限値が設定されるようにしてもよい。この場合、ユーザＵの顔の移動量Δｘが所定の閾値よりも大きくなると、移動量Δｘに連動して変化する視点Ｐに基づいて生成されるユーザ画像ＵＰの表示内容が、それ以上変化しないようにしてもよい。
【００５６】
また、ディスプレイ型ミラー装置１は、ユーザＵの顔の移動量Δｘに連動して変化するユーザ画像ＵＰの表示内容を、ユーザＵによる所定の操作に従って、停止させるようにしてもよい。これにより、ユーザＵは、ユーザ画像ＵＰの表示内容を停止させた後、任意の姿勢、例えばディスプレイ１１の正面に顔を向けた姿勢で、任意の位置及び方向の所定視点から自身をあたかも見た姿を確認することができる。
【００５７】
また、ディスプレイ型ミラー装置１は、複数のカメラにより得られた撮影画像のデータからユーザ画像ＵＰを生成する場合、人体の形状を拘束条件として用いてもよい。
【００５８】
次に、ディスプレイ型ミラー装置１の外観について説明する。
【００５９】
[ディスプレイ型ミラー装置１の外観構成例]
図５は、ディスプレイ型ミラー装置１の外観構成例を示す図である。
【００６０】
図５に示されるようにディスプレイ型ミラー装置１は、上述したディスプレイ１１に加えて、カメラ１２−１乃至１２−１０（図３のカメラＣ１やＣ２も適宜含む）と、主制御装置１３とを有する。カメラ１２−１及び１２−２は、ディスプレイ１１の側面に設置され、カメラ１２−３乃至１２−１０は、カメラ保持用フレームＣＦにより略均等間隔で保持されるように設置される。なお、以下、カメラ１２−１乃至１２−１０を個々に区別する必要がない場合、これらをまとめてカメラ１２と称する。
【００６１】
カメラ保持用フレームＣＦは、ユーザＵの行動を邪魔しない位置、例えば図５の例ではユーザＵの立ち位置の上方（ユーザＵの身長より高い位置）に設置されている。この場合、カメラ保持用フレームＣＦに設置されたカメラ１２−３乃至１２−１０の撮影方向は、矢印に示されるように斜め下方向になる。その結果、カメラ１２−３乃至１２−１０がユーザＵを撮影した結果得られる撮影画像は、上方からユーザＵを見下ろした様子が写った画像になる。一方、ディスプレイ１１の側面であって、ユーザＵの身長の略１/２の高さに設置されたカメラ１２−１及び１２−２については、撮影方向は水平方向であるが、設置位置はユーザＵの顔に比較して下方になる。その結果、カメラ１２−１及び１２−２がユーザＵを撮影した結果得られる撮影画像は、ユーザＵの顔の下方の胴体が中心に移った画像になる。したがって、ディスプレイ型ミラー装置１は、カメラ保持用フレームＣＦに設置されたカメラ１２−３乃至１２−１０のうちの幾つかから出力された撮影画像のデータに加えて、カメラ１２−１及び１２−２から出力された撮影画像のデータを適宜合成することによって、ユーザＵの全体の姿を水平方向から見た画像のデータを、ユーザ画像ＵＰのデータとして生成することができる。このため、ユーザＵが立つ床の近傍にユーザＵを囲むようにカメラ１２を配置し、上下のカメラ１２から出力された撮影画像のデータを合成するようにしてもよい。
【００６２】
なお、カメラ保持用フレームＣＦの形状は、図５の例では正方形の形状とされたが、図５の例に限定されず、長方形や円形等の他の形状であってもよい。また、カメラ１２の設置位置は図５の例に限定されず、例えば可動式であってもよい。また、カメラ１２の設置台数は、図５の例に限定されない。また、カメラ１２は、通常の一眼式のカメラであっても、ステレオカメラであってもよい。
【００６３】
また、ディスプレイ１１、カメラ１２、及び主制御装置１３の間の各通信方式は、特に限定されず、有線方式であっても無線方式であってもよい。また、ディスプレイ１１と主制御装置１３とは、図５の例では物理的に分離されて構成されているが、特に図５の例に限定されず、一体化されて構成されてもよい。
【００６４】
次に、図５に示されるディスプレイ型ミラー装置１の主制御装置１３が有する機能のうち、ディスプレイ１１にユーザ画像ＵＰを表示させるための各種機能を実現させるための機能的構成例を、図６を用いて説明する。
【００６５】
[ディスプレイ型ミラー装置１の主制御装置１３の機能的構成例]
図６は、ディスプレイ型ミラー装置１の主制御装置１３の機能的構成例を示すブロック図である。
【００６６】
図６のディスプレイ型ミラー装置１の主制御装置１３は、画像処理部３１、機器位置情報記録部３２、及び画像情報記録部３３を有する。画像処理部３１は、カメラ制御部５１、画像取得部５２、顔位置検出部５３、表示画像生成部５４、及び画像表示制御部５５から構成される。
【００６７】
カメラ制御部５１は、カメラ１２−１乃至１２−１０のうちの少なくとも１台がユーザＵを撮影するように制御する。
【００６８】
画像取得部５２は、カメラ制御部５１の制御により、カメラ１２−１乃至１２−１０のうち１台以上の各々から撮影画像の各データが出力された場合、当該撮影画像の各データを取得して、画像情報記録部３３に記憶させる。
【００６９】
機器位置情報記録部３２は、カメラ１２−１乃至カメラ１２−１０の各々についての、ディスプレイ１１との相対的な位置関係を示す情報（以下、機器位置情報と称する）を予め記録している。そこで、画像取得部５２は、カメラ１２−Ｋ（Ｋは１乃至１０のうち、任意の整数値）の撮影画像のデータを取得すると、当該カメラ１２−Ｋの機器位置情報を機器位置情報記録部３２から読み出して、カメラ１２−Ｋの撮影画像のデータとともに画像情報記録部３３に記録させる。
【００７０】
顔位置検出部５３は、画像情報記録部３３から撮影画像のデータを読み出して、当該撮影画像からユーザＵの顔の位置を検出する。顔位置検出部５３の検出結果は、表示画像生成部５４に供給される。なお、顔位置検出部５３の検出結果は、必要に応じて、カメラ制御部５１にも供給される。この場合、カメラ制御部５１は、当該検出結果に基づいて、カメラ１２−１乃至１２−１０のうち動作させる対象、すなわち画像取得部５２によって取得される撮影画像のデータを出力させる対象を絞り込むこともできる。
【００７１】
表示画像生成部５４は、時間的に離間して撮影された複数の撮影画像のデータの各々から検出したユーザＵの顔の各位置から、ユーザＵの顔の移動量Δｘを算出する。そして、表示画像生成部５４は、当該移動量Δｘを式（１）に代入して演算することによって、視点Ｐの変化量Δθを算出する。さらに、表示画像生成部５４は、撮影画像のデータを画像情報記録部３３から読み出して、当該変化量Δθだけ移動した視点ＰからユーザＵを撮影した場合と等価な画像のデータを、ユーザ画像ＵＰのデータとして生成する。
【００７２】
画像表示制御部５５は、表示画像生成部５４により生成されたデータに対応する当該ユーザ画像ＵＰを、ディスプレイ１１に表示させる。
【００７３】
なお、機器位置情報は、機器位置情報記録部３２に予め記録させずに、画像取得部５２が、カメラ１２−Ｋの撮影画像のデータとともに常時取得するようにしてもよい。
【００７４】
次に、このような構成のディスプレイ型ミラー装置１がユーザ画像ＵＰを表示する処理（以下、表示処理と称する）の例について説明する。
【００７５】
[表示処理]
図７は、表示処理の一例を説明するフローチャートである。
【００７６】
ディスプレイ型ミラー装置１は、ユーザＵがディスプレイ１１の対向する位置に立つと、処理を開始する。
【００７７】
ステップＳ１において、表示画像生成部５４は、カメラ１２の撮影画像のデータを読み出す。すなわち、表示画像生成部５４は、カメラ制御部５１の制御に従って、ユーザＵの正面画像のデータを生成するのに必要なカメラ１２により撮影された結果得られる撮影画像のデータを、画像情報記録部３３から読み出す。この場合、例えば、カメラ１２−１，１２−２，１２−１０により撮影された結果得られる撮影画像のデータが読み出される。
【００７８】
ステップＳ２において、表示画像生成部５４は、ステップＳ１で読み出した各画像データからユーザＵの正面画像のデータを生成する。
【００７９】
ステップＳ３において、画像表示制御部５５は、ユーザＵの正面画像をディスプレイ１１に表示させる。すなわち、画像表示制御部５５は、ステップＳ２で表示画像生成部５４により生成されたデータに対応するユーザＵの正面画像を、ユーザ画像ＵＰとしてディスプレイ１１に表示させる。
【００８０】
ステップＳ４において、顔位置検出部５３は、画像情報記録部３３から撮影画像のデータを読み出して、当該撮影画像のデータから、ユーザＵの顔の位置を検出する。
【００８１】
ステップＳ５において、表示画像生成部５４は、前回からの移動後（０移動を含む）の視点Ｐの位置及び方向を算出する。すなわち、表示画像生成部５４は、顔位置検出部５３により検出されたユーザＵの顔の位置から、ユーザＵの顔の移動量Δｘを算出する。そして、表示画像生成部５４は、当該移動量Δｘを式（１）に代入して演算することによって、視点Ｐの変化量Δθを算出し、視点Ｐの位置及び方向を特定する。
【００８２】
ステップＳ６において、表示画像生成部５４は、視点Ｐの位置と一致またはその近傍にある１台以上のカメラ１２により出力された撮影画像のデータを、画像情報記録部３３から読み出す。
【００８３】
ステップＳ７において、表示画像生成部５４は、ステップＳ６で読み出した１以上の撮影画像のデータから、ユーザ画像ＵＰのデータを生成する。すなわち、表示画像生成部５４は、ステップＳ５で算出した変化量Δθだけ移動した視点ＰからユーザＵを撮影した場合と等価な画像のデータを、ユーザ画像ＵＰのデータとして生成する。
【００８４】
ステップＳ８において、表示画像生成部５４は、ユーザ画像ＵＰのデータを補正する。すなわち、表示画像生成部５４は、ステップＳ７により生成されたユーザ画像ＵＰのデータにより表されるユーザＵの全身のサイズ（すなわち、ディスプレイ１１の表示画面のうちユーザＵの全身の領域の占有率）を、ステップＳ２により生成された正面画像のデータによるものと対応させる（すなわち、表示される身長が一致する）ように、ユーザ画像ＵＰのデータを補正する。また、表示画像生成部５４は、ステップＳ７により生成されたユーザ画像ＵＰのデータにより表されるユーザ画像ＵＰのディスプレイ１１上での表示領域を、ステップＳ２により生成されたユーザＵの正面画像のデータによるものと対応させる。当該補正は、ユーザＵに違和感を与えないためである。
【００８５】
ステップＳ９において、画像表示制御部５５は、補正が施されたユーザ画像ＵＰを、ディスプレイ１１に表示させる。このとき、ユーザＵは、顔の位置を移動させたまま視線だけをディスプレイ１１に向けることにより、ユーザ画像ＵＰを確認することができる。
【００８６】
ステップＳ１０において、画像処理部３１は、処理の終了が指示されたかを判定する。ここで、処理の終了の指示は特に限定されず、例えば、ユーザＵがディスプレイ１１の前から存在しなくなったとカメラ１２が検知したのを処理の終了の指示としてもよい。また、例えば、ユーザＵが処理の終了を指示するための明示の操作をしたことを処理の終了の指示としてもよい。
【００８７】
処理の終了が指示されていない場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。すなわち、処理の終了が指示されるまでの間、ステップＳ４乃至Ｓ１０のループ処理が繰り返される。
【００８８】
その後、処理の終了が指示された場合、ステップＳ１０においてＹＥＳであると判定されて、表示処理は終了する。
【００８９】
なお、ステップＳ３，Ｓ９においてディスプレイ１１に表示される、ユーザ画像ＵＰのサイズは、ユーザＵが任意に設定可能である。例えば、ユーザＵは、自身の実際の姿よりも細身や長身にユーザ画像ＵＰを表示させることも可能である。また、ステップＳ３，Ｓ９においてディスプレイ１１に表示されるユーザ画像ＵＰの表示領域は、常にディスプレイ１１の表示領域の中央であっても、任意の領域であってもよい。例えば、ディスプレイ型ミラー装置１は、ユーザＵが、所定の時間（例えば、数秒間）以上、ディスプレイ１１の対向する位置に立って静止したと認識した場合に、当該位置に正対するディスプレイ１１の表示領域にユーザ画像ＵＰを表示させるようにしてもよい。
【００９０】
上述の例では、ユーザＵの顔の移動量Δｘに連動して視点Ｐの位置及び方向が変化することにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容（すなわち、ユーザＵの姿勢）が切り替えられた。しかしながら、ユーザ画像ＵＰの表示内容の切り替えは、他の対象の変化に連動させて視点Ｐの位置及び方向を変化させることにより行ってもよい。
【００９１】
[ユーザ画像ＵＰの表示内容の切り替えの手法]
図８は、ユーザ画像ＵＰの表示内容の切り替えの手法について説明する図である。
【００９２】
ユーザ画像ＵＰの表示内容を切り替えるための手法として、ユーザＵの動作の種類に応じて幾つかの手法を適用することができる。図８の例では、ユーザＵの顔の位置の移動動作、ユーザＵの視線の方向の移動動作、手や指のジェスチャ動作、別途設けられたゲームパッドの操作動作に連動させて、視点Ｐの位置及び方向を変化させる手法が存在する。
【００９３】
以下、これらの手法について、「正面を向いたまま視認可能」、「手ぶらで動作可能」、「姿勢の拘束がない」といった３つの特徴の点の比較をしつつ個別に説明する。なお、「正面を向いたまま視認可能」とは、ユーザＵがディスプレイ１１に対して正面を向いたまま、表示されるユーザ画像ＵＰを視認することが可能な状態で、各手法で採用される動作が可能であることを意味する。「手ぶらで動作可能」とは、ユーザＵが手ぶらの状態で、各手法で採用される動作が可能であることを意味する。「姿勢の拘束がない」とは、ユーザＵが姿勢の拘束がない状態で、各手法で採用される動作が可能であることを意味する。
【００９４】
顔の位置の移動動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、上述したように、ユーザＵが顔の位置を移動させる動作をすると、顔の位置の移動量Δｘに連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印が示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、手ぶらな状態で、かつ姿勢が拘束されない状態で、顔の移動動作を行うことができる。
【００９５】
視線の方向の移動動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、ユーザＵが視線の方向を移動させる動作をすると、視線の移動量Δｘに連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印で示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、手ぶらな状態で、かつ姿勢が拘束されない状態で、視線の方向の移動動作を行うことができる。なお、上述したように、ユーザＵは、所定の操作を行うことにより、ユーザ画像ＵＰの表示内容を停止させることができる。ここで、所定の操作として、例えば、ユーザＵによる所定時間以上の瞬きの動作を採用することができる。したがって、ユーザＵは、所定時間以上の瞬きの動作等によりユーザ画像ＵＰの表示内容を停止させた後、視線をディスプレイ１１の正面に向けた状態で、任意の位置及び方向の所定視点から自身をあたかも見た姿を確認することができる。
【００９６】
手や指のジェスチャ動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、ユーザＵが、予め規定された手や指のジェスチャ動作をすると、その動作内容の変化に連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印、またはバツ印で示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、かつ手ぶらな状態で、手や指のジェスチャ動作を行うことができる。しかしながら、ユーザＵは、姿勢の拘束がある状態で、手や指のジェスチャ動作を行うことになる。
【００９７】
ゲームパッドの操作動作に連動させてユーザ画像ＵＰの表示内容を切り替える手法とは、ユーザＵが、ゲームパッドに対する操作の動作をすることにより、その操作内容の変化に連動して、視点Ｐの位置及び方向が変化し、これにより、ディスプレイ１１に表示されるユーザ画像ＵＰの表示内容が切り替えられる手法である。図８において、各項目内に丸印、バツ印、又は三角印で示されているように、当該手法を用いる場合、ユーザＵは、正面を向いたままディスプレイ１１に表示されるユーザ画像ＵＰを視認可能な状態で、ゲームパッドに対する操作の動作をすることができる。しかしながら、ユーザＵは、手ぶらな状態で、ゲームパッドに対する操作の動作をすることができない。また、ユーザＵは、姿勢が拘束されない状態で、ゲームパッドに対する操作の動作を行うことは不可能ではないが、多少の困難を伴う。
【００９８】
このように、ユーザ画像ＵＰの表示内容の切り替えるためのユーザＵの動作としては、「正面を向いたまま視認可能」、「手ぶらで動作可能」、「姿勢の拘束がない」といった３つの特徴の点をすべて満足する動作、すなわち上述の顔の位置の移動動作又は視線の方向の移動動作を採用すると好適である。また、３つの特徴の点のうちの幾つかを犠牲にしてもよいならば、ユーザ画像ＵＰの表示内容の切り替えるためのユーザＵの動作として、さらに、手や指のジェスチャ動作、ゲームパッドの操作動作といった各種各様の種類を採用することができる。
【００９９】
なお、ディスプレイ１１に表示されるユーザ画像ＵＰが静止画である場合には、ユーザ画像ＵＰの表示内容を切り替えるための手法として、手や指のジェスチャ動作が採用されると好適である。これに対して、ディスプレイ１１に表示されるユーザ画像ＵＰが動画である場合には、ユーザ画像ＵＰの表示内容を切り替えるための手法として、ユーザＵの顔の位置や視線の方向の移動動作が採用されると好適である。
【０１００】
いずれにしても、ユーザ画像ＵＰの表示内容を切り替えるためのユーザＵの動作として、ユーザにとって負担とならない簡便で直感的な動作を採用することができる。なお、ユーザ画像ＵＰの表示内容を切り替えるためのユーザＵの動作は、上述の例に限定されない。
【０１０１】
[ディスプレイ型ミラー装置１の他の外観構成例]
上述の例では、ディスプレイ型ミラー装置１には、カメラ保持用フレームＣＦに複数のカメラ１２が設置された。しかしながら、ディスプレイ型ミラー装置１の外観構成は、これに限定されない。
【０１０２】
図９は、ディスプレイ型ミラー装置１の他の外観構成例を示す図である。
【０１０３】
図９に示されるように、ディスプレイ型ミラー装置１は、ディスプレイ１１、周囲鏡７１、及びカメラ７２−１乃至７２−３を有する。カメラ７２−１，７２−２は、ディスプレイ１１の側面に設置され、カメラ７２−３は、ディスプレイ１１の上面に設置される。周囲鏡７１は、ユーザＵの行動を邪魔しない位置、例えば図９の例ではユーザＵの立ち位置の上方に設置される。なお、以下、カメラ７２−１乃至７２−３を個々に区別する必要がない場合、これらをまとめてカメラ７２と称する。
【０１０４】
カメラ７２−３は、周囲鏡７１に映し出されるユーザＵを撮影する。すなわち、カメラ７２−３は、撮影方向を適宜移動させて、周囲鏡７１により反射された光束を取り込むことで、複数の方向からユーザＵを撮影したのと等価な撮影画像のデータを出力することができる。すなわち、カメラ７２−３は、１台で、図５のカメラ保持用フレームＣＦに設置された複数のカメラ１２−３乃至１２−１０と同一の機能を発揮することができる。さらに、カメラ７２−３の撮影方向の移動を緻密に制御することにより、複数の撮影画像のデータを合成せずとも、１枚の撮影画像のデータをそのまま、任意の方向からユーザＵを撮影したユーザ画像ＵＰのデータとして採用することも可能になる。
【０１０５】
なお、周囲鏡７１の形状は、図９の例では正方形の形状とされたが、図９の例に限定されず、円形やドーム型等の他の形状であってもよい。また、カメラ７２の設置位置は図９の例に限定されず、例えば可動式であってもよい。また、カメラ７２の設置台数は、図９の例に限定されない。
【０１０６】
上述の例では、現在のユーザＵの姿が、ユーザ画像ＵＰとしてディスプレイ１１に表示された。しかしながら、ユーザ画像ＵＰは、過去や未来のユーザＵの姿であっても、ユーザＵとは異なる他人の姿であってもよい。この場合、ユーザＵは、過去や未来のユーザＵの姿のユーザ画像ＵＰや、他人の姿のユーザ画像ＵＰを、現在のユーザＵの姿のユーザ画像ＵＰに重ね合わせて表示させることも、並べて表示させることもできる。以下、前者のユーザ画像ＵＰの表示手法を重ね合わせ表示モード、後者のユーザ画像ＵＰの表示手法を並列表示モードと称する。ユーザ画像ＵＰの表示例について、図１０と図１１を用いて説明する。
【０１０７】
[重ね合わせ表示モードの表示例]
図１０は、重ね合わせ表示モードの表示例を示す図である。
【０１０８】
ディスプレイ１１に表示されている、実線で示されるユーザ画像ＵＰ４１、点線で示されるユーザ画像ＵＰ４２、一点鎖線で示されるユーザ画像ＵＰ４３は、それぞれ現在、過去、未来のユーザＵの姿を示している。図１０に示されるように、重ね合わせ表示モードにおいては、ユーザ画像ＵＰ４１の表示領域を基準にして、ユーザ画像ＵＰ４２とユーザ画像ＵＰ４３が、ユーザ画像ＵＰ４１の表示領域に、身体の中心が一致しるようにして重ね合わせて表示される。
【０１０９】
なお、過去のユーザＵの姿であるユーザ画像ＵＰ４２は、表示画像生成部５４によって、画像情報記録部３３に記録された過去のユーザＵの撮影画像のデータを用いて生成される。また、未来のユーザＵの姿であるユーザ画像ＵＰ４３は、表示画像生成部５４によって、画像情報記録部３３に記録された過去のユーザＵの撮影画像のデータと現在のユーザＵの撮影画像のデータとを用いて予測された未来のユーザＵの撮影画像のデータを用いて生成される。具体的には例えば、表示画像生成部５４は、所定の関数、例えば相関関数や予測関数等を用いて、過去と現在のそれぞれのユーザＵの撮影画像のデータに含まれるユーザＵの形状の差分から未来のユーザＵの形状を予測し、ユーザ画像ＵＰ４３を生成する。
【０１１０】
重ね合わせ表示モードにおいて、ユーザ画像ＵＰ４１乃至４３は、それぞれが時系列で識別可能な状態で表示される。具体的には例えば、ユーザ画像ＵＰ４２、ユーザ画像ＵＰ４１、ユーザ画像ＵＰ４３の順、すなわち、ユーザＵの過去、現在、未来の姿の順に透過率が高くなるように表示する。当然のことながら、この逆の順に透過率が高くなるように表示してもよい。
【０１１１】
また、同じ過去のユーザＵの姿であるユーザ画像ＵＰ４２であっても、より過去の撮影画像のデータにより生成されたユーザ画像ＵＰ４２の透過率が高く、より現在に近い撮影画像のデータにより生成されたユーザ画像ＵＰ４２の透過率が低くなるように表示されてもよい。同様に、同じ未来のユーザＵの姿であるユーザ画像ＵＰ４３であっても、より未来の予測に基づき生成されたユーザ画像ＵＰ４３の透過率が高く、より現在に近い撮影画像のデータにより生成されたユーザ画像ＵＰ４３の透過率が低くなるように表示されてもよい。
【０１１２】
このように、ユーザＵの現在、過去、及び未来の姿であるユーザ画像ＵＰ４１乃至４３が、時系列で識別できる状態で重ね合わせてディスプレイ１１に表示されるので、ユーザＵは、自身の体型の変化を容易に把握することができる。
【０１１３】
なお、ユーザ画像ＵＰ４１乃至４３は、それぞれユーザＵとは異なる他人の現在、過去、未来の姿であってもよい。また、ユーザ画像ＵＰ４１乃至４３は、全てが同一の被写体（すなわち、全てがユーザＵ又は全てがユーザＵとは異なる他人）の画像であっても、その中の一部が別の被写体（すなわち、ユーザＵとユーザＵとは異なる他人が混在）の画像であってもよい。また、ユーザ画像ＵＰ４１乃至４３の全てが重ね合わせて表示されずに、任意の２つが重ね合わせて表示されるようにしてもよい。
【０１１４】
[並列表示モードの表示例]
図１１は、並列表示モードの表示例を示す図である。
【０１１５】
図１１に示されるように、並列表示モードにおいては、現在のユーザＵの姿であるユーザ画像ＵＰ４１の横に、過去のユーザＵの姿であるユーザ画像ＵＰ４２が並べられて表示される。なお、並列表示モードにおいて表示されるユーザ画像ＵＰは、これに限定されず、ユーザ画像ＵＰ４１乃至４３のうち、任意の２つ、または全てが表示されるようにしてもよい。
【０１１６】
このように、ユーザＵの現在、過去、及び未来の姿であるユーザ画像ＵＰ４１乃至４３が、時系列で識別できる状態で並べられてディスプレイ１１に表示されるので、ユーザＵは、現在、過去、及び未来のそれぞれの自身の体型を詳細に確認しながら、自身の体型の変化を把握することができる。
【０１１７】
並列表示モードにおいても、重ね合わせ表示モードの場合と同様に、ユーザ画像ＵＰ４１乃至４３は、それぞれユーザＵとは異なる他人の現在、過去、未来の姿であってもよい。また、ユーザ画像ＵＰ４１乃至４３は、全てが同一の被写体（すなわち、全てがユーザＵ又は全てがユーザＵとは異なる他人）の画像であっても、その中の一部が別の被写体（すなわち、ユーザＵとユーザＵとは異なる他人が混在）の画像であってもよい。なお、ユーザＵとは異なる他人の姿であるユーザ画像ＵＰ４２は、表示画像生成部５４によって、画像情報記録部３３に記録されたユーザＵとは異なる他人の撮影画像のデータを用いて生成される。
【０１１８】
上述の例では、ユーザＵの顔の移動量Δｘに基づいてユーザ画像ＵＰのデータが更新されたが、さらに、ユーザＵの顔の移動速度に基づいてユーザ画像ＵＰのデータが更新されてもよい。すなわち、ディスプレイ型ミラー装置１は、ユーザＵの顔の移動速度が速いほど、視点Ｐの変化量Δθが大きくなるようにして、ユーザ画像ＵＰのデータを生成してもよい。
【０１１９】
また、上述の例では、ユーザＵの顔の移動量Δｘは、ユーザＵの顔が水平方向に回転移動した場合の回転角度とされたが、回転方向は、垂直方向であってもよい。この場合、例えば、ディスプレイ型ミラー装置１は、ユーザＵが上方向を見上げたり背伸びをすると、ユーザＵの頭頂部をディスプレイ１１に表示させ、ユーザＵが下方向を見下げたりしゃがむと、ユーザＵを下方向から見た姿をディスプレイ１１に表示させるようにしてもよい。
【０１２０】
また、上述の例では、ユーザＵの全身がディスプレイ１１に表示されたが、当然のことながら、ユーザＵの顔、上半身、または下半身だけが表示されるようにしてもよい。
【０１２１】
また、上述の例では、ディスプレイ１１を鏡とした場合の鏡像と等価な画像を、ユーザ画像ＵＰとして表示したが、これに限定されず、他者からみたユーザＵの姿（すなわち、鏡像と等価な画像とは左右対称の画像）をユーザ画像ＵＰとして表示してもよい。この場合、前者のユーザ画像ＵＰが表示される表示モードを鏡モード、後者のユーザ画像ＵＰが表示される表示モードを通常モードとして、ユーザＵが、任意の表示モードを選択可能とする。
【０１２２】
また、上述の例では、顔位置検出部５３によりユーザＵの顔の移動量Δｘが検出されて、当該移動量Δｘに基づいてユーザ画像ＵＰのデータが更新されたが、特に顔位置検出部５３を採用することは必須ではない。すなわち、被写体の画像のデータの更新をする場合に利用することができ、かつ、当該被写体の注目部分の変化量を検出することが可能な検出部を、顔位置検出部５３の代わりに採用してもよい。換言すると、ディスプレイ型ミラー装置１にこのような検出部が採用されていれば足り、顔位置検出部５３とは、被写体としてユーザＵが採用されており、撮影画像に含まれるユーザＵの顔の領域が注目部分として採用された検出部の一例に過ぎない。
【０１２３】
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１２４】
この場合、上述した画像処理装置の少なくとも一部として、例えば、図１０に示されるパーソナルコンピュータを採用してもよい。
【０１２５】
図１０において、CPU１０１は、ROM１０２に記録されているプログラムに従って各種の処理を実行する。または記憶部１０８からRAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２６】
CPU１０１、ROM１０２、及びRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１２７】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７が接続されている。また、ハードディスクなどより構成される記憶部１０８、及び、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１２８】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１２９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３０】
このようなプログラムを含む記録媒体は、図１０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１３１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３３】
なお、本技術は、以下のような構成もとることができる。
（１）
被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成部と、
前記画像生成部により生成された前記被写体画像を表示画面に表示させる表示制御部と
を備える画像処理装置。
（２）
前記画像生成部は、
基準となる位置及び方向の視点で前記被写体を撮影した画像又はそれと等価な画像を、基準被写体画像として生成し、
前記被写体の注目部分が前記基準被写体画像が生成された初期状態から変化した場合、前記変化量に連動させて、前記視点の位置と方向の少なくとも一方を変化させ、変化後の視点で前記被写体が撮影された画像又はそれと等価な画像を、前記被写体画像として生成する
前記（１）に記載の画像処理装置。
（３）
前記被写体の注目部分の変化量を検出する検出部を更に備え、
前記画像生成部は、前記検出部により検出された変化量に連動させて、前記被写体画像を生成する
前記（１）または（２）に記載の画像処理装置。
（４）
異なる位置にそれぞれ設置され、別々の撮影方向で前記被写体を撮影して、撮影画像のデータをそれぞれ出力する複数の撮像部をさらに備え、
前記画像生成部は、前記変化後の視点の位置及び方向が、前記複数の撮像部のうちの何れの撮像部の設置位置及び撮影方向とも一致しない場合、前記複数の撮像部から選択したものから出力された撮影画像のデータを合成することによって、前記変化後の視点で前記被写体が撮影されたのと等価な画像を、前記被写体画像として生成する
前記（１）、（２）、または（３）に記載の画像処理装置。
（５）
前記被写体の注目部分の変化量は、前記被写体の注目部分が前記初期状態から回転移動した場合の回転角度である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記回転方向は、水平方向である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記回転方向は、垂直方向である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記合成画像が静止画である場合の前記変化量は、前記被写体のジェスチャの動作内容の変化量である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記合成画像が動画である場合の前記変化量は、前記被写体の顔の位置または視線の方向の変化量である
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記画像生成部は、前記被写体画像の大きさ及び前記表示画面上の前記被写体画像の表示領域が、前記基準被写体画像の大きさ及び前記表示画面上の前記基準被写体画像の表示領域と一致するように前記被写体画像を生成する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記被写体画像は、過去の前記被写体が撮影された画像またはそれと等価な画像である
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記被写体画像は、前記被写体とは異なる被写体が撮影された画像またはそれと等価な画像である
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を重ね合わせて表示させる
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を並べて表示させる
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記表示制御部は、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のそれぞれの透過率を変えて表示させる
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
【０１３４】
本技術は、被写体の画像を表示する画像処理装置に適用することができる。
【符号の説明】
【０１３５】
１ ディスプレイ型ミラー装置， １１ ディスプレイ， １２ カメラ， １３ 主制御装置， ３１ 画像処理部， ３２ 機器位置情報記録部， ３３ 画像情報記録部， ５１ カメラ制御部， ５２ 画像取得部， ５３ 顔位置検出部， ５４ 表示画像生成部， ５５ 画像表示制御部， ７１ 周囲鏡
【特許請求の範囲】
【請求項１】
被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成部と、
前記画像生成部により生成された前記被写体画像を表示画面に表示させる表示制御部と
を備える画像処理装置。
【請求項２】
前記画像生成部は、
基準となる位置及び方向の視点で前記被写体を撮影した画像又はそれと等価な画像を、基準被写体画像として生成し、
前記被写体の注目部分が前記基準被写体画像が生成された初期状態から変化した場合、前記変化量に連動させて、前記視点の位置と方向の少なくとも一方を変化させ、変化後の視点で前記被写体が撮影された画像又はそれと等価な画像を、前記被写体画像として生成する
請求項１に記載の画像処理装置。
【請求項３】
前記被写体の注目部分の変化量を検出する検出部を更に備え、
前記画像生成部は、前記検出部により検出された変化量に連動させて、前記被写体画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
異なる位置にそれぞれ設置され、別々の撮影方向で前記被写体を撮影して、撮影画像のデータをそれぞれ出力する複数の撮像部をさらに備え、
前記画像生成部は、前記変化後の視点の位置及び方向が、前記複数の撮像部のうちの何れの撮像部の設置位置及び撮影方向とも一致しない場合、前記複数の撮像部から選択したものから出力された撮影画像のデータを合成することによって、前記変化後の視点で前記被写体が撮影されたのと等価な画像を、前記被写体画像として生成する
請求項３に記載の画像処理装置。
【請求項５】
前記被写体の注目部分の変化量は、前記被写体の注目部分が前記初期状態から回転移動した場合の回転角度である
請求項４に記載の画像処理装置。
【請求項６】
前記回転方向は、水平方向である
請求項５に記載の画像処理装置。
【請求項７】
前記回転方向は、垂直方向である
請求項５に記載の画像処理装置。
【請求項８】
前記合成画像が静止画である場合の前記変化量は、前記被写体のジェスチャの動作内容の変化量である
請求項６に記載の画像処理装置。
【請求項９】
前記合成画像が動画である場合の前記変化量は、前記被写体の顔の位置または視線の方向の変化量である
請求項６に記載の画像処理装置。
【請求項１０】
前記画像生成部は、前記被写体画像の大きさ及び前記表示画面上の前記被写体画像の表示領域が、前記基準被写体画像の大きさ及び前記表示画面上の前記基準被写体画像の表示領域と一致するように前記被写体画像を生成する
請求項８に記載の画像処理装置。
【請求項１１】
前記被写体画像は、過去の前記被写体が撮影された画像またはそれと等価な画像である
請求項１０に記載の画像処理装置。
【請求項１２】
前記被写体画像は、前記被写体とは異なる被写体が撮影された画像またはそれと等価な画像である
請求項１０に記載の画像処理装置。
【請求項１３】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を重ね合わせて表示させる
請求項１０に記載の画像処理装置。
【請求項１４】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を並べて表示させる
請求項１０に記載の画像処理装置。
【請求項１５】
前記表示制御部は、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のそれぞれの透過率を変えて表示させる
請求項１３に記載の画像処理装置。
【請求項１６】
被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成ステップと、
前記画像生成ステップの処理により生成された前記被写体画像を表示画面に表示させる表示制御ステップと
を含む画像処理方法。
【請求項１】
被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成部と、
前記画像生成部により生成された前記被写体画像を表示画面に表示させる表示制御部と
を備える画像処理装置。
【請求項２】
前記画像生成部は、
基準となる位置及び方向の視点で前記被写体を撮影した画像又はそれと等価な画像を、基準被写体画像として生成し、
前記被写体の注目部分が前記基準被写体画像が生成された初期状態から変化した場合、前記変化量に連動させて、前記視点の位置と方向の少なくとも一方を変化させ、変化後の視点で前記被写体が撮影された画像又はそれと等価な画像を、前記被写体画像として生成する
請求項１に記載の画像処理装置。
【請求項３】
前記被写体の注目部分の変化量を検出する検出部を更に備え、
前記画像生成部は、前記検出部により検出された変化量に連動させて、前記被写体画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
異なる位置にそれぞれ設置され、別々の撮影方向で前記被写体を撮影して、撮影画像のデータをそれぞれ出力する複数の撮像部をさらに備え、
前記画像生成部は、前記変化後の視点の位置及び方向が、前記複数の撮像部のうちの何れの撮像部の設置位置及び撮影方向とも一致しない場合、前記複数の撮像部から選択したものから出力された撮影画像のデータを合成することによって、前記変化後の視点で前記被写体が撮影されたのと等価な画像を、前記被写体画像として生成する
請求項３に記載の画像処理装置。
【請求項５】
前記被写体の注目部分の変化量は、前記被写体の注目部分が前記初期状態から回転移動した場合の回転角度である
請求項４に記載の画像処理装置。
【請求項６】
前記回転方向は、水平方向である
請求項５に記載の画像処理装置。
【請求項７】
前記回転方向は、垂直方向である
請求項５に記載の画像処理装置。
【請求項８】
前記合成画像が静止画である場合の前記変化量は、前記被写体のジェスチャの動作内容の変化量である
請求項６に記載の画像処理装置。
【請求項９】
前記合成画像が動画である場合の前記変化量は、前記被写体の顔の位置または視線の方向の変化量である
請求項６に記載の画像処理装置。
【請求項１０】
前記画像生成部は、前記被写体画像の大きさ及び前記表示画面上の前記被写体画像の表示領域が、前記基準被写体画像の大きさ及び前記表示画面上の前記基準被写体画像の表示領域と一致するように前記被写体画像を生成する
請求項８に記載の画像処理装置。
【請求項１１】
前記被写体画像は、過去の前記被写体が撮影された画像またはそれと等価な画像である
請求項１０に記載の画像処理装置。
【請求項１２】
前記被写体画像は、前記被写体とは異なる被写体が撮影された画像またはそれと等価な画像である
請求項１０に記載の画像処理装置。
【請求項１３】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を重ね合わせて表示させる
請求項１０に記載の画像処理装置。
【請求項１４】
前記表示制御部は、前記被写体画像として、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のうちの２つ以上を並べて表示させる
請求項１０に記載の画像処理装置。
【請求項１５】
前記表示制御部は、過去の前記被写体が撮影された画像またはそれと等価な画像、現在の前記被写体が撮影された画像またはそれと等価な画像、及び未来の前記被写体が撮影された画像またはそれと等価な画像のそれぞれの透過率を変えて表示させる
請求項１３に記載の画像処理装置。
【請求項１６】
被写体の注目部分の変化量に連動させて、異なる視点で前記被写体が撮影された画像又はそれと等価な画像を、被写体画像として生成する画像生成ステップと、
前記画像生成ステップの処理により生成された前記被写体画像を表示画面に表示させる表示制御ステップと
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４４１９６（Ｐ２０１２−２４４１９６Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０８８４３（Ｐ２０１１−１０８８４３）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]