説明

画像処理装置および方法

【課題】簡単な構成で複数画像を同時に表示できるようにする。
【解決手段】1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得部と、前記取得部により取得された複数の前記画像を鏡像として表示させるように統合する画像処理部とを備える。画像処理部は、実像の右側面画像を鏡像の左側面画像に変換し、実像の左側面画像を鏡像の右側面画像に変換し、実像の正面画像または背面画像を鏡像の正面画像または背面画像に変換し、それらを配置して表示させるように統合することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置および方法に関し、特に、簡単な構成で複数画像を同時に表示するようにした画像処理装置および方法に関する。
【背景技術】
【0002】
カメラによりユーザの姿を撮影し、鏡の代わりにテレビジョン受像機などのディスプレイに表示させる技術が提案されている(例えば特許文献1参照)。
【0003】
特許文献1の技術では、2台のカメラをユーザの前と後ろにそれぞれ配置し、1つの画面が2分割された画面に、カメラにより撮影されたユーザの真正面の姿の映像と、真後ろの姿の映像をそれぞれ表示する。このとき表示される画像は、左右が反転しない画像(以下、このような画像を実像と称する)となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−25004号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術では、カメラを2台使用しているので、構成が複雑であり、またカメラの設置スペースを確保しなければならなかった。
【0006】
さらに、特許文献1の技術は、撮影して得られた画像を、鏡を介して見る画像のように、左右が反転した画像(以下、このような画像を鏡像と称する)として表示するのではなく、左右が反転しない実像として表示する。その結果、鏡を介して身なりを整えることになれているユーザは、左右の方向が直感的な感覚に合わず、操作性が悪かった。
【0007】
本技術は、このような状況に鑑みてなされたものであり、簡単な構成で複数の画像を同時に表示できるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の画像処理装置は、1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得部と、前記取得部により取得された複数の前記画像を鏡像として表示させるように統合する画像処理部とを備える。
【0009】
前記画像から前記ユーザの顔を検出する顔検出部をさらに備え、前記取得部は、前記顔検出部により前記画像から前記ユーザの右側面の顔が検出された場合、前記画像を実像の右側面画像として取得し、前記顔検出部により前記画像から前記ユーザの左側面の顔が検出された場合、前記画像を実像の左側面画像として取得することができる。
【0010】
前記取得部は、さらに実像の正面画像または背面画像を取得することができる。
【0011】
前記画像処理部は、実像の前記右側面画像を鏡像の左側面画像に変換し、実像の前記左側面画像を鏡像の右側面画像に変換し、実像の前記正面画像または背面画像を鏡像の正面画像または背面画像に変換することができる。
【0012】
前記画像処理部は、鏡像の前記左側面画像を鏡像の前記正面画像または背面画像の左側に配置し、鏡像の前記右側面画像を鏡像の前記正面画像または背面画像の右側に配置して表示させるように統合することができる。
【0013】
前記取得部は、前記ユーザにより鏡像の前記右側面画像、鏡像の前記左側面画像、および鏡像の前記正面画像または背面画像のいずれかの画像の削除が指示された場合、削除が指示された前記画像に対応する新たな画像を取得することができる。
【0014】
前記取得部は、前記ユーザの頭頂部画像をさらに取得し、前記画像処理部は、鏡像の前記頭頂部画像を上下を逆にして、鏡像の前記正面画像または背面画像の上に表示させるように統合することができる。
【0015】
前記ユーザのジェスチャを検出するジェスチャ検出部と、リモートコントローラからの信号を検出する検出部の少なくとも一方をさらに備え、前記取得部は、前記ジェスチャ検出部により前記ジェスチャが検出されたタイミング、または前記リモートコントローラからの信号が検出されたタイミングの画像を取得することができる。
【0016】
前記取得部は、前記ユーザに対して回転が指示された場合、前記カメラにより所定時間毎に撮影された前記画像を取得し、前記画像処理部は、前記取得部により取得された複数の前記画像のうち、前記ユーザにより選択された前記画像の鏡像を表示させるように統合することができる。
【0017】
本技術の一側面の画像処理方法は、1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得ステップと、前記取得ステップの処理により取得された複数の前記画像を鏡像として表示させるように統合する画像処理ステップとを含む。
【0018】
本技術の一側面においては、1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像が取得され、取得された複数の画像が鏡像として表示されるように統合される。
【発明の効果】
【0019】
本技術の側面によれば、簡単な構成で複数の画像を同時に表示することが可能になる。
【図面の簡単な説明】
【0020】
【図1】本技術の画像処理システムの一実施の形態の構成を示すブロック図である。
【図2】画像処理装置の一実施の形態の構成を示すブロック図である。
【図3】GPUの機能的構成例を示すブロック図である。
【図4】3面表示処理を説明するフローチャートである。
【図5】表示装置の表示例を示す図である。
【図6】表示装置の表示例を示す図である。
【図7】背面画像取得処理を説明するフローチャートである。
【図8】右側面画像取得処理を説明するフローチャートである。
【図9】左側面画像取得処理を説明するフローチャートである。
【図10】3面表示処理を説明するフローチャートである。
【図11】表示装置の表示例を示す図である。
【図12】画像変更処理を説明するフローチャートである。
【図13】表示装置の表示例を示す図である。
【図14】3面表示処理を説明するフローチャートである。
【図15】表示装置の表示例を示す図である。
【図16】表示装置の表示例を示す図である。
【図17】4面表示処理を説明するフローチャートである。
【図18】表示装置の表示例を示す図である。
【図19】頭頂部画像取得処理を説明するフローチャートである。
【図20】見本画像出力処理を説明するフローチャートである。
【図21】表示装置の表示例を示す図である。
【図22】表示装置の表示例を示す図である。
【図23】表示装置の表示例を示す図である。
【発明を実施するための最良の形態】
【0021】
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
<1>第1の実施の形態
1.画像処理システムの構成
2.3面表示処理1
3.背面画像取得処理
4.右側面画像取得処理
5.左側面画像取得処理
6.3面表示処理2
7.画像変更処理
<2>第2の実施の形態
8.3面表示処理3
<3>第3の実施の形態
9.4面表示処理
10.頭頂部画像取得処理
<4>第4の実施の形態
11.見本画像出力処理
12.その他
【0022】
<第1の実施の形態>
【0023】
[画像処理システムの構成]
【0024】
図1は、本技術が適用される画像処理システム1の一実施の形態の構成を示す図である。図1の画像処理システム1は、画像処理装置21、表示装置22、カメラ23、およびリモートコントローラ24から構成される。
【0025】
画像処理装置21は、例えば、STB(Set Top Box)の形式で構成され、表示装置22とカメラ23の間に挿入される。画像処理装置21の詳細は、図2を参照して後述する。
【0026】
表示装置22は、例えば、テレビジョン受像機やディスプレイなどにより構成され、画像処理装置21とHDMI(High-Definition Multimedia Interface)ケーブルなどを介して接続される。
【0027】
カメラ23は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサなどにより構成される。カメラ23は、表示装置22の上に配置され、撮像した画像を画像処理装置21に出力する。リモートコントローラ4は、ユーザにより操作され、画像処理装置21の動作を制御する。
【0028】
図2は、画像処理装置21の一実施の形態を示すブロック図である。画像処理装置21は、GPU(Graphics Processing Unit)41、画像入力部42、画像出力部43、操作入力部44、メモリカードスロット45、および記憶装置46から構成される。
【0029】
GPU41は、プログラムに従って画像に関する処理を実行するとともに、各種の動作を制御する。なお、GPU41は、CPU(Central Processing Unit)などと組み合わせることも可能である。図3を参照して、GPU41の機能的な構成について説明する。
【0030】
図3は、GPU41の機能的な構成例を示すブロック図である。GPU41は、顔検出部61、判定部62、取得部63、画像処理部64、制御部65、記憶部66、およびジェスチャ検出部67を有している。
【0031】
なおGPU41の各ブロックは、必要に応じて相互に信号、データを授受することが可能とされている。
【0032】
顔検出部61は、画像から顔を検出する。判定部62は、各種の判定処理を実行する。取得部63は、各種の情報を取得する。画像処理部64は、各種の画像処理を実行する。制御部65は、各種の制御処理を実行する。記憶部66は、各種の情報を記憶する。ジェスチャ検出部67は、画像からジェスチャを検出する。
【0033】
図2に戻り、画像入力部42は、カメラ23により撮影された画像(静止画像または動画像)の入力を受け付ける。画像出力部43は、表示装置22に画像を出力する。操作入力部44は、ユーザにより操作されるボタンや、リモートコントローラ24からの赤外線、電波等の入力信号を受け付ける。
【0034】
メモリカードスロット45は、挿入されたメモリカード51に対して、各種の情報を読み書きする。記憶装置46は、ハードディスクや不揮発性メモリなどにより構成される。
【0035】
[3面表示処理1]
【0036】
次に、図4乃至図9を参照して、3面表示処理1について説明する。図4は、3面表示処理1を説明するフローチャートである。図5と図6は、表示装置22の表示例を示す図である。
【0037】
3面表示処理1は、画像処理装置21および表示装置22の電源がオンにされている場合に、ユーザの操作により、表示装置22を構成するテレビジョン受像機の入力選択をHDMIに変更することで開始される。
【0038】
ステップS1において、背面画像取得処理が実行される。すなわち、入力がHDMIに変更されると、カメラ23によりユーザが撮影され、その画像が取得部63により取得される。
【0039】
カメラ23により撮影して得られる画像は、人が見た状態と同様の画像(つまり、左右が反転していない実像)であるが、この実像の画像は画像処理部64により処理され、鏡を介して見た状態の画像(すなわち、左右が反転した鏡像)に変換される。
【0040】
例えばユーザが右手を上げたときに撮影された画像は、左手を上げた画像に変換される。このことは、他のステップS2,S3でも同様である。
【0041】
例えば、図5Aに示されるように、ユーザ100がカメラ23に対して背を向けた状態で撮影されると、得られた実像の背面画像は画像処理部64により鏡像に変換される。この鏡像としての背面画像102が表示装置22に表示される。
【0042】
なお、図5の例では表示装置22の上部にカメラ23が設置されているが、カメラ23の設置位置はこの位置に限られず、ユーザの顔を検出できればどこに設置してもよい。
【0043】
ステップS1の背面画像取得処理の詳細については、図7を参照して後述する。
【0044】
ステップS2において、右側面画像取得処理が実行される。例えば、図5Bに示されるように、カメラ23に対して背面を向けた状態から左を向いた状態(カメラ23に向かって右を向いた状態)のユーザ100が撮影される。
【0045】
これによりユーザ100の実像の左側面画像が撮影される。実像の左側面画像は鏡像の右側面画像103に変換される。右側面画像取得処理の詳細については、図8を参照して後述する。
【0046】
ステップS3において、左側面画像取得処理が実行される。例えば、図5Cに示されるように、カメラ23に対して背面を向けた状態から右を向いた状態(カメラ23に向かって左を向いた状態)のユーザ100が撮影される。
【0047】
これによりユーザ100の実像の右側面画像が撮影される。実像の右側面画像は鏡像の左側面画像104に変換される。左側面画像取得処理の詳細については、図9を参照して後述する。
【0048】
ステップS4において、画像処理部64は、画像を結合する。すなわち、ステップS1乃至S3の処理でそれぞれ取得された背面画像102、右側面画像103、および左側面画像104が、鏡像として表示されるようにそれぞれ結合された結合画像が生成される。
【0049】
この例では、図6に示されるように、背面画像102は画面の中央に配置され、右側面画像103は画面の右側(つまり、背面画像102の右側)に配置され、左側面画像104は画面の左側(つまり、背面画像102の左側)に配置される。
【0050】
なお、ユーザ100が回転するとき、カメラ23に対する距離が変化して、背面画像102、右側面画像103、および左側面画像104の頭頂部の高さ位置が変化することがある。この場合、各画像の頭頂部の高さ位置が同じになるように、鏡像が処理される。
【0051】
ステップS5において、画像出力部43は、表示装置22にステップS4の処理で結合された画像を出力する。これにより図6に示されるように、背面画像102、右側面画像103、および左側面画像104が結合された結合画像が表示装置22に表示される。
【0052】
これらの背面画像102、右側面画像103、および左側面画像104は、それぞれ鏡像である。従って、ユーザは鏡を介して自己の画像を見ている場合と同様に身だしなみを整えることができ、実像を見る場合に比べて、操作性が改善される。
【0053】
このように、カメラを1台だけを利用する簡単な構成で、ユーザの所定の向きの3枚の画像が取得され、取得された3枚の画像を鏡像として同時に表示することができる。
【0054】
[背面画像取得処理]
【0055】
図7は、図4のステップS1の背面画像取得処理の詳細を説明するフローチャートである。
【0056】
ステップS21において、画像出力部43は、背面撮影用メッセージを出力する。すなわち、表示装置22に背面撮影用メッセージが表示される。
【0057】
背面撮影用メッセージは、例えば、図5Aに示されるように、「背面を向けてください」などのメッセージ101−1である。なお、このとき画像に代えて、または画像とともに、音声によるメッセージも出力することができる。
【0058】
図7のステップS22において、取得部63は、画像を取得する。すなわち、カメラ23により撮影された画像が取得される。
【0059】
ステップS23において、顔検出部61は、顔を検出する。すなわち、ステップS22の処理で取得された画像から顔の領域が検出される。
【0060】
例えば、顔検出のために、数十から数百種類の顔画像からなる基準画像が予め用意される。顔検出部61は、取得された画像中に矩形領域を設定し、基準画像と矩形領域の画像を比較して画像の類似度を算出する。類似度が閾値より大きい画像が顔画像とされる。
【0061】
顔検出部61は、取得された画像に対して、様々な矩形領域を設定し、類似度を適宜算出することにより、取得された画像から顔の領域を検出する。なお、顔の検出方法は、この方法に限られず、顔が検出できればどのような方法を利用してもよい。
【0062】
なお、顔検出部61は、正面画像の他、ユーザが横を向いた左向き画像および右向き画像を検出することもできる。
【0063】
ステップS24において、判定部62は、顔が検出されたかを判定する。すなわち、ユーザがカメラ23の方向を向いているかが判定される。
【0064】
ステップS24において、顔が検出されたと判定された場合、すなわちユーザがカメラ23の方向を向いている場合、ユーザはカメラ23に対して背面を向けていないので、処理はステップS22に戻り、それ以降の処理が繰り返される。
【0065】
一方、ステップS24において、顔が検出されていないと判定された場合、すなわち、ユーザがカメラ23に対して背面を向けている場合、処理はステップS25に進む。
【0066】
ステップS25において、画像処理部64は、背面画像を変換する。すなわち、ステップS22の処理で取得された実像の背面画像が鏡像の背面画像に変換される。
【0067】
例えば、図5Aに示されるように、ステップS22で取得された実像の背面画像は画像処理部64により鏡像の背面画像102に変換される。ステップS25の処理の後、処理は図4のステップS2に進む。
【0068】
[右側面画像取得処理]
【0069】
図8は、図4のステップS2の右側面画像取得処理の詳細を説明するフローチャートである。
【0070】
ステップS41において、画像出力部43は、右側面撮影用メッセージを出力する。右側面撮影用メッセージは、例えば、図5Bに示されるように、「左を向いてください」などのメッセージ101−2である。なお、この場合においても、画像に代えて、または画像とともに、音声によるメッセージを出力することもできる。
【0071】
ステップS42において、取得部63は、画像を取得する。すなわち、カメラ23により撮影された画像が取得される。
【0072】
ステップS43において、顔検出部61は、右側面の顔を検出する。すなわち、ユーザがカメラ23に対して左を向いている顔、すなわちユーザの右側面の顔が検出される。
【0073】
ステップS44においては、判定部62は、右側面の顔が検出されたかを判定する。すなわち、ユーザがカメラ23に対して右側面の顔を向けたかが判定される。
【0074】
ステップS44において、まだ右側面の顔が検出されていないと判定された場合、すなわちユーザがカメラ23に対して右側面の顔を向けていない場合、処理はステップS42に戻り、それ以降の処理が繰り返される。
【0075】
一方、ステップS44において、右側面の顔が検出されたと判定された場合、すなわち、ユーザがカメラ23に対して右側面の顔を向けている場合、処理はステップS45に進む。
【0076】
ステップS45において、画像処理部64は、右側面画像を変換する。すなわち、ステップS42の処理で取得された実像の右側面画像が鏡像の右側面画像に変換される。
【0077】
例えば、図5Bに示されるように、ステップS42で取得された実像の右側面画像は画像処理部64により鏡像の右側面画像103に変換される。ステップS45の処理の後、処理は図4のステップS3に進む。
【0078】
[左側面画像取得処理]
【0079】
図9は、図4のステップS3の左側面画像取得処理の詳細を説明するフローチャートである。
【0080】
図9のステップS61において、画像出力部43は、左側面撮影用メッセージを出力する。左側面撮影用メッセージは、例えば、図5Cに示されるように、「右を向いてください」などのメッセージ101−3である。この場合においても、画像に代えて、または画像とともに、音声によるメッセージを出力することもできる。
【0081】
ステップS62において、取得部63は、画像を取得する。すなわち、カメラ23により撮影された画像が取得される。
【0082】
ステップS63において、顔検出部61は、左側面の顔を検出する。すなわち、ユーザがカメラ23に対して右を向いている顔、すなわちユーザの左側面の顔が検出される。
【0083】
ステップS64においては、判定部62は、左側面の顔が検出されたかを判定する。すなわち、ユーザがカメラ23に対して左側面の顔を向けたかが判定される。
【0084】
ステップS64において、まだ左側面の顔が検出されていないと判定された場合、すなわちユーザがカメラ23に対して左側面の顔を向けていない場合、処理はステップS62に戻り、それ以降の処理が繰り返される。
【0085】
一方、ステップS64において、左側面の顔が検出されたと判定された場合、すなわち、ユーザがカメラ23に対して左側面の顔を向けている場合、処理はステップS65に進む。
【0086】
ステップS65において、画像処理部64は、左側面画像を変換する。すなわち、ステップS62の処理で取得された実像の左側面画像が鏡像の左側面画像に変換される。
【0087】
例えば、図5Cに示されるように、ステップS62で取得された実像の左側面画像は画像処理部64により鏡像の左側面画像104に変換される。ステップS65の処理の後、処理は図4のステップS4に進む。
【0088】
[3面表示処理2]
【0089】
次に、図10と図11を参照して、3面表示処理2について説明する。図10は、3面表示処理2を説明するフローチャートである。図11は、表示装置22の表示例を示す図である。
【0090】
図10においてステップS101,S105,S109,S113,S114の処理は、図4のステップS1乃至S5の処理に対応する処理である。従って、これらの処理は繰り返しになるので簡単に説明する。
【0091】
図10の3面表示処理2は、画像処理装置21および表示装置22の電源がオンにされ、表示装置22の入力選択をHDMIに変更することで開始される。
【0092】
ステップS101において、図7の背面画像取得処理が実行される。すなわち、カメラ23により撮影された画像から、ユーザの背面画像が取得される。
【0093】
ステップS102において、画像出力部43は、背面画像を出力する。すなわち、ステップS101の処理で取得された背面画像が表示装置22に表示される。例えば、図11Aに示されるように表示装置22に背面画像102が表示される。
【0094】
ステップS103において、判定部62は、画像を削除するかを判定する。すなわち、ユーザは、表示された画像を見て、撮り直しをするか否かを判断し、撮り直しをする場合には、いま取得され、表示されている画像の削除をリモートコントローラ24などにより指示する。
【0095】
ここでは、ユーザの操作により背面画像の撮り直しが指示されたかが判定される。ステップS103において画像を削除すると判定された場合、処理はステップS104に進む。
【0096】
ステップS104において、制御部65は、背面画像を削除する。すなわち、ステップS101の処理で取得され、ステップS102の処理で表示装置22に表示された背面画像が削除される。
【0097】
例えば、削除が指示された場合、図11Bに示されるように、表示装置22に表示されていた背面画像102が削除され、表示装置22の画面上から削除される。
【0098】
ステップS104の処理の後、処理はステップS101に戻り、それ以降の処理が繰り返される。すなわち、新たな背面画像が撮り直される。
【0099】
一方、ステップS103において、画像を削除しないと判定された場合、つまりユーザが削除を指示しなかった場合、ステップS105において、図8の右側面画像取得処理が実行される。すなわち、右側面画像が取得される。
【0100】
ステップS106において、画像出力部43は、右側面画像を出力する。すなわち、ステップS105の処理で取得された右側面画像が表示装置22に表示される。
【0101】
ステップS107において、判定部62は、画像を削除するかを判定する。すなわち、ユーザは、表示された画像を見て、撮り直しをするか否かを判断し、撮り直しをする場合には、いま取得され、表示されている画像の削除を指示する。
【0102】
ここでは、ユーザにより右側面画像の撮り直しが指示されたかが判定される。ステップS107において画像を削除すると判定された場合、処理はステップS108に進む。
【0103】
ステップS108において、制御部65は、右側面画像を削除する。すなわち、ステップS105の処理で取得され、ステップS106の処理で表示装置22に表示された右側面画像が削除される。
【0104】
ステップS108の処理の後、処理はステップS105に戻り、それ以降の処理が繰り返される。すなわち、新たな右側面画像が撮り直される。
【0105】
一方、ステップS107において、画像を削除しないと判定された場合、つまりユーザが削除を指示しなかった場合、ステップS109において、図9の左側面画像取得処理が実行される。すなわち、左側面画像が取得される。
【0106】
ステップS110において、画像出力部43は、左側面画像を出力する。すなわち、ステップS109の処理で取得された左側面画像が表示装置22に表示される。
【0107】
ステップS111において、判定部62は、画像を削除するかを判定する。すなわち、ユーザは、表示された画像を見て、撮り直しをするか否かを判断し、撮り直しをする場合には、いま取得され、表示されている画像の削除を指示する。
【0108】
ここでは、ユーザにより左側面画像の撮り直しが指示されたかが判定される。ステップS111において画像を削除すると判定された場合、処理はステップS112に進む。
【0109】
ステップS112において、制御部65は、左側面画像を削除する。すなわち、ステップS109の処理で取得され、ステップS110の処理で表示装置22に表示された左側面画像が削除される。
【0110】
ステップS112の処理の後、処理はステップS109に戻り、それ以降の処理が繰り返される。すなわち、新たな左側面画像が撮り直される。
【0111】
一方、ステップS111において、画像を削除しないと判定された場合、つまりユーザが削除を指示しなかった場合、処理はステップS113に進む。
【0112】
ステップS113において、画像処理部64は、画像を結合する。すなわち、ステップS101,S105,S109の処理でそれぞれ取得された背面画像、右側面画像、および左側面画像がそれぞれ結合される。
【0113】
ステップS114において、画像出力部43は、表示装置22にステップS113の処理で結合された画像を出力する。これにより上述した場合と同様に、図6に示されるような、背面画像102、右側面画像103、および左側面画像104の結合画像が表示される。ステップS114の処理の後、図10の3面表示処理2は終了する。
【0114】
このように、カメラ23により画像が撮影される毎に表示装置22に表示され、ユーザが表示装置22に表示された画像が気に入らなかった場合、迅速に撮り直すことができる。
【0115】
[画像変更処理]
【0116】
図10の実施の形態では、画像が気に入らなかった場合、背面画像、右側面画像、または左側面画像の撮像直後に撮り直しをするようにした。しかし、背面画像、右側面画像、および左側面画像の撮像が完了した後に、画像を変更できるようにすることもできる。以下、この場合の処理について説明する。
【0117】
図12と図13を参照して、画像変更処理について説明する。図12は、画像変更処理を説明するフローチャートである。図13は、表示装置22の表示例を示す図である。
【0118】
図12において、ステップS122,S124,S125,S127乃至S130の処理は、図10のステップS101,S103乃至S105,S108,S109,S112の処理に対応する処理である。従って、これらの処理は繰り返しになるので簡単に説明する。
【0119】
図12の画像変更処理は、図4の3面表示処理1、および図10の3面表示処理2、並びに後述する図14の3面表示処理3、および図17の4面表示処理のいずれかが実行され、表示装置22に結合画像が表示された場合に、ユーザにより画像の変更操作が実行されたとき開始される。
【0120】
例えば、図13Aに示されるように、表示装置22に結合画像が表示されている場合に、ユーザにより結合画像のうちの1つの画像(図13Aの例では、背面画像102)が選択されたとき、画像変更処理が開始される。
【0121】
ステップS121において、取得部63は、画像を取得する。すなわち、ユーザの変更操作により選択された画像が取得される。
【0122】
例えば、図13Aに示されるように、表示装置22に表示された結合画像のうち、ユーザによるカーソル枠121の操作により選択された背面画像102が取得される。
【0123】
ステップS122において、判定部62は、画像を削除するかを判定する。すなわち、ユーザは、指定した画像を見て、撮り直しをするか否かを確認し、撮り直しをする場合には、いま指定した画像の削除を指示する。
【0124】
ステップS122において、画像の削除が指示されていないと判定された場合、処理はステップS121に戻り、それ以降の処理が繰り返される。
【0125】
一方、ステップS122において、画像を削除すると判定された場合、つまりユーザにより画像の削除が指示された場合、ステップS123において、判定部62は、削除する画像が背面画像であるかを判定する。すなわち、ユーザの操作により削除が指示された画像が背面画像であるかが判定される。
【0126】
ステップS123において、削除する画像が背面画像であると判定された場合、ステップS124において、制御部65は、背面画像を削除する。例えば図13Bに示されるように、表示装置22に表示された結合画像のうち背面画像102が削除される。
【0127】
ステップS125において、図7の背面画像取得処理が実行される。すなわち、図13Cに示されるように、再度新たな背面画像102Aを取得するための処理が実行される。
【0128】
一方、ステップS123において、削除する画像が背面画像ではないと判定された場合、ステップS126において、判定部62は、削除する画像が右側面画像であるかを判定する。
【0129】
すなわち、ユーザは、右側面画像を変更する場合、例えば、図13Aに示されるような、表示装置22に表示された結合画像から、カーソル枠121により右側面画像103を選択する。ここでは、削除が指示された画像が右側面画像であるかが判定される。
【0130】
ステップS126において、削除する画像が右側面画像であると判定された場合、ステップS127において、制御部65は、右側面画像を削除する。すなわち、表示装置22に表示された結合画像のうち右側面画像(図13Aの例では、右側面画像103)が削除される。
【0131】
ステップS128において、図8の右側面画像取得処理が実行される。すなわち、再度新たな右側面画像を取得するための処理が実行される。
【0132】
一方、ステップS126において、削除する画像が右側面画像でないと判定された場合、削除する画像は左側面画像であることになる。つまり、この場合は、ユーザが、例えば、図13Aに示されるような、表示装置22に表示された結合画像から、カーソル枠121により左側面画像104を選択した場合である。この場合、処理はステップS129に進む。
【0133】
ステップS129において、制御部65は、左側面画像を削除する。すなわち、表示装置22に表示された結合画像のうち左側面画像(図13Aの例では、左側面画像104)が削除される。
【0134】
ステップS130において、図9の左側面画像取得処理が実行される。すなわち、再度新たな左側面画像を取得するための処理が実行される。
【0135】
ステップS125,S128,S130の処理の後、ステップS131において、画像処理部64は、画像を結合する。すなわち、ステップS125,S128,S130のいずれかの処理で取得された新たな画像が、元の結合画像のうちの画像が削除されたスペースに挿入される。
【0136】
ステップS132において、画像出力部43は、表示装置22にステップS131の処理で結合された画像を出力する。ステップS131の処理の後、図12の画像変更処理は終了する。
【0137】
このように、ユーザの操作により、表示装置22に表示されている画像(例えば、背面画像、右側面画像、および左側面画像)のいずれかを削除し、削除された画像に対応する新たな画像を取得することで、結合画像を最新の画像に更新することができる。
【0138】
<第2の実施の形態>
【0139】
[3画面表示処理3]
【0140】
図14乃至図16を参照して、他の3画面表示処理について説明する。図14は、3面表示処理3を説明するフローチャートである。図15と図16は、表示装置22の表示例を示す図である。
【0141】
ステップS141において、画像出力部43は、回転を指示するメッセージを出力する。回転を指示するメッセージは、例えば、図15に示されるように、「一回転してください」などのメッセージ141である。この場合においても、画像に代えて、または画像とともに、音声によるメッセージを出力することもできる。
【0142】
図15のユーザ100は、メッセージ141に従い、時計回転方向または反時計回転方向のいずれかの方向(図15の例では時計回転方向)に回転する。このとき表示装置22の画面上には、カメラ23により撮影されたユーザ100の画像142が表示される。
【0143】
ステップS142において、取得部63は、一定の間隔毎に画像を取得する。すなわち、カメラ23により所定時間毎に撮像された被写体の画像が取得される。
【0144】
ステップS143において、画像出力部43は、表示装置22にステップS142の処理で取得された画像を出力する。例えば、図16に示されるように、回転画像181−1乃至181−8の8枚の画像が表示装置22に表示される。
【0145】
ステップS144において、画像出力部43は、画像取得用メッセージを出力する。画像取得用メッセージは、例えば、「背面画像、右側面画像、左側面画像を選択してください」などの画像、音声またはその両方のメッセージである。
【0146】
ステップS145において、取得部63は、ユーザにより選択された画像を取得する。すなわち、ステップS143の処理で出力された回転画像181−1乃至181−8のうち、ユーザにより選択された背面画像、右側面画像、および左側面画像に対応する回転画像181が取得される。
【0147】
例えば、背面画像として図16の回転画像181−1が取得され、右側面画像として回転画像181−7が取得され、左側面画像として181−3が取得される。勿論ユーザは、それ以外の回転画像を選択することも可能である。
【0148】
ステップS146において、画像処理部64は、画像を結合する。すなわち、ステップS145の処理で取得された背面画像、右側面画像、および左側面画像(例えば、図16の回転画像181−1,181−3,181−7)の鏡像が表示されるように、それぞれ結合される。
【0149】
ステップS147において、画像出力部43は、表示装置22にステップS146の処理で結合された画像を出力する。ステップS147の処理の後、図14の3面表示処理3は終了する。
【0150】
このように、顔検出の機能を利用しなくても、ユーザの背面画像、右側面画像、左側面画像が鏡像として表示装置22に表示されるので、より簡単な構成で複数の任意の角度の画像を同時に表示することができる。
【0151】
<第3の実施の形態>
【0152】
[4面表示処理]
【0153】
次に、図17と図18を参照して、4面表示処理について説明する。図17は、4面表示処理を説明するフローチャートである。図18は、表示装置22の表示例を示す図である。
【0154】
図17において、ステップS161乃至S163,S164,S165の処理は、図4のステップS1乃至S5の処理に対応する処理である。従って、これらの処理は繰り返しになるので簡単に説明する。
【0155】
4面表示処理は、画像処理装置21および表示装置22の電源がオンにされている状態において、ユーザの操作により、表示装置22を構成するテレビジョン受像機の入力選択をHDMIに変更することで開始される。
【0156】
ステップS161において、図7の背面画像取得処理が実行される。すなわち、ユーザの背面画像が取得される。ステップS162において、図8の右側面画像取得処理が実行される。すなわち、ユーザの右側面画像が取得される。
【0157】
ステップS163において、図9の左側面画像取得処理が実行される。すなわち、ユーザの左側面画像が取得される。
【0158】
ステップS164において、頭頂部画像取得処理が実行される。すなわち、ユーザの頭頂部画像が取得される。頭頂部画像取得処理は、図19を参照して後述する。
【0159】
ステップS165において、画像処理部64は、画像を結合する。すなわち、ステップS161乃至S164の処理でそれぞれ取得された背面画像、右側面画像、左側面画像、および頭頂部画像が鏡像として表示されるように、それぞれ結合された結合画像が生成される。
【0160】
ステップS166において、画像出力部43は、ステップS165の処理で結合された画像を出力する。例えば、図18Bに示されるように、背面画像102、右側面画像103、左側面画像104、および頭頂部画像221が結合された結合画像が表示装置22に表示される。
【0161】
なお、図18Aの頭頂部画像202は、図18Bの頭頂部画像221に示されるように、上下が反転されて表示装置22に表示されている。すなわち、頭頂部画像202は、ステップS165の処理で画像処理部64により上下が反転され、頭頂部画像221として結合される。なお、勿論、頭頂部画像202は、左右も反転された画像である。
【0162】
このように、カメラを1台だけを利用する簡単な構成で4枚の画像を鏡像として同時に表示することができる。
【0163】
[頭頂部画像取得処理]
【0164】
図19は、図17のステップS164の頭頂部画像取得処理の詳細を説明するフローチャートである。
【0165】
ステップS181において、画像出力部43は、頭頂部撮影用メッセージを出力する。頭頂部撮影用メッセージは、例えば、図18Aに示されるように、「頭頂部を向けて、右手を上げてください」などの画像、音声またはその両方のメッセージ201である。
【0166】
ステップS182において、取得部63は、画像を取得する。すなわち、カメラ23により撮影された画像が取得される。
【0167】
ステップS183において、ジェスチャ検出部67は、ジェスチャを検出する。頭頂部撮影開始用のジェスチャは、例えば右手を上げるジェスチャと予め決められている。ユーザは頭を下げ、所定のタイミングで右手を上げる。ここではユーザがカメラ23に対して右手を上げたジェスチャが検出される。
【0168】
ステップS184において判定部62は、ジェスチャが検出されたかを判定する。いまの場合、ユーザが右手を上げたかが判定される。
【0169】
ステップS184において、まだ頭頂部撮影開始用のジェスチャが検出されていないと判定された場合、処理はステップS182に戻り、それ以降の処理が繰り返される。
【0170】
一方、ステップS184において、頭頂部撮影開始用のジェスチャが検出されたと判定された場合、処理はステップS185に進む。例えば、図18Aに示されるように、ユーザが右手203を上げた場合、ジェスチャ検出部67によりこのジェスチャが頭頂部撮影開始用のジェスチャとして検出される。
【0171】
ステップS185において、画像処理部64は、頭頂部画像を変換する。すなわち、ステップS182の処理で取得され、ステップS183の処理でジェスチャが検出されたタイミングの実像の頭頂部画像が鏡像の頭頂部画像に変換される。
【0172】
例えば、図18Aに示されるような、ユーザがカメラ23に対して頭を向けた頭頂部画像202が取得され、図18Bの頭頂部画像221に変換される。
【0173】
なお、頭頂部の画像を取得する場合、図5を参照して説明した背面画像取得処理と同様に、顔検出部61による顔検出を実行し、顔が検出されなくなったときの画像を頭頂部画像として取得することもできる。
【0174】
また、身長の変化(例えば、立っている状態から屈んだ状態(頭頂部をカメラ23に向けた状態))を検出することで、頭頂部画像を取得することもできる。あるいは、リモートコントローラ24により撮影開始のタイミングを指示することもできる。
【0175】
ステップS185の処理の後、処理は図17のステップS165に進む。
【0176】
なお、図17のステップS161乃至S163の処理(つまり、図7の背面画像取得処理、図8の右側面画像取得処理、および図9の左側面画像取得処理)においてもジェスチャ検出部67によるジェスチャの検出、あるいはリモートコントローラ24の操作の検出を利用して、背面画像、右側面画像、および左側面画像のそれぞれを取得するようにすることもできる。
【0177】
なお、以上の各実施の形態においては、背面画像を取得し、表示するようにしたが、背面画像に代えて、正面画像を取得し、表示することもできる。
【0178】
<第4の実施の形態>
【0179】
[見本画像出力処理]
【0180】
図20乃至図23を参照して、見本画像出力処理について説明する。図20は、見本画像出力処理を説明するフローチャートである。図21は、表示装置22の表示例を示す図である。図22は、被写体画像の記憶を説明する図である。図23は、表示装置22の表示例を示す図である。
【0181】
見本画像出力処理は、画像処理装置21および表示装置22の電源がオンにされ、カメラにより撮影された画像が表示装置22に映し出されている場合にユーザの操作により開始される。見本画像出力処理は、例えば、ユーザが見本画像を見ながら化粧をする場合に利用される。
【0182】
ステップS201において、取得部63は、見本画像を取得する。見本画像は、予め記憶装置46またはメモリカード51に記憶された芸能人、著名人等の見本とする人の顔画像、化粧をした自分自身の顔画像などである。
【0183】
ステップS202において、取得部63は、カメラ23から被写体画像を取得する。すなわち、見本画像出力処理が指示されると、カメラ23によりユーザの顔の撮影が開始され、撮影した動画像が被写体画像として取得される。
【0184】
ステップS203において、画像出力部43は、見本画像と被写体画像を出力する。すなわち、ステップS201の処理で取得された見本画像と、ステップS202の処理で取得された被写体画像がそれぞれ出力される。
【0185】
例えば、図21に示されるように、表示装置22の左側に見本画像301が表示され、右側に被写体画像(すなわち、ユーザの顔画像)302が表示される。ユーザは、見本画像301と被写体画像(自分の顔画像)302を見比べながら化粧することができる。
【0186】
ステップS204において、判定部62は、被写体画像302の記憶が指示されたかを判定する。すなわち、ユーザは、化粧した自分の顔画像を記憶させておきたいとき、記憶を指示する。
【0187】
ここでは、ユーザにより顔画像の記憶が指示されたかが判定される。ステップS204において、被写体画像302の記憶が指示されたと判定された場合、処理はステップS205に進む。
【0188】
ステップS205において、取得部63は、カメラ23から被写体画像を取得する。すなわち、カメラ23によりユーザの顔を撮影した動画像のうち、所定のタイミングの1枚の画像(すなわち静止画像)が取得される。
【0189】
そのタイミングは、記憶を指示したタイミング、あるいはユーザが記憶を指示したタイミングより一定の時間(例えば2〜3秒)だけ前の時刻とすることができる。
【0190】
ステップS206において、記憶部66は、被写体画像を記憶する。すなわち、ステップS205の処理で取得された被写体画像が記憶装置46またはメモリカード51に記憶される。
【0191】
なお、記憶された被写体画像のファイルには日付情報が付加されている。従って、例えば、図22に示されるように、記憶された被写体画像302をカレンダー321の日付の上に重畳して表示させることができる。
【0192】
ユーザは、カレンダー321上に被写体画像302を記憶することができる。そして、記憶された被写体画像を新たな見本画像(例えば、見本画像341−1,341−2)として、上述したステップS201の処理で取得し、表示させることができる。
【0193】
図20に戻り、ステップS204において、記憶が指示されていないと判定された場合、ステップS205,S206の処理はスキップされる。そして、ステップS207において、判定部62は、終了が指示されたかを判定する。
【0194】
ステップS207において、まだ終了が指示されていないと判定された場合、処理はステップS204に戻り、それ以降の処理が繰り返される。
【0195】
一方、ステップS207において、終了が指示されたと判定された場合、図20の見本画像出力処理は終了する。
【0196】
このように、自分自身の化粧した顔画像や芸能人、著名人等の顔画像を見本画像として記憶することで、ユーザが、次の化粧時に記憶された見本画像を見ながら化粧をすることができる。
【0197】
また、テレビジョン受像機などの表示装置22に見本画像301と被写体画像302が表示されるので、表示装置22の画面が大きくなるほど、見本画像301と被写体画像302が大きく表示され、ユーザがより化粧をし易くなる。
【0198】
なお、ステップS203の処理により、図21に示されるように、見本画像301と被写体画像302は並べて表示するとしたが、重ねて表示することもできる。例えば、図23に示されるように、見本画像361に対して被写体画像362を半透明にさせ、重畳して表示させることもできる。
【0199】
見本画像361と被写体画像362を重ねて表示させることで、ユーザが見本画像361の化粧をなぞるようにして化粧をすることができる。
【0200】
[その他]
【0201】
本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【0202】
本技術の実施の形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。また、本技術の実施の形態は、一部の機能を他の装置が有していても良い。
【0203】
本技術の実施の形態では、3枚または4枚の画像を鏡像として同時に表示装置22に表示するとしたが、5枚以上の複数の画像を鏡像として表示装置22に表示することができる。
【0204】
また、本技術においては、画像処理装置21、表示装置22、およびカメラ23は、別々の装置ではなく一体化された1つの装置、または2つの装置により構成することもできる。例えば画像処理装置21とカメラ23を、テレビジョン受像機としての表示装置22に一体化することもできる。
【0205】
さらに、本技術は、携帯電話機、デジタルカメラなどの電子機器にも適用することができる。
【0206】
なお、本技術は以下のような構成も取ることができる。
(1)1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得部と、前記取得部により取得された複数の前記画像を鏡像として表示させるように統合する画像処理部とを備える画像処理装置。
(2)前記画像から前記ユーザの顔を検出する顔検出部をさらに備え、前記取得部は、前記顔検出部により前記画像から前記ユーザの右側面の顔が検出された場合、前記画像を実像の右側面画像として取得し、前記顔検出部により前記画像から前記ユーザの左側面の顔が検出された場合、前記画像を実像の左側面画像として取得する前記(1)に記載の画像処理装置。
(3)
前記取得部は、さらに実像の正面画像または背面画像を取得する前記(2)に記載の画像処理装置。
(4)前記画像処理部は、実像の前記右側面画像を鏡像の左側面画像に変換し、実像の前記左側面画像を鏡像の右側面画像に変換し、実像の前記正面画像または背面画像を鏡像の正面画像または背面画像に変換する前記(3)に記載の画像処理装置。
(5)前記画像処理部は、鏡像の前記左側面画像を鏡像の前記正面画像または背面画像の左側に配置し、鏡像の前記右側面画像を鏡像の前記正面画像または背面画像の右側に配置して表示させるように統合する前記(4)に記載の画像処理装置。
(6)前記取得部は、前記ユーザにより鏡像の前記右側面画像、鏡像の前記左側面画像、および鏡像の前記正面画像または背面画像のいずれかの画像の削除が指示された場合、削除が指示された画像に対応する新たな前記画像を取得する前記(4)または(5)に記載の画像処理装置。
(7)前記取得部は、前記ユーザの頭頂部画像をさらに取得し、前記画像処理部は、鏡像の前記頭頂部画像を上下を逆にして、鏡像の前記正面画像または背面画像の上に表示させるように統合する前記(5)または(6)に記載の画像処理装置。
(8)前記画像から前記ユーザのジェスチャを検出するジェスチャ検出部と、リモートコントローラからの信号を検出する検出部の少なくとも一方をさらに備え、前記取得部は、前記ジェスチャ検出部により前記ジェスチャが検出されたタイミング、または前記リモートコントローラからの信号が検出されたタイミングの画像を取得する前記(1)から(7)のいずれかに記載の画像処理装置。
(9)前記取得部は、前記ユーザに対して回転が指示された場合、前記カメラにより所定時間毎に撮影された前記画像を取得し、前記画像処理部は、前記取得部により取得された複数の前記画像のうち、前記ユーザにより選択された前記画像の鏡像を表示させるように統合する前記(1)に記載の画像処理装置。
(10)1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得ステップと、前記取得ステップの処理により取得された複数の前記画像を鏡像として表示させるように統合する画像処理ステップとを含む画像処理方法。
【符号の説明】
【0207】
21 画像処理装置, 23 カメラ, 61 顔検出部, 63 取得部, 64 画像処理部, 67 ジェスチャ検出部

【特許請求の範囲】
【請求項1】
1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得部と、
前記取得部により取得された複数の前記画像を鏡像として表示させるように統合する画像処理部と
を備える画像処理装置。
【請求項2】
前記画像から前記ユーザの顔を検出する顔検出部をさらに備え、
前記取得部は、
前記顔検出部により前記画像から前記ユーザの右側面の顔が検出された場合、前記画像を実像の右側面画像として取得し、
前記顔検出部により前記画像から前記ユーザの左側面の顔が検出された場合、前記画像を実像の左側面画像として取得する
請求項1に記載の画像処理装置。
【請求項3】
前記取得部は、さらに実像の正面画像または背面画像を取得する
請求項2に記載の画像処理装置。
【請求項4】
前記画像処理部は、実像の前記右側面画像を鏡像の左側面画像に変換し、実像の前記左側面画像を鏡像の右側面画像に変換し、実像の前記正面画像または背面画像を鏡像の正面画像または背面画像に変換する
請求項3に記載の画像処理装置。
【請求項5】
前記画像処理部は、鏡像の前記左側面画像を鏡像の前記正面画像または背面画像の左側に配置し、鏡像の前記右側面画像を鏡像の前記正面画像または背面画像の右側に配置して表示させるように統合する
請求項4に記載の画像処理装置。
【請求項6】
前記取得部は、前記ユーザにより鏡像の前記右側面画像、鏡像の前記左側面画像、および鏡像の前記正面画像または背面画像のいずれかの画像の削除が指示された場合、削除が指示された前記画像に対応する新たな画像を取得する
請求項5に記載の画像処理装置。
【請求項7】
前記取得部は、前記ユーザの頭頂部画像をさらに取得し、
前記画像処理部は、鏡像の前記頭頂部画像を上下を逆にして、鏡像の前記正面画像または背面画像の上に表示させるように統合する
請求項6に記載の画像処理装置。
【請求項8】
前記ユーザのジェスチャを検出するジェスチャ検出部と、リモートコントローラからの信号を検出する検出部の少なくとも一方をさらに備え、
前記取得部は、前記ジェスチャ検出部により前記ジェスチャが検出されたタイミング、または前記リモートコントローラからの信号が検出されたタイミングの画像を取得する
請求項7に記載の画像処理装置。
【請求項9】
前記取得部は、前記ユーザに対して回転が指示された場合、前記カメラにより所定時間毎に撮影された前記画像を取得し、
前記画像処理部は、前記取得部により取得された複数の前記画像のうち、前記ユーザにより選択された前記画像の鏡像を表示させるように統合する
請求項1に記載の画像処理装置。
【請求項10】
1台のカメラにより撮影された画像からユーザの所定の向きの複数の画像を取得する取得ステップと、
前記取得ステップの処理により取得された複数の前記画像を鏡像として表示させるように統合する画像処理ステップと
を含む画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate