画像処理装置
【課題】被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることのできる画像処理装置を提供する。
【解決手段】被写体像を撮影した第１画像データを得る前方撮影部１ａと、撮影者像を撮影して第２画像データを得る公報撮影部１ｂと、第１画像データ又は第２画像データを処理して、被写体像又は撮影者像の態様を検出する態様判定部３と、被写体像又は撮影者像の態様に応じて、第１画像データ及び第２画像データを処理する画像合成及び処理部７と、を備える
【解決手段】被写体像を撮影した第１画像データを得る前方撮影部１ａと、撮影者像を撮影して第２画像データを得る公報撮影部１ｂと、第１画像データ又は第２画像データを処理して、被写体像又は撮影者像の態様を検出する態様判定部３と、被写体像又は撮影者像の態様に応じて、第１画像データ及び第２画像データを処理する画像合成及び処理部７と、を備える
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、詳しくはカメラ前面と背面を撮影し、ここで得られた画像を用いて再生表示可能な画像処理装置に関する。
【背景技術】
【０００２】
従来、カメラは、静止画を撮影するための装置であったが、近年、画像信号がデジタル化されたことにより、連続して取得した画像に対して、コマ間圧縮を行うことにより、動画撮影の装置としても利用することが可能になってきた。このため、最近のデジタルカメラは、静止画と同様に動画も撮影できるようになってきている。
【０００３】
このように、デジタルカメラは静止画と動画の両方を撮影できるようになったが、静止画しか撮影したことのないユーザーにとって、動画をどのような場面で撮影してよいか分からず、また、撮影を開始したとしても、どの時点で撮影を止めればよいかが分からず、見苦しく、だらだらとした作品になってしまうことが多かった。
【０００４】
また、近年、画像処理の技術は進み、種々提案されている。例えば、特許文献１には、ユーザーの表情をゲームに反映させる画像処理装置が提案されている。すなわち、この画像処理装置は、ユーザーの表情に応じて表示させるシーンを変更し、また、ユーザー以外の人物をユーザーの頭部に入れ替えた合成画像を表示することにより、映像コンテンツに対する没入感・一体感を一層向上させるようにしている。
【０００５】
また、特許文献２には、撮影者の感情を撮影画像に反映させるようにしたビデオカメラが提案されている。すなわち、このビデオカメラのグリップ部にはセンサが設けられており、このセンサ出力に基づいて、ユーザーの緊張度が高い場合には、赤っぽく、またリラックスしている場合には、青っぽくなるように画像の色調を変更している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３００５６２号公報
【特許文献２】特開平４−９８９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このように、画像処理技術は種々提案されているが、撮影者と被写体との関係を反映した撮影を行うための画像処理ではなかった。すなわち、特許文献１に開示の画像処理装置は、ゲーム機における表示画像のための画像処理であって、撮影画像に変化をつけるものではない。また、特許文献２に開示のビデオカメラは、ユーザーの表情に応じて色調を変化させるものであって、鑑賞時に鑑賞者を楽しませるような画像の切り替えに関するものではない。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる画像処理装置は、被写体像を撮影した第１画像データを得る第１撮影部と、撮影者像を撮影して第２画像データを得る第２撮影部と、上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データを処理する画像処理部と、を備える。
【００１０】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理する。
第３の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理部は、上記被写体像の態様に応じて上記第１画像データ及び上記第２画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理する。
【００１１】
第４の発明に係わる画像処理装置は、上記第１ないし第３の発明において、上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者の態様の変化を検出する。
【００１２】
第５の発明に係わる画像処理装置は、上記第１ないし第４の発明において、画像記憶部と、画像表示部を更に備え、該画像記憶部は、上記画像処理部が処理した画像を記憶し、該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像を表示する。
【００１３】
第６の発明に係わる画像処理装置は、被写体像を撮影して第１画像データを得る第１撮影部と、撮影者像を撮影して第２画像データを得る第２撮影部と、撮影者を想起させるイメージ画像を生成する画像生成部と、上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データ又は上記イメージ画像を処理する画像処理部と、を備える。
【００１４】
第７の発明に係わる画像処理装置は、上記第６の発明において、上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記イメージ画像を処理する。
第８の発明に係わる画像処理装置は、上記第６または第７の発明において、上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者像の態様の変化を検出する。
【００１５】
第９の発明に係わる画像処理装置は、上記第６ないし第８の発明において、画像記憶部と画像表示部を更に備え、該画像記憶部は、上記画像処理部が処理した画像を記憶し、該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像又は上記イメージ画像を表示する。
【００１６】
第１０の発明に係わる画像処理装置は、上記第６ないし第９の発明において、上記イメージ画像は、撮影者の表情を表す画像である。
【発明の効果】
【００１７】
本発明によれば、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることのできる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラにおいて、前方撮影部１ａと後方撮影部の組合せを示す図であり、（Ａ）は１台のカメラに両方を備える例を示し、（Ｂ）は２台のカメラが連携する例を示し、（Ｃ）は２台のカメラとこれと連携するコンピュータの組合せの例を示す図である。
【図３】本発明の第１実施形態において、撮影者が被写体の動きを動画で撮影している様子を示す図であり、（ａ）は撮影している様子を示し、（ｂ）乃至（ｃ）は撮影した動画を示す図である。
【図４】本発明の第１実施形態において、撮影者を撮影した背面画像の変化を示す図であり、（ａ）乃至（ｄ）は時間変化を示す。
【図５】本発明の第１実施形態において、前面画像と背面画像の合成を示す一例であり、前面画像と背面画像を完全に切り替える様子を示す図である。
【図６】本発明の第１実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図７】本発明の第１実施形態において、背面画像である撮影者の表情の数値化を説明する図であり、（ａ）は笑顔の例を示し、（ｂ）は困った顔の例を示す。
【図８】本発明の第１実施形態に係わる笑顔度Ｒを検出するためのフローチャートである。
【図９】本発明の第１実施形態において、撮影者の顔の向きの検出を説明する図であり、（ａ）は正面を向いている様子を示し、（ｂ）は横を向いている様子を示す図である。
【図１０】本発明の第１実施形態に係わるしぐさを判定するためのフローチャートである。
【図１１】本発明の第１実施形態において、背面画像の撮影者の表示の仕方を説明する図であり、（Ａ）は背面画像をそのまま使用する例であり、（Ｂ）はアバターを使用する例を示す図である。
【図１２】本発明の第２実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図１３】本発明の第２実施形態において、動き量の検出を説明する図であり、（Ａ）は前面画像の全体を示し、（Ｂ）は前面画像の部分拡大図である。
【図１４】本発明の第２実施形態に係わる動き量を検出するためのフローチャートである。
【図１５】本発明の第３実施形態に係わるカメラの構成を示すブロック図である。
【図１６】本発明の第３実施形態に係わるカメラ制御の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態におけるカメラは、動画の取得のために、カメラ前方を撮像するための撮像部と、カメラ後方を撮像するための撮像部と、２つの撮像部を有している。レリーズ釦の操作に応じて動画の画像データの取得を開始し、これを記録媒体に記録する。また、第１実施形態におけるカメラは、撮影者の表情やしぐさを判定し、その態様が変化した際に、カメラ後方を撮像するための撮像部によって撮影者の顔を撮像し、この顔画像をカメラ前方の画像データと合成することにより、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させている。
【００２０】
図１は本発明の第１実施形態に係わるカメラの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、前方撮影部１ａ、後方撮影部１ｂ、画像記録制御部２、態様判定部３、操作部４、アバター情報部５、画像合成部７、表示部８を有している。
【００２１】
前方撮影部１ａは、カメラ１０の本体の前方に配置され、主として被写体撮影用の撮影部であり、前面画像を取得する。後方撮影部１ｂは、図２（Ａ）に示すように、カメラ１０の本体の後方に配置され、主として撮影者の顔を撮影する撮影部であり、背面画像を取得する。前方撮影部１ａおよび後方撮影部１ｂは、それぞれ、被写体像を結像するための光学系、被写体像を光電変換する撮像素子を有し、それぞれの撮像素子から出力される画像信号を処理する画像処理部等が設けられており、それぞれの画像データを出力する。なお、前方撮影部１ａは、ズームレンズで構成しても良い。
【００２２】
画像記録制御部２は、記憶されているプログラムに従ってカメラ１０の全体制御を行うと共に、前方撮影部１ａおよび後方撮影部１ｂから出力される動画の画像データを記録制御する。また、画像記録制御部２は、前方撮影部１ａから出力される画像データを仮記憶する補助記録部２ａと、後方撮影部１ｂから出力される画像データを仮記憶する補助記録部２ｂとを有する。
【００２３】
本実施形態においては、前方撮影部１ａで撮影された前面画像の動画データが常に記録されるが、所定の状態においては後方の背面画像の動画データが合成処理され、この合成画像が記録される。この画像の合成を行うために、動画データが、補助記録部２ａ、２ｂにそれぞれ仮記憶される。
【００２４】
態様判定部３は、撮影者の画像（前面画像）や被写体の画像（背面画像）の態様を判定する。すなわち、この態様判定部３は、前方撮影部１ａおよび後方撮影部１ｂから画像データを入力し、この画像データに基づいて判定を行う。態様判定としては、撮影者の表情やしぐさや、被写体に変化があるか否か等を行う。
【００２５】
操作部４は、カメラ１０に設けられたレリーズ釦、ズーム釦等の操作部材である。レリーズ釦が操作されると、カメラ１０は動画撮影を開始し、再度レリーズ釦が操作されると、動画撮影を停止する。操作部４の操作状態は、画像記録制御部２に伝達される。アバター情報部５は、後述するように、撮影者をアバターに置き換えて表示するためアバターに関する情報が記憶されている。
【００２６】
表示部８は、図２（Ａ）に示すように、カメラ１０の背面等に配置された液晶モニタ等の表示装置を含み、画像記録制御部２に記録された動画の再生表示を行う。また、前方撮影部１ａによって取得された動画を、被写体像の観察用に、所謂ライブビュー表示する。
【００２７】
画像合成部７は、前方撮影部１ａによって取得された画像と、後方撮影部１ｂによって取得された画像を合成する。この画像合成部７によって生成された合成画像は、表示部８に表示される。前述の補助記録部２ａ、２ｂは、各撮影部によって取得された画像データを用いて画像合成するための仮記憶部である。
【００２８】
画像合成部７における画像合成は、態様判定部３の判定結果を入力し、撮影者の表情等や被写体像の変化等に基づいて、画像の切換等の合成処理を行う。本実施形態においては、前方撮影部１ｂによって取得された前面画像の動画を常時記録するが、態様判定部３によって態様の変化を検出すると、前方撮影部１ａによって取得された被写体像（前面画像）の動画に、後方撮影部１ｂによって取得された撮影者の顔画像（背面画像）の動画を合成して記録する。
【００２９】
なお、画像合成としては、親子画像のように前面画像に背面画像を合成する他（図３（ｃ）参照）、前面画像を白黒反転する等の画像処理や（図３（ｄ）参照）、完全に画像を切り替える切替処理（図５参照）等、種々の処理を含む。
【００３０】
また、本実施形態において、前方撮影部１ａと後方撮影部１ｂはカメラ１０に一体に設けられているが、これに限らず、図２（Ｂ）に示すように、１つの撮影部のみを有するカメラ１０ａ、１０ｂを２台用意し、この２台のカメラを連携するようにしても良い。この場合には、カメラ１０ａの撮影部を前方撮影部１ａとして使用し、カメラ１０ｂの撮影部を後方撮影部１ｂとして使用し、一方のカメラの制御部（画像記録制御部２）が、他方のカメラの撮影部を制御するように構成する。この場合の制御通信は、有線でも無線でも良い。
【００３１】
また、図２（Ｃ）に示すように、１つの撮影部のみを有するカメラ１０ａ、１０ｂを２台用意し、両者を制御するためのコンピュータ２０とからシステムを構成する。すなわち、カメラ１０ａの撮影部を前方撮影部１ａとして使用し、カメラ１０ｂの撮影部を後方撮影部１ｂとして使用し、コンピュータ２０が両カメラを制御する。無線ＬＡＮ等を搭載した機器であれば、制御信号や画像データのやり取りを行うことができる。
【００３２】
次に、本実施形態における動作について説明するが、まず図３乃至図５を用いて、本実施形態におけるカメラの使用状態について説明する。図３は、撮影者が被写体の動きを動画で撮影している様子を示す。撮影者３０は、図３（ａ）に示すように、カメラ１０の背面に設けた表示部８を見ながら、被写体３１を追いかけている。このとき、同時に、撮影者３０の表情も、背面に設けられている後方撮影部１ｂによってモニタ可能となっている。
【００３３】
この際、撮影者３０は、被写体３１を一生懸命、追いかけているので、その表情は、図４（ａ）→（ｂ）に示すように、殆ど変化しない。このときの画像は特に面白いものではなく、記録する必要がない。しかし、被写体に思わぬハプニングが起こると、図４（ｃ）に示すように表情が変化し、時には、図４（ｄ）に示すように、他所のほうを見てしまう場合もある。
【００３４】
このような撮影者の表情等の変化は、何かハプニングが起こっている様子を示しており、被写体以上に興味を引く表情をしている場合がある。本実施形態においては、このような撮影者の画像を有効に利用し、動画に変化をつけている。
【００３５】
動画の変化の付け方としては、例えば、撮影者の表情が変化したとき、前面画像（図３（ｂ））に撮影者の表情を重畳させて表示したり（図３（ｃ））、また、前面画像に、撮影者の表情にしたがって、変化をつける。前面画像の変化の付け方としては、例えば、驚いたり困ったりした表情の場合には、画像を白黒にして緊迫感を高めるようにしても良い（図３（ｄ））。
【００３６】
また、画像合成としては、図３（ｃ）に示すように、２つの画像を並置だけではなく、図５に示すように、完全に切り替えるようにしても良い。すなわち、前方撮影部１ａで被写体３１を撮影している際に（図５（ａ））、撮影者３０の表情が変化した場合等には、後方撮影部１ｂで撮影した撮影者３１の背面画像に切り替え、状況が変わると、再び、前方撮影部１ａによる被写体３１の前面画像に切り替えるようにしても良い（図５（ｃ））。
【００３７】
次に、図６に示すフローチャートを用いて、本発明の第１実施形態におけるカメラ１０の動作について説明する。本実施形態においては、図３乃至図５を用いて説明したように、撮影者の表情に変化があった場合等、被写体像や撮影者の顔画像の態様に応じて、後方撮影部１ｂからの背面画像を前方撮影部からの前面画像に合成して記録するようにしている。
【００３８】
カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードが撮影者によって設定可能である。ステップＳ１における判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。この撮影を行うか否かの判定は、操作部４のレリーズ釦が押し操作されたか否かを検出することによって行う。本実施形態においては、レリーズ釦が、一度、押し操作されると、動画撮影を開始し、再度、押されると動画撮影を終了する。
【００３９】
ステップＳ２における判定の結果、撮影でなかった場合には、ステップＳ１に戻る。一方、撮影であった場合には、前面撮影および記録を行う（Ｓ１１）。このステップでは、前方撮影部１ａによって、カメラ１０の前面の被写体を撮影し、画像記録制御部２に記録する。
【００４０】
続いて、しぐさ・表情判定を行う（Ｓ１２）。このステップＳ１２では、前方撮影部１ａおよび後方撮影部１ｂからの画像データを入力する態様判定部３において、撮影者の顔の表情、例えば、笑顔か困った顔か等を判定する。笑顔度の判定やしぐさの判定については、図７乃至図１０を用いて後述する。また、このステップにおいては、撮影者の顔の向き等についても判定する。
【００４１】
続いて、撮影者の顔の向きと表情に変化があるか否かの判定を行う（Ｓ１３）。このステップでは、ステップＳ１２における判定に結果に基づいて、表情変化や顔向きに変化あったか否かの判定を行う。このステップＳ１３における判定の結果、変化がなかった場合には、ステップＳ１１に戻り、前面撮影および記録を続行する。
【００４２】
ステップＳ１３における判定の結果、変化があった場合には、次に、前面画像に変化がないか否かの判定を行う（Ｓ１４）。ステップＳ１３における判定の結果、変化があった場合でも、前面の画像に変化がある場合には、前面の被写体画像の方が重要であることから、ステップＳ１１に戻り、前面撮影および記録を続行する。
【００４３】
一方、ステップＳ１４における判定の結果、前面画像に変化がなかった場合には、背面カメラによる記録を行う（Ｓ１５）。すなわち、撮影者の表情が変化する等の変化があり、かつ、前面の被写体画像に変化がない場合（単調な場合）には、前方撮影部１ａによる撮影に加えて、後方撮影部１ｂによる撮影を行い、このときの画像データも記録する。
【００４４】
続いて、操作終了か否かの判定を行う（Ｓ１６）。このステップでは、操作部材４の中のレリーズ釦が再度、操作されたか否かの判定を行う。この判定の結果、操作終了でなかった場合には、前面画面に変化があるか否かの判定を行う（Ｓ１７）。この判定の結果、前面画面に変化がなければ、後方撮影部１ｂによる撮影者の撮影を続行するために、ステップＳ１５に戻る。
【００４５】
一方、ステップＳ１７における判定の結果、前面画面に変化があった場合には、背面カメラ（後方撮影部１ｂ）による記録を終了する（Ｓ１９）。なお、後方撮影部１ｂからの画像データの記録は終了するが、ステップＳ１２においてしぐさ・表情の判定を行うために、後方撮影部１ｂによる撮影者の画像のモニタは続行する。
【００４６】
続いて、正面画像に特殊効果を施す（Ｓ２０）。ここでの特殊効果としては、図３（ｄ）に示したような白黒反転画像の生成や、図３（ｃ）に示したような親子画面による被写体画像と撮影者の画像の合成画像の生成、図５に示したような画像の完全切替等である。特殊効果を施すとステップＳ１１に戻り、前述の処理を行う。
【００４７】
ステップＳ１６における判定の結果、操作が終了した場合には、撮影終了を行う（Ｓ１８）。すなわち、このステップでは、撮影動作を終了させるための処理を行う。撮影終了を行うと、このフローを終了し、ステップＳ１から実行する。
【００４８】
ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードであり、この場合には、再生画像の選択がなされたか否かの判定を行う（Ｓ３）。このステップでは、操作部４の図示しない再生用操作部材によって複数の動画の中から再生画像が選択されたか否かの判定を行う。この判定の結果、再生画像が選択されていなかった場合には、このフローを終了し、ステップＳ１から再び実行する。
【００４９】
ステップＳ３における判定の結果、再生画像が選択された場合には、再生を行うか否かを判定し（Ｓ４）、この判定の結果、再生しない場合には、ステップＳ３に戻る。一方、再生の場合には、画像の再生を行う（Ｓ５）。このステップでは、画像記録制御部２に記録されている動画の再生を行う。
【００５０】
ステップＳ１１からステップＳ２０における動画の撮影にあたって、単調なシーンであって、撮影者の表情等が変化した場合には、後方撮影部１ｂによって撮影された背面画像が挿入されるので、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることができる。画像再生が終わると終了し、ステップＳ１から再び実行する。
【００５１】
なお、背面画像を挿入すると、ユーザーによっては、自分の顔がそのまま再生表示されることから、抵抗がある場合もある。そこで、撮影者の分身であるイメージ画像（アバター画像）を表示するようにしても良い。すなわち、図１１（Ａ）に示すように、撮影者３０ａの表情が撮影者３０ｂのように変化した場合、この表情変化に応じて、図１１（Ｂ）に示すように、アバター３３ａからアバター３３ｂに変化させる。
【００５２】
前述のアバター情報部５は、アバター３３ａ、３３ｂを記録・再生するためのアバター像のデータを有する。アバター画像は、後述するように、表情等を数値化するので、この数値に対応するアバター画像を読み出して使用すれば良い。
【００５３】
次に、ステップＳ１２における表情の変化の判定について、図７および図８を用いて、表情を数値Ｒに数値化する方法について説明する。図７は、人の笑顔（図７（ａ））と、困ったり驚いたときの顔（図７（ｂ））を比較したものであり、両者を比較すると、眼と口元に特徴があることが分かる。
【００５４】
すなわち、眼を比較すると、両目の瞳の中心を結んだ線６１の上側に白目が多いと、笑顔に近いことが分かる。また、口元も、同様な考え方で判定できる。つまり、口の両端を結んだ線６２より、下側にある唇部の面積が広いと、笑顔の度合いも大きくなる。本実施形態においては、笑顔になるほど高い得点になり、驚いたり困ったりすると低い得点になるようにしている。これによって、マイクロコンピュータなどの制御手段が判定し易くなる。
【００５５】
図７で示した判定方法を利用して笑顔度Ｒを求める方法について、図８に示すフローチャートを用いて説明する。まず、目部と口部の検出を行なう（Ｓ１５１）。これは、撮像素子３の出力に基づいて、顔検出部５ｄによって顔を検出し、その検出された顔の中から眼と、口の部分をパターン認識により抽出する。
【００５６】
続いて、ステップＳ１５２からＳ１５４において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ１５２）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ１５３）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ１５４）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。
【００５７】
次に、ステップＳ１５５からＳ１５７において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ１５５）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ１５６）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ１５７）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。
【００５８】
続いて、ステップＳ１５４とＳ１５７で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ１５８）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図７（ａ）の矢印６４付近の状態を判定する（Ｓ１５９）。すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Ｒに１点、加算する（Ｓ１６０）。
【００５９】
ただし、眉間にしわがあると笑顔とは言えないので、ステップＳ１６１で判定する。すなわち、図７（ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ１６１）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ１６２）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。
【００６０】
このように、笑顔度Ｒを求めるフローにより、撮影者の顔の表情を数値化することができる。後方撮影部１ｂによって顔を常時モニタし、その表情の数値を記録しておくと、被写体等の変化によって撮影者の表情に変化があれば、この笑顔度Ｒの値が変化することから、シーンの判断を行うことができる。
【００６１】
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図７において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。これ以外の方法によっても適宜、顔の表情を数値化するようにしても良い。
【００６２】
また、状況変化によって、撮影者の顔部に表れるのは、笑顔度等の表情変化だけでなく、撮影者の向いている方向も変化する。すなわち、図９に示すように、正面を向いている状態から（図９（ａ））から、横を向いたりすることがある（図９（ｂ））。顔の向きの変化は、顔の中心位置と、目の中心位置を求め、これらの時間変化（連続撮影での像変化）を数値化（Δｘ）することにより、判定することができる。
【００６３】
この顔の向きの変化を、図１０に示すしぐさ判定のフローを用いて説明する。このフローに入ると、まず、顔の中心座標を求める（Ｓ２５１）。続いて、目部中心座標を求める（Ｓ２５２）。これらの中心座標の求め方は種々あるが、例えば、顔のテンプレートを用意し、一致度の高いテンプレートに予め求められている中心位置を用いても良い。
【００６４】
続いて、前回の座標と、今回、求めた座標との比較を行う（Ｓ２５３）。すなわち、顔中心座標のズレ量や、目部中心座標のズレ量を（図９のΔｘ）を求める。次に、ステップＳ２５３で求めたズレ量が所定量変化したか否かの判定を行う（Ｓ２５６）。所定量は、撮影者の顔の向いている向きが変化したといえる程度の量であれば良い。
【００６５】
ステップＳ２５６における判定の結果、所定量変化したと判定された場合には、しぐさ有りと記憶する（Ｓ２５７）。ステップＳ２５６における判定の結果、所定量変化しなかったと判定されると、またはステップＳ２５７においてしぐさ有りを記憶すると、元のフローに戻る。
【００６６】
このように、図８に示した表情判定（笑顔度Ｒ）のフローや、図１０に示したしぐさ判定のフローを並列で行うことによって、カメラ１０の制御部（画像記録制御部２）は、ステップＳ１２、Ｓ１３において、撮影者の顔の向きや表情変化の判定を行うことができる。なお、ここでの判定は、上述したフローに限らず、他の要素について判定するようにしても良い。
【００６７】
次に、本発明の第２実施形態について、図１２乃至図１４を用いて説明する。本発明の第１実施形態においては、常時前面画像を記録し、撮影時に撮影者の顔の向きや表情が変化し、かつ前面画像に変化ない等、被写体像と撮影者の顔の像の態様に応じて、後方撮影部１ｂによる背面画像を記録し、両画像を用いて画像合成を行っていた。第２実施形態においては、撮影時には、常時、前方撮影部１ａによる前面画像と後方撮影部１ｂによる背面画像の両方を記録し、再生時に、被写体像と撮影者の顔の像の態様に応じて、両画像を用いて画像の合成を行うか否かを判定するようにしている。
【００６８】
第２実施形態の構成は、図１に示した第１実施形態の構成と同様であり、図６に示したカメラ制御のフローを図１２に示すフローチャートに置き換えるだけであるので、この相違するフローを中心に説明する。
【００６９】
図１２に示すフローに入ると、第１実施形態と同様に、撮影モードか否かの判定を行う（Ｓ１）。この判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。この判定の結果、撮影を行わない場合には、ステップＳ１に戻る。
【００７０】
ステップＳ２における判定の結果、撮影を行う場合には、前面および背面での撮影及び記録を行う（Ｓ３１）。このステップでは、前方撮影部１ａと後方撮影部１ｂによって、それぞれ撮影を行い、両画像データを画像記録制御部２に記録する。続いて、前面動き量の記録を行う（Ｓ３２）。前面動き量は、動きベクトルを検出することにより行う。詳しくは図１３及び図１４を用いて後述する。
【００７１】
続いて、背面表情数値化記録を行う（Ｓ３３）。このステップでは、前述した笑顔度Ｒ等、撮影者の顔の表情を数値化して記録する。背面表情を数値化し記録すると、ステップＳ１６と同様に、操作終了か否かの判定を行う（Ｓ３４）。この判定の結果、撮影終了操作がなされていなかった場合には、ステップＳ３１に戻り、前面と背面の撮影・記録を続行する。
【００７２】
一方、ステップＳ３４における判定の結果、操作終了であった場合には、ステップＳ１８と同様に、撮影終了動作を行う（Ｓ３５）。撮影終了動作を行うと、終了し、ステップＳ１から再び実行する。このように、撮影時には、ステップＳ１１からＳ３４を繰り返し実行することにより、前面および背面の両方の画像が同時記録される。また、このとき、前面の動き量と表情を数値化した値が同時に記録される。
【００７３】
ステップＳ１における判定の結果、撮影モードでなかった場合には、第１実施形態と同様に再生画像が選択されているか否かの判定を行う（Ｓ３）。この判定の結果、選択されていなかった場合には、ステップＳ１に戻る。一方、選択されていた場合には、第１実施形態と同様に、再生を開始するか否かの判定を行う（Ｓ４）。この判定の結果、再生開始でなかった場合には、ステップＳ３に戻る。
【００７４】
一方、ステップＳ４における判定の結果、再生開始であった場合には、前面画像の再生を行う（Ｓ５）。前述したように、画像記録制御部２には、前面画像と背面画像の両方が記録されているが、この中から前面画像を読出し、これを表示部８に再生表示する。
【００７５】
次に、背面画像の表情を表す数値に変化があったか否かを判定する（Ｓ４１）。このステップでは、前面画像を再生しながら、ステップＳ３３において画像データと一緒に記録された背面表情数値を検出し、この数値に変化があったかを判定する。このステップＳ４１における判定の結果、背面表情数値に変化があった場合には、次に、前面動き量が所定値以下か否かを判定する（Ｓ４２）。このステップでは、前面画像を再生しながら、ステップＳ３２において画像データと一緒に記録された前面動き量を検出し、この動き量が所定値以下になったかを判定する。
【００７６】
ステップＳ４２における判定の結果、前面動き量が所定値以下であった場合には、背面カメラ画像に対応するアバターを表示する（Ｓ４６）。すなわち、ステップＳ４１およびＳ４２における判定の結果、前方撮影部１ａで撮影した前面画像には変化がなく、かつ、後方撮影部１ｂで撮影した背面画像で撮影者の顔の表情が変化した状態であり、この場合には、撮影者の顔の表情変化に応じた表情のアバターをアバター情報部５から読み出し、再生表示する。
【００７７】
アバターを表示することにより、前面画面の動きが単調な場合、適宜、背面の変化ある画像に基づいた状況を説明するアバターを表示するこができ、鑑賞者を飽きさせないようにすることが可能となる。アバターを表示させると、ステップＳ５に戻り、前面画像の再生を行う。
【００７８】
ステップＳ４１における判定の結果、背面表示を表す数値に変化がなかった場合、またはステップＳ４２における判定の結果、前面動き量が所定値以上あった場合には、再生終了か否かの判定を行う（Ｓ４４）。このステップでは、操作部４の中の再生終了操作部材（不図示）の操作状態を検出し、判定する。この判定の結果、再生終了でなかった場合には、ステップＳ５に戻り、前面画像の再生を行う。
【００７９】
ステップＳ４４における判定の結果、再生終了であった場合には、再生終了動作を行う（Ｓ４５）。再生終了動作を行うと、終了し、ステップＳ１から再び実行する。
【００８０】
なお、本実施形態においては、ステップＳ４１およびＳ４２をＹｅｓで通過した場合には、背面画像に対応するアバターを表示するようにしていたが、前面画像を見たいユーザーのために、背面画像と同時に記録されている前面画像を再生指示するようにしてもよい。
【００８１】
また、本実施形態においては、ステップＳ４６において、アバターを表示するようにしていたが、第１実施形態と同様に、撮影者の画像を用いて合成画像を生成し、表示するようにしても勿論かまわない。
【００８２】
次に、ステップＳ３２における動き量の記録で行われる動き量の検出について、図１３および図１４を用いて説明する。図１３（Ａ）は、画面内の被写体３１の様子を示したものであり、この画面内のうちの薄墨を施した画面部分２１を、図１３（Ｂ）に示す。被写体３１である子供が手を振り上げた時、手の部分の画素は、タイミングＴ＝ｔ１での陰影３２ａが、タイミングＴ＝ｔ２では、図に示すように、陰影３２ｂの位置に変化している。本実施形態は、陰影３２ａ、３２ｂのパターン自身はあまり変化せず、位置のみが変化することに着目して、動き量を検出している。
【００８３】
図１４に示す動き量のフローは、前方撮影部１ａによって撮像するたびに実行される。この動き量の検出のためのフローに入ると、まず前の駒の画面中央部の画像を検出する（Ｓ３０１）。このステップでは、前回、前方撮影部１ａによって撮影された際の画像データの中から画面中央部に相当する部分の画像データを読み出す。
【００８４】
続いて、現在の駒の画面中央部の画像を検出する（Ｓ３０２）。このステップでは、今回、前方撮影部１ａによって撮影した際の画像データの中から画面中央部に相当する部分の画像データを読み出す。この読出し終わると、２つの画像を比較する（Ｓ３０３）。すなわち、ステップＳ３０１で読み出した画像データと、ステップＳ３０２で読み出した画像データの一致度を検出する。
【００８５】
次に、ステップＳ３０３における比較結果に基づいて、両画像が一致するか否かを判定する（Ｓ３０４）。この判定の結果、両画像が一致していなかった場合には、一方の画像をずらす（Ｓ３０６）。このステップでは、例えば、前の駒の画像データを１画素ずらした画像データを生成する。画素をずらすにあたって、前後左右に向けて規則的にずらしていく。
【００８６】
一方の画像をずらすと、次に、このずらし量が所定量以上か否かの判定を行う（Ｓ３０７）。所定量以上の動き量がある場合には、被写体３１の動きに変化があることから、正確に動き量を求める必要がない。このステップＳ３０７における判定の結果、所定量以上でなかった場合には、ステップＳ３０３に戻る。
【００８７】
一方、ステップＳ３０７における判定の結果、所定量以上であった場合には、ずらし量を最大と判定する（Ｓ３０８）。すなわち、相当の動きで、被写体３１は変化していると判定する。この判定を行うと、元のフローに戻る。
【００８８】
ステップＳ３０４における判定の結果、２つの画像を比較した結果、両画像が一致していた場合には、一致したときのずらし量を動き量とする（Ｓ３０５）。すなわち、ステップＳ３０６において、前後左右に少しずつ画像をずらしていたが、基準とする最初の画像からのずらし量を求め、このずらし量を動き量とする。ずらし量を動き量とすると元のフローに戻る。
【００８９】
このように、動き量のフローにおいては、前回と今回の画像を比較し、両者が一致するまで一方の画像をずらしていく。そして、一致したときのずらし量を動き量とし、動き量が大きく一致しない場合にはずらし量最大と判定する。このように動き量を数値化することによって、どの程度の画像の動きがあったかを判定することができ、画像切り替えのレベル設定が可能となる。また、撮影シーンなどによって判定量を切替えるようにしてもよい。例えば、運動会のシーンのように動きが激しい被写体の場合には、判定量は大きめに設定しておいた方がよく、一方、赤ちゃんのように動きが小さい被写体の場合には、判定量は小さめで良い。
【００９０】
以上説明したように、本発明の第２実施形態においては、ステップＳ３１において、前面画像と背面画像を同時に記録し、再生時に、前面の被写体像と、背面の撮影者の顔画像の態様に応じて、背面画像に基づく画像を表示するようにしている。このため、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることができる。
【００９１】
次に、本発明の第３実施形態を図１５および図１６を用いて説明する。本発明の第１および第２実施形態においては、変化が起きてから前面画像から背面画像との画像切り替え等の画像合成を行っていたが、第３実施形態においては、変化が起こる前から画像切り替え等を行うようにしている。すなわち、変化が起こってから画像切り替えを行うよりも、変化が起こりつつある状況を表示した方が見応えがある場合が多いことから、変化開始前より先立って画像切り替えを行うようにしている。
【００９２】
図１５は、本実施形態の構成を示すブロック図である。図１に示した第１実施形態と同一の構成については、同一の符号を付し、詳しい説明は省略する。計時部９は、時間を計時し、時間情報を比較および情報付与部６に出力する。
【００９３】
比較および情報付与部６は、前方撮影部１ａによって取得した前面画像の画像データに基づいて得られる前面動き量Ｍと、後方撮影部１ｂによって取得した背面画像の画像データに基づいて得られる背面表情数値（笑顔度）Ｒとを比較する。また、計時部９から時間情報を入力し、変化判定のタイミングを示す変更信号等の情報を画像データに付与する。すなわち、前面画像の再生時に、背面画像に切り替えるタイミングを変更信号として画像データに付与する。
【００９４】
次に、本実施形態の動作を図１６に示すフローチャートを用いて説明する。ステップＳ１およびステップＳ２において、第１実施形態と同様に、撮影モードか否かの判定を行い、撮影モードの場合には撮影を行うか否かの判定を行う。
【００９５】
ステップＳ２における判定の結果、撮影であった場合には、前面および背面撮影を行い、画像データを記録する（Ｓ５１）。このステップでは、前方撮影部１ａにおいて前面画像を取得し、後方撮影部１ｂにおいて背面画像を取得し、両画像の画像データを同時に記録する。
【００９６】
続いて、前面画像の画像データに基づいて前面動き量Ｍを記録する（Ｓ５２）。このステップでは、図１４に示した動き量のフローを実行し、一致したときのずらし量をＭとして記録する。なお、このときの動き量Ｍは画素数単位で求められる。
【００９７】
続いて、背面表情数値化Ｒを記録する（Ｓ５３）。このステップでは、後方撮影部１ｂからの背面画像の画像データを用いて、図８に示した笑顔度Ｒのフローを実行して笑顔度Ｒを求め、記録する。次に、前の駒の背面表情数値化Ｒと比較し、その差分ΔＲを求める（Ｓ５４）。このステップでは、前回、背面表情数値化（笑顔度）Ｒを読出し、この値Ｒと、ステップＳ５３で求めた背面表情数値化Ｒの差分ΔＲを求める。
【００９８】
続いて、差分ΔＲが前面動き量Ｍ／３２０より大なるかを判定する（Ｓ５５）。このステップでは、ステップＳ５４で求めた差分ΔＲと、ステップＳ５２に記録した動き量Ｍを３２０で除算した値とを比較し、ΔＲ＞Ｍ／３２０であるか否かの判定を行う。
【００９９】
ここで、動き量Ｍを３２０で除算しているのは、以下の理由からである。動き量Ｍは、例えば、画面横方向に１０％も変化するとかなりの動きと判定できる。この動きは、カメラの画素数によって数字が異なるが、例えば、８００万画素のカメラの場合、３２００×２４００画素であり、横方向に画素数の１０％である３２０画素が対応する。したがって、動き量Ｍを３２０画素で除算した値を、ステップＳ５５における比較の対象としている。なお、この３２０は、画素数等によって適宜、設計値を変更しても良い。
【０１００】
また、ステップＳ５５における差分ΔＲは、表情変化を示す値であり、この表情変化のレンジは、通常、−１〜３であり、１以上の変化があれば、大きな変化と考えられる。動き量Ｍと表情数値化Ｒとは、次元の異なる数字であり、本来は同じ土俵では語れない変化である。しかし本実施形態においては、動き量Ｍを３２０で割った値と、表情変化の差分ΔＲを比較して、ΔＲの変化の方が大きい場合、背面画像の方が鑑賞時に面白いと判定している。
【０１０１】
ステップＳ５５における判定の結果、ΔＲの方がＭ／３２０よりも大きかった場合には、変更信号を画像ファイルに付与する（Ｓ５８）。すなわち、この場合には、前面画像よりも背面画像に変化があり、鑑賞時には背面画像のほうが面白ことから、変更信号を画像データに付与する。また、変更信号には、表情変化したタイミングを表す時間情報を付する。
【０１０２】
ステップＳ５８において変更信号を画像データに付与すると、またはステップＳ５５における判定の結果、ΔＲ＞Ｍ／３２０でなかった場合には、ステップＳ１６と同様に、操作終了か否かの判定を行う（Ｓ５６）。この判定の結果、操作終了でなかった場合には、ステップＳ５１に戻り、前述の動作を実行する。一方、ステップＳ５６における判定の結果、操作終了であった場合には、ステップＳ１８と同様に、撮影を終了する（Ｓ５７）。撮影を終了すると、再び、ステップＳ１から実行する。
【０１０３】
ステップＳ１における判定の結果、撮影モードでなかった場合には、第１実施形態と同様に、ステップＳ３およびステップＳ４において再生モードによる再生を行うか否かの判定を行う。ステップＳ４における判定の結果、再生の場合には、変化信号時間判定を行う（Ｓ６１）。
【０１０４】
前述したように、前面画像より背面画像のほうが撮影者の表情に変化があり面白い場合には、ステップＳ５８において変更信号が付与されている。そこで、ステップＳ６１においては、前面画像を再生するにあたって、まず変更信号に付与されている変更のタイミングを示す時間情報を検出する。
【０１０５】
続いて、前面画像の再生を行う（Ｓ６２）。このステップでは、画像記録制御部２に記録されている前面画像の再生を行う。続いて、変更信号タイミングの所定時間前か否かの判定を行う（Ｓ６３）。ステップＳ６１において、変更するタイミングを検出しているので、このステップでは、検出されたタイミングの所定時間前、例えば、１秒程度前であるか否かの判定を行う。
【０１０６】
ステップＳ６３における判定の結果、所定時間前であれば、背面カメラ画像を所定時間の間、再生する（Ｓ６４）。ここでの背面画像の再生は、図５に示したように、前面画像を完全に背面画像に切り替えるようにしている。これによって、変化が終わってしまったタイミングではなく、それより、１秒程度前のタイミングから背面画像の再生を開始する。後方撮影部１ｂでの撮影結果の方が面白いシーンでは、その表情変化を表示し、より鑑賞時に楽しめる画像とすることが可能となる。背面画像の再生を終わると、ステップＳ６１に戻る。
【０１０７】
ステップＳ６３における判定の結果、変更信号のタイミングが所定時間前でなかった場合には、再生終了か否かの判定を行う（Ｓ６５）。このステップでは、選択された再生画像の再生が終了したか、または再生終了用の操作部材が操作されたかを判定する。この判定の結果、再生終了でない場合には、ステップＳ６１に戻る。一方、再生終了であった場合には、再生終了のための処理を実行する（Ｓ６６）。再生終了処理を終えると、このフローを終了し、ステップＳ１から再び実行する。
【０１０８】
このように、本発明の第３実施形態においては、撮影時に背景画像に切り替える等の画像合成を行う時間情報を付与し、再生時に時間情報に基づいて、表情変化の生ずるよりも前から背景画像に切り替える等の画像合成を行うようにしている。このため、変化が起こりつつある状況を表示することができ、より面白みのある動画を再生することができる。
【０１０９】
なお、本実施形態においては、前面画像、背面画像のどちらが面白いかを、動きと表情変化で判定したが、もちろん、前の被写体の表情変化と撮影者の表情変化を比較して切り替えたり、前の画像の動きと、背面の顔画像の動きを比較して切り替えるようにしてもよい。
【０１１０】
また、ステップＳ６４において再生される背面画像は、図５に示すように、完全に切り替えるのではなく、図３（ｂ）に示すような合成表示でもよいし、また図３（ｃ）に示すような白黒反転画像でもよい。さらに、変更信号を画像ファイルに添付するのは、撮影時でなくても、撮影後に編集する際に、添付するようにしても良い。
【０１１１】
このように、本発明の各実施形態においては、動画を撮影していれば、必ず起こる、単調な撮影を、単調にならない画像で補って軽減するので、素人にも、見やすく飽きない画像の撮影が可能な動画カメラや鑑賞装置を提供することが可能となる。
【０１１２】
また、本発明の各実施形態においては、被写体像および撮影者の顔画像の態様を検出し、この態様に応じて被写体像と撮影者の顔画像を合成するようにしている。このため、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることができる。
【０１１３】
なお、本発明の各実施形態においては、カメラ１０で撮影を行い、再生を楽しむ例を示したが、これに限らず、再生については、パーソナルコンピュータやテレビ等において楽しむことも可能である。パーソナルコンピュータやテレビ等で楽しむ場合には、カメラ１０で撮影した動画の画像データを格納して行えば良い。
【０１１４】
また、本発明の各実施形態においては、カメラ１０は動画で撮影し、再生していたが、通常のカメラと同様、静止画撮影および再生表示機能をもたせても良いことは勿論である。
【０１１５】
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１１６】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１７】
１ａ・・・前方撮影部、１ｂ・・・後方撮影部、２・・・画像記録制御部、２ａ・・・補助記録部、２ｂ・・・補助記録部、３・・・態様判定部、４・・・操作部、５・・・アバター情報部、６・・・比較および情報付与部、７・・・画像合成部、８・・・表示部、９・・・計時部、１０・・・カメラ、１０ａ・・・カメラ、１０ｂ・・・カメラ、２０・・・コンピュータ、２１・・・画面部分、３０・・・撮影者、３０ａ・・・撮影者、３０ｂ・・・撮影者、３１・・・被写体、３２ａ・・・陰影（Ｔ＝ｔ１）、３２ｂ・・・陰影（Ｔ＝ｔ２）、３３ａ・・・アバター、３３ｂ・・・アバター、３１・・・被写体、６１・・・両目の瞳を結ぶ線、６２・・・口の両端を結ぶ線、６４・・・矢印、６５・・・矢印
【技術分野】
【０００１】
本発明は、画像処理装置に関し、詳しくはカメラ前面と背面を撮影し、ここで得られた画像を用いて再生表示可能な画像処理装置に関する。
【背景技術】
【０００２】
従来、カメラは、静止画を撮影するための装置であったが、近年、画像信号がデジタル化されたことにより、連続して取得した画像に対して、コマ間圧縮を行うことにより、動画撮影の装置としても利用することが可能になってきた。このため、最近のデジタルカメラは、静止画と同様に動画も撮影できるようになってきている。
【０００３】
このように、デジタルカメラは静止画と動画の両方を撮影できるようになったが、静止画しか撮影したことのないユーザーにとって、動画をどのような場面で撮影してよいか分からず、また、撮影を開始したとしても、どの時点で撮影を止めればよいかが分からず、見苦しく、だらだらとした作品になってしまうことが多かった。
【０００４】
また、近年、画像処理の技術は進み、種々提案されている。例えば、特許文献１には、ユーザーの表情をゲームに反映させる画像処理装置が提案されている。すなわち、この画像処理装置は、ユーザーの表情に応じて表示させるシーンを変更し、また、ユーザー以外の人物をユーザーの頭部に入れ替えた合成画像を表示することにより、映像コンテンツに対する没入感・一体感を一層向上させるようにしている。
【０００５】
また、特許文献２には、撮影者の感情を撮影画像に反映させるようにしたビデオカメラが提案されている。すなわち、このビデオカメラのグリップ部にはセンサが設けられており、このセンサ出力に基づいて、ユーザーの緊張度が高い場合には、赤っぽく、またリラックスしている場合には、青っぽくなるように画像の色調を変更している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３００５６２号公報
【特許文献２】特開平４−９８９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このように、画像処理技術は種々提案されているが、撮影者と被写体との関係を反映した撮影を行うための画像処理ではなかった。すなわち、特許文献１に開示の画像処理装置は、ゲーム機における表示画像のための画像処理であって、撮影画像に変化をつけるものではない。また、特許文献２に開示のビデオカメラは、ユーザーの表情に応じて色調を変化させるものであって、鑑賞時に鑑賞者を楽しませるような画像の切り替えに関するものではない。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる画像処理装置は、被写体像を撮影した第１画像データを得る第１撮影部と、撮影者像を撮影して第２画像データを得る第２撮影部と、上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データを処理する画像処理部と、を備える。
【００１０】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理する。
第３の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理部は、上記被写体像の態様に応じて上記第１画像データ及び上記第２画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理する。
【００１１】
第４の発明に係わる画像処理装置は、上記第１ないし第３の発明において、上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者の態様の変化を検出する。
【００１２】
第５の発明に係わる画像処理装置は、上記第１ないし第４の発明において、画像記憶部と、画像表示部を更に備え、該画像記憶部は、上記画像処理部が処理した画像を記憶し、該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像を表示する。
【００１３】
第６の発明に係わる画像処理装置は、被写体像を撮影して第１画像データを得る第１撮影部と、撮影者像を撮影して第２画像データを得る第２撮影部と、撮影者を想起させるイメージ画像を生成する画像生成部と、上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データ又は上記イメージ画像を処理する画像処理部と、を備える。
【００１４】
第７の発明に係わる画像処理装置は、上記第６の発明において、上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記イメージ画像を処理する。
第８の発明に係わる画像処理装置は、上記第６または第７の発明において、上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者像の態様の変化を検出する。
【００１５】
第９の発明に係わる画像処理装置は、上記第６ないし第８の発明において、画像記憶部と画像表示部を更に備え、該画像記憶部は、上記画像処理部が処理した画像を記憶し、該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像又は上記イメージ画像を表示する。
【００１６】
第１０の発明に係わる画像処理装置は、上記第６ないし第９の発明において、上記イメージ画像は、撮影者の表情を表す画像である。
【発明の効果】
【００１７】
本発明によれば、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることのできる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるカメラにおいて、前方撮影部１ａと後方撮影部の組合せを示す図であり、（Ａ）は１台のカメラに両方を備える例を示し、（Ｂ）は２台のカメラが連携する例を示し、（Ｃ）は２台のカメラとこれと連携するコンピュータの組合せの例を示す図である。
【図３】本発明の第１実施形態において、撮影者が被写体の動きを動画で撮影している様子を示す図であり、（ａ）は撮影している様子を示し、（ｂ）乃至（ｃ）は撮影した動画を示す図である。
【図４】本発明の第１実施形態において、撮影者を撮影した背面画像の変化を示す図であり、（ａ）乃至（ｄ）は時間変化を示す。
【図５】本発明の第１実施形態において、前面画像と背面画像の合成を示す一例であり、前面画像と背面画像を完全に切り替える様子を示す図である。
【図６】本発明の第１実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図７】本発明の第１実施形態において、背面画像である撮影者の表情の数値化を説明する図であり、（ａ）は笑顔の例を示し、（ｂ）は困った顔の例を示す。
【図８】本発明の第１実施形態に係わる笑顔度Ｒを検出するためのフローチャートである。
【図９】本発明の第１実施形態において、撮影者の顔の向きの検出を説明する図であり、（ａ）は正面を向いている様子を示し、（ｂ）は横を向いている様子を示す図である。
【図１０】本発明の第１実施形態に係わるしぐさを判定するためのフローチャートである。
【図１１】本発明の第１実施形態において、背面画像の撮影者の表示の仕方を説明する図であり、（Ａ）は背面画像をそのまま使用する例であり、（Ｂ）はアバターを使用する例を示す図である。
【図１２】本発明の第２実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図１３】本発明の第２実施形態において、動き量の検出を説明する図であり、（Ａ）は前面画像の全体を示し、（Ｂ）は前面画像の部分拡大図である。
【図１４】本発明の第２実施形態に係わる動き量を検出するためのフローチャートである。
【図１５】本発明の第３実施形態に係わるカメラの構成を示すブロック図である。
【図１６】本発明の第３実施形態に係わるカメラ制御の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の第１実施形態におけるカメラは、動画の取得のために、カメラ前方を撮像するための撮像部と、カメラ後方を撮像するための撮像部と、２つの撮像部を有している。レリーズ釦の操作に応じて動画の画像データの取得を開始し、これを記録媒体に記録する。また、第１実施形態におけるカメラは、撮影者の表情やしぐさを判定し、その態様が変化した際に、カメラ後方を撮像するための撮像部によって撮影者の顔を撮像し、この顔画像をカメラ前方の画像データと合成することにより、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させている。
【００２０】
図１は本発明の第１実施形態に係わるカメラの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、前方撮影部１ａ、後方撮影部１ｂ、画像記録制御部２、態様判定部３、操作部４、アバター情報部５、画像合成部７、表示部８を有している。
【００２１】
前方撮影部１ａは、カメラ１０の本体の前方に配置され、主として被写体撮影用の撮影部であり、前面画像を取得する。後方撮影部１ｂは、図２（Ａ）に示すように、カメラ１０の本体の後方に配置され、主として撮影者の顔を撮影する撮影部であり、背面画像を取得する。前方撮影部１ａおよび後方撮影部１ｂは、それぞれ、被写体像を結像するための光学系、被写体像を光電変換する撮像素子を有し、それぞれの撮像素子から出力される画像信号を処理する画像処理部等が設けられており、それぞれの画像データを出力する。なお、前方撮影部１ａは、ズームレンズで構成しても良い。
【００２２】
画像記録制御部２は、記憶されているプログラムに従ってカメラ１０の全体制御を行うと共に、前方撮影部１ａおよび後方撮影部１ｂから出力される動画の画像データを記録制御する。また、画像記録制御部２は、前方撮影部１ａから出力される画像データを仮記憶する補助記録部２ａと、後方撮影部１ｂから出力される画像データを仮記憶する補助記録部２ｂとを有する。
【００２３】
本実施形態においては、前方撮影部１ａで撮影された前面画像の動画データが常に記録されるが、所定の状態においては後方の背面画像の動画データが合成処理され、この合成画像が記録される。この画像の合成を行うために、動画データが、補助記録部２ａ、２ｂにそれぞれ仮記憶される。
【００２４】
態様判定部３は、撮影者の画像（前面画像）や被写体の画像（背面画像）の態様を判定する。すなわち、この態様判定部３は、前方撮影部１ａおよび後方撮影部１ｂから画像データを入力し、この画像データに基づいて判定を行う。態様判定としては、撮影者の表情やしぐさや、被写体に変化があるか否か等を行う。
【００２５】
操作部４は、カメラ１０に設けられたレリーズ釦、ズーム釦等の操作部材である。レリーズ釦が操作されると、カメラ１０は動画撮影を開始し、再度レリーズ釦が操作されると、動画撮影を停止する。操作部４の操作状態は、画像記録制御部２に伝達される。アバター情報部５は、後述するように、撮影者をアバターに置き換えて表示するためアバターに関する情報が記憶されている。
【００２６】
表示部８は、図２（Ａ）に示すように、カメラ１０の背面等に配置された液晶モニタ等の表示装置を含み、画像記録制御部２に記録された動画の再生表示を行う。また、前方撮影部１ａによって取得された動画を、被写体像の観察用に、所謂ライブビュー表示する。
【００２７】
画像合成部７は、前方撮影部１ａによって取得された画像と、後方撮影部１ｂによって取得された画像を合成する。この画像合成部７によって生成された合成画像は、表示部８に表示される。前述の補助記録部２ａ、２ｂは、各撮影部によって取得された画像データを用いて画像合成するための仮記憶部である。
【００２８】
画像合成部７における画像合成は、態様判定部３の判定結果を入力し、撮影者の表情等や被写体像の変化等に基づいて、画像の切換等の合成処理を行う。本実施形態においては、前方撮影部１ｂによって取得された前面画像の動画を常時記録するが、態様判定部３によって態様の変化を検出すると、前方撮影部１ａによって取得された被写体像（前面画像）の動画に、後方撮影部１ｂによって取得された撮影者の顔画像（背面画像）の動画を合成して記録する。
【００２９】
なお、画像合成としては、親子画像のように前面画像に背面画像を合成する他（図３（ｃ）参照）、前面画像を白黒反転する等の画像処理や（図３（ｄ）参照）、完全に画像を切り替える切替処理（図５参照）等、種々の処理を含む。
【００３０】
また、本実施形態において、前方撮影部１ａと後方撮影部１ｂはカメラ１０に一体に設けられているが、これに限らず、図２（Ｂ）に示すように、１つの撮影部のみを有するカメラ１０ａ、１０ｂを２台用意し、この２台のカメラを連携するようにしても良い。この場合には、カメラ１０ａの撮影部を前方撮影部１ａとして使用し、カメラ１０ｂの撮影部を後方撮影部１ｂとして使用し、一方のカメラの制御部（画像記録制御部２）が、他方のカメラの撮影部を制御するように構成する。この場合の制御通信は、有線でも無線でも良い。
【００３１】
また、図２（Ｃ）に示すように、１つの撮影部のみを有するカメラ１０ａ、１０ｂを２台用意し、両者を制御するためのコンピュータ２０とからシステムを構成する。すなわち、カメラ１０ａの撮影部を前方撮影部１ａとして使用し、カメラ１０ｂの撮影部を後方撮影部１ｂとして使用し、コンピュータ２０が両カメラを制御する。無線ＬＡＮ等を搭載した機器であれば、制御信号や画像データのやり取りを行うことができる。
【００３２】
次に、本実施形態における動作について説明するが、まず図３乃至図５を用いて、本実施形態におけるカメラの使用状態について説明する。図３は、撮影者が被写体の動きを動画で撮影している様子を示す。撮影者３０は、図３（ａ）に示すように、カメラ１０の背面に設けた表示部８を見ながら、被写体３１を追いかけている。このとき、同時に、撮影者３０の表情も、背面に設けられている後方撮影部１ｂによってモニタ可能となっている。
【００３３】
この際、撮影者３０は、被写体３１を一生懸命、追いかけているので、その表情は、図４（ａ）→（ｂ）に示すように、殆ど変化しない。このときの画像は特に面白いものではなく、記録する必要がない。しかし、被写体に思わぬハプニングが起こると、図４（ｃ）に示すように表情が変化し、時には、図４（ｄ）に示すように、他所のほうを見てしまう場合もある。
【００３４】
このような撮影者の表情等の変化は、何かハプニングが起こっている様子を示しており、被写体以上に興味を引く表情をしている場合がある。本実施形態においては、このような撮影者の画像を有効に利用し、動画に変化をつけている。
【００３５】
動画の変化の付け方としては、例えば、撮影者の表情が変化したとき、前面画像（図３（ｂ））に撮影者の表情を重畳させて表示したり（図３（ｃ））、また、前面画像に、撮影者の表情にしたがって、変化をつける。前面画像の変化の付け方としては、例えば、驚いたり困ったりした表情の場合には、画像を白黒にして緊迫感を高めるようにしても良い（図３（ｄ））。
【００３６】
また、画像合成としては、図３（ｃ）に示すように、２つの画像を並置だけではなく、図５に示すように、完全に切り替えるようにしても良い。すなわち、前方撮影部１ａで被写体３１を撮影している際に（図５（ａ））、撮影者３０の表情が変化した場合等には、後方撮影部１ｂで撮影した撮影者３１の背面画像に切り替え、状況が変わると、再び、前方撮影部１ａによる被写体３１の前面画像に切り替えるようにしても良い（図５（ｃ））。
【００３７】
次に、図６に示すフローチャートを用いて、本発明の第１実施形態におけるカメラ１０の動作について説明する。本実施形態においては、図３乃至図５を用いて説明したように、撮影者の表情に変化があった場合等、被写体像や撮影者の顔画像の態様に応じて、後方撮影部１ｂからの背面画像を前方撮影部からの前面画像に合成して記録するようにしている。
【００３８】
カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードが撮影者によって設定可能である。ステップＳ１における判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。この撮影を行うか否かの判定は、操作部４のレリーズ釦が押し操作されたか否かを検出することによって行う。本実施形態においては、レリーズ釦が、一度、押し操作されると、動画撮影を開始し、再度、押されると動画撮影を終了する。
【００３９】
ステップＳ２における判定の結果、撮影でなかった場合には、ステップＳ１に戻る。一方、撮影であった場合には、前面撮影および記録を行う（Ｓ１１）。このステップでは、前方撮影部１ａによって、カメラ１０の前面の被写体を撮影し、画像記録制御部２に記録する。
【００４０】
続いて、しぐさ・表情判定を行う（Ｓ１２）。このステップＳ１２では、前方撮影部１ａおよび後方撮影部１ｂからの画像データを入力する態様判定部３において、撮影者の顔の表情、例えば、笑顔か困った顔か等を判定する。笑顔度の判定やしぐさの判定については、図７乃至図１０を用いて後述する。また、このステップにおいては、撮影者の顔の向き等についても判定する。
【００４１】
続いて、撮影者の顔の向きと表情に変化があるか否かの判定を行う（Ｓ１３）。このステップでは、ステップＳ１２における判定に結果に基づいて、表情変化や顔向きに変化あったか否かの判定を行う。このステップＳ１３における判定の結果、変化がなかった場合には、ステップＳ１１に戻り、前面撮影および記録を続行する。
【００４２】
ステップＳ１３における判定の結果、変化があった場合には、次に、前面画像に変化がないか否かの判定を行う（Ｓ１４）。ステップＳ１３における判定の結果、変化があった場合でも、前面の画像に変化がある場合には、前面の被写体画像の方が重要であることから、ステップＳ１１に戻り、前面撮影および記録を続行する。
【００４３】
一方、ステップＳ１４における判定の結果、前面画像に変化がなかった場合には、背面カメラによる記録を行う（Ｓ１５）。すなわち、撮影者の表情が変化する等の変化があり、かつ、前面の被写体画像に変化がない場合（単調な場合）には、前方撮影部１ａによる撮影に加えて、後方撮影部１ｂによる撮影を行い、このときの画像データも記録する。
【００４４】
続いて、操作終了か否かの判定を行う（Ｓ１６）。このステップでは、操作部材４の中のレリーズ釦が再度、操作されたか否かの判定を行う。この判定の結果、操作終了でなかった場合には、前面画面に変化があるか否かの判定を行う（Ｓ１７）。この判定の結果、前面画面に変化がなければ、後方撮影部１ｂによる撮影者の撮影を続行するために、ステップＳ１５に戻る。
【００４５】
一方、ステップＳ１７における判定の結果、前面画面に変化があった場合には、背面カメラ（後方撮影部１ｂ）による記録を終了する（Ｓ１９）。なお、後方撮影部１ｂからの画像データの記録は終了するが、ステップＳ１２においてしぐさ・表情の判定を行うために、後方撮影部１ｂによる撮影者の画像のモニタは続行する。
【００４６】
続いて、正面画像に特殊効果を施す（Ｓ２０）。ここでの特殊効果としては、図３（ｄ）に示したような白黒反転画像の生成や、図３（ｃ）に示したような親子画面による被写体画像と撮影者の画像の合成画像の生成、図５に示したような画像の完全切替等である。特殊効果を施すとステップＳ１１に戻り、前述の処理を行う。
【００４７】
ステップＳ１６における判定の結果、操作が終了した場合には、撮影終了を行う（Ｓ１８）。すなわち、このステップでは、撮影動作を終了させるための処理を行う。撮影終了を行うと、このフローを終了し、ステップＳ１から実行する。
【００４８】
ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードであり、この場合には、再生画像の選択がなされたか否かの判定を行う（Ｓ３）。このステップでは、操作部４の図示しない再生用操作部材によって複数の動画の中から再生画像が選択されたか否かの判定を行う。この判定の結果、再生画像が選択されていなかった場合には、このフローを終了し、ステップＳ１から再び実行する。
【００４９】
ステップＳ３における判定の結果、再生画像が選択された場合には、再生を行うか否かを判定し（Ｓ４）、この判定の結果、再生しない場合には、ステップＳ３に戻る。一方、再生の場合には、画像の再生を行う（Ｓ５）。このステップでは、画像記録制御部２に記録されている動画の再生を行う。
【００５０】
ステップＳ１１からステップＳ２０における動画の撮影にあたって、単調なシーンであって、撮影者の表情等が変化した場合には、後方撮影部１ｂによって撮影された背面画像が挿入されるので、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることができる。画像再生が終わると終了し、ステップＳ１から再び実行する。
【００５１】
なお、背面画像を挿入すると、ユーザーによっては、自分の顔がそのまま再生表示されることから、抵抗がある場合もある。そこで、撮影者の分身であるイメージ画像（アバター画像）を表示するようにしても良い。すなわち、図１１（Ａ）に示すように、撮影者３０ａの表情が撮影者３０ｂのように変化した場合、この表情変化に応じて、図１１（Ｂ）に示すように、アバター３３ａからアバター３３ｂに変化させる。
【００５２】
前述のアバター情報部５は、アバター３３ａ、３３ｂを記録・再生するためのアバター像のデータを有する。アバター画像は、後述するように、表情等を数値化するので、この数値に対応するアバター画像を読み出して使用すれば良い。
【００５３】
次に、ステップＳ１２における表情の変化の判定について、図７および図８を用いて、表情を数値Ｒに数値化する方法について説明する。図７は、人の笑顔（図７（ａ））と、困ったり驚いたときの顔（図７（ｂ））を比較したものであり、両者を比較すると、眼と口元に特徴があることが分かる。
【００５４】
すなわち、眼を比較すると、両目の瞳の中心を結んだ線６１の上側に白目が多いと、笑顔に近いことが分かる。また、口元も、同様な考え方で判定できる。つまり、口の両端を結んだ線６２より、下側にある唇部の面積が広いと、笑顔の度合いも大きくなる。本実施形態においては、笑顔になるほど高い得点になり、驚いたり困ったりすると低い得点になるようにしている。これによって、マイクロコンピュータなどの制御手段が判定し易くなる。
【００５５】
図７で示した判定方法を利用して笑顔度Ｒを求める方法について、図８に示すフローチャートを用いて説明する。まず、目部と口部の検出を行なう（Ｓ１５１）。これは、撮像素子３の出力に基づいて、顔検出部５ｄによって顔を検出し、その検出された顔の中から眼と、口の部分をパターン認識により抽出する。
【００５６】
続いて、ステップＳ１５２からＳ１５４において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ１５２）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ１５３）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ１５４）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。
【００５７】
次に、ステップＳ１５５からＳ１５７において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ１５５）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ１５６）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ１５７）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。
【００５８】
続いて、ステップＳ１５４とＳ１５７で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ１５８）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図７（ａ）の矢印６４付近の状態を判定する（Ｓ１５９）。すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Ｒに１点、加算する（Ｓ１６０）。
【００５９】
ただし、眉間にしわがあると笑顔とは言えないので、ステップＳ１６１で判定する。すなわち、図７（ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ１６１）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ１６２）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。
【００６０】
このように、笑顔度Ｒを求めるフローにより、撮影者の顔の表情を数値化することができる。後方撮影部１ｂによって顔を常時モニタし、その表情の数値を記録しておくと、被写体等の変化によって撮影者の表情に変化があれば、この笑顔度Ｒの値が変化することから、シーンの判断を行うことができる。
【００６１】
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図７において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。これ以外の方法によっても適宜、顔の表情を数値化するようにしても良い。
【００６２】
また、状況変化によって、撮影者の顔部に表れるのは、笑顔度等の表情変化だけでなく、撮影者の向いている方向も変化する。すなわち、図９に示すように、正面を向いている状態から（図９（ａ））から、横を向いたりすることがある（図９（ｂ））。顔の向きの変化は、顔の中心位置と、目の中心位置を求め、これらの時間変化（連続撮影での像変化）を数値化（Δｘ）することにより、判定することができる。
【００６３】
この顔の向きの変化を、図１０に示すしぐさ判定のフローを用いて説明する。このフローに入ると、まず、顔の中心座標を求める（Ｓ２５１）。続いて、目部中心座標を求める（Ｓ２５２）。これらの中心座標の求め方は種々あるが、例えば、顔のテンプレートを用意し、一致度の高いテンプレートに予め求められている中心位置を用いても良い。
【００６４】
続いて、前回の座標と、今回、求めた座標との比較を行う（Ｓ２５３）。すなわち、顔中心座標のズレ量や、目部中心座標のズレ量を（図９のΔｘ）を求める。次に、ステップＳ２５３で求めたズレ量が所定量変化したか否かの判定を行う（Ｓ２５６）。所定量は、撮影者の顔の向いている向きが変化したといえる程度の量であれば良い。
【００６５】
ステップＳ２５６における判定の結果、所定量変化したと判定された場合には、しぐさ有りと記憶する（Ｓ２５７）。ステップＳ２５６における判定の結果、所定量変化しなかったと判定されると、またはステップＳ２５７においてしぐさ有りを記憶すると、元のフローに戻る。
【００６６】
このように、図８に示した表情判定（笑顔度Ｒ）のフローや、図１０に示したしぐさ判定のフローを並列で行うことによって、カメラ１０の制御部（画像記録制御部２）は、ステップＳ１２、Ｓ１３において、撮影者の顔の向きや表情変化の判定を行うことができる。なお、ここでの判定は、上述したフローに限らず、他の要素について判定するようにしても良い。
【００６７】
次に、本発明の第２実施形態について、図１２乃至図１４を用いて説明する。本発明の第１実施形態においては、常時前面画像を記録し、撮影時に撮影者の顔の向きや表情が変化し、かつ前面画像に変化ない等、被写体像と撮影者の顔の像の態様に応じて、後方撮影部１ｂによる背面画像を記録し、両画像を用いて画像合成を行っていた。第２実施形態においては、撮影時には、常時、前方撮影部１ａによる前面画像と後方撮影部１ｂによる背面画像の両方を記録し、再生時に、被写体像と撮影者の顔の像の態様に応じて、両画像を用いて画像の合成を行うか否かを判定するようにしている。
【００６８】
第２実施形態の構成は、図１に示した第１実施形態の構成と同様であり、図６に示したカメラ制御のフローを図１２に示すフローチャートに置き換えるだけであるので、この相違するフローを中心に説明する。
【００６９】
図１２に示すフローに入ると、第１実施形態と同様に、撮影モードか否かの判定を行う（Ｓ１）。この判定の結果、撮影モードが選択されていた場合には、撮影を行うか否かの判定を行う（Ｓ２）。この判定の結果、撮影を行わない場合には、ステップＳ１に戻る。
【００７０】
ステップＳ２における判定の結果、撮影を行う場合には、前面および背面での撮影及び記録を行う（Ｓ３１）。このステップでは、前方撮影部１ａと後方撮影部１ｂによって、それぞれ撮影を行い、両画像データを画像記録制御部２に記録する。続いて、前面動き量の記録を行う（Ｓ３２）。前面動き量は、動きベクトルを検出することにより行う。詳しくは図１３及び図１４を用いて後述する。
【００７１】
続いて、背面表情数値化記録を行う（Ｓ３３）。このステップでは、前述した笑顔度Ｒ等、撮影者の顔の表情を数値化して記録する。背面表情を数値化し記録すると、ステップＳ１６と同様に、操作終了か否かの判定を行う（Ｓ３４）。この判定の結果、撮影終了操作がなされていなかった場合には、ステップＳ３１に戻り、前面と背面の撮影・記録を続行する。
【００７２】
一方、ステップＳ３４における判定の結果、操作終了であった場合には、ステップＳ１８と同様に、撮影終了動作を行う（Ｓ３５）。撮影終了動作を行うと、終了し、ステップＳ１から再び実行する。このように、撮影時には、ステップＳ１１からＳ３４を繰り返し実行することにより、前面および背面の両方の画像が同時記録される。また、このとき、前面の動き量と表情を数値化した値が同時に記録される。
【００７３】
ステップＳ１における判定の結果、撮影モードでなかった場合には、第１実施形態と同様に再生画像が選択されているか否かの判定を行う（Ｓ３）。この判定の結果、選択されていなかった場合には、ステップＳ１に戻る。一方、選択されていた場合には、第１実施形態と同様に、再生を開始するか否かの判定を行う（Ｓ４）。この判定の結果、再生開始でなかった場合には、ステップＳ３に戻る。
【００７４】
一方、ステップＳ４における判定の結果、再生開始であった場合には、前面画像の再生を行う（Ｓ５）。前述したように、画像記録制御部２には、前面画像と背面画像の両方が記録されているが、この中から前面画像を読出し、これを表示部８に再生表示する。
【００７５】
次に、背面画像の表情を表す数値に変化があったか否かを判定する（Ｓ４１）。このステップでは、前面画像を再生しながら、ステップＳ３３において画像データと一緒に記録された背面表情数値を検出し、この数値に変化があったかを判定する。このステップＳ４１における判定の結果、背面表情数値に変化があった場合には、次に、前面動き量が所定値以下か否かを判定する（Ｓ４２）。このステップでは、前面画像を再生しながら、ステップＳ３２において画像データと一緒に記録された前面動き量を検出し、この動き量が所定値以下になったかを判定する。
【００７６】
ステップＳ４２における判定の結果、前面動き量が所定値以下であった場合には、背面カメラ画像に対応するアバターを表示する（Ｓ４６）。すなわち、ステップＳ４１およびＳ４２における判定の結果、前方撮影部１ａで撮影した前面画像には変化がなく、かつ、後方撮影部１ｂで撮影した背面画像で撮影者の顔の表情が変化した状態であり、この場合には、撮影者の顔の表情変化に応じた表情のアバターをアバター情報部５から読み出し、再生表示する。
【００７７】
アバターを表示することにより、前面画面の動きが単調な場合、適宜、背面の変化ある画像に基づいた状況を説明するアバターを表示するこができ、鑑賞者を飽きさせないようにすることが可能となる。アバターを表示させると、ステップＳ５に戻り、前面画像の再生を行う。
【００７８】
ステップＳ４１における判定の結果、背面表示を表す数値に変化がなかった場合、またはステップＳ４２における判定の結果、前面動き量が所定値以上あった場合には、再生終了か否かの判定を行う（Ｓ４４）。このステップでは、操作部４の中の再生終了操作部材（不図示）の操作状態を検出し、判定する。この判定の結果、再生終了でなかった場合には、ステップＳ５に戻り、前面画像の再生を行う。
【００７９】
ステップＳ４４における判定の結果、再生終了であった場合には、再生終了動作を行う（Ｓ４５）。再生終了動作を行うと、終了し、ステップＳ１から再び実行する。
【００８０】
なお、本実施形態においては、ステップＳ４１およびＳ４２をＹｅｓで通過した場合には、背面画像に対応するアバターを表示するようにしていたが、前面画像を見たいユーザーのために、背面画像と同時に記録されている前面画像を再生指示するようにしてもよい。
【００８１】
また、本実施形態においては、ステップＳ４６において、アバターを表示するようにしていたが、第１実施形態と同様に、撮影者の画像を用いて合成画像を生成し、表示するようにしても勿論かまわない。
【００８２】
次に、ステップＳ３２における動き量の記録で行われる動き量の検出について、図１３および図１４を用いて説明する。図１３（Ａ）は、画面内の被写体３１の様子を示したものであり、この画面内のうちの薄墨を施した画面部分２１を、図１３（Ｂ）に示す。被写体３１である子供が手を振り上げた時、手の部分の画素は、タイミングＴ＝ｔ１での陰影３２ａが、タイミングＴ＝ｔ２では、図に示すように、陰影３２ｂの位置に変化している。本実施形態は、陰影３２ａ、３２ｂのパターン自身はあまり変化せず、位置のみが変化することに着目して、動き量を検出している。
【００８３】
図１４に示す動き量のフローは、前方撮影部１ａによって撮像するたびに実行される。この動き量の検出のためのフローに入ると、まず前の駒の画面中央部の画像を検出する（Ｓ３０１）。このステップでは、前回、前方撮影部１ａによって撮影された際の画像データの中から画面中央部に相当する部分の画像データを読み出す。
【００８４】
続いて、現在の駒の画面中央部の画像を検出する（Ｓ３０２）。このステップでは、今回、前方撮影部１ａによって撮影した際の画像データの中から画面中央部に相当する部分の画像データを読み出す。この読出し終わると、２つの画像を比較する（Ｓ３０３）。すなわち、ステップＳ３０１で読み出した画像データと、ステップＳ３０２で読み出した画像データの一致度を検出する。
【００８５】
次に、ステップＳ３０３における比較結果に基づいて、両画像が一致するか否かを判定する（Ｓ３０４）。この判定の結果、両画像が一致していなかった場合には、一方の画像をずらす（Ｓ３０６）。このステップでは、例えば、前の駒の画像データを１画素ずらした画像データを生成する。画素をずらすにあたって、前後左右に向けて規則的にずらしていく。
【００８６】
一方の画像をずらすと、次に、このずらし量が所定量以上か否かの判定を行う（Ｓ３０７）。所定量以上の動き量がある場合には、被写体３１の動きに変化があることから、正確に動き量を求める必要がない。このステップＳ３０７における判定の結果、所定量以上でなかった場合には、ステップＳ３０３に戻る。
【００８７】
一方、ステップＳ３０７における判定の結果、所定量以上であった場合には、ずらし量を最大と判定する（Ｓ３０８）。すなわち、相当の動きで、被写体３１は変化していると判定する。この判定を行うと、元のフローに戻る。
【００８８】
ステップＳ３０４における判定の結果、２つの画像を比較した結果、両画像が一致していた場合には、一致したときのずらし量を動き量とする（Ｓ３０５）。すなわち、ステップＳ３０６において、前後左右に少しずつ画像をずらしていたが、基準とする最初の画像からのずらし量を求め、このずらし量を動き量とする。ずらし量を動き量とすると元のフローに戻る。
【００８９】
このように、動き量のフローにおいては、前回と今回の画像を比較し、両者が一致するまで一方の画像をずらしていく。そして、一致したときのずらし量を動き量とし、動き量が大きく一致しない場合にはずらし量最大と判定する。このように動き量を数値化することによって、どの程度の画像の動きがあったかを判定することができ、画像切り替えのレベル設定が可能となる。また、撮影シーンなどによって判定量を切替えるようにしてもよい。例えば、運動会のシーンのように動きが激しい被写体の場合には、判定量は大きめに設定しておいた方がよく、一方、赤ちゃんのように動きが小さい被写体の場合には、判定量は小さめで良い。
【００９０】
以上説明したように、本発明の第２実施形態においては、ステップＳ３１において、前面画像と背面画像を同時に記録し、再生時に、前面の被写体像と、背面の撮影者の顔画像の態様に応じて、背面画像に基づく画像を表示するようにしている。このため、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることができる。
【００９１】
次に、本発明の第３実施形態を図１５および図１６を用いて説明する。本発明の第１および第２実施形態においては、変化が起きてから前面画像から背面画像との画像切り替え等の画像合成を行っていたが、第３実施形態においては、変化が起こる前から画像切り替え等を行うようにしている。すなわち、変化が起こってから画像切り替えを行うよりも、変化が起こりつつある状況を表示した方が見応えがある場合が多いことから、変化開始前より先立って画像切り替えを行うようにしている。
【００９２】
図１５は、本実施形態の構成を示すブロック図である。図１に示した第１実施形態と同一の構成については、同一の符号を付し、詳しい説明は省略する。計時部９は、時間を計時し、時間情報を比較および情報付与部６に出力する。
【００９３】
比較および情報付与部６は、前方撮影部１ａによって取得した前面画像の画像データに基づいて得られる前面動き量Ｍと、後方撮影部１ｂによって取得した背面画像の画像データに基づいて得られる背面表情数値（笑顔度）Ｒとを比較する。また、計時部９から時間情報を入力し、変化判定のタイミングを示す変更信号等の情報を画像データに付与する。すなわち、前面画像の再生時に、背面画像に切り替えるタイミングを変更信号として画像データに付与する。
【００９４】
次に、本実施形態の動作を図１６に示すフローチャートを用いて説明する。ステップＳ１およびステップＳ２において、第１実施形態と同様に、撮影モードか否かの判定を行い、撮影モードの場合には撮影を行うか否かの判定を行う。
【００９５】
ステップＳ２における判定の結果、撮影であった場合には、前面および背面撮影を行い、画像データを記録する（Ｓ５１）。このステップでは、前方撮影部１ａにおいて前面画像を取得し、後方撮影部１ｂにおいて背面画像を取得し、両画像の画像データを同時に記録する。
【００９６】
続いて、前面画像の画像データに基づいて前面動き量Ｍを記録する（Ｓ５２）。このステップでは、図１４に示した動き量のフローを実行し、一致したときのずらし量をＭとして記録する。なお、このときの動き量Ｍは画素数単位で求められる。
【００９７】
続いて、背面表情数値化Ｒを記録する（Ｓ５３）。このステップでは、後方撮影部１ｂからの背面画像の画像データを用いて、図８に示した笑顔度Ｒのフローを実行して笑顔度Ｒを求め、記録する。次に、前の駒の背面表情数値化Ｒと比較し、その差分ΔＲを求める（Ｓ５４）。このステップでは、前回、背面表情数値化（笑顔度）Ｒを読出し、この値Ｒと、ステップＳ５３で求めた背面表情数値化Ｒの差分ΔＲを求める。
【００９８】
続いて、差分ΔＲが前面動き量Ｍ／３２０より大なるかを判定する（Ｓ５５）。このステップでは、ステップＳ５４で求めた差分ΔＲと、ステップＳ５２に記録した動き量Ｍを３２０で除算した値とを比較し、ΔＲ＞Ｍ／３２０であるか否かの判定を行う。
【００９９】
ここで、動き量Ｍを３２０で除算しているのは、以下の理由からである。動き量Ｍは、例えば、画面横方向に１０％も変化するとかなりの動きと判定できる。この動きは、カメラの画素数によって数字が異なるが、例えば、８００万画素のカメラの場合、３２００×２４００画素であり、横方向に画素数の１０％である３２０画素が対応する。したがって、動き量Ｍを３２０画素で除算した値を、ステップＳ５５における比較の対象としている。なお、この３２０は、画素数等によって適宜、設計値を変更しても良い。
【０１００】
また、ステップＳ５５における差分ΔＲは、表情変化を示す値であり、この表情変化のレンジは、通常、−１〜３であり、１以上の変化があれば、大きな変化と考えられる。動き量Ｍと表情数値化Ｒとは、次元の異なる数字であり、本来は同じ土俵では語れない変化である。しかし本実施形態においては、動き量Ｍを３２０で割った値と、表情変化の差分ΔＲを比較して、ΔＲの変化の方が大きい場合、背面画像の方が鑑賞時に面白いと判定している。
【０１０１】
ステップＳ５５における判定の結果、ΔＲの方がＭ／３２０よりも大きかった場合には、変更信号を画像ファイルに付与する（Ｓ５８）。すなわち、この場合には、前面画像よりも背面画像に変化があり、鑑賞時には背面画像のほうが面白ことから、変更信号を画像データに付与する。また、変更信号には、表情変化したタイミングを表す時間情報を付する。
【０１０２】
ステップＳ５８において変更信号を画像データに付与すると、またはステップＳ５５における判定の結果、ΔＲ＞Ｍ／３２０でなかった場合には、ステップＳ１６と同様に、操作終了か否かの判定を行う（Ｓ５６）。この判定の結果、操作終了でなかった場合には、ステップＳ５１に戻り、前述の動作を実行する。一方、ステップＳ５６における判定の結果、操作終了であった場合には、ステップＳ１８と同様に、撮影を終了する（Ｓ５７）。撮影を終了すると、再び、ステップＳ１から実行する。
【０１０３】
ステップＳ１における判定の結果、撮影モードでなかった場合には、第１実施形態と同様に、ステップＳ３およびステップＳ４において再生モードによる再生を行うか否かの判定を行う。ステップＳ４における判定の結果、再生の場合には、変化信号時間判定を行う（Ｓ６１）。
【０１０４】
前述したように、前面画像より背面画像のほうが撮影者の表情に変化があり面白い場合には、ステップＳ５８において変更信号が付与されている。そこで、ステップＳ６１においては、前面画像を再生するにあたって、まず変更信号に付与されている変更のタイミングを示す時間情報を検出する。
【０１０５】
続いて、前面画像の再生を行う（Ｓ６２）。このステップでは、画像記録制御部２に記録されている前面画像の再生を行う。続いて、変更信号タイミングの所定時間前か否かの判定を行う（Ｓ６３）。ステップＳ６１において、変更するタイミングを検出しているので、このステップでは、検出されたタイミングの所定時間前、例えば、１秒程度前であるか否かの判定を行う。
【０１０６】
ステップＳ６３における判定の結果、所定時間前であれば、背面カメラ画像を所定時間の間、再生する（Ｓ６４）。ここでの背面画像の再生は、図５に示したように、前面画像を完全に背面画像に切り替えるようにしている。これによって、変化が終わってしまったタイミングではなく、それより、１秒程度前のタイミングから背面画像の再生を開始する。後方撮影部１ｂでの撮影結果の方が面白いシーンでは、その表情変化を表示し、より鑑賞時に楽しめる画像とすることが可能となる。背面画像の再生を終わると、ステップＳ６１に戻る。
【０１０７】
ステップＳ６３における判定の結果、変更信号のタイミングが所定時間前でなかった場合には、再生終了か否かの判定を行う（Ｓ６５）。このステップでは、選択された再生画像の再生が終了したか、または再生終了用の操作部材が操作されたかを判定する。この判定の結果、再生終了でない場合には、ステップＳ６１に戻る。一方、再生終了であった場合には、再生終了のための処理を実行する（Ｓ６６）。再生終了処理を終えると、このフローを終了し、ステップＳ１から再び実行する。
【０１０８】
このように、本発明の第３実施形態においては、撮影時に背景画像に切り替える等の画像合成を行う時間情報を付与し、再生時に時間情報に基づいて、表情変化の生ずるよりも前から背景画像に切り替える等の画像合成を行うようにしている。このため、変化が起こりつつある状況を表示することができ、より面白みのある動画を再生することができる。
【０１０９】
なお、本実施形態においては、前面画像、背面画像のどちらが面白いかを、動きと表情変化で判定したが、もちろん、前の被写体の表情変化と撮影者の表情変化を比較して切り替えたり、前の画像の動きと、背面の顔画像の動きを比較して切り替えるようにしてもよい。
【０１１０】
また、ステップＳ６４において再生される背面画像は、図５に示すように、完全に切り替えるのではなく、図３（ｂ）に示すような合成表示でもよいし、また図３（ｃ）に示すような白黒反転画像でもよい。さらに、変更信号を画像ファイルに添付するのは、撮影時でなくても、撮影後に編集する際に、添付するようにしても良い。
【０１１１】
このように、本発明の各実施形態においては、動画を撮影していれば、必ず起こる、単調な撮影を、単調にならない画像で補って軽減するので、素人にも、見やすく飽きない画像の撮影が可能な動画カメラや鑑賞装置を提供することが可能となる。
【０１１２】
また、本発明の各実施形態においては、被写体像および撮影者の顔画像の態様を検出し、この態様に応じて被写体像と撮影者の顔画像を合成するようにしている。このため、被写体の画像だけでは読み取れないような撮影者の様子も画像に反映させることができる。
【０１１３】
なお、本発明の各実施形態においては、カメラ１０で撮影を行い、再生を楽しむ例を示したが、これに限らず、再生については、パーソナルコンピュータやテレビ等において楽しむことも可能である。パーソナルコンピュータやテレビ等で楽しむ場合には、カメラ１０で撮影した動画の画像データを格納して行えば良い。
【０１１４】
また、本発明の各実施形態においては、カメラ１０は動画で撮影し、再生していたが、通常のカメラと同様、静止画撮影および再生表示機能をもたせても良いことは勿論である。
【０１１５】
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１１６】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１７】
１ａ・・・前方撮影部、１ｂ・・・後方撮影部、２・・・画像記録制御部、２ａ・・・補助記録部、２ｂ・・・補助記録部、３・・・態様判定部、４・・・操作部、５・・・アバター情報部、６・・・比較および情報付与部、７・・・画像合成部、８・・・表示部、９・・・計時部、１０・・・カメラ、１０ａ・・・カメラ、１０ｂ・・・カメラ、２０・・・コンピュータ、２１・・・画面部分、３０・・・撮影者、３０ａ・・・撮影者、３０ｂ・・・撮影者、３１・・・被写体、３２ａ・・・陰影（Ｔ＝ｔ１）、３２ｂ・・・陰影（Ｔ＝ｔ２）、３３ａ・・・アバター、３３ｂ・・・アバター、３１・・・被写体、６１・・・両目の瞳を結ぶ線、６２・・・口の両端を結ぶ線、６４・・・矢印、６５・・・矢印
【特許請求の範囲】
【請求項１】
被写体像を撮影した第１画像データを得る第１撮影部と、
撮影者像を撮影して第２画像データを得る第２撮影部と、
上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、
上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データを処理する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像処理部は、上記被写体像の態様に応じて上記第１画像データ及び上記第２画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者の態様の変化を検出することを特徴とする請求項１ないし３のいずれか一項に記載の画像処理装置。
【請求項５】
画像記憶部と、画像表示部を更に備え、
該画像記憶部は、上記画像処理部が処理した画像を記憶し、
該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像を表示する、
ことを特徴とする請求項１ないし４のいずれか一項に記載の画像処理装置。
【請求項６】
被写体像を撮影して第１画像データを得る第１撮影部と、
撮影者像を撮影して第２画像データを得る第２撮影部と、
撮影者を想起させるイメージ画像を生成する画像生成部と、
上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、
上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データ又は上記イメージ画像を処理する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項７】
上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記イメージ画像を処理することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者像の態様の変化を検出することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
画像記憶部と画像表示部を更に備え、
該画像記憶部は、上記画像処理部が処理した画像を記憶し、
該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像又は上記イメージ画像を表示する、
ことを特徴とする請求項６なし８のいずれか一項に記載の画像処理装置。
【請求項１０】
上記イメージ画像は、撮影者の表情を表す画像であることを特徴とする請求項６ないし９のいずれか一項に記載の画像処理装置。
【請求項１】
被写体像を撮影した第１画像データを得る第１撮影部と、
撮影者像を撮影して第２画像データを得る第２撮影部と、
上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、
上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データを処理する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像処理部は、上記被写体像の態様に応じて上記第１画像データ及び上記第２画像データを処理し、上記撮影者像の態様に応じて上記第１画像データ及び上記第２画像データを処理することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者の態様の変化を検出することを特徴とする請求項１ないし３のいずれか一項に記載の画像処理装置。
【請求項５】
画像記憶部と、画像表示部を更に備え、
該画像記憶部は、上記画像処理部が処理した画像を記憶し、
該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像を表示する、
ことを特徴とする請求項１ないし４のいずれか一項に記載の画像処理装置。
【請求項６】
被写体像を撮影して第１画像データを得る第１撮影部と、
撮影者像を撮影して第２画像データを得る第２撮影部と、
撮影者を想起させるイメージ画像を生成する画像生成部と、
上記第１画像データ又は上記第２画像データを処理して、上記被写体像又は上記撮影者像の態様を検出する画像検出部と、
上記被写体像又は上記撮影者像の態様に応じて、上記第１画像データ及び上記第２画像データ又は上記イメージ画像を処理する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項７】
上記画像処理部は、上記被写体像の態様に応じて上記第１画像データを処理し、上記撮影者像の態様に応じて上記イメージ画像を処理することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記画像検出部は、上記被写体像の態様の変化を検出する、又は上記撮影者像の態様の変化を検出することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
画像記憶部と画像表示部を更に備え、
該画像記憶部は、上記画像処理部が処理した画像を記憶し、
該画像表示部は、上記第１画像データ又は上記第２画像データ又は上記画像処理部が処理した画像又は上記イメージ画像を表示する、
ことを特徴とする請求項６なし８のいずれか一項に記載の画像処理装置。
【請求項１０】
上記イメージ画像は、撮影者の表情を表す画像であることを特徴とする請求項６ないし９のいずれか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１３１４５（Ｐ２０１３−１３１４５Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−２２１２７７（Ｐ２０１２−２２１２７７）
【出願日】平成２４年１０月３日（２０１２．１０．３）
【分割の表示】特願２００８−１６２９３０（Ｐ２００８−１６２９３０）の分割
【原出願日】平成２０年６月２３日（２００８．６．２３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年１０月３日（２０１２．１０．３）
【分割の表示】特願２００８−１６２９３０（Ｐ２００８−１６２９３０）の分割
【原出願日】平成２０年６月２３日（２００８．６．２３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]