撮影機器および画像データ生成方法
【課題】変化に富んだ動画像を取得することの可能な撮影機器および画像データ生成方法を提供する。
【解決手段】被写体像を撮像し、動画の画像データを出力する撮像部２と、画像データ３１ａから３１ｅに基づいて、被写体の動きを解析する動き解析部３ｃａと、動き解析部３ｃａによって解析された被写体の動きに応じて、画像データに対して効果画処理を行う効果付与部３ｂと、効果付与部３ｂによって効果画処理が施された画像データ３３ｂ〜３３ｅを記録する記録部６を具備する。
【解決手段】被写体像を撮像し、動画の画像データを出力する撮像部２と、画像データ３１ａから３１ｅに基づいて、被写体の動きを解析する動き解析部３ｃａと、動き解析部３ｃａによって解析された被写体の動きに応じて、画像データに対して効果画処理を行う効果付与部３ｂと、効果付与部３ｂによって効果画処理が施された画像データ３３ｂ〜３３ｅを記録する記録部６を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影機器および画像データ生成方法に関し、詳しくは、撮影時における画像処理を自動的に選択可能な撮影機器および画像データ生成方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの携帯機能付き携帯機器（撮影機器）は、画像処理を利用することにより撮影領域を拡大している。また、様々な画像処理をユーザが利用可能になってきており、撮影者の感性を反映させた絵作りを簡単に楽しむことが可能になってきている。
【０００３】
例えば、特許文献１には、デジタルエフェクトキーを操作することにより、アニメーションデータや文字列データが読み出され、特殊効果を施した画像を楽しむことができる映像記録装置が開示されている。また、特許文献２には、動画像の動きに応じて視覚的なアクションを施すようにした画像合成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４７８８６号公報
【特許文献２】特許４１４２４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、画像に処理を施すことは種々提案されている。しかし、特許文献１に開示の映像記録装置は、静止画に対する特殊効果を施すのみであって、動画に対して特殊効果を施すことについては何ら考慮されていない。特許文献２に開示の画像合成装置は、動画に対して特殊効果を施すようにしている。しかし、一瞬の動きに反応するだけであって、動きの過程を分析し、動き全体に対して特殊効果を調節するものではない。動画の場合には、動きが重要であり、この動き全体に応じて画像処理を変化させると、変化に富んだ画像となるが、従来はこのような観点の撮影機器は提案されていなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、撮影中に特別な操作を行うことなく、変化に富んだ動画像を取得することの可能な撮影機器および画像データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮影機器は、被写体像を撮像し、画像データを出力する撮像部と、上記画像データに基づいて、人物の画像の内の顔部分の向きの変化の開始時点と終了時点を判定する顔変化判定部と、上記顔変化判定部に判定された上記開始時点と上記終了時点に基づいて、上記画像データの画像処理を行う画像処理部と、を具備する。
【０００８】
第２の発明に係わる撮影機器は、上記第１の発明において、上記顔変化判定部は、さらに上記顔の部分の大きさの変化を判定し、上記画像処理部は、上記顔の大きさの変化に基づいて、上記画像処理の内容を決定する。
【０００９】
第３の発明に係わる撮影機器は、被写体像を撮像し、動画の画像データを出力する撮像部と、上記画像データに基づいて、被写体の動きを解析する動き解析部と、上記動き解析部によって解析された被写体の動きに応じて、上記画像データに対して効果画処理を行う効果付与部と、上記効果付与部によって効果画処理が施された画像データを記録する記録部と、を具備する。
【００１０】
第４の発明に係わる撮影機器は、上記第３の発明において、さらに、上記動き解析部によって解析された上記被写体の動きに基づいて、上記効果付与部によって効果画処理を施す範囲を判定する動作始点終点判定部を有する。
第５の発明に係わる撮影機器は、上記第４の発明において、上記効果付与部は、上記動作始点終点判定部によって判定された始点と終点の間の画像データに対して、上記効果画処理を施す。
【００１１】
第６の発明に係わる撮影機器は、上記第３の発明において、上記動き解析部は、上記被写体の動きを予め決められたパターンに分類する。
第７の発明に係わる撮影機器は、上記第６の発明において、上記効果付与部は、上記動き解析部によるパターンに応じて、効果画処理を変更する。
第８の発明に係わる撮影機器は、上記第３の発明において、上記動作解析部は、被写体の人物の顔の向きおよび大きさの少なくとも１つを用いて、被写体の動きを解析する。
【００１２】
第９の発明に係わる画像データ生成方法は、被写体像を撮像して動画の画像データを出力し、上記画像データに基づいて、被写体の動きを解析し、上記解析された被写体の動きに応じて、上記画像データに対して効果画処理を行い、上記効果画処理が施された画像データを記録する。
【発明の効果】
【００１３】
本発明によれば、被写体の動きに応じて画像処理を施すので、撮影中に特別な操作を行うことなく、変化に富んだ動画像を取得することの可能な撮影機器および画像データ生成方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理部の詳細を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおいて、動きのある被写体を撮影している様子を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、動きのある被写体を撮影した場合の画像処理を説明する図であり、（ａ）は画像処理を施す前の画像であり、（ｂ）は画像処理を施した後の画像である。
【図５】本発明の一実施形態に係わるカメラにおいて、別の動きのある被写体を撮影している様子を示す図である。
【図６】本発明の一実施形態に係わるカメラにおいて、別の動きのある被写体を撮影した場合の画像処理を説明する図であり、（ａ）は画像処理を施す前の画像であり、（ｂ）は画像処理を施した後の画像である。
【図７】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きの検出を説明する図であって、（ａ）は顔が正面を向いている場合、（ｂ）は顔が右側を向いている場合、（ｃ）は顔が左側を向いている場合を示す。
【図８】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きを顔の陰影の追跡によって検出する場合を説明する図であって、（ａ）〜（ｃ）は顔が正面から次第に右側に向かって移動する様子を示す。
【図９】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きを示す図であって、（ａ）は目鼻の陰影の中心からの距離の変化を示し、（ｂ）は人物の頭部の大きさの変化を示すグラフである。
【図１０】本発明の一実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラの軌跡判定の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きを示す図であって、（ａ）〜（ｃ）は人物の頭部が上下する場合の変化を示す図である。
【図１３】本発明の一実施形態に係わるカメラの始点終点判定の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラの効果画処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気的構成を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、画像処理部３、記録部６、時計部７、表示部８、操作部９等から構成される。
【００１６】
撮像部２は、ズーム機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。なお、本明細書においては、撮像素子から出力される画像信号に基づく信号であれば、画像処理された信号も含めて画像データと称する。
【００１７】
顔検出部２ａは撮像部２から出力され、制御部１内の画像処理部３によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。また、顔を検出することができた場合には、頭部の大きさ（顔の大きさ）も検出する。
【００１８】
制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、記録制御部１ａ、顔変化判定部１ｂ、モード設定部１ｃ、画像処理部３を有する。記録制御部１ａは、静止画や動画の画像データの記録部６への記録の制御を行う。この制御にあたって、動画アートモードが設定されている場合には、画像を解析し、所定の動作区間に対して画像処理を施してから記録されるように制御する。
【００１９】
顔変化判定部１ｂは、顔検出部２ａによって人物の顔の部分が検出された場合には、この検出された顔の向きの変化を判定する。モード設定部１ｃは、メニュー画面等によって動画アートモードを設定するための処理部である。この動画アートモードは、後述するように、顔変化判定部１ｂの判定結果を用いて、人物の顔の向き等が所定の範囲にある場合、その範囲内において、画像処理を施し、変化に富んだ動画像にするためのモードである。
【００２０】
制御部１内の画像処理部３は、仮記録部３ａ、効果付与部３ｂ、およびその他の画像処理部を有する。その他の画像処理部では、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。
【００２１】
また、仮記録部３ａは、後述するように、動画の画像データを仮記録するためのメモリであり、効果付与部３ｂは、動画アートモードが設定された場合には、仮記録された動画像に対して画像効果を与えるような画像処理を施す。画像処理部３の詳細は、図２を用いて後述する。
【００２２】
操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。なお、動画アートモードは、前述したようにメニュー画面にて設定するが、これ以外にも、動画アートモード設定用の動画アートモード釦を設け、この釦を操作することによって設定するようにしても構わない。また、動画撮影時には必ずアートモードが設定されるようにしても良い。
【００２３】
記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部３によって圧縮処理された静止画や動画の画像データを記録する。表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報やメニュー画面の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、動画撮影時における動画アートモードで撮影された画像の再生表示も行う。
【００２４】
時計部７は、計時動作を行い、撮影日時情報を出力する。この撮影日時情報は、静止画や動画の画像データを記録部６に記録する際に合わせて記録する。また、動画アートモードで撮影する際には、動画撮影における計時動作にも使用される。
【００２５】
次に、図２を用いて画像処理部３の構成の詳細について説明する。画像処理部３は、前述したように、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理等の各種画像処理を行うが、図２には、動画アートモードにおける画像データ生成に関連する構成を示し、この構成を主に説明する。
【００２６】
仮記録部３ａは、撮像部２からの画像データと、顔検出部２ａからの顔検出結果を、それぞれ仮記録するためのメモリ０〜メモリｎを有する。メモリ０〜メモリｎに仮記録された顔検出結果の出力は、動作解析部３ｃａに接続される。この動作解析部３ｃａは、顔の軌跡や大きさの変化を解析する。
【００２７】
動作解析部３ｃａは動作始点終点判定部３ｃｂに接続され、この動作始点終点判定部３ｃｂは、動作解析部３ｃａの解析結果を用いて、人物の所定動作の始点や終点を判定する。所定動作としては、例えば、人物が踊りながら回るような場合があり、この場合の始点は任意の位置と、その位置から１周回った位置が相当する。この回る動作以外にも、例えば、振り返るような動作や、後ろ向きになって遠くに去っていく動作等、種々の所定動作がある。
【００２８】
動作始点終点判定部３ｃｂの出力と、仮記録部３ａに仮記録された動画の画像データの出力は、効果付与部３ｂの１つである採用決定部３ｂａに接続されている。採用決定部３ｂａは、動作始点終点判定部３ｃｂによって始点と終点の間にあると判定された画像データを、採用決定する。採用決定部３ｂａからの画像データの出力にあたっては、採用決定された画像データと採用決定されない画像データの両方を出力するが、その際、採用決定された画像データか、採用決定されていない画像データかを識別できるようにして出力する。
【００２９】
採用決定部３ｂａの出力は、効果付与部３ｂの１つである効果付与部３ｂｂに接続され、この効果付与部３ｂｂは、採用決定部３ｂａによって採用決定された画像データに対して、所定の画像効果を付与する画像処理を行う。所定の画像効果としては、例えば、人物の服装の色や模様等を変更したり、また、セピア調に色調を変更したり、さらに次第に明るくしたり、逆に暗くする等の画像処理を行う。なお、採用決定されなかった画像データについては、効果を付与することなく、そのまま画像データを出力する。
【００３０】
効果付与部３ｂｂの出力は、動画圧縮部３ｄに接続されており、この動画圧縮部３ｄは、効果付与部３ｂｂから出力される動画データの画像圧縮を行う。動画圧縮部３ｄは、記録部６に接続されており、圧縮処理された画像データは記録部６に記録される。
【００３１】
このように、本実施形態における画像処理部３は構成されているので、動作解析部３ｃａによって、後述する図３に示すように、人物が振り返ってから遠ざかっていくのか、図５に示すように、人物がくるくると回転している等、所定の動作を解析することができる。この解析結果に基づいて、動作始点終点判定部３ｃｂは、人物が回転している場合には、一回転の中で始点と終点を定め、また、振り返ってから遠ざかる場合には、振り返って向こう側を見た際の頭部のサイズが半分になるまでを動作の始点と終点に定めることができる。始点と終点が決まると、この間の画像データに対して、効果付与部３ｂは画像効果を付与し、記録部６に記録する。なお、本実施形態においては、画像処理部３の内部構成は、ハードウエア構成としたが、適宜、ソフトウエアによって実現してもよい。
【００３２】
次に、図３ないし図６を用いて、本実施形態における画像効果の付与について説明する。図３は、撮影者側を見ていた人物２１が、反対側に向いて立ち去っていくシーンを示している。これは、映画やテレビドラマに登場する馴染みのシーンであり、旅立ちや別れの表現として一般的である。このようなシーンは、ストーリー性のある動画のオープニングやエンディングで感情を高ぶらせることができ、特殊効果を付与することによって、画像を強調し、また感情を増幅させることができる。
【００３３】
そこで、本実施形態においては、カメラ１０によって、人物２１の動画像を取得する。これによって、カメラ１０内の仮記録部３ａには、図４（ａ）に示すように、画像３１ａ〜画像３１ｅに対応する画像データが仮記録される。前述の動作解析部３ｃａおよび動作始点終点判定部３ｃｂによって、振り返って反対側を見た時点を始点とし、人物２１の頭部が始点時と比較し、頭部（顔の大きさ）が半分になる時を終点として、特殊効果を付与する。なお、終点のタイミングとしては、始点時の半分以外にも、１／３程度でも、１／４程度でもよく、動画で鑑賞した際に、画像処理を終了しても違和感のない程度であればよい。
【００３４】
本実施形態においては、図４（ｂ）に示すように、始点前の画像３３ａに対しては特殊効果を付与しない。始点後の画像３３ｂ、３３ｃに対してセピア調とし、これに続く画像３３ｄに対して消えていくように画像を明るくし、最後の画像３３ｅには枠をつけるような特殊効果を付与する。このような画像処理を行うことにより、人物２１が立ち去っていく哀しさを表現することができる。この場合、効果をいっきに付与するのではなく、順序を追って変化していくようにする。なお、セピア調以外にも、モノクロ調にする等、他の画処理でもよい。
【００３５】
図５に示す例は、人物２１の別の所定動作であり、踊るような感じで回っている場合である。このとき、カメラ１０によって動画撮影を行うと、図６（ａ）に示すような動画を構成する画像３２ａ〜３２ｆを取得することができる。この場合、人物２１の顔の部分が正面を向いている画像３４ａを始点とすると、顔の部分が回転し、再び、正面を向いている画像３４ｆが終点となる。
【００３６】
そこで、本実施形態においては、人物２１の顔の回転に着目し、顔が一回転する間に、取得した画像３４ａ〜３４ｆに対して、服の部分の色を変えて、着せ替えのような効果を出している。顔の動きの変化を解析することにより、始点と終点を決められることから、このような変化を付けることができる。なお、人物２１が何回転もする場合には、正面を向いてから次の正面を向くまでの１区間として、同様に服の色を変化させればよい。また、色だけではなく、模様を変えてもよく、模様と色を同時に変えるようにしてもよい。さらに、図６（ｂ）では、スカートのみを変化させているが、上着も変化させてもよい。
【００３７】
このように、本実施形態においては、人物２１の顔の回転に着目して動作の始点と終点を判定している。顔の向きの変化の判定法について、図７を用いて説明する。図７は人物の顔の内、目鼻の陰影と、顔の外形を示している。すなわち、楕円は顔の外形を、顔の外形の内部のＴ字形状は、目鼻の陰影を示している。
【００３８】
すなわち、図７（ａ）は人物の顔が正面を向いている場合であり、この場合には、人物の鼻筋線３７は、顔の外形の中心線３６と一致する。しかし、図７（ｂ）に示すように、人物が右側を向くと、鼻筋線３７は中心線３６よりも右側にずれ、差分Ｘはプラスの値となる。一方、図７（ｃ）に示すように、人物が左側を向くと、鼻筋線３７は中心線３６よりも左側にずれ差分Ｘはマイナスとなる。なお、本実施形態においては、顔の外形や、目鼻の陰影とその変化は、顔変化判定部１ｂによって判定される。
【００３９】
また、目鼻の陰影の検出が困難場合には、まず、図８（ａ）に示すように、正面を向いた状態で顔を検出した後に、陰影の特徴点の時間変化を追尾すれば、いずれの側に顔が向いていくかを判定することができる。図８に示す例では、両眼を結ぶ線の端部までの距離が図８（ｂ）ではＸ１、図８（ｃ）ではＸ２と変化していることから、顔が右側を向いていることを判定することができる。また、目鼻の陰影の特徴点以外にも、目鼻陰影の周囲の輪郭検出によって頭部の大きさφを判定し、この大きさφに基づいて、人物が遠ざかっているか否かを判定することができる。
【００４０】
図９（ａ）は、顔の部分が回転した場合の特徴点の変化を示す。すなわち、鼻筋線３７と中心線３６との差分Ｘは、顔の部分が正面を向いている際には０である（時刻ｔ０）。顔の部分が次第に右側に向いているとすると、時刻ｔ１までは差分Ｘは徐々に増加し、時刻ｔ１において、顔が後ろ向きになることから、差分Ｘは消滅する。今、顔の部分が回転しているとすると、時刻ｔ２において鼻筋線が左側から正面に向かって移動することから、破線で示すように変化する。
【００４１】
また、図９（ｂ）は頭部の大きさφの変化を示す。図９（ｂ）中の実線の例では、時刻ｔ１、ｔ２と経過するにつれて、大きさφが小さくなっていることから、被写体である人物は遠ざかっているといえる。一方、破線の例では、時刻ｔ１、ｔ２と経過しても、頭部の大きさφは、一定であることから、撮影者からの距離は変化していないといえる。
【００４２】
図９（ａ）（ｂ）において、実線で示す例は、顔の目鼻の陰影が後ろに向いた後、消滅しており、また、頭部の大きさφは時間の経過と共に小さくなっていることから、図３、図４を用いて説明したように、振り返って遠ざかっていく人物であると推定される。一方、破線で示す例は（但し、図９（ａ）の時刻ｔ０〜ｔ１の実線部分を含む）、顔の目鼻の陰影が一旦消滅した後に再び反対側から出現し、また頭部の大きさφが時間の経過と共に変化せず一定であることから、図５、図６を用いて説明したように、回転している人物であると推定される。
【００４３】
このように、本実施形態においては、顔の目鼻の陰影や、頭部の大きさφを検出することにより、人物の動きを検出し、また、その始点や終点を検出することができる。
【００４４】
次に、本実施形態に係わるカメラ１０の動作を図１０に示すカメラ制御のフローチャートを用いて説明する。後述する図１１、図１３、図１４に示すフローチャートも含めて、本実施形態におけるフローは、図示しないメモリに記憶されているプログラムに従って、制御部１によって実行される。また、本実施形態においては、撮影モードにおいては、動画撮影モードおよび動画アートモードが選択されている場合について説明する。
【００４５】
カメラ１０がパワーオンとなり起動すると、図１０に示すフローがスタートする。まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モード等の他のモードが備えられており、操作部９の操作状態に基づいて撮影者のモード選択状態を判定する。なお、このカメラ１０のデフォルト状態におけるモードは撮影モードである。
【００４６】
ステップＳ１における判定の結果、撮影モードが選択されていなかった場合には、撮影モード以外の処理を行う（Ｓ３５）。ここでは、再生モード等、ユーザによって選択されたモードに従って処理を行う。撮影モード以外の処理を行うと、ステップＳ１に戻る。
【００４７】
ステップＳ１における判定の結果、撮影モードであった場合には、撮像、表示、および顔検出を行う（Ｓ３）。このステップでは、撮像部２によって取得した画像データについて画像処理部３において画像処理し、この画像処理された画像データを用いて表示部８にライブビュー表示を行う。撮影者がライブビュー表示を見ながら構図やシャッタチャンスを決定することができる。また、顔検出部２ａにおいて、画像の中に顔の部分が含まれているか否か、また含まれていた場合にはその位置や大きさを検出する。
【００４８】
撮像、表示、顔検出を行うと、次に、撮影開始か否かの判定を行う（Ｓ５）。ここでは、動画釦等が操作され、動画撮影開始の指示がなされたか否かの判定を行う。この判定の結果、撮影開始ではなかった場合には、ステップＳ１に戻る。撮影モードが選択されている場合には、ステップＳ１〜Ｓ５を繰り返し実行する間、ライブビュー表示が更新される。
【００４９】
ステップＳ５における判定の結果、撮影開始であった場合には、次に、連続撮影および顔検出結果の仮記録を開始する（Ｓ７）。ここでは、撮像部２から出力される動画の画像データと、顔検出部２ａから出力される顔検出結果を仮記録部３ａのメモリ０〜メモリｎに順次、仮記録する。
【００５０】
動画の画像データと顔検出結果を仮記録すると、次に、軌跡判定を行う（Ｓ９）。この軌跡判定では、動作解析部３ｃａが、仮記録された画像データと、顔の検出結果に基づいて、被写体である人物が、図３〜図９を用いて説明したような所定の動きを行っているか否か、言い換えると顔の部分の軌跡が所定の変化となっているかを判定する。この軌跡判定のフローの詳細について、図１１を用いて後述する。
【００５１】
軌跡判定を行うと、次に、軌跡が所定の変化であるか否かを判定する（Ｓ１１）。ここでは、ステップＳ９において行った軌跡判定に基づいて、動作始点終点判定部３ｃｂが、軌跡が所定変化であったか否かを判定する。
【００５２】
ステップＳ１１における判定の結果、軌跡が所定の変化でなかった場合には、次に、所定時間変化がないか否かを判定する（Ｓ２１）。ステップＳ９において軌跡判定を行うためには、所定時間の間のデータが必要となる。この所定時間が短時間過ぎると、十分な判定ができず、また長時間の場合には仮記録部３ａとして大容量のメモリが必要となる。そこど、これらを勘案して、適宜、所定時間の長さを選定すればよい。本実施形態においては、例えば、１０秒程度とする。
【００５３】
ステップＳ２１における判定の結果、所定時間の間、軌跡に所定の変化がなかった場合には、次に、それ以前の画像は、画処理なしで圧縮記録を行う（Ｓ２３）。この場合には、図３ないし図９を用いて説明したような所定の動きを行わなかったことから、動画に効果を与えるような画像処理を行うことなく、そのまま動画の画像データを圧縮し、記録する。すなわち、効果付与部３ｂｂは何ら効果を付与することなく、動画圧縮部３ｄにおいて画像圧縮した後、記録部６に画像データの記録を行う。
【００５４】
一方、ステップＳ１１における判定の結果、軌跡が所定の変化であった場合には、次に、始点終点判定を行う（Ｓ１３）。ここでは、所定の動作であった場合に、動作の始点と終点を求める。例えば、図３及び図４において説明したような反対側に顔を向け、遠ざかって去っていく人物の場合には、反対側に顔を向けた位置を始点とし、頭部が始点時の半分になった位置を終点とする。また、図５及び図６において説明したような顔の部分が回転している場合には、正面を向いた位置を始点とし、一周回って再び正面を向いた位置を終点とする。この始点終点判定のフローについては、図１３を用いて詳述する。
【００５５】
始点終点判定を行うと、次に、始点から終点の間の動画に効果画処理を行い、画像圧縮を行う（Ｓ１５）。始点終点が決まると、その間の動画の画像データに対して特殊効果を付与するような画処理を行う。すなわち、採用決定部３ｂａによって始点と終点の間の動画データが識別されるので、この画像に対して、効果付与部３ｂが画処理を行う。画処理を行うと、動画圧縮部３ｄによって画像圧縮を行う。このステップにおける動作の内、画処理の部分のフローについては、図１４を用いて詳述する。
【００５６】
続いて、始点より前の画像について圧縮し記録する（Ｓ１７）。ステップＳ１３における始点終点判定において始点を判定していることから、このステップでは、始点以前に仮記録部３ａに記録された画像データを動画圧縮部３ｄにおいて圧縮した後、記録部６に記録する。始点以前の画像データに対しては、画処理を行うことがないことから、記録部６に記録し、仮記録部３ａの負荷を軽減する。
【００５７】
ステップＳ１７において始点より前の画像圧縮記録を行うと、またはステップＳ２３において画処理なしで圧縮記録を行うと、またはステップＳ２１における判定の結果、所定時間の間に変化があった場合には、次に、撮影終了か否かの判定を行う（Ｓ１９）。ここでは、動画釦等が再度操作され、動画撮影終了の指示がなされたか否かの判定を行う。この判定の結果、撮影終了でなかった場合には、ステップＳ９に戻る。
【００５８】
ステップＳ１９における判定の結果、撮影終了であった場合、ステップＳ１３において判定された終点より後の画像が仮記録部３ａにそのまま残っている。そこで、終点より後の所定動作の継続状態に応じて処理を異ならせている。まず、終点より後も同様の動作が継続しているか否かの判定を行う（Ｓ２５）。ここでは、動作解析部３ｃａによって、終点以後、撮影終了前の間で所定動作が継続しているか否かを判定する。
【００５９】
ステップＳ２５における判定の結果、同様の動作が継続していた場合には、終点より後の画像の効果画処理を行った後、圧縮し記録する（Ｓ２７）。ここでは、ステップＳ１５において施した画処理と同じ画処理を効果付与部３ｂｂは行い、動画圧縮部３ｄによって圧縮した後に記録部６に記録する。図５及び図６に示したような回転しているシーンであれば、服を変えるような効果が持続する。
【００６０】
一方、ステップＳ２５における判定の結果、同様の動作が継続していなかった場合には、終点から撮影終了までの時間が５秒以上か否かの判定を行う（Ｓ２９）。この判定の結果、５秒以上、動作が継続していない場合には、終点より撮影終了までの間の画像に対して、効果を付与せず、そのまま圧縮し記録する（Ｓ３３）。この場合には、５秒間以上、同様の動作を行っていないことから、全く別の動作を開始したような状況であり、特殊効果を付与すると不自然な画像となることから、そのまま圧縮して記録する。
【００６１】
ステップＳ２９における判定の結果、終点から撮影終了までの時間が５秒未満であった場合には、ステップＳ２７と同様、終点より後の画像に効果画処理を施し、圧縮した後に記録する（Ｓ３１）。終点からの時間が短時間であることから、効果画処理を継続するようにしている。ステップＳ２７、Ｓ３１、Ｓ３３において、終点以降の画像の記録を行うと、ステップＳ１に戻る。
【００６２】
次に、ステップＳ９における軌跡判定のフローの詳細について、図１１に示すフローチャートを用いて説明する。このフローに入ると、まず、顔の向きが横向きか否かの判定を行う（Ｓ４１）。ここでは、顔検出部２ａによる検出結果に基づいて、目鼻の陰影が横向きの陰影か否かであることにより判定する。
【００６３】
ステップＳ４１における判定の結果、顔の向きが横向きであった場合には、次に、目鼻パターンが消失したか否かを判定する（Ｓ４３）。前述したように、人物の顔が正面と反対を向くと目鼻の陰影が消滅するので、動作解析部３ｃａが目鼻の陰影に基づいて判定する。
【００６４】
ステップＳ４３における判定の結果、目鼻パターンが消失した場合には、次に、頭部の判定が可能か否かを判定する（Ｓ４５）。ここでは、図８（ｃ）において示したような頭部の大きさφを、顔検出部２ａが測定可能であるか否かを判定する。この判定の結果、頭部の大きさを判定できる場合には、次に、頭部が縮小していくか否かを判定する（Ｓ４７）。このステップでは、顔検出部２ａにおいて検出された頭部の大きさφの時間的変化に基づいて判定する。なお、ステップＳ４３からＳ４７にかけては、経時変化を見ながら判定する。
【００６５】
ステップＳ４７における判定の結果、頭部が縮小していた場合には、パターン１と設定する（Ｓ４９）。この場合は、図３及び図４において説明したように、人物が振り返って遠ざかって行くシーンに相当し、パターン１の所定軌跡として設定する。
【００６６】
一方、ステップＳ４７における判定の結果、頭部が縮小していなかった場合には、次に、目鼻パターンを再度検出できるか否かの判定を行う（Ｓ５１）。ステップＳ４３において、目鼻の陰影が消失したことを検出しているが、このステップでは、目鼻の陰影が再度、現われたかを、動作解析部３ｃａによって判定する。
【００６７】
ステップＳ５１における判定の結果、目鼻パターンが再度検出できた場合には、パターン２と設定する（Ｓ５３）。この場合は、図５及び図６において説明したように、人物が回転しているシーンであり、パターン２の所定軌跡として設定する。
【００６８】
一方、ステップＳ５１における判定の結果、目鼻パターンが再度検出できなかった場合には、次に、２秒間静止状態か否かを判定する（Ｓ５５）。ここでは、目鼻の陰影が消失したままで、２秒、変化がないかを判定する。なお、２秒は、例示であり、これより短くても長くてもよく、後述するように、人物が空を斜め仰ぎ見ていると判定できる程度の時間であればよい。また、ある動作の後、被写体の人物が一呼吸おくような時間、または、揺れることなく止まっていられる時間程度でもよい。
【００６９】
ステップＳ５５における判定の結果、２秒間の間、静止していれば、パターン３と設定する（Ｓ５７）。この場合には、目鼻の陰影が消失したままで、頭部の大きさが小さくなることなく、２秒静止していることから、空を斜め上に仰ぎ見るようなシーンであり、パターン３の所定軌跡と設定する。
【００７０】
ステップＳ４１における判定において、顔の動きが横向きでなかった場合には、次に、頭部が上下に動いているか否かを判定する（Ｓ６１）。ここでは、動作解析部３ｃａが、図１２に示すように、目鼻の陰影に基づいて、頭部が上下に動いているか否かを判定する。すなわち、図１２（ａ）に示すように、顔が正面を向いている際に、両眼を結ぶ水平線３８を決める。そして、図１２（ｂ）（ｃ）に示すように、頭部が上下に動いた際に、水平線３８と両眼を結ぶ眼線３９の差Ｙ１、Ｙ２を求め、Ｙ１、Ｙ２に基づいて、頭部が上下したかを判定する。
【００７１】
ステップＳ６１における判定の結果、頭部が上下に動いていた場合には、次に、ステップＳ５５と同様に、２秒静止しているか否かを判定する（Ｓ６３）。ここでは、目鼻の陰影が消失したままで、２秒、変化がないかを判定する。具体的には、前述した水平線３８と眼線３９との差分Ｙ１、Ｙ２が変化しないかをみる。なお、２秒は例示であり、下を向いてうつむいている場合や、また、うなずいている場合等と判定できる程度の時間であればよい。また、ある動作の後、被写体の人物が一呼吸おくような時間、または、揺れることなく止まっていられる時間程度でもよい。
【００７２】
ステップＳ６３における判定の結果、２秒静止していれば、パターン４と設定する（Ｓ６５）。この場合には、頭部が上下に動き、かつそのままで２秒間静止していることから、うつむいている場合や、また、うなずいているようなシーンであり、パターン４の所定軌跡と設定する。
【００７３】
ステップＳ４９、Ｓ５３、Ｓ５７、またはＳ６５において、パターン１〜パターン４のいずれかが設定されると、軌跡が所定であると設定し（Ｓ６９）、元のフローに戻る。この場合には、元のフローに戻ると、次のステップＳ１１においてＮｏと判定され、ステップＳ２１に進む。
【００７４】
ステップＳ４３における判定の結果、目鼻パターンが消失していなかった場合、またはステップＳ４５における判定の結果、頭部判定が不能であった場合、またはステップＳ５５における判定の結果、２秒間静止していなかった場合、またはステップＳ６１における判定の結果、頭部が上下に動いていなかった場合、またはステップＳ６３における判定の結果、２秒間静止していなかった場合には、軌跡が所定以外と設定し（Ｓ６７）、元のフローに戻る。この場合には、元のフローに戻ると、次のステップＳ１１においてＹｅｓと判定され、ステップＳ１３に進む。
【００７５】
このように軌跡判定のサブルーチンにおいては、動作解析部３ｃａによって、人物の顔の部分の動きが判定され、所定の軌跡であるか否かが判定される。また、所定の軌跡の場合には、軌跡のパターンが、１〜４で分類付けされる。
【００７６】
次に、ステップＳ１３における始点終点判定のフローの詳細について、図１３に示すフローチャートを用いて説明する。このフローに入ると、まず、パターン１か否かの判定を行う（Ｓ７１）。図１１に示す軌跡判定のサブルーチンのステップＳ４９において、人物がパターン１の軌跡を行っていれば、その旨が設定されている。そこで、このステップにおいては、パターン１が設定されているか否かを判定する。
【００７７】
ステップＳ７１における判定の結果、パターン１であった場合には、顔の向きの変化開始を始点とし、縮小開始を終点する（Ｓ８１）。パターン１は、図３及び図４を用いて説明したように、反対側に振りむき、遠ざかる方向に去っていく人物を撮影するシーンである。このため、反対側を振りむくことによって顔の向きが変化し始めた時点を開始点とし、頭部が半分に縮小した時点を終点とする。
【００７８】
ステップＳ７１における判定の結果、パターン１でなかった場合には、次に、パターン２か否かの判定を行う（Ｓ７３）。ステップＳ５３において、人物がパターン２の軌跡を行っていれば、その旨が設定されている。そこで、このステップにおいては、パターン２が設定されているか否かを判定する。
【００７９】
ステップＳ７３における判定の結果、パターン２であった場合には、正面から正面を始点とし、終点とする（Ｓ８３）。パターン２は、図５及び図６を用いて説明したように、踊るように回転している人物を撮影するシーンである。このため、正面を向いているときが始点であり、この後、一回転して再び正面を向いたときが終点である。
【００８０】
ステップＳ７３における判定の結果、パターン２でなかった場合には、次に、パターン３か否かの判定を行う（Ｓ７５）。ステップＳ５７において、人物がパターン３の軌跡を行っていれば、その旨が設定されている。そこで、このステップにおいては、パターン３が設定されているか否かを判定する。
【００８１】
ステップＳ７５における判定の結果、パターン３であった場合には、顔の向きの変化開始を始点とし、変化停止を終点とする（Ｓ８５）。パターン３は、前述したように、空を斜め上に仰ぎ見るような人物を撮影するシーンである。このため、顔の向きが変化し始めた時点を始点とし、その変化が停止した時点を終点とする。
【００８２】
ステップＳ７５における判定の結果、パターン３でなかった場合には、次に、停止が正面であるか否かの判定を行う（Ｓ７７）。ここでは、パターン４の場合であり、この場合は、うつむいた状態やうなずいた状態である。そこで、このパターン４に属する場合であって、かつ顔の動きの停止時点で、正面を向いているか否かを、動作解析部３ｃａによって判定する。
【００８３】
ステップＳ７７における判定の結果、停止が正面であった場合には、向きの変化開始を始点、表情変化停止を終点とする（Ｓ８７）。この場合は、例えば、下を向いてうつむいていた人物が正面を向いてニコッと笑った場合である。そこで、正面方向に顔が動き出した時点（すなわち、向きの変化開始時点）を始点とし、また、正面を向いて表情変化が停止した時点（ニコッと笑った時点）を終点としている。
【００８４】
ステップＳ７７における判定の結果、停止が正面でなかった場合には、正面の表情変化停止時点を始点とし、頭部の動きが停止した時点を終点とする（Ｓ７９）。この場合は、例えば、正面を向いていた人物が急に表情を変えて下を向きにうつむいたような場合である。そこで、表情が変化した時点を始点とし、下向きの動きが停止した時点を終点としている。
【００８５】
ステップＳ７９、Ｓ８１、Ｓ８３、Ｓ８５、またはＳ８７において、始点と終点を決めると元のフローに戻る。このように、始点終点判定のサブルーチンにおいては、所定の動作に対応して、それぞれ特殊効果を付与するためのタイミング（始点と終点）を決めている。
【００８６】
ステップＳ１５、Ｓ２７、Ｓ３１において種々の処理が行われるが、その内の効果画処理のフローの詳細について、図１４に示すフローチャートを用いて説明する。このフローに入ると、まず、ステップＳ７１と同様にパターン１か否かの判定を行う（Ｓ９１）。
【００８７】
ステップＳ９１における判定の結果、パターン１であった場合には、始点から終点の間の画像をセピア調かつソフトフォーカスとなるように画処理を行う（Ｓ１０１）。前述したように、パターン１は、人物がカメラ１０の反対側に向いて遠ざかって去っていくシーンであることから、この雰囲気に相応しい画面となるように、セピア調に色調を変換すると共に、ソフトフォーカスとなるように画面のコントラストを調整する。なお、セピア調に変えてモノクロトーンでもよく、またソフトフォーカスに変えて他のアートフィルタを施してもよい。
【００８８】
一方、ステップＳ９１における判定の結果、パターン１でなかった場合には、次に、ステップＳ７３と同様に、パターン２か否かの判定を行う（Ｓ９３）。この判定の結果、パターン２であった場合には、始点から終点の間の画像の中で、顔の下の服装部の色を変更するように画処理を行う（Ｓ１０３）。前述したように、パターン２は、前述したように、人物が踊るように回転しているシーンであることから、楽しんで鑑賞できるように、人物の服装の色を変化させる画処理を行う。なお、複数の色を変化させる以外にも、模様等を変化させて楽しむようにしてもよい。
【００８９】
ステップＳ９３における判定の結果、パターン２でなかった場合には、次に、ステップＳ７５と同様に、パターン３か否かの判定を行う（Ｓ９５）。この判定の結果、パターン３であった場合には、始点から終点の間の画像に光沢効果がでるような画処理を施す（Ｓ１０５）。パターン３は、前述したように、空を斜め上に仰ぎ見るような人物を撮影するシーンであることから、この雰囲気に相応しい画面となるように、顔の一部がきらきらと輝くような光沢効果を与える。このきらきら輝くような光沢処理としては、顔の部分または近傍の画素のいくつかを明るく表示したり暗く表示したりして、画素の輝度を時間的に変化させる処理を行う。
【００９０】
ステップＳ９５における判定の結果、パターン３でなかった場合には、次に、ステップＳ７７と同様に、停止状態で顔が正面を向いているか否かを判定する（Ｓ９７）。この判定の結果、停止状態で顔が正面を向いている場合には、次に、始点から終点の間の画像に、明るさを増すような画処理を行う（Ｓ１０７）。この場合は、前述したように、例えば、下を向いてうつむいていた人物が正面を向いてニコッと笑ったシーンである。そこで、この雰囲気に相応しく、明るい画面となるように画処理を施す。
【００９１】
一方、ステップＳ９７における判定の結果、停止状態で顔が正面を向いていなかった場合には、次に、始点から終点の間の画像に明るさを落とすような画処理を行う（Ｓ９９）。この場合は、例えば、正面を向いていた人物が急に表情を変えて下を向きにうつむいたようなシーンである。そこで、この雰囲気に相応しく、重苦しい画面となるように画面の明るさを落とすような画処理を施す。
【００９２】
ステップＳ９９〜Ｓ１０７における画処理を施すと、元のフローに戻る。このように、効果画処理のサブルーチンにおいては、パターン化された所定動作に応じて相応しい画面となるように画処理を行っている。
【００９３】
以上説明したように、本発明の一実施形態においては、動き解析部３ｃａ（ステップＳ９の軌跡判定、図１１参照）によって解析された被写体の動きに応じて、効果付与部３ｂ（ステップＳ１５、Ｓ２７、Ｓ３１、図１４の効果画処理参照）が画像データに対して効果画処理を行っている。このため、被写体の全体の動きに応じて画像処理を変化させており、変化に富んだ画像を得ることができる。従来のカメラにおいては、動いている被写体を撮影する場合、その動きを撮影するためにフレーミングしたり、撮影開始終了のタイミングを調整することしかできず、被写体の短時間の動きの最中に、撮影者がいろいろなカメラ操作をすることが不可能であった。徒競争のようなレースを撮影する場合のように、長時間、撮影する場合とは異なり、人物が瞬時に行った仕草に対応してカメラ操作を行うことは不可能であった。本実施形態では、このような瞬時の動作であっても、カメラが人物の動きを分析し、動きに応じた画像処理を行うことができる。
【００９４】
なお、本発明の一実施形態においては、被写体の所定動作として、パターン１〜パターン４を対象としたが、これ以外の動作を加えてもよく、またパターン１〜パターン４のいずれかを省略するようにしてもよい。
【００９５】
また、本発明の一実施形態においては、所定動作を行っているか否かの判定にあたって、顔の向きと頭部の大きさに基づいて判定したが、これに限らず、手足の動き等、また顔の表情等、他の情報を用いて判定するようにしても勿論かまわない。
【００９６】
さらに、本発明の一実施形態においては、効果画処理として、パターン１〜パターン４に応じて、異なる効果画処理を設定したが、効果画処理の内容は、適宜、異ならせてもよい。
【００９７】
さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を撮影可能な機器であれば、本発明を適用することができる。
【００９８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９９】
１・・・制御部、１ａ・・・記録制御部、１ｂ・・・顔変化判定部、１ｃ・・・モード設定部、２・・・撮像部、２ａ・・・顔検出部、３・・・画像処理部、３ａ・・・仮記録部、３ｂ・・・効果付与部、６・・・記録部、７・・・時計部、９・・・時計部、１０・・・カメラ、２１・・・人物、３１ａ〜３１ｅ・・・画像、３２ａ〜３２ｆ・・・画像、３３ａ〜３３ｅ・・・画像、３４ａ〜３４ｆ・・・画像、３６・・・中心線、３７・・・鼻筋線、３８・・・水平線、３９・・・眼線
【技術分野】
【０００１】
本発明は、撮影機器および画像データ生成方法に関し、詳しくは、撮影時における画像処理を自動的に選択可能な撮影機器および画像データ生成方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの携帯機能付き携帯機器（撮影機器）は、画像処理を利用することにより撮影領域を拡大している。また、様々な画像処理をユーザが利用可能になってきており、撮影者の感性を反映させた絵作りを簡単に楽しむことが可能になってきている。
【０００３】
例えば、特許文献１には、デジタルエフェクトキーを操作することにより、アニメーションデータや文字列データが読み出され、特殊効果を施した画像を楽しむことができる映像記録装置が開示されている。また、特許文献２には、動画像の動きに応じて視覚的なアクションを施すようにした画像合成装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４７８８６号公報
【特許文献２】特許４１４２４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、画像に処理を施すことは種々提案されている。しかし、特許文献１に開示の映像記録装置は、静止画に対する特殊効果を施すのみであって、動画に対して特殊効果を施すことについては何ら考慮されていない。特許文献２に開示の画像合成装置は、動画に対して特殊効果を施すようにしている。しかし、一瞬の動きに反応するだけであって、動きの過程を分析し、動き全体に対して特殊効果を調節するものではない。動画の場合には、動きが重要であり、この動き全体に応じて画像処理を変化させると、変化に富んだ画像となるが、従来はこのような観点の撮影機器は提案されていなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、撮影中に特別な操作を行うことなく、変化に富んだ動画像を取得することの可能な撮影機器および画像データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮影機器は、被写体像を撮像し、画像データを出力する撮像部と、上記画像データに基づいて、人物の画像の内の顔部分の向きの変化の開始時点と終了時点を判定する顔変化判定部と、上記顔変化判定部に判定された上記開始時点と上記終了時点に基づいて、上記画像データの画像処理を行う画像処理部と、を具備する。
【０００８】
第２の発明に係わる撮影機器は、上記第１の発明において、上記顔変化判定部は、さらに上記顔の部分の大きさの変化を判定し、上記画像処理部は、上記顔の大きさの変化に基づいて、上記画像処理の内容を決定する。
【０００９】
第３の発明に係わる撮影機器は、被写体像を撮像し、動画の画像データを出力する撮像部と、上記画像データに基づいて、被写体の動きを解析する動き解析部と、上記動き解析部によって解析された被写体の動きに応じて、上記画像データに対して効果画処理を行う効果付与部と、上記効果付与部によって効果画処理が施された画像データを記録する記録部と、を具備する。
【００１０】
第４の発明に係わる撮影機器は、上記第３の発明において、さらに、上記動き解析部によって解析された上記被写体の動きに基づいて、上記効果付与部によって効果画処理を施す範囲を判定する動作始点終点判定部を有する。
第５の発明に係わる撮影機器は、上記第４の発明において、上記効果付与部は、上記動作始点終点判定部によって判定された始点と終点の間の画像データに対して、上記効果画処理を施す。
【００１１】
第６の発明に係わる撮影機器は、上記第３の発明において、上記動き解析部は、上記被写体の動きを予め決められたパターンに分類する。
第７の発明に係わる撮影機器は、上記第６の発明において、上記効果付与部は、上記動き解析部によるパターンに応じて、効果画処理を変更する。
第８の発明に係わる撮影機器は、上記第３の発明において、上記動作解析部は、被写体の人物の顔の向きおよび大きさの少なくとも１つを用いて、被写体の動きを解析する。
【００１２】
第９の発明に係わる画像データ生成方法は、被写体像を撮像して動画の画像データを出力し、上記画像データに基づいて、被写体の動きを解析し、上記解析された被写体の動きに応じて、上記画像データに対して効果画処理を行い、上記効果画処理が施された画像データを記録する。
【発明の効果】
【００１３】
本発明によれば、被写体の動きに応じて画像処理を施すので、撮影中に特別な操作を行うことなく、変化に富んだ動画像を取得することの可能な撮影機器および画像データ生成方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理部の詳細を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおいて、動きのある被写体を撮影している様子を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、動きのある被写体を撮影した場合の画像処理を説明する図であり、（ａ）は画像処理を施す前の画像であり、（ｂ）は画像処理を施した後の画像である。
【図５】本発明の一実施形態に係わるカメラにおいて、別の動きのある被写体を撮影している様子を示す図である。
【図６】本発明の一実施形態に係わるカメラにおいて、別の動きのある被写体を撮影した場合の画像処理を説明する図であり、（ａ）は画像処理を施す前の画像であり、（ｂ）は画像処理を施した後の画像である。
【図７】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きの検出を説明する図であって、（ａ）は顔が正面を向いている場合、（ｂ）は顔が右側を向いている場合、（ｃ）は顔が左側を向いている場合を示す。
【図８】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きを顔の陰影の追跡によって検出する場合を説明する図であって、（ａ）〜（ｃ）は顔が正面から次第に右側に向かって移動する様子を示す。
【図９】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きを示す図であって、（ａ）は目鼻の陰影の中心からの距離の変化を示し、（ｂ）は人物の頭部の大きさの変化を示すグラフである。
【図１０】本発明の一実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係わるカメラの軌跡判定の動作を示すフローチャートである。
【図１２】本発明の一実施形態に係わるカメラにおいて、被写体の人物の顔の部分の動きを示す図であって、（ａ）〜（ｃ）は人物の頭部が上下する場合の変化を示す図である。
【図１３】本発明の一実施形態に係わるカメラの始点終点判定の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係わるカメラの効果画処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気的構成を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、画像処理部３、記録部６、時計部７、表示部８、操作部９等から構成される。
【００１６】
撮像部２は、ズーム機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。なお、本明細書においては、撮像素子から出力される画像信号に基づく信号であれば、画像処理された信号も含めて画像データと称する。
【００１７】
顔検出部２ａは撮像部２から出力され、制御部１内の画像処理部３によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。また、顔を検出することができた場合には、頭部の大きさ（顔の大きさ）も検出する。
【００１８】
制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、記録制御部１ａ、顔変化判定部１ｂ、モード設定部１ｃ、画像処理部３を有する。記録制御部１ａは、静止画や動画の画像データの記録部６への記録の制御を行う。この制御にあたって、動画アートモードが設定されている場合には、画像を解析し、所定の動作区間に対して画像処理を施してから記録されるように制御する。
【００１９】
顔変化判定部１ｂは、顔検出部２ａによって人物の顔の部分が検出された場合には、この検出された顔の向きの変化を判定する。モード設定部１ｃは、メニュー画面等によって動画アートモードを設定するための処理部である。この動画アートモードは、後述するように、顔変化判定部１ｂの判定結果を用いて、人物の顔の向き等が所定の範囲にある場合、その範囲内において、画像処理を施し、変化に富んだ動画像にするためのモードである。
【００２０】
制御部１内の画像処理部３は、仮記録部３ａ、効果付与部３ｂ、およびその他の画像処理部を有する。その他の画像処理部では、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。
【００２１】
また、仮記録部３ａは、後述するように、動画の画像データを仮記録するためのメモリであり、効果付与部３ｂは、動画アートモードが設定された場合には、仮記録された動画像に対して画像効果を与えるような画像処理を施す。画像処理部３の詳細は、図２を用いて後述する。
【００２２】
操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。なお、動画アートモードは、前述したようにメニュー画面にて設定するが、これ以外にも、動画アートモード設定用の動画アートモード釦を設け、この釦を操作することによって設定するようにしても構わない。また、動画撮影時には必ずアートモードが設定されるようにしても良い。
【００２３】
記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部３によって圧縮処理された静止画や動画の画像データを記録する。表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報やメニュー画面の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、動画撮影時における動画アートモードで撮影された画像の再生表示も行う。
【００２４】
時計部７は、計時動作を行い、撮影日時情報を出力する。この撮影日時情報は、静止画や動画の画像データを記録部６に記録する際に合わせて記録する。また、動画アートモードで撮影する際には、動画撮影における計時動作にも使用される。
【００２５】
次に、図２を用いて画像処理部３の構成の詳細について説明する。画像処理部３は、前述したように、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理等の各種画像処理を行うが、図２には、動画アートモードにおける画像データ生成に関連する構成を示し、この構成を主に説明する。
【００２６】
仮記録部３ａは、撮像部２からの画像データと、顔検出部２ａからの顔検出結果を、それぞれ仮記録するためのメモリ０〜メモリｎを有する。メモリ０〜メモリｎに仮記録された顔検出結果の出力は、動作解析部３ｃａに接続される。この動作解析部３ｃａは、顔の軌跡や大きさの変化を解析する。
【００２７】
動作解析部３ｃａは動作始点終点判定部３ｃｂに接続され、この動作始点終点判定部３ｃｂは、動作解析部３ｃａの解析結果を用いて、人物の所定動作の始点や終点を判定する。所定動作としては、例えば、人物が踊りながら回るような場合があり、この場合の始点は任意の位置と、その位置から１周回った位置が相当する。この回る動作以外にも、例えば、振り返るような動作や、後ろ向きになって遠くに去っていく動作等、種々の所定動作がある。
【００２８】
動作始点終点判定部３ｃｂの出力と、仮記録部３ａに仮記録された動画の画像データの出力は、効果付与部３ｂの１つである採用決定部３ｂａに接続されている。採用決定部３ｂａは、動作始点終点判定部３ｃｂによって始点と終点の間にあると判定された画像データを、採用決定する。採用決定部３ｂａからの画像データの出力にあたっては、採用決定された画像データと採用決定されない画像データの両方を出力するが、その際、採用決定された画像データか、採用決定されていない画像データかを識別できるようにして出力する。
【００２９】
採用決定部３ｂａの出力は、効果付与部３ｂの１つである効果付与部３ｂｂに接続され、この効果付与部３ｂｂは、採用決定部３ｂａによって採用決定された画像データに対して、所定の画像効果を付与する画像処理を行う。所定の画像効果としては、例えば、人物の服装の色や模様等を変更したり、また、セピア調に色調を変更したり、さらに次第に明るくしたり、逆に暗くする等の画像処理を行う。なお、採用決定されなかった画像データについては、効果を付与することなく、そのまま画像データを出力する。
【００３０】
効果付与部３ｂｂの出力は、動画圧縮部３ｄに接続されており、この動画圧縮部３ｄは、効果付与部３ｂｂから出力される動画データの画像圧縮を行う。動画圧縮部３ｄは、記録部６に接続されており、圧縮処理された画像データは記録部６に記録される。
【００３１】
このように、本実施形態における画像処理部３は構成されているので、動作解析部３ｃａによって、後述する図３に示すように、人物が振り返ってから遠ざかっていくのか、図５に示すように、人物がくるくると回転している等、所定の動作を解析することができる。この解析結果に基づいて、動作始点終点判定部３ｃｂは、人物が回転している場合には、一回転の中で始点と終点を定め、また、振り返ってから遠ざかる場合には、振り返って向こう側を見た際の頭部のサイズが半分になるまでを動作の始点と終点に定めることができる。始点と終点が決まると、この間の画像データに対して、効果付与部３ｂは画像効果を付与し、記録部６に記録する。なお、本実施形態においては、画像処理部３の内部構成は、ハードウエア構成としたが、適宜、ソフトウエアによって実現してもよい。
【００３２】
次に、図３ないし図６を用いて、本実施形態における画像効果の付与について説明する。図３は、撮影者側を見ていた人物２１が、反対側に向いて立ち去っていくシーンを示している。これは、映画やテレビドラマに登場する馴染みのシーンであり、旅立ちや別れの表現として一般的である。このようなシーンは、ストーリー性のある動画のオープニングやエンディングで感情を高ぶらせることができ、特殊効果を付与することによって、画像を強調し、また感情を増幅させることができる。
【００３３】
そこで、本実施形態においては、カメラ１０によって、人物２１の動画像を取得する。これによって、カメラ１０内の仮記録部３ａには、図４（ａ）に示すように、画像３１ａ〜画像３１ｅに対応する画像データが仮記録される。前述の動作解析部３ｃａおよび動作始点終点判定部３ｃｂによって、振り返って反対側を見た時点を始点とし、人物２１の頭部が始点時と比較し、頭部（顔の大きさ）が半分になる時を終点として、特殊効果を付与する。なお、終点のタイミングとしては、始点時の半分以外にも、１／３程度でも、１／４程度でもよく、動画で鑑賞した際に、画像処理を終了しても違和感のない程度であればよい。
【００３４】
本実施形態においては、図４（ｂ）に示すように、始点前の画像３３ａに対しては特殊効果を付与しない。始点後の画像３３ｂ、３３ｃに対してセピア調とし、これに続く画像３３ｄに対して消えていくように画像を明るくし、最後の画像３３ｅには枠をつけるような特殊効果を付与する。このような画像処理を行うことにより、人物２１が立ち去っていく哀しさを表現することができる。この場合、効果をいっきに付与するのではなく、順序を追って変化していくようにする。なお、セピア調以外にも、モノクロ調にする等、他の画処理でもよい。
【００３５】
図５に示す例は、人物２１の別の所定動作であり、踊るような感じで回っている場合である。このとき、カメラ１０によって動画撮影を行うと、図６（ａ）に示すような動画を構成する画像３２ａ〜３２ｆを取得することができる。この場合、人物２１の顔の部分が正面を向いている画像３４ａを始点とすると、顔の部分が回転し、再び、正面を向いている画像３４ｆが終点となる。
【００３６】
そこで、本実施形態においては、人物２１の顔の回転に着目し、顔が一回転する間に、取得した画像３４ａ〜３４ｆに対して、服の部分の色を変えて、着せ替えのような効果を出している。顔の動きの変化を解析することにより、始点と終点を決められることから、このような変化を付けることができる。なお、人物２１が何回転もする場合には、正面を向いてから次の正面を向くまでの１区間として、同様に服の色を変化させればよい。また、色だけではなく、模様を変えてもよく、模様と色を同時に変えるようにしてもよい。さらに、図６（ｂ）では、スカートのみを変化させているが、上着も変化させてもよい。
【００３７】
このように、本実施形態においては、人物２１の顔の回転に着目して動作の始点と終点を判定している。顔の向きの変化の判定法について、図７を用いて説明する。図７は人物の顔の内、目鼻の陰影と、顔の外形を示している。すなわち、楕円は顔の外形を、顔の外形の内部のＴ字形状は、目鼻の陰影を示している。
【００３８】
すなわち、図７（ａ）は人物の顔が正面を向いている場合であり、この場合には、人物の鼻筋線３７は、顔の外形の中心線３６と一致する。しかし、図７（ｂ）に示すように、人物が右側を向くと、鼻筋線３７は中心線３６よりも右側にずれ、差分Ｘはプラスの値となる。一方、図７（ｃ）に示すように、人物が左側を向くと、鼻筋線３７は中心線３６よりも左側にずれ差分Ｘはマイナスとなる。なお、本実施形態においては、顔の外形や、目鼻の陰影とその変化は、顔変化判定部１ｂによって判定される。
【００３９】
また、目鼻の陰影の検出が困難場合には、まず、図８（ａ）に示すように、正面を向いた状態で顔を検出した後に、陰影の特徴点の時間変化を追尾すれば、いずれの側に顔が向いていくかを判定することができる。図８に示す例では、両眼を結ぶ線の端部までの距離が図８（ｂ）ではＸ１、図８（ｃ）ではＸ２と変化していることから、顔が右側を向いていることを判定することができる。また、目鼻の陰影の特徴点以外にも、目鼻陰影の周囲の輪郭検出によって頭部の大きさφを判定し、この大きさφに基づいて、人物が遠ざかっているか否かを判定することができる。
【００４０】
図９（ａ）は、顔の部分が回転した場合の特徴点の変化を示す。すなわち、鼻筋線３７と中心線３６との差分Ｘは、顔の部分が正面を向いている際には０である（時刻ｔ０）。顔の部分が次第に右側に向いているとすると、時刻ｔ１までは差分Ｘは徐々に増加し、時刻ｔ１において、顔が後ろ向きになることから、差分Ｘは消滅する。今、顔の部分が回転しているとすると、時刻ｔ２において鼻筋線が左側から正面に向かって移動することから、破線で示すように変化する。
【００４１】
また、図９（ｂ）は頭部の大きさφの変化を示す。図９（ｂ）中の実線の例では、時刻ｔ１、ｔ２と経過するにつれて、大きさφが小さくなっていることから、被写体である人物は遠ざかっているといえる。一方、破線の例では、時刻ｔ１、ｔ２と経過しても、頭部の大きさφは、一定であることから、撮影者からの距離は変化していないといえる。
【００４２】
図９（ａ）（ｂ）において、実線で示す例は、顔の目鼻の陰影が後ろに向いた後、消滅しており、また、頭部の大きさφは時間の経過と共に小さくなっていることから、図３、図４を用いて説明したように、振り返って遠ざかっていく人物であると推定される。一方、破線で示す例は（但し、図９（ａ）の時刻ｔ０〜ｔ１の実線部分を含む）、顔の目鼻の陰影が一旦消滅した後に再び反対側から出現し、また頭部の大きさφが時間の経過と共に変化せず一定であることから、図５、図６を用いて説明したように、回転している人物であると推定される。
【００４３】
このように、本実施形態においては、顔の目鼻の陰影や、頭部の大きさφを検出することにより、人物の動きを検出し、また、その始点や終点を検出することができる。
【００４４】
次に、本実施形態に係わるカメラ１０の動作を図１０に示すカメラ制御のフローチャートを用いて説明する。後述する図１１、図１３、図１４に示すフローチャートも含めて、本実施形態におけるフローは、図示しないメモリに記憶されているプログラムに従って、制御部１によって実行される。また、本実施形態においては、撮影モードにおいては、動画撮影モードおよび動画アートモードが選択されている場合について説明する。
【００４５】
カメラ１０がパワーオンとなり起動すると、図１０に示すフローがスタートする。まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モード等の他のモードが備えられており、操作部９の操作状態に基づいて撮影者のモード選択状態を判定する。なお、このカメラ１０のデフォルト状態におけるモードは撮影モードである。
【００４６】
ステップＳ１における判定の結果、撮影モードが選択されていなかった場合には、撮影モード以外の処理を行う（Ｓ３５）。ここでは、再生モード等、ユーザによって選択されたモードに従って処理を行う。撮影モード以外の処理を行うと、ステップＳ１に戻る。
【００４７】
ステップＳ１における判定の結果、撮影モードであった場合には、撮像、表示、および顔検出を行う（Ｓ３）。このステップでは、撮像部２によって取得した画像データについて画像処理部３において画像処理し、この画像処理された画像データを用いて表示部８にライブビュー表示を行う。撮影者がライブビュー表示を見ながら構図やシャッタチャンスを決定することができる。また、顔検出部２ａにおいて、画像の中に顔の部分が含まれているか否か、また含まれていた場合にはその位置や大きさを検出する。
【００４８】
撮像、表示、顔検出を行うと、次に、撮影開始か否かの判定を行う（Ｓ５）。ここでは、動画釦等が操作され、動画撮影開始の指示がなされたか否かの判定を行う。この判定の結果、撮影開始ではなかった場合には、ステップＳ１に戻る。撮影モードが選択されている場合には、ステップＳ１〜Ｓ５を繰り返し実行する間、ライブビュー表示が更新される。
【００４９】
ステップＳ５における判定の結果、撮影開始であった場合には、次に、連続撮影および顔検出結果の仮記録を開始する（Ｓ７）。ここでは、撮像部２から出力される動画の画像データと、顔検出部２ａから出力される顔検出結果を仮記録部３ａのメモリ０〜メモリｎに順次、仮記録する。
【００５０】
動画の画像データと顔検出結果を仮記録すると、次に、軌跡判定を行う（Ｓ９）。この軌跡判定では、動作解析部３ｃａが、仮記録された画像データと、顔の検出結果に基づいて、被写体である人物が、図３〜図９を用いて説明したような所定の動きを行っているか否か、言い換えると顔の部分の軌跡が所定の変化となっているかを判定する。この軌跡判定のフローの詳細について、図１１を用いて後述する。
【００５１】
軌跡判定を行うと、次に、軌跡が所定の変化であるか否かを判定する（Ｓ１１）。ここでは、ステップＳ９において行った軌跡判定に基づいて、動作始点終点判定部３ｃｂが、軌跡が所定変化であったか否かを判定する。
【００５２】
ステップＳ１１における判定の結果、軌跡が所定の変化でなかった場合には、次に、所定時間変化がないか否かを判定する（Ｓ２１）。ステップＳ９において軌跡判定を行うためには、所定時間の間のデータが必要となる。この所定時間が短時間過ぎると、十分な判定ができず、また長時間の場合には仮記録部３ａとして大容量のメモリが必要となる。そこど、これらを勘案して、適宜、所定時間の長さを選定すればよい。本実施形態においては、例えば、１０秒程度とする。
【００５３】
ステップＳ２１における判定の結果、所定時間の間、軌跡に所定の変化がなかった場合には、次に、それ以前の画像は、画処理なしで圧縮記録を行う（Ｓ２３）。この場合には、図３ないし図９を用いて説明したような所定の動きを行わなかったことから、動画に効果を与えるような画像処理を行うことなく、そのまま動画の画像データを圧縮し、記録する。すなわち、効果付与部３ｂｂは何ら効果を付与することなく、動画圧縮部３ｄにおいて画像圧縮した後、記録部６に画像データの記録を行う。
【００５４】
一方、ステップＳ１１における判定の結果、軌跡が所定の変化であった場合には、次に、始点終点判定を行う（Ｓ１３）。ここでは、所定の動作であった場合に、動作の始点と終点を求める。例えば、図３及び図４において説明したような反対側に顔を向け、遠ざかって去っていく人物の場合には、反対側に顔を向けた位置を始点とし、頭部が始点時の半分になった位置を終点とする。また、図５及び図６において説明したような顔の部分が回転している場合には、正面を向いた位置を始点とし、一周回って再び正面を向いた位置を終点とする。この始点終点判定のフローについては、図１３を用いて詳述する。
【００５５】
始点終点判定を行うと、次に、始点から終点の間の動画に効果画処理を行い、画像圧縮を行う（Ｓ１５）。始点終点が決まると、その間の動画の画像データに対して特殊効果を付与するような画処理を行う。すなわち、採用決定部３ｂａによって始点と終点の間の動画データが識別されるので、この画像に対して、効果付与部３ｂが画処理を行う。画処理を行うと、動画圧縮部３ｄによって画像圧縮を行う。このステップにおける動作の内、画処理の部分のフローについては、図１４を用いて詳述する。
【００５６】
続いて、始点より前の画像について圧縮し記録する（Ｓ１７）。ステップＳ１３における始点終点判定において始点を判定していることから、このステップでは、始点以前に仮記録部３ａに記録された画像データを動画圧縮部３ｄにおいて圧縮した後、記録部６に記録する。始点以前の画像データに対しては、画処理を行うことがないことから、記録部６に記録し、仮記録部３ａの負荷を軽減する。
【００５７】
ステップＳ１７において始点より前の画像圧縮記録を行うと、またはステップＳ２３において画処理なしで圧縮記録を行うと、またはステップＳ２１における判定の結果、所定時間の間に変化があった場合には、次に、撮影終了か否かの判定を行う（Ｓ１９）。ここでは、動画釦等が再度操作され、動画撮影終了の指示がなされたか否かの判定を行う。この判定の結果、撮影終了でなかった場合には、ステップＳ９に戻る。
【００５８】
ステップＳ１９における判定の結果、撮影終了であった場合、ステップＳ１３において判定された終点より後の画像が仮記録部３ａにそのまま残っている。そこで、終点より後の所定動作の継続状態に応じて処理を異ならせている。まず、終点より後も同様の動作が継続しているか否かの判定を行う（Ｓ２５）。ここでは、動作解析部３ｃａによって、終点以後、撮影終了前の間で所定動作が継続しているか否かを判定する。
【００５９】
ステップＳ２５における判定の結果、同様の動作が継続していた場合には、終点より後の画像の効果画処理を行った後、圧縮し記録する（Ｓ２７）。ここでは、ステップＳ１５において施した画処理と同じ画処理を効果付与部３ｂｂは行い、動画圧縮部３ｄによって圧縮した後に記録部６に記録する。図５及び図６に示したような回転しているシーンであれば、服を変えるような効果が持続する。
【００６０】
一方、ステップＳ２５における判定の結果、同様の動作が継続していなかった場合には、終点から撮影終了までの時間が５秒以上か否かの判定を行う（Ｓ２９）。この判定の結果、５秒以上、動作が継続していない場合には、終点より撮影終了までの間の画像に対して、効果を付与せず、そのまま圧縮し記録する（Ｓ３３）。この場合には、５秒間以上、同様の動作を行っていないことから、全く別の動作を開始したような状況であり、特殊効果を付与すると不自然な画像となることから、そのまま圧縮して記録する。
【００６１】
ステップＳ２９における判定の結果、終点から撮影終了までの時間が５秒未満であった場合には、ステップＳ２７と同様、終点より後の画像に効果画処理を施し、圧縮した後に記録する（Ｓ３１）。終点からの時間が短時間であることから、効果画処理を継続するようにしている。ステップＳ２７、Ｓ３１、Ｓ３３において、終点以降の画像の記録を行うと、ステップＳ１に戻る。
【００６２】
次に、ステップＳ９における軌跡判定のフローの詳細について、図１１に示すフローチャートを用いて説明する。このフローに入ると、まず、顔の向きが横向きか否かの判定を行う（Ｓ４１）。ここでは、顔検出部２ａによる検出結果に基づいて、目鼻の陰影が横向きの陰影か否かであることにより判定する。
【００６３】
ステップＳ４１における判定の結果、顔の向きが横向きであった場合には、次に、目鼻パターンが消失したか否かを判定する（Ｓ４３）。前述したように、人物の顔が正面と反対を向くと目鼻の陰影が消滅するので、動作解析部３ｃａが目鼻の陰影に基づいて判定する。
【００６４】
ステップＳ４３における判定の結果、目鼻パターンが消失した場合には、次に、頭部の判定が可能か否かを判定する（Ｓ４５）。ここでは、図８（ｃ）において示したような頭部の大きさφを、顔検出部２ａが測定可能であるか否かを判定する。この判定の結果、頭部の大きさを判定できる場合には、次に、頭部が縮小していくか否かを判定する（Ｓ４７）。このステップでは、顔検出部２ａにおいて検出された頭部の大きさφの時間的変化に基づいて判定する。なお、ステップＳ４３からＳ４７にかけては、経時変化を見ながら判定する。
【００６５】
ステップＳ４７における判定の結果、頭部が縮小していた場合には、パターン１と設定する（Ｓ４９）。この場合は、図３及び図４において説明したように、人物が振り返って遠ざかって行くシーンに相当し、パターン１の所定軌跡として設定する。
【００６６】
一方、ステップＳ４７における判定の結果、頭部が縮小していなかった場合には、次に、目鼻パターンを再度検出できるか否かの判定を行う（Ｓ５１）。ステップＳ４３において、目鼻の陰影が消失したことを検出しているが、このステップでは、目鼻の陰影が再度、現われたかを、動作解析部３ｃａによって判定する。
【００６７】
ステップＳ５１における判定の結果、目鼻パターンが再度検出できた場合には、パターン２と設定する（Ｓ５３）。この場合は、図５及び図６において説明したように、人物が回転しているシーンであり、パターン２の所定軌跡として設定する。
【００６８】
一方、ステップＳ５１における判定の結果、目鼻パターンが再度検出できなかった場合には、次に、２秒間静止状態か否かを判定する（Ｓ５５）。ここでは、目鼻の陰影が消失したままで、２秒、変化がないかを判定する。なお、２秒は、例示であり、これより短くても長くてもよく、後述するように、人物が空を斜め仰ぎ見ていると判定できる程度の時間であればよい。また、ある動作の後、被写体の人物が一呼吸おくような時間、または、揺れることなく止まっていられる時間程度でもよい。
【００６９】
ステップＳ５５における判定の結果、２秒間の間、静止していれば、パターン３と設定する（Ｓ５７）。この場合には、目鼻の陰影が消失したままで、頭部の大きさが小さくなることなく、２秒静止していることから、空を斜め上に仰ぎ見るようなシーンであり、パターン３の所定軌跡と設定する。
【００７０】
ステップＳ４１における判定において、顔の動きが横向きでなかった場合には、次に、頭部が上下に動いているか否かを判定する（Ｓ６１）。ここでは、動作解析部３ｃａが、図１２に示すように、目鼻の陰影に基づいて、頭部が上下に動いているか否かを判定する。すなわち、図１２（ａ）に示すように、顔が正面を向いている際に、両眼を結ぶ水平線３８を決める。そして、図１２（ｂ）（ｃ）に示すように、頭部が上下に動いた際に、水平線３８と両眼を結ぶ眼線３９の差Ｙ１、Ｙ２を求め、Ｙ１、Ｙ２に基づいて、頭部が上下したかを判定する。
【００７１】
ステップＳ６１における判定の結果、頭部が上下に動いていた場合には、次に、ステップＳ５５と同様に、２秒静止しているか否かを判定する（Ｓ６３）。ここでは、目鼻の陰影が消失したままで、２秒、変化がないかを判定する。具体的には、前述した水平線３８と眼線３９との差分Ｙ１、Ｙ２が変化しないかをみる。なお、２秒は例示であり、下を向いてうつむいている場合や、また、うなずいている場合等と判定できる程度の時間であればよい。また、ある動作の後、被写体の人物が一呼吸おくような時間、または、揺れることなく止まっていられる時間程度でもよい。
【００７２】
ステップＳ６３における判定の結果、２秒静止していれば、パターン４と設定する（Ｓ６５）。この場合には、頭部が上下に動き、かつそのままで２秒間静止していることから、うつむいている場合や、また、うなずいているようなシーンであり、パターン４の所定軌跡と設定する。
【００７３】
ステップＳ４９、Ｓ５３、Ｓ５７、またはＳ６５において、パターン１〜パターン４のいずれかが設定されると、軌跡が所定であると設定し（Ｓ６９）、元のフローに戻る。この場合には、元のフローに戻ると、次のステップＳ１１においてＮｏと判定され、ステップＳ２１に進む。
【００７４】
ステップＳ４３における判定の結果、目鼻パターンが消失していなかった場合、またはステップＳ４５における判定の結果、頭部判定が不能であった場合、またはステップＳ５５における判定の結果、２秒間静止していなかった場合、またはステップＳ６１における判定の結果、頭部が上下に動いていなかった場合、またはステップＳ６３における判定の結果、２秒間静止していなかった場合には、軌跡が所定以外と設定し（Ｓ６７）、元のフローに戻る。この場合には、元のフローに戻ると、次のステップＳ１１においてＹｅｓと判定され、ステップＳ１３に進む。
【００７５】
このように軌跡判定のサブルーチンにおいては、動作解析部３ｃａによって、人物の顔の部分の動きが判定され、所定の軌跡であるか否かが判定される。また、所定の軌跡の場合には、軌跡のパターンが、１〜４で分類付けされる。
【００７６】
次に、ステップＳ１３における始点終点判定のフローの詳細について、図１３に示すフローチャートを用いて説明する。このフローに入ると、まず、パターン１か否かの判定を行う（Ｓ７１）。図１１に示す軌跡判定のサブルーチンのステップＳ４９において、人物がパターン１の軌跡を行っていれば、その旨が設定されている。そこで、このステップにおいては、パターン１が設定されているか否かを判定する。
【００７７】
ステップＳ７１における判定の結果、パターン１であった場合には、顔の向きの変化開始を始点とし、縮小開始を終点する（Ｓ８１）。パターン１は、図３及び図４を用いて説明したように、反対側に振りむき、遠ざかる方向に去っていく人物を撮影するシーンである。このため、反対側を振りむくことによって顔の向きが変化し始めた時点を開始点とし、頭部が半分に縮小した時点を終点とする。
【００７８】
ステップＳ７１における判定の結果、パターン１でなかった場合には、次に、パターン２か否かの判定を行う（Ｓ７３）。ステップＳ５３において、人物がパターン２の軌跡を行っていれば、その旨が設定されている。そこで、このステップにおいては、パターン２が設定されているか否かを判定する。
【００７９】
ステップＳ７３における判定の結果、パターン２であった場合には、正面から正面を始点とし、終点とする（Ｓ８３）。パターン２は、図５及び図６を用いて説明したように、踊るように回転している人物を撮影するシーンである。このため、正面を向いているときが始点であり、この後、一回転して再び正面を向いたときが終点である。
【００８０】
ステップＳ７３における判定の結果、パターン２でなかった場合には、次に、パターン３か否かの判定を行う（Ｓ７５）。ステップＳ５７において、人物がパターン３の軌跡を行っていれば、その旨が設定されている。そこで、このステップにおいては、パターン３が設定されているか否かを判定する。
【００８１】
ステップＳ７５における判定の結果、パターン３であった場合には、顔の向きの変化開始を始点とし、変化停止を終点とする（Ｓ８５）。パターン３は、前述したように、空を斜め上に仰ぎ見るような人物を撮影するシーンである。このため、顔の向きが変化し始めた時点を始点とし、その変化が停止した時点を終点とする。
【００８２】
ステップＳ７５における判定の結果、パターン３でなかった場合には、次に、停止が正面であるか否かの判定を行う（Ｓ７７）。ここでは、パターン４の場合であり、この場合は、うつむいた状態やうなずいた状態である。そこで、このパターン４に属する場合であって、かつ顔の動きの停止時点で、正面を向いているか否かを、動作解析部３ｃａによって判定する。
【００８３】
ステップＳ７７における判定の結果、停止が正面であった場合には、向きの変化開始を始点、表情変化停止を終点とする（Ｓ８７）。この場合は、例えば、下を向いてうつむいていた人物が正面を向いてニコッと笑った場合である。そこで、正面方向に顔が動き出した時点（すなわち、向きの変化開始時点）を始点とし、また、正面を向いて表情変化が停止した時点（ニコッと笑った時点）を終点としている。
【００８４】
ステップＳ７７における判定の結果、停止が正面でなかった場合には、正面の表情変化停止時点を始点とし、頭部の動きが停止した時点を終点とする（Ｓ７９）。この場合は、例えば、正面を向いていた人物が急に表情を変えて下を向きにうつむいたような場合である。そこで、表情が変化した時点を始点とし、下向きの動きが停止した時点を終点としている。
【００８５】
ステップＳ７９、Ｓ８１、Ｓ８３、Ｓ８５、またはＳ８７において、始点と終点を決めると元のフローに戻る。このように、始点終点判定のサブルーチンにおいては、所定の動作に対応して、それぞれ特殊効果を付与するためのタイミング（始点と終点）を決めている。
【００８６】
ステップＳ１５、Ｓ２７、Ｓ３１において種々の処理が行われるが、その内の効果画処理のフローの詳細について、図１４に示すフローチャートを用いて説明する。このフローに入ると、まず、ステップＳ７１と同様にパターン１か否かの判定を行う（Ｓ９１）。
【００８７】
ステップＳ９１における判定の結果、パターン１であった場合には、始点から終点の間の画像をセピア調かつソフトフォーカスとなるように画処理を行う（Ｓ１０１）。前述したように、パターン１は、人物がカメラ１０の反対側に向いて遠ざかって去っていくシーンであることから、この雰囲気に相応しい画面となるように、セピア調に色調を変換すると共に、ソフトフォーカスとなるように画面のコントラストを調整する。なお、セピア調に変えてモノクロトーンでもよく、またソフトフォーカスに変えて他のアートフィルタを施してもよい。
【００８８】
一方、ステップＳ９１における判定の結果、パターン１でなかった場合には、次に、ステップＳ７３と同様に、パターン２か否かの判定を行う（Ｓ９３）。この判定の結果、パターン２であった場合には、始点から終点の間の画像の中で、顔の下の服装部の色を変更するように画処理を行う（Ｓ１０３）。前述したように、パターン２は、前述したように、人物が踊るように回転しているシーンであることから、楽しんで鑑賞できるように、人物の服装の色を変化させる画処理を行う。なお、複数の色を変化させる以外にも、模様等を変化させて楽しむようにしてもよい。
【００８９】
ステップＳ９３における判定の結果、パターン２でなかった場合には、次に、ステップＳ７５と同様に、パターン３か否かの判定を行う（Ｓ９５）。この判定の結果、パターン３であった場合には、始点から終点の間の画像に光沢効果がでるような画処理を施す（Ｓ１０５）。パターン３は、前述したように、空を斜め上に仰ぎ見るような人物を撮影するシーンであることから、この雰囲気に相応しい画面となるように、顔の一部がきらきらと輝くような光沢効果を与える。このきらきら輝くような光沢処理としては、顔の部分または近傍の画素のいくつかを明るく表示したり暗く表示したりして、画素の輝度を時間的に変化させる処理を行う。
【００９０】
ステップＳ９５における判定の結果、パターン３でなかった場合には、次に、ステップＳ７７と同様に、停止状態で顔が正面を向いているか否かを判定する（Ｓ９７）。この判定の結果、停止状態で顔が正面を向いている場合には、次に、始点から終点の間の画像に、明るさを増すような画処理を行う（Ｓ１０７）。この場合は、前述したように、例えば、下を向いてうつむいていた人物が正面を向いてニコッと笑ったシーンである。そこで、この雰囲気に相応しく、明るい画面となるように画処理を施す。
【００９１】
一方、ステップＳ９７における判定の結果、停止状態で顔が正面を向いていなかった場合には、次に、始点から終点の間の画像に明るさを落とすような画処理を行う（Ｓ９９）。この場合は、例えば、正面を向いていた人物が急に表情を変えて下を向きにうつむいたようなシーンである。そこで、この雰囲気に相応しく、重苦しい画面となるように画面の明るさを落とすような画処理を施す。
【００９２】
ステップＳ９９〜Ｓ１０７における画処理を施すと、元のフローに戻る。このように、効果画処理のサブルーチンにおいては、パターン化された所定動作に応じて相応しい画面となるように画処理を行っている。
【００９３】
以上説明したように、本発明の一実施形態においては、動き解析部３ｃａ（ステップＳ９の軌跡判定、図１１参照）によって解析された被写体の動きに応じて、効果付与部３ｂ（ステップＳ１５、Ｓ２７、Ｓ３１、図１４の効果画処理参照）が画像データに対して効果画処理を行っている。このため、被写体の全体の動きに応じて画像処理を変化させており、変化に富んだ画像を得ることができる。従来のカメラにおいては、動いている被写体を撮影する場合、その動きを撮影するためにフレーミングしたり、撮影開始終了のタイミングを調整することしかできず、被写体の短時間の動きの最中に、撮影者がいろいろなカメラ操作をすることが不可能であった。徒競争のようなレースを撮影する場合のように、長時間、撮影する場合とは異なり、人物が瞬時に行った仕草に対応してカメラ操作を行うことは不可能であった。本実施形態では、このような瞬時の動作であっても、カメラが人物の動きを分析し、動きに応じた画像処理を行うことができる。
【００９４】
なお、本発明の一実施形態においては、被写体の所定動作として、パターン１〜パターン４を対象としたが、これ以外の動作を加えてもよく、またパターン１〜パターン４のいずれかを省略するようにしてもよい。
【００９５】
また、本発明の一実施形態においては、所定動作を行っているか否かの判定にあたって、顔の向きと頭部の大きさに基づいて判定したが、これに限らず、手足の動き等、また顔の表情等、他の情報を用いて判定するようにしても勿論かまわない。
【００９６】
さらに、本発明の一実施形態においては、効果画処理として、パターン１〜パターン４に応じて、異なる効果画処理を設定したが、効果画処理の内容は、適宜、異ならせてもよい。
【００９７】
さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を撮影可能な機器であれば、本発明を適用することができる。
【００９８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９９】
１・・・制御部、１ａ・・・記録制御部、１ｂ・・・顔変化判定部、１ｃ・・・モード設定部、２・・・撮像部、２ａ・・・顔検出部、３・・・画像処理部、３ａ・・・仮記録部、３ｂ・・・効果付与部、６・・・記録部、７・・・時計部、９・・・時計部、１０・・・カメラ、２１・・・人物、３１ａ〜３１ｅ・・・画像、３２ａ〜３２ｆ・・・画像、３３ａ〜３３ｅ・・・画像、３４ａ〜３４ｆ・・・画像、３６・・・中心線、３７・・・鼻筋線、３８・・・水平線、３９・・・眼線
【特許請求の範囲】
【請求項１】
被写体像を撮像し、画像データを出力する撮像部と、
上記画像データに基づいて、人物の画像の内の顔部分の向きの変化の開始時点と終了時点を判定する顔変化判定部と、
上記顔変化判定部に判定された上記開始時点と上記終了時点に基づいて、上記画像データの画像処理を行う画像処理部と、
を具備することを特徴とする撮影機器。
【請求項２】
上記顔変化判定部は、さらに上記顔の部分の大きさの変化を判定し、
上記画像処理部は、上記顔の大きさの変化に基づいて、上記画像処理の内容を決定する、
ことを特徴とする請求項１に記載の撮影機器。
【請求項３】
被写体像を撮像し、動画の画像データを出力する撮像部と、
上記画像データに基づいて、被写体の動きを解析する動き解析部と、
上記動き解析部によって解析された被写体の動きに応じて、上記画像データに対して効果画処理を行う効果付与部と、
上記効果付与部によって効果画処理が施された画像データを記録する記録部と、
を具備することを特徴とする撮影機器。
【請求項４】
さらに、上記動き解析部によって解析された上記被写体の動きに基づいて、上記効果付与部によって効果画処理を施す範囲を判定する動作始点終点判定部を有することを特徴とする請求項３に記載の撮影機器。
【請求項５】
上記効果付与部は、上記動作始点終点判定部によって判定された始点と終点の間の画像データに対して、上記効果画処理を施すことを特徴とする請求項４に記載の撮影機器。
【請求項６】
上記動き解析部は、上記被写体の動きを予め決められたパターンに分類することを特徴とする請求項３に記載の撮影機器。
【請求項７】
上記効果付与部は、上記動き解析部によるパターンに応じて、効果画処理を変更することを特徴とする請求項６に記載の撮影機器。
【請求項８】
上記動作解析部は、被写体の人物の顔の向きおよび大きさの少なくとも１つを用いて、被写体の動きを解析することを特徴とする請求項３に記載の撮影機器。
【請求項９】
被写体像を撮像して動画の画像データを出力し、
上記画像データに基づいて、被写体の動きを解析し、
上記解析された被写体の動きに応じて、上記画像データに対して効果画処理を行い、
上記効果画処理が施された画像データを記録する、
ことを特徴とする画像データ生成方法。
【請求項１】
被写体像を撮像し、画像データを出力する撮像部と、
上記画像データに基づいて、人物の画像の内の顔部分の向きの変化の開始時点と終了時点を判定する顔変化判定部と、
上記顔変化判定部に判定された上記開始時点と上記終了時点に基づいて、上記画像データの画像処理を行う画像処理部と、
を具備することを特徴とする撮影機器。
【請求項２】
上記顔変化判定部は、さらに上記顔の部分の大きさの変化を判定し、
上記画像処理部は、上記顔の大きさの変化に基づいて、上記画像処理の内容を決定する、
ことを特徴とする請求項１に記載の撮影機器。
【請求項３】
被写体像を撮像し、動画の画像データを出力する撮像部と、
上記画像データに基づいて、被写体の動きを解析する動き解析部と、
上記動き解析部によって解析された被写体の動きに応じて、上記画像データに対して効果画処理を行う効果付与部と、
上記効果付与部によって効果画処理が施された画像データを記録する記録部と、
を具備することを特徴とする撮影機器。
【請求項４】
さらに、上記動き解析部によって解析された上記被写体の動きに基づいて、上記効果付与部によって効果画処理を施す範囲を判定する動作始点終点判定部を有することを特徴とする請求項３に記載の撮影機器。
【請求項５】
上記効果付与部は、上記動作始点終点判定部によって判定された始点と終点の間の画像データに対して、上記効果画処理を施すことを特徴とする請求項４に記載の撮影機器。
【請求項６】
上記動き解析部は、上記被写体の動きを予め決められたパターンに分類することを特徴とする請求項３に記載の撮影機器。
【請求項７】
上記効果付与部は、上記動き解析部によるパターンに応じて、効果画処理を変更することを特徴とする請求項６に記載の撮影機器。
【請求項８】
上記動作解析部は、被写体の人物の顔の向きおよび大きさの少なくとも１つを用いて、被写体の動きを解析することを特徴とする請求項３に記載の撮影機器。
【請求項９】
被写体像を撮像して動画の画像データを出力し、
上記画像データに基づいて、被写体の動きを解析し、
上記解析された被写体の動きに応じて、上記画像データに対して効果画処理を行い、
上記効果画処理が施された画像データを記録する、
ことを特徴とする画像データ生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２３４２６９（Ｐ２０１１−２３４２６９Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０４９４５（Ｐ２０１０−１０４９４５）
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月３０日（２０１０．４．３０）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]