画像処理装置および画像処理方法
【課題】動画撮影時に被写体を追い続けることを容易にするとともに、より広い範囲を写した動画像から特定の被写体の動作状況に応じた適切なフレームサイズの動画像の記録または再生を可能とする。
【解決手段】画像処理装置３００は、被写体を撮像して得られる入力動画像中において追尾エリアを設定する追尾エリア設定部３１０と、追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定する従属特徴点設定部３１４と、時間経過に伴う従属特徴点の入力画像内における動きを検出する動き検出部３１８と、入力画像から、追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の切り出し範囲を設定する切り出し範囲設定部であって、動き検出部３１８による動きの検出結果に基づいて切り出し範囲の大きさおよび位置を設定する切り出し範囲設定部３２０とを備える。
【解決手段】画像処理装置３００は、被写体を撮像して得られる入力動画像中において追尾エリアを設定する追尾エリア設定部３１０と、追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定する従属特徴点設定部３１４と、時間経過に伴う従属特徴点の入力画像内における動きを検出する動き検出部３１８と、入力画像から、追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の切り出し範囲を設定する切り出し範囲設定部であって、動き検出部３１８による動きの検出結果に基づいて切り出し範囲の大きさおよび位置を設定する切り出し範囲設定部３２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像して得られた動画像中の注目被写体の動きに応じた範囲で画像を切り出す技術に関する。
【背景技術】
【０００２】
撮影中に画像を認識し、注目被写体として認識された被写体を主体として焦点調節、露出調節、カラーバランスの調節等を行う技術が知られている。また、人の顔の表情を認識し、被写体が微笑んだことが検出されたときにレリーズ動作を開始する技術も知られている。
【０００３】
特許文献１には、撮像部により生成された複数の画像フレームから被写体の顔画像を検出し、その顔画像を追跡し続ける技術が開示される。この技術では、被写体が後ろを向いてしまう等の状況で顔画像を検出できなくなったときに、隣り合う画像フレーム間で動体解析をすることにより顔画像に対応する顔画像対応部が設定される。そして、再び顔画像が検出できるようになるまでの間、顔画像対応部の追跡が行われる。そして、顔画像または顔画像対応部に基づいて撮像制御が行われる。
【０００４】
特許文献２には、被写体の笑顔を検出したときに自動的に撮影を行う撮像装置が開示される。撮像装置は検出手段と制御手段とを備える。検出手段は笑顔の被写体が写った笑顔画像の撮影枚数が基準枚数に到達した場合、それ以降は、被写体の笑顔以外の表情またはジェスチャーを検出する。制御手段は、検出手段により笑顔以外の表情またはジェスチャーが検出されたときに、自動的に撮影を実行する。
【０００５】
特許文献３には、人物のシルエット画像からその人物の姿勢や各部を検出するための技術が開示される。この技術では、人物のシルエット画像から人物の輪郭線が検出され、解析される。この輪郭線は単純図形化され、スケルトン化処理が施されて、最終的に上記人物の中心線であるボーン軸として検出される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２８３３７９号公報
【特許文献２】特開２０１０−２７３２８１号公報
【特許文献３】特開２００４−１６４４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画像を撮影可能な撮影装置で、画像認識の技術を用いて注目被写体に焦点を調節し続ける技術が知られている。動いている被写体を撮影しているときに、撮影者は焦点調節のために気を配ることなく、被写体が画面内に収まるようにフレーミングし続けることにより、鮮鋭な動画像を得ることが可能となる。
【０００８】
しかし、動き回る被写体を画面一杯に捉えるようにしてフレーミングし続けるのは難しく、ときに被写体が撮影範囲から外れてしまう場合がある。また、被写体と撮影者の間に障害物が入り込むと被写体を見失い、その後継続して被写体を追い続けることができなくなる場合がある。また、撮影レンズを広角側に設定して被写体をとりまく環境も含めたシーンを記録したい一方で、撮影レンズを望遠側に設定して被写体をアップでも撮りたい場合もあるが、そのようなときには撮影レンズを広角側、望遠側のいずれかに設定して撮るしかない。
【０００９】
本発明は上述した課題に鑑み、なされたもので、動画撮影時に被写体を追い続けることを容易にするとともに、より広い範囲を写した動画像から特定の被写体の動作状況に応じた適切なフレームサイズの動画像の記録または再生を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１） 本発明のある態様によれば、画像処理装置が、被写体を撮像して得られる入力動画像中において追尾エリアを設定する追尾エリア設定部と、
前記追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定する従属特徴点設定部と、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出する動き検出部と、
前記入力画像から、前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲を設定する切り出し範囲設定部であって、前記動き検出部による前記動きの検出結果に基づいて前記切り出し範囲の大きさおよび位置を設定する切り出し範囲設定部と
を備える。
【００１１】
（２） 本発明のある態様によれば、画像処理方法が、被写体を撮像して得られる入力動画像中において追尾エリアを設定することと、
前記追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定することと、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出することと、
前記動きを検出することにより検出された前記動きの検出結果に基づき、前記入力画像から前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲の大きさおよび位置を設定することと
を備える。
【発明の効果】
【００１２】
本発明によれば、動画撮影時に被写体を追い続けることを容易となるのに加え、より広い範囲を写した動画像から特定の被写体の動作状況に応じて適切なフレームサイズ（切り出し範囲）で切り出した動画像の記録または再生が可能となる。
【図面の簡単な説明】
【００１３】
【図１】デジタルカメラの正面側外観を示す斜視図である。
【図２】デジタルカメラの背面側外観を示す斜視図である。
【図３】デジタルカメラの内部構成を示すブロック図である。
【図４Ａ】時間の経過とともに変化する入力画像が画像処理装置によって逐次処理される様子を概念的に説明する図である。
【図４Ｂ】時間の経過とともに変化する入力画像が画像処理装置によって逐次処理される様子を概念的に説明する図であり、図４Ａに続く図である。
【図５】画像処理装置により行われる追尾の処理手順を示すフローチャートである。
【図６】画像処理装置により行われる特徴点抽出・設定の処理手順を示すフローチャートである。
【図７】画像処理装置により行われる切り出し範囲設定の処理手順を示すフローチャートである。
【図８】画像処理装置により行われる背景特徴点設定の処理手順を示すフローチャートである。
【図９】画像処理装置により行われる動き検出の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係る画像処理装置を備えたデジタルカメラ１００を正面側から見た様子を示す図である。図１に示すデジタルカメラ１００は、静止画および動画の撮影が可能に構成される。デジタルカメラ１００は、カメラ本体１０２と、レリーズスイッチ１０４と、パワースイッチ１０６と、撮影レンズ１２０とを備える。
【００１５】
図２は、デジタルカメラ１００を背面側から見た様子を示す図である。デジタルカメラ１００の背面には、ズームスイッチ１０８と、ダイヤルスイッチ１１０と、メニュースイッチ１１２と、シーソースイッチ１１４と、表示装置１３０とを備える。
【００１６】
パワースイッチ１０６を押下することにより、デジタルカメラ１００の電源をオフからオン、あるいはオンからオフに切り換えることができる。レリーズスイッチ１０４を押下することにより、静止画や動画の撮影を開始することができる。また、デジタルカメラ１００が動画像記録モードで撮影動作をしているときにレリーズスイッチ１０４を押下することにより、撮影動作を停止することができる。
【００１７】
撮影レンズ１２０は、単焦点の撮影光学系、または変倍式の撮影光学系と、絞り調節機構と、焦点調節機構とを備える。デジタルカメラ１００がレンズシャッタ式のものである場合、撮影レンズ１２０はレンズシャッタ機構も備える。また、撮影レンズ１２０の撮影光学系が変倍式のものである場合、焦点距離を変化させるための変倍機構を備える。本実施の形態において、撮影レンズ１２０は変倍式の撮影光学系と、電動式の変倍機構とを備えるものとする。ユーザはズームスイッチ１０８を操作することにより、撮影レンズ１２０の焦点距離を変化させることができる。
【００１８】
ダイヤルスイッチ１１０は、デジタルカメラ１００の動作モード（静止画記録モードや動画像記録モード、また、静止画撮影モード時における絞り優先自動露出モード、シャッタ速度優先自動露出モード、マニュアル露出モード、プログラム自動露出モード等の露出モード）を切り換える際に操作される。
【００１９】
メニュースイッチ１１２は、デジタルカメラ１００の様々なカスタム設定をする際のメニュー操作画面を表示装置１３０に表示して設定の変更をする操作を開始する際に押されるスイッチである。シーソースイッチ１１４は、上述したメニュー操作画面内でカーソルを移動させ、所望の設定に切り換える際に用いられるスイッチである。
【００２０】
表示装置１３０は、カラー液晶表示パネルとバックライト装置とを備え、画像やメニュー画面、情報等を表示可能に構成される。表示装置１３０には、撮影準備動作中や撮影動作中のライブビュー表示も行うことが可能に構成される。この表示装置１３０は、有機ＥＬディスプレイ装置等を備えて構成されていてもよい。なお、デジタルカメラ１００は電子ビューファインダを備えていてもよく、表示装置１３０に表示されるのと同様の表示を電子ビューファインダ内で表示してもよい。
【００２１】
デジタルカメラ１００は、動画撮影モードで動画像を記録する際に、画像切り出しを行うことが可能に構成される。画像切り出しとは、撮像部３０６から得られる入力動画像の各フレーム中から一部の画像（部分画像）を切り出して別の動画像を生成することを意味する。このようにして生成された動画像を本明細書中では切り出し動画像と称する。デジタルカメラ１００は、生成された切り出し動画像の表示または記録、もしくは両方が可能に構成される。以下では、デジタルカメラ１００が動画撮影モードで動作し、その際に画像切り出しが行われて切り出し動画像が表示および記録される場合を主体に説明をする。
【００２２】
図３は、デジタルカメラ１００の内部構成を概略的に説明するブロック図である。デジタルカメラ１００は、撮像部３０６と、画像処理装置３００と、システムバス３５２と、インターフェース３５４と、ＣＰＵ３６０と、集音部３７０と、操作部３８０と、表示装置１３０とを備える。
【００２３】
撮像部３０６は、撮影レンズ１２０と、撮像素子３０２と、アナログ・フロントエンド３０４とを備えており、これらの構成要素はＣＰＵ３６０と電気的に接続されている。撮像素子３０２は、撮影レンズ１２０によって形成された被写体像を光電変換してカラーの画像信号を生成可能に構成されるイメージセンサであり、ＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサなどを用いることが可能である。アナログ・フロントエンド３０４は、撮像素子３０２から出力されるアナログ画像信号にＣＤＳ（Correlated Double Sampling）、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像データを生成する。撮像素子３０２がＣＭＯＳイメージセンサである場合、アナログ・フロントエンド３０４は撮像素子３０２の内部に含めることが可能である。
【００２４】
画像処理装置３００は、画像処理部３０８と、追尾エリア設定部３１０と、特徴点導出部３１２と、従属特徴点設定部３１４と、背景特徴点設定部３１６と、動き検出部３１８と、切り出し範囲設定部３２０と、バッファメモリ３２２と、表示制御部３３０と、切り出し範囲明示処理部３３２と、記録部３４０と、圧縮伸長部３５０とを備える。これらの構成要素およびインターフェース３５４、ＣＰＵ３６０、アナログ・フロントエンド３０４は、システムバス３５２を介して互いに電気的に接続される。
【００２５】
バッファメモリ３２２はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等で構成され、比較的高速のアクセス速度を有するメモリである。このバッファメモリ３２２には、システムバス３５２を介してＣＰＵ３６０からもアクセス可能に構成される。
【００２６】
以下では図４Ａ、図４Ｂを適宜参照しながら、画像処理装置３００の各構成要素で行われる処理について説明する。図４は、時間の経過とともに変化する入力動画像が画像処理装置３００によって逐次処理される様子を概念的に説明する図である。図４中、縦に並ぶ四つの画像を一組として、あるタイミングにおいて得られた入力動画像に対して処理が行われる様子を示している。さらに、タイミング［１］、［２］、…、［５］と、時間を追って変化する入力動画像に対応して処理結果が変化する様子が図４には示されている。
【００２７】
画像処理部３０８は、アナログ・フロントエンド３０４から出力されてバッファメモリ３２２に一時的に記憶されたデジタル画像データに対してオプティカルブラック減算、デモザイキング、ホワイトバランス調整、色相・彩度・コントラスト調整、エッジ強調、ノイズ低減等の処理をする。画像処理部３０８はまた、上記処理をした画像データからＹＣｂＣｒ、ＨＳＶ等の色空間の画像データを生成し、そのうちのＹチャンネルやＶチャンネルだけで表される画像データ（本明細書においてこれを輝度画像データと称する）を生成し、バッファメモリ３２２に一時的に保存する。輝度画像データを用いることにより、画像処理装置３００で以下に説明する処理が行われる際の処理負荷を減じることが可能となる。何故ならば、色情報が除去されているため、同じピクセルサイズの画像であってもデータ量を減じることができるからである。無論、画像処理装置３００の処理能力や目的に応じて、カラー画像データを用いて以下の処理を行うことも可能である。また、輝度画像データの生成方法についても、先に示した方法以外の様々な方法を適用可能である。
【００２８】
追尾エリア設定部３１０は、撮像部３０６で被写体を撮像して得られる動画像（これを入力動画像と称する）中において追尾対象の存在するエリア、すなわち追尾エリアを設定する。追尾エリアの設定には様々な方法が利用可能である。例えば、レリーズスイッチ１０４が押下されて動画像の記録が開始されたときに、ライブビュー表示画像中に重ねて表示される矩形のフォーカスフレームと重なる被写体像の存在するエリアを追尾エリアとすることが可能である。あるいは、表示装置１３０の表示面上に、透明のタッチスイッチが備えられていてもよい。その場合、表示されているライブビュー表示画像中に写る被写体像のうち、所望の被写体像をユーザが指先等で触れることにより、当該被写体の存在するエリアを追尾エリアとすることができる。また、人や動物の顔を認識して、顔の存在するエリアを追尾エリアとすることができる。その他、人物等、複数の被写体が入力画像中に存在しているときに、最も近い位置、あるいは最も大きく写っている被写体や、最もコントラストの高い被写体の存在するエリアを追尾エリアとして設定することが可能である。さらには、事前に特定の被写体の顔の画像を登録しておき、撮影準備動作中や撮影動作中にパターン認識の処理を繰り返し行い、登録された画像のパターンと一致度の高いパターンを有するエリアを追尾エリアとして設定する事も可能である。
【００２９】
以下では、追尾エリアとして人や動物の顔（頭部）の存在する部分が設定されるものとして説明する。図４には、あるタイミング［１］、［２］、…、［５］それぞれに対応して縦方向に四つの画像が並べて示されている。各タイミングに対応する画像中、上から２番目の画像において人の顔（頭部）を囲うように矩形が示されている。これが追尾エリアであることを示している。
【００３０】
特徴点導出部３１２は、入力動画像（輝度画像データ）を解析して特徴点を導出する処理を、すべてのフレームの画像に対して行う。あるいは、画像処理装置３００の処理能力によっては、所定フレーム数の画像が入力されるのに対して１回の割合で行うことも可能である。ここで、特徴点とは、図４に示される例の中でｘの印が付されている点を意味する。一度導出された特徴点は、以後、時間の経過に伴う画面内における上下左右方向の位置の変化が追跡されるので、二次元方向にエッジ成分を有していることが望ましい。このような性質を有する特徴点を抽出する方法としては、輝度画像データにより形成される二次元画像をメッシュ状に分割し、分割された領域の各画像データに対して二次元フーリエ変換を行う方法がある。分割された各領域中、二次元方向にエッジ成分が検出されたら、そこに特徴点があると判定することが可能である。あるいは、既知の様々なコーナー検出処理を用いることが可能である。図４に示される例では、壁面に設けられた照明用スイッチの角部、髪の毛の先端、服の袖口、スラックスの裾、服の柄、床と壁との境界線と、人の脚の輪郭とが交差する点などに対応して特徴点が導出される。これらの特徴点それぞれに対応して識別符号が付与され、画面内における座標値などの情報とともに登録される。
【００３１】
従属特徴点設定部３１４は、特徴点導出部３１２で導出された特徴点のうち、追尾エリアに従属する特徴点を検出して設定する。従属特徴点とは、追尾エリア（本実施の形態では追尾対象としての人の顔が存在するエリア）の動きに従属した動きを示す特徴点である。つまり、追尾対象が人の顔であれば、その顔および顔の近傍部分（髪の毛、帽子、アクセサリ等）や全身（顔以外の部分）に対応する特徴点が従属特徴点として設定される。このとき、特徴点導出部３１２で導出された特徴点のうち、追尾エリア内の顔および顔の近傍に存在する特徴点が顔部特徴点として設定される。図４の各タイミング［１］、［２］、…、［５］における上から２番目の画像中、追尾エリアを示す枠の内側でそれぞれ二つの特徴点が設定されている例が示されているが、これらが顔部特徴点に相当する。また、追尾エリアにつながる全身における顔以外の部分の特徴点が他部特徴点として設定される。図４中、追尾エリア内の顔につながる体（首から下の部分）の肩、胸、手足等に設定されている特徴点が他部特徴点に相当する。追尾エリア設定部３１０で追尾エリアが設定された後、入力動画像をしばらくの間解析し、追尾エリアの動きと相関度の高い動きを示す特徴点を検出することにより、従属特徴点を設定することが可能となる。
【００３２】
以上では人の顔の存在するエリアが追尾エリアとして設定され、この追尾エリアの動きに従属した動きを示す特徴点が従属特徴点として設定される例について説明した。追尾エリアとしては、人の顔のみならず、動物の顔部分、植物の花の部分、自動車や鉄道車両等の先頭部分等が存在するエリアを設定可能である。その場合、これらの顔部分、花の部分、先頭部分およびその近傍に存在する特徴点が顔部特徴点として設定可能である。またそれらの部分につながる部分の特徴点を他部特徴点として設定することが可能である。
【００３３】
背景特徴点設定部３１６は、特徴点導出部３１２で導出されて登録された特徴点の、時間経過に伴う入力動画像内での動きを解析し、動き量や動き方向（動きのパターン）に応じてグループ分けする。その結果、各特徴点は複数のグループにグループ分けされる。これら複数のグループのうちの一つは従属特徴点のグループである。その他のグループとして、同じような向きに同じような量で動く特徴点群からなる１または複数のグループが形成される。背景特徴点設定部３１６は、これら１または複数のグループのうち、最も多くの特徴点群を擁するグループを、背景特徴点のグループとして分類する。あるいは、最も広い範囲に分散する特徴点群を擁するグループを背景特徴点のグループとして分類することも可能である。グループ分けに際しては、各特徴点に対応する登録情報に対して、どのグループに属する特徴点であるのかを示すグループ属性の情報を付加することが可能である。このようにして、追尾対象の前方や後方を通過する歩行者や車両等の移動体の特徴点と、背景の特徴点とを弁別することができる。
【００３４】
動き検出部３１８は、従属特徴点の背景特徴点に対する動きを検出する。例えば、追尾対象の顔を含む全身および背景の双方に動きがない状態であっても、デジタルカメラ１００でパン操作やティルト操作が行われると、入力動画像内における特徴点は全体的に移動する。このようなときに、背景特徴点に対する従属特徴点の動きを検出することにより、従属特徴点のグループに属する特徴点そのものの動きを検出することが可能となる。
【００３５】
図４の各タイミング［１］、［２］、…、［５］における上から２番目および３番目の画像中、動き検出部３１８で動きの検出された特徴点は丸印で囲ったｘで示されている。ここで、各タイミングにおける撮影状況について説明する。タイミング［１］は、壁際に立つ人物の動きが殆ど無い状態を示しており、動き検出部３１８によって動きの検出された特徴点が無い状態を示している。タイミング［２］は、人物が右腕を上げている状態を示しており、右肘および右手に対応する特徴点の動きが検出された状態を示している。なお、撮影状況の変化に応じて特徴点の数は増減する場合があるので、グループ分けも逐次行われる。
【００３６】
タイミング［３］は、タイミング［２］の状態から、人物が右腕を下げつつ、腰をひねって上半身だけを右に向けた状態を示しており、右手および左手に対応する特徴点の動きが検出された状態を示している。タイミング［４］は、人物が足下から動いて全体として右を向いた状態を示しており、左右の手足で特徴点の動きが検出された状態を示している。タイミング［５］は、人物が左手の側に向かって歩き出し、それを追うようにデジタルカメラ１００が被写体に向かって右の方向にパン操作されている状態を示している。
【００３７】
タイミング［２］、［３］、［４］の状況が、従属特徴点中の一部の特徴点だけで動きが検出されているのに対して、タイミング［５］の状況は、背景に対して従属特徴点が全体として動いている点が相違する。
【００３８】
切り出し範囲設定部３２０は、入力動画像を構成する各フレームの画像から部分画像を切り出す際の切り出し範囲、すなわち切り出す大きさと切り出す位置とを、動き検出部３１８による動き検出結果に基づいて設定する。切り出し範囲設定部３２０は、追尾エリア、すなわち図４中で各タイミングに対応して示される四つの画像中、上から２番目の画像の中で矩形によって囲われる部分を少なくとも含むように画像の切り出し範囲を設定する。切り出し範囲設定部３２０はさらに、動き検出部３１８で動きの検出された特徴点（本明細書において、動きの検出された特徴点を動き特徴点と称する）があるときには、その動き特徴点も含むように画像の切り出し範囲を設定する。
【００３９】
図４のタイミング［１］における画像を参照して説明する。タイミング［１］では、動き検出部３１８で動きの検出された特徴点は無い。この場合、切り出し範囲設定部３２０は追尾エリアの部分の画像、すなわち顔の部分の画像の面積が部分画像中でより多く占められるように切り出し範囲を設定する。つまり、主要被写体としての人物があまり動いていない場合には、顔の部分がアップで捉えられるように切り出し範囲を設定する。上から３番目の画像中で顔の部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。また、一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４０】
図４のタイミング［２］における画像を参照して説明する。タイミング［２］では、右腕の肘および手の部分に対応する特徴点の動きが動き検出部３１８によって検出されている。この場合、切り出し範囲設定部３２０は、追尾エリアと、動きの検出された特徴点とを囲うように切り出し範囲を設定する。上から３番目の画像中で顔および右腕の部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。また、一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４１】
図４のタイミング［３］における画像を参照して説明する。タイミング［３］では、右手および左手に対応する特徴点の動きが動き検出部３１８によって検出されている。この場合、切り出し範囲設定部３２０は、追尾エリアと、動きの検出された特徴点とを囲うように切り出し範囲を設定する。上から３番目の画像中で、顔から左手の先までの部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。また、一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４２】
図４のタイミング［４］における画像を参照して説明する。タイミング［４］では、右手および左手に対応する特徴点の他、右足および左足に対応する特徴点の動きも検出されている。この場合、切り出し範囲設定部３２０は、追尾エリアと、動きの検出された特徴点とを囲うように切り出し範囲を設定する。上から３番目の画像中で、顔から足までの部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４３】
図４のタイミング［５］における画像を参照して説明する。タイミング［５］では、背景に対して従属特徴点が全体として動いていることが動き検出部３１８で検出される。以下では、背景に対して従属特徴点が全体として動いていることを対背景全体移動と称する。上から２番目、３番目の画像に示される黒い矢印は、動き検出部３１８によって対背景全体移動が検出されたことと、対背景全体移動の向きとを示している。この場合、切り出し範囲設定部３２０は、追尾エリアと従属特徴点とを囲うように切り出し範囲を設定する。加えて、対背景全体移動の方向に、より多くの空間が与えられるように、切り出し範囲設定部３２０は切り出し範囲を設定する。上から３番目の画像中で、顔から足までの部分を囲い、かつ人物の移動方向（これから進もうとする側）により多くの空間が与えられるように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力画像から切り出された部分画像を示す。このように切り出しを行うことにより、主要被写体としての人等が興味を示すものが存在しうる方向により多くの空間を与えて、動画像を見る者の興味を増すことが可能となる。また、追尾エリア（主要被写体）の移動する側により多くの空間が与えられるような画像とすると、より好ましいバランスの構図を得ることが可能となる。
【００４４】
なお、図４を参照して以上に説明した切り出し範囲の設定に際しては、遅れ時間を設定することが望ましい。すなわち、時間の経過とともに追尾対象としての被写体が移動や停止を繰り返す場合、それに対応して切り出し範囲を変化させる際に、切り出し範囲の変化が緩やかになるようにすることが望ましい。理由は、切り出し範囲が頻繁に変化すると、切り出し動画像が見苦しいものとなるからである。また、切り出し範囲を変化させる際にも、以前の切り出し範囲から最新の切り出し範囲へ、突然変化させることも可能であるが、所定の変化速度を超すことのないように変化させることが望ましい。
【００４５】
画像処理部３０８は、入力動画像を構成する各フレームの画像から、切り出し範囲設定部３２０で設定された切り出し範囲に対応する画像を切り出し、バッファメモリ３２２に一時的に保存する。表示制御部３３０は、画像処理部３０８によって処理されて生成された動画像や切り出し動画像が表示装置１３０に表示されるように表示装置１３０を制御する。
【００４６】
切り出し範囲明示処理部３３２は、切り出し範囲設定部で設定された切り出し範囲をデジタルカメラ１００のユーザに明示するための処理を行う。切り出し範囲明示処理としては、切り出し処理して得られた切り出し動画像をそのまま表示装置１３０に表示する方法、切り出し処理が行われていない動画像と切り出し動画像とを表示装置１３０上に並べて表示する方法等、表示装置１３０の表示部の大きさ等に応じていずれかの方法を用いることが可能である。あるいは、切り出し処理をしていない動画像を表示し、その動画像中に切り出し範囲を表示する方法を用いることも可能である。このとき、単純に矩形の枠を描画してもよいし、入力動画像中の切り出しが行われる範囲とそれ以外の範囲とでコントラストや明度等を変えて表示することも可能である。表示制御部３３０は、切り出し範囲明示処理部３３２の処理結果に基づいて表示装置１３０に切り出し範囲を表示する。
【００４７】
記録部３４０には、画像処理装置３００で生成される静止画像データや動画像データが保存される。記録部３４０は、内蔵メモリ３４２、またはデジタルカメラ１００に対して装脱自在に構成される外部メモリ３４４を備える。あるいは、内蔵メモリ３４２および外部メモリ３４４の双方を備えていてもよい。
【００４８】
圧縮伸長部３５０は、画像処理装置３００で生成される静止画像データや動画像データを圧縮／伸長する処理を行う。静止画像データの圧縮には、ＪＰＥＧ（Joint Photographic Experts Group）方式を利用可能である。動画像データの圧縮には、Ｍｏｔｉｏｎ ＪＰＥＧやＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４等の方式を利用可能である。圧縮伸長部３５０はまた、後述する集音部３７０で生成される音声データをＡＣ３（Audio Code number 3）、ＭＰ３（MPEG Audio Layer-3）等の方式で圧縮／伸長する処理も行う。
【００４９】
以上、画像処理装置３００が備える構成要素とそれらの動作について説明した。続いて、デジタルカメラ１００が備える他の構成要素について説明する。
【００５０】
ＣＰＵ３６０は、画像処理装置３００の各構成要素、インターフェース３５４と、システムバス３５２を介して電気的に接続される。ＣＰＵ３６０はまた、撮像部３０６の各構成要素、集音部３７０、操作部３８０とも電気的に接続される。
【００５１】
操作部３８０は、先に図１、図２を参照して説明した、レリーズスイッチ１０４、パワースイッチ１０６等の各種スイッチを備える。ＣＰＵ３６０は、ユーザによる操作部３８０の操作状態を検出してデジタルカメラ１００の動作を統括的に制御する。ＣＰＵ３６０はまた、集音部３７０による集音動作を制御し、集音部３７０から出力される音声データを画像処理装置３００に出力する。
【００５２】
集音部３７０は、デジタルカメラ１００の外部の音を集音する一または複数のマイクロホンと、マイクロホンから出力される信号を増幅し、Ａ／Ｄ変換してデジタル音声信号を生成するアナログ・フロントエンドと、アナログ・フロントエンドから出力されるデジタル音声信号にイコライジング、フィルタリングの処理をするデジタル・シグナル・プロセッサとを備える。集音部３７０は、ＣＰＵ３６０から出力される制御信号に基づき、集音動作を行う。なお、集音部３７０のデジタル・シグナル・プロセッサを省き、デジタル音声信号の処理を画像処理装置３００で行うことも可能である。動画像撮影時に、ＣＰＵ３６０は画像処理装置３００によって生成された画像データと集音部３７０で集音されて生成された音声データとを収容した所定のフォーマットの動画像ファイルを生成し、記録部３４０に保存する。
【００５３】
インターフェース３５４は、ＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）等の有線インターフェース、および光や電波による無線通信の技術を用いた無線インターフェースのうち、いずれかまたは両方を備え、画像データや音声データを収容して生成された画像ファイルを外部装置との間で授受可能に構成される。
【００５４】
図５から図９は、画像処理装置３００で行われる追尾処理の処理手順を概略的に説明するフローチャートである。以下では、デジタルカメラ１００が切り出し動画像生成処理を伴う動画像撮影モードに設定され、動画像撮影が開始されたときにこれらの処理の実行が開始されるものとして説明をする。また、撮影動作開始前に追尾エリアが予め設定されているものとする。追尾エリアの設定は、先に図３を参照して説明した追尾エリア設定部３１０で実行可能ないずれかの処理により、特定の人物（追尾対象）の顔の存在するエリアが設定されるものとする。
【００５５】
Ｓ５００において画像処理装置３００は、顔検出処理を行う。この顔検出処理では、入力動画像内に存在する不特定の顔の検出が行われる。この顔検出処理により、一つまたは複数の顔が検出される。なお、ここでは顔の検出が行われるものとして説明するが、顔以外の部分、例えば追尾対象として、頭部や後頭部を検出する処理が行われてもよい。
【００５６】
Ｓ５０２において、追尾対象としての顔が存在するか否かが判定される。つまり、Ｓ５００で検出された顔のうち、追尾エリア内の顔と一致する顔があるか否かの判定の判定がＳ５０２で行われる。この判定処理としては、様々な方法を利用可能である。例えば、入力動画像内における直近の過去の追尾エリアの位置および移動方向に基づき、Ｓ５００の処理が行われた時点において、追尾対象の存在する可能性が高い位置の近傍に顔があるか否かを判定することが可能である。その位置の近傍に顔があると判定された場合、Ｓ５０２の判定が肯定され、その顔の存在する領域が最新の追尾エリアとされる。Ｓ５０２の判定が肯定されると処理はＳ５０４に進む一方、否定されるとＳ５２０に進む。
【００５７】
Ｓ５０４において画像処理装置３００は、特徴点抽出・設定の処理を行う。この処理の詳細については後で図６を参照して説明するが、図３を参照して先に説明した特徴点導出部３１２、従属特徴点設定部３１４、背景特徴点設定部３１６での処理が行われる。
【００５８】
Ｓ５０６において画像処理装置３００は、切り出し範囲設定処理を行う。この処理の詳細については後で図７を参照して説明するが、図３を参照して先に説明した切り出し範囲設定部３２０での処理が行われる。
【００５９】
Ｓ５０８では、入力動画像中の１フレームの画像から、Ｓ５０６で設定された切り出し範囲に基づいて画像を切り出し、バッファメモリ３２２に保存する処理が行われる。この切り出し画像は、必要に応じて記録部３４０に記録され、表示装置１３０に表示される。
【００６０】
Ｓ５１０では、追尾対象を追跡することが継続して実行可能か否かが判定され、この判定が肯定される間、Ｓ５０６、Ｓ５０８、Ｓ５１０の処理が繰り返し行われて切り出し動画像の生成処理が行われる。一方、Ｓ５１０の判定が否定されると切り出し動画像生成処理を完了し、以降は撮影動作が停止されるまでの間、デフォルト設定されている切り出し範囲で切り出された切り出し動画像の記録が行われる。デフォルト設定される切り出し範囲は、様々である。例えば、最後に設定された切り出し範囲をデフォルト設定された切り出し範囲としてもよいし、入力動画像の中央部分において、例えば面積比で５０％の範囲をデフォルト設定される切り出し範囲としてもよい。あるいは、入力動画像の全体が切り出し範囲としてデフォルト設定されてもよい。
【００６１】
Ｓ５０２の判定処理において、追尾対象が存在しない、あるいは存在を確認できなかった場合には、Ｓ５２０において切り出し範囲をデフォルト値に設定（切り出し範囲のデフォルト設定については先に説明したとおり。）する処理が行われて、以降は撮影動作が停止されるまでの間、デフォルト設定されている切り出し範囲で切り出された切り出し動画像の記録が行われる。
【００６２】
図６は、図５のフローチャートにおけるＳ５０４の特徴点抽出・設定処理をより詳細に説明するフローチャートである。Ｓ６００において画像処理装置３００は、追尾対象の検出結果を取得する。つまり、Ｓ５０２で追尾対象としての顔が存在すると判定されたときに、その顔を囲う領域（追尾エリア）の入力動画像内における位置および範囲が画定されるので、Ｓ６００ではこれら位置および範囲の情報が取得される。
【００６３】
Ｓ６０２において画像処理装置３００は、入力動画像の１フレーム分の画像内の特徴点を導出する。Ｓ６０２では、図３を参照して先に説明した、特徴点導出部３１２での処理が行われる。
【００６４】
Ｓ６０４において画像処理装置３００は、Ｓ６０２の処理で導出された特徴点のうち、追尾対象の顔の位置、または顔の近傍の位置に存在する特徴点群を顔部特徴点に設定する。続くＳ６０６において画像処理装置３００は、顔につながる全身における、顔以外の部分の特徴点を他部特徴点に設定する。Ｓ６０６の処理は、入力動画像中に存在する各特徴点の動き量、動き方向、動くタイミングを解析した結果に基づき、Ｓ６０４で導出された顔部特徴点の動きと相関度の高い動きを示す特徴点を他部特徴点として設定する処理である。Ｓ６０４およびＳ６０６では、図３を参照して先に説明した、従属特徴点設定部３１４での処理が行われる。
【００６５】
Ｓ６０８において画像処理装置３００は、後で図８のフローチャートを参照して説明する背景特徴点設定処理を行う。Ｓ６０８では、図３を参照して先に説明した、背景特徴点設定部３１６での処理が行われる。以上に説明したＳ６００からＳ６０８までの特徴点抽出・決定処理が完了すると図５の処理にリターンする。
【００６６】
図７は、図５におけるＳ５０６の切り出し範囲設定処理をより詳細に説明するフローチャートである。Ｓ７００において画像処理装置７００は、顔検出処理を行う。この顔検出処理は、図５のフローチャート中、Ｓ５００の処理と同様であり、入力動画像内に存在する不特定の顔の検出が行われる。この顔検出処理により、一つまたは複数の顔が検出される。Ｓ７００においても、Ｓ５００処理と同様、顔以外の部分、例えば追尾対象として、頭部や後頭部等を検出する処理が行われてもよい。
【００６７】
Ｓ７０２において、追尾対象としての顔が存在するか否かが判定される。Ｓ７０２の判定処理は、図５のフローチャート中、Ｓ５０２の処理と同様であり、Ｓ７００で検出された顔のうち、追尾エリア内の顔と一致する顔があるか否かの判定が行われ、その顔の存在する領域が最新の追尾エリアとされる。Ｓ７０２の判定が肯定されると処理はＳ７０４に進む一方、否定されるとＳ７２０に進む。
【００６８】
Ｓ７０４において、追尾エラーフラグがリセットされる。この追尾エラーフラグは、図５のフローチャート中、Ｓ５１０の処理で参照されるフラグである。つまり、Ｓ７０２の判定が肯定されて追尾対象を継続して追跡可能な状態のときに追尾エラーフラグはリセットされ、この追尾エラーフラグがリセットされているときにＳ５１０での判定は肯定される、すなわち追尾対象を継続して追跡可能と判定される。
【００６９】
Ｓ７０６において画像処理装置３００は、後で図９のフローチャートを参照して説明する動き検出処理を行う。Ｓ７０６では、図３を参照して先に説明した、動き検出部３１８での処理が行われる。Ｓ７０６の処理の結果、図４中の各タイミング［１］、［２］、…、
［５］に対応して示される画像中、上から２番目の画像に示される、丸印で囲われたｘの印を付した特徴点（動き特徴点）が設定される。
【００７０】
Ｓ７０８において画像処理装置３００は、切り出し範囲設定処理を行う。Ｓ７０８では、図３を参照して先に説明した、切り出し範囲設定部３２０での処理が行われる。つまり、入力動画像を構成する各フレームの画像から部分画像を切り出す際の大きさと切り出し位置とが、Ｓ７０６で行われた動き検出処理結果に基づいて設定される。つまり、追尾エリアと動き特徴点とを包括するように切り出し範囲が設定される。
【００７１】
Ｓ７０２の判定が否定された場合、つまり、追尾対象の顔が存在しないと判定された場合の分岐先であるＳ７２０において画像処理装置３００は、切り出し範囲をデフォルト値に設定する。この処理は、図５のフローチャート中、Ｓ５２０の処理と同様である。
【００７２】
Ｓ７２２では追尾エラーフラグがセットされる。この追尾エラーフラグがセットされることにより、図５のフローチャート中、Ｓ５１０での判定は否定される。すなわち、追尾対象を継続して追尾することはできないと判定される。以上に説明したＳ７００からＳ７２２までの切り出し範囲設定処理が完了すると、図５の処理にリターンする。
【００７３】
図８は、図６のフローチャートにおけるＳ６０８の背景特徴点設定処理をより詳細に説明するフローチャートである。Ｓ８００において画像処理装置３００は、従属特徴点以外の特徴点について、それらの特徴点の動き量、動き方向の相関度の高さに基づいてグルーピングを行う。Ｓ８００での処理の一例としては、各特徴点に対応する登録情報に対して、どのグループに属する特徴点であるのかを示すグループ属性の情報を付加する処理とすることが可能である。
【００７４】
Ｓ８０２において画像処理装置３００は、Ｓ８００でのグルーピング処理の結果、従属特徴点以外の特徴点が最も多く属するグループ内の特徴点を背景特徴点に設定する処理を行う。以上のＳ８００、Ｓ８０２の処理からなる背景特徴点設定処理が完了して図６の処理にリターンする。
【００７５】
図９は、図７のフローチャートにおけるＳ７０６の動き検出処理をより詳細に説明するフローチャートである。Ｓ９００において画像処理装置３００は、従属特徴点に設定された特徴点の中で、背景特徴点の動きと同様の動きを示す特徴点を抽出して静止属性を付与する。これについて説明すると、ある特徴点が背景特徴点の動きと同様の動きを示す、ということは、当該特徴点は背景に対して静止している、ということである。例えば、壁のような静止物を背景として、追尾対象としての人が静かに立っている状況でデジタルカメラ１００がパンされたりティルトされたりすると、入力動画像中では追尾対象および背景は画面内でともに動く。このような状況でも、Ｓ９００での処理がおこなわれると、従属特徴点の中で背景に対して動きのあるもの、無いものを弁別可能となる。
【００７６】
Ｓ９０２において画像処理装置３００は、従属特徴点に設定された特徴点の中で静止属性の付与されていない特徴点を動き特徴点として設定する。このようにして、従属特徴点に設定された特徴点のうち、背景特徴点に対して動きのある特徴点が動き特徴点として設定される。以上のＳ９００、Ｓ９０２の処理からなる動き検出処理が完了して図７の処理にリターンする。
【００７７】
以上、画像処理装置３００により、図５から図９のフローチャートを参照して説明した処理が行われることにより、入力動画像から切り出し動画像を切り出す際の切り出し範囲が追尾対象の動きに応じて自動的に設定される。このときに、追尾エリアと動き特徴点とを包括する領域が切り出し領域として設定されるので、主要被写体としての人が腕だけを動かしていたり、動物が尻尾だけを動かしていたりするときに、腕しか写っていない画像、尻尾しか写っていない画像が記録されるのを抑止可能となる。また、図４を参照して説明したように、背景に対する追尾対象の動きの検出結果に応じて画像の切り出し位置、切り出し範囲を設定することが可能となり、観る者の興味をひく動画像を得ることが可能となる。
【００７８】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、図５のフローチャートに示される処理では、追尾対象を追い切れなくなった時点で切り出し範囲をデフォルト値に設定し、以後は、このデフォルト設定された切り出し範囲で切り出しが行われるものとして説明した。これに関し、追尾対象が予め登録された特定の個人の顔等である場合には、画像認識の処理を継続して行うことにより、追尾対象を再び捕捉することも可能となる。そのような場合に、Ｓ５０２、Ｓ５０４、Ｓ５０６、Ｓ５０８、およびＳ５１０の処理を再び行うように構成することも可能である。
【００７９】
また、以上では、デジタルカメラ１００が動画像撮影モードで動作しているときに切り出し動画像が生成される例について説明したが、後処理によって切り出し画像が生成可能に構成されていてもよい。すなわち、一連の動画像撮影が行われているときに入力動画像を記録部３４０に記録し、動画像撮影動作完了後にその入力動画像を記録部３４０から読み出して切り出し動画像を生成する処理を行うことも可能である。
【００８０】
さらに、デジタルカメラ１００以外の画像処理装置で切り出し画像の生成処理が行われてもよい。例えばパーソナルコンピュータ、ビデオレコーダなどに接続されたデジタルカメラ１００入力される入力動画像に対してリアルタイムで、あるいは一度保存した後に、切り出し動画像の生成処理が行われてもよい。あるいは、メモリカードや光ディスク等に保存された入力動画像を読み出して切り出し動画像の生成処理が行われてもよい。
【００８１】
上述した実施形態では、撮像装置としてデジタルスチルカメラに本発明を適用する例を挙げて説明したが、デジタルビデオカメラや他の電子機器にも適用することができる。
【符号の説明】
【００８２】
１００ … デジタルカメラ
１０４ … レリーズスイッチ
１０６ … パワースイッチ
１２０ … 撮影レンズ
１３０ … 表示装置
３００ … 画像処理装置
３０６ … 撮像部
３０８ … 画像処理部
３１０ … 追尾エリア設定部
３１２ … 特徴点導出部
３１４ … 従属特徴点設定部
３１６ … 背景特徴点設定部
３１８ … 動き検出部
３２０ … 切り出し範囲設定部
３２２ … バッファメモリ
３３０ … 表示制御部
３３２ … 切り出し範囲明示処理部
３４０ … 記録部
３５０ … 圧縮伸長部
３５２ … システムバス
３５４ … インターフェース
３６０ … ＣＰＵ
３７０ … 集音部
３８０ … 操作部
【技術分野】
【０００１】
本発明は、撮像して得られた動画像中の注目被写体の動きに応じた範囲で画像を切り出す技術に関する。
【背景技術】
【０００２】
撮影中に画像を認識し、注目被写体として認識された被写体を主体として焦点調節、露出調節、カラーバランスの調節等を行う技術が知られている。また、人の顔の表情を認識し、被写体が微笑んだことが検出されたときにレリーズ動作を開始する技術も知られている。
【０００３】
特許文献１には、撮像部により生成された複数の画像フレームから被写体の顔画像を検出し、その顔画像を追跡し続ける技術が開示される。この技術では、被写体が後ろを向いてしまう等の状況で顔画像を検出できなくなったときに、隣り合う画像フレーム間で動体解析をすることにより顔画像に対応する顔画像対応部が設定される。そして、再び顔画像が検出できるようになるまでの間、顔画像対応部の追跡が行われる。そして、顔画像または顔画像対応部に基づいて撮像制御が行われる。
【０００４】
特許文献２には、被写体の笑顔を検出したときに自動的に撮影を行う撮像装置が開示される。撮像装置は検出手段と制御手段とを備える。検出手段は笑顔の被写体が写った笑顔画像の撮影枚数が基準枚数に到達した場合、それ以降は、被写体の笑顔以外の表情またはジェスチャーを検出する。制御手段は、検出手段により笑顔以外の表情またはジェスチャーが検出されたときに、自動的に撮影を実行する。
【０００５】
特許文献３には、人物のシルエット画像からその人物の姿勢や各部を検出するための技術が開示される。この技術では、人物のシルエット画像から人物の輪郭線が検出され、解析される。この輪郭線は単純図形化され、スケルトン化処理が施されて、最終的に上記人物の中心線であるボーン軸として検出される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２８３３７９号公報
【特許文献２】特開２０１０−２７３２８１号公報
【特許文献３】特開２００４−１６４４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画像を撮影可能な撮影装置で、画像認識の技術を用いて注目被写体に焦点を調節し続ける技術が知られている。動いている被写体を撮影しているときに、撮影者は焦点調節のために気を配ることなく、被写体が画面内に収まるようにフレーミングし続けることにより、鮮鋭な動画像を得ることが可能となる。
【０００８】
しかし、動き回る被写体を画面一杯に捉えるようにしてフレーミングし続けるのは難しく、ときに被写体が撮影範囲から外れてしまう場合がある。また、被写体と撮影者の間に障害物が入り込むと被写体を見失い、その後継続して被写体を追い続けることができなくなる場合がある。また、撮影レンズを広角側に設定して被写体をとりまく環境も含めたシーンを記録したい一方で、撮影レンズを望遠側に設定して被写体をアップでも撮りたい場合もあるが、そのようなときには撮影レンズを広角側、望遠側のいずれかに設定して撮るしかない。
【０００９】
本発明は上述した課題に鑑み、なされたもので、動画撮影時に被写体を追い続けることを容易にするとともに、より広い範囲を写した動画像から特定の被写体の動作状況に応じた適切なフレームサイズの動画像の記録または再生を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１） 本発明のある態様によれば、画像処理装置が、被写体を撮像して得られる入力動画像中において追尾エリアを設定する追尾エリア設定部と、
前記追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定する従属特徴点設定部と、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出する動き検出部と、
前記入力画像から、前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲を設定する切り出し範囲設定部であって、前記動き検出部による前記動きの検出結果に基づいて前記切り出し範囲の大きさおよび位置を設定する切り出し範囲設定部と
を備える。
【００１１】
（２） 本発明のある態様によれば、画像処理方法が、被写体を撮像して得られる入力動画像中において追尾エリアを設定することと、
前記追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定することと、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出することと、
前記動きを検出することにより検出された前記動きの検出結果に基づき、前記入力画像から前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲の大きさおよび位置を設定することと
を備える。
【発明の効果】
【００１２】
本発明によれば、動画撮影時に被写体を追い続けることを容易となるのに加え、より広い範囲を写した動画像から特定の被写体の動作状況に応じて適切なフレームサイズ（切り出し範囲）で切り出した動画像の記録または再生が可能となる。
【図面の簡単な説明】
【００１３】
【図１】デジタルカメラの正面側外観を示す斜視図である。
【図２】デジタルカメラの背面側外観を示す斜視図である。
【図３】デジタルカメラの内部構成を示すブロック図である。
【図４Ａ】時間の経過とともに変化する入力画像が画像処理装置によって逐次処理される様子を概念的に説明する図である。
【図４Ｂ】時間の経過とともに変化する入力画像が画像処理装置によって逐次処理される様子を概念的に説明する図であり、図４Ａに続く図である。
【図５】画像処理装置により行われる追尾の処理手順を示すフローチャートである。
【図６】画像処理装置により行われる特徴点抽出・設定の処理手順を示すフローチャートである。
【図７】画像処理装置により行われる切り出し範囲設定の処理手順を示すフローチャートである。
【図８】画像処理装置により行われる背景特徴点設定の処理手順を示すフローチャートである。
【図９】画像処理装置により行われる動き検出の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、本発明の実施の形態に係る画像処理装置を備えたデジタルカメラ１００を正面側から見た様子を示す図である。図１に示すデジタルカメラ１００は、静止画および動画の撮影が可能に構成される。デジタルカメラ１００は、カメラ本体１０２と、レリーズスイッチ１０４と、パワースイッチ１０６と、撮影レンズ１２０とを備える。
【００１５】
図２は、デジタルカメラ１００を背面側から見た様子を示す図である。デジタルカメラ１００の背面には、ズームスイッチ１０８と、ダイヤルスイッチ１１０と、メニュースイッチ１１２と、シーソースイッチ１１４と、表示装置１３０とを備える。
【００１６】
パワースイッチ１０６を押下することにより、デジタルカメラ１００の電源をオフからオン、あるいはオンからオフに切り換えることができる。レリーズスイッチ１０４を押下することにより、静止画や動画の撮影を開始することができる。また、デジタルカメラ１００が動画像記録モードで撮影動作をしているときにレリーズスイッチ１０４を押下することにより、撮影動作を停止することができる。
【００１７】
撮影レンズ１２０は、単焦点の撮影光学系、または変倍式の撮影光学系と、絞り調節機構と、焦点調節機構とを備える。デジタルカメラ１００がレンズシャッタ式のものである場合、撮影レンズ１２０はレンズシャッタ機構も備える。また、撮影レンズ１２０の撮影光学系が変倍式のものである場合、焦点距離を変化させるための変倍機構を備える。本実施の形態において、撮影レンズ１２０は変倍式の撮影光学系と、電動式の変倍機構とを備えるものとする。ユーザはズームスイッチ１０８を操作することにより、撮影レンズ１２０の焦点距離を変化させることができる。
【００１８】
ダイヤルスイッチ１１０は、デジタルカメラ１００の動作モード（静止画記録モードや動画像記録モード、また、静止画撮影モード時における絞り優先自動露出モード、シャッタ速度優先自動露出モード、マニュアル露出モード、プログラム自動露出モード等の露出モード）を切り換える際に操作される。
【００１９】
メニュースイッチ１１２は、デジタルカメラ１００の様々なカスタム設定をする際のメニュー操作画面を表示装置１３０に表示して設定の変更をする操作を開始する際に押されるスイッチである。シーソースイッチ１１４は、上述したメニュー操作画面内でカーソルを移動させ、所望の設定に切り換える際に用いられるスイッチである。
【００２０】
表示装置１３０は、カラー液晶表示パネルとバックライト装置とを備え、画像やメニュー画面、情報等を表示可能に構成される。表示装置１３０には、撮影準備動作中や撮影動作中のライブビュー表示も行うことが可能に構成される。この表示装置１３０は、有機ＥＬディスプレイ装置等を備えて構成されていてもよい。なお、デジタルカメラ１００は電子ビューファインダを備えていてもよく、表示装置１３０に表示されるのと同様の表示を電子ビューファインダ内で表示してもよい。
【００２１】
デジタルカメラ１００は、動画撮影モードで動画像を記録する際に、画像切り出しを行うことが可能に構成される。画像切り出しとは、撮像部３０６から得られる入力動画像の各フレーム中から一部の画像（部分画像）を切り出して別の動画像を生成することを意味する。このようにして生成された動画像を本明細書中では切り出し動画像と称する。デジタルカメラ１００は、生成された切り出し動画像の表示または記録、もしくは両方が可能に構成される。以下では、デジタルカメラ１００が動画撮影モードで動作し、その際に画像切り出しが行われて切り出し動画像が表示および記録される場合を主体に説明をする。
【００２２】
図３は、デジタルカメラ１００の内部構成を概略的に説明するブロック図である。デジタルカメラ１００は、撮像部３０６と、画像処理装置３００と、システムバス３５２と、インターフェース３５４と、ＣＰＵ３６０と、集音部３７０と、操作部３８０と、表示装置１３０とを備える。
【００２３】
撮像部３０６は、撮影レンズ１２０と、撮像素子３０２と、アナログ・フロントエンド３０４とを備えており、これらの構成要素はＣＰＵ３６０と電気的に接続されている。撮像素子３０２は、撮影レンズ１２０によって形成された被写体像を光電変換してカラーの画像信号を生成可能に構成されるイメージセンサであり、ＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサなどを用いることが可能である。アナログ・フロントエンド３０４は、撮像素子３０２から出力されるアナログ画像信号にＣＤＳ（Correlated Double Sampling）、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像データを生成する。撮像素子３０２がＣＭＯＳイメージセンサである場合、アナログ・フロントエンド３０４は撮像素子３０２の内部に含めることが可能である。
【００２４】
画像処理装置３００は、画像処理部３０８と、追尾エリア設定部３１０と、特徴点導出部３１２と、従属特徴点設定部３１４と、背景特徴点設定部３１６と、動き検出部３１８と、切り出し範囲設定部３２０と、バッファメモリ３２２と、表示制御部３３０と、切り出し範囲明示処理部３３２と、記録部３４０と、圧縮伸長部３５０とを備える。これらの構成要素およびインターフェース３５４、ＣＰＵ３６０、アナログ・フロントエンド３０４は、システムバス３５２を介して互いに電気的に接続される。
【００２５】
バッファメモリ３２２はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等で構成され、比較的高速のアクセス速度を有するメモリである。このバッファメモリ３２２には、システムバス３５２を介してＣＰＵ３６０からもアクセス可能に構成される。
【００２６】
以下では図４Ａ、図４Ｂを適宜参照しながら、画像処理装置３００の各構成要素で行われる処理について説明する。図４は、時間の経過とともに変化する入力動画像が画像処理装置３００によって逐次処理される様子を概念的に説明する図である。図４中、縦に並ぶ四つの画像を一組として、あるタイミングにおいて得られた入力動画像に対して処理が行われる様子を示している。さらに、タイミング［１］、［２］、…、［５］と、時間を追って変化する入力動画像に対応して処理結果が変化する様子が図４には示されている。
【００２７】
画像処理部３０８は、アナログ・フロントエンド３０４から出力されてバッファメモリ３２２に一時的に記憶されたデジタル画像データに対してオプティカルブラック減算、デモザイキング、ホワイトバランス調整、色相・彩度・コントラスト調整、エッジ強調、ノイズ低減等の処理をする。画像処理部３０８はまた、上記処理をした画像データからＹＣｂＣｒ、ＨＳＶ等の色空間の画像データを生成し、そのうちのＹチャンネルやＶチャンネルだけで表される画像データ（本明細書においてこれを輝度画像データと称する）を生成し、バッファメモリ３２２に一時的に保存する。輝度画像データを用いることにより、画像処理装置３００で以下に説明する処理が行われる際の処理負荷を減じることが可能となる。何故ならば、色情報が除去されているため、同じピクセルサイズの画像であってもデータ量を減じることができるからである。無論、画像処理装置３００の処理能力や目的に応じて、カラー画像データを用いて以下の処理を行うことも可能である。また、輝度画像データの生成方法についても、先に示した方法以外の様々な方法を適用可能である。
【００２８】
追尾エリア設定部３１０は、撮像部３０６で被写体を撮像して得られる動画像（これを入力動画像と称する）中において追尾対象の存在するエリア、すなわち追尾エリアを設定する。追尾エリアの設定には様々な方法が利用可能である。例えば、レリーズスイッチ１０４が押下されて動画像の記録が開始されたときに、ライブビュー表示画像中に重ねて表示される矩形のフォーカスフレームと重なる被写体像の存在するエリアを追尾エリアとすることが可能である。あるいは、表示装置１３０の表示面上に、透明のタッチスイッチが備えられていてもよい。その場合、表示されているライブビュー表示画像中に写る被写体像のうち、所望の被写体像をユーザが指先等で触れることにより、当該被写体の存在するエリアを追尾エリアとすることができる。また、人や動物の顔を認識して、顔の存在するエリアを追尾エリアとすることができる。その他、人物等、複数の被写体が入力画像中に存在しているときに、最も近い位置、あるいは最も大きく写っている被写体や、最もコントラストの高い被写体の存在するエリアを追尾エリアとして設定することが可能である。さらには、事前に特定の被写体の顔の画像を登録しておき、撮影準備動作中や撮影動作中にパターン認識の処理を繰り返し行い、登録された画像のパターンと一致度の高いパターンを有するエリアを追尾エリアとして設定する事も可能である。
【００２９】
以下では、追尾エリアとして人や動物の顔（頭部）の存在する部分が設定されるものとして説明する。図４には、あるタイミング［１］、［２］、…、［５］それぞれに対応して縦方向に四つの画像が並べて示されている。各タイミングに対応する画像中、上から２番目の画像において人の顔（頭部）を囲うように矩形が示されている。これが追尾エリアであることを示している。
【００３０】
特徴点導出部３１２は、入力動画像（輝度画像データ）を解析して特徴点を導出する処理を、すべてのフレームの画像に対して行う。あるいは、画像処理装置３００の処理能力によっては、所定フレーム数の画像が入力されるのに対して１回の割合で行うことも可能である。ここで、特徴点とは、図４に示される例の中でｘの印が付されている点を意味する。一度導出された特徴点は、以後、時間の経過に伴う画面内における上下左右方向の位置の変化が追跡されるので、二次元方向にエッジ成分を有していることが望ましい。このような性質を有する特徴点を抽出する方法としては、輝度画像データにより形成される二次元画像をメッシュ状に分割し、分割された領域の各画像データに対して二次元フーリエ変換を行う方法がある。分割された各領域中、二次元方向にエッジ成分が検出されたら、そこに特徴点があると判定することが可能である。あるいは、既知の様々なコーナー検出処理を用いることが可能である。図４に示される例では、壁面に設けられた照明用スイッチの角部、髪の毛の先端、服の袖口、スラックスの裾、服の柄、床と壁との境界線と、人の脚の輪郭とが交差する点などに対応して特徴点が導出される。これらの特徴点それぞれに対応して識別符号が付与され、画面内における座標値などの情報とともに登録される。
【００３１】
従属特徴点設定部３１４は、特徴点導出部３１２で導出された特徴点のうち、追尾エリアに従属する特徴点を検出して設定する。従属特徴点とは、追尾エリア（本実施の形態では追尾対象としての人の顔が存在するエリア）の動きに従属した動きを示す特徴点である。つまり、追尾対象が人の顔であれば、その顔および顔の近傍部分（髪の毛、帽子、アクセサリ等）や全身（顔以外の部分）に対応する特徴点が従属特徴点として設定される。このとき、特徴点導出部３１２で導出された特徴点のうち、追尾エリア内の顔および顔の近傍に存在する特徴点が顔部特徴点として設定される。図４の各タイミング［１］、［２］、…、［５］における上から２番目の画像中、追尾エリアを示す枠の内側でそれぞれ二つの特徴点が設定されている例が示されているが、これらが顔部特徴点に相当する。また、追尾エリアにつながる全身における顔以外の部分の特徴点が他部特徴点として設定される。図４中、追尾エリア内の顔につながる体（首から下の部分）の肩、胸、手足等に設定されている特徴点が他部特徴点に相当する。追尾エリア設定部３１０で追尾エリアが設定された後、入力動画像をしばらくの間解析し、追尾エリアの動きと相関度の高い動きを示す特徴点を検出することにより、従属特徴点を設定することが可能となる。
【００３２】
以上では人の顔の存在するエリアが追尾エリアとして設定され、この追尾エリアの動きに従属した動きを示す特徴点が従属特徴点として設定される例について説明した。追尾エリアとしては、人の顔のみならず、動物の顔部分、植物の花の部分、自動車や鉄道車両等の先頭部分等が存在するエリアを設定可能である。その場合、これらの顔部分、花の部分、先頭部分およびその近傍に存在する特徴点が顔部特徴点として設定可能である。またそれらの部分につながる部分の特徴点を他部特徴点として設定することが可能である。
【００３３】
背景特徴点設定部３１６は、特徴点導出部３１２で導出されて登録された特徴点の、時間経過に伴う入力動画像内での動きを解析し、動き量や動き方向（動きのパターン）に応じてグループ分けする。その結果、各特徴点は複数のグループにグループ分けされる。これら複数のグループのうちの一つは従属特徴点のグループである。その他のグループとして、同じような向きに同じような量で動く特徴点群からなる１または複数のグループが形成される。背景特徴点設定部３１６は、これら１または複数のグループのうち、最も多くの特徴点群を擁するグループを、背景特徴点のグループとして分類する。あるいは、最も広い範囲に分散する特徴点群を擁するグループを背景特徴点のグループとして分類することも可能である。グループ分けに際しては、各特徴点に対応する登録情報に対して、どのグループに属する特徴点であるのかを示すグループ属性の情報を付加することが可能である。このようにして、追尾対象の前方や後方を通過する歩行者や車両等の移動体の特徴点と、背景の特徴点とを弁別することができる。
【００３４】
動き検出部３１８は、従属特徴点の背景特徴点に対する動きを検出する。例えば、追尾対象の顔を含む全身および背景の双方に動きがない状態であっても、デジタルカメラ１００でパン操作やティルト操作が行われると、入力動画像内における特徴点は全体的に移動する。このようなときに、背景特徴点に対する従属特徴点の動きを検出することにより、従属特徴点のグループに属する特徴点そのものの動きを検出することが可能となる。
【００３５】
図４の各タイミング［１］、［２］、…、［５］における上から２番目および３番目の画像中、動き検出部３１８で動きの検出された特徴点は丸印で囲ったｘで示されている。ここで、各タイミングにおける撮影状況について説明する。タイミング［１］は、壁際に立つ人物の動きが殆ど無い状態を示しており、動き検出部３１８によって動きの検出された特徴点が無い状態を示している。タイミング［２］は、人物が右腕を上げている状態を示しており、右肘および右手に対応する特徴点の動きが検出された状態を示している。なお、撮影状況の変化に応じて特徴点の数は増減する場合があるので、グループ分けも逐次行われる。
【００３６】
タイミング［３］は、タイミング［２］の状態から、人物が右腕を下げつつ、腰をひねって上半身だけを右に向けた状態を示しており、右手および左手に対応する特徴点の動きが検出された状態を示している。タイミング［４］は、人物が足下から動いて全体として右を向いた状態を示しており、左右の手足で特徴点の動きが検出された状態を示している。タイミング［５］は、人物が左手の側に向かって歩き出し、それを追うようにデジタルカメラ１００が被写体に向かって右の方向にパン操作されている状態を示している。
【００３７】
タイミング［２］、［３］、［４］の状況が、従属特徴点中の一部の特徴点だけで動きが検出されているのに対して、タイミング［５］の状況は、背景に対して従属特徴点が全体として動いている点が相違する。
【００３８】
切り出し範囲設定部３２０は、入力動画像を構成する各フレームの画像から部分画像を切り出す際の切り出し範囲、すなわち切り出す大きさと切り出す位置とを、動き検出部３１８による動き検出結果に基づいて設定する。切り出し範囲設定部３２０は、追尾エリア、すなわち図４中で各タイミングに対応して示される四つの画像中、上から２番目の画像の中で矩形によって囲われる部分を少なくとも含むように画像の切り出し範囲を設定する。切り出し範囲設定部３２０はさらに、動き検出部３１８で動きの検出された特徴点（本明細書において、動きの検出された特徴点を動き特徴点と称する）があるときには、その動き特徴点も含むように画像の切り出し範囲を設定する。
【００３９】
図４のタイミング［１］における画像を参照して説明する。タイミング［１］では、動き検出部３１８で動きの検出された特徴点は無い。この場合、切り出し範囲設定部３２０は追尾エリアの部分の画像、すなわち顔の部分の画像の面積が部分画像中でより多く占められるように切り出し範囲を設定する。つまり、主要被写体としての人物があまり動いていない場合には、顔の部分がアップで捉えられるように切り出し範囲を設定する。上から３番目の画像中で顔の部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。また、一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４０】
図４のタイミング［２］における画像を参照して説明する。タイミング［２］では、右腕の肘および手の部分に対応する特徴点の動きが動き検出部３１８によって検出されている。この場合、切り出し範囲設定部３２０は、追尾エリアと、動きの検出された特徴点とを囲うように切り出し範囲を設定する。上から３番目の画像中で顔および右腕の部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。また、一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４１】
図４のタイミング［３］における画像を参照して説明する。タイミング［３］では、右手および左手に対応する特徴点の動きが動き検出部３１８によって検出されている。この場合、切り出し範囲設定部３２０は、追尾エリアと、動きの検出された特徴点とを囲うように切り出し範囲を設定する。上から３番目の画像中で、顔から左手の先までの部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。また、一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４２】
図４のタイミング［４］における画像を参照して説明する。タイミング［４］では、右手および左手に対応する特徴点の他、右足および左足に対応する特徴点の動きも検出されている。この場合、切り出し範囲設定部３２０は、追尾エリアと、動きの検出された特徴点とを囲うように切り出し範囲を設定する。上から３番目の画像中で、顔から足までの部分を囲うように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力動画像から切り出された部分画像を示す。
【００４３】
図４のタイミング［５］における画像を参照して説明する。タイミング［５］では、背景に対して従属特徴点が全体として動いていることが動き検出部３１８で検出される。以下では、背景に対して従属特徴点が全体として動いていることを対背景全体移動と称する。上から２番目、３番目の画像に示される黒い矢印は、動き検出部３１８によって対背景全体移動が検出されたことと、対背景全体移動の向きとを示している。この場合、切り出し範囲設定部３２０は、追尾エリアと従属特徴点とを囲うように切り出し範囲を設定する。加えて、対背景全体移動の方向に、より多くの空間が与えられるように、切り出し範囲設定部３２０は切り出し範囲を設定する。上から３番目の画像中で、顔から足までの部分を囲い、かつ人物の移動方向（これから進もうとする側）により多くの空間が与えられるように描かれる矩形が、切り出し範囲設定部３２０で設定された切り出し範囲を示す。一番下の画像は、切り出し範囲設定部３２０で設定された切り出し範囲に基づいて入力画像から切り出された部分画像を示す。このように切り出しを行うことにより、主要被写体としての人等が興味を示すものが存在しうる方向により多くの空間を与えて、動画像を見る者の興味を増すことが可能となる。また、追尾エリア（主要被写体）の移動する側により多くの空間が与えられるような画像とすると、より好ましいバランスの構図を得ることが可能となる。
【００４４】
なお、図４を参照して以上に説明した切り出し範囲の設定に際しては、遅れ時間を設定することが望ましい。すなわち、時間の経過とともに追尾対象としての被写体が移動や停止を繰り返す場合、それに対応して切り出し範囲を変化させる際に、切り出し範囲の変化が緩やかになるようにすることが望ましい。理由は、切り出し範囲が頻繁に変化すると、切り出し動画像が見苦しいものとなるからである。また、切り出し範囲を変化させる際にも、以前の切り出し範囲から最新の切り出し範囲へ、突然変化させることも可能であるが、所定の変化速度を超すことのないように変化させることが望ましい。
【００４５】
画像処理部３０８は、入力動画像を構成する各フレームの画像から、切り出し範囲設定部３２０で設定された切り出し範囲に対応する画像を切り出し、バッファメモリ３２２に一時的に保存する。表示制御部３３０は、画像処理部３０８によって処理されて生成された動画像や切り出し動画像が表示装置１３０に表示されるように表示装置１３０を制御する。
【００４６】
切り出し範囲明示処理部３３２は、切り出し範囲設定部で設定された切り出し範囲をデジタルカメラ１００のユーザに明示するための処理を行う。切り出し範囲明示処理としては、切り出し処理して得られた切り出し動画像をそのまま表示装置１３０に表示する方法、切り出し処理が行われていない動画像と切り出し動画像とを表示装置１３０上に並べて表示する方法等、表示装置１３０の表示部の大きさ等に応じていずれかの方法を用いることが可能である。あるいは、切り出し処理をしていない動画像を表示し、その動画像中に切り出し範囲を表示する方法を用いることも可能である。このとき、単純に矩形の枠を描画してもよいし、入力動画像中の切り出しが行われる範囲とそれ以外の範囲とでコントラストや明度等を変えて表示することも可能である。表示制御部３３０は、切り出し範囲明示処理部３３２の処理結果に基づいて表示装置１３０に切り出し範囲を表示する。
【００４７】
記録部３４０には、画像処理装置３００で生成される静止画像データや動画像データが保存される。記録部３４０は、内蔵メモリ３４２、またはデジタルカメラ１００に対して装脱自在に構成される外部メモリ３４４を備える。あるいは、内蔵メモリ３４２および外部メモリ３４４の双方を備えていてもよい。
【００４８】
圧縮伸長部３５０は、画像処理装置３００で生成される静止画像データや動画像データを圧縮／伸長する処理を行う。静止画像データの圧縮には、ＪＰＥＧ（Joint Photographic Experts Group）方式を利用可能である。動画像データの圧縮には、Ｍｏｔｉｏｎ ＪＰＥＧやＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４等の方式を利用可能である。圧縮伸長部３５０はまた、後述する集音部３７０で生成される音声データをＡＣ３（Audio Code number 3）、ＭＰ３（MPEG Audio Layer-3）等の方式で圧縮／伸長する処理も行う。
【００４９】
以上、画像処理装置３００が備える構成要素とそれらの動作について説明した。続いて、デジタルカメラ１００が備える他の構成要素について説明する。
【００５０】
ＣＰＵ３６０は、画像処理装置３００の各構成要素、インターフェース３５４と、システムバス３５２を介して電気的に接続される。ＣＰＵ３６０はまた、撮像部３０６の各構成要素、集音部３７０、操作部３８０とも電気的に接続される。
【００５１】
操作部３８０は、先に図１、図２を参照して説明した、レリーズスイッチ１０４、パワースイッチ１０６等の各種スイッチを備える。ＣＰＵ３６０は、ユーザによる操作部３８０の操作状態を検出してデジタルカメラ１００の動作を統括的に制御する。ＣＰＵ３６０はまた、集音部３７０による集音動作を制御し、集音部３７０から出力される音声データを画像処理装置３００に出力する。
【００５２】
集音部３７０は、デジタルカメラ１００の外部の音を集音する一または複数のマイクロホンと、マイクロホンから出力される信号を増幅し、Ａ／Ｄ変換してデジタル音声信号を生成するアナログ・フロントエンドと、アナログ・フロントエンドから出力されるデジタル音声信号にイコライジング、フィルタリングの処理をするデジタル・シグナル・プロセッサとを備える。集音部３７０は、ＣＰＵ３６０から出力される制御信号に基づき、集音動作を行う。なお、集音部３７０のデジタル・シグナル・プロセッサを省き、デジタル音声信号の処理を画像処理装置３００で行うことも可能である。動画像撮影時に、ＣＰＵ３６０は画像処理装置３００によって生成された画像データと集音部３７０で集音されて生成された音声データとを収容した所定のフォーマットの動画像ファイルを生成し、記録部３４０に保存する。
【００５３】
インターフェース３５４は、ＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）等の有線インターフェース、および光や電波による無線通信の技術を用いた無線インターフェースのうち、いずれかまたは両方を備え、画像データや音声データを収容して生成された画像ファイルを外部装置との間で授受可能に構成される。
【００５４】
図５から図９は、画像処理装置３００で行われる追尾処理の処理手順を概略的に説明するフローチャートである。以下では、デジタルカメラ１００が切り出し動画像生成処理を伴う動画像撮影モードに設定され、動画像撮影が開始されたときにこれらの処理の実行が開始されるものとして説明をする。また、撮影動作開始前に追尾エリアが予め設定されているものとする。追尾エリアの設定は、先に図３を参照して説明した追尾エリア設定部３１０で実行可能ないずれかの処理により、特定の人物（追尾対象）の顔の存在するエリアが設定されるものとする。
【００５５】
Ｓ５００において画像処理装置３００は、顔検出処理を行う。この顔検出処理では、入力動画像内に存在する不特定の顔の検出が行われる。この顔検出処理により、一つまたは複数の顔が検出される。なお、ここでは顔の検出が行われるものとして説明するが、顔以外の部分、例えば追尾対象として、頭部や後頭部を検出する処理が行われてもよい。
【００５６】
Ｓ５０２において、追尾対象としての顔が存在するか否かが判定される。つまり、Ｓ５００で検出された顔のうち、追尾エリア内の顔と一致する顔があるか否かの判定の判定がＳ５０２で行われる。この判定処理としては、様々な方法を利用可能である。例えば、入力動画像内における直近の過去の追尾エリアの位置および移動方向に基づき、Ｓ５００の処理が行われた時点において、追尾対象の存在する可能性が高い位置の近傍に顔があるか否かを判定することが可能である。その位置の近傍に顔があると判定された場合、Ｓ５０２の判定が肯定され、その顔の存在する領域が最新の追尾エリアとされる。Ｓ５０２の判定が肯定されると処理はＳ５０４に進む一方、否定されるとＳ５２０に進む。
【００５７】
Ｓ５０４において画像処理装置３００は、特徴点抽出・設定の処理を行う。この処理の詳細については後で図６を参照して説明するが、図３を参照して先に説明した特徴点導出部３１２、従属特徴点設定部３１４、背景特徴点設定部３１６での処理が行われる。
【００５８】
Ｓ５０６において画像処理装置３００は、切り出し範囲設定処理を行う。この処理の詳細については後で図７を参照して説明するが、図３を参照して先に説明した切り出し範囲設定部３２０での処理が行われる。
【００５９】
Ｓ５０８では、入力動画像中の１フレームの画像から、Ｓ５０６で設定された切り出し範囲に基づいて画像を切り出し、バッファメモリ３２２に保存する処理が行われる。この切り出し画像は、必要に応じて記録部３４０に記録され、表示装置１３０に表示される。
【００６０】
Ｓ５１０では、追尾対象を追跡することが継続して実行可能か否かが判定され、この判定が肯定される間、Ｓ５０６、Ｓ５０８、Ｓ５１０の処理が繰り返し行われて切り出し動画像の生成処理が行われる。一方、Ｓ５１０の判定が否定されると切り出し動画像生成処理を完了し、以降は撮影動作が停止されるまでの間、デフォルト設定されている切り出し範囲で切り出された切り出し動画像の記録が行われる。デフォルト設定される切り出し範囲は、様々である。例えば、最後に設定された切り出し範囲をデフォルト設定された切り出し範囲としてもよいし、入力動画像の中央部分において、例えば面積比で５０％の範囲をデフォルト設定される切り出し範囲としてもよい。あるいは、入力動画像の全体が切り出し範囲としてデフォルト設定されてもよい。
【００６１】
Ｓ５０２の判定処理において、追尾対象が存在しない、あるいは存在を確認できなかった場合には、Ｓ５２０において切り出し範囲をデフォルト値に設定（切り出し範囲のデフォルト設定については先に説明したとおり。）する処理が行われて、以降は撮影動作が停止されるまでの間、デフォルト設定されている切り出し範囲で切り出された切り出し動画像の記録が行われる。
【００６２】
図６は、図５のフローチャートにおけるＳ５０４の特徴点抽出・設定処理をより詳細に説明するフローチャートである。Ｓ６００において画像処理装置３００は、追尾対象の検出結果を取得する。つまり、Ｓ５０２で追尾対象としての顔が存在すると判定されたときに、その顔を囲う領域（追尾エリア）の入力動画像内における位置および範囲が画定されるので、Ｓ６００ではこれら位置および範囲の情報が取得される。
【００６３】
Ｓ６０２において画像処理装置３００は、入力動画像の１フレーム分の画像内の特徴点を導出する。Ｓ６０２では、図３を参照して先に説明した、特徴点導出部３１２での処理が行われる。
【００６４】
Ｓ６０４において画像処理装置３００は、Ｓ６０２の処理で導出された特徴点のうち、追尾対象の顔の位置、または顔の近傍の位置に存在する特徴点群を顔部特徴点に設定する。続くＳ６０６において画像処理装置３００は、顔につながる全身における、顔以外の部分の特徴点を他部特徴点に設定する。Ｓ６０６の処理は、入力動画像中に存在する各特徴点の動き量、動き方向、動くタイミングを解析した結果に基づき、Ｓ６０４で導出された顔部特徴点の動きと相関度の高い動きを示す特徴点を他部特徴点として設定する処理である。Ｓ６０４およびＳ６０６では、図３を参照して先に説明した、従属特徴点設定部３１４での処理が行われる。
【００６５】
Ｓ６０８において画像処理装置３００は、後で図８のフローチャートを参照して説明する背景特徴点設定処理を行う。Ｓ６０８では、図３を参照して先に説明した、背景特徴点設定部３１６での処理が行われる。以上に説明したＳ６００からＳ６０８までの特徴点抽出・決定処理が完了すると図５の処理にリターンする。
【００６６】
図７は、図５におけるＳ５０６の切り出し範囲設定処理をより詳細に説明するフローチャートである。Ｓ７００において画像処理装置７００は、顔検出処理を行う。この顔検出処理は、図５のフローチャート中、Ｓ５００の処理と同様であり、入力動画像内に存在する不特定の顔の検出が行われる。この顔検出処理により、一つまたは複数の顔が検出される。Ｓ７００においても、Ｓ５００処理と同様、顔以外の部分、例えば追尾対象として、頭部や後頭部等を検出する処理が行われてもよい。
【００６７】
Ｓ７０２において、追尾対象としての顔が存在するか否かが判定される。Ｓ７０２の判定処理は、図５のフローチャート中、Ｓ５０２の処理と同様であり、Ｓ７００で検出された顔のうち、追尾エリア内の顔と一致する顔があるか否かの判定が行われ、その顔の存在する領域が最新の追尾エリアとされる。Ｓ７０２の判定が肯定されると処理はＳ７０４に進む一方、否定されるとＳ７２０に進む。
【００６８】
Ｓ７０４において、追尾エラーフラグがリセットされる。この追尾エラーフラグは、図５のフローチャート中、Ｓ５１０の処理で参照されるフラグである。つまり、Ｓ７０２の判定が肯定されて追尾対象を継続して追跡可能な状態のときに追尾エラーフラグはリセットされ、この追尾エラーフラグがリセットされているときにＳ５１０での判定は肯定される、すなわち追尾対象を継続して追跡可能と判定される。
【００６９】
Ｓ７０６において画像処理装置３００は、後で図９のフローチャートを参照して説明する動き検出処理を行う。Ｓ７０６では、図３を参照して先に説明した、動き検出部３１８での処理が行われる。Ｓ７０６の処理の結果、図４中の各タイミング［１］、［２］、…、
［５］に対応して示される画像中、上から２番目の画像に示される、丸印で囲われたｘの印を付した特徴点（動き特徴点）が設定される。
【００７０】
Ｓ７０８において画像処理装置３００は、切り出し範囲設定処理を行う。Ｓ７０８では、図３を参照して先に説明した、切り出し範囲設定部３２０での処理が行われる。つまり、入力動画像を構成する各フレームの画像から部分画像を切り出す際の大きさと切り出し位置とが、Ｓ７０６で行われた動き検出処理結果に基づいて設定される。つまり、追尾エリアと動き特徴点とを包括するように切り出し範囲が設定される。
【００７１】
Ｓ７０２の判定が否定された場合、つまり、追尾対象の顔が存在しないと判定された場合の分岐先であるＳ７２０において画像処理装置３００は、切り出し範囲をデフォルト値に設定する。この処理は、図５のフローチャート中、Ｓ５２０の処理と同様である。
【００７２】
Ｓ７２２では追尾エラーフラグがセットされる。この追尾エラーフラグがセットされることにより、図５のフローチャート中、Ｓ５１０での判定は否定される。すなわち、追尾対象を継続して追尾することはできないと判定される。以上に説明したＳ７００からＳ７２２までの切り出し範囲設定処理が完了すると、図５の処理にリターンする。
【００７３】
図８は、図６のフローチャートにおけるＳ６０８の背景特徴点設定処理をより詳細に説明するフローチャートである。Ｓ８００において画像処理装置３００は、従属特徴点以外の特徴点について、それらの特徴点の動き量、動き方向の相関度の高さに基づいてグルーピングを行う。Ｓ８００での処理の一例としては、各特徴点に対応する登録情報に対して、どのグループに属する特徴点であるのかを示すグループ属性の情報を付加する処理とすることが可能である。
【００７４】
Ｓ８０２において画像処理装置３００は、Ｓ８００でのグルーピング処理の結果、従属特徴点以外の特徴点が最も多く属するグループ内の特徴点を背景特徴点に設定する処理を行う。以上のＳ８００、Ｓ８０２の処理からなる背景特徴点設定処理が完了して図６の処理にリターンする。
【００７５】
図９は、図７のフローチャートにおけるＳ７０６の動き検出処理をより詳細に説明するフローチャートである。Ｓ９００において画像処理装置３００は、従属特徴点に設定された特徴点の中で、背景特徴点の動きと同様の動きを示す特徴点を抽出して静止属性を付与する。これについて説明すると、ある特徴点が背景特徴点の動きと同様の動きを示す、ということは、当該特徴点は背景に対して静止している、ということである。例えば、壁のような静止物を背景として、追尾対象としての人が静かに立っている状況でデジタルカメラ１００がパンされたりティルトされたりすると、入力動画像中では追尾対象および背景は画面内でともに動く。このような状況でも、Ｓ９００での処理がおこなわれると、従属特徴点の中で背景に対して動きのあるもの、無いものを弁別可能となる。
【００７６】
Ｓ９０２において画像処理装置３００は、従属特徴点に設定された特徴点の中で静止属性の付与されていない特徴点を動き特徴点として設定する。このようにして、従属特徴点に設定された特徴点のうち、背景特徴点に対して動きのある特徴点が動き特徴点として設定される。以上のＳ９００、Ｓ９０２の処理からなる動き検出処理が完了して図７の処理にリターンする。
【００７７】
以上、画像処理装置３００により、図５から図９のフローチャートを参照して説明した処理が行われることにより、入力動画像から切り出し動画像を切り出す際の切り出し範囲が追尾対象の動きに応じて自動的に設定される。このときに、追尾エリアと動き特徴点とを包括する領域が切り出し領域として設定されるので、主要被写体としての人が腕だけを動かしていたり、動物が尻尾だけを動かしていたりするときに、腕しか写っていない画像、尻尾しか写っていない画像が記録されるのを抑止可能となる。また、図４を参照して説明したように、背景に対する追尾対象の動きの検出結果に応じて画像の切り出し位置、切り出し範囲を設定することが可能となり、観る者の興味をひく動画像を得ることが可能となる。
【００７８】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、図５のフローチャートに示される処理では、追尾対象を追い切れなくなった時点で切り出し範囲をデフォルト値に設定し、以後は、このデフォルト設定された切り出し範囲で切り出しが行われるものとして説明した。これに関し、追尾対象が予め登録された特定の個人の顔等である場合には、画像認識の処理を継続して行うことにより、追尾対象を再び捕捉することも可能となる。そのような場合に、Ｓ５０２、Ｓ５０４、Ｓ５０６、Ｓ５０８、およびＳ５１０の処理を再び行うように構成することも可能である。
【００７９】
また、以上では、デジタルカメラ１００が動画像撮影モードで動作しているときに切り出し動画像が生成される例について説明したが、後処理によって切り出し画像が生成可能に構成されていてもよい。すなわち、一連の動画像撮影が行われているときに入力動画像を記録部３４０に記録し、動画像撮影動作完了後にその入力動画像を記録部３４０から読み出して切り出し動画像を生成する処理を行うことも可能である。
【００８０】
さらに、デジタルカメラ１００以外の画像処理装置で切り出し画像の生成処理が行われてもよい。例えばパーソナルコンピュータ、ビデオレコーダなどに接続されたデジタルカメラ１００入力される入力動画像に対してリアルタイムで、あるいは一度保存した後に、切り出し動画像の生成処理が行われてもよい。あるいは、メモリカードや光ディスク等に保存された入力動画像を読み出して切り出し動画像の生成処理が行われてもよい。
【００８１】
上述した実施形態では、撮像装置としてデジタルスチルカメラに本発明を適用する例を挙げて説明したが、デジタルビデオカメラや他の電子機器にも適用することができる。
【符号の説明】
【００８２】
１００ … デジタルカメラ
１０４ … レリーズスイッチ
１０６ … パワースイッチ
１２０ … 撮影レンズ
１３０ … 表示装置
３００ … 画像処理装置
３０６ … 撮像部
３０８ … 画像処理部
３１０ … 追尾エリア設定部
３１２ … 特徴点導出部
３１４ … 従属特徴点設定部
３１６ … 背景特徴点設定部
３１８ … 動き検出部
３２０ … 切り出し範囲設定部
３２２ … バッファメモリ
３３０ … 表示制御部
３３２ … 切り出し範囲明示処理部
３４０ … 記録部
３５０ … 圧縮伸長部
３５２ … システムバス
３５４ … インターフェース
３６０ … ＣＰＵ
３７０ … 集音部
３８０ … 操作部
【特許請求の範囲】
【請求項１】
被写体を撮像して得られる入力動画像中において追尾エリアを設定する追尾エリア設定部と、
前記追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定する従属特徴点設定部と、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出する動き検出部と、
前記入力画像から、前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲を設定する切り出し範囲設定部であって、前記動き検出部による前記動きの検出結果に基づいて前記切り出し範囲の大きさおよび位置を設定する切り出し範囲設定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記追尾エリアには、顔の画像が存在する顔エリアと、当該顔エリア近傍の顔周辺エリアとが含まれ、
前記従属特徴点設定部は、前記顔エリアおよび前記顔周辺エリア内に存在する特徴点である顔部特徴点と、前記顔エリアにつながる全身における当該顔エリア以外の部分の特徴点である他部特徴点とを前記従属特徴点として設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切り出し範囲設定部は、前記動き検出部による前記従属特徴点の前記動き検出結果に基づき、前記従属特徴点中で動きの検出された特徴点と、前記追尾エリアとを包括するように前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記入力動画像中に存在する複数の特徴点の時間経過に伴う移動量および移動速度に基づき、前記入力画像中における背景部分の特徴点である背景特徴点を検出して設定する背景特徴点設定部をさらに備え、
前記動き検出部は、前記背景特徴点に対する前記従属特徴点の動きを検出し、
前記切り出し範囲設定部は、前記動き検出部による前記背景特徴点に対する前記従属特徴点の動きの大きさおよび向きの検出結果に基づいて前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
前記切り出し範囲設定部は、前記動き検出部による前記従属特徴点の前記動き検出結果に基づき、前記入力画像中の背景に対する前記従属特徴点の動きが減少したときに、前記切り出し範囲内における前記追尾エリアの画像の占める面積割合がより増加するように前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記切り出し範囲設定部は、前記動き検出部による前記従属特徴点の前記動き検出結果に基づき、前記入力画像中の背景に対し、前記従属特徴点が全体として一つの方向に移動していることが検出されたときに、前記切り出し範囲内における前記追尾エリアの移動する側により多くの空間が与えられるように前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記切り出し範囲設定部により設定された切り出し範囲を明示する切り出し範囲明示処理部をさらに備える
ことを特徴とする請求項１から６のいずれか一つに記載の画像処理装置。
【請求項８】
前記切り出し範囲設定部により設定された切り出し範囲の画像を前記入力画像中から切り出す切り出し処理部と、
前記切り出し処理部により切り出された画像を記録する切り出し画像記録部と
をさらに備えることを特徴とする請求項１から７のいずれか一つに記載の画像処理装置。
【請求項９】
被写体を撮像して得られる入力動画像中において追尾エリアを設定することと、
前記追尾エリアに従属する特徴点である従属特徴点を検出し、検出された当該特徴点を従属特徴点として設定することと、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出することと、
前記動きを検出することにより検出された前記動きの検出結果に基づき、前記入力画像から前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲の大きさおよび位置を設定することと
を備えることを特徴とする画像処理方法。
【請求項１】
被写体を撮像して得られる入力動画像中において追尾エリアを設定する追尾エリア設定部と、
前記追尾エリアに従属する特徴点を検出し、検出された当該特徴点を従属特徴点として設定する従属特徴点設定部と、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出する動き検出部と、
前記入力画像から、前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲を設定する切り出し範囲設定部であって、前記動き検出部による前記動きの検出結果に基づいて前記切り出し範囲の大きさおよび位置を設定する切り出し範囲設定部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記追尾エリアには、顔の画像が存在する顔エリアと、当該顔エリア近傍の顔周辺エリアとが含まれ、
前記従属特徴点設定部は、前記顔エリアおよび前記顔周辺エリア内に存在する特徴点である顔部特徴点と、前記顔エリアにつながる全身における当該顔エリア以外の部分の特徴点である他部特徴点とを前記従属特徴点として設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切り出し範囲設定部は、前記動き検出部による前記従属特徴点の前記動き検出結果に基づき、前記従属特徴点中で動きの検出された特徴点と、前記追尾エリアとを包括するように前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記入力動画像中に存在する複数の特徴点の時間経過に伴う移動量および移動速度に基づき、前記入力画像中における背景部分の特徴点である背景特徴点を検出して設定する背景特徴点設定部をさらに備え、
前記動き検出部は、前記背景特徴点に対する前記従属特徴点の動きを検出し、
前記切り出し範囲設定部は、前記動き検出部による前記背景特徴点に対する前記従属特徴点の動きの大きさおよび向きの検出結果に基づいて前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
前記切り出し範囲設定部は、前記動き検出部による前記従属特徴点の前記動き検出結果に基づき、前記入力画像中の背景に対する前記従属特徴点の動きが減少したときに、前記切り出し範囲内における前記追尾エリアの画像の占める面積割合がより増加するように前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記切り出し範囲設定部は、前記動き検出部による前記従属特徴点の前記動き検出結果に基づき、前記入力画像中の背景に対し、前記従属特徴点が全体として一つの方向に移動していることが検出されたときに、前記切り出し範囲内における前記追尾エリアの移動する側により多くの空間が与えられるように前記切り出し範囲の大きさおよび位置を設定する
ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記切り出し範囲設定部により設定された切り出し範囲を明示する切り出し範囲明示処理部をさらに備える
ことを特徴とする請求項１から６のいずれか一つに記載の画像処理装置。
【請求項８】
前記切り出し範囲設定部により設定された切り出し範囲の画像を前記入力画像中から切り出す切り出し処理部と、
前記切り出し処理部により切り出された画像を記録する切り出し画像記録部と
をさらに備えることを特徴とする請求項１から７のいずれか一つに記載の画像処理装置。
【請求項９】
被写体を撮像して得られる入力動画像中において追尾エリアを設定することと、
前記追尾エリアに従属する特徴点である従属特徴点を検出し、検出された当該特徴点を従属特徴点として設定することと、
時間経過に伴う前記従属特徴点の前記入力画像内における動きを検出することと、
前記動きを検出することにより検出された前記動きの検出結果に基づき、前記入力画像から前記追尾エリアを含む部分画像を切り出して記録または表示もしくは両方を行う際の、切り出し範囲の大きさおよび位置を設定することと
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２０５０３７（Ｐ２０１２−２０５０３７Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６７１６４（Ｐ２０１１−６７１６４）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]