撮影機器
【課題】再生時に、被写体を所望の画角で連続的に画像表示することを可能にする。
【解決手段】 撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の被写体を検出する被写体検出部と、上記動画像中の上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部とを具備する。
【解決手段】 撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の被写体を検出する被写体検出部と、上記動画像中の上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部とを具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像を撮像可能な撮影機器に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)は、静止画のみならず、動画撮影機能を有するものが多い。また、撮影機器においては、画像処理によって被写体を検出し、被写体に対して最適な撮像を行うように制御する機能を有するものがある。
【0003】
例えば、特許文献1においては、撮影範囲内に被写体が収まるように、被写体を自動的に追尾可能に構成された装置が開示されている。特許文献1の技術では、被写体の移動速度が比較的高速な場合のように、被写体の移動に応じた追跡が困難となった場合には、被写体を含む撮影範囲をズームアウトすることにより、被写体が撮影範囲内に収まるようにしている。
【先行技術文献】
【特許文献】
【0004】
特開2009−33450号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の装置では、被写体を撮影範囲内に収めるために、ユーザが被写体を望遠側で撮像したい場合でも、ズームアウトによって被写体が広角側で撮像されてしまうことがあり、必ずしもユーザが希望する撮像結果が得られないという問題があった。
【0006】
本発明は、再生時に、被写体を所望の画角で連続的に画像表示することを可能にすることができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の被写体を検出する被写体検出部と、上記動画像中の上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部とを具備する。
【発明の効果】
【0008】
本発明によれば、再生時に、被写体を所望の画角で連続的に画像表示することを可能にすることができるという効果を有する。
【図面の簡単な説明】
【0009】
【図1】本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図2】追尾撮像モードにおける撮像を説明するための説明図。
【図3】横軸に経過時間をとり縦軸に画素数をとって、画角変更時における画素数の変化を示すグラフ。
【図4】横軸に経過時間をとり縦軸に焦点距離をとって、画角変更時における焦点距離の変化を示すグラフ。
【図5】追尾撮像モードにおける記録時の動作を示すフローチャート。
【図6】再生時の動作を示すフローチャート。
【図7】再生時の動作を説明するための説明図。
【図8】第2の実施の形態において採用されるフローチャート。
【図9】第2の実施の形態において採用されるフローチャート。
【図10】第2の実施の形態を説明するための説明図。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0011】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【0012】
撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部12を有している。撮影機器10の前面に設けた図示しない撮影レンズを含む光学系からの被写体の光学像は、撮像部12を構成する撮像素子(図示せず)の撮像面に結像するようになっている。この撮像部12は、制御部11によって駆動制御される。制御部11は、撮像部12に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。撮像部12は、制御部11に制御されて、動画像の撮像も可能である。
【0013】
制御部11は、撮像素子の光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。制御部11は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。
【0014】
また、撮影機器10には、操作部13、タッチパネル14も配設されている。操作部13は、撮影機器10に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、制御部11に出力するようになっている。タッチパネル14は、ユーザのタッチ操作に基づく操作信号を発生して、制御部11に出力するようになっている。制御部11は、操作信号に基づいて、各部を制御する。
【0015】
また、撮影機器10には、再生表示制御部15及び記録再生部16が設けられている。記録再生部16は、制御部11からの画像情報及び音声情報を記録することができるようになっている。記録再生部16としては、例えばカードインターフェースを採用することができ、記録再生部16はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録再生部16は、記録媒体に記録された画像情報及び音声情報を読み出して制御部11に供給することができる。制御部11は、記録再生部16によって再生された画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0016】
再生表示制御部15は、撮像部12からの撮像画像や記録再生部16からの再生画像を表示部17に与えて、これらの画像を表示させるようになっている。なお、再生表示制御部15は制御部11からの動画像を表示部17に与えて表示させることができるようになっている。記録再生部16においても動画像を記録可能であり、再生表示制御部15は、記録再生部16からの再生画像を表示部17に与えて再生表示させることもできる。
【0017】
また、再生表示制御部15は、撮影機器10の操作を行うためのメニュー表示等を表示部17に表示させることもできるようになっている。表示部17は、撮影機器10の本体の例えば背面に設けられており、撮影者は、撮影時に表示部17の表示画面を視認可能になっている。表示部17としては、LCDパネル等を採用可能である。
【0018】
この表示部17の表示画面上にタッチパネル14を配設することも可能である。タッチパネル14は、ユーザが指で指し示した位置に応じた操作信号を発生する。タッチパネル14を表示部17の表示画面上に設けた場合には、ユーザは、表示部17の表示画面上に表示された各種コマンドボタンを、タッチパネル14により指示することができる。これにより、タッチパネル14は表示部17の表示画面上に表示された各種コマンドボタンに対応した操作信号を制御部11に出力することができる。
【0019】
本実施の形態においては、注目被写体検出部21が設けられている。注目被写体検出部21は、制御部11から撮像画像が与えられ、撮像画像中の注目被写体を検出する。例えば、注目被写体検出部21は、撮像画像中の中央の動きのある物体を注目被写体として検出する。注目被写体検出部21は検出結果を制御部11に出力する。なお、注目被写体検出部21は、検出した注目被写体の視野範囲内の位置を検出して、注目被写体の位置情報を制御部11に出力するようになっている。
【0020】
また、本実施の形態においては、フレーム外れ検出部22は、注目被写体検出部21によって検出された注目被写体が、視野範囲に収まらなくなったこと、即ち、フレーム外れを検出して、検出結果を制御部11に出力するようになっている。フレーム外れ検出部22は、注目被写体が視野範囲から消えた場合及び注目被写体の所定範囲、例えば、注目被写体の画像部分の半分以上が視野範囲内に収まらなくなった場合や被写体が人物である場合に顔の大部分が視野範囲から外れた場合には、フレーム外れが生じたものと判定する。
【0021】
ズーム制御部23は、撮像部12を構成する図示しないズームレンズを制御して、ズームイン及びズームアウト制御することができるようになっている。
【0022】
本実施の形態においては、追尾撮像モードでの撮像が可能である。追尾撮像モードにおいては、制御部11は、注目被写体がフレーム外れしたか否かを検出する。制御部11は、注目被写体がフレーム外れした場合には、被写体が視野範囲内に入るように、ズーム制御部23を制御してズームアウトさせ、撮像部12に広角側で被写体を撮像させるようになっている。
【0023】
図2は追尾撮像モードにおける撮像を説明するための説明図である。
【0024】
いま、トラック上を走っている人物を注目被写体として望遠側で撮像を行うものとする。図2の中央の四角の枠は、この場合における視野範囲FSを示している。この視野範囲FSには、図2に示すように、トラックの画像32上を走っている人物の画像33(破線)が撮像されていることを示している。注目被写体検出部21は、人物の画像33を注目被写体であると検出する。この状態では、人物の画像33は大部分が視野範囲FS内に入っており、フレーム外れ検出部22はフレーム外れが生じていないものと判定する。
【0025】
ここで、人物の移動が早いこと等の理由によって、主被写体の画像33が視野範囲FSから外れるものとする。図2の人物の画像31はこの状態を示している。そうすると、制御部11は、ズーム制御部23を制御して、人物の画像33が視野範囲内に収まるように、画角を広角側に変更する。これにより、視野範囲FSが広角側の視野範囲FLに変化し、人物の画像31は、視野範囲FL内に収まる。
【0026】
ここで、フレーム外れは、視野範囲FSでの撮像時に画面中央で得られた画像の色やパターンなどの特徴を記録しておき、この特徴を持つ被写体(ここでは人物)が、画面の中央から端部に消えていった場合を判定するばかりでなく、その画面内の動きのスピードから、どのタイミングで端部に消えるかを予測するような判定を行ってもよい。
【0027】
この被写体の動きの予測から、フレーム外れする前に、外れないようなタイミングで画角を広角側に変更してもよい。また、被写体はタッチパネルで指定してもよい。
【0028】
本実施の形態においては、制御部11は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角の変更タイミングを示す画角変更時刻情報を、注目被写体情報記録部25に記録させるようになっている。画角変更時刻情報は、撮像画像の時間情報に対応した情報であり、再生時において画角変更時刻情報を読み出すことで、再生画像のいずれのタイミングで画角が変更されたかの変更タイミングを把握することができるようになっている。これは厳密に時刻である必要はなく、動画開始からの経過時間などで代用可能である。
【0029】
このフレーム外れによる画角変更タイミング情報は、画角を広角側に変更したタイミングであるが、被写体が外れるとされたタイミングでも良いし、画角を変更開始したタイミングでも代用が可能である。
【0030】
また、制御部11は、注目被写体検出部21から注目被写体の視野範囲内の位置に関する位置情報が与えられ、この位置情報を注目被写体情報記録部25に与えて記録させるようになっている。
【0031】
また、制御部11は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角の変更前後における画角の比(ズーム比)を求めて、ズーム比情報を注目被写体情報記録部25に記録させるようになっている。
【0032】
また、本実施の形態においては、画素数切替部24が設けられている。画素数切替部24は、撮像画像の画素数を変更することができる。例えば、撮像部12における撮像素子がHD画質の4倍の画素数での撮像が可能であるものとする。画素数切替部24は、望遠端における撮像画像の画素数を、リサイズ処理によって例えばHD画質の画素数とする。なお、画素数切替部24は、撮像素子からの読出し時の間引き処理や画素加算処理等によって画素数を少なくしてもよく、また、取得した撮像画像に対する間引き処理やリサイズ処理によって画素数を少なくしてもよい。なお、明細書中においてリサイズ処理とは、これらの画素数を低減させる処理の全てを含むものとする。
【0033】
本実施の形態においては、画素数切替部24は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角変更後の撮像画像の画素数を増大させるようになっている。例えば、画素数切替部24は、リサイズ処理を停止させることによって、HD画質の画素数の4倍の画素数の撮像画像を得るようになっている。
【0034】
例えば、図2では、望遠端である視野範囲FSの撮像画像の画素数に対して、広角端である視野範囲FLの撮像画像の画素数を4倍にする。従って、例えば、再生時において広角端の視野範囲FLの撮像画像中の視野範囲FSと同等のサイズの視野範囲の部分のみを再生する場合でも、視野範囲FSの撮像画像の全てを再生する場合と同様の解像度での再生が可能である。また、この場合には、主被写体の視野範囲FL内の位置情報に基づく撮像画像領域を表示させることにより、視野範囲FSの画像表示と同様の画角及び画質で、連続的に主被写体を再生可能である。
【0035】
本実施の形態においては、再生表示制御部15は、再生時において、注目被写体情報記録部25に記録されている画角変更時刻情報、位置情報及びズーム比情報を読出して、再生画像の表示領域を制御するようになっている。例えば、再生表示制御部15は、追尾撮像モードにおいてフレーム外れにより画角が変化した場合には、注目被写体情報記録部25に記録されている情報を用いることで、撮像時の画角の変化に拘わらず、同一の画角での再生を行う等画角再生モードでの再生が可能である。
【0036】
次に、このように構成された実施の形態の動作について図3乃至図7を参照して説明する。図3は横軸に経過時間をとり縦軸に画素数をとって、画角変更時における画素数の変化を示すグラフであり、図4は横軸に経過時間をとり縦軸に焦点距離をとって、画角変更時における焦点距離の変化を示すグラフである。また、図5は追尾撮像モードにおける記録時の動作を示すフローチャートであり、図6は再生時の動作を示すフローチャートである。
【0037】
(記録時)
撮影機器10の電源がオンになって追尾撮像モードになると、制御部11は、図5のステップS1において、撮像部12からの画像信号に基づいて、表示部17に撮像画像(スルー画)を表示させる。次に、制御部11は、動画撮影が開始されたか否かを判定する(ステップS2)。
【0038】
例えば動画撮影開始のためのスイッチ操作等によって動画撮影が指示されると、制御部11は、撮影を開始する。なお、追尾撮影モードに設定されている場合、この時点では、制御部11はズーム制御部23を制御して望遠端での撮像を行うものとする。説明を容易にするために、望遠端という表現としたが、広角端以外で、被写体が拡大されて撮影されている状況を想定している。例えば、メニューから追尾撮影モードを選択し、さらに、タッチパネルで被写体を指定すると、画面内に丁度、人物の上半身、または全身像くらいの大きさが撮影されるような画角に設定されるものとする。あるいは、まず実際に望遠端近くにして被写体を拡大して、どの被写体を選ぶのか、照準を定めるような効果を持たせてもよく、また、ユーザがタッチ指定をしやすくしてもよい。図2のFSに「追尾撮影モード」と表示を出しても良い。このように広角以外に画角を設定しておけば、カメラユーザ(撮影者)のカメラのフレーミングである程度、被写体を追尾しつつ、ユーザのフレーミング追尾が間に合わない場合には、カメラが被写体外れを補助するという制御が出来、安心感のある撮影が可能となる。特に、「追尾撮影モード」と表示が出ていれば、ユーザは画角に余裕のあるのを知って、安心して撮影に専念できる。また、望遠端での撮像時には、画素数切替部24によって、撮像部12は低画素数での撮像を行う(ステップS3)。例えば、撮像部12によってHD画質の4倍の解像度の撮像が可能である場合には、画素数切替部24はHD画質の解像度での撮像を設定する。
【0039】
制御部11は、撮像部12からの撮像画像に対して所定の信号処理を施して動画像を生成する。制御部11は、ステップS4において、注目被写体検出部21を制御して、動画像の視野範囲から注目被写体を検出し、検出結果を制御部11に出力する。制御部11は、フレーム外れ検出部22を制御して、注目被写体が望遠端の視野範囲FS内に収まっているか否かを判定しながら、動画撮影を続ける。
【0040】
制御部11は、ステップS5においてズーム操作が行われたか否かを判定する。ユーザによりズーム操作が行われた場合には、制御部11は、ユーザ操作に基づいてズーム制御部23を制御して、ズームイン又はズームアウト処理を行う(ステップS6)。なお、この操作は、動画開始前にも行えるようにしてもよい。
【0041】
次のステップS7において、制御部11は、フレーム外れ検出部22によってフレーム外れが検出されたか否かを判定する。ステップS7においてフレーム外れが検出されない場合には、制御部11はステップS8において撮影終了操作が行われたか否かを判定し、撮影終了操作が行われていない場合には、ステップS9において動画記録を行う。制御部11は、動画像を圧縮して記録再生部16に与える。これにより、記録再生部16は、撮像している動画像を順次記録する。
【0042】
ここで、図2のように、視野範囲FSの撮像中に視野範囲FS中の注目被写体の画像33の位置が画像31の位置に移動して、フレーム外れが発生したものとする。このフレーム外れはフレーム外れ検出部22によって検出され、制御部11は、フレーム外れ検出部22の検出結果に基づいて処理をステップS7からステップS11に移行する。制御部11は、ステップS11において、画角が望遠端であるか否かを判定する。図2の例では、フレーム外れの時点では画角は望遠端に設定されており、制御部11は、処理を次のステップS12に移行する。
【0043】
制御部11は、ステップS12において撮像部12による撮像画素数を高画素数に設定する。図3はこの状態を示しており、フレーム外れが発生したことによって、撮像部12の撮像画素数が低画素数から高画素数に変化したことを示している。例えば、望遠端における撮像時に、HD画質の解像度での撮像を行っている場合には、解像度をHD画質の4倍に増やす。
【0044】
次に、制御部11は、ズーム制御部23を制御して、広角端にズームアウトする(ステップS13)。図4はこの状態を示しており、フレーム外れが発生したことによって、ズームアウト処理が行われ、画角が望遠端から広角端に変化する。これにより、図2に示すように、視野範囲が広角端の視野範囲FLまで広がり、注目被写体の画像31が視野範囲FL内に含まれることとなる。
【0045】
なお、このズームアウトが突然行われるとユーザが戸惑うことも考えられ、これを行う前に、「追尾撮影モード」が点滅したり、「ユーザ補助開始」マークが点灯したりする等して、ユーザに知らせるようにしても良い。もし、そのような自動切り換えを好まない時には、例えば、フレーミングのし直しや、タッチパネル操作などで、これを中止させるようにしてもよい。
【0046】
そして、画角が実際に変更された場合、本実施の形態においては、制御部11は、画角の変更タイミングを示す画角変更時刻情報、注目被写体の視野範囲内の位置に関する位置情報及び画角の変更前後におけるズーム比情報を注目被写体情報記録部25に記録させる(ステップS14)。なお、制御部は、画角変更時刻情報(または動画開始からのタイミング)のみを記録するようにしてもよい。
【0047】
制御部11は、ステップS8において撮影終了と判定されるまで、撮像された動画像を圧縮処理して記録再生部16により記録する。
【0048】
こうして、本実施の形態においては、制御部11は、フレーム外れ検出部22によって注目被写体のフレーム外れを検出した場合には、ズーム制御部23を制御して画角を広げ、広角端での撮像に切換えて注目被写体を視野範囲内に捉えると共に、画角変更時の画角変更時刻情報、注目被写体の位置情報及びズーム比情報を記録する。
【0049】
(再生時)
図7は再生時の動作を説明するための説明図である。図7(a)は撮像画像を示しており、各枠によって動画中の1コマの画像を時間の流れに沿って示している。また、図7(b)は図7(a)の各コマに対応した記録画像の再生表示画像を示している。
【0050】
記録時において図7(a)に示す動画像が記録されたものとして説明する。図7(a)では左から3枚目の画像と4枚目の画像との間に、フレーム外れに伴う画角の変更によって広角側の撮像が行われたことを示している。図7(a)の左から3枚目までの画像の視野範囲を得る画角と4,5枚目の画像の視野範囲FSを得る画角とは同一であるものとする。
【0051】
再生モードが指示されると、制御部11は再生表示制御部15及び記録再生部16を制御して、記録された動画像を再生させる。再生モード時には、ユーザは操作部13によって等画角再生モードを指定することができる。等画角再生モードは、撮影時に追尾撮像モードが指定され注目被写体のフレーム外れによって画角が広げられた記録画像の再生時に、画角変更後においても画角変更前と同一画角での再生を可能にするモードである。
【0052】
等画角再生モードが指示されていない場合には、制御部11は、リサイズが必要か否かを判定する(ステップS22)。記録画像のサイズに比べて表示部17において表示する領域のサイズが小さい場合等には、制御部11は記録画像をリサイズ処理する(ステップS24)。制御部11は、リサイズが不要と判定した場合には、記録画像をそのまま再生する(ステップS23)。制御部11からのリサイズ処理された記録画像又はオリジナルの記録画像は、再生表示制御部15に与えられて再生され、表示部17の表示画面上に表示される。制御部11は、ステップS25において、ユーザによる再生モードの停止の指示が発生したか否かを判定し、再生停止が指示されるまで再生を継続する。
【0053】
ここで、等画角再生モードが指示されたものとする。制御部11は、ステップS31において、再生表示制御部15及び記録再生部16を制御して、等画角再生による再生を開始する。再生表示制御部15は、等画角再生モード時には、注目被写体情報記録部25に記録されている画角変更時刻情報、注目被写体の位置情報及びズーム比情報を読出す。再生表示制御部15は、画角変更時刻情報によって、撮像時にフレーム外れによって画角が広角側に切換えられたタイミングを検出する。画角変更時刻情報は、撮像された動画像の記録経過時刻に対応して設定されており、再生表示制御部15は、再生中の動画像のいずれのタイミングにおいて画角が変更されたかを認識する。再生表示制御部15は、フレーム外れによって画角が変更されている画像期間を、画像中の表示領域を変更する候補期間として設定し、記録画像の再生位置が候補期間に到達したか否かを判定する(ステップS32)。
【0054】
記録画像の再生位置が候補期間に到達するまでは、再生表示制御部15は、記録されている動画像をそのまま表示部17に表示する。図7(a)の左から3枚目までの画像に対応して、図7(b)の左から3枚目までの画像が表示される。
【0055】
候補期間における記録画像は、図7(a)の4,5枚目に示すように、撮影時において画角が広角側に拡がっており、記録画像の視野範囲は画角変更前に比べて拡がっている。
【0056】
再生表示制御部15は、記録画像の再生位置が候補期間に到達すると、ステップS34に処理を移行し、ズーム比情報に基づいて、画角変更前の再生画像の視野範囲と同じサイズの視野範囲を再生画像中から切り出す。この場合には、再生表示制御部15は、被写体位置情報に基づいて、切り出した画像範囲内に注目被写体が位置するように、切り出し位置を決定する。再生表示制御部15は、切り出した画像範囲を表示部17に与えて表示部17の全域に拡大表示させる。図7(b)の4,5枚目の画像は図7(a)の4,5枚目の画像のうち、視野範囲FSの部分を切り出して拡大表示したものとなっている。こうして、図7(b)に示すように、表示部17の表示上の画角は、撮像時の画角変更前後で変化しない。なお、図4の望遠から広角への変更時間を考慮しないと、この拡大表示のタイミングで、画面が不連続になる可能性があるので、この望遠から広角への変化の途中の遷移の情報も記録しておけばよい。また、電子ズームであれば、遷移をいろいろなパターンにすることが出来、一瞬で切り換えることも可能である。
【0057】
なお、本明細書中において、表示上の画角とは、撮像時の画角に対応した表示画像の領域のことであり、撮像画像の全域を常に表示する場合には、撮像時の画角と表示上の画角とは1対1に対応する。撮像時の画角が広角側に変化した場合でも、この変化後の撮像画像の一部の領域のみを表示することにより、画角変更前と同一の視野範囲のみを表示することができ、表示上の画角を一定にすることができる。
【0058】
再生表示制御部15は、ステップS35において等画角再生の終了操作が行われたと判断するまで、等画角再生を継続する。
【0059】
このように本実施の形態においては、追尾撮像モードの記録時において記録された画角変更時刻情報、注目被写体の位置情報及びズーム比情報を用いることで、再生時において、画角変更前後における動画像を、表示上の画角を変更することなく、表示することができる。また、注目被写体の位置情報を用いることで、注目被写体が表示領域内に入るように切り出しを行うと共に、画角切換前後において同一のズーム比での表示が可能である。しかも、撮像時において広角側に変更した後の画素数は、画角変更前よりも増大しており、再生時の等画角再生によって候補期間における画像が拡大処理された場合でも、候補期間における解像度がその前の期間の解像度から低下してしまうことを防止することができる。こうして、撮像時にフレーム外れにより画角が変更されたにも拘わらず、被写体を所望の画角で連続的に画像表示することが可能である。なお、再生時において、画角変更時刻情報のみを用いることで、画角変更時刻のタイミングで表示上の画角を調整するようにしてもよい。
【0060】
つまり、撮影時の画角変更タイミングや画角変更パターン(時間変化)情報を利用して(例えば、画像ファイルから読み取って)、画角を修正するような再生機器にもこの発明は有効である。
【0061】
また、再生時に、こうした不連続部分のコマを飛ばして再生してもよい。
【0062】
(第2の実施の形態)
図8乃至図10は本発明の第2の実施の形態に係り、図8及び図9は第2の実施の形態において採用されるフローチャートを示し、図10は第2の実施の形態を説明するための説明図である。本実施の形態のハードウェア構成は第1の実施の形態のハードウェア構成と同様であり、図示を省略する。
【0063】
第1の実施の形態においては、広角側で撮像された画像から注目被写体が含まれる画像部分を切り出すために、撮像時において注目被写体の位置情報を記録した。しかし、広角側で撮像したことにより、撮像画像中に複数の人物が撮像されてしまう場合等のように、注目被写体の位置情報の検出精度が低下することが考えられる。そこで、本実施の形態においては、動画像の記録後において、注目被写体の位置情報を設定可能にしたものである。
【0064】
記録時の動作は第1の実施の形態と同様である。なお、記録時においては、注目被写体の位置情報の検出及び記録を省略してもよい。
【0065】
編集モードになると、制御部11は、再生表示制御部15及び記録再生部16を制御して、動画再生を開始する(図8のステップS41)。図10(a)は撮影機器10の背面に設けられた表示部17の表示画面17a及びシークバー表示部17bを示している。図10の例では、記録された動画像中の1コマに、トラックを走る2人の人物の撮像画像が含まれており、図10(a)はトラックを示す画像41及び2人の人物の画像42,43を含む再生画像が表示画面17a上に表示されていることを示している。
【0066】
再生表示制御部15は、シークバー表示部17bにシークバー表示を表示する(ステップS42)。シークバー表示は、再生中の画像の撮像時の画角を示している。図10の白表示(白抜き部分)から黒表示(斜線部分)のいずれの位置にバー表示44が位置するかによって、白表示側で示す望遠端側の撮像であるか、黒表示側で示す広角端側での撮像であるかを示している。即ち、図10(a)の再生画像は、撮影時に望遠端で撮像されていることが分かる。
【0067】
ここで、画像記録時に追尾撮像モードにおいてフレーム外れにより画角が狭い側から広い広角側に変化した以後の画像が再生されるものとする。この場合、画角が広がった分、被写体は小さく見える。再生表示制御部15は、画角変更時刻情報に基づいて、広角側に変化した以後の画像が再生されたことを検出すると、拡大加工期間に到達してものと判定して、処理をステップS43からステップS44に移行する。
【0068】
ステップS44では、再生表示制御部15は、スロー再生を開始する。例えば、再生表示制御部15は、再生画像を1/2倍速や1/4倍速等で表示させる。これにより、拡大処理する範囲(切り出し範囲)をユーザが選択する操作について、時間的な余裕が生じ、選択操作が容易となる。これによって、被写体の動きが速いままでは、被写体が小さくなって指定が困難になることを防ぐことが出来る。スロー再生時には、被写体を選択して下さい、という表示を出してもよい。あるいは、画角が広くなる前も、スロー再生にして、同様に被写体指定が出来るようにしてもよい。これによって、画角変更前後で被写体を指定して、同じ被写体が連続的に再生されるように追尾をより確実にすることが可能となる。
【0069】
ステップS45では、制御部11は、ユーザによる注目点選択操作を受け付ける。再生表示制御部15は、この注目点の周囲に所定の切り出し範囲を設定する。
【0070】
図10(b)はユーザによる注目点選択操作を示している。図10(b)は、図10(a)の人物の画像42,43が広角側で撮像されたことにより、表示画面17a上において小さい画像42’,43’で表示されていることを示している。ユーザは、シークバー表示上のバー表示44の位置によって、広角側で撮像された画像が表示されていることを確認することができる。
【0071】
いま、ユーザが、画像43’を注目被写体として注目点選択操作を行うものとする。ユーザは、画像43’の位置を例えば指46によってタッチする(ステップS45)。この操作は、表示部17上に配設されたタッチパネル14によって検出される。再生表示制御部15は、ユーザの注目点選択操作に基づく操作信号がタッチパネル14から制御部11に供給されると、次のステップS46において、ユーザが指定した注目点を含む所定の切り出し範囲の画像を拡大して表示部17の全域に表示する。
【0072】
この場合には、再生表示制御部15は、ズーム比情報に基づいて、画角変更前後の画像の表示上の画角が変化しないように、即ち、画角変更前の画角に基づく視野範囲と同一サイズの視野範囲となるように切り出し範囲を設定する。図10(c)はこの場合の拡大表示47を示している。図10(c)においては、図10(b)の人物の画像42’,43’が拡大されて、画像42’’,43’’として表示画面17a上に表示されていることを示している。
【0073】
なお、図10(c)のシークバー表示上の色付け領域(塗り潰し領域)48は、シークバー表示の左端から右端までを撮像画像の開始時刻から終了時刻に対応させた場合の拡大表示47の撮像時刻を示している。再生表示制御部15は、注目点の情報及び拡大表示期間に対応した撮像時刻の情報を注目被写体情報記録部25に記録する。
【0074】
制御部11は、ユーザの注目点選択操作が終了したか否かを判定する(ステップS48)。例えば、制御部11は、ユーザが指46を表示画面17aから離すことによって、注目点選択操作が終了したものと判断することができる。
【0075】
なお、ユーザが注目被写体の画像上をタッチしている指46を、画像の動きに合わせて移動させながら注目点選択操作を行うことにより、制御部11は、より確実に注目被写体を特定することが可能である。
【0076】
ユーザによる注目点選択操作が終了すると、再生表示制御部15は、例えば所定時間後に、切り出した拡大表示47の表示を終了する。制御部11は、ステップS50において動画の再生が終了したか否かを判定し、終了していない場合には、ステップS41に処理を戻して、ステップS41〜S49の処理を繰り返す。
【0077】
更に、制御部11は、ステップS51において、ユーザが注目点選択操作を行って拡大した画像を用いて、記録画像を編集して記録するようにしてもよい。即ち、この場合には、記録画像中の画角変更後の画像期間のうち、ユーザが注目点選択操作した画像期間については、画角変更前の画角に相当する視野範囲の拡大画像に置き換えられて記録される。
【0078】
また、この場合には、制御部11は、編集画像の全コマについて、画素数を所定のフォーマットに合わせて一致させるために、間引き処理や補間処理等の処理を行った後、動画像の記録を行う。
【0079】
ステップS51による画像編集が行われた場合には、通常の再生装置によって、表示上の画角が調整された画像を表示させることができる。
【0080】
ステップS51による画像編集を行わない場合には、図9に示す鑑賞再生によって、表示上の画角が調整された画像を再生表示させることができる。鑑賞再生モードにおいては、制御部11は、再生表示制御部15及び記録再生部16を制御して動画再生を開始する(ステップS61)。
【0081】
ステップS62においては、再生表示制御部15は、注目被写体情報記録部25に、再生する動画像についての注目点の情報が有るか否かを判定する。注目点の情報がある場合には、再生表示制御部15は、図10(c)に示すシークバー表示を表示する。上述したように、図10(c)に示すシークバー表示は、バー表示44によって表示上の画角が示され、色付け領域48によって、撮像画像の撮像開始からの時刻(再生位置)が示される。
【0082】
再生表示制御部15は、再生中の動画像が注目点選択操作に対応する撮像時刻に応じた再生位置まで再生されると、処理をステップS64からステップS65に移行して、拡大表示を行う。即ち、再生表示制御部15は、図8のステップS46と同様に、注目点を含む切り出し範囲の拡大画像を表示部17の表示画面17aの全域に表示する。上述したように、切り出し範囲はズーム比から決定する。
【0083】
再生表示制御部15は、再生中の動画像が注目点選択操作の終了タイミングに対応する撮像時刻に応じた再生位置まで再生されると、処理をステップS66からステップS67に移行して、通常の動画再生に戻る。
【0084】
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、記録された動画像中の拡大表示させたい被写体の領域を、記録後の編修モードにおいて設定することができる。これにより、例えば、追尾撮像モードにおいてフレーム外れにより画角が広角側に変更された場合において、広角側の撮像画像中から注目被写体を確実に検出することができない場合ときでも、ユーザの希望する被写体をユーザが希望する期間だけ、画角変更前の画角に相当する視野範囲で再生することが可能である。
【0085】
なお、本発明は、撮像部の光軸方向を変更する機構を設けて被写体を自動追尾する装置に適用可能であることは明らかである。
[付記1]
ズーム機能を有する撮像部と、
表示部と、
上記ズームが広角端以外で被写体を指定可能な指定部と、
上記指定された上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報に従って、上記表示部に画角変更を知らせる表示を行う表示制御部と
を具備したことを特徴とする撮影機器。
[付記2]
画角変更を伴う撮影がなされた動画像中の被写体を検出する被写体検出部と、
撮影時の上記画角の変化情報と変更タイミングの情報を用いて、
撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を調整して表示する再生表示制御部
を具備したことを特徴とする再生機器。
[付記3]
狭い画角から広い画角への画角変更を伴う撮影がなされた動画像中、
撮影時の上記画角の変化情報と変更タイミングの情報を用いて、
スロー再生を開始し、スロー再生時に選択された被写体が、
撮像時の上記画角の変更に拘わらず、略等しい画角で撮影されたように表示する再生表示制御部
を具備したことを特徴とする再生機器。
【符号の説明】
【0086】
10…撮影機器、11…制御部、12…撮像部、13…操作部、14…タッチパネル、15…再生表示制御部、16…記録再生部、17…表示部、21…注目被写体検出部、22…フレーム外れ検出部、23…ズーム制御部、24…画素数切替部、25…注目被写体情報記録部。
【技術分野】
【0001】
本発明は、動画像を撮像可能な撮影機器に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)は、静止画のみならず、動画撮影機能を有するものが多い。また、撮影機器においては、画像処理によって被写体を検出し、被写体に対して最適な撮像を行うように制御する機能を有するものがある。
【0003】
例えば、特許文献1においては、撮影範囲内に被写体が収まるように、被写体を自動的に追尾可能に構成された装置が開示されている。特許文献1の技術では、被写体の移動速度が比較的高速な場合のように、被写体の移動に応じた追跡が困難となった場合には、被写体を含む撮影範囲をズームアウトすることにより、被写体が撮影範囲内に収まるようにしている。
【先行技術文献】
【特許文献】
【0004】
特開2009−33450号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の装置では、被写体を撮影範囲内に収めるために、ユーザが被写体を望遠側で撮像したい場合でも、ズームアウトによって被写体が広角側で撮像されてしまうことがあり、必ずしもユーザが希望する撮像結果が得られないという問題があった。
【0006】
本発明は、再生時に、被写体を所望の画角で連続的に画像表示することを可能にすることができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る撮影機器は、撮像部と、上記撮像部によって撮影された動画像中の被写体を検出する被写体検出部と、上記動画像中の上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部とを具備する。
【発明の効果】
【0008】
本発明によれば、再生時に、被写体を所望の画角で連続的に画像表示することを可能にすることができるという効果を有する。
【図面の簡単な説明】
【0009】
【図1】本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図2】追尾撮像モードにおける撮像を説明するための説明図。
【図3】横軸に経過時間をとり縦軸に画素数をとって、画角変更時における画素数の変化を示すグラフ。
【図4】横軸に経過時間をとり縦軸に焦点距離をとって、画角変更時における焦点距離の変化を示すグラフ。
【図5】追尾撮像モードにおける記録時の動作を示すフローチャート。
【図6】再生時の動作を示すフローチャート。
【図7】再生時の動作を説明するための説明図。
【図8】第2の実施の形態において採用されるフローチャート。
【図9】第2の実施の形態において採用されるフローチャート。
【図10】第2の実施の形態を説明するための説明図。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0011】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【0012】
撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部12を有している。撮影機器10の前面に設けた図示しない撮影レンズを含む光学系からの被写体の光学像は、撮像部12を構成する撮像素子(図示せず)の撮像面に結像するようになっている。この撮像部12は、制御部11によって駆動制御される。制御部11は、撮像部12に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。撮像部12は、制御部11に制御されて、動画像の撮像も可能である。
【0013】
制御部11は、撮像素子の光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。制御部11は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。
【0014】
また、撮影機器10には、操作部13、タッチパネル14も配設されている。操作部13は、撮影機器10に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、制御部11に出力するようになっている。タッチパネル14は、ユーザのタッチ操作に基づく操作信号を発生して、制御部11に出力するようになっている。制御部11は、操作信号に基づいて、各部を制御する。
【0015】
また、撮影機器10には、再生表示制御部15及び記録再生部16が設けられている。記録再生部16は、制御部11からの画像情報及び音声情報を記録することができるようになっている。記録再生部16としては、例えばカードインターフェースを採用することができ、記録再生部16はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録再生部16は、記録媒体に記録された画像情報及び音声情報を読み出して制御部11に供給することができる。制御部11は、記録再生部16によって再生された画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0016】
再生表示制御部15は、撮像部12からの撮像画像や記録再生部16からの再生画像を表示部17に与えて、これらの画像を表示させるようになっている。なお、再生表示制御部15は制御部11からの動画像を表示部17に与えて表示させることができるようになっている。記録再生部16においても動画像を記録可能であり、再生表示制御部15は、記録再生部16からの再生画像を表示部17に与えて再生表示させることもできる。
【0017】
また、再生表示制御部15は、撮影機器10の操作を行うためのメニュー表示等を表示部17に表示させることもできるようになっている。表示部17は、撮影機器10の本体の例えば背面に設けられており、撮影者は、撮影時に表示部17の表示画面を視認可能になっている。表示部17としては、LCDパネル等を採用可能である。
【0018】
この表示部17の表示画面上にタッチパネル14を配設することも可能である。タッチパネル14は、ユーザが指で指し示した位置に応じた操作信号を発生する。タッチパネル14を表示部17の表示画面上に設けた場合には、ユーザは、表示部17の表示画面上に表示された各種コマンドボタンを、タッチパネル14により指示することができる。これにより、タッチパネル14は表示部17の表示画面上に表示された各種コマンドボタンに対応した操作信号を制御部11に出力することができる。
【0019】
本実施の形態においては、注目被写体検出部21が設けられている。注目被写体検出部21は、制御部11から撮像画像が与えられ、撮像画像中の注目被写体を検出する。例えば、注目被写体検出部21は、撮像画像中の中央の動きのある物体を注目被写体として検出する。注目被写体検出部21は検出結果を制御部11に出力する。なお、注目被写体検出部21は、検出した注目被写体の視野範囲内の位置を検出して、注目被写体の位置情報を制御部11に出力するようになっている。
【0020】
また、本実施の形態においては、フレーム外れ検出部22は、注目被写体検出部21によって検出された注目被写体が、視野範囲に収まらなくなったこと、即ち、フレーム外れを検出して、検出結果を制御部11に出力するようになっている。フレーム外れ検出部22は、注目被写体が視野範囲から消えた場合及び注目被写体の所定範囲、例えば、注目被写体の画像部分の半分以上が視野範囲内に収まらなくなった場合や被写体が人物である場合に顔の大部分が視野範囲から外れた場合には、フレーム外れが生じたものと判定する。
【0021】
ズーム制御部23は、撮像部12を構成する図示しないズームレンズを制御して、ズームイン及びズームアウト制御することができるようになっている。
【0022】
本実施の形態においては、追尾撮像モードでの撮像が可能である。追尾撮像モードにおいては、制御部11は、注目被写体がフレーム外れしたか否かを検出する。制御部11は、注目被写体がフレーム外れした場合には、被写体が視野範囲内に入るように、ズーム制御部23を制御してズームアウトさせ、撮像部12に広角側で被写体を撮像させるようになっている。
【0023】
図2は追尾撮像モードにおける撮像を説明するための説明図である。
【0024】
いま、トラック上を走っている人物を注目被写体として望遠側で撮像を行うものとする。図2の中央の四角の枠は、この場合における視野範囲FSを示している。この視野範囲FSには、図2に示すように、トラックの画像32上を走っている人物の画像33(破線)が撮像されていることを示している。注目被写体検出部21は、人物の画像33を注目被写体であると検出する。この状態では、人物の画像33は大部分が視野範囲FS内に入っており、フレーム外れ検出部22はフレーム外れが生じていないものと判定する。
【0025】
ここで、人物の移動が早いこと等の理由によって、主被写体の画像33が視野範囲FSから外れるものとする。図2の人物の画像31はこの状態を示している。そうすると、制御部11は、ズーム制御部23を制御して、人物の画像33が視野範囲内に収まるように、画角を広角側に変更する。これにより、視野範囲FSが広角側の視野範囲FLに変化し、人物の画像31は、視野範囲FL内に収まる。
【0026】
ここで、フレーム外れは、視野範囲FSでの撮像時に画面中央で得られた画像の色やパターンなどの特徴を記録しておき、この特徴を持つ被写体(ここでは人物)が、画面の中央から端部に消えていった場合を判定するばかりでなく、その画面内の動きのスピードから、どのタイミングで端部に消えるかを予測するような判定を行ってもよい。
【0027】
この被写体の動きの予測から、フレーム外れする前に、外れないようなタイミングで画角を広角側に変更してもよい。また、被写体はタッチパネルで指定してもよい。
【0028】
本実施の形態においては、制御部11は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角の変更タイミングを示す画角変更時刻情報を、注目被写体情報記録部25に記録させるようになっている。画角変更時刻情報は、撮像画像の時間情報に対応した情報であり、再生時において画角変更時刻情報を読み出すことで、再生画像のいずれのタイミングで画角が変更されたかの変更タイミングを把握することができるようになっている。これは厳密に時刻である必要はなく、動画開始からの経過時間などで代用可能である。
【0029】
このフレーム外れによる画角変更タイミング情報は、画角を広角側に変更したタイミングであるが、被写体が外れるとされたタイミングでも良いし、画角を変更開始したタイミングでも代用が可能である。
【0030】
また、制御部11は、注目被写体検出部21から注目被写体の視野範囲内の位置に関する位置情報が与えられ、この位置情報を注目被写体情報記録部25に与えて記録させるようになっている。
【0031】
また、制御部11は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角の変更前後における画角の比(ズーム比)を求めて、ズーム比情報を注目被写体情報記録部25に記録させるようになっている。
【0032】
また、本実施の形態においては、画素数切替部24が設けられている。画素数切替部24は、撮像画像の画素数を変更することができる。例えば、撮像部12における撮像素子がHD画質の4倍の画素数での撮像が可能であるものとする。画素数切替部24は、望遠端における撮像画像の画素数を、リサイズ処理によって例えばHD画質の画素数とする。なお、画素数切替部24は、撮像素子からの読出し時の間引き処理や画素加算処理等によって画素数を少なくしてもよく、また、取得した撮像画像に対する間引き処理やリサイズ処理によって画素数を少なくしてもよい。なお、明細書中においてリサイズ処理とは、これらの画素数を低減させる処理の全てを含むものとする。
【0033】
本実施の形態においては、画素数切替部24は、追尾撮像モードにおいて、フレーム外れの検出結果によって画角を広角側に変更した場合には、画角変更後の撮像画像の画素数を増大させるようになっている。例えば、画素数切替部24は、リサイズ処理を停止させることによって、HD画質の画素数の4倍の画素数の撮像画像を得るようになっている。
【0034】
例えば、図2では、望遠端である視野範囲FSの撮像画像の画素数に対して、広角端である視野範囲FLの撮像画像の画素数を4倍にする。従って、例えば、再生時において広角端の視野範囲FLの撮像画像中の視野範囲FSと同等のサイズの視野範囲の部分のみを再生する場合でも、視野範囲FSの撮像画像の全てを再生する場合と同様の解像度での再生が可能である。また、この場合には、主被写体の視野範囲FL内の位置情報に基づく撮像画像領域を表示させることにより、視野範囲FSの画像表示と同様の画角及び画質で、連続的に主被写体を再生可能である。
【0035】
本実施の形態においては、再生表示制御部15は、再生時において、注目被写体情報記録部25に記録されている画角変更時刻情報、位置情報及びズーム比情報を読出して、再生画像の表示領域を制御するようになっている。例えば、再生表示制御部15は、追尾撮像モードにおいてフレーム外れにより画角が変化した場合には、注目被写体情報記録部25に記録されている情報を用いることで、撮像時の画角の変化に拘わらず、同一の画角での再生を行う等画角再生モードでの再生が可能である。
【0036】
次に、このように構成された実施の形態の動作について図3乃至図7を参照して説明する。図3は横軸に経過時間をとり縦軸に画素数をとって、画角変更時における画素数の変化を示すグラフであり、図4は横軸に経過時間をとり縦軸に焦点距離をとって、画角変更時における焦点距離の変化を示すグラフである。また、図5は追尾撮像モードにおける記録時の動作を示すフローチャートであり、図6は再生時の動作を示すフローチャートである。
【0037】
(記録時)
撮影機器10の電源がオンになって追尾撮像モードになると、制御部11は、図5のステップS1において、撮像部12からの画像信号に基づいて、表示部17に撮像画像(スルー画)を表示させる。次に、制御部11は、動画撮影が開始されたか否かを判定する(ステップS2)。
【0038】
例えば動画撮影開始のためのスイッチ操作等によって動画撮影が指示されると、制御部11は、撮影を開始する。なお、追尾撮影モードに設定されている場合、この時点では、制御部11はズーム制御部23を制御して望遠端での撮像を行うものとする。説明を容易にするために、望遠端という表現としたが、広角端以外で、被写体が拡大されて撮影されている状況を想定している。例えば、メニューから追尾撮影モードを選択し、さらに、タッチパネルで被写体を指定すると、画面内に丁度、人物の上半身、または全身像くらいの大きさが撮影されるような画角に設定されるものとする。あるいは、まず実際に望遠端近くにして被写体を拡大して、どの被写体を選ぶのか、照準を定めるような効果を持たせてもよく、また、ユーザがタッチ指定をしやすくしてもよい。図2のFSに「追尾撮影モード」と表示を出しても良い。このように広角以外に画角を設定しておけば、カメラユーザ(撮影者)のカメラのフレーミングである程度、被写体を追尾しつつ、ユーザのフレーミング追尾が間に合わない場合には、カメラが被写体外れを補助するという制御が出来、安心感のある撮影が可能となる。特に、「追尾撮影モード」と表示が出ていれば、ユーザは画角に余裕のあるのを知って、安心して撮影に専念できる。また、望遠端での撮像時には、画素数切替部24によって、撮像部12は低画素数での撮像を行う(ステップS3)。例えば、撮像部12によってHD画質の4倍の解像度の撮像が可能である場合には、画素数切替部24はHD画質の解像度での撮像を設定する。
【0039】
制御部11は、撮像部12からの撮像画像に対して所定の信号処理を施して動画像を生成する。制御部11は、ステップS4において、注目被写体検出部21を制御して、動画像の視野範囲から注目被写体を検出し、検出結果を制御部11に出力する。制御部11は、フレーム外れ検出部22を制御して、注目被写体が望遠端の視野範囲FS内に収まっているか否かを判定しながら、動画撮影を続ける。
【0040】
制御部11は、ステップS5においてズーム操作が行われたか否かを判定する。ユーザによりズーム操作が行われた場合には、制御部11は、ユーザ操作に基づいてズーム制御部23を制御して、ズームイン又はズームアウト処理を行う(ステップS6)。なお、この操作は、動画開始前にも行えるようにしてもよい。
【0041】
次のステップS7において、制御部11は、フレーム外れ検出部22によってフレーム外れが検出されたか否かを判定する。ステップS7においてフレーム外れが検出されない場合には、制御部11はステップS8において撮影終了操作が行われたか否かを判定し、撮影終了操作が行われていない場合には、ステップS9において動画記録を行う。制御部11は、動画像を圧縮して記録再生部16に与える。これにより、記録再生部16は、撮像している動画像を順次記録する。
【0042】
ここで、図2のように、視野範囲FSの撮像中に視野範囲FS中の注目被写体の画像33の位置が画像31の位置に移動して、フレーム外れが発生したものとする。このフレーム外れはフレーム外れ検出部22によって検出され、制御部11は、フレーム外れ検出部22の検出結果に基づいて処理をステップS7からステップS11に移行する。制御部11は、ステップS11において、画角が望遠端であるか否かを判定する。図2の例では、フレーム外れの時点では画角は望遠端に設定されており、制御部11は、処理を次のステップS12に移行する。
【0043】
制御部11は、ステップS12において撮像部12による撮像画素数を高画素数に設定する。図3はこの状態を示しており、フレーム外れが発生したことによって、撮像部12の撮像画素数が低画素数から高画素数に変化したことを示している。例えば、望遠端における撮像時に、HD画質の解像度での撮像を行っている場合には、解像度をHD画質の4倍に増やす。
【0044】
次に、制御部11は、ズーム制御部23を制御して、広角端にズームアウトする(ステップS13)。図4はこの状態を示しており、フレーム外れが発生したことによって、ズームアウト処理が行われ、画角が望遠端から広角端に変化する。これにより、図2に示すように、視野範囲が広角端の視野範囲FLまで広がり、注目被写体の画像31が視野範囲FL内に含まれることとなる。
【0045】
なお、このズームアウトが突然行われるとユーザが戸惑うことも考えられ、これを行う前に、「追尾撮影モード」が点滅したり、「ユーザ補助開始」マークが点灯したりする等して、ユーザに知らせるようにしても良い。もし、そのような自動切り換えを好まない時には、例えば、フレーミングのし直しや、タッチパネル操作などで、これを中止させるようにしてもよい。
【0046】
そして、画角が実際に変更された場合、本実施の形態においては、制御部11は、画角の変更タイミングを示す画角変更時刻情報、注目被写体の視野範囲内の位置に関する位置情報及び画角の変更前後におけるズーム比情報を注目被写体情報記録部25に記録させる(ステップS14)。なお、制御部は、画角変更時刻情報(または動画開始からのタイミング)のみを記録するようにしてもよい。
【0047】
制御部11は、ステップS8において撮影終了と判定されるまで、撮像された動画像を圧縮処理して記録再生部16により記録する。
【0048】
こうして、本実施の形態においては、制御部11は、フレーム外れ検出部22によって注目被写体のフレーム外れを検出した場合には、ズーム制御部23を制御して画角を広げ、広角端での撮像に切換えて注目被写体を視野範囲内に捉えると共に、画角変更時の画角変更時刻情報、注目被写体の位置情報及びズーム比情報を記録する。
【0049】
(再生時)
図7は再生時の動作を説明するための説明図である。図7(a)は撮像画像を示しており、各枠によって動画中の1コマの画像を時間の流れに沿って示している。また、図7(b)は図7(a)の各コマに対応した記録画像の再生表示画像を示している。
【0050】
記録時において図7(a)に示す動画像が記録されたものとして説明する。図7(a)では左から3枚目の画像と4枚目の画像との間に、フレーム外れに伴う画角の変更によって広角側の撮像が行われたことを示している。図7(a)の左から3枚目までの画像の視野範囲を得る画角と4,5枚目の画像の視野範囲FSを得る画角とは同一であるものとする。
【0051】
再生モードが指示されると、制御部11は再生表示制御部15及び記録再生部16を制御して、記録された動画像を再生させる。再生モード時には、ユーザは操作部13によって等画角再生モードを指定することができる。等画角再生モードは、撮影時に追尾撮像モードが指定され注目被写体のフレーム外れによって画角が広げられた記録画像の再生時に、画角変更後においても画角変更前と同一画角での再生を可能にするモードである。
【0052】
等画角再生モードが指示されていない場合には、制御部11は、リサイズが必要か否かを判定する(ステップS22)。記録画像のサイズに比べて表示部17において表示する領域のサイズが小さい場合等には、制御部11は記録画像をリサイズ処理する(ステップS24)。制御部11は、リサイズが不要と判定した場合には、記録画像をそのまま再生する(ステップS23)。制御部11からのリサイズ処理された記録画像又はオリジナルの記録画像は、再生表示制御部15に与えられて再生され、表示部17の表示画面上に表示される。制御部11は、ステップS25において、ユーザによる再生モードの停止の指示が発生したか否かを判定し、再生停止が指示されるまで再生を継続する。
【0053】
ここで、等画角再生モードが指示されたものとする。制御部11は、ステップS31において、再生表示制御部15及び記録再生部16を制御して、等画角再生による再生を開始する。再生表示制御部15は、等画角再生モード時には、注目被写体情報記録部25に記録されている画角変更時刻情報、注目被写体の位置情報及びズーム比情報を読出す。再生表示制御部15は、画角変更時刻情報によって、撮像時にフレーム外れによって画角が広角側に切換えられたタイミングを検出する。画角変更時刻情報は、撮像された動画像の記録経過時刻に対応して設定されており、再生表示制御部15は、再生中の動画像のいずれのタイミングにおいて画角が変更されたかを認識する。再生表示制御部15は、フレーム外れによって画角が変更されている画像期間を、画像中の表示領域を変更する候補期間として設定し、記録画像の再生位置が候補期間に到達したか否かを判定する(ステップS32)。
【0054】
記録画像の再生位置が候補期間に到達するまでは、再生表示制御部15は、記録されている動画像をそのまま表示部17に表示する。図7(a)の左から3枚目までの画像に対応して、図7(b)の左から3枚目までの画像が表示される。
【0055】
候補期間における記録画像は、図7(a)の4,5枚目に示すように、撮影時において画角が広角側に拡がっており、記録画像の視野範囲は画角変更前に比べて拡がっている。
【0056】
再生表示制御部15は、記録画像の再生位置が候補期間に到達すると、ステップS34に処理を移行し、ズーム比情報に基づいて、画角変更前の再生画像の視野範囲と同じサイズの視野範囲を再生画像中から切り出す。この場合には、再生表示制御部15は、被写体位置情報に基づいて、切り出した画像範囲内に注目被写体が位置するように、切り出し位置を決定する。再生表示制御部15は、切り出した画像範囲を表示部17に与えて表示部17の全域に拡大表示させる。図7(b)の4,5枚目の画像は図7(a)の4,5枚目の画像のうち、視野範囲FSの部分を切り出して拡大表示したものとなっている。こうして、図7(b)に示すように、表示部17の表示上の画角は、撮像時の画角変更前後で変化しない。なお、図4の望遠から広角への変更時間を考慮しないと、この拡大表示のタイミングで、画面が不連続になる可能性があるので、この望遠から広角への変化の途中の遷移の情報も記録しておけばよい。また、電子ズームであれば、遷移をいろいろなパターンにすることが出来、一瞬で切り換えることも可能である。
【0057】
なお、本明細書中において、表示上の画角とは、撮像時の画角に対応した表示画像の領域のことであり、撮像画像の全域を常に表示する場合には、撮像時の画角と表示上の画角とは1対1に対応する。撮像時の画角が広角側に変化した場合でも、この変化後の撮像画像の一部の領域のみを表示することにより、画角変更前と同一の視野範囲のみを表示することができ、表示上の画角を一定にすることができる。
【0058】
再生表示制御部15は、ステップS35において等画角再生の終了操作が行われたと判断するまで、等画角再生を継続する。
【0059】
このように本実施の形態においては、追尾撮像モードの記録時において記録された画角変更時刻情報、注目被写体の位置情報及びズーム比情報を用いることで、再生時において、画角変更前後における動画像を、表示上の画角を変更することなく、表示することができる。また、注目被写体の位置情報を用いることで、注目被写体が表示領域内に入るように切り出しを行うと共に、画角切換前後において同一のズーム比での表示が可能である。しかも、撮像時において広角側に変更した後の画素数は、画角変更前よりも増大しており、再生時の等画角再生によって候補期間における画像が拡大処理された場合でも、候補期間における解像度がその前の期間の解像度から低下してしまうことを防止することができる。こうして、撮像時にフレーム外れにより画角が変更されたにも拘わらず、被写体を所望の画角で連続的に画像表示することが可能である。なお、再生時において、画角変更時刻情報のみを用いることで、画角変更時刻のタイミングで表示上の画角を調整するようにしてもよい。
【0060】
つまり、撮影時の画角変更タイミングや画角変更パターン(時間変化)情報を利用して(例えば、画像ファイルから読み取って)、画角を修正するような再生機器にもこの発明は有効である。
【0061】
また、再生時に、こうした不連続部分のコマを飛ばして再生してもよい。
【0062】
(第2の実施の形態)
図8乃至図10は本発明の第2の実施の形態に係り、図8及び図9は第2の実施の形態において採用されるフローチャートを示し、図10は第2の実施の形態を説明するための説明図である。本実施の形態のハードウェア構成は第1の実施の形態のハードウェア構成と同様であり、図示を省略する。
【0063】
第1の実施の形態においては、広角側で撮像された画像から注目被写体が含まれる画像部分を切り出すために、撮像時において注目被写体の位置情報を記録した。しかし、広角側で撮像したことにより、撮像画像中に複数の人物が撮像されてしまう場合等のように、注目被写体の位置情報の検出精度が低下することが考えられる。そこで、本実施の形態においては、動画像の記録後において、注目被写体の位置情報を設定可能にしたものである。
【0064】
記録時の動作は第1の実施の形態と同様である。なお、記録時においては、注目被写体の位置情報の検出及び記録を省略してもよい。
【0065】
編集モードになると、制御部11は、再生表示制御部15及び記録再生部16を制御して、動画再生を開始する(図8のステップS41)。図10(a)は撮影機器10の背面に設けられた表示部17の表示画面17a及びシークバー表示部17bを示している。図10の例では、記録された動画像中の1コマに、トラックを走る2人の人物の撮像画像が含まれており、図10(a)はトラックを示す画像41及び2人の人物の画像42,43を含む再生画像が表示画面17a上に表示されていることを示している。
【0066】
再生表示制御部15は、シークバー表示部17bにシークバー表示を表示する(ステップS42)。シークバー表示は、再生中の画像の撮像時の画角を示している。図10の白表示(白抜き部分)から黒表示(斜線部分)のいずれの位置にバー表示44が位置するかによって、白表示側で示す望遠端側の撮像であるか、黒表示側で示す広角端側での撮像であるかを示している。即ち、図10(a)の再生画像は、撮影時に望遠端で撮像されていることが分かる。
【0067】
ここで、画像記録時に追尾撮像モードにおいてフレーム外れにより画角が狭い側から広い広角側に変化した以後の画像が再生されるものとする。この場合、画角が広がった分、被写体は小さく見える。再生表示制御部15は、画角変更時刻情報に基づいて、広角側に変化した以後の画像が再生されたことを検出すると、拡大加工期間に到達してものと判定して、処理をステップS43からステップS44に移行する。
【0068】
ステップS44では、再生表示制御部15は、スロー再生を開始する。例えば、再生表示制御部15は、再生画像を1/2倍速や1/4倍速等で表示させる。これにより、拡大処理する範囲(切り出し範囲)をユーザが選択する操作について、時間的な余裕が生じ、選択操作が容易となる。これによって、被写体の動きが速いままでは、被写体が小さくなって指定が困難になることを防ぐことが出来る。スロー再生時には、被写体を選択して下さい、という表示を出してもよい。あるいは、画角が広くなる前も、スロー再生にして、同様に被写体指定が出来るようにしてもよい。これによって、画角変更前後で被写体を指定して、同じ被写体が連続的に再生されるように追尾をより確実にすることが可能となる。
【0069】
ステップS45では、制御部11は、ユーザによる注目点選択操作を受け付ける。再生表示制御部15は、この注目点の周囲に所定の切り出し範囲を設定する。
【0070】
図10(b)はユーザによる注目点選択操作を示している。図10(b)は、図10(a)の人物の画像42,43が広角側で撮像されたことにより、表示画面17a上において小さい画像42’,43’で表示されていることを示している。ユーザは、シークバー表示上のバー表示44の位置によって、広角側で撮像された画像が表示されていることを確認することができる。
【0071】
いま、ユーザが、画像43’を注目被写体として注目点選択操作を行うものとする。ユーザは、画像43’の位置を例えば指46によってタッチする(ステップS45)。この操作は、表示部17上に配設されたタッチパネル14によって検出される。再生表示制御部15は、ユーザの注目点選択操作に基づく操作信号がタッチパネル14から制御部11に供給されると、次のステップS46において、ユーザが指定した注目点を含む所定の切り出し範囲の画像を拡大して表示部17の全域に表示する。
【0072】
この場合には、再生表示制御部15は、ズーム比情報に基づいて、画角変更前後の画像の表示上の画角が変化しないように、即ち、画角変更前の画角に基づく視野範囲と同一サイズの視野範囲となるように切り出し範囲を設定する。図10(c)はこの場合の拡大表示47を示している。図10(c)においては、図10(b)の人物の画像42’,43’が拡大されて、画像42’’,43’’として表示画面17a上に表示されていることを示している。
【0073】
なお、図10(c)のシークバー表示上の色付け領域(塗り潰し領域)48は、シークバー表示の左端から右端までを撮像画像の開始時刻から終了時刻に対応させた場合の拡大表示47の撮像時刻を示している。再生表示制御部15は、注目点の情報及び拡大表示期間に対応した撮像時刻の情報を注目被写体情報記録部25に記録する。
【0074】
制御部11は、ユーザの注目点選択操作が終了したか否かを判定する(ステップS48)。例えば、制御部11は、ユーザが指46を表示画面17aから離すことによって、注目点選択操作が終了したものと判断することができる。
【0075】
なお、ユーザが注目被写体の画像上をタッチしている指46を、画像の動きに合わせて移動させながら注目点選択操作を行うことにより、制御部11は、より確実に注目被写体を特定することが可能である。
【0076】
ユーザによる注目点選択操作が終了すると、再生表示制御部15は、例えば所定時間後に、切り出した拡大表示47の表示を終了する。制御部11は、ステップS50において動画の再生が終了したか否かを判定し、終了していない場合には、ステップS41に処理を戻して、ステップS41〜S49の処理を繰り返す。
【0077】
更に、制御部11は、ステップS51において、ユーザが注目点選択操作を行って拡大した画像を用いて、記録画像を編集して記録するようにしてもよい。即ち、この場合には、記録画像中の画角変更後の画像期間のうち、ユーザが注目点選択操作した画像期間については、画角変更前の画角に相当する視野範囲の拡大画像に置き換えられて記録される。
【0078】
また、この場合には、制御部11は、編集画像の全コマについて、画素数を所定のフォーマットに合わせて一致させるために、間引き処理や補間処理等の処理を行った後、動画像の記録を行う。
【0079】
ステップS51による画像編集が行われた場合には、通常の再生装置によって、表示上の画角が調整された画像を表示させることができる。
【0080】
ステップS51による画像編集を行わない場合には、図9に示す鑑賞再生によって、表示上の画角が調整された画像を再生表示させることができる。鑑賞再生モードにおいては、制御部11は、再生表示制御部15及び記録再生部16を制御して動画再生を開始する(ステップS61)。
【0081】
ステップS62においては、再生表示制御部15は、注目被写体情報記録部25に、再生する動画像についての注目点の情報が有るか否かを判定する。注目点の情報がある場合には、再生表示制御部15は、図10(c)に示すシークバー表示を表示する。上述したように、図10(c)に示すシークバー表示は、バー表示44によって表示上の画角が示され、色付け領域48によって、撮像画像の撮像開始からの時刻(再生位置)が示される。
【0082】
再生表示制御部15は、再生中の動画像が注目点選択操作に対応する撮像時刻に応じた再生位置まで再生されると、処理をステップS64からステップS65に移行して、拡大表示を行う。即ち、再生表示制御部15は、図8のステップS46と同様に、注目点を含む切り出し範囲の拡大画像を表示部17の表示画面17aの全域に表示する。上述したように、切り出し範囲はズーム比から決定する。
【0083】
再生表示制御部15は、再生中の動画像が注目点選択操作の終了タイミングに対応する撮像時刻に応じた再生位置まで再生されると、処理をステップS66からステップS67に移行して、通常の動画再生に戻る。
【0084】
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、記録された動画像中の拡大表示させたい被写体の領域を、記録後の編修モードにおいて設定することができる。これにより、例えば、追尾撮像モードにおいてフレーム外れにより画角が広角側に変更された場合において、広角側の撮像画像中から注目被写体を確実に検出することができない場合ときでも、ユーザの希望する被写体をユーザが希望する期間だけ、画角変更前の画角に相当する視野範囲で再生することが可能である。
【0085】
なお、本発明は、撮像部の光軸方向を変更する機構を設けて被写体を自動追尾する装置に適用可能であることは明らかである。
[付記1]
ズーム機能を有する撮像部と、
表示部と、
上記ズームが広角端以外で被写体を指定可能な指定部と、
上記指定された上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報に従って、上記表示部に画角変更を知らせる表示を行う表示制御部と
を具備したことを特徴とする撮影機器。
[付記2]
画角変更を伴う撮影がなされた動画像中の被写体を検出する被写体検出部と、
撮影時の上記画角の変化情報と変更タイミングの情報を用いて、
撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を調整して表示する再生表示制御部
を具備したことを特徴とする再生機器。
[付記3]
狭い画角から広い画角への画角変更を伴う撮影がなされた動画像中、
撮影時の上記画角の変化情報と変更タイミングの情報を用いて、
スロー再生を開始し、スロー再生時に選択された被写体が、
撮像時の上記画角の変更に拘わらず、略等しい画角で撮影されたように表示する再生表示制御部
を具備したことを特徴とする再生機器。
【符号の説明】
【0086】
10…撮影機器、11…制御部、12…撮像部、13…操作部、14…タッチパネル、15…再生表示制御部、16…記録再生部、17…表示部、21…注目被写体検出部、22…フレーム外れ検出部、23…ズーム制御部、24…画素数切替部、25…注目被写体情報記録部。
【特許請求の範囲】
【請求項1】
撮像部と、
上記撮像部によって撮影された動画像中の被写体を検出する被写体検出部と、
上記動画像中の上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と
を具備したことを特徴とする撮影機器。
【請求項2】
上記動画像の再生時に、上記画角の変更タイミングの情報を用いて、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を調整して表示する再生表示制御部
を具備したことを特徴とする請求項1に記載の撮影機器。
【請求項3】
上記制御部は、上記画角の変更タイミングの情報と共に、上記画角変更前後の画角の比の情報及び上記被写体の視野範囲における位置情報を記録する
ことを特徴とする請求項1又は2に記載の撮影機器。
【請求項4】
上記追尾被写体を上記再生時に上記表示部上のタッチパネルで指定するために、
上記再生表示制御部が、上記再生画像をスロー表示する
ことを特徴とする請求項1又は2に記載の撮影機器。
【請求項5】
上記再生表示制御部は、上記画角変更タイミングの情報及び画角変更前後の画角の比の情報を用いることで、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する
ことを特徴とする請求項3に記載の撮影機器。
【請求項6】
上記再生表示制御部は、上記位置情報を用いることで、上記被写体を常に表示させる
ことを特徴とする請求項5に記載の撮影機器。
【請求項7】
上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像の再生時における表示上の画角を調整するタイミングの情報を記録する
ことを特徴とする請求項1に記載の撮影機器。
【請求項8】
上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像を拡大表示する位置を示す情報を記録する
ことを特徴とする請求項7に記載の撮影機器。
【請求項1】
撮像部と、
上記撮像部によって撮影された動画像中の被写体を検出する被写体検出部と、
上記動画像中の上記被写体がフレーム外れになることを検出して画角を広角側に変更するズーム制御部と、
上記ズーム制御部による画角の変更タイミングの情報を上記動画像に対応させて記録する制御部と
を具備したことを特徴とする撮影機器。
【請求項2】
上記動画像の再生時に、上記画角の変更タイミングの情報を用いて、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を調整して表示する再生表示制御部
を具備したことを特徴とする請求項1に記載の撮影機器。
【請求項3】
上記制御部は、上記画角の変更タイミングの情報と共に、上記画角変更前後の画角の比の情報及び上記被写体の視野範囲における位置情報を記録する
ことを特徴とする請求項1又は2に記載の撮影機器。
【請求項4】
上記追尾被写体を上記再生時に上記表示部上のタッチパネルで指定するために、
上記再生表示制御部が、上記再生画像をスロー表示する
ことを特徴とする請求項1又は2に記載の撮影機器。
【請求項5】
上記再生表示制御部は、上記画角変更タイミングの情報及び画角変更前後の画角の比の情報を用いることで、撮像時の上記画角の変更に拘わらず、動画像の表示上の画角を一定にして表示する
ことを特徴とする請求項3に記載の撮影機器。
【請求項6】
上記再生表示制御部は、上記位置情報を用いることで、上記被写体を常に表示させる
ことを特徴とする請求項5に記載の撮影機器。
【請求項7】
上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像の再生時における表示上の画角を調整するタイミングの情報を記録する
ことを特徴とする請求項1に記載の撮影機器。
【請求項8】
上記制御部は、上記動画像及び上記画角の変更タイミングの情報の記録後に、上記動画像を拡大表示する位置を示す情報を記録する
ことを特徴とする請求項7に記載の撮影機器。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−205120(P2012−205120A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−68437(P2011−68437)
【出願日】平成23年3月25日(2011.3.25)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願日】平成23年3月25日(2011.3.25)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]