動画記録装置および動画再生装置
【課題】全体およびアップの高画質な動画を簡単に撮影、記録、そして再生することのできる技術を提供する。
【解決手段】撮像部１０が動画記録用画素数よりも高い解像度で撮像する。画像処理部１２は、撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する一方で、原画像の一部分から動画記録用画素数の部分画像を生成する。全体画像から構成される全体動画と部分画像から構成される部分動画とが、関連付けられて記録される。
【解決手段】撮像部１０が動画記録用画素数よりも高い解像度で撮像する。画像処理部１２は、撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する一方で、原画像の一部分から動画記録用画素数の部分画像を生成する。全体画像から構成される全体動画と部分画像から構成される部分動画とが、関連付けられて記録される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の記録および再生の技術に関する。
【背景技術】
【０００２】
ハンディタイプのビデオカメラや設置型の監視カメラなど、動画の記録を行う動画記録装置はさまざまな用途に利用されている。動画記録装置で撮影された映像は、ビデオテープ、ＤＶＤ、ＨＤ、メモリなどの記録メディアに記録され、動画再生装置によって再生される。また、動画再生機能を備えるタイプの動画記録装置もあり、この種の装置では、装置単体で動画の記録および再生を行ったり、外部の表示装置に対して映像信号を出力したりすることができる。
【０００３】
動画記録装置の撮影対象となるのは、もっぱら人物、その中でも人の顔部分のケースが多い。そこで従来から、人物や顔の部分の画像品質を向上するための技術が種々検討されている。
【０００４】
たとえば、特許文献１では、画像から顔や人物の領域を検出し、その領域を部分高画質符号化あるいは部分拡大符号化することにより、携帯端末の小さい画面上に来訪者の顔や不審人物を鮮明に表示できるようにする手法が提案されている。また、特許文献２では、いわゆるＲＯＩ（Region of Interest）方式を使用して、画像中の人物の領域の圧縮率を低く抑えることで、その部分の画質を高く保つ一方、それ以外の背景部分の圧縮率を高く設定し、全体として圧縮率を高めて圧縮処理後の画像の全体容量を低減する手法が提案されている。また、特許文献３では、画像の顔領域についてはデータ圧縮処理を実行し、背景領域については代表圧縮データで置き換えることで、全体として画像の容量を小さくする手法が提案されている。
【０００５】
このように、従来技術は、画質向上と容量削減という相反する課題の両立を目的とし、顔や人物部分の品質を維持する代わりに、それ以外の部分の品質を犠牲にするものであった。
【特許文献１】特開２００３−２１９３９６号公報
【特許文献２】特開２００１−１４５１０１号公報
【特許文献３】特開平６−６７４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
記録メディアの大容量化と通信速度の高速化により、今般、動画の記録容量に関する問題は解消されつつある。したがって今後は、背景を含めた全体の様子もきれいに収めながら、人や顔部分は今まで以上にきれいに撮影したいというような、画質に対する要求が高まるものと予想される。例えば、子供の運動会を撮影する場面では、自分の子供が他の子供達と競り合っている様子や運動会の風景などを撮影しつつ、同時に自分の子供の走りや顔の表情をアップで鮮明に記録する、といったニーズが想定される。
【０００７】
しかしながら、従来の動画記録装置にあっては、全体の画像を撮影するためにズームアウトすると、相対的に人や顔部分が小さくなってしまい、その表情などを鮮明に記録することができない。逆に、アップの画像を撮影するためにズームインすると、周囲の風景が画角から切れてしまい、全体の様子を収めることができない。それゆえ、子供のかけっこを撮影しても、かけっこ全体の様子を収めようとして子供の生き生きとした表情を撮影できてなかったり、子供のアップばかりを追うあまり、子供が他の子供を追い抜くシーンを
逃してしまったりと、思うような撮影ができないことが多い。特に、動く被写体を撮影する場合には、ズームの切り換えや、顔をアップにしながら被写体の動きに追従することは困難である。
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、全体およびアップの高画質な動画を簡単に撮影、記録、そして再生することのできる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明では、以下の手段または処理によって動画の撮影、記録または再生を行う。
【００１０】
本発明の動画記録装置は、撮像手段と、全体画像生成手段と、部分画像生成手段と、記録手段とを備える。撮像手段は、動画記録用画素数よりも高い解像度で撮像する。ここでは撮像により得られた画像を「原画像」とよぶ。全体画像生成手段は、原画像を動画記録用画素数の画像に解像度変換する。全体画像生成手段によって生成される画像を「全体画像」とよぶ。他方、部分画像生成手段は、原画像の一部分から動画記録用画素数の画像を生成する。部分画像生成手段によって生成される画像を「部分画像」とよぶ。そして、記録手段は、全体画像から構成される全体動画と部分画像から構成される部分動画とを関連付けて記録する。
【００１１】
この構成によれば、全体の様子を画角に収めて撮影を行うだけで、全体と部分（アップ）の２種類の動画が自動的に記録されるので、撮影者によるズーム操作などは不要となり、撮影および記録の簡単化が図られる。しかも、いずれの画像も高解像度の原画像から生成されるので、良好な画質が得られる。
【００１２】
原画像のどこの領域から部分画像を生成するかは、固定的に設定してもよいし、動的に変えるようにしてもよい。
【００１３】
たとえば建物や敷地の入口を監視するための動画記録装置（監視カメラ）のように、アップで撮影したい領域が予め特定できる場合には、原画像中の部分画像を生成する領域を固定的に設定すればよい。また、アップで撮影したい領域が複数存在する場合には、一定時間間隔でそれらの領域を切り換えるようにしてもよい。
【００１４】
また、画像処理技術や画像認識技術を利用して、原画像の中からアップで撮影すべき被写体（人、顔、または、物体）を検出することによって、部分画像の領域を自動的に切り換えることもできる。
【００１５】
詳しくは、部分画像生成手段が、原画像から人の顔を検出する顔検出手段を有しており、検出された顔を含むように部分画像を生成するとよい。この構成によれば、被写体となる人物を画角内に入れて撮影を行うだけで、その人の顔をアップで追いかける部分動画が自動的に記録される。
【００１６】
ここで、部分画像生成手段が、顔情報が登録される顔情報登録手段と、検出された顔が顔情報登録手段に登録されている顔と一致するか否かを判定する顔認識手段と、を有しており、登録されている顔の場合はその顔を含む部分画像を生成することが好ましい。この構成によれば、非登録者の部分動画は生成されないので、画角内に大勢の人物が入っている場合でも所望の人物（登録者）の部分動画のみが記録されるという利点がある。
【００１７】
部分画像生成手段は、動画記録用画素数の大きさの領域を原画像から抜き出したものを
部分画像とすることが好ましい。この場合、解像度変換が不要となるため、部分画像生成処理の単純化および高速化を図ることができるとともに、解像度変換による画質劣化を防ぐことができる。
【００１８】
あるいは、部分画像生成手段が、顔の大きさに略比例した大きさの領域を原画像から抜き出した後、その抜き出された画像を動画記録用画素数の部分画像に解像度変換するようにしてもよい。この場合、部分画像に占める顔の大きさが略一定になる。つまり、顔を常に同じような大きさで撮影することができるという利点がある。
【００１９】
部分画像生成手段が、部分画像中の顔の位置が略一定になるように上記領域を原画像から抜き出すとより好ましい。これにより、揺れのほとんど無い、見やすい部分動画を得ることができる。
【００２０】
記録手段は、全体動画と部分動画とを時間的な対応付けをとりながら記録することが好ましい。これにより、記録された動画を再生する際に、全体動画と部分動画とを同期させながら表示することが容易になる。
【００２１】
また、記録手段が、全体画像中の部分画像の位置を記録することも好ましい。これにより、記録された動画を再生する際に、全体画像と部分動画とを関連付ける種々の表示効果を容易に実現することができる。
【００２２】
記録手段が、動画記録装置本体から取り外し可能な記録メディアを有することが好ましい。これにより記録した動画を他の機器に渡すのが容易になる。
【００２３】
動画記録装置が、全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段を備えることも好ましい。さらに、動画記録装置が、映像信号を表示する表示手段を備えるとよい。ここで、画像合成手段や表示手段は動画記録装置本体と一体の構成でもよいし、別体の構成でもよい。
【００２４】
本発明の動画再生装置は、上述した動画記録装置によって記録された全体動画および部分動画を、動画記録装置から読み込む読込手段と、全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段と、映像信号を表示する表示手段と、を備える。
【００２５】
動画記録装置または動画再生装置が動画の再生・表示を行う際には、たとえば、画像合成手段が、部分動画の領域を表すマークを全体動画に合成するとよい。これにより、ユーザ（視聴者）は、どの領域がアップで表示されているかを容易に把握することができる。
【００２６】
また、全体動画に関連付けられている部分動画が複数ある場合に、操作手段により、画面上に表示する部分動画をユーザに選択させることも好ましい。これにより、ユーザが望む部分がアップで表示されるようになる。選択画面の態様としては、たとえば、部分動画を並べて表示する態様、全体動画上に各部分動画の領域を表す複数のマークを合成表示する態様、全体動画の任意の位置を選択させ、その選択位置に最も近い部分画像を表示する態様など、種々のものが考えられる。
【００２７】
なお、本発明は、上記構成の少なくとも一部を有する動画記録装置または動画再生装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む動画記録方法もしくは動画記録再生方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記構成および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２８】
本発明によれば、全体の動画とアップの動画とを簡単に撮影、記録、そして再生することができる。
【発明を実施するための最良の形態】
【００２９】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００３０】
＜第１実施形態＞
（動画記録装置の機能構成）
図１に、本発明の実施形態に係る動画記録装置の機能構成を示す。動画記録装置１は、いわゆるデジタルビデオカメラシステムであって、撮影した映像をデジタル形式の動画や静止画として記録する装置である。
【００３１】
図１に示すように、本実施形態の動画記録装置１は、画像処理系として、撮像部１０、フレームメモリ１１、画像処理部１２、顔処理部１３、顔情報登録部１４、全体画像記録部１５、部分画像記録部１６、画像合成部１７、表示部１８を備える。また、図示を省略するが、マイクや音声処理部などの音声処理系も備えている。
【００３２】
撮像部１０は、概略、光学系と撮像素子から構成される撮像手段である。撮像素子はＣＣＤもしくはＣＭＯＳなどのイメージセンサであって、少なくとも数百万オーダーの有効画素数（たとえば、３００万画素）をもつものが用いられる。撮像部１０で撮影された画像（「原画像」とよぶ。）は、フレームメモリ１１に一時的に記憶される。
【００３３】
画像処理部１２は、フレームメモリ１１から原画像を読み込み、その原画像に対して種々の画像処理を施す機能である。画像処理としては、たとえば、解像度変換、トリミング、手ブレ補正、シャープネス、色調補正などがある。
【００３４】
動画記録装置１の撮影モードには動画撮影モードと静止画撮影モードがあり、さらに静止画撮影モードには高精細モードと通常モードとがある。高精細モードでは原画像とほぼ同じ約２０００×１５００画素で、通常モードでは約１６００×１２００画素で静止画の記録が行われる。また動画撮影モードでは、６４０×４８０画素（ＶＧＡサイズ）の動画記録用画素数にて動画の記録が行われる。このように撮影モードによって記録用画素数が異なるため、画像処理部１２は撮影モードに応じて原画像に適宜解像度変換やトリミングを施して記録用の画像を生成する。
【００３５】
本実施形態では、動画撮影モードにおいて、約２０００×１５００画素数の原画像から、全体画像と部分画像の２種類のＶＧＡサイズ（動画記録用画素数）の画像が生成される。全体画像生成手段は画像処理部１２により構成される。また、部分画像生成手段は画像処理部１２、顔処理部１３および顔情報登録部１４により構成される。
【００３６】
ここで全体画像とは、原画像に写っている像のほぼ全体を含んでいる画像をいう。この全体画像は、原画像の有効領域全体をＶＧＡサイズに解像度変換（ダウンコンバート）することによって生成される。なお、有効領域とは原画像から手ブレ補正用のマージンやアスペクト比調整用の余剰画素などを除いた部分をいい、実質的には原画像の全領域に相当する。
【００３７】
一方、部分画像とは、原画像に写っている像の一部分のみを含んでいる画像をいう。この部分画像は、原画像の有効領域からＶＧＡサイズの領域をトリミングする（抜き出す）ことによって生成される。本実施形態では、顔処理部１３にて検出された顔の部分を含む
ようにトリミング範囲が決定される。
【００３８】
全体画像と部分画像はともに同じ原画像から生成されるものであるが、全体画像は原画像のほぼ全領域から生成されるのに対し、部分画像は全体画像よりも小さい領域から生成される。したがって、部分画像は全体画像の一部分（顔の部分）をアップにしたような画像となる。
【００３９】
顔処理部１３は、原画像から人の顔を検出する顔検出処理を実行する機能（顔検出手段）と、検出された顔の認識を行う顔認識処理を実行する機能（顔認識手段）とを備える。顔検出処理では、顔処理部１３は原画像の中から顔の特徴を有する領域を検出し、その顔を囲む矩形（「顔矩形」とよぶ。）の座標値を算出する。また、顔認識処理では、顔処理部１３は顔矩形で囲まれた小画像から、眉、目、鼻、口、輪郭などの顔器官の特徴量（「顔情報」とよぶ。）を抽出し、顔情報登録部１４に予め登録されている顔情報と比較して、検出された顔と登録されている顔とが一致するか否かを判定する。
【００４０】
動画を記録する記録手段は、全体画像記録部１５と部分画像記録部１６とから構成される。全体画像記録部１５は、画像処理部１２から全体画像を順次受け取ると、動画エンコード処理を行って全体動画を生成する。また、部分画像記録部１６は、画像処理部１２から部分画像を順次受け取ると、動画エンコード処理を行って部分動画を生成する。そして、全体画像記録部１５と部分画像記録部１６は、同じ原映像から生成された全体動画と部分動画を互いに関連付けて記録メディアに記録する。
【００４１】
記録メディアは、動画記録装置１の本体から取り外し可能である。取り外し可能な記録メディアとしては、たとえば、半導体メモリ、ＣＤ、ＤＶＤ、ハードディスクなどが想定される。
【００４２】
画像合成部１７は、記録メディアから全体動画や部分動画を読み込み、デコード処理を行って映像信号を生成する機能である。この映像信号は、液晶ディスプレイなどで構成される表示部１８に表示されたり、外部出力Ｉ／Ｆを介してプリンタ、表示装置、記録装置（ＤＶＤレコーダ、ＨＤレコーダなど）などの外部機器に出力される。
【００４３】
（動画記録装置の機器構成）
図２は動画記録装置の機器構成例を示している。
【００４４】
構成例１では、表示部２１を備えた動画再生機能付きデジタルビデオカメラ２０単体で動画記録装置が構成されている。
【００４５】
構成例２では、デジタルビデオカメラ２２とテレビ受像機２３から動画記録装置が構成されている。この構成では、動画記録装置の構成要素のうち表示部１８の機能をテレビ受像機２３が担い、それ以外の機能はデジタルビデオカメラ２２に設けられている。デジタルビデオカメラ２２で撮影・記録された全体動画と部分動画は、デジタルビデオカメラ２２で映像信号出力され、テレビ受像機２３に表示される。
【００４６】
構成例３では、ビデオカメラ２４と情報処理装置（パーソナルコンピュータなど）２５とディスプレイ２６から動画記録装置が構成されている。この構成では、ビデオカメラ２４が撮像部１０の機能を担い、ディスプレイ２６が表示部１８の機能を担い、それ以外の構成要素については情報処理装置２５が担っている。情報処理装置２５はビデオカメラ２４から映像を取り込み、全体動画と部分動画を生成し記録する。記録された動画は情報処理装置２５によって再生され、ディスプレイ２６に表示される。
【００４７】
構成例４では、デジタルビデオカメラ２７とプレーヤ２８とテレビ受像機２９から動画記録装置が構成されている。この構成では、プレーヤ２８が画像合成部１７の機能を担い、テレビ受像機２９が表示部１８の機能を担い、それ以外の構成要素についてはデジタルビデオカメラ２７が担っている。デジタルビデオカメラ２２で生成された全体動画および部分動画は、半導体メモリ３０やＤＶＤ３１などの記録メディアに記録されている。プレーヤ（動画再生装置）２８はその記録メディアから動画を読み込み、映像信号を生成する。映像信号はテレビ受像機２９に表示される。取り外し可能な記録メディアに動画を記録したことで、動画を別体の機器に渡すのが容易となる。
【００４８】
以上述べたように、動画記録装置は一体の構成（構成例１）でもよいし、複数の機器からなる別体の構成（構成例２〜４）でもよい。また、ここで挙げた例に限らず、適宜構成を変形したり組み合わせたりしてもよい。
【００４９】
（動画記録処理）
次に、動画記録装置の動画記録処理について詳しく説明する。図３〜図６は、本発明の第１実施形態における動画記録処理の流れを示すフローチャートである。以下に述べる処理は、動画記録装置のコントローラ（ＣＰＵ）がプログラムに従ってハードウェアの制御や演算処理を実行することにより実現されるものである。
【００５０】
動画記録を開始すると、図３の処理が実行される。図３のフローチャートは、１つのフレーム（画像）を撮像・記録する処理である。動画記録中は、この処理がフレームレートに同期したタイミング（たとえば３０回／秒）で繰り返し実行される。
【００５１】
まず、撮像部１０が撮像を行う（ステップＳ１０）。撮像部１０では、動画記録用画素数（ＶＧＡサイズ）よりも高い解像度（３００万画素）で撮像が行われる。撮像により得られた原画像はフレームメモリ１１に格納される。
【００５２】
次に、顔処理部１３が原画像から部分画像リストを作成する（ステップＳ１１）。詳しくは、図４に示すように、顔処理部１３がフレームメモリ１１から原画像を読み込み（ステップＳ１１０）、原画像から顔を検出して顔矩形を算出する（ステップＳ１１１）。たとえば、図７のような原画像の場合には、２つの顔矩形４０、４１が得られる。
【００５３】
顔矩形が得られたら、顔処理部１３は顔矩形４０で囲まれた顔画像から顔情報を抽出する（ステップＳ１１３）。そして、顔処理部１３は、顔情報登録部１４に登録されている顔情報を参照し、検出された顔が登録されている顔に一致するか否かを調べる（ステップＳ１１４）。一致する場合（ステップＳ１１５；ＹＥＳ）、顔処理部１３はその顔の登録ＩＤと顔矩形を部分画像リストに追加する（ステップＳ１１６）。一致する顔がない場合には（ステップＳ１１５；ＮＯ）、部分画像リストへの追加は行われない。顔矩形４０についての処理が終了すると、他の顔矩形４１についても同様の処理が実行される（ステップＳ１１２）。
【００５４】
図８に部分画像リストの一例を示す。部分画像リストは、顔の登録ＩＤと顔矩形の４点の座標値とが対応付けられた情報である。登録者の顔が検出されるたびに部分画像リストの項目（行）が追加される。本例では、顔矩形４０に関する情報のみが追加されており、部分画像リストの項目数は１である。
【００５５】
顔処理部１３にて作成された部分画像リストは、画像処理部１２に渡される。画像処理部１２は、部分画像リストの項目数が０か０より多いかを調べる（ステップＳ１２）。項目数が０の場合、つまり顔が検出されなかった場合は、全体画像のみが生成・記録される（ステップＳ１４）。一方、項目数が０より多い場合、つまり登録者の顔が少なくとも１
つ検出された場合には、全体画像だけでなく、検出された顔の部分画像（アップ画像）も生成・記録される（ステップＳ１３，Ｓ１４）。
【００５６】
図５は部分画像の生成・記録処理を示している。画像処理部１２は、部分画像リストの各項目について以下の処理を実行する（ステップＳ１３０）。
【００５７】
まず、画像処理部１２はフレームメモリ１１から原画像を読み込む（ステップＳ１３１）。次に、画像処理部１２は部分画像リストから顔矩形の座標を取得し、部分画像として抜き出す領域の座標を算出する（ステップＳ１３２）。ここでは、顔矩形の中心と部分画像の領域の中心とが一致するように座標を決定する。これは、部分画像中の顔の位置を一定にするためである。たとえば図９の例では、部分画像は、顔矩形４０の中心の周囲６４０×４８０画素の領域４２となる。
【００５８】
画像処理部１２は、原画像から上記領域を抜き出し、図９に示すようなＶＧＡサイズの部分画像を生成する（ステップＳ１３３）。生成された部分画像は、ステップＳ１３２で算出した座標および登録ＩＤとともに部分画像記録部１６に渡される。
【００５９】
部分画像記録部１６は、まず、登録ＩＤの一致する部分動画（記録中のものに限る。）が存在するか否か調べる。存在すれば、部分画像記録部１６は、受け取った部分画像をエンコードし、記録中の部分動画に追加していく。存在しない場合、部分画像記録部１６は、その登録ＩＤについての部分動画を新規に生成する。このように、本実施形態では登録者別（顔別）に部分動画の生成および記録が行われる（ステップＳ１３４）。
【００６０】
図６は全体画像の生成・記録処理を示している。まず、画像処理部１２はフレームメモリ１１から原画像を読み込む（ステップＳ１４０）。次に、画像処理部１２は原画像をＶＧＡサイズの画像に解像度変換し、図９に示すような全体画像を生成する（ステップＳ１４１）。そして全体画像記録部１５が、全体画像をエンコードし、全体動画の生成および記録を行う（ステップＳ１４２）。
【００６１】
図１０は、全体動画と部分動画のストリーム構造（データ構造）の一例を示している。ここでは、全体動画ストリーム５０と、３つの部分動画ストリーム５１とが関連付けて記録されている。
【００６２】
全体動画ストリーム５０の各フレームは、フレームデータ（全体画像）とポインタとタイムスタンプとから構成される。当該フレームに対応する部分画像が存在する場合には、ポインタに部分動画ストリーム５１を特定するための情報（たとえば、ファイル名または記録されているトラックなど）が格納され、タイムスタンプに部分画像のフレームを特定するための情報（たとえば、時間またはフレーム番号など）が格納される。なお、１つのフレームに複数の部分画像が対応している場合は、各部分画像へのポインタとタイムスタンプが格納されることになる。これにより、全体動画と部分動画とのストリーム同士の関連づけと時間的な対応付けとがとられている。
【００６３】
また、部分動画ストリーム５１の各フレームは、フレームデータ（部分画像）と位置情報とから構成される。位置情報には、全体画像中の部分画像の位置（領域）を表す座標値が格納される。これにより、全体動画と部分動画の位置的な対応付けがとられている。
【００６４】
（動画再生処理）
次に、全体動画と部分動画を対応させながら表示する処理について説明する。
【００６５】
画像合成部１７は、表示対象となる全体動画と部分動画を記録メディアから読み込み、
デコード処理を施した後、全体動画と部分動画のそれぞれを表示サイズに合わせて適宜解像度変換する。そして、画像合成部１７は、全体動画と部分動画を合成して映像信号を生成し、その映像信号を表示部１８に出力する。これにより、全体動画と部分動画とを同期させながら表示することができる。
【００６６】
図１１は、部分動画を画面全体に表示し、画面の左下に全体動画を縮小表示した表示例を示している。この表示態様は、顔の表情をメインに見たいときなどに好適である。
【００６７】
図１２は、全体動画を画面全体に表示し、画面の左上に部分動画を縮小表示した表示例を示している。この表示態様は、全体の様子をメインに見たいときなどに好適である。
【００６８】
他の表示態様としては、たとえば、全体動画と部分動画とを画面上に同じ大きさで表示する態様、全体動画または部分動画のいずれか一方のみを表示する態様、全体動画に２つ以上の部分動画を合成表示する態様などがある。
【００６９】
視聴者は、動画記録装置のボタンやリモコンなどの操作手段を操作することによって、表示態様の切り替えを行うことができる。表示中の全体動画に関連付けられている部分動画が複数ある場合には、操作手段を操作することによって、画面上に表示する部分動画を切り替えたり、複数の部分動画を同時に表示したりすることも可能である。
【００７０】
また、図１１、図１２の表示例では、部分動画の領域を表すマーク（枠）６０が全体動画に合成表示されている。このマーク６０は、画像合成部１７が部分動画ストリームに含まれる位置情報に基づいて生成したものである。このようなマーク表示により、視聴者はどの人の顔がアップで表示されているかを容易に把握することができる。
【００７１】
以上述べた本実施形態の動画記録装置によれば、全体の様子を画角に収めて撮影を行うだけで全体と部分（アップ）の２種類の動画が自動的に記録されるので、撮影者によるズーム操作などは不要となり、撮影および記録の簡単化が図られる。しかも、いずれの画像も高解像度の原画像から生成されるので、良好な画質が得られる。
【００７２】
また、本実施形態では、原画像の中からアップで撮影すべき顔が自動検出されるため、被写体となる人物を画角内に入れて撮影を行うだけで、その人の顔をアップで追いかける部分動画が自動的に記録される。しかも、非登録者の部分動画は生成されないので、画角内に大勢の人物が入っている場合でも所望の人物（登録者）の部分動画のみが記録されるという利点がある。
【００７３】
また、本実施形態では、原画像からＶＧＡサイズの領域をトリミングすることによって部分画像を生成している。よって、解像度変換が不要となり、部分画像生成処理の単純化および高速化を図ることができるとともに、解像度変換による画質劣化を防ぐことができる。
【００７４】
また、従来の動画記録装置では、被写体の動きや手ブレの影響により、顔をアップにしながらその動きに追従することが困難であったが、本実施形態の動画記録装置では、部分画像中の顔の位置が略一定になるように部分画像のトリミングが行われるので、揺れのほとんど無い見やすい動画を得ることができる。
【００７５】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態では、顔認識により登録者別に部分動画を記録していたが、本実施形態では、原画像中の顔のサイズが大きい順に部分動画を記録する。具体的には、部分画像リストの作成処理が異なる。
【００７６】
図１３は、第２実施形態における部分画像リストの作成処理を示している。なお、図１３中、図４と同じ処理には同一のステップ番号を付してある。
【００７７】
まず、顔処理部１３は、第１実施形態と同様、フレームメモリ１１から原画像を読み込み（ステップＳ１１０）、原画像から顔を検出して顔矩形を算出する（ステップＳ１１１）。
【００７８】
顔矩形が得られたら、顔処理部１３はサイズの大きい順に顔矩形をソートする（ステップＳ１１７）。ソート後に、上位２つ以外の顔矩形を削除したり、所定の閾値よりも小さい顔矩形を削除したりすることによって、大きい顔矩形のみを選出するようにしてもよい。
【００７９】
そして、顔処理部１３は、ソート後の顔矩形を部分画像リストに順番に追加していく（ステップＳ１１８、Ｓ１１９）。本実施形態では、登録ＩＤの代わりに、ソート後の順番（１，２，・・・）が記録される。以降の処理は第１実施形態のものと同様である。
【００８０】
本実施形態の処理によれば、サイズの大きい顔が自動的に部分動画の記録対象として選ばれる。撮影者は自分の撮りたい被写体が最も大きく写るように撮影を行うのが通例であるため、部分動画の記録対象と被写体とが一致する蓋然性が高い。すなわち、本実施形態では、顔情報の登録や顔認識処理を行わなくても、所望の被写体の部分動画を自動的に記録することができるようになる。
【００８１】
また、図１４に示すように、撮影中に顔Ａと顔Ｂの大きさが入れ替わると、１番目の部分動画５２では顔Ａから顔Ｂへと、２番目の部分動画５３では顔Ｂから顔Ａへと被写体が入れ替わる。これを利用すれば、たとえば、かけっこの先頭争いの様子を臨場感あふれる映像として表示するなど、ユニークな表示効果を得ることができるという利点もある。
【００８２】
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。第１実施形態では、原画像からＶＧＡサイズの部分画像をトリミングしていたが、本実施形態では、部分画像中の顔の大きさが略一定になるように部分画像を生成する。
【００８３】
図１５は、第３実施形態における部分画像の生成・記録処理を示している。なお、図１５中、図５と同じ処理には同一のステップ番号を付してある。
【００８４】
まず、画像処理部１２はフレームメモリ１１から原画像を読み込む（ステップＳ１３１）。次に、画像処理部１２は部分画像リストから顔矩形の座標を取得し、顔画像として抜き出す領域の座標を算出する（ステップＳ１３５）。顔画像とは、顔（顔矩形）を包含し、かつ、顔（顔矩形）に略比例した大きさの画像である。本実施形態では、顔矩形の約１．５〜２倍となるように顔画像の領域を決定する。なお、顔画像のアスペクト比は動画記録用画素数（ＶＧＡサイズ）に合わせる。
【００８５】
画像処理部１２は、原画像から顔画像を抜き出した後（ステップＳ１３６）、その顔画像をＶＧＡサイズの画像に解像度変換して部分画像を生成する（ステップＳ１３７）。以降の処理は第１実施形態のものと同様である。
【００８６】
本実施形態の処理によれば、部分画像に占める顔の大きさが略一定になる。つまり、顔を常に同じような大きさで撮影することができるという利点がある。
【００８７】
以上、第１〜第３実施形態により本発明の具体例を示したが、本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
【００８８】
たとえば、上記実施形態ではハンディタイプのビデオカメラに本発明を適用した事例を示したが、本発明は監視カメラなど他の用途にも好ましく適用することができる。監視カメラのような設置型の動画記録装置の場合には、部分画像として抽出する領域を固定的にしてもよい。
【００８９】
また、第１実施形態と第２実施形態の処理を組み合わせることによって、顔のサイズが大きく、かつ、その顔が登録されている場合にのみ部分動画を記録するようにしてもよい。あるいは、第２実施形態と第３実施形態を組み合わせてもよい。
【００９０】
また、上記実施形態ではストリーム中に全体動画と部分動画を関連付ける情報を記録したが、ＤＶＤのマルチアングルトラックのような仕組みを利用して全体動画と部分動画の関連付けを行うことも好ましい。
【００９１】
また、上記実施形態では、検出した顔と登録者の顔の比較を全フレームについて調べているが、たとえば６０フレームに１回だけ比較を行うようにし、残りのフレームは顔矩形の移動をトラッキングするようにしてもよい。これにより処理の高速化を図ることができる。
【００９２】
また、上記実施形態で述べた動画のストリーム構造や部分画像リストの構造は一例にすぎず、適宜変更可能である。撮像部１０の有効画素数や動画記録用画素数についても適宜変更可能である。
【００９３】
また、上記実施形態では顔部分を部分画像として抽出したが、たとえば、顔や顔矩形の大きさからその人の身長を推定することによって、全身もしくは上半身を部分画像として抽出するようにしてもよい。
【図面の簡単な説明】
【００９４】
【図１】動画記録装置の機能構成を示すブロック図。
【図２】動画記録装置の機器構成例を示す図。
【図３】動画記録処理の流れを示すフローチャート。
【図４】部分画像リストの作成処理の流れを示すフローチャート。
【図５】部分画像の生成・記録処理の流れを示すフローチャート。
【図６】全体画像の生成・記録処理の流れを示すフローチャート。
【図７】原画像から検出された顔矩形を示す図。
【図８】部分画像リストの一例を示す図。
【図９】全体画像と部分画像の生成処理を説明するための図。
【図１０】全体動画と部分動画のストリーム構造を示す図。
【図１１】全体動画と部分動画の表示例を示す図。
【図１２】全体動画と部分動画の表示例を示す図。
【図１３】第２実施形態における部分画像リストの作成処理の流れを示すフローチャート。
【図１４】第２実施形態で生成される部分動画について説明するための図。
【図１５】第３実施形態における部分画像の生成・記録処理の流れを示すフローチャート。
【符号の説明】
【００９５】
１ 動画記録装置
１０ 撮像部
１１ フレームメモリ
１２ 画像処理部
１３ 顔処理部
１４ 顔情報登録部
１５ 全体画像記録部
１６ 部分画像記録部
１７ 画像合成部
１８ 表示部
２０，２２，２７ デジタルビデオカメラ
２１ 表示部
２３，２９ テレビ受像機
２４ ビデオカメラ
２５ 情報処理装置
２６ ディスプレイ
２８ プレーヤ
３０ 半導体メモリ
３１ ＤＶＤ
【技術分野】
【０００１】
本発明は、動画の記録および再生の技術に関する。
【背景技術】
【０００２】
ハンディタイプのビデオカメラや設置型の監視カメラなど、動画の記録を行う動画記録装置はさまざまな用途に利用されている。動画記録装置で撮影された映像は、ビデオテープ、ＤＶＤ、ＨＤ、メモリなどの記録メディアに記録され、動画再生装置によって再生される。また、動画再生機能を備えるタイプの動画記録装置もあり、この種の装置では、装置単体で動画の記録および再生を行ったり、外部の表示装置に対して映像信号を出力したりすることができる。
【０００３】
動画記録装置の撮影対象となるのは、もっぱら人物、その中でも人の顔部分のケースが多い。そこで従来から、人物や顔の部分の画像品質を向上するための技術が種々検討されている。
【０００４】
たとえば、特許文献１では、画像から顔や人物の領域を検出し、その領域を部分高画質符号化あるいは部分拡大符号化することにより、携帯端末の小さい画面上に来訪者の顔や不審人物を鮮明に表示できるようにする手法が提案されている。また、特許文献２では、いわゆるＲＯＩ（Region of Interest）方式を使用して、画像中の人物の領域の圧縮率を低く抑えることで、その部分の画質を高く保つ一方、それ以外の背景部分の圧縮率を高く設定し、全体として圧縮率を高めて圧縮処理後の画像の全体容量を低減する手法が提案されている。また、特許文献３では、画像の顔領域についてはデータ圧縮処理を実行し、背景領域については代表圧縮データで置き換えることで、全体として画像の容量を小さくする手法が提案されている。
【０００５】
このように、従来技術は、画質向上と容量削減という相反する課題の両立を目的とし、顔や人物部分の品質を維持する代わりに、それ以外の部分の品質を犠牲にするものであった。
【特許文献１】特開２００３−２１９３９６号公報
【特許文献２】特開２００１−１４５１０１号公報
【特許文献３】特開平６−６７４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
記録メディアの大容量化と通信速度の高速化により、今般、動画の記録容量に関する問題は解消されつつある。したがって今後は、背景を含めた全体の様子もきれいに収めながら、人や顔部分は今まで以上にきれいに撮影したいというような、画質に対する要求が高まるものと予想される。例えば、子供の運動会を撮影する場面では、自分の子供が他の子供達と競り合っている様子や運動会の風景などを撮影しつつ、同時に自分の子供の走りや顔の表情をアップで鮮明に記録する、といったニーズが想定される。
【０００７】
しかしながら、従来の動画記録装置にあっては、全体の画像を撮影するためにズームアウトすると、相対的に人や顔部分が小さくなってしまい、その表情などを鮮明に記録することができない。逆に、アップの画像を撮影するためにズームインすると、周囲の風景が画角から切れてしまい、全体の様子を収めることができない。それゆえ、子供のかけっこを撮影しても、かけっこ全体の様子を収めようとして子供の生き生きとした表情を撮影できてなかったり、子供のアップばかりを追うあまり、子供が他の子供を追い抜くシーンを
逃してしまったりと、思うような撮影ができないことが多い。特に、動く被写体を撮影する場合には、ズームの切り換えや、顔をアップにしながら被写体の動きに追従することは困難である。
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、全体およびアップの高画質な動画を簡単に撮影、記録、そして再生することのできる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明では、以下の手段または処理によって動画の撮影、記録または再生を行う。
【００１０】
本発明の動画記録装置は、撮像手段と、全体画像生成手段と、部分画像生成手段と、記録手段とを備える。撮像手段は、動画記録用画素数よりも高い解像度で撮像する。ここでは撮像により得られた画像を「原画像」とよぶ。全体画像生成手段は、原画像を動画記録用画素数の画像に解像度変換する。全体画像生成手段によって生成される画像を「全体画像」とよぶ。他方、部分画像生成手段は、原画像の一部分から動画記録用画素数の画像を生成する。部分画像生成手段によって生成される画像を「部分画像」とよぶ。そして、記録手段は、全体画像から構成される全体動画と部分画像から構成される部分動画とを関連付けて記録する。
【００１１】
この構成によれば、全体の様子を画角に収めて撮影を行うだけで、全体と部分（アップ）の２種類の動画が自動的に記録されるので、撮影者によるズーム操作などは不要となり、撮影および記録の簡単化が図られる。しかも、いずれの画像も高解像度の原画像から生成されるので、良好な画質が得られる。
【００１２】
原画像のどこの領域から部分画像を生成するかは、固定的に設定してもよいし、動的に変えるようにしてもよい。
【００１３】
たとえば建物や敷地の入口を監視するための動画記録装置（監視カメラ）のように、アップで撮影したい領域が予め特定できる場合には、原画像中の部分画像を生成する領域を固定的に設定すればよい。また、アップで撮影したい領域が複数存在する場合には、一定時間間隔でそれらの領域を切り換えるようにしてもよい。
【００１４】
また、画像処理技術や画像認識技術を利用して、原画像の中からアップで撮影すべき被写体（人、顔、または、物体）を検出することによって、部分画像の領域を自動的に切り換えることもできる。
【００１５】
詳しくは、部分画像生成手段が、原画像から人の顔を検出する顔検出手段を有しており、検出された顔を含むように部分画像を生成するとよい。この構成によれば、被写体となる人物を画角内に入れて撮影を行うだけで、その人の顔をアップで追いかける部分動画が自動的に記録される。
【００１６】
ここで、部分画像生成手段が、顔情報が登録される顔情報登録手段と、検出された顔が顔情報登録手段に登録されている顔と一致するか否かを判定する顔認識手段と、を有しており、登録されている顔の場合はその顔を含む部分画像を生成することが好ましい。この構成によれば、非登録者の部分動画は生成されないので、画角内に大勢の人物が入っている場合でも所望の人物（登録者）の部分動画のみが記録されるという利点がある。
【００１７】
部分画像生成手段は、動画記録用画素数の大きさの領域を原画像から抜き出したものを
部分画像とすることが好ましい。この場合、解像度変換が不要となるため、部分画像生成処理の単純化および高速化を図ることができるとともに、解像度変換による画質劣化を防ぐことができる。
【００１８】
あるいは、部分画像生成手段が、顔の大きさに略比例した大きさの領域を原画像から抜き出した後、その抜き出された画像を動画記録用画素数の部分画像に解像度変換するようにしてもよい。この場合、部分画像に占める顔の大きさが略一定になる。つまり、顔を常に同じような大きさで撮影することができるという利点がある。
【００１９】
部分画像生成手段が、部分画像中の顔の位置が略一定になるように上記領域を原画像から抜き出すとより好ましい。これにより、揺れのほとんど無い、見やすい部分動画を得ることができる。
【００２０】
記録手段は、全体動画と部分動画とを時間的な対応付けをとりながら記録することが好ましい。これにより、記録された動画を再生する際に、全体動画と部分動画とを同期させながら表示することが容易になる。
【００２１】
また、記録手段が、全体画像中の部分画像の位置を記録することも好ましい。これにより、記録された動画を再生する際に、全体画像と部分動画とを関連付ける種々の表示効果を容易に実現することができる。
【００２２】
記録手段が、動画記録装置本体から取り外し可能な記録メディアを有することが好ましい。これにより記録した動画を他の機器に渡すのが容易になる。
【００２３】
動画記録装置が、全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段を備えることも好ましい。さらに、動画記録装置が、映像信号を表示する表示手段を備えるとよい。ここで、画像合成手段や表示手段は動画記録装置本体と一体の構成でもよいし、別体の構成でもよい。
【００２４】
本発明の動画再生装置は、上述した動画記録装置によって記録された全体動画および部分動画を、動画記録装置から読み込む読込手段と、全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段と、映像信号を表示する表示手段と、を備える。
【００２５】
動画記録装置または動画再生装置が動画の再生・表示を行う際には、たとえば、画像合成手段が、部分動画の領域を表すマークを全体動画に合成するとよい。これにより、ユーザ（視聴者）は、どの領域がアップで表示されているかを容易に把握することができる。
【００２６】
また、全体動画に関連付けられている部分動画が複数ある場合に、操作手段により、画面上に表示する部分動画をユーザに選択させることも好ましい。これにより、ユーザが望む部分がアップで表示されるようになる。選択画面の態様としては、たとえば、部分動画を並べて表示する態様、全体動画上に各部分動画の領域を表す複数のマークを合成表示する態様、全体動画の任意の位置を選択させ、その選択位置に最も近い部分画像を表示する態様など、種々のものが考えられる。
【００２７】
なお、本発明は、上記構成の少なくとも一部を有する動画記録装置または動画再生装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む動画記録方法もしくは動画記録再生方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記構成および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２８】
本発明によれば、全体の動画とアップの動画とを簡単に撮影、記録、そして再生することができる。
【発明を実施するための最良の形態】
【００２９】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００３０】
＜第１実施形態＞
（動画記録装置の機能構成）
図１に、本発明の実施形態に係る動画記録装置の機能構成を示す。動画記録装置１は、いわゆるデジタルビデオカメラシステムであって、撮影した映像をデジタル形式の動画や静止画として記録する装置である。
【００３１】
図１に示すように、本実施形態の動画記録装置１は、画像処理系として、撮像部１０、フレームメモリ１１、画像処理部１２、顔処理部１３、顔情報登録部１４、全体画像記録部１５、部分画像記録部１６、画像合成部１７、表示部１８を備える。また、図示を省略するが、マイクや音声処理部などの音声処理系も備えている。
【００３２】
撮像部１０は、概略、光学系と撮像素子から構成される撮像手段である。撮像素子はＣＣＤもしくはＣＭＯＳなどのイメージセンサであって、少なくとも数百万オーダーの有効画素数（たとえば、３００万画素）をもつものが用いられる。撮像部１０で撮影された画像（「原画像」とよぶ。）は、フレームメモリ１１に一時的に記憶される。
【００３３】
画像処理部１２は、フレームメモリ１１から原画像を読み込み、その原画像に対して種々の画像処理を施す機能である。画像処理としては、たとえば、解像度変換、トリミング、手ブレ補正、シャープネス、色調補正などがある。
【００３４】
動画記録装置１の撮影モードには動画撮影モードと静止画撮影モードがあり、さらに静止画撮影モードには高精細モードと通常モードとがある。高精細モードでは原画像とほぼ同じ約２０００×１５００画素で、通常モードでは約１６００×１２００画素で静止画の記録が行われる。また動画撮影モードでは、６４０×４８０画素（ＶＧＡサイズ）の動画記録用画素数にて動画の記録が行われる。このように撮影モードによって記録用画素数が異なるため、画像処理部１２は撮影モードに応じて原画像に適宜解像度変換やトリミングを施して記録用の画像を生成する。
【００３５】
本実施形態では、動画撮影モードにおいて、約２０００×１５００画素数の原画像から、全体画像と部分画像の２種類のＶＧＡサイズ（動画記録用画素数）の画像が生成される。全体画像生成手段は画像処理部１２により構成される。また、部分画像生成手段は画像処理部１２、顔処理部１３および顔情報登録部１４により構成される。
【００３６】
ここで全体画像とは、原画像に写っている像のほぼ全体を含んでいる画像をいう。この全体画像は、原画像の有効領域全体をＶＧＡサイズに解像度変換（ダウンコンバート）することによって生成される。なお、有効領域とは原画像から手ブレ補正用のマージンやアスペクト比調整用の余剰画素などを除いた部分をいい、実質的には原画像の全領域に相当する。
【００３７】
一方、部分画像とは、原画像に写っている像の一部分のみを含んでいる画像をいう。この部分画像は、原画像の有効領域からＶＧＡサイズの領域をトリミングする（抜き出す）ことによって生成される。本実施形態では、顔処理部１３にて検出された顔の部分を含む
ようにトリミング範囲が決定される。
【００３８】
全体画像と部分画像はともに同じ原画像から生成されるものであるが、全体画像は原画像のほぼ全領域から生成されるのに対し、部分画像は全体画像よりも小さい領域から生成される。したがって、部分画像は全体画像の一部分（顔の部分）をアップにしたような画像となる。
【００３９】
顔処理部１３は、原画像から人の顔を検出する顔検出処理を実行する機能（顔検出手段）と、検出された顔の認識を行う顔認識処理を実行する機能（顔認識手段）とを備える。顔検出処理では、顔処理部１３は原画像の中から顔の特徴を有する領域を検出し、その顔を囲む矩形（「顔矩形」とよぶ。）の座標値を算出する。また、顔認識処理では、顔処理部１３は顔矩形で囲まれた小画像から、眉、目、鼻、口、輪郭などの顔器官の特徴量（「顔情報」とよぶ。）を抽出し、顔情報登録部１４に予め登録されている顔情報と比較して、検出された顔と登録されている顔とが一致するか否かを判定する。
【００４０】
動画を記録する記録手段は、全体画像記録部１５と部分画像記録部１６とから構成される。全体画像記録部１５は、画像処理部１２から全体画像を順次受け取ると、動画エンコード処理を行って全体動画を生成する。また、部分画像記録部１６は、画像処理部１２から部分画像を順次受け取ると、動画エンコード処理を行って部分動画を生成する。そして、全体画像記録部１５と部分画像記録部１６は、同じ原映像から生成された全体動画と部分動画を互いに関連付けて記録メディアに記録する。
【００４１】
記録メディアは、動画記録装置１の本体から取り外し可能である。取り外し可能な記録メディアとしては、たとえば、半導体メモリ、ＣＤ、ＤＶＤ、ハードディスクなどが想定される。
【００４２】
画像合成部１７は、記録メディアから全体動画や部分動画を読み込み、デコード処理を行って映像信号を生成する機能である。この映像信号は、液晶ディスプレイなどで構成される表示部１８に表示されたり、外部出力Ｉ／Ｆを介してプリンタ、表示装置、記録装置（ＤＶＤレコーダ、ＨＤレコーダなど）などの外部機器に出力される。
【００４３】
（動画記録装置の機器構成）
図２は動画記録装置の機器構成例を示している。
【００４４】
構成例１では、表示部２１を備えた動画再生機能付きデジタルビデオカメラ２０単体で動画記録装置が構成されている。
【００４５】
構成例２では、デジタルビデオカメラ２２とテレビ受像機２３から動画記録装置が構成されている。この構成では、動画記録装置の構成要素のうち表示部１８の機能をテレビ受像機２３が担い、それ以外の機能はデジタルビデオカメラ２２に設けられている。デジタルビデオカメラ２２で撮影・記録された全体動画と部分動画は、デジタルビデオカメラ２２で映像信号出力され、テレビ受像機２３に表示される。
【００４６】
構成例３では、ビデオカメラ２４と情報処理装置（パーソナルコンピュータなど）２５とディスプレイ２６から動画記録装置が構成されている。この構成では、ビデオカメラ２４が撮像部１０の機能を担い、ディスプレイ２６が表示部１８の機能を担い、それ以外の構成要素については情報処理装置２５が担っている。情報処理装置２５はビデオカメラ２４から映像を取り込み、全体動画と部分動画を生成し記録する。記録された動画は情報処理装置２５によって再生され、ディスプレイ２６に表示される。
【００４７】
構成例４では、デジタルビデオカメラ２７とプレーヤ２８とテレビ受像機２９から動画記録装置が構成されている。この構成では、プレーヤ２８が画像合成部１７の機能を担い、テレビ受像機２９が表示部１８の機能を担い、それ以外の構成要素についてはデジタルビデオカメラ２７が担っている。デジタルビデオカメラ２２で生成された全体動画および部分動画は、半導体メモリ３０やＤＶＤ３１などの記録メディアに記録されている。プレーヤ（動画再生装置）２８はその記録メディアから動画を読み込み、映像信号を生成する。映像信号はテレビ受像機２９に表示される。取り外し可能な記録メディアに動画を記録したことで、動画を別体の機器に渡すのが容易となる。
【００４８】
以上述べたように、動画記録装置は一体の構成（構成例１）でもよいし、複数の機器からなる別体の構成（構成例２〜４）でもよい。また、ここで挙げた例に限らず、適宜構成を変形したり組み合わせたりしてもよい。
【００４９】
（動画記録処理）
次に、動画記録装置の動画記録処理について詳しく説明する。図３〜図６は、本発明の第１実施形態における動画記録処理の流れを示すフローチャートである。以下に述べる処理は、動画記録装置のコントローラ（ＣＰＵ）がプログラムに従ってハードウェアの制御や演算処理を実行することにより実現されるものである。
【００５０】
動画記録を開始すると、図３の処理が実行される。図３のフローチャートは、１つのフレーム（画像）を撮像・記録する処理である。動画記録中は、この処理がフレームレートに同期したタイミング（たとえば３０回／秒）で繰り返し実行される。
【００５１】
まず、撮像部１０が撮像を行う（ステップＳ１０）。撮像部１０では、動画記録用画素数（ＶＧＡサイズ）よりも高い解像度（３００万画素）で撮像が行われる。撮像により得られた原画像はフレームメモリ１１に格納される。
【００５２】
次に、顔処理部１３が原画像から部分画像リストを作成する（ステップＳ１１）。詳しくは、図４に示すように、顔処理部１３がフレームメモリ１１から原画像を読み込み（ステップＳ１１０）、原画像から顔を検出して顔矩形を算出する（ステップＳ１１１）。たとえば、図７のような原画像の場合には、２つの顔矩形４０、４１が得られる。
【００５３】
顔矩形が得られたら、顔処理部１３は顔矩形４０で囲まれた顔画像から顔情報を抽出する（ステップＳ１１３）。そして、顔処理部１３は、顔情報登録部１４に登録されている顔情報を参照し、検出された顔が登録されている顔に一致するか否かを調べる（ステップＳ１１４）。一致する場合（ステップＳ１１５；ＹＥＳ）、顔処理部１３はその顔の登録ＩＤと顔矩形を部分画像リストに追加する（ステップＳ１１６）。一致する顔がない場合には（ステップＳ１１５；ＮＯ）、部分画像リストへの追加は行われない。顔矩形４０についての処理が終了すると、他の顔矩形４１についても同様の処理が実行される（ステップＳ１１２）。
【００５４】
図８に部分画像リストの一例を示す。部分画像リストは、顔の登録ＩＤと顔矩形の４点の座標値とが対応付けられた情報である。登録者の顔が検出されるたびに部分画像リストの項目（行）が追加される。本例では、顔矩形４０に関する情報のみが追加されており、部分画像リストの項目数は１である。
【００５５】
顔処理部１３にて作成された部分画像リストは、画像処理部１２に渡される。画像処理部１２は、部分画像リストの項目数が０か０より多いかを調べる（ステップＳ１２）。項目数が０の場合、つまり顔が検出されなかった場合は、全体画像のみが生成・記録される（ステップＳ１４）。一方、項目数が０より多い場合、つまり登録者の顔が少なくとも１
つ検出された場合には、全体画像だけでなく、検出された顔の部分画像（アップ画像）も生成・記録される（ステップＳ１３，Ｓ１４）。
【００５６】
図５は部分画像の生成・記録処理を示している。画像処理部１２は、部分画像リストの各項目について以下の処理を実行する（ステップＳ１３０）。
【００５７】
まず、画像処理部１２はフレームメモリ１１から原画像を読み込む（ステップＳ１３１）。次に、画像処理部１２は部分画像リストから顔矩形の座標を取得し、部分画像として抜き出す領域の座標を算出する（ステップＳ１３２）。ここでは、顔矩形の中心と部分画像の領域の中心とが一致するように座標を決定する。これは、部分画像中の顔の位置を一定にするためである。たとえば図９の例では、部分画像は、顔矩形４０の中心の周囲６４０×４８０画素の領域４２となる。
【００５８】
画像処理部１２は、原画像から上記領域を抜き出し、図９に示すようなＶＧＡサイズの部分画像を生成する（ステップＳ１３３）。生成された部分画像は、ステップＳ１３２で算出した座標および登録ＩＤとともに部分画像記録部１６に渡される。
【００５９】
部分画像記録部１６は、まず、登録ＩＤの一致する部分動画（記録中のものに限る。）が存在するか否か調べる。存在すれば、部分画像記録部１６は、受け取った部分画像をエンコードし、記録中の部分動画に追加していく。存在しない場合、部分画像記録部１６は、その登録ＩＤについての部分動画を新規に生成する。このように、本実施形態では登録者別（顔別）に部分動画の生成および記録が行われる（ステップＳ１３４）。
【００６０】
図６は全体画像の生成・記録処理を示している。まず、画像処理部１２はフレームメモリ１１から原画像を読み込む（ステップＳ１４０）。次に、画像処理部１２は原画像をＶＧＡサイズの画像に解像度変換し、図９に示すような全体画像を生成する（ステップＳ１４１）。そして全体画像記録部１５が、全体画像をエンコードし、全体動画の生成および記録を行う（ステップＳ１４２）。
【００６１】
図１０は、全体動画と部分動画のストリーム構造（データ構造）の一例を示している。ここでは、全体動画ストリーム５０と、３つの部分動画ストリーム５１とが関連付けて記録されている。
【００６２】
全体動画ストリーム５０の各フレームは、フレームデータ（全体画像）とポインタとタイムスタンプとから構成される。当該フレームに対応する部分画像が存在する場合には、ポインタに部分動画ストリーム５１を特定するための情報（たとえば、ファイル名または記録されているトラックなど）が格納され、タイムスタンプに部分画像のフレームを特定するための情報（たとえば、時間またはフレーム番号など）が格納される。なお、１つのフレームに複数の部分画像が対応している場合は、各部分画像へのポインタとタイムスタンプが格納されることになる。これにより、全体動画と部分動画とのストリーム同士の関連づけと時間的な対応付けとがとられている。
【００６３】
また、部分動画ストリーム５１の各フレームは、フレームデータ（部分画像）と位置情報とから構成される。位置情報には、全体画像中の部分画像の位置（領域）を表す座標値が格納される。これにより、全体動画と部分動画の位置的な対応付けがとられている。
【００６４】
（動画再生処理）
次に、全体動画と部分動画を対応させながら表示する処理について説明する。
【００６５】
画像合成部１７は、表示対象となる全体動画と部分動画を記録メディアから読み込み、
デコード処理を施した後、全体動画と部分動画のそれぞれを表示サイズに合わせて適宜解像度変換する。そして、画像合成部１７は、全体動画と部分動画を合成して映像信号を生成し、その映像信号を表示部１８に出力する。これにより、全体動画と部分動画とを同期させながら表示することができる。
【００６６】
図１１は、部分動画を画面全体に表示し、画面の左下に全体動画を縮小表示した表示例を示している。この表示態様は、顔の表情をメインに見たいときなどに好適である。
【００６７】
図１２は、全体動画を画面全体に表示し、画面の左上に部分動画を縮小表示した表示例を示している。この表示態様は、全体の様子をメインに見たいときなどに好適である。
【００６８】
他の表示態様としては、たとえば、全体動画と部分動画とを画面上に同じ大きさで表示する態様、全体動画または部分動画のいずれか一方のみを表示する態様、全体動画に２つ以上の部分動画を合成表示する態様などがある。
【００６９】
視聴者は、動画記録装置のボタンやリモコンなどの操作手段を操作することによって、表示態様の切り替えを行うことができる。表示中の全体動画に関連付けられている部分動画が複数ある場合には、操作手段を操作することによって、画面上に表示する部分動画を切り替えたり、複数の部分動画を同時に表示したりすることも可能である。
【００７０】
また、図１１、図１２の表示例では、部分動画の領域を表すマーク（枠）６０が全体動画に合成表示されている。このマーク６０は、画像合成部１７が部分動画ストリームに含まれる位置情報に基づいて生成したものである。このようなマーク表示により、視聴者はどの人の顔がアップで表示されているかを容易に把握することができる。
【００７１】
以上述べた本実施形態の動画記録装置によれば、全体の様子を画角に収めて撮影を行うだけで全体と部分（アップ）の２種類の動画が自動的に記録されるので、撮影者によるズーム操作などは不要となり、撮影および記録の簡単化が図られる。しかも、いずれの画像も高解像度の原画像から生成されるので、良好な画質が得られる。
【００７２】
また、本実施形態では、原画像の中からアップで撮影すべき顔が自動検出されるため、被写体となる人物を画角内に入れて撮影を行うだけで、その人の顔をアップで追いかける部分動画が自動的に記録される。しかも、非登録者の部分動画は生成されないので、画角内に大勢の人物が入っている場合でも所望の人物（登録者）の部分動画のみが記録されるという利点がある。
【００７３】
また、本実施形態では、原画像からＶＧＡサイズの領域をトリミングすることによって部分画像を生成している。よって、解像度変換が不要となり、部分画像生成処理の単純化および高速化を図ることができるとともに、解像度変換による画質劣化を防ぐことができる。
【００７４】
また、従来の動画記録装置では、被写体の動きや手ブレの影響により、顔をアップにしながらその動きに追従することが困難であったが、本実施形態の動画記録装置では、部分画像中の顔の位置が略一定になるように部分画像のトリミングが行われるので、揺れのほとんど無い見やすい動画を得ることができる。
【００７５】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態では、顔認識により登録者別に部分動画を記録していたが、本実施形態では、原画像中の顔のサイズが大きい順に部分動画を記録する。具体的には、部分画像リストの作成処理が異なる。
【００７６】
図１３は、第２実施形態における部分画像リストの作成処理を示している。なお、図１３中、図４と同じ処理には同一のステップ番号を付してある。
【００７７】
まず、顔処理部１３は、第１実施形態と同様、フレームメモリ１１から原画像を読み込み（ステップＳ１１０）、原画像から顔を検出して顔矩形を算出する（ステップＳ１１１）。
【００７８】
顔矩形が得られたら、顔処理部１３はサイズの大きい順に顔矩形をソートする（ステップＳ１１７）。ソート後に、上位２つ以外の顔矩形を削除したり、所定の閾値よりも小さい顔矩形を削除したりすることによって、大きい顔矩形のみを選出するようにしてもよい。
【００７９】
そして、顔処理部１３は、ソート後の顔矩形を部分画像リストに順番に追加していく（ステップＳ１１８、Ｓ１１９）。本実施形態では、登録ＩＤの代わりに、ソート後の順番（１，２，・・・）が記録される。以降の処理は第１実施形態のものと同様である。
【００８０】
本実施形態の処理によれば、サイズの大きい顔が自動的に部分動画の記録対象として選ばれる。撮影者は自分の撮りたい被写体が最も大きく写るように撮影を行うのが通例であるため、部分動画の記録対象と被写体とが一致する蓋然性が高い。すなわち、本実施形態では、顔情報の登録や顔認識処理を行わなくても、所望の被写体の部分動画を自動的に記録することができるようになる。
【００８１】
また、図１４に示すように、撮影中に顔Ａと顔Ｂの大きさが入れ替わると、１番目の部分動画５２では顔Ａから顔Ｂへと、２番目の部分動画５３では顔Ｂから顔Ａへと被写体が入れ替わる。これを利用すれば、たとえば、かけっこの先頭争いの様子を臨場感あふれる映像として表示するなど、ユニークな表示効果を得ることができるという利点もある。
【００８２】
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。第１実施形態では、原画像からＶＧＡサイズの部分画像をトリミングしていたが、本実施形態では、部分画像中の顔の大きさが略一定になるように部分画像を生成する。
【００８３】
図１５は、第３実施形態における部分画像の生成・記録処理を示している。なお、図１５中、図５と同じ処理には同一のステップ番号を付してある。
【００８４】
まず、画像処理部１２はフレームメモリ１１から原画像を読み込む（ステップＳ１３１）。次に、画像処理部１２は部分画像リストから顔矩形の座標を取得し、顔画像として抜き出す領域の座標を算出する（ステップＳ１３５）。顔画像とは、顔（顔矩形）を包含し、かつ、顔（顔矩形）に略比例した大きさの画像である。本実施形態では、顔矩形の約１．５〜２倍となるように顔画像の領域を決定する。なお、顔画像のアスペクト比は動画記録用画素数（ＶＧＡサイズ）に合わせる。
【００８５】
画像処理部１２は、原画像から顔画像を抜き出した後（ステップＳ１３６）、その顔画像をＶＧＡサイズの画像に解像度変換して部分画像を生成する（ステップＳ１３７）。以降の処理は第１実施形態のものと同様である。
【００８６】
本実施形態の処理によれば、部分画像に占める顔の大きさが略一定になる。つまり、顔を常に同じような大きさで撮影することができるという利点がある。
【００８７】
以上、第１〜第３実施形態により本発明の具体例を示したが、本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。
【００８８】
たとえば、上記実施形態ではハンディタイプのビデオカメラに本発明を適用した事例を示したが、本発明は監視カメラなど他の用途にも好ましく適用することができる。監視カメラのような設置型の動画記録装置の場合には、部分画像として抽出する領域を固定的にしてもよい。
【００８９】
また、第１実施形態と第２実施形態の処理を組み合わせることによって、顔のサイズが大きく、かつ、その顔が登録されている場合にのみ部分動画を記録するようにしてもよい。あるいは、第２実施形態と第３実施形態を組み合わせてもよい。
【００９０】
また、上記実施形態ではストリーム中に全体動画と部分動画を関連付ける情報を記録したが、ＤＶＤのマルチアングルトラックのような仕組みを利用して全体動画と部分動画の関連付けを行うことも好ましい。
【００９１】
また、上記実施形態では、検出した顔と登録者の顔の比較を全フレームについて調べているが、たとえば６０フレームに１回だけ比較を行うようにし、残りのフレームは顔矩形の移動をトラッキングするようにしてもよい。これにより処理の高速化を図ることができる。
【００９２】
また、上記実施形態で述べた動画のストリーム構造や部分画像リストの構造は一例にすぎず、適宜変更可能である。撮像部１０の有効画素数や動画記録用画素数についても適宜変更可能である。
【００９３】
また、上記実施形態では顔部分を部分画像として抽出したが、たとえば、顔や顔矩形の大きさからその人の身長を推定することによって、全身もしくは上半身を部分画像として抽出するようにしてもよい。
【図面の簡単な説明】
【００９４】
【図１】動画記録装置の機能構成を示すブロック図。
【図２】動画記録装置の機器構成例を示す図。
【図３】動画記録処理の流れを示すフローチャート。
【図４】部分画像リストの作成処理の流れを示すフローチャート。
【図５】部分画像の生成・記録処理の流れを示すフローチャート。
【図６】全体画像の生成・記録処理の流れを示すフローチャート。
【図７】原画像から検出された顔矩形を示す図。
【図８】部分画像リストの一例を示す図。
【図９】全体画像と部分画像の生成処理を説明するための図。
【図１０】全体動画と部分動画のストリーム構造を示す図。
【図１１】全体動画と部分動画の表示例を示す図。
【図１２】全体動画と部分動画の表示例を示す図。
【図１３】第２実施形態における部分画像リストの作成処理の流れを示すフローチャート。
【図１４】第２実施形態で生成される部分動画について説明するための図。
【図１５】第３実施形態における部分画像の生成・記録処理の流れを示すフローチャート。
【符号の説明】
【００９５】
１ 動画記録装置
１０ 撮像部
１１ フレームメモリ
１２ 画像処理部
１３ 顔処理部
１４ 顔情報登録部
１５ 全体画像記録部
１６ 部分画像記録部
１７ 画像合成部
１８ 表示部
２０，２２，２７ デジタルビデオカメラ
２１ 表示部
２３，２９ テレビ受像機
２４ ビデオカメラ
２５ 情報処理装置
２６ ディスプレイ
２８ プレーヤ
３０ 半導体メモリ
３１ ＤＶＤ
【特許請求の範囲】
【請求項１】
動画記録用画素数よりも高い解像度で撮像する撮像手段と、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する全体画像生成手段と、
前記原画像の一部分から動画記録用画素数の部分画像を生成する部分画像生成手段と、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する記録手段と、
を備える動画記録装置。
【請求項２】
前記部分画像生成手段は、
前記原画像から人の顔を検出する顔検出手段を有し、
検出された顔を含むように前記部分画像を生成する
請求項１記載の動画記録装置。
【請求項３】
前記部分画像生成手段は、
顔情報が登録される顔情報登録手段と、
検出された顔が前記顔情報登録手段に登録されている顔と一致するか否かを判定する顔認識手段と、を有し、
登録されている顔の場合はその顔を含む部分画像を生成する
請求項２記載の動画記録装置。
【請求項４】
前記部分画像生成手段は、動画記録用画素数の大きさの領域を前記原画像から抜き出したものを部分画像とする
請求項２または３記載の動画記録装置。
【請求項５】
前記部分画像生成手段は、顔の大きさに略比例した大きさの領域を前記原画像から抜き出した後、その抜き出された画像を動画記録用画素数の部分画像に解像度変換する
請求項２または３記載の動画記録装置。
【請求項６】
前記部分画像生成手段は、部分画像中の顔の位置が略一定になるように前記領域を前記原画像から抜き出す
請求項４または５記載の動画記録装置。
【請求項７】
前記記録手段は、前記全体動画と前記部分動画とを時間的な対応付けをとりながら記録する
請求項１〜６のうちいずれか１項記載の動画記録装置。
【請求項８】
前記記録手段は、前記全体画像中の前記部分画像の位置を記録する
請求項１〜７のうちいずれか１項記載の動画記録装置。
【請求項９】
前記記録手段は、動画記録装置本体から取り外し可能な記録メディアを有する
請求項１〜８のうちいずれか１項記載の動画記録装置。
【請求項１０】
前記全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段を備える
請求項１〜９のうちいずれか１項記載の動画記録装置。
【請求項１１】
前記映像信号を表示する表示手段を備える
請求項１０記載の動画記録装置。
【請求項１２】
前記画像合成手段は、部分動画の領域を表すマークを全体動画に合成する
請求項１０または１１記載の動画記録装置。
【請求項１３】
全体動画に関連付けられている部分動画が複数ある場合に画面上に表示する部分動画をユーザに選択させる操作手段を備える
請求項１０〜１２のうちいずれか１項記載の動画記録装置。
【請求項１４】
請求項１〜１３のうちいずれか１項記載の動画記録装置によって記録された全体動画および部分動画を、前記動画記録装置から読み込む読込手段と、
前記全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段と、
前記映像信号を表示する表示手段と、
を備える動画再生装置。
【請求項１５】
動画記録装置が、
動画記録用画素数よりも高い解像度で撮像し、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換し、
前記原画像の一部分から動画記録用画素数の部分画像を生成し、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する
動画記録方法。
【請求項１６】
動画記録装置が、
動画記録用画素数よりも高い解像度で撮像し、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換し、
前記原画像の一部分から動画記録用画素数の部分画像を生成し、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録し、
記録された全体動画および部分動画を対応させながら表示するための映像信号を生成し、
前記映像信号を表示手段に表示する
動画記録再生方法。
【請求項１７】
動画記録装置に、
動画記録用画素数よりも高い解像度で撮像する処理と、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する処理と、
前記原画像の一部分から動画記録用画素数の部分画像を生成する処理と、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する処理と、
を実行させるためのプログラム。
【請求項１８】
動画記録装置に、
動画記録用画素数よりも高い解像度で撮像する処理と、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する処理と、
前記原画像の一部分から動画記録用画素数の部分画像を生成する処理と、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する処理と、
記録された全体動画および部分動画を対応させながら表示するための映像信号を生成する処理と、
前記映像信号を表示手段に表示する処理と、
を実行させるためのプログラム。
【請求項１】
動画記録用画素数よりも高い解像度で撮像する撮像手段と、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する全体画像生成手段と、
前記原画像の一部分から動画記録用画素数の部分画像を生成する部分画像生成手段と、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する記録手段と、
を備える動画記録装置。
【請求項２】
前記部分画像生成手段は、
前記原画像から人の顔を検出する顔検出手段を有し、
検出された顔を含むように前記部分画像を生成する
請求項１記載の動画記録装置。
【請求項３】
前記部分画像生成手段は、
顔情報が登録される顔情報登録手段と、
検出された顔が前記顔情報登録手段に登録されている顔と一致するか否かを判定する顔認識手段と、を有し、
登録されている顔の場合はその顔を含む部分画像を生成する
請求項２記載の動画記録装置。
【請求項４】
前記部分画像生成手段は、動画記録用画素数の大きさの領域を前記原画像から抜き出したものを部分画像とする
請求項２または３記載の動画記録装置。
【請求項５】
前記部分画像生成手段は、顔の大きさに略比例した大きさの領域を前記原画像から抜き出した後、その抜き出された画像を動画記録用画素数の部分画像に解像度変換する
請求項２または３記載の動画記録装置。
【請求項６】
前記部分画像生成手段は、部分画像中の顔の位置が略一定になるように前記領域を前記原画像から抜き出す
請求項４または５記載の動画記録装置。
【請求項７】
前記記録手段は、前記全体動画と前記部分動画とを時間的な対応付けをとりながら記録する
請求項１〜６のうちいずれか１項記載の動画記録装置。
【請求項８】
前記記録手段は、前記全体画像中の前記部分画像の位置を記録する
請求項１〜７のうちいずれか１項記載の動画記録装置。
【請求項９】
前記記録手段は、動画記録装置本体から取り外し可能な記録メディアを有する
請求項１〜８のうちいずれか１項記載の動画記録装置。
【請求項１０】
前記全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段を備える
請求項１〜９のうちいずれか１項記載の動画記録装置。
【請求項１１】
前記映像信号を表示する表示手段を備える
請求項１０記載の動画記録装置。
【請求項１２】
前記画像合成手段は、部分動画の領域を表すマークを全体動画に合成する
請求項１０または１１記載の動画記録装置。
【請求項１３】
全体動画に関連付けられている部分動画が複数ある場合に画面上に表示する部分動画をユーザに選択させる操作手段を備える
請求項１０〜１２のうちいずれか１項記載の動画記録装置。
【請求項１４】
請求項１〜１３のうちいずれか１項記載の動画記録装置によって記録された全体動画および部分動画を、前記動画記録装置から読み込む読込手段と、
前記全体動画および部分動画を対応させながら表示するための映像信号を生成する画像合成手段と、
前記映像信号を表示する表示手段と、
を備える動画再生装置。
【請求項１５】
動画記録装置が、
動画記録用画素数よりも高い解像度で撮像し、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換し、
前記原画像の一部分から動画記録用画素数の部分画像を生成し、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する
動画記録方法。
【請求項１６】
動画記録装置が、
動画記録用画素数よりも高い解像度で撮像し、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換し、
前記原画像の一部分から動画記録用画素数の部分画像を生成し、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録し、
記録された全体動画および部分動画を対応させながら表示するための映像信号を生成し、
前記映像信号を表示手段に表示する
動画記録再生方法。
【請求項１７】
動画記録装置に、
動画記録用画素数よりも高い解像度で撮像する処理と、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する処理と、
前記原画像の一部分から動画記録用画素数の部分画像を生成する処理と、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する処理と、
を実行させるためのプログラム。
【請求項１８】
動画記録装置に、
動画記録用画素数よりも高い解像度で撮像する処理と、
撮像により得られた原画像を動画記録用画素数の全体画像に解像度変換する処理と、
前記原画像の一部分から動画記録用画素数の部分画像を生成する処理と、
前記全体画像から構成される全体動画と前記部分画像から構成される部分動画とを関連付けて記録する処理と、
記録された全体動画および部分動画を対応させながら表示するための映像信号を生成する処理と、
前記映像信号を表示手段に表示する処理と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−１０９１１９（Ｐ２００６−１０９１１９Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９３３７３（Ｐ２００４−２９３３７３）
【出願日】平成１６年１０月６日（２００４．１０．６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月６日（２００４．１０．６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]