信号処理装置
【課題】 指定された被写体の拡大映像を得るだけでは、本来の動画全体に対する指定された被写体の位置関係が把握しにくくなってしまう。
【解決手段】 入力された動画情報の映像の中のオブジェクトを指定し、指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成し、指定されたオブジェクトの位置に応じた位置に拡大映像を動画情報の映像に重畳する。
【解決手段】 入力された動画情報の映像の中のオブジェクトを指定し、指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成し、指定されたオブジェクトの位置に応じた位置に拡大映像を動画情報の映像に重畳する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に関し、特に動画の一部を拡大して表示処理する装置に関する。
【背景技術】
【０００２】
従来、動画を表示する装置としてビデオカメラや、パソコン等の信号処理装置が知られている。ビデオカメラのなかには、動画上で、被写体を指定することにより、指定された被写体の拡大映像を得る機能を有しているものがある。（例えば特許文献１）。このようなビデオカメラは、指定された被写体の動きベクトルを検出して、拡大範囲を動きベクトルに応じて移動させることで、被写体を追尾した、拡大映像を得るように構成されている。
【特許文献１】特開平０６−０１４３２３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のビデオカメラのように、指定された被写体の拡大映像を得るだけでは、本来の動画全体に対する指定された被写体の位置関係が把握しにくくなってしまうという問題が有った。本発明はこのような問題に鑑みてなされたものであり、指定された被写体を拡大して表示した場合であっても、その被写体が動画全体に対してどのような位置関係であるか把握しやすい表示をする信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
この様な課題を解決するために、本発明の信号処理装置は、複数フレームの映像を示す動画情報を入力する入力手段と、前記動画情報の映像の中のオブジェクトを指定する指定手段と、前記指定手段により指定されたオブジェクトの前記動画情報の映像における位置を検出する検出手段と、前記指定手段により指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成する拡大手段と、前記拡大映像を前記動画情報の映像に重畳する重畳手段と、前記重畳手段により得られた映像の情報を表示装置に出力する出力手段と、前記検出手段により検出された位置に応じて、前記拡大映像を重畳する位置を決定するよう前記重畳手段を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００５】
本発明によれば、指定された被写体を拡大して表示した場合であっても、その被写体が動画全体に対してどのような位置関係であるか把握しやすくなる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明の実施例を詳細に説明する。
【実施例１】
【０００７】
入力された動画中の、指定されたオブジェクトの映像を拡大し、当該拡大したオブジェクトの映像を、入力された動画中のオブジェクトの位置や動きに応じた位置に重畳して表示する信号処理装置について説明する。
【０００８】
図１は、信号処理装置の構成を示すブロック図である。図１において、１００は信号処理装置全体を示す。
【０００９】
図１において、１０１は、ＣＰＵであり、１０２は、制御バス、データバス等からなる共通バスである。ＣＰＵ１０１は、信号処理装置に入力された映像中の指定されたオブジェクトの位置を検出したり、指定されたオブジェクトの一部を含む拡大映像を生成したりする処理を行うため、バス１０２を介して、バス１０２に接続された各ブロックを制御する。即ち，このバス１０２を利用して，バス１０２に接続された各機器相互間のアドレス信号，制御信号，および各種データの転送が行われることになる。
【００１０】
１０３は、マウスであり、１０４はキーボードである。マウス１０３やキーボード１０４を用いて入力された信号に基づいて、ＣＰＵ１０１は、入力された映像に対する処理を行うことになる。
【００１１】
１０５は、主記憶部（ＲＡＭ）であり、入力された映像に対して、上述したような各種処理をＣＰＵ１０１が実行するためのワークメモリ，各ブロックの制御のための一時記憶として用いられる。
【００１２】
１０６は、二次記憶部（ＲＯＭ）であり、ＣＰＵ１０１の制御手順を記載したアプリケーションが記録されており、このアプリケーションにより、入力された映像に対して、各種処理が行われる。
【００１３】
１０７は、外部記録媒体であり、例えば、ＤＶＤ−Ｒや、ＣＤ−Ｒ、メモリカード、等から構成されており、本実施例では、この外部記録媒体に記録されている動画データが入力される。１０８は、外部記録媒体１０７に対するデータの読み書きの制御を行う外部記憶制御部である。
【００１４】
１０９は、入力された映像や、アプリケーションによって入力を受け付ける表示画面、上述の処理を行った結果の画面等を表示するための表示部である。１１０は、入力された映像や所定の処理を施された映像の出力を受け取り、表示部１０９に前述した画面を表示させるための制御を行う表示制御部である。
【００１５】
１１１は、ＵＳＢ端子であり、ＵＳＢ接続可能な機器との接続をして、各種データのやり取りを行う。１１２はＵＳＢ端子を通して、各種データをやり取りする際の制御を行う、ＵＳＢコントローラである。
【００１６】
１１３は、ネットワークと接続を行うネットワーク接続端子であり、例えばインターネット回線等に接続され、通信を行うことができる。１１４は、ネットワーク接続を行う際の制御を行うネットワークコントローラである。
【００１７】
ここで、本実施例の信号処理装置１００の二次記憶部１０６に格納されたアプリケーションの動作について図２、図３を用いて説明する。このアプリケーションはＣＰＵ１０１と主記憶部１０５によって実行される。このアプリケーションは、入力された動画上で、ユーザにより指定されたオブジェクトを画像解析により検出する処理を行う。次に、指定されたオブジェクトの動画の複数フレームでの位置を検出する処理を行うほか、それぞれの位置を比較することで動きベクトルを検出する処理を行う。そして、指定されたオブジェクトの一部を拡大するための拡大範囲を、検出したオブジェクトの位置や動きベクトルに応じて移動させる処理を行う。そして、拡大範囲内の映像（オブジェクトの一部を含む映像）を拡大した、拡大映像を生成して、動画中の当該検出したオブジェクトの位置や動きベクトルに応じた位置に拡大映像を重畳する処理を行う。
【００１８】
入力された複数フレームの映像を示す動画情報を再生して表示する際の動作について説明する。
【００１９】
外部記録媒体１０７に記録された動画情報は、外部記憶制御部１０８で読み出され、ＣＰＵ１０１の制御のもとに、上述のアプリケーション上で再生処理がされる。再生処理された動画情報は、複数フレームの画像データであり、表示制御部１１０によって、１フレームずつ表示部１０９に表示される。
【００２０】
図２は、アプリケーション上で再生された動画情報が表示部１０９に表示された状態を示す図である。ユーザは、表示部１０９に表示されているアイコンを、ポインティングデバイスであるマウス１０３を利用して押下することができるようになっており、アイコンは様々な機能が割り当てられている。
【００２１】
図２において、２０１は外部記憶媒体１０７から読み出され、入力された動画データの画像を示している。そして２０２は入力された動画情報が一時停止状態であることを示すアイコンである。
【００２２】
ユーザは、例えば、動画が一時停止状態であるときに、画面上の特定のオブジェクトを拡大するためのツールを用いて、オブジェクトを指定することができる。具体的には、図２の表示部１０９の左に配置された拡大ツール２０３を、マウスを用いてドラッグし、拡大表示したい被写体の上でドロップすることにより、オブジェクトが指定される。２０４は、動画上の右側の人物を特定のオブジェクトとして、円型の拡大ツールで指定した状態を示している。同様にして、２０５は、左側の人物を特定のオブジェクトとして、円型の拡大ツールを用いて指定した状態を示している。アプリケーションは動画上の拡大ツールが配置された部分の映像を解析することにより、例えば人物等の被写体を特定のオブジェクトとして認識する。
【００２３】
この拡大ツールによって囲まれた範囲を拡大範囲とし、拡大ツールによって囲まれた範囲の映像を拡大した映像を拡大映像という。
【００２４】
ここでは、円型の拡大ツールを用いてオブジェクトを指定するようにしたが、これ以外にも、矩形、多角形、星型等の様々な形の拡大ツールを用いて指定しても良い。また、被写体をポインティングデバイスを用いて直接クリックすることによって、指定しても良い。直接クリックした場合は、信号処理装置がランダムに拡大映像の形状を決定しても良いし、ユーザによってあらかじめ決められた形の拡大映像としてもよい。
【００２５】
図２の状態で、再生ボタン２０４をクリックすると、動画が一時停止状態から再生状態に移行する。動画の再生状態に移行したことに応じて、アプリケーションは、再生された動画上で、指定されたオブジェクトの複数フレームでの位置を検出する。そして、検出したオブジェクトの複数のフレームでの位置に応じてオブジェクトの一部を含むように拡大範囲を移動させ、検出したオブジェクトの複数のフレームでの位置に応じて、拡大映像の重畳位置を決定する。
【００２６】
本実施例では、拡大ツールで囲まれた部分の動画を約２倍に拡大した映像を、元の動画データ上の拡大ツールで指定された位置のほぼ中心位置に拡大映像を重畳している。
【００２７】
この様子を示しているのが図３である。このとき、拡大範囲はオブジェクトの一部を拡大できるように、オブジェクトの映像中での位置を検出し、その位置に拡大範囲を移動させる。そして、拡大映像は、拡大範囲を含む矩形領域の映像を拡大した後に拡大範囲で指定された範囲を切り出すようにして生成される。そして、生成した拡大映像を指定したオブジェクトの映像中での位置に応じた位置に重畳する。本実施例では、例えば指定したオブジェクトの中心に重畳する。
【００２８】
図３において、３０１は、入力された動画上の右側のオブジェクトの拡大映像を示しており、３０２は、左側のオブジェクトの拡大映像を示しており、それぞれが元の動画に重畳されて表示されている。３０３は、動画データが再生状態であることを示すアイコンである。
【００２９】
以上のように構成することにより、元の動画上で指定したオブジェクトが移動したとしても拡大表示が続けて可能であり、しかもオブジェクトと共に拡大映像が移動するので、相対的な位置関係も把握しやすくなる。
【００３０】
また、本実施例では、拡大映像を囲む枠に色をつけることで、拡大映像同士が接近した際等に、どちらの拡大映像が表示されているかをユーザに認識されやすくなる。また、拡大された映像の中にそれぞれを区別するための文字やマークを表示してもよい。
【００３１】
また、ユーザの操作によって、拡大ツールで囲まれる枠の大きさを変更することや、拡大率を変更することも可能である。
【００３２】
本実施例では、オブジェクトの大きさが変わらない例について説明したが、オブジェクトが動画上で、近づいてきて大きくなった場合には、拡大範囲の大きさも比例して大きくするようにしても良い。この場合は、オブジェクトの大きさを検出し、検出したオブジェクトの大きさに応じて拡大範囲を広げるようにし、所定の倍率で拡大した拡大映像を重畳するようにすればよい。このようにすることで、拡大映像の確認がしやすくなる。また、オブジェクトの大きさが変わっても、拡大範囲の大きさはそのままにして、オブジェクトを追尾し続けるようにしてもよい。オブジェクトの大きさに応じて拡大範囲の大きさを変更するか否かは、ユーザがメニュー画面等を利用して設定できるようにしてもよい。その他にも、拡大ツールの種類として、オブジェクトの大きさに応じて拡大範囲の大きさを変更する拡大ツールとオブジェクトの大きさに応じて拡大範囲の大きさを変更しない拡大ツールを用意することでも実現することが可能である。
【００３３】
本実施例によれば、指定されたオブジェクトを拡大して表示した場合であっても、そのオブジェクトが動画全体に対してどのような位置関係であるか把握しやすい映像を得られる信号処理装置を提供することができる。
【００３４】
本実施例では、画像データは外部記録媒体１０７から動画データが入力される例を示したが、これ以外から動画データが入力されても良い。例えば、ネットワーク接続端子１１３から動画データが入力されても良いし、内蔵されたハードディスクから動画データが入力されても良いし、不図示のＴＶ放送アンテナで得た信号から画像データが生成されて入力しても良い。
【００３５】
また、本実施例では、画面上の特定の被写体を拡大するための拡大ツールはポインティングデバイスを用いて配置しているが、キーボードを用いても配置することができる。つまり、信号処理装置に対して所定の指示をリモコン等からすることで、拡大ツールを配置することもできる。
【００３６】
また、本実施例では、拡大した動画を重畳して表示することについて説明したが、この様にして得られた拡大映像を記録媒体に記録することも可能である。
【００３７】
また、本実施例では、信号処理装置上で動作するアプリケーションによる処理の例を示したが、個々の機能を有するハードウェアで構成してもよい。
【実施例２】
【００３８】
実施例１では、拡大ツールで指定された動画中のオブジェクトの拡大映像を、もとの動画中の指定されたオブジェクトの表示される位置に応じた位置に重畳することについて説明した。つまり、指定したオブジェクトの映像内での動きを追尾しつつ拡大映像を重畳するようになっている。
【００３９】
本実施例では、複数のオブジェクトを拡大ツールで指定した場合で、特に、指定したオブジェクト同士が接近した場合の処理について図４から図７を用いて説明する。
【００４０】
本実施例の信号処理装置は、拡大した動画の表示範囲が重ならないかどうかを、複数のオブジェクトの複数フレームでの位置、動きベクトル、拡大ツールの形状や拡大率等を用いて算出している。そして、例えば、オブジェクトの中心位置に拡大映像を重畳すると、拡大映像の表示範囲が重なってしまう場合には、ユーザの設定により、以下のような表示を行うことができる。
【００４１】
指定したオブジェクト同士が接近した場合、図４では、拡大映像４０１と拡大映像４０２が互いに重ならない位置に表示するようにしている。
【００４２】
この場合、アプリケーション上では、まず、拡大映像を重畳する位置を、指定されたオブジェクトの中心位置ではない位置に移動する。本実施例では指定された被写体の上方に重畳する位置を移動するようにしている。そして、拡大映像同士が重ならないように、拡大映像同士が水平方向に並べて表示できる位置を重畳する位置としている。
【００４３】
拡大映像同士が重ならない位置としては、互いの重畳する位置の距離が、互いの拡大ツールの半径と拡大率を乗じた値を加算したものよりも大きい位置になるようにすることで設定できる。
【００４４】
また、指定したオブジェクト同士が接近した場合、図５では、拡大映像５０１と拡大映像５０２が互いに重ならない位置に表示するようにしている。
【００４５】
この場合、アプリケーション上では、拡大映像同士が重ならないように拡大映像同士が垂直方向に並べて表示できる位置を重畳する位置としている。拡大映像同士が重ならない位置としては、互いの重畳する位置の距離が、互いの拡大ツールの半径と拡大率を乗じた値を加算したものよりも大きい位置になるようにすることで設定できる。
【００４６】
これら図４、図５のように、拡大映像の位置を移動させて、重ならない位置に表示する設定を、本実施例では「回避設定」と呼ぶ。
【００４７】
また、指定したオブジェクト同士が接近した場合、図６では、拡大映像６０１のように拡大映像を一つにする。そのために、指定した複数のオブジェクトが同時に拡大表示されるように拡大範囲を再設定している。
【００４８】
この場合、アプリケーション上では、指定されたオブジェクトそれぞれの中心位置を結んだ線の中央位置の位置を重畳位置として設定している。そして、拡大範囲としては、指定されたオブジェクトそれぞれの一部を含む範囲を拡大する範囲として新たに指定する。その他にも、例えば、少なくとも各拡大ツールの中心位置を含む範囲を拡大する範囲として新たに指定する。重畳する位置はこの位置に限られるものではなく別の場所でも良いが、指定されたオブジェクトの位置や動きベクトル等から算出される位置を重畳位置としている。
【００４９】
図６のように、拡大映像を結合させて表示する設定を、本実施例では「合体設定」と呼ぶ。
【００５０】
また、指定したオブジェクト同士が接近した場合、図７では、拡大映像７０１と拡大映像７０２とが重なる範囲の拡大映像同士を合成して表示し、双方の映像を確認することができるようにしている。図７を参照して説明すると、範囲７０３に対応する画像を半透過画像として表示し、それ以外の拡大映像は透過しない画像として表示している。範囲７０３の画像については、拡大映像７０１の透過率と拡大映像７０２の透過率とを調整することで画像の合成をする「アルファブレンド」を用いている。「アルファブレンド」技術については既知の技術であるため説明を省略する。
【００５１】
この場合、アプリケーション上では、まず、拡大映像を重畳する位置を、オブジェクトの中心位置ではない位置に移動する。本実施例では指定されたオブジェクトの上方に重畳位置を移動するようにしている。そして、複数の被写体の拡大ツールの中心位置を示す座標と、拡大率と、拡大ツールの形状とに基づいて、拡大された画像が重なる範囲を算出し、拡大映像が重なる範囲の座標の透過率を所定の値に設定して、元の動画に重畳している。
【００５２】
図７のように、拡大映像の一部を透過させて表示する設定を、本実施例では、「透過設定」と呼ぶ。
【００５３】
以上のように、指定したオブジェクト同士が接近した場合、重畳する位置を変えたり、重畳する拡大動画の表示形態を変えたりすることができる。ユーザは、メニュー画面等を利用してこれらの設定を切り替えることができる。
【００５４】
上述の、指定したオブジェクト同士が接近した場合の処理について図８のフロー図を用いて説明する。
【００５５】
画面に表示された複数のオブジェクトを指定した状態で再生するアイコンがクリックされると再生が開始する（Ｓ８０１）。再生が開始すると、まず、拡大ツールによって指定されたオブジェクトの複数のフレームにおける位置を検出する（Ｓ８０２）。そして、検出したオブジェクトの位置から、拡大映像同士が重なるか否かを検出する。このとき、オブジェクトの位置からだけ検出しても良いが、更に拡大映像の枠の形状を考慮して重なるか否かを検出することができる（Ｓ８０３）。
【００５６】
まず、拡大映像同士が重ならない場合について説明する（Ｓ８０３でＮｏ）。この場合、実施例１で説明したように拡大映像を生成して（Ｓ８０４）、拡大映像をもとの動画上の指定されたオブジェクトの位置に応じた位置に重畳する（Ｓ８０５）。
【００５７】
本実施例では、オブジェクト同士が近づいたときに、拡大映像をどのように重畳するかをあらかじめユーザにより設定できるようにしている。図４、図５のように拡大映像の重畳する位置を移動させる場合は、「回避設定」にする。図６のように、拡大映像を合体させて一つの拡大映像を重畳する場合は、「合体設定」にする。図７のように重なる範囲の拡大映像同士を合成して表示する場合は、「透過設定」にする。
【００５８】
次に、拡大映像を重畳すると重なってしまう位置にそれぞれのオブジェクトの位置がきた場合について説明する（Ｓ８０３でＹｅｓ）。次に、アプリケーション上での設定を確認する。
【００５９】
「透過設定」であったとき（Ｓ８０６でＹｅｓ）、検出されたオブジェクトの位置と、拡大映像の形状とから拡大映像同士が重なる位置を算出する（Ｓ８０７）。そして、拡大映像を生成して（Ｓ８０８）、算出された重なる範囲の拡大映像同士を「アルファブレンド」によって合成する（Ｓ８０９）。そして合成された拡大映像をもとの動画のオブジェクトの位置に応じた位置に重畳し、合成された映像を、拡大映像同士が重なる位置に重畳する。このようにして生成された動画の一画面を示しているのが図７の例である。
【００６０】
ここで、オブジェクトの位置と拡大映像の形状とから拡大映像同士が重なる位置を算出したが、拡大映像の形状の代りに拡大ツールの形状と倍率とを用いても算出することができる。また、オブジェクトをのみを指定したような場合には、オブジェクトの位置とオブジェクトの形状とから算出しても良い。形状とは形、大きさ等を示す。
【００６１】
「合体設定」であったとき（Ｓ８０６でＮｏ、Ｓ８１１でＹｅｓ）、拡大範囲としては、例えば、少なくとも各拡大ツールの中心位置を含む範囲を拡大する範囲として指定し、その拡大範囲の拡大映像を生成する（Ｓ８１２）。つまり、本実施例では、２つあった拡大映像が統合され１つの拡大映像になる。つぎに重畳する位置は、指定されたオブジェクトそれぞれの中心位置を結んだ線の中央位置の位置として設定する（Ｓ８１３）。そして、設定された重畳する位置に統合された拡大映像を重畳して表示する（Ｓ８１４）。このようにして生成された動画の一画面を示しているのが図６の例である。
【００６２】
ここで、重畳する位置はこの位置に限られるものではなく別の場所でも良いが、指定されたオブジェクトの位置や動きベクトル等から算出される位置を重畳位置としている。さらに、２つの拡大映像から１つの拡大映像を生成するようにしていたが、３つの拡大映像から１つの拡大映像を得るようにしても良い。
【００６３】
「回避設定」であったとき（Ｓ８０６でＮｏ、Ｓ８１１でＮｏ）、まず、拡大映像を生成する（Ｓ８１５）。つぎに重畳する位置は、拡大映像それぞれの形状と指定されたオブジェクトのそれぞれ位置に応じて、拡大映像が互いに重ならない位置を算出し（Ｓ８１６）、拡大映像をそれぞれ重畳する（Ｓ８１７）。この様にして生成された動画の一画面を示しているのが図４、図５の例である。
【００６４】
ここで、図４のように拡大映像が左右に並ぶように表示するか、図５のように上下に並ぶように表示するかは、ユーザの操作により設定できるようにしてもよい。また、指定されたオブジェクト同士の位置関係によって、拡大映像同士が重ならない位置に移動するように移動するようにしても良い。
【００６５】
以上のような処理は、動画の停止の指示があるか、動画の終了まで繰り返し行われる（Ｓ８１８）。
【００６６】
このように、オブジェクトの中心位置に拡大映像を重畳すると、拡大映像の表示範囲が重なってしまう場合には、拡大映像の表示を切り替えることにより、拡大映像を重畳しても被写体の位置関係が確認しやすくなる。
【００６７】
（他の実施例）
本発明は、実施例では、情報処理装置としてコンピュータについて説明したが、これ以外の装置でも、画像データを表示することができる装置であれば適用可能である。例えば、ビデオカメラやコンパクトデジタルカメラ、テレビ、ハードディスクレコーダ等にも適用することができる。
【００６８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても、達成されることは言うまでもない。このとき、供給されたシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【００６９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７１】
また、上述のプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【図面の簡単な説明】
【００７３】
【図１】本発明を適用した信号処理装置のブロック図である。
【図２】本発明のアプリケーションの動作について説明するための図である。
【図３】本発明のアプリケーションの動作について説明するための図である。
【図４】本発明のアプリケーションの動作について説明するための図である。
【図５】本発明のアプリケーションの動作について説明するための図である。
【図６】本発明のアプリケーションの動作について説明するための図である。
【図７】本発明のアプリケーションの動作について説明するための図である。
【図８】本発明のアプリケーションの動作について説明するためのフロー図である。
【符号の説明】
【００７４】
１０１ ＣＰＵ
１０２ バス
１０３ マウス
１０４ キーボード
１０５ 主記憶部
１０６ 二次記憶部
１０７ 外部記憶媒体
１０８ 外部記憶制御部
１０９ 表示部
１１０ 表示制御部
１１１ ＵＳＢ端子
１１２ ＵＳＢコントローラ
１１３ ネットワーク接続端子
１１４ ネットワークコントローラ
【技術分野】
【０００１】
本発明は、信号処理装置に関し、特に動画の一部を拡大して表示処理する装置に関する。
【背景技術】
【０００２】
従来、動画を表示する装置としてビデオカメラや、パソコン等の信号処理装置が知られている。ビデオカメラのなかには、動画上で、被写体を指定することにより、指定された被写体の拡大映像を得る機能を有しているものがある。（例えば特許文献１）。このようなビデオカメラは、指定された被写体の動きベクトルを検出して、拡大範囲を動きベクトルに応じて移動させることで、被写体を追尾した、拡大映像を得るように構成されている。
【特許文献１】特開平０６−０１４３２３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のビデオカメラのように、指定された被写体の拡大映像を得るだけでは、本来の動画全体に対する指定された被写体の位置関係が把握しにくくなってしまうという問題が有った。本発明はこのような問題に鑑みてなされたものであり、指定された被写体を拡大して表示した場合であっても、その被写体が動画全体に対してどのような位置関係であるか把握しやすい表示をする信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
この様な課題を解決するために、本発明の信号処理装置は、複数フレームの映像を示す動画情報を入力する入力手段と、前記動画情報の映像の中のオブジェクトを指定する指定手段と、前記指定手段により指定されたオブジェクトの前記動画情報の映像における位置を検出する検出手段と、前記指定手段により指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成する拡大手段と、前記拡大映像を前記動画情報の映像に重畳する重畳手段と、前記重畳手段により得られた映像の情報を表示装置に出力する出力手段と、前記検出手段により検出された位置に応じて、前記拡大映像を重畳する位置を決定するよう前記重畳手段を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００５】
本発明によれば、指定された被写体を拡大して表示した場合であっても、その被写体が動画全体に対してどのような位置関係であるか把握しやすくなる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明の実施例を詳細に説明する。
【実施例１】
【０００７】
入力された動画中の、指定されたオブジェクトの映像を拡大し、当該拡大したオブジェクトの映像を、入力された動画中のオブジェクトの位置や動きに応じた位置に重畳して表示する信号処理装置について説明する。
【０００８】
図１は、信号処理装置の構成を示すブロック図である。図１において、１００は信号処理装置全体を示す。
【０００９】
図１において、１０１は、ＣＰＵであり、１０２は、制御バス、データバス等からなる共通バスである。ＣＰＵ１０１は、信号処理装置に入力された映像中の指定されたオブジェクトの位置を検出したり、指定されたオブジェクトの一部を含む拡大映像を生成したりする処理を行うため、バス１０２を介して、バス１０２に接続された各ブロックを制御する。即ち，このバス１０２を利用して，バス１０２に接続された各機器相互間のアドレス信号，制御信号，および各種データの転送が行われることになる。
【００１０】
１０３は、マウスであり、１０４はキーボードである。マウス１０３やキーボード１０４を用いて入力された信号に基づいて、ＣＰＵ１０１は、入力された映像に対する処理を行うことになる。
【００１１】
１０５は、主記憶部（ＲＡＭ）であり、入力された映像に対して、上述したような各種処理をＣＰＵ１０１が実行するためのワークメモリ，各ブロックの制御のための一時記憶として用いられる。
【００１２】
１０６は、二次記憶部（ＲＯＭ）であり、ＣＰＵ１０１の制御手順を記載したアプリケーションが記録されており、このアプリケーションにより、入力された映像に対して、各種処理が行われる。
【００１３】
１０７は、外部記録媒体であり、例えば、ＤＶＤ−Ｒや、ＣＤ−Ｒ、メモリカード、等から構成されており、本実施例では、この外部記録媒体に記録されている動画データが入力される。１０８は、外部記録媒体１０７に対するデータの読み書きの制御を行う外部記憶制御部である。
【００１４】
１０９は、入力された映像や、アプリケーションによって入力を受け付ける表示画面、上述の処理を行った結果の画面等を表示するための表示部である。１１０は、入力された映像や所定の処理を施された映像の出力を受け取り、表示部１０９に前述した画面を表示させるための制御を行う表示制御部である。
【００１５】
１１１は、ＵＳＢ端子であり、ＵＳＢ接続可能な機器との接続をして、各種データのやり取りを行う。１１２はＵＳＢ端子を通して、各種データをやり取りする際の制御を行う、ＵＳＢコントローラである。
【００１６】
１１３は、ネットワークと接続を行うネットワーク接続端子であり、例えばインターネット回線等に接続され、通信を行うことができる。１１４は、ネットワーク接続を行う際の制御を行うネットワークコントローラである。
【００１７】
ここで、本実施例の信号処理装置１００の二次記憶部１０６に格納されたアプリケーションの動作について図２、図３を用いて説明する。このアプリケーションはＣＰＵ１０１と主記憶部１０５によって実行される。このアプリケーションは、入力された動画上で、ユーザにより指定されたオブジェクトを画像解析により検出する処理を行う。次に、指定されたオブジェクトの動画の複数フレームでの位置を検出する処理を行うほか、それぞれの位置を比較することで動きベクトルを検出する処理を行う。そして、指定されたオブジェクトの一部を拡大するための拡大範囲を、検出したオブジェクトの位置や動きベクトルに応じて移動させる処理を行う。そして、拡大範囲内の映像（オブジェクトの一部を含む映像）を拡大した、拡大映像を生成して、動画中の当該検出したオブジェクトの位置や動きベクトルに応じた位置に拡大映像を重畳する処理を行う。
【００１８】
入力された複数フレームの映像を示す動画情報を再生して表示する際の動作について説明する。
【００１９】
外部記録媒体１０７に記録された動画情報は、外部記憶制御部１０８で読み出され、ＣＰＵ１０１の制御のもとに、上述のアプリケーション上で再生処理がされる。再生処理された動画情報は、複数フレームの画像データであり、表示制御部１１０によって、１フレームずつ表示部１０９に表示される。
【００２０】
図２は、アプリケーション上で再生された動画情報が表示部１０９に表示された状態を示す図である。ユーザは、表示部１０９に表示されているアイコンを、ポインティングデバイスであるマウス１０３を利用して押下することができるようになっており、アイコンは様々な機能が割り当てられている。
【００２１】
図２において、２０１は外部記憶媒体１０７から読み出され、入力された動画データの画像を示している。そして２０２は入力された動画情報が一時停止状態であることを示すアイコンである。
【００２２】
ユーザは、例えば、動画が一時停止状態であるときに、画面上の特定のオブジェクトを拡大するためのツールを用いて、オブジェクトを指定することができる。具体的には、図２の表示部１０９の左に配置された拡大ツール２０３を、マウスを用いてドラッグし、拡大表示したい被写体の上でドロップすることにより、オブジェクトが指定される。２０４は、動画上の右側の人物を特定のオブジェクトとして、円型の拡大ツールで指定した状態を示している。同様にして、２０５は、左側の人物を特定のオブジェクトとして、円型の拡大ツールを用いて指定した状態を示している。アプリケーションは動画上の拡大ツールが配置された部分の映像を解析することにより、例えば人物等の被写体を特定のオブジェクトとして認識する。
【００２３】
この拡大ツールによって囲まれた範囲を拡大範囲とし、拡大ツールによって囲まれた範囲の映像を拡大した映像を拡大映像という。
【００２４】
ここでは、円型の拡大ツールを用いてオブジェクトを指定するようにしたが、これ以外にも、矩形、多角形、星型等の様々な形の拡大ツールを用いて指定しても良い。また、被写体をポインティングデバイスを用いて直接クリックすることによって、指定しても良い。直接クリックした場合は、信号処理装置がランダムに拡大映像の形状を決定しても良いし、ユーザによってあらかじめ決められた形の拡大映像としてもよい。
【００２５】
図２の状態で、再生ボタン２０４をクリックすると、動画が一時停止状態から再生状態に移行する。動画の再生状態に移行したことに応じて、アプリケーションは、再生された動画上で、指定されたオブジェクトの複数フレームでの位置を検出する。そして、検出したオブジェクトの複数のフレームでの位置に応じてオブジェクトの一部を含むように拡大範囲を移動させ、検出したオブジェクトの複数のフレームでの位置に応じて、拡大映像の重畳位置を決定する。
【００２６】
本実施例では、拡大ツールで囲まれた部分の動画を約２倍に拡大した映像を、元の動画データ上の拡大ツールで指定された位置のほぼ中心位置に拡大映像を重畳している。
【００２７】
この様子を示しているのが図３である。このとき、拡大範囲はオブジェクトの一部を拡大できるように、オブジェクトの映像中での位置を検出し、その位置に拡大範囲を移動させる。そして、拡大映像は、拡大範囲を含む矩形領域の映像を拡大した後に拡大範囲で指定された範囲を切り出すようにして生成される。そして、生成した拡大映像を指定したオブジェクトの映像中での位置に応じた位置に重畳する。本実施例では、例えば指定したオブジェクトの中心に重畳する。
【００２８】
図３において、３０１は、入力された動画上の右側のオブジェクトの拡大映像を示しており、３０２は、左側のオブジェクトの拡大映像を示しており、それぞれが元の動画に重畳されて表示されている。３０３は、動画データが再生状態であることを示すアイコンである。
【００２９】
以上のように構成することにより、元の動画上で指定したオブジェクトが移動したとしても拡大表示が続けて可能であり、しかもオブジェクトと共に拡大映像が移動するので、相対的な位置関係も把握しやすくなる。
【００３０】
また、本実施例では、拡大映像を囲む枠に色をつけることで、拡大映像同士が接近した際等に、どちらの拡大映像が表示されているかをユーザに認識されやすくなる。また、拡大された映像の中にそれぞれを区別するための文字やマークを表示してもよい。
【００３１】
また、ユーザの操作によって、拡大ツールで囲まれる枠の大きさを変更することや、拡大率を変更することも可能である。
【００３２】
本実施例では、オブジェクトの大きさが変わらない例について説明したが、オブジェクトが動画上で、近づいてきて大きくなった場合には、拡大範囲の大きさも比例して大きくするようにしても良い。この場合は、オブジェクトの大きさを検出し、検出したオブジェクトの大きさに応じて拡大範囲を広げるようにし、所定の倍率で拡大した拡大映像を重畳するようにすればよい。このようにすることで、拡大映像の確認がしやすくなる。また、オブジェクトの大きさが変わっても、拡大範囲の大きさはそのままにして、オブジェクトを追尾し続けるようにしてもよい。オブジェクトの大きさに応じて拡大範囲の大きさを変更するか否かは、ユーザがメニュー画面等を利用して設定できるようにしてもよい。その他にも、拡大ツールの種類として、オブジェクトの大きさに応じて拡大範囲の大きさを変更する拡大ツールとオブジェクトの大きさに応じて拡大範囲の大きさを変更しない拡大ツールを用意することでも実現することが可能である。
【００３３】
本実施例によれば、指定されたオブジェクトを拡大して表示した場合であっても、そのオブジェクトが動画全体に対してどのような位置関係であるか把握しやすい映像を得られる信号処理装置を提供することができる。
【００３４】
本実施例では、画像データは外部記録媒体１０７から動画データが入力される例を示したが、これ以外から動画データが入力されても良い。例えば、ネットワーク接続端子１１３から動画データが入力されても良いし、内蔵されたハードディスクから動画データが入力されても良いし、不図示のＴＶ放送アンテナで得た信号から画像データが生成されて入力しても良い。
【００３５】
また、本実施例では、画面上の特定の被写体を拡大するための拡大ツールはポインティングデバイスを用いて配置しているが、キーボードを用いても配置することができる。つまり、信号処理装置に対して所定の指示をリモコン等からすることで、拡大ツールを配置することもできる。
【００３６】
また、本実施例では、拡大した動画を重畳して表示することについて説明したが、この様にして得られた拡大映像を記録媒体に記録することも可能である。
【００３７】
また、本実施例では、信号処理装置上で動作するアプリケーションによる処理の例を示したが、個々の機能を有するハードウェアで構成してもよい。
【実施例２】
【００３８】
実施例１では、拡大ツールで指定された動画中のオブジェクトの拡大映像を、もとの動画中の指定されたオブジェクトの表示される位置に応じた位置に重畳することについて説明した。つまり、指定したオブジェクトの映像内での動きを追尾しつつ拡大映像を重畳するようになっている。
【００３９】
本実施例では、複数のオブジェクトを拡大ツールで指定した場合で、特に、指定したオブジェクト同士が接近した場合の処理について図４から図７を用いて説明する。
【００４０】
本実施例の信号処理装置は、拡大した動画の表示範囲が重ならないかどうかを、複数のオブジェクトの複数フレームでの位置、動きベクトル、拡大ツールの形状や拡大率等を用いて算出している。そして、例えば、オブジェクトの中心位置に拡大映像を重畳すると、拡大映像の表示範囲が重なってしまう場合には、ユーザの設定により、以下のような表示を行うことができる。
【００４１】
指定したオブジェクト同士が接近した場合、図４では、拡大映像４０１と拡大映像４０２が互いに重ならない位置に表示するようにしている。
【００４２】
この場合、アプリケーション上では、まず、拡大映像を重畳する位置を、指定されたオブジェクトの中心位置ではない位置に移動する。本実施例では指定された被写体の上方に重畳する位置を移動するようにしている。そして、拡大映像同士が重ならないように、拡大映像同士が水平方向に並べて表示できる位置を重畳する位置としている。
【００４３】
拡大映像同士が重ならない位置としては、互いの重畳する位置の距離が、互いの拡大ツールの半径と拡大率を乗じた値を加算したものよりも大きい位置になるようにすることで設定できる。
【００４４】
また、指定したオブジェクト同士が接近した場合、図５では、拡大映像５０１と拡大映像５０２が互いに重ならない位置に表示するようにしている。
【００４５】
この場合、アプリケーション上では、拡大映像同士が重ならないように拡大映像同士が垂直方向に並べて表示できる位置を重畳する位置としている。拡大映像同士が重ならない位置としては、互いの重畳する位置の距離が、互いの拡大ツールの半径と拡大率を乗じた値を加算したものよりも大きい位置になるようにすることで設定できる。
【００４６】
これら図４、図５のように、拡大映像の位置を移動させて、重ならない位置に表示する設定を、本実施例では「回避設定」と呼ぶ。
【００４７】
また、指定したオブジェクト同士が接近した場合、図６では、拡大映像６０１のように拡大映像を一つにする。そのために、指定した複数のオブジェクトが同時に拡大表示されるように拡大範囲を再設定している。
【００４８】
この場合、アプリケーション上では、指定されたオブジェクトそれぞれの中心位置を結んだ線の中央位置の位置を重畳位置として設定している。そして、拡大範囲としては、指定されたオブジェクトそれぞれの一部を含む範囲を拡大する範囲として新たに指定する。その他にも、例えば、少なくとも各拡大ツールの中心位置を含む範囲を拡大する範囲として新たに指定する。重畳する位置はこの位置に限られるものではなく別の場所でも良いが、指定されたオブジェクトの位置や動きベクトル等から算出される位置を重畳位置としている。
【００４９】
図６のように、拡大映像を結合させて表示する設定を、本実施例では「合体設定」と呼ぶ。
【００５０】
また、指定したオブジェクト同士が接近した場合、図７では、拡大映像７０１と拡大映像７０２とが重なる範囲の拡大映像同士を合成して表示し、双方の映像を確認することができるようにしている。図７を参照して説明すると、範囲７０３に対応する画像を半透過画像として表示し、それ以外の拡大映像は透過しない画像として表示している。範囲７０３の画像については、拡大映像７０１の透過率と拡大映像７０２の透過率とを調整することで画像の合成をする「アルファブレンド」を用いている。「アルファブレンド」技術については既知の技術であるため説明を省略する。
【００５１】
この場合、アプリケーション上では、まず、拡大映像を重畳する位置を、オブジェクトの中心位置ではない位置に移動する。本実施例では指定されたオブジェクトの上方に重畳位置を移動するようにしている。そして、複数の被写体の拡大ツールの中心位置を示す座標と、拡大率と、拡大ツールの形状とに基づいて、拡大された画像が重なる範囲を算出し、拡大映像が重なる範囲の座標の透過率を所定の値に設定して、元の動画に重畳している。
【００５２】
図７のように、拡大映像の一部を透過させて表示する設定を、本実施例では、「透過設定」と呼ぶ。
【００５３】
以上のように、指定したオブジェクト同士が接近した場合、重畳する位置を変えたり、重畳する拡大動画の表示形態を変えたりすることができる。ユーザは、メニュー画面等を利用してこれらの設定を切り替えることができる。
【００５４】
上述の、指定したオブジェクト同士が接近した場合の処理について図８のフロー図を用いて説明する。
【００５５】
画面に表示された複数のオブジェクトを指定した状態で再生するアイコンがクリックされると再生が開始する（Ｓ８０１）。再生が開始すると、まず、拡大ツールによって指定されたオブジェクトの複数のフレームにおける位置を検出する（Ｓ８０２）。そして、検出したオブジェクトの位置から、拡大映像同士が重なるか否かを検出する。このとき、オブジェクトの位置からだけ検出しても良いが、更に拡大映像の枠の形状を考慮して重なるか否かを検出することができる（Ｓ８０３）。
【００５６】
まず、拡大映像同士が重ならない場合について説明する（Ｓ８０３でＮｏ）。この場合、実施例１で説明したように拡大映像を生成して（Ｓ８０４）、拡大映像をもとの動画上の指定されたオブジェクトの位置に応じた位置に重畳する（Ｓ８０５）。
【００５７】
本実施例では、オブジェクト同士が近づいたときに、拡大映像をどのように重畳するかをあらかじめユーザにより設定できるようにしている。図４、図５のように拡大映像の重畳する位置を移動させる場合は、「回避設定」にする。図６のように、拡大映像を合体させて一つの拡大映像を重畳する場合は、「合体設定」にする。図７のように重なる範囲の拡大映像同士を合成して表示する場合は、「透過設定」にする。
【００５８】
次に、拡大映像を重畳すると重なってしまう位置にそれぞれのオブジェクトの位置がきた場合について説明する（Ｓ８０３でＹｅｓ）。次に、アプリケーション上での設定を確認する。
【００５９】
「透過設定」であったとき（Ｓ８０６でＹｅｓ）、検出されたオブジェクトの位置と、拡大映像の形状とから拡大映像同士が重なる位置を算出する（Ｓ８０７）。そして、拡大映像を生成して（Ｓ８０８）、算出された重なる範囲の拡大映像同士を「アルファブレンド」によって合成する（Ｓ８０９）。そして合成された拡大映像をもとの動画のオブジェクトの位置に応じた位置に重畳し、合成された映像を、拡大映像同士が重なる位置に重畳する。このようにして生成された動画の一画面を示しているのが図７の例である。
【００６０】
ここで、オブジェクトの位置と拡大映像の形状とから拡大映像同士が重なる位置を算出したが、拡大映像の形状の代りに拡大ツールの形状と倍率とを用いても算出することができる。また、オブジェクトをのみを指定したような場合には、オブジェクトの位置とオブジェクトの形状とから算出しても良い。形状とは形、大きさ等を示す。
【００６１】
「合体設定」であったとき（Ｓ８０６でＮｏ、Ｓ８１１でＹｅｓ）、拡大範囲としては、例えば、少なくとも各拡大ツールの中心位置を含む範囲を拡大する範囲として指定し、その拡大範囲の拡大映像を生成する（Ｓ８１２）。つまり、本実施例では、２つあった拡大映像が統合され１つの拡大映像になる。つぎに重畳する位置は、指定されたオブジェクトそれぞれの中心位置を結んだ線の中央位置の位置として設定する（Ｓ８１３）。そして、設定された重畳する位置に統合された拡大映像を重畳して表示する（Ｓ８１４）。このようにして生成された動画の一画面を示しているのが図６の例である。
【００６２】
ここで、重畳する位置はこの位置に限られるものではなく別の場所でも良いが、指定されたオブジェクトの位置や動きベクトル等から算出される位置を重畳位置としている。さらに、２つの拡大映像から１つの拡大映像を生成するようにしていたが、３つの拡大映像から１つの拡大映像を得るようにしても良い。
【００６３】
「回避設定」であったとき（Ｓ８０６でＮｏ、Ｓ８１１でＮｏ）、まず、拡大映像を生成する（Ｓ８１５）。つぎに重畳する位置は、拡大映像それぞれの形状と指定されたオブジェクトのそれぞれ位置に応じて、拡大映像が互いに重ならない位置を算出し（Ｓ８１６）、拡大映像をそれぞれ重畳する（Ｓ８１７）。この様にして生成された動画の一画面を示しているのが図４、図５の例である。
【００６４】
ここで、図４のように拡大映像が左右に並ぶように表示するか、図５のように上下に並ぶように表示するかは、ユーザの操作により設定できるようにしてもよい。また、指定されたオブジェクト同士の位置関係によって、拡大映像同士が重ならない位置に移動するように移動するようにしても良い。
【００６５】
以上のような処理は、動画の停止の指示があるか、動画の終了まで繰り返し行われる（Ｓ８１８）。
【００６６】
このように、オブジェクトの中心位置に拡大映像を重畳すると、拡大映像の表示範囲が重なってしまう場合には、拡大映像の表示を切り替えることにより、拡大映像を重畳しても被写体の位置関係が確認しやすくなる。
【００６７】
（他の実施例）
本発明は、実施例では、情報処理装置としてコンピュータについて説明したが、これ以外の装置でも、画像データを表示することができる装置であれば適用可能である。例えば、ビデオカメラやコンパクトデジタルカメラ、テレビ、ハードディスクレコーダ等にも適用することができる。
【００６８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても、達成されることは言うまでもない。このとき、供給されたシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【００６９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７１】
また、上述のプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【図面の簡単な説明】
【００７３】
【図１】本発明を適用した信号処理装置のブロック図である。
【図２】本発明のアプリケーションの動作について説明するための図である。
【図３】本発明のアプリケーションの動作について説明するための図である。
【図４】本発明のアプリケーションの動作について説明するための図である。
【図５】本発明のアプリケーションの動作について説明するための図である。
【図６】本発明のアプリケーションの動作について説明するための図である。
【図７】本発明のアプリケーションの動作について説明するための図である。
【図８】本発明のアプリケーションの動作について説明するためのフロー図である。
【符号の説明】
【００７４】
１０１ ＣＰＵ
１０２ バス
１０３ マウス
１０４ キーボード
１０５ 主記憶部
１０６ 二次記憶部
１０７ 外部記憶媒体
１０８ 外部記憶制御部
１０９ 表示部
１１０ 表示制御部
１１１ ＵＳＢ端子
１１２ ＵＳＢコントローラ
１１３ ネットワーク接続端子
１１４ ネットワークコントローラ
【特許請求の範囲】
【請求項１】
複数フレームの映像を示す動画情報を入力する入力手段と、
前記動画情報の映像の中のオブジェクトを指定する指定手段と、
前記指定手段により指定されたオブジェクトの前記動画情報の映像における位置を検出する検出手段と、
前記指定手段により指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成する拡大手段と、
前記拡大映像を前記動画情報の映像に重畳する重畳手段と、
前記重畳手段により得られた映像の情報を表示装置に出力する出力手段と、
前記検出手段により検出された位置に応じて、前記拡大映像を重畳する位置を決定するよう前記重畳手段を制御する制御手段とを有することを特徴とする信号処理装置。
【請求項２】
前記検出手段は、前記指定手段により指定されたオブジェクトの前記動画情報の各フレームにおける位置を検出し、
前記制御手段は、前記検出手段により検出された位置に応じて、前記動画情報の各フレームにおける前記拡大映像を重畳する位置を決定するよう前記重畳手段を制御することを特徴とする請求項１記載の信号処理装置。
【請求項３】
複数フレームの映像を示す動画情報を入力する入力手段と、
前記動画情報の映像中の複数のオブジェクトを指定する指定手段と、
前記指定手段により指定された複数のオブジェクトそれぞれの前記動画情報の映像における位置を検出する検出手段と、
前記指定手段により指定された複数のオブジェクトそれぞれの一部を含む映像を拡大した複数の拡大映像を生成する拡大手段と、
前記複数の拡大映像を前記動画情報の映像に重畳する重畳手段と、
前記重畳手段により得られた映像の情報を表示装置に出力する出力手段と、
前記検出手段により検出された位置に応じて、前記複数の拡大映像それぞれを重畳する位置を決定するよう前記重畳手段を制御する制御手段とを有することを特徴とする信号処理装置。
【請求項４】
前記検出手段は、前記指定手段により指定された複数のオブジェクトそれぞれの前記動画情報の各フレームにおける位置を検出し、
前記制御手段は、前記検出手段により検出された位置に応じて、前記動画情報の各フレームにおける前記複数の拡大映像を重畳する位置を決定するよう前記重畳手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項５】
前記検出手段により検出された複数の指定されたオブジェクトそれぞれの前記動画情報の映像における位置が所定の関係にある場合、
前記拡大手段は、前記所定の関係にある複数のオブジェクトそれぞれの一部を拡大した複数の拡大映像に替えて、前記所定の関係にある複数のオブジェクトそれぞれの一部を同時に含む映像を拡大した一つの拡大映像を生成し、
前記重畳手段は、前記複数の拡大映像に替えて、前記一つの拡大映像を前記動画情報の映像に重畳し、
前記制御手段は、前記所定の関係にある複数のオブジェクトそれぞれの位置に基づいて前記一つの拡大映像を重畳する位置を決定するよう重畳手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項６】
前記制御手段は、前記検出手段により検出された位置に応じて、前記複数の拡大映像それぞれを重畳する位置を、前記複数の拡大映像が重ならない位置に決定するよう前記重畳手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項７】
前記検出手段により検出された位置と、前記複数の拡大映像の形状とに基づいて前記複数の拡大映像が重なる範囲を解析する解析手段と、
前記解析手段により解析された前記複数の拡大映像が重なる範囲の映像を合成した映像を生成する合成手段とを有し、
前記重畳手段は、前記合成手段により生成された映像を前記動画情報の映像に重畳することを特徴とする請求項３記載の信号処理装置。
【請求項８】
入力された複数フレームの映像を示す動画情報の映像の中のオブジェクトを指定する指定ステップと、
前記指定ステップで指定されたオブジェクトの前記動画情報の映像における位置を検出する検出ステップと、
前記指定ステップで指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成する拡大ステップと、
前記拡大映像を前記動画情報の映像に重畳する重畳ステップと、
前記重畳ステップで得られた映像の情報を表示装置に出力する出力ステップと、
前記検出ステップで検出された位置に応じて、前記重畳ステップにおける前記拡大映像を重畳する位置を決定する制御ステップとを有することを特徴とする信号処理方法。
【請求項９】
前記検出ステップは、前記指定ステップで指定されたオブジェクトの前記動画情報の各フレームにおける位置を検出し、
前記制御ステップは、前記検出ステップで検出された位置に応じて、前記動画情報の各フレームにおける前記拡大映像を重畳する位置を決定することを特徴とする請求項８記載の信号処理方法。
【請求項１０】
請求項８または９記載の信号処理方法の各ステップを、コンピュータに実行させるためのプログラムコードを含むことを特徴とするプログラム。
【請求項１１】
入力された複数フレームの映像を示す動画情報の映像中の複数のオブジェクトを指定する指定ステップと、
前記指定ステップで指定された複数のオブジェクトそれぞれの前記動画情報の映像における位置を検出する検出ステップと、
前記指定ステップで指定された複数のオブジェクトそれぞれの一部を含む映像を拡大した複数の拡大映像を生成する拡大ステップと、
前記複数の拡大映像を前記動画情報の映像に重畳する重畳ステップと、
前記重畳ステップで得られた映像の情報を表示装置に出力する出力ステップと、
前記検出ステップで検出された位置に応じて、前記重畳ステップにおける前記複数の拡大映像それぞれを重畳する位置を決定する制御ステップとを有することを特徴とする信号処理方法。
【請求項１２】
前記検出ステップは、前記指定ステップで指定された複数のオブジェクトそれぞれの前記動画情報の各フレームにおける位置を検出し、
前記制御ステップは、前記検出ステップで検出された位置に応じて、前記動画情報の各フレームにおける前記複数の拡大映像を重畳する位置を決定することを特徴とする請求項１１記載の信号処理方法。
【請求項１３】
前記検出ステップにより検出された複数の指定されたオブジェクトそれぞれの前記動画情報の映像における位置が所定の関係にある場合、
前記拡大ステップは、前記所定の関係にある複数のオブジェクトそれぞれの一部を拡大した複数の拡大映像に替えて、前記所定の関係にある複数のオブジェクトそれぞれの一部を同時に含む映像を拡大した一つの拡大映像を生成し、
前記重畳ステップは、前記複数の拡大映像に替えて、前記一つの拡大映像を前記動画情報の映像に重畳し、
前記制御ステップは、前記所定の関係にある複数のオブジェクトそれぞれの位置に基づいて前記一つの拡大映像を重畳する位置を決定することを特徴とする請求項１１記載の信号処理方法。
【請求項１４】
前記制御ステップは、前記検出ステップで検出された位置に応じて、前記複数の拡大映像それぞれを重畳する位置を、前記複数の拡大映像が重ならない位置に決定することを特徴とする請求項１１記載の信号処理方法。
【請求項１５】
前記検出ステップで検出された位置と、前記複数の拡大映像の形状とに基づいて前記複数の拡大映像が重なる範囲を解析する解析ステップと、
前記解析ステップで解析された前記複数の拡大映像が重なる範囲の映像を合成した映像を生成する合成ステップとを有し、
前記重畳ステップは、前記合成ステップで生成された映像を前記動画情報の映像に重畳することを特徴とする請求項１１記載の信号処理方法。
【請求項１６】
請求項１１から１５のいずれかに記載の信号処理方法の各ステップを、コンピュータに実行させるためのプログラムコードを含むことを特徴とするプログラム。
【請求項１】
複数フレームの映像を示す動画情報を入力する入力手段と、
前記動画情報の映像の中のオブジェクトを指定する指定手段と、
前記指定手段により指定されたオブジェクトの前記動画情報の映像における位置を検出する検出手段と、
前記指定手段により指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成する拡大手段と、
前記拡大映像を前記動画情報の映像に重畳する重畳手段と、
前記重畳手段により得られた映像の情報を表示装置に出力する出力手段と、
前記検出手段により検出された位置に応じて、前記拡大映像を重畳する位置を決定するよう前記重畳手段を制御する制御手段とを有することを特徴とする信号処理装置。
【請求項２】
前記検出手段は、前記指定手段により指定されたオブジェクトの前記動画情報の各フレームにおける位置を検出し、
前記制御手段は、前記検出手段により検出された位置に応じて、前記動画情報の各フレームにおける前記拡大映像を重畳する位置を決定するよう前記重畳手段を制御することを特徴とする請求項１記載の信号処理装置。
【請求項３】
複数フレームの映像を示す動画情報を入力する入力手段と、
前記動画情報の映像中の複数のオブジェクトを指定する指定手段と、
前記指定手段により指定された複数のオブジェクトそれぞれの前記動画情報の映像における位置を検出する検出手段と、
前記指定手段により指定された複数のオブジェクトそれぞれの一部を含む映像を拡大した複数の拡大映像を生成する拡大手段と、
前記複数の拡大映像を前記動画情報の映像に重畳する重畳手段と、
前記重畳手段により得られた映像の情報を表示装置に出力する出力手段と、
前記検出手段により検出された位置に応じて、前記複数の拡大映像それぞれを重畳する位置を決定するよう前記重畳手段を制御する制御手段とを有することを特徴とする信号処理装置。
【請求項４】
前記検出手段は、前記指定手段により指定された複数のオブジェクトそれぞれの前記動画情報の各フレームにおける位置を検出し、
前記制御手段は、前記検出手段により検出された位置に応じて、前記動画情報の各フレームにおける前記複数の拡大映像を重畳する位置を決定するよう前記重畳手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項５】
前記検出手段により検出された複数の指定されたオブジェクトそれぞれの前記動画情報の映像における位置が所定の関係にある場合、
前記拡大手段は、前記所定の関係にある複数のオブジェクトそれぞれの一部を拡大した複数の拡大映像に替えて、前記所定の関係にある複数のオブジェクトそれぞれの一部を同時に含む映像を拡大した一つの拡大映像を生成し、
前記重畳手段は、前記複数の拡大映像に替えて、前記一つの拡大映像を前記動画情報の映像に重畳し、
前記制御手段は、前記所定の関係にある複数のオブジェクトそれぞれの位置に基づいて前記一つの拡大映像を重畳する位置を決定するよう重畳手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項６】
前記制御手段は、前記検出手段により検出された位置に応じて、前記複数の拡大映像それぞれを重畳する位置を、前記複数の拡大映像が重ならない位置に決定するよう前記重畳手段を制御することを特徴とする請求項３記載の信号処理装置。
【請求項７】
前記検出手段により検出された位置と、前記複数の拡大映像の形状とに基づいて前記複数の拡大映像が重なる範囲を解析する解析手段と、
前記解析手段により解析された前記複数の拡大映像が重なる範囲の映像を合成した映像を生成する合成手段とを有し、
前記重畳手段は、前記合成手段により生成された映像を前記動画情報の映像に重畳することを特徴とする請求項３記載の信号処理装置。
【請求項８】
入力された複数フレームの映像を示す動画情報の映像の中のオブジェクトを指定する指定ステップと、
前記指定ステップで指定されたオブジェクトの前記動画情報の映像における位置を検出する検出ステップと、
前記指定ステップで指定されたオブジェクトの一部を含む映像を拡大した拡大映像を生成する拡大ステップと、
前記拡大映像を前記動画情報の映像に重畳する重畳ステップと、
前記重畳ステップで得られた映像の情報を表示装置に出力する出力ステップと、
前記検出ステップで検出された位置に応じて、前記重畳ステップにおける前記拡大映像を重畳する位置を決定する制御ステップとを有することを特徴とする信号処理方法。
【請求項９】
前記検出ステップは、前記指定ステップで指定されたオブジェクトの前記動画情報の各フレームにおける位置を検出し、
前記制御ステップは、前記検出ステップで検出された位置に応じて、前記動画情報の各フレームにおける前記拡大映像を重畳する位置を決定することを特徴とする請求項８記載の信号処理方法。
【請求項１０】
請求項８または９記載の信号処理方法の各ステップを、コンピュータに実行させるためのプログラムコードを含むことを特徴とするプログラム。
【請求項１１】
入力された複数フレームの映像を示す動画情報の映像中の複数のオブジェクトを指定する指定ステップと、
前記指定ステップで指定された複数のオブジェクトそれぞれの前記動画情報の映像における位置を検出する検出ステップと、
前記指定ステップで指定された複数のオブジェクトそれぞれの一部を含む映像を拡大した複数の拡大映像を生成する拡大ステップと、
前記複数の拡大映像を前記動画情報の映像に重畳する重畳ステップと、
前記重畳ステップで得られた映像の情報を表示装置に出力する出力ステップと、
前記検出ステップで検出された位置に応じて、前記重畳ステップにおける前記複数の拡大映像それぞれを重畳する位置を決定する制御ステップとを有することを特徴とする信号処理方法。
【請求項１２】
前記検出ステップは、前記指定ステップで指定された複数のオブジェクトそれぞれの前記動画情報の各フレームにおける位置を検出し、
前記制御ステップは、前記検出ステップで検出された位置に応じて、前記動画情報の各フレームにおける前記複数の拡大映像を重畳する位置を決定することを特徴とする請求項１１記載の信号処理方法。
【請求項１３】
前記検出ステップにより検出された複数の指定されたオブジェクトそれぞれの前記動画情報の映像における位置が所定の関係にある場合、
前記拡大ステップは、前記所定の関係にある複数のオブジェクトそれぞれの一部を拡大した複数の拡大映像に替えて、前記所定の関係にある複数のオブジェクトそれぞれの一部を同時に含む映像を拡大した一つの拡大映像を生成し、
前記重畳ステップは、前記複数の拡大映像に替えて、前記一つの拡大映像を前記動画情報の映像に重畳し、
前記制御ステップは、前記所定の関係にある複数のオブジェクトそれぞれの位置に基づいて前記一つの拡大映像を重畳する位置を決定することを特徴とする請求項１１記載の信号処理方法。
【請求項１４】
前記制御ステップは、前記検出ステップで検出された位置に応じて、前記複数の拡大映像それぞれを重畳する位置を、前記複数の拡大映像が重ならない位置に決定することを特徴とする請求項１１記載の信号処理方法。
【請求項１５】
前記検出ステップで検出された位置と、前記複数の拡大映像の形状とに基づいて前記複数の拡大映像が重なる範囲を解析する解析ステップと、
前記解析ステップで解析された前記複数の拡大映像が重なる範囲の映像を合成した映像を生成する合成ステップとを有し、
前記重畳ステップは、前記合成ステップで生成された映像を前記動画情報の映像に重畳することを特徴とする請求項１１記載の信号処理方法。
【請求項１６】
請求項１１から１５のいずれかに記載の信号処理方法の各ステップを、コンピュータに実行させるためのプログラムコードを含むことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１０００１６（Ｐ２００９−１０００１６Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２６６６０４（Ｐ２００７−２６６６０４）
【出願日】平成１９年１０月１２日（２００７．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１２日（２００７．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]