映像制御装置およびそれを備えた撮像装置、表示装置
【課題】被写体の動きと音を対応付けることにより、臨場感を高めた映像を取得するための映像制御装置を提供する。
【解決手段】映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部１０２と、動きベクトルと被写体から発せられた音とを対応付ける音像処理部１０５と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部１０６と、を備えることを特徴とする。
【解決手段】映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部１０２と、動きベクトルと被写体から発せられた音とを対応付ける音像処理部１０５と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部１０６と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および表示装置の制御技術に関し、特に、画像と音との制御方法に関する。
【背景技術】
【０００２】
デジタルカメラは、画像を撮像する撮像部と、音を収音する収音部と、画像と音とを記録する記憶部と、を主要構成要素としている。人間の目で見たままの色と、人間の耳で聞いたままの音とをそのまま取得するために、撮像部と収音部との性能向上がなされてきた。近年、デジタルカメラにより風景をそのまま撮影するのではなく、臨場感のある映像を取得する撮像装置および臨場感のある映像を再生する表示装置の開発が進められている。ここで言う臨場感のある映像とは、撮像した映像を見た視聴者が、あたかも実際にその場にいるような感覚を持つ映像のことである。例えば、滝を撮影した映像をリビングで視聴した場合でも、直接滝を見たときに体感した水しぶきのきらめきや、水が滝つぼに落ちる音の迫力を損なうことなく伝えることのできるような映像のことである。
【０００３】
臨場感のある映像を取得するために、画像に関しては被写体の実際の色よりも鮮やかに撮像するという制御方法が開発されており、画像をより鮮やかに見せるため彩度や明るさを増加させて再生するという制御方法も開発されている。
【０００４】
また、音の制御方法に関しては、例えば、下記特許文献１で開示されている方法がある。特許文献１では、カメラのズーム倍率や被写体に対するカメラの角度に応じて音量レベルや左右の音量バランスを制御する音量制御装置が提案されている。例えば、テレビ会議システムなどで話をしている被写体を、ズームで大きく撮った場合、ズーム倍率に合わせて音量を大きくした映像を取得するような制御である。
【０００５】
【特許文献１】特開平９−１６８１３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ズーム倍率や、被写体に対するカメラの角度、などの撮像側の操作によって、音量レベルや左右の音量バランスを可変とするカメラでは、被写体の動きが考慮されないため、臨場感が損なわれるという問題がある。
【０００７】
また、表示画面内に複数の被写体が存在する場合に、全ての被写体の動きと音を考慮することが難しいため、臨場感を十分に伝えることができないという問題があった。
【０００８】
本発明は、臨場感をより高めた映像を取得することを目的とする。
【課題を解決するための手段】
【０００９】
本発明にかかる映像制御装置は、映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部と、動きベクトルと被写体から発せられた音とを対応付ける音像処理部と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部と、を備えることを特徴とする。
【００１０】
本発明にかかる映像制御装置は、被写体の位置を、表示領域内における位置情報又は分割したブロックの位置情報に基づいて特定することを特徴とする。
【００１１】
本発明にかかる映像制御装置は、被写体の位置と音量とは、少なくとも２以上の集音部の音量バランスに基づいて算出されることを特徴とする。
【００１２】
本発明にかかる映像制御装置は、音制御部は、音の大きさと音の周波数とのうち少なくとも一方を動きベクトルに基づいて線形又は非線形に変化させることを特徴とする。
【００１３】
本発明にかかる映像制御装置は、非線形の度合い又は線形の傾きをユーザ設定により変更する設定部を有することを特徴とする。
【００１４】
本発明にかかる撮像装置は、光を集光するカメラレンズと、カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、収音部で収音した音と動きベクトルとを対応付ける音像処理部と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部と、を備え、音制御部において制御された音と画像とを記憶部に記録することを特徴とする。
【００１５】
本発明にかかる撮像装置は、光を集光するカメラレンズと、カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、収音部で収音した音と動きベクトルを対応付ける音像処理部と、対応付けられた音を動きベクトルに基づいて制御する音制御部と、を備え、音像処理部により対応付けられた動きベクトルと音の対応付け情報と、収音部で収音した音と、画像と、を記憶部に記録することを特徴とする。
【００１６】
本発明にかかる撮像装置は、音制御部において、動きベクトルに応じて制御する音の制御が、収音部で収音した音の音量であることを特徴とする。
【００１７】
本発明にかかる撮像装置は、音制御部において、動きベクトルに応じて制御する音の制御が、収音部で収音した音の周波数であることを特徴とする。
【００１８】
本発明にかかる撮像装置は、前記撮像装置の移動方向と移動量とを検出するセンサを備え、前記移動方向と前記移動量から検出した撮像装置の動きベクトルを、前記画像から検出した動きベクトルから除くことにより被写体の動きベクトルを検出することを特徴とする。
【００１９】
本発明にかかる表示装置は、入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、映像信号から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、被写体が発した音と動きベクトルを対応付ける音像処理部と、動きベクトルにより対応付けられた音を制御する音制御部と、を備え、映像信号の画像を画像信号表示部において表示し、音制御部において制御された音を音信号再生部において再生することを特徴とする。
【００２０】
本発明にかかる表示装置は、入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、入力される映像信号が画像情報と、音情報と、画像の動きベクトル情報と、動きベクトルに対応付けられた音情報とを備え、動きベクトルにより対応付けられた音を制御する音制御部と、を備え、映像信号の画像を画像信号表示部において表示し、音制御部にて制御された音を音信号再生部において再生することを特徴とする。
【発明の効果】
【００２１】
本発明の映像制御装置によれば、被写体の動きと音とを対応付けることにより、臨場感を高めた映像を取得することができる。
【００２２】
また、本発明の映像制御装置を備える撮像装置によれば、被写体の動きと音とを対応付けることにより、被写体の動きに応じて音を制御することで臨場感のある映像を撮像できる。
【００２３】
さらに、本発明の映像制御装置を備える表示装置によれば、被写体の動きに応じて音を制御することで、臨場感のある映像を表示することができる。
【発明を実施するための最良の形態】
【００２４】
本明細書における被写体とは、映像などにおいて主として撮影対象としたい対象物であり、背景と区別するものである。例えば、人間や動物、乗り物などが該当する。
【００２５】
以下、本発明の実施の形態について図面を参照しながら説明する。尚、各添付図における構成例は、理解しやすいように誇張して記載したものであり、実際の間隔や大きさとは異なるものである。
【００２６】
（実施例１）
図１Ａは、本発明の第１実施例によるデジタルビデオカメラの一構成例を示す機能ブロック図である。第１実施例によるデジタルビデオカメラは、記憶部１０３の前段に映像制御装置１０７（点線部）を備えている。この映像制御装置１０７は、動きベクトル検出部１０２と音像処理部１０５と音制御部１０６とを備える。映像信号は、画像信号と音信号とを備えている。
【００２７】
図１Ａの各機能部の動作について以下に説明する。カメラレンズ１００によって集光した像を撮像素子１０１で撮像する。撮像素子１０１は、CCD（Charged Coupled Device）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどで構成される。撮像素子１０１は図示しないセンサコントローラで駆動される。撮像素子１０１で受け取った画像信号１０８が映像制御装置１０７の動きベクトル検出部１０２に入力される。
【００２８】
動きベクトル検出部１０２では、入力された画像信号１０８の動きベクトルを検出し、動きベクトル信号１１０を音像処理部１０５に対して出力する。ここで、動きベクトルとは、単位時間当たりの被写体の画面上での移動方向および移動量を表すベクトルである。動きベクトルの検出には、例えば、ブロックマッチング法を用いることができる。ブロックマッチング法とは、適切に定めたブロック単位でフレーム間照合を行い、フレーム間で最も類似するブロックを対応するブロックとし、動きベクトルの検出を行う。ブロックマッチング法による動きベクトル検出手順を図１Ｂのフローチャート図に基づいて以下に説明する。
【００２９】
まず処理を開始する（ステップＳ１）。時刻ｔで撮像した画像をf１、時刻ｔ＋Δで撮像した画像をf２とする。画像中の座標（ｘ、ｙ）における画素値を、ｆ（ｘ、ｙ）で表す。画像f１と画像f２間との対応するブロックを探索するために、以下に示す処理手順１から４までを毎フレームで行う。
【００３０】
１）処理手順１：画像f１をＮ×Ｍに分割する（Ｎ,Ｍは任意の自然数、ステップＳ２）。
２）処理手順２：f１中のブロックをＡｎ、ｍ（ｎ＝０、１、…、Ｎ−１、ｍ＝０、１、…、Ｍ−１）とすると、ブロックＡｎ、ｍの動きベクトルを検出するために評価関数を計算する（ステップＳ３）。ここでvｎ、ｍ=(vx ,vy )は動きベクトルを表す。また、Ｌ(p,q)は距離関数を表しており、|p−q |や(p−q)2が用いられる。
３）処理手順３：評価関数E(vｎ、ｍ)が最小となるvｎ、ｍ=(vx,vy)をブロックＡｎ、ｍの動きベクトルとする（ステップＳ４）。
【００３１】
図２は、動きベクトル探索の様子を示す図である。図２（a）は、時刻ｔで撮像した画像f１中のブロックＡｎ、ｍを、（ｂ）にブロックＡｎ、ｍの動きベクトルを検出するために時刻ｔ＋Δで撮像した画像f２での探索の様子を示す図である。図２（ｂ）では、ラスタスキャン方式で全探索をしているが、ブロックＡｎ、ｍの近傍に探索範囲を限定することにより処理量の削減が可能である。
【００３２】
図３は、動きベクトルの探索結果の例を示す図である。図３（a）に時刻ｔで撮像した画像f１が示され、図３（ｂ）に時刻ｔ＋Δで撮像した画像f２と検出した動きベクトルを示す図である。
【００３３】
４）処理手順４：画像f１中の全ブロックの動きベクトルを探索するため、処理手順２から３をｎ＝０からｎ＝Ｎ−１、ｍ＝０からｍ＝Ｍ−１までｎとｍとを各々１ずつ増やしながら繰り返す（ステップＳ５）。本実施例では、画像f １中の全ブロックの動きベクトルを検出した例を示したが、前フレームの動きベクトル情報を用い、動きベクトル検出範囲を限定することで処理量を削減することが可能である。上記処理手順１から処理手順４までを毎フレーム行い、動きベクトルを検出する。
【００３４】
尚、処理手順１では、図４（a）に示すように画像をＮ×Ｍに分割した例について示したが、図４（ｂ）に示すようにブロックのサイズを可変にしても同様の効果を得ることができる。ブロックのサイズを可変にするための方法として、色情報やテクスチャ特徴による領域分割を用いることができる。
【００３５】
尚、ブロックサイズを可変にするとは、どのような画像でも正方格子に区切るのではなく、例えば人間と背景の木があった場合に、人間を１ブロック、背景の木を１ブロックというように、画像に映っている物に対してブロックを割り当てることを意味する。ブロックサイズ固定にした場合の利点は、正方格子に区切るだけなので処理が簡単であることであり、物体の動きを考慮していないという問題点がある。一方、ブロックサイズを可変にする利点は、物体の大まかな動きを検出することが可能であること、問題点は、画像中の物体に合わせて、領域を分割する必要があるため処理が複雑になることである。
【００３６】
本実施例では、動きベクトル検出に、ブロックマッチング法を用いたが、こう配法を用いても同様の効果を得ることができる。尚、こう配法とは、画像内の輝度変化は物体の動きのみにより生じるとの仮定に基づいて導かれた拘束方程式を計算することにより動きベクトルを検出する公知の手法である。
【００３７】
図１に戻り、収音部１０４では、被写体から発せられた音の収音を行う。収音部１０４は、ステレオマイクロフォンや指向性を制御できるマイクロフォンで構成され、収音した音を映像制御装置１０７の音像処理部１０５に入力する。
【００３８】
音像処理部１０５では、動きベクトルと音を対応付け、音制御部１０６に音１１１を出力する。動きベクトル１１０と音１１１との対応付け方法について以下に説明する。動きベクトル検出部１０２で検出した動きベクトルから、動いている被写体の位置がわかるため、被写体が存在する位置で収音した音を抽出し、動きベクトルと対応付けることができる。
【００３９】
例えば、図５に示すように、被写体が図の左から右に移動すると仮定した場合、被写体が左にいるときは左マイクロフォンで収音された音を対応付ける。被写体が画面中央にいるときは左右両方のマイクロフォンで収音した音を、被写体が右にいるときは右マイクロフォンで収音した音を対応付ける。このように、左右の音量のバランスに基づいて例えばブロック内の音量を算出することができる。集音マイク数を多くすると、特に平面的に４箇所等配置するとある特定のブロック又は領域からの音量を精度良く求めることができる。左右２箇所のマイクであっても、左右方向の音量はわかるため、ある位置又は領域での簡略的な音量等を把握することは可能である。動きベクトルと収音した音との対応付け方法として、以下に挙げる方法が適用可能である。
【００４０】
１）対応付け方法１： 分割したブロック毎に、動きベクトルを検出し、各ブロックに対して音を対応付ける方法である。
２）対応付け方法２： 色情報やテクスチャ情報を基に画像を領域分割し、分割された領域毎に動きベクトルを検出し、各領域に音を対応付ける方法である。
３）対応付け方法３： 分割したブロック毎に動きベクトルを検出するとともに、色情報やテクスチャ情報を基に画像を領域分割し、動きベクトルの検出結果と、領域分割の結果とを重ねることで、各領域に音を対応付ける方法である。
【００４１】
上記の対応付け方法１は、ブロック単位に動きベクトルと音とを対応付ける方法であり、上記対応付け方法２と対応付け方法３とは、領域単位に動きベクトルと音とを対応付ける方法である。図４に示すブロックサイズの例では、対応付け方法１は図４（ａ）ブロックサイズ固定、対応付け方法２と３とは図４（ｂ）ブロックサイズ可変となる。
【００４２】
図６は、対応付け方法の具体例を示す図である。図６（a）のように、撮像した動画、矢印は動きベクトルを示すものであり、これを記録する場合について以下に説明する。
【００４３】
図６（ｂ）は、ブロック単位で動きベクトルと音とを対応付けした例を示す図であり、ブロックＡと音信号Ａとを対応付け、ブロックＢと音信号Ｂとを対応付けている。図６（ｃ）は、領域単位で動きベクトルと音を対応付ける例であり、領域Ａと音信号Ａとを対応付け、領域Ｂと音信号Ｂとを対応付けしている。
【００４４】
本実施例では、収音部１０４として左右からの音に対応するステレオマイクロフォンを用いた例について説明したが、３チャンネル以上を備えたマイクロフォンを用いても同様のように構成することで同様の効果を得ることができる。
【００４５】
音像処理部１０５で処理された音信号と動きベクトルとの対応付け情報１１２を音制御部１０６に入力する。音制御部１０６では、動きベクトルの向きと大きさとを利用して音を制御する。
【００４６】
動きベクトルの向きとして、本実施例では、図７に示す（ａ）の遠ざかる方向、（ｂ）の近づく方向、（ｃ）の左右方向の移動の３種類について説明を行う。被写体の動きベクトルが近づく方向であるとき（図７（ｂ））、臨場感を出すために対応付けられた音をより大きくする。一方、被写体の動きベクトルが遠ざかる方向であるとき（図７（ａ））、音をより小さくすることで臨場感を出す。被写体の動きベクトルが左右方向の移動であるとき、被写体の位置から音が聞こえるように左右の音量を調節して出力することで臨場感を高める。
【００４７】
動きベクトルの大きさを利用した音の制御としては、音の制御量と音の周波数とを変化させる。図８（ａ）、（ｂ）に、従来の音の制御と、本発明による音の制御の相違を示す。図８（ａ）に示す従来の音の制御は、動きベクトルの大きさに依存しない。図８（ｂ）に示す本実施例では、動きベクトルの大きさに応じて非線形に音の制御量の大きさを変化させ、迫力を増加させている。動きベクトルの大きな被写体は移動速度が速いので、音の制御量を一層大きくして派手に音の演出を行う。
【００４８】
例えば、図９を参照して、被写体が図面の奥から手前に向けて声を出しながら近づく場合について説明する。図９（ａ）に示すように、被写体が撮像装置に向けて走り寄ってくるときは、音の制御量を大きくする。また、図９（ｂ）に示すように、被写体が撮像装置に歩み寄るときは、音の制御量を小さくする。被写体が歩み寄る場合と走り寄る場合とで音の制御量を変化させ、被写体の動きの違い（この場合には速度）を強調することにより臨場感を高めることができる。
【００４９】
図９（ａ）、（ｂ）では、制御量が正の値の例として示したが、負の値の場合でもよい。例えば、被写体が遠ざかるときは、制御量を負の値にし、音量を小さくすることで臨場感を高める。ここで、動きベクトルが小さい場合は音の制御量を０にしてもよく、動きベクトルの大きさに応じて適切な量で音を制御することで、臨場感の創出という効果を得ることができる。
【００５０】
図８（ｃ）、（ｄ）は、それぞれ、従来の音の周波数制御と、本実施例による音の周波数制御との相違を示す図である。この例（図８（ｄ））では、図８（ｃ）の場合と異なり、動きベクトルの大きさに応じて非線形に周波数を変化させ、動きベクトルの大きな（移動速度の速い）被写体に対応付けられた音をより高い周波数となるよう制御し、動きベクトルの小さな（移動速度の遅い）被写体に対応付けられた音をより低い周波数となるよう制御することで、被写体の動きに対応した音の制御を行う。また、動きベクトルの方向によって周波数を制御しても良く、例えば、車が左から右へ駆け抜ける映像の場合、車に対応付けられているエンジン音の周波数を変化させる。車が左から撮像装置に近付いてくるときは周波数を高くする。逆に、車が撮像装置から右へ遠ざかるときは周波数を低くすることで臨場感を高めることが可能である。
【００５１】
本実施例では、音の大きさと音の周波数とを非線形に変化させたが、臨場感や迫力を得たい度合いに応じて、線形に変化させて臨場感を高めてもよい。非線形の度合いを調整するようにしても良い。非線形の度合いや線形の傾きをユーザ設定により変更できるようにしても良い。また、音の大きさと周波数とのいずれか一方だけを制御しても臨場感を高めた音信号を得ることができる。
【００５２】
図１に示す動きベクトル検出部１０２から出力した画像信号１０９と音制御部１０６から出力した音信号１１３とを記憶部１０３に出力する。記憶部１０３では、画像信号１０９と音信号１１３とを記録することで、臨場感を高めた映像信号を記録することができる。
【００５３】
本実施例では、画像信号と音信号とを記憶部１０３で記録した例について説明したが、画像信号と音信号に加えて、動きベクトルと音の対応付け情報とを記録してもよい。尚、記録する情報（画像信号と音信号、動きベクトルと音の対応付け情報）により、どのような違いが有るかについて説明すると、画像信号と音信号を保存した場合において、再生側では画像と臨場感が増幅された音のみを出力可能である。画像信号と音信号に加えて、動きベクトルと音の対応付け情報を同時に保存しておくと、物体が画面中のどこに存在して、どのくらい動いたかがわかる。従って、再生側では画面上で物体が動いている位置から音を出したり、より臨場感を増すために音を増幅したりすることが可能となる。
【００５４】
以上のように、本実施例による映像制御装置によれば、映像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を作成することが可能となる。さらに、映像制御装置を撮像装置に備えることにより、撮像された映像と、収音された音とを関連付けて記録することが可能となり、臨場感を高めた映像を撮像することが可能な撮像装置を得ることが可能となる。
【００５５】
（実施例２）
以下、本発明の第２実施例について図面を参照しながら詳細に説明する。第２実施例では、被写体あるいは撮像装置が動いた場合と、被写体と撮像装置との両方が動いた場合について説明する。図１０は、被写体が動いた場合と、撮像装置が動いた場合と、に検出される動きベクトルを示す図である。
【００５６】
図１０Ａは、撮像装置１００２ａは固定、被写体１００１ａが動いた場合の動きベクトルを示す図である。動きベクトルは動きのある被写体１００１ａに現れ、動きのない背景には現れない。動きベクトルの出現範囲から、動きのある被写体１００１ａの位置がわかるため、動きのある被写体１００１ａが発した音信号１０００ａを収音し、動きベクトルと対応付ける。
【００５７】
図１０Ｂは、撮像装置１００２ｂが動き、被写体１００１ｂが静止している場合の動きベクトルを示す図である。動きベクトルは、動きのない被写体１００１ｂと背景両方に現れる。画像全体におおむね同じ大きさの動きベクトルが図７に示す３種類のパターンのいずれかで現れる場合、撮像装置１００２ｂが動いていると推定する。撮像装置の動きが、図７（ａ）、（ｂ）と推定された場合、画面中心に音信号１０００ｂを対応付ける。一方、撮像装置の動きが図７（ｃ）と推定された場合、音信号１０００ｂから発音体が左右どちらにいるかを推定し、推定した位置に存在する動きベクトルと音信号とを対応付ける。例えば、ステレオマイクロフォンで収音された音信号の場合に、左マイクロフォンで収音された音信号と右マイクロフォンで収音された音信号の音量とを比較し、左マイクロフォンで収音された音信号の音量が大きければ被写体は撮像装置に向かって左側にいると推定する。
【００５８】
図１１は、撮像装置１１０２と被写体１１０１とがともに動いている場合の動きベクトルを示す図である。動きベクトルは動きのある被写体１１０１と背景との両方に現れる。撮像装置１１０２と被写体１１０１とがともに動いている場合に、動きのある被写体１１０１と背景に現れる動きベクトルの向きと大きさが異なる場合があり、また、動きベクトルの向きか大きさが異なる場合がある。撮像装置１１０２と被写体１１０１とがともに動いている場合に、動きベクトルの向きと大きさとの違いから、被写体１１０１を抽出する。抽出した被写体１１０１と音信号とを対応付ける。
【００５９】
前述の例では、動きベクトルから撮像装置の動きを推定したが、撮像装置の動きを推定するために加速度センサやジャイロセンサを用いることができる。例えば、撮像装置の動きベクトルを加速度センサやジャイロセンサで検出し、動きベクトル検出部１０２に出力する。動きベクトル検出部１０２では、撮像装置の動きベクトルを、動きベクトル検出部１０２で検出した動きベクトルから除くことで、被写体の動きベクトルを検出する。検出した動きベクトルは撮像装置の動きの影響を受けない被写体の動きベクトルなので、撮像装置が動いていたとしても、図１０Ａと同じ音の対応付け方法を用いることができる。
【００６０】
したがって、撮像装置の動きをセンサによって検出し、センサ検出値と動きベクトルとを合わせることにより、実際に動いている被写体を抽出することができる。この結果を用いて、動きベクトルと音との対応付けをすることにより臨場感のある映像信号を得ることができる。
【００６１】
以上に説明したように、本実施例による映像制御装置によれば、撮像装置が動いた場合においても、映像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を作成することが可能となる。
【００６２】
（実施例３）
以下、本発明の第３実施例について図面を参照して詳細に説明する。第３実施例は、図１２は、本実施の形態による表示装置の一構成例を示す機能ブロック図である。但し、実施例１と同様の機能を有する部分については同一の符号を付している。図１２に示す表示装置１２００は、映像制御装置１０７と、画像信号表示部１２０１と、音信号再生部１２０２と、を備える。
【００６３】
図１２の各機能部の動作を説明する。入力となる映像信号は、画像信号と音信号とを備える。画像信号１２０３を動きベクトル検出部１０２に入力し、音信号１２０４を音像処理部１０５に入力する。動きベクトル検出部１０２では、第１実施例に記載の方法を用いて、画像信号１２０３から被写体の動きベクトルを検出する。検出した動きベクトル情報１２０５を音像処理部１０５に出力する。
【００６４】
音像処理部１０５では、音信号１２０４と動きベクトル情報１２０５とを受け取り、第１実施例に記載の方法を用いて、音と動きベクトルとを対応付ける。音像処理部１０５から、音信号と動きベクトルと音の対応付け情報１２０６とを音制御部１０６に出力する。音制御部１０６では、第１実施例に記載の方法を用いて、音信号を制御し、映像の臨場感と、を高める。
【００６５】
音制御部１０６において臨場感を高めた音信号１２０７を音信号再生部１２０２に出力する。また、動きベクトル検出部１０２から画像信号１２０８を画像信号表示部１２０１に出力する。表示装置１２００では、画像信号１２０８を画像信号表示部１２０１で表示するとともに、音信号１２０７を音信号再生部１２０２で再生することにより、臨場感を高めた映像を再生する。
【００６６】
以上のように、本実施例に記載の表示装置によれば、放送映像などの映像信号であっても、画像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を表示することが可能となる。
【００６７】
（実施例４）
以下、本発明の第４実施例について図面を参照して詳細に説明する。本実施例では、撮像装置で収音した音と映像制御装置で検出した動きベクトルと音の対応付け情報とを記憶部に記録し、表示装置で動きベクトルを用いて臨場感を高めるための音量制御を行うことを特徴とする。図１３、１４は、本実施例の構成例を示す機能ブロック図である。ただし、第１実施例及び第３実施例と同様の機能を有する部分については同一の符号を付して説明を省略している。
【００６８】
図１３では、例えばｗｅｂカメラなどの撮像装置で撮像した映像信号をハードディスクなどの記憶部に保存し、その記憶部から映像信号を読み込むことでテレビやモニタなどの表示装置に表示することができるようにしたものである。図１４では、デジタルカメラなどの撮像装置で撮像した映像信号を光ディスクやメモリーカードなどの記憶部に保存し、記憶部から映像信号を読み込むことで表示装置に表示することができるようにしている。
図１３、１４について各部の動作を以下に説明する。
【００６９】
撮像装置１３０８は、カメラレンズ１００と撮像素子１０１と収音部１０４とを備えている。カメラレンズ１００と撮像素子１０１とから得られた画像信号１３００を動きベクトル検出部１０２に出力する。収音部１０４で収音した音信号１３０４を音像処理部１０５に出力する。
【００７０】
動きベクトル検出部１０３では、第１実施例に記載の方法を用いて、画像信号１３００から動きベクトルを検出する。検出した動きベクトル情報１３０３を音像処理部１０５に出力する。
【００７１】
音像処理部１０５では、第１実施例に記載の方法を用いて、動きベクトル情報１３０３と音信号１３０４とを対応付ける。動きベクトル検出部１０２から画像信号１３０１を、音像処理部１０５から音信号と動きベクトルと音の対応付け情報１３０５とを記憶部１０３に入力する。
【００７２】
記憶部１０３から画像情報１３０２を画像信号表示部１２０１に出力する。また、記憶部１０３から音信号と動きベクトルと音の対応付け情報１３０６を音制御部１０６に出力する。音制御部１０６では、第１実施例に記載の方法を用いて音量制御を行う。音制御部１０６から、臨場感を高めた音信号１３０７を音信号再生部１２０２に出力する。表示装置１２００では、画像信号１３０２を画像信号表示部１２０１で表示し、音信号１３０７を音信号再生部１２０２で再生することにより、臨場感を高めた映像を表示することができる。
【００７３】
本実施例のように、表示側が動きベクトルと音の対応付け情報とを用いた音制御方法に対応していれば、記憶部１０３において、音信号と動きベクトルと音の対応付け情報とを記録することにより、表示側で映像の臨場感を自由に調節することが可能となる。
【００７４】
以上に説明したように、本実施例に記載の映像制御装置を備えた撮像装置及び表示装置によれば、撮像装置によって得られた映像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を表示することが可能となる。
【００７５】
本実施例に記載の映像制御装置を備えた撮像装置と表示装置とによれば、撮像装置で撮像した映像と動きベクトルと音の対応付け情報とを記憶装置で記録するため、撮像装置で撮像した映像の臨場感を表示装置にて変化させることが可能となる。
【００７６】
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００７７】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７９】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【００８０】
本発明は、デジタルビデオカメラなどに利用可能である。
【図面の簡単な説明】
【００８１】
【図１Ａ】本発明の第１実施例による映像制御装置の一構成例を示すブロック図である。
【図１Ｂ】本実施の形態による映像制御装置における動きベクトル検出の流れを示すフローチャート図である。
【図２】動きベクトル検出の探索例を示す図である。
【図３】動きベクトル検出例を示す図である。
【図４】ブロックサイズ固定と可変の違いを示す図である。
【図５】音の収音方法例を示す図である。
【図６】動きベクトルと音の対応付け例を示す図である。
【図７】動きベクトルの向きと被写体の動作関係を示す図である。
【図８】動きベクトルの大きさと音量制御、周波数の関係を示す図である。
【図９Ａ】被写体の動きと音量制御の関係を示す図である。
【図９Ｂ】被写体の動きと音量制御の関係を示す図である。
【図１０Ａ】本発明の第２実施例において被写体あるいは撮像装置が動いた場合の動きベクトル例を示す例である。
【図１０Ｂ】本発明の第２実施例において被写体あるいは撮像装置が動いた場合の動きベクトル例を示す例である。
【図１１】本発明の第３実施例において被写体と撮像装置両方が動いた場合の動きベクトル例を示す例である。
【図１２】本発明の第３実施例の映像制御装置の構成例を示すブロック図である。
【図１３】本発明の第４実施例の映像制御装置の構成例を示すブロック図である。
【図１４】本発明の第４実施例の映像制御装置の構成例を示すブロック図で、撮像装置と表示装置ともに記憶部を備えるシステムの構成を示す図である。
【符号の説明】
【００８２】
１００ カメラレンズ
１０１ 撮像素子
１０２ 動きベクトル検出部
１０３ 記憶部
１０４ 収音部
１０５ 音像処理部
１０６ 音制御部
１０７ 映像制御装置
１０８ 画像信号
１０９ 画像信号
１１０ 動きベクトル情報
１１１ 音信号
１１２ 音信号と動きベクトルと音の対応付け情報
１１３ 音信号
１０００ａ 音信号
１０００ｂ 音信号
１００１ａ 被写体
１００１ｂ 被写体
１００２ａ 撮像装置
１００２ｂ 撮像装置
１１００ 音信号
１１０１ 被写体
１１０２ 撮像装置
１２００ 表示装置
１２０１ 画像信号表示部
１２０２ 音信号再生部
１２０３ 画像信号
１２０４ 音信号
１２０５ 動きベクトル情報
１２０６ 音信号と動きベクトルと音の対応付け情報
１２０７ 音信号
１３００ 画像信号
１３０１ 画像信号
１３０２ 画像信号
１３０３ 動きベクトル情報
１３０４ 音信号
１３０５ 音信号と動きベクトルと音の対応付け情報
１３０６ 音信号と動きベクトルと音の対応付け情報
１３０７ 音信号
１３０８ 撮像装置
【技術分野】
【０００１】
本発明は、撮像装置および表示装置の制御技術に関し、特に、画像と音との制御方法に関する。
【背景技術】
【０００２】
デジタルカメラは、画像を撮像する撮像部と、音を収音する収音部と、画像と音とを記録する記憶部と、を主要構成要素としている。人間の目で見たままの色と、人間の耳で聞いたままの音とをそのまま取得するために、撮像部と収音部との性能向上がなされてきた。近年、デジタルカメラにより風景をそのまま撮影するのではなく、臨場感のある映像を取得する撮像装置および臨場感のある映像を再生する表示装置の開発が進められている。ここで言う臨場感のある映像とは、撮像した映像を見た視聴者が、あたかも実際にその場にいるような感覚を持つ映像のことである。例えば、滝を撮影した映像をリビングで視聴した場合でも、直接滝を見たときに体感した水しぶきのきらめきや、水が滝つぼに落ちる音の迫力を損なうことなく伝えることのできるような映像のことである。
【０００３】
臨場感のある映像を取得するために、画像に関しては被写体の実際の色よりも鮮やかに撮像するという制御方法が開発されており、画像をより鮮やかに見せるため彩度や明るさを増加させて再生するという制御方法も開発されている。
【０００４】
また、音の制御方法に関しては、例えば、下記特許文献１で開示されている方法がある。特許文献１では、カメラのズーム倍率や被写体に対するカメラの角度に応じて音量レベルや左右の音量バランスを制御する音量制御装置が提案されている。例えば、テレビ会議システムなどで話をしている被写体を、ズームで大きく撮った場合、ズーム倍率に合わせて音量を大きくした映像を取得するような制御である。
【０００５】
【特許文献１】特開平９−１６８１３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ズーム倍率や、被写体に対するカメラの角度、などの撮像側の操作によって、音量レベルや左右の音量バランスを可変とするカメラでは、被写体の動きが考慮されないため、臨場感が損なわれるという問題がある。
【０００７】
また、表示画面内に複数の被写体が存在する場合に、全ての被写体の動きと音を考慮することが難しいため、臨場感を十分に伝えることができないという問題があった。
【０００８】
本発明は、臨場感をより高めた映像を取得することを目的とする。
【課題を解決するための手段】
【０００９】
本発明にかかる映像制御装置は、映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部と、動きベクトルと被写体から発せられた音とを対応付ける音像処理部と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部と、を備えることを特徴とする。
【００１０】
本発明にかかる映像制御装置は、被写体の位置を、表示領域内における位置情報又は分割したブロックの位置情報に基づいて特定することを特徴とする。
【００１１】
本発明にかかる映像制御装置は、被写体の位置と音量とは、少なくとも２以上の集音部の音量バランスに基づいて算出されることを特徴とする。
【００１２】
本発明にかかる映像制御装置は、音制御部は、音の大きさと音の周波数とのうち少なくとも一方を動きベクトルに基づいて線形又は非線形に変化させることを特徴とする。
【００１３】
本発明にかかる映像制御装置は、非線形の度合い又は線形の傾きをユーザ設定により変更する設定部を有することを特徴とする。
【００１４】
本発明にかかる撮像装置は、光を集光するカメラレンズと、カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、収音部で収音した音と動きベクトルとを対応付ける音像処理部と、被写体と対応付けられた音を動きベクトルに基づいて制御する音制御部と、を備え、音制御部において制御された音と画像とを記憶部に記録することを特徴とする。
【００１５】
本発明にかかる撮像装置は、光を集光するカメラレンズと、カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、収音部で収音した音と動きベクトルを対応付ける音像処理部と、対応付けられた音を動きベクトルに基づいて制御する音制御部と、を備え、音像処理部により対応付けられた動きベクトルと音の対応付け情報と、収音部で収音した音と、画像と、を記憶部に記録することを特徴とする。
【００１６】
本発明にかかる撮像装置は、音制御部において、動きベクトルに応じて制御する音の制御が、収音部で収音した音の音量であることを特徴とする。
【００１７】
本発明にかかる撮像装置は、音制御部において、動きベクトルに応じて制御する音の制御が、収音部で収音した音の周波数であることを特徴とする。
【００１８】
本発明にかかる撮像装置は、前記撮像装置の移動方向と移動量とを検出するセンサを備え、前記移動方向と前記移動量から検出した撮像装置の動きベクトルを、前記画像から検出した動きベクトルから除くことにより被写体の動きベクトルを検出することを特徴とする。
【００１９】
本発明にかかる表示装置は、入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、映像信号から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、被写体が発した音と動きベクトルを対応付ける音像処理部と、動きベクトルにより対応付けられた音を制御する音制御部と、を備え、映像信号の画像を画像信号表示部において表示し、音制御部において制御された音を音信号再生部において再生することを特徴とする。
【００２０】
本発明にかかる表示装置は、入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、入力される映像信号が画像情報と、音情報と、画像の動きベクトル情報と、動きベクトルに対応付けられた音情報とを備え、動きベクトルにより対応付けられた音を制御する音制御部と、を備え、映像信号の画像を画像信号表示部において表示し、音制御部にて制御された音を音信号再生部において再生することを特徴とする。
【発明の効果】
【００２１】
本発明の映像制御装置によれば、被写体の動きと音とを対応付けることにより、臨場感を高めた映像を取得することができる。
【００２２】
また、本発明の映像制御装置を備える撮像装置によれば、被写体の動きと音とを対応付けることにより、被写体の動きに応じて音を制御することで臨場感のある映像を撮像できる。
【００２３】
さらに、本発明の映像制御装置を備える表示装置によれば、被写体の動きに応じて音を制御することで、臨場感のある映像を表示することができる。
【発明を実施するための最良の形態】
【００２４】
本明細書における被写体とは、映像などにおいて主として撮影対象としたい対象物であり、背景と区別するものである。例えば、人間や動物、乗り物などが該当する。
【００２５】
以下、本発明の実施の形態について図面を参照しながら説明する。尚、各添付図における構成例は、理解しやすいように誇張して記載したものであり、実際の間隔や大きさとは異なるものである。
【００２６】
（実施例１）
図１Ａは、本発明の第１実施例によるデジタルビデオカメラの一構成例を示す機能ブロック図である。第１実施例によるデジタルビデオカメラは、記憶部１０３の前段に映像制御装置１０７（点線部）を備えている。この映像制御装置１０７は、動きベクトル検出部１０２と音像処理部１０５と音制御部１０６とを備える。映像信号は、画像信号と音信号とを備えている。
【００２７】
図１Ａの各機能部の動作について以下に説明する。カメラレンズ１００によって集光した像を撮像素子１０１で撮像する。撮像素子１０１は、CCD（Charged Coupled Device）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどで構成される。撮像素子１０１は図示しないセンサコントローラで駆動される。撮像素子１０１で受け取った画像信号１０８が映像制御装置１０７の動きベクトル検出部１０２に入力される。
【００２８】
動きベクトル検出部１０２では、入力された画像信号１０８の動きベクトルを検出し、動きベクトル信号１１０を音像処理部１０５に対して出力する。ここで、動きベクトルとは、単位時間当たりの被写体の画面上での移動方向および移動量を表すベクトルである。動きベクトルの検出には、例えば、ブロックマッチング法を用いることができる。ブロックマッチング法とは、適切に定めたブロック単位でフレーム間照合を行い、フレーム間で最も類似するブロックを対応するブロックとし、動きベクトルの検出を行う。ブロックマッチング法による動きベクトル検出手順を図１Ｂのフローチャート図に基づいて以下に説明する。
【００２９】
まず処理を開始する（ステップＳ１）。時刻ｔで撮像した画像をf１、時刻ｔ＋Δで撮像した画像をf２とする。画像中の座標（ｘ、ｙ）における画素値を、ｆ（ｘ、ｙ）で表す。画像f１と画像f２間との対応するブロックを探索するために、以下に示す処理手順１から４までを毎フレームで行う。
【００３０】
１）処理手順１：画像f１をＮ×Ｍに分割する（Ｎ,Ｍは任意の自然数、ステップＳ２）。
２）処理手順２：f１中のブロックをＡｎ、ｍ（ｎ＝０、１、…、Ｎ−１、ｍ＝０、１、…、Ｍ−１）とすると、ブロックＡｎ、ｍの動きベクトルを検出するために評価関数を計算する（ステップＳ３）。ここでvｎ、ｍ=(vx ,vy )は動きベクトルを表す。また、Ｌ(p,q)は距離関数を表しており、|p−q |や(p−q)2が用いられる。
３）処理手順３：評価関数E(vｎ、ｍ)が最小となるvｎ、ｍ=(vx,vy)をブロックＡｎ、ｍの動きベクトルとする（ステップＳ４）。
【００３１】
図２は、動きベクトル探索の様子を示す図である。図２（a）は、時刻ｔで撮像した画像f１中のブロックＡｎ、ｍを、（ｂ）にブロックＡｎ、ｍの動きベクトルを検出するために時刻ｔ＋Δで撮像した画像f２での探索の様子を示す図である。図２（ｂ）では、ラスタスキャン方式で全探索をしているが、ブロックＡｎ、ｍの近傍に探索範囲を限定することにより処理量の削減が可能である。
【００３２】
図３は、動きベクトルの探索結果の例を示す図である。図３（a）に時刻ｔで撮像した画像f１が示され、図３（ｂ）に時刻ｔ＋Δで撮像した画像f２と検出した動きベクトルを示す図である。
【００３３】
４）処理手順４：画像f１中の全ブロックの動きベクトルを探索するため、処理手順２から３をｎ＝０からｎ＝Ｎ−１、ｍ＝０からｍ＝Ｍ−１までｎとｍとを各々１ずつ増やしながら繰り返す（ステップＳ５）。本実施例では、画像f １中の全ブロックの動きベクトルを検出した例を示したが、前フレームの動きベクトル情報を用い、動きベクトル検出範囲を限定することで処理量を削減することが可能である。上記処理手順１から処理手順４までを毎フレーム行い、動きベクトルを検出する。
【００３４】
尚、処理手順１では、図４（a）に示すように画像をＮ×Ｍに分割した例について示したが、図４（ｂ）に示すようにブロックのサイズを可変にしても同様の効果を得ることができる。ブロックのサイズを可変にするための方法として、色情報やテクスチャ特徴による領域分割を用いることができる。
【００３５】
尚、ブロックサイズを可変にするとは、どのような画像でも正方格子に区切るのではなく、例えば人間と背景の木があった場合に、人間を１ブロック、背景の木を１ブロックというように、画像に映っている物に対してブロックを割り当てることを意味する。ブロックサイズ固定にした場合の利点は、正方格子に区切るだけなので処理が簡単であることであり、物体の動きを考慮していないという問題点がある。一方、ブロックサイズを可変にする利点は、物体の大まかな動きを検出することが可能であること、問題点は、画像中の物体に合わせて、領域を分割する必要があるため処理が複雑になることである。
【００３６】
本実施例では、動きベクトル検出に、ブロックマッチング法を用いたが、こう配法を用いても同様の効果を得ることができる。尚、こう配法とは、画像内の輝度変化は物体の動きのみにより生じるとの仮定に基づいて導かれた拘束方程式を計算することにより動きベクトルを検出する公知の手法である。
【００３７】
図１に戻り、収音部１０４では、被写体から発せられた音の収音を行う。収音部１０４は、ステレオマイクロフォンや指向性を制御できるマイクロフォンで構成され、収音した音を映像制御装置１０７の音像処理部１０５に入力する。
【００３８】
音像処理部１０５では、動きベクトルと音を対応付け、音制御部１０６に音１１１を出力する。動きベクトル１１０と音１１１との対応付け方法について以下に説明する。動きベクトル検出部１０２で検出した動きベクトルから、動いている被写体の位置がわかるため、被写体が存在する位置で収音した音を抽出し、動きベクトルと対応付けることができる。
【００３９】
例えば、図５に示すように、被写体が図の左から右に移動すると仮定した場合、被写体が左にいるときは左マイクロフォンで収音された音を対応付ける。被写体が画面中央にいるときは左右両方のマイクロフォンで収音した音を、被写体が右にいるときは右マイクロフォンで収音した音を対応付ける。このように、左右の音量のバランスに基づいて例えばブロック内の音量を算出することができる。集音マイク数を多くすると、特に平面的に４箇所等配置するとある特定のブロック又は領域からの音量を精度良く求めることができる。左右２箇所のマイクであっても、左右方向の音量はわかるため、ある位置又は領域での簡略的な音量等を把握することは可能である。動きベクトルと収音した音との対応付け方法として、以下に挙げる方法が適用可能である。
【００４０】
１）対応付け方法１： 分割したブロック毎に、動きベクトルを検出し、各ブロックに対して音を対応付ける方法である。
２）対応付け方法２： 色情報やテクスチャ情報を基に画像を領域分割し、分割された領域毎に動きベクトルを検出し、各領域に音を対応付ける方法である。
３）対応付け方法３： 分割したブロック毎に動きベクトルを検出するとともに、色情報やテクスチャ情報を基に画像を領域分割し、動きベクトルの検出結果と、領域分割の結果とを重ねることで、各領域に音を対応付ける方法である。
【００４１】
上記の対応付け方法１は、ブロック単位に動きベクトルと音とを対応付ける方法であり、上記対応付け方法２と対応付け方法３とは、領域単位に動きベクトルと音とを対応付ける方法である。図４に示すブロックサイズの例では、対応付け方法１は図４（ａ）ブロックサイズ固定、対応付け方法２と３とは図４（ｂ）ブロックサイズ可変となる。
【００４２】
図６は、対応付け方法の具体例を示す図である。図６（a）のように、撮像した動画、矢印は動きベクトルを示すものであり、これを記録する場合について以下に説明する。
【００４３】
図６（ｂ）は、ブロック単位で動きベクトルと音とを対応付けした例を示す図であり、ブロックＡと音信号Ａとを対応付け、ブロックＢと音信号Ｂとを対応付けている。図６（ｃ）は、領域単位で動きベクトルと音を対応付ける例であり、領域Ａと音信号Ａとを対応付け、領域Ｂと音信号Ｂとを対応付けしている。
【００４４】
本実施例では、収音部１０４として左右からの音に対応するステレオマイクロフォンを用いた例について説明したが、３チャンネル以上を備えたマイクロフォンを用いても同様のように構成することで同様の効果を得ることができる。
【００４５】
音像処理部１０５で処理された音信号と動きベクトルとの対応付け情報１１２を音制御部１０６に入力する。音制御部１０６では、動きベクトルの向きと大きさとを利用して音を制御する。
【００４６】
動きベクトルの向きとして、本実施例では、図７に示す（ａ）の遠ざかる方向、（ｂ）の近づく方向、（ｃ）の左右方向の移動の３種類について説明を行う。被写体の動きベクトルが近づく方向であるとき（図７（ｂ））、臨場感を出すために対応付けられた音をより大きくする。一方、被写体の動きベクトルが遠ざかる方向であるとき（図７（ａ））、音をより小さくすることで臨場感を出す。被写体の動きベクトルが左右方向の移動であるとき、被写体の位置から音が聞こえるように左右の音量を調節して出力することで臨場感を高める。
【００４７】
動きベクトルの大きさを利用した音の制御としては、音の制御量と音の周波数とを変化させる。図８（ａ）、（ｂ）に、従来の音の制御と、本発明による音の制御の相違を示す。図８（ａ）に示す従来の音の制御は、動きベクトルの大きさに依存しない。図８（ｂ）に示す本実施例では、動きベクトルの大きさに応じて非線形に音の制御量の大きさを変化させ、迫力を増加させている。動きベクトルの大きな被写体は移動速度が速いので、音の制御量を一層大きくして派手に音の演出を行う。
【００４８】
例えば、図９を参照して、被写体が図面の奥から手前に向けて声を出しながら近づく場合について説明する。図９（ａ）に示すように、被写体が撮像装置に向けて走り寄ってくるときは、音の制御量を大きくする。また、図９（ｂ）に示すように、被写体が撮像装置に歩み寄るときは、音の制御量を小さくする。被写体が歩み寄る場合と走り寄る場合とで音の制御量を変化させ、被写体の動きの違い（この場合には速度）を強調することにより臨場感を高めることができる。
【００４９】
図９（ａ）、（ｂ）では、制御量が正の値の例として示したが、負の値の場合でもよい。例えば、被写体が遠ざかるときは、制御量を負の値にし、音量を小さくすることで臨場感を高める。ここで、動きベクトルが小さい場合は音の制御量を０にしてもよく、動きベクトルの大きさに応じて適切な量で音を制御することで、臨場感の創出という効果を得ることができる。
【００５０】
図８（ｃ）、（ｄ）は、それぞれ、従来の音の周波数制御と、本実施例による音の周波数制御との相違を示す図である。この例（図８（ｄ））では、図８（ｃ）の場合と異なり、動きベクトルの大きさに応じて非線形に周波数を変化させ、動きベクトルの大きな（移動速度の速い）被写体に対応付けられた音をより高い周波数となるよう制御し、動きベクトルの小さな（移動速度の遅い）被写体に対応付けられた音をより低い周波数となるよう制御することで、被写体の動きに対応した音の制御を行う。また、動きベクトルの方向によって周波数を制御しても良く、例えば、車が左から右へ駆け抜ける映像の場合、車に対応付けられているエンジン音の周波数を変化させる。車が左から撮像装置に近付いてくるときは周波数を高くする。逆に、車が撮像装置から右へ遠ざかるときは周波数を低くすることで臨場感を高めることが可能である。
【００５１】
本実施例では、音の大きさと音の周波数とを非線形に変化させたが、臨場感や迫力を得たい度合いに応じて、線形に変化させて臨場感を高めてもよい。非線形の度合いを調整するようにしても良い。非線形の度合いや線形の傾きをユーザ設定により変更できるようにしても良い。また、音の大きさと周波数とのいずれか一方だけを制御しても臨場感を高めた音信号を得ることができる。
【００５２】
図１に示す動きベクトル検出部１０２から出力した画像信号１０９と音制御部１０６から出力した音信号１１３とを記憶部１０３に出力する。記憶部１０３では、画像信号１０９と音信号１１３とを記録することで、臨場感を高めた映像信号を記録することができる。
【００５３】
本実施例では、画像信号と音信号とを記憶部１０３で記録した例について説明したが、画像信号と音信号に加えて、動きベクトルと音の対応付け情報とを記録してもよい。尚、記録する情報（画像信号と音信号、動きベクトルと音の対応付け情報）により、どのような違いが有るかについて説明すると、画像信号と音信号を保存した場合において、再生側では画像と臨場感が増幅された音のみを出力可能である。画像信号と音信号に加えて、動きベクトルと音の対応付け情報を同時に保存しておくと、物体が画面中のどこに存在して、どのくらい動いたかがわかる。従って、再生側では画面上で物体が動いている位置から音を出したり、より臨場感を増すために音を増幅したりすることが可能となる。
【００５４】
以上のように、本実施例による映像制御装置によれば、映像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を作成することが可能となる。さらに、映像制御装置を撮像装置に備えることにより、撮像された映像と、収音された音とを関連付けて記録することが可能となり、臨場感を高めた映像を撮像することが可能な撮像装置を得ることが可能となる。
【００５５】
（実施例２）
以下、本発明の第２実施例について図面を参照しながら詳細に説明する。第２実施例では、被写体あるいは撮像装置が動いた場合と、被写体と撮像装置との両方が動いた場合について説明する。図１０は、被写体が動いた場合と、撮像装置が動いた場合と、に検出される動きベクトルを示す図である。
【００５６】
図１０Ａは、撮像装置１００２ａは固定、被写体１００１ａが動いた場合の動きベクトルを示す図である。動きベクトルは動きのある被写体１００１ａに現れ、動きのない背景には現れない。動きベクトルの出現範囲から、動きのある被写体１００１ａの位置がわかるため、動きのある被写体１００１ａが発した音信号１０００ａを収音し、動きベクトルと対応付ける。
【００５７】
図１０Ｂは、撮像装置１００２ｂが動き、被写体１００１ｂが静止している場合の動きベクトルを示す図である。動きベクトルは、動きのない被写体１００１ｂと背景両方に現れる。画像全体におおむね同じ大きさの動きベクトルが図７に示す３種類のパターンのいずれかで現れる場合、撮像装置１００２ｂが動いていると推定する。撮像装置の動きが、図７（ａ）、（ｂ）と推定された場合、画面中心に音信号１０００ｂを対応付ける。一方、撮像装置の動きが図７（ｃ）と推定された場合、音信号１０００ｂから発音体が左右どちらにいるかを推定し、推定した位置に存在する動きベクトルと音信号とを対応付ける。例えば、ステレオマイクロフォンで収音された音信号の場合に、左マイクロフォンで収音された音信号と右マイクロフォンで収音された音信号の音量とを比較し、左マイクロフォンで収音された音信号の音量が大きければ被写体は撮像装置に向かって左側にいると推定する。
【００５８】
図１１は、撮像装置１１０２と被写体１１０１とがともに動いている場合の動きベクトルを示す図である。動きベクトルは動きのある被写体１１０１と背景との両方に現れる。撮像装置１１０２と被写体１１０１とがともに動いている場合に、動きのある被写体１１０１と背景に現れる動きベクトルの向きと大きさが異なる場合があり、また、動きベクトルの向きか大きさが異なる場合がある。撮像装置１１０２と被写体１１０１とがともに動いている場合に、動きベクトルの向きと大きさとの違いから、被写体１１０１を抽出する。抽出した被写体１１０１と音信号とを対応付ける。
【００５９】
前述の例では、動きベクトルから撮像装置の動きを推定したが、撮像装置の動きを推定するために加速度センサやジャイロセンサを用いることができる。例えば、撮像装置の動きベクトルを加速度センサやジャイロセンサで検出し、動きベクトル検出部１０２に出力する。動きベクトル検出部１０２では、撮像装置の動きベクトルを、動きベクトル検出部１０２で検出した動きベクトルから除くことで、被写体の動きベクトルを検出する。検出した動きベクトルは撮像装置の動きの影響を受けない被写体の動きベクトルなので、撮像装置が動いていたとしても、図１０Ａと同じ音の対応付け方法を用いることができる。
【００６０】
したがって、撮像装置の動きをセンサによって検出し、センサ検出値と動きベクトルとを合わせることにより、実際に動いている被写体を抽出することができる。この結果を用いて、動きベクトルと音との対応付けをすることにより臨場感のある映像信号を得ることができる。
【００６１】
以上に説明したように、本実施例による映像制御装置によれば、撮像装置が動いた場合においても、映像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を作成することが可能となる。
【００６２】
（実施例３）
以下、本発明の第３実施例について図面を参照して詳細に説明する。第３実施例は、図１２は、本実施の形態による表示装置の一構成例を示す機能ブロック図である。但し、実施例１と同様の機能を有する部分については同一の符号を付している。図１２に示す表示装置１２００は、映像制御装置１０７と、画像信号表示部１２０１と、音信号再生部１２０２と、を備える。
【００６３】
図１２の各機能部の動作を説明する。入力となる映像信号は、画像信号と音信号とを備える。画像信号１２０３を動きベクトル検出部１０２に入力し、音信号１２０４を音像処理部１０５に入力する。動きベクトル検出部１０２では、第１実施例に記載の方法を用いて、画像信号１２０３から被写体の動きベクトルを検出する。検出した動きベクトル情報１２０５を音像処理部１０５に出力する。
【００６４】
音像処理部１０５では、音信号１２０４と動きベクトル情報１２０５とを受け取り、第１実施例に記載の方法を用いて、音と動きベクトルとを対応付ける。音像処理部１０５から、音信号と動きベクトルと音の対応付け情報１２０６とを音制御部１０６に出力する。音制御部１０６では、第１実施例に記載の方法を用いて、音信号を制御し、映像の臨場感と、を高める。
【００６５】
音制御部１０６において臨場感を高めた音信号１２０７を音信号再生部１２０２に出力する。また、動きベクトル検出部１０２から画像信号１２０８を画像信号表示部１２０１に出力する。表示装置１２００では、画像信号１２０８を画像信号表示部１２０１で表示するとともに、音信号１２０７を音信号再生部１２０２で再生することにより、臨場感を高めた映像を再生する。
【００６６】
以上のように、本実施例に記載の表示装置によれば、放送映像などの映像信号であっても、画像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を表示することが可能となる。
【００６７】
（実施例４）
以下、本発明の第４実施例について図面を参照して詳細に説明する。本実施例では、撮像装置で収音した音と映像制御装置で検出した動きベクトルと音の対応付け情報とを記憶部に記録し、表示装置で動きベクトルを用いて臨場感を高めるための音量制御を行うことを特徴とする。図１３、１４は、本実施例の構成例を示す機能ブロック図である。ただし、第１実施例及び第３実施例と同様の機能を有する部分については同一の符号を付して説明を省略している。
【００６８】
図１３では、例えばｗｅｂカメラなどの撮像装置で撮像した映像信号をハードディスクなどの記憶部に保存し、その記憶部から映像信号を読み込むことでテレビやモニタなどの表示装置に表示することができるようにしたものである。図１４では、デジタルカメラなどの撮像装置で撮像した映像信号を光ディスクやメモリーカードなどの記憶部に保存し、記憶部から映像信号を読み込むことで表示装置に表示することができるようにしている。
図１３、１４について各部の動作を以下に説明する。
【００６９】
撮像装置１３０８は、カメラレンズ１００と撮像素子１０１と収音部１０４とを備えている。カメラレンズ１００と撮像素子１０１とから得られた画像信号１３００を動きベクトル検出部１０２に出力する。収音部１０４で収音した音信号１３０４を音像処理部１０５に出力する。
【００７０】
動きベクトル検出部１０３では、第１実施例に記載の方法を用いて、画像信号１３００から動きベクトルを検出する。検出した動きベクトル情報１３０３を音像処理部１０５に出力する。
【００７１】
音像処理部１０５では、第１実施例に記載の方法を用いて、動きベクトル情報１３０３と音信号１３０４とを対応付ける。動きベクトル検出部１０２から画像信号１３０１を、音像処理部１０５から音信号と動きベクトルと音の対応付け情報１３０５とを記憶部１０３に入力する。
【００７２】
記憶部１０３から画像情報１３０２を画像信号表示部１２０１に出力する。また、記憶部１０３から音信号と動きベクトルと音の対応付け情報１３０６を音制御部１０６に出力する。音制御部１０６では、第１実施例に記載の方法を用いて音量制御を行う。音制御部１０６から、臨場感を高めた音信号１３０７を音信号再生部１２０２に出力する。表示装置１２００では、画像信号１３０２を画像信号表示部１２０１で表示し、音信号１３０７を音信号再生部１２０２で再生することにより、臨場感を高めた映像を表示することができる。
【００７３】
本実施例のように、表示側が動きベクトルと音の対応付け情報とを用いた音制御方法に対応していれば、記憶部１０３において、音信号と動きベクトルと音の対応付け情報とを記録することにより、表示側で映像の臨場感を自由に調節することが可能となる。
【００７４】
以上に説明したように、本実施例に記載の映像制御装置を備えた撮像装置及び表示装置によれば、撮像装置によって得られた映像信号から動きベクトルを検出し、検出された動きベクトルと音信号とを関連付け、動きベクトルによって音の制御を行うことにより、臨場感を高めた映像信号を表示することが可能となる。
【００７５】
本実施例に記載の映像制御装置を備えた撮像装置と表示装置とによれば、撮像装置で撮像した映像と動きベクトルと音の対応付け情報とを記憶装置で記録するため、撮像装置で撮像した映像の臨場感を表示装置にて変化させることが可能となる。
【００７６】
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【００７７】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７９】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【００８０】
本発明は、デジタルビデオカメラなどに利用可能である。
【図面の簡単な説明】
【００８１】
【図１Ａ】本発明の第１実施例による映像制御装置の一構成例を示すブロック図である。
【図１Ｂ】本実施の形態による映像制御装置における動きベクトル検出の流れを示すフローチャート図である。
【図２】動きベクトル検出の探索例を示す図である。
【図３】動きベクトル検出例を示す図である。
【図４】ブロックサイズ固定と可変の違いを示す図である。
【図５】音の収音方法例を示す図である。
【図６】動きベクトルと音の対応付け例を示す図である。
【図７】動きベクトルの向きと被写体の動作関係を示す図である。
【図８】動きベクトルの大きさと音量制御、周波数の関係を示す図である。
【図９Ａ】被写体の動きと音量制御の関係を示す図である。
【図９Ｂ】被写体の動きと音量制御の関係を示す図である。
【図１０Ａ】本発明の第２実施例において被写体あるいは撮像装置が動いた場合の動きベクトル例を示す例である。
【図１０Ｂ】本発明の第２実施例において被写体あるいは撮像装置が動いた場合の動きベクトル例を示す例である。
【図１１】本発明の第３実施例において被写体と撮像装置両方が動いた場合の動きベクトル例を示す例である。
【図１２】本発明の第３実施例の映像制御装置の構成例を示すブロック図である。
【図１３】本発明の第４実施例の映像制御装置の構成例を示すブロック図である。
【図１４】本発明の第４実施例の映像制御装置の構成例を示すブロック図で、撮像装置と表示装置ともに記憶部を備えるシステムの構成を示す図である。
【符号の説明】
【００８２】
１００ カメラレンズ
１０１ 撮像素子
１０２ 動きベクトル検出部
１０３ 記憶部
１０４ 収音部
１０５ 音像処理部
１０６ 音制御部
１０７ 映像制御装置
１０８ 画像信号
１０９ 画像信号
１１０ 動きベクトル情報
１１１ 音信号
１１２ 音信号と動きベクトルと音の対応付け情報
１１３ 音信号
１０００ａ 音信号
１０００ｂ 音信号
１００１ａ 被写体
１００１ｂ 被写体
１００２ａ 撮像装置
１００２ｂ 撮像装置
１１００ 音信号
１１０１ 被写体
１１０２ 撮像装置
１２００ 表示装置
１２０１ 画像信号表示部
１２０２ 音信号再生部
１２０３ 画像信号
１２０４ 音信号
１２０５ 動きベクトル情報
１２０６ 音信号と動きベクトルと音の対応付け情報
１２０７ 音信号
１３００ 画像信号
１３０１ 画像信号
１３０２ 画像信号
１３０３ 動きベクトル情報
１３０４ 音信号
１３０５ 音信号と動きベクトルと音の対応付け情報
１３０６ 音信号と動きベクトルと音の対応付け情報
１３０７ 音信号
１３０８ 撮像装置
【特許請求の範囲】
【請求項１】
映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルと被写体から発せられた音とを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、
を備えることを特徴とする映像制御装置。
【請求項２】
前記被写体の位置を、表示領域内における位置情報又は分割したブロックの位置情報に基づいて特定することを特徴とする請求項１に記載の映像制御装置。
【請求項３】
前記被写体の位置と音量とは、少なくとも２以上の集音部の音量バランスに基づいて算出されることを特徴とする請求項１又は２に記載の映像制御装置。
【請求項４】
前記音制御部は、音の大きさと音の周波数とのうち少なくとも一方を前記動きベクトルに基づいて線形又は非線形に変化させることを特徴とする請求項１から３までのいずれか１項に記載の映像制御装置。
【請求項５】
前記非線形の度合い又は線形の傾きをユーザ設定により変更する設定部を有することを特徴とする請求項４に記載の映像制御装置。
【請求項６】
光を集光するカメラレンズと、前記カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、
前記撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
前記収音部で収音した音と前記動きベクトルとを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、を備え、
前記音制御部において制御された音と前記画像とを前記記憶部に記録することを特徴とする撮像装置。
【請求項７】
光を集光するカメラレンズと、前記カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、
前記撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
前記収音部で収音した音と前記動きベクトルを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、を備え、
前記音像処理部により対応付けられた動きベクトルと音の対応付け情報と、前記収音部で収音した音と、前記画像と、を前記記憶部に記録することを特徴とする撮像装置。
【請求項８】
前記音制御部において、前記動きベクトルに応じて制御する音の制御が、前記収音部で収音した音の音量であることを特徴とする、請求項６又は７に記載の撮像装置。
【請求項９】
前記音制御部において、前記動きベクトルに応じて制御する音の制御が、前記収音部で収音した音の周波数であることを特徴とする請求項６又は７に記載の撮像装置。
【請求項１０】
前記撮像装置の移動方向と移動量とを検出するセンサを備え、前記移動方向と前記移動量から検出した撮像装置の動きベクトルを、前記画像から検出した動きベクトルから除くことにより被写体の動きベクトルを検出することを特徴とする請求項６から９までのいずれか１項に記載の撮像装置。
【請求項１１】
入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、
映像信号から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
被写体が発した音と前記動きベクトルを対応付ける音像処理部と、
前記動きベクトルにより前記対応付けられた音を制御する音制御部と、を備え、
前記映像信号の画像を前記画像信号表示部において表示し、前記音制御部において制御された音を前記音信号再生部において再生することを特徴とする表示装置。
【請求項１２】
入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、
入力される映像信号が画像情報と、音情報と、画像の動きベクトル情報と、前記動きベクトルに対応付けられた音情報とを備え、
前記動きベクトルにより前記対応付けられた音を制御する音制御部と、を備え、前記映像信号の画像を前記画像信号表示部において表示し、前記音制御部にて制御された音を前記音信号再生部において再生することを特徴とする表示装置。
【請求項１】
映像信号における被写体の動きから動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルと被写体から発せられた音とを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、
を備えることを特徴とする映像制御装置。
【請求項２】
前記被写体の位置を、表示領域内における位置情報又は分割したブロックの位置情報に基づいて特定することを特徴とする請求項１に記載の映像制御装置。
【請求項３】
前記被写体の位置と音量とは、少なくとも２以上の集音部の音量バランスに基づいて算出されることを特徴とする請求項１又は２に記載の映像制御装置。
【請求項４】
前記音制御部は、音の大きさと音の周波数とのうち少なくとも一方を前記動きベクトルに基づいて線形又は非線形に変化させることを特徴とする請求項１から３までのいずれか１項に記載の映像制御装置。
【請求項５】
前記非線形の度合い又は線形の傾きをユーザ設定により変更する設定部を有することを特徴とする請求項４に記載の映像制御装置。
【請求項６】
光を集光するカメラレンズと、前記カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、
前記撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
前記収音部で収音した音と前記動きベクトルとを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、を備え、
前記音制御部において制御された音と前記画像とを前記記憶部に記録することを特徴とする撮像装置。
【請求項７】
光を集光するカメラレンズと、前記カメラレンズによって集光した像を撮像する撮像素子と、被写体からの音を収音する収音部と、映像信号を記録する記憶部と、を備えた撮像装置であって、
前記撮像素子で撮像した画像から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
前記収音部で収音した音と前記動きベクトルを対応付ける音像処理部と、
前記被写体と対応付けられた音を前記動きベクトルに基づいて制御する音制御部と、を備え、
前記音像処理部により対応付けられた動きベクトルと音の対応付け情報と、前記収音部で収音した音と、前記画像と、を前記記憶部に記録することを特徴とする撮像装置。
【請求項８】
前記音制御部において、前記動きベクトルに応じて制御する音の制御が、前記収音部で収音した音の音量であることを特徴とする、請求項６又は７に記載の撮像装置。
【請求項９】
前記音制御部において、前記動きベクトルに応じて制御する音の制御が、前記収音部で収音した音の周波数であることを特徴とする請求項６又は７に記載の撮像装置。
【請求項１０】
前記撮像装置の移動方向と移動量とを検出するセンサを備え、前記移動方向と前記移動量から検出した撮像装置の動きベクトルを、前記画像から検出した動きベクトルから除くことにより被写体の動きベクトルを検出することを特徴とする請求項６から９までのいずれか１項に記載の撮像装置。
【請求項１１】
入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、
映像信号から被写体の動きを動きベクトルとして検出する動きベクトル検出部と、
被写体が発した音と前記動きベクトルを対応付ける音像処理部と、
前記動きベクトルにより前記対応付けられた音を制御する音制御部と、を備え、
前記映像信号の画像を前記画像信号表示部において表示し、前記音制御部において制御された音を前記音信号再生部において再生することを特徴とする表示装置。
【請求項１２】
入力された画像を表示する画像信号表示部と、入力された音を再生する音信号再生部と、を備える表示装置であって、
入力される映像信号が画像情報と、音情報と、画像の動きベクトル情報と、前記動きベクトルに対応付けられた音情報とを備え、
前記動きベクトルにより前記対応付けられた音を制御する音制御部と、を備え、前記映像信号の画像を前記画像信号表示部において表示し、前記音制御部にて制御された音を前記音信号再生部において再生することを特徴とする表示装置。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１３０４０３（Ｐ２０１０−１３０４０３Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０３４９４（Ｐ２００８−３０３４９４）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]