撮像装置、画像記録装置および画像記録方法
【課題】自機の撮像画像と他機の撮像画像とを選択的に記録することが可能な撮像装置を提供する。
【解決手段】カメラブロック10による撮像画像とともに、他のデジタルビデオカメラによる撮像画像を無線通信モジュール120により受信して、これらの画像を選択してビデオカセット111の磁気テープに記録する。また、自機の撮像画像を無線通信モジュール120より他のデジタルビデオカメラに無線送信する。制御部60の処理により、自機の撮像画像と他機からの受信画像とを合成して同時に表示した合成画像をLCD80に表示し、タッチパネル90を用いて選択した画像のデータを磁気テープに記録する。従って、同様な構成のデジタルビデオカメラが複数存在している場合に、互いに無線通信により画像の送受信を行うことで、各装置の撮像画像を有効に利用して、記録する画像の内容をより充実させることができる。
【解決手段】カメラブロック10による撮像画像とともに、他のデジタルビデオカメラによる撮像画像を無線通信モジュール120により受信して、これらの画像を選択してビデオカセット111の磁気テープに記録する。また、自機の撮像画像を無線通信モジュール120より他のデジタルビデオカメラに無線送信する。制御部60の処理により、自機の撮像画像と他機からの受信画像とを合成して同時に表示した合成画像をLCD80に表示し、タッチパネル90を用いて選択した画像のデータを磁気テープに記録する。従って、同様な構成のデジタルビデオカメラが複数存在している場合に、互いに無線通信により画像の送受信を行うことで、各装置の撮像画像を有効に利用して、記録する画像の内容をより充実させることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を撮像して記録する撮像装置、画像記録装置および画像記録方法に関し、特に、複数の撮像装置によって画像が撮像された場合に適した撮像装置、画像記録装置および画像記録方法に関する。
【背景技術】
【0002】
近年、動画像を撮影してデジタルデータとして記録することが可能な家庭用のデジタルビデオカメラが広く普及している。このようなビデオカメラは、自機で撮影して記録した画像信号を再生して、内蔵されているLCD(Liquid Crystal Display)や外部のモニタに表示させることが可能となっている。また、これとともに、他の撮像装置や画像記録装置から通信ケーブル等を通じて受信した画像信号を記録媒体に記録する機能を具備しているものもある。さらに、自身の撮像部で撮像した映像信号を、集音部で集音した音声信号とともに、内蔵された無線送信機等を通じて外部に送信する機能を具備するビデオカメラ装置も考えられている(例えば、特許文献1参照)。
【0003】
一方、放送局等の業務用の分野では、複数のビデオカメラにおいて撮影された画像信号から、任意の画像信号を選択して記録することが一般的に行われている。また、画像信号の選択の際に、あらかじめ撮影対象を決めておき、その撮影対象が映っている画像を自動的に認識して選択する方法も考えられている。例えば、撮影対象の人に関するデータやカメラの設置状況等のデータをあらかじめデータベースに登録しておき、小型発信機を携帯している人が立ち入り禁止区域に近づくと、この小型発信機をアンテナによって検知し、検知した信号を基にデータベースを検索して、検索したデータに基づいてカメラの選択および制御を行う監視カメラ自動制御装置があった(例えば、特許文献2参照)。また、撮影対象の人に無線タグを携帯させることでも、同様の選択および制御を行うことができる。さらに、会議等において、各参加者用のカメラとマイクとを設けておき、マイクからの発言者の音声レベルに応じてカメラからの画像信号を切り換えるようなシステムも考えられている。
【特許文献1】特開平11−306663号公報(段落番号〔0013〕〜〔0018〕、第1図)
【特許文献2】特開平9−46694号公報(段落番号〔0014〕〜〔0019〕、第1図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、最近では、家庭用のビデオカメラの普及に伴い、例えば運動会や結婚式等において、複数の観客や出席者がビデオカメラを持参することが多くなっている。このような状況では、自分のビデオカメラで撮影された画像だけでなく、他人のビデオカメラで撮影された画像を利用可能にすることが求められているが、従来のビデオカメラでは、そのような機能を具備しているものはなかった。
【0005】
また、ビデオカメラは通常、画像とともに音声の収録も行っているが、複数のビデオカメラからの画像信号を切り換える場合、画面上のシーンの移り変わりやそのときに生じる画面の乱れと比較して、切り換えを挟んだ音声のつながり方が不自然となることの方が、視聴者に対してより大きな不快感を与えることが多い。しかし、このような音声切り換え時の不快感を低減することは、従来、考えられていなかった。
【0006】
さらに、撮影されている複数の画像の中から選択して記録媒体に記録する場合には、あらかじめ決めておいた対象が撮影されている画像を自動的に認識して記録できることが好ましい。しかし、上記の特許文献2のように、撮影対象の人に小型発信機や無線タグ等を携帯させる方法は、画像や音声の送受信とは別にこのような小型発信機や無線タグ等を用いた通信システムを導入しなければならず、装置コストの上昇や装置の大型化を招いてしまう。また、各撮影対象者の発言した音声レベルに基づいて画像を切り換える方法は、会議等の特定の用途に適したものであり、汎用性が低い。
【0007】
本発明はこのような課題に鑑みてなされたものであり、自機の撮像画像と他機の撮像画像とを選択的に記録することが可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、複数の撮像装置による撮像画像を選択的に記録することが可能な画像記録装置を適用することである。
【0008】
さらに、本発明の他の目的は、自機の撮像画像と他機の撮像画像とを選択的に記録するための画像記録方法を提供することである。
【課題を解決するための手段】
【0009】
本発明では上記課題を解決するために、画像を撮像して記録する撮像装置において、画像を撮像する撮像手段と、1つ以上の外部の撮像装置の間で信号の送受信を行う通信手段と、画像を表示する表示手段と、前記撮像手段による撮像画像と、前記外部の撮像装置において撮像されて送信され、前記通信手段によって受信された受信画像とを表示装置に表示させるように制御する表示制御手段と、前記撮像画像と前記受信画像との中から所望の画像を選択する画像選択手段と、前記画像選択手段によって選択された画像の信号を記録媒体に記録するように制御する記録制御手段とを有し、前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする撮像装置が提供される。
【0010】
このような撮像装置では、撮像手段によって画像を撮像するとともに、外部の撮像装置において撮像されて送信された画像を、通信手段を介して受信することができる。表示制御手段は、撮像手段による撮像画像と、外部の撮像装置からの受信画像とを表示装置に表示させる。画像選択手段は、撮像画像と受信画像との中から所望の画像を選択する。記録制御手段は、画像選択手段によって選択された画像の信号を記録媒体に記録する。このとき、表示制御手段は、選択された画像を、選択されていない画像と区別して識別可能な状態で表示させる。
【0011】
また、通信手段を用いて撮像画像の信号を外部の撮像装置に対して送信することが可能なようにしてもよい。この場合、同様な構成を有する複数の撮像装置間で、自機による撮像画像と他機による撮像画像とを相互に送受信し、画像を選択的に記録することが可能となる。
【0012】
また、本発明では、複数の撮像装置によって撮像された画像を記録するための画像記録方法において、前記各撮像装置が、自機による撮像画像の信号を他機に対して送信するとともに、前記他機による撮像画像の信号を受信し、前記自機による撮像画像と前記他機からの受信画像とを表示装置に表示させ、前記自機による撮像画像と前記他機からの受信画像との中から所望の画像を選択して、その信号を記録媒体に記録するように制御するとともに、前記表示装置に対し、選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする画像記録方法が提供される。
【0013】
このような画像記録方法では、画像を撮像している各撮像装置において、自機による撮像画像の信号が他機に対して送信されるとともに、他機による撮像画像の信号が受信され、自機による撮像画像と他機からの受信画像とが表示装置に表示されて、これらの画像の中から所望の画像が選択されてその信号が記録媒体に記録される。このとき、表示装置には、選択された画像は、選択されていない画像と区別して識別可能な状態で表示される。
【発明の効果】
【0014】
本発明の撮像装置では、自機で撮像した撮像画像だけでなく、外部の撮像装置において撮像されて送信された画像を通信手段を介して受信し、これらを表示装置に表示させ、表示された画像を閲覧して、所望の画像を画像選択手段により選択させ、記録媒体に記録させることができる。従って、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、表示装置において、選択された画像は、選択されていない画像と区別して識別可能な状態で表示されるので、記録中の画像を容易に識別できる。
【0015】
また、本発明の画像記録方法では、同様な構成を有する複数の撮像装置間で、自機による撮像画像と他機による撮像画像とを相互に送受信し、画像を選択的に記録することが可能となる。また、各撮像装置のユーザは、画面上に表示された画像を閲覧して、所望の画像を選択し、記録媒体に記録させることができる。従って、各撮像装置のユーザは、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、表示装置において、選択された画像は、選択されていない画像と区別して識別可能な状態で表示されるので、記録中の画像をユーザが容易に識別できる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態を図面を参照して説明する。なお、以下の説明では、本発明の撮像装置として、デジタルビデオカメラを適用した場合を想定する。
図2は、本発明の実施の形態に係るデジタルビデオカメラを含むカメラシステムの構成を示す図である。
【0017】
本実施の形態では、図2に示すように、画像を撮像し、デジタルデータとして記録媒体に記録することが可能な複数のデジタルビデオカメラ1〜3からなるカメラシステムを想定する。各デジタルビデオカメラ1〜3は、無線通信により相互にデータを送受信することが可能となっている。そして、デジタルビデオカメラ1〜3は、それぞれ自機で撮像した画像のデータを他機に送信する機能と、他機で撮像された画像のデータを受信する機能とを具備している。さらに、各デジタルビデオカメラ1〜3は、自機による撮像画像と他機からの受信画像とを選択的に記録媒体に記録することが可能となっている。
【0018】
このようなカメラシステムが適用される状況としては、例えば、運動会やスポーツ、結婚式、パーティの会場等で、複数の観戦者や出席者がそれぞれデジタルビデオカメラ1〜3を持参している場合等が考えられる。このような状況において、各デジタルビデオカメラ1〜3で、自機による撮像画像と他機からの受信画像とを選択的に記録可能とすることにより、各ユーザは記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなるといった効果が生まれる。
【0019】
なお、図2では例として3台のデジタルビデオカメラ1〜3が存在する場合を示しているが、このカメラシステムは2台以上のデジタルビデオカメラが存在する場合に適用可能である。
【0020】
図1は、本発明の実施の形態に係るデジタルビデオカメラの内部構成を示すブロック図である。なお、図1では代表してデジタルビデオカメラ1について説明するが、他のデジタルビデオカメラ2および3も同様の構成を有しているものとする。
【0021】
デジタルビデオカメラ1は、図1に示すように、カメラブロック10、カメラ信号処理部20、ビデオエンコーダ30、ビデオデコーダ40、音声処理部50、制御部60、LCDコントローラ70、LCD80、タッチパネル90、入力部100、テープデッキ部110および無線通信モジュール120を具備している。
【0022】
カメラブロック10は、複数のレンズ等が設けられた光学ブロック、CCD(Charge Coupled Device)等の撮像素子、前処理回路、および光学ブロックやCCDのためのドライバ、タイミング生成回路等(いずれも図示せず)からなる。カメラブロック10は、光学ブロックに入射された光を撮像素子によって光電変換し、さらに前処理回路によってサンプルホールドやAGC(Auto Gain Control)処理を施し、A/D変換を行ってデジタル方式の画像データを出力する。また、光学ブロックや撮像素子の動作は、制御部60からの制御信号に基づいて制御される。
【0023】
カメラ信号処理部20は、カメラブロック10から出力された画像データに対して、AWB(Auto White Balance)処理、AF(Auto Focus)処理、AE(Auto Exposure)処理等のカメラ信号処理を施す。処理後の画像データは、ビデオエンコーダ30および制御部60に出力される。
【0024】
ビデオエンコーダ30は、カメラ信号処理が施された画像データに対して、MPEG(Moving Picture Experts Group)方式等の所定の動画像データフォーマットで圧縮符号化処理を行い、符号化された画像データを制御部60に供給する。
【0025】
ビデオデコーダ40は、制御部60から受け取った画像データに対して伸長復号化処理を行い、復号化された画像データを制御部60に供給する。
音声処理部50は、アンプやA/D変換器、D/A変換器、圧縮符号化/伸長復号化処理を行う処理回路等によって構成される。この音声処理部50には、マイクロフォン51およびスピーカ52が接続されている。音声処理部50は、マイクロフォン51によって集音された音声信号を増幅してデジタル信号に変換し、さらにMPEG−AUDIO方式等の所定の音声データフォーマットで圧縮符号化して、制御部60に出力する。なお、この他に例えばアナログ音声信号の外部入力端子を設け、この外部入力端子からの入力信号を音声処理部50において圧縮符号化し、制御部60に供給してもよい。また、制御部60から供給された音声の符号化データを伸長復号化処理し、アナログ信号に変換して増幅し、スピーカ52から再生出力する。
【0026】
制御部60は、このデジタルビデオカメラ1全体を制御するマイクロコンピュータであり、例えばCPU、RAM、ROM等がシステムバスを通じて接続された構成(いずれも図示せず)を有している。この制御部60では、例えばフラッシュ型EEPROM(Electrically Erasable Programmable ROM)からなるROMにあらかじめ記憶されたプログラムがCPUによって実行されることにより、デジタルビデオカメラ1の各部を制御するための制御信号を出力する。また、DRAM(Dynamic RAM)等からなるRAMは、処理の途中結果を一時的に記憶する等、主にCPUの作業領域として使用される。
【0027】
LCDコントローラ70は、制御部60から供給された画像データから、LCD80に表示させる画像信号を生成して、これをLCD80に供給し、画像を表示させる。また、LCD80にはタッチパネル90が設けられており、ユーザが画面上を指や指示具で押圧することで入力操作を行うことが可能となっている。さらに、入力部100は、この他の各種ボタンやレバー、ダイヤル等により構成される。タッチパネル90および入力部100において入力操作が行われると、これらから制御部60に対して制御信号が出力される。
【0028】
テープデッキ部110には、画像データや音声データを記録する記録媒体として、磁気テープが内蔵されたビデオカセット111が着脱可能に搭載される。テープデッキ部110は、制御部60から供給された画像や音声等のデータを変調して、ビデオカセット111内の磁気テープに書き込む。また、磁気テープから読みとった信号を復調して、制御部60に供給する。
【0029】
無線通信モジュール120は、OFDM(Orthogonal Frequency Division Multiplexing)等の変調方式を用いた信号送受信のためのアンテナおよびRFトランシーバや、ベースバンド処理、制御部6とのインタフェース処理等を行うプロセッサ等からなり、制御部6により制御される通信手順に従って、外部のデジタルビデオカメラ2および3との無線通信を行う。なお、無線通信規格としては、例えば、IEEE(Institute of Electrical and Electronic Engineers)802.11g方式の無線LAN等が用いられる。
【0030】
ここで、上記のデジタルビデオカメラ1における基本的な動作について説明する。
撮像画像を記録する場合には、記録を開始する前において、被写体からの光がカメラブロック10の撮像素子によって光電変換され、前処理が行われて、デジタル化された画像データがカメラ信号処理部20に入力される。さらにカメラ信号処理が施された画像データは、制御部60を介してLCDコントローラ70に入力される。これにより、LCD80にカメラスルー画像が表示される。
【0031】
この状態から、入力部100において画像記録のための操作入力が行われると、撮像された画像データがカメラ信号処理部20からビデオエンコーダ30に送出されて圧縮符号化処理され、所定の動画像フォーマットのデータに変換されて、ビデオストリームとして制御部60に入力される。一方、マイクロフォン51で集音された音声信号は、音声処理部50において圧縮符号化処理され、所定の音声フォーマットのデータに変換されて、オーディオストリームとして制御部60に入力される。ビデオストリームおよびオーディオストリームは、制御部60において多重化されてテープデッキ部110に出力され、所定の変調処理等が施された後、ビデオカセット111内の磁気テープに順次記録される。
【0032】
また、ビデオカセット111に記録されたデータを再生する場合には、テープデッキ部110によって読み出されたデータが、制御部60においてビデオストリームとオーディオストリームに分離される。ビデオストリームは、ビデオデコーダ40において伸長復号化処理され、制御部60を介してLCDコントローラ70に入力される。これにより、LCD80において再生画像が表示される。一方、オーディオストリームは、音声処理部50において伸長復号化処理され、スピーカ52から音声が再生出力される。
【0033】
また、撮像した画像を他のデジタルビデオカメラ2および3に送信する場合には、カメラ信号処理部20から出力された画像データが、制御部60を介して無線通信モジュール120に入力され、所定の無線通信手順に従って無線送信される。
【0034】
また、他のデジタルビデオカメラ2および3において撮像され、無線送信された画像を受信する場合には、無線通信モジュール120によって受信されたデータが制御部60に入力され、ビデオストリームが分離される。このビデオストリームは、ビデオデコーダ40において伸長復号化処理され、復号化された画像データは制御部60を介してLCDコントローラ70に出力され、受信した画像がLCD80に表示される。また、入力部100あるいはタッチパネル90からの入力操作に応じて、分離されたビデオストリームは制御部60からテープデッキ部110に出力され、ビデオカセット111内の磁気テープに記録される。
【0035】
なお、このように無線通信モジュール120によって受信した画像とともに音声を磁気テープに記録することが可能であるが、本実施の形態ではこの場合でも、音声処理部50において圧縮符号化処理された音声データが、常に磁気テープに記録される。
【0036】
ところで、このデジタルビデオカメラ1は、カメラブロック10において撮像されている画像とともに、他のデジタルビデオカメラ2および3において撮像されている画像を無線通信モジュール120によって受信して、これらの画像を合成してLCD80に同時に表示し、所望の画像を選択してそのデータをビデオカセット111に記録することが可能となっている。以下、このような動作について詳しく説明する。
【0037】
図3は、自機の撮像画像と他機からの受信画像を選択的に記録する動作を実現するための制御部60内の機能を示すブロック図である。なお、以下の説明では、デジタルビデオカメラ1〜3において撮像された画像をそれぞれ画像A、画像B、画像Cとする。
【0038】
図3に示すように、制御部60は、各画像を合成表示するための画像合成部61と、各画像を選択的に記録するための記録制御部62と、受信した信号から画像信号を分離するデータ分離部63とを具備している。
【0039】
画像合成部61には、カメラ信号処理部20からのカメラスルー画像(画像A)のデータと、ビデオデコーダ40によって伸長復号化された画像BおよびCの各データとが入力される。画像合成部61は、入力されたこれらの画像を1つの画面上に合成した合成画像を生成して、LCDコントローラ70に出力する。この合成画像では、例えば後述するように、タッチパネル90からの制御信号に応じて、記録するように選択された画像が最も大きく表示され、それ以外の画像が子画面や分割画面としてより小さく表示される。
【0040】
記録制御部62には、ビデオエンコーダ30によって圧縮符号化された画像Aのデータと、データ分離部63によって受信信号から分離された画像BおよびCのデータとが入力される。記録制御部62は、タッチパネル90からの制御信号に応じて、これらの画像データの中から選択されたものをテープデッキ部110に出力し、ビデオカセット111内の磁気テープに記録させる。
【0041】
データ分離部63は、無線通信モジュール120による受信信号から、デジタルビデオカメラ2および3からそれぞれ送信された画像BおよびCのデータを分離して、記録制御部62およびビデオデコーダ40に出力する。
【0042】
ここで、各デジタルビデオカメラ1〜3の間で無線LANによって通信が行われるものとすると、各カメラ間ではアクセスポイントを介さない“アドホックモード”による通信が行われる。この場合、1つのデジタルビデオカメラでの撮像画像を、他の1つあるいは複数のデジタルビデオカメラに送信するために、1つの通信チャネルが用いられる。従って、デジタルビデオカメラ1においては、デジタルビデオカメラ2および3からの各画像BおよびCの受信のために、それぞれ個別の通信チャネルを用いた通信が行われる。データ分離部63は、各通信チャネルの受信パケットを識別して画像BおよびCの各データを抽出する。
【0043】
また、データ分離部63において分離された画像BおよびCのデータは、それぞれビデオデコーダ40によって伸長復号化処理され、画像合成部61に入力される。このように、無線通信により複数の画像を受信している場合は、複数系統の画像を伸長復号化処理する必要がある。このためには、例えば、受信した画像の数だけのビデオデコーダ40を設けて、各画像の伸長復号化処理を行う。あるいは、1つのビデオデコーダ40を用いて、各画像の伸長復号化処理を時分割して実行してもよい。
【0044】
図4は、1つのビデオデコーダ40を用いた伸長復号化処理を説明するための図である。
本実施の形態では、例えば、制御部60内のRAMを、画像データを一時的に記憶するためのバッファ64として使用する。このバッファ64は、圧縮符号化されていない画像A〜Cのデータがそれぞれ格納される領域64a〜64cと、圧縮符号化されている画像BおよびCのデータがそれぞれ格納される領域64dおよび64eを具備している。なお、これらのバッファ領域は、カメラ信号処理部20やビデオエンコーダ30、ビデオデコーダ40に接続されたフレームメモリ(図示せず)等によって実現されてもよい。
【0045】
データ分離部63は、受信パケットから画像BおよびCの各データを分離し、それぞれを領域64dおよび64eに順次書き込む。また、データ分離部63は、例えば、受信した画像数に応じたチャネル数と、画像を識別するためのチャネル番号とを含むチャネル情報を、ビデオデコーダ40に出力する。ここでは例として、画像BおよびCにそれぞれ“Ch−1”“Ch−2”のチャネル番号が割り当てられている。
【0046】
ビデオデコーダ40は、通知されたチャネル情報に基づいて、バッファ64に対する読み出しおよび書き込みの領域を判断する。チャネル情報により2つのチャネルが通知された場合は、まず“Ch−1”に対する処理として領域64dから画像Bのデータを読み出し、伸長復号化処理を行って処理結果を領域64bに書き込む。次に、“Ch−2”の処理として領域64eから画像Cのデータを読み出し、伸長復号化処理を行って処理結果を領域64cに書き込む。これらの処理を例えば所定画素数ずつ交互に行うことにより、2系統の画像BおよびCに対する伸長復号化処理が並行して実行される。
【0047】
次に、画像合成部61において生成され、LCD80において表示される画像について説明する。図5は、自機の撮像画像と他機からの受信画像とを表示した合成画像の画面構成例を示す図である。
【0048】
自機での撮像とともに、他機からの画像を受信している場合には、画像合成部61の処理により各画像が同時に表示されるような合成画像を生成してLCD80に表示し、表示された画像に対してタッチ操作することにより、記録する画像の選択を可能とする。例として、図5に示す合成表示画像200は、親画面201と2つの子画面202および203とによって構成されている。
【0049】
親画面201には、記録対象として現在選択されている画像が表示され、子画面202および203には、選択されていない画像が表示される。そして、タッチパネル90を用いて、ユーザが子画面202または203に対してタッチ操作を行うと、選択された子画面202または203の画像が記録されるとともに、その画像と親画面201の画像とが入れ替わって表示される。従って、ユーザは、合成表示画像200によって記録可能なすべての画像を同時に閲覧しながら、記録する画像を選択することができる。
【0050】
なお、各画像A、BおよびCの合成画像は、上記の画像に限らない。例えば、画面を分割してそれぞれの領域に画像A、BおよびCが表示されるようにしてもよい。また、選択に応じて表示領域を変更せずに、表示領域の枠の色を変化させる等、選択された画像を明示するようにしてもよい。この場合、自機で撮像した画像を常に最も大きく表示させてもよい。
【0051】
このような画像記録が行われる際の処理を、フローチャートを用いて説明する。図6は、自機の撮像画像と他機からの受信画像を選択的に記録する際の処理の流れを示すフローチャートである。
【0052】
ステップS61において、画像A、BおよびCが、LCD80上に合成されて表示される。図4のような構成の場合、カメラ信号処理部20から出力された画像Aのデータが、バッファ64の領域64aに順次書き込まれる。また、デジタルビデオカメラ2および3からの画像BおよびCの各データはビデオデコーダ40によって伸長復号化処理され、処理後の各データが領域64bおよび64cに順次書き込まれる。ここで、画像合成部61は、画像の選択に応じて、バッファ64からの読み出し位置を制御することで、画像の合成を行う。なお、初期状態では例えば、自機で撮像した画像Aが選択された状態とし、この画像Aを親画面201に表示させる。
【0053】
ステップS62において、タッチパネル90を用いた画像の選択操作が行われたか否かについて、タッチパネル90からの制御信号の有無に基づいて判断する。選択操作が行われた場合はステップS63に進み、行われなかった場合はステップS64に進む。
【0054】
ステップS63において、画像合成部61は、ステップS62での選択に応じて、LCD80の表示画面を切り換える。図5のような合成表示画像200を表示している場合、バッファ64からの読み出し位置を制御して、選択された画像を親画面201に表示させる。
【0055】
ステップS64において、入力部100に設けられた所定のスイッチからの制御信号、あるいはLCD80上に表示したスイッチボタンに対するタッチ操作に応じてタッチパネル90からの制御信号の有無に基づき、記録開始の操作が行われたか否かを判断する。操作があった場合はステップS65に進み、なかった場合はステップS62に戻る。
【0056】
ステップS65において、このとき選択されている画像のデータを、音声処理部50からの音声データとともに、ビデオカセット111の磁気テープに記録する。なお、記録する音声データとしては、音声処理部50からのデータに限らない。例えば画像データとともに他のデジタルビデオカメラから音声データを受信して、この音声データを記録するようにしてもよい。あるいは、可般型の半導体メモリ等の他の記録媒体が搭載されている場合には、この記録媒体に記録された音声データを読み出して、磁気テープに記録するようにしてもよい。
【0057】
ステップS66において、ステップS62と同様に、画像の選択操作が行われたか否かを判断し、行われた場合はステップS67に進み、行われなかった場合はステップS68に進む。
【0058】
ステップS67において、画像合成部61は、ステップS66での選択に応じて、LCD80の表示画面を切り換える。これとともに、記録制御部62は、画像データの入力を切り換え、選択された画像をテープデッキ部110に記録させる。なお、このときに、音声データは切り換えず、継続して記録を行う。
【0059】
ステップS68において、入力部100あるいはタッチパネル90からの制御信号の有無に基づいて、記録動作を終了するか否かを判断し、終了しない場合はステップS66に戻る。
【0060】
以上のようなデジタルビデオカメラでは、同様な構成のデジタルビデオカメラが複数台存在することにより、各デジタルビデオカメラにおいて、自機で撮像した撮像画像だけでなく、外部のデジタルビデオカメラにおいて撮像されて送信された画像を無線通信により受信し、所望の画像を選択して磁気テープに記録することが可能となる。従って、各デジタルビデオカメラのユーザにとって、各デジタルビデオカメラで撮像された画像を有効に活用して、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、記録可能な画像を合成してLCD80に同時に表示させ、所望の画像を選択可能とすることにより、すべての画像を閲覧しながら選択操作を行うことができ、操作性が高くなる。
【0061】
さらに、画像の選択に関係なく、音声処理部50等からの1系統の音声データを常時記録することにより、画像切り換え時の音声のつながり方が不自然になって、再生時に視聴者に不快感を与えることがなくなり、記録するコンテンツの品質をより高めることができる。
【0062】
なお、上記のデジタルビデオカメラ1では、画像A、BおよびCのいずれかのデータを磁気テープに記録していたが、これらの画像を合成した合成画像のデータを記録するようにしてもよい。この場合でも、各画像の合成位置を、タッチパネル90等からの選択操作により容易に移動可能なようにしてもよい。また、このようなデジタルビデオカメラでは、画像合成部61において生成された合成画像のデータをビデオエンコーダ30に出力して圧縮符号化処理させ、処理後のデータをテープデッキ部110に出力して、磁気テープに記録させる。従って、2系統の画像の圧縮符号化処理を並行して実行できるように構成される必要がある。
【0063】
また、他機から受信した画像を選択して記録した場合に、その送信元のデジタルビデオカメラに対して、画像を選択したことを無線通信により通知するようにしてもよい。この場合、通知を受けたデジタルビデオカメラでは、例えば、LCD上に表示された自機による撮像画像の枠の色を変える等、自機による撮像画像が他機で記録されていることが明示され、ユーザがこのことを認識できるようにする。
【0064】
次に、上記の実施の形態の変形例について説明する。この変形例は、画像認識技術を用いて、記録対象の各画像に所望の被写体があるか否かを判断して、この判断に基づいて記録する画像を自動的に選択するものである。
【0065】
図7は、自機の撮像画像と他機からの受信画像を画像認識により自動的に選択して記録する動作を実現するための制御部60内の機能を示すブロック図である。
以下の説明で変形例として示すデジタルビデオカメラの基本的な構成は、図1に示したものと同様である。また、図7では、図3で示したデジタルビデオカメラに対応する構成要素には、同じ符号を付して示している。
【0066】
図7に示すように、このデジタルビデオカメラの制御部60は、画像合成部61、記録制御部62、データ分離部63に加えて、被写体の特徴を設定するための特徴設定部65と、設定された特徴を有する被写体を画像から認識する画像認識処理部66と、優先順位の設定に応じて記録する画像を通知する優先順位判定部67とを具備している。
【0067】
特徴設定部65は、画像認識対象とする被写体の特徴に対する入力設定を受け、画像認識処理部66に通知する。入力設定は、例えば、LCD80上に表示した画像から、対象とする被写体をタッチパネル90を用いたクリック操作やドラッグ操作によって選択する、あるいは入力部100の所定のスイッチを用いて、被写体の色等の情報を入力すること等により行われる。
【0068】
画像認識処理部66は、カメラ信号処理部20からの画像Aのデータ、およびビデオデコーダ40によって伸長復号化処理された画像BおよびCのデータから、特徴設定部65から通知された特徴情報に基づいて画像認識処理を行い、対象の被写体を含む画像を優先順位判定部67に通知する。
【0069】
優先順位判定部67は、画像認識処理部66から、対象の被写体を含む画像が複数通知された場合、あるいはその被写体を含む画像が通知されなかった場合に、タッチパネル90あるいは入力部100を用いて入力された優先順位の情報に基づいて、優先順位の高い画像を画像合成部61および記録制御部62に対して通知する。画像の優先順位の情報は、タッチパネル90や入力部100からのユーザの操作入力によって任意に設定される。
【0070】
ここで、図8は、画像認識処理の例として、色認識処理について説明するための図である。
このデジタルビデオカメラで適用可能な画像認識処理として、例えば色認識処理を挙げることができる。この処理では、被写体上の特徴的な特定の色を特徴情報として用いて、この色が画像に含まれているか否かを判定する。例えば、運動会の競技者を記録対象とする場合に、周囲にあまり存在しない特徴的な色のリボンをその競技者に付けさせることで実現することができる。
【0071】
図8(A)は、処理対象の画像の画素配列の一部を模式的に示している。この図では、画像内のある領域に、例としてCL1〜CL4までの4種類の色の画素が含まれている場合を示している。この場合に、画像認識処理部66は、入力された画像の各画素の色情報から、所定領域内における各色の画素数を累積演算し、図8(B)に示すようなヒストグラムを算出する。これにより、特徴設定部65によってあらかじめ設定した所望の色の画素が存在するか否かによって、記録すべき画像であるか否かを判定することができる。
【0072】
また、このような方法以外には、例えば、形状の特徴点に基づいて対象の被写体を画像中から抽出する方法も適用可能である。例えば、対象とする人物の顔の幾何学的特徴の情報(目、口、鼻等の顔の造作の形状、配置等からなる)を用いる、あるいは、顔全体の形状を一般的な濃淡2次元画像としてとらえること等により、その人物の顔をパターン認識する方法が考えられる。さらに、認識対象の画像の符号化方式としてオブジェクト符号化方式を用いると、対象の被写体を抽出する精度を効率的に高めることができる。
【0073】
ここで、図7に戻って説明する。画像認識処理部66は、入力画像の中から、対象の被写体が抽出された場合に、その画像を優先順位判定部67に通知する。ここで、通知された画像が1つだけであった場合には、優先順位判定部67はその通知された画像をそのまま画像合成部61および記録制御部62に通知する。これにより、画像合成部61は、例えば通知された画像を親画面に表示させる等、選択された画像を明示した画像を生成して、LCD80に表示させる。これとともに、記録制御部62は、通知された画像を選択してテープデッキ部110に出力し、磁気テープに記録させる。
【0074】
また、画像認識処理部66から、対象の被写体を含む画像が複数通知された場合には、優先順位判定部67は、あらかじめ設定された画像の優先順位に基づいて、通知された画像のうち最も優先順位が高い画像を選択して、画像合成部61および記録制御部62に通知する。この優先順位はユーザによって任意に設定可能であるが、例えば、被写体までの距離が短い位置に設置されたカメラの優先順位を高くする、あるいは、被写体に対する角度に応じて、より良好な画像を撮影可能なカメラの優先度を高くする等といった順位の設定基準を適用することができる。
【0075】
さらに、画像認識処理部66によって、対象の被写体がどの画像からも抽出できなかった場合にも、あらかじめ設定した優先順位に基づいて画像を選択するようにしてもよい。以下、優先順位に基づいて画像を選択する方法について、3通りの例をフローチャートを用いて示す。
【0076】
図9は、第1の画像選択方法による処理の流れを示すフローチャートである。
ステップS91において、画像認識処理部66から、対象の被写体を含む画像が優先順位判定部67に対して1つでも通知された場合にはステップS92に進み、1つも通知されなかった場合はステップS93に進む。
【0077】
ステップS92において、優先順位判定部67は、通知された画像の中から、あらかじめ設定された優先順位が最も高い画像を選択し、この画像を画像合成部61および記録制御部62に通知する。この結果、選択された画像が磁気テープに記録される。
【0078】
ステップS93において、優先順位判定部67は、すべての画像の中から優先順位が最も高い画像を選択し、この画像を画像合成部61および記録制御部62に通知する。この結果、選択された画像が磁気テープに記録される。
【0079】
以上の第1の画像選択方法は、例えば、野球の中継等のように、基本的な画像を撮影して、通常最も多く選択されるカメラがあらかじめわかっており、その他のカメラの画像に切り換えられることが圧倒的に少ないような場合等に適している。
【0080】
図10は、第2の画像選択方法による処理の流れを示すフローチャートである。
ステップS101およびS102は図9の場合と同様で、画像認識処理部66から対象の被写体を含む画像が1つでも通知された場合に、優先順位判定部67は、通知された画像の中から最も優先順位が高い画像を通知する。また、ステップS101で、画像が1つも通知されなかった場合は、ステップS103に進む。
【0081】
ステップS103において、当該画像ストリームの記録開始時から現在までに、対象の被写体を含む画像が通知されたか否かを判断し、1つも通知されていない場合はステップS104に進み、1つでも通知されていた場合はステップS105に進む。
【0082】
ステップS104において、優先順位判定部67は、すべての画像の中から優先順位が最も高い画像を選択し、通知する。
ステップS105において、それ以前に最後に通知されて選択した画像を、記録する画像として選択し、通知する。
【0083】
図11は、第3の画像選択方法による処理の流れを示すフローチャートである。
ステップS111およびS112は図9および図10の場合と同様で、画像認識処理部66から対象の被写体を含む画像が1つでも通知された場合に、優先順位判定部67は、通知された画像の中から最も優先順位が高い画像を通知する。また、ステップS111で、画像が1つも通知されなかった場合は、ステップS113に進む。
【0084】
ステップS113およびS114は、図10の場合と同様で、当該画像ストリームの記録開始時から現在までに、対象の被写体を含む画像が通知されたか否かを判断し、1つも通知されていない場合は、すべての画像の中から優先順位が最も高い画像を選択し、通知する。また、ステップS113で、画像がそれ以前に1つでも通知されていた場合は、ステップS115に進む。
【0085】
ステップS115において、それ以前に最後に通知されて選択した画像より、1段階だけ優先順位の低い画像を記録する画像として選択し、通知する。
ここで、上記の第2および第3の画像選択方法を用いた場合の効果を、競技場のトラックの走者を撮影する場合を例に挙げて説明する。図12は、競技場のトラックの走者を撮影する場合のカメラ配置例を示す図である。
【0086】
図12では、競技場のトラック301上を走る走者302を撮影するために、3台のデジタルビデオカメラ1〜3からなるビデオカメラシステムが導入されている。デジタルビデオカメラ1〜3は、それぞれトラック301のスタート地点付近、中間地点付近、およびゴール地点付近を撮影している。しかし、これらの3台のデジタルビデオカメラ1〜3ではトラック301の全域を撮影することはできず、各撮影対象領域の間に撮像画像に映らない領域303および304が存在している。従って、走者302をスタート地点からゴール地点まで撮影している間には、画面上に走者が表示されない期間が生じることになる。
【0087】
ところで、どのデジタルビデオカメラ1〜3による撮像画像からも対象の被写体が認識できない場合に、図9で示したように優先順位の高い画像を選択する方法を採ると、対象の被写体が認識できなくなるたびに、最も優先順位の高い1つのデジタルビデオカメラによる撮像画像に必ず戻ってしまうので、画面の遷移が不自然になり、図12のような状況での撮影には適さない。
【0088】
これに対して、図10で示した第2の画像選択方法では、すべての撮像画像から対象の被写体が認識できず、かつ記録開始時点から被写体の認識が1回でも行われた場合には、それ以前に最後に選択されていた画像を選択するようにしているので、撮影の途中で不自然に同じデジタルビデオカメラによる撮像画像に戻ってしまうことはない。
【0089】
図12のような状況での撮影を考えると、まず、走者302がスタートすると、デジタルビデオカメラ1による撮像画像から走者302が認識され、この撮像画像が選択される。次に、走者302が領域303にさしかかると、撮像画像から走者302を認識できなくなるが、このとき図10のステップS105の処理により、デジタルビデオカメラ1による撮像画像が継続して選択される。そして、その後にデジタルビデオカメラ2による撮像画像から走者302が認識されるようになり、この撮像画像が選択されることになる。従って、走者302が走っている間に例えば不自然にスタート地点の映像が記録されるようなことがなくなり、場面が円滑に遷移するような動画像コンテンツを作成することができる。
【0090】
一方、図11で示した第3の画像選択方法では、すべての撮像画像から対象の被写体が認識できず、かつ記録開始時点から被写体の認識が1回でも行われた場合には、それ以前に最後に選択されていた画像より1段階低い優先順位を有する画像が選択される。従って、第2の画像選択方法と同様に、途中で優先順位の高いデジタルビデオカメラによる撮像画像が不自然に挿入されることがなくなる。
【0091】
図12のような状況での撮影時に、デジタルビデオカメラ1,2,3の順に高い優先順位を設定した場合を考えると、スタートした走者302はまずデジタルビデオカメラ1で撮像され、この走者302が領域303にさしかかると、次に優先順位の高いデジタルビデオカメラ2による撮像画像に切り換えられる。この切り換え後に、切り換えられた撮像画像上に走者302が現れるようになり、やがて領域304に達すると、今度はデジタルビデオカメラ3による撮像画像に切り換えられる。そして、その後に同様に切り換えられた撮像画像上に走者302が現れることになる。従って、走者302の移動方向に合致した自然な画像の切り換えが行われるので、より高品質な動画像コンテンツを作成することが可能となる。
【0092】
以上のように、各デジタルビデオカメラにおいて、自機による撮像画像と他機からの受信画像とから画像認識により対象の被写体を抽出して、抽出された画像を自動的に選択して記録する機能を付加することにより、ユーザは他機からの受信画像を閲覧せずに、自機による撮影だけに集中しながら、より良好な内容のコンテンツを自機の記録媒体に記録させることが可能となる。
【0093】
なお、以上の実施の形態では、本発明をデジタルビデオカメラに適用した場合について説明したが、例えばデジタルスチルカメラ(特に動画像の撮影機能を具備するもの)等の他の撮像装置に対して適用することも可能である。また、選択した画像を記録する記録媒体としては、他に、可般型の半導体メモリ、ハードディスクや光ディスク等のディスク型記録媒体等を用いることが可能である。
【0094】
また、本発明は、撮像機能を具備しない画像記録装置に対して適用することも可能である。例えば、ビデオテープレコーダ、あるいはハードディスクや光ディスク等のディスク型記録媒体を用いたビデオレコーダ等に対して、複数のカメラからの撮像画像を無線通信等によって受信し、これらを合成して外部のモニタ上に同時に表示しながら、画像を選択して記録媒体に記録する。このような画像記録装置を、上記のようなデジタルビデオカメラが複数台存在している場所に設置し、各デジタルビデオカメラからの撮像画像から所望の画像を選択して記録することで、良好な内容の動画像コンテンツを手軽に作成することができる。
【0095】
また、各画像を個別に記録するだけでなく、それらの合成画像を記録媒体に記録してもよい。例えば、あるカメラからの画像から画像認識によりある被写体を取り出し、それ以外の画面領域を単色の背景とする。そして、別のカメラからの画像を、元の画像の背景に合成する。合成する画像は、受信している画像から選択可能とする。
【0096】
さらに、他のネットワーク、特にインターネット等の広域ネットワークから複数の画像を受信し、選択して記録するようにしてもよい。例えば、ストリーミング配信されている動画像と、別のWebページ上の静止画像や記録媒体から読み込んだ静止画像等をリアルタイムに合成して、記録媒体に記録する。これにより、インターネット上の多数のコンテンツや、手持ちのコンテンツを手軽に選択して合成し、別のコンテンツを作成することが可能となる。
【図面の簡単な説明】
【0097】
【図1】本発明の実施の形態に係るデジタルビデオカメラの内部構成を示すブロック図である。
【図2】本発明の実施の形態に係るデジタルビデオカメラを含むカメラシステムの構成を示す図である。
【図3】自機の撮像画像と他機からの受信画像を選択的に記録する動作を実現するための制御部内の機能を示すブロック図である。
【図4】1つのビデオデコーダを用いた伸長復号化処理を説明するための図である。
【図5】自機の撮像画像と他機からの受信画像とを表示した合成画像の画面構成例を示す図である。
【図6】自機の撮像画像と他機からの受信画像を選択的に記録する際の処理の流れを示すフローチャートである。
【図7】自機の撮像画像と他機からの受信画像を画像認識により自動的に選択して記録する動作を実現するための制御部内の機能を示すブロック図である。
【図8】画像認識処理の例として、色認識処理について説明するための図である。
【図9】第1の画像選択方法による処理の流れを示すフローチャートである。
【図10】第2の画像選択方法による処理の流れを示すフローチャートである。
【図11】第3の画像選択方法による処理の流れを示すフローチャートである。
【図12】競技場のトラックの走者を撮影する場合のカメラ配置例を示す図である。
【符号の説明】
【0098】
1,2,3……デジタルビデオカメラ、10……カメラブロック、20……カメラ信号処理部、30……ビデオエンコーダ、40……ビデオデコーダ、50……音声処理部、60……制御部、61……画像合成部、62……記録制御部、63……データ分離部、64……バッファ、64a〜64e……領域、70……LCDコントローラ、80……LCD、90……タッチパネル、100……入力部、110……テープデッキ部、111……ビデオカセット、120……無線通信モジュール
【技術分野】
【0001】
本発明は、画像を撮像して記録する撮像装置、画像記録装置および画像記録方法に関し、特に、複数の撮像装置によって画像が撮像された場合に適した撮像装置、画像記録装置および画像記録方法に関する。
【背景技術】
【0002】
近年、動画像を撮影してデジタルデータとして記録することが可能な家庭用のデジタルビデオカメラが広く普及している。このようなビデオカメラは、自機で撮影して記録した画像信号を再生して、内蔵されているLCD(Liquid Crystal Display)や外部のモニタに表示させることが可能となっている。また、これとともに、他の撮像装置や画像記録装置から通信ケーブル等を通じて受信した画像信号を記録媒体に記録する機能を具備しているものもある。さらに、自身の撮像部で撮像した映像信号を、集音部で集音した音声信号とともに、内蔵された無線送信機等を通じて外部に送信する機能を具備するビデオカメラ装置も考えられている(例えば、特許文献1参照)。
【0003】
一方、放送局等の業務用の分野では、複数のビデオカメラにおいて撮影された画像信号から、任意の画像信号を選択して記録することが一般的に行われている。また、画像信号の選択の際に、あらかじめ撮影対象を決めておき、その撮影対象が映っている画像を自動的に認識して選択する方法も考えられている。例えば、撮影対象の人に関するデータやカメラの設置状況等のデータをあらかじめデータベースに登録しておき、小型発信機を携帯している人が立ち入り禁止区域に近づくと、この小型発信機をアンテナによって検知し、検知した信号を基にデータベースを検索して、検索したデータに基づいてカメラの選択および制御を行う監視カメラ自動制御装置があった(例えば、特許文献2参照)。また、撮影対象の人に無線タグを携帯させることでも、同様の選択および制御を行うことができる。さらに、会議等において、各参加者用のカメラとマイクとを設けておき、マイクからの発言者の音声レベルに応じてカメラからの画像信号を切り換えるようなシステムも考えられている。
【特許文献1】特開平11−306663号公報(段落番号〔0013〕〜〔0018〕、第1図)
【特許文献2】特開平9−46694号公報(段落番号〔0014〕〜〔0019〕、第1図)
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、最近では、家庭用のビデオカメラの普及に伴い、例えば運動会や結婚式等において、複数の観客や出席者がビデオカメラを持参することが多くなっている。このような状況では、自分のビデオカメラで撮影された画像だけでなく、他人のビデオカメラで撮影された画像を利用可能にすることが求められているが、従来のビデオカメラでは、そのような機能を具備しているものはなかった。
【0005】
また、ビデオカメラは通常、画像とともに音声の収録も行っているが、複数のビデオカメラからの画像信号を切り換える場合、画面上のシーンの移り変わりやそのときに生じる画面の乱れと比較して、切り換えを挟んだ音声のつながり方が不自然となることの方が、視聴者に対してより大きな不快感を与えることが多い。しかし、このような音声切り換え時の不快感を低減することは、従来、考えられていなかった。
【0006】
さらに、撮影されている複数の画像の中から選択して記録媒体に記録する場合には、あらかじめ決めておいた対象が撮影されている画像を自動的に認識して記録できることが好ましい。しかし、上記の特許文献2のように、撮影対象の人に小型発信機や無線タグ等を携帯させる方法は、画像や音声の送受信とは別にこのような小型発信機や無線タグ等を用いた通信システムを導入しなければならず、装置コストの上昇や装置の大型化を招いてしまう。また、各撮影対象者の発言した音声レベルに基づいて画像を切り換える方法は、会議等の特定の用途に適したものであり、汎用性が低い。
【0007】
本発明はこのような課題に鑑みてなされたものであり、自機の撮像画像と他機の撮像画像とを選択的に記録することが可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、複数の撮像装置による撮像画像を選択的に記録することが可能な画像記録装置を適用することである。
【0008】
さらに、本発明の他の目的は、自機の撮像画像と他機の撮像画像とを選択的に記録するための画像記録方法を提供することである。
【課題を解決するための手段】
【0009】
本発明では上記課題を解決するために、画像を撮像して記録する撮像装置において、画像を撮像する撮像手段と、1つ以上の外部の撮像装置の間で信号の送受信を行う通信手段と、画像を表示する表示手段と、前記撮像手段による撮像画像と、前記外部の撮像装置において撮像されて送信され、前記通信手段によって受信された受信画像とを表示装置に表示させるように制御する表示制御手段と、前記撮像画像と前記受信画像との中から所望の画像を選択する画像選択手段と、前記画像選択手段によって選択された画像の信号を記録媒体に記録するように制御する記録制御手段とを有し、前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする撮像装置が提供される。
【0010】
このような撮像装置では、撮像手段によって画像を撮像するとともに、外部の撮像装置において撮像されて送信された画像を、通信手段を介して受信することができる。表示制御手段は、撮像手段による撮像画像と、外部の撮像装置からの受信画像とを表示装置に表示させる。画像選択手段は、撮像画像と受信画像との中から所望の画像を選択する。記録制御手段は、画像選択手段によって選択された画像の信号を記録媒体に記録する。このとき、表示制御手段は、選択された画像を、選択されていない画像と区別して識別可能な状態で表示させる。
【0011】
また、通信手段を用いて撮像画像の信号を外部の撮像装置に対して送信することが可能なようにしてもよい。この場合、同様な構成を有する複数の撮像装置間で、自機による撮像画像と他機による撮像画像とを相互に送受信し、画像を選択的に記録することが可能となる。
【0012】
また、本発明では、複数の撮像装置によって撮像された画像を記録するための画像記録方法において、前記各撮像装置が、自機による撮像画像の信号を他機に対して送信するとともに、前記他機による撮像画像の信号を受信し、前記自機による撮像画像と前記他機からの受信画像とを表示装置に表示させ、前記自機による撮像画像と前記他機からの受信画像との中から所望の画像を選択して、その信号を記録媒体に記録するように制御するとともに、前記表示装置に対し、選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする画像記録方法が提供される。
【0013】
このような画像記録方法では、画像を撮像している各撮像装置において、自機による撮像画像の信号が他機に対して送信されるとともに、他機による撮像画像の信号が受信され、自機による撮像画像と他機からの受信画像とが表示装置に表示されて、これらの画像の中から所望の画像が選択されてその信号が記録媒体に記録される。このとき、表示装置には、選択された画像は、選択されていない画像と区別して識別可能な状態で表示される。
【発明の効果】
【0014】
本発明の撮像装置では、自機で撮像した撮像画像だけでなく、外部の撮像装置において撮像されて送信された画像を通信手段を介して受信し、これらを表示装置に表示させ、表示された画像を閲覧して、所望の画像を画像選択手段により選択させ、記録媒体に記録させることができる。従って、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、表示装置において、選択された画像は、選択されていない画像と区別して識別可能な状態で表示されるので、記録中の画像を容易に識別できる。
【0015】
また、本発明の画像記録方法では、同様な構成を有する複数の撮像装置間で、自機による撮像画像と他機による撮像画像とを相互に送受信し、画像を選択的に記録することが可能となる。また、各撮像装置のユーザは、画面上に表示された画像を閲覧して、所望の画像を選択し、記録媒体に記録させることができる。従って、各撮像装置のユーザは、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、表示装置において、選択された画像は、選択されていない画像と区別して識別可能な状態で表示されるので、記録中の画像をユーザが容易に識別できる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態を図面を参照して説明する。なお、以下の説明では、本発明の撮像装置として、デジタルビデオカメラを適用した場合を想定する。
図2は、本発明の実施の形態に係るデジタルビデオカメラを含むカメラシステムの構成を示す図である。
【0017】
本実施の形態では、図2に示すように、画像を撮像し、デジタルデータとして記録媒体に記録することが可能な複数のデジタルビデオカメラ1〜3からなるカメラシステムを想定する。各デジタルビデオカメラ1〜3は、無線通信により相互にデータを送受信することが可能となっている。そして、デジタルビデオカメラ1〜3は、それぞれ自機で撮像した画像のデータを他機に送信する機能と、他機で撮像された画像のデータを受信する機能とを具備している。さらに、各デジタルビデオカメラ1〜3は、自機による撮像画像と他機からの受信画像とを選択的に記録媒体に記録することが可能となっている。
【0018】
このようなカメラシステムが適用される状況としては、例えば、運動会やスポーツ、結婚式、パーティの会場等で、複数の観戦者や出席者がそれぞれデジタルビデオカメラ1〜3を持参している場合等が考えられる。このような状況において、各デジタルビデオカメラ1〜3で、自機による撮像画像と他機からの受信画像とを選択的に記録可能とすることにより、各ユーザは記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなるといった効果が生まれる。
【0019】
なお、図2では例として3台のデジタルビデオカメラ1〜3が存在する場合を示しているが、このカメラシステムは2台以上のデジタルビデオカメラが存在する場合に適用可能である。
【0020】
図1は、本発明の実施の形態に係るデジタルビデオカメラの内部構成を示すブロック図である。なお、図1では代表してデジタルビデオカメラ1について説明するが、他のデジタルビデオカメラ2および3も同様の構成を有しているものとする。
【0021】
デジタルビデオカメラ1は、図1に示すように、カメラブロック10、カメラ信号処理部20、ビデオエンコーダ30、ビデオデコーダ40、音声処理部50、制御部60、LCDコントローラ70、LCD80、タッチパネル90、入力部100、テープデッキ部110および無線通信モジュール120を具備している。
【0022】
カメラブロック10は、複数のレンズ等が設けられた光学ブロック、CCD(Charge Coupled Device)等の撮像素子、前処理回路、および光学ブロックやCCDのためのドライバ、タイミング生成回路等(いずれも図示せず)からなる。カメラブロック10は、光学ブロックに入射された光を撮像素子によって光電変換し、さらに前処理回路によってサンプルホールドやAGC(Auto Gain Control)処理を施し、A/D変換を行ってデジタル方式の画像データを出力する。また、光学ブロックや撮像素子の動作は、制御部60からの制御信号に基づいて制御される。
【0023】
カメラ信号処理部20は、カメラブロック10から出力された画像データに対して、AWB(Auto White Balance)処理、AF(Auto Focus)処理、AE(Auto Exposure)処理等のカメラ信号処理を施す。処理後の画像データは、ビデオエンコーダ30および制御部60に出力される。
【0024】
ビデオエンコーダ30は、カメラ信号処理が施された画像データに対して、MPEG(Moving Picture Experts Group)方式等の所定の動画像データフォーマットで圧縮符号化処理を行い、符号化された画像データを制御部60に供給する。
【0025】
ビデオデコーダ40は、制御部60から受け取った画像データに対して伸長復号化処理を行い、復号化された画像データを制御部60に供給する。
音声処理部50は、アンプやA/D変換器、D/A変換器、圧縮符号化/伸長復号化処理を行う処理回路等によって構成される。この音声処理部50には、マイクロフォン51およびスピーカ52が接続されている。音声処理部50は、マイクロフォン51によって集音された音声信号を増幅してデジタル信号に変換し、さらにMPEG−AUDIO方式等の所定の音声データフォーマットで圧縮符号化して、制御部60に出力する。なお、この他に例えばアナログ音声信号の外部入力端子を設け、この外部入力端子からの入力信号を音声処理部50において圧縮符号化し、制御部60に供給してもよい。また、制御部60から供給された音声の符号化データを伸長復号化処理し、アナログ信号に変換して増幅し、スピーカ52から再生出力する。
【0026】
制御部60は、このデジタルビデオカメラ1全体を制御するマイクロコンピュータであり、例えばCPU、RAM、ROM等がシステムバスを通じて接続された構成(いずれも図示せず)を有している。この制御部60では、例えばフラッシュ型EEPROM(Electrically Erasable Programmable ROM)からなるROMにあらかじめ記憶されたプログラムがCPUによって実行されることにより、デジタルビデオカメラ1の各部を制御するための制御信号を出力する。また、DRAM(Dynamic RAM)等からなるRAMは、処理の途中結果を一時的に記憶する等、主にCPUの作業領域として使用される。
【0027】
LCDコントローラ70は、制御部60から供給された画像データから、LCD80に表示させる画像信号を生成して、これをLCD80に供給し、画像を表示させる。また、LCD80にはタッチパネル90が設けられており、ユーザが画面上を指や指示具で押圧することで入力操作を行うことが可能となっている。さらに、入力部100は、この他の各種ボタンやレバー、ダイヤル等により構成される。タッチパネル90および入力部100において入力操作が行われると、これらから制御部60に対して制御信号が出力される。
【0028】
テープデッキ部110には、画像データや音声データを記録する記録媒体として、磁気テープが内蔵されたビデオカセット111が着脱可能に搭載される。テープデッキ部110は、制御部60から供給された画像や音声等のデータを変調して、ビデオカセット111内の磁気テープに書き込む。また、磁気テープから読みとった信号を復調して、制御部60に供給する。
【0029】
無線通信モジュール120は、OFDM(Orthogonal Frequency Division Multiplexing)等の変調方式を用いた信号送受信のためのアンテナおよびRFトランシーバや、ベースバンド処理、制御部6とのインタフェース処理等を行うプロセッサ等からなり、制御部6により制御される通信手順に従って、外部のデジタルビデオカメラ2および3との無線通信を行う。なお、無線通信規格としては、例えば、IEEE(Institute of Electrical and Electronic Engineers)802.11g方式の無線LAN等が用いられる。
【0030】
ここで、上記のデジタルビデオカメラ1における基本的な動作について説明する。
撮像画像を記録する場合には、記録を開始する前において、被写体からの光がカメラブロック10の撮像素子によって光電変換され、前処理が行われて、デジタル化された画像データがカメラ信号処理部20に入力される。さらにカメラ信号処理が施された画像データは、制御部60を介してLCDコントローラ70に入力される。これにより、LCD80にカメラスルー画像が表示される。
【0031】
この状態から、入力部100において画像記録のための操作入力が行われると、撮像された画像データがカメラ信号処理部20からビデオエンコーダ30に送出されて圧縮符号化処理され、所定の動画像フォーマットのデータに変換されて、ビデオストリームとして制御部60に入力される。一方、マイクロフォン51で集音された音声信号は、音声処理部50において圧縮符号化処理され、所定の音声フォーマットのデータに変換されて、オーディオストリームとして制御部60に入力される。ビデオストリームおよびオーディオストリームは、制御部60において多重化されてテープデッキ部110に出力され、所定の変調処理等が施された後、ビデオカセット111内の磁気テープに順次記録される。
【0032】
また、ビデオカセット111に記録されたデータを再生する場合には、テープデッキ部110によって読み出されたデータが、制御部60においてビデオストリームとオーディオストリームに分離される。ビデオストリームは、ビデオデコーダ40において伸長復号化処理され、制御部60を介してLCDコントローラ70に入力される。これにより、LCD80において再生画像が表示される。一方、オーディオストリームは、音声処理部50において伸長復号化処理され、スピーカ52から音声が再生出力される。
【0033】
また、撮像した画像を他のデジタルビデオカメラ2および3に送信する場合には、カメラ信号処理部20から出力された画像データが、制御部60を介して無線通信モジュール120に入力され、所定の無線通信手順に従って無線送信される。
【0034】
また、他のデジタルビデオカメラ2および3において撮像され、無線送信された画像を受信する場合には、無線通信モジュール120によって受信されたデータが制御部60に入力され、ビデオストリームが分離される。このビデオストリームは、ビデオデコーダ40において伸長復号化処理され、復号化された画像データは制御部60を介してLCDコントローラ70に出力され、受信した画像がLCD80に表示される。また、入力部100あるいはタッチパネル90からの入力操作に応じて、分離されたビデオストリームは制御部60からテープデッキ部110に出力され、ビデオカセット111内の磁気テープに記録される。
【0035】
なお、このように無線通信モジュール120によって受信した画像とともに音声を磁気テープに記録することが可能であるが、本実施の形態ではこの場合でも、音声処理部50において圧縮符号化処理された音声データが、常に磁気テープに記録される。
【0036】
ところで、このデジタルビデオカメラ1は、カメラブロック10において撮像されている画像とともに、他のデジタルビデオカメラ2および3において撮像されている画像を無線通信モジュール120によって受信して、これらの画像を合成してLCD80に同時に表示し、所望の画像を選択してそのデータをビデオカセット111に記録することが可能となっている。以下、このような動作について詳しく説明する。
【0037】
図3は、自機の撮像画像と他機からの受信画像を選択的に記録する動作を実現するための制御部60内の機能を示すブロック図である。なお、以下の説明では、デジタルビデオカメラ1〜3において撮像された画像をそれぞれ画像A、画像B、画像Cとする。
【0038】
図3に示すように、制御部60は、各画像を合成表示するための画像合成部61と、各画像を選択的に記録するための記録制御部62と、受信した信号から画像信号を分離するデータ分離部63とを具備している。
【0039】
画像合成部61には、カメラ信号処理部20からのカメラスルー画像(画像A)のデータと、ビデオデコーダ40によって伸長復号化された画像BおよびCの各データとが入力される。画像合成部61は、入力されたこれらの画像を1つの画面上に合成した合成画像を生成して、LCDコントローラ70に出力する。この合成画像では、例えば後述するように、タッチパネル90からの制御信号に応じて、記録するように選択された画像が最も大きく表示され、それ以外の画像が子画面や分割画面としてより小さく表示される。
【0040】
記録制御部62には、ビデオエンコーダ30によって圧縮符号化された画像Aのデータと、データ分離部63によって受信信号から分離された画像BおよびCのデータとが入力される。記録制御部62は、タッチパネル90からの制御信号に応じて、これらの画像データの中から選択されたものをテープデッキ部110に出力し、ビデオカセット111内の磁気テープに記録させる。
【0041】
データ分離部63は、無線通信モジュール120による受信信号から、デジタルビデオカメラ2および3からそれぞれ送信された画像BおよびCのデータを分離して、記録制御部62およびビデオデコーダ40に出力する。
【0042】
ここで、各デジタルビデオカメラ1〜3の間で無線LANによって通信が行われるものとすると、各カメラ間ではアクセスポイントを介さない“アドホックモード”による通信が行われる。この場合、1つのデジタルビデオカメラでの撮像画像を、他の1つあるいは複数のデジタルビデオカメラに送信するために、1つの通信チャネルが用いられる。従って、デジタルビデオカメラ1においては、デジタルビデオカメラ2および3からの各画像BおよびCの受信のために、それぞれ個別の通信チャネルを用いた通信が行われる。データ分離部63は、各通信チャネルの受信パケットを識別して画像BおよびCの各データを抽出する。
【0043】
また、データ分離部63において分離された画像BおよびCのデータは、それぞれビデオデコーダ40によって伸長復号化処理され、画像合成部61に入力される。このように、無線通信により複数の画像を受信している場合は、複数系統の画像を伸長復号化処理する必要がある。このためには、例えば、受信した画像の数だけのビデオデコーダ40を設けて、各画像の伸長復号化処理を行う。あるいは、1つのビデオデコーダ40を用いて、各画像の伸長復号化処理を時分割して実行してもよい。
【0044】
図4は、1つのビデオデコーダ40を用いた伸長復号化処理を説明するための図である。
本実施の形態では、例えば、制御部60内のRAMを、画像データを一時的に記憶するためのバッファ64として使用する。このバッファ64は、圧縮符号化されていない画像A〜Cのデータがそれぞれ格納される領域64a〜64cと、圧縮符号化されている画像BおよびCのデータがそれぞれ格納される領域64dおよび64eを具備している。なお、これらのバッファ領域は、カメラ信号処理部20やビデオエンコーダ30、ビデオデコーダ40に接続されたフレームメモリ(図示せず)等によって実現されてもよい。
【0045】
データ分離部63は、受信パケットから画像BおよびCの各データを分離し、それぞれを領域64dおよび64eに順次書き込む。また、データ分離部63は、例えば、受信した画像数に応じたチャネル数と、画像を識別するためのチャネル番号とを含むチャネル情報を、ビデオデコーダ40に出力する。ここでは例として、画像BおよびCにそれぞれ“Ch−1”“Ch−2”のチャネル番号が割り当てられている。
【0046】
ビデオデコーダ40は、通知されたチャネル情報に基づいて、バッファ64に対する読み出しおよび書き込みの領域を判断する。チャネル情報により2つのチャネルが通知された場合は、まず“Ch−1”に対する処理として領域64dから画像Bのデータを読み出し、伸長復号化処理を行って処理結果を領域64bに書き込む。次に、“Ch−2”の処理として領域64eから画像Cのデータを読み出し、伸長復号化処理を行って処理結果を領域64cに書き込む。これらの処理を例えば所定画素数ずつ交互に行うことにより、2系統の画像BおよびCに対する伸長復号化処理が並行して実行される。
【0047】
次に、画像合成部61において生成され、LCD80において表示される画像について説明する。図5は、自機の撮像画像と他機からの受信画像とを表示した合成画像の画面構成例を示す図である。
【0048】
自機での撮像とともに、他機からの画像を受信している場合には、画像合成部61の処理により各画像が同時に表示されるような合成画像を生成してLCD80に表示し、表示された画像に対してタッチ操作することにより、記録する画像の選択を可能とする。例として、図5に示す合成表示画像200は、親画面201と2つの子画面202および203とによって構成されている。
【0049】
親画面201には、記録対象として現在選択されている画像が表示され、子画面202および203には、選択されていない画像が表示される。そして、タッチパネル90を用いて、ユーザが子画面202または203に対してタッチ操作を行うと、選択された子画面202または203の画像が記録されるとともに、その画像と親画面201の画像とが入れ替わって表示される。従って、ユーザは、合成表示画像200によって記録可能なすべての画像を同時に閲覧しながら、記録する画像を選択することができる。
【0050】
なお、各画像A、BおよびCの合成画像は、上記の画像に限らない。例えば、画面を分割してそれぞれの領域に画像A、BおよびCが表示されるようにしてもよい。また、選択に応じて表示領域を変更せずに、表示領域の枠の色を変化させる等、選択された画像を明示するようにしてもよい。この場合、自機で撮像した画像を常に最も大きく表示させてもよい。
【0051】
このような画像記録が行われる際の処理を、フローチャートを用いて説明する。図6は、自機の撮像画像と他機からの受信画像を選択的に記録する際の処理の流れを示すフローチャートである。
【0052】
ステップS61において、画像A、BおよびCが、LCD80上に合成されて表示される。図4のような構成の場合、カメラ信号処理部20から出力された画像Aのデータが、バッファ64の領域64aに順次書き込まれる。また、デジタルビデオカメラ2および3からの画像BおよびCの各データはビデオデコーダ40によって伸長復号化処理され、処理後の各データが領域64bおよび64cに順次書き込まれる。ここで、画像合成部61は、画像の選択に応じて、バッファ64からの読み出し位置を制御することで、画像の合成を行う。なお、初期状態では例えば、自機で撮像した画像Aが選択された状態とし、この画像Aを親画面201に表示させる。
【0053】
ステップS62において、タッチパネル90を用いた画像の選択操作が行われたか否かについて、タッチパネル90からの制御信号の有無に基づいて判断する。選択操作が行われた場合はステップS63に進み、行われなかった場合はステップS64に進む。
【0054】
ステップS63において、画像合成部61は、ステップS62での選択に応じて、LCD80の表示画面を切り換える。図5のような合成表示画像200を表示している場合、バッファ64からの読み出し位置を制御して、選択された画像を親画面201に表示させる。
【0055】
ステップS64において、入力部100に設けられた所定のスイッチからの制御信号、あるいはLCD80上に表示したスイッチボタンに対するタッチ操作に応じてタッチパネル90からの制御信号の有無に基づき、記録開始の操作が行われたか否かを判断する。操作があった場合はステップS65に進み、なかった場合はステップS62に戻る。
【0056】
ステップS65において、このとき選択されている画像のデータを、音声処理部50からの音声データとともに、ビデオカセット111の磁気テープに記録する。なお、記録する音声データとしては、音声処理部50からのデータに限らない。例えば画像データとともに他のデジタルビデオカメラから音声データを受信して、この音声データを記録するようにしてもよい。あるいは、可般型の半導体メモリ等の他の記録媒体が搭載されている場合には、この記録媒体に記録された音声データを読み出して、磁気テープに記録するようにしてもよい。
【0057】
ステップS66において、ステップS62と同様に、画像の選択操作が行われたか否かを判断し、行われた場合はステップS67に進み、行われなかった場合はステップS68に進む。
【0058】
ステップS67において、画像合成部61は、ステップS66での選択に応じて、LCD80の表示画面を切り換える。これとともに、記録制御部62は、画像データの入力を切り換え、選択された画像をテープデッキ部110に記録させる。なお、このときに、音声データは切り換えず、継続して記録を行う。
【0059】
ステップS68において、入力部100あるいはタッチパネル90からの制御信号の有無に基づいて、記録動作を終了するか否かを判断し、終了しない場合はステップS66に戻る。
【0060】
以上のようなデジタルビデオカメラでは、同様な構成のデジタルビデオカメラが複数台存在することにより、各デジタルビデオカメラにおいて、自機で撮像した撮像画像だけでなく、外部のデジタルビデオカメラにおいて撮像されて送信された画像を無線通信により受信し、所望の画像を選択して磁気テープに記録することが可能となる。従って、各デジタルビデオカメラのユーザにとって、各デジタルビデオカメラで撮像された画像を有効に活用して、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、記録可能な画像を合成してLCD80に同時に表示させ、所望の画像を選択可能とすることにより、すべての画像を閲覧しながら選択操作を行うことができ、操作性が高くなる。
【0061】
さらに、画像の選択に関係なく、音声処理部50等からの1系統の音声データを常時記録することにより、画像切り換え時の音声のつながり方が不自然になって、再生時に視聴者に不快感を与えることがなくなり、記録するコンテンツの品質をより高めることができる。
【0062】
なお、上記のデジタルビデオカメラ1では、画像A、BおよびCのいずれかのデータを磁気テープに記録していたが、これらの画像を合成した合成画像のデータを記録するようにしてもよい。この場合でも、各画像の合成位置を、タッチパネル90等からの選択操作により容易に移動可能なようにしてもよい。また、このようなデジタルビデオカメラでは、画像合成部61において生成された合成画像のデータをビデオエンコーダ30に出力して圧縮符号化処理させ、処理後のデータをテープデッキ部110に出力して、磁気テープに記録させる。従って、2系統の画像の圧縮符号化処理を並行して実行できるように構成される必要がある。
【0063】
また、他機から受信した画像を選択して記録した場合に、その送信元のデジタルビデオカメラに対して、画像を選択したことを無線通信により通知するようにしてもよい。この場合、通知を受けたデジタルビデオカメラでは、例えば、LCD上に表示された自機による撮像画像の枠の色を変える等、自機による撮像画像が他機で記録されていることが明示され、ユーザがこのことを認識できるようにする。
【0064】
次に、上記の実施の形態の変形例について説明する。この変形例は、画像認識技術を用いて、記録対象の各画像に所望の被写体があるか否かを判断して、この判断に基づいて記録する画像を自動的に選択するものである。
【0065】
図7は、自機の撮像画像と他機からの受信画像を画像認識により自動的に選択して記録する動作を実現するための制御部60内の機能を示すブロック図である。
以下の説明で変形例として示すデジタルビデオカメラの基本的な構成は、図1に示したものと同様である。また、図7では、図3で示したデジタルビデオカメラに対応する構成要素には、同じ符号を付して示している。
【0066】
図7に示すように、このデジタルビデオカメラの制御部60は、画像合成部61、記録制御部62、データ分離部63に加えて、被写体の特徴を設定するための特徴設定部65と、設定された特徴を有する被写体を画像から認識する画像認識処理部66と、優先順位の設定に応じて記録する画像を通知する優先順位判定部67とを具備している。
【0067】
特徴設定部65は、画像認識対象とする被写体の特徴に対する入力設定を受け、画像認識処理部66に通知する。入力設定は、例えば、LCD80上に表示した画像から、対象とする被写体をタッチパネル90を用いたクリック操作やドラッグ操作によって選択する、あるいは入力部100の所定のスイッチを用いて、被写体の色等の情報を入力すること等により行われる。
【0068】
画像認識処理部66は、カメラ信号処理部20からの画像Aのデータ、およびビデオデコーダ40によって伸長復号化処理された画像BおよびCのデータから、特徴設定部65から通知された特徴情報に基づいて画像認識処理を行い、対象の被写体を含む画像を優先順位判定部67に通知する。
【0069】
優先順位判定部67は、画像認識処理部66から、対象の被写体を含む画像が複数通知された場合、あるいはその被写体を含む画像が通知されなかった場合に、タッチパネル90あるいは入力部100を用いて入力された優先順位の情報に基づいて、優先順位の高い画像を画像合成部61および記録制御部62に対して通知する。画像の優先順位の情報は、タッチパネル90や入力部100からのユーザの操作入力によって任意に設定される。
【0070】
ここで、図8は、画像認識処理の例として、色認識処理について説明するための図である。
このデジタルビデオカメラで適用可能な画像認識処理として、例えば色認識処理を挙げることができる。この処理では、被写体上の特徴的な特定の色を特徴情報として用いて、この色が画像に含まれているか否かを判定する。例えば、運動会の競技者を記録対象とする場合に、周囲にあまり存在しない特徴的な色のリボンをその競技者に付けさせることで実現することができる。
【0071】
図8(A)は、処理対象の画像の画素配列の一部を模式的に示している。この図では、画像内のある領域に、例としてCL1〜CL4までの4種類の色の画素が含まれている場合を示している。この場合に、画像認識処理部66は、入力された画像の各画素の色情報から、所定領域内における各色の画素数を累積演算し、図8(B)に示すようなヒストグラムを算出する。これにより、特徴設定部65によってあらかじめ設定した所望の色の画素が存在するか否かによって、記録すべき画像であるか否かを判定することができる。
【0072】
また、このような方法以外には、例えば、形状の特徴点に基づいて対象の被写体を画像中から抽出する方法も適用可能である。例えば、対象とする人物の顔の幾何学的特徴の情報(目、口、鼻等の顔の造作の形状、配置等からなる)を用いる、あるいは、顔全体の形状を一般的な濃淡2次元画像としてとらえること等により、その人物の顔をパターン認識する方法が考えられる。さらに、認識対象の画像の符号化方式としてオブジェクト符号化方式を用いると、対象の被写体を抽出する精度を効率的に高めることができる。
【0073】
ここで、図7に戻って説明する。画像認識処理部66は、入力画像の中から、対象の被写体が抽出された場合に、その画像を優先順位判定部67に通知する。ここで、通知された画像が1つだけであった場合には、優先順位判定部67はその通知された画像をそのまま画像合成部61および記録制御部62に通知する。これにより、画像合成部61は、例えば通知された画像を親画面に表示させる等、選択された画像を明示した画像を生成して、LCD80に表示させる。これとともに、記録制御部62は、通知された画像を選択してテープデッキ部110に出力し、磁気テープに記録させる。
【0074】
また、画像認識処理部66から、対象の被写体を含む画像が複数通知された場合には、優先順位判定部67は、あらかじめ設定された画像の優先順位に基づいて、通知された画像のうち最も優先順位が高い画像を選択して、画像合成部61および記録制御部62に通知する。この優先順位はユーザによって任意に設定可能であるが、例えば、被写体までの距離が短い位置に設置されたカメラの優先順位を高くする、あるいは、被写体に対する角度に応じて、より良好な画像を撮影可能なカメラの優先度を高くする等といった順位の設定基準を適用することができる。
【0075】
さらに、画像認識処理部66によって、対象の被写体がどの画像からも抽出できなかった場合にも、あらかじめ設定した優先順位に基づいて画像を選択するようにしてもよい。以下、優先順位に基づいて画像を選択する方法について、3通りの例をフローチャートを用いて示す。
【0076】
図9は、第1の画像選択方法による処理の流れを示すフローチャートである。
ステップS91において、画像認識処理部66から、対象の被写体を含む画像が優先順位判定部67に対して1つでも通知された場合にはステップS92に進み、1つも通知されなかった場合はステップS93に進む。
【0077】
ステップS92において、優先順位判定部67は、通知された画像の中から、あらかじめ設定された優先順位が最も高い画像を選択し、この画像を画像合成部61および記録制御部62に通知する。この結果、選択された画像が磁気テープに記録される。
【0078】
ステップS93において、優先順位判定部67は、すべての画像の中から優先順位が最も高い画像を選択し、この画像を画像合成部61および記録制御部62に通知する。この結果、選択された画像が磁気テープに記録される。
【0079】
以上の第1の画像選択方法は、例えば、野球の中継等のように、基本的な画像を撮影して、通常最も多く選択されるカメラがあらかじめわかっており、その他のカメラの画像に切り換えられることが圧倒的に少ないような場合等に適している。
【0080】
図10は、第2の画像選択方法による処理の流れを示すフローチャートである。
ステップS101およびS102は図9の場合と同様で、画像認識処理部66から対象の被写体を含む画像が1つでも通知された場合に、優先順位判定部67は、通知された画像の中から最も優先順位が高い画像を通知する。また、ステップS101で、画像が1つも通知されなかった場合は、ステップS103に進む。
【0081】
ステップS103において、当該画像ストリームの記録開始時から現在までに、対象の被写体を含む画像が通知されたか否かを判断し、1つも通知されていない場合はステップS104に進み、1つでも通知されていた場合はステップS105に進む。
【0082】
ステップS104において、優先順位判定部67は、すべての画像の中から優先順位が最も高い画像を選択し、通知する。
ステップS105において、それ以前に最後に通知されて選択した画像を、記録する画像として選択し、通知する。
【0083】
図11は、第3の画像選択方法による処理の流れを示すフローチャートである。
ステップS111およびS112は図9および図10の場合と同様で、画像認識処理部66から対象の被写体を含む画像が1つでも通知された場合に、優先順位判定部67は、通知された画像の中から最も優先順位が高い画像を通知する。また、ステップS111で、画像が1つも通知されなかった場合は、ステップS113に進む。
【0084】
ステップS113およびS114は、図10の場合と同様で、当該画像ストリームの記録開始時から現在までに、対象の被写体を含む画像が通知されたか否かを判断し、1つも通知されていない場合は、すべての画像の中から優先順位が最も高い画像を選択し、通知する。また、ステップS113で、画像がそれ以前に1つでも通知されていた場合は、ステップS115に進む。
【0085】
ステップS115において、それ以前に最後に通知されて選択した画像より、1段階だけ優先順位の低い画像を記録する画像として選択し、通知する。
ここで、上記の第2および第3の画像選択方法を用いた場合の効果を、競技場のトラックの走者を撮影する場合を例に挙げて説明する。図12は、競技場のトラックの走者を撮影する場合のカメラ配置例を示す図である。
【0086】
図12では、競技場のトラック301上を走る走者302を撮影するために、3台のデジタルビデオカメラ1〜3からなるビデオカメラシステムが導入されている。デジタルビデオカメラ1〜3は、それぞれトラック301のスタート地点付近、中間地点付近、およびゴール地点付近を撮影している。しかし、これらの3台のデジタルビデオカメラ1〜3ではトラック301の全域を撮影することはできず、各撮影対象領域の間に撮像画像に映らない領域303および304が存在している。従って、走者302をスタート地点からゴール地点まで撮影している間には、画面上に走者が表示されない期間が生じることになる。
【0087】
ところで、どのデジタルビデオカメラ1〜3による撮像画像からも対象の被写体が認識できない場合に、図9で示したように優先順位の高い画像を選択する方法を採ると、対象の被写体が認識できなくなるたびに、最も優先順位の高い1つのデジタルビデオカメラによる撮像画像に必ず戻ってしまうので、画面の遷移が不自然になり、図12のような状況での撮影には適さない。
【0088】
これに対して、図10で示した第2の画像選択方法では、すべての撮像画像から対象の被写体が認識できず、かつ記録開始時点から被写体の認識が1回でも行われた場合には、それ以前に最後に選択されていた画像を選択するようにしているので、撮影の途中で不自然に同じデジタルビデオカメラによる撮像画像に戻ってしまうことはない。
【0089】
図12のような状況での撮影を考えると、まず、走者302がスタートすると、デジタルビデオカメラ1による撮像画像から走者302が認識され、この撮像画像が選択される。次に、走者302が領域303にさしかかると、撮像画像から走者302を認識できなくなるが、このとき図10のステップS105の処理により、デジタルビデオカメラ1による撮像画像が継続して選択される。そして、その後にデジタルビデオカメラ2による撮像画像から走者302が認識されるようになり、この撮像画像が選択されることになる。従って、走者302が走っている間に例えば不自然にスタート地点の映像が記録されるようなことがなくなり、場面が円滑に遷移するような動画像コンテンツを作成することができる。
【0090】
一方、図11で示した第3の画像選択方法では、すべての撮像画像から対象の被写体が認識できず、かつ記録開始時点から被写体の認識が1回でも行われた場合には、それ以前に最後に選択されていた画像より1段階低い優先順位を有する画像が選択される。従って、第2の画像選択方法と同様に、途中で優先順位の高いデジタルビデオカメラによる撮像画像が不自然に挿入されることがなくなる。
【0091】
図12のような状況での撮影時に、デジタルビデオカメラ1,2,3の順に高い優先順位を設定した場合を考えると、スタートした走者302はまずデジタルビデオカメラ1で撮像され、この走者302が領域303にさしかかると、次に優先順位の高いデジタルビデオカメラ2による撮像画像に切り換えられる。この切り換え後に、切り換えられた撮像画像上に走者302が現れるようになり、やがて領域304に達すると、今度はデジタルビデオカメラ3による撮像画像に切り換えられる。そして、その後に同様に切り換えられた撮像画像上に走者302が現れることになる。従って、走者302の移動方向に合致した自然な画像の切り換えが行われるので、より高品質な動画像コンテンツを作成することが可能となる。
【0092】
以上のように、各デジタルビデオカメラにおいて、自機による撮像画像と他機からの受信画像とから画像認識により対象の被写体を抽出して、抽出された画像を自動的に選択して記録する機能を付加することにより、ユーザは他機からの受信画像を閲覧せずに、自機による撮影だけに集中しながら、より良好な内容のコンテンツを自機の記録媒体に記録させることが可能となる。
【0093】
なお、以上の実施の形態では、本発明をデジタルビデオカメラに適用した場合について説明したが、例えばデジタルスチルカメラ(特に動画像の撮影機能を具備するもの)等の他の撮像装置に対して適用することも可能である。また、選択した画像を記録する記録媒体としては、他に、可般型の半導体メモリ、ハードディスクや光ディスク等のディスク型記録媒体等を用いることが可能である。
【0094】
また、本発明は、撮像機能を具備しない画像記録装置に対して適用することも可能である。例えば、ビデオテープレコーダ、あるいはハードディスクや光ディスク等のディスク型記録媒体を用いたビデオレコーダ等に対して、複数のカメラからの撮像画像を無線通信等によって受信し、これらを合成して外部のモニタ上に同時に表示しながら、画像を選択して記録媒体に記録する。このような画像記録装置を、上記のようなデジタルビデオカメラが複数台存在している場所に設置し、各デジタルビデオカメラからの撮像画像から所望の画像を選択して記録することで、良好な内容の動画像コンテンツを手軽に作成することができる。
【0095】
また、各画像を個別に記録するだけでなく、それらの合成画像を記録媒体に記録してもよい。例えば、あるカメラからの画像から画像認識によりある被写体を取り出し、それ以外の画面領域を単色の背景とする。そして、別のカメラからの画像を、元の画像の背景に合成する。合成する画像は、受信している画像から選択可能とする。
【0096】
さらに、他のネットワーク、特にインターネット等の広域ネットワークから複数の画像を受信し、選択して記録するようにしてもよい。例えば、ストリーミング配信されている動画像と、別のWebページ上の静止画像や記録媒体から読み込んだ静止画像等をリアルタイムに合成して、記録媒体に記録する。これにより、インターネット上の多数のコンテンツや、手持ちのコンテンツを手軽に選択して合成し、別のコンテンツを作成することが可能となる。
【図面の簡単な説明】
【0097】
【図1】本発明の実施の形態に係るデジタルビデオカメラの内部構成を示すブロック図である。
【図2】本発明の実施の形態に係るデジタルビデオカメラを含むカメラシステムの構成を示す図である。
【図3】自機の撮像画像と他機からの受信画像を選択的に記録する動作を実現するための制御部内の機能を示すブロック図である。
【図4】1つのビデオデコーダを用いた伸長復号化処理を説明するための図である。
【図5】自機の撮像画像と他機からの受信画像とを表示した合成画像の画面構成例を示す図である。
【図6】自機の撮像画像と他機からの受信画像を選択的に記録する際の処理の流れを示すフローチャートである。
【図7】自機の撮像画像と他機からの受信画像を画像認識により自動的に選択して記録する動作を実現するための制御部内の機能を示すブロック図である。
【図8】画像認識処理の例として、色認識処理について説明するための図である。
【図9】第1の画像選択方法による処理の流れを示すフローチャートである。
【図10】第2の画像選択方法による処理の流れを示すフローチャートである。
【図11】第3の画像選択方法による処理の流れを示すフローチャートである。
【図12】競技場のトラックの走者を撮影する場合のカメラ配置例を示す図である。
【符号の説明】
【0098】
1,2,3……デジタルビデオカメラ、10……カメラブロック、20……カメラ信号処理部、30……ビデオエンコーダ、40……ビデオデコーダ、50……音声処理部、60……制御部、61……画像合成部、62……記録制御部、63……データ分離部、64……バッファ、64a〜64e……領域、70……LCDコントローラ、80……LCD、90……タッチパネル、100……入力部、110……テープデッキ部、111……ビデオカセット、120……無線通信モジュール
【特許請求の範囲】
【請求項1】
画像を撮像して記録する撮像装置において、
画像を撮像する撮像手段と、
1つ以上の外部の撮像装置の間で信号の送受信を行う通信手段と、
画像を表示する表示手段と、
前記撮像手段による撮像画像と、前記外部の撮像装置において撮像されて送信され、前記通信手段によって受信された受信画像とを表示装置に表示させるように制御する表示制御手段と、
前記撮像画像と前記受信画像との中から所望の画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像の信号を記録媒体に記録するように制御する記録制御手段と、
を有し、
前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする撮像装置。
【請求項2】
前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像より大きく表示させることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記表示制御手段は、表示させた画像の枠の色を変化させることで、前記画像選択手段によって選択された画像を識別可能な状態とすることを特徴とする請求項1記載の撮像装置。
【請求項4】
前記表示装置の画面に対するユーザの接触操作に応じた入力信号を受け付ける入力操作検知手段をさらに有し、
前記画像選択手段は、前記表示装置に表示させた画像の中から、前記入力操作検知手段により前記接触操作が検知された位置に表示されていた画像を選択することを特徴とする請求項1記載の撮像装置。
【請求項5】
前記通信手段を用いて、前記撮像画像の信号を前記外部の撮像装置に対して送信することが可能であることを特徴とする請求項1記載の撮像装置。
【請求項6】
前記通信手段は、無線通信により信号の送受信を行うことを特徴とする請求項1記載の撮像装置。
【請求項7】
1系統の音声の入力を受ける音声入力手段をさらに有し、
前記記録制御手段は、前記音声入力手段からの音声の信号を、前記画像選択手段によって選択された画像の信号とともに前記記録媒体に記録するように制御することを特徴とする請求項1記載の撮像装置。
【請求項8】
入力された画像を記録する画像記録装置において、
外部の撮像装置によって撮像されて送信された画像を含む複数の画像の信号を受信する画像受信手段と、
前記画像受信手段により受信された複数の受信画像を表示装置に表示させるように制御する表示制御手段と、
前記受信画像の中から所望の画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像の信号を記録媒体に記録するように制御する記録制御手段と、
を有し、
前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする画像記録装置。
【請求項9】
複数の撮像装置によって撮像された画像を記録するための画像記録方法において、
前記各撮像装置が、
自機による撮像画像の信号を他機に対して送信するとともに、前記他機による撮像画像の信号を受信し、
前記自機による撮像画像と前記他機からの受信画像とを表示装置に表示させ、
前記自機による撮像画像と前記他機からの受信画像との中から所望の画像を選択して、その信号を記録媒体に記録するように制御するとともに、前記表示装置に対し、選択された画像を、選択されていない画像と区別して識別可能な状態で表示させる、
ことを特徴とする画像記録方法。
【請求項1】
画像を撮像して記録する撮像装置において、
画像を撮像する撮像手段と、
1つ以上の外部の撮像装置の間で信号の送受信を行う通信手段と、
画像を表示する表示手段と、
前記撮像手段による撮像画像と、前記外部の撮像装置において撮像されて送信され、前記通信手段によって受信された受信画像とを表示装置に表示させるように制御する表示制御手段と、
前記撮像画像と前記受信画像との中から所望の画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像の信号を記録媒体に記録するように制御する記録制御手段と、
を有し、
前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする撮像装置。
【請求項2】
前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像より大きく表示させることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記表示制御手段は、表示させた画像の枠の色を変化させることで、前記画像選択手段によって選択された画像を識別可能な状態とすることを特徴とする請求項1記載の撮像装置。
【請求項4】
前記表示装置の画面に対するユーザの接触操作に応じた入力信号を受け付ける入力操作検知手段をさらに有し、
前記画像選択手段は、前記表示装置に表示させた画像の中から、前記入力操作検知手段により前記接触操作が検知された位置に表示されていた画像を選択することを特徴とする請求項1記載の撮像装置。
【請求項5】
前記通信手段を用いて、前記撮像画像の信号を前記外部の撮像装置に対して送信することが可能であることを特徴とする請求項1記載の撮像装置。
【請求項6】
前記通信手段は、無線通信により信号の送受信を行うことを特徴とする請求項1記載の撮像装置。
【請求項7】
1系統の音声の入力を受ける音声入力手段をさらに有し、
前記記録制御手段は、前記音声入力手段からの音声の信号を、前記画像選択手段によって選択された画像の信号とともに前記記録媒体に記録するように制御することを特徴とする請求項1記載の撮像装置。
【請求項8】
入力された画像を記録する画像記録装置において、
外部の撮像装置によって撮像されて送信された画像を含む複数の画像の信号を受信する画像受信手段と、
前記画像受信手段により受信された複数の受信画像を表示装置に表示させるように制御する表示制御手段と、
前記受信画像の中から所望の画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像の信号を記録媒体に記録するように制御する記録制御手段と、
を有し、
前記表示制御手段は、前記画像選択手段によって選択された画像を、選択されていない画像と区別して識別可能な状態で表示させることを特徴とする画像記録装置。
【請求項9】
複数の撮像装置によって撮像された画像を記録するための画像記録方法において、
前記各撮像装置が、
自機による撮像画像の信号を他機に対して送信するとともに、前記他機による撮像画像の信号を受信し、
前記自機による撮像画像と前記他機からの受信画像とを表示装置に表示させ、
前記自機による撮像画像と前記他機からの受信画像との中から所望の画像を選択して、その信号を記録媒体に記録するように制御するとともに、前記表示装置に対し、選択された画像を、選択されていない画像と区別して識別可能な状態で表示させる、
ことを特徴とする画像記録方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2008−199662(P2008−199662A)
【公開日】平成20年8月28日(2008.8.28)
【国際特許分類】
【出願番号】特願2008−115012(P2008−115012)
【出願日】平成20年4月25日(2008.4.25)
【分割の表示】特願2003−182626(P2003−182626)の分割
【原出願日】平成15年6月26日(2003.6.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成20年8月28日(2008.8.28)
【国際特許分類】
【出願日】平成20年4月25日(2008.4.25)
【分割の表示】特願2003−182626(P2003−182626)の分割
【原出願日】平成15年6月26日(2003.6.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]