カメラおよび動画撮影プログラム
【課題】
従来技術では、別機材で記録された動画像と音声とを精度良く同期させることが難しかった。
【解決手段】
本発明に係るカメラは、被写体像を撮像し、撮像信号を出力する撮像部と、記録開始指示に基づいて前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、前記記録開始指示に基づいて第1識別音を発する音発生部と、前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御部とを有することを特徴とする。
従来技術では、別機材で記録された動画像と音声とを精度良く同期させることが難しかった。
【解決手段】
本発明に係るカメラは、被写体像を撮像し、撮像信号を出力する撮像部と、記録開始指示に基づいて前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、前記記録開始指示に基づいて第1識別音を発する音発生部と、前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御部とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画撮影された画像と音声を同期再生するための技術に関する。
【背景技術】
【0002】
従来のカメラでは、動画撮影時の音声を内蔵マイクで拾う場合、ズームレンズやフォーカスレンズの駆動音が記録され易いため、外部マイクの使用や高音質で記録できる別機材による音声記録などが行われている。ところが、音声と動画像をそれぞれ別の機材で記録した後で編集する場合、音声と動画像の同期を取る必要があり、撮影時に「カチンコ」と呼ばれる拍子木のような音を出す道具が用いられる。例えば、「カチンコ」を閉じて音を出す時の動画像と音声をそれぞれ別の機材で記録し、撮影終了後に、記録された動画像のフレームの中で「カチンコ」が閉じた瞬間の画像が撮影されているフレーム位置と、記録された音声の中で「カチンコ」が閉じた時の音が記録されている位置とを一致させてそれぞれの機材で再生を開始することにより、動画像と音声の同期を取ることができる。このように、画像を記録する機材では動画像の中にタイミングを取るための特定画像を記録し、音声を記録する機材ではその特定画像に起因する音を記録することで動画像と音声の同期を取っていた。
【0003】
一方で、動画像中に特定画像を挿入する技術として、映像に特殊効果を与える目的で特定画像や特定音声を合成したり置換する方法が考えられている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平05−336488号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、「カチンコ」を用いて撮影するには様々な問題がある。例えば、シャッター速度が十分に速くない場合は「カチンコ」が閉じた瞬間が分かりにくい。また、動画像のフレームレートが低い場合は別機材で録音する音声との同期の誤差が大きくなる。
【0006】
特に、「カチンコ」を持ち歩く必要があり、且つカメラとカチンコの両方を同時に操作する必要があり、1人での撮影は難しい。さらに、1人で操作する場合はカメラの近くで「カチンコ」を操作することになり、「カチンコ」と被写体との距離の差が大きいため「カチンコ」または被写体のどちらかがぼけて撮影されてしまうという問題がある。例えばオートフォーカスの場合は、一時的に「カチンコ」にフォーカスが合ってしまい、「カチンコ」を画角外に退けた直後は被写体にフォーカスが合うまでに時間が掛かるという問題がある。
【0007】
また、MPEG規格などで動画像を撮影する場合、フレーム間相関を利用してGOP(Group Of Picture)と呼ばれる複数フレーム単位で動画像を圧縮して記録するので、「カチンコ」が閉じる位置が必ずしもGOP単位の先頭に位置するとは限らない。ところが、簡便な編集装置ではGOP単位の編集しか対応できない場合もあり、音声の再生開始位置と動画像の撮影開始位置のフレームとを正確に合わせることができないという問題がある。
【0008】
本発明の目的は、動画撮影された画像と、対応する音声を精度良く同期させることができるカメラおよび動画撮影プログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明に係るカメラは、被写体像を撮像し、撮像信号を出力する撮像部と、記録開始指示に基づいて前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、前記記録開始指示に基づいて第1識別音を発する音発生部と、前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御部とを有することを特徴とする。
【0010】
また、本発明に係るカメラは、被写体像を撮像し、撮像信号を出力する撮像部と、記録開始指示が与えられる時点を含む期間において、前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生部と、前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御部とを有することを特徴とする。
【0011】
本発明に係る動画撮影プログラムは、被写体像を撮像し、撮像信号を出力する撮像処理と、記録開始指示に基づいて前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、前記記録開始指示に基づいて第1識別音を発する音発生処理と、前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御処理とをコンピュータに実行させることを特徴とする。
【0012】
また、本発明に係る動画撮影プログラムは、被写体像を撮像し、撮像信号を出力する撮像処理と、記録開始指示が与えられる時点を含む期間において、前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生処理と、前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【0013】
本発明に係るカメラおよび動画撮影プログラムは、動画撮影された画像と、対応する音声を精度良く同期させることができる。
【図面の簡単な説明】
【0014】
【図1】第1実施形態に係るカメラ100の使用例を示す全体図である。
【図2】第1実施形態に係るカメラ100の構成を示すブロック図である。
【図3】第1実施形態に係るカメラ100の「同期動画撮影モード」の処理を示すフローチャートである。
【図4】同期画像の挿入と同期音の発生の様子を示す説明図である。
【図5】同期画像の一例を示す説明図である。
【図6】動きのある同期画像の一例を示す説明図である。
【図7】第2実施形態に係るカメラ100の「同期動画撮影モード」の処理を示すフローチャートである。
【図8】第3実施形態に係るカメラ100の「同期動画撮影モード」の処理を示すフローチャートである。
【図9】第4実施形態に係るカメラ100aの構成を示すブロック図である。
【図10】第4実施形態に係るカメラ100aの「同期動画撮影モード」の処理を示すフローチャートである。
【図11】第5実施形態におけるフレーム相関を用いた画像圧縮処理で動画像を撮影する場合の同期画像の挿入例を示す説明図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明に係るカメラおよび動画撮影プログラムについて詳しく説明する。尚、以降で説明するカメラ100は、本発明に係る動画撮影プログラムを含んでいる。
【0016】
(第1実施形態)
図1は、撮影時に使用する機材を描いた図で、本実施形態に係るカメラ100と、カメラ100とは別機材の独立した録音機200とを使用して撮影を行う。カメラ100は、レンズ101で撮影した画像をメモリカード104に記録する。一方、録音機200は、マイク201a,201bから入力する音をメモリカード202に記録する。そして撮影後に、メモリカード104に記録された動画像と、メモリカード202に記録された音声とをパソコン250などの編集機器で読み出して同期させるための編集を行う。尚、図1において、カメラ100の各部については図2で説明する。
【0017】
図2は、本実施形態に係るカメラ100の構成を示すブロック図である。カメラ100は、レンズ101と、撮像素子102と、制御部103と、メモリカード104と、表示部105と、操作部106と、電源107と、駆動部108と、補助光源109と、マイク110と、メモリ111と、スピーカ112と、測位部113と、計時部114とで構成される。
【0018】
レンズ101は、ズームレンズやフォーカスレンズなどで構成され、AFモータ108aおよびズームモータ108bによってズーム位置やフォーカス位置を調整する。
【0019】
撮像素子102は、CCD型やCMOS型の固体撮像素子で構成され、レンズ101を介して入射する被写体像を画像信号に変換して制御部103に出力する。尚、本実施形態では、撮像素子102から出力される画像信号はアナログの画像信号で、制御部103内部でデジタルの画像データにA/D変換されるものとするが、撮像素子102内部でA/D変換してデジタルの画像データを出力するようにしてもよい。
【0020】
制御部103は、予め内部に記憶されたプログラムに従って動作するCPUで構成され、そのプラグラムに沿ったカメラ100全体の動作の制御、各種演算をするエンジンである。ここで、CPUが実行するプログラムを記憶媒体に記憶して、パソコンなど他のコンピュータにインストールすることにより、以降で説明する画像処理と同様の処理をコンピュータで実行することができる。
【0021】
メモリカード104は、不揮発性のメモリなどで構成される着脱可能な記憶媒体で、制御部103が出力する撮影された画像データや音声データなどを記録する。
【0022】
表示部105は、液晶表示デバイスなどで構成され、制御部103が出力する画像やメニュー画面を表示する。
【0023】
操作部106は、電源ボタン106a,レリーズボタン106b,モード選択ボタン106c,ズームボタン106d(ワイド)およびズームボタン106e(テレ)などの操作部材で構成され、操作情報は制御部103に入力される。尚、レリーズボタン106bは、スイッチS1とスイッチS2とで構成され、レリーズボタン106bを半押しするとスイッチS1が閉じ、全押しするとスイッチS2が閉じる仕組みになっている。
【0024】
電源107は、バッテリやON/OFFスイッチなどで構成され、電源がOFFの状態で電源ボタン106aが押下されるとカメラ100の各部へ電源の供給を行い、電源がONの状態で電源ボタン106bが押下されるとカメラ100の各部への電源供給を停止する。
【0025】
駆動部108は、制御部103の指令に応じてAFモータ108aおよびズームモータ108bを駆動し、レンズ101のズームレンズやフォーカスレンズの位置を調整する。
【0026】
補助光源109は、キセノンランプなどで構成され、被写体の露出が不足している場合や撮影者の設定により、被写体に光を照射するための光源で、制御部103によって照射タイミングや照射量が制御される。
【0027】
マイク110は、外部音を取り込むためのマイクロホンで、制御部103に音声信号を出力する。尚、本実施形態では、マイク110から出力される音声信号はアナログの音声信号で、制御部103内部でデジタルの音声データにA/D変換されるものとするが、マイク110内部でA/D変換されたデジタルの音声データであってもよい。
【0028】
メモリ111は、カメラ100に内蔵されるメモリで、不揮発性のメモリなどで構成される。例えば撮影モードの設定値や撮影画像の解像度など、制御部103が動作するためのパラメータなどが記憶される。特に本実施形態に係るカメラ100の場合は、カメラ100で撮影される動画像と、別機材で録音される音とを同期させる時刻を示す(動画像中の位置を示す)特定の同期画像に対応する同期用画像情報および同期音に対応する同期用音情報の少なくとも一方の情報が予め記憶されている。
【0029】
スピーカ112は、制御部103が出力するアナログの音声信号を空気振動に変換するトランスデューサである。尚、制御部103が出力するアナログの音声信号は、制御部103内部で同期音情報をD/A変換した音声信号で、スピーカ112は入力される音声信号に対応する空気振動に変換する。
【0030】
測位部113は、GPS(Global Positioning System)の衛星からの電波を受信し、受信した電波に応じて地球上におけるカメラ100の地理的位置(経度・緯度)を演算し、演算した緯度・経度などの位置情報を制御部103に出力する。
【0031】
計時部114は、時計ICなどで構成され、日時情報を制御部103に出力する。
【0032】
次に、制御部103の構成について説明する。制御部103は、画像処理部151と、記録処理部152と、同期処理部153と、音出力部154と、音入力部155とで構成される。
【0033】
画像処理部151は、撮像素子102から入力されたアナログ画像信号をA/D変換して対応するデジタルの画像データを出力し、ホワイトバランス処理,色補間処理,ガンマ変換処理などを行う。また、静止画撮影モードの場合はJPEG圧縮方式で画像圧縮処理を行い、動画撮影モード(後述する通常動画撮影モードおよび同期動画撮影モードを含む)の場合はM−JPEG(Motion−JPEG)圧縮方式やMPEG圧縮方式で画像処理を行う。尚、画像処理部151は撮像素子102が出力するアナログ画像信号をA/D変換し対応するデジタルの画像データを取り込み、様々な画像処理を行うための画像バッファを有するものとする。
【0034】
記録処理部152は、画像処理部151が処理した後の静止画像情報や動画像情報をメモリカード104に記憶する。尚、モード選択ボタン106cで「通常動画撮影モード(内蔵マイク撮影モード)」が選択されている場合は、内蔵のマイク110で外部音を取得して音入力部155でA/D変換された音声データを動画像データと共にメモリカード104に記憶する。特に本実施形態に係るカメラ100では、モード選択ボタン106cで以下の3つのモードを選択する。尚、これらのモード判定は制御部103が行い、制御部103は、操作部106から入力するモード選択ボタン106cの操作情報を判定してそれぞれのモードに応じた処理を実行する。
(1)静止画撮影モード
(2)通常動画撮影モード
(3)同期動画撮影モード
尚、(1)および(2)は、一般的なカメラと同様に静止画撮影または動画撮影を行う撮影モードである。特に本実施形態では、「同期動画撮影モード(別機材で録音するモード)」が選択されている場合、同期処理部153は、撮影されデジタルデータに変換された動画像データに所定のタイミングで同期画像データを挿入し、メモリカード104に記憶する。或いは、同期画像データではなく同期音データをメモリカード104に記憶する。
【0035】
同期処理部153は、「同期動画撮影モード」が選択されている場合に、レリーズボタン106bの操作に応じて、撮影開始時にメモリ111に予め記憶されている同期画像データを動画像データに挿入したり、同期音データを撮影する動画像の音声データとしてメモリカード104に記録する。ここで、同期画像データおよび同期音データの少なくとも一方がメモリカード104に記憶されればよい。
【0036】
音出力部154は、メモリ111から読み出した同期音データを動画像データに同期画像データを挿入タイミングに合わせてスピーカ112から出力する。尚、音出力部154は、D/A変換回路や出力アンプを含むものとする。尚、出力アンプは、スピーカ112を駆動して出力する音の大きさを調整するためのアンプである。また、メモリ111に複数の種類の同期音データを記憶しておき、例えば第1同期音をスピーカ112から出力し、第1同期音とは異なる第2同期音を同期処理部153がメモリカード104に記録するようにしても構わない。
【0037】
音入力部155は、マイク110からアナログ信号で入力する外部音をデジタルの音声データにA/D変換し、WAV方式やMPEG圧縮方式などによる音声処理を行い、記録処理部152に出力する。尚、音入力部155はプリアンプやA/D変換回路を含むものとする。尚、プリアンプは、入力するアナログの音声信号をA/D変換に適した大きさの信号にするためのアンプである。
【0038】
以上説明したように、本実施形態に係るカメラ100は構成される。次に、図1で説明したように、カメラ100で動画像を撮影し、且つ録音機200で例えば高音質なステレオ録音を行う場合のカメラ100側の処理について図3のフローチャートを用いて説明する。尚、図3のフローチャートは、制御部103によって実行される処理である。特に制御部103は、先に説明したように、予め内部に記憶されたプログラムに従って動作するCPUで構成されるので、図3のフローチャートは、請求項に記載のコンピュータで実行可能なプログラムに相当する処理である。
【0039】
尚、カメラ100は、電源ボタン106aがONされて起動済みの状態にあり、且つモード選択ボタン106cで「同期動画撮影モード」が選択され、撮像素子102で撮影される画像がスルー画像として表示部105に表示されいる状態にあるものとする。撮影者は、表示部105に表示される被写体画像を確認しながら撮影構図などを決めて動画撮影を開始することができる。尚、レリーズボタン106bは、二段階スイッチになっており、半押しすればスイッチS1が閉じて制御部103はAF(オートフォーカス)動作を開始し、さらに全押しすればスイッチS2が閉じて(S2:ON)、その後、レリーズボタン106bが離されスイッチS2が開く(S2:OFF)と、制御部103は動画像の記録を開始させる。ここで、スイッチS2を閉じその後開く操作(S2をONからOFFとする操作)は記録開始指示に対応する。
【0040】
以下、図3のフローチャートに従って順番に説明する。尚、図3のフローチャートは「同期動画撮影モード」における処理の流れを示している。
【0041】
(ステップS101)制御部103は、撮影者がレリーズボタン106bを半押しされたか否かを判別し(S1:ON)、半押ししていない場合は半押しされるまで待機する。
【0042】
(ステップS102)制御部103は、常時AF動作(フォーカスのズレを逐次修正してフォーカスを合わせる動作)を開始する。尚、常時AF動作は所定のフォーカスエリアの被写体に遂次ピントを合わせるためのフォーカス調整で、レリーズボタン106bを半押し中に常時AF動作を行う。
【0043】
ここで、仮に従来のように「カチンコ」の実物を撮影する場合は、この時点で「カチンコ」がカメラ100とフォーカスエリア内の主要被写体との間に位置し、「カチンコ」がフォーカスエリア内に位置する場合は、「カチンコ」をピント合わせの対象物としてフォーカスを合わせてしまうため、「カチンコ」を画面から外した時に主要被写体にフォーカスが合うまでのタイムラグが生じてしまうという問題が生じる。しかしながら、本実施形態では実物の「カチンコ」使用しないので主要被写体に常にフォーカスを合わせることができる。
【0044】
(ステップS103)制御部103は、撮影者がレリーズボタン106bを全押ししたか否かを判別し(S2:ON)、全押しした場合はステップS106に進み、全押しされていない場合はステップS104に進む。
【0045】
(ステップS104)制御部103は、撮影者がレリーズボタン106bを半押ししているか否かを判別し(S1:ON)、半押ししていない場合はステップS105に進み、半押しされている場合はステップS103に戻って全押しされるまで待機する。
【0046】
(ステップS105)制御部103は、常時AF動作を終了する。
【0047】
(ステップS106)制御部103は、撮影者がレリーズボタン106bを全押しした後、レリーズボタン106bから指を離したか否かを判別し(S2:ONからOFFとされたか否かを判別し)、全押し中ではなくなった場合はステップS107に進み、全押し中の場合はステップS106で待機する。尚、ここでは全押し後にレリーズボタン106bから指を離さずに半押し状態になることはないものとする。
【0048】
(ステップS107)制御部103の画像処理部151は、撮像素子102から入力されるアナログの動画像信号をデジタルの動画像データに変換し、所定の画像処理(ホワイトバランス処理など)を行った後、処理後の動画像データを同期処理部153に出力する。そして、同期処理部153は、動画像データをフレーム順に記録処理部152を介してメモリカード104に記録する。
【0049】
ここで、ステップS107時点でカメラ100でメモリカード104に記録される動画像データと、録音機200でメモリカード202に記憶される音声データと、カメラ100のスピーカ112から発せられる同期音との時間的な関係を図4に示す。図4は、紙面の左側から右側に向けて時間軸を取り、図3のステップS107が実行された時点以降の様子を描いた図である。ステップS107からS108が実行されるまでの区間は、撮像素子102で撮影されデジタルデータに変換された動画像データのフレーム301およびフレーム302の1フレームを構成する動画像データがフレーム順に記録画像としてメモリカード104に記憶される。尚、先に説明したように、録音機200によるメモリカード202への記録はフレーム301の撮影時点から開始されているものとする。また、フレーム301およびフレーム302の撮影時は、スピーカ112からは何も出力されておらず無音状態である。
【0050】
(ステップS108)制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像データを挿入して記録処理部152に出力し、メモリカード104に動画像の画像フレームとして記録する。同時に、同期処理部153は、メモリ111から読み出した同期音210のデジタルデータを音出力部154でアナログ信号にD/A変換してスピーカ112から同期音210を発生する。尚、ステップS102でAF動作を開始しているので、この時点で被写体像に対するフォーカス調整は完了している。従って、従来のように、同期画像として用いる実物の「カチンコ」と主要被写体のいずれかにしかフォーカスが合わないという問題を解消できる。
【0051】
例えば図4の場合、ステップS108の時点で撮像素子102から入力して画像処理部151でデジタルデータに変換された画像フレーム303を同期画像201を含む画像フレーム303aに置き換える。同時に、同期処理部153は、メモリ111から同期音データを読み出して音出力部154でアナログの同期音の音声信号に変換後、スピーカ112に出力し、図4に示すように、スピーカ112から同期音210が発せられる。これにより、スピーカ112から発せられた同期音210は、近くの録音機200のステレオマイク201aおよび201bからアナログの音声信号で入力され、録音機200内部でデジタルの音声データに変換後、メモリカード202に記録される。例えば図4の場合は、同期画像201が動画像のフレームとしてメモリカード104に記憶されると同時にスピーカ112から発せられる同期音210が録音機200で外部音211と共に記録される。具体的には、画像フレーム303を同期画像201に置き換えたタイミングで、同期処理部153は同期音210の音声データをメモリ111から読み出して音出力部154でアナログの音声信号に変換してスピーカ112から出力する。そして、スピーカ112から出力された同期音112は空気振動で録音機200のステレオマイク201aおよび201bからアナログの音声信号として入力され、録音機200内部でデジタルの音声データに変換されてメモリカード202に記憶される。これにより、再生時に、録音機200のメモリカード202に録音された同期音210データの再生位置と、カメラ100のメモリカード104に記録された同期画像201データの再生位置とを容易に同期させることができる。
【0052】
(ステップS109)制御部103の画像処理部151は、再び撮像素子102から入力して画像処理部151でデジタルデータに変換された動画像データに所定の画像処理を行い、処理後の動画像データを同期処理部153に出力する。そして、同期処理部153は、動画像データをフレーム順に記録処理部152を介してメモリカード104に記録する。
【0053】
例えば図4の場合、ステップS109の時点で撮像素子102から入力する画像フレーム304および305は、同期画像201のフレームの後ろの画像フレームとしてメモリカード104に記録される。尚、この時点で、同期処理部153は、スピーカ112からの同期音210の音声信号の出力を停止して無音状態にあるので、録音機200でメモリカード202に記録される音は外部音211の音声データだけである。以降、撮影が継続される。
【0054】
(ステップS110)制御部103は、撮影者がレリーズボタン106bを全押ししたか否かを判別し(S2:ON)、全押しされた場合はステップS111に進み、全押しされるまで動画像の撮影を継続する。
【0055】
(ステップS111)制御部103は、撮像素子102から入力して画像処理部151でデジタルデータに変換された動画像データのメモリカード104への記録を終了する。
【0056】
(ステップS112)制御部103は、常時AF動作を終了する。
【0057】
尚、カメラ100での動画像の撮影の終了に合わせて適宜、撮影者は、録音機200でメモリカード202への外部音の記録も終了させるものとする。また、動画像の撮影記録期間を含み、それよりも長めに録音しておくものとする。
【0058】
このようにして、図4に示すような同期画像201のフレーム303aが挿入された動画像データがカメラ100のメモリカード104に記録されると共に、カメラ100のスピーカ112から発せられるアナログの同期音が録音機200のステレオマイク201aおよび201bでアナログの音声信号として入力され、A/D変換された同期音データがメモリカード202に記録される。
【0059】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されているフレーム303aの時間位置と、メモリカード202に記録されている同期音データが記録された音211の位置とを合わせるだけで容易にフレーム304以降の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。尚、同期音210は、識別が容易な1kHzの単一トーンや電話機のプッシュボタン音のようなデュアルトーンを用いる。或いは、識別が容易で且つ違和感が少ないメロディーを用いても構わない。
【0060】
例えばパソコンで動画編集する場合、カメラ100で撮影済みの動画像フレームをメモリカード104から読み出してモニタ画面に時系列順に表示し、同じ時間軸上に、録音機200で録音済みの音声データをメモリカード202から読み出して音声信号の波形を時間軸上に表示する。この場合、モニタ画面上には、例えば図4で説明したメモリカード104の記録画像と、メモリカード202の記録音の波形とが表示される。そして、例えばモニタ画面上の同期音210の時間軸上の位置と、同期画像201の時間軸上の位置とがずれている場合は、例えばパソコンのマウスで同期画像201の画像をドラッグして同期音210の位置に合わせる操作を行うことにより、同期合わせを行うことができる。そして、例えばモニタ画面上に再生確認ボタンを表示しておき、カーソルで再生確認ボタンを押下して動画像と再生音の確認をできるようにしても構わない。この場合、動画編集ソフトウェアは、モニタ画面上の時間軸に合わせてメモリカード104に記憶された動画像データを再生してモニタ画面に表示し、同じ時間軸でメモリカード202に記憶された音声データをアナログの音声信号に変換してパソコンのスピーカから出力する。
【0061】
このようにして、パソコン上で動画編集ソフトウェアを実行させて、マウスやキーボードなどのパソコンに備えられた操作部材、モニタ、スピーカ等を使って、同期合わせを行うことができる。
【0062】
ここで、同期画像の一例を図5に示す。図5(a)は、図4に示した映画などで用いられている「カチンコ」に似せた同期画像201の一例で、撮影日時と撮影場所の地理的位置(緯度・経度)が記載されている。尚、撮影日時は、制御部103が計時部114から入力する日時情報を用い、レリーズボタン106bの全押しが離されたタイミング(S2がONからOFFとされたタイミング)で計時部114から入力した日時情報を同期画像201に表示するのが好ましい。地図情報がメモリ111やメモリカード104に予め記憶されている場合は、測位部113が出力する緯度・経度情報を地名などの情報に変換して図5(b)のように同期画像201b内に表示するようにしても構わない。これにより、撮影日時や撮影場所の特定を容易に行うことができる。
【0063】
或いは、同期画像データを静止画データではなく動画像データのように複数のフレームで構成し、動きを持たせても構わない。例えば図6に示すように、「カチンコ」に似せた画像で音を打つためのバーが閉じる様子をアニメーションで表すようにしても構わない。図6の場合は、同期画像データはフレーム310から314の5つのフレームで構成され、最後のフレーム314の時間位置で同期音210がスピーカ112から出力される。このように、アニメーションで表示することにより、編集時に画面上で動画像を再生する際の視認性を高めることができる。
【0064】
(変形例1)
上記の第1実施形態では、同期画像201の画像データをフレーム303aとして挿入する場合について説明したが、撮影時はフレーム303をフレーム順にメモリカード104に記録するようにして、同期音210をスピーカ112から発する時点に近接する動画像フレームを特定可能な情報(例えばフレーム番号やタイムコードなどの情報)を動画像データに関連付けて記録しても構わない。例えば、ファイルのヘッダ情報などに記憶するようにしても構わない。また、例えば、同期音210をスピーカ112から発する時点の動画像フレームを特定可能な情報(例えばフレーム番号やタイムコードなどの情報)を動画ファイルとは別のファイル内にどの動画ファイルに対応する情報かを示す情報とともに記憶させても良い。例えば、図3のフローチャートにおいて、ステップS108の処理をステップS108aのように実行する。また、変形例1の場合は、同期画像の挿入を行わず、動画像の撮影はステップS107の時点から行われているのでステップS109の処理は不要である。
【0065】
(ステップS108a)制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの情報を記録処理部152を介してメモリカード104に記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。
【0066】
この場合、制御部103は、撮影後にメモリカード104に記録されている動画像を読み出して、同期音210をスピーカ112から発した時点の動画像のフレーム(先の例ではフレーム303)を特定し、同期画像201に置き換える処理を行う。これにより、撮影時の制御部103の処理負荷を減らすことができる。
【0067】
(第2実施形態)
第1実施形態および変形例1ではメモリカード104に記録される動画像データは音声データ無しでも構わなかったが、第2実施形態では録音機200での音声記録の失敗に備えて、カメラ100でも音声付きで動画像の撮影を行い、音声データと動画像データとをメモリカード104に記録する。尚、第2実施形態に係るカメラ100の構成は、図1および図2で説明したものと同じである。
【0068】
以下、第2実施形態に係るカメラ100の「同期動画撮影モード」における処理の流れについて、図7のフローチャートに従って順番に説明する。尚、図7において、図3のフローチャートと同じ処理ステップ番号は同じものを示す。図3と異なる処理はステップS201,S202,S203およびS204である。
【0069】
ステップS101からステップS107までの処理は同じである。そして、ステップS108の処理を実行する前に次のステップS201の処理を実行する。
【0070】
(ステップS201)制御部103の同期処理部153は、所定時間が経過するまで待機する。図7の例では0.1秒間待機した後、次のステップS202の処理へ進む。尚、制御部103は、計時部114から入力する日時情報を用いて待機時間を計測する。
【0071】
ここで、同期処理部153は、待機中の音入力部155のプリアンプのゲインを下げるか0に設定する。或いは、音入力部155が出力する外部音の音声データを記録処理部153に出力する際に無音データに置き換える。例えば、音声データが最上位ビットを符号ビットとする8ビット階調で記録する場合は、無音データを16進数で「00H」(Hは16進数であることを示す)のように表すことができるので、同期処理部153が音入力部155から入力する外部音のデジタルの音声データが例えば「4BH」や「F6H」などのデータ値であっても強制的に「00H」のデータ値に置き換えて記録処理部153に出力する。
【0072】
そして、図3のステップS108の代わりにステップS202を実行する。
【0073】
(ステップS202)制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像を挿入して記録処理部152に出力し、メモリカード104に動画像の画像フレームとして記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。これらの処理は図3のステップS108と同じであるが、本処理ステップでは、さらにメモリ111から読み出した同期音(またはこの同期音とは異なる第2同期音)をメモリカード104に記録する。
【0074】
そして、ステップS109の処理を実行後、ステップS110の処理を実行する前に次のステップS203およびS204の処理を実行する。
【0075】
(ステップS203)制御部103の同期処理部153は、所定時間が経過するまで待機する。図7の例では0.05秒間待機した後、次のステップS204の処理へ進む。
【0076】
ここで、同期処理部153は、待機中の音入力部155のプリアンプのゲインを下げるか0に設定する。或いは、音入力部155が出力する外部音の音声データを記録処理部153に出力する際に無音データに置き換える。
【0077】
(ステップS204)制御部103の記録処理部152は、音入力部155を介してマイク110から入力する外部音の録音を開始する。例えば、同期処理部153は、音入力部155のプリアンプのゲインを正常に戻す。或いは、先に説明したように、無音データに強制的に置き換える処理を行っていた場合は、無音データへの置き換えを中止して、音入力部155が出力する外部音の音声データを記録処理部153に出力する。
【0078】
以降、ステップS110でレリーズボタン106bが全押しされるまで、記録処理部152は、撮像素子103から入力して画像処理部151でデジタルデータに変換された動画像データと、マイク110から入力する音声データとをメモリカード104に記録する。尚、動画像と音声は、同一のファイルで動画音声情報としてメモリカード104に記録してもよいし、動画像と音声とを別々のファイルとしてメモリカード104に記録してもよい。この場合は、動画像ファイルと音声ファイルとを関連付け易いように、ファイル名に同じ記号を付加するなどの工夫をするのが好ましい。
【0079】
尚、本実施形態においても、第1実施形態と同様に録音機200でもカメラ100で動画像の撮影中の外部音の録音を行っているので、図7のステップS108でスピーカ112から発生する同期音が録音機200のメモリカード202に記録される。
【0080】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されている同期画像の位置と、メモリカード202に記録されている同期音が記録された位置とを合わせるだけで容易にカメラ100の動画像と録音機200で高音質に録音された音とを同期させることができる。
【0081】
また、本実施形態では、カメラ100で記録される音声データに同期音が記録されるので、撮影後にパソコンなどでメモリカード104に記録されている動画像を読み出す際に、動画像に付加されている音声データも読み出し、同期音データが記録されている時間位置と、録音機200でメモリカード202に録音された同期音の時間位置とを合わせることにより、別の機材で記録された動画像と音の同期を精度良く合わせることができる。
【0082】
尚、この場合は、ステップS202で動画像のフレームを同期画像に置き換える処理を行わなくても、同期音だけでカメラ100でメモリカード104に記録される動画像と、録音機200でメモリカード202に記録される音との同期を合わせることができる。
【0083】
特に、本実施形態では、同期音を記録する前後の音声データを所定時間だけ無音にしているので、撮影後の編集時に同期音の検出を容易に行うことができる。
【0084】
(第3実施形態)
第1実施形態および第2実施形態では、同期画像データが挿入されるまでの時間に不要な動画像データがメモリカード104に記録されてしまうが、本実施形態ではプリレック機能を用いて、不要な動画像データが記録されないようになっている。尚、第3実施形態に係るカメラ100の構成は、図1および図2で説明したものと同じである。
【0085】
プリレック機能とは、レリーズボタン106bが押下される前から所定時間(例えば5秒間など)の動画像をバッファに繰り返し記録し、レリーズボタン106bが押下された時に、レリーズボタン106bが押下される数秒前(例えば2秒前)からの動画像を撮影画像としてメモリカード104に記録する機能である。つまり、最新の5秒間の動画像データが常にバッファに取り込まれている。例えば図2のカメラ100の場合は、制御部103の画像処理部151の内部にプリレック用のバッファを設けて、所定時間の動画像データを繰り返し記録する。或いは、記録処理部152の内部にプリレック用のバッファを設けても構わない。尚、通常の撮影においても画像処理用のバッファを有しているので、これらのバッファを大き目の容量にすることで対応可能である。
【0086】
特に、本実施形態に係るカメラ100は、プリレック期間に先の実施形態で説明したような同期音をスピーカ112から定期的(例えば1秒毎)に発生させ、同時に動画像データのフレームに置き換えて同期画像データをバッファに記録する。これにより、レリーズボタン106bが押下される直前の同期画像(つまり最後に記録された同期画像)以降の動画像データをメモリカード104に記録することにより、同期画像より前の不要な動画像撮影を行う必要がなくなり、メモリカード104の記憶容量を削減することができる。また、レリーズボタン106bが押下される前から記録を行っているので、押下されてから実際に動画像データの記録を開始するまでのタイムラグを前述の実施形態の場合より少なくすることができ、同期画像データに連続して被写体の画像データの記録を開始することができる。例えば、前述の実施形態では、レリーズボタン106bのS2(全押し)を離した後に、「カチンコ」の同期画像データを挿入し、実際の主要被写体の撮影画像の記録に移行するようになっていたが、本実施形態では、「カチンコ」の同期画像データを挿入するタイミングをレリーズボタン106bのS2(全押し)を離す直前とすることができ、S2を離した直後から実際の主要被写体の撮影記録を開始できるので、タイムラグが少なくなる。
【0087】
このように、本実施形態に係るカメラ100は、レリーズボタン106bが与えられる時点よりも前のプリレック期間に、同期処理部153がスピーカ112から同期音210を発する点が先の実施形態とは異なる。
【0088】
以下、第3実施形態に係るカメラ100のプリレック機能を有する場合の「同期動画撮影モード」における処理の流れについて、図8のフローチャートに従って順番に説明する。
【0089】
(ステップS301)制御部103は、ステップS102と同様に、常時AF動作を開始する。
【0090】
(ステップS302)制御部103の画像処理部151は、ステップS107と同様に、動画像の記録を開始するが、プリレック部分なのでメモリカード104ではなく先に説明したプリレック用のバッファへの取り込みを行う。
【0091】
(ステップS303)制御部103の同期処理部153は、ステップS108と同様に、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像データを挿入して、プリレック用のバッファに動画像の画像フレームとして記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。尚、同期音210は、ブザー音やチャイム音などの電子音でもよいし、周囲の人にわかり易いように「スタート」や「開始」など人間の音声でもよい。
【0092】
(ステップS304)制御部103の同期処理部153は、所定時間(ここでは1秒)が経過するまで待機する。尚、制御部103は、内部に時計機能を有する。
【0093】
(ステップS305)制御部103は、撮影者がレリーズボタン106bを全押ししているか否かを判別し(S2:ON)、全押しされた場合はステップS306に進み、全押ししていない場合はステップS303に戻ってプリレック動作を継続する。
【0094】
(ステップS306)制御部103の記録処理部152は、プリレック用のバッファに記録された動画像データの最後の同期画像データ以降の画像フレームを撮影した動画像データとしてメモリカード104への記録を開始する。同時に、録音機200での録音が失敗した場合に備えて、カメラ100に内蔵のマイク110から入力するアナログの音声信号を音入力部155でA/D変換した音声データを動画像データと共にメモリカード104に記録する。
【0095】
(ステップS307)制御部103は、ステップS110と同様に、撮影者がレリーズボタン106bを全押ししたか否かを判別し(S2:ON)、全押しされた場合はステップS308に進み、全押しされるまで動画像の撮影を継続する。
【0096】
(ステップS308)制御部103は、ステップS111と同様に、撮像素子102から入力して画像処理部151でデジタルデータに変換された動画像データのメモリカード104への記録を終了する。
【0097】
(ステップS309)制御部103は、常時AF動作を終了する。
【0098】
尚、カメラ100での動画像撮影の終了に合わせて適宜、撮影者は、録音機200によるメモリカード202への外部音データの記録も終了させるものとする。
【0099】
このようにして、図4に示すような同期画像201のフレーム303aが挿入された動画像データがカメラ100のメモリカード104に記録されると共に、カメラ100のスピーカ112から発せられるアナログの同期音が録音機200のステレオマイク201aおよび201bで入力されA/D変換された音声データがメモリカード202に記録される。特に、本実施形態では、図4の同期画像201に置換されたフレーム303aより前のフレーム301および302はメモリカード104に記録されないので、メモリカード104の記憶容量を有効に利用することができる。また、プリレック機能によってレリーズボタン106bが押下されてから実際に動画像データの記録を開始するまでのタイムラグを少なくすることができ、同期画像データに連続して被写体の画像データの記録を開始することができる。
【0100】
尚、プリレック機能が無いカメラでも、実際に撮像素子102で被写体を撮影した画像データではなく、例えばレリーズボタン106bの押下前からダミー画像データを記録するようにしてダミー画像データの中に周期的に同期画像データを挿入すると共に同期音をスピーカーから発生するようにしてもよい。
【0101】
また、周期的に発生する同期音は、識別し易いように交互に音色を変えても構わない。
【0102】
さらに、本実施形態においても、第1実施形態および第2実施形態と同様に、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されているフレーム303aの時間位置と、メモリカード202に記録されている同期音データが記録された音211の位置とを合わせるだけで容易にフレーム304以降の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。
【0103】
(第4実施形態)
先に説明した各実施形態では、カメラ100のスピーカ112から発生させる同期音の音圧については詳細に説明しなかったが、カメラ100や録音機200の周囲の雑音が大きい場合には、録音機200のマイク201aおよび201bから取り込まれてメモリカード202に記録される同期音データが雑音に埋もれて判別しにくくなる可能性がある。そこで、本実施形態では、周囲の雑音の音圧を計測して雑音の音圧に応じてスピーカ112から発生させるアナログの同期音の音圧を変化するようになっている。例えば、雑音の音圧が小さい場合はスピーカ112から発生させるアナログの同期音の音圧も小さくし、雑音の音圧が大きい場合はスピーカ112から発生させるアナログの同期音の音圧も大きくする。
【0104】
図9は、本実施形態に係るカメラ100aの構成を示すブロック図である。尚、図2のカメラ100と同符号のものは同じものを示す。図9では、図2の構成に音圧制御部156が追加されている。
【0105】
音圧制御部156は、マイク110から入力するアナログの外部音を音入力部155でA/D変換した外部音データの音圧を計測する。そして、計測した音圧に応じてスピーカ112から発生させるアナログの同期音の音圧を変化させる。尚、同期音を発生していない時に外部音の音圧を測定するものとするが、同期音を発生中に外部音の音圧を測定する場合は、予め同期音の周波数帯域を求めておき、マイク110から入力する音声信号から同期音の周波数帯域を除去するフィルタリングを行うようにしても構わない。尚、フィルタリングは、アナログの音声信号で行ってもよいし、デジタルの音声データに対してデジタル処理で行ってもよい。
【0106】
そして、音圧制御部156は、マイク110から入力して音入力部155でA/D変換された外部音データの音圧が所定値以上か未満かによってスピーカ112から発生させる同期音の音圧を二段階に変化させる。或いは、複数の所定値を設定して多段階に変化させても構わないし、マイク110から入力して音入力部155でA/D変換された外部音データの大きさに比例して無段階にスピーカ112から発生させる同期音の音圧を変化させても構わない。尚、音圧の調整は、例えば音出力部154のアンプのゲインを可変することによって実現できる。
【0107】
これにより、外部音が大きいときは同期音も大きくなるので、録音機200のメモリカード202に記録された音声から同期音を容易に識別することができる。特に、外部音が小さいときは同期音も小さくなるので、博物館など静かな環境の中で撮影する場合でも周囲の人に迷惑を掛けることなく撮影できる。
【0108】
尚、外部音の音圧に応じて同期音の音色やメロディーなどを変えるようにしても構わない。例えば外部音が大きい場合は衝撃音などわかり易い音を同期音として用い、外部音が小さい場合はチャイム音など環境に違和感を与えない音を同期音として用いてもよい。
【0109】
以下、第4実施形態に係るカメラ100aの「同期動画撮影モード」における処理の流れについて、図10のフローチャートに従って順番に説明する。尚、図10において、図3のフローチャートと同じ処理ステップ番号は同じものを示す。図3と異なる処理はステップS401,S402,S403およびS404である。
【0110】
図10において、ステップS101からステップS107までの処理は図3と同じである。そして、ステップS108の処理を実行する前に次の一連の処理を実行する。尚、音出力部154がスピーカ112から出力する音圧はデフォルト値に設定されているものとする。
【0111】
(ステップS401)制御部103の音圧制御部156は、音入力部155を介してマイク110から入力して音入力部155でA/D変換された外部音データの音圧を測定する。尚、音圧の測定は、例えばマイク110から入力して音入力部155でA/D変換された外部音データの二乗平均値を求める。或いは、周波数帯域を制限したり、dB(デシベル)に変換しても構わない。
【0112】
(ステップS402)制御部103の音圧制御部156は、ステップS401で計測した音圧が予め設定された所定値以上であるか否かを判別する。そして、所定値以上である場合はステップS403に進み、所定値未満である場合はステップS404に進む。
【0113】
(ステップS403)制御部103の音圧制御部156は、スピーカ112から発生させる同期音の音圧をデフォルト値より大きくする。例えば2倍にする。
【0114】
(ステップS404)制御部103の音圧制御部156は、スピーカ112から発生させる同期音の音圧をデフォルト値より小さくする。例えば1/2倍にする。
【0115】
以降、ステップS108において、制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像を挿入して記録処理部152に出力し、メモリカード104に動画像の画像フレームとして記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。
【0116】
或いは、ステップS108の代わりに、第2実施形態のステップS202を実行し、制御部103の同期処理部153は、メモリ111から読み出した同期音(またはこの同期音とは異なる第2同期音)データをメモリカード104に記録するようにしても構わない。
【0117】
そして、ステップS109以降、レリーズボタン106bが全押しされるまで、記録処理部152は、撮像素子103から入力して画像処理部151でデジタルデータに変換された動画像データと、マイク110から入力する音声データとをメモリカード104に記録する。
【0118】
尚、本実施形態においても、第1実施形態と同様に録音機200でもカメラ100で動画像撮影中の外部音の録音を行っているので、図10のステップS108でスピーカ112から発生する同期音が録音機200のメモリカード202に記録される。
【0119】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアで読み込ませて、メモリカード104に記録されている同期画像データの位置と、メモリカード202に記録されている同期音データが記録された位置とを合わせるだけで容易にカメラ100の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。
【0120】
特に、本実施形態では、スピーカ112から発生する同期音の音圧を外部音の大きさに応じて変化させるので、編集時に同期位置の識別が容易になる。
【0121】
(第5実施形態)
先に説明した第1実施形態から第4実施形態では、わかり易いように同期画像データの挿入を1つの画像フレーム分だけ行うものとして説明したが、例えばMPEG規格では、複数フレーム単位で撮像素子が出力する動画像用の撮像信号を圧縮して動画像データを作成するため、画像フレーム単位の途中に同期画像などの異なる画像を挿入したり置き換えることが難しい場合がある。これは、画像フレーム毎に画像圧縮処理が完結しているわけではなく、時間的に前後する画像フレームの情報を利用して画像圧縮処理を行っているため、撮影画像と全く相関が無い同期画像を挿入した場合、画像圧縮処理を正常に行うことができなくなるからである。例えば、動画像のフレーム毎に圧縮処理が完結しているMotion−JPEG規格などによる動画像の撮影では、発生する同期音のタイミングに近接するM−JPEGのフレーム位置の動画像フレームを同期画像のフレームに置き換えて記録しても、画像圧縮処理には影響を与えず、再生や編集も行うことができる。ところが、図11に示すようなMPEG規格による画像圧縮処理を行っている場合、GOP(Group Of Picture)と呼ばれる15フレーム単位で画像圧縮処理が行われる。例えば、図11において、各GOP単位の先頭のI(Intra−COaded Frame)フレームはJPEGなどと同じように1フレームで完結した圧縮処理が行われているが、次のB(Bidirectiional Predicted Frame)フレームやP(Predicted Frame)フレームは、前後するフレームの画像を参照して差分値や動きベクトルなどによる圧縮処理が行われているため、いずれかのフレームの情報が欠落すると正常に画像を復元できないという問題が生じる。
【0122】
そこで、本実施形態では、先に説明した第1実施形態から第4実施形態において、MPEG規格など撮像する動画像データを所定フレーム数の処理ブロック単位でフレーム相関による圧縮を行って動画像データを記録する場合に対応する。
【0123】
例えば第1実施形態の図3のフローチャートのステップS108、第2実施形態の図7のフローチャートのステップS202、第3実施形態の図8のフローチャートのステップS303および第4実施形態の図10のフローチャートのステップS108(S202)において、図11に示すような処理を実行する。図11は、横軸の紙面左側から右側に時間軸を取り、タイミングT1からT2が1つの動画像圧縮処理のためのブロック単位(GOP)で撮像素子102から入力するフレーム401から415の15フレームで構成される。同様に、タイミングT2からT3までの区間は次の15フレームで構成される。本実施形態に係る電子カメラ100では、同期処理部153は、同期画像データをタイミングT2からT3までの15フレームの区間で撮像素子103によって撮影される動画像データに置き換えて同期画像201のフレーム416から430までの15フレームを挿入する。そして、同期処理部153は、同期画像201の15フレームの動画像データを画像処理部151が撮影画像に対して行う画像圧縮方法と同じ方法で画像圧縮し、記録処理部152を介してメモリカード104に記憶する。尚、この場合、同期処理部153は、静止した同期画像201の画像データを15フレームを画像圧縮処理して挿入してもよいが、図6で説明したような動きのある15フレームの同期画像データを画像圧縮処理して挿入してもよい。
【0124】
並行して、タイミングT1において、同期処理部153は、音出力部154を介してスピーカ112から同期音210を発生する。尚、発生する同期音210はタイミングT1から1フレーム期間や1フレーム以下の時間でもよいし、同期音210bのようにタイミングT1からT3までの15フレームの全期間に亘って出力してもよい。
【0125】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されている同期画像201の開始位置(タイミングT2)と、メモリカード202に記録されている同期音210が記録された開始位置(タイミングT2)とを容易に合わせることができ、カメラ100の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。
【0126】
尚、先の実施形態と同様に、電子カメラ100の制御部103は、一連の同期画像のフレーム416から430を撮影時にメモリカード104に記録するのではなく、撮影時にはGOPの位置情報やフレーム情報を動画像ファイルのヘッダ情報としてメモリカード104に記憶しておき、撮影後にメモリカード104から読み出して同期画像を挿入するようにしても構わない。これにより、撮影時の制御部103の処理負荷を減らすことができる。
【0127】
以上、各実施形態で説明してきたように、各実施形態に係るカメラ100は、従来の「カチンコ」を用いて撮影する場合の様々な問題を解決できる。例えば、シャッター速度が十分に速くない場合でも「カチンコ」が閉じた瞬間が分かり易くなる。また、動画像のフレームレートが低い場合でも別機材で録音する音声との同期の誤差が少なくなる。
【0128】
さらに、1人で操作する場合でも、従来は「カチンコ」または被写体のどちらかがぼけて撮影されてしまうという問題があったが本実施形態では予め準備された「カチンコ」画像を用いるので、被写体からフォーカスがずれることなく「カチンコ」画像を挿入することができる。
【0129】
また、MPEG規格などフレーム単位での「カチンコ」画像の挿入が難しい動画圧縮処理を用いる場合でも画像圧縮の処理単位で同期音を発生させて「カチンコ」画像を挿入するので、音声の再生開始位置と動画像の撮影開始位置を正確に合わせることができる。
【0130】
このように、本実施形態に係るカメラ100は、動画撮影された画像と、対応する音声とを精度良く同期させることができる。同様に、カメラ100で動画撮影を行う動画撮影方法や、制御部103のCPUで実行する動画撮影プログラムにおいても同様の効果が得られる。
【0131】
尚、上述した各実施形態であるカメラ100の一部、例えば、制御部103の機能をコンピュータで実現できるようにしてもよい。この場合、その制御機能を実現するための制御プログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記録媒体に記録された制御プログラムをコンピュータに読み込ませ、実行することによって実現してもよい。
【0132】
ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカードなどの可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。
【0133】
さらに「コンピュータ読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラム保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せにより実現するものであってもよい。
【0134】
以上、本発明に係るカメラについて、実施例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【0135】
100,100a…カメラ;101…レンズ;102…撮像素子;103…制御部;104…メモリカード;105…表示部;106…操作部;106a…電源ボタン;106b…レリーズボタン;106c…モード選択ボタン;106d…ズームボタン(ワイド);106e…ズームボタン(テレ);107…電源;108…駆動部;108a…AFモータ;108b…ズームモータ;109…補助光源;110…マイク;111…メモリ;112…スピーカ;113…測位部;114…計時部;151…画像処理部;152…記録処理部;153…同期処理部;154…音出力部;155…音入力部;156…音圧制御部;200…録音機;201a,201b…マイク;202…メモリカード;250…パソコン
【技術分野】
【0001】
本発明は、動画撮影された画像と音声を同期再生するための技術に関する。
【背景技術】
【0002】
従来のカメラでは、動画撮影時の音声を内蔵マイクで拾う場合、ズームレンズやフォーカスレンズの駆動音が記録され易いため、外部マイクの使用や高音質で記録できる別機材による音声記録などが行われている。ところが、音声と動画像をそれぞれ別の機材で記録した後で編集する場合、音声と動画像の同期を取る必要があり、撮影時に「カチンコ」と呼ばれる拍子木のような音を出す道具が用いられる。例えば、「カチンコ」を閉じて音を出す時の動画像と音声をそれぞれ別の機材で記録し、撮影終了後に、記録された動画像のフレームの中で「カチンコ」が閉じた瞬間の画像が撮影されているフレーム位置と、記録された音声の中で「カチンコ」が閉じた時の音が記録されている位置とを一致させてそれぞれの機材で再生を開始することにより、動画像と音声の同期を取ることができる。このように、画像を記録する機材では動画像の中にタイミングを取るための特定画像を記録し、音声を記録する機材ではその特定画像に起因する音を記録することで動画像と音声の同期を取っていた。
【0003】
一方で、動画像中に特定画像を挿入する技術として、映像に特殊効果を与える目的で特定画像や特定音声を合成したり置換する方法が考えられている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平05−336488号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、「カチンコ」を用いて撮影するには様々な問題がある。例えば、シャッター速度が十分に速くない場合は「カチンコ」が閉じた瞬間が分かりにくい。また、動画像のフレームレートが低い場合は別機材で録音する音声との同期の誤差が大きくなる。
【0006】
特に、「カチンコ」を持ち歩く必要があり、且つカメラとカチンコの両方を同時に操作する必要があり、1人での撮影は難しい。さらに、1人で操作する場合はカメラの近くで「カチンコ」を操作することになり、「カチンコ」と被写体との距離の差が大きいため「カチンコ」または被写体のどちらかがぼけて撮影されてしまうという問題がある。例えばオートフォーカスの場合は、一時的に「カチンコ」にフォーカスが合ってしまい、「カチンコ」を画角外に退けた直後は被写体にフォーカスが合うまでに時間が掛かるという問題がある。
【0007】
また、MPEG規格などで動画像を撮影する場合、フレーム間相関を利用してGOP(Group Of Picture)と呼ばれる複数フレーム単位で動画像を圧縮して記録するので、「カチンコ」が閉じる位置が必ずしもGOP単位の先頭に位置するとは限らない。ところが、簡便な編集装置ではGOP単位の編集しか対応できない場合もあり、音声の再生開始位置と動画像の撮影開始位置のフレームとを正確に合わせることができないという問題がある。
【0008】
本発明の目的は、動画撮影された画像と、対応する音声を精度良く同期させることができるカメラおよび動画撮影プログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明に係るカメラは、被写体像を撮像し、撮像信号を出力する撮像部と、記録開始指示に基づいて前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、前記記録開始指示に基づいて第1識別音を発する音発生部と、前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御部とを有することを特徴とする。
【0010】
また、本発明に係るカメラは、被写体像を撮像し、撮像信号を出力する撮像部と、記録開始指示が与えられる時点を含む期間において、前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生部と、前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御部とを有することを特徴とする。
【0011】
本発明に係る動画撮影プログラムは、被写体像を撮像し、撮像信号を出力する撮像処理と、記録開始指示に基づいて前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、前記記録開始指示に基づいて第1識別音を発する音発生処理と、前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御処理とをコンピュータに実行させることを特徴とする。
【0012】
また、本発明に係る動画撮影プログラムは、被写体像を撮像し、撮像信号を出力する撮像処理と、記録開始指示が与えられる時点を含む期間において、前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生処理と、前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【0013】
本発明に係るカメラおよび動画撮影プログラムは、動画撮影された画像と、対応する音声を精度良く同期させることができる。
【図面の簡単な説明】
【0014】
【図1】第1実施形態に係るカメラ100の使用例を示す全体図である。
【図2】第1実施形態に係るカメラ100の構成を示すブロック図である。
【図3】第1実施形態に係るカメラ100の「同期動画撮影モード」の処理を示すフローチャートである。
【図4】同期画像の挿入と同期音の発生の様子を示す説明図である。
【図5】同期画像の一例を示す説明図である。
【図6】動きのある同期画像の一例を示す説明図である。
【図7】第2実施形態に係るカメラ100の「同期動画撮影モード」の処理を示すフローチャートである。
【図8】第3実施形態に係るカメラ100の「同期動画撮影モード」の処理を示すフローチャートである。
【図9】第4実施形態に係るカメラ100aの構成を示すブロック図である。
【図10】第4実施形態に係るカメラ100aの「同期動画撮影モード」の処理を示すフローチャートである。
【図11】第5実施形態におけるフレーム相関を用いた画像圧縮処理で動画像を撮影する場合の同期画像の挿入例を示す説明図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明に係るカメラおよび動画撮影プログラムについて詳しく説明する。尚、以降で説明するカメラ100は、本発明に係る動画撮影プログラムを含んでいる。
【0016】
(第1実施形態)
図1は、撮影時に使用する機材を描いた図で、本実施形態に係るカメラ100と、カメラ100とは別機材の独立した録音機200とを使用して撮影を行う。カメラ100は、レンズ101で撮影した画像をメモリカード104に記録する。一方、録音機200は、マイク201a,201bから入力する音をメモリカード202に記録する。そして撮影後に、メモリカード104に記録された動画像と、メモリカード202に記録された音声とをパソコン250などの編集機器で読み出して同期させるための編集を行う。尚、図1において、カメラ100の各部については図2で説明する。
【0017】
図2は、本実施形態に係るカメラ100の構成を示すブロック図である。カメラ100は、レンズ101と、撮像素子102と、制御部103と、メモリカード104と、表示部105と、操作部106と、電源107と、駆動部108と、補助光源109と、マイク110と、メモリ111と、スピーカ112と、測位部113と、計時部114とで構成される。
【0018】
レンズ101は、ズームレンズやフォーカスレンズなどで構成され、AFモータ108aおよびズームモータ108bによってズーム位置やフォーカス位置を調整する。
【0019】
撮像素子102は、CCD型やCMOS型の固体撮像素子で構成され、レンズ101を介して入射する被写体像を画像信号に変換して制御部103に出力する。尚、本実施形態では、撮像素子102から出力される画像信号はアナログの画像信号で、制御部103内部でデジタルの画像データにA/D変換されるものとするが、撮像素子102内部でA/D変換してデジタルの画像データを出力するようにしてもよい。
【0020】
制御部103は、予め内部に記憶されたプログラムに従って動作するCPUで構成され、そのプラグラムに沿ったカメラ100全体の動作の制御、各種演算をするエンジンである。ここで、CPUが実行するプログラムを記憶媒体に記憶して、パソコンなど他のコンピュータにインストールすることにより、以降で説明する画像処理と同様の処理をコンピュータで実行することができる。
【0021】
メモリカード104は、不揮発性のメモリなどで構成される着脱可能な記憶媒体で、制御部103が出力する撮影された画像データや音声データなどを記録する。
【0022】
表示部105は、液晶表示デバイスなどで構成され、制御部103が出力する画像やメニュー画面を表示する。
【0023】
操作部106は、電源ボタン106a,レリーズボタン106b,モード選択ボタン106c,ズームボタン106d(ワイド)およびズームボタン106e(テレ)などの操作部材で構成され、操作情報は制御部103に入力される。尚、レリーズボタン106bは、スイッチS1とスイッチS2とで構成され、レリーズボタン106bを半押しするとスイッチS1が閉じ、全押しするとスイッチS2が閉じる仕組みになっている。
【0024】
電源107は、バッテリやON/OFFスイッチなどで構成され、電源がOFFの状態で電源ボタン106aが押下されるとカメラ100の各部へ電源の供給を行い、電源がONの状態で電源ボタン106bが押下されるとカメラ100の各部への電源供給を停止する。
【0025】
駆動部108は、制御部103の指令に応じてAFモータ108aおよびズームモータ108bを駆動し、レンズ101のズームレンズやフォーカスレンズの位置を調整する。
【0026】
補助光源109は、キセノンランプなどで構成され、被写体の露出が不足している場合や撮影者の設定により、被写体に光を照射するための光源で、制御部103によって照射タイミングや照射量が制御される。
【0027】
マイク110は、外部音を取り込むためのマイクロホンで、制御部103に音声信号を出力する。尚、本実施形態では、マイク110から出力される音声信号はアナログの音声信号で、制御部103内部でデジタルの音声データにA/D変換されるものとするが、マイク110内部でA/D変換されたデジタルの音声データであってもよい。
【0028】
メモリ111は、カメラ100に内蔵されるメモリで、不揮発性のメモリなどで構成される。例えば撮影モードの設定値や撮影画像の解像度など、制御部103が動作するためのパラメータなどが記憶される。特に本実施形態に係るカメラ100の場合は、カメラ100で撮影される動画像と、別機材で録音される音とを同期させる時刻を示す(動画像中の位置を示す)特定の同期画像に対応する同期用画像情報および同期音に対応する同期用音情報の少なくとも一方の情報が予め記憶されている。
【0029】
スピーカ112は、制御部103が出力するアナログの音声信号を空気振動に変換するトランスデューサである。尚、制御部103が出力するアナログの音声信号は、制御部103内部で同期音情報をD/A変換した音声信号で、スピーカ112は入力される音声信号に対応する空気振動に変換する。
【0030】
測位部113は、GPS(Global Positioning System)の衛星からの電波を受信し、受信した電波に応じて地球上におけるカメラ100の地理的位置(経度・緯度)を演算し、演算した緯度・経度などの位置情報を制御部103に出力する。
【0031】
計時部114は、時計ICなどで構成され、日時情報を制御部103に出力する。
【0032】
次に、制御部103の構成について説明する。制御部103は、画像処理部151と、記録処理部152と、同期処理部153と、音出力部154と、音入力部155とで構成される。
【0033】
画像処理部151は、撮像素子102から入力されたアナログ画像信号をA/D変換して対応するデジタルの画像データを出力し、ホワイトバランス処理,色補間処理,ガンマ変換処理などを行う。また、静止画撮影モードの場合はJPEG圧縮方式で画像圧縮処理を行い、動画撮影モード(後述する通常動画撮影モードおよび同期動画撮影モードを含む)の場合はM−JPEG(Motion−JPEG)圧縮方式やMPEG圧縮方式で画像処理を行う。尚、画像処理部151は撮像素子102が出力するアナログ画像信号をA/D変換し対応するデジタルの画像データを取り込み、様々な画像処理を行うための画像バッファを有するものとする。
【0034】
記録処理部152は、画像処理部151が処理した後の静止画像情報や動画像情報をメモリカード104に記憶する。尚、モード選択ボタン106cで「通常動画撮影モード(内蔵マイク撮影モード)」が選択されている場合は、内蔵のマイク110で外部音を取得して音入力部155でA/D変換された音声データを動画像データと共にメモリカード104に記憶する。特に本実施形態に係るカメラ100では、モード選択ボタン106cで以下の3つのモードを選択する。尚、これらのモード判定は制御部103が行い、制御部103は、操作部106から入力するモード選択ボタン106cの操作情報を判定してそれぞれのモードに応じた処理を実行する。
(1)静止画撮影モード
(2)通常動画撮影モード
(3)同期動画撮影モード
尚、(1)および(2)は、一般的なカメラと同様に静止画撮影または動画撮影を行う撮影モードである。特に本実施形態では、「同期動画撮影モード(別機材で録音するモード)」が選択されている場合、同期処理部153は、撮影されデジタルデータに変換された動画像データに所定のタイミングで同期画像データを挿入し、メモリカード104に記憶する。或いは、同期画像データではなく同期音データをメモリカード104に記憶する。
【0035】
同期処理部153は、「同期動画撮影モード」が選択されている場合に、レリーズボタン106bの操作に応じて、撮影開始時にメモリ111に予め記憶されている同期画像データを動画像データに挿入したり、同期音データを撮影する動画像の音声データとしてメモリカード104に記録する。ここで、同期画像データおよび同期音データの少なくとも一方がメモリカード104に記憶されればよい。
【0036】
音出力部154は、メモリ111から読み出した同期音データを動画像データに同期画像データを挿入タイミングに合わせてスピーカ112から出力する。尚、音出力部154は、D/A変換回路や出力アンプを含むものとする。尚、出力アンプは、スピーカ112を駆動して出力する音の大きさを調整するためのアンプである。また、メモリ111に複数の種類の同期音データを記憶しておき、例えば第1同期音をスピーカ112から出力し、第1同期音とは異なる第2同期音を同期処理部153がメモリカード104に記録するようにしても構わない。
【0037】
音入力部155は、マイク110からアナログ信号で入力する外部音をデジタルの音声データにA/D変換し、WAV方式やMPEG圧縮方式などによる音声処理を行い、記録処理部152に出力する。尚、音入力部155はプリアンプやA/D変換回路を含むものとする。尚、プリアンプは、入力するアナログの音声信号をA/D変換に適した大きさの信号にするためのアンプである。
【0038】
以上説明したように、本実施形態に係るカメラ100は構成される。次に、図1で説明したように、カメラ100で動画像を撮影し、且つ録音機200で例えば高音質なステレオ録音を行う場合のカメラ100側の処理について図3のフローチャートを用いて説明する。尚、図3のフローチャートは、制御部103によって実行される処理である。特に制御部103は、先に説明したように、予め内部に記憶されたプログラムに従って動作するCPUで構成されるので、図3のフローチャートは、請求項に記載のコンピュータで実行可能なプログラムに相当する処理である。
【0039】
尚、カメラ100は、電源ボタン106aがONされて起動済みの状態にあり、且つモード選択ボタン106cで「同期動画撮影モード」が選択され、撮像素子102で撮影される画像がスルー画像として表示部105に表示されいる状態にあるものとする。撮影者は、表示部105に表示される被写体画像を確認しながら撮影構図などを決めて動画撮影を開始することができる。尚、レリーズボタン106bは、二段階スイッチになっており、半押しすればスイッチS1が閉じて制御部103はAF(オートフォーカス)動作を開始し、さらに全押しすればスイッチS2が閉じて(S2:ON)、その後、レリーズボタン106bが離されスイッチS2が開く(S2:OFF)と、制御部103は動画像の記録を開始させる。ここで、スイッチS2を閉じその後開く操作(S2をONからOFFとする操作)は記録開始指示に対応する。
【0040】
以下、図3のフローチャートに従って順番に説明する。尚、図3のフローチャートは「同期動画撮影モード」における処理の流れを示している。
【0041】
(ステップS101)制御部103は、撮影者がレリーズボタン106bを半押しされたか否かを判別し(S1:ON)、半押ししていない場合は半押しされるまで待機する。
【0042】
(ステップS102)制御部103は、常時AF動作(フォーカスのズレを逐次修正してフォーカスを合わせる動作)を開始する。尚、常時AF動作は所定のフォーカスエリアの被写体に遂次ピントを合わせるためのフォーカス調整で、レリーズボタン106bを半押し中に常時AF動作を行う。
【0043】
ここで、仮に従来のように「カチンコ」の実物を撮影する場合は、この時点で「カチンコ」がカメラ100とフォーカスエリア内の主要被写体との間に位置し、「カチンコ」がフォーカスエリア内に位置する場合は、「カチンコ」をピント合わせの対象物としてフォーカスを合わせてしまうため、「カチンコ」を画面から外した時に主要被写体にフォーカスが合うまでのタイムラグが生じてしまうという問題が生じる。しかしながら、本実施形態では実物の「カチンコ」使用しないので主要被写体に常にフォーカスを合わせることができる。
【0044】
(ステップS103)制御部103は、撮影者がレリーズボタン106bを全押ししたか否かを判別し(S2:ON)、全押しした場合はステップS106に進み、全押しされていない場合はステップS104に進む。
【0045】
(ステップS104)制御部103は、撮影者がレリーズボタン106bを半押ししているか否かを判別し(S1:ON)、半押ししていない場合はステップS105に進み、半押しされている場合はステップS103に戻って全押しされるまで待機する。
【0046】
(ステップS105)制御部103は、常時AF動作を終了する。
【0047】
(ステップS106)制御部103は、撮影者がレリーズボタン106bを全押しした後、レリーズボタン106bから指を離したか否かを判別し(S2:ONからOFFとされたか否かを判別し)、全押し中ではなくなった場合はステップS107に進み、全押し中の場合はステップS106で待機する。尚、ここでは全押し後にレリーズボタン106bから指を離さずに半押し状態になることはないものとする。
【0048】
(ステップS107)制御部103の画像処理部151は、撮像素子102から入力されるアナログの動画像信号をデジタルの動画像データに変換し、所定の画像処理(ホワイトバランス処理など)を行った後、処理後の動画像データを同期処理部153に出力する。そして、同期処理部153は、動画像データをフレーム順に記録処理部152を介してメモリカード104に記録する。
【0049】
ここで、ステップS107時点でカメラ100でメモリカード104に記録される動画像データと、録音機200でメモリカード202に記憶される音声データと、カメラ100のスピーカ112から発せられる同期音との時間的な関係を図4に示す。図4は、紙面の左側から右側に向けて時間軸を取り、図3のステップS107が実行された時点以降の様子を描いた図である。ステップS107からS108が実行されるまでの区間は、撮像素子102で撮影されデジタルデータに変換された動画像データのフレーム301およびフレーム302の1フレームを構成する動画像データがフレーム順に記録画像としてメモリカード104に記憶される。尚、先に説明したように、録音機200によるメモリカード202への記録はフレーム301の撮影時点から開始されているものとする。また、フレーム301およびフレーム302の撮影時は、スピーカ112からは何も出力されておらず無音状態である。
【0050】
(ステップS108)制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像データを挿入して記録処理部152に出力し、メモリカード104に動画像の画像フレームとして記録する。同時に、同期処理部153は、メモリ111から読み出した同期音210のデジタルデータを音出力部154でアナログ信号にD/A変換してスピーカ112から同期音210を発生する。尚、ステップS102でAF動作を開始しているので、この時点で被写体像に対するフォーカス調整は完了している。従って、従来のように、同期画像として用いる実物の「カチンコ」と主要被写体のいずれかにしかフォーカスが合わないという問題を解消できる。
【0051】
例えば図4の場合、ステップS108の時点で撮像素子102から入力して画像処理部151でデジタルデータに変換された画像フレーム303を同期画像201を含む画像フレーム303aに置き換える。同時に、同期処理部153は、メモリ111から同期音データを読み出して音出力部154でアナログの同期音の音声信号に変換後、スピーカ112に出力し、図4に示すように、スピーカ112から同期音210が発せられる。これにより、スピーカ112から発せられた同期音210は、近くの録音機200のステレオマイク201aおよび201bからアナログの音声信号で入力され、録音機200内部でデジタルの音声データに変換後、メモリカード202に記録される。例えば図4の場合は、同期画像201が動画像のフレームとしてメモリカード104に記憶されると同時にスピーカ112から発せられる同期音210が録音機200で外部音211と共に記録される。具体的には、画像フレーム303を同期画像201に置き換えたタイミングで、同期処理部153は同期音210の音声データをメモリ111から読み出して音出力部154でアナログの音声信号に変換してスピーカ112から出力する。そして、スピーカ112から出力された同期音112は空気振動で録音機200のステレオマイク201aおよび201bからアナログの音声信号として入力され、録音機200内部でデジタルの音声データに変換されてメモリカード202に記憶される。これにより、再生時に、録音機200のメモリカード202に録音された同期音210データの再生位置と、カメラ100のメモリカード104に記録された同期画像201データの再生位置とを容易に同期させることができる。
【0052】
(ステップS109)制御部103の画像処理部151は、再び撮像素子102から入力して画像処理部151でデジタルデータに変換された動画像データに所定の画像処理を行い、処理後の動画像データを同期処理部153に出力する。そして、同期処理部153は、動画像データをフレーム順に記録処理部152を介してメモリカード104に記録する。
【0053】
例えば図4の場合、ステップS109の時点で撮像素子102から入力する画像フレーム304および305は、同期画像201のフレームの後ろの画像フレームとしてメモリカード104に記録される。尚、この時点で、同期処理部153は、スピーカ112からの同期音210の音声信号の出力を停止して無音状態にあるので、録音機200でメモリカード202に記録される音は外部音211の音声データだけである。以降、撮影が継続される。
【0054】
(ステップS110)制御部103は、撮影者がレリーズボタン106bを全押ししたか否かを判別し(S2:ON)、全押しされた場合はステップS111に進み、全押しされるまで動画像の撮影を継続する。
【0055】
(ステップS111)制御部103は、撮像素子102から入力して画像処理部151でデジタルデータに変換された動画像データのメモリカード104への記録を終了する。
【0056】
(ステップS112)制御部103は、常時AF動作を終了する。
【0057】
尚、カメラ100での動画像の撮影の終了に合わせて適宜、撮影者は、録音機200でメモリカード202への外部音の記録も終了させるものとする。また、動画像の撮影記録期間を含み、それよりも長めに録音しておくものとする。
【0058】
このようにして、図4に示すような同期画像201のフレーム303aが挿入された動画像データがカメラ100のメモリカード104に記録されると共に、カメラ100のスピーカ112から発せられるアナログの同期音が録音機200のステレオマイク201aおよび201bでアナログの音声信号として入力され、A/D変換された同期音データがメモリカード202に記録される。
【0059】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されているフレーム303aの時間位置と、メモリカード202に記録されている同期音データが記録された音211の位置とを合わせるだけで容易にフレーム304以降の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。尚、同期音210は、識別が容易な1kHzの単一トーンや電話機のプッシュボタン音のようなデュアルトーンを用いる。或いは、識別が容易で且つ違和感が少ないメロディーを用いても構わない。
【0060】
例えばパソコンで動画編集する場合、カメラ100で撮影済みの動画像フレームをメモリカード104から読み出してモニタ画面に時系列順に表示し、同じ時間軸上に、録音機200で録音済みの音声データをメモリカード202から読み出して音声信号の波形を時間軸上に表示する。この場合、モニタ画面上には、例えば図4で説明したメモリカード104の記録画像と、メモリカード202の記録音の波形とが表示される。そして、例えばモニタ画面上の同期音210の時間軸上の位置と、同期画像201の時間軸上の位置とがずれている場合は、例えばパソコンのマウスで同期画像201の画像をドラッグして同期音210の位置に合わせる操作を行うことにより、同期合わせを行うことができる。そして、例えばモニタ画面上に再生確認ボタンを表示しておき、カーソルで再生確認ボタンを押下して動画像と再生音の確認をできるようにしても構わない。この場合、動画編集ソフトウェアは、モニタ画面上の時間軸に合わせてメモリカード104に記憶された動画像データを再生してモニタ画面に表示し、同じ時間軸でメモリカード202に記憶された音声データをアナログの音声信号に変換してパソコンのスピーカから出力する。
【0061】
このようにして、パソコン上で動画編集ソフトウェアを実行させて、マウスやキーボードなどのパソコンに備えられた操作部材、モニタ、スピーカ等を使って、同期合わせを行うことができる。
【0062】
ここで、同期画像の一例を図5に示す。図5(a)は、図4に示した映画などで用いられている「カチンコ」に似せた同期画像201の一例で、撮影日時と撮影場所の地理的位置(緯度・経度)が記載されている。尚、撮影日時は、制御部103が計時部114から入力する日時情報を用い、レリーズボタン106bの全押しが離されたタイミング(S2がONからOFFとされたタイミング)で計時部114から入力した日時情報を同期画像201に表示するのが好ましい。地図情報がメモリ111やメモリカード104に予め記憶されている場合は、測位部113が出力する緯度・経度情報を地名などの情報に変換して図5(b)のように同期画像201b内に表示するようにしても構わない。これにより、撮影日時や撮影場所の特定を容易に行うことができる。
【0063】
或いは、同期画像データを静止画データではなく動画像データのように複数のフレームで構成し、動きを持たせても構わない。例えば図6に示すように、「カチンコ」に似せた画像で音を打つためのバーが閉じる様子をアニメーションで表すようにしても構わない。図6の場合は、同期画像データはフレーム310から314の5つのフレームで構成され、最後のフレーム314の時間位置で同期音210がスピーカ112から出力される。このように、アニメーションで表示することにより、編集時に画面上で動画像を再生する際の視認性を高めることができる。
【0064】
(変形例1)
上記の第1実施形態では、同期画像201の画像データをフレーム303aとして挿入する場合について説明したが、撮影時はフレーム303をフレーム順にメモリカード104に記録するようにして、同期音210をスピーカ112から発する時点に近接する動画像フレームを特定可能な情報(例えばフレーム番号やタイムコードなどの情報)を動画像データに関連付けて記録しても構わない。例えば、ファイルのヘッダ情報などに記憶するようにしても構わない。また、例えば、同期音210をスピーカ112から発する時点の動画像フレームを特定可能な情報(例えばフレーム番号やタイムコードなどの情報)を動画ファイルとは別のファイル内にどの動画ファイルに対応する情報かを示す情報とともに記憶させても良い。例えば、図3のフローチャートにおいて、ステップS108の処理をステップS108aのように実行する。また、変形例1の場合は、同期画像の挿入を行わず、動画像の撮影はステップS107の時点から行われているのでステップS109の処理は不要である。
【0065】
(ステップS108a)制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの情報を記録処理部152を介してメモリカード104に記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。
【0066】
この場合、制御部103は、撮影後にメモリカード104に記録されている動画像を読み出して、同期音210をスピーカ112から発した時点の動画像のフレーム(先の例ではフレーム303)を特定し、同期画像201に置き換える処理を行う。これにより、撮影時の制御部103の処理負荷を減らすことができる。
【0067】
(第2実施形態)
第1実施形態および変形例1ではメモリカード104に記録される動画像データは音声データ無しでも構わなかったが、第2実施形態では録音機200での音声記録の失敗に備えて、カメラ100でも音声付きで動画像の撮影を行い、音声データと動画像データとをメモリカード104に記録する。尚、第2実施形態に係るカメラ100の構成は、図1および図2で説明したものと同じである。
【0068】
以下、第2実施形態に係るカメラ100の「同期動画撮影モード」における処理の流れについて、図7のフローチャートに従って順番に説明する。尚、図7において、図3のフローチャートと同じ処理ステップ番号は同じものを示す。図3と異なる処理はステップS201,S202,S203およびS204である。
【0069】
ステップS101からステップS107までの処理は同じである。そして、ステップS108の処理を実行する前に次のステップS201の処理を実行する。
【0070】
(ステップS201)制御部103の同期処理部153は、所定時間が経過するまで待機する。図7の例では0.1秒間待機した後、次のステップS202の処理へ進む。尚、制御部103は、計時部114から入力する日時情報を用いて待機時間を計測する。
【0071】
ここで、同期処理部153は、待機中の音入力部155のプリアンプのゲインを下げるか0に設定する。或いは、音入力部155が出力する外部音の音声データを記録処理部153に出力する際に無音データに置き換える。例えば、音声データが最上位ビットを符号ビットとする8ビット階調で記録する場合は、無音データを16進数で「00H」(Hは16進数であることを示す)のように表すことができるので、同期処理部153が音入力部155から入力する外部音のデジタルの音声データが例えば「4BH」や「F6H」などのデータ値であっても強制的に「00H」のデータ値に置き換えて記録処理部153に出力する。
【0072】
そして、図3のステップS108の代わりにステップS202を実行する。
【0073】
(ステップS202)制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像を挿入して記録処理部152に出力し、メモリカード104に動画像の画像フレームとして記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。これらの処理は図3のステップS108と同じであるが、本処理ステップでは、さらにメモリ111から読み出した同期音(またはこの同期音とは異なる第2同期音)をメモリカード104に記録する。
【0074】
そして、ステップS109の処理を実行後、ステップS110の処理を実行する前に次のステップS203およびS204の処理を実行する。
【0075】
(ステップS203)制御部103の同期処理部153は、所定時間が経過するまで待機する。図7の例では0.05秒間待機した後、次のステップS204の処理へ進む。
【0076】
ここで、同期処理部153は、待機中の音入力部155のプリアンプのゲインを下げるか0に設定する。或いは、音入力部155が出力する外部音の音声データを記録処理部153に出力する際に無音データに置き換える。
【0077】
(ステップS204)制御部103の記録処理部152は、音入力部155を介してマイク110から入力する外部音の録音を開始する。例えば、同期処理部153は、音入力部155のプリアンプのゲインを正常に戻す。或いは、先に説明したように、無音データに強制的に置き換える処理を行っていた場合は、無音データへの置き換えを中止して、音入力部155が出力する外部音の音声データを記録処理部153に出力する。
【0078】
以降、ステップS110でレリーズボタン106bが全押しされるまで、記録処理部152は、撮像素子103から入力して画像処理部151でデジタルデータに変換された動画像データと、マイク110から入力する音声データとをメモリカード104に記録する。尚、動画像と音声は、同一のファイルで動画音声情報としてメモリカード104に記録してもよいし、動画像と音声とを別々のファイルとしてメモリカード104に記録してもよい。この場合は、動画像ファイルと音声ファイルとを関連付け易いように、ファイル名に同じ記号を付加するなどの工夫をするのが好ましい。
【0079】
尚、本実施形態においても、第1実施形態と同様に録音機200でもカメラ100で動画像の撮影中の外部音の録音を行っているので、図7のステップS108でスピーカ112から発生する同期音が録音機200のメモリカード202に記録される。
【0080】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されている同期画像の位置と、メモリカード202に記録されている同期音が記録された位置とを合わせるだけで容易にカメラ100の動画像と録音機200で高音質に録音された音とを同期させることができる。
【0081】
また、本実施形態では、カメラ100で記録される音声データに同期音が記録されるので、撮影後にパソコンなどでメモリカード104に記録されている動画像を読み出す際に、動画像に付加されている音声データも読み出し、同期音データが記録されている時間位置と、録音機200でメモリカード202に録音された同期音の時間位置とを合わせることにより、別の機材で記録された動画像と音の同期を精度良く合わせることができる。
【0082】
尚、この場合は、ステップS202で動画像のフレームを同期画像に置き換える処理を行わなくても、同期音だけでカメラ100でメモリカード104に記録される動画像と、録音機200でメモリカード202に記録される音との同期を合わせることができる。
【0083】
特に、本実施形態では、同期音を記録する前後の音声データを所定時間だけ無音にしているので、撮影後の編集時に同期音の検出を容易に行うことができる。
【0084】
(第3実施形態)
第1実施形態および第2実施形態では、同期画像データが挿入されるまでの時間に不要な動画像データがメモリカード104に記録されてしまうが、本実施形態ではプリレック機能を用いて、不要な動画像データが記録されないようになっている。尚、第3実施形態に係るカメラ100の構成は、図1および図2で説明したものと同じである。
【0085】
プリレック機能とは、レリーズボタン106bが押下される前から所定時間(例えば5秒間など)の動画像をバッファに繰り返し記録し、レリーズボタン106bが押下された時に、レリーズボタン106bが押下される数秒前(例えば2秒前)からの動画像を撮影画像としてメモリカード104に記録する機能である。つまり、最新の5秒間の動画像データが常にバッファに取り込まれている。例えば図2のカメラ100の場合は、制御部103の画像処理部151の内部にプリレック用のバッファを設けて、所定時間の動画像データを繰り返し記録する。或いは、記録処理部152の内部にプリレック用のバッファを設けても構わない。尚、通常の撮影においても画像処理用のバッファを有しているので、これらのバッファを大き目の容量にすることで対応可能である。
【0086】
特に、本実施形態に係るカメラ100は、プリレック期間に先の実施形態で説明したような同期音をスピーカ112から定期的(例えば1秒毎)に発生させ、同時に動画像データのフレームに置き換えて同期画像データをバッファに記録する。これにより、レリーズボタン106bが押下される直前の同期画像(つまり最後に記録された同期画像)以降の動画像データをメモリカード104に記録することにより、同期画像より前の不要な動画像撮影を行う必要がなくなり、メモリカード104の記憶容量を削減することができる。また、レリーズボタン106bが押下される前から記録を行っているので、押下されてから実際に動画像データの記録を開始するまでのタイムラグを前述の実施形態の場合より少なくすることができ、同期画像データに連続して被写体の画像データの記録を開始することができる。例えば、前述の実施形態では、レリーズボタン106bのS2(全押し)を離した後に、「カチンコ」の同期画像データを挿入し、実際の主要被写体の撮影画像の記録に移行するようになっていたが、本実施形態では、「カチンコ」の同期画像データを挿入するタイミングをレリーズボタン106bのS2(全押し)を離す直前とすることができ、S2を離した直後から実際の主要被写体の撮影記録を開始できるので、タイムラグが少なくなる。
【0087】
このように、本実施形態に係るカメラ100は、レリーズボタン106bが与えられる時点よりも前のプリレック期間に、同期処理部153がスピーカ112から同期音210を発する点が先の実施形態とは異なる。
【0088】
以下、第3実施形態に係るカメラ100のプリレック機能を有する場合の「同期動画撮影モード」における処理の流れについて、図8のフローチャートに従って順番に説明する。
【0089】
(ステップS301)制御部103は、ステップS102と同様に、常時AF動作を開始する。
【0090】
(ステップS302)制御部103の画像処理部151は、ステップS107と同様に、動画像の記録を開始するが、プリレック部分なのでメモリカード104ではなく先に説明したプリレック用のバッファへの取り込みを行う。
【0091】
(ステップS303)制御部103の同期処理部153は、ステップS108と同様に、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像データを挿入して、プリレック用のバッファに動画像の画像フレームとして記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。尚、同期音210は、ブザー音やチャイム音などの電子音でもよいし、周囲の人にわかり易いように「スタート」や「開始」など人間の音声でもよい。
【0092】
(ステップS304)制御部103の同期処理部153は、所定時間(ここでは1秒)が経過するまで待機する。尚、制御部103は、内部に時計機能を有する。
【0093】
(ステップS305)制御部103は、撮影者がレリーズボタン106bを全押ししているか否かを判別し(S2:ON)、全押しされた場合はステップS306に進み、全押ししていない場合はステップS303に戻ってプリレック動作を継続する。
【0094】
(ステップS306)制御部103の記録処理部152は、プリレック用のバッファに記録された動画像データの最後の同期画像データ以降の画像フレームを撮影した動画像データとしてメモリカード104への記録を開始する。同時に、録音機200での録音が失敗した場合に備えて、カメラ100に内蔵のマイク110から入力するアナログの音声信号を音入力部155でA/D変換した音声データを動画像データと共にメモリカード104に記録する。
【0095】
(ステップS307)制御部103は、ステップS110と同様に、撮影者がレリーズボタン106bを全押ししたか否かを判別し(S2:ON)、全押しされた場合はステップS308に進み、全押しされるまで動画像の撮影を継続する。
【0096】
(ステップS308)制御部103は、ステップS111と同様に、撮像素子102から入力して画像処理部151でデジタルデータに変換された動画像データのメモリカード104への記録を終了する。
【0097】
(ステップS309)制御部103は、常時AF動作を終了する。
【0098】
尚、カメラ100での動画像撮影の終了に合わせて適宜、撮影者は、録音機200によるメモリカード202への外部音データの記録も終了させるものとする。
【0099】
このようにして、図4に示すような同期画像201のフレーム303aが挿入された動画像データがカメラ100のメモリカード104に記録されると共に、カメラ100のスピーカ112から発せられるアナログの同期音が録音機200のステレオマイク201aおよび201bで入力されA/D変換された音声データがメモリカード202に記録される。特に、本実施形態では、図4の同期画像201に置換されたフレーム303aより前のフレーム301および302はメモリカード104に記録されないので、メモリカード104の記憶容量を有効に利用することができる。また、プリレック機能によってレリーズボタン106bが押下されてから実際に動画像データの記録を開始するまでのタイムラグを少なくすることができ、同期画像データに連続して被写体の画像データの記録を開始することができる。
【0100】
尚、プリレック機能が無いカメラでも、実際に撮像素子102で被写体を撮影した画像データではなく、例えばレリーズボタン106bの押下前からダミー画像データを記録するようにしてダミー画像データの中に周期的に同期画像データを挿入すると共に同期音をスピーカーから発生するようにしてもよい。
【0101】
また、周期的に発生する同期音は、識別し易いように交互に音色を変えても構わない。
【0102】
さらに、本実施形態においても、第1実施形態および第2実施形態と同様に、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されているフレーム303aの時間位置と、メモリカード202に記録されている同期音データが記録された音211の位置とを合わせるだけで容易にフレーム304以降の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。
【0103】
(第4実施形態)
先に説明した各実施形態では、カメラ100のスピーカ112から発生させる同期音の音圧については詳細に説明しなかったが、カメラ100や録音機200の周囲の雑音が大きい場合には、録音機200のマイク201aおよび201bから取り込まれてメモリカード202に記録される同期音データが雑音に埋もれて判別しにくくなる可能性がある。そこで、本実施形態では、周囲の雑音の音圧を計測して雑音の音圧に応じてスピーカ112から発生させるアナログの同期音の音圧を変化するようになっている。例えば、雑音の音圧が小さい場合はスピーカ112から発生させるアナログの同期音の音圧も小さくし、雑音の音圧が大きい場合はスピーカ112から発生させるアナログの同期音の音圧も大きくする。
【0104】
図9は、本実施形態に係るカメラ100aの構成を示すブロック図である。尚、図2のカメラ100と同符号のものは同じものを示す。図9では、図2の構成に音圧制御部156が追加されている。
【0105】
音圧制御部156は、マイク110から入力するアナログの外部音を音入力部155でA/D変換した外部音データの音圧を計測する。そして、計測した音圧に応じてスピーカ112から発生させるアナログの同期音の音圧を変化させる。尚、同期音を発生していない時に外部音の音圧を測定するものとするが、同期音を発生中に外部音の音圧を測定する場合は、予め同期音の周波数帯域を求めておき、マイク110から入力する音声信号から同期音の周波数帯域を除去するフィルタリングを行うようにしても構わない。尚、フィルタリングは、アナログの音声信号で行ってもよいし、デジタルの音声データに対してデジタル処理で行ってもよい。
【0106】
そして、音圧制御部156は、マイク110から入力して音入力部155でA/D変換された外部音データの音圧が所定値以上か未満かによってスピーカ112から発生させる同期音の音圧を二段階に変化させる。或いは、複数の所定値を設定して多段階に変化させても構わないし、マイク110から入力して音入力部155でA/D変換された外部音データの大きさに比例して無段階にスピーカ112から発生させる同期音の音圧を変化させても構わない。尚、音圧の調整は、例えば音出力部154のアンプのゲインを可変することによって実現できる。
【0107】
これにより、外部音が大きいときは同期音も大きくなるので、録音機200のメモリカード202に記録された音声から同期音を容易に識別することができる。特に、外部音が小さいときは同期音も小さくなるので、博物館など静かな環境の中で撮影する場合でも周囲の人に迷惑を掛けることなく撮影できる。
【0108】
尚、外部音の音圧に応じて同期音の音色やメロディーなどを変えるようにしても構わない。例えば外部音が大きい場合は衝撃音などわかり易い音を同期音として用い、外部音が小さい場合はチャイム音など環境に違和感を与えない音を同期音として用いてもよい。
【0109】
以下、第4実施形態に係るカメラ100aの「同期動画撮影モード」における処理の流れについて、図10のフローチャートに従って順番に説明する。尚、図10において、図3のフローチャートと同じ処理ステップ番号は同じものを示す。図3と異なる処理はステップS401,S402,S403およびS404である。
【0110】
図10において、ステップS101からステップS107までの処理は図3と同じである。そして、ステップS108の処理を実行する前に次の一連の処理を実行する。尚、音出力部154がスピーカ112から出力する音圧はデフォルト値に設定されているものとする。
【0111】
(ステップS401)制御部103の音圧制御部156は、音入力部155を介してマイク110から入力して音入力部155でA/D変換された外部音データの音圧を測定する。尚、音圧の測定は、例えばマイク110から入力して音入力部155でA/D変換された外部音データの二乗平均値を求める。或いは、周波数帯域を制限したり、dB(デシベル)に変換しても構わない。
【0112】
(ステップS402)制御部103の音圧制御部156は、ステップS401で計測した音圧が予め設定された所定値以上であるか否かを判別する。そして、所定値以上である場合はステップS403に進み、所定値未満である場合はステップS404に進む。
【0113】
(ステップS403)制御部103の音圧制御部156は、スピーカ112から発生させる同期音の音圧をデフォルト値より大きくする。例えば2倍にする。
【0114】
(ステップS404)制御部103の音圧制御部156は、スピーカ112から発生させる同期音の音圧をデフォルト値より小さくする。例えば1/2倍にする。
【0115】
以降、ステップS108において、制御部103の同期処理部153は、撮像素子102が撮影する画像フレームの代わりにメモリ111に予め記憶されている同期画像を挿入して記録処理部152に出力し、メモリカード104に動画像の画像フレームとして記録する。同時に、同期処理部153は、スピーカ112から同期音210を発生する。
【0116】
或いは、ステップS108の代わりに、第2実施形態のステップS202を実行し、制御部103の同期処理部153は、メモリ111から読み出した同期音(またはこの同期音とは異なる第2同期音)データをメモリカード104に記録するようにしても構わない。
【0117】
そして、ステップS109以降、レリーズボタン106bが全押しされるまで、記録処理部152は、撮像素子103から入力して画像処理部151でデジタルデータに変換された動画像データと、マイク110から入力する音声データとをメモリカード104に記録する。
【0118】
尚、本実施形態においても、第1実施形態と同様に録音機200でもカメラ100で動画像撮影中の外部音の録音を行っているので、図10のステップS108でスピーカ112から発生する同期音が録音機200のメモリカード202に記録される。
【0119】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアで読み込ませて、メモリカード104に記録されている同期画像データの位置と、メモリカード202に記録されている同期音データが記録された位置とを合わせるだけで容易にカメラ100の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。
【0120】
特に、本実施形態では、スピーカ112から発生する同期音の音圧を外部音の大きさに応じて変化させるので、編集時に同期位置の識別が容易になる。
【0121】
(第5実施形態)
先に説明した第1実施形態から第4実施形態では、わかり易いように同期画像データの挿入を1つの画像フレーム分だけ行うものとして説明したが、例えばMPEG規格では、複数フレーム単位で撮像素子が出力する動画像用の撮像信号を圧縮して動画像データを作成するため、画像フレーム単位の途中に同期画像などの異なる画像を挿入したり置き換えることが難しい場合がある。これは、画像フレーム毎に画像圧縮処理が完結しているわけではなく、時間的に前後する画像フレームの情報を利用して画像圧縮処理を行っているため、撮影画像と全く相関が無い同期画像を挿入した場合、画像圧縮処理を正常に行うことができなくなるからである。例えば、動画像のフレーム毎に圧縮処理が完結しているMotion−JPEG規格などによる動画像の撮影では、発生する同期音のタイミングに近接するM−JPEGのフレーム位置の動画像フレームを同期画像のフレームに置き換えて記録しても、画像圧縮処理には影響を与えず、再生や編集も行うことができる。ところが、図11に示すようなMPEG規格による画像圧縮処理を行っている場合、GOP(Group Of Picture)と呼ばれる15フレーム単位で画像圧縮処理が行われる。例えば、図11において、各GOP単位の先頭のI(Intra−COaded Frame)フレームはJPEGなどと同じように1フレームで完結した圧縮処理が行われているが、次のB(Bidirectiional Predicted Frame)フレームやP(Predicted Frame)フレームは、前後するフレームの画像を参照して差分値や動きベクトルなどによる圧縮処理が行われているため、いずれかのフレームの情報が欠落すると正常に画像を復元できないという問題が生じる。
【0122】
そこで、本実施形態では、先に説明した第1実施形態から第4実施形態において、MPEG規格など撮像する動画像データを所定フレーム数の処理ブロック単位でフレーム相関による圧縮を行って動画像データを記録する場合に対応する。
【0123】
例えば第1実施形態の図3のフローチャートのステップS108、第2実施形態の図7のフローチャートのステップS202、第3実施形態の図8のフローチャートのステップS303および第4実施形態の図10のフローチャートのステップS108(S202)において、図11に示すような処理を実行する。図11は、横軸の紙面左側から右側に時間軸を取り、タイミングT1からT2が1つの動画像圧縮処理のためのブロック単位(GOP)で撮像素子102から入力するフレーム401から415の15フレームで構成される。同様に、タイミングT2からT3までの区間は次の15フレームで構成される。本実施形態に係る電子カメラ100では、同期処理部153は、同期画像データをタイミングT2からT3までの15フレームの区間で撮像素子103によって撮影される動画像データに置き換えて同期画像201のフレーム416から430までの15フレームを挿入する。そして、同期処理部153は、同期画像201の15フレームの動画像データを画像処理部151が撮影画像に対して行う画像圧縮方法と同じ方法で画像圧縮し、記録処理部152を介してメモリカード104に記憶する。尚、この場合、同期処理部153は、静止した同期画像201の画像データを15フレームを画像圧縮処理して挿入してもよいが、図6で説明したような動きのある15フレームの同期画像データを画像圧縮処理して挿入してもよい。
【0124】
並行して、タイミングT1において、同期処理部153は、音出力部154を介してスピーカ112から同期音210を発生する。尚、発生する同期音210はタイミングT1から1フレーム期間や1フレーム以下の時間でもよいし、同期音210bのようにタイミングT1からT3までの15フレームの全期間に亘って出力してもよい。
【0125】
これにより、撮影後に、メモリカード104とメモリカード202とをパソコンなどの動画編集ソフトウェアに読み込ませて、メモリカード104に記録されている同期画像201の開始位置(タイミングT2)と、メモリカード202に記録されている同期音210が記録された開始位置(タイミングT2)とを容易に合わせることができ、カメラ100の動画像データと録音機200で高音質に録音された音声データとを同期させることができる。
【0126】
尚、先の実施形態と同様に、電子カメラ100の制御部103は、一連の同期画像のフレーム416から430を撮影時にメモリカード104に記録するのではなく、撮影時にはGOPの位置情報やフレーム情報を動画像ファイルのヘッダ情報としてメモリカード104に記憶しておき、撮影後にメモリカード104から読み出して同期画像を挿入するようにしても構わない。これにより、撮影時の制御部103の処理負荷を減らすことができる。
【0127】
以上、各実施形態で説明してきたように、各実施形態に係るカメラ100は、従来の「カチンコ」を用いて撮影する場合の様々な問題を解決できる。例えば、シャッター速度が十分に速くない場合でも「カチンコ」が閉じた瞬間が分かり易くなる。また、動画像のフレームレートが低い場合でも別機材で録音する音声との同期の誤差が少なくなる。
【0128】
さらに、1人で操作する場合でも、従来は「カチンコ」または被写体のどちらかがぼけて撮影されてしまうという問題があったが本実施形態では予め準備された「カチンコ」画像を用いるので、被写体からフォーカスがずれることなく「カチンコ」画像を挿入することができる。
【0129】
また、MPEG規格などフレーム単位での「カチンコ」画像の挿入が難しい動画圧縮処理を用いる場合でも画像圧縮の処理単位で同期音を発生させて「カチンコ」画像を挿入するので、音声の再生開始位置と動画像の撮影開始位置を正確に合わせることができる。
【0130】
このように、本実施形態に係るカメラ100は、動画撮影された画像と、対応する音声とを精度良く同期させることができる。同様に、カメラ100で動画撮影を行う動画撮影方法や、制御部103のCPUで実行する動画撮影プログラムにおいても同様の効果が得られる。
【0131】
尚、上述した各実施形態であるカメラ100の一部、例えば、制御部103の機能をコンピュータで実現できるようにしてもよい。この場合、その制御機能を実現するための制御プログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記録媒体に記録された制御プログラムをコンピュータに読み込ませ、実行することによって実現してもよい。
【0132】
ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカードなどの可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。
【0133】
さらに「コンピュータ読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラム保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せにより実現するものであってもよい。
【0134】
以上、本発明に係るカメラについて、実施例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【0135】
100,100a…カメラ;101…レンズ;102…撮像素子;103…制御部;104…メモリカード;105…表示部;106…操作部;106a…電源ボタン;106b…レリーズボタン;106c…モード選択ボタン;106d…ズームボタン(ワイド);106e…ズームボタン(テレ);107…電源;108…駆動部;108a…AFモータ;108b…ズームモータ;109…補助光源;110…マイク;111…メモリ;112…スピーカ;113…測位部;114…計時部;151…画像処理部;152…記録処理部;153…同期処理部;154…音出力部;155…音入力部;156…音圧制御部;200…録音機;201a,201b…マイク;202…メモリカード;250…パソコン
【特許請求の範囲】
【請求項1】
被写体像を撮像し、撮像信号を出力する撮像部と、
記録開始指示に基づいて前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、
前記記録開始指示に基づいて第1識別音を発する音発生部と、
前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御部と
を有することを特徴とするカメラ。
【請求項2】
被写体像を撮像し、撮像信号を出力する撮像部と、
記録開始指示が与えられる時点を含む期間において、前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、
前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生部と、
前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御部と
を有することを特徴とするカメラ。
【請求項3】
請求項1または2に記載のカメラにおいて、
前記識別情報は、予め設定された識別画像,前記音発生部が出力する第1識別音を示す第1音声情報,予め設定された第2識別音を示す第2音声情報の少なくとも1つの情報である
ことを特徴とするカメラ。
【請求項4】
請求項1に記載のカメラにおいて、
前記音発生部は、前記動画記録制御部による前記動画像の記録開始と同時、または、前記動画像の記録開始から所定時間内に、前記第1識別音を発する
ことを特徴とするカメラ。
【請求項5】
請求項1から4のいずれか一項に記載のカメラにおいて、
外部音を入力する音入力部と、
前記音入力部から入力する外部音の音圧を測定し、測定する外部音の音圧に応じて前記音発生部から出力する前記第1識別音の音圧を可変する音圧制御部と
を更に設けたことを特徴とするカメラ。
【請求項6】
請求項1から5のいずれか一項に記載のカメラにおいて、
前記動画記録制御部は、撮像部により出力された所定フレーム数に対応する撮像信号を処理ブロック単位でフレーム相関による圧縮を行って前記記憶媒体に記録させ、
前記識別情報記録制御部は、前記記録媒体において、前記記録開始指示が与えられたタイミングに近接する前記処理ブロックの境界位置に前記識別情報を記録する
ことを特徴とするカメラ。
【請求項7】
請求項1から5のいずれか一項に記載のカメラにおいて、
前記動画記録制御部は、撮像部により出力された1フレームを示す撮像信号をフレーム毎に圧縮を行って前記記憶媒体に記録させ、
前記識別情報記録制御部は、前記記録媒体において、前記記録開始指示が与えられたタイミングに近接するフレーム位置に前記識別情報を記録する
ことを特徴とするカメラ。
【請求項8】
請求項2に記載のカメラにおいて、
前記識別情報記録制御部は、前記記録開始指示が与えられる所定時間前から、前記識別情報を所定間隔で前記記憶媒体に記録させ、
前記音発生部は、第1識別音を発する処理を繰り返し実行する
ことを特徴とするカメラ。
【請求項9】
請求項1に記載のカメラにおいて、
さらに、前記記録開始指示が与えられたタイミングに近接するフレームの位置を示すフレーム位置情報を特定するフレーム位置特定部を備え、
前記識別情報記録制御部は、撮像終了後に前記フレーム位置特定部により特定された前記フレーム位置情報が示す画像のフレームを前記識別画像に置き換えて前記記憶媒体に記録させる
ことを特徴とするカメラ。
【請求項10】
被写体像を撮像し、撮像信号を出力する撮像処理と、
記録開始指示に基づいて前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、
前記記録開始指示に基づいて第1識別音を発する音発生処理と、
前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御処理と
をコンピュータに実行させることを特徴とする動画撮影プログラム。
【請求項11】
被写体像を撮像し、撮像信号を出力する撮像処理と、
記録開始指示が与えられる時点を含む期間において、前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、
前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生処理と、
前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御処理と
をコンピュータに実行させることを特徴とする動画撮影プログラム。
【請求項1】
被写体像を撮像し、撮像信号を出力する撮像部と、
記録開始指示に基づいて前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、
前記記録開始指示に基づいて第1識別音を発する音発生部と、
前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御部と
を有することを特徴とするカメラ。
【請求項2】
被写体像を撮像し、撮像信号を出力する撮像部と、
記録開始指示が与えられる時点を含む期間において、前記撮像部により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御部と、
前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生部と、
前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御部と
を有することを特徴とするカメラ。
【請求項3】
請求項1または2に記載のカメラにおいて、
前記識別情報は、予め設定された識別画像,前記音発生部が出力する第1識別音を示す第1音声情報,予め設定された第2識別音を示す第2音声情報の少なくとも1つの情報である
ことを特徴とするカメラ。
【請求項4】
請求項1に記載のカメラにおいて、
前記音発生部は、前記動画記録制御部による前記動画像の記録開始と同時、または、前記動画像の記録開始から所定時間内に、前記第1識別音を発する
ことを特徴とするカメラ。
【請求項5】
請求項1から4のいずれか一項に記載のカメラにおいて、
外部音を入力する音入力部と、
前記音入力部から入力する外部音の音圧を測定し、測定する外部音の音圧に応じて前記音発生部から出力する前記第1識別音の音圧を可変する音圧制御部と
を更に設けたことを特徴とするカメラ。
【請求項6】
請求項1から5のいずれか一項に記載のカメラにおいて、
前記動画記録制御部は、撮像部により出力された所定フレーム数に対応する撮像信号を処理ブロック単位でフレーム相関による圧縮を行って前記記憶媒体に記録させ、
前記識別情報記録制御部は、前記記録媒体において、前記記録開始指示が与えられたタイミングに近接する前記処理ブロックの境界位置に前記識別情報を記録する
ことを特徴とするカメラ。
【請求項7】
請求項1から5のいずれか一項に記載のカメラにおいて、
前記動画記録制御部は、撮像部により出力された1フレームを示す撮像信号をフレーム毎に圧縮を行って前記記憶媒体に記録させ、
前記識別情報記録制御部は、前記記録媒体において、前記記録開始指示が与えられたタイミングに近接するフレーム位置に前記識別情報を記録する
ことを特徴とするカメラ。
【請求項8】
請求項2に記載のカメラにおいて、
前記識別情報記録制御部は、前記記録開始指示が与えられる所定時間前から、前記識別情報を所定間隔で前記記憶媒体に記録させ、
前記音発生部は、第1識別音を発する処理を繰り返し実行する
ことを特徴とするカメラ。
【請求項9】
請求項1に記載のカメラにおいて、
さらに、前記記録開始指示が与えられたタイミングに近接するフレームの位置を示すフレーム位置情報を特定するフレーム位置特定部を備え、
前記識別情報記録制御部は、撮像終了後に前記フレーム位置特定部により特定された前記フレーム位置情報が示す画像のフレームを前記識別画像に置き換えて前記記憶媒体に記録させる
ことを特徴とするカメラ。
【請求項10】
被写体像を撮像し、撮像信号を出力する撮像処理と、
記録開始指示に基づいて前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、
前記記録開始指示に基づいて第1識別音を発する音発生処理と、
前記第1識別音が発せられたタイミングを示す識別情報を前記動画像に関連付けて前記記憶媒体に記録させる識別情報記録制御処理と
をコンピュータに実行させることを特徴とする動画撮影プログラム。
【請求項11】
被写体像を撮像し、撮像信号を出力する撮像処理と、
記録開始指示が与えられる時点を含む期間において、前記撮像処理により出力された撮像信号を動画像として記憶媒体に記録させる動画記録制御処理と、
前記記録開始指示が与えられる時点よりも前に第1識別音を発する音発生処理と、
前記第1識別音が発せられたタイミングを示す識別情報を前記記憶媒体に記録させる識別情報記録制御処理と
をコンピュータに実行させることを特徴とする動画撮影プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−100216(P2012−100216A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−248603(P2010−248603)
【出願日】平成22年11月5日(2010.11.5)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願日】平成22年11月5日(2010.11.5)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]