動画像処理装置および方法
【課題】動画のシーン変化を自動的に検出できる動画処理技術を提供し、動画のシーン別インデックスを容易に生成可能な動画像処理装置及び方法を提供する
【解決手段】ホワイトバランス調整機能の光源種判別アルゴリズムを利用して動画撮影時のシーン変化を検出し、撮影シーンが変化したときのフレーム画像をインデックス画像として抽出し、これらを時系列順に並べてインデックスを生成する。ノーカットの１動画であってもシーンごとのインデックス画像を抽出できるため、動画の全体像を把握し易い。生成されたインデックスを表示する表示手段とインデックスを記録する記録手段を備え、表示されたインデックスから所望のインデックス画像を選択できるよう構成し、選択されたインデックス画像に対応する画像から再生できるように構成したので、１つの動画の途中から所望の場面を選択し再生することができる。
【解決手段】ホワイトバランス調整機能の光源種判別アルゴリズムを利用して動画撮影時のシーン変化を検出し、撮影シーンが変化したときのフレーム画像をインデックス画像として抽出し、これらを時系列順に並べてインデックスを生成する。ノーカットの１動画であってもシーンごとのインデックス画像を抽出できるため、動画の全体像を把握し易い。生成されたインデックスを表示する表示手段とインデックスを記録する記録手段を備え、表示されたインデックスから所望のインデックス画像を選択できるよう構成し、選択されたインデックス画像に対応する画像から再生できるように構成したので、１つの動画の途中から所望の場面を選択し再生することができる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像処理装置および画像処理方法に係り、特に動画記録機能を備えたデジタルカメラやビデオカメラなどに好適な動画の記録、再生処理技術に関する。
【０００２】
【従来の技術】
特許文献１に開示された動画像再生装置では、撮影された動画から所定の間隔でインデックス画像を抽出し、これらインデックス画像をテープＩＤ、テープ全体量、画像インデックス数、およびポジションＩＤと共に当該動画像再生装置に備えられたメモリに記録して、動画再生時に表示画面上にインデックス画像や当該インデックス画像のポジション情報等を表示させることができる。そして、ユーザが所望のインデックス画像を選択すると、当該インデックス画像に対応したフレームから動画再生が開始されるようになっている。
【０００３】
【特許文献１】
特開平６−１５３１５７号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１のように一定の時間間隔でインデックス画像を抽出するものでは、所望のシーンが飛ばされていることがあり、所望のシーンを探すのができない場合もある。
【０００５】
また、上記文献では、シーンチェンジ、録画スタート、インデックスマーク等に基づいてインデックスを作成することができると述べているが、シーンチェンジの検出方法などについて具体的な開示はない。仮に、録画スタートをきっかけにインデックス画像を作成する場合には録画スタート時のシーンがインデックス画像になってしまい、録画スタートのシーンが所望のシーンでなければ、所望のシーンを検索できない。例えば、始まりのシーンが同じような画像で、終わりの方のシーンが異なる複数の動画を撮影した場合については、録画スタート時の同じような画像のインデックス画像が抽出されてしまい、画像内容を把握することが困難である。このような場合、従来の構成では、いちいち始めから動画を再生して内容を確認しなければならなかった。
【０００６】
一方、インデックスマークをきっかけにインデックス画像を作成する場合には、撮影者が撮影しながら適宜インデックスマークを付ける操作を行わなければならないので、撮影者の操作が煩雑である。
【０００７】
本発明はこのような事情を鑑みてなされたもので、動画のシーン変化を自動的に検出できる動画処理技術を提供するとともに、動画の全体像を把握しやすいシーン別インデックスを容易に生成することができる動画像処理装置および方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために本発明に係る動画像処理装置は、被光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた動画の画像データを処理する動画像処理装置であって、入力された画像データから被写体の色温度情報を生成する色温度情報生成手段と、前記色温度情報生成手段により生成された色温度情報に基づいてシーンの変化を判別するシーン判別手段と、を備えたことを特徴としている。
【０００９】
本発明によれば、入力された画像データから色温度情報を生成し、生成された色温度情報に基づいて撮影シーンの判別を行うように構成したので、ノーカットの１動画であっても当該１動画内の撮影シーンの判別が可能になる。
【００１０】
色温度情報は色温度を反映した情報を意味し、例えば、色温度そのもの、色成分の比率を示す情報、色情報の分析に基づいて判別された光源種の情報などの態様が含まれている。
【００１１】
撮像手段を介して時系列に沿って取得された複数の画像について前記色温度情報生成手段により生成される色温度情報の変化に基づいて撮影シーンの変化を判断することができる。
【００１２】
本発明の一態様に係る動画像処理装置は、前記撮像手段によって連続撮影された動画のうち前記シーン判別手段によってシーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出手段と、前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成手段と、を備えたことを特徴としている。
【００１３】
かかる態様によれば、シーン判別によって撮影シーンが変化したところの画像をインデックス画像として抽出し、抽出されたインデックス画像からインデックスを生成するように構成したので、ノーカットの１動画であってもシーンごとにインデックスを生成することができる。
【００１４】
動画内の１画像はフレーム画像と呼ばれ、各フレーム画像にはフレームを識別できる情報（例えばフレーム番号やフレーム名、タイムコードなど）が付与されている。
【００１５】
さらに、インデックスを表示する表示手段と、インデックスのデータを記録するインデックス記録手段とを備える態様もある。
【００１６】
また、インデックスのデータを記録する態様には、インデックスそのものを画像として記録する態様、インデックスの再現に必要な情報（インデックス画像のフレーム番号を記述したものなど）を記録する態様やインデックスそのものを画像として記録し、さらに、インデックスの再現に必要な情報も記録する態様がある。
【００１７】
また、前記撮像手段を用いて被写体を連続撮影して得られた動画を記録媒体に記録する記録手段と、前記記録手段に記録されている画像を再生する再生処理手段と、前記再生処理手段により再生された画像や前記インデックス生成手段により生成されたインデックスを表示する表示手段と、を備えたことを特徴としている。
【００１８】
撮像手段を備えていれば、動画記録装置（すなわち、動画像撮像記録装置）となる。また、撮像手段と分離された構成の信号処理装置の態様もある。前記信号処理装置はパソコンなどで実現可能である。
【００１９】
本発明の他の態様に係る動画像処理装置は、前記表示手段に表示された複数の前記インデックス画像から所望のインデックス画像を選択するインデックス選択手段と、前記インデックス選択手段により所望のインデックス画像が選択されると、当該インデックス画像に対応する画像から再生を開始する制御を行う再生制御手段と、を備えたことを特徴としている。
【００２０】
かかる態様によれば、表示手段に表示された複数のインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する画像から再生できるように構成したので、１つの動画の途中から所望の場面を再生でき、便利である。
【００２１】
さらに他の態様によれば、前記シーン判別手段の判断結果を表すシーン判別情報を画像と関連付けて記録するシーン判別情報記録手段を備えたことを特徴としている。
【００２２】
シーン判別情報を画像と関連付けて記録する態様には、該当フレームにフラグを立てる（該当フレームの所定の領域にシーン判別情報を記録する態様を含む）態様やヘッダー情報として記録する態様、または、該当フレームのリストを作成する態様がある。
【００２３】
フレームごとにホワイトバランス情報（例えばゲイン値）を記録することでゲイン値が変化したところ（しきい値以上大きく変化した場合）がすなわちシーン変化したところを表している。
【００２４】
また、記録しておいたシーン判別情報を再生時に活用してインデックス画像を抽出し、抽出されたインデックス画像からインデックス生成してもよい。さらに生成されたインデックスを表示してもよいし、生成されたインデックスを記録してもよいし、表示と記録の両方を行ってもよい。
【００２５】
本発明のさらに他の態様に係る動画像処理装置は、前記色温度情報生成手段は、所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定手段と、前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得手段と、前記色情報取得手段により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、前記検出枠に対する前記エリアの分布に基づいて光源種を判別する光源種判別手段と、を含むことを特徴としている。
【００２６】
また、前記光源種判別手段は、前記分布情報取得手段により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出手段と、前記重心座標算出手段により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源に対応した検出枠に位置するかを判断する検出枠判断手段とを備えたことを特徴としている。
【００２７】
オートホワイトバランスの機能を利用して色温度情報を生成するように構成したので新規機能を追加する必要がなくカメラ内の制御負担も節約できる。
【００２８】
前記目的を達成するために本発明に係る動画像処理方法は、光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた画像データから被写体の色温度情報を生成する色温度情報生成工程と、前記撮像手段を介して時系列に沿って取得される複数の画像について前記色温度情報生成工程により生成される色温度情報に基づいて撮影シーンの変化を判断するシーン判別工程と、前記撮像手段によって連続撮影された動画のうち前記シーン判別工程によって撮影シーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出工程と、前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成工程と、を含むことを特徴としている。
【００２９】
生成されたインデックスを表示手段に表示させる工程、および生成されたインデックスのデータを記録媒体に記録する工程、を付加してもよい。
【００３０】
生成されたインデックスの出力形態にはを表示手段に表示させる形態や記録媒体に記録する形態の他に、通信媒体を介して外部に出力する形態などがあり得る。
【００３１】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理装置として機能するカメラの好ましい実施の形態について説明する。
【００３２】
図１は本発明の実施形態に係る画像処理装置として機能するカメラのブロック図である。
【００３３】
このカメラ１０は、音声付き動画の記録および再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。 ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、自動ホワイトバランス調節（ＡＷＢ）演算など、各種演算を実施する演算手段として機能する。
【００３４】
なお、自動露出、自動焦点調節および自動ホワイトバランス調節はそれぞれＡＥ、ＡＦ、ＡＷＢと記載することがある。
【００３５】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラムおよび制御に必要な各種データ等が格納されている。なお、不揮発性記憶手段であるＲＯＭ１６は書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものでもよい。
【００３６】
また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域およびＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。
【００３７】
カメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。
【００３８】
モード選択スイッチ２２は、静止画撮影モード、動画撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ２０を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力され、カメラ１０は静止画撮影モードに設定され、可動接片２２Ａを接点ｂに接続させると、カメラ１０は動画撮影モードに設定される。また、可動切片２２Ａを接点ｃに接続させると、カメラ１０は記録済みの画像を再生する「再生モード」に設定される。
【００３９】
再生される画像データが静止画である場合には、画像表示装置２８には静止画像が表示される。また、再生される画像が動画である場合には、まず、ファイルの代表画像が表示され、インデックスを表示させるか否かを選択する。インデックスを表示させない場合にはファイルの先頭から再生が開始され、インデックスを表示させる場合には、所望のインデックス画像を選択し、再生開始操作を行うと、画像表示装置２８には選択されたインデックス画像に対応した画像から動画が再生される。なお、インデックス画像の詳細については後述する。
【００４０】
撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、動画撮影においては録画開始（スタート）／停止（ストップ）ボタンとして機能し、静止画撮影においてはレリーズボタンとして機能する。撮影ボタン２４は、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００４１】
メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００４２】
画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００４３】
カメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、ｘＤ−ＰｉｃｔｕｒｅＣａｒｄ（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【００４４】
本発明の実施に際しては、メディアソケットの個数は特に限定されない。また、画像データを記録する手段はリムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００４５】
メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００４６】
また、カメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部３６を備えている。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、ＩＥＥＥ１３９４やＢｌｕｅｔｏｏｔｈ その他の通信方式を適用してもよい。
【００４７】
次に、カメラ１０の撮影機能について説明する。
【００４８】
モード選択スイッチ２２によって静止画撮影モードまたは動画撮影モードが選択されると、ＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。
【００４９】
レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御およびアイリス制御が行われる。
【００５０】
レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。なお、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００５１】
ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００５２】
ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４は、順次入力するＲ、Ｇ、Ｂ信号をデジタル信号に変換して画像入力コントローラ５６に出力する。
【００５３】
画像信号処理回路５８は、画像入力コントローラ５６を介して入力するデジタルの画像信号をＣＰＵ１２の指令に従って処理する。すなわち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。
【００５４】
なお、画像入力コントローラ５６には、メモリ１８およびＶＲＡＭ２０のデータ読み出し制御、書き込み制御を行うメモリコントローラが含まれている。
【００５５】
画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）および色差信号（Ｃｒ，Ｃｂ 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。
【００５６】
撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。
【００５７】
ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２０Ｂとで交互に書き換えられる。ＶＲＡＭ２０のＡ領域２０ＡおよびＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００５８】
撮影ボタン２４が半押しされ、Ｓ１がオンすると、カメラ１０はＡＥおよびＡＦ処理を開始する。すなわち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。
【００５９】
ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１２はＣＣＤ３８の電子シャッターおよびアイリスを制御して適正な露光量を得る。
【００６０】
また、ＡＥ／ＡＷＢ検出回路６４は、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／ＧおよびＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のアンプゲインを制御し、各色チャンネルの信号に補正をかける。前述した各比の値を１以外の値になるようにホワイトバランス調整回路のアンプゲインを調整すると、ある色味が残った画像を生成することができる。なお、ホワイトバランス制御の詳細は後述する。
【００６１】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、およびＡＦエリア内の絶対値データを積算する積算部から構成される。
【００６２】
ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００６３】
撮影ボタン２４が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタン２４が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。
【００６４】
メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式、動画についてはモーションＪＰＥＧ形式で記録される。
【００６５】
モーションＪＰＥＧ方式では、ＣＣＤ３８から取得した画像データを一旦、内部のメモリ１８に記憶した後、画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換し、１画像内でＪＰＥＧ圧縮しながら、外部の記録メディア３２に一定のフレームレート（例えば、３０フレーム／秒）で静止画を連続的に保存していく。
【００６６】
動画のファイル形式はモーションＪＰＥＧに限定されず、ＭＰＥＧなど他のファイル形式を適用してもよい。また、静止画ファイルの記録形式もＪＰＥＧ形式に限定されず、ＴＩＦ 形式やＢＭＰ 形式など他の形式を用いてもよい。ＭＰＥＧ方式の場合は、フレーム内圧縮およびフレーム間圧縮を行いながら外部の記録メディア３２に連続的に記録する。
【００６７】
動画撮影中には、いわゆる「山登り方式」の連続的なＡＦ処理（コンティニアスＡＦ）を行う。すなわち、フォーカシングレンズを光軸に沿って前後に微小移動させて、焦点評価値の増減方向をチェックしながら、ＡＦ評価値の極大点まで、徐々にフォーカシングレンズを移動させる。
【００６８】
動画撮影時の音声はマイク（図１には不図示）によって検出され、その検出信号（音声信号）は、Ａ／Ｄ変換器（図１には不図示）によってデジタル信号に変換され、音声信号処理回路（図１には不図示）に送られる。音声信号処理回路はバス１４に接続されており、メモリ１８を利用しながらＣＰＵ１２の指令に従い音声データを所定の信号形式に変換する。こうして生成された音声データは、メモリ１８に記憶され、画像データとともに圧縮伸張回路６６で圧縮された後、記録メディア３２に記録される。
【００６９】
録画開始後に、もう一度撮影ボタン２４を押下（Ｓ１オン）すると録画動作が停止する。なお、撮影ボタン２４を押下継続している期間、録画動作を行い、押下解除により録画を停止させる態様や、録画開始後の一定時間で録画を自動停止させる態様などもある。
【００７０】
モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８およびビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。
【００７１】
再生対象ファイルが動画ファイルの場合には、インデックス画像が表示され、動画再生開始の指示を受け付ける画面になる。表示されているインデックス画像から所望のインデックス画像を選択し、操作部から所定の操作（例えば、十字キーの下キー押下）を行うと、選択されたインデックス画像に対応した動画ファイルの再生処理がスタートし、画像表示装置２８に動画映像が表示されるとともに、音声信号処理回路において再生処理された音声データがＤ／Ａ変換器を介してスピーカ（図１には不図示）に出力され、動画とともに記録した音声も再生される。
【００７２】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む。）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。
【００７３】
次に、図２乃至４を用いて、上記の如く構成されたカメラ１０のオートホワイトバランス調節機能について説明する。
【００７４】
図２は本実施形態に係るカメラ１０のオートホワイトバランス処理に関連する部分のブロック図である。図２中図１と同一または類似する部分には同一の符号を付しその説明は省略する。
【００７５】
図２のデジタル信号処理回路１００は図１中画像信号処理回路５８の一部であり、同時化回路１０２、ホワイトバランス調整回路１０４、ガンマ補正回路１０６、ＹＣ信号作成回路１０８、およびメモリ１１８から構成されている。ここで、メモリ１１０は図１のメモリ１８と同一であるが、本発明の理解を容易にするために図２ではメモリ１８とメモリ１１０とが別々に記載されている。なお、図１ではメモリ１８とメモリ１１０を合わせてメモリ１８と記載されている。
【００７６】
Ａ／Ｄ変換器５４から出力されたＲ、Ｇ、Ｂ信号は画像入力コントローラを介して一旦メモリ１８に格納される。同時化回路１０２は、メモリ１８から読み出された点順次のＲ、Ｇ、Ｂ信号を同時式に変換し、Ｒ、Ｇ、Ｂ信号を同時にホワイトバランス調整回路１０４に出力する。ホワイトバランス調整回路１０４は、Ｒ、Ｇ、Ｂ信号のデジタル値をそれぞれ増減するための乗算器１０４Ｒ、１０４Ｇ、１０４Ｂから構成されており、Ｒ、Ｇ、Ｂ信号は、それぞれ乗算器１０４Ｒ、１０４Ｇ、１０４Ｂに加えられる。
【００７７】
乗算器１０４Ｒ、１０４Ｇ、１０４Ｂの他の入力には、ＣＰＵ１２からホワイトバランス制御するためのホワイトバランス補正値（ゲイン値）Ｒｇ、Ｇｇ、Ｂｇが加えられており、乗算器１０４Ｒ、１０４Ｇ、１０４Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号をガンマ補正回路１０６に出力する。
【００７８】
ホワイトバランス補正値をＲｇ、Ｇｇ、Ｂｇ、補正する前の信号をＲ、Ｇ、Ｂとし、ホワイトバランス調整回路１０４での補正結果をＲ’、Ｇ、’Ｂ’とすると、補正結果Ｒ’、Ｇ’、Ｂ’は次式によって表される。
【００７９】
【数１】
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ガンマ補正回路１０６は、ホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号作成回路１０８に出力する。ＹＣ信号作成回路１０８は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号であるクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂは、メモリ１１０に格納される。メモリ１１０内のＹＣ信号を読み出し、画像表示装置２８に出力することにより、動画または静止画を画像表示装置２８に表示させることができる。
【００８０】
図３は、オートホワイトバランス（ＡＷＢ）制御の流れを示したフローチャートである。
【００８１】
撮影ボタン全押し（Ｓ２オン）に応動してオートホワイトバランス制御が開始され（ステップＳ１００）、ＣＣＤ３８より取得された１画面分のＲＧＢデータはメモリ１８に記憶される。撮像画面は複数のエリア（例えば８×８）に分割され、エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値が算出される（ステップＳ１１０）。
【００８２】
得られた色別の積算値から一画素あたりの平均値が算出され、その平均値からＲ信号とＧ信号との比Ｒ／Ｇ、およびＢ信号とＧ信号との比Ｂ／Ｇが求められる（ステップＳ１１２）。
【００８３】
なお、エリアごとのＲ、Ｇ、Ｂ信号の平均値は、図２に示した積算回路１１２によって算出され、ＣＰＵ１２に送られる。また積算回路１１２とＣＰＵ１２の間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。なお、図２に示した積算回路１１２は図１に示したＡＥ／ＡＷＢ検出回路６４に含まれている。
【００８４】
こうしてエリアごと求められる色情報（Ｒ／Ｇ、Ｂ／Ｇ）は、それぞれのエリアが図４の表色座標２００上に表された検出枠のうち何れの検出枠に入るかを判別するために使用される。なお、図４における日陰検出枠２０２や昼光色検出枠２０４等の検出枠は、横軸をＲ／Ｇ、たて軸をＢ／Ｇとする表色座標２００上に表された枠であり、検出枠ごとに光源種などの色分布の範囲を規定するものである。
【００８５】
図４では日陰検出枠２０２、昼光色検出枠２０４、白色検出枠２０６、晴れ検出枠２０８、温白色検出枠２１０、タングステン検出枠（２）２１２、タングステン検出枠（３）２１４が示されている。ただし、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【００８６】
図４に示した検出枠を用い、撮像画面の各エリアに対応する６４点の分布を得て、６４点の分布を検出枠ごとに平均化する。即ち、各検出枠に出力された点のみに関して、各検出枠に入った個数と各検出枠での平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）とが算出される（図３のステップＳ１１４）。
【００８７】
各枠ごとの分布をある色味に合わせるために、それぞれの枠ごとにゲインが算出される（ステップＳ１１４）。目標値を（Ｔｘ，Ｔｙ）とすると、各枠ごとのゲイン（逆数ゲイン）Ｇｒｉ、Ｇｂｉは次式で計算される。
【００８８】
【数２】
Ｇｒｉ＝Ｔｘ×（Ｇｉ／Ｒｉ）
Ｇｂｉ＝Ｔｙ×（Ｇｉ／Ｂｉ）
こうして求められた各枠ごとのゲインと明るさの関数、各検出枠検出個数の割合によって決められた検出枠ごとに評価値が求められる。該評価値は次式で計算される。
【００８９】
【数３】
評価値Ｈｉ＝Ｆ（明るさ）×Ｆ（検出個数）
上記のように求められた評価値Ｈｉとの重み付けでホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇが求められる（ステップＳ１１８）。
【００９０】
ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇは次式で計算される。
【００９１】
【数４】
Ｒｇ＝Σ（Ｈｉ×Ｇｒｉ）／Σ（Ｈｉ×Ｇｇ）
Ｂｇ＝Σ（Ｈｉ×Ｇｂｉ）／Σ（Ｈｉ×Ｇｇ）
Ｇｇ＝Ｇｇ（Ｇｇは任意の値）
このようにして、ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇが算出されるとオートホワイトバランス制御は終了される（ステップＳ１２０）。
【００９２】
目標値（Ｔｘ，Ｔｙ）を（１，１）に設定すると、ＲＧＢ信号の比が１：１：１となる。色味を残すためには目標値は（１，１）以外に設定される。
【００９３】
上述したホワイトバランス制御を利用した撮影シーン判別について、図５、６を用いて説明する。
【００９４】
図５は、ホワイトバランス制御およびシーン判別制御の機能ブロック図である。ＲＧＢ積算部３００では、１画面を複数のエリア（例えば、８×８）に分割され、分割エリアごとに色別の平均積算値が算出され、Ｒ／Ｇ、Ｂ／Ｇ積算部３０２においてＲ信号とＧ信号との比Ｒ／Ｇ、およびＢ信号とＧ信号との比Ｂ／Ｇが求められる。
【００９５】
Ｒ／ＧおよびＢ／Ｇが求められると、図４に示した表色座標２００上における各エリアの分布を得ることができる。検出個数算出部３０４では、表色座標２００上に設定された検出枠の中に入ったエリアの個数および分布から、検出枠ごとの平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）が求められる。
【００９６】
逆数ゲイン算出３０６では、検出個数算出部３０４で求められた平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）から、上述した［数２］に示した式によって、逆数ゲインＧｒｉおよびＧｂｉが求められる。
【００９７】
また、ＡＥ演算部３０８では、分割エリアごとにＲ、Ｇ、Ｂ信号から求めた輝度信号を積算し、明るさの評価値演算部３１０では、ホワイトバランスゲインを求める際に用いられる明るさの関数Ｆ（明るさ）が求められる。
【００９８】
ＡＷＢ評価値演算部３１２では、前記明るさの関数Ｆ（明るさ）と検出個数演算部３０４で求められた平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）とから、上述した［数３］に示した式により検出枠ごとの評価値Ｈｉが求められ、ＡＷＢゲイン算出部３１４において、逆数ゲイン算出部３０６で求められた検出枠ごとの逆数ゲインＧｒｉ、ＧｂｉとＡＷＢ評価値演算部３１２で求められた検出枠ごとの評価値Ｈｉとから、上述した［数４］に示した式によってホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇが求められる。
【００９９】
一方、重心演算部３１６では、検出枠ごとに検出個数と各検出枠の平均値との重み付けによって重心座標（Ｒ／Ｇ，Ｂ／Ｇ）が求められる。検出枠ごとの検出個数をＮｉとすると、重心座標（Ｒ／Ｇ，Ｂ／Ｇ）は次式によって求められる。
【０１００】
【数５】
Ｒ／Ｇ＝Σ（Ｎｉ×Ｒｉ／Ｇｉ）／ΣＮｉ×Ｇｇ
Ｂ／Ｇ＝Σ（Ｎｉ×Ｂｉ／Ｇｉ）／ΣＮｉ×Ｇｇ
上記の如く求められた重心座標（Ｒ／Ｇ，Ｂ／Ｇ）によって、図４に示した表色座標上に設定されたどの検出枠に重心が位置しているかを判断することができる。即ち、重心が位置している検出枠の光源が、当該画像を撮影したときの光源であると判断することができる。
【０１０１】
シーンチェンジ判定部３１８では、当該画像の重心位置を監視し、前記重心位置が異なる検出枠内に移動したときには光源種が変ったと判断し、これを撮影シーンが変った（シーンチェンジ）と判定する。
【０１０２】
本実施形態では、表色座標にＲ／Ｇ、Ｂ／Ｇ座標系を用いたが表色座標系にはＲ、Ｇ、Ｂ座標系等、他の座標系を用いてもよい。
【０１０３】
上述したシーン判別制御を利用して、動画のインデックス作成について説明する。
【０１０４】
図６は、動画撮影時におけるインデックス生成およびインデックス画像抽出の概要を示した図である。図６では、時間軸４００は左から右に進行しており、時間軸４００の左端（スタート）から動画記録が開始され、時間軸４００の右端（ストップ）で動画記録が終了し、この間に撮影された動画は１つの動画ファイルとして記録される。
【０１０５】
画像４０２は動画記録開始時の画像であり、本動画は所定の間隔（サンプリングレート）で記録されたｎ個の画像から構成されている。
【０１０６】
時間軸４００上には、図５に説明したシーン判別制御によってシーンチェンジと判断されたシーンが示されている。画像４０４は動画記録開始から１回目のシーンチェンジ時（シーンチェンジ１）のフレーム画像を示し、画像４０６は２回目のシーンチェンジ時（シーンチェンジ２）のフレーム画像、画像４０８は３回目のシーンチェンジ時（シーンチェンジ３）のフレーム画像、・・・、画像４１０はｍ−１回目のシーンチェンジ時（シーンチェンジｍ−１）のフレーム画像、画像４１２はｍ回目のシーンチェンジ時（シーンチェンジｍ）のフレーム画像を示している。当該動画記録では、図５に説明したシーン判別制御によってｍ回のシーンチェンジが検出されている。なお、ｎおよびｍはそれぞれ任意の自然数である。
【０１０７】
シーンチェンジ時のフレーム画像が抽出され、予め設定された縮小率で圧縮されて、インデックス画像が生成される。フレーム画像４０２からインデックス画像４２２が生成され、同様にフレーム画像４０４からインデックス画像４２４が生成され、フレーム画像４０６、４０８、４１０、４１２からインデックス画像４２６、４２８、４３０、４３２がそれぞれ生成され、ｍ個のインデックス画像が生成される。上記の如く生成されたインデックス画像４２２乃至４３２は、元のフレーム画像のフレーム番号と対応付けされて、記録メディア３２に記憶される。
【０１０８】
シーンチェンジ時のフレーム画像を抽出せずに、フラグを立てて記録してもよいし、また、シーンチェンジ時のフレーム番号のリストを作成し、フレーム番号リストを記録する形態でもよい。また、毎フレーム画像にＲＧＢ信号の積算値や色温度情報、光源種情報等のホワイトバランス情報を添付して記録し、記録されているフレーム画像のホワイトバランス情報からシーンチェンジ時のフレーム画像を検索する形態も考えられる。
【０１０９】
図１に示したモード選択スイッチ２２が再生モードに設定され、再生画像に動画ファイルが選択されると、記録メディア３２に記録されたインデックス画像はＣＰＵ１２の制御に従って随時読み出され、所定の配列形式に従って配列されてインデックスが生成される。このように生成されたインデックスは画像表示装置２８に表示される。
【０１１０】
各インデックス画像には、少なくとも元のフレーム画像の名称（例えば、フレーム１などのフレーム名や任意のファイル名等）を対応付けして記録されるが、さらに、元のフレーム画像の記録時間、当該インデックス画像の容量、ファイル全体の記録時間、撮影条件などの当該インデックス画像に関連した情報を添付してもよい。
【０１１１】
本実施形態では元のフレーム画像を縮小してインデックス画像を生成したが、すべてのインデックス画像を縮小せず記憶可能な容量を持つメモリを備えていれば、縮小処理を省略することができる。
【０１１２】
また、インデックス画像を記録メディア３２に記録し、再生時に記録メディア３２からインデックス画像を読み出し、時系列順に配置してインデックスを作成したが、インデックス画像が生成された際にインデックスを作成し、インデックスを画像として記録メディアに記録する形態も考えられる。
【０１１３】
図７は、インデックス表示形式の一例を示した図である。
【０１１４】
図７に示したとおり、画像表示装置２８にはインデックス４３３が表示され、インデックス４３３内にはインデックス画像が１２枚同時に表示されており、記録開始時の画像（図６のインデックス画像４２２）が上段左に配置され、左上方向から右方向にかけて、下方向に改行しながら、時系列にそってマトリクス状に配置される。
【０１１５】
図７において、インデックス画像４２２の右隣にはインデックス画像４２４が配置され、インデックス画像４２４の右隣にはインデックス画像４２６が配置され、さらに、インデックス画像４２６の右隣にはインデックス画像４２８が配置される。図６においてｍが１２である場合には、インデックス画像４３０は下段右から３枚目に配置され、インデックス画像４３２は下段左端に配置される。
【０１１６】
また、インデックス画像が１３枚以上ある場合には、例えば、図１に示した十字キーの下キーを押下するなどの操作手段２６を操作することにより、１枚目から１２枚目の画像に代わって１３枚目から２４枚目の画像が画像表示装置２８に表示される。なお、例えば、インデックス画像が２０枚のときには、２１枚目から２４枚目までの画像を表示する領域には、インデックス画像の大きさと同じ大きさの枠が表示される。
【０１１７】
また、画像表示装置２８に表示されるインデックス４３３には、インデックス画像の他に選択されているインデックス画像を示す選択枠４３４が表示されている。選択枠４３４は、図１に示した十字キーなどの操作手段２６を操作して移動させることができ、所望のインデックス画像の位置に移動させ、メニュー／ＯＫキー（操作手段２６）を操作して、選択を決定させる。
【０１１８】
また、１２枚のインデックス画像を同時に記録する形態を例示したが、インデックス画像の表示枚数は１つの画像の大きさ（面積）や画像表示装置２８の有効表示面積よって決められる。また、表示枚数をユーザが選択するよう構成してもよい。さらにインデックス画像の添付情報を同時に表示させてもよい。
【０１１９】
本実施形態では、図１に示したモード選択スイッチ２２が再生モードに設定された場合に画像表示装置２８にインデックス画像を表示させる形態を例示したが、動画撮影（記録）時に、インデックス画像を同時表示させてもよい。インデックス画像を撮影画像と同時表示する形態は、インデックス画像専用表示領域を設けてもよいし、撮影画像に重ねて表示してもよい。撮影画像と重ねて表示する場合には撮影の妨げにならないように表示することが好ましい。
【０１２０】
図８は、本実施形態に係るカメラ１０のホワイトバランス制御およびシーン判別制御の流れを示したフローチャートである。図８中図３と同一または類似する部分については同一の符号を付し、その説明は省略する。
【０１２１】
図１に示した撮影ボタン２４全押し（Ｓ２オン）により動画撮影（記録）が開始され（図８のステップＳ２００）、最初の画像が取得されると、図１に示した画像信号処理回路５８にて、図３で説明したオートホワイトバランス制御が行われる。（図８で破線に囲まれた部分が図３のオートホワイトバランス制御に相当する）
まず、各分割エリアのＲＧＢごとの積算値が算出され（ステップＳ１１０）、ステップＳ１１０によって求められたＲＧＢごとの積算値からＲ／ＧおよびＢ／Ｇ（各エリアの色情報）が求められる（ステップＳ１１２）。
【０１２２】
図４に示した表色座標２００上における各エリアの色情報分布から、各検出枠に入ったエリアの個数と各検出枠での平均座標が求められ（図８のステップＳ１１４）、各枠ごとにホワイトバランスゲインが算出される（ステップＳ１１８）。
【０１２３】
ステップＳ１１４において算出された各検出枠に入ったエリアの個数と各検出枠での平均座標とから、当該画像の重心座標が算出され、この重心座標が図４の表色座標２００に示された何れの検出枠に入るかが算出される（ステップＳ１２）。
【０１２４】
続いて、ステップＳ２０２において算出された重心座標が、図４に示した表色座標２００上の何れの検出枠に入るかが検出され、連続撮影された２つの画像間でステップＳ２０２において算出された重心座標が入る表色座標２００上の検出枠が変るか否かが判定されるシーン判定が行われる（ステップＳ２０４）。ステップＳ２０４において重心座標が入る検出枠が変らない（撮影シーンが変らない）と判定された場合には（ＮＯ判定）、ステップＳ２０８に進み、撮影終了操作（Ｓ１オン）がなされたか否かが検出される。ステップＳ２０８において撮影修了操作がなされない場合には（ＮＯ判定）、ステップＳ２００に戻り、次の画像が取得される。
【０１２５】
一方、ステップＳ２０８において撮影終了操作がなされた場合には（ＹＥＳ判定）、動画撮影は終了される。
【０１２６】
ステップＳ２０４において、重心座標の検出枠が変った（撮影シーンが変った即ちシーンチェンジ）と判定された場合には（ＹＥＳ判定）、当該撮影画像からインデックス画像が抽出され、抽出されたインデックス画像からインデックスが生成される（ステップＳ２０６）。ステップＳ２０６においてインデックスが生成されると、カメラ１０の処理はステップＳ２０８に進み、ステップＳ２０８において撮影終了操作がなされないと、次の画像が取得され、ステップＳ２０８において撮影終了操作がなされると撮影が終了される。
【０１２７】
上記の如く構成されたカメラ１０では、動画撮影時において、オートホワイトバランス制御のアルゴリズムを利用して光源種判別を行い、撮影シーンの光源種が変ったか否かを判定してシーン判別を行う。オートホワイトバランス機能を利用するので新規機能を追加する必要がなく、カメラ１０内の制御負担も節約できる。さらにシーンチェンジと判断されたときには当該フレーム画像からインデックス画像を抽出し、インデックスを作成する。したがって、ノーカットの１動画においても自動的にシーンチェンジを検出しインデックス４３３を生成することが可能である。
【０１２８】
本実施形態では、カメラ１０内でシーン判別し、当該フレーム画像からインデックス画像を抽出し、インデックス４３３を生成したが、シーン判別に使用したシーン変化情報を記録しておき、カメラ１０以外の再生装置や画像処理装置でインデックス４３３を生成してもよい。
【０１２９】
【発明の効果】
本発明によれば、入力された画像データから色温度情報を生成し、生成された色温度情報に基づいて撮影シーンの判別を行うように構成したので、ノーカットの１動画であっても当該１動画内の撮影シーンの判別が可能になる。撮像手段を介して時系列に沿って取得された複数の画像について前記色温度情報生成手段により生成される色温度情報の変化に基づいて撮影シーンの変化を判断することができる。また、オートホワイトバランスの機能を利用して色温度情報を生成するように構成したので新規機能を追加する必要がなくカメラ内の制御負担も節約できる。
【０１３０】
さらに、シーン判別によって撮影シーンが変化したところの画像をインデックス画像として抽出し、抽出されたインデックス画像からインデックスを生成するように構成したので、ノーカットの１動画であってもシーンごとのインデックスを生成することができる。インデックスを表示する表示手段とインデックスのデータを記録するインデックス記録手段とを備える態様もある。表示手段に表示された複数のインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する画像から再生できるように構成したので、１つの動画の途中から所望の場面を再生でき、便利である。
【図面の簡単な説明】
【図１】本発明の実施形態に係るカメラのブロック図
【図２】本実施形態に係るカメラのホワイトバランス処理関連部分のブロック図
【図３】オートホワイトバランス制御の流れを示したフローチャート
【図４】表色座標上の光源種検出枠を示した図
【図５】オートホワイトバランス制御およびシーン判別制御の機能ブロック図
【図６】インデックス画像抽出およびインデックス作成の概要を示した図
【図７】インデックス表示形式の一例を示した図
【図８】ホワイトバランス制御およびシーン判別制御の流れを示したフローチャート
【符号の説明】
１０…カメラ、１２…ＣＰＵ、１８…メモリ、２６…操作手段、２８…画像表示装置、３２…記録メディア、４０…レンズユニット、５８…画像信号処理回路、２００…表色座標、３１６…重心演算部、３１８…シーンチェンジ判定部、４２２，４２４，４２６，４２８，４３０，４３２…インデックス画像
【０００１】
【発明の属する技術分野】
本発明は動画像処理装置および画像処理方法に係り、特に動画記録機能を備えたデジタルカメラやビデオカメラなどに好適な動画の記録、再生処理技術に関する。
【０００２】
【従来の技術】
特許文献１に開示された動画像再生装置では、撮影された動画から所定の間隔でインデックス画像を抽出し、これらインデックス画像をテープＩＤ、テープ全体量、画像インデックス数、およびポジションＩＤと共に当該動画像再生装置に備えられたメモリに記録して、動画再生時に表示画面上にインデックス画像や当該インデックス画像のポジション情報等を表示させることができる。そして、ユーザが所望のインデックス画像を選択すると、当該インデックス画像に対応したフレームから動画再生が開始されるようになっている。
【０００３】
【特許文献１】
特開平６−１５３１５７号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１のように一定の時間間隔でインデックス画像を抽出するものでは、所望のシーンが飛ばされていることがあり、所望のシーンを探すのができない場合もある。
【０００５】
また、上記文献では、シーンチェンジ、録画スタート、インデックスマーク等に基づいてインデックスを作成することができると述べているが、シーンチェンジの検出方法などについて具体的な開示はない。仮に、録画スタートをきっかけにインデックス画像を作成する場合には録画スタート時のシーンがインデックス画像になってしまい、録画スタートのシーンが所望のシーンでなければ、所望のシーンを検索できない。例えば、始まりのシーンが同じような画像で、終わりの方のシーンが異なる複数の動画を撮影した場合については、録画スタート時の同じような画像のインデックス画像が抽出されてしまい、画像内容を把握することが困難である。このような場合、従来の構成では、いちいち始めから動画を再生して内容を確認しなければならなかった。
【０００６】
一方、インデックスマークをきっかけにインデックス画像を作成する場合には、撮影者が撮影しながら適宜インデックスマークを付ける操作を行わなければならないので、撮影者の操作が煩雑である。
【０００７】
本発明はこのような事情を鑑みてなされたもので、動画のシーン変化を自動的に検出できる動画処理技術を提供するとともに、動画の全体像を把握しやすいシーン別インデックスを容易に生成することができる動画像処理装置および方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために本発明に係る動画像処理装置は、被光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた動画の画像データを処理する動画像処理装置であって、入力された画像データから被写体の色温度情報を生成する色温度情報生成手段と、前記色温度情報生成手段により生成された色温度情報に基づいてシーンの変化を判別するシーン判別手段と、を備えたことを特徴としている。
【０００９】
本発明によれば、入力された画像データから色温度情報を生成し、生成された色温度情報に基づいて撮影シーンの判別を行うように構成したので、ノーカットの１動画であっても当該１動画内の撮影シーンの判別が可能になる。
【００１０】
色温度情報は色温度を反映した情報を意味し、例えば、色温度そのもの、色成分の比率を示す情報、色情報の分析に基づいて判別された光源種の情報などの態様が含まれている。
【００１１】
撮像手段を介して時系列に沿って取得された複数の画像について前記色温度情報生成手段により生成される色温度情報の変化に基づいて撮影シーンの変化を判断することができる。
【００１２】
本発明の一態様に係る動画像処理装置は、前記撮像手段によって連続撮影された動画のうち前記シーン判別手段によってシーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出手段と、前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成手段と、を備えたことを特徴としている。
【００１３】
かかる態様によれば、シーン判別によって撮影シーンが変化したところの画像をインデックス画像として抽出し、抽出されたインデックス画像からインデックスを生成するように構成したので、ノーカットの１動画であってもシーンごとにインデックスを生成することができる。
【００１４】
動画内の１画像はフレーム画像と呼ばれ、各フレーム画像にはフレームを識別できる情報（例えばフレーム番号やフレーム名、タイムコードなど）が付与されている。
【００１５】
さらに、インデックスを表示する表示手段と、インデックスのデータを記録するインデックス記録手段とを備える態様もある。
【００１６】
また、インデックスのデータを記録する態様には、インデックスそのものを画像として記録する態様、インデックスの再現に必要な情報（インデックス画像のフレーム番号を記述したものなど）を記録する態様やインデックスそのものを画像として記録し、さらに、インデックスの再現に必要な情報も記録する態様がある。
【００１７】
また、前記撮像手段を用いて被写体を連続撮影して得られた動画を記録媒体に記録する記録手段と、前記記録手段に記録されている画像を再生する再生処理手段と、前記再生処理手段により再生された画像や前記インデックス生成手段により生成されたインデックスを表示する表示手段と、を備えたことを特徴としている。
【００１８】
撮像手段を備えていれば、動画記録装置（すなわち、動画像撮像記録装置）となる。また、撮像手段と分離された構成の信号処理装置の態様もある。前記信号処理装置はパソコンなどで実現可能である。
【００１９】
本発明の他の態様に係る動画像処理装置は、前記表示手段に表示された複数の前記インデックス画像から所望のインデックス画像を選択するインデックス選択手段と、前記インデックス選択手段により所望のインデックス画像が選択されると、当該インデックス画像に対応する画像から再生を開始する制御を行う再生制御手段と、を備えたことを特徴としている。
【００２０】
かかる態様によれば、表示手段に表示された複数のインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する画像から再生できるように構成したので、１つの動画の途中から所望の場面を再生でき、便利である。
【００２１】
さらに他の態様によれば、前記シーン判別手段の判断結果を表すシーン判別情報を画像と関連付けて記録するシーン判別情報記録手段を備えたことを特徴としている。
【００２２】
シーン判別情報を画像と関連付けて記録する態様には、該当フレームにフラグを立てる（該当フレームの所定の領域にシーン判別情報を記録する態様を含む）態様やヘッダー情報として記録する態様、または、該当フレームのリストを作成する態様がある。
【００２３】
フレームごとにホワイトバランス情報（例えばゲイン値）を記録することでゲイン値が変化したところ（しきい値以上大きく変化した場合）がすなわちシーン変化したところを表している。
【００２４】
また、記録しておいたシーン判別情報を再生時に活用してインデックス画像を抽出し、抽出されたインデックス画像からインデックス生成してもよい。さらに生成されたインデックスを表示してもよいし、生成されたインデックスを記録してもよいし、表示と記録の両方を行ってもよい。
【００２５】
本発明のさらに他の態様に係る動画像処理装置は、前記色温度情報生成手段は、所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定手段と、前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得手段と、前記色情報取得手段により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、前記検出枠に対する前記エリアの分布に基づいて光源種を判別する光源種判別手段と、を含むことを特徴としている。
【００２６】
また、前記光源種判別手段は、前記分布情報取得手段により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出手段と、前記重心座標算出手段により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源に対応した検出枠に位置するかを判断する検出枠判断手段とを備えたことを特徴としている。
【００２７】
オートホワイトバランスの機能を利用して色温度情報を生成するように構成したので新規機能を追加する必要がなくカメラ内の制御負担も節約できる。
【００２８】
前記目的を達成するために本発明に係る動画像処理方法は、光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた画像データから被写体の色温度情報を生成する色温度情報生成工程と、前記撮像手段を介して時系列に沿って取得される複数の画像について前記色温度情報生成工程により生成される色温度情報に基づいて撮影シーンの変化を判断するシーン判別工程と、前記撮像手段によって連続撮影された動画のうち前記シーン判別工程によって撮影シーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出工程と、前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成工程と、を含むことを特徴としている。
【００２９】
生成されたインデックスを表示手段に表示させる工程、および生成されたインデックスのデータを記録媒体に記録する工程、を付加してもよい。
【００３０】
生成されたインデックスの出力形態にはを表示手段に表示させる形態や記録媒体に記録する形態の他に、通信媒体を介して外部に出力する形態などがあり得る。
【００３１】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理装置として機能するカメラの好ましい実施の形態について説明する。
【００３２】
図１は本発明の実施形態に係る画像処理装置として機能するカメラのブロック図である。
【００３３】
このカメラ１０は、音声付き動画の記録および再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。 ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、自動ホワイトバランス調節（ＡＷＢ）演算など、各種演算を実施する演算手段として機能する。
【００３４】
なお、自動露出、自動焦点調節および自動ホワイトバランス調節はそれぞれＡＥ、ＡＦ、ＡＷＢと記載することがある。
【００３５】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラムおよび制御に必要な各種データ等が格納されている。なお、不揮発性記憶手段であるＲＯＭ１６は書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものでもよい。
【００３６】
また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域およびＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。
【００３７】
カメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。
【００３８】
モード選択スイッチ２２は、静止画撮影モード、動画撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ２０を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力され、カメラ１０は静止画撮影モードに設定され、可動接片２２Ａを接点ｂに接続させると、カメラ１０は動画撮影モードに設定される。また、可動切片２２Ａを接点ｃに接続させると、カメラ１０は記録済みの画像を再生する「再生モード」に設定される。
【００３９】
再生される画像データが静止画である場合には、画像表示装置２８には静止画像が表示される。また、再生される画像が動画である場合には、まず、ファイルの代表画像が表示され、インデックスを表示させるか否かを選択する。インデックスを表示させない場合にはファイルの先頭から再生が開始され、インデックスを表示させる場合には、所望のインデックス画像を選択し、再生開始操作を行うと、画像表示装置２８には選択されたインデックス画像に対応した画像から動画が再生される。なお、インデックス画像の詳細については後述する。
【００４０】
撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、動画撮影においては録画開始（スタート）／停止（ストップ）ボタンとして機能し、静止画撮影においてはレリーズボタンとして機能する。撮影ボタン２４は、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００４１】
メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００４２】
画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００４３】
カメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、ｘＤ−ＰｉｃｔｕｒｅＣａｒｄ（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【００４４】
本発明の実施に際しては、メディアソケットの個数は特に限定されない。また、画像データを記録する手段はリムーバブルメディアに限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００４５】
メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００４６】
また、カメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部３６を備えている。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、ＩＥＥＥ１３９４やＢｌｕｅｔｏｏｔｈ その他の通信方式を適用してもよい。
【００４７】
次に、カメラ１０の撮影機能について説明する。
【００４８】
モード選択スイッチ２２によって静止画撮影モードまたは動画撮影モードが選択されると、ＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。
【００４９】
レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御およびアイリス制御が行われる。
【００５０】
レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。なお、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００５１】
ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００５２】
ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４は、順次入力するＲ、Ｇ、Ｂ信号をデジタル信号に変換して画像入力コントローラ５６に出力する。
【００５３】
画像信号処理回路５８は、画像入力コントローラ５６を介して入力するデジタルの画像信号をＣＰＵ１２の指令に従って処理する。すなわち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。
【００５４】
なお、画像入力コントローラ５６には、メモリ１８およびＶＲＡＭ２０のデータ読み出し制御、書き込み制御を行うメモリコントローラが含まれている。
【００５５】
画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）および色差信号（Ｃｒ，Ｃｂ 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。
【００５６】
撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。
【００５７】
ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２０Ｂとで交互に書き換えられる。ＶＲＡＭ２０のＡ領域２０ＡおよびＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００５８】
撮影ボタン２４が半押しされ、Ｓ１がオンすると、カメラ１０はＡＥおよびＡＦ処理を開始する。すなわち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。
【００５９】
ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１２はＣＣＤ３８の電子シャッターおよびアイリスを制御して適正な露光量を得る。
【００６０】
また、ＡＥ／ＡＷＢ検出回路６４は、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／ＧおよびＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値と、ＡＥ演算による撮影ＥＶ値の情報に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のアンプゲインを制御し、各色チャンネルの信号に補正をかける。前述した各比の値を１以外の値になるようにホワイトバランス調整回路のアンプゲインを調整すると、ある色味が残った画像を生成することができる。なお、ホワイトバランス制御の詳細は後述する。
【００６１】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、およびＡＦエリア内の絶対値データを積算する積算部から構成される。
【００６２】
ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００６３】
撮影ボタン２４が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタン２４が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。
【００６４】
メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式、動画についてはモーションＪＰＥＧ形式で記録される。
【００６５】
モーションＪＰＥＧ方式では、ＣＣＤ３８から取得した画像データを一旦、内部のメモリ１８に記憶した後、画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換し、１画像内でＪＰＥＧ圧縮しながら、外部の記録メディア３２に一定のフレームレート（例えば、３０フレーム／秒）で静止画を連続的に保存していく。
【００６６】
動画のファイル形式はモーションＪＰＥＧに限定されず、ＭＰＥＧなど他のファイル形式を適用してもよい。また、静止画ファイルの記録形式もＪＰＥＧ形式に限定されず、ＴＩＦ 形式やＢＭＰ 形式など他の形式を用いてもよい。ＭＰＥＧ方式の場合は、フレーム内圧縮およびフレーム間圧縮を行いながら外部の記録メディア３２に連続的に記録する。
【００６７】
動画撮影中には、いわゆる「山登り方式」の連続的なＡＦ処理（コンティニアスＡＦ）を行う。すなわち、フォーカシングレンズを光軸に沿って前後に微小移動させて、焦点評価値の増減方向をチェックしながら、ＡＦ評価値の極大点まで、徐々にフォーカシングレンズを移動させる。
【００６８】
動画撮影時の音声はマイク（図１には不図示）によって検出され、その検出信号（音声信号）は、Ａ／Ｄ変換器（図１には不図示）によってデジタル信号に変換され、音声信号処理回路（図１には不図示）に送られる。音声信号処理回路はバス１４に接続されており、メモリ１８を利用しながらＣＰＵ１２の指令に従い音声データを所定の信号形式に変換する。こうして生成された音声データは、メモリ１８に記憶され、画像データとともに圧縮伸張回路６６で圧縮された後、記録メディア３２に記録される。
【００６９】
録画開始後に、もう一度撮影ボタン２４を押下（Ｓ１オン）すると録画動作が停止する。なお、撮影ボタン２４を押下継続している期間、録画動作を行い、押下解除により録画を停止させる態様や、録画開始後の一定時間で録画を自動停止させる態様などもある。
【００７０】
モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８およびビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。
【００７１】
再生対象ファイルが動画ファイルの場合には、インデックス画像が表示され、動画再生開始の指示を受け付ける画面になる。表示されているインデックス画像から所望のインデックス画像を選択し、操作部から所定の操作（例えば、十字キーの下キー押下）を行うと、選択されたインデックス画像に対応した動画ファイルの再生処理がスタートし、画像表示装置２８に動画映像が表示されるとともに、音声信号処理回路において再生処理された音声データがＤ／Ａ変換器を介してスピーカ（図１には不図示）に出力され、動画とともに記録した音声も再生される。
【００７２】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む。）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。
【００７３】
次に、図２乃至４を用いて、上記の如く構成されたカメラ１０のオートホワイトバランス調節機能について説明する。
【００７４】
図２は本実施形態に係るカメラ１０のオートホワイトバランス処理に関連する部分のブロック図である。図２中図１と同一または類似する部分には同一の符号を付しその説明は省略する。
【００７５】
図２のデジタル信号処理回路１００は図１中画像信号処理回路５８の一部であり、同時化回路１０２、ホワイトバランス調整回路１０４、ガンマ補正回路１０６、ＹＣ信号作成回路１０８、およびメモリ１１８から構成されている。ここで、メモリ１１０は図１のメモリ１８と同一であるが、本発明の理解を容易にするために図２ではメモリ１８とメモリ１１０とが別々に記載されている。なお、図１ではメモリ１８とメモリ１１０を合わせてメモリ１８と記載されている。
【００７６】
Ａ／Ｄ変換器５４から出力されたＲ、Ｇ、Ｂ信号は画像入力コントローラを介して一旦メモリ１８に格納される。同時化回路１０２は、メモリ１８から読み出された点順次のＲ、Ｇ、Ｂ信号を同時式に変換し、Ｒ、Ｇ、Ｂ信号を同時にホワイトバランス調整回路１０４に出力する。ホワイトバランス調整回路１０４は、Ｒ、Ｇ、Ｂ信号のデジタル値をそれぞれ増減するための乗算器１０４Ｒ、１０４Ｇ、１０４Ｂから構成されており、Ｒ、Ｇ、Ｂ信号は、それぞれ乗算器１０４Ｒ、１０４Ｇ、１０４Ｂに加えられる。
【００７７】
乗算器１０４Ｒ、１０４Ｇ、１０４Ｂの他の入力には、ＣＰＵ１２からホワイトバランス制御するためのホワイトバランス補正値（ゲイン値）Ｒｇ、Ｇｇ、Ｂｇが加えられており、乗算器１０４Ｒ、１０４Ｇ、１０４Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号をガンマ補正回路１０６に出力する。
【００７８】
ホワイトバランス補正値をＲｇ、Ｇｇ、Ｂｇ、補正する前の信号をＲ、Ｇ、Ｂとし、ホワイトバランス調整回路１０４での補正結果をＲ’、Ｇ、’Ｂ’とすると、補正結果Ｒ’、Ｇ’、Ｂ’は次式によって表される。
【００７９】
【数１】
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ガンマ補正回路１０６は、ホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号作成回路１０８に出力する。ＹＣ信号作成回路１０８は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号であるクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂは、メモリ１１０に格納される。メモリ１１０内のＹＣ信号を読み出し、画像表示装置２８に出力することにより、動画または静止画を画像表示装置２８に表示させることができる。
【００８０】
図３は、オートホワイトバランス（ＡＷＢ）制御の流れを示したフローチャートである。
【００８１】
撮影ボタン全押し（Ｓ２オン）に応動してオートホワイトバランス制御が開始され（ステップＳ１００）、ＣＣＤ３８より取得された１画面分のＲＧＢデータはメモリ１８に記憶される。撮像画面は複数のエリア（例えば８×８）に分割され、エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値が算出される（ステップＳ１１０）。
【００８２】
得られた色別の積算値から一画素あたりの平均値が算出され、その平均値からＲ信号とＧ信号との比Ｒ／Ｇ、およびＢ信号とＧ信号との比Ｂ／Ｇが求められる（ステップＳ１１２）。
【００８３】
なお、エリアごとのＲ、Ｇ、Ｂ信号の平均値は、図２に示した積算回路１１２によって算出され、ＣＰＵ１２に送られる。また積算回路１１２とＣＰＵ１２の間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。なお、図２に示した積算回路１１２は図１に示したＡＥ／ＡＷＢ検出回路６４に含まれている。
【００８４】
こうしてエリアごと求められる色情報（Ｒ／Ｇ、Ｂ／Ｇ）は、それぞれのエリアが図４の表色座標２００上に表された検出枠のうち何れの検出枠に入るかを判別するために使用される。なお、図４における日陰検出枠２０２や昼光色検出枠２０４等の検出枠は、横軸をＲ／Ｇ、たて軸をＢ／Ｇとする表色座標２００上に表された枠であり、検出枠ごとに光源種などの色分布の範囲を規定するものである。
【００８５】
図４では日陰検出枠２０２、昼光色検出枠２０４、白色検出枠２０６、晴れ検出枠２０８、温白色検出枠２１０、タングステン検出枠（２）２１２、タングステン検出枠（３）２１４が示されている。ただし、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【００８６】
図４に示した検出枠を用い、撮像画面の各エリアに対応する６４点の分布を得て、６４点の分布を検出枠ごとに平均化する。即ち、各検出枠に出力された点のみに関して、各検出枠に入った個数と各検出枠での平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）とが算出される（図３のステップＳ１１４）。
【００８７】
各枠ごとの分布をある色味に合わせるために、それぞれの枠ごとにゲインが算出される（ステップＳ１１４）。目標値を（Ｔｘ，Ｔｙ）とすると、各枠ごとのゲイン（逆数ゲイン）Ｇｒｉ、Ｇｂｉは次式で計算される。
【００８８】
【数２】
Ｇｒｉ＝Ｔｘ×（Ｇｉ／Ｒｉ）
Ｇｂｉ＝Ｔｙ×（Ｇｉ／Ｂｉ）
こうして求められた各枠ごとのゲインと明るさの関数、各検出枠検出個数の割合によって決められた検出枠ごとに評価値が求められる。該評価値は次式で計算される。
【００８９】
【数３】
評価値Ｈｉ＝Ｆ（明るさ）×Ｆ（検出個数）
上記のように求められた評価値Ｈｉとの重み付けでホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇが求められる（ステップＳ１１８）。
【００９０】
ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇは次式で計算される。
【００９１】
【数４】
Ｒｇ＝Σ（Ｈｉ×Ｇｒｉ）／Σ（Ｈｉ×Ｇｇ）
Ｂｇ＝Σ（Ｈｉ×Ｇｂｉ）／Σ（Ｈｉ×Ｇｇ）
Ｇｇ＝Ｇｇ（Ｇｇは任意の値）
このようにして、ホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇが算出されるとオートホワイトバランス制御は終了される（ステップＳ１２０）。
【００９２】
目標値（Ｔｘ，Ｔｙ）を（１，１）に設定すると、ＲＧＢ信号の比が１：１：１となる。色味を残すためには目標値は（１，１）以外に設定される。
【００９３】
上述したホワイトバランス制御を利用した撮影シーン判別について、図５、６を用いて説明する。
【００９４】
図５は、ホワイトバランス制御およびシーン判別制御の機能ブロック図である。ＲＧＢ積算部３００では、１画面を複数のエリア（例えば、８×８）に分割され、分割エリアごとに色別の平均積算値が算出され、Ｒ／Ｇ、Ｂ／Ｇ積算部３０２においてＲ信号とＧ信号との比Ｒ／Ｇ、およびＢ信号とＧ信号との比Ｂ／Ｇが求められる。
【００９５】
Ｒ／ＧおよびＢ／Ｇが求められると、図４に示した表色座標２００上における各エリアの分布を得ることができる。検出個数算出部３０４では、表色座標２００上に設定された検出枠の中に入ったエリアの個数および分布から、検出枠ごとの平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）が求められる。
【００９６】
逆数ゲイン算出３０６では、検出個数算出部３０４で求められた平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）から、上述した［数２］に示した式によって、逆数ゲインＧｒｉおよびＧｂｉが求められる。
【００９７】
また、ＡＥ演算部３０８では、分割エリアごとにＲ、Ｇ、Ｂ信号から求めた輝度信号を積算し、明るさの評価値演算部３１０では、ホワイトバランスゲインを求める際に用いられる明るさの関数Ｆ（明るさ）が求められる。
【００９８】
ＡＷＢ評価値演算部３１２では、前記明るさの関数Ｆ（明るさ）と検出個数演算部３０４で求められた平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）とから、上述した［数３］に示した式により検出枠ごとの評価値Ｈｉが求められ、ＡＷＢゲイン算出部３１４において、逆数ゲイン算出部３０６で求められた検出枠ごとの逆数ゲインＧｒｉ、ＧｂｉとＡＷＢ評価値演算部３１２で求められた検出枠ごとの評価値Ｈｉとから、上述した［数４］に示した式によってホワイトバランスゲインＲｇ、Ｇｇ、Ｂｇが求められる。
【００９９】
一方、重心演算部３１６では、検出枠ごとに検出個数と各検出枠の平均値との重み付けによって重心座標（Ｒ／Ｇ，Ｂ／Ｇ）が求められる。検出枠ごとの検出個数をＮｉとすると、重心座標（Ｒ／Ｇ，Ｂ／Ｇ）は次式によって求められる。
【０１００】
【数５】
Ｒ／Ｇ＝Σ（Ｎｉ×Ｒｉ／Ｇｉ）／ΣＮｉ×Ｇｇ
Ｂ／Ｇ＝Σ（Ｎｉ×Ｂｉ／Ｇｉ）／ΣＮｉ×Ｇｇ
上記の如く求められた重心座標（Ｒ／Ｇ，Ｂ／Ｇ）によって、図４に示した表色座標上に設定されたどの検出枠に重心が位置しているかを判断することができる。即ち、重心が位置している検出枠の光源が、当該画像を撮影したときの光源であると判断することができる。
【０１０１】
シーンチェンジ判定部３１８では、当該画像の重心位置を監視し、前記重心位置が異なる検出枠内に移動したときには光源種が変ったと判断し、これを撮影シーンが変った（シーンチェンジ）と判定する。
【０１０２】
本実施形態では、表色座標にＲ／Ｇ、Ｂ／Ｇ座標系を用いたが表色座標系にはＲ、Ｇ、Ｂ座標系等、他の座標系を用いてもよい。
【０１０３】
上述したシーン判別制御を利用して、動画のインデックス作成について説明する。
【０１０４】
図６は、動画撮影時におけるインデックス生成およびインデックス画像抽出の概要を示した図である。図６では、時間軸４００は左から右に進行しており、時間軸４００の左端（スタート）から動画記録が開始され、時間軸４００の右端（ストップ）で動画記録が終了し、この間に撮影された動画は１つの動画ファイルとして記録される。
【０１０５】
画像４０２は動画記録開始時の画像であり、本動画は所定の間隔（サンプリングレート）で記録されたｎ個の画像から構成されている。
【０１０６】
時間軸４００上には、図５に説明したシーン判別制御によってシーンチェンジと判断されたシーンが示されている。画像４０４は動画記録開始から１回目のシーンチェンジ時（シーンチェンジ１）のフレーム画像を示し、画像４０６は２回目のシーンチェンジ時（シーンチェンジ２）のフレーム画像、画像４０８は３回目のシーンチェンジ時（シーンチェンジ３）のフレーム画像、・・・、画像４１０はｍ−１回目のシーンチェンジ時（シーンチェンジｍ−１）のフレーム画像、画像４１２はｍ回目のシーンチェンジ時（シーンチェンジｍ）のフレーム画像を示している。当該動画記録では、図５に説明したシーン判別制御によってｍ回のシーンチェンジが検出されている。なお、ｎおよびｍはそれぞれ任意の自然数である。
【０１０７】
シーンチェンジ時のフレーム画像が抽出され、予め設定された縮小率で圧縮されて、インデックス画像が生成される。フレーム画像４０２からインデックス画像４２２が生成され、同様にフレーム画像４０４からインデックス画像４２４が生成され、フレーム画像４０６、４０８、４１０、４１２からインデックス画像４２６、４２８、４３０、４３２がそれぞれ生成され、ｍ個のインデックス画像が生成される。上記の如く生成されたインデックス画像４２２乃至４３２は、元のフレーム画像のフレーム番号と対応付けされて、記録メディア３２に記憶される。
【０１０８】
シーンチェンジ時のフレーム画像を抽出せずに、フラグを立てて記録してもよいし、また、シーンチェンジ時のフレーム番号のリストを作成し、フレーム番号リストを記録する形態でもよい。また、毎フレーム画像にＲＧＢ信号の積算値や色温度情報、光源種情報等のホワイトバランス情報を添付して記録し、記録されているフレーム画像のホワイトバランス情報からシーンチェンジ時のフレーム画像を検索する形態も考えられる。
【０１０９】
図１に示したモード選択スイッチ２２が再生モードに設定され、再生画像に動画ファイルが選択されると、記録メディア３２に記録されたインデックス画像はＣＰＵ１２の制御に従って随時読み出され、所定の配列形式に従って配列されてインデックスが生成される。このように生成されたインデックスは画像表示装置２８に表示される。
【０１１０】
各インデックス画像には、少なくとも元のフレーム画像の名称（例えば、フレーム１などのフレーム名や任意のファイル名等）を対応付けして記録されるが、さらに、元のフレーム画像の記録時間、当該インデックス画像の容量、ファイル全体の記録時間、撮影条件などの当該インデックス画像に関連した情報を添付してもよい。
【０１１１】
本実施形態では元のフレーム画像を縮小してインデックス画像を生成したが、すべてのインデックス画像を縮小せず記憶可能な容量を持つメモリを備えていれば、縮小処理を省略することができる。
【０１１２】
また、インデックス画像を記録メディア３２に記録し、再生時に記録メディア３２からインデックス画像を読み出し、時系列順に配置してインデックスを作成したが、インデックス画像が生成された際にインデックスを作成し、インデックスを画像として記録メディアに記録する形態も考えられる。
【０１１３】
図７は、インデックス表示形式の一例を示した図である。
【０１１４】
図７に示したとおり、画像表示装置２８にはインデックス４３３が表示され、インデックス４３３内にはインデックス画像が１２枚同時に表示されており、記録開始時の画像（図６のインデックス画像４２２）が上段左に配置され、左上方向から右方向にかけて、下方向に改行しながら、時系列にそってマトリクス状に配置される。
【０１１５】
図７において、インデックス画像４２２の右隣にはインデックス画像４２４が配置され、インデックス画像４２４の右隣にはインデックス画像４２６が配置され、さらに、インデックス画像４２６の右隣にはインデックス画像４２８が配置される。図６においてｍが１２である場合には、インデックス画像４３０は下段右から３枚目に配置され、インデックス画像４３２は下段左端に配置される。
【０１１６】
また、インデックス画像が１３枚以上ある場合には、例えば、図１に示した十字キーの下キーを押下するなどの操作手段２６を操作することにより、１枚目から１２枚目の画像に代わって１３枚目から２４枚目の画像が画像表示装置２８に表示される。なお、例えば、インデックス画像が２０枚のときには、２１枚目から２４枚目までの画像を表示する領域には、インデックス画像の大きさと同じ大きさの枠が表示される。
【０１１７】
また、画像表示装置２８に表示されるインデックス４３３には、インデックス画像の他に選択されているインデックス画像を示す選択枠４３４が表示されている。選択枠４３４は、図１に示した十字キーなどの操作手段２６を操作して移動させることができ、所望のインデックス画像の位置に移動させ、メニュー／ＯＫキー（操作手段２６）を操作して、選択を決定させる。
【０１１８】
また、１２枚のインデックス画像を同時に記録する形態を例示したが、インデックス画像の表示枚数は１つの画像の大きさ（面積）や画像表示装置２８の有効表示面積よって決められる。また、表示枚数をユーザが選択するよう構成してもよい。さらにインデックス画像の添付情報を同時に表示させてもよい。
【０１１９】
本実施形態では、図１に示したモード選択スイッチ２２が再生モードに設定された場合に画像表示装置２８にインデックス画像を表示させる形態を例示したが、動画撮影（記録）時に、インデックス画像を同時表示させてもよい。インデックス画像を撮影画像と同時表示する形態は、インデックス画像専用表示領域を設けてもよいし、撮影画像に重ねて表示してもよい。撮影画像と重ねて表示する場合には撮影の妨げにならないように表示することが好ましい。
【０１２０】
図８は、本実施形態に係るカメラ１０のホワイトバランス制御およびシーン判別制御の流れを示したフローチャートである。図８中図３と同一または類似する部分については同一の符号を付し、その説明は省略する。
【０１２１】
図１に示した撮影ボタン２４全押し（Ｓ２オン）により動画撮影（記録）が開始され（図８のステップＳ２００）、最初の画像が取得されると、図１に示した画像信号処理回路５８にて、図３で説明したオートホワイトバランス制御が行われる。（図８で破線に囲まれた部分が図３のオートホワイトバランス制御に相当する）
まず、各分割エリアのＲＧＢごとの積算値が算出され（ステップＳ１１０）、ステップＳ１１０によって求められたＲＧＢごとの積算値からＲ／ＧおよびＢ／Ｇ（各エリアの色情報）が求められる（ステップＳ１１２）。
【０１２２】
図４に示した表色座標２００上における各エリアの色情報分布から、各検出枠に入ったエリアの個数と各検出枠での平均座標が求められ（図８のステップＳ１１４）、各枠ごとにホワイトバランスゲインが算出される（ステップＳ１１８）。
【０１２３】
ステップＳ１１４において算出された各検出枠に入ったエリアの個数と各検出枠での平均座標とから、当該画像の重心座標が算出され、この重心座標が図４の表色座標２００に示された何れの検出枠に入るかが算出される（ステップＳ１２）。
【０１２４】
続いて、ステップＳ２０２において算出された重心座標が、図４に示した表色座標２００上の何れの検出枠に入るかが検出され、連続撮影された２つの画像間でステップＳ２０２において算出された重心座標が入る表色座標２００上の検出枠が変るか否かが判定されるシーン判定が行われる（ステップＳ２０４）。ステップＳ２０４において重心座標が入る検出枠が変らない（撮影シーンが変らない）と判定された場合には（ＮＯ判定）、ステップＳ２０８に進み、撮影終了操作（Ｓ１オン）がなされたか否かが検出される。ステップＳ２０８において撮影修了操作がなされない場合には（ＮＯ判定）、ステップＳ２００に戻り、次の画像が取得される。
【０１２５】
一方、ステップＳ２０８において撮影終了操作がなされた場合には（ＹＥＳ判定）、動画撮影は終了される。
【０１２６】
ステップＳ２０４において、重心座標の検出枠が変った（撮影シーンが変った即ちシーンチェンジ）と判定された場合には（ＹＥＳ判定）、当該撮影画像からインデックス画像が抽出され、抽出されたインデックス画像からインデックスが生成される（ステップＳ２０６）。ステップＳ２０６においてインデックスが生成されると、カメラ１０の処理はステップＳ２０８に進み、ステップＳ２０８において撮影終了操作がなされないと、次の画像が取得され、ステップＳ２０８において撮影終了操作がなされると撮影が終了される。
【０１２７】
上記の如く構成されたカメラ１０では、動画撮影時において、オートホワイトバランス制御のアルゴリズムを利用して光源種判別を行い、撮影シーンの光源種が変ったか否かを判定してシーン判別を行う。オートホワイトバランス機能を利用するので新規機能を追加する必要がなく、カメラ１０内の制御負担も節約できる。さらにシーンチェンジと判断されたときには当該フレーム画像からインデックス画像を抽出し、インデックスを作成する。したがって、ノーカットの１動画においても自動的にシーンチェンジを検出しインデックス４３３を生成することが可能である。
【０１２８】
本実施形態では、カメラ１０内でシーン判別し、当該フレーム画像からインデックス画像を抽出し、インデックス４３３を生成したが、シーン判別に使用したシーン変化情報を記録しておき、カメラ１０以外の再生装置や画像処理装置でインデックス４３３を生成してもよい。
【０１２９】
【発明の効果】
本発明によれば、入力された画像データから色温度情報を生成し、生成された色温度情報に基づいて撮影シーンの判別を行うように構成したので、ノーカットの１動画であっても当該１動画内の撮影シーンの判別が可能になる。撮像手段を介して時系列に沿って取得された複数の画像について前記色温度情報生成手段により生成される色温度情報の変化に基づいて撮影シーンの変化を判断することができる。また、オートホワイトバランスの機能を利用して色温度情報を生成するように構成したので新規機能を追加する必要がなくカメラ内の制御負担も節約できる。
【０１３０】
さらに、シーン判別によって撮影シーンが変化したところの画像をインデックス画像として抽出し、抽出されたインデックス画像からインデックスを生成するように構成したので、ノーカットの１動画であってもシーンごとのインデックスを生成することができる。インデックスを表示する表示手段とインデックスのデータを記録するインデックス記録手段とを備える態様もある。表示手段に表示された複数のインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する画像から再生できるように構成したので、１つの動画の途中から所望の場面を再生でき、便利である。
【図面の簡単な説明】
【図１】本発明の実施形態に係るカメラのブロック図
【図２】本実施形態に係るカメラのホワイトバランス処理関連部分のブロック図
【図３】オートホワイトバランス制御の流れを示したフローチャート
【図４】表色座標上の光源種検出枠を示した図
【図５】オートホワイトバランス制御およびシーン判別制御の機能ブロック図
【図６】インデックス画像抽出およびインデックス作成の概要を示した図
【図７】インデックス表示形式の一例を示した図
【図８】ホワイトバランス制御およびシーン判別制御の流れを示したフローチャート
【符号の説明】
１０…カメラ、１２…ＣＰＵ、１８…メモリ、２６…操作手段、２８…画像表示装置、３２…記録メディア、４０…レンズユニット、５８…画像信号処理回路、２００…表色座標、３１６…重心演算部、３１８…シーンチェンジ判定部、４２２，４２４，４２６，４２８，４３０，４３２…インデックス画像
【特許請求の範囲】
【請求項１】
光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた動画の画像データを処理する動画像処理装置であって、
入力された画像データから被写体の色温度情報を生成する色温度情報生成手段と、
前記色温度情報生成手段により生成された色温度情報に基づいてシーンの変化を判別するシーン判別手段と、
を備えたことを特徴とする動画像処理装置。
【請求項２】
前記撮像手段によって連続撮影された動画のうち前記シーン判別手段によってシーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出手段と、
前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成手段と、
を備えたことを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記撮像手段を用いて被写体を連続撮影して得られた動画を記録媒体に記録する記録手段と、
前記記録手段に記録されている画像を再生する再生処理手段と、
前記再生処理手段により再生された画像や前記インデックス生成手段により生成されたインデックスを表示する表示手段と、
を備えたことを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記表示手段に表示された複数の前記インデックス画像から所望のインデックス画像を選択するインデックス選択手段と、
前記インデックス選択手段により所望のインデックス画像が選択されると、当該インデックス画像に対応する画像から再生を開始する制御を行う再生制御手段と、
を備えたことを特徴とする請求項３記載の動画像処理装置。
【請求項５】
前記シーン判別手段の判断結果を表すシーン判別情報を画像と関連付けて記録するシーン判別情報記録手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記色温度情報生成手段は、
所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定手段と、
前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得手段と、
前記色情報取得手段により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、
前記検出枠に対する前記エリアの分布に基づいて光源種を判別する光源種判別手段と、
を含むことを特徴とする請求項１乃至５の何れか１項記載の動画像処理装置。
【請求項７】
前記光源種判別手段は、前記分布情報取得手段により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出手段と、
前記重心座標算出手段により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源に対応した検出枠に位置するかを判断する検出枠判断手段と、
を備えたことを特徴とする請求項６記載の動画像処理装置。
【請求項８】
光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた画像データから被写体の色温度情報を生成する色温度情報生成工程と、
前記撮像手段を介して時系列に沿って取得される複数の画像について前記色温度情報生成工程により生成される色温度情報に基づいて撮影シーンの変化を判断するシーン判別工程と、
前記撮像手段によって連続撮影された動画のうち前記シーン判別工程によって撮影シーンが変化したと判断されたところの画像（フレーム画像）をインデックス画像として抽出するインデックス画像抽出工程と、
前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成工程と、
を含むことを特徴とする動画像処理方法。
【請求項１】
光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた動画の画像データを処理する動画像処理装置であって、
入力された画像データから被写体の色温度情報を生成する色温度情報生成手段と、
前記色温度情報生成手段により生成された色温度情報に基づいてシーンの変化を判別するシーン判別手段と、
を備えたことを特徴とする動画像処理装置。
【請求項２】
前記撮像手段によって連続撮影された動画のうち前記シーン判別手段によってシーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出手段と、
前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成手段と、
を備えたことを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記撮像手段を用いて被写体を連続撮影して得られた動画を記録媒体に記録する記録手段と、
前記記録手段に記録されている画像を再生する再生処理手段と、
前記再生処理手段により再生された画像や前記インデックス生成手段により生成されたインデックスを表示する表示手段と、
を備えたことを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記表示手段に表示された複数の前記インデックス画像から所望のインデックス画像を選択するインデックス選択手段と、
前記インデックス選択手段により所望のインデックス画像が選択されると、当該インデックス画像に対応する画像から再生を開始する制御を行う再生制御手段と、
を備えたことを特徴とする請求項３記載の動画像処理装置。
【請求項５】
前記シーン判別手段の判断結果を表すシーン判別情報を画像と関連付けて記録するシーン判別情報記録手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記色温度情報生成手段は、
所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定手段と、
前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得手段と、
前記色情報取得手段により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、
前記検出枠に対する前記エリアの分布に基づいて光源種を判別する光源種判別手段と、
を含むことを特徴とする請求項１乃至５の何れか１項記載の動画像処理装置。
【請求項７】
前記光源種判別手段は、前記分布情報取得手段により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出手段と、
前記重心座標算出手段により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源に対応した検出枠に位置するかを判断する検出枠判断手段と、
を備えたことを特徴とする請求項６記載の動画像処理装置。
【請求項８】
光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた画像データから被写体の色温度情報を生成する色温度情報生成工程と、
前記撮像手段を介して時系列に沿って取得される複数の画像について前記色温度情報生成工程により生成される色温度情報に基づいて撮影シーンの変化を判断するシーン判別工程と、
前記撮像手段によって連続撮影された動画のうち前記シーン判別工程によって撮影シーンが変化したと判断されたところの画像（フレーム画像）をインデックス画像として抽出するインデックス画像抽出工程と、
前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成工程と、
を含むことを特徴とする動画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００４−２９７６９７（Ｐ２００４−２９７６９７Ａ）
【公開日】平成１６年１０月２１日（２００４．１０．２１）
【国際特許分類】
【出願番号】特願２００３−９０５９５（Ｐ２００３−９０５９５）
【出願日】平成１５年３月２８日（２００３．３．２８）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１６年１０月２１日（２００４．１０．２１）
【国際特許分類】
【出願日】平成１５年３月２８日（２００３．３．２８）
【出願人】（０００００５２０１）富士写真フイルム株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]