撮像装置、撮像方法および撮像プログラム
【課題】 消費電力を低下させること。
【解決手段】 ビデオカメラは、信号処理プロセッサ４５がフレームを信号処理して出力する処理済フレームと、イメージセンサ１５により出力されるフレームを参照フレームとして記憶するＳＤＲＡＭ１９と、入力フレームが信号処理プロセッサ４５により信号処理される前に、入力フレームと参照フレームとを比較する比較部４３と、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理プロセッサ４５に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理プロセッサ４５に信号処理させない制御部４７と、イメージセンサ１５がフレームを出力するフレームレートと同じフレームレートでＳＤＲＡＭ１９に記憶された処理済フレームを読み出し、出力する出力部４９と、を備える。
【解決手段】 ビデオカメラは、信号処理プロセッサ４５がフレームを信号処理して出力する処理済フレームと、イメージセンサ１５により出力されるフレームを参照フレームとして記憶するＳＤＲＡＭ１９と、入力フレームが信号処理プロセッサ４５により信号処理される前に、入力フレームと参照フレームとを比較する比較部４３と、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理プロセッサ４５に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理プロセッサ４５に信号処理させない制御部４７と、イメージセンサ１５がフレームを出力するフレームレートと同じフレームレートでＳＤＲＡＭ１９に記憶された処理済フレームを読み出し、出力する出力部４９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置、撮像方法および撮像プログラムに関し、特に動画像を処理する機能を備えた撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
ビデオカメラは、フレームごとに画像を処理する信号処理回路を備えている。この信号処理回路の消費電力は比較的大きいため、バッテリーの消費を低くして長時間の駆動を可能とするために、信号処理回路の消費電力を低下することが望まれている。
【０００３】
特開２００１−０４５４９３号公報には、Ｉピクチャ、Ｐピクチャ、Ｂピクチャから構成されるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）を有する符号化動画像データを生成する際に、復号化処理時に当該復号化処理を省くための情報を付加したフレームを適宜挿入することによって、符号化動画像データの情報量の削減、符号化処理時及び復号化処理時の処理量を低減した動画像符号化装置が記載されている。
【０００４】
しかしながら、復号化処理時に当該復号化処理を省くための情報を付加したフレームを適宜挿入しなければならず、処理が複雑になるといった問題がある。
【特許文献１】特開２００１−０４５４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、消費電力を低下させることが可能な撮像装置を提供することである。
【０００６】
この発明の他の目的は、撮像装置の消費電力を低減させることが可能な撮像方法および撮像プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した目的を達成するためにこの発明のある局面によれば、撮像装置は、予め定められたフレームレートでフレームを出力するイメージセンサと、フレーム単位で予め定められた信号処理を実行する信号処理手段と、信号処理手段がフレームを信号処理して出力する処理済フレームを記憶する処理済フレーム記憶手段と、イメージセンサにより出力されるフレームを参照フレームとして記憶する参照フレーム記憶手段と、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理手段により信号処理される前に、入力フレームと参照フレームとを比較する比較手段と、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させない制御手段と、イメージセンサがフレームを出力するフレームレートと同じフレームレートで、処理済フレーム記憶手段に記憶された処理済フレームを読み出し、出力する出力手段と、を備える。
【０００８】
この局面に従えば、信号処理手段がフレームを信号処理して出力する処理済フレームが記憶され、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理される前に、入力フレームと参照フレームとが比較され、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させない。このため、信号処理手段による信号処理回数が減少するので、信号処理手段の消費電力を低減することができる。その結果、消費電力を低減させることが可能な撮像装置を提供することができる。
【０００９】
好ましくは、フレーム記憶手段は、比較手段により入力フレームと参照フレームとが類似しないと判断された場合に、入力フレームを参照フレームとして記憶する。
【００１０】
この局面によれば、入力フレームと参照フレームとが類似する場合は、信号処理手段が参照フレームを信号処理した処理済フレームが出力される。このため、動画像の画質の低下を所定の範囲内に抑えることができる。
【００１１】
好ましくは、フレーム記憶手段は、比較手段による比較結果に係わらず入力フレームを参照フレームとして記憶する。
【００１２】
この局面によれば、参照フレームは、入力フレームの直前の入力フレームとなる。このため、連続する入力フレームが類似する場合は、信号処理手段が最後に信号処理した処理済フレームが出力される。このため、動画像の画質の低下を所定の範囲内に抑えることができる。
【００１３】
好ましくは、出力手段は、入力フレームと参照フレームとが類似しない場合、信号処理手段が入力フレームを信号処理した後に、処理済フレーム記憶手段から処理済フレームを読み出す。
【００１４】
この発明の他の局面によれば、撮像方法は、予め定められたフレームレートでフレームを出力するイメージセンサと、フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置で実行させる撮像方法であって、信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理手段により信号処理される前に、入力フレームと参照フレームとを比較するステップと、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させないステップと、イメージセンサがフレームを出力するフレームレートと同じフレームレートで、記憶された処理済フレームを読み出し、出力するステップと、を含む。
【００１５】
この局面に従えば、撮像装置の消費電力を低減させることが可能な撮像方法を提供することができる。
【００１６】
この発明のさらに他の局面によれば、撮像プログラムは、予め定められたフレームレートでフレームを出力するイメージセンサと、フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置を制御するプロセッサで実行される撮像プログラムであって、信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理手段により信号処理される前に、入力フレームと参照フレームとを比較するステップと、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させないステップと、イメージセンサがフレームを出力するフレームレートと同じフレームレートで、記憶された処理済フレームを読み出し、出力するステップと、をプロセッサに実行させる。
【００１７】
この局面に従えば、撮像装置の消費電力を低減させることが可能な撮像プログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態の１つにおけるビデオカメラの構成の概略を示すブロック図である。
【図２】信号処理部の詳細な構成の一例を、イメージセンサおよびＳＤＲＡＭとともに示す図である。
【図３】フレームの差分と時間との関係を示す図である。
【図４】入力フレームと処理済フレームの関係の一例を示す図である。
【図５】撮像処理の流れの一例を示すフローチャートである。
【図６】第２の実施の形態における撮像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００２０】
本実施の形態においては、撮像装置の一例としてビデオカメラを説明する。なお、撮像装置は、ビデオカメラに限られず、被写体を撮像し、動画像を記録する機能を有した装置であれば、例えば、デジタルスチルカメラ、携帯電話機、音楽プレーヤ等であってもよい。
【００２１】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態におけるビデオカメラの構成の概略を示すブロック図である。図１を参照して、ビデオカメラ１は、ビデオカメラ１の全体を制御するプロセッサであるＣＰＵ１１と、フォーカスレンズおよびズームレンズを含む複数のレンズで構成されるレンズ群１３と、イメージセンサ１５と、信号処理部１７と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１９と、ＣＰＵ１１が実行するためのプログラム等を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌe ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１と、ユーザの操作を受け付ける操作部２３と、液晶表示装置（ＬＣＤ）２５と、メモリカード２９が装着されるカードインターフェース（Ｉ／Ｆ）２７と、を含む。
【００２２】
イメージセンサ１５は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサであり、二次元に配列された複数の光電変換素子を有し、複数の光電素子が蓄積した電荷から映像信号であるフレームを生成し、生成したフレームを予め定められたフレームレートで信号処理部１７に出力する。イメージセンサ１５は、その結像面がレンズ群１３の光軸に対して垂直となる。なお、イメージセンサ１５は、ＣＭＯＳセンサに限定されず、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やその他の撮像デバイスであってもよい。
【００２３】
信号処理部１７は、ＣＰＵ１１により制御され、イメージセンサ１５から入力されるフレームに所定の信号処理を実行し、処理後のフレームをＥＥＰＲＯＭ２１またはメモリカード２９に記憶する。信号処理部１７の詳細は後述する。
【００２４】
カードＩ／Ｆ２７は、不揮発性メモリを備えたメモリカード２９が装着される。ＣＰＵ１１は、カードＩ／Ｆ２７を介して、メモリカード２９にアクセス可能であり、ＳＤＲＡＭ１９に記憶されたデータをメモリカード２９に記憶したり、または、メモリカード２９に記憶されたデータを読み出してＳＤＲＡＭ１９に記憶したりする。
【００２５】
操作部２３は、撮像を開始する指示を受け付けるための撮影ボタンを含む複数のキーを備え、ユーザの操作を受け付ける。
【００２６】
図２は、信号処理部の詳細な構成の一例を、イメージセンサおよびＳＤＲＡＭとともに示す図である。図２を参照して、信号処理部１７は、イメージセンサ１５からフレームが入力される間引き部４１と、比較部４３と、信号処理プロセッサ４５と、信号処理プロセッサ４５を制御する制御部４７と、出力部４９と、を含む。
【００２７】
間引き部４１は、イメージセンサ１５から入力されるフレームを間引いて、ＣＰＵ１１により定められたフレームレートで、フレームを出力する。間引き部４１は、例えば３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）または６０ｆｐｓのフレームレートでフレームを、信号処理プロセッサ４５および比較部４３に出力する。
【００２８】
比較部４３は、間引き部４１が出力するフレームが入力される。比較部４３は、間引き部４１が最初に出力するフレームが入力される場合、最初に入力されるフレームをＳＤＲＡＭ１９に記憶する。これによりＳＤＲＡＭ１９に参照フレーム５１が記憶される。以下の説明では、間引き部４１が出力するフレームを入力フレームといい、比較部４３によりＳＤＲＡＭ１９に記憶されるフレームを参照フレームという。
【００２９】
比較部４３は、間引き部４１が２番目以降に出力する入力フレームが入力される場合、入力フレームをＳＤＲＡＭ１９に記憶された参照フレーム５１と比較する。比較部４３は、入力フレームと参照フレームとを比較し、２つのフレームが類似しているか否かを判断する。２つのフレームが類似しているか否かの判断方法は、従来周知の方法を用いることができる。例えば、２つのフレームから動きベクトルを抽出し、抽出された動きベクトルが、所定の大きさ以内であれば類似していると判断する。また、２つのフレームの明度や輝度の違いから類似しているか否かを判断するようにしてもよい。例えば、異なる明度の部分が全体に占める割合が所定の値以下ならば類似していると判断するようにしてもよい。
【００３０】
比較部４３は、入力フレームと参照フレームとが類似していないと判断する場合、ＳＤＲＡＭ１９に記憶されている参照フレームを入力フレームで書き換えるが、２つのフレームが類似していると判断する場合、ＳＤＲＡＭ１９に記憶されている参照フレームを入力フレームで書き換えない。
【００３１】
比較部４３は、比較結果を制御部４７に出力する。制御部４７は、入力フレームと参照フレームとが類似していることを示す比較結果が入力される場合、信号処理プロセッサ４５に入力フレームに対する信号処理を実行させないように、ＯＦＦ信号を信号処理プロセッサ４５に出力する。制御部４７は、入力フレームと参照フレームとが類似していないことを示す比較結果が入力される場合、信号処理プロセッサ４５に入力フレームに対する信号処理を実行させるために、ＯＮ信号を信号処理プロセッサ４５に出力する。
【００３２】
信号処理プロセッサ４５は、制御部４７からＯＮ信号が入力されることを条件に、間引き部４１から入力される入力フレームに対して信号処理を実行し、信号処理後の処理済フレームをＳＤＲＡＭ１９に記憶する。ここで、入力フレームを配列Ｆ（ｔ）で示し、信号処理した処理済フレームを配列Ｆ’（ｔ）で示す。ただし、ｔは、正の整数であり、フレームの番号を示す。
【００３３】
信号処理プロセッサ４５は、制御部４７からＯＦＦ信号が入力される場合、間引き部４１から入力される入力フレームＦ（ｔ）に対して信号処理を実行しない。信号処理プロセッサ４５が入力フレームに対して駆動せず、信号処理をしないことにより、電力が消費されない。
【００３４】
信号処理プロセッサ４５が実行する信号処理は、リサイズ処理と符号化処理とを少なくとも含む。リサイズ処理は、フレームのサイズを変更する処理である。符号化処理は、ＣＰＵ１１により定められたフォーマットに変換する処理である。さらに、信号処理プロセッサ４５が実行する信号処理は、画素の並び替え処理、色分離処理、フィルタリング処理、補正処理、変換処理を含んでもよい。画素の並び換え処理は、イメージセンサ１５によってＲＧＢ画素の出力形式が異なるため、信号処理プロセッサ４５の入力形式と整合させるために、すべての画素のＲＧＢの画素を一様に並び換える処理である。補正処理は、ガンマ補正処理、ニー補正処理、ホワイトバランス補正処理、フレア補正処理、アパーチャ補正処理、コントラスト補正処理、色補正処理、画素欠陥処理、固定パターンノイズ除去処理、キズ除去処理を含むようにしてもよい。ガンマ補正処理は、フレームの画素値をＬＣＤ２５の特性に合わせて補正する処理である。ホワイトバランス補正処理は、光源のＲＧＢ比を推定してフレームの画像を最適な色温度に設定する処理である。信号処理プロセッサ４５が実行する信号処理の数が増えるほど、画質が向上するが、消費電力も増加する。
【００３５】
出力部４９は、イメージセンサ１５がフレームを出力するフレームレートと同じフレームレートで、ＳＤＲＡＭ１９に記憶されている処理済フレーム５３を読み出し、ＣＰＵ１１に出力する。このため、イメージセンサ１５のフレームレートと同じフレームレートでフレームがＣＰＵ１１に出力される。ＣＰＵ１１は、出力部４９から出力されるフレームを順にＥＥＰＲＯＭ２１、またはメモリカード２９に記憶する。出力部４９が、ＳＤＲＡＭ１９に記憶されている処理済フレーム５３を読み出すタイミングは、比較部４３によって入力フレームと参照フレームとが類似していないと判断される場合は、信号処理プロセッサ４５が処理済フレームをＳＤＲＡＭ１９に記憶した後であり、比較部４３によって入力フレームと参照フレームとが類似していないと判断される場合は、比較部４３による判断がされた後である。
【００３６】
図３は、フレームの差分と時間との関係を示す図である。図３を参照して、横軸に時間を、縦軸に入力フレームと参照フレームとのフレーム差分を示し、フレームごとにフレーム差分をプロットした図を示している。第１、７、８、９番目のフレームと、第１９、２０、２１、２２番目のフレームそれぞれの差分が、しきい値より大きいが、第２〜第６番目のフレームと、第１０〜第１８番目のフレームと、第２３番目以降のフレームの差分がしきい値よりも小さい。なお、第１番目のフレームに対する差分は、比較対象が存在しないため、差分を最大の値として示している。
【００３７】
図４は、入力フレームと処理済フレームの関係の一例を示す図である。図４では、図３に示した入力フレームが入力される場合の処理済フレームを示している。図４を参照して、第１行目は入力フレームの番号を示し、第２行目は入力フレームを配列Ｆ（ｔ）で示し、第３行目は、ＳＤＲＡＭ１９に記憶される参照フレームを配列Ｆ（ｔ）で示し、第４行目は制御部４７の出力信号を示し、第５行目は処理済フレームを配列Ｆ’（ｔ）で示す。
【００３８】
例えば、第１番目の入力フレームＦ（１）に対して、ＳＤＲＡＭ１９に参照フレームが記憶されていないため、差分が最大となる。この場合には、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（１）を信号処理して出力する処理済フレームＦ’（１）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００３９】
第２番目の入力フレームＦ（２）に対して、ＳＤＲＡＭ１９に参照フレームＦ（１）が記憶されているため、入力フレームＦ（２）と参照フレームＦ（１）とが比較され、差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（２）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（１）が出力される。また、参照フレームＦ（１）は、入力フレームＦ（２）で更新されないので、参照フレームは、Ｆ（１）のままである。
【００４０】
第３〜６番目の入力フレームＦ（３）〜Ｆ（６）それぞれは、ＳＤＲＡＭ１９に参照フレームＦ（１）との差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（３）〜Ｆ（６）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（１）が出力される。また、参照フレームＦ（１）は、入力フレームＦ（３）〜Ｆ（６）で更新されないので、参照フレームは、Ｆ（１）のままである。
【００４１】
第７番目の入力フレームＦ（７）に対して、ＳＤＲＡＭ１９に参照フレームＦ（１）が記憶されているため、入力フレームＦ（７）と参照フレームＦ（１）とが比較され、差分がしきい値より大きいので、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（７）を信号処理して出力する処理済フレームＦ’（７）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００４２】
第８番目の入力フレームＦ（８）に対して、ＳＤＲＡＭ１９に参照フレームＦ（７）が記憶されているため、入力フレームＦ（８）と参照フレームＦ（７）とが比較され、差分がしきい値より大きいので、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（８）を信号処理して出力する処理済フレームＦ’（８）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００４３】
第９番目の入力フレームＦ（９）に対して、ＳＤＲＡＭ１９に参照フレームＦ（８）が記憶されているため、入力フレームＦ（９）と参照フレームＦ（８）とが比較され、差分がしきい値より大きいので、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（９）を信号処理して出力する処理済フレームＦ’（９）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００４４】
第１０番目の入力フレームＦ（１０）に対して、ＳＤＲＡＭ１９に参照フレームＦ（９）が記憶されているため、入力フレームＦ（１０）と参照フレームＦ（９）とが比較され、差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（１０）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（９）が出力される。また、参照フレームＦ（９）は、入力フレームＦ（１０）で更新されないので、参照フレームは、Ｆ（９）のままである。
【００４５】
第１１〜１８番目の入力フレームＦ（１１）〜Ｆ（１８）それぞれは、ＳＤＲＡＭ１９に参照フレームＦ（９）との差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（１１）〜Ｆ（１８）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（９）が出力される。また、参照フレームＦ（９）は、入力フレームＦ（１１）〜Ｆ（１８）で更新されないので、参照フレームは、Ｆ（９）のままである。
【００４６】
第１９番目の入力フレームＦ（１９）における処理は、第７番目の入力フレームＦ（７）における処理と同じであり、第２０〜第２２番目の入力フレームＦ（２０）〜Ｆ（２２）における処理は、第８〜９番目の入力フレームＦ（８）〜Ｆ（９）における処理と同じである。第２３番目の入力フレームＦ（２３）における処理は、第１０番目の入力フレームＦ（１０）における処理と同じであり、第２４〜第３０番目の入力フレームＦ（２４）〜Ｆ（３０）における処理は、第１０〜１８番目の入力フレームＦ（１０）〜Ｆ（１９）における処理と同じである。図４に示す第１〜第３０番目の入力フレームに対して、信号処理プロセッサ４５は８つの入力フレームに対して信号処理を実行するのみである。したがって、この例の場合における信号処理プロセッサ４５のダイナミック電流は、第１〜３０番目の全ての入力フレームを処理する場合に対して約２７％となる。
【００４７】
＜変形例＞
上記実施の形態における信号処理部１７において、間引き部４１、比較部４３および制御部４７をＣＰＵ１１で実現するようにしてもよい。この場合、ＣＰＵ１１がＥＥＰＲＯＭ２１に記憶された撮像プログラムを実行することにより、イメージセンサ１５および信号処理プロセッサ４５を制御する。
【００４８】
図５は、撮像処理の流れの一例を示すフローチャートである。撮像処理は、ＣＰＵ１１が、ＥＥＰＲＯＭ２１に記憶された撮像プログラムを実行することにより、ＣＰＵ１１により実行される処理である。図５を参照して、ＣＰＵ１１は、イメージセンサ１５からフレームが入力されるまで待機状態となり（ステップＳ０１でＮＯ）、フレームが入力されると、処理をステップＳ０２に進める。イメージセンサ１５は、予め定められたフレームレートでフレームを出力する。
【００４９】
次のステップＳ０２においては、ＳＤＲＡＭ１９に、参照フレームが記憶されているか否かを判断する。ＳＤＲＡＭ１９に参照フレームが記憶されていれば処理をステップＳ０３に進めるが、参照フレームが記憶されていなければ処理をステップＳ０８に進める。撮像処理が実行されてから最初にフレームが入力される場合、ＳＤＲＡＭ１９に参照フレームは記憶されていない。この場合には、処理をステップＳ０８に進める。
【００５０】
ステップＳ０８においては、イメージセンサ１５から入力された入力フレームを、参照フレームとしてＳＤＲＡＭ１９に記憶する。そして、入力フレームを信号処理プロセッサに信号処理させる（ステップＳ０９）。次のステップＳ１０においては、信号処理プロセッサ４５が入力フレームを信号処理して出力する処理済フレームをＤＲＡＭ１９に記憶し、処理をステップＳ０６に進める。
【００５１】
ステップＳ０６においては、処理済フレームをＥＥＰＲＯＭ２１に記憶し、処理をステップＳ０７に進める。ステップＳ０７においては、撮像終了指示を受け付けたか否かを判断する。ユーザにより、撮像終了キーを押下する操作を検出したならば撮像終了指示を受け付ける。撮像終了し指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ０１に戻す。
【００５２】
ステップＳ０１においては、処理がステップＳ０７から進む場合、第２番目以降のフレームをイメージセンサ１５から受け付ける。イメージセンサ１５から２番目以降のフレームを受け付ける場合、ＳＤＲＡＭ１５に参照フレームが記憶されている。このため、ＣＰＵ１１は、イメージセンサ１５から２番目以降のフレームを受け付ける場合、ステップＳ０２において、処理をステップＳ０３に進める。ステップＳ０３においては、ステップＳ０１において入力された２番目以降の入力フレームと、ＳＤＲＡＭ１９に記憶されている参照フレームとを比較する。そして、入力フレームと参照フレームとが類似するか否かにより処理を分岐させる（ステップＳ０４）。入力フレームと参照フレームとが類似するならば処理をステップＳ０５に進め、そうでなければ処理をステップＳ０８に進める。
【００５３】
ステップＳ０５においては、ＳＤＲＡＭ１９に記憶された処理済フレームを読み出し、処理をステップＳ０６に進める。このため、信号処理プロセッサ４５が入力フレームを信号処理しないので、消費電力を低減することができる。出力される処理済フレームは、信号処理プロセッサ４５が入力フレームに類似する参照フレームを過去に信号処理して記憶した処理済フレームなので、画質の低下を類似する範囲に抑えることができる。
【００５４】
以上説明したように第１の実施の形態におけるビデオカメラ１は、参照フレームと、信号処理プロセッサ４５が参照フレームを信号処理した処理済フレームとをＳＤＲＡＭ５１に記憶し、参照フレームより後に出力される入力フレームが信号処理プロセッサ４５により信号処理される前に、入力フレームと参照フレームとを比較する。そして、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理プロセッサ４５に信号処理させた処理済フレームを出力し、入力フレームと参照フレームとが類似する場合は、入力フレームを信号処理手段に信号処理させることなく、参照フレームを信号処理した処理済フレームを出力する。このため、信号処理プロセッサ４５の駆動回数が減少する場合に、信号処理プロセッサ４５の消費電力を低減することができる。特に、動きの少ない動画像を撮像する場合における消費電力を低下させることができる。
【００５５】
また、入力フレームと参照フレームとが類似する場合は、信号処理プロセッサ４５が参照フレームを信号処理した処理済フレームが出力される。このため、動画像の画質の低下を、入力フレームと参照フレームとの類似範囲内に抑えることができる。
【００５６】
この局面によれば、参照フレームは、入力フレームの直前の入力フレームとなる。このため、連続する入力フレームが類似する場合は、信号処理手段が最後に信号処理した処理済フレームが出力される。このため、動画像の画質の低下を所定の範囲内に抑えることができる。
【００５７】
＜第２の実施の形態＞
上述した第１の実施の形態においては、比較部４３は、入力フレームと参照フレームとが類似していないと判断する場合、ＳＤＲＡＭ１９に記憶されている参照フレームを、間引き部４１から入力される入力フレームで書き換えるようにした。第２の実施の形態にけるビデオカメラ１は、比較部４３が、入力フレームと参照フレームとが類似しているか否かに係わりなく、入力フレームと参照フレームとを比較した後に、ＳＤＲＡＭ１９に記憶されている参照フレームを、間引き部４１から入力される入力フレームで書き換えるようにしたものである。第２の実施の形態におけるビデオカメラ１のその他の構成は、第１の実施の形態におけるビデオカメラ１と同じなので、ここでは、異なる点を主に説明する。
【００５８】
より具体的には、第２の実施の形態における比較部４３は、入力フレームＦ（ｔ）を、直前のフレームＦ（ｔ−１）と比較し、２つのフレームが類似しているか否かを判断する。この場合、連続する２つのフレームが類似していれば、信号処理プロセッサ４５によって入力フレームＦ（ｔ）は処理されず、それより前に信号処理プロセッサ４５が処理した処理済フレームが、入力フレームＦ（ｔ）に対応する処理済フレームとして出力される。
【００５９】
図６は、第２の実施の形態における撮像処理の流れの一例を示すフローチャートである。図６を参照して、図５に示した撮像処理と異なる点は、ステップＳ０３とステップＳ０４との間に、ステップＳ１１が追加された点、ステップＳ０４がステップＳ０４Ａに変更された点である。その他の処理は図４に示した処理と同じなのでここでは説明を繰り返さない。
【００６０】
ステップＳ１１においては、入力フレームを参照フレームとしてＳＤＲＡＭ１９に記憶する。このため、入力フレームが参照フレームと類似しているか否かに関係なく、入力フレームが新たな参照フレームとしてＳＤＲＡＭ１９に記憶される。このため、入力フレームの直前のフレームが参照フレームとしてＳＤＲＡＭ１９に記憶される。
【００６１】
ステップＳ０４Ａにおいては、ステップＳ０３における比較の結果、入力フレームが参照フレームと類似するならば処理をステップＳ０５に進めるが、類似しなければ処理をステップＳ０９に進める。
【００６２】
第２の実施の形態における撮像処理においても、入力フレームが参照フレームと類似する場合には、信号処理プロセッサ４５が入力フレームを信号処理することなく、信号処理プロセッサ４５が参照フレームを信号処理した処理済フレームを出力する。このため、信号処理プロセッサ４５が入力フレームを信号処理しないので、消費電力を低減することができる。
【００６３】
第２の実施の形態におけるビデオカメラ１が実行する撮像処理においては、処理済フレームが信号処理される前の入力フレームが参照フレームとならず、入力フレームの直前のフレームが参照フレームとなるので、入力フレームと参照フレームとの誤差が累積されるが、第１の実施の形態置けるビデオカメラと同様に、画質の低下を類似する範囲に抑えることができる。
【００６４】
第２の実施の形態におけるビデオカメラ１は、第１の実施の形態におけるビデオカメラ１と異なり、参照フレームを、入力フレームの直前の入力フレームとする。このため、連続する２つの入力フレームが類似する場合は、信号処理プロセッサ４５が最後に信号処理した処理済フレームを出力するので、第１の実施の形態におけるビデオカメラ１と比較して、動画像の画質は低下するが、信号処理プロセッサ４５の消費電力をより低減させることができる。
【００６５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６６】
１ ビデオカメラ、１１ ＣＰＵ、１３ レンズ群、１５ イメージセンサ、１７ 信号処理部、１９ ＳＤＲＡＭ、２３ 操作部、２５ ＬＣＤ、２７ カードＩ／Ｆ、２９ メモリカード、４１ 間引き部、４３ 比較部、４５ 信号処理プロセッサ、４７ 制御部、４９ 出力部、５１ 参照フレーム、５３ 処理済フレーム。
【技術分野】
【０００１】
この発明は、撮像装置、撮像方法および撮像プログラムに関し、特に動画像を処理する機能を備えた撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
ビデオカメラは、フレームごとに画像を処理する信号処理回路を備えている。この信号処理回路の消費電力は比較的大きいため、バッテリーの消費を低くして長時間の駆動を可能とするために、信号処理回路の消費電力を低下することが望まれている。
【０００３】
特開２００１−０４５４９３号公報には、Ｉピクチャ、Ｐピクチャ、Ｂピクチャから構成されるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）を有する符号化動画像データを生成する際に、復号化処理時に当該復号化処理を省くための情報を付加したフレームを適宜挿入することによって、符号化動画像データの情報量の削減、符号化処理時及び復号化処理時の処理量を低減した動画像符号化装置が記載されている。
【０００４】
しかしながら、復号化処理時に当該復号化処理を省くための情報を付加したフレームを適宜挿入しなければならず、処理が複雑になるといった問題がある。
【特許文献１】特開２００１−０４５４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、消費電力を低下させることが可能な撮像装置を提供することである。
【０００６】
この発明の他の目的は、撮像装置の消費電力を低減させることが可能な撮像方法および撮像プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した目的を達成するためにこの発明のある局面によれば、撮像装置は、予め定められたフレームレートでフレームを出力するイメージセンサと、フレーム単位で予め定められた信号処理を実行する信号処理手段と、信号処理手段がフレームを信号処理して出力する処理済フレームを記憶する処理済フレーム記憶手段と、イメージセンサにより出力されるフレームを参照フレームとして記憶する参照フレーム記憶手段と、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理手段により信号処理される前に、入力フレームと参照フレームとを比較する比較手段と、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させない制御手段と、イメージセンサがフレームを出力するフレームレートと同じフレームレートで、処理済フレーム記憶手段に記憶された処理済フレームを読み出し、出力する出力手段と、を備える。
【０００８】
この局面に従えば、信号処理手段がフレームを信号処理して出力する処理済フレームが記憶され、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理される前に、入力フレームと参照フレームとが比較され、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させない。このため、信号処理手段による信号処理回数が減少するので、信号処理手段の消費電力を低減することができる。その結果、消費電力を低減させることが可能な撮像装置を提供することができる。
【０００９】
好ましくは、フレーム記憶手段は、比較手段により入力フレームと参照フレームとが類似しないと判断された場合に、入力フレームを参照フレームとして記憶する。
【００１０】
この局面によれば、入力フレームと参照フレームとが類似する場合は、信号処理手段が参照フレームを信号処理した処理済フレームが出力される。このため、動画像の画質の低下を所定の範囲内に抑えることができる。
【００１１】
好ましくは、フレーム記憶手段は、比較手段による比較結果に係わらず入力フレームを参照フレームとして記憶する。
【００１２】
この局面によれば、参照フレームは、入力フレームの直前の入力フレームとなる。このため、連続する入力フレームが類似する場合は、信号処理手段が最後に信号処理した処理済フレームが出力される。このため、動画像の画質の低下を所定の範囲内に抑えることができる。
【００１３】
好ましくは、出力手段は、入力フレームと参照フレームとが類似しない場合、信号処理手段が入力フレームを信号処理した後に、処理済フレーム記憶手段から処理済フレームを読み出す。
【００１４】
この発明の他の局面によれば、撮像方法は、予め定められたフレームレートでフレームを出力するイメージセンサと、フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置で実行させる撮像方法であって、信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理手段により信号処理される前に、入力フレームと参照フレームとを比較するステップと、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させないステップと、イメージセンサがフレームを出力するフレームレートと同じフレームレートで、記憶された処理済フレームを読み出し、出力するステップと、を含む。
【００１５】
この局面に従えば、撮像装置の消費電力を低減させることが可能な撮像方法を提供することができる。
【００１６】
この発明のさらに他の局面によれば、撮像プログラムは、予め定められたフレームレートでフレームを出力するイメージセンサと、フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置を制御するプロセッサで実行される撮像プログラムであって、信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、イメージセンサにより参照フレームより後に出力される入力フレームが信号処理手段により信号処理される前に、入力フレームと参照フレームとを比較するステップと、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理手段に信号処理させ、入力フレームと参照フレームとが類似する場合、入力フレームを信号処理手段に信号処理させないステップと、イメージセンサがフレームを出力するフレームレートと同じフレームレートで、記憶された処理済フレームを読み出し、出力するステップと、をプロセッサに実行させる。
【００１７】
この局面に従えば、撮像装置の消費電力を低減させることが可能な撮像プログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態の１つにおけるビデオカメラの構成の概略を示すブロック図である。
【図２】信号処理部の詳細な構成の一例を、イメージセンサおよびＳＤＲＡＭとともに示す図である。
【図３】フレームの差分と時間との関係を示す図である。
【図４】入力フレームと処理済フレームの関係の一例を示す図である。
【図５】撮像処理の流れの一例を示すフローチャートである。
【図６】第２の実施の形態における撮像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００２０】
本実施の形態においては、撮像装置の一例としてビデオカメラを説明する。なお、撮像装置は、ビデオカメラに限られず、被写体を撮像し、動画像を記録する機能を有した装置であれば、例えば、デジタルスチルカメラ、携帯電話機、音楽プレーヤ等であってもよい。
【００２１】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態におけるビデオカメラの構成の概略を示すブロック図である。図１を参照して、ビデオカメラ１は、ビデオカメラ１の全体を制御するプロセッサであるＣＰＵ１１と、フォーカスレンズおよびズームレンズを含む複数のレンズで構成されるレンズ群１３と、イメージセンサ１５と、信号処理部１７と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１９と、ＣＰＵ１１が実行するためのプログラム等を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌe ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１と、ユーザの操作を受け付ける操作部２３と、液晶表示装置（ＬＣＤ）２５と、メモリカード２９が装着されるカードインターフェース（Ｉ／Ｆ）２７と、を含む。
【００２２】
イメージセンサ１５は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサであり、二次元に配列された複数の光電変換素子を有し、複数の光電素子が蓄積した電荷から映像信号であるフレームを生成し、生成したフレームを予め定められたフレームレートで信号処理部１７に出力する。イメージセンサ１５は、その結像面がレンズ群１３の光軸に対して垂直となる。なお、イメージセンサ１５は、ＣＭＯＳセンサに限定されず、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やその他の撮像デバイスであってもよい。
【００２３】
信号処理部１７は、ＣＰＵ１１により制御され、イメージセンサ１５から入力されるフレームに所定の信号処理を実行し、処理後のフレームをＥＥＰＲＯＭ２１またはメモリカード２９に記憶する。信号処理部１７の詳細は後述する。
【００２４】
カードＩ／Ｆ２７は、不揮発性メモリを備えたメモリカード２９が装着される。ＣＰＵ１１は、カードＩ／Ｆ２７を介して、メモリカード２９にアクセス可能であり、ＳＤＲＡＭ１９に記憶されたデータをメモリカード２９に記憶したり、または、メモリカード２９に記憶されたデータを読み出してＳＤＲＡＭ１９に記憶したりする。
【００２５】
操作部２３は、撮像を開始する指示を受け付けるための撮影ボタンを含む複数のキーを備え、ユーザの操作を受け付ける。
【００２６】
図２は、信号処理部の詳細な構成の一例を、イメージセンサおよびＳＤＲＡＭとともに示す図である。図２を参照して、信号処理部１７は、イメージセンサ１５からフレームが入力される間引き部４１と、比較部４３と、信号処理プロセッサ４５と、信号処理プロセッサ４５を制御する制御部４７と、出力部４９と、を含む。
【００２７】
間引き部４１は、イメージセンサ１５から入力されるフレームを間引いて、ＣＰＵ１１により定められたフレームレートで、フレームを出力する。間引き部４１は、例えば３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）または６０ｆｐｓのフレームレートでフレームを、信号処理プロセッサ４５および比較部４３に出力する。
【００２８】
比較部４３は、間引き部４１が出力するフレームが入力される。比較部４３は、間引き部４１が最初に出力するフレームが入力される場合、最初に入力されるフレームをＳＤＲＡＭ１９に記憶する。これによりＳＤＲＡＭ１９に参照フレーム５１が記憶される。以下の説明では、間引き部４１が出力するフレームを入力フレームといい、比較部４３によりＳＤＲＡＭ１９に記憶されるフレームを参照フレームという。
【００２９】
比較部４３は、間引き部４１が２番目以降に出力する入力フレームが入力される場合、入力フレームをＳＤＲＡＭ１９に記憶された参照フレーム５１と比較する。比較部４３は、入力フレームと参照フレームとを比較し、２つのフレームが類似しているか否かを判断する。２つのフレームが類似しているか否かの判断方法は、従来周知の方法を用いることができる。例えば、２つのフレームから動きベクトルを抽出し、抽出された動きベクトルが、所定の大きさ以内であれば類似していると判断する。また、２つのフレームの明度や輝度の違いから類似しているか否かを判断するようにしてもよい。例えば、異なる明度の部分が全体に占める割合が所定の値以下ならば類似していると判断するようにしてもよい。
【００３０】
比較部４３は、入力フレームと参照フレームとが類似していないと判断する場合、ＳＤＲＡＭ１９に記憶されている参照フレームを入力フレームで書き換えるが、２つのフレームが類似していると判断する場合、ＳＤＲＡＭ１９に記憶されている参照フレームを入力フレームで書き換えない。
【００３１】
比較部４３は、比較結果を制御部４７に出力する。制御部４７は、入力フレームと参照フレームとが類似していることを示す比較結果が入力される場合、信号処理プロセッサ４５に入力フレームに対する信号処理を実行させないように、ＯＦＦ信号を信号処理プロセッサ４５に出力する。制御部４７は、入力フレームと参照フレームとが類似していないことを示す比較結果が入力される場合、信号処理プロセッサ４５に入力フレームに対する信号処理を実行させるために、ＯＮ信号を信号処理プロセッサ４５に出力する。
【００３２】
信号処理プロセッサ４５は、制御部４７からＯＮ信号が入力されることを条件に、間引き部４１から入力される入力フレームに対して信号処理を実行し、信号処理後の処理済フレームをＳＤＲＡＭ１９に記憶する。ここで、入力フレームを配列Ｆ（ｔ）で示し、信号処理した処理済フレームを配列Ｆ’（ｔ）で示す。ただし、ｔは、正の整数であり、フレームの番号を示す。
【００３３】
信号処理プロセッサ４５は、制御部４７からＯＦＦ信号が入力される場合、間引き部４１から入力される入力フレームＦ（ｔ）に対して信号処理を実行しない。信号処理プロセッサ４５が入力フレームに対して駆動せず、信号処理をしないことにより、電力が消費されない。
【００３４】
信号処理プロセッサ４５が実行する信号処理は、リサイズ処理と符号化処理とを少なくとも含む。リサイズ処理は、フレームのサイズを変更する処理である。符号化処理は、ＣＰＵ１１により定められたフォーマットに変換する処理である。さらに、信号処理プロセッサ４５が実行する信号処理は、画素の並び替え処理、色分離処理、フィルタリング処理、補正処理、変換処理を含んでもよい。画素の並び換え処理は、イメージセンサ１５によってＲＧＢ画素の出力形式が異なるため、信号処理プロセッサ４５の入力形式と整合させるために、すべての画素のＲＧＢの画素を一様に並び換える処理である。補正処理は、ガンマ補正処理、ニー補正処理、ホワイトバランス補正処理、フレア補正処理、アパーチャ補正処理、コントラスト補正処理、色補正処理、画素欠陥処理、固定パターンノイズ除去処理、キズ除去処理を含むようにしてもよい。ガンマ補正処理は、フレームの画素値をＬＣＤ２５の特性に合わせて補正する処理である。ホワイトバランス補正処理は、光源のＲＧＢ比を推定してフレームの画像を最適な色温度に設定する処理である。信号処理プロセッサ４５が実行する信号処理の数が増えるほど、画質が向上するが、消費電力も増加する。
【００３５】
出力部４９は、イメージセンサ１５がフレームを出力するフレームレートと同じフレームレートで、ＳＤＲＡＭ１９に記憶されている処理済フレーム５３を読み出し、ＣＰＵ１１に出力する。このため、イメージセンサ１５のフレームレートと同じフレームレートでフレームがＣＰＵ１１に出力される。ＣＰＵ１１は、出力部４９から出力されるフレームを順にＥＥＰＲＯＭ２１、またはメモリカード２９に記憶する。出力部４９が、ＳＤＲＡＭ１９に記憶されている処理済フレーム５３を読み出すタイミングは、比較部４３によって入力フレームと参照フレームとが類似していないと判断される場合は、信号処理プロセッサ４５が処理済フレームをＳＤＲＡＭ１９に記憶した後であり、比較部４３によって入力フレームと参照フレームとが類似していないと判断される場合は、比較部４３による判断がされた後である。
【００３６】
図３は、フレームの差分と時間との関係を示す図である。図３を参照して、横軸に時間を、縦軸に入力フレームと参照フレームとのフレーム差分を示し、フレームごとにフレーム差分をプロットした図を示している。第１、７、８、９番目のフレームと、第１９、２０、２１、２２番目のフレームそれぞれの差分が、しきい値より大きいが、第２〜第６番目のフレームと、第１０〜第１８番目のフレームと、第２３番目以降のフレームの差分がしきい値よりも小さい。なお、第１番目のフレームに対する差分は、比較対象が存在しないため、差分を最大の値として示している。
【００３７】
図４は、入力フレームと処理済フレームの関係の一例を示す図である。図４では、図３に示した入力フレームが入力される場合の処理済フレームを示している。図４を参照して、第１行目は入力フレームの番号を示し、第２行目は入力フレームを配列Ｆ（ｔ）で示し、第３行目は、ＳＤＲＡＭ１９に記憶される参照フレームを配列Ｆ（ｔ）で示し、第４行目は制御部４７の出力信号を示し、第５行目は処理済フレームを配列Ｆ’（ｔ）で示す。
【００３８】
例えば、第１番目の入力フレームＦ（１）に対して、ＳＤＲＡＭ１９に参照フレームが記憶されていないため、差分が最大となる。この場合には、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（１）を信号処理して出力する処理済フレームＦ’（１）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００３９】
第２番目の入力フレームＦ（２）に対して、ＳＤＲＡＭ１９に参照フレームＦ（１）が記憶されているため、入力フレームＦ（２）と参照フレームＦ（１）とが比較され、差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（２）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（１）が出力される。また、参照フレームＦ（１）は、入力フレームＦ（２）で更新されないので、参照フレームは、Ｆ（１）のままである。
【００４０】
第３〜６番目の入力フレームＦ（３）〜Ｆ（６）それぞれは、ＳＤＲＡＭ１９に参照フレームＦ（１）との差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（３）〜Ｆ（６）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（１）が出力される。また、参照フレームＦ（１）は、入力フレームＦ（３）〜Ｆ（６）で更新されないので、参照フレームは、Ｆ（１）のままである。
【００４１】
第７番目の入力フレームＦ（７）に対して、ＳＤＲＡＭ１９に参照フレームＦ（１）が記憶されているため、入力フレームＦ（７）と参照フレームＦ（１）とが比較され、差分がしきい値より大きいので、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（７）を信号処理して出力する処理済フレームＦ’（７）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００４２】
第８番目の入力フレームＦ（８）に対して、ＳＤＲＡＭ１９に参照フレームＦ（７）が記憶されているため、入力フレームＦ（８）と参照フレームＦ（７）とが比較され、差分がしきい値より大きいので、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（８）を信号処理して出力する処理済フレームＦ’（８）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００４３】
第９番目の入力フレームＦ（９）に対して、ＳＤＲＡＭ１９に参照フレームＦ（８）が記憶されているため、入力フレームＦ（９）と参照フレームＦ（８）とが比較され、差分がしきい値より大きいので、制御部４７は信号処理プロセッサ４５にＯＮ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（９）を信号処理して出力する処理済フレームＦ’（９）がＳＤＲＡＭ１９に記憶されるとともに、出力される。
【００４４】
第１０番目の入力フレームＦ（１０）に対して、ＳＤＲＡＭ１９に参照フレームＦ（９）が記憶されているため、入力フレームＦ（１０）と参照フレームＦ（９）とが比較され、差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（１０）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（９）が出力される。また、参照フレームＦ（９）は、入力フレームＦ（１０）で更新されないので、参照フレームは、Ｆ（９）のままである。
【００４５】
第１１〜１８番目の入力フレームＦ（１１）〜Ｆ（１８）それぞれは、ＳＤＲＡＭ１９に参照フレームＦ（９）との差分がしきい値以内なので、制御部４７は信号処理プロセッサ４５にＯＦＦ信号を出力する。このため、信号処理プロセッサ４５が入力フレームＦ（１１）〜Ｆ（１８）を信号処理することなく、ＳＤＲＡＭ１９に記憶されている処理済フレームＦ’（９）が出力される。また、参照フレームＦ（９）は、入力フレームＦ（１１）〜Ｆ（１８）で更新されないので、参照フレームは、Ｆ（９）のままである。
【００４６】
第１９番目の入力フレームＦ（１９）における処理は、第７番目の入力フレームＦ（７）における処理と同じであり、第２０〜第２２番目の入力フレームＦ（２０）〜Ｆ（２２）における処理は、第８〜９番目の入力フレームＦ（８）〜Ｆ（９）における処理と同じである。第２３番目の入力フレームＦ（２３）における処理は、第１０番目の入力フレームＦ（１０）における処理と同じであり、第２４〜第３０番目の入力フレームＦ（２４）〜Ｆ（３０）における処理は、第１０〜１８番目の入力フレームＦ（１０）〜Ｆ（１９）における処理と同じである。図４に示す第１〜第３０番目の入力フレームに対して、信号処理プロセッサ４５は８つの入力フレームに対して信号処理を実行するのみである。したがって、この例の場合における信号処理プロセッサ４５のダイナミック電流は、第１〜３０番目の全ての入力フレームを処理する場合に対して約２７％となる。
【００４７】
＜変形例＞
上記実施の形態における信号処理部１７において、間引き部４１、比較部４３および制御部４７をＣＰＵ１１で実現するようにしてもよい。この場合、ＣＰＵ１１がＥＥＰＲＯＭ２１に記憶された撮像プログラムを実行することにより、イメージセンサ１５および信号処理プロセッサ４５を制御する。
【００４８】
図５は、撮像処理の流れの一例を示すフローチャートである。撮像処理は、ＣＰＵ１１が、ＥＥＰＲＯＭ２１に記憶された撮像プログラムを実行することにより、ＣＰＵ１１により実行される処理である。図５を参照して、ＣＰＵ１１は、イメージセンサ１５からフレームが入力されるまで待機状態となり（ステップＳ０１でＮＯ）、フレームが入力されると、処理をステップＳ０２に進める。イメージセンサ１５は、予め定められたフレームレートでフレームを出力する。
【００４９】
次のステップＳ０２においては、ＳＤＲＡＭ１９に、参照フレームが記憶されているか否かを判断する。ＳＤＲＡＭ１９に参照フレームが記憶されていれば処理をステップＳ０３に進めるが、参照フレームが記憶されていなければ処理をステップＳ０８に進める。撮像処理が実行されてから最初にフレームが入力される場合、ＳＤＲＡＭ１９に参照フレームは記憶されていない。この場合には、処理をステップＳ０８に進める。
【００５０】
ステップＳ０８においては、イメージセンサ１５から入力された入力フレームを、参照フレームとしてＳＤＲＡＭ１９に記憶する。そして、入力フレームを信号処理プロセッサに信号処理させる（ステップＳ０９）。次のステップＳ１０においては、信号処理プロセッサ４５が入力フレームを信号処理して出力する処理済フレームをＤＲＡＭ１９に記憶し、処理をステップＳ０６に進める。
【００５１】
ステップＳ０６においては、処理済フレームをＥＥＰＲＯＭ２１に記憶し、処理をステップＳ０７に進める。ステップＳ０７においては、撮像終了指示を受け付けたか否かを判断する。ユーザにより、撮像終了キーを押下する操作を検出したならば撮像終了指示を受け付ける。撮像終了し指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ０１に戻す。
【００５２】
ステップＳ０１においては、処理がステップＳ０７から進む場合、第２番目以降のフレームをイメージセンサ１５から受け付ける。イメージセンサ１５から２番目以降のフレームを受け付ける場合、ＳＤＲＡＭ１５に参照フレームが記憶されている。このため、ＣＰＵ１１は、イメージセンサ１５から２番目以降のフレームを受け付ける場合、ステップＳ０２において、処理をステップＳ０３に進める。ステップＳ０３においては、ステップＳ０１において入力された２番目以降の入力フレームと、ＳＤＲＡＭ１９に記憶されている参照フレームとを比較する。そして、入力フレームと参照フレームとが類似するか否かにより処理を分岐させる（ステップＳ０４）。入力フレームと参照フレームとが類似するならば処理をステップＳ０５に進め、そうでなければ処理をステップＳ０８に進める。
【００５３】
ステップＳ０５においては、ＳＤＲＡＭ１９に記憶された処理済フレームを読み出し、処理をステップＳ０６に進める。このため、信号処理プロセッサ４５が入力フレームを信号処理しないので、消費電力を低減することができる。出力される処理済フレームは、信号処理プロセッサ４５が入力フレームに類似する参照フレームを過去に信号処理して記憶した処理済フレームなので、画質の低下を類似する範囲に抑えることができる。
【００５４】
以上説明したように第１の実施の形態におけるビデオカメラ１は、参照フレームと、信号処理プロセッサ４５が参照フレームを信号処理した処理済フレームとをＳＤＲＡＭ５１に記憶し、参照フレームより後に出力される入力フレームが信号処理プロセッサ４５により信号処理される前に、入力フレームと参照フレームとを比較する。そして、入力フレームと参照フレームとが類似しない場合、入力フレームを信号処理プロセッサ４５に信号処理させた処理済フレームを出力し、入力フレームと参照フレームとが類似する場合は、入力フレームを信号処理手段に信号処理させることなく、参照フレームを信号処理した処理済フレームを出力する。このため、信号処理プロセッサ４５の駆動回数が減少する場合に、信号処理プロセッサ４５の消費電力を低減することができる。特に、動きの少ない動画像を撮像する場合における消費電力を低下させることができる。
【００５５】
また、入力フレームと参照フレームとが類似する場合は、信号処理プロセッサ４５が参照フレームを信号処理した処理済フレームが出力される。このため、動画像の画質の低下を、入力フレームと参照フレームとの類似範囲内に抑えることができる。
【００５６】
この局面によれば、参照フレームは、入力フレームの直前の入力フレームとなる。このため、連続する入力フレームが類似する場合は、信号処理手段が最後に信号処理した処理済フレームが出力される。このため、動画像の画質の低下を所定の範囲内に抑えることができる。
【００５７】
＜第２の実施の形態＞
上述した第１の実施の形態においては、比較部４３は、入力フレームと参照フレームとが類似していないと判断する場合、ＳＤＲＡＭ１９に記憶されている参照フレームを、間引き部４１から入力される入力フレームで書き換えるようにした。第２の実施の形態にけるビデオカメラ１は、比較部４３が、入力フレームと参照フレームとが類似しているか否かに係わりなく、入力フレームと参照フレームとを比較した後に、ＳＤＲＡＭ１９に記憶されている参照フレームを、間引き部４１から入力される入力フレームで書き換えるようにしたものである。第２の実施の形態におけるビデオカメラ１のその他の構成は、第１の実施の形態におけるビデオカメラ１と同じなので、ここでは、異なる点を主に説明する。
【００５８】
より具体的には、第２の実施の形態における比較部４３は、入力フレームＦ（ｔ）を、直前のフレームＦ（ｔ−１）と比較し、２つのフレームが類似しているか否かを判断する。この場合、連続する２つのフレームが類似していれば、信号処理プロセッサ４５によって入力フレームＦ（ｔ）は処理されず、それより前に信号処理プロセッサ４５が処理した処理済フレームが、入力フレームＦ（ｔ）に対応する処理済フレームとして出力される。
【００５９】
図６は、第２の実施の形態における撮像処理の流れの一例を示すフローチャートである。図６を参照して、図５に示した撮像処理と異なる点は、ステップＳ０３とステップＳ０４との間に、ステップＳ１１が追加された点、ステップＳ０４がステップＳ０４Ａに変更された点である。その他の処理は図４に示した処理と同じなのでここでは説明を繰り返さない。
【００６０】
ステップＳ１１においては、入力フレームを参照フレームとしてＳＤＲＡＭ１９に記憶する。このため、入力フレームが参照フレームと類似しているか否かに関係なく、入力フレームが新たな参照フレームとしてＳＤＲＡＭ１９に記憶される。このため、入力フレームの直前のフレームが参照フレームとしてＳＤＲＡＭ１９に記憶される。
【００６１】
ステップＳ０４Ａにおいては、ステップＳ０３における比較の結果、入力フレームが参照フレームと類似するならば処理をステップＳ０５に進めるが、類似しなければ処理をステップＳ０９に進める。
【００６２】
第２の実施の形態における撮像処理においても、入力フレームが参照フレームと類似する場合には、信号処理プロセッサ４５が入力フレームを信号処理することなく、信号処理プロセッサ４５が参照フレームを信号処理した処理済フレームを出力する。このため、信号処理プロセッサ４５が入力フレームを信号処理しないので、消費電力を低減することができる。
【００６３】
第２の実施の形態におけるビデオカメラ１が実行する撮像処理においては、処理済フレームが信号処理される前の入力フレームが参照フレームとならず、入力フレームの直前のフレームが参照フレームとなるので、入力フレームと参照フレームとの誤差が累積されるが、第１の実施の形態置けるビデオカメラと同様に、画質の低下を類似する範囲に抑えることができる。
【００６４】
第２の実施の形態におけるビデオカメラ１は、第１の実施の形態におけるビデオカメラ１と異なり、参照フレームを、入力フレームの直前の入力フレームとする。このため、連続する２つの入力フレームが類似する場合は、信号処理プロセッサ４５が最後に信号処理した処理済フレームを出力するので、第１の実施の形態におけるビデオカメラ１と比較して、動画像の画質は低下するが、信号処理プロセッサ４５の消費電力をより低減させることができる。
【００６５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６６】
１ ビデオカメラ、１１ ＣＰＵ、１３ レンズ群、１５ イメージセンサ、１７ 信号処理部、１９ ＳＤＲＡＭ、２３ 操作部、２５ ＬＣＤ、２７ カードＩ／Ｆ、２９ メモリカード、４１ 間引き部、４３ 比較部、４５ 信号処理プロセッサ、４７ 制御部、４９ 出力部、５１ 参照フレーム、５３ 処理済フレーム。
【特許請求の範囲】
【請求項１】
予め定められたフレームレートでフレームを出力するイメージセンサと、
フレーム単位で予め定められた信号処理を実行する信号処理手段と、
前記信号処理手段がフレームを信号処理して出力する処理済フレームを記憶する処理済フレーム記憶手段と、
イメージセンサにより出力されるフレームを参照フレームとして記憶する参照フレーム記憶手段と、
前記イメージセンサにより前記参照フレームより後に出力される入力フレームが前記信号処理手段により信号処理される前に、前記入力フレームと前記参照フレームとを比較する比較手段と、
前記入力フレームと前記参照フレームとが類似しない場合、前記入力フレームを前記信号処理手段に信号処理させ、前記入力フレームと前記参照フレームとが類似する場合、前記入力フレームを前記信号処理手段に信号処理させない制御手段と、
前記イメージセンサがフレームを出力するフレームレートと同じフレームレートで、前記処理済フレーム記憶手段に記憶された処理済フレームを読み出し、出力する出力手段と、を備えた撮像装置。
【請求項２】
前記フレーム記憶手段は、前記比較手段により前記入力フレームと前記参照フレームとが類似しないと判断された場合に、前記入力フレームを前記参照フレームとして記憶する、請求項１に記載の撮像装置。
【請求項３】
前記フレーム記憶手段は、前記比較手段による比較結果に係わらず前記入力フレームを前記参照フレームとして記憶する、請求項１に記載の撮像装置。
【請求項４】
前記出力手段は、前記入力フレームと前記参照フレームとが類似しない場合、前記信号処理手段が前記入力フレームを信号処理した後に、前記処理済フレーム記憶手段から前記処理済フレームを読み出す、請求項１に記載の撮像装置。
【請求項５】
予め定められたフレームレートでフレームを出力するイメージセンサと、
フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置で実行させる撮像方法であって、
前記信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、
前記イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、
前記イメージセンサにより前記参照フレームより後に出力される入力フレームが前記信号処理手段により信号処理される前に、前記入力フレームと前記参照フレームとを比較するステップと、
前記入力フレームと前記参照フレームとが類似しない場合、前記入力フレームを前記信号処理手段に信号処理させ、前記入力フレームと前記参照フレームとが類似する場合、前記入力フレームを前記信号処理手段に信号処理させないステップと、
前記イメージセンサがフレームを出力するフレームレートと同じフレームレートで、前記記憶された処理済フレームを読み出し、出力するステップと、を含む撮像方法。
【請求項６】
予め定められたフレームレートでフレームを出力するイメージセンサと、
フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置を制御するプロセッサで実行される撮像プログラムであって、
前記信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、
前記イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、
前記イメージセンサにより前記参照フレームより後に出力される入力フレームが前記信号処理手段により信号処理される前に、前記入力フレームと前記参照フレームとを比較するステップと、
前記入力フレームと前記参照フレームとが類似しない場合、前記入力フレームを前記信号処理手段に信号処理させ、前記入力フレームと前記参照フレームとが類似する場合、前記入力フレームを前記信号処理手段に信号処理させないステップと、
前記イメージセンサがフレームを出力するフレームレートと同じフレームレートで、前記記憶された処理済フレームを読み出し、出力するステップと、を前記プロセッサに実行させる撮像プログラム。
【請求項１】
予め定められたフレームレートでフレームを出力するイメージセンサと、
フレーム単位で予め定められた信号処理を実行する信号処理手段と、
前記信号処理手段がフレームを信号処理して出力する処理済フレームを記憶する処理済フレーム記憶手段と、
イメージセンサにより出力されるフレームを参照フレームとして記憶する参照フレーム記憶手段と、
前記イメージセンサにより前記参照フレームより後に出力される入力フレームが前記信号処理手段により信号処理される前に、前記入力フレームと前記参照フレームとを比較する比較手段と、
前記入力フレームと前記参照フレームとが類似しない場合、前記入力フレームを前記信号処理手段に信号処理させ、前記入力フレームと前記参照フレームとが類似する場合、前記入力フレームを前記信号処理手段に信号処理させない制御手段と、
前記イメージセンサがフレームを出力するフレームレートと同じフレームレートで、前記処理済フレーム記憶手段に記憶された処理済フレームを読み出し、出力する出力手段と、を備えた撮像装置。
【請求項２】
前記フレーム記憶手段は、前記比較手段により前記入力フレームと前記参照フレームとが類似しないと判断された場合に、前記入力フレームを前記参照フレームとして記憶する、請求項１に記載の撮像装置。
【請求項３】
前記フレーム記憶手段は、前記比較手段による比較結果に係わらず前記入力フレームを前記参照フレームとして記憶する、請求項１に記載の撮像装置。
【請求項４】
前記出力手段は、前記入力フレームと前記参照フレームとが類似しない場合、前記信号処理手段が前記入力フレームを信号処理した後に、前記処理済フレーム記憶手段から前記処理済フレームを読み出す、請求項１に記載の撮像装置。
【請求項５】
予め定められたフレームレートでフレームを出力するイメージセンサと、
フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置で実行させる撮像方法であって、
前記信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、
前記イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、
前記イメージセンサにより前記参照フレームより後に出力される入力フレームが前記信号処理手段により信号処理される前に、前記入力フレームと前記参照フレームとを比較するステップと、
前記入力フレームと前記参照フレームとが類似しない場合、前記入力フレームを前記信号処理手段に信号処理させ、前記入力フレームと前記参照フレームとが類似する場合、前記入力フレームを前記信号処理手段に信号処理させないステップと、
前記イメージセンサがフレームを出力するフレームレートと同じフレームレートで、前記記憶された処理済フレームを読み出し、出力するステップと、を含む撮像方法。
【請求項６】
予め定められたフレームレートでフレームを出力するイメージセンサと、
フレーム単位で予め定められた信号処理を実行する信号処理手段と、を備えた撮像装置を制御するプロセッサで実行される撮像プログラムであって、
前記信号処理手段がフレームを信号処理して出力する処理済フレームを記憶するステップと、
前記イメージセンサにより出力されるフレームを参照フレームとして記憶するステップと、
前記イメージセンサにより前記参照フレームより後に出力される入力フレームが前記信号処理手段により信号処理される前に、前記入力フレームと前記参照フレームとを比較するステップと、
前記入力フレームと前記参照フレームとが類似しない場合、前記入力フレームを前記信号処理手段に信号処理させ、前記入力フレームと前記参照フレームとが類似する場合、前記入力フレームを前記信号処理手段に信号処理させないステップと、
前記イメージセンサがフレームを出力するフレームレートと同じフレームレートで、前記記憶された処理済フレームを読み出し、出力するステップと、を前記プロセッサに実行させる撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１５６９６６（Ｐ２０１２−１５６９６６Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１６８５７（Ｐ２０１１−１６８５７）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]