撮像装置、画像処理装置及びそれの制御方法、並びに画像処理システム
【課題】 再生時に解像度変換して解像度を向上させる場合であっても良好な解像度変換結果が得られるような撮像を行う撮像装置を提供する。
【解決手段】 動画像を構成する複数の画像フレームの中から、例えばヒストグラムを用いて、参照画像として抽出すべき画像フレームを判定し、参照画像抽出部１０５で参照画像データファイルを生成する。エンコーダ部１０８は、複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する。この符号化動画像データファイル中の参照画像データファイルに対応する画像フレームと、対応する参照画像データファイルを特定する情報とを対応付けたリストをコンテンツ情報リスト生成部１０７で生成する。第１の記録制御部１０６によって、参照画像データファイルと、符号化動画像データファイルと、リストとを第１の蓄積部に記録する。
【解決手段】 動画像を構成する複数の画像フレームの中から、例えばヒストグラムを用いて、参照画像として抽出すべき画像フレームを判定し、参照画像抽出部１０５で参照画像データファイルを生成する。エンコーダ部１０８は、複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する。この符号化動画像データファイル中の参照画像データファイルに対応する画像フレームと、対応する参照画像データファイルを特定する情報とを対応付けたリストをコンテンツ情報リスト生成部１０７で生成する。第１の記録制御部１０６によって、参照画像データファイルと、符号化動画像データファイルと、リストとを第１の蓄積部に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置及びそれらの制御方法、並びに画像処理システムに関する。
【背景技術】
【０００２】
従来、画像信号の解像度をＳＤ(Standard Definition)からＨＤ(High Definition)へ変換する画像データ変換装置等が提案されている（特許文献１参照）。特許文献１記載の装置では、解像度変換処理を行なう際、画像信号の特性に応じて最適な処理を行なう目的で、画素ブロック毎に何らかの特徴量に基づいた分類を行う。そして、分類毎に適切な解像度変換処理を行なうことで、画像全体について良好な解像度変換結果を得ようとしている。
【０００３】
【特許文献１】特開２００３−３２３６１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１においては、予め用意された学習用の画像を用いて、あらゆる内容の画像に共通して適用するための解像度変換テーブルを作成し、再生時にそのテーブルを利用して解像度変換を行っている。しかしながら、上述の解像度変換テーブルは、多数の学習用の画像に対して平均的な特性を有するものであり、実際に解像度変換を行う個々の画像に対して最適化されたものではない。
【０００５】
本発明はこのような従来技術の課題に鑑みなされたものであり、再生時に解像度変換して解像度を向上させる場合であっても良好な解像度変換結果が得られるような撮像を行う撮像装置及びその制御方法を提供することを１つの目的とする。
【０００６】
また、本発明の別の目的は、本発明の撮像装置が撮像した画像を好適に再生可能な画像処理装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
上述の目的の１つは、動画像を撮像する撮像装置であって、動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定手段と、判定された画像フレームを複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成手段と、複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化手段と、参照画像として抽出された画像フレームを特定する情報を生成する情報生成手段と、情報生成手段が生成した参照画像として抽出された画像フレームを特定する情報と、参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成手段と、参照画像データファイルと、符号化動画像データファイルと、リストとを第１の記憶装置に記録する第１の記録制御手段とを有することを特徴とする撮像装置によって達成される。
【０００８】
また、上述の目的の１つは、本発明の撮像装置から、参照画像ファイルと、符号化動画像ファイルと、リストを取得し、第２の記憶装置に記憶する取得手段と、第２の記憶装置から参照画像ファイルを読み出す第１の読出手段と、読み出した参照画像ファイルに含まれる参照画像フレームから、符号化動画像ファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減手段と、参照画像フレームと低解像度の参照画像フレームとから、符号化動画像ファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成手段と、第２の記憶装置からリストを読み出す第２の読出手段と、リストに、解像度変換テーブルを対応付けて出力するリスト編集手段とをさらに有し、リスト編集手段が出力するリストと、解像度変換テーブルとを第２の記憶装置に記録する第２の記録制御手段と、符号化動画像ファイルを復号化し、符号化動画像ファイルを構成する画像フレームを出力する復号化手段と、復号化手段が出力する画像フレームに、リストに基づく解像度変換テーブルを適用し、解像度変換を行う解像度変換手段と、解像度変換された画像フレームを出力する出力手段とを有することを特徴とする画像処理装置によっても達成される。
【０００９】
また、上述の目的の１つは、本発明の撮像装置と、本発明の画像処理装置とが接続されてなることを特徴とする画像処理システムによっても達成される。
【００１０】
また、上述の目的の１つは、動画像を撮像する撮像装置の制御方法であって、動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定ステップと、判定された画像フレームを複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成ステップと、複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化ステップと、参照画像として抽出された画像フレームを特定する情報を生成する情報生成ステップと、情報生成ステップで生成した参照画像として抽出された画像フレームを特定する情報と、参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成ステップと、参照画像データファイルと、符号化動画像データファイルと、リストとを第１の記憶装置に記録する第１の記録制御ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。
【００１１】
また、上述の目的の１つは、本発明の撮像装置と接続される画像処理装置の制御方法であって、参照画像ファイルと、符号化動画像ファイルと、リストを取得し、第２の記憶装置に記憶する取得ステップと、第２の記憶装置から参照画像ファイルを読み出す第１の読出ステップと、読み出した参照画像ファイルに含まれる参照画像フレームから、符号化動画像ファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減ステップと、参照画像フレームと低解像度の参照画像フレームとから、符号化動画像ファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成ステップと、第２の記憶装置からリストを読み出す第２の読出ステップと、リストに、解像度変換テーブルを対応付けて出力するリスト編集ステップとをさらに有し、リスト編集ステップが出力するリストと、解像度変換テーブルとを第２の記憶装置に記録する第２の記録制御ステップと、符号化動画像ファイルを復号化し、符号化動画像ファイルを構成する画像フレームを出力する復号化ステップと、復号化ステップが出力する画像フレームに、リストに基づく解像度変換テーブルを適用し、解像度変換を行う解像度変換ステップと、解像度変換された画像フレームを出力装置に出力する出力ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１２】
このような構成により、本発明によれば、再生時に解像度変換して解像度を向上させる場合であっても良好な解像度変換結果が得られるような撮像を行うことが可能になる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
以下、図面を参照して、本発明の例示的な実施形態について詳細に説明する。
なお、本発明における「解像度」とは、例えば１インチあたりに含まれる画素の数といった、定められた領域における画素密度を示す意味に限定されるものではない。本発明における「解像度」とは画像信号が本来有する画素の数という意味をも含む表現である。従って、解像度変換とは、画素の密度を変換するだけでなく、画素の数を変化させる処理をも含む。解像度の低減とは画像信号から画素の数を減らす処理である。また、解像度の向上とは画像信号に含まれる画素の数を増加させる処理である。本発明の特許請求の範囲、明細書及び図面で用いられる「解像度」は、上述した定義で利用されていることに留意されたい。
【００１４】
さて、本実施形態において、撮像装置は撮影画像のうち、特定の条件を満たす画像フレームを参照画像として抽出し、解像度を落とす（画素数を減らす）ことなく記憶する。撮像された画像フレームには撮影時の解像度から例えば規格や設定に従った解像度に落とした後、圧縮符号化処理を適用し、符号化動画像データファイルを生成し、記憶する。また、撮像装置は、参照画像として抽出された画像フレームを特定する情報を生成する。さらに、撮像装置は、参照画像として抽出された画像フレームを特定する情報と、参照画像データファイルを特定する情報とを関連付けたリストを生成し、記憶する。
【００１５】
なお、本発明において、「データファイル」とは、データをあるまとまりで取り扱うための単位であり、１つのデータファイルには、ある規則で区分されたデータの集合が少なくとも１つ含まれる。また、必要に応じてデータの集合に関する情報などの付加情報が含まれる。例えば、参照画像データファイルには参照画像として抽出された画像フレームを構成する画素データの集合が１つ以上含まれる。また、符号化動画像データファイルには、１つ以上の画像フレームの画素データが含まれる。データファイルは、例えばファイル名により、一意に特定することが可能である。
【００１６】
さらに、本実施形態の画像処理装置は、撮像装置が記憶する、参照画像、コンテンツ情報リスト及び符号化動画像データファイルを取得する。そして、参照画像を用いて、符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する。符号化動画像データファイルを復号化し、コンテンツ情報リストに基づいて特定される解像度変換テーブルを用い、復号化した画像フレームに解像度変換処理を適用した後、表示を行う。このような処理により、実際に解像度変換を行う画像に適した解像度変換テーブルを用いて解像度変換を行うことが可能になり、品質のよい結果を得ることが可能になる。
【００１７】
以下、具体的な装置構成例及び動作例の詳細について説明する。
図１は本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、動画撮影機能を有する撮像装置である。
【００１８】
撮像部１０１はＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備え、図示しないレンズが結像する光学像に対応する映像信号を画素単位で生成する。Ａ／Ｄ変換部１０２は撮像部１０１によって生成された映像信号をデジタル信号に変換する。画像処理部１０３はガンマ補正やホワイトバランス調整などの画像処理を行う。
【００１９】
シーン変化検出部１０４では入力された１枚の画像（画像フレーム）を構成する画素の輝度信号や色信号等をレベルごとに分類したヒストグラムを算出し、一時的に記憶する。そして、シーン変化検出部１０４は、１つ前の画像フレームのヒストグラムと現在入力されている画像フレームのヒストグラムの比較を行い、設定された閾値よりもヒストグラムの変化量が大きい場合にシーンが変化したと判定する。そして、判定処理を行なった後、シーン変化検出部１０４は前画像フレームのヒストグラムのデータを消去する。
【００２０】
シーンが変化したと判定された場合、シーン変化検出部１０４は、参照画像抽出部１０５へ、現画像フレームを参照画像として抽出すべきであることを通知する。
【００２１】
ファイル生成手段としての参照画像抽出部１０５は、シーン変化検出部１０４からの通知を受けると、現画像フレームをシーン変化後の最初の画像フレームであると認識する。そして、参照画像抽出部１０５は、現画像フレームのデータを解像度を低下させずに含んだ参照画像データファイルを生成して第１の記録制御部１０６へ送信する。
【００２２】
また、参照画像抽出部１０５は、コンテンツ情報リスト生成部１０７へ参照画像を抽出したことを通知する。さらに、参照画像抽出部１０５は、現画像フレームを参照画像とするか否か関わらず、入力された全ての画像フレームのデータをエンコーダ部１０８へ送信する。
【００２３】
符号化手段であるエンコーダ部１０８は入力された画像フレームのデータを、例えばＭＰＥＧ２方式やＨ．２６４方式などの符号化方式に従って圧縮符号化し、得られた符号化動画像データファイルを第１の記録制御部１０６へ送信する。なお、本実施形態においては、画像フレームの解像度を予め定められた規格やユーザの設定等に基づく解像度に低下させた後、圧縮符号化を行うものとする。例えばＨＤＶ規格に定められた解像度（1440×1080画素）の撮像画像からＳＤ（720×480画素）画像を生成して記録する場合や、1440×1080画素よりも高解像度の画像からＨＤＶ規格の画像を生成して記録する場合などがこれに当てはまる。従って、本実施形態において、参照画像の解像度は符号化動画像データファイルを構成する各画像フレームの解像度よりも高い。
【００２４】
また、エンコーダ部１０８は、現画像フレームが参照画像として抽出されている場合は、現画像フレームの再生時刻情報をコンテンツ情報リスト生成部１０７へ送信する。再生時刻情報としては、例えば画像フレームをＭＰＥＧ２−ＴＳ形式の符号化動画像データファイルとする場合には、ＰＥＳヘッダに挿入する提示時刻情報(PTS:Presentation Time Stamp)を用いることができる。ただし、符号化動画像データファイルを再生処理する際、参照画像が再生される時刻を特定可能であれば任意の形式の時刻情報を利用可能である。つまり、エンコーダ部１０８は参照画像として抽出された画像フレームを特定するための情報を生成する情報生成手段としても機能する。
【００２５】
なお、本実施形態では参照画像として抽出された画像フレームを特定するための情報として、エンコーダ部１０８が生成した再生時刻情報を用いているが、本発明における情報生成手段は必ずしも符号化手段に限定されるものではない。また、画像フレームを特定するための情報も再生時刻情報に限定されるものではなく、画像フレームを特定し、識別することが可能な情報であればどのような情報であっても良い。
【００２６】
コンテンツ情報リスト生成部１０７は、
・符号化動画像データファイルを特定する情報（コンテンツ名）、
・エンコーダ部１０８から通知を受けた再生時刻情報、及び
・参照画像データファイルを特定する情報（画像データファイル名）、
の３つを関連付けて例えば図２に示すようなコンテンツ情報リストを生成する。そして、コンテンツ情報リスト生成部１０７は、生成したコンテンツ情報リストを第１の記録制御部１０６へ送信する。
【００２７】
第１の記録制御部１０６は、
・参照画像抽出部１０５からの参照画像データファイル、
・コンテンツ情報リスト生成部１０７からのコンテンツ情報リスト、及び、
・エンコーダ部１０８からの符号化動画像データファイル、
を第１の記憶装置としての第１の蓄積部１０９に記憶する。
【００２８】
第１の蓄積部１０９は例えばＨＤＤや半導体メモリなどの記憶装置であり、撮影した画像データファイル、参照画像データファイル、コンテンツ情報リストなどを記憶する。
【００２９】
撮影した画像データファイルを撮像装置で再生する場合は、第１の蓄積部１０９に記憶された画像データファイルをデコーダ部１１０へ供給する。デコーダ部１１０では符号化されている画像データファイルに対して復号化処理を適用し、Ｄ／Ａ変換部１１１に供給する。Ｄ／Ａ変換部１１１は、デコーダ部１１０で復号されたデジタルデータをアナログデータに変換し、表示部１１２へ出力する。表示部１１２ではＤ／Ａ変換部１１１からのアナログデータを映像として表示する。
【００３０】
ネットワークＩ／Ｆ部１１３は例えばＥｔｈｅｒＮｅｔ（登録商標）インタフェースやＩＥＥＥ１３９４インタフェースなどのネットワークインタフェースである。本実施形態の撮像装置は、第１の蓄積部１０９に記憶されている画像データファイル、参照画像、コンテンツ情報リストを関連付けたまま、外部機器、例えば画像再生機能を有する装置に送信することができる。
【００３１】
図３は、本実施形態の撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。
撮像装置が起動すると、シーン変化検出部１０４は、まず画像入力があるかどうか、すなわち撮像装置が撮影状態に入ったかどうかを判定する（Ｓ３０１）。画像入力があった場合、シーン変化検出部１０４は、入力された画像フレームに対するヒストグラムを算出する（Ｓ３０２）。そしてシーン変化検出部１０４は、算出したヒストグラムのデータを、図示しない内部メモリ等に一時的に記憶する（Ｓ３０３）。
【００３２】
次に、シーン変化検出部１０４は、内部メモリ等に一時記憶した前フレームのヒストグラムのデータと、今回算出したヒストグラムのデータとから、シーン変化したか否かを判定する（Ｓ３０４）。例えば、ヒストグラムの変化量が閾値よりも大きい場合、シーンが変化した（すなわち、それまで撮影していた画像と大きく異なる画像が入力された）と判定することができる。ヒストグラムの変化量はどのように算出しても良いが、例えば形状の相関性や同レベルデータの頻度差の合計等を用いることができる。なお、シーン変化検出をヒストグラムに基づかない方法で検出してもよい。
【００３３】
また、シーン変化検出部１０４は、現画像フレームについてシーン変化の有無を判定した後、判定結果とは無関係に、前画像フレームのヒストグラムデータを消去する（Ｓ３０５、Ｓ３０６）。原画像フレームについてのヒストグラムのデータは、次の画像フレームについてのシーン変化判定処理時に前画像フレームのヒストグラムのデータとして用いられる。
【００３４】
シーン変化があると判定された場合、シーン変化検出部１０４はその旨を参照画像抽出部１０５へ通知する。参照画像抽出部１０５は、通知に対応する画像フレームを参照画像として抽出する（Ｓ３０７）。参照画像抽出部１０５は、抽出した参照画像をそのままの解像度で、かつ好ましくは符号化しない状態若しくはロスレス符号化した状態で含む画像データファイルを生成し、第１の記録制御部１０６へ出力する。そして、生成した画像データファイルを特定する情報（例えば画像データファイル名）を、コンテンツ情報リスト生成部１０７へ通知する。さらに、参照画像抽出部１０５は、全ての入力画像フレームを、エンコーダ部１０８へ出力する。
【００３５】
エンコーダ部１０８は、参照画像抽出部１０５から入力される全ての画像フレームについて、ＭＰＥＧ２方式やＨ．２６４方式等の圧縮符号化方式を用いて符号化する（Ｓ３０８，Ｓ３１０）。この際、符号化対象の画像フレームが参照画像として抽出された画像フレームであれば、その再生時刻情報をコンテンツ情報リスト生成部１０７へ通知する。
【００３６】
Ｓ３１１において、シーン変化検出部１０４は、全てのフレームが入力されたか、つまり撮影が終了したかどうかを判定する。全てのフレームが入力されていない場合（Ｓ３１１：Ｎｏ）、Ｓ３１２で次の画像フレームに進み、再びＳ３０２にてヒストグラムを算出する。一方、全てのフレームが入力された場合（Ｓ３１１：Ｙｅｓ）、コンテンツ情報リスト生成部１０７が、上述したコンテンツ情報リストを生成する（Ｓ３１３）。
【００３７】
Ｓ３１４において、第１の記録制御部１０６は、
・エンコーダ部１０８からの符号化動画像データファイル、
・参照画像抽出部１０５からの参照画像データファイル、及び、
・コンテンツ情報リスト生成部１０７からのコンテンツ情報リスト、
を関連付けて第１の蓄積部１０９に記録する。
そして、Ｓ３０１に処理を戻し、再び次の画像が入力されるまで待機する。
【００３８】
図４は本実施形態に係る画像処理装置の構成例を示すブロック図である。
ネットワークＩ／Ｆ部４０１は、例えばＥｔｈｅｒＮｅｔ（登録商標）インタフェースやＩＥＥＥ１３９４インタフェースなどのネットワークインタフェースである。ネットワークＩ／Ｆ部４０１を通じて通信可能な機器や送受信するデータに制限は無い。ただし、ここでは、図１に示した撮像装置とネットワークＩ／Ｆ部４０１を通じて接続されて画像処理システムを形成し、撮像装置からのデータを受信するものとして説明する。
【００３９】
ネットワークＩ／Ｆ部４０１は撮像装置から、符号化動画像データファイル、参照画像データファイル、コンテンツ情報リストを受信し、ＨＤＤや半導体メモリなどの記憶装置であり、第２の記憶装置としての第２の蓄積部４０２に書き込む。
【００４０】
第１の読出手段としての参照画像読出部４０３は、第２の蓄積部４０２に蓄積された参照画像データファイルを読み出し、解像度変換テーブル生成部４０４に供給する。解像度変換テーブル生成部４０４では、参照画像を用いて解像度変換テーブルを生成する。
【００４１】
図５は、解像度変換テーブル生成部４０４の構成例を示すブロック図である。
解像度変換テーブル生成部４０４は、参照画像データファイルを蓄積する学習用データベース部５０１と、参照画像フレームをダウンサンプリングするダウンサンプリング部５０２と、学習回路部５０３とから構成される。
【００４２】
学習用データベース部５０１は、参照画像読出部４０３から受け取った参照画像データファイルを内部の学習データベースに追加する。一方、学習用データベース部５０１は学習データベースに蓄積されている参照画像データファイルをダウンサンプリング部５０２及び学習回路部５０３に順次出力する。
【００４３】
解像度低減手段としてのダウンサンプリング部５０２は、入力された参照画像データファイルに含まれる参照画像フレームに間引きやフィルタリング処理を施し、符号化動画像データファイルを構成する画像フレームと同じ解像度にダウンサンプリングを行う。そして、ダウンサンプリング部５０２は、得られた低解像度の参照画像フレームを学習回路部５０３へ出力する。学習回路部５０３では、ダウンサンプリング部５０２から入力された低解像度の参照画像フレームと、学習用データベース部５０１から入力された高解像度の参照画像フレームとを用い、例えば最小自乗法誤差規範による学習を行い、解像度変換テーブルを生成する。
【００４４】
ここで得られる解像度変換テーブルとは、入力画像中の画素間の特徴情報をコード化したものをインデックスにし、画素密度が増加した結果を得るテーブルである。つまり、低解像度の参照画像フレームから、対応する高解像度の参照画像フレームを得られるような解像度変換テーブルを生成する。ここでは、最小自乗法による学習について述べたが、ニューラルネットワークを用いて解像度変換テーブルの学習を行っても良い。学習回路部５０３は、得られた解像度変換テーブルを第２の記録制御部４０５へ出力する。また、学習回路部５０３は、生成した解像度変換テーブルを特定する情報（例えばテーブル名）と、用いた参照画像データファイルを特定する情報とを、コンテンツ情報リスト編集部４０７へ通知する。
【００４５】
図４に戻って、第２の読出手段としてのコンテンツ情報リスト読出部４０６は、第２の蓄積部４０２からコンテンツ情報リストを読み出し、コンテンツ情報リスト編集部４０７へ供給する。コンテンツ情報リスト編集部４０７は、コンテンツ情報リストに、解像度変換テーブル生成部４０４から通知された、解像度変換テーブルを特定する情報を付加して、第２の記録制御部４０５へ出力する。コンテンツ情報リスト編集部４０７が出力する、編集後のコンテンツ情報リストの例を図６に示す。図６に示すように、解像度変換テーブルを特定する情報が、再生時刻と対応付けられて付加される。
【００４６】
第２の記録制御部４０５は、解像度変換テーブル生成部４０４によって生成された解像度変換テーブルと、コンテンツ情報編集部によって編集されたコンテンツ情報リストを第２の蓄積部４０２に書き戻す制御を行う。
【００４７】
符号化動画像データファイルの再生時は、デコーダ部４０８が第２の蓄積部４０２から符号化動画像データファイルを読出しながら復号化処理を行ない、復号化した画像フレームを順次解像度変換部４０９へ供給する。また、復号化した画像フレームのＰＴＳを再生時刻情報として解像度変換テーブル読出部４１０へ出力する。
【００４８】
解像度変換テーブル読出部４１０は、デコーダ部４０８から受けた再生時刻情報が示す再生時刻と、コンテンツ情報リストに含まれる再生時刻とが一致した場合、再生時刻に対応付けられた解像度変換テーブルを第２の蓄積部４０２から読み出す。そして、解像度変換テーブル読出部４１０は、読み出した解像度変換テーブルを解像度変換部４０９に供給する。
【００４９】
解像度変換部４０９は、解像度変換テーブル読出部４１０から受けた解像度変換テーブルを利用して、デコーダ部４０８から入力された画像フレーム対して解像度変換処理を行い、高解像度化する。解像度変換処理では入力画像を解析して画素間の特徴情報をコード化したものをインデックスにし、解像度変換テーブルを適用して、画素密度を増加させ入力画像よりも高解像度の画像を得る。画像処理部４１１では、色処理やガンマ処理などの画像処理を行い、表示部４１２にて解像度変換された画像を表示する。
【００５０】
図７は、図６のコンテンツ情報リストで示されるコンテンツＡに対応する符号化動画像データファイルを再生した場合の、解像度変換テーブルの適用タイミングを示す図である。
再生時刻Ｔａ０（７０１）の画像フレームから、最初の解像度変換テーブルＴＢＬ＿Ａ０（７０２）を適用して解像度変換を行う。その後、再生時刻Ｔａ１に達するまでの画像フレームに対しては、ＴＢＬ＿Ａ０（７０２）を適用して解像度変換を行う。
【００５１】
そして、再生時刻Ｔａ１（７０３）の画像フレームからは、解像度変換テーブルＴＢＬ＿Ａ１（７０４）を適用して解像度変換処理を行なう。以降同様に、再生時刻Ｔａ２（７０５）までの画像フレームに対しては解像度変換テーブルＴＢＬ＿Ａ１（７０４）を用いて解像度変換を行う。さらに、再生時刻Ｔａ２（７０５）の画像フレームからは、解像度変換テーブルＴＢＬ＿Ａ２（７０６）を適用するように切り替える。
【００５２】
このように、シーン変化が検出される毎に、そのシーンの代表画像（ここでは、シーンの先頭画像）から生成した解像度変換テーブルを適用するようにする。同一シーンを構成する画像フレームは、通常は相関が高いので、シーンの代表画像から生成した解像度変換テーブルを適用することで、そのシーンを構成する画像フレームに適した解像度変換結果を得ることが可能になる。
【００５３】
動画像の記録形式の決定サイクルに対し、撮像素子の高画素化は急速に進んでいる。また、ビデオカメラのような主に動画を撮像する装置においても、高解像度の静止画記録に対する要求などから、動画記録に用いる画素数よりも多い画素数を有する撮像素子を備えているものが少なくない。しかし、高解像度の画像を撮像しても、動画記録時には解像度を落として記録するため、高解像度の画像を必ずしも有効利用できていないという背景が存在する。これに対し、本実施形態では、高解像度かつ実際に撮像した画像を解像度変換テーブルの生成に利用することにより、解像度の変換が適用される画像に適した解像度変換テーブルを、簡単な構成で、高精度に生成することを可能にしている。
【００５４】
本実施形態の撮像装置では、動画撮影時に得られた、解像度を落とす前の画像フレームを参照画像として抽出している。そのため、符号化動画像データファイルを構成する画像フレームと参照画像とでは、それを撮影したカメラの撮影条件（焦点距離、被写界深度、露出条件など）は必然的に同じになる。しかし、例えば複数台のカメラを用い、動画と参照画像用の静止画を別々に撮影するときなどは、複数台のカメラ間で通信を行い、撮影条件を同一にしておくことで、参照画像として適切な静止画像を抽出することができる。
【００５５】
本実施形態の再生装置では、参照画像を用いた学習処理により解像度変換テーブルを生成した。しかし、解像度変換テーブル生成部４０４で予め複数パターンの解像度変換テーブルを用意しておき、その中の１つを用いるように構成しても良い。具体的には、ダウンサンプリングした参照画像に複数の解像度変換テーブルを適用して、その結果の画像が元の（高解像度の）参照画像に最も近くなる解像度変換テーブルを用いるように構成することができる。
【００５６】
本実施形態では、ネットワークを経由して、コンテンツファイル（符号化動画像データファイル）、参照画像、コンテンツ情報リストを撮像装置から再生装置に受け渡す構成について説明した。しかし、メモリカードや光学ディスク等のリムーバブルストレージメディアや、ＨＤＭＩ(High-Definition Multimedia Interface)のようなデータ通信可能なディスプレイインタフェースを経由して受け渡す構成でもよい。
【００５７】
また、参照画像として、シーン変化が検出された最初の画像フレームを抽出したが、同一シーンに含まれる複数の画像フレームを平均化して１枚の参照画像を生成しても良い。また、同一シーンから複数の参照画像を抽出してもよい。例えば、シーン変化があると判定された最初の画像フレームを参照画像として抽出した後、この参照画像のヒストグラムと類似度が高い画像フレームをそのシーン中の追加参照画像として抽出することができる。この場合、コンテンツ情報リストには、同じ再生時刻に複数の参照画像が対応付けられることになる。また、画像処理装置における解像度変換テーブル生成部４０４では、同一再生時刻に関連付けられた複数の（元の解像度とダウンサンプリングされた）参照画像の組に基づいて１つの解像度変換テーブルを生成する。
【００５８】
本実施形態の撮像装置及び画像処理装置では、撮像装置でシーン毎に高解像度な参照画像を抽出する。そして、画像処理装置側では、参照画像を利用して解像度変換テーブルを生成し、再生時にはシーン毎に適用する解像度変換テーブルを切替えて解像度変換を行うので、画像フレームの内容に適した解像度変換結果を得ることができる。
【００５９】
なお、シーン変化ごとに参照画像を抽出する代わりに、撮像装置内部にタイマーを設けるなどして、ある設定時間に達した時に参照画像を抽出してもよい。また、撮像装置の録画スイッチがＯＮされた時に、参照画像を抽出してもよい。
【００６０】
この場合でも、実際に撮影された画像フレームであって、かつ符号化動画像データファイルを構成する画像フレームよりも高解像度の画像フレームを参照画像として用いるので、無関係な画像から生成した解像度変換テーブルよりも良好な結果を得ることができる。
【００６１】
（第２の実施形態）
第１の実施形態では、シーン毎に参照画像を抽出する構成であったが、本実施形態では、過去に抽出した参照画像を記憶しておき、それを再利用する構成を特徴とする。
【００６２】
図８は本実施形態に係る撮像装置の構成例を示すブロック図である。図８において、図１と同じ構成要素には同じ参照数字を付し、重複する説明は省略する。以下、本実施形態に特徴的な構成及びその動作を中心に説明する。
ヒストグラム記憶部８０２には、既に参照画像として抽出された画像フレームのヒストグラムデータと、対応する参照画像データファイルを特定する情報とが関連付けて保存されている。
【００６３】
シーン変化検出部１０４は第１の実施形態と同様、ヒストグラムに基づいてシーン変化の有無を判定する。そして、シーン変化したと判定される場合、現画像フレームのヒストグラムのデータをヒストグラム比較部８０１に出力する。
【００６４】
ヒストグラム比較部８０１は、ヒストグラム記憶部８０２に記憶されたヒストグラムのデータと、シーン変化検出部１０４から受信したヒストグラムのデータとを比較する。ヒストグラム比較部８０１は、比較の結果、記憶されたヒストグラムに類似度が高いものがなければ、現画像フレームを参照画像として抽出すべきものと判定し、参照画像抽出部８０３へ現画像フレームを参照画像として抽出するよう通知する。そして、ヒストグラム比較部８０１は、原画像フレームを参照画像として抽出すべきであると判定した場合、そのヒストグラムのデータをヒストグラム記憶部８０２へ記憶する。
【００６５】
ここで、ヒストグラム間の類似度は任意の方法で求めることができるが、例えば、ヒストグラムを構成するレベル毎の頻度値の差の合計が閾値を超えた場合には類似度が低いと判定することができる。
【００６６】
一方、記憶されたヒストグラムの中に、類似度が高いものが見出された場合、ヒストグラム比較部８０１は、以前抽出した参照画像に現画像フレームと近似したものがあると判断する。この場合、ヒストグラム比較部８０１は、現画像フレームを参照画像として抽出するとの通知ではなく、見出された類似度の高いヒストグラムに対応する過去の参照画像データファイルを特定する情報を通知する。
【００６７】
参照画像抽出部８０３は、参照画像抽出の通知を受けた場合、第１の実施形態における参照画像抽出部１０５と同様にして、現画像フレームから参照画像データファイルを生成して第１の記録制御部１０６へ供給する。さらに、参照画像データファイルを特定する情報（例えばデータファイル名）を、ヒストグラム比較部８０１へ通知する。
【００６８】
ヒストグラム比較部８０１は、参照画像抽出部８０３から通知を受けると、通知された参照画像データファイルを特定する情報を、ヒストグラム記憶部８０２に記憶した現画像フレームのヒストグラムのデータと関連付けて記憶する。
【００６９】
参照画像抽出部８０３はさらに、ヒストグラム比較部８０１から参照画像データファイルを特定する情報を通知された場合には、その情報をコンテンツ情報リスト生成部８０４へ通知する。
【００７０】
エンコーダ部１０８は、参照画像抽出部８０３から入力される全ての画像フレームについて、ＭＰＥＧ２方式やＨ．２６４方式等の圧縮符号化方式を用いて符号化する。この際、符号化対象の画像フレームが参照画像として抽出された画像フレームであるか、シーン変化したと判定された画像フレームであれば、その再生時刻情報をコンテンツ情報リスト生成部８０４へ通知する。
【００７１】
コンテンツ情報リスト生成部８０４は、第１の実施形態と同様にしてコンテンツ情報リストを生成する。第１の実施形態と異なるのは、参照画像抽出部８０３から与えられる、参照画像データファイルを特定する情報が、過去の参照画像データファイルを特定する情報でありうる点のみである。
【００７２】
例えば、再生時刻Ｔａ２から始まるシーン（シーン３）の先頭画像フレームのヒストグラムが再生時刻Ｔａ０から始まるシーン（シーン１）の先頭画像フレームと類似していると判定された場合には、図９に示すようなコンテンツ情報リストが生成される。図９においては、シーン１に対応する参照画像データファイル（画像Ａ０）が、シーン３に対応する参照画像データファイルとしても用いられている。
【００７３】
図１０は、本実施形態の撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。ここでは、図３で説明した第１の実施形態のフローチャートと異なる部分のみを示している。
【００７４】
図３におけるＳ３０１〜Ｓ３０５の処理は第１の実施形態と同様に行われる。ただし、シーン変化検出部１０４は、シーン変化が判定されたことを参照画像抽出部８０３ではなくヒストグラム比較部８０１へ通知する。
【００７５】
Ｓ１００２において、ヒストグラム比較部８０１は、現画像フレームのヒストグラムと、ヒストグラム記憶部８０２に記憶されたヒストグラムとを比較する。
次にＳ１００３において、ヒストグラム比較部８０１は、ヒストグラム記憶部８０２に記憶されたヒストグラムの中に、現画像フレームのヒストグラムと類似したものがあるか判定する。
【００７６】
類似すると判定されるものがなければ、ヒストグラム比較部８０１は、現画像フレームを参照画像として抽出するよう参照画像抽出部１０５へ通知する。参照画像抽出部１０５は、現画像フレームを参照画像として抽出し（Ｓ３０７）、参照画像データファイルを生成して第１の記録制御部１０６へ供給する。さらに参照画像抽出部１０５は、参照画像データファイルを特定する情報をヒストグラム比較部８０１へ通知する。
【００７７】
次いで、ヒストグラム比較部８０１は、現画像フレームのヒストグラムをヒストグラム記憶部８０２に記憶する（Ｓ１００７）。この際、ヒストグラム比較部８０１はヒストグラム記憶部８０２に記憶した現画像フレームのヒストグラムと、参照画像データファイルを特定する情報とを対応づけて記憶する。
その後、Ｓ３０８（図３）以降の処理を行なう。
【００７８】
一方、Ｓ１００３において、類似すると判定されるヒストグラムがある場合、ヒストグラム比較部８０１は、そのヒストグラムに対応する参照画像データファイルを特定する情報をヒストグラム記憶部８０２から読み出す。そして、参照画像データファイルを特定する情報をコンテンツ情報リスト生成部８０４へ通知する（Ｓ１００４）。
【００７９】
エンコーダ部１０８は現画像フレームをＭＰＥＧ２方式やＨ．２６４方式等の圧縮符号化方式を用いて符号化する（Ｓ１００５）。そして、エンコーダ部１０８は、現画像フレームの再生時刻情報をコンテンツ情報リスト生成部８０４へ通知する（Ｓ１００６）。
その後は、Ｓ３１１以降の処理を行なう。
【００８０】
本実施形態に係る画像処理装置の構成及び動作は第１の実施形態の画像処理装置と同一でよいため、説明を省略する。
なお、本実施形態では、シーン変化したと判定される画像フレームのヒストグラムを過去の参照画像のヒストグラムと比較し、類似したものがない場合に参照画像として抽出するものとした。しかし、過去の参照画像そのものを記憶しておき、画像同士の類似度に基づいて、参照画像として抽出するか否かを決定しても良い。
【００８１】
また、先に抽出した参照画像を再利用する代わりに、後の画像を先の参照画像としても利用するようにしてもよい。つまり、図９の例であれば、再生時刻Ｔａ２に対応する画像フレームを（画像Ａ２とする）を、類似する先の参照画像である画像Ａ０に代えて再生時刻Ｔａ０に対応付けてもよい。あるいは、類似する画像のうち、解像度が高いと考えられる、高周波成分の多い画像を優先的に利用するようにしても良い。
【００８２】
このように、本実施形態の撮像装置では、類似する参照画像を共用するように構成したため、高解像度の参照画像を蓄積するための記憶容量を削減することができる。
【００８３】
（第３の実施形態）
図１１は、本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。図１１において、図１と同じ構成については同じ参照数字を付し、重複する説明を省略する。
【００８４】
ヒストグラム検出部１１０１は入力された画像フレームの特徴を表す情報として、画像フレームを構成する画素の輝度や色成分についてのヒストグラムを算出し、そのデータを参照画像抽出部１１０２へ送信する。
【００８５】
操作部１１０３はキーやボタン、スイッチなどからなり、ユーザが撮像装置に指示を入力するためのユーザインタフェースである。本実施形態において、操作部１１０３は撮像装置の撮影（シーン）モード、例えばポートレートモードやスポーツモード、夕焼けモード等を設定するための、撮影モード設定手段としてのモード設定ダイヤルを備えている。
モード設定ダイヤルにより設定された撮影モードは、撮影モード指示部１１０４で検出され、参照画像抽出部１１０２へ通知される。
【００８６】
ヒストグラム参照テーブル部１１０５には、本実施形態の撮像装置において設定可能な撮影モードと、その撮影モードで撮像された画像が有すると考えられる代表的な画像の特徴を表す情報としてのヒストグラムが対応付けられたテーブルが記憶されている。例えば、夕焼けモードに対応するヒストグラムとしては、夕日を撮影した画像に特徴的なヒストグラム（例えば青成分に対して赤成分が非常に大きい、等）が記憶される。ヒストグラム参照テーブル部１１０５が記憶するテーブルの例を図１２に示す。ここで、参照ヒストグラムとして記載されるのは、対応するヒストグラムデータを特定する情報としてのデータファイル名である。ヒストグラムのデータもまた、ヒストグラム参照テーブル部１１０５に記憶されている。
【００８７】
参照画像抽出部１１０２は撮影モード指示部１１０４から通知された撮影モードをキーとしてヒストグラム参照テーブル部１１０５を検索し、現撮影モードに対応する代表的な特徴を有するヒストグラムを取得する。そして、ヒストグラム検出部１１０１からの現画像フレームのヒストグラムと比較する。
【００８８】
参照画像抽出部１１０２は、ヒストグラムの対応するレベル同士の値の差分の合計値が閾値以下ならば、現画像フレームは現撮影モードで撮像される代表的な特徴を有する画像フレームであると判断し、現画像フレームを参照画像として抽出する。
【００８９】
参照画像抽出部１１０２は、第１の実施形態における参照画像抽出部１０５と同様にして参照画像データファイルを生成し、第１の記録制御部１０６へ出力する。また、全ての入力画像フレームをエンコーダ部１０８に供給するとともに、参照画像として抽出した画像フレームを通知する。さらに、参照画像抽出部１１０２は、参照画像データファイルを特定する情報をコンテンツ情報リスト生成部１０７に通知する。
【００９０】
第１の記録制御部１０６、コンテンツ情報リスト生成部１０７、エンコーダ部１０８他の動作は第１の実施形態で説明した通りであるため、説明を省略する。
また、本実施形態の撮像装置で記録した符号化動画像データファイル、コンテンツ情報リスト及び参照画像データファイルは、第１の実施形態の画像処理装置により利用可能である。
【００９１】
本実施形態では、撮影モードに応じた特徴を有する代表的なヒストグラムを予め用意しておき、撮像された画像フレームのうち、代表的なヒストグラムと類似したヒストグラムを有する画像フレームを参照画像として抽出する。
【００９２】
そのため、実際に撮像して得られた高解像度の画像フレームのうち、撮影モードに典型的な画像フレームを用いて解像度変換テーブルを生成することが可能になる。従って、解像度変換を行って再生する場合、撮影モードに応じた解像度変換テーブルが生成され、撮影される被写体の傾向に合った解像度変換結果を得ることが可能になる。
【００９３】
ここでは、参照画像として抽出された画像フレームを第１の実施形態におけるシーンの先頭の画像フレームと見なし、第１の実施形態で説明したように個々の参照画像に対応した解像度変換テーブルを生成するものとした。しかし、ある撮影モードで撮像が開始されてから、撮影モードが切替えられたり、撮影の終了が指示されるまでに記録されたひとまとまとまりの動画を１シーンとして、同一シーン内で抽出された複数の参照画像から１つの解像度変換テーブルを作成しても良い。この場合、コンテンツ情報リストには、同じ再生時刻に複数の参照画像が対応付けられることになる。また、画像処理装置における解像度変換テーブル生成部４０４では、同一再生時刻に関連付けられた複数の（元の解像度とダウンサンプリングされた）参照画像の組に基づいて１つの解像度変換テーブルを生成する。
【００９４】
（第４の実施形態）
図１３は、本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。図１３において、図１及び図４と同じ構成については同じ参照数字を付し、重複する説明を省略する。
本実施形態の撮像装置は、第１の実施形態の画像処理装置が行っていた解像度変換テーブルの生成を行う機能を有することを特徴とする。
【００９５】
具体的には、第１の実施形態に係る撮像装置に、第１の実施形態に係る画像処理装置が有する参照画像読出部４０３、解像度変換テーブル生成部４０４、コンテンツ情報リスト読出部４０６、コンテンツ情報リスト編集部４０７が設けられている。
【００９６】
本実施形態の撮像装置では、第１の蓄積部１０９に参照画像データファイル、符号化動画像データファイル及びコンテンツ情報リストを蓄積する処理は第１の実施形態と同様である。その一方、参照画像データファイルが新たに第１の蓄積部１０９に追加されると、参照画像読出部４０３がその参照画像データファイルを読み出し、解像度変換テーブル生成部４０４に供給する。解像度変換テーブル生成部４０４では、図５を用いて説明したように、高解像度の参照画像と、ダウンサンプリングにより生成した符号化動画像データファイルを構成する画像フレームと同じ解像度の参照画像とを用いて解像度変換テーブルを生成する。生成した解像度変換テーブルは、第１の記録制御部１０６に出力する。また、解像度変換テーブル生成部４０４は、生成した解像度変換テーブルを特定する情報（例えばテーブル名）と、用いた参照画像を特定する情報とを、コンテンツ情報リスト編集部４０７へ通知する。
【００９７】
第１の記録制御部１０６は、解像度変換テーブル生成部４０４が生成した解像度変換テーブルを第１の蓄積部１０９に記憶する。
コンテンツ情報リスト読出部４０６は、第２の蓄積部４０２からコンテンツ情報リストを読み出し、コンテンツ情報リスト編集部４０７へ供給する。コンテンツ情報リスト編集部４０７は、コンテンツ情報リストの参照画像データファイル名に基づいて、解像度変換テーブル生成部４０４から通知された、解像度変換テーブルを特定する情報を付加して、第１の記録制御部１０６へ出力する。
【００９８】
第１の記録制御部１０６は、コンテンツ情報リスト編集部４０７が編集したコンテンツ情報リストを、第１の蓄積部１０９に記憶する。また、第１の記録制御部１０６は、画像の入力が終了し、解像度変換テーブルの生成処理が完了すると、解像度変換テーブルの生成に使用された参照画像データファイルを第１の蓄積部１０９から削除する。
最終的に、第１の蓄積部１０９には、符号化動画像データファイルと、編集後のコンテンツ情報リストと、解像度変換テーブルとが記憶される。
【００９９】
図１４は、本実施形態の画像処理装置の構成例を示すブロック図である。
画像処理装置は、図１３に示す撮像装置から、ネットワークＩ／Ｆ部４０１を通じて符号化動画像データファイルと、編集後のコンテンツ情報リストと、解像度変換テーブルを取得し、第２の蓄積部４０２に記憶する。
【０１００】
符号化動画像データファイルの再生時は、デコーダ部４０８が第２の蓄積部４０２から符号化動画像データファイルを読出しながら復号化処理を行ない、復号化した画像フレームを順次解像度変換部４０９へ供給する。また、復号化した画像フレームのＰＴＳを再生時刻情報として解像度変換テーブル読出部４１０へ出力する。
【０１０１】
解像度変換テーブル読出部４１０は、デコーダ部４０８から受けた再生時刻情報が示す再生時刻と、コンテンツ情報リストに含まれる再生時刻とが一致した場合、再生時刻に対応付けられた解像度変換テーブルを第２の蓄積部４０２から読み出す。そして、解像度変換テーブル読出部４１０は、読み出した解像度変換テーブルを解像度変換部４０９に供給する。
【０１０２】
解像度変換部４０９は、解像度変換テーブル読出部４１０から受けた解像度変換テーブルを利用して、デコーダ部４０８から入力された画像フレーム対して解像度変換処理を行い、高解像度化する。解像度変換処理では入力画像を解析して画素間の特徴情報をコード化したものをインデックスにし、解像度変換テーブルを適用して、画素密度を増加させ入力画像よりも高解像度の画像を得る。画像処理部４１１では、色処理やガンマ処理などの画像処理を行い、表示部４１２にて解像度変換された画像を表示する。
【０１０３】
このように、本実施形態に係る撮像装置及び再生装置では、撮像装置側で解像度変換テーブルを生成するので、抽出した参照画像フレームを消去することができ、参照画像フレームを蓄積するための記憶容量を削減することができる。また、撮像装置から再生装置に参照画像データファイルを受け渡す必要が無いので、ネットワークに流すデータ量も削減することができる。
【０１０４】
なお、本実施形態においても、第１の実施形態で説明したように、１シーンに対して複数の参照画像を抽出し、複数の参照画像から１つの解像度変換テーブルを作成する様に構成することができる。
【０１０５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１０６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１０７】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１０８】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１０９】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１１０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１１１】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【０１１２】
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１１３】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像装置が生成するコンテンツ情報リストの例を示す図である。
【図３】本発明の第１の実施形態に係る撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。
【図４】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図５】本発明の第１の実施形態に係る画像処理装置における解像度変換テーブル生成部の構成例を示すブロック図である。
【図６】本発明の第１の実施形態に係る画像処理装置におけるコンテンツ情報リスト編集部が編集したコンテンツ情報リストの例を示す図である。
【図７】図６のコンテンツ情報リストで示されるコンテンツＡに対応する符号化動画像データファイルを再生した場合の、解像度変換テーブルの適用タイミングを示す図である。
【図８】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図９】本発明の第２の実施形態に係る撮像装置が生成するコンテンツ情報リストの例を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。
【図１１】本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。
【図１２】本発明の第３の実施形態に係る撮像装置におけるヒストグラムテーブル部が記憶するテーブルの例を示す図である。
【図１３】本発明の第４の実施形態に係る撮像装置の構成例を示すブロック図である。
【図１４】本発明の第４の実施形態に係る画像処理装置の構成例を示すブロック図である。
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置及びそれらの制御方法、並びに画像処理システムに関する。
【背景技術】
【０００２】
従来、画像信号の解像度をＳＤ(Standard Definition)からＨＤ(High Definition)へ変換する画像データ変換装置等が提案されている（特許文献１参照）。特許文献１記載の装置では、解像度変換処理を行なう際、画像信号の特性に応じて最適な処理を行なう目的で、画素ブロック毎に何らかの特徴量に基づいた分類を行う。そして、分類毎に適切な解像度変換処理を行なうことで、画像全体について良好な解像度変換結果を得ようとしている。
【０００３】
【特許文献１】特開２００３−３２３６１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１においては、予め用意された学習用の画像を用いて、あらゆる内容の画像に共通して適用するための解像度変換テーブルを作成し、再生時にそのテーブルを利用して解像度変換を行っている。しかしながら、上述の解像度変換テーブルは、多数の学習用の画像に対して平均的な特性を有するものであり、実際に解像度変換を行う個々の画像に対して最適化されたものではない。
【０００５】
本発明はこのような従来技術の課題に鑑みなされたものであり、再生時に解像度変換して解像度を向上させる場合であっても良好な解像度変換結果が得られるような撮像を行う撮像装置及びその制御方法を提供することを１つの目的とする。
【０００６】
また、本発明の別の目的は、本発明の撮像装置が撮像した画像を好適に再生可能な画像処理装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
上述の目的の１つは、動画像を撮像する撮像装置であって、動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定手段と、判定された画像フレームを複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成手段と、複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化手段と、参照画像として抽出された画像フレームを特定する情報を生成する情報生成手段と、情報生成手段が生成した参照画像として抽出された画像フレームを特定する情報と、参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成手段と、参照画像データファイルと、符号化動画像データファイルと、リストとを第１の記憶装置に記録する第１の記録制御手段とを有することを特徴とする撮像装置によって達成される。
【０００８】
また、上述の目的の１つは、本発明の撮像装置から、参照画像ファイルと、符号化動画像ファイルと、リストを取得し、第２の記憶装置に記憶する取得手段と、第２の記憶装置から参照画像ファイルを読み出す第１の読出手段と、読み出した参照画像ファイルに含まれる参照画像フレームから、符号化動画像ファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減手段と、参照画像フレームと低解像度の参照画像フレームとから、符号化動画像ファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成手段と、第２の記憶装置からリストを読み出す第２の読出手段と、リストに、解像度変換テーブルを対応付けて出力するリスト編集手段とをさらに有し、リスト編集手段が出力するリストと、解像度変換テーブルとを第２の記憶装置に記録する第２の記録制御手段と、符号化動画像ファイルを復号化し、符号化動画像ファイルを構成する画像フレームを出力する復号化手段と、復号化手段が出力する画像フレームに、リストに基づく解像度変換テーブルを適用し、解像度変換を行う解像度変換手段と、解像度変換された画像フレームを出力する出力手段とを有することを特徴とする画像処理装置によっても達成される。
【０００９】
また、上述の目的の１つは、本発明の撮像装置と、本発明の画像処理装置とが接続されてなることを特徴とする画像処理システムによっても達成される。
【００１０】
また、上述の目的の１つは、動画像を撮像する撮像装置の制御方法であって、動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定ステップと、判定された画像フレームを複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成ステップと、複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化ステップと、参照画像として抽出された画像フレームを特定する情報を生成する情報生成ステップと、情報生成ステップで生成した参照画像として抽出された画像フレームを特定する情報と、参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成ステップと、参照画像データファイルと、符号化動画像データファイルと、リストとを第１の記憶装置に記録する第１の記録制御ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。
【００１１】
また、上述の目的の１つは、本発明の撮像装置と接続される画像処理装置の制御方法であって、参照画像ファイルと、符号化動画像ファイルと、リストを取得し、第２の記憶装置に記憶する取得ステップと、第２の記憶装置から参照画像ファイルを読み出す第１の読出ステップと、読み出した参照画像ファイルに含まれる参照画像フレームから、符号化動画像ファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減ステップと、参照画像フレームと低解像度の参照画像フレームとから、符号化動画像ファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成ステップと、第２の記憶装置からリストを読み出す第２の読出ステップと、リストに、解像度変換テーブルを対応付けて出力するリスト編集ステップとをさらに有し、リスト編集ステップが出力するリストと、解像度変換テーブルとを第２の記憶装置に記録する第２の記録制御ステップと、符号化動画像ファイルを復号化し、符号化動画像ファイルを構成する画像フレームを出力する復号化ステップと、復号化ステップが出力する画像フレームに、リストに基づく解像度変換テーブルを適用し、解像度変換を行う解像度変換ステップと、解像度変換された画像フレームを出力装置に出力する出力ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１２】
このような構成により、本発明によれば、再生時に解像度変換して解像度を向上させる場合であっても良好な解像度変換結果が得られるような撮像を行うことが可能になる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
以下、図面を参照して、本発明の例示的な実施形態について詳細に説明する。
なお、本発明における「解像度」とは、例えば１インチあたりに含まれる画素の数といった、定められた領域における画素密度を示す意味に限定されるものではない。本発明における「解像度」とは画像信号が本来有する画素の数という意味をも含む表現である。従って、解像度変換とは、画素の密度を変換するだけでなく、画素の数を変化させる処理をも含む。解像度の低減とは画像信号から画素の数を減らす処理である。また、解像度の向上とは画像信号に含まれる画素の数を増加させる処理である。本発明の特許請求の範囲、明細書及び図面で用いられる「解像度」は、上述した定義で利用されていることに留意されたい。
【００１４】
さて、本実施形態において、撮像装置は撮影画像のうち、特定の条件を満たす画像フレームを参照画像として抽出し、解像度を落とす（画素数を減らす）ことなく記憶する。撮像された画像フレームには撮影時の解像度から例えば規格や設定に従った解像度に落とした後、圧縮符号化処理を適用し、符号化動画像データファイルを生成し、記憶する。また、撮像装置は、参照画像として抽出された画像フレームを特定する情報を生成する。さらに、撮像装置は、参照画像として抽出された画像フレームを特定する情報と、参照画像データファイルを特定する情報とを関連付けたリストを生成し、記憶する。
【００１５】
なお、本発明において、「データファイル」とは、データをあるまとまりで取り扱うための単位であり、１つのデータファイルには、ある規則で区分されたデータの集合が少なくとも１つ含まれる。また、必要に応じてデータの集合に関する情報などの付加情報が含まれる。例えば、参照画像データファイルには参照画像として抽出された画像フレームを構成する画素データの集合が１つ以上含まれる。また、符号化動画像データファイルには、１つ以上の画像フレームの画素データが含まれる。データファイルは、例えばファイル名により、一意に特定することが可能である。
【００１６】
さらに、本実施形態の画像処理装置は、撮像装置が記憶する、参照画像、コンテンツ情報リスト及び符号化動画像データファイルを取得する。そして、参照画像を用いて、符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する。符号化動画像データファイルを復号化し、コンテンツ情報リストに基づいて特定される解像度変換テーブルを用い、復号化した画像フレームに解像度変換処理を適用した後、表示を行う。このような処理により、実際に解像度変換を行う画像に適した解像度変換テーブルを用いて解像度変換を行うことが可能になり、品質のよい結果を得ることが可能になる。
【００１７】
以下、具体的な装置構成例及び動作例の詳細について説明する。
図１は本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、動画撮影機能を有する撮像装置である。
【００１８】
撮像部１０１はＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備え、図示しないレンズが結像する光学像に対応する映像信号を画素単位で生成する。Ａ／Ｄ変換部１０２は撮像部１０１によって生成された映像信号をデジタル信号に変換する。画像処理部１０３はガンマ補正やホワイトバランス調整などの画像処理を行う。
【００１９】
シーン変化検出部１０４では入力された１枚の画像（画像フレーム）を構成する画素の輝度信号や色信号等をレベルごとに分類したヒストグラムを算出し、一時的に記憶する。そして、シーン変化検出部１０４は、１つ前の画像フレームのヒストグラムと現在入力されている画像フレームのヒストグラムの比較を行い、設定された閾値よりもヒストグラムの変化量が大きい場合にシーンが変化したと判定する。そして、判定処理を行なった後、シーン変化検出部１０４は前画像フレームのヒストグラムのデータを消去する。
【００２０】
シーンが変化したと判定された場合、シーン変化検出部１０４は、参照画像抽出部１０５へ、現画像フレームを参照画像として抽出すべきであることを通知する。
【００２１】
ファイル生成手段としての参照画像抽出部１０５は、シーン変化検出部１０４からの通知を受けると、現画像フレームをシーン変化後の最初の画像フレームであると認識する。そして、参照画像抽出部１０５は、現画像フレームのデータを解像度を低下させずに含んだ参照画像データファイルを生成して第１の記録制御部１０６へ送信する。
【００２２】
また、参照画像抽出部１０５は、コンテンツ情報リスト生成部１０７へ参照画像を抽出したことを通知する。さらに、参照画像抽出部１０５は、現画像フレームを参照画像とするか否か関わらず、入力された全ての画像フレームのデータをエンコーダ部１０８へ送信する。
【００２３】
符号化手段であるエンコーダ部１０８は入力された画像フレームのデータを、例えばＭＰＥＧ２方式やＨ．２６４方式などの符号化方式に従って圧縮符号化し、得られた符号化動画像データファイルを第１の記録制御部１０６へ送信する。なお、本実施形態においては、画像フレームの解像度を予め定められた規格やユーザの設定等に基づく解像度に低下させた後、圧縮符号化を行うものとする。例えばＨＤＶ規格に定められた解像度（1440×1080画素）の撮像画像からＳＤ（720×480画素）画像を生成して記録する場合や、1440×1080画素よりも高解像度の画像からＨＤＶ規格の画像を生成して記録する場合などがこれに当てはまる。従って、本実施形態において、参照画像の解像度は符号化動画像データファイルを構成する各画像フレームの解像度よりも高い。
【００２４】
また、エンコーダ部１０８は、現画像フレームが参照画像として抽出されている場合は、現画像フレームの再生時刻情報をコンテンツ情報リスト生成部１０７へ送信する。再生時刻情報としては、例えば画像フレームをＭＰＥＧ２−ＴＳ形式の符号化動画像データファイルとする場合には、ＰＥＳヘッダに挿入する提示時刻情報(PTS:Presentation Time Stamp)を用いることができる。ただし、符号化動画像データファイルを再生処理する際、参照画像が再生される時刻を特定可能であれば任意の形式の時刻情報を利用可能である。つまり、エンコーダ部１０８は参照画像として抽出された画像フレームを特定するための情報を生成する情報生成手段としても機能する。
【００２５】
なお、本実施形態では参照画像として抽出された画像フレームを特定するための情報として、エンコーダ部１０８が生成した再生時刻情報を用いているが、本発明における情報生成手段は必ずしも符号化手段に限定されるものではない。また、画像フレームを特定するための情報も再生時刻情報に限定されるものではなく、画像フレームを特定し、識別することが可能な情報であればどのような情報であっても良い。
【００２６】
コンテンツ情報リスト生成部１０７は、
・符号化動画像データファイルを特定する情報（コンテンツ名）、
・エンコーダ部１０８から通知を受けた再生時刻情報、及び
・参照画像データファイルを特定する情報（画像データファイル名）、
の３つを関連付けて例えば図２に示すようなコンテンツ情報リストを生成する。そして、コンテンツ情報リスト生成部１０７は、生成したコンテンツ情報リストを第１の記録制御部１０６へ送信する。
【００２７】
第１の記録制御部１０６は、
・参照画像抽出部１０５からの参照画像データファイル、
・コンテンツ情報リスト生成部１０７からのコンテンツ情報リスト、及び、
・エンコーダ部１０８からの符号化動画像データファイル、
を第１の記憶装置としての第１の蓄積部１０９に記憶する。
【００２８】
第１の蓄積部１０９は例えばＨＤＤや半導体メモリなどの記憶装置であり、撮影した画像データファイル、参照画像データファイル、コンテンツ情報リストなどを記憶する。
【００２９】
撮影した画像データファイルを撮像装置で再生する場合は、第１の蓄積部１０９に記憶された画像データファイルをデコーダ部１１０へ供給する。デコーダ部１１０では符号化されている画像データファイルに対して復号化処理を適用し、Ｄ／Ａ変換部１１１に供給する。Ｄ／Ａ変換部１１１は、デコーダ部１１０で復号されたデジタルデータをアナログデータに変換し、表示部１１２へ出力する。表示部１１２ではＤ／Ａ変換部１１１からのアナログデータを映像として表示する。
【００３０】
ネットワークＩ／Ｆ部１１３は例えばＥｔｈｅｒＮｅｔ（登録商標）インタフェースやＩＥＥＥ１３９４インタフェースなどのネットワークインタフェースである。本実施形態の撮像装置は、第１の蓄積部１０９に記憶されている画像データファイル、参照画像、コンテンツ情報リストを関連付けたまま、外部機器、例えば画像再生機能を有する装置に送信することができる。
【００３１】
図３は、本実施形態の撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。
撮像装置が起動すると、シーン変化検出部１０４は、まず画像入力があるかどうか、すなわち撮像装置が撮影状態に入ったかどうかを判定する（Ｓ３０１）。画像入力があった場合、シーン変化検出部１０４は、入力された画像フレームに対するヒストグラムを算出する（Ｓ３０２）。そしてシーン変化検出部１０４は、算出したヒストグラムのデータを、図示しない内部メモリ等に一時的に記憶する（Ｓ３０３）。
【００３２】
次に、シーン変化検出部１０４は、内部メモリ等に一時記憶した前フレームのヒストグラムのデータと、今回算出したヒストグラムのデータとから、シーン変化したか否かを判定する（Ｓ３０４）。例えば、ヒストグラムの変化量が閾値よりも大きい場合、シーンが変化した（すなわち、それまで撮影していた画像と大きく異なる画像が入力された）と判定することができる。ヒストグラムの変化量はどのように算出しても良いが、例えば形状の相関性や同レベルデータの頻度差の合計等を用いることができる。なお、シーン変化検出をヒストグラムに基づかない方法で検出してもよい。
【００３３】
また、シーン変化検出部１０４は、現画像フレームについてシーン変化の有無を判定した後、判定結果とは無関係に、前画像フレームのヒストグラムデータを消去する（Ｓ３０５、Ｓ３０６）。原画像フレームについてのヒストグラムのデータは、次の画像フレームについてのシーン変化判定処理時に前画像フレームのヒストグラムのデータとして用いられる。
【００３４】
シーン変化があると判定された場合、シーン変化検出部１０４はその旨を参照画像抽出部１０５へ通知する。参照画像抽出部１０５は、通知に対応する画像フレームを参照画像として抽出する（Ｓ３０７）。参照画像抽出部１０５は、抽出した参照画像をそのままの解像度で、かつ好ましくは符号化しない状態若しくはロスレス符号化した状態で含む画像データファイルを生成し、第１の記録制御部１０６へ出力する。そして、生成した画像データファイルを特定する情報（例えば画像データファイル名）を、コンテンツ情報リスト生成部１０７へ通知する。さらに、参照画像抽出部１０５は、全ての入力画像フレームを、エンコーダ部１０８へ出力する。
【００３５】
エンコーダ部１０８は、参照画像抽出部１０５から入力される全ての画像フレームについて、ＭＰＥＧ２方式やＨ．２６４方式等の圧縮符号化方式を用いて符号化する（Ｓ３０８，Ｓ３１０）。この際、符号化対象の画像フレームが参照画像として抽出された画像フレームであれば、その再生時刻情報をコンテンツ情報リスト生成部１０７へ通知する。
【００３６】
Ｓ３１１において、シーン変化検出部１０４は、全てのフレームが入力されたか、つまり撮影が終了したかどうかを判定する。全てのフレームが入力されていない場合（Ｓ３１１：Ｎｏ）、Ｓ３１２で次の画像フレームに進み、再びＳ３０２にてヒストグラムを算出する。一方、全てのフレームが入力された場合（Ｓ３１１：Ｙｅｓ）、コンテンツ情報リスト生成部１０７が、上述したコンテンツ情報リストを生成する（Ｓ３１３）。
【００３７】
Ｓ３１４において、第１の記録制御部１０６は、
・エンコーダ部１０８からの符号化動画像データファイル、
・参照画像抽出部１０５からの参照画像データファイル、及び、
・コンテンツ情報リスト生成部１０７からのコンテンツ情報リスト、
を関連付けて第１の蓄積部１０９に記録する。
そして、Ｓ３０１に処理を戻し、再び次の画像が入力されるまで待機する。
【００３８】
図４は本実施形態に係る画像処理装置の構成例を示すブロック図である。
ネットワークＩ／Ｆ部４０１は、例えばＥｔｈｅｒＮｅｔ（登録商標）インタフェースやＩＥＥＥ１３９４インタフェースなどのネットワークインタフェースである。ネットワークＩ／Ｆ部４０１を通じて通信可能な機器や送受信するデータに制限は無い。ただし、ここでは、図１に示した撮像装置とネットワークＩ／Ｆ部４０１を通じて接続されて画像処理システムを形成し、撮像装置からのデータを受信するものとして説明する。
【００３９】
ネットワークＩ／Ｆ部４０１は撮像装置から、符号化動画像データファイル、参照画像データファイル、コンテンツ情報リストを受信し、ＨＤＤや半導体メモリなどの記憶装置であり、第２の記憶装置としての第２の蓄積部４０２に書き込む。
【００４０】
第１の読出手段としての参照画像読出部４０３は、第２の蓄積部４０２に蓄積された参照画像データファイルを読み出し、解像度変換テーブル生成部４０４に供給する。解像度変換テーブル生成部４０４では、参照画像を用いて解像度変換テーブルを生成する。
【００４１】
図５は、解像度変換テーブル生成部４０４の構成例を示すブロック図である。
解像度変換テーブル生成部４０４は、参照画像データファイルを蓄積する学習用データベース部５０１と、参照画像フレームをダウンサンプリングするダウンサンプリング部５０２と、学習回路部５０３とから構成される。
【００４２】
学習用データベース部５０１は、参照画像読出部４０３から受け取った参照画像データファイルを内部の学習データベースに追加する。一方、学習用データベース部５０１は学習データベースに蓄積されている参照画像データファイルをダウンサンプリング部５０２及び学習回路部５０３に順次出力する。
【００４３】
解像度低減手段としてのダウンサンプリング部５０２は、入力された参照画像データファイルに含まれる参照画像フレームに間引きやフィルタリング処理を施し、符号化動画像データファイルを構成する画像フレームと同じ解像度にダウンサンプリングを行う。そして、ダウンサンプリング部５０２は、得られた低解像度の参照画像フレームを学習回路部５０３へ出力する。学習回路部５０３では、ダウンサンプリング部５０２から入力された低解像度の参照画像フレームと、学習用データベース部５０１から入力された高解像度の参照画像フレームとを用い、例えば最小自乗法誤差規範による学習を行い、解像度変換テーブルを生成する。
【００４４】
ここで得られる解像度変換テーブルとは、入力画像中の画素間の特徴情報をコード化したものをインデックスにし、画素密度が増加した結果を得るテーブルである。つまり、低解像度の参照画像フレームから、対応する高解像度の参照画像フレームを得られるような解像度変換テーブルを生成する。ここでは、最小自乗法による学習について述べたが、ニューラルネットワークを用いて解像度変換テーブルの学習を行っても良い。学習回路部５０３は、得られた解像度変換テーブルを第２の記録制御部４０５へ出力する。また、学習回路部５０３は、生成した解像度変換テーブルを特定する情報（例えばテーブル名）と、用いた参照画像データファイルを特定する情報とを、コンテンツ情報リスト編集部４０７へ通知する。
【００４５】
図４に戻って、第２の読出手段としてのコンテンツ情報リスト読出部４０６は、第２の蓄積部４０２からコンテンツ情報リストを読み出し、コンテンツ情報リスト編集部４０７へ供給する。コンテンツ情報リスト編集部４０７は、コンテンツ情報リストに、解像度変換テーブル生成部４０４から通知された、解像度変換テーブルを特定する情報を付加して、第２の記録制御部４０５へ出力する。コンテンツ情報リスト編集部４０７が出力する、編集後のコンテンツ情報リストの例を図６に示す。図６に示すように、解像度変換テーブルを特定する情報が、再生時刻と対応付けられて付加される。
【００４６】
第２の記録制御部４０５は、解像度変換テーブル生成部４０４によって生成された解像度変換テーブルと、コンテンツ情報編集部によって編集されたコンテンツ情報リストを第２の蓄積部４０２に書き戻す制御を行う。
【００４７】
符号化動画像データファイルの再生時は、デコーダ部４０８が第２の蓄積部４０２から符号化動画像データファイルを読出しながら復号化処理を行ない、復号化した画像フレームを順次解像度変換部４０９へ供給する。また、復号化した画像フレームのＰＴＳを再生時刻情報として解像度変換テーブル読出部４１０へ出力する。
【００４８】
解像度変換テーブル読出部４１０は、デコーダ部４０８から受けた再生時刻情報が示す再生時刻と、コンテンツ情報リストに含まれる再生時刻とが一致した場合、再生時刻に対応付けられた解像度変換テーブルを第２の蓄積部４０２から読み出す。そして、解像度変換テーブル読出部４１０は、読み出した解像度変換テーブルを解像度変換部４０９に供給する。
【００４９】
解像度変換部４０９は、解像度変換テーブル読出部４１０から受けた解像度変換テーブルを利用して、デコーダ部４０８から入力された画像フレーム対して解像度変換処理を行い、高解像度化する。解像度変換処理では入力画像を解析して画素間の特徴情報をコード化したものをインデックスにし、解像度変換テーブルを適用して、画素密度を増加させ入力画像よりも高解像度の画像を得る。画像処理部４１１では、色処理やガンマ処理などの画像処理を行い、表示部４１２にて解像度変換された画像を表示する。
【００５０】
図７は、図６のコンテンツ情報リストで示されるコンテンツＡに対応する符号化動画像データファイルを再生した場合の、解像度変換テーブルの適用タイミングを示す図である。
再生時刻Ｔａ０（７０１）の画像フレームから、最初の解像度変換テーブルＴＢＬ＿Ａ０（７０２）を適用して解像度変換を行う。その後、再生時刻Ｔａ１に達するまでの画像フレームに対しては、ＴＢＬ＿Ａ０（７０２）を適用して解像度変換を行う。
【００５１】
そして、再生時刻Ｔａ１（７０３）の画像フレームからは、解像度変換テーブルＴＢＬ＿Ａ１（７０４）を適用して解像度変換処理を行なう。以降同様に、再生時刻Ｔａ２（７０５）までの画像フレームに対しては解像度変換テーブルＴＢＬ＿Ａ１（７０４）を用いて解像度変換を行う。さらに、再生時刻Ｔａ２（７０５）の画像フレームからは、解像度変換テーブルＴＢＬ＿Ａ２（７０６）を適用するように切り替える。
【００５２】
このように、シーン変化が検出される毎に、そのシーンの代表画像（ここでは、シーンの先頭画像）から生成した解像度変換テーブルを適用するようにする。同一シーンを構成する画像フレームは、通常は相関が高いので、シーンの代表画像から生成した解像度変換テーブルを適用することで、そのシーンを構成する画像フレームに適した解像度変換結果を得ることが可能になる。
【００５３】
動画像の記録形式の決定サイクルに対し、撮像素子の高画素化は急速に進んでいる。また、ビデオカメラのような主に動画を撮像する装置においても、高解像度の静止画記録に対する要求などから、動画記録に用いる画素数よりも多い画素数を有する撮像素子を備えているものが少なくない。しかし、高解像度の画像を撮像しても、動画記録時には解像度を落として記録するため、高解像度の画像を必ずしも有効利用できていないという背景が存在する。これに対し、本実施形態では、高解像度かつ実際に撮像した画像を解像度変換テーブルの生成に利用することにより、解像度の変換が適用される画像に適した解像度変換テーブルを、簡単な構成で、高精度に生成することを可能にしている。
【００５４】
本実施形態の撮像装置では、動画撮影時に得られた、解像度を落とす前の画像フレームを参照画像として抽出している。そのため、符号化動画像データファイルを構成する画像フレームと参照画像とでは、それを撮影したカメラの撮影条件（焦点距離、被写界深度、露出条件など）は必然的に同じになる。しかし、例えば複数台のカメラを用い、動画と参照画像用の静止画を別々に撮影するときなどは、複数台のカメラ間で通信を行い、撮影条件を同一にしておくことで、参照画像として適切な静止画像を抽出することができる。
【００５５】
本実施形態の再生装置では、参照画像を用いた学習処理により解像度変換テーブルを生成した。しかし、解像度変換テーブル生成部４０４で予め複数パターンの解像度変換テーブルを用意しておき、その中の１つを用いるように構成しても良い。具体的には、ダウンサンプリングした参照画像に複数の解像度変換テーブルを適用して、その結果の画像が元の（高解像度の）参照画像に最も近くなる解像度変換テーブルを用いるように構成することができる。
【００５６】
本実施形態では、ネットワークを経由して、コンテンツファイル（符号化動画像データファイル）、参照画像、コンテンツ情報リストを撮像装置から再生装置に受け渡す構成について説明した。しかし、メモリカードや光学ディスク等のリムーバブルストレージメディアや、ＨＤＭＩ(High-Definition Multimedia Interface)のようなデータ通信可能なディスプレイインタフェースを経由して受け渡す構成でもよい。
【００５７】
また、参照画像として、シーン変化が検出された最初の画像フレームを抽出したが、同一シーンに含まれる複数の画像フレームを平均化して１枚の参照画像を生成しても良い。また、同一シーンから複数の参照画像を抽出してもよい。例えば、シーン変化があると判定された最初の画像フレームを参照画像として抽出した後、この参照画像のヒストグラムと類似度が高い画像フレームをそのシーン中の追加参照画像として抽出することができる。この場合、コンテンツ情報リストには、同じ再生時刻に複数の参照画像が対応付けられることになる。また、画像処理装置における解像度変換テーブル生成部４０４では、同一再生時刻に関連付けられた複数の（元の解像度とダウンサンプリングされた）参照画像の組に基づいて１つの解像度変換テーブルを生成する。
【００５８】
本実施形態の撮像装置及び画像処理装置では、撮像装置でシーン毎に高解像度な参照画像を抽出する。そして、画像処理装置側では、参照画像を利用して解像度変換テーブルを生成し、再生時にはシーン毎に適用する解像度変換テーブルを切替えて解像度変換を行うので、画像フレームの内容に適した解像度変換結果を得ることができる。
【００５９】
なお、シーン変化ごとに参照画像を抽出する代わりに、撮像装置内部にタイマーを設けるなどして、ある設定時間に達した時に参照画像を抽出してもよい。また、撮像装置の録画スイッチがＯＮされた時に、参照画像を抽出してもよい。
【００６０】
この場合でも、実際に撮影された画像フレームであって、かつ符号化動画像データファイルを構成する画像フレームよりも高解像度の画像フレームを参照画像として用いるので、無関係な画像から生成した解像度変換テーブルよりも良好な結果を得ることができる。
【００６１】
（第２の実施形態）
第１の実施形態では、シーン毎に参照画像を抽出する構成であったが、本実施形態では、過去に抽出した参照画像を記憶しておき、それを再利用する構成を特徴とする。
【００６２】
図８は本実施形態に係る撮像装置の構成例を示すブロック図である。図８において、図１と同じ構成要素には同じ参照数字を付し、重複する説明は省略する。以下、本実施形態に特徴的な構成及びその動作を中心に説明する。
ヒストグラム記憶部８０２には、既に参照画像として抽出された画像フレームのヒストグラムデータと、対応する参照画像データファイルを特定する情報とが関連付けて保存されている。
【００６３】
シーン変化検出部１０４は第１の実施形態と同様、ヒストグラムに基づいてシーン変化の有無を判定する。そして、シーン変化したと判定される場合、現画像フレームのヒストグラムのデータをヒストグラム比較部８０１に出力する。
【００６４】
ヒストグラム比較部８０１は、ヒストグラム記憶部８０２に記憶されたヒストグラムのデータと、シーン変化検出部１０４から受信したヒストグラムのデータとを比較する。ヒストグラム比較部８０１は、比較の結果、記憶されたヒストグラムに類似度が高いものがなければ、現画像フレームを参照画像として抽出すべきものと判定し、参照画像抽出部８０３へ現画像フレームを参照画像として抽出するよう通知する。そして、ヒストグラム比較部８０１は、原画像フレームを参照画像として抽出すべきであると判定した場合、そのヒストグラムのデータをヒストグラム記憶部８０２へ記憶する。
【００６５】
ここで、ヒストグラム間の類似度は任意の方法で求めることができるが、例えば、ヒストグラムを構成するレベル毎の頻度値の差の合計が閾値を超えた場合には類似度が低いと判定することができる。
【００６６】
一方、記憶されたヒストグラムの中に、類似度が高いものが見出された場合、ヒストグラム比較部８０１は、以前抽出した参照画像に現画像フレームと近似したものがあると判断する。この場合、ヒストグラム比較部８０１は、現画像フレームを参照画像として抽出するとの通知ではなく、見出された類似度の高いヒストグラムに対応する過去の参照画像データファイルを特定する情報を通知する。
【００６７】
参照画像抽出部８０３は、参照画像抽出の通知を受けた場合、第１の実施形態における参照画像抽出部１０５と同様にして、現画像フレームから参照画像データファイルを生成して第１の記録制御部１０６へ供給する。さらに、参照画像データファイルを特定する情報（例えばデータファイル名）を、ヒストグラム比較部８０１へ通知する。
【００６８】
ヒストグラム比較部８０１は、参照画像抽出部８０３から通知を受けると、通知された参照画像データファイルを特定する情報を、ヒストグラム記憶部８０２に記憶した現画像フレームのヒストグラムのデータと関連付けて記憶する。
【００６９】
参照画像抽出部８０３はさらに、ヒストグラム比較部８０１から参照画像データファイルを特定する情報を通知された場合には、その情報をコンテンツ情報リスト生成部８０４へ通知する。
【００７０】
エンコーダ部１０８は、参照画像抽出部８０３から入力される全ての画像フレームについて、ＭＰＥＧ２方式やＨ．２６４方式等の圧縮符号化方式を用いて符号化する。この際、符号化対象の画像フレームが参照画像として抽出された画像フレームであるか、シーン変化したと判定された画像フレームであれば、その再生時刻情報をコンテンツ情報リスト生成部８０４へ通知する。
【００７１】
コンテンツ情報リスト生成部８０４は、第１の実施形態と同様にしてコンテンツ情報リストを生成する。第１の実施形態と異なるのは、参照画像抽出部８０３から与えられる、参照画像データファイルを特定する情報が、過去の参照画像データファイルを特定する情報でありうる点のみである。
【００７２】
例えば、再生時刻Ｔａ２から始まるシーン（シーン３）の先頭画像フレームのヒストグラムが再生時刻Ｔａ０から始まるシーン（シーン１）の先頭画像フレームと類似していると判定された場合には、図９に示すようなコンテンツ情報リストが生成される。図９においては、シーン１に対応する参照画像データファイル（画像Ａ０）が、シーン３に対応する参照画像データファイルとしても用いられている。
【００７３】
図１０は、本実施形態の撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。ここでは、図３で説明した第１の実施形態のフローチャートと異なる部分のみを示している。
【００７４】
図３におけるＳ３０１〜Ｓ３０５の処理は第１の実施形態と同様に行われる。ただし、シーン変化検出部１０４は、シーン変化が判定されたことを参照画像抽出部８０３ではなくヒストグラム比較部８０１へ通知する。
【００７５】
Ｓ１００２において、ヒストグラム比較部８０１は、現画像フレームのヒストグラムと、ヒストグラム記憶部８０２に記憶されたヒストグラムとを比較する。
次にＳ１００３において、ヒストグラム比較部８０１は、ヒストグラム記憶部８０２に記憶されたヒストグラムの中に、現画像フレームのヒストグラムと類似したものがあるか判定する。
【００７６】
類似すると判定されるものがなければ、ヒストグラム比較部８０１は、現画像フレームを参照画像として抽出するよう参照画像抽出部１０５へ通知する。参照画像抽出部１０５は、現画像フレームを参照画像として抽出し（Ｓ３０７）、参照画像データファイルを生成して第１の記録制御部１０６へ供給する。さらに参照画像抽出部１０５は、参照画像データファイルを特定する情報をヒストグラム比較部８０１へ通知する。
【００７７】
次いで、ヒストグラム比較部８０１は、現画像フレームのヒストグラムをヒストグラム記憶部８０２に記憶する（Ｓ１００７）。この際、ヒストグラム比較部８０１はヒストグラム記憶部８０２に記憶した現画像フレームのヒストグラムと、参照画像データファイルを特定する情報とを対応づけて記憶する。
その後、Ｓ３０８（図３）以降の処理を行なう。
【００７８】
一方、Ｓ１００３において、類似すると判定されるヒストグラムがある場合、ヒストグラム比較部８０１は、そのヒストグラムに対応する参照画像データファイルを特定する情報をヒストグラム記憶部８０２から読み出す。そして、参照画像データファイルを特定する情報をコンテンツ情報リスト生成部８０４へ通知する（Ｓ１００４）。
【００７９】
エンコーダ部１０８は現画像フレームをＭＰＥＧ２方式やＨ．２６４方式等の圧縮符号化方式を用いて符号化する（Ｓ１００５）。そして、エンコーダ部１０８は、現画像フレームの再生時刻情報をコンテンツ情報リスト生成部８０４へ通知する（Ｓ１００６）。
その後は、Ｓ３１１以降の処理を行なう。
【００８０】
本実施形態に係る画像処理装置の構成及び動作は第１の実施形態の画像処理装置と同一でよいため、説明を省略する。
なお、本実施形態では、シーン変化したと判定される画像フレームのヒストグラムを過去の参照画像のヒストグラムと比較し、類似したものがない場合に参照画像として抽出するものとした。しかし、過去の参照画像そのものを記憶しておき、画像同士の類似度に基づいて、参照画像として抽出するか否かを決定しても良い。
【００８１】
また、先に抽出した参照画像を再利用する代わりに、後の画像を先の参照画像としても利用するようにしてもよい。つまり、図９の例であれば、再生時刻Ｔａ２に対応する画像フレームを（画像Ａ２とする）を、類似する先の参照画像である画像Ａ０に代えて再生時刻Ｔａ０に対応付けてもよい。あるいは、類似する画像のうち、解像度が高いと考えられる、高周波成分の多い画像を優先的に利用するようにしても良い。
【００８２】
このように、本実施形態の撮像装置では、類似する参照画像を共用するように構成したため、高解像度の参照画像を蓄積するための記憶容量を削減することができる。
【００８３】
（第３の実施形態）
図１１は、本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。図１１において、図１と同じ構成については同じ参照数字を付し、重複する説明を省略する。
【００８４】
ヒストグラム検出部１１０１は入力された画像フレームの特徴を表す情報として、画像フレームを構成する画素の輝度や色成分についてのヒストグラムを算出し、そのデータを参照画像抽出部１１０２へ送信する。
【００８５】
操作部１１０３はキーやボタン、スイッチなどからなり、ユーザが撮像装置に指示を入力するためのユーザインタフェースである。本実施形態において、操作部１１０３は撮像装置の撮影（シーン）モード、例えばポートレートモードやスポーツモード、夕焼けモード等を設定するための、撮影モード設定手段としてのモード設定ダイヤルを備えている。
モード設定ダイヤルにより設定された撮影モードは、撮影モード指示部１１０４で検出され、参照画像抽出部１１０２へ通知される。
【００８６】
ヒストグラム参照テーブル部１１０５には、本実施形態の撮像装置において設定可能な撮影モードと、その撮影モードで撮像された画像が有すると考えられる代表的な画像の特徴を表す情報としてのヒストグラムが対応付けられたテーブルが記憶されている。例えば、夕焼けモードに対応するヒストグラムとしては、夕日を撮影した画像に特徴的なヒストグラム（例えば青成分に対して赤成分が非常に大きい、等）が記憶される。ヒストグラム参照テーブル部１１０５が記憶するテーブルの例を図１２に示す。ここで、参照ヒストグラムとして記載されるのは、対応するヒストグラムデータを特定する情報としてのデータファイル名である。ヒストグラムのデータもまた、ヒストグラム参照テーブル部１１０５に記憶されている。
【００８７】
参照画像抽出部１１０２は撮影モード指示部１１０４から通知された撮影モードをキーとしてヒストグラム参照テーブル部１１０５を検索し、現撮影モードに対応する代表的な特徴を有するヒストグラムを取得する。そして、ヒストグラム検出部１１０１からの現画像フレームのヒストグラムと比較する。
【００８８】
参照画像抽出部１１０２は、ヒストグラムの対応するレベル同士の値の差分の合計値が閾値以下ならば、現画像フレームは現撮影モードで撮像される代表的な特徴を有する画像フレームであると判断し、現画像フレームを参照画像として抽出する。
【００８９】
参照画像抽出部１１０２は、第１の実施形態における参照画像抽出部１０５と同様にして参照画像データファイルを生成し、第１の記録制御部１０６へ出力する。また、全ての入力画像フレームをエンコーダ部１０８に供給するとともに、参照画像として抽出した画像フレームを通知する。さらに、参照画像抽出部１１０２は、参照画像データファイルを特定する情報をコンテンツ情報リスト生成部１０７に通知する。
【００９０】
第１の記録制御部１０６、コンテンツ情報リスト生成部１０７、エンコーダ部１０８他の動作は第１の実施形態で説明した通りであるため、説明を省略する。
また、本実施形態の撮像装置で記録した符号化動画像データファイル、コンテンツ情報リスト及び参照画像データファイルは、第１の実施形態の画像処理装置により利用可能である。
【００９１】
本実施形態では、撮影モードに応じた特徴を有する代表的なヒストグラムを予め用意しておき、撮像された画像フレームのうち、代表的なヒストグラムと類似したヒストグラムを有する画像フレームを参照画像として抽出する。
【００９２】
そのため、実際に撮像して得られた高解像度の画像フレームのうち、撮影モードに典型的な画像フレームを用いて解像度変換テーブルを生成することが可能になる。従って、解像度変換を行って再生する場合、撮影モードに応じた解像度変換テーブルが生成され、撮影される被写体の傾向に合った解像度変換結果を得ることが可能になる。
【００９３】
ここでは、参照画像として抽出された画像フレームを第１の実施形態におけるシーンの先頭の画像フレームと見なし、第１の実施形態で説明したように個々の参照画像に対応した解像度変換テーブルを生成するものとした。しかし、ある撮影モードで撮像が開始されてから、撮影モードが切替えられたり、撮影の終了が指示されるまでに記録されたひとまとまとまりの動画を１シーンとして、同一シーン内で抽出された複数の参照画像から１つの解像度変換テーブルを作成しても良い。この場合、コンテンツ情報リストには、同じ再生時刻に複数の参照画像が対応付けられることになる。また、画像処理装置における解像度変換テーブル生成部４０４では、同一再生時刻に関連付けられた複数の（元の解像度とダウンサンプリングされた）参照画像の組に基づいて１つの解像度変換テーブルを生成する。
【００９４】
（第４の実施形態）
図１３は、本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。図１３において、図１及び図４と同じ構成については同じ参照数字を付し、重複する説明を省略する。
本実施形態の撮像装置は、第１の実施形態の画像処理装置が行っていた解像度変換テーブルの生成を行う機能を有することを特徴とする。
【００９５】
具体的には、第１の実施形態に係る撮像装置に、第１の実施形態に係る画像処理装置が有する参照画像読出部４０３、解像度変換テーブル生成部４０４、コンテンツ情報リスト読出部４０６、コンテンツ情報リスト編集部４０７が設けられている。
【００９６】
本実施形態の撮像装置では、第１の蓄積部１０９に参照画像データファイル、符号化動画像データファイル及びコンテンツ情報リストを蓄積する処理は第１の実施形態と同様である。その一方、参照画像データファイルが新たに第１の蓄積部１０９に追加されると、参照画像読出部４０３がその参照画像データファイルを読み出し、解像度変換テーブル生成部４０４に供給する。解像度変換テーブル生成部４０４では、図５を用いて説明したように、高解像度の参照画像と、ダウンサンプリングにより生成した符号化動画像データファイルを構成する画像フレームと同じ解像度の参照画像とを用いて解像度変換テーブルを生成する。生成した解像度変換テーブルは、第１の記録制御部１０６に出力する。また、解像度変換テーブル生成部４０４は、生成した解像度変換テーブルを特定する情報（例えばテーブル名）と、用いた参照画像を特定する情報とを、コンテンツ情報リスト編集部４０７へ通知する。
【００９７】
第１の記録制御部１０６は、解像度変換テーブル生成部４０４が生成した解像度変換テーブルを第１の蓄積部１０９に記憶する。
コンテンツ情報リスト読出部４０６は、第２の蓄積部４０２からコンテンツ情報リストを読み出し、コンテンツ情報リスト編集部４０７へ供給する。コンテンツ情報リスト編集部４０７は、コンテンツ情報リストの参照画像データファイル名に基づいて、解像度変換テーブル生成部４０４から通知された、解像度変換テーブルを特定する情報を付加して、第１の記録制御部１０６へ出力する。
【００９８】
第１の記録制御部１０６は、コンテンツ情報リスト編集部４０７が編集したコンテンツ情報リストを、第１の蓄積部１０９に記憶する。また、第１の記録制御部１０６は、画像の入力が終了し、解像度変換テーブルの生成処理が完了すると、解像度変換テーブルの生成に使用された参照画像データファイルを第１の蓄積部１０９から削除する。
最終的に、第１の蓄積部１０９には、符号化動画像データファイルと、編集後のコンテンツ情報リストと、解像度変換テーブルとが記憶される。
【００９９】
図１４は、本実施形態の画像処理装置の構成例を示すブロック図である。
画像処理装置は、図１３に示す撮像装置から、ネットワークＩ／Ｆ部４０１を通じて符号化動画像データファイルと、編集後のコンテンツ情報リストと、解像度変換テーブルを取得し、第２の蓄積部４０２に記憶する。
【０１００】
符号化動画像データファイルの再生時は、デコーダ部４０８が第２の蓄積部４０２から符号化動画像データファイルを読出しながら復号化処理を行ない、復号化した画像フレームを順次解像度変換部４０９へ供給する。また、復号化した画像フレームのＰＴＳを再生時刻情報として解像度変換テーブル読出部４１０へ出力する。
【０１０１】
解像度変換テーブル読出部４１０は、デコーダ部４０８から受けた再生時刻情報が示す再生時刻と、コンテンツ情報リストに含まれる再生時刻とが一致した場合、再生時刻に対応付けられた解像度変換テーブルを第２の蓄積部４０２から読み出す。そして、解像度変換テーブル読出部４１０は、読み出した解像度変換テーブルを解像度変換部４０９に供給する。
【０１０２】
解像度変換部４０９は、解像度変換テーブル読出部４１０から受けた解像度変換テーブルを利用して、デコーダ部４０８から入力された画像フレーム対して解像度変換処理を行い、高解像度化する。解像度変換処理では入力画像を解析して画素間の特徴情報をコード化したものをインデックスにし、解像度変換テーブルを適用して、画素密度を増加させ入力画像よりも高解像度の画像を得る。画像処理部４１１では、色処理やガンマ処理などの画像処理を行い、表示部４１２にて解像度変換された画像を表示する。
【０１０３】
このように、本実施形態に係る撮像装置及び再生装置では、撮像装置側で解像度変換テーブルを生成するので、抽出した参照画像フレームを消去することができ、参照画像フレームを蓄積するための記憶容量を削減することができる。また、撮像装置から再生装置に参照画像データファイルを受け渡す必要が無いので、ネットワークに流すデータ量も削減することができる。
【０１０４】
なお、本実施形態においても、第１の実施形態で説明したように、１シーンに対して複数の参照画像を抽出し、複数の参照画像から１つの解像度変換テーブルを作成する様に構成することができる。
【０１０５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１０６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１０７】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１０８】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【０１０９】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１１０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【０１１１】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【０１１２】
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１１３】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮像装置が生成するコンテンツ情報リストの例を示す図である。
【図３】本発明の第１の実施形態に係る撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。
【図４】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図５】本発明の第１の実施形態に係る画像処理装置における解像度変換テーブル生成部の構成例を示すブロック図である。
【図６】本発明の第１の実施形態に係る画像処理装置におけるコンテンツ情報リスト編集部が編集したコンテンツ情報リストの例を示す図である。
【図７】図６のコンテンツ情報リストで示されるコンテンツＡに対応する符号化動画像データファイルを再生した場合の、解像度変換テーブルの適用タイミングを示す図である。
【図８】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図９】本発明の第２の実施形態に係る撮像装置が生成するコンテンツ情報リストの例を示す図である。
【図１０】本発明の第２の実施形態に係る撮像装置における参照画像の抽出動作例を説明するためのフローチャートである。
【図１１】本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。
【図１２】本発明の第３の実施形態に係る撮像装置におけるヒストグラムテーブル部が記憶するテーブルの例を示す図である。
【図１３】本発明の第４の実施形態に係る撮像装置の構成例を示すブロック図である。
【図１４】本発明の第４の実施形態に係る画像処理装置の構成例を示すブロック図である。
【特許請求の範囲】
【請求項１】
動画像を撮像する撮像装置であって、
前記動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定手段と、
前記判定された画像フレームを前記複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成手段と、
前記複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化手段と、
前記参照画像として抽出された画像フレームを特定する情報を生成する情報生成手段と、
前記情報生成手段が生成した前記参照画像として抽出された画像フレームを特定する情報と、前記参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成手段と、
前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストとを第１の記憶装置に記録する第１の記録制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記判定手段が、前記複数の画像フレームのうち、前の画像フレームからシーン変化があると判定される画像フレームを前記参照画像として抽出すべき画像フレームと判定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記参照画像として抽出した画像フレームに関する情報を蓄積する蓄積手段をさらに有し、
前記判定手段が、前記参照画像として抽出すべき画像フレームが前記複数の画像フレームの中から見出された場合、前記蓄積手段を参照し、類似した画像フレームが既に参照画像として抽出されているか否か判定し、
前記リスト生成手段は、前記類似した画像フレームが既に参照画像として抽出されていると判定された場合には、前記リストにおいて、当該類似した画像フレームから生成された参照画像データファイルを特定する情報と、前記見出された画像フレームを特定する情報とを対応付けることを特徴とする請求項１記載の撮像装置。
【請求項４】
複数の撮影モードのうちいずれかをユーザが設定するための撮影モード設定手段と、
前記複数の撮影モードの各々と、代表的な画像の特徴を表す情報とを対応付けて記憶する記憶手段とをさらに有し、
前記判定手段が、前記記憶手段を参照して、前記複数の画像フレームのうち、前記撮影モード設定手段により設定されている撮影モードに対応する前記代表的な画像の特徴を有すると判定される画像フレームを、前記参照画像として抽出すべき画像フレームとして判定することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記第１の記憶装置から前記参照画像データファイルを読み出す第１の読出手段と、
前記読み出した前記参照画像データファイルに含まれる参照画像フレームから、前記符号化動画像データファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減手段と、
前記参照画像フレームと前記低解像度の参照画像フレームとから、前記符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成し、生成した解像度変換テーブルを前記第１の記録制御手段に出力する解像度変換テーブル生成手段と、
前記第１の記憶装置から前記リストを読み出す第２の読出手段と、
前記リストに、前記解像度変換テーブルを対応付け、前記第１の記録制御手段に出力するリスト編集手段とをさらに有し、
前記第１の記録制御手段が、前記解像度変換テーブルと、前記リスト編集手段からのリストを前記第１の記憶装置に記録することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記第１の記録制御手段が、前記解像度変換テーブルの生成に使用された前記参照画像データファイルを、前記第１の記憶装置から削除することを特徴とする請求項５記載の撮像装置。
【請求項７】
請求項１乃至請求項４のいずれか１項に記載の撮像装置から、前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストを取得し、第２の記憶装置に記憶する取得手段と、
前記第２の記憶装置から前記参照画像データファイルを読み出す第１の読出手段と、
前記読み出した前記参照画像データファイルに含まれる参照画像フレームから、前記符号化動画像データファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減手段と、
前記参照画像フレームと前記低解像度の参照画像フレームとから、前記符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成手段と、
前記第２の記憶装置から前記リストを読み出す第２の読出手段と、
前記リストに、前記解像度変換テーブルを対応付けて出力するリスト編集手段とをさらに有し、
前記リスト編集手段が出力するリストと、前記解像度変換テーブルとを前記第２の記憶装置に記録する第２の記録制御手段と、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化手段と、
前記復号化手段が出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換手段と、
前記解像度変換された画像フレームを出力する出力手段とを有することを特徴とする画像処理装置。
【請求項８】
請求項５又は請求項６記載の撮像装置から、前記符号化動画像データファイルと、前記リストと、前記解像度変換テーブルとを取得し、第２の記憶装置に記憶する取得手段と、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化手段と、
前記復号化手段が出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換手段と、
前記解像度変換された画像フレームを出力する出力手段とを有することを特徴とする画像処理装置。
【請求項９】
請求項１乃至請求項４のいずれか１項に記載の撮像装置と、請求項７記載の画像処理装置とが接続されてなることを特徴とする画像処理システム。
【請求項１０】
請求項５又は請求項６のいずれか１項に記載の撮像装置と、請求項８記載の画像処理装置とが接続されてなることを特徴とする画像処理システム。
【請求項１１】
動画像を撮像する撮像装置の制御方法であって、
前記動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定ステップと、
前記判定された画像フレームを前記複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成ステップと、
前記複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化ステップと、
前記参照画像として抽出された画像フレームを特定する情報を生成する情報生成ステップと、
前記情報生成ステップで生成した前記参照画像として抽出された画像フレームを特定する情報と、前記参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成ステップと、
前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストとを第１の記憶装置に記録する第１の記録制御ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１乃至請求項４のいずれか１項に記載の撮像装置と接続される画像処理装置の制御方法であって、
前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストを取得し、第２の記憶装置に記憶する取得ステップと、
前記第２の記憶装置から前記参照画像データファイルを読み出す第１の読出ステップと、
前記読み出した前記参照画像データファイルに含まれる参照画像フレームから、前記符号化動画像データファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減ステップと、
前記参照画像フレームと前記低解像度の参照画像フレームとから、前記符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成ステップと、
前記第２の記憶装置から前記リストを読み出す第２の読出ステップと、
前記リストに、前記解像度変換テーブルを対応付けて出力するリスト編集ステップとをさらに有し、
前記リスト編集ステップが出力するリストと、前記解像度変換テーブルとを前記第２の記憶装置に記録する第２の記録制御ステップと、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化ステップと、
前記復号化ステップが出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換ステップと、
前記解像度変換された画像フレームを出力装置に出力する出力ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１３】
請求項５又は請求項６記載の撮像装置と接続される画像処理装置の制御方法であって、
前記符号化動画像データファイルと、前記リストと、前記解像度変換テーブルとを取得し、第２の記憶装置に記憶する取得ステップと、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化ステップと、
前記復号化ステップが出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換ステップと、
前記解像度変換された画像フレームを出力装置に出力する出力ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１】
動画像を撮像する撮像装置であって、
前記動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定手段と、
前記判定された画像フレームを前記複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成手段と、
前記複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化手段と、
前記参照画像として抽出された画像フレームを特定する情報を生成する情報生成手段と、
前記情報生成手段が生成した前記参照画像として抽出された画像フレームを特定する情報と、前記参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成手段と、
前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストとを第１の記憶装置に記録する第１の記録制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記判定手段が、前記複数の画像フレームのうち、前の画像フレームからシーン変化があると判定される画像フレームを前記参照画像として抽出すべき画像フレームと判定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記参照画像として抽出した画像フレームに関する情報を蓄積する蓄積手段をさらに有し、
前記判定手段が、前記参照画像として抽出すべき画像フレームが前記複数の画像フレームの中から見出された場合、前記蓄積手段を参照し、類似した画像フレームが既に参照画像として抽出されているか否か判定し、
前記リスト生成手段は、前記類似した画像フレームが既に参照画像として抽出されていると判定された場合には、前記リストにおいて、当該類似した画像フレームから生成された参照画像データファイルを特定する情報と、前記見出された画像フレームを特定する情報とを対応付けることを特徴とする請求項１記載の撮像装置。
【請求項４】
複数の撮影モードのうちいずれかをユーザが設定するための撮影モード設定手段と、
前記複数の撮影モードの各々と、代表的な画像の特徴を表す情報とを対応付けて記憶する記憶手段とをさらに有し、
前記判定手段が、前記記憶手段を参照して、前記複数の画像フレームのうち、前記撮影モード設定手段により設定されている撮影モードに対応する前記代表的な画像の特徴を有すると判定される画像フレームを、前記参照画像として抽出すべき画像フレームとして判定することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記第１の記憶装置から前記参照画像データファイルを読み出す第１の読出手段と、
前記読み出した前記参照画像データファイルに含まれる参照画像フレームから、前記符号化動画像データファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減手段と、
前記参照画像フレームと前記低解像度の参照画像フレームとから、前記符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成し、生成した解像度変換テーブルを前記第１の記録制御手段に出力する解像度変換テーブル生成手段と、
前記第１の記憶装置から前記リストを読み出す第２の読出手段と、
前記リストに、前記解像度変換テーブルを対応付け、前記第１の記録制御手段に出力するリスト編集手段とをさらに有し、
前記第１の記録制御手段が、前記解像度変換テーブルと、前記リスト編集手段からのリストを前記第１の記憶装置に記録することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記第１の記録制御手段が、前記解像度変換テーブルの生成に使用された前記参照画像データファイルを、前記第１の記憶装置から削除することを特徴とする請求項５記載の撮像装置。
【請求項７】
請求項１乃至請求項４のいずれか１項に記載の撮像装置から、前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストを取得し、第２の記憶装置に記憶する取得手段と、
前記第２の記憶装置から前記参照画像データファイルを読み出す第１の読出手段と、
前記読み出した前記参照画像データファイルに含まれる参照画像フレームから、前記符号化動画像データファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減手段と、
前記参照画像フレームと前記低解像度の参照画像フレームとから、前記符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成手段と、
前記第２の記憶装置から前記リストを読み出す第２の読出手段と、
前記リストに、前記解像度変換テーブルを対応付けて出力するリスト編集手段とをさらに有し、
前記リスト編集手段が出力するリストと、前記解像度変換テーブルとを前記第２の記憶装置に記録する第２の記録制御手段と、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化手段と、
前記復号化手段が出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換手段と、
前記解像度変換された画像フレームを出力する出力手段とを有することを特徴とする画像処理装置。
【請求項８】
請求項５又は請求項６記載の撮像装置から、前記符号化動画像データファイルと、前記リストと、前記解像度変換テーブルとを取得し、第２の記憶装置に記憶する取得手段と、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化手段と、
前記復号化手段が出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換手段と、
前記解像度変換された画像フレームを出力する出力手段とを有することを特徴とする画像処理装置。
【請求項９】
請求項１乃至請求項４のいずれか１項に記載の撮像装置と、請求項７記載の画像処理装置とが接続されてなることを特徴とする画像処理システム。
【請求項１０】
請求項５又は請求項６のいずれか１項に記載の撮像装置と、請求項８記載の画像処理装置とが接続されてなることを特徴とする画像処理システム。
【請求項１１】
動画像を撮像する撮像装置の制御方法であって、
前記動画像を構成する複数の画像フレームの中から、参照画像として抽出すべき画像フレームを判定する判定ステップと、
前記判定された画像フレームを前記複数の画像フレームの中から抽出して参照画像データファイルを生成するファイル生成ステップと、
前記複数の画像フレームの解像度を落として符号化し、符号化動画像データファイルを生成する符号化ステップと、
前記参照画像として抽出された画像フレームを特定する情報を生成する情報生成ステップと、
前記情報生成ステップで生成した前記参照画像として抽出された画像フレームを特定する情報と、前記参照画像データファイルを特定する情報とを関連付けたリストを生成するリスト生成ステップと、
前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストとを第１の記憶装置に記録する第１の記録制御ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１乃至請求項４のいずれか１項に記載の撮像装置と接続される画像処理装置の制御方法であって、
前記参照画像データファイルと、前記符号化動画像データファイルと、前記リストを取得し、第２の記憶装置に記憶する取得ステップと、
前記第２の記憶装置から前記参照画像データファイルを読み出す第１の読出ステップと、
前記読み出した前記参照画像データファイルに含まれる参照画像フレームから、前記符号化動画像データファイルを構成する画像フレームと等しい解像度を有する低解像度の参照画像フレームを生成する解像度低減ステップと、
前記参照画像フレームと前記低解像度の参照画像フレームとから、前記符号化動画像データファイルを構成する画像フレームの解像度を向上させるための解像度変換テーブルを生成する解像度変換テーブル生成ステップと、
前記第２の記憶装置から前記リストを読み出す第２の読出ステップと、
前記リストに、前記解像度変換テーブルを対応付けて出力するリスト編集ステップとをさらに有し、
前記リスト編集ステップが出力するリストと、前記解像度変換テーブルとを前記第２の記憶装置に記録する第２の記録制御ステップと、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化ステップと、
前記復号化ステップが出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換ステップと、
前記解像度変換された画像フレームを出力装置に出力する出力ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１３】
請求項５又は請求項６記載の撮像装置と接続される画像処理装置の制御方法であって、
前記符号化動画像データファイルと、前記リストと、前記解像度変換テーブルとを取得し、第２の記憶装置に記憶する取得ステップと、
前記符号化動画像データファイルを復号化し、前記符号化動画像データファイルを構成する画像フレームを出力する復号化ステップと、
前記復号化ステップが出力する画像フレームに、前記リストに基づく前記解像度変換テーブルを適用し、解像度変換を行う解像度変換ステップと、
前記解像度変換された画像フレームを出力装置に出力する出力ステップとを有することを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２５９１４２（Ｐ２００８−２５９１４２Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−１０２１２９（Ｐ２００７−１０２１２９）
【出願日】平成１９年４月９日（２００７．４．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月９日（２００７．４．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]