説明

画像処理装置、画像処理方法、印刷装置、印刷方法、及び、それらを用いた画像処理システム

【課題】動画像から適切な容量の静止画像を抽出し、管理することができる画像処理装置を提供する。
【解決手段】動画像から複数の静止画像を抽出し、画像処理を行う画像処理装置であって、動画像のデータの特徴を示すパラメータを抽出するパラメータ抽出手段と、動画像のデータの特徴を示すパラメータから、管理すべき複数の静止画像の数を決定する管理静止画像数決定手段と、管理静止画像数決定手段により決定された静止画像の数に基づいて、動画像から複数の静止画像を抽出する静止画像抽出手段と、静止画像抽出手段で抽出された複数の静止画像を1つのファイルとして保存する静止画像管理手段と、静止画像管理手段で保存された複数の静止画像を用いて画像処理を行う画像処理手段とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データの処理装置および処理方法に関する技術であり、より具体的には、記録された動画像からの静止画抽出と抽出した静止画像の処理に関する。
【背景技術】
【0002】
従来より、動画像から一部のデータを抽出し、静止画像として利用する技術が知られている。
【0003】
特許文献1には、処理負荷を抑制しつつ、動画像のデータから複数の静止画像データを抽出し、合成画像データを生成する移動体通信端末が記載されている。
【0004】
特許文献2には、再生される動画から所望の静止画を抽出して、抽出した静止画を記録及び再生に関するDCF規格に従って記録することが記載されている。
【0005】
動画像から抽出された静止画像は、1画像では画素数が少ない、色差情報が少ないなど画質的に課題がある。しかしながら、特許文献3に記載されているように、複数の静止画像を用いて画像補正および加工処理する事により、高画質化が可能である事が知られている。
【0006】
特許文献4および特許文献5には、複数の静止画像を合成し、パノラマ画像を得ることが可能な画像加工技術が記載されている。
【特許文献1】特開2006−60339号公報
【特許文献2】特開2006−5856号公報
【特許文献3】特開2008−67110号公報
【特許文献4】特開2002−170111号公報
【特許文献5】特開平9−90530号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
上記のような複数の静止画像を用いての画像処理は、補正および加工処理方法、抽出元の動画像の形式などによって必要とされる静止画像数が異なる。しかしながら、従来技術では動画像から静止画像を抽出する際に、補正および加工処理工程などの画像処理の内容と動画像の形式の双方を考慮して、抽出する静止画枚数を管理する工夫はなされていなかった。そのため、画像処理に必要とされる静止画像のデータ量に対して、無駄もしくは不足が生じるという問題があった。
【0008】
そこで、上記の点に鑑み、本発明は、動画像から適切な容量の静止画像を抽出し、管理することができる画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明に係る画像処理装置は、動画像から複数の静止画像を抽出し、画像処理を行う画像処理装置であって、前記動画像のデータの特徴を示すパラメータを抽出するパラメータ抽出手段と、前記動画像のデータの特徴を示すパラメータから、管理すべき複数の静止画像の数を決定する管理静止画像数決定手段と、前記管理静止画像数決定手段により決定された静止画像の数に基づいて、前記動画像から複数の静止画像を抽出する静止画像抽出手段と、前記静止画像抽出手段で抽出された前記複数の静止画像を1つのファイルとして保存する静止画像管理手段と、前記静止画像管理手段で保存された複数の静止画像を用いて画像処理を行う画像処理手段とを備える。
【0010】
また、本発明に係る画像処理方法は、動画像から複数の静止画像を抽出し、画像処理を行う画像処理装置において実行される画像処理方法であって、前記動画像のデータの特徴を示すパラメータを抽出するパラメータ抽出工程と、前記動画像のデータの特徴を示すパラメータから、管理すべき複数の静止画像の数を決定する管理静止画像数決定工程と、前記管理静止画像数決定工程において決定された静止画像の数に基づいて、前記動画像から複数の静止画像を抽出する静止画像抽出工程と、前記静止画像抽出工程において抽出された前記複数の静止画像を1つのファイルとして保存する静止画像管理工程と、前記静止画像管理工程において保存された複数の静止画像を用いて画像処理を行う画像処理工程とを備える。
【0011】
また、本発明に係る画像処理システムは、動画像から複数の静止画像を抽出し、抽出された静止画像データを出力する画像処理装置と、前記静止画像データを入力して静止画像を印刷する印刷装置とが接続された画像処理システムであって、
前記画像処理装置は、
前記動画像のデータの特徴を示すパラメータを抽出し、抽出されたパラメータを前記静止画像データを出力するためのパラメータとともに、前記印刷装置に送信するパラメータ抽出手段と、前記印刷装置が処理可能な静止画像数を受信し、前記静止画像数に従って、動画像から静止画像を抽出し、前記静止画像数に相当する静止画像データを1つのファイルとして編集する抽出編集手段と、前記抽出編集手段によって編集されたファイルを単位として、前記静止画像データを前記印刷装置に送信する送信手段とを備え、
前記印刷装置は、
前記画像処理装置から前記動画像のデータの特徴を示すパラメータと、前記静止画像データを出力するためのパラメータとを受信する受信手段と、前記動画像のデータの特徴を示すパラメータと、前記静止画像データを出力するためのパラメータとから、処理可能な静止画像数を決定し、前記画像処理装置に前記静止画像数を送信する決定手段と、前記画像処理装置から受信したファイルに含まれる前記静止画像データに基づいて静止画像を印刷する印刷手段とを備える。
【発明の効果】
【0012】
本発明によれば、動画像から画像処理の目的に応じた適切な容量の静止画像の管理を行い、画像処理することができる。また、抽出した複数の静止画を1ファイルとして管理することにより、再利用やファイルの転送の効率化を実現することができる。
【発明を実施するための最良の形態】
【0013】
以下に、本発明を実施するための最良の形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。なお、本発明における前処理とは、動画像から複数の静止画像を抽出し、ファイル保存するまでの処理を示し、後処理とは、複数の静止画像を用いて行う画像処理を示す。
【0014】
<第1の実施形態>
本実施例では、抽出した複数の静止画像を入力し、プリンタで超解像度処理を施して印刷を行うことを後処理とする画像処理システムについて説明する。
【0015】
<デジタルビデオカメラ構成>
図1は、本実施形態に係るデジタルビデオカメラ100の構成を示すブロック図である。デジタルビデオカメラ100は、撮像部101、映像信号処理部102、音声信号処理部103、マイク104、フレームメモリ105、およびCPU(中央演算処理装置)106を含む。デジタルビデオカメラ100は、更に、ビデオ・オーディオコーデック107、フロントエンド(アナログFE)108、操作部109、表示部110、フラッシュメモリ111、ストリームバッファ112を含んでいる。また、デジタルビデオカメラ100は、更に、多重化処理部(マルチプレクサ・デマルチプレクサ)113、記憶部114、通信部115を含んでいる。
【0016】
撮像部101は、被写体像を電気信号(映像信号)に変換するものであり、動画や静止画の撮影機能を有する。映像信号処理部102は、撮像部101で得られた映像信号にA/D変換および適切な画像処理を施すものである。
【0017】
マイク104は、外部の音声を取り込むものである。音声信号処理部103は、マイク104で得られた音声信号にA/D変換および適切な信号処理を施すものである。
【0018】
フレームメモリ105は、記録時においては、撮影して得られた映像・音声データを符合化・多重化するまでの期間、バッファリングする。また、フレームメモリ105は、再生時においては、多重分離・復号化された映像・音声データを出力するまでの期間、バッファリングするものである。
【0019】
ビデオ・オーディオコーデック107は、撮影記録時には映像データおよび音声データを圧縮符号化するものであり、再生時には圧縮符号化されたデータを映像データ、および音声データに変換するものである。
【0020】
フロントエンド108は、ハードディスクである記憶部114に対してデータの書き込みをしたり、記憶部114からデータを読み出したりするものである。操作部109は、ユーザからのデジタルビデオカメラ100を操作するための入力操作を受け付けるものである。
【0021】
表示部110は、液晶画面(図示せず)を有し、記録時はカメラ撮影映像、再生時は再生映像を表示するとともに、デジタルビデオカメラ100に対する設定メニュー等を表示する機能を有する。
【0022】
フラッシュメモリ111は、記録時に記憶部114に対してリアルタイムで書くことのできない情報のうち、電源OFF状態でも保持する必要のあるデータを記憶するための不揮発性メモリである。なお、撮影中にバッテリ外しなどが発生した時に撮影可能な状態に復帰するため必要な情報の格納にも使用される。
【0023】
ストリームバッファ112は、多重化されたストリームデータを保持するためのものである。多重化処理部(マルチプレクサ・デマルチプレクサ)113は、圧縮符合化された映像・音声データを多重化してストリームデータを生成するほか、ストリームデータを多重分離して映像・音声データを生成するものである。
【0024】
記憶部114は、データの書き込みおよび読み込み可能なハードディスクであり、録画時にはそのハードディスクに対して映像や静止画のデータが記録され、再生時にはそのハードディスクから映像や静止画のデータが読み出される。
【0025】
通信部115は外部デバイスとの情報およびファイルの受け渡しを行う機能を有し、USBケーブルによって外部デバイスと接続され、公知の規格に沿ってデータの受け渡しを行う。
【0026】
<プリンタ構成>
図2は、本実施形態に係るフォトプリンタの構成を示すブロック図である。フォトプリンタ200は、印刷部201、メモリ202、CPU203、通信部204、操作部205、表示部206、画像処理部207を含む。
【0027】
印刷部201はメモリ202に格納された画像データに、印刷設定に合わせて、リサイズ処理、カラーマッピング処理、色分解処理、階調補正処理、量子化処理を行った後、シアン、マゼンタ、イエロー、ブラックのインクを印刷用紙に付着させて記録を行う。
【0028】
通信部204は外部デバイスとの情報およびファイルの受け渡しを行う機能を有し、USBケーブルによって外部デバイスとの接続の後、公知の規格に沿ってデータの受け渡しを行う。
【0029】
操作部205はユーザからのフォトプリンタ200を操作するための入力操作を受け付けるものである。表示部206は、液晶画面(図示せず)を有し、印刷の設定メニュー等を表示する機能を有する。
【0030】
デジタルビデオカメラ100とフォトプリンタ200はUSBケーブルによって接続され、公知の方法により、デジタルビデオカメラ100の通信部115とフォトプリンタの通信部204よりデータの受け渡しを行う。
【0031】
図3は、本実施形態の処理の流れを示すフローチャートである。まず、ユーザは、デジタルビデオカメラ100において、操作部109および表示部110を用いて、動画像ファイルを選択する(ステップS301)。
【0032】
次に、選択された動画像ファイルの、記録形式、インターレースの有無、輝度色差信号のカラーフォーマット、画像の幅および高さの情報を含むパラメータを抽出(パラメータ抽出)し、動画像ファイル情報とする(ステップS302)。
【0033】
記録形式とは、MPEG2やMOTION JPEGなど、動画像のエンコードの形式であり、インターレースの有無とは、その動画像がインターレースの形式を採用しているかプログレッシブ形式を採用しているかである。輝度色差信号のカラーフォーマットとは、輝度と色差の割合を示すものであり、4:2:2や4:2:0などの形式がある。画像の幅とは動画像再生時の横方向の画素数であり、高さとは縦方向の画素数である。
【0034】
次に、フォトプリンタ200は、通信部204を介して動画像ファイル情報を取得する(ステップS303)。取得の方法として、動画像ファイル情報をファイル化し、デジタルビデオカメラ100からフォトプリンタ200へ送信し、フォトプリンタ200側でファイルを読み取る方法がある。また、動画像ファイルのファイル拡張子および、ファイルのヘッダ情報をフォトプリンタが解析しても良い。
【0035】
次に、フォトプリンタ200において、ユーザは、フォトプリンタ200の表示部206および操作部205を用いて、印刷設定を選択する(ステップS304)。
【0036】
ここで、印刷設定とは、用紙サイズ、用紙種類、印刷品位(画像処理結果の印刷品質)や印刷速度、縁のあり/なし等である。なお、本実施形態の画像の使用目的は、フォトプリンタ200での印刷である。
【0037】
次に、ステップS305において、フォトプリンタ200で設定された印刷設定と受信した動画像ファイル情報と画像補正処理の性能によって、管理静止画像数を決定する(管理静止画像数決定)。
【0038】
前述したように、本実施形態の画像の使用目的は、印刷設定の品質およびサイズに即したフォトプリンタ200での印刷である。例えば別の実施の例として、液晶ディスプレイやデジタルTV上での表示を目的とすれば、ディスプレイの画素数や、表示の大きさを基に、目標品質である画素数および解像度を決め、管理静止画像数を決定すればよい。
【0039】
ステップS304における印刷設定の用紙サイズおよび縁あり/なしの設定により、実際に紙面に印刷される縦サイズSv[inch]、横サイズSh[inch]が導出される。縁ありの設定の場合は、用紙の縦および横の長さから縁部の長さを差し引くことによって算出可能であり、縁なしの設定の場合は、用紙の縦および横の長さそのものがSv、Shに相当する。また、プリンタによっては縁なし印刷のために、用紙をはみ出して印刷するものもあるが、この場合は用紙の長さにはみ出しの長さを加えることによって算出できる。
【0040】
次に、印刷品位および用紙種類の設定により、単位長あたりの必要縦画素数Rv[pixel/inch]、単位長あたりの必要横画素数Rh[pixel/inch]を算出する。Rv、Rhは、フォトプリンタ200の印刷設定の表現可能解像度としても良いし、人間の視覚特性を考慮し、表現可能解像度以内の数値としても良い。なお、RvおよびRhはフォトプリンタ200の表現可能解像度を超えないように設定する。
【0041】
次に、Sv、Sh、Rv、Rhを用いて、印刷に必要な縦画素数Pv[pixel]および印刷に必要な横画素数Ph[pixel]を式(1)、(2)に従い算出する。
【0042】
Pv = Sv×Rv ・・・(1)
Ph = Sh×Rh ・・・(2)
次に、静止画像枚数の基本倍率Bを求める。まず、PvおよびPhと、画像の幅および高さによって、縦倍率と横倍率を求める。倍率の算出には以下の式(3)、(4)を用いる。
【0043】
縦倍率 = Pv ÷ 動画像の高さ ・・・(3)
横倍率 = Ph ÷ 動画像の幅 ・・・(4)
ここで、静止画像枚数の倍率Bとして、縦倍率と横倍率の値の大きい方を採用する。
【0044】
縦倍率 > 横倍率 の場合、 B = 縦倍率
縦倍率 < 横倍率 の場合、 B = 横倍率
縦倍率 = 横倍率 の場合、 B = 縦倍率
ここで、縦倍率および横倍率の両方が1を下回る場合はBを1とする。
【0045】
次に、算出された基本倍率Bと、画像補正処理の性能によって要求倍率Cを算出する。CはBを引数とする関数fによって算出される。
【0046】
C = f(B)・・・(5)
本実施形態では、画像補正処理である超解像処理を、抽出された複数の静止画を用いて施すことを後処理としている。本実施形態で用いる超解像処理の性能は、画像解像度を2倍にする場合には基となる静止画像を2枚、画像解像度を4倍にする場合には、基となる静止画像を8枚必要とする。つまり、上記の式(5)は、式(6)のように書き換えることができる(^2は2乗の意味)。
【0047】
C = B^2 ・・・(6)
次に、動画像ファイル情報による倍率Rを求める。Rは初期値を1とする。インターレースの有無により、インターレースであればRを2倍にし(R×2をRに代入して更新する)、プログレッシブであれば1倍にする。これは、プログレッシブ形式では1フレームが1画像であるのに対し、インターレースでは1フレームのうち、奇数の行、偶数の行のそれぞれが別画像であり、実質、縦方向の画素数は半分であるためである。このようにインターレースでは1フレームが1画像とは限らないが、以降は説明の便宜上1フレームを1画像として説明する。
【0048】
輝度色差信号のカラーフォーマットの形式が4:4:4の場合、輝度データおよび色差データを画像の全画素数分再生可能であるため、Rを1倍にする。輝度色差信号のカラーフォーマットの形式が4:2:2の場合には画像の全画素数に対して色差情報は半分しか記録されていないため、Rを2倍にする。
【0049】
輝度色差信号のカラーフォーマットの形式が4:2:0では、全画素数に対して色差情報が1/4しか記録されていないため、Rを4倍にする。なお、印刷設定がモノクロモードである場合、輝度情報のみを使用するため、このような色差情報を考慮する必要はない。
【0050】
以上の動画像ファイル情報により算出されたRと、要求倍率Cを用いて、管理静止画像数を以下の式(7)のように決定する。
【0051】
管理静止画像数 = C×R ・・・(7)
管理静止画数の決定後、抽出モードの決定を行う。例えば、動画像の記録形式がMotion JPEGの場合はフレーム間予測(圧縮)がなされていないため、抽出モードを“通常”に設定し、動画像の記録形式がMPEGである場合、抽出モードを“フレーム間予測用抽出”に設定する。
【0052】
上記のようにして求められた静止画像数および抽出モードの情報は、通信部204を介してデジタルビデオカメラ100へ送信される(ステップS306)。
【0053】
デジタルビデオカメラ100では、表示部110および操作部109を用いてユーザによる動画像のフレーム選択が行われる(ステップS307)。フレーム選択は動画像を再生して行う。
【0054】
ここで、動画像の再生について説明する。フロントエンド108によって記憶部114から読み出されたデータはストリームバッファ112に格納される。更に、そのデータは、多重化処理部113およびビデオ・オーディオコーデック107にて映像ストリームと音声ストリームとに分離されてフレームメモリ105に格納される。
【0055】
映像ストリームおよび音声ストリームは、映像信号処理部102および音声信号処理部103によって適切な信号処理を施された後、それぞれ表示部110の液晶パネルやスピーカ(図示せず)から出力される。ユーザが所望のフレームを操作部109より指示し、フレーム選択を完了する。
【0056】
フレーム選択後、ステップS305において算出された管理静止画像数分、静止画像を抽出する(ステップS308)。
【0057】
ここで、抽出モードが“通常”の場合は、選択されたフレームを先頭とし、相隣接するフレームを管理静止画像数分抽出する。また、抽出モードが“フレーム間予測用抽出モード”であった場合は以下のように抽出を行う。
【0058】
図4はフレーム間予測の例を示す概念図である。各フレームにはIフレーム、Pフレーム、Bフレームの3種類が存在する。夫々のフレームを図4を用いて説明する。
【0059】
401はIフレームである。Iフレームは、JPEGのように単独で静止画像の再生が可能である。
【0060】
403はPフレームである。Pフレームは、主にIフレームからの差分情報が記録されているため、Iフレームに対してデータ量が少ないことが多い。また、Pフレームの画像の再生はIフレームを用いることによって可能となる。
【0061】
402はBフレームである。Bフレームは、主に前後のIおよびPフレームからの差分情報が記録されており、Iフレーム、Pフレームを用いることによって画像再生が可能である。
【0062】
このような構造上、フレーム間予測がなされた動画像ファイルでは、Iフレーム、Pフレーム、Bフレームの順に画像の再現性が高いことが多い。このようなフレーム同士の特性を元に、“フレーム間予測用抽出モード”の場合には、選択されたフレーム以前のIフレームを先頭として静止画像を抽出し、管理静止画像数に達した以降のIフレームまでの相隣接するフレームを抽出する。即ち、管理静止画像枚数以上の静止画像が抽出されることとなる。使用されないフレームは削除してしまっても良いし、そのまま後述の方法で保存しておいてもよい。
【0063】
さらに、上述のように、Iフレーム、Pフレーム、Bフレームでは画質が異なるため、抽出する静止画像数は、以下のように決定される。具体的には、静止画像数の換算を行うために、各フレームに係数を掛ける。Iフレームは通常の1画像とするため、Iフレームには係数1を掛ける。Pフレームには係数0.5を掛けるため、1フレームは0.5画像となる。Bフレームには同様に係数0.25を掛けるため、1フレームでは0.25画像として扱われる。つまり、Iフレームは1フレームで、Pフレームは2フレームで、Bフレームは4フレームで管理静止画像数の1画像として数えられる。
【0064】
また、特定種類のフレームの指定を行い、指定されたフレームのみを抽出してもよい。特定種類のフレームの指定とは、例えば、Iフレームのみ抽出する指定であり、IフレームおよびPフレームを抽出する指定、IフレームおよびPフレームおよびBフレームを抽出する指定等、抽出するフレームの種類の指定である。そのような指定により、画質および抽出後のデータ量の調整ができる。
【0065】
静止画像の抽出は、動画像の再生と同様、対象フレームの映像ストリームが映像信号処理部102によって信号処理される。信号処理された後、静止画像のデータとしてフレームメモリ105に一時保存される。一時保存された抽出された複数の静止画像のデータは結合され、タグを付けられ、1つのファイルとして編集されて、ファイル単位に保存されて管理される(ステップS309)。
【0066】
以上のステップS308及びS309は、本実施形態における抽出編集手段、静止画像管理手段の一例である。
【0067】
タグには静止画像数、画像の縦横の画素数、各画像や情報へのオフセット値などが記載される。その他、タグには元となった動画象ファイルの情報や、撮影情報、各々の静止画像が抽出されたフレームの種類などを記載してもよい。また、各々の静止画像を圧縮してもよいし、ファイルの圧縮を行ってもよい。本実施例では1つのファイルとして複数の静止画像データを保存するが、各々の静止画像を各々のファイルとして保存し、それら複数のファイルをフォルダに格納して保存してもよい。
【0068】
ファイルは通信部115を介してフォトプリンタ200へ送信され(ステップS310)、メモリ202へ格納される。格納されたファイルは、タグの解析が行われ、複数の静止画像の各々が再現される。
【0069】
画像処理部では、複数の静止画像を用い、公知の手法により超解像処理が施され(ステップS311)、印刷に適した解像度の静止画像が1画像生成される。
【0070】
生成された静止画像は画像データとしてメモリ202に格納され、印刷部201によって、印刷設定に合わせて紙面に印刷される(ステップS312)。
【0071】
以上のように、本発明によれば、動画像の形式と静止画像の補正および加工に適した容量のデータを扱う事が可能であり、加えて、複数の静止画像の管理が実現可能となる。
【0072】
デジタルビデオカメラ100内に保存されている動画像ファイルをフォトプリンタ200へ送信すると通信部204およびフォトプリンタのメモリ202に大きな負荷が掛かる。
【0073】
しかしながら、本実施形態においては、動画像の一部を静止画像として抽出して送信することによって、負荷を低減可能としている。また、動画像ファイルをフォトプリンタ200へ送信した場合、フォトプリンタ200に動画像の再生および静止画像抽出機能が必要となる。本実施形態では、デジタルビデオカメラ100が動画像の再生および静止画抽出機能を備えていれば、フォトプリンタ200は同機能を備える必要がない。さらに、複数の静止画像を1つのファイルとして管理、保存することで超解像度画像の再利用が可能となる。
【0074】
<第2の実施形態>
第2の実施形態では、PCとサーバを備えたシステムを説明する。図5は、本実施形態に係るPCとサーバを含むシステムの構成を示すブロック図である。
500はPCである。PCはCPU501、記憶部502、操作部503、表示部504、通信部505を含む。
【0075】
記憶部502はHDDおよびメモリである。操作部503はキーボードおよびマウスであり、これを介してユーザがPC500へ入力を行う事ができる。表示部504はディスプレイであり、PC500からユーザへ情報を伝える事が可能である。ディスプレイにメニュー画面等を出力し、ユーザに操作を促し、キーボードおよびマウスでユーザが選択および指示を与える事が可能である。
【0076】
507はサーバである。サーバはCPU508、記憶部509、通信部510を含む。記憶部509は、記憶部502と同様にHDDおよびメモリである。PC500、サーバ507共にネットワーク506に繋がっており、通信部505および510を介して公知のプロトコルによって情報の受け渡しが可能である。
【0077】
ここで、PC500はアプリケーションソフトウェアを備えている。アプリケーションソフトウェアは記憶部502にプログラムとして展開される。PC上では、記憶部502に展開されたプログラムの指示により、CPU501および記憶部502を用いて演算処理が実行される。
【0078】
アプリケーションソフトウェアは、動画像再生機能、静止画像抽出機能、ファイル保存機能、シーン選択機能を備えている。それらの機能は、第1の実施形態におけるデジタルビデオカメラ100の構成をソフトウェアとして備えており、同様な処理が行われる。
【0079】
一方、サーバ507は、複数の静止画像を合成することによるノイズ低減機能を備えている。ノイズ低減機能は、複数の静止画像を用い、それらの位置合わせを行い、画像のノイズ画素を平均化することによってノイズを低減する。本実施形態では、画像補正処理であるノイズ低減機能を後処理とする。
【0080】
図6は本実施形態の処理の流れを示すフローチャートである。まず、PC500上のアプリケーションソフトウェアでは、PCの表示部504および操作部503を用いて動画像の選択がユーザによって行われる。動画像の選択はユーザが動画像ファイルを選択することによって行われる(ステップS601)。
【0081】
動画像ファイルが選択された後、アプリケーションソフトウェアは、選択された動画像ファイルのファイルヘッダを解析し、動画像の撮影情報を取得する(ステップS602)。ここで、撮影情報とは、シャッタースピード、夜景モード等のシーンモード、ISO感度など、撮影装置の設定や、撮影装置が動画像ファイルに付加した情報である。これらの撮影情報を、本実施形態における動画像ファイル情報とする。
【0082】
ここでは、本実施形態の後処理がノイズ低減であるため、ノイズの発生しやすさに関連する情報も撮影情報として取得している。例えば、後処理がブレ補正であれば、撮影装置のジャイロセンサーの出力値や、被写界深度、ズーム倍率など、ブレに関連する内容を示す情報を取得する。また、撮影装置側で解析が行われて動画像ファイルに付加された情報を用いるようにしてもよい。
【0083】
PC上のアプリケーションソフトウェアがネットワーク506を介して、動画像ファイル情報をサーバへ送信する(ステップS603)。サーバでは、撮影情報を用いて、サーバが備えるノイズ低減機能に必要な静止画像数を管理静止画像数として算出する(ステップS604)。
【0084】
サーバは、ISO感度の高さに応じて、管理静止画像数を設定する。また、夜景モードであればノイズが多いと判断し、管理静止画像数を多く設定する。例えば、ISO感度がISO100以下の場合は管理静止画数を2に設定し、ISO200では4、ISO400では8などのパラメータを用いて決定し、更に、夜景モードの場合は、その他のモードの2倍に設定する。
【0085】
こうして算出された管理静止画像数をPCへ送信する(ステップS605)。ここで、管理静止画像数は、公知のXML形式のファイルに記載し、PCへ送信し、PC上のアプリケーションソフトウェアがXMLを解析して、管理静止画像数を取得してもよい。また、webブラウザを介してHTML形式で送り、画面表示してユーザに伝え、ユーザがアプリケーションソフトウェアに管理静止画像数を入力しても構わない。
【0086】
PC上のアプリケーションソフトウェアは、管理静止画像数を受け取った後、表示部および操作部を用いてユーザに動画像内のフレームを選択させる。(ステップS606)。
【0087】
フレームの選択については、第1の実施形態と同様の事をPC上のアプリケーションソフトウェアで行うため詳細な説明は省略する。
【0088】
フレームが選択された後、フレームを含む複数静止画像を第1の実施形態と同様に抽出する(ステップS607)。この際、サーバから得た管理静止画像数の分の静止画像を抽出する。
【0089】
抽出された複数の静止画像は、第1の実施形態と同様に1つのファイルとして保存され(ステップS608)、506を介してサーバへ送信される(ステップS609)。
【0090】
サーバはファイルを受け取り、複数の静止画像を各々復元し、ノイズ低減処理を行う(ステップS610)。処理の結果、ノイズが低減された静止画像が出力される。サーバは、ノイズが低減された静止画像を、ネットワーク506を介してPCへ送信する(ステップS611)。その後、PCで印刷等の処理が行われる。
【0091】
以上のように、本発明によれば、動画像の形式と静止画像の補正および加工に適した容量の静止画データを扱う事が可能である。また、適切な容量のファイルを送信するため、ネットワーク506にも大きな負荷を掛けることなく処理を遂行することが出来る。加えて、複数の静止画像を1つのファイルとして送信することによって、1つのジョブとして送信することが可能となった。
【0092】
<第3の実施形態>
図7は、第3の実施形態におけるPCの構成を示すブロック図である。PC700は、CPU701、記憶部702、操作部703、表示部704、通信部705を含む。記憶部702はHDDおよびメモリである。操作部703はキーボードおよびマウスであり、これを介してユーザがPC700へ入力を行う事ができる。表示部704はディスプレイであり、PC700からユーザへ情報を伝える事が可能である。
【0093】
ディスプレイにメニュー画面等を出力し、ユーザに操作を促し、キーボードおよびマウスでユーザが選択および指示を与えるという事が可能である。通信部705は外部デバイスとの情報およびファイルの受け渡しを行う機能を有し、USBケーブルによって外部デバイスと接続され、公知の規格に沿ってデータの受け渡しを行う。
【0094】
本実施形態においては、図2に示すような構成のフォトプリンタが用いられる。
フォトプリンタ200の構成は、第1の実施形態と同様であるため、詳細な説明は省略する。PC700とフォトプリンタ200はUSBケーブルで接続されており、公知の規格に沿ってデータの受け渡しを行う。
【0095】
ここで、PC700はアプリケーションソフトウェアを備えている。更に、このアプリケーションソフトウェアはフォトプリンタ200の超解像処理に関するデータベースを備えている。このデータベースは、フォトプリンタ200が備える画像処理機能の種類、その画像処理機能が処理できる静止画数の最大値を保有している。本実施形態の後処理は超解像処理であり、処理できる静止画の最大値は16とする。
【0096】
図8は、本実施形態の処理の流れを示すフローチャートである。まず、PC700上のアプリケーションソフトウェアでは、出力プリンタの選択が行われる。本実施形態では、PC700に接続されている出力プリンタは、フォトプリンタ200のみであるため、自動的にフォトプリンタ200が出力プリンタとして選択される。なお、複数のプリンタが接続されていれば、ユーザによって出力プリンタが選択される。
【0097】
フォトプリンタ200が選択されると、アプリケーションソフトウェアは管理静止画像数の決定を行う(ステップS801)。前述したように、このアプリケーションソフトウェアはフォトプリンタ200に関するデータベースを備えている。データベースより、処理できる静止画の最大値である16を読み込み、管理静止画像数とする。
【0098】
ここで、処理できる静止画像数の最大値ではなく、第1の実施形態のステップS305で行ったような管理静止画像数の決定を行う機能をアプリケーションソフトウェアに備え、算出しても良い。
【0099】
次に、PCの表示部704および操作部703を用いて動画像の選択がユーザによって行われる。動画像の選択はユーザが動画像ファイルを選択することによって行われる(ステップS802)。
【0100】
動画像ファイルの選択後、アプリケーションソフトウェアでは、PCの表示部および操作部を用いてユーザによって動画像内のフレームの選択が行われる(ステップS803)。
【0101】
フレームの選択については、PC上のアプリケーションソフトウェアで第1の実施形態と同様の事を行うため詳細な説明は省略する。
【0102】
フレームが選択された後、アプリケーションソフトウェアは選択されたフレームを先頭とし、第1の実施形態と同様に複数静止画像を抽出する(ステップS804)。この際、抽出する静止画像の数は管理静止画像数である16個である。
【0103】
抽出された16個の画像は、それぞれが画像ファイルとして保存され、記憶部702内の一時フォルダに格納される(ステップS805)。
【0104】
その後、保存された16個のファイルは、通信部705を介してフォトプリンタ200へ送信され(ステップS806)、メモリ202へ格納される。この際、ファイル情報およびコマンドも同時に送付する。ファイル情報とは、超解像処理を行う際に用いる画像が16個である事を示すものであり、コマンドとは超解像処理を行う指示をする情報である。
【0105】
画像処理部では、16個のファイルより再生された16個の静止画像を用い、公知の手法により超解像処理が施され(ステップS807)、解像度が高くなった静止画像が、1つ生成される。
【0106】
生成された静止画像は画像データとしてメモリ202に格納され、印刷部201によって、印刷処理の後、紙面に印刷される(ステップS808)。
【0107】
以上のように、本実施形態によれば、後処理である超解像処理機能が処理可能な数だけの容量を扱う事により、無駄な抽出およびデータの受け渡しが減る。このように、静止画像の補正および加工に適した容量の静止画を扱う事が可能である。
【0108】
<第4の実施形態>
次に、第4の実施形態について説明する。本実施形態においても、図7に示すような構成のPCが用いられる。
【0109】
ここで、PC700はアプリケーションソフトウェアを備えている。アプリケーションソフトウェアの処理は、前処理、後処理に分けられる。ここで、前処理とは、動画像およびシーンの選択、静止画の抽出、ファイル保存などの処理である。また、後処理とは、複数の静止画を結合させ、公知の技術によりパノラマ化を行う処理である。本実施形態では、パノラマ化処理は、最大5個の画像を入力画像として処理可能とする。
【0110】
図9は、アプリケーションソフトウェアの前処理の流れを示すフローチャートである。ユーザがアプリケーションソフトウェアを立ち上げると、アプリケーションソフトウェアは表示部704および操作部703を用いて、ユーザに後処理の選択を行わせる(ステップS901)。後処理の選択とは、アプリケーションソフトウェアが備える後処理の画像処理の選択を行うことである。本実施形態では、アプリケーションソフトウェアが備えるパノラマ化機能を選択する。
【0111】
ユーザが後処理を選択すると、アプリケーションソフトウェアは選択された後処理に適した管理静止画像数を決定する(ステップS902)。本実施形態では、後処理のパノラマ化処理で処理できる画像の最大数である5を管理静止画像数とする。
【0112】
管理静止画像数が決まると、アプリケーションソフトウェアは表示部704および操作部703を用いて、ユーザに動画像ファイルの選択を行わせる(ステップS903)。
【0113】
動画像ファイルが選択されると、アプリケーションソフトウェアは表示部704および操作部703を用いて、ユーザにシーンの選択をさせる(ステップS904)。シーンの選択とは、静止画を抽出する開始フレームと終了フレームを決定することである。選択は、動画を再生しつつ行う。
【0114】
シーンの選択が終了すると、アプリケーションソフトウェアは静止画像の抽出を行う(ステップS905)。
【0115】
ここでは、選択された開始フレームから終了フレームの間のフレームから管理静止画像数分、つまり5個の静止画像を抽出する。この際、開始フレームから終了フレームまでの間にフレームが5個以上あれば、その間を等間隔に区切って抽出する。
【0116】
例えば、開始フレームから終了フレームまでの間に13フレームあれば、1つ目の抽出画像は1フレーム目(開始フレーム)、2つ目の抽出画像は4フレーム目、3つ目の抽出画像は7フレーム目のようにすれば良い。また、Iフレームのみ抽出するなど、特定種類のフレームのみ抽出しても良い。
【0117】
開始フレームから終了フレームまでの間のフレームが5個未満であれば、開始フレームから終了フレームまでの全てのフレームを抽出する。
【0118】
抽出された複数の静止画は、タグを付けられ、複数の静止画像データが1つのファイルとして編集されて、ファイル単位に保存される(ステップS906)。
ファイルの保存が終了すると、アプリケーションソフトウェアは表示部704および操作部703を用いてユーザにシーン選択の続行をするか否かの選択をさせる(ステップS907)。
【0119】
続行をする選択がされると、ステップS904から再びシーン選択が始まる。ユーザは、前回とは違うシーンの選択を行う事ができる。続行をしない選択がされると、アプリケーションソフトウェアは後処理へと進む。
【0120】
図10は、アプリケーションソフトウェアの後処理の流れを示すフローチャートである。後処理では、まず、表示部704および操作部703を用いて、ユーザにファイルの選択を行わせる(ステップS1001)。ここでは、前処理で保存したファイルをユーザが選択する。なお、ここでは複数のファイルを同時に選択可能とする。
【0121】
ファイルが選択されると、アプリケーションソフトウェアはファイルの読み込みを行う(ステップS1002)。ここでは、ファイルのタグを解析し、複数の静止画像が記憶部702に復元される。
【0122】
次に、復元された複数の静止画像を用いてパノラマ化処理を行う(ステップS1003)。パノラマ化処理では複数の画像を結合させ、1つの画像を出力する。
【0123】
パノラマ化された画像は、画像ファイルとして保存される(ステップS1004)。
ファイルの保存が終了すると、アプリケーションソフトウェアは表示部704および操作部703を用いてユーザにパノラマ化の続行をするか否かの選択をさせる(ステップS1005)。
【0124】
続行をする選択がされると、ステップS1001から再びファイル選択が始まる。続行をしない選択がされると、アプリケーションソフトウェアは終了する。なお、ステップS1001で複数のファイルが選択されていれば、選択された全てのファイルに対しての処理が終わるまで自動的に続行する。
【0125】
本実施形態では、前処理と後処理を分けて行う。これは、パノラマ化処理に時間が掛かる場合、前処理と後処理を通して行うように実装していると、ユーザはシーン選択後に待ち時間が生じてしまうため、前処理と後処理を分け、シーン選択をまとめて行っているのである。また、このような実装では、前処理によって保存されたファイルを別のPCに移し、後処理は別PCで行う事も可能である。
【0126】
以上のように、本実施形態によれば、後処理であるパノラマ化機能が処理可能な数だけの容量を扱う事により、無駄な抽出およびデータの受け渡しが減る。また、本実施例では後処理をパノラマ化処理で説明したが、超解像度処理を含む複数画像を用いた画像処理も同様であることは言うまでもない。このように、静止画像の補正および加工に適した容量の静止画を扱う事が可能である。
【0127】
本発明における後工程は、複数の静止画像を用いて行う処理であるため、例えば、複数の画像をレイアウト枠に配置する処理、複数の画像から条件に合う画像のピックアップ処理なども含まれる。
【0128】
本発明には、プログラム(画像処理プログラム)コードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部または全部を実行し、その処理によって前述した実施形態の機能が実現される場合も含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合についても、本発明は適用される。その場合、書き込まれたプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【0129】
【図1】本発明に係る第1の実施形態におけるデジタルビデオカメラ100の内部構成を示すブロック図である。
【図2】本発明に係る第1および第3の実施形態におけるフォトプリンタの内部構成を示すブロック図である。
【図3】本発明に係る第1の実施形態における処理の手順を示すフローチャートである。
【図4】フレーム間予測の概念を示す図である。
【図5】本発明に係る第2の実施形態におけるPCとサーバを示すブロック図である。
【図6】本発明に係る第2の実施形態における処理の手順を示すフローチャートである。
【図7】本発明に係る第3および第4の実施形態におけるPCの内部構成を示すブロック図である。
【図8】本発明に係る第3の実施形態における処理の手順を示すフローチャートである。
【図9】本発明に係る第4の実施形態におけるアプリケーションソフトウェアの前処理の手順を示すフローチャートである。
【図10】本発明に係る第4の実施形態におけるアプリケーションソフトウェアの後処理の手順を示すフローチャートである。
【符号の説明】
【0130】
100 デジタルビデオカメラ
200 フォトプリンタ

【特許請求の範囲】
【請求項1】
動画像から複数の静止画像を抽出し、画像処理を行う画像処理装置であって、
前記動画像のデータの特徴を示すパラメータを抽出するパラメータ抽出手段と、
前記動画像のデータの特徴を示すパラメータから、管理すべき複数の静止画像の数を決定する管理静止画像数決定手段と、
前記管理静止画像数決定手段により決定された静止画像の数に基づいて、前記動画像から複数の静止画像を抽出する静止画像抽出手段と、
前記静止画像抽出手段で抽出された前記複数の静止画像を1つのファイルとして保存する静止画像管理手段と、
前記静止画像管理手段で保存された複数の静止画像を用いて画像処理を行う画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記動画像のデータの特徴を示すパラメータは、インターレースの有無と、カラーフォーマットと、フレーム間予測の有無とのうち、少なくとも1つを含むことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記動画像のデータの特徴を示すパラメータは、更に、撮影情報を含むことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記静止画像抽出手段は、前記動画像から特定の種類の静止画像を抽出することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
【請求項5】
前記静止画像抽出手段は、前記動画像から相隣接する静止画像を抽出することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記管理静止画像数決定手段は、前記動画像のデータの特徴を示すパラメータと、前記画像処理の特徴を示すパラメータとから、管理すべき複数の静止画像の数を決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記画像処理の特徴を示すパラメータとは、前記画像処理の結果の品質と、前記画像処理の処理の内容と、処理可能な静止画像数とのうち、少なくとも1つを含むことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
動画像から複数の静止画像を抽出し、画像処理を行う画像処理装置において実行される画像処理方法であって、
前記画像処理装置のパラメータ抽出手段が、前記動画像のデータの特徴を示すパラメータを抽出するパラメータ抽出工程と、
前記画像処理装置の管理静止画像数決定手段が、前記動画像のデータの特徴を示すパラメータから、管理すべき複数の静止画像の数を決定する管理静止画像数決定工程と、
前記画像処理装置の静止画像抽出手段が、前記管理静止画像数決定工程において決定された静止画像の数に基づいて、前記動画像から複数の静止画像を抽出する静止画像抽出工程と、
前記画像処理装置の静止画像管理手段が、前記静止画像抽出工程において抽出された前記複数の静止画像を1つのファイルとして保存する静止画像管理工程と、
前記画像処理装置の画像処理手段が、前記静止画像管理工程において保存された複数の静止画像を用いて画像処理を行う画像処理工程と
を備えることを特徴とする画像処理方法。
【請求項9】
動画像から複数の静止画像を抽出し、抽出された静止画像データを出力する画像処理装置と、前記静止画像データを入力して静止画像を印刷する印刷装置とが接続された画像処理システムであって、
前記画像処理装置は、
前記動画像から前記動画像のデータの特徴を示すパラメータを抽出し、抽出されたパラメータを前記静止画像データを出力するためのパラメータとともに、前記印刷装置に送信するパラメータ抽出手段と、
前記印刷装置が処理可能な静止画像数を受信し、前記静止画像数に従って、動画像から静止画像を抽出し、前記静止画像数に相当する静止画像データを1つのファイルとして編集する抽出編集手段と、
前記抽出編集手段によって編集されたファイルを単位として、前記静止画像データを前記印刷装置に送信する送信手段とを備え、
前記印刷装置は、
前記画像処理装置から前記動画像のデータの特徴を示すパラメータと前記静止画像データを出力するためのパラメータを受信する受信手段と、
前記動画像のデータの特徴を示すパラメータと、前記静止画像データを出力するためのパラメータとから、処理可能な静止画像数を決定し、前記画像処理装置に前記静止画像数を送信する決定手段と、
前記画像処理装置から受信したファイルに含まれる前記静止画像データに基づいて静止画像を印刷する印刷手段と
を備えることを特徴とする画像処理システム。
【請求項10】
前記動画像のデータの特徴を示すパラメータは、インターレースの有無と、カラーフォーマットと、フレーム間予測の有無とのうち、少なくとも1つを含むことを特徴とする請求項9に記載の画像処理システム。
【請求項11】
前記動画像のデータの特徴を示すパラメータは、更に、撮影情報を含むことを特徴とする請求項10に記載の画像処理システム。
【請求項12】
前記静止画像データを出力するためのパラメータは、印刷品質と、用紙サイズと、用紙種類と、印刷速度と、縁の有無とのうち、少なくとも1つを含むことを特徴とする請求項9乃至11のいずれか1項に記載の画像処理システム。
【請求項13】
前記抽出編集手段は、動画像から相隣接する静止画像を抽出することを特徴とする請求項9乃至12のいずれか1項に記載の画像処理システム。
【請求項14】
前記画像処理装置は、
抽出された前記静止画像データを前記ファイルを単位として保存する保存手段を更に備えることを特徴とする請求項9乃至13のいずれか1項に記載の画像処理システム。
【請求項15】
動画像から複数の静止画像を抽出し、抽出された静止画像データを出力する画像処理装置と、前記静止画像データを入力して静止画像を印刷する印刷装置とが接続された画像処理システムにおいて実行される印刷方法であって、
前記画像処理装置において、前記動画像から前記動画像のデータの特徴を示すパラメータを抽出し、抽出されたパラメータを前記静止画像データを出力するためのパラメータとともに、前記印刷装置に送信するパラメータ抽出工程と、
前記印刷装置において、前記画像処理装置から前記動画像のデータの特徴を示すパラメータと、前記静止画像データを出力するためのパラメータとを受信する受信工程と、
前記印刷装置において、前記受信工程において受信された前記動画像のデータの特徴を示すパラメータと前記静止画像データを出力するためのパラメータとから、前記印刷装置が処理可能な静止画像数を決定し、前記画像処理装置に前記静止画像数を送信する決定工程と、
前記画像処理装置において、前記印刷装置が処理可能な静止画像数を受信し、前記静止画像数に従って、動画像から静止画像を抽出し、前記静止画像数に相当する静止画像データを1つのファイルとして編集する抽出編集工程と、
前記画像処理装置において、前記抽出編集工程において編集されたファイルを単位として、前記静止画像データを前記印刷装置に送信する送信工程と、
前記印刷装置において、前記画像処理装置から受信した前記静止画像データに基づいて静止画像を印刷する印刷工程と
を備えることを特徴とする印刷方法。
【請求項16】
動画像から複数の静止画像を抽出し、抽出された静止画像データを出力する画像処理装置と、前記静止画像データを入力して静止画像を印刷する印刷装置とが接続された画像処理システムにおいて用いられる画像処理装置であって、
前記動画像から前記動画像のデータの特徴を示すパラメータを抽出し、抽出されたパラメータを前記静止画像データを出力するためのパラメータとともに、前記印刷装置に送信するパラメータ抽出手段と、
前記印刷装置から前記印刷装置が処理可能な静止画像数を受信し、前記静止画像数に従って、動画像から静止画像を抽出し、前記静止画像数に相当する静止画像データを1つのファイルとして編集する抽出編集手段と、
前記抽出編集手段によって編集されたファイルを単位として、前記静止画像データを前記印刷装置に送信する送信手段と
を備えることを特徴とする画像処理装置。
【請求項17】
動画像から複数の静止画像を抽出し、抽出された静止画像データを出力する画像処理装置と、前記静止画像データを入力して静止画像を印刷する印刷装置とが接続された画像処理システムにおいて用いられる印刷装置であって、
前記画像処理装置から前記動画像のデータの特徴を示すパラメータと、前記静止画像データを出力するためのパラメータとを受信する受信手段と、
前記動画像のデータの特徴を示すパラメータと、前記静止画像データを出力するためのパラメータとから、処理可能な静止画像数を決定し、前記画像処理装置に前記静止画像数を送信する決定手段と、
前記処理可能な静止画像数に相当する静止画像データが1つの単位として編集されたファイルを受信し、受信したファイルに含まれる前記静止画像データに基づいて静止画像を印刷する印刷手段と
を備えることを特徴とする印刷装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2010−98615(P2010−98615A)
【公開日】平成22年4月30日(2010.4.30)
【国際特許分類】
【出願番号】特願2008−269185(P2008−269185)
【出願日】平成20年10月17日(2008.10.17)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】