説明

画像処理のための装置、方法、および、プログラム

【課題】動画像データを利用して画像を表示するための画像処理の負荷を軽減することができる技術を提供することを目的とする。
【解決手段】第1の態様では、整数演算による色空間変換処理を実行する。第2の態様では、予め設定された複数の固定倍率の中から1つの固定倍率を動画像データに応じて選択するとともに、選択された固定倍率に従って解像度変換処理を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理のための装置、方法、および、プログラムに関するものである。
【背景技術】
【0002】
従来より、動画像データを利用して動画を再生する技術が知られている。
【0003】
【特許文献1】特開2004−15224号公報
【0004】
ところで、動画像データを利用して動画を再生する場合には、動画像データから表示用データへの変換処理が実行される。このような変換処理としては、例えば、画像の解像度(画素密度)を元の動画像データの解像度から表示用の解像度へ変換する処理や、画像の色空間を元の動画像の色空間から表示用の色空間へ変換する処理が、挙げられる。ところが、このような変換処理を行うためには、高い処理能力(例えば、速い演算速度)が要求される場合が多かった。なお、このような問題は、動画像データを利用して動画像を再生する場合に限らず、動画像データを利用して静止画像を表示する場合にも共通する問題であった。すなわち、このような問題は、一般に、動画像データを利用して画像を表示する場合に生じ得る問題であった。
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上記の課題を解決するためになされたものであり、動画像データを利用して画像を表示するための画像処理の負荷を軽減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述の課題の少なくとも一部を解決するため、本発明の第1の態様における画像処理装置は、動画像データを利用して画像を表示するための画像処理装置であって、前記動画像データの色空間を表示用の色空間に変換する処理を実行する色空間変換部を備え、前記色空間変換部は、整数演算による色空間変換処理を実行する。
【0007】
この画像処理装置では、動画像データを利用して画像を表示する場合に、整数演算による色空間変換処理が実行されるので、動画像データを利用して画像を表示するための画像処理の負荷を軽減することができる。
【0008】
上記画像処理装置において、前記整数演算は、整数の加減算であることが好ましい。
【0009】
この構成によれば、画像処理の負荷をさらに軽減することができる。
【0010】
上記各画像処理装置において、前記色空間変換処理は、前記整数演算による色空間変換を行う第1モードと、小数演算を含む演算による色変換を行う第2モードと、を含み、前記色空間変換部は、前記動画像データに応じた動画像が再生される場合には、前記第1モードによる色空間変換を選択して実行し、前記動画像データを利用して静止画像が表示される場合には、前記第2モードによる色空間変換を選択して実行することが好ましい。
【0011】
この構成によれば、動画像の再生と、静止画像の表示とを、画像処理の負荷を過剰に増大させずに実行することができる。
【0012】
また、この発明による第2の態様に係る画像処理装置は、動画像データを利用して画像を表示するための画像処理装置であって、前記動画像データが表す画像の解像度を表示用の解像度に変換する処理を実行する解像度変換部を備え、前記解像度変換部は、予め設定された複数の固定倍率の中から1つの固定倍率を前記動画像データに応じて選択するとともに、前記選択された固定倍率に従って前記解像度変換処理を実行する第1モードによる解像度変換の機能を有する。
【0013】
この画像処理装置によれば、予め設定された複数の固定倍率の中から1つの固定倍率を動画像データに応じて選択されるとともに、選択された固定倍率に従って解像度変換処理が実行されるので、動画像データを利用して画像を表示するための画像処理の負荷を軽減することができる。
【0014】
上記画像処理装置において、前記解像度変換部は、予め設定された最大動画像サイズに前記変換後の画像が収まる範囲内で前記変換後の画像のサイズが最大となるような固定倍率を選択することが好ましい。
【0015】
この構成によれば、表示される画像が過剰に小さくなることを抑制できる。
【0016】
上記各画像処理装置において、前記複数の固定倍率のそれぞれは1/n(nは整数)に設定されていることが好ましい。
【0017】
この構成によれば、n画素毎に1つの画素を取得することによって、解像度を変換することができるので、画像処理の負荷を軽減できる。
【0018】
上記画像処理装置において、前記値nは、偶数に設定されていることとしてもよい。
【0019】
この構成によれば、ライン上で隣接する2つの画素に対して共通の階調値が割り当てられている動画像データを利用する場合に、画像処理の負荷を軽減することができる。
【0020】
上記各画像処理装置において、前記解像度変換部は、さらに、予め設定された最大静止画像サイズに前記変換後の画像が収まる範囲内で前記変換後の画像のサイズがアスペクト比を維持しつつ最大となるような任意倍率に従って前記解像度変換を行う第2モードによる解像度変換の機能を有し、前記解像度変換部は、前記動画像データに応じた動画像が再生される場合には、前記第1モードによる解像度変換を選択して実行し、前記動画像データを利用して静止画像が表示される場合には、前記第2モードによる解像度変換を選択して実行することとしてもよい。
【0021】
この構成によれば、動画像の再生と、静止画像の表示とを、画像処理の負荷を過剰に増大させずに実行することができる。
【0022】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【0023】
次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
B.変形例:
【0024】
A.第1実施例:
図1は、本発明の一実施例としてのプリンタを示す説明図である。図1(A)は、プリンタ100の外観を示し、図1(B)は、プリンタ100の構成の概略を示している。図1(A)に示すように、このプリンタ100は、ディスプレイ40と、操作パネル50と、メモリカードインターフェース70と、を備えている。さらに、図1(B)に示すように、このプリンタ100は、制御部200と、印刷エンジン300と、を備えている。
【0025】
制御部200は、CPU210と、ROM220と、RAM230と、を備えるコンピュータである。この制御部200は、プリンタ100の各構成要素を制御する。印刷エンジン300は、与えられた印刷データに応じて印刷を実行する印刷機構である。印刷機構としては、インク滴を印刷媒体に吐出して画像を形成する印刷機構や、トナーを印刷媒体上に転写・定着させて画像を形成する印刷機構等の種々の印刷機構を採用可能である。ディスプレイ40は、画像を含む種々の情報を表示する。ディスプレイ40としては、液晶ディスプレイや有機ELディスプレイ等の種々のディスプレイを採用可能である。操作パネル50は、停止ボタン52と、印刷ボタン54と、再生ボタン56とを含む複数のボタンを有している。操作パネル50は、ユーザの指示を受ける入力部として機能する。このような入力部としては、操作パネル50に限らず、タッチパネル等のユーザの指示を受ける種々の入力装置を採用可能である。メモリカードインターフェース70は、メモリカードMCを挿入するスロットMSを含んでいる。メモリカードMCに格納されたデータは、メモリカードインターフェース70を介して、制御部200によって読み出される。
【0026】
図2は、ROM220(図1)に格納されたモジュールを示す説明図である。第1実施例では、入力モジュール400と、変換モジュール410と、出力モジュール420と、モード選択モジュール430と、がROM220に格納されている。変換モジュール410は、解像度変換モジュール412と、色空間変換モジュール414とを含んでいる。これらのモジュールは、CPU210によって実行されるプログラムである。また、各モジュールは、RAM230(図1(B))を介して種々のデータをやりとりすることが可能である。
【0027】
図3は、動画像処理の手順を示すフローチャートである。ステップS110〜S140の処理が繰り返されることによって動画像が再生される。そして、ステップS160の処理では、ユーザによって選択されたショットが印刷される。この動画像処理は、制御部200(図1)によって実行される。制御部200は、スロットMS(図1)に動画像データを格納するメモリカードMCが挿入されたことに応じて、自動的に動画像処理を開始する。あるいは、制御部200は、ユーザの指示に従って、動画像処理を開始してもよい。
【0028】
最初のステップS100では、入力モジュール400(図2)がメモリカードMCから動画像データを取得する。次のステップS105では、モード選択モジュール430は、制御部200(図1)の動作モードを「簡略モード」に設定する。この簡略モードは、簡略化された画像処理が実行されるモードである。本実施例では、動画像を再生するために簡略モードが利用される。
【0029】
次のステップS110では、入力モジュール400は、動画像データを解析し、フレームデータを取得する。動画像データのフォーマットとしては、MPEG(Moving Picture Experts Group)やMotionJPEG等の種々のフォーマットがある。また、スキャン方式としては、プログレッシブとインタレースとがある。本実施例では、動画像データのフォーマットが、プログレッシブスキャンのMPEGフォーマットであることとしている。
【0030】
図4は、動画像データから取得されるフレームデータの説明図である。図4には、動画像データに含まれる複数のピクチャのそれぞれが、符号付きの四角で示されている。符号中のアルファベット(I、P、B)は、ピクチャの種類を示し、符号中の数字は、再生すべき順番を示している。Iピクチャは予測無しの符号化を用いたデータであり、Pピクチャは順方向予測符号化を用いたデータであり、Bピクチャは双方向予測符号化を用いたデータである。本実施例では、各ピクチャのそれぞれが、ある時点における1つのフレーム(静止画像)を表している。
【0031】
図中の「デコード順」は、動画像を再生する場合にデコードされる順番を表している。動画像データには、このデコード順に、複数のピクチャが格納されている。動画像データがBピクチャを含む場合には、このデコード順が再生順とは異なり得る。この理由は、Bピクチャのデコードに、そのBピクチャよりも後に再生すべきPピクチャあるいはIピクチャが利用されるからである。
【0032】
再生順がデコード順と異なっている場合には、ピクチャを並び替える処理が要求される。ところが、本実施例では、入力モジュール400は、Bピクチャをデコードせずに、IピクチャとPピクチャのみをデコードする。その結果、デコード順が再生順と同じとなる。図4の例では、デコード順および再生順は「I2、P5、P8・・・」である。従って、入力モジュール400は、ピクチャを並び替える処理を実行せずに済む。すなわち、画像処理の負荷を軽減することができる。
【0033】
図3のステップS110では、入力モジュール400(図2)は、1つのピクチャをデコードすることによって、1つのフレームデータを取得する。そして、取得したフレームデータを変換モジュール410に供給する。
【0034】
次のステップS120では、解像度変換モジュール412(図2)は、フレームデータが表す画像(以下「フレーム画像」とも呼ぶ)の解像度を変換する。本実施例では、フレーム画像の解像度(動画像データの解像度)が、ディスプレイ40の解像度よりも高解像度であることとしている。解像度変換モジュール412は、フレーム画像の全体をディスプレイ40内に表示するために、フレーム画像の解像度を、より低い解像度に変換する。なお、フレーム画像は、マトリックス状に配置される複数の画素値を含んでいる。そして、本明細書において、「低解像度」とは画素密度が低いことを意味しており、「高解像度」とは画素密度が高いことを意味している。
【0035】
解像度変換モジュール412は、解像度変換処理のモードとして、「簡略モード」と「詳細モード」とを有している。図3のステップS120では、モード選択モジュール430によって選択された「簡略モード」で解像度変換処理が実行される。「詳細モード」については後述する。
【0036】
図5は、簡略モードでの解像度変換処理の説明図である。図5には、「簡略モード」で利用可能な縮小率が示されている。「簡略モード」では、解像度変換モジュール412は、予め設定された複数の固定縮小率の中から、実際に利用される縮小率を選択する。その結果、予め設定された縮小率に解像度変換処理を予め適合させておくことができるので、任意に設定され得る縮小率に解像度変換処理を対応させる場合と比べて、解像度変換処理に要する負荷を軽減することができる(例えば、対応すべき縮小率の総数が減るので、簡略化された処理によって解像度を変換できる)。この際、変換後の画像がディスプレイ40に収まる範囲内で変換後の画像のサイズが最大となるような固定縮小率が選択される。その結果、表示される画像が過剰に小さくなることを抑制できる。なお、本実施例では、ディスプレイ40のサイズ(縦方向の画素数および横方向の画素数)が特許請求の範囲における「最大動画像サイズ」に相当する。換言すれば、最大動画像サイズは、ディスプレイ40のサイズに設定されている。この最大動画像サイズは、動画像を再生する場合に画像が表示され得る最大サイズを意味している。
【0037】
図5の例では、縮小率として5つの値(1/2、1/4、1/6、1/8、1/10)を利用可能である。また、図5には、各縮小率による変換後の画像サイズの例が示されている。図示された5つのサイズSZ1〜SZ5は、5つの縮小率1/2〜1/10に、それぞれ対応している。図5の例では、縮小率が「1/2」である場合には、画像サイズSZ1がディスプレイ40よりも大きい。そして、縮小率が1/4よりも小さい場合には、変換後の画像がディスプレイ40に収まっている。そこで、解像度変換モジュール412は、ディスプレイ40に収まる範囲内で画像サイズが最大となるような縮小率「1/4」を選択する。
【0038】
次に、解像度変換モジュール412は、選択された縮小率に従って、フレームデータの解像度を変換する。本実施例では、固定縮小率は、いずれも、1/n(nは整数)に設定されている。従って、解像度変換モジュール412は、フレーム画像からn画素毎に1つの画素を取得することによって、解像度変換後の画像を取得できる。この際、画素値の補間処理をせずに済むので、画像処理の負荷を軽減することができる。
【0039】
また、図5の例では、縮小率(1/n)の分母nは偶数に設定されている。この理由は、隣接する2つの画素に対して共通の階調値が割り当てられたフレームデータの解像度を効率良く変換するためである。ところで、MPEGデータのような一般的な動画像データでは、色空間としてYUVが採用されている。また、YUV色空間を用いたデータ形式の中には、「YUV420」や「YUV422」のように、4画素(2*2)のブロック毎に1つあるいは2つの色差U、Vが割り当てられる形式がある。本実施例では、動画像データの色が、YUV420で表されていることとする。
【0040】
図6は、4画素(2*2)のブロック毎に1つの色差U、Vが割り当てられている場合に、解像度の変換(低減)に利用される画素値を示す説明図である。図6には、縮小率が1/3である場合と、縮小率が1/4である場合とが示されている。いずれの場合も、ハッチングを付した画素rP(以下「選択画素」とも呼ぶ)の画素値が、解像度変換後の画像の画素値として利用される。各選択画素rPの画素値の決定には、太線で表させた4画素のブロックrB(以下「選択ブロックrB」とも呼ぶ)に割り当てられた階調値(YUV)が利用される。
【0041】
図示するように、縮小率が1/3である場合には、選択ブロックrBの間隔は一定では無い。このような不均一性は、縮小率(1/n)の分母nが3以外の奇数である場合にも、同様に生じる。その結果、解像度変換モジュール412は、一定間隔のブロック間引きでは選択ブロックrBを選択することができず、不均一に並んだ選択ブロックrBの位置を確認しつつ、選択ブロックrBを選択することになる。
【0042】
一方、縮小率が1/4である場合には、選択ブロックrBは等間隔に並ぶ。これは、縮小率(1/n)の分母nが、4以外の偶数である場合も同様である。その結果、解像度変換モジュール412は、一定数のブロック毎に1つのブロックrBを選択すればよい。すなわち、一定間隔のブロック間引きによって選択ブロックrBを選択することができる。従って、解像度変換処理の負荷を軽減することができる。これらは、共通の階調値が4画素のブロックに割り当てられている場合に限らず、一般に、ライン上で隣接する2つの画素に対して共通の階調値が割り当てられている場合にも、同様である。
【0043】
図3の次のステップS130では、色空間変換モジュール414(図2)は、解像度が変換された後のフレームデータの色空間を、表示用の色空間に変換する。色空間変換モジュール414は、色空間変換処理のモードとして「簡略モード」と「詳細モード」とを有している。図3のステップS130では、モード選択モジュール430によって選択された「簡略モード」での色空間変換処理が実行される。「詳細モード」については後述する。
【0044】
図7は、簡略モードでの色空間変換に利用される演算式の一例を示す説明図である。図7には、YUV色空間の3つの階調値y、u、vからRGB色空間の3つの階調値r、g、bを算出する演算式が、行列を用いて表されている。本実施例では、表示用の色空間としてRGB色空間が利用されている。また、階調値y、u、vおよび階調値r、g、bは、いずれも、8ビットの整数で表されている。図7の例では、階調値r、g、bのそれぞれは、階調値y、u、vと定数との加減算のみで算出される。このように、簡略モードでは、表示用の階調値r、g、bは、整数の加減算によって算出される。その結果、小数演算を用いて色空間を変換する場合と比べて、色空間変換処理の負荷を軽減することができる。なお、オーバーフローおよびアンダーフローに対する処理としては、任意の処理を採用可能である。例えば、所定の値域内へのクリッピング処理を採用してもよい。
【0045】
なお、変換モジュール410(図2)は、フレーム画像の各画素毎に、解像度変換と色空間変換とを続けて実行する。従って、解像度変換後のフレームデータの全体がRAM230に格納された後で、色空間変換のためにそのフレームデータをRAM230から読み出す場合と比べて、RAM230へのアクセスを大幅に減らすことができる(以下、この例を「比較例」と呼ぶ)。例えば、解像度変換後の画像サイズが320*240ピクセルであり、YUVおよびRGBの各階調値が1バイト(8ビット)で表されていると仮定する。すると、比較例においてRAM230へのアクセスによって転送されるデータ量は以下の通りである。
(A)解像度変換のための画素値の読み出し:230400バイト(3*320*240)
(B)解像度変換後の画素値の格納:230400バイト
(C)色空間変換のための画素値の読み出し:230400バイト
(D)色空間変換後の画素値の格納:230400バイト
これらの合計は921600バイトである。一方、本実施例のように、各画素毎に解像度変換と色空間変換とを続けて実行すれば、上述の(B)(C)の処理を省略することができる。その結果、RAM230へのアクセスが半減するので、処理が高速化される。ただし、上述の(A)〜(D)の4つの処理を実行してもよい。
【0046】
図3の次のステップS140では、出力モジュール420(図2)は、ディスプレイ40(図1)にフレーム画像を表示する。この表示は、色空間が変換された後のフレームデータに従ってディスプレイ40を制御することによって、実行される。
【0047】
次のステップS150では、モード選択モジュール430は、停止ボタン52(図1(B))が押されたか否かを判断する。停止ボタン52が押されていない場合には、モード選択モジュール430は、処理をステップS110に進行させる。そして、ステップS110〜S140の処理が繰り返し実行される。ステップS110が実行されるたびに、入力モジュール400(図2)は、次のフレームデータを取得する(図4)。そして、ステップS140が実行されるたびに、表示される画像が次のフレーム画像に切り換えられる。このようにして動画像が再生される。
【0048】
図8は、ディスプレイ40中に動画像が再生される様子を示す説明図である。図8の例では、動画像が表示される表示領域MPのサイズは、ディスプレイ40のサイズよりも小さい。この表示領域MPのサイズは、図5に示したように、動画像データが表す画像のサイズと、固定縮小率とに従って決まる。また、表示領域MPのサイズは、元の動画像データが表す画像のサイズに応じて変化し得る。
【0049】
動画像の再生中に停止ボタン52が押された場合には、モード選択モジュール430は、処理をステップS150からステップS160へ進行させる。図9は、ステップS160の静止画像処理の詳細な手順を示すフローチャートである。ステップS210〜S230の処理によってフレーム画像が表示される。そして、ステップS260の処理では、フレーム画像が印刷される。
【0050】
最初のステップS200では、モード選択モジュール430は、制御部200(図1)の動作モードを「詳細モード」に設定する。この詳細モードは、詳細な画像処理が実行されるモードである。本実施例では、静止画像を表示するために詳細モードが利用される。
【0051】
次のステップS210では、解像度変換モジュール412(図2)は、図3のステップS120と同様に、入力モジュール400が取得したフレームデータを利用して、フレーム画像の解像度を変換する。ただし、図3のステップS120とは異なり、モード選択モジュール430によって選択された「詳細モード」で解像度変換処理が実行される。
【0052】
図10は、詳細モードでの解像度変換処理の説明図である。図5に示す簡略モードとは異なり、詳細モードでは、変換後の画像がディスプレイ40に収まる範囲内で変換後の画像のサイズが最大となるような任意の値に縮小率が決定される(アスペクト比(画素数の縦横比率)は維持される。これは、上述の簡略モードでも同様)。その結果、可能な範囲で大きく静止画像を表示することができる。すなわち、本実施例では、ディスプレイ40のサイズが特許請求の範囲における「最大静止画像サイズ」に相当する。換言すれば、最大静止画像サイズは、ディスプレイ40のサイズに設定されている。この最大静止画像サイズは、静止画像を表示する場合に画像が表示され得る最大サイズを意味している。
【0053】
詳細モードでの解像度変換方法としては、種々の方法を採用可能である。例えば、決定された縮小率が3/4の場合には、一度、解像度を3倍に上げた後、解像度を1/4に低減する方法を採用してもよい。解像度を上げる処理としては、例えば、補間処理によって解像度を上げる処理を採用可能である。また、解像度を上げた後に(解像度を低減する前に)、解像度変換モジュール412が、ノイズを抑えるフィルタ処理を実行してもよい。このようなフィルタとしては、例えば、低域通過フィルタ(ローパスフィルタ)を採用可能である。
【0054】
図9の次のステップS220では、色空間変換モジュール414(図2)は、図3のステップS130と同様に、解像度が変換された後のフレームデータの色空間を、表示用の色空間に変換する。ただし、図3のステップS130とは異なり、モード選択モジュール430によって選択された「詳細モード」で色空間変換処理が実行される。
【0055】
図11は、詳細モードでの色空間変換に利用される演算式を示す説明図である。図7の演算式とは異なり、小数演算によってr、g、bが算出される。その結果、「簡略モード」と比べて、元の階調値y、u、vに忠実な階調値r、g、bを算出することが可能である。すなわち、元の動画像データに忠実な色で静止画像を表示することができる。
【0056】
図9の次のステップ230では、出力モジュール420(図2)は、ディスプレイ40(図1)にフレーム画像を表示する。図10は、表示結果の一例を示している。出力モジュール420は、静止画像に重ねて、印刷領域を表す印刷縁PFを表示する。この印刷縁PFは、表示されているフレーム画像を印刷媒体に印刷した場合の、印刷媒体の縁に相当する位置を示している。この表示画面により、ユーザは、印刷画像を容易に確認することができる。なお、フレーム画像が印刷縁PFの外にはみ出している理由は、印刷媒体に余白が生じることを抑制するためである。なお、印刷縁PFの表示は省略可能である。また、フレーム画像の全体が印刷縁PF内に収められてもよい。
【0057】
次のステップS240では、モード選択モジュール430は、印刷ボタン54(図1(B))が押されたか否かを判断する。印刷ボタン54が押された場合には、モード選択モジュール430は、処理をステップS260に進行させる。ステップS260では、出力モジュール420は、現在表示されているフレームデータを利用して印刷データを生成し、生成した印刷データを印刷エンジン300に供給する。印刷エンジン300は、受信した印刷データを利用して印刷を実行する。なお、ユーザの指示によるコマ送りおよびコマ戻しによって、ユーザが好みのフレーム画像を指定してもよい。また、時系列に沿って並ぶ複数のフレームデータ(現在表示されているフレームデータを含む)を合成することによって、フレームデータよりも高解像度な静止画像データを生成してもよい。そして、その静止画像データを利用して印刷データを生成してもよい。いずれの場合も、入力モジュール400は要求されたフレームデータを動画像データから取得し、取得されたフレームデータを利用したステップS210〜S230の処理が実行される。印刷が完了した後、処理はステップS240に戻る。
【0058】
なお、静止画像の表示にBピクチャを利用しないことが負荷軽減の点で好ましい。ただし、静止画像の表示にBピクチャを利用してもよく、特に、コマ送りあるいはコマ戻しを利用する場合には、Bピクチャを利用することが好ましい。この場合には、動画像再生時にはBピクチャを利用しない簡略モードでデコードが実行され、静止画像表示時には全ての種類のピクチャ(I、P、Bピクチャ)を利用する詳細モードでデコードが実行されることが好ましい。また、印刷についても、Bピクチャを利用しないことが負荷軽減の点で好ましい。ただし、Bピクチャを利用してもよい。特に、複数のフレームデータを合成する場合には、Bピクチャを利用することが好ましい。こうすれば、似た画像を表す複数のフレームデータを容易に取得することができるので、合成を適切に実行できる。
【0059】
次のステップS250では、モード選択モジュール430は、再生ボタン56(図1(B))が押されたか否かを判断する。再生ボタン56が押されていない場合には、モード選択モジュール430は、処理をステップS240に戻す。再生ボタン56が押された場合には、モード選択モジュール430は、静止画像処理を終了し、処理を図3のステップS105に進行させる。なお、ステップS240、S260を省略してもよい。この場合には、ユーザによって選択されたショットが、忠実な色で大きく表示される。
【0060】
以上のように、本実施例では、動画像の再生のために簡略化された画像処理が実行されるので、動画像を再生するための画像処理の負荷を軽減することができる。また、このような動画像の再生では、簡略化せずに再生する場合と比べて画質が低下する可能性がある。しかし、装置の処理能力が高くない場合であっても、動画像再生のフレームレートが低下することを抑制できるという利点がある。また、動画像再生の目的が鑑賞以外の目的(例えば、好みのショットの決定)であれば、ユーザが違和感を覚えることも少ない。
【0061】
また、本実施例では、静止画像の表示のために詳細な画像処理が実行されるので、ユーザが静止画像をゆっくり鑑賞した場合でも、ユーザが違和感を覚えることを抑制できる。
【0062】
また、本実施例では、上述のような簡略モードと詳細モードとを利用可能であるので、動画像データを利用した動画像の再生と、動画像データを利用した静止画像の表示とを、画像処理の負荷を過剰に増大させずに実行することができる。
【0063】
B.変形例:
なお、上記各実施例における構成要素の中の、独立クレームでクレームされた要素以外の要素は、付加的な要素であり、適宜省略可能である。また、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0064】
変形例1:
上述の各実施例において、簡略モードにおける色空間変換処理で利用される演算式としては、図7に示す演算式に限らず、変換前後の色空間によって規定される演算式を簡略化した種々の演算式を採用可能である。また、このような演算式としては、整数演算による演算式を採用することが好ましい。図12は、簡略モードで利用される演算式の別の例を示す説明図である。図12の例では、階調値y、u、vのそれぞれの係数に「1」および「0」以外の整数が含まれている。そして、階調値r、g、bのそれぞれは、階調値y、u、vを変数とする1次多項式を、「210」で割ることによって、算出される。ここで、小数部分は切り捨てられ、整数部分が階調値r、g、bとして利用される。すなわち、階調値r、g、bのそれぞれは、階調値y、u、vと定数とを利用する整数演算(加算、減算、乗算、除算を含む)のみで算出される。なお、「210(2のべき乗)」による除算は、通常の除算よりも負荷の軽いビットシフト演算(この場合は右10ビットシフト)によって実現可能である。このように、図12の例では、階調値y、u、vから階調値r、g、bへの色空間変換が、整数演算によって実行される。従って、小数演算を用いて色空間を変換する場合と比べて、画像処理の負荷を軽減することができる。ただし、図7に示す例のように整数の加減算によって色変換処理を実行すれば、画像処理の負荷をさらに軽減することができる。なお、上述の各実施例において、静止画像を表示する場合に、簡略モードにおける色空間変換処理を実行してもよい。
【0065】
変形例2:
上述の各実施例において、動画像データを表す色空間としては、YUV色空間に限らず任意の色空間を採用可能である。同様に、表示用の色空間としても、RGB色空間に限らず任意の色空間を採用可能である。
【0066】
変形例3:
上述の各実施例において、簡略モードにおける解像度変換処理としては、図5に示す処理に限らず、予め設定された複数の固定倍率の中から1つの固定倍率を動画像データに応じて選択するような種々の処理を採用可能である。こうすれば、他の倍率を考慮せず済むので、解像度変換処理の負荷を軽減することができる。例えば、固定倍率としては、1/奇数(例えば、1/3)を採用してもよい。また、固定倍率として1/n(nは整数)では表すことができない既約分数(例えば、3/4や2/5)を採用してもよい。また、固定倍率として1より大きな値を採用してもよい。なお、上述の各実施例において、静止画像を表示する場合に、簡略モードにおける解像度変換処理を実行してもよい。
【0067】
変形例4:
上述の各実施例において、最大動画像サイズおよび最大静止画像サイズとしては、ディスプレイ40のサイズとは異なる任意のサイズを採用可能である。また、最大動画像サイズと最大静止画像サイズとが互いに異なっていても良い。例えば、最大動画像サイズをディスプレイ40の上半分の所定領域のサイズに設定し、最大静止画像サイズをディスプレイ40のサイズに設定してもよい。いずれの場合も、最大動画像サイズおよび最大静止画像サイズとしては、ディスプレイ40と同じサイズか、あるいは、より小さいサイズを採用することが好ましい。
【0068】
変形例5:
上述の各実施例において、動画像の再生のために、BピクチャとPピクチャを利用せずにIピクチャを利用してもよい。一般には、動画像データからの静止画像(フレーム画像やフィールド画像)の取得(デコード)の簡略モードとしては、動画像データに含まれ得る複数種類の静止画像の内の一部の所定の種類の静止画像を取得することが好ましい。この際、予測無しの符号化で表された画像、および、順方向予測符号化で表された画像の中から任意に選択された種類の画像を取得することが好ましい。こうすれば、画像を並び替える処理を省略できる。ただし、動画像再生に双方向予測符号化で表された画像を利用してもよい。
【0069】
変形例6:
上述の各実施例において、動画像データを利用した画像処理としては、図3、図9に示す処理に限らず、種々の処理を採用可能である。例えば、動画像を再生する場合の色空間変換処理と解像度変換処理とのうちのいずれか一方のモードを詳細モードに設定してもよい。また、解像度変換モジュール412が、ステップS120で、解像度を変換する前にノイズを抑えるフィルタ処理を実行してもよい。
【0070】
また、出力モジュール420(図2)は、ステップS260(図9)において、印刷の代わりに、ユーザによって選択されたショットを表す静止画像データを作成してユーザに提供してもよい。また、図3の処理においてステップS150、S160を省略してもよい。
【0071】
変形例7:
上述の各実施例において、簡略モードによる画像処理(解像度変換処理、および、色空間変換処理)を適用する画像処理装置としては、プリンタ100に限らず、動画像データを利用して画像を表示する種々の装置を採用可能である。例えば、デジタルカメラ、携帯電話、携帯情報端末等の種々の装置を採用可能である。特に、上述の動画像処理では、画像処理の負荷が軽減されているので、装置の処理能力が高くない場合であっても、動画像再生のフレームレートが低下することを抑制できる。また、動画像を再生する装置に限らず、動画像データを利用して静止画像を表示する装置を採用してもよい。例えば、動画像データから1以上のフレーム画像を抽出して表示する装置を採用してもよい。
【0072】
変形例8:
上述の各実施例において、動画像データの取得方法としては、任意の方法を採用可能である。例えば、ネットワークを介してサーバから動画像データを取得してもよい。
【0073】
変形例9:
上述の各実施例において、動画像データのフォーマットとしては、MPEGフォーマットに限らず、任意のフォーマットを採用可能である。また、上述の各実施例では、プログレッシブスキャンの動画像データを利用しているが、インタレーススキャンの動画像データを利用してもよい。この場合には、図9に示す処理において、フレームデータの代わりにフィールドデータを用いることが可能である。また、フィールドデータをそのまま利用する代わりに、2つのフィールドデータから再構成された1つのフレームデータを利用してもよい。このようなフィールドデータからのフレームデータの再構成は、入力モジュール400によって実行され得る。
【0074】
変形例10:
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図2の変換モジュール410の機能を、論理回路を有するハードウェア回路によって実現してもよい。
【0075】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【0076】
【図1】本発明の一実施例としてのプリンタを示す説明図である。
【図2】ROM220(図1)に格納されたモジュールを示す説明図である。
【図3】動画像処理の手順を示すフローチャートである。
【図4】動画像データから取得されるフレームデータの説明図である。
【図5】簡略モードでの解像度変換処理の説明図である。
【図6】4画素(2*2)のブロック毎に4よりも小さい数の色差UVが割り当てられている場合に解像度の変換(低減)に利用される画素を示す説明図である。
【図7】簡略モードでの色空間変換に利用される演算式の一例を示す説明図である。
【図8】動画像が再生される様子を示す説明図である。
【図9】ステップS160の静止画像処理の詳細な手順を示すフローチャートである。
【図10】詳細モードでの解像度変換処理の説明図である。
【図11】詳細モードでの色空間変換に利用される演算式を示す説明図である。
【図12】簡略モードで利用される演算式の別の例を示す説明図である。
【符号の説明】
【0077】
40...ディスプレイ
50...操作パネル
52...停止ボタン
54...印刷ボタン
56...再生ボタン
70...メモリカードインターフェース
100...プリンタ
200...制御部
210...CPU
220...ROM
230...RAM
300...印刷エンジン
400...入力モジュール
410...変換モジュール
412...解像度変換モジュール
414...色空間変換モジュール
420...出力モジュール
430...モード選択モジュール
MC...メモリカード
MS...スロット

【特許請求の範囲】
【請求項1】
動画像データを利用して画像を表示するための画像処理装置であって、
前記動画像データの色空間を表示用の色空間に変換する処理を実行する色空間変換部を備え、
前記色空間変換部は、整数演算による色空間変換処理を実行する、
画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記整数演算は、整数の加減算である、画像処理装置。
【請求項3】
請求項1または請求項2に記載の画像処理装置であって、
前記色空間変換処理は、
前記整数演算による色空間変換を行う第1モードと、
小数演算を含む演算による色変換を行う第2モードと、
を含み、
前記色空間変換部は、
前記動画像データに応じた動画像が再生される場合には、前記第1モードによる色空間変換を選択して実行し、
前記動画像データを利用して静止画像が表示される場合には、前記第2モードによる色空間変換を選択して実行する、
画像処理装置。
【請求項4】
動画像データを利用して画像を表示するための画像処理装置であって、
前記動画像データが表す画像の解像度を表示用の解像度に変換する処理を実行する解像度変換部を備え、
前記解像度変換部は、予め設定された複数の固定倍率の中から1つの固定倍率を前記動画像データに応じて選択するとともに、前記選択された固定倍率に従って前記解像度変換処理を実行する第1モードによる解像度変換の機能を有する、
画像処理装置。
【請求項5】
請求項4に記載の画像処理装置であって、
前記解像度変換部は、予め設定された最大動画像サイズに前記変換後の画像が収まる範囲内で前記変換後の画像のサイズが最大となるような固定倍率を選択する、
画像処理装置。
【請求項6】
請求項4または請求項5に記載の画像処理装置であって、
前記複数の固定倍率のそれぞれは1/n(nは整数)に設定されている、画像処理装置。
【請求項7】
請求項6に記載の画像処理装置であって、
前記値nは、偶数に設定されている、画像処理装置。
【請求項8】
請求項4ないし請求項7のいずれかに記載の画像処理装置であって、
前記解像度変換部は、さらに、予め設定された最大静止画像サイズに前記変換後の画像が収まる範囲内で前記変換後の画像のサイズがアスペクト比を維持しつつ最大となるような任意倍率に従って前記解像度変換を行う第2モードによる解像度変換の機能を有し、
前記解像度変換部は、
前記動画像データに応じた動画像が再生される場合には、前記第1モードによる解像度変換を選択して実行し、
前記動画像データを利用して静止画像が表示される場合には、前記第2モードによる解像度変換を選択して実行する、
画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2008−152694(P2008−152694A)
【公開日】平成20年7月3日(2008.7.3)
【国際特許分類】
【出願番号】特願2006−342254(P2006−342254)
【出願日】平成18年12月20日(2006.12.20)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】