画像の出力に用いる出力装置に適した画像データの生成
【課題】複数の画像データから高精細な画像を表す高精細画像データを生成する高精細画像生成処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することを可能とする。
【解決手段】画像生成装置は、生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、出力装置情報に基づいて出力装置での出力に適した高精細画像の画像サイズを生成画像サイズとして設定する生成画像サイズ設定部を備える。また画像生成装置は、複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、取得した合成元画像データを合成して、設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成部を備える。
【解決手段】画像生成装置は、生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、出力装置情報に基づいて出力装置での出力に適した高精細画像の画像サイズを生成画像サイズとして設定する生成画像サイズ設定部を備える。また画像生成装置は、複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、取得した合成元画像データを合成して、設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の出力に用いる出力装置に適した高精細な画像データを生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の動画像生成装置によって生成された動画像は、複数の比較的画像サイズの小さい画像（例えば、フレーム画像）によって構成されている。ここで、ある画像の「画像サイズ」とは、その画像を構成している画素の数を意味し、画像の横方向の画素数をＷｘ、縦方向の画素数をＷｙとして、その画像の画像サイズを、Ｗｘ×Ｗｙと表すものとする。
【０００３】
このような動画像を構成する画像を表す画像データから、その画像よりも高精細な画像を表す高精細画像データを生成する技術が知られている（例えば特許文献１）。なお、本明細書では、「高精細」とは、画素ピッチが小さいことを意味し、「低精細」とは、画素ピッチが大きいこと意味している。このような技術では、生成する高精細な画像の画像サイズを任意に設定することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２４４８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記技術を用いて生成した高精細な画像をプリンタで印刷するとき、生成した高精細な画像の画像サイズが、プリンタの印刷解像度や印刷媒体の大きさ等からある程度定まるプリンタでの印刷に適した画像サイズと異なる場合、画像サイズの変換処理が行われることとなる。そして、プリンタでの印刷時における画像サイズの変換処理が行われると、補間処理等のために、印刷画像の画質が低下する傾向がある。このように、生成する高精細な画像の画像サイズによっては、プリンタでの出力時に画質の低下を招く恐れがあるという問題があった。
【０００６】
なお、このような問題は、プリンタで印刷する場合に限らず、高精細な画像を出力装置で出力する場合に共通する問題であった。また、このような問題は、動画像を構成する画像データに限らず、複数の画像データから高精細画像データを生成する場合に共通する問題であった。
【０００７】
本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データから高精細な画像を表す高精細画像データを生成する高精細画像生成処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像生成装置は、複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像生成装置であって、
前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する生成画像サイズ設定部と、
前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成部と、を備える。
【０００９】
この画像生成装置は、複数の画像データから高精細な画像を表す高精細画像データを生成する高精細画像生成処理において、高精細画像データの出力に用いる出力装置の出力装置情報に基づいて、出力装置での出力に適した高精細画像の画像サイズを生成画像サイズとして設定することができるため、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することできる。
【００１０】
上記画像生成装置において、前記生成画像サイズ設定部は、前記出力装置情報に基づき設定される出力画像サイズを参照して、前記生成画像サイズを設定するとしてもよい。
【００１１】
このようにすれば、生成画像サイズを、出力装置での出力に最適な画像サイズに設定することが容易となる。
【００１２】
上記画像生成装置において、前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上のときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定するとしてもよい。
【００１３】
このようにすれば、出力画像サイズ比の値が所定の閾値より小さいときには、生成画像サイズは、出力画像サイズと等しい値となる。そのため、生成した高精細画像を出力装置によって出力する際に、出力装置側における画像サイズ変換処理が行われない。従って、出力の際の高精細画像の画質の低下を防止することができる。また、出力画像サイズが比較的大きく、出力画像サイズ比の値が所定の閾値以上のときには、生成画像サイズは、出力画像サイズを調整係数で除した値となる。そのため、生成画像サイズは比較的小さくなり、処理に要する時間の増大を抑制することができると共に、出力の際の高精細画像の画質の低下を抑制することができる。
【００１４】
また、上記画像生成装置において、前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいか、または、整数値であるときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上の非整数値であるときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定するとしてもよい。
【００１５】
このようにすれば、出力画像サイズ比の値が、所定の閾値以上であっても、整数値であるときは、生成画像サイズは出力画像サイズと等しい値に設定される。ここで、出力画像サイズ比の値が整数値であるときは、高精細画像データ生成処理に要する時間は比較的短いため、処理時間の増大を抑制することができ、かつ、画質の向上の効果を得ることができる。
【００１６】
また、上記画像生成装置において、前記画像生成装置は、複数の出力装置を接続可能であり、
前記生成画像サイズ設定部は、前記複数の出力装置の内、前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得するとしてもよい。
【００１７】
このようにすれば、複数の出力装置の内、高精細画像データの出力に用いる出力装置に適した高精細画像データを生成することができる。
【００１８】
また、上記画像生成装置は、さらに、前記生成画像サイズと、前記合成元画像データを特定するための情報と、を含む高精細処理特定情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部と、
ユーザーが選択画像ファイルとして選択した高精細画像ファイル中に含まれる高精細画像データを出力する際に、前記選択画像ファイルに含まれる高精細処理特定情報を用いて、前記画像合成部における再度の高精細画像データ生成処理の省略の可否を判定する再処理省略判定部と、を備え、
前記再処理省略判定部が省略否と判定したときは、前記画像合成部が、再度の高精細画像データ生成処理を実行するとしてもよい。
【００１９】
このようにすれば、高精細画像ファイル中に含まれる高精細画像データを出力する際に、高精細処理特定情報を用いて、再度の高精細画像データ生成処理の省略の可否を判定することができ、処理時間の短縮を図ることができる。
【００２０】
上記画像生成装置において、前記再処理省略判定部は、
前記選択画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定するとしてもよい。
【００２１】
このようにすれば、選択画像ファイルに含まれる高精細画像データを出力に用いるときに、出力装置側における画像サイズ変換処理に伴う画質の低下が小さいか否かを判定することができ、再度の高精細画像データ生成処理の省略による処理時間の短縮を図ることができる。
【００２２】
また、上記画像生成装置において、前記再処理省略判定部は、
複数の高精細画像ファイルを格納した記録媒体のうちで、所定の検索範囲内のデータ格納領域に格納された高精細画像ファイルを検索対象画像ファイルとして設定し、
（i）前記選択画像ファイルおよび前記検索対象画像ファイルに含まれるそれぞれの高精細処理特定情報中の合成元画像データを特定するための情報によって、前記選択画像ファイルに含まれる高精細画像データと、前記検索対象画像ファイルに含まれる高精細画像データとの間に画像の同一性があると判定され、かつ、
（ii）前記検索対象画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定するとしてもよい。
【００２３】
このようにすれば、選択画像ファイルに含まれる高精細画像データと、画像の同一性がある高精細画像データを含む検索対象画像ファイルであって、出力装置側における画像サイズ変換処理に伴う画質の低下が少ないものを探索することができ、再度の高精細画像データ生成処理の省略による処理時間の短縮を図ることができる。
【００２４】
さらに、上記画像生成装置において、前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データであるとしてもよい。
【００２５】
このようにすれば、動画像を構成する時系列的に連続したフレーム画像データから高精細画像データを生成する処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することができる。
【００２６】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像生成方法および装置、画像データ処理方法および装置、画像変換方法および装置、画像出力方法および装置、画像検索方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施例としての画像生成装置の構成を概略的に示した説明図。
【図２】画像表示操作部の表示画面の一例を概略的に示した説明図。
【図３】画像生成装置による高精細画像データ生成処理の概要を示した説明図。
【図４】画像生成装置による高精細画像データ生成処理の流れを示すフローチャート。
【図５】出力装置がプリンタである場合に出力装置情報に基づいて出力画像サイズＷｏを設定する処理の概要を示す説明図。
【図６】生成画像サイズＷｐの設定の処理の内容を概略的に示す説明図。
【図７】画像合成部による画像合成処理の流れを示すフローチャート。
【図８】基準フレーム画像と対象フレーム画像との位置ずれについて示す説明図。
【図９】基準フレーム画像と対象フレーム画像との位置ずれの補正について示す説明図。
【図１０】基準フレーム画像と対象フレーム画像とをずれを補正して配置した様子を拡大して示す説明図。
【図１１】バイ・リニア法による補間処理について示す説明図。
【図１２】本発明の第２実施例としての画像生成装置の構成を概略的に示した説明図。
【図１３】画像生成装置による高精細画像ファイル生成処理の流れを示すフローチャート。
【図１４】高精細処理特定情報の内容を概略的に示す説明図。
【図１５】高精細画像ファイルの内部構成の一例を概略的に示す説明図。
【図１６】画像生成装置による高精細画像出力処理の流れを示すフローチャート。
【図１７】画像生成装置による高精細画像出力処理の概要を示す説明図。
【図１８】選択画像ファイルによる再処理省略判定の処理の流れを示すフローチャート。
【図１９】検索対象画像ファイルによる再処理省略判定の処理の流れを示すフローチャート。
【発明を実施するための形態】
【００２８】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像生成装置の構成：
Ａ−２．画像生成処理の概要：
Ａ−３．高精細画像データ生成処理：
Ａ−４．画像合成処理：
Ｂ．第２実施例：
Ｃ．変形例：
【００２９】
Ａ．第１実施例：
Ａ−１．画像生成装置の構成：
図１は、本発明の第１実施例としての画像生成装置の構成を概略的に示した説明図である。この画像生成装置１０は、画像データを格納する画像格納部１１と、画像を表示する表示画面と、ユーザーが種々の操作を行うための各種のボタンとを有する画像表示操作部１２と、画像の出力装置への出力を制御する画像出力制御部１３と、外部入出力装置とのインターフェイス２０とを備えている。画像生成装置１０は、ユーザーによる画像表示操作部１２の操作に応じて、インターフェイス２０を介して接続されるデジタルビデオカメラ３０やデジタルスチルカメラ４０等の画像入力装置から、静止画像データや動画像データ等の画像データを取り込み、画像格納部１１に格納することができる。また、画像生成装置１０の画像出力制御部１３は、画像格納部１１に格納された画像データの表す画像を、画像表示操作部１２に表示させたり、インターフェイス２０を介して接続されるプリンタ５０やプロジェクタ６０等の画像出力装置に出力させたりすることができる。このように、画像生成装置１０は、いわゆる「フォトビューワ」としての機能を有している。
【００３０】
なお、画像生成装置１０は、コンピュータ内のハードディスクドライブやＣＤ−Ｒ／ＲＷドライブ、ＤＶＤドライブ等の他の記録媒体から画像データを取り込むことも可能である。また、画像生成装置１０は、モニタやテレビ受像機等の他の出力装置に画像を出力させることも可能である。さらに、画像生成装置１０は、ユーザーが各種指示を入力するためのキーボードやマウスを備えることも可能である。
【００３１】
また、画像生成装置１０は、所定のオペレーティングシステムの下で、高精細画像データを生成するためのアプリケーションプログラムを実行することにより、高精細画像データ生成処理を行う。この高精細画像データ生成処理は、画像格納部１１に格納された動画像データを構成する複数のフレーム画像データから、フレーム画像データの表すフレーム画像よりも高精細な静止画像である高精細画像を表す高精細画像データの生成を行う処理である。そして、画像生成装置１０は、生成する高精細画像の出力に用いる出力装置に関する情報（本明細書において「出力装置情報」と呼ぶ）に基づき設定される出力画像サイズを参照して、出力装置での出力に適した高精細画像の画像サイズを生成画像サイズとして設定する。このアプリケーションプログラムは、画像生成制御部１４と、生成画像サイズ設定部１５と、画像合成部１６としての機能を有している。
【００３２】
なお、画像生成装置１０は、高精細画像データ生成処理によって生成した高精細画像データを画像格納部１１に格納することができる。また、画像生成装置１０は、画像格納部１１に格納された高精細画像データの表す高精細画像を、画像表示操作部１２に表示させたり、プリンタ５０やプロジェクタ６０等の出力装置に出力させたりすることができる。
【００３３】
図２は、画像表示操作部の表示画面の一例を概略的に示した説明図である。画像表示操作部１２は、タッチパネル式の表示画面１２０を備えており、表示画面１２０上に静止画像データや動画像データの表す画像を表示することができる。また、ユーザーは、表示画面１２０上の所定の位置に触れることによって、種々の操作を行うことができる。画像表示操作部１２の表示画面１２０には、画像データ種別画面１２１と、画像リスト画面１２２と、画像表示画面１２３と、動画操作ボタン１２４と、高精細画像生成・出力ボタン１２５と、出力装置表示画面１２６と、出力設定ボタン１２７とを表示させることができる。
【００３４】
画像データ種別画面１２１は、画像格納部１１に格納されている画像データの内、画像リスト画面１２２にサムネイル画像を表示させる画像デ―タの種別を表示している。ここで、画像データの種別としては、動画像データと静止画像データとがあり、また静止画像データの中には高精細画像データ生成処理によって生成された高精細画像データが含まれる。ユーザーは、画像データ種別画面１２１を操作することによって、画像データ種別画面１２１の表示を、「動画像」、「静止画像」、「高精細画像」、「すべての画像」のいずれかに設定することができる。ユーザーによる画像データ種別画面１２１の設定に応じて、画像リスト画面１２２には、設定された画像種別の画像データのサムネイル画像が表示される。図２の例では、画像データ種別画面１２１に「動画像」と表示されているため、画像リスト画面１２２には、画像格納部１１に格納されているすべての動画像データのサムネイル画像が表示されている。
【００３５】
なお、動画像データのサムネイル画像としては、その動画像中の任意のフレーム画像のサムネイル画像を用いることができるが、本実施例では動画像中の最初のフレーム画像のサムネイル画像を用いるものとする。また、本実施例では、画像リスト画面１２２にサムネイル画像を表示させるものとしているが、画像リスト画面１２２に静止画像データの表す静止画像そのものや、動画像データ中の任意のフレーム画像データの表すフレーム画像そのものを表示させることも可能である。
【００３６】
ユーザーは、画像リスト画面１２２に表示されたサムネイル画像を見て、画像表示画面１２３に表示させたい画像を選択することによって、選択した画像を画像表示画面１２３に表示させることができる。図２の例では、ユーザーによって太枠で囲まれた画像が選択され、選択された画像（以下「選択画像Ｇｓ」と呼ぶ）が画像表示画面１２３に大きく表示されている。なお、選択画像Ｇｓが動画像のときには、動画像中の任意のフレーム画像を画像表示画面１２３に表示することができるが、本実施例では動画像中の最初のフレーム画像を表示するものとする。
【００３７】
選択画像Ｇｓが動画像のときには、ユーザーは、動画操作ボタン１２４を操作して、動画像を画像表示画面１２３に再生させたり、再生を一時停止させたりすることができる。
【００３８】
また、選択画像Ｇｓが動画像のときには、ユーザーは、高精細画像生成・出力ボタン１２５を操作して、高精細画像データを生成する高精細画像データ生成処理を行わせることができ、また、高精細画像データ生成処理によって生成された高精細画像を画像生成装置１０に接続されている出力装置に出力させることもできる。さらに、生成された高精細画像を画像表示画面１２３に表示させることも可能である。
【００３９】
出力装置表示画面１２６は、画像生成装置１０に接続され画像を出力する出力装置が表示される。また、ユーザーは、出力設定ボタン１２７を操作して、出力装置による出力についての各種設定を行うことができる。
【００４０】
Ａ−２．画像生成処理の概要：
図３は、画像生成装置による高精細画像データ生成処理の概要を示した説明図である。画像生成装置１０（図１）は、動画像中の複数のフレーム画像Ｇｆを表す複数のフレーム画像データを合成して、高精細画像Ｇｐを表す高精細画像データを生成する高精細画像データ生成処理を行う。なお、本明細書において、高精細画像データ生成処理に用いる動画像を「元動画像」と呼び、元動画像を表す動画像データを「元動画像データ」と呼ぶ。図３の上段には、元動画像を構成する時系列に並んだ複数のフレーム画像Ｇｆを示している。複数のフレーム画像Ｇｆは、図の左側から右側へと時系列順に並んでいる。なお、各フレーム画像Ｇｆの画像サイズ（フレーム画像サイズＷｆ）を、Ｗｆｘ×Ｗｆｙと表すものとする。
【００４１】
また、図３の上段には、画像合成の基準となる１つのフレーム画像（基準フレーム画像Ｆ０）と、合成の対象となるフレーム画像（対象フレーム画像Ｆ１およびＦ２）とを示している。なお、本実施例では、対象フレーム画像として、基準フレーム画像Ｆ０の直後の２つのフレーム画像を用いているが、対象フレーム画像の数や選択の方法は任意に設定できる。
【００４２】
画像生成装置１０（図１）は、基準フレーム画像データと対象フレーム画像データとを用いて高精細画像データ生成処理を行う。なお、「基準フレーム画像データ」とは、基準フレーム画像Ｆ０を表すフレーム画像データを意味し、「対象フレーム画像データ」とは、対象フレーム画像Ｆ１およびＦ２を表すフレーム画像データを意味している。また、本明細書において、基準フレーム画像データと対象フレーム画像データとを合わせて「合成元フレーム画像データ」と呼ぶ。
【００４３】
本実施例では、ユーザーが、動画像の再生中に、高精細画像生成・出力ボタン１２５（図２）を操作したときに、画像表示画面１２３（図２）に表示されているフレーム画像が基準フレーム画像Ｆ０として設定される。また、基準フレーム画像Ｆ０の直後の２つのフレーム画像が対象フレーム画像Ｆ１およびＦ２として設定される。
【００４４】
図３の中段には、高精細画像データ生成処理によって生成された高精細画像Ｇｐを示している。高精細画像Ｇｐの画像サイズ（生成画像サイズＷｐ）は、フレーム画像サイズＷｆよりも大きくなっている。すなわち、高精細画像Ｇｐは、フレーム画像Ｇｆよりも高精細な画像となっている。
【００４５】
ここで、画像生成装置１０は、高精細画像Ｇｐの出力に用いる出力装置の出力装置情報に基づき設定される出力画像サイズＷｏを参照して、出力装置での出力に適した高精細画像Ｇｐの画像サイズを生成画像サイズＷｐとして設定する。図３には、出力に用いるプリンタ５０の出力装置情報に基づき、プリンタ５０における出力に用いられる画像のサイズ（出力画像サイズＷｏ）を設定し、出力画像サイズＷｏを参照して生成画像サイズＷｐを設定している様子を示している。なお、高精細画像Ｇｐは、出力装置で出力されるときに、出力画像サイズＷｏの出力画像Ｇｏに変換されて出力される。
【００４６】
以下、画像生成装置１０による高精細画像データ生成処理の内容を詳細に説明する。
【００４７】
Ａ−３．高精細画像データ生成処理：
図４は、画像生成装置による高精細画像データ生成処理の流れを示すフローチャートである。ステップＳ１００では、画像生成装置１０の画像生成制御部１４（図１）が、元動画像を構成するフレーム画像Ｇｆのフレーム画像サイズＷｆを取得する。フレーム画像サイズＷｆは、画像格納部１１（図１）に格納されている元動画像データのヘッダを参照することによって、取得することができる。また、ユーザーが、フレーム画像サイズＷｆを、画像表示操作部１２（図１）を操作して入力するようにすることも可能である。
【００４８】
ステップＳ２００では、生成画像サイズ設定部１５（図１）が、出力装置情報を取得する。ここで出力装置情報とは、高精細画像データ生成処理によって生成する高精細画像の出力に用いる出力装置に関する情報であり、出力装置の種別に関わらず共通の共通項目と、出力装置の種別によって異なる装置固有項目とを含んでいる。共通項目としては、プリンタやプロジェクタといった出力装置の種別と、出力装置の型番とが含まれる。また、装置固有項目としては、出力装置がプリンタの場合、印刷解像度と、用紙サイズと、画像１画素あたり印刷画素数とが含まれ、出力装置がプロジェクタの場合、プロジェクタの画像サイズが含まれる。なお、本明細書において、「印刷解像度」とは、印刷媒体の単位長さあたりの印刷画素数を意味している。また、「画像１画素あたり印刷画素数」とは、ある画像の１画素を出力するために用いる印刷画素数を意味している。また、「プロジェクタの画像サイズ」とは、プロジェクタが出力することができる画像サイズを意味している。
【００４９】
生成画像サイズ設定部１５（図１）による出力装置情報の取得は、画像生成装置１０（図１）と出力装置との通信によって行うことができる。すなわち、生成画像サイズ設定部１５は、画像生成装置１０に接続され出力先として設定されている出力装置を検出し、検出した出力装置の持つ出力装置情報を接続ケーブルを介して取得することができる。このようにすれば、ユーザーの操作の必要が無く、画像生成装置１０の操作性の向上を図ることができる。また、画像生成装置１０が確実に出力装置情報を取得することができる。
【００５０】
なお、画像生成装置１０と出力装置との通信によっては、出力装置情報の一部のみしか取得できないときは、生成画像サイズ設定部１５は、取得できない出力装置情報を自動的に設定するようにすることも可能である。例えば、出力装置がプリンタであり、出力装置情報の内の印刷解像度が取得できないときは、生成画像サイズ設定部１５は、取得したプリンタの型番を参照して、そのプリンタが持つ印刷解像度の最大値を自動的に設定するようにしてもよい。一般に、出力装置の持つ印刷解像度やプロジェクタの画像サイズの設定値は、最大値の整数分の１倍の値となっている。従って、プリンタの場合の印刷解像度やプロジェクタの場合のプロジェクタの画像サイズが取得できないとき、その出力装置が持つ最大値を自動的に設定するようにすれば、仮にそれ以降に画像サイズ変換処理の必要が生じた場合でも、その処理は整数分の１倍の画像サイズ変換処理となり、画質の低下を最低限に抑制することができる。
【００５１】
また、ユーザーが出力装置情報を、画像表示操作部１２（図１）を操作して、画像生成装置１０に入力することによって、生成画像サイズ設定部１５が出力装置情報を取得するようにすることも可能である。
【００５２】
ステップＳ３００では、生成画像サイズ設定部１５（図１）が、出力装置情報に基づいて出力画像サイズＷｏを設定する。出力画像サイズＷｏとは、出力装置における出力に用いられる画像の画像サイズである。出力画像サイズＷｏの設定は、高精細画像の出力に用いる出力装置の種別によって異なる。
【００５３】
図５は、出力装置がプリンタである場合に、出力装置情報に基づいて出力画像サイズＷｏを設定する処理の概要を示す説明図である。出力装置がプリンタの場合には、出力装置情報として、印刷解像度、用紙サイズ、画像１画素あたり印刷画素数が取得されている。ここで、印刷解像度を横方向ｒｘ（ｄｐｉ）、縦方向ｒｙ（ｄｐｉ）と、用紙サイズを横方向ｐｘ（インチ）、縦方向ｐｙ（インチ）と、画像１画素あたり印刷画素数を横方向ｄｘ（印刷画素／画像画素）、縦方向ｄｙ（印刷画素／画像画素）とそれぞれ表すものとする。
【００５４】
プリンタの出力画像サイズＷｏ（Ｗｏｘ×Ｗｏｙ）は、印刷解像度と用紙サイズとの積を、画像１画素あたり印刷画素数で除した値として設定される。すなわち、出力画像サイズＷｏは、下記の式で表される。
Ｗｏｘ＝ｒｘ×ｐｘ／ｄｘ（画素）
Ｗｏｙ＝ｒｙ×ｐｙ／ｄｙ（画素）
【００５５】
また、出力装置がプロジェクタの場合には、出力装置情報として、プロジェクタの画像サイズが取得されている。上述のように、プロジェクタの画像サイズは、プロジェクタが出力することができる画像サイズを意味しているので、プロジェクタの出力画像サイズＷｏは、プロジェクタの画像サイズと同じ値として設定される。
【００５６】
ステップＳ４００（図４）では、生成画像サイズ設定部１５（図１）が、生成画像サイズＷｐの設定を行う。生成画像サイズＷｐとは、高精細画像データ生成処理により生成する高精細画像Ｇｐの画像サイズである。
【００５７】
ここで、高精細画像データ生成処理では、原則として、生成画像サイズＷｐを、出力画像サイズＷｏと等しいとして設定することが好ましい。なぜなら、生成画像サイズＷｐを出力画像サイズＷｏと等しいとして設定すれば、高精細画像Ｇｐを出力する際に、出力装置側における画像サイズ変換処理が必要無く、出力に伴う高精細画像Ｇｐの画質の低下を抑制することができるからである。また、出力処理の高速化にも効果があるからでもある。なお、本明細書において、「出力装置側における画像サイズ変換処理」とは、出力装置のドライバにおいて、入力された画像データの表す画像の画像サイズを拡大または縮小するように、画像データの変換を行う処理を意味している。
【００５８】
他方、高精細画像データ生成処理では、元動画像のフレーム画像サイズＷｆに対する生成画像サイズＷｐの比の値（Ｗｐ／Ｗｆ）が所定値以上になると、それ以上生成画像サイズＷｐを大きな値に設定しても、画素の補間に伴う誤差が大きくなるので、画質の向上に与える効果はわずかとなってしまう。また、生成画像サイズＷｐを大きな値に設定するほど、高精細画像データ生成処理に要する時間は増大する。従って、出力画像サイズＷｏが比較的大きな値のときに、生成画像サイズＷｐをその出力画像サイズＷｏと等しい値として設定すると、処理内容・処理時間に見合った画質の向上に与える効果が得られない場合がある。
【００５９】
そのため、生成画像サイズ設定部１５は、設定された出力画像サイズＷｏを参照して、生成画像サイズＷｐを設定している。そして、生成画像サイズ設定部１５は、フレーム画像サイズＷｆに対する出力画像サイズＷｏの比（Ｗｏ／Ｗｆ）を出力画像サイズ比ｒＷｏとして算出し、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定を行っている。
【００６０】
図６は、生成画像サイズＷｐの設定の処理の内容を概略的に示す説明図である。図６の上段左側には、フレーム画像サイズＷｆのフレーム画像Ｇｆと、出力画像サイズＷｏの出力画像Ｇｏとを示している。また、図６の上段右側には、算出された出力画像サイズ比ｒＷｏを示している。出力画像サイズ比ｒＷｏは、横方向をｒＷｏｘと、縦方向をｒＷｏｙとして、ｒＷｏｘ×ｒＷｏｙと表す。出力画像サイズ比ｒＷｏは、下記の式で算出される。
ｒＷｏｘ＝Ｗｏｘ／Ｗｆｘ
ｒＷｏｙ＝Ｗｏｙ／Ｗｆｙ
【００６１】
次に、生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏが所定の閾値より小さいか否かを判定する。本実施例では、所定の閾値を、上限生成画像サイズ比ｒＷｍの２倍としている。ここで、「上限生成画像サイズ」とは、元動画像のフレーム画像サイズがＷｆのとき、高精細画像データ生成処理によって十分な画質向上が期待できる最大の生成画像サイズを意味する。また、元動画像のフレーム画像サイズＷｆに対する上限生成画像サイズＷｍの比を「上限生成画像サイズ比ｒＷｍ」と呼ぶものとする。本実施例では、上限生成画像サイズ比ｒＷｍの値を、事前に実験的に求め、デフォルト値として設定することとしている。なお、上限生成画像サイズ比ｒＷｍの値は、ユーザーに設定させることも可能である。また、上限生成画像サイズ比ｒＷｍの値は、１．３以上２．０以下であることが好ましく、１．５以上１．８以下であることがさらに好ましい。
【００６２】
なお、出力画像サイズ比ｒＷｏが所定の閾値より小さいか否かの判定において、出力画像サイズ比ｒＷｏが所定の閾値より小さいとは、ｒＷｏｘおよびｒＷｏｙが共に、所定の閾値より小さいことを意味している。また、出力画像サイズ比ｒＷｏが所定の閾値以上とは、ｒＷｏｘおよびｒＷｙの少なくともどちらか一方が所定の閾値以上であることを意味している。
【００６３】
生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏが所定の閾値（上限生成画像サイズ比ｒＷｍの２倍）より小さいときは、図６下段左側に示すように、生成画像サイズＷｐを出力画像サイズＷｏと等しい値に設定する。すなわち、生成画像サイズＷｐは下記の式で算出される。
Ｗｐｘ＝Ｗｏｘ
Ｗｐｙ＝Ｗｏｙ
【００６４】
このときには、生成画像サイズＷｐの高精細画像Ｇｐを出力する際に、出力装置側における画像サイズ変換処理の必要は無い。
【００６５】
一方、生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏが所定の閾値以上のときは、図６下段右側に示すように、生成画像サイズＷｐを、出力画像サイズＷｏを調整係数ｋで除した値に設定する。すなわち、生成画像サイズＷｐは下記の式で算出される。
Ｗｐｘ＝Ｗｏｘ／ｋｘ
Ｗｐｙ＝Ｗｏｙ／ｋｙ
【００６６】
ここで、調整係数ｋは、出力装置側における画像サイズの変換比率を表している。すなわち、調整係数ｋは、画像の出力の際に出力装置側でｋ倍の画像サイズ変換処理を行うことによって、高精細画像データ生成処理における生成画像サイズＷｐを抑制するために設定されたものである。調整係数ｋは、横方向をｋｘと、縦方向をｋｙと表す。
【００６７】
調整係数ｋは、上限生成画像サイズ比ｒＷｍに対する出力画像サイズ比ｒＷｏの比を求め、小数点以下を切り捨てて整数値とした値である。すなわち、調整係数ｋは、以下の式で算出される。ただし、関数ＩＮＴ（ｉ）は、ｉの小数点以下を切り捨てて整数値を求める関数を表すものとする。
ｋｘ＝ＩＮＴ（ｒＷｏｘ／ｒＷｍ）
ｋｙ＝ＩＮＴ（ｒＷｏｙ／ｒＷｍ）
【００６８】
上記式により調整係数ｋを算出すると、調整係数ｋは２以上の整数となる。ただし、ｒＷｏｘおよびｒＷｏｙのどちらか一方のみが上限生成画像サイズ比ｒＷｍの２倍以上であると判定されている場合には、調整係数ｋｘおよびｋｙのどちらか一方は１となる場合がある。
【００６９】
このようにして、出力画像サイズ比ｒＷｏが所定の閾値以上のときに、生成画像サイズＷｐを設定すると、生成画像サイズＷｐは、上限生成画像サイズＷｍの２倍より小さい値に設定される。従って、このように生成画像サイズＷｐを設定して、高精細画像データ生成処理を行うと、画質向上の効果が十分得られると共に、処理に要する時間を抑制することができる。
【００７０】
また、このとき、高精細画像Ｇｐの出力の際には、出力装置側でｋ倍の画像サイズ変換処理を行って、出力画像サイズＷｏの出力処理用の画像を生成することとなる。ここで、出力装置側におけるｋ倍の画像サイズ変換処理は、バイ・リニア法やバイ・キュービック法等の一般的な補間処理を利用した画像変換処理を用いて行うことができる。このとき、調整係数ｋは整数であるため、この画像サイズ変換処理は、画像サイズを整数倍に増加させる処理となり、画質の低下を最小限に抑制することができると共に、処理時間の増大を抑制することができる。
【００７１】
ステップＳ５００（図４）では、画像生成制御部１４（図１）が、高精細画像データ生成処理の設定を行う。高精細画像データ生成処理の設定とは、高精細画像データ生成処理の内容を決定するための各種設定を行うことを意味している。具体的には、画像生成制御部１４は、処理に使用する動画像データ（元動画像データ）を特定する情報の取得、基準フレーム画像データを特定する情報の取得、処理に用いる対象フレーム画像データを特定する情報の取得、設定された生成画像サイズＷｏの取得を行う。
【００７２】
本実施例では、元動画像データを特定する情報とは、ユーザーによって選択された動画像データのデータ名およびデータ作成日時を意味している。また、基準フレーム画像データを特定する情報および対象フレーム画像データを特定する情報とは、絶対フレーム番号を意味している。なお、本明細書において、絶対フレーム番号とは、動画像データ中のフレーム画像データの、最初のフレーム画像データから数えた通し番号をいう。
【００７３】
ステップＳ６００では、画像合成部１６（図１）が、ステップＳ５００で設定された内容に従い、画像合成処理を行う。具体的には、画像合成部１６は、画像格納部１１に格納された元動画像データから、基準フレーム画像データおよび対象フレーム画像データ（すなわち、合成元画像データ）を取得し、取得した合成元画像データを合成して、生成画像サイズＷｐの高精細画像Ｇｐを表す高精細画像データを生成する。画像合成部１６による合成元画像データの合成の処理の詳細については、後述する。
【００７４】
以上のようにして、画像生成装置１０（図１）は、生成画像サイズＷｐの高精細画像Ｇｐを表す高精細画像データを生成する高精細画像データ生成処理を行うことができる。このとき、生成画像サイズＷｐは、出力画像サイズＷｏと等しい値となっているか、または、出力画像サイズＷｏを整数である調整係数ｋで除した値となっている。
【００７５】
生成画像サイズＷｐが出力画像サイズＷｏと等しい値である場合は、生成した高精細画像Ｇｐを出力装置によって出力する際に、出力装置側における画像サイズ変換処理が行われないため、出力の際の高精細画像Ｇｐの画質の低下を防止することができる。また、生成画像サイズＷｐが出力画像サイズＷｏを整数で除した値となっている場合は、生成した高精細画像Ｇｐを出力装置によって出力する際に、出力装置側において画像サイズを整数倍する画像サイズ変換処理が行われるが、一般的に画像サイズを整数倍にする処理は画質の低下が少ないため、出力の際の高精細画像Ｇｐの画質の低下を抑制することができる。
【００７６】
このようにして、画像生成装置１０は、複数のフレーム画像データから高精細な画像を表す高精細画像データを生成する高精細画像データ生成処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することができる。
【００７７】
さらに、画像生成装置１０によって生成された高精細画像Ｇｐの出力の際に、出力装置側における画像サイズ変換処理が行われないか、または、画像サイズを整数倍する変換処理が行われるのみであるので、出力に要する処理時間も短縮することができる。
【００７８】
Ａ−４．画像合成処理：
図７は、画像合成部による画像合成処理の流れを示すフローチャートである。ステップＳ６１０では、画像合成部１６（図１）が、合成元フレーム画像データを取得する。上述したように、合成元フレーム画像データとは、元動画像データ中のフレーム画像データの内、画像の合成に用いるフレーム画像データであり、本実施例では、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１およびＦ２との、計３つのフレーム画像Ｇｆを表すフレーム画像データである。画像合成部１６は、画像格納部１１に格納された画像データの中から元動画像データを特定し、元動画像データの中から、絶対フレーム番号を参照して合成元フレーム画像データを取得する。画像合成部１６によって取得された合成元フレーム画像データは、メモリやハードディスクなどの記憶装置（図示せず）に一時的に記憶される。
【００７９】
ステップＳ６２０では、画像合成部１６は、取得した合成元フレーム画像データの各フレーム画像相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。この補正量の推定では、対象フレーム画像Ｆ１およびＦ２について、基準フレーム画像Ｆ０に対する位置ずれを補正するための補正量が、それぞれ推定される。
【００８０】
図８は、基準フレーム画像と対象フレーム画像との位置ずれについて示す説明図であり、図９は、基準フレーム画像と対象フレーム画像との位置ずれの補正について示す説明図である。
【００８１】
以下の説明では、取得した３つのフレーム画像データに連続番号ｎ（ｎ＝０，１，２）を付し、フレーム画像データおよびフレーム画像データの表すフレーム画像をその連続番号ｎを用いて呼ぶものとする。すなわち、連続番号ｎのフレーム画像データをフレームｎと呼び、フレームｎの表す画像をフレーム画像Ｆｎと呼ぶ。例えば、連続番号ｎの値が０のフレーム画像データはフレーム０と呼び、フレーム０の表す画像をフレーム画像Ｆ０と呼ぶ。
【００８２】
ここで、フレーム０は、基準フレーム画像データを示し、Ｆ０は、基準フレーム画像Ｆ０を示すものとする。また、フレーム１およびフレーム２は、対象フレーム画像データを示すものとし、Ｆ１およびＦ２は、対象フレーム画像Ｆ１およびＦ２を示すものとする。
【００８３】
画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図８では、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ２の縁とを重ねた状態を示している。また、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ２と同様にずれたとして、対象フレーム画像Ｆ２上に、ずれた結果の画像である十字画像Ｘ２を示している。また、基準フレーム画像Ｆ０および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ２および十字画像Ｘ２を細い破線で示している。
【００８４】
本実施例では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」、回転ずれ量を「δｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」、「δｍｎ」と表す。例えば、図８に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍｎ、ｖｍｎ、δｍｎと表される。
【００８５】
ここで、各対象フレーム画像（Ｆ１およびＦ２）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正することとなる。この補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」、回転補正量を「δ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらの補正量を「ｕｎ」、「ｖｎ」、「δｎ」と表す。例えば、対象フレーム画像Ｆ２についての補正量は、ｕ２、ｖ２、δ２と表される。
【００８６】
ここで、補正とは、対象フレーム画像Ｆｎ（ｎ＝１，２）の各画素の位置を、横方向にｕｎの移動、縦方向にｖｎの移動、およびδｎの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎ、δｎ＝−δｍｎの関係で表される。例えば、対象フレーム画像Ｆ２についての補正量ｕ２、ｖ２、δ２は、ｕ２＝−ｕｍ２、ｖ２＝−ｖｍ２、δ２＝−δｍ２で表される。
【００８７】
以上のことから、例えば、図９に示すように、補正量ｕ２、ｖ２、δ２を用いて、対象フレーム画像Ｆ２の各画素の位置を補正することにより、対象フレーム画像Ｆ２と基準フレーム画像Ｆ０とのずれをなくすことができる。このとき、補正後の対象フレーム画像Ｆ２と、基準フレーム画像Ｆ０と、をディスプレイ（図示せず）で表示させると、図９に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して部分的に一致する状態で表示される。なお、この補正の結果を分かり易く示すため、図９においても、図８と同じ仮想の十字画像Ｘ０および十字画像Ｘ２を表記しており、図９に示すように、補正の結果として、十字画像Ｘ２と十字画像Ｘ０との間のずれがなくなり一致することとなる。
【００８８】
同様に、対象フレーム画像Ｆ１についても、補正量ｕ１、ｖ１、δ１の各値を用いて補正が施され、対象フレーム画像Ｆ１の各画素の位置を置き換えることができる。
【００８９】
ところで、各対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、画像合成部１６（図１）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ２の画像データとに基づき、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式を用いて算出される。そして、算出された補正量ｕｎ、ｖｎ、δｎは、並進補正量データｕｎ、ｖｎおよび回転補正量データδｎとして、メモリ内（図示せず）の所定の領域に記憶される。
【００９０】
本実施例では、画像合成部１６は、推定した補正量ｕｎ、ｖｎ、δｎを用いて、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ２との位置ずれを補正する。
【００９１】
ステップＳ６３０では、画像合成部１６（図１）は、基準フレーム画像データと補正した対象フレーム画像データとを合成して高精細画像Ｇｐを表す高精細画像データを生成する。このとき、画像合成部１６は、生成する高精細画像Ｇｐを構成する各画素（以下「生成画素」とも呼ぶ）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高精細化を行う。
【００９２】
図１０は、基準フレーム画像と対象フレーム画像とを、ずれを補正して配置した様子を拡大して示す説明図である。図１０では、高精細画像Ｇｐの各画素の中心位置が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素の中心位置が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ２の各画素の中心位置が、ハッチングを施した四辺形で示されている。なお、以下において高精細画像Ｇｐの画像サイズ（画素の数）は、基準フレーム画像Ｆ０の画像サイズに対して、縦横それぞれ１．５倍になっているものとする。また、高精細画像Ｇｐの各画素の中心は、２画素おきに基準フレーム画像Ｆ０の各画素の中心に重なるような位置にあるものとする。ただし、高精細画像Ｇｐの画素の中心が、必ずしも基準フレーム画像Ｆ０の各画素の中心に重なるように位置している必要はない。例えば、高精細画像Ｇｐの各画素の中心のすべてが、基準フレーム画像Ｆ０の各画素の中心の中間に位置するものでもよく、種々の位置とすることが可能である。また、高精細画像Ｇｐと基準フレーム画像Ｆ０との画像サイズの比も、縦横それぞれ１．５倍に限定されるものではなく、種々の値に設定することができる。
【００９３】
以下では、高精細画像Ｇｐ内のある画素Ｇ（ｊ）に注目して説明する。ここで、変数ｊは、高精細画像Ｇｐの全画素を区別する番号を示しており、例えば、左上の画素から開始して順番に右上の画素までとし、その後１つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素とされる。画像合成部１６は、この画素（以下「注目画素」と呼ぶ）Ｇ（ｊ）に最も近い距離にある画素（以下「最近傍画素」と呼ぶ）を探索する。
【００９４】
具体的には、画像合成部１６は、各フレーム画像Ｆ０，Ｆ１，Ｆ２において、注目画素Ｇ（ｊ）に対して、最も近い画素（以下近傍画素とも呼ぶ）Ｆ（０），Ｆ（１），Ｆ（２）と、注目画素Ｇ（ｊ）との距離Ｌ０，Ｌ１，Ｌ２を算出し、最近傍画素を決定する。例えば、図１０では、Ｌ２＜Ｌ１＜Ｌ０であるので、画像合成部１６は、対象フレーム画像Ｆ２の画素Ｆ（２）を、注目画素Ｇ（ｊ）の最近傍画素として決定する。なお、この注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレーム画像Ｆ２のｉ番目の画素であったとして、以下、最近傍画素Ｆ（２，ｉ）と表記する。
【００９５】
そして、画像合成部１６は、以上の手順を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、合成画像Ｇ内の全ての画素について実行し、それぞれの画素について最近傍画素を決定する。
【００９６】
次に、画像合成部１６は、注目画素Ｇ（ｊ）の画素データを、決定された最近傍画素と、この最近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。以下に、バイ・リニア法による補間処理の一例について説明する。
【００９７】
図１１は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ２のいずれにも存在しない画素であるので、画素データが存在していない。また、上述のとおり、対象フレーム画像Ｆ２の画素Ｆ（２）が、注目画素Ｇ（ｊ）の最近傍画素Ｆ（２，ｉ）として決定されている。このとき、画像合成部１６は、最近傍画素Ｆ（２，ｉ）と、最近傍画素Ｆ（２，ｉ）の他に、対象フレーム画像Ｆ２において注目画素Ｇ（ｊ）を囲む３つの画素Ｆ（２，ｉ＋１）、Ｆ（２，ｋ）、Ｆ（２，ｋ＋１）とを用いて補間処理を行う。なお、本明細書において、最近傍画素Ｆ（２，ｉ）と、注目画素Ｇ（ｊ）を囲む他の３つの画素Ｆ（２，ｉ＋１）、Ｆ（２，ｋ）、Ｆ（２，ｋ＋１）とを合わせて周囲画素と呼び、周囲画素の中心を周囲画素中心と呼ぶ。また、ｋはｉ番目の画素にフレーム画像Ｆ２の横方向の画素数を加えた画素の番号を示している。
【００９８】
まず、４つの周囲画素中心に囲まれた四角形を、各周囲画素中心と注目画素Ｇ（ｊ）の中心とを結ぶ４つの線分によって４つの区画に分割する。そして、４つの周囲画素中心に囲まれた四角形の面積と、その四角形内の４つの区画の面積とを用いて、各周囲画素の重み係数を算出する。すなわち、周囲画素のそれぞれについて、４つの周囲画素中心に囲まれた四角形の面積に対する、４つの区画の内その周囲画素中心に接しない２つの区画の面積の合計の比を、その周囲画素の重み係数とする。従って、注目画素Ｇ（ｊ）の画素データは、周囲画素のそれぞれについて、その周囲画素の画素データと、その周囲画素の重み係数との積を合計することにより算出される。
【００９９】
以上のように、画像合成処理では、基準フレーム画像と対象フレーム画像のうち、最近傍画素を含むフレーム画像の画素を用いて、注目画素の補間処理を行うことにより、合成を行いつつ高精細化を行っている。このため、非常に高画質な静止画像を得ることができる。
【０１００】
Ｂ．第２実施例：
図１２は、本発明の第２実施例としての画像生成装置の構成を概略的に示した説明図である。図１に示した第１実施例との違いは、本実施例では、画像生成装置１０が画像ファイル生成部１８と、再処理省略判定部１９とを備えていることであり、その他の点は第１実施例と同じである。画像ファイル生成部１８は、高精細画像データ生成処理によって生成された高精細画像データと、高精細画像データ生成処理の内容を特定するための高精細処理特定情報とを含む高精細画像ファイルを生成する。また、再処理省略判定部１９は、後述する再処理省略判定を行う。
【０１０１】
図１３は、画像生成装置による高精細画像ファイル生成処理の流れを示すフローチャートである。図４に示した第１実施例における高精細画像データ生成処理との違いは、本実施例における高精細画像ファイル生成処理では、ステップＳ７００の高精細処理特定情報生成と、ステップＳ８００の高精細画像ファイル生成とを行っていることであり、その他の点は第１実施例における高精細画像データ生成処理と同じである。
【０１０２】
ステップＳ７００では、画像ファイル生成部１８（図１２）が、高精細処理特定情報を生成する。図１４は、高精細処理特定情報の内容を概略的に示す説明図である。上述したように、高精細処理特定情報は高精細画像データ生成処理の内容を特定するための情報であり、その内容は、画像処理名情報と、合成元画像データ特定情報と、画像処理設定情報とを含んでいる。
【０１０３】
画像処理名情報には、画像データが精細画像データ生成処理により生成された高精細画像データであるという情報が含まれる。また、合成元画像データ特定情報には、元動画像データを特定するための元動画像データ名および元動画像データ作成日時と、元動画像データのフレーム画像サイズと、基準フレーム画像データを特定するための絶対フレーム番号と、対象フレーム画像データを特定するための絶対フレーム番号とが含まれる。また、画像処理設定情報には、画像合成に用いたフレーム画像数と、生成画像サイズＷｐとが含まれる。
【０１０４】
ステップＳ８００（図１３）では、画像ファイル生成部１８（図１２）が、高精細画像ファイルを生成する。図１５は、高精細画像ファイルの内部構成の一例を概略的に示す説明図である。高精細画像ファイルＧＦは、高精細画像データを格納する画像データ格納領域９０と、画像データ情報を格納する画像データ情報格納領域８０とを備えている。ここで、画像データ情報は、高精細画像データに関する種々の情報を意味し、その中には、高精細処理特定情報を含んでいる。高精細画像データは、例えば、ＪＰＥＧ形式で格納されており、画像データ情報は、例えば、ＴＩＦＦ形式で格納されている。なお、本実施例におけるファイルの構造、データの構造、といった用語は、ファイルまたはデータ等が記憶装置に格納された状態におけるファイルまたはデータの構造を意味するものである。
【０１０５】
高精細画像ファイルＧＦは、基本的に上記の画像データ格納領域９０と、画像データ情報格納領域８０とを備えていれば良く、既に規格化されているファイル形式に従ったファイル構造をとることができる。以下、本実施例に係る高精細画像ファイルＧＦを規格化されているファイル形式に適合させた場合について具体的に説明する。
【０１０６】
高精細画像ファイルＧＦは、例えば、デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）に従ったファイル構造を有することができる。Ｅｘｉｆファイルの仕様は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。また、Ｅｘｉｆファイル形式は、図１５に示した概念図と同様に、ＪＰＥＧ形式の画像データを格納するＪＰＥＧ画像データ格納領域と、格納されているＪＰＥＧ画像データに関する各種情報を格納する付属情報格納領域とを備えている。ＪＰＥＧ画像データ格納領域は図１５における画像データ格納領域９０に相当し、付属情報格納領域は図１５における画像データ情報格納領域８０に相当する。なお、当業者にとって周知であるように、Ｅｘｉｆファイル形式のファイルでは、各データを特定するためにタグが用いられており、各データはタグ名によって呼ばれることがある。
【０１０７】
付属情報格納領域には、図１４に示した高精細処理特定情報が、規定のアドレスまたはオフセット値に従って格納されている。高精細処理特定情報は、例えば、付属情報格納領域内の未定義領域内であって、ユーザーに解放されているユーザー定義領域内に格納することができる。
【０１０８】
以上説明したように、第２実施例の画像生成装置１０（図１２）は、高精細画像データと、高精細処理特定情報とを含む高精細画像ファイルを生成することができる。このように高精細画像ファイルを生成すると、高精細処理特定情報を参照することによって、高精細画像ファイルに含まれる高精細画像データが、どのような高精細画像データ生成処理によって生成されたかがわかることとなる。このことは、以下の点で有用である。
【０１０９】
例えば、ユーザーが、画像格納部１１に格納されている高精細画像ファイルを選択し、その高精細画像ファイルに含まれる高精細画像データを出力するときを考える。画像生成装置１０には、複数の種別（プリンタやプロジェクタなど）および型番（機種）の出力装置を接続することが可能であるので、高精細画像ファイル生成時に対象としていた出力装置と、現在出力に用いようとしている出力装置が異なる場合、その高精細画像ファイルに含まれる高精細画像データが、出力に用いようとしている出力装置に適しているとは限らない。このようなとき、画像生成装置１０は、高精細処理特定情報を参照することによって、その高精細画像データが出力に用いようとしている出力装置に適しているかを判別することができる。
【０１１０】
また、画像生成装置１０が、その高精細画像データは出力に用いようとしている出力装置に適していないと判別したとき、その高精細画像データと画像の同一性があり、かつ、その出力装置に適した高精細画像データを含む高精細画像ファイルを検索することもできる。さらに、画像生成装置１０が、その出力装置に適した高精細画像データを含む高精細画像ファイルを検索しても、検出できなかった場合には、その出力装置に適した高精細画像データを含む高精細画像ファイルを改めて生成することもできる。
【０１１１】
図１６は、画像生成装置による高精細画像出力処理の流れを示すフローチャートである。また、図１７は、画像生成装置による高精細画像出力処理の概要を示す説明図である。なお、本明細書において、「高精細画像出力処理」とは、ユーザーが、画像格納部１１に格納されている高精細画像ファイルの中から１つの高精細画像ファイルを選択し、高精細画像生成・出力ボタン１２５（図２）を操作して出力指示をしたときに、画像生成装置１０が行う処理を意味している。また、本明細書において、上記のようにユーザーが選択した高精細画像ファイルを「選択画像ファイル」と呼ぶものとする。
【０１１２】
ステップＳ１０００（図１６）では、画像出力制御部１３（図１２）が、選択画像ファイルに含まれる高精細処理特定情報を取得する。図１７の左側には、画像格納部１１を示しており、画像格納部１１内に格納されている高精細画像ファイルの１つである選択画像ファイルから取得した高精細処理特定情報を右側上段に示している。
【０１１３】
ステップＳ１１００では、生成画像サイズ設定部１５（図１２）が、出力装置情報を取得する。ステップＳ１２００では、生成画像サイズ設定部１５が、出力装置情報に基づいて出力画像サイズＷｏを設定する。生成画像サイズ設定部１５による出力装置情報の取得および出力画像サイズＷｏの設定の処理内容は、図４に示した第１実施例におけるステップＳ２００およびステップＳ３００の処理内容と同じである。図１７の右側には、設定された出力画像サイズＷｏを示している。
【０１１４】
ステップＳ１３００では、再処理省略判定部１９（図１２）が、選択画像ファイルによる再処理省略判定を行う。ここで、「再処理」とは、出力に用いる出力装置に適した高精細画像データを含む高精細画像ファイルを生成する高精細画像ファイル生成処理を改めて行うことを意味し、「再処理省略判定」とは、再処理を省略して、既に生成されている高精細画像を出力することが可能か否かの判定を意味している。ステップＳ１３００における再処理省略判定は、選択画像ファイルの高精細処理特定情報と、設定された出力画像サイズＷｏとを比較することによって行うものであり、図１７中には判定１として示している。
【０１１５】
図１８は、選択画像ファイルによる再処理省略判定の処理の流れを示すフローチャートである。ステップＳ１３１０では、再処理省略判定部１９が、画像サイズの判定を行う。画像サイズの判定は、選択画像ファイルの高精細処理特定情報中に含まれる生成画像サイズＷｐが、設定された出力画像サイズＷｏの整数倍となっているか否かの判定である。
【０１１６】
生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていると判定したときは（ステップＳ１３１０：Ｙｅｓ）、再処理省略判定部１９は、再処理省略可と判定する。生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっているときは、選択画像ファイルに含まれる高精細画像データを出力する際に、出力装置側における画像サイズ変換処理が行われないか、または、整数分の１倍の画像サイズ変換処理が行われるかのどちらかである。そのため、高精細画像データの出力に伴う画質の低下は、無いか、または、小さい。従って、このようなときは、再処理を省略し、選択画像ファイルに含まれる高精細画像データを出力に用いることができるとしている。
【０１１７】
一方、生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていないと判定したときは（ステップＳ１３１０：Ｎｏ）、再処理省略判定部１９は、再処理省略不可と判定する。生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていないときは、選択画像ファイルに含まれる高精細画像データを出力する際に、出力装置側において非整数分の１倍の画像サイズ変換処理が行われる。そのため、高精細画像データの出力に伴う画質の低下は大きい。従って、このようなときは、選択画像ファイルに含まれる高精細画像データを出力に用いることによって再処理を省略することはできないとしている。
【０１１８】
ステップＳ１３００（図１６）において、再処理省略可と判定されたときは、ステップＳ１６００に進み、画像出力制御部１３（図１２）が、選択画像ファイルに含まれる高精細画像データの出力を行う。一方、ステップＳ１３００において、再処理省略不可と判定されたときは、ステップＳ１４００に進む。
【０１１９】
ステップＳ１４００では、再処理省略判定部１９が、検索対象画像ファイルによる再処理省略判定を行う。ステップＳ１４００における再処理省略判定は、複数の高精細画像ファイルを格納した記録媒体の内で、所定の検索範囲内のデータ格納領域内に格納された高精細画像ファイルを検索対象画像ファイルとして設定して行う。そして、設定された検索対象画像ファイル内に含まれる高精細処理特定情報と、選択画像ファイル内に含まれる高精細処理特定情報および設定された出力画像サイズＷｏとを比較することによって行う。すなわち、選択画像ファイルに含まれる高精細画像データと同一性があり、かつ、出力装置に適した高精細画像データを含む高精細画像ファイルを、所定の検索範囲内において探索する処理である。ここで、所定の検索範囲は任意に設定することができるが、本実施例では、所定の検索範囲を画像格納部１１内に設定しているものとする。図１７の左側には画像格納部１１に格納された高精細画像ファイルを示しており、高精細画像ファイルを検索対象画像ファイルとして設定して行う再処理省略判定を図１７中に判定２、３、４・・・として示している。
【０１２０】
図１９は、検索対象画像ファイルによる再処理省略判定の処理の流れを示すフローチャートである。ステップＳ１４１０では、再処理省略判定部１９（図１２）が、検索対象画像ファイルを設定する。検索対象画像ファイルの設定は、画像格納部１１に格納されている高精細画像ファイルの中から、まだ検索対象ファイルとして設定されていない任意の高精細画像ファイルを選択することにより行う。ここで、検索対象画像ファイルの設定のためには、画像格納部１１に格納された画像ファイルの中から、高精細画像ファイルを識別する必要がある。上述したように、高精細画像ファイルは、画像ファイル中の高精細処理特定情報に、画像データが高精細画像データ生成処理により生成された高精細画像データであるという情報が含まれているため、その情報を元に高精細画像ファイルの識別を行うことができる。
【０１２１】
ステップＳ１４２０では、再処理省略判定部１９が、検索対象画像ファイルに含まれる高精細処理特定情報を取得する。
【０１２２】
ステップＳ１４３０では、再処理省略判定部１９が、画像の同一性の判定を行う。画像の同一性の判定は、検索対象画像ファイルに含まれる高精細画像データの表す高精細画像が、選択対象画像ファイルに含まれる高精細画像データの表す高精細画像と同一性があるかの判定である。
【０１２３】
画像の同一性の判定は、検索対象画像ファイルに含まれる高精細処理特定情報と、選択対象画像ファイルに含まれる構成再処理特定情報とを比較し、元動画像データの同一性、基準フレーム画像の同一性、合成フレーム数の同一性を判定することにより行う。
【０１２４】
元動画像データの同一性の判定では、再処理省略判定部１９が、両画像ファイルの元動画像データ名および元動画像データ作成日時が一致しているかを判定し、一致していれば同一性があると判定する。基準フレーム画像の同一性の判定では、再処理省略判定部１９が、両画像ファイルの基準フレーム画像データの絶対フレーム番号が一致しているか否かを判定し、一致していれば同一性があると判定する。合成フレーム数の同一性の判定では、再処理省略判定部１９が、両画像ファイルの合成フレーム数が一致しているか、または、検索対象画像ファイルの方が合成フレーム数が大きいときは、同一性があると判定する。
【０１２５】
再処理省略判定部１９は、元動画像データの同一性、基準フレーム画像の同一性、合成フレーム数の同一性のすべてにおいて、同一性があると判定したときは、画像の同一性があると判定する。一方、元動画像データの同一性、基準フレーム画像の同一性、合成フレーム数の同一性のどれか１つでも同一性がないと判定したときは、画像の同一性がないと判定する。
【０１２６】
ステップＳ１４３０の画像の同一性の判定において、画像の同一性があると判定されたときは（ステップＳ１４３０：Ｙｅｓ）、ステップＳ１４４０に進む。一方、画像の同一性がないと判定されたときには（ステップＳ１４３０：Ｎｏ）、ステップＳ１４５０に進む。
【０１２７】
ステップＳ１４４０では、再処理省略判定部１９が、画像サイズの判定を行う。画像サイズの判定は、検索対象画像ファイルの生成画像サイズＷｐが、設定された出力画像サイズＷｏの整数倍となっているか否かの判定である。この判定の内容は、図１８のステップＳ１３１０における画像サイズの判定の内容と同じである。
【０１２８】
ステップＳ１４４０の画像サイズの判定において、再処理省略判定部１９が、生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていると判定したときは（ステップＳ１４４０：Ｙｅｓ）、再処理省略判定部１９が、再処理省略可と判定し、そのとき判定の対象となっていた検索対象画像ファイルを代替画像ファイルとして設定する。一方、生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていないと判定したときは（ステップＳ１４４０：Ｎｏ）、ステップＳ１４５０に進む。
【０１２９】
ステップＳ１４５０では、再処理省略判定部１９が、画像格納部１１に格納されているすべての高精細画像ファイルを検索対象画像ファイルとして設定したか否かを判定する。画像格納部１１に格納されているすべての高精細画像ファイルを検索対象画像ファイルとして設定したと判定したときは（ステップＳ１４５０：Ｙｅｓ）、再処理省略判定部１９は、再処理省略不可と判定する。一方、画像格納部１１に格納されているすべての高精細画像ファイルを検索対象画像ファイルとして設定していない、すなわち、まだ検索対象画像ファイルとして設定していない高精細画像ファイルが存在すると判定したときは（ステップＳ１４５０：Ｎｏ）、再処理省略判定部１９は、ステップＳ１４１０に戻って処理を繰り返す。
【０１３０】
ステップＳ１４００（図１６）において、再処理省略可と判定されたときは、ステップＳ１８００に進み、画像出力制御部１３（図１２）が、代替画像ファイルに含まれる高精細画像データの出力を行う。一方、ステップＳ１４００において、再処理省略不可と判定されたときは、ステップＳ１５００に進む。
【０１３１】
ステップＳ１５００では、再処理省略判定部１９が、再処理実行可否の判定を行う。上述したように、再処理とは、出力に用いる出力装置に適した高精細画像データを含む高精細画像ファイルを生成する高精細画像ファイル生成処理を改めて行うことを意味している。そして、高精細画像ファイル生成処理は、その処理内容が特定されていることを前提とすれば、元動画像データが存在すれば実行可能である。従って、再処理実行可否の判定は、ステップＳ１０００で取得した選択画像ファイルの高精細処理特定情報によって特定される元動画像データが、画像格納部１１内に存在するか否かの判定である。すなわち、再処理省略判定部１９は、元動画像データ名と元動画像データ作成日時とによって特定される元動画像データが画像格納部１１内に存在すれば、再処理実行可と判定する。一方、再処理省略判定部１９は、元動画像データが画像格納部１１内に存在しなければ、再処理実行不可と判定する。
【０１３２】
ステップＳ１５００で、再処理実行可と判定されたときは（ステップＳ１５００：Ｙｅｓ）、ステップＳ１７００に進み、画像生成装置１０（図１２）が、高精細画像ファイルの生成および出力を行う。ステップＳ１７００の高精細画像ファイルの生成は、ステップＳ１０００で取得した選択画像ファイルの高精細処理特定情報と、ステップＳ１２００で設定された出力画像サイズＷｏとによって特定される高精細画像ファイル生成処理を行う処理である。高精細画像ファイル生成処理の流れは、図１３に示した処理の流れと同じである。また、ステップＳ１７００の高精細画像ファイルの出力は、生成された高精細画像ファイルに含まれる高精細画像データを出力する処理である。
【０１３３】
一方、ステップＳ１５００で、再処理実行不可と判定されたときは（ステップＳ１５００：Ｎｏ）、ステップＳ１６００に進み、画像出力制御部１３（図１２）が、選択画像ファイルに含まれる高精細画像データの出力を行う。このときには、高精細画像データの出力に伴う画質の低下は、ある程度大きくなる。
【０１３４】
以上説明したように、本実施例の画像生成装置１０は、高精細画像データと高精細処理特定情報とを含む高精細画像ファイル生成処理を行うことができる。また、本実施例の画像生成装置１０は、高精細画像ファイルに含まれる高精細画像を出力する際に、画質の低下を抑制しつつ、出力処理時間の増大を抑制することができる。
【０１３５】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１３６】
Ｃ１．変形例１：
上記第１実施例では、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値が所定の閾値よりも小さいか否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定方法を変更していたが、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値に関わらず、生成画像サイズＷｐを出力画像サイズＷｏと等しい値として設定することも可能である。このようにしても、高精細画像データ生成処理の処理時間が増大する場合はあるものの、出力装置での出力に伴う画質の低下は抑制することができる。
【０１３７】
Ｃ２．変形例２：
上記第１実施例では、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定を行っているが、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか否かを判定し、かつ、整数値か否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定を行うとしてもよい。すなわち、生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか、または、整数値であるときは、生成画像サイズＷｐを出力画像サイズＷｏと等しい値に設定し、出力画像サイズ比ｒＷｏの値が所定の閾値以上の非整数値であるときは、生成画像サイズＷｐを出力画像サイズＷｏを調整係数ｋで除した値に設定するとしてもよい。
【０１３８】
このとき、出力画像サイズ比ｒＷｏの値が、所定の閾値以上であっても、整数値であるときは、生成画像サイズＷｐは出力画像サイズＷｏと等しい値に設定される。ここで、出力画像サイズ比ｒＷｏの値が整数値であるときは、高精細画像データ生成処理に要する時間は比較的短くなる。そのため、出力画像サイズ比ｒＷｏの値が所定の閾値以上の整数値であるときに、生成画像サイズＷｐを出力画像サイズＷｏと等しい値に設定するとしても、処理時間の増大を抑制することができ、かつ、画質の向上の効果を得ることができる。
【０１３９】
Ｃ３．変形例３：
上記第１実施例では、生成画像サイズ設定部１５が、出力装置の出力装置情報に基づき設定される出力画像サイズＷｏを参照して生成画像サイズＷｐを設定しているが、生成画像サイズ設定部１５が、出力装置情報に含まれる出力装置の種別に応じて生成画像サイズＷｐを設定するとしてもよい。すなわち、生成画像サイズ設定部１５が、出力に用いるプリンタやプロジェクタなどの出力装置の種別を検知して、生成画像サイズＷｐを設定するとしてもよい。
【０１４０】
例えば、出力装置が「プリンタ」のときは、出力結果である印刷物を近くで観察したり、保存したりすることが考えられるため、高精細な画像が求められやすい。また、出力装置が「プロジェクタ」のときは、出力結果であるスクリーン等への投影は一過性であるため、プリンタのときほど高精細さは求められにくい。このように、一般に、出力装置の種別によって出力結果の利用形態が異なることから、出力装置の種別によって、求められる生成画像サイズＷｐは、ある程度の範囲で定まることが多い。そのため、生成画像サイズ設定部１５が、出力装置の種別に応じて生成画像サイズＷｐを設定するとすることも可能である。このようにすれば、生成画像サイズＷｐの設定処理の高速化を図ることが可能になると共に、出力装置の種別以外の出力装置情報が取得できないときにも、出力装置にある程度適した高精細画像データを生成することが可能となる。さらに、出力装置の種別と、設定される生成画像サイズＷｐとの対応関係を、ユーザーが任意に設定できるとすることも可能である。
【０１４１】
Ｃ４．変形例４：
上記第２実施例における高精細処理特定情報には、高精細画像ファイル生成処理実行の際に対象としていた出力装置を特定する出力装置特定情報を含むとしてもよい。このようにすれば、高精細画像出力処理における再処理省略判定に、出力装置特定情報を用いることができる。例えば、選択画像ファイルによる再処理省略判定において、再処理省略判定部１９が、選択画像ファイル中の出力装置特定情報から特定される出力装置と、出力に用いる出力装置との同一性があれば、再処理省略可と判定することも可能である。
【０１４２】
また、このときの出力装置の同一性の判定は、出力装置の種別のみで比較を行ってもよい。また、出力装置の型番を比較する項目に加えてもよい。さらに、プリンタであれば印刷解像度等を、プロジェクタであればプロジェクタの画像サイズを、比較する項目に加えてもよい。
【０１４３】
Ｃ５．変形例５：
上記第２実施例では、再処理省略判定における画像の同一性の判定において、再処理省略判定部１９が、基準フレーム画像の同一性を絶対フレーム番号の一致によって判定しているが、再処理省略判定部１９が、基準フレーム画像の同一性を絶対フレーム番号の類似によって判定することも可能である。ここで、絶対フレーム番号の類似とは、絶対フレーム番号が、ある基準の番号を含む所定の範囲内にあることを意味している。
【０１４４】
一般に、動画像を構成する連続したフレーム画像の時間的間隔は、数十分の１秒というきわめて短時間である。従って、絶対フレーム番号が所定の範囲内にある複数のフレーム画像は、その内容がきわめて類似し、同一性の範囲にあると言える場合も多い。従って、再処理省略判定部１９が、基準フレーム画像の同一性を絶対フレーム番号の類似（絶対フレーム番号が、ある基準の番号を含む所定の範囲内にあること）によって判定しても、画像の同一性を確保できることも多い。このようにすることで、再処理省略可と判定される条件が緩和され、再処理を省略できる場合が増加するため、好ましい。
【０１４５】
Ｃ６．変形例６：
上記第１実施例では、生成画像サイズ設定部１５が、接続ケーブルを介して出力装置情報を取得しているが、生成画像サイズ設定部１５が、無線通信等の他の通信手段によって出力装置情報を取得することも可能である。
【０１４６】
Ｃ７．変形例７：
上記第２実施例の高精細画像出力処理において、再処理省略判定部１９が、再度の高精細画像ファイル生成処理を行うと判定したときは、例えば表示画面１２０にその旨を表示することによって、ユーザーに知らせるようにすることも可能である。さらに、その際、再度の高精細画像ファイル生成処理を行うか否かをユーザーに選択させるようにすることも可能である。
【０１４７】
Ｃ８．変形例８：
上記第２実施例の高精細画像出力処理では、再処理省略判定部１９が再処理省略判定を行った後に、画像を出力するとしているが、例えば、出力装置がプロジェクタのときは、再処理省略判定部１９による再処理省略判定結果が出るまでは、選択画像ファイルに含まれる高精細画像データを仮に出力しておき、再処理省略判定結果が出た後に、必要により出力に用いる高精細画像データを切り替えるようにすることも可能である。
【０１４８】
Ｃ９．変形例９：
上記第２実施例では、高精細処理特定情報と高精細画像データとを含む高精細処理画像ファイルを生成しているが、高精細処理特定情報と高精細画像データとが同一ファイルに存在する必要はなく、関連づけられた別々のファイルとすることも可能である。
【０１４９】
Ｃ１０．変形例１０：
上記第２実施例において説明した高精細処理特定情報の内容は一例であり、その内容は任意に設定することが可能である。
【０１５０】
Ｃ１１．変形例１１：
上記実施例では、動画像を構成する複数のフレーム画像データを用いて、高精細画像データを生成する例を用いて説明したが、フレーム画像データ以外の他の画像データを用いて高精細画像データを生成することも可能である。例えば、複数の静止画像データを用いて高精細画像データを生成することもできる。
【０１５１】
Ｃ１２．変形例１２：
上記実施例において、画像全体のずれ補正量を推定する際に、並進ずれ（横方向ｕ、縦方向ｖ）および回転ずれ（δ）の３つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。
【符号の説明】
【０１５２】
１０…画像生成装置
１１…画像格納部
１２…画像表示操作部
１３…画像出力制御部
１４…画像生成制御部
１５…生成画像サイズ設定部
１６…画像合成部
１８…画像ファイル生成部
１９…再処理省略判定部
２０…インターフェイス
３０…デジタルビデオカメラ
４０…デジタルスチルカメラ
５０…プリンタ
６０…プロジェクタ
８０…画像データ情報格納領域
９０…画像データ格納領域
１２０…表示画面
１２１…画像データ種別画面
１２２…画像リスト画面
１２３…画像表示画面
１２４…動画操作ボタン
１２５…高精細画像生成・出力ボタン
１２６…出力装置表示画面
１２７…出力設定ボタン
【技術分野】
【０００１】
本発明は、画像の出力に用いる出力装置に適した高精細な画像データを生成する技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の動画像生成装置によって生成された動画像は、複数の比較的画像サイズの小さい画像（例えば、フレーム画像）によって構成されている。ここで、ある画像の「画像サイズ」とは、その画像を構成している画素の数を意味し、画像の横方向の画素数をＷｘ、縦方向の画素数をＷｙとして、その画像の画像サイズを、Ｗｘ×Ｗｙと表すものとする。
【０００３】
このような動画像を構成する画像を表す画像データから、その画像よりも高精細な画像を表す高精細画像データを生成する技術が知られている（例えば特許文献１）。なお、本明細書では、「高精細」とは、画素ピッチが小さいことを意味し、「低精細」とは、画素ピッチが大きいこと意味している。このような技術では、生成する高精細な画像の画像サイズを任意に設定することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２４４８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記技術を用いて生成した高精細な画像をプリンタで印刷するとき、生成した高精細な画像の画像サイズが、プリンタの印刷解像度や印刷媒体の大きさ等からある程度定まるプリンタでの印刷に適した画像サイズと異なる場合、画像サイズの変換処理が行われることとなる。そして、プリンタでの印刷時における画像サイズの変換処理が行われると、補間処理等のために、印刷画像の画質が低下する傾向がある。このように、生成する高精細な画像の画像サイズによっては、プリンタでの出力時に画質の低下を招く恐れがあるという問題があった。
【０００６】
なお、このような問題は、プリンタで印刷する場合に限らず、高精細な画像を出力装置で出力する場合に共通する問題であった。また、このような問題は、動画像を構成する画像データに限らず、複数の画像データから高精細画像データを生成する場合に共通する問題であった。
【０００７】
本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データから高精細な画像を表す高精細画像データを生成する高精細画像生成処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像生成装置は、複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像生成装置であって、
前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する生成画像サイズ設定部と、
前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成部と、を備える。
【０００９】
この画像生成装置は、複数の画像データから高精細な画像を表す高精細画像データを生成する高精細画像生成処理において、高精細画像データの出力に用いる出力装置の出力装置情報に基づいて、出力装置での出力に適した高精細画像の画像サイズを生成画像サイズとして設定することができるため、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することできる。
【００１０】
上記画像生成装置において、前記生成画像サイズ設定部は、前記出力装置情報に基づき設定される出力画像サイズを参照して、前記生成画像サイズを設定するとしてもよい。
【００１１】
このようにすれば、生成画像サイズを、出力装置での出力に最適な画像サイズに設定することが容易となる。
【００１２】
上記画像生成装置において、前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上のときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定するとしてもよい。
【００１３】
このようにすれば、出力画像サイズ比の値が所定の閾値より小さいときには、生成画像サイズは、出力画像サイズと等しい値となる。そのため、生成した高精細画像を出力装置によって出力する際に、出力装置側における画像サイズ変換処理が行われない。従って、出力の際の高精細画像の画質の低下を防止することができる。また、出力画像サイズが比較的大きく、出力画像サイズ比の値が所定の閾値以上のときには、生成画像サイズは、出力画像サイズを調整係数で除した値となる。そのため、生成画像サイズは比較的小さくなり、処理に要する時間の増大を抑制することができると共に、出力の際の高精細画像の画質の低下を抑制することができる。
【００１４】
また、上記画像生成装置において、前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいか、または、整数値であるときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上の非整数値であるときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定するとしてもよい。
【００１５】
このようにすれば、出力画像サイズ比の値が、所定の閾値以上であっても、整数値であるときは、生成画像サイズは出力画像サイズと等しい値に設定される。ここで、出力画像サイズ比の値が整数値であるときは、高精細画像データ生成処理に要する時間は比較的短いため、処理時間の増大を抑制することができ、かつ、画質の向上の効果を得ることができる。
【００１６】
また、上記画像生成装置において、前記画像生成装置は、複数の出力装置を接続可能であり、
前記生成画像サイズ設定部は、前記複数の出力装置の内、前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得するとしてもよい。
【００１７】
このようにすれば、複数の出力装置の内、高精細画像データの出力に用いる出力装置に適した高精細画像データを生成することができる。
【００１８】
また、上記画像生成装置は、さらに、前記生成画像サイズと、前記合成元画像データを特定するための情報と、を含む高精細処理特定情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部と、
ユーザーが選択画像ファイルとして選択した高精細画像ファイル中に含まれる高精細画像データを出力する際に、前記選択画像ファイルに含まれる高精細処理特定情報を用いて、前記画像合成部における再度の高精細画像データ生成処理の省略の可否を判定する再処理省略判定部と、を備え、
前記再処理省略判定部が省略否と判定したときは、前記画像合成部が、再度の高精細画像データ生成処理を実行するとしてもよい。
【００１９】
このようにすれば、高精細画像ファイル中に含まれる高精細画像データを出力する際に、高精細処理特定情報を用いて、再度の高精細画像データ生成処理の省略の可否を判定することができ、処理時間の短縮を図ることができる。
【００２０】
上記画像生成装置において、前記再処理省略判定部は、
前記選択画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定するとしてもよい。
【００２１】
このようにすれば、選択画像ファイルに含まれる高精細画像データを出力に用いるときに、出力装置側における画像サイズ変換処理に伴う画質の低下が小さいか否かを判定することができ、再度の高精細画像データ生成処理の省略による処理時間の短縮を図ることができる。
【００２２】
また、上記画像生成装置において、前記再処理省略判定部は、
複数の高精細画像ファイルを格納した記録媒体のうちで、所定の検索範囲内のデータ格納領域に格納された高精細画像ファイルを検索対象画像ファイルとして設定し、
（i）前記選択画像ファイルおよび前記検索対象画像ファイルに含まれるそれぞれの高精細処理特定情報中の合成元画像データを特定するための情報によって、前記選択画像ファイルに含まれる高精細画像データと、前記検索対象画像ファイルに含まれる高精細画像データとの間に画像の同一性があると判定され、かつ、
（ii）前記検索対象画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定するとしてもよい。
【００２３】
このようにすれば、選択画像ファイルに含まれる高精細画像データと、画像の同一性がある高精細画像データを含む検索対象画像ファイルであって、出力装置側における画像サイズ変換処理に伴う画質の低下が少ないものを探索することができ、再度の高精細画像データ生成処理の省略による処理時間の短縮を図ることができる。
【００２４】
さらに、上記画像生成装置において、前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データであるとしてもよい。
【００２５】
このようにすれば、動画像を構成する時系列的に連続したフレーム画像データから高精細画像データを生成する処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することができる。
【００２６】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像生成方法および装置、画像データ処理方法および装置、画像変換方法および装置、画像出力方法および装置、画像検索方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施例としての画像生成装置の構成を概略的に示した説明図。
【図２】画像表示操作部の表示画面の一例を概略的に示した説明図。
【図３】画像生成装置による高精細画像データ生成処理の概要を示した説明図。
【図４】画像生成装置による高精細画像データ生成処理の流れを示すフローチャート。
【図５】出力装置がプリンタである場合に出力装置情報に基づいて出力画像サイズＷｏを設定する処理の概要を示す説明図。
【図６】生成画像サイズＷｐの設定の処理の内容を概略的に示す説明図。
【図７】画像合成部による画像合成処理の流れを示すフローチャート。
【図８】基準フレーム画像と対象フレーム画像との位置ずれについて示す説明図。
【図９】基準フレーム画像と対象フレーム画像との位置ずれの補正について示す説明図。
【図１０】基準フレーム画像と対象フレーム画像とをずれを補正して配置した様子を拡大して示す説明図。
【図１１】バイ・リニア法による補間処理について示す説明図。
【図１２】本発明の第２実施例としての画像生成装置の構成を概略的に示した説明図。
【図１３】画像生成装置による高精細画像ファイル生成処理の流れを示すフローチャート。
【図１４】高精細処理特定情報の内容を概略的に示す説明図。
【図１５】高精細画像ファイルの内部構成の一例を概略的に示す説明図。
【図１６】画像生成装置による高精細画像出力処理の流れを示すフローチャート。
【図１７】画像生成装置による高精細画像出力処理の概要を示す説明図。
【図１８】選択画像ファイルによる再処理省略判定の処理の流れを示すフローチャート。
【図１９】検索対象画像ファイルによる再処理省略判定の処理の流れを示すフローチャート。
【発明を実施するための形態】
【００２８】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像生成装置の構成：
Ａ−２．画像生成処理の概要：
Ａ−３．高精細画像データ生成処理：
Ａ−４．画像合成処理：
Ｂ．第２実施例：
Ｃ．変形例：
【００２９】
Ａ．第１実施例：
Ａ−１．画像生成装置の構成：
図１は、本発明の第１実施例としての画像生成装置の構成を概略的に示した説明図である。この画像生成装置１０は、画像データを格納する画像格納部１１と、画像を表示する表示画面と、ユーザーが種々の操作を行うための各種のボタンとを有する画像表示操作部１２と、画像の出力装置への出力を制御する画像出力制御部１３と、外部入出力装置とのインターフェイス２０とを備えている。画像生成装置１０は、ユーザーによる画像表示操作部１２の操作に応じて、インターフェイス２０を介して接続されるデジタルビデオカメラ３０やデジタルスチルカメラ４０等の画像入力装置から、静止画像データや動画像データ等の画像データを取り込み、画像格納部１１に格納することができる。また、画像生成装置１０の画像出力制御部１３は、画像格納部１１に格納された画像データの表す画像を、画像表示操作部１２に表示させたり、インターフェイス２０を介して接続されるプリンタ５０やプロジェクタ６０等の画像出力装置に出力させたりすることができる。このように、画像生成装置１０は、いわゆる「フォトビューワ」としての機能を有している。
【００３０】
なお、画像生成装置１０は、コンピュータ内のハードディスクドライブやＣＤ−Ｒ／ＲＷドライブ、ＤＶＤドライブ等の他の記録媒体から画像データを取り込むことも可能である。また、画像生成装置１０は、モニタやテレビ受像機等の他の出力装置に画像を出力させることも可能である。さらに、画像生成装置１０は、ユーザーが各種指示を入力するためのキーボードやマウスを備えることも可能である。
【００３１】
また、画像生成装置１０は、所定のオペレーティングシステムの下で、高精細画像データを生成するためのアプリケーションプログラムを実行することにより、高精細画像データ生成処理を行う。この高精細画像データ生成処理は、画像格納部１１に格納された動画像データを構成する複数のフレーム画像データから、フレーム画像データの表すフレーム画像よりも高精細な静止画像である高精細画像を表す高精細画像データの生成を行う処理である。そして、画像生成装置１０は、生成する高精細画像の出力に用いる出力装置に関する情報（本明細書において「出力装置情報」と呼ぶ）に基づき設定される出力画像サイズを参照して、出力装置での出力に適した高精細画像の画像サイズを生成画像サイズとして設定する。このアプリケーションプログラムは、画像生成制御部１４と、生成画像サイズ設定部１５と、画像合成部１６としての機能を有している。
【００３２】
なお、画像生成装置１０は、高精細画像データ生成処理によって生成した高精細画像データを画像格納部１１に格納することができる。また、画像生成装置１０は、画像格納部１１に格納された高精細画像データの表す高精細画像を、画像表示操作部１２に表示させたり、プリンタ５０やプロジェクタ６０等の出力装置に出力させたりすることができる。
【００３３】
図２は、画像表示操作部の表示画面の一例を概略的に示した説明図である。画像表示操作部１２は、タッチパネル式の表示画面１２０を備えており、表示画面１２０上に静止画像データや動画像データの表す画像を表示することができる。また、ユーザーは、表示画面１２０上の所定の位置に触れることによって、種々の操作を行うことができる。画像表示操作部１２の表示画面１２０には、画像データ種別画面１２１と、画像リスト画面１２２と、画像表示画面１２３と、動画操作ボタン１２４と、高精細画像生成・出力ボタン１２５と、出力装置表示画面１２６と、出力設定ボタン１２７とを表示させることができる。
【００３４】
画像データ種別画面１２１は、画像格納部１１に格納されている画像データの内、画像リスト画面１２２にサムネイル画像を表示させる画像デ―タの種別を表示している。ここで、画像データの種別としては、動画像データと静止画像データとがあり、また静止画像データの中には高精細画像データ生成処理によって生成された高精細画像データが含まれる。ユーザーは、画像データ種別画面１２１を操作することによって、画像データ種別画面１２１の表示を、「動画像」、「静止画像」、「高精細画像」、「すべての画像」のいずれかに設定することができる。ユーザーによる画像データ種別画面１２１の設定に応じて、画像リスト画面１２２には、設定された画像種別の画像データのサムネイル画像が表示される。図２の例では、画像データ種別画面１２１に「動画像」と表示されているため、画像リスト画面１２２には、画像格納部１１に格納されているすべての動画像データのサムネイル画像が表示されている。
【００３５】
なお、動画像データのサムネイル画像としては、その動画像中の任意のフレーム画像のサムネイル画像を用いることができるが、本実施例では動画像中の最初のフレーム画像のサムネイル画像を用いるものとする。また、本実施例では、画像リスト画面１２２にサムネイル画像を表示させるものとしているが、画像リスト画面１２２に静止画像データの表す静止画像そのものや、動画像データ中の任意のフレーム画像データの表すフレーム画像そのものを表示させることも可能である。
【００３６】
ユーザーは、画像リスト画面１２２に表示されたサムネイル画像を見て、画像表示画面１２３に表示させたい画像を選択することによって、選択した画像を画像表示画面１２３に表示させることができる。図２の例では、ユーザーによって太枠で囲まれた画像が選択され、選択された画像（以下「選択画像Ｇｓ」と呼ぶ）が画像表示画面１２３に大きく表示されている。なお、選択画像Ｇｓが動画像のときには、動画像中の任意のフレーム画像を画像表示画面１２３に表示することができるが、本実施例では動画像中の最初のフレーム画像を表示するものとする。
【００３７】
選択画像Ｇｓが動画像のときには、ユーザーは、動画操作ボタン１２４を操作して、動画像を画像表示画面１２３に再生させたり、再生を一時停止させたりすることができる。
【００３８】
また、選択画像Ｇｓが動画像のときには、ユーザーは、高精細画像生成・出力ボタン１２５を操作して、高精細画像データを生成する高精細画像データ生成処理を行わせることができ、また、高精細画像データ生成処理によって生成された高精細画像を画像生成装置１０に接続されている出力装置に出力させることもできる。さらに、生成された高精細画像を画像表示画面１２３に表示させることも可能である。
【００３９】
出力装置表示画面１２６は、画像生成装置１０に接続され画像を出力する出力装置が表示される。また、ユーザーは、出力設定ボタン１２７を操作して、出力装置による出力についての各種設定を行うことができる。
【００４０】
Ａ−２．画像生成処理の概要：
図３は、画像生成装置による高精細画像データ生成処理の概要を示した説明図である。画像生成装置１０（図１）は、動画像中の複数のフレーム画像Ｇｆを表す複数のフレーム画像データを合成して、高精細画像Ｇｐを表す高精細画像データを生成する高精細画像データ生成処理を行う。なお、本明細書において、高精細画像データ生成処理に用いる動画像を「元動画像」と呼び、元動画像を表す動画像データを「元動画像データ」と呼ぶ。図３の上段には、元動画像を構成する時系列に並んだ複数のフレーム画像Ｇｆを示している。複数のフレーム画像Ｇｆは、図の左側から右側へと時系列順に並んでいる。なお、各フレーム画像Ｇｆの画像サイズ（フレーム画像サイズＷｆ）を、Ｗｆｘ×Ｗｆｙと表すものとする。
【００４１】
また、図３の上段には、画像合成の基準となる１つのフレーム画像（基準フレーム画像Ｆ０）と、合成の対象となるフレーム画像（対象フレーム画像Ｆ１およびＦ２）とを示している。なお、本実施例では、対象フレーム画像として、基準フレーム画像Ｆ０の直後の２つのフレーム画像を用いているが、対象フレーム画像の数や選択の方法は任意に設定できる。
【００４２】
画像生成装置１０（図１）は、基準フレーム画像データと対象フレーム画像データとを用いて高精細画像データ生成処理を行う。なお、「基準フレーム画像データ」とは、基準フレーム画像Ｆ０を表すフレーム画像データを意味し、「対象フレーム画像データ」とは、対象フレーム画像Ｆ１およびＦ２を表すフレーム画像データを意味している。また、本明細書において、基準フレーム画像データと対象フレーム画像データとを合わせて「合成元フレーム画像データ」と呼ぶ。
【００４３】
本実施例では、ユーザーが、動画像の再生中に、高精細画像生成・出力ボタン１２５（図２）を操作したときに、画像表示画面１２３（図２）に表示されているフレーム画像が基準フレーム画像Ｆ０として設定される。また、基準フレーム画像Ｆ０の直後の２つのフレーム画像が対象フレーム画像Ｆ１およびＦ２として設定される。
【００４４】
図３の中段には、高精細画像データ生成処理によって生成された高精細画像Ｇｐを示している。高精細画像Ｇｐの画像サイズ（生成画像サイズＷｐ）は、フレーム画像サイズＷｆよりも大きくなっている。すなわち、高精細画像Ｇｐは、フレーム画像Ｇｆよりも高精細な画像となっている。
【００４５】
ここで、画像生成装置１０は、高精細画像Ｇｐの出力に用いる出力装置の出力装置情報に基づき設定される出力画像サイズＷｏを参照して、出力装置での出力に適した高精細画像Ｇｐの画像サイズを生成画像サイズＷｐとして設定する。図３には、出力に用いるプリンタ５０の出力装置情報に基づき、プリンタ５０における出力に用いられる画像のサイズ（出力画像サイズＷｏ）を設定し、出力画像サイズＷｏを参照して生成画像サイズＷｐを設定している様子を示している。なお、高精細画像Ｇｐは、出力装置で出力されるときに、出力画像サイズＷｏの出力画像Ｇｏに変換されて出力される。
【００４６】
以下、画像生成装置１０による高精細画像データ生成処理の内容を詳細に説明する。
【００４７】
Ａ−３．高精細画像データ生成処理：
図４は、画像生成装置による高精細画像データ生成処理の流れを示すフローチャートである。ステップＳ１００では、画像生成装置１０の画像生成制御部１４（図１）が、元動画像を構成するフレーム画像Ｇｆのフレーム画像サイズＷｆを取得する。フレーム画像サイズＷｆは、画像格納部１１（図１）に格納されている元動画像データのヘッダを参照することによって、取得することができる。また、ユーザーが、フレーム画像サイズＷｆを、画像表示操作部１２（図１）を操作して入力するようにすることも可能である。
【００４８】
ステップＳ２００では、生成画像サイズ設定部１５（図１）が、出力装置情報を取得する。ここで出力装置情報とは、高精細画像データ生成処理によって生成する高精細画像の出力に用いる出力装置に関する情報であり、出力装置の種別に関わらず共通の共通項目と、出力装置の種別によって異なる装置固有項目とを含んでいる。共通項目としては、プリンタやプロジェクタといった出力装置の種別と、出力装置の型番とが含まれる。また、装置固有項目としては、出力装置がプリンタの場合、印刷解像度と、用紙サイズと、画像１画素あたり印刷画素数とが含まれ、出力装置がプロジェクタの場合、プロジェクタの画像サイズが含まれる。なお、本明細書において、「印刷解像度」とは、印刷媒体の単位長さあたりの印刷画素数を意味している。また、「画像１画素あたり印刷画素数」とは、ある画像の１画素を出力するために用いる印刷画素数を意味している。また、「プロジェクタの画像サイズ」とは、プロジェクタが出力することができる画像サイズを意味している。
【００４９】
生成画像サイズ設定部１５（図１）による出力装置情報の取得は、画像生成装置１０（図１）と出力装置との通信によって行うことができる。すなわち、生成画像サイズ設定部１５は、画像生成装置１０に接続され出力先として設定されている出力装置を検出し、検出した出力装置の持つ出力装置情報を接続ケーブルを介して取得することができる。このようにすれば、ユーザーの操作の必要が無く、画像生成装置１０の操作性の向上を図ることができる。また、画像生成装置１０が確実に出力装置情報を取得することができる。
【００５０】
なお、画像生成装置１０と出力装置との通信によっては、出力装置情報の一部のみしか取得できないときは、生成画像サイズ設定部１５は、取得できない出力装置情報を自動的に設定するようにすることも可能である。例えば、出力装置がプリンタであり、出力装置情報の内の印刷解像度が取得できないときは、生成画像サイズ設定部１５は、取得したプリンタの型番を参照して、そのプリンタが持つ印刷解像度の最大値を自動的に設定するようにしてもよい。一般に、出力装置の持つ印刷解像度やプロジェクタの画像サイズの設定値は、最大値の整数分の１倍の値となっている。従って、プリンタの場合の印刷解像度やプロジェクタの場合のプロジェクタの画像サイズが取得できないとき、その出力装置が持つ最大値を自動的に設定するようにすれば、仮にそれ以降に画像サイズ変換処理の必要が生じた場合でも、その処理は整数分の１倍の画像サイズ変換処理となり、画質の低下を最低限に抑制することができる。
【００５１】
また、ユーザーが出力装置情報を、画像表示操作部１２（図１）を操作して、画像生成装置１０に入力することによって、生成画像サイズ設定部１５が出力装置情報を取得するようにすることも可能である。
【００５２】
ステップＳ３００では、生成画像サイズ設定部１５（図１）が、出力装置情報に基づいて出力画像サイズＷｏを設定する。出力画像サイズＷｏとは、出力装置における出力に用いられる画像の画像サイズである。出力画像サイズＷｏの設定は、高精細画像の出力に用いる出力装置の種別によって異なる。
【００５３】
図５は、出力装置がプリンタである場合に、出力装置情報に基づいて出力画像サイズＷｏを設定する処理の概要を示す説明図である。出力装置がプリンタの場合には、出力装置情報として、印刷解像度、用紙サイズ、画像１画素あたり印刷画素数が取得されている。ここで、印刷解像度を横方向ｒｘ（ｄｐｉ）、縦方向ｒｙ（ｄｐｉ）と、用紙サイズを横方向ｐｘ（インチ）、縦方向ｐｙ（インチ）と、画像１画素あたり印刷画素数を横方向ｄｘ（印刷画素／画像画素）、縦方向ｄｙ（印刷画素／画像画素）とそれぞれ表すものとする。
【００５４】
プリンタの出力画像サイズＷｏ（Ｗｏｘ×Ｗｏｙ）は、印刷解像度と用紙サイズとの積を、画像１画素あたり印刷画素数で除した値として設定される。すなわち、出力画像サイズＷｏは、下記の式で表される。
Ｗｏｘ＝ｒｘ×ｐｘ／ｄｘ（画素）
Ｗｏｙ＝ｒｙ×ｐｙ／ｄｙ（画素）
【００５５】
また、出力装置がプロジェクタの場合には、出力装置情報として、プロジェクタの画像サイズが取得されている。上述のように、プロジェクタの画像サイズは、プロジェクタが出力することができる画像サイズを意味しているので、プロジェクタの出力画像サイズＷｏは、プロジェクタの画像サイズと同じ値として設定される。
【００５６】
ステップＳ４００（図４）では、生成画像サイズ設定部１５（図１）が、生成画像サイズＷｐの設定を行う。生成画像サイズＷｐとは、高精細画像データ生成処理により生成する高精細画像Ｇｐの画像サイズである。
【００５７】
ここで、高精細画像データ生成処理では、原則として、生成画像サイズＷｐを、出力画像サイズＷｏと等しいとして設定することが好ましい。なぜなら、生成画像サイズＷｐを出力画像サイズＷｏと等しいとして設定すれば、高精細画像Ｇｐを出力する際に、出力装置側における画像サイズ変換処理が必要無く、出力に伴う高精細画像Ｇｐの画質の低下を抑制することができるからである。また、出力処理の高速化にも効果があるからでもある。なお、本明細書において、「出力装置側における画像サイズ変換処理」とは、出力装置のドライバにおいて、入力された画像データの表す画像の画像サイズを拡大または縮小するように、画像データの変換を行う処理を意味している。
【００５８】
他方、高精細画像データ生成処理では、元動画像のフレーム画像サイズＷｆに対する生成画像サイズＷｐの比の値（Ｗｐ／Ｗｆ）が所定値以上になると、それ以上生成画像サイズＷｐを大きな値に設定しても、画素の補間に伴う誤差が大きくなるので、画質の向上に与える効果はわずかとなってしまう。また、生成画像サイズＷｐを大きな値に設定するほど、高精細画像データ生成処理に要する時間は増大する。従って、出力画像サイズＷｏが比較的大きな値のときに、生成画像サイズＷｐをその出力画像サイズＷｏと等しい値として設定すると、処理内容・処理時間に見合った画質の向上に与える効果が得られない場合がある。
【００５９】
そのため、生成画像サイズ設定部１５は、設定された出力画像サイズＷｏを参照して、生成画像サイズＷｐを設定している。そして、生成画像サイズ設定部１５は、フレーム画像サイズＷｆに対する出力画像サイズＷｏの比（Ｗｏ／Ｗｆ）を出力画像サイズ比ｒＷｏとして算出し、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定を行っている。
【００６０】
図６は、生成画像サイズＷｐの設定の処理の内容を概略的に示す説明図である。図６の上段左側には、フレーム画像サイズＷｆのフレーム画像Ｇｆと、出力画像サイズＷｏの出力画像Ｇｏとを示している。また、図６の上段右側には、算出された出力画像サイズ比ｒＷｏを示している。出力画像サイズ比ｒＷｏは、横方向をｒＷｏｘと、縦方向をｒＷｏｙとして、ｒＷｏｘ×ｒＷｏｙと表す。出力画像サイズ比ｒＷｏは、下記の式で算出される。
ｒＷｏｘ＝Ｗｏｘ／Ｗｆｘ
ｒＷｏｙ＝Ｗｏｙ／Ｗｆｙ
【００６１】
次に、生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏが所定の閾値より小さいか否かを判定する。本実施例では、所定の閾値を、上限生成画像サイズ比ｒＷｍの２倍としている。ここで、「上限生成画像サイズ」とは、元動画像のフレーム画像サイズがＷｆのとき、高精細画像データ生成処理によって十分な画質向上が期待できる最大の生成画像サイズを意味する。また、元動画像のフレーム画像サイズＷｆに対する上限生成画像サイズＷｍの比を「上限生成画像サイズ比ｒＷｍ」と呼ぶものとする。本実施例では、上限生成画像サイズ比ｒＷｍの値を、事前に実験的に求め、デフォルト値として設定することとしている。なお、上限生成画像サイズ比ｒＷｍの値は、ユーザーに設定させることも可能である。また、上限生成画像サイズ比ｒＷｍの値は、１．３以上２．０以下であることが好ましく、１．５以上１．８以下であることがさらに好ましい。
【００６２】
なお、出力画像サイズ比ｒＷｏが所定の閾値より小さいか否かの判定において、出力画像サイズ比ｒＷｏが所定の閾値より小さいとは、ｒＷｏｘおよびｒＷｏｙが共に、所定の閾値より小さいことを意味している。また、出力画像サイズ比ｒＷｏが所定の閾値以上とは、ｒＷｏｘおよびｒＷｙの少なくともどちらか一方が所定の閾値以上であることを意味している。
【００６３】
生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏが所定の閾値（上限生成画像サイズ比ｒＷｍの２倍）より小さいときは、図６下段左側に示すように、生成画像サイズＷｐを出力画像サイズＷｏと等しい値に設定する。すなわち、生成画像サイズＷｐは下記の式で算出される。
Ｗｐｘ＝Ｗｏｘ
Ｗｐｙ＝Ｗｏｙ
【００６４】
このときには、生成画像サイズＷｐの高精細画像Ｇｐを出力する際に、出力装置側における画像サイズ変換処理の必要は無い。
【００６５】
一方、生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏが所定の閾値以上のときは、図６下段右側に示すように、生成画像サイズＷｐを、出力画像サイズＷｏを調整係数ｋで除した値に設定する。すなわち、生成画像サイズＷｐは下記の式で算出される。
Ｗｐｘ＝Ｗｏｘ／ｋｘ
Ｗｐｙ＝Ｗｏｙ／ｋｙ
【００６６】
ここで、調整係数ｋは、出力装置側における画像サイズの変換比率を表している。すなわち、調整係数ｋは、画像の出力の際に出力装置側でｋ倍の画像サイズ変換処理を行うことによって、高精細画像データ生成処理における生成画像サイズＷｐを抑制するために設定されたものである。調整係数ｋは、横方向をｋｘと、縦方向をｋｙと表す。
【００６７】
調整係数ｋは、上限生成画像サイズ比ｒＷｍに対する出力画像サイズ比ｒＷｏの比を求め、小数点以下を切り捨てて整数値とした値である。すなわち、調整係数ｋは、以下の式で算出される。ただし、関数ＩＮＴ（ｉ）は、ｉの小数点以下を切り捨てて整数値を求める関数を表すものとする。
ｋｘ＝ＩＮＴ（ｒＷｏｘ／ｒＷｍ）
ｋｙ＝ＩＮＴ（ｒＷｏｙ／ｒＷｍ）
【００６８】
上記式により調整係数ｋを算出すると、調整係数ｋは２以上の整数となる。ただし、ｒＷｏｘおよびｒＷｏｙのどちらか一方のみが上限生成画像サイズ比ｒＷｍの２倍以上であると判定されている場合には、調整係数ｋｘおよびｋｙのどちらか一方は１となる場合がある。
【００６９】
このようにして、出力画像サイズ比ｒＷｏが所定の閾値以上のときに、生成画像サイズＷｐを設定すると、生成画像サイズＷｐは、上限生成画像サイズＷｍの２倍より小さい値に設定される。従って、このように生成画像サイズＷｐを設定して、高精細画像データ生成処理を行うと、画質向上の効果が十分得られると共に、処理に要する時間を抑制することができる。
【００７０】
また、このとき、高精細画像Ｇｐの出力の際には、出力装置側でｋ倍の画像サイズ変換処理を行って、出力画像サイズＷｏの出力処理用の画像を生成することとなる。ここで、出力装置側におけるｋ倍の画像サイズ変換処理は、バイ・リニア法やバイ・キュービック法等の一般的な補間処理を利用した画像変換処理を用いて行うことができる。このとき、調整係数ｋは整数であるため、この画像サイズ変換処理は、画像サイズを整数倍に増加させる処理となり、画質の低下を最小限に抑制することができると共に、処理時間の増大を抑制することができる。
【００７１】
ステップＳ５００（図４）では、画像生成制御部１４（図１）が、高精細画像データ生成処理の設定を行う。高精細画像データ生成処理の設定とは、高精細画像データ生成処理の内容を決定するための各種設定を行うことを意味している。具体的には、画像生成制御部１４は、処理に使用する動画像データ（元動画像データ）を特定する情報の取得、基準フレーム画像データを特定する情報の取得、処理に用いる対象フレーム画像データを特定する情報の取得、設定された生成画像サイズＷｏの取得を行う。
【００７２】
本実施例では、元動画像データを特定する情報とは、ユーザーによって選択された動画像データのデータ名およびデータ作成日時を意味している。また、基準フレーム画像データを特定する情報および対象フレーム画像データを特定する情報とは、絶対フレーム番号を意味している。なお、本明細書において、絶対フレーム番号とは、動画像データ中のフレーム画像データの、最初のフレーム画像データから数えた通し番号をいう。
【００７３】
ステップＳ６００では、画像合成部１６（図１）が、ステップＳ５００で設定された内容に従い、画像合成処理を行う。具体的には、画像合成部１６は、画像格納部１１に格納された元動画像データから、基準フレーム画像データおよび対象フレーム画像データ（すなわち、合成元画像データ）を取得し、取得した合成元画像データを合成して、生成画像サイズＷｐの高精細画像Ｇｐを表す高精細画像データを生成する。画像合成部１６による合成元画像データの合成の処理の詳細については、後述する。
【００７４】
以上のようにして、画像生成装置１０（図１）は、生成画像サイズＷｐの高精細画像Ｇｐを表す高精細画像データを生成する高精細画像データ生成処理を行うことができる。このとき、生成画像サイズＷｐは、出力画像サイズＷｏと等しい値となっているか、または、出力画像サイズＷｏを整数である調整係数ｋで除した値となっている。
【００７５】
生成画像サイズＷｐが出力画像サイズＷｏと等しい値である場合は、生成した高精細画像Ｇｐを出力装置によって出力する際に、出力装置側における画像サイズ変換処理が行われないため、出力の際の高精細画像Ｇｐの画質の低下を防止することができる。また、生成画像サイズＷｐが出力画像サイズＷｏを整数で除した値となっている場合は、生成した高精細画像Ｇｐを出力装置によって出力する際に、出力装置側において画像サイズを整数倍する画像サイズ変換処理が行われるが、一般的に画像サイズを整数倍にする処理は画質の低下が少ないため、出力の際の高精細画像Ｇｐの画質の低下を抑制することができる。
【００７６】
このようにして、画像生成装置１０は、複数のフレーム画像データから高精細な画像を表す高精細画像データを生成する高精細画像データ生成処理において、生成する高精細画像の出力時における画質の低下が抑制されるような画像データを生成することができる。
【００７７】
さらに、画像生成装置１０によって生成された高精細画像Ｇｐの出力の際に、出力装置側における画像サイズ変換処理が行われないか、または、画像サイズを整数倍する変換処理が行われるのみであるので、出力に要する処理時間も短縮することができる。
【００７８】
Ａ−４．画像合成処理：
図７は、画像合成部による画像合成処理の流れを示すフローチャートである。ステップＳ６１０では、画像合成部１６（図１）が、合成元フレーム画像データを取得する。上述したように、合成元フレーム画像データとは、元動画像データ中のフレーム画像データの内、画像の合成に用いるフレーム画像データであり、本実施例では、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１およびＦ２との、計３つのフレーム画像Ｇｆを表すフレーム画像データである。画像合成部１６は、画像格納部１１に格納された画像データの中から元動画像データを特定し、元動画像データの中から、絶対フレーム番号を参照して合成元フレーム画像データを取得する。画像合成部１６によって取得された合成元フレーム画像データは、メモリやハードディスクなどの記憶装置（図示せず）に一時的に記憶される。
【００７９】
ステップＳ６２０では、画像合成部１６は、取得した合成元フレーム画像データの各フレーム画像相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。この補正量の推定では、対象フレーム画像Ｆ１およびＦ２について、基準フレーム画像Ｆ０に対する位置ずれを補正するための補正量が、それぞれ推定される。
【００８０】
図８は、基準フレーム画像と対象フレーム画像との位置ずれについて示す説明図であり、図９は、基準フレーム画像と対象フレーム画像との位置ずれの補正について示す説明図である。
【００８１】
以下の説明では、取得した３つのフレーム画像データに連続番号ｎ（ｎ＝０，１，２）を付し、フレーム画像データおよびフレーム画像データの表すフレーム画像をその連続番号ｎを用いて呼ぶものとする。すなわち、連続番号ｎのフレーム画像データをフレームｎと呼び、フレームｎの表す画像をフレーム画像Ｆｎと呼ぶ。例えば、連続番号ｎの値が０のフレーム画像データはフレーム０と呼び、フレーム０の表す画像をフレーム画像Ｆ０と呼ぶ。
【００８２】
ここで、フレーム０は、基準フレーム画像データを示し、Ｆ０は、基準フレーム画像Ｆ０を示すものとする。また、フレーム１およびフレーム２は、対象フレーム画像データを示すものとし、Ｆ１およびＦ２は、対象フレーム画像Ｆ１およびＦ２を示すものとする。
【００８３】
画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図８では、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ２の縁とを重ねた状態を示している。また、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ２と同様にずれたとして、対象フレーム画像Ｆ２上に、ずれた結果の画像である十字画像Ｘ２を示している。また、基準フレーム画像Ｆ０および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ２および十字画像Ｘ２を細い破線で示している。
【００８４】
本実施例では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」、回転ずれ量を「δｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」、「δｍｎ」と表す。例えば、図８に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍｎ、ｖｍｎ、δｍｎと表される。
【００８５】
ここで、各対象フレーム画像（Ｆ１およびＦ２）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正することとなる。この補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」、回転補正量を「δ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらの補正量を「ｕｎ」、「ｖｎ」、「δｎ」と表す。例えば、対象フレーム画像Ｆ２についての補正量は、ｕ２、ｖ２、δ２と表される。
【００８６】
ここで、補正とは、対象フレーム画像Ｆｎ（ｎ＝１，２）の各画素の位置を、横方向にｕｎの移動、縦方向にｖｎの移動、およびδｎの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎ、δｎ＝−δｍｎの関係で表される。例えば、対象フレーム画像Ｆ２についての補正量ｕ２、ｖ２、δ２は、ｕ２＝−ｕｍ２、ｖ２＝−ｖｍ２、δ２＝−δｍ２で表される。
【００８７】
以上のことから、例えば、図９に示すように、補正量ｕ２、ｖ２、δ２を用いて、対象フレーム画像Ｆ２の各画素の位置を補正することにより、対象フレーム画像Ｆ２と基準フレーム画像Ｆ０とのずれをなくすことができる。このとき、補正後の対象フレーム画像Ｆ２と、基準フレーム画像Ｆ０と、をディスプレイ（図示せず）で表示させると、図９に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して部分的に一致する状態で表示される。なお、この補正の結果を分かり易く示すため、図９においても、図８と同じ仮想の十字画像Ｘ０および十字画像Ｘ２を表記しており、図９に示すように、補正の結果として、十字画像Ｘ２と十字画像Ｘ０との間のずれがなくなり一致することとなる。
【００８８】
同様に、対象フレーム画像Ｆ１についても、補正量ｕ１、ｖ１、δ１の各値を用いて補正が施され、対象フレーム画像Ｆ１の各画素の位置を置き換えることができる。
【００８９】
ところで、各対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、画像合成部１６（図１）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ２の画像データとに基づき、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式を用いて算出される。そして、算出された補正量ｕｎ、ｖｎ、δｎは、並進補正量データｕｎ、ｖｎおよび回転補正量データδｎとして、メモリ内（図示せず）の所定の領域に記憶される。
【００９０】
本実施例では、画像合成部１６は、推定した補正量ｕｎ、ｖｎ、δｎを用いて、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ２との位置ずれを補正する。
【００９１】
ステップＳ６３０では、画像合成部１６（図１）は、基準フレーム画像データと補正した対象フレーム画像データとを合成して高精細画像Ｇｐを表す高精細画像データを生成する。このとき、画像合成部１６は、生成する高精細画像Ｇｐを構成する各画素（以下「生成画素」とも呼ぶ）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高精細化を行う。
【００９２】
図１０は、基準フレーム画像と対象フレーム画像とを、ずれを補正して配置した様子を拡大して示す説明図である。図１０では、高精細画像Ｇｐの各画素の中心位置が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素の中心位置が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ２の各画素の中心位置が、ハッチングを施した四辺形で示されている。なお、以下において高精細画像Ｇｐの画像サイズ（画素の数）は、基準フレーム画像Ｆ０の画像サイズに対して、縦横それぞれ１．５倍になっているものとする。また、高精細画像Ｇｐの各画素の中心は、２画素おきに基準フレーム画像Ｆ０の各画素の中心に重なるような位置にあるものとする。ただし、高精細画像Ｇｐの画素の中心が、必ずしも基準フレーム画像Ｆ０の各画素の中心に重なるように位置している必要はない。例えば、高精細画像Ｇｐの各画素の中心のすべてが、基準フレーム画像Ｆ０の各画素の中心の中間に位置するものでもよく、種々の位置とすることが可能である。また、高精細画像Ｇｐと基準フレーム画像Ｆ０との画像サイズの比も、縦横それぞれ１．５倍に限定されるものではなく、種々の値に設定することができる。
【００９３】
以下では、高精細画像Ｇｐ内のある画素Ｇ（ｊ）に注目して説明する。ここで、変数ｊは、高精細画像Ｇｐの全画素を区別する番号を示しており、例えば、左上の画素から開始して順番に右上の画素までとし、その後１つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素とされる。画像合成部１６は、この画素（以下「注目画素」と呼ぶ）Ｇ（ｊ）に最も近い距離にある画素（以下「最近傍画素」と呼ぶ）を探索する。
【００９４】
具体的には、画像合成部１６は、各フレーム画像Ｆ０，Ｆ１，Ｆ２において、注目画素Ｇ（ｊ）に対して、最も近い画素（以下近傍画素とも呼ぶ）Ｆ（０），Ｆ（１），Ｆ（２）と、注目画素Ｇ（ｊ）との距離Ｌ０，Ｌ１，Ｌ２を算出し、最近傍画素を決定する。例えば、図１０では、Ｌ２＜Ｌ１＜Ｌ０であるので、画像合成部１６は、対象フレーム画像Ｆ２の画素Ｆ（２）を、注目画素Ｇ（ｊ）の最近傍画素として決定する。なお、この注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレーム画像Ｆ２のｉ番目の画素であったとして、以下、最近傍画素Ｆ（２，ｉ）と表記する。
【００９５】
そして、画像合成部１６は、以上の手順を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、合成画像Ｇ内の全ての画素について実行し、それぞれの画素について最近傍画素を決定する。
【００９６】
次に、画像合成部１６は、注目画素Ｇ（ｊ）の画素データを、決定された最近傍画素と、この最近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。以下に、バイ・リニア法による補間処理の一例について説明する。
【００９７】
図１１は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ２のいずれにも存在しない画素であるので、画素データが存在していない。また、上述のとおり、対象フレーム画像Ｆ２の画素Ｆ（２）が、注目画素Ｇ（ｊ）の最近傍画素Ｆ（２，ｉ）として決定されている。このとき、画像合成部１６は、最近傍画素Ｆ（２，ｉ）と、最近傍画素Ｆ（２，ｉ）の他に、対象フレーム画像Ｆ２において注目画素Ｇ（ｊ）を囲む３つの画素Ｆ（２，ｉ＋１）、Ｆ（２，ｋ）、Ｆ（２，ｋ＋１）とを用いて補間処理を行う。なお、本明細書において、最近傍画素Ｆ（２，ｉ）と、注目画素Ｇ（ｊ）を囲む他の３つの画素Ｆ（２，ｉ＋１）、Ｆ（２，ｋ）、Ｆ（２，ｋ＋１）とを合わせて周囲画素と呼び、周囲画素の中心を周囲画素中心と呼ぶ。また、ｋはｉ番目の画素にフレーム画像Ｆ２の横方向の画素数を加えた画素の番号を示している。
【００９８】
まず、４つの周囲画素中心に囲まれた四角形を、各周囲画素中心と注目画素Ｇ（ｊ）の中心とを結ぶ４つの線分によって４つの区画に分割する。そして、４つの周囲画素中心に囲まれた四角形の面積と、その四角形内の４つの区画の面積とを用いて、各周囲画素の重み係数を算出する。すなわち、周囲画素のそれぞれについて、４つの周囲画素中心に囲まれた四角形の面積に対する、４つの区画の内その周囲画素中心に接しない２つの区画の面積の合計の比を、その周囲画素の重み係数とする。従って、注目画素Ｇ（ｊ）の画素データは、周囲画素のそれぞれについて、その周囲画素の画素データと、その周囲画素の重み係数との積を合計することにより算出される。
【００９９】
以上のように、画像合成処理では、基準フレーム画像と対象フレーム画像のうち、最近傍画素を含むフレーム画像の画素を用いて、注目画素の補間処理を行うことにより、合成を行いつつ高精細化を行っている。このため、非常に高画質な静止画像を得ることができる。
【０１００】
Ｂ．第２実施例：
図１２は、本発明の第２実施例としての画像生成装置の構成を概略的に示した説明図である。図１に示した第１実施例との違いは、本実施例では、画像生成装置１０が画像ファイル生成部１８と、再処理省略判定部１９とを備えていることであり、その他の点は第１実施例と同じである。画像ファイル生成部１８は、高精細画像データ生成処理によって生成された高精細画像データと、高精細画像データ生成処理の内容を特定するための高精細処理特定情報とを含む高精細画像ファイルを生成する。また、再処理省略判定部１９は、後述する再処理省略判定を行う。
【０１０１】
図１３は、画像生成装置による高精細画像ファイル生成処理の流れを示すフローチャートである。図４に示した第１実施例における高精細画像データ生成処理との違いは、本実施例における高精細画像ファイル生成処理では、ステップＳ７００の高精細処理特定情報生成と、ステップＳ８００の高精細画像ファイル生成とを行っていることであり、その他の点は第１実施例における高精細画像データ生成処理と同じである。
【０１０２】
ステップＳ７００では、画像ファイル生成部１８（図１２）が、高精細処理特定情報を生成する。図１４は、高精細処理特定情報の内容を概略的に示す説明図である。上述したように、高精細処理特定情報は高精細画像データ生成処理の内容を特定するための情報であり、その内容は、画像処理名情報と、合成元画像データ特定情報と、画像処理設定情報とを含んでいる。
【０１０３】
画像処理名情報には、画像データが精細画像データ生成処理により生成された高精細画像データであるという情報が含まれる。また、合成元画像データ特定情報には、元動画像データを特定するための元動画像データ名および元動画像データ作成日時と、元動画像データのフレーム画像サイズと、基準フレーム画像データを特定するための絶対フレーム番号と、対象フレーム画像データを特定するための絶対フレーム番号とが含まれる。また、画像処理設定情報には、画像合成に用いたフレーム画像数と、生成画像サイズＷｐとが含まれる。
【０１０４】
ステップＳ８００（図１３）では、画像ファイル生成部１８（図１２）が、高精細画像ファイルを生成する。図１５は、高精細画像ファイルの内部構成の一例を概略的に示す説明図である。高精細画像ファイルＧＦは、高精細画像データを格納する画像データ格納領域９０と、画像データ情報を格納する画像データ情報格納領域８０とを備えている。ここで、画像データ情報は、高精細画像データに関する種々の情報を意味し、その中には、高精細処理特定情報を含んでいる。高精細画像データは、例えば、ＪＰＥＧ形式で格納されており、画像データ情報は、例えば、ＴＩＦＦ形式で格納されている。なお、本実施例におけるファイルの構造、データの構造、といった用語は、ファイルまたはデータ等が記憶装置に格納された状態におけるファイルまたはデータの構造を意味するものである。
【０１０５】
高精細画像ファイルＧＦは、基本的に上記の画像データ格納領域９０と、画像データ情報格納領域８０とを備えていれば良く、既に規格化されているファイル形式に従ったファイル構造をとることができる。以下、本実施例に係る高精細画像ファイルＧＦを規格化されているファイル形式に適合させた場合について具体的に説明する。
【０１０６】
高精細画像ファイルＧＦは、例えば、デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）に従ったファイル構造を有することができる。Ｅｘｉｆファイルの仕様は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。また、Ｅｘｉｆファイル形式は、図１５に示した概念図と同様に、ＪＰＥＧ形式の画像データを格納するＪＰＥＧ画像データ格納領域と、格納されているＪＰＥＧ画像データに関する各種情報を格納する付属情報格納領域とを備えている。ＪＰＥＧ画像データ格納領域は図１５における画像データ格納領域９０に相当し、付属情報格納領域は図１５における画像データ情報格納領域８０に相当する。なお、当業者にとって周知であるように、Ｅｘｉｆファイル形式のファイルでは、各データを特定するためにタグが用いられており、各データはタグ名によって呼ばれることがある。
【０１０７】
付属情報格納領域には、図１４に示した高精細処理特定情報が、規定のアドレスまたはオフセット値に従って格納されている。高精細処理特定情報は、例えば、付属情報格納領域内の未定義領域内であって、ユーザーに解放されているユーザー定義領域内に格納することができる。
【０１０８】
以上説明したように、第２実施例の画像生成装置１０（図１２）は、高精細画像データと、高精細処理特定情報とを含む高精細画像ファイルを生成することができる。このように高精細画像ファイルを生成すると、高精細処理特定情報を参照することによって、高精細画像ファイルに含まれる高精細画像データが、どのような高精細画像データ生成処理によって生成されたかがわかることとなる。このことは、以下の点で有用である。
【０１０９】
例えば、ユーザーが、画像格納部１１に格納されている高精細画像ファイルを選択し、その高精細画像ファイルに含まれる高精細画像データを出力するときを考える。画像生成装置１０には、複数の種別（プリンタやプロジェクタなど）および型番（機種）の出力装置を接続することが可能であるので、高精細画像ファイル生成時に対象としていた出力装置と、現在出力に用いようとしている出力装置が異なる場合、その高精細画像ファイルに含まれる高精細画像データが、出力に用いようとしている出力装置に適しているとは限らない。このようなとき、画像生成装置１０は、高精細処理特定情報を参照することによって、その高精細画像データが出力に用いようとしている出力装置に適しているかを判別することができる。
【０１１０】
また、画像生成装置１０が、その高精細画像データは出力に用いようとしている出力装置に適していないと判別したとき、その高精細画像データと画像の同一性があり、かつ、その出力装置に適した高精細画像データを含む高精細画像ファイルを検索することもできる。さらに、画像生成装置１０が、その出力装置に適した高精細画像データを含む高精細画像ファイルを検索しても、検出できなかった場合には、その出力装置に適した高精細画像データを含む高精細画像ファイルを改めて生成することもできる。
【０１１１】
図１６は、画像生成装置による高精細画像出力処理の流れを示すフローチャートである。また、図１７は、画像生成装置による高精細画像出力処理の概要を示す説明図である。なお、本明細書において、「高精細画像出力処理」とは、ユーザーが、画像格納部１１に格納されている高精細画像ファイルの中から１つの高精細画像ファイルを選択し、高精細画像生成・出力ボタン１２５（図２）を操作して出力指示をしたときに、画像生成装置１０が行う処理を意味している。また、本明細書において、上記のようにユーザーが選択した高精細画像ファイルを「選択画像ファイル」と呼ぶものとする。
【０１１２】
ステップＳ１０００（図１６）では、画像出力制御部１３（図１２）が、選択画像ファイルに含まれる高精細処理特定情報を取得する。図１７の左側には、画像格納部１１を示しており、画像格納部１１内に格納されている高精細画像ファイルの１つである選択画像ファイルから取得した高精細処理特定情報を右側上段に示している。
【０１１３】
ステップＳ１１００では、生成画像サイズ設定部１５（図１２）が、出力装置情報を取得する。ステップＳ１２００では、生成画像サイズ設定部１５が、出力装置情報に基づいて出力画像サイズＷｏを設定する。生成画像サイズ設定部１５による出力装置情報の取得および出力画像サイズＷｏの設定の処理内容は、図４に示した第１実施例におけるステップＳ２００およびステップＳ３００の処理内容と同じである。図１７の右側には、設定された出力画像サイズＷｏを示している。
【０１１４】
ステップＳ１３００では、再処理省略判定部１９（図１２）が、選択画像ファイルによる再処理省略判定を行う。ここで、「再処理」とは、出力に用いる出力装置に適した高精細画像データを含む高精細画像ファイルを生成する高精細画像ファイル生成処理を改めて行うことを意味し、「再処理省略判定」とは、再処理を省略して、既に生成されている高精細画像を出力することが可能か否かの判定を意味している。ステップＳ１３００における再処理省略判定は、選択画像ファイルの高精細処理特定情報と、設定された出力画像サイズＷｏとを比較することによって行うものであり、図１７中には判定１として示している。
【０１１５】
図１８は、選択画像ファイルによる再処理省略判定の処理の流れを示すフローチャートである。ステップＳ１３１０では、再処理省略判定部１９が、画像サイズの判定を行う。画像サイズの判定は、選択画像ファイルの高精細処理特定情報中に含まれる生成画像サイズＷｐが、設定された出力画像サイズＷｏの整数倍となっているか否かの判定である。
【０１１６】
生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていると判定したときは（ステップＳ１３１０：Ｙｅｓ）、再処理省略判定部１９は、再処理省略可と判定する。生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっているときは、選択画像ファイルに含まれる高精細画像データを出力する際に、出力装置側における画像サイズ変換処理が行われないか、または、整数分の１倍の画像サイズ変換処理が行われるかのどちらかである。そのため、高精細画像データの出力に伴う画質の低下は、無いか、または、小さい。従って、このようなときは、再処理を省略し、選択画像ファイルに含まれる高精細画像データを出力に用いることができるとしている。
【０１１７】
一方、生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていないと判定したときは（ステップＳ１３１０：Ｎｏ）、再処理省略判定部１９は、再処理省略不可と判定する。生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていないときは、選択画像ファイルに含まれる高精細画像データを出力する際に、出力装置側において非整数分の１倍の画像サイズ変換処理が行われる。そのため、高精細画像データの出力に伴う画質の低下は大きい。従って、このようなときは、選択画像ファイルに含まれる高精細画像データを出力に用いることによって再処理を省略することはできないとしている。
【０１１８】
ステップＳ１３００（図１６）において、再処理省略可と判定されたときは、ステップＳ１６００に進み、画像出力制御部１３（図１２）が、選択画像ファイルに含まれる高精細画像データの出力を行う。一方、ステップＳ１３００において、再処理省略不可と判定されたときは、ステップＳ１４００に進む。
【０１１９】
ステップＳ１４００では、再処理省略判定部１９が、検索対象画像ファイルによる再処理省略判定を行う。ステップＳ１４００における再処理省略判定は、複数の高精細画像ファイルを格納した記録媒体の内で、所定の検索範囲内のデータ格納領域内に格納された高精細画像ファイルを検索対象画像ファイルとして設定して行う。そして、設定された検索対象画像ファイル内に含まれる高精細処理特定情報と、選択画像ファイル内に含まれる高精細処理特定情報および設定された出力画像サイズＷｏとを比較することによって行う。すなわち、選択画像ファイルに含まれる高精細画像データと同一性があり、かつ、出力装置に適した高精細画像データを含む高精細画像ファイルを、所定の検索範囲内において探索する処理である。ここで、所定の検索範囲は任意に設定することができるが、本実施例では、所定の検索範囲を画像格納部１１内に設定しているものとする。図１７の左側には画像格納部１１に格納された高精細画像ファイルを示しており、高精細画像ファイルを検索対象画像ファイルとして設定して行う再処理省略判定を図１７中に判定２、３、４・・・として示している。
【０１２０】
図１９は、検索対象画像ファイルによる再処理省略判定の処理の流れを示すフローチャートである。ステップＳ１４１０では、再処理省略判定部１９（図１２）が、検索対象画像ファイルを設定する。検索対象画像ファイルの設定は、画像格納部１１に格納されている高精細画像ファイルの中から、まだ検索対象ファイルとして設定されていない任意の高精細画像ファイルを選択することにより行う。ここで、検索対象画像ファイルの設定のためには、画像格納部１１に格納された画像ファイルの中から、高精細画像ファイルを識別する必要がある。上述したように、高精細画像ファイルは、画像ファイル中の高精細処理特定情報に、画像データが高精細画像データ生成処理により生成された高精細画像データであるという情報が含まれているため、その情報を元に高精細画像ファイルの識別を行うことができる。
【０１２１】
ステップＳ１４２０では、再処理省略判定部１９が、検索対象画像ファイルに含まれる高精細処理特定情報を取得する。
【０１２２】
ステップＳ１４３０では、再処理省略判定部１９が、画像の同一性の判定を行う。画像の同一性の判定は、検索対象画像ファイルに含まれる高精細画像データの表す高精細画像が、選択対象画像ファイルに含まれる高精細画像データの表す高精細画像と同一性があるかの判定である。
【０１２３】
画像の同一性の判定は、検索対象画像ファイルに含まれる高精細処理特定情報と、選択対象画像ファイルに含まれる構成再処理特定情報とを比較し、元動画像データの同一性、基準フレーム画像の同一性、合成フレーム数の同一性を判定することにより行う。
【０１２４】
元動画像データの同一性の判定では、再処理省略判定部１９が、両画像ファイルの元動画像データ名および元動画像データ作成日時が一致しているかを判定し、一致していれば同一性があると判定する。基準フレーム画像の同一性の判定では、再処理省略判定部１９が、両画像ファイルの基準フレーム画像データの絶対フレーム番号が一致しているか否かを判定し、一致していれば同一性があると判定する。合成フレーム数の同一性の判定では、再処理省略判定部１９が、両画像ファイルの合成フレーム数が一致しているか、または、検索対象画像ファイルの方が合成フレーム数が大きいときは、同一性があると判定する。
【０１２５】
再処理省略判定部１９は、元動画像データの同一性、基準フレーム画像の同一性、合成フレーム数の同一性のすべてにおいて、同一性があると判定したときは、画像の同一性があると判定する。一方、元動画像データの同一性、基準フレーム画像の同一性、合成フレーム数の同一性のどれか１つでも同一性がないと判定したときは、画像の同一性がないと判定する。
【０１２６】
ステップＳ１４３０の画像の同一性の判定において、画像の同一性があると判定されたときは（ステップＳ１４３０：Ｙｅｓ）、ステップＳ１４４０に進む。一方、画像の同一性がないと判定されたときには（ステップＳ１４３０：Ｎｏ）、ステップＳ１４５０に進む。
【０１２７】
ステップＳ１４４０では、再処理省略判定部１９が、画像サイズの判定を行う。画像サイズの判定は、検索対象画像ファイルの生成画像サイズＷｐが、設定された出力画像サイズＷｏの整数倍となっているか否かの判定である。この判定の内容は、図１８のステップＳ１３１０における画像サイズの判定の内容と同じである。
【０１２８】
ステップＳ１４４０の画像サイズの判定において、再処理省略判定部１９が、生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていると判定したときは（ステップＳ１４４０：Ｙｅｓ）、再処理省略判定部１９が、再処理省略可と判定し、そのとき判定の対象となっていた検索対象画像ファイルを代替画像ファイルとして設定する。一方、生成画像サイズＷｐが出力画像サイズＷｏの整数倍となっていないと判定したときは（ステップＳ１４４０：Ｎｏ）、ステップＳ１４５０に進む。
【０１２９】
ステップＳ１４５０では、再処理省略判定部１９が、画像格納部１１に格納されているすべての高精細画像ファイルを検索対象画像ファイルとして設定したか否かを判定する。画像格納部１１に格納されているすべての高精細画像ファイルを検索対象画像ファイルとして設定したと判定したときは（ステップＳ１４５０：Ｙｅｓ）、再処理省略判定部１９は、再処理省略不可と判定する。一方、画像格納部１１に格納されているすべての高精細画像ファイルを検索対象画像ファイルとして設定していない、すなわち、まだ検索対象画像ファイルとして設定していない高精細画像ファイルが存在すると判定したときは（ステップＳ１４５０：Ｎｏ）、再処理省略判定部１９は、ステップＳ１４１０に戻って処理を繰り返す。
【０１３０】
ステップＳ１４００（図１６）において、再処理省略可と判定されたときは、ステップＳ１８００に進み、画像出力制御部１３（図１２）が、代替画像ファイルに含まれる高精細画像データの出力を行う。一方、ステップＳ１４００において、再処理省略不可と判定されたときは、ステップＳ１５００に進む。
【０１３１】
ステップＳ１５００では、再処理省略判定部１９が、再処理実行可否の判定を行う。上述したように、再処理とは、出力に用いる出力装置に適した高精細画像データを含む高精細画像ファイルを生成する高精細画像ファイル生成処理を改めて行うことを意味している。そして、高精細画像ファイル生成処理は、その処理内容が特定されていることを前提とすれば、元動画像データが存在すれば実行可能である。従って、再処理実行可否の判定は、ステップＳ１０００で取得した選択画像ファイルの高精細処理特定情報によって特定される元動画像データが、画像格納部１１内に存在するか否かの判定である。すなわち、再処理省略判定部１９は、元動画像データ名と元動画像データ作成日時とによって特定される元動画像データが画像格納部１１内に存在すれば、再処理実行可と判定する。一方、再処理省略判定部１９は、元動画像データが画像格納部１１内に存在しなければ、再処理実行不可と判定する。
【０１３２】
ステップＳ１５００で、再処理実行可と判定されたときは（ステップＳ１５００：Ｙｅｓ）、ステップＳ１７００に進み、画像生成装置１０（図１２）が、高精細画像ファイルの生成および出力を行う。ステップＳ１７００の高精細画像ファイルの生成は、ステップＳ１０００で取得した選択画像ファイルの高精細処理特定情報と、ステップＳ１２００で設定された出力画像サイズＷｏとによって特定される高精細画像ファイル生成処理を行う処理である。高精細画像ファイル生成処理の流れは、図１３に示した処理の流れと同じである。また、ステップＳ１７００の高精細画像ファイルの出力は、生成された高精細画像ファイルに含まれる高精細画像データを出力する処理である。
【０１３３】
一方、ステップＳ１５００で、再処理実行不可と判定されたときは（ステップＳ１５００：Ｎｏ）、ステップＳ１６００に進み、画像出力制御部１３（図１２）が、選択画像ファイルに含まれる高精細画像データの出力を行う。このときには、高精細画像データの出力に伴う画質の低下は、ある程度大きくなる。
【０１３４】
以上説明したように、本実施例の画像生成装置１０は、高精細画像データと高精細処理特定情報とを含む高精細画像ファイル生成処理を行うことができる。また、本実施例の画像生成装置１０は、高精細画像ファイルに含まれる高精細画像を出力する際に、画質の低下を抑制しつつ、出力処理時間の増大を抑制することができる。
【０１３５】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１３６】
Ｃ１．変形例１：
上記第１実施例では、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値が所定の閾値よりも小さいか否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定方法を変更していたが、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値に関わらず、生成画像サイズＷｐを出力画像サイズＷｏと等しい値として設定することも可能である。このようにしても、高精細画像データ生成処理の処理時間が増大する場合はあるものの、出力装置での出力に伴う画質の低下は抑制することができる。
【０１３７】
Ｃ２．変形例２：
上記第１実施例では、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定を行っているが、生成画像サイズ設定部１５が、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか否かを判定し、かつ、整数値か否かを判定して、その判定結果に応じて生成画像サイズＷｐの設定を行うとしてもよい。すなわち、生成画像サイズ設定部１５は、出力画像サイズ比ｒＷｏの値が所定の閾値より小さいか、または、整数値であるときは、生成画像サイズＷｐを出力画像サイズＷｏと等しい値に設定し、出力画像サイズ比ｒＷｏの値が所定の閾値以上の非整数値であるときは、生成画像サイズＷｐを出力画像サイズＷｏを調整係数ｋで除した値に設定するとしてもよい。
【０１３８】
このとき、出力画像サイズ比ｒＷｏの値が、所定の閾値以上であっても、整数値であるときは、生成画像サイズＷｐは出力画像サイズＷｏと等しい値に設定される。ここで、出力画像サイズ比ｒＷｏの値が整数値であるときは、高精細画像データ生成処理に要する時間は比較的短くなる。そのため、出力画像サイズ比ｒＷｏの値が所定の閾値以上の整数値であるときに、生成画像サイズＷｐを出力画像サイズＷｏと等しい値に設定するとしても、処理時間の増大を抑制することができ、かつ、画質の向上の効果を得ることができる。
【０１３９】
Ｃ３．変形例３：
上記第１実施例では、生成画像サイズ設定部１５が、出力装置の出力装置情報に基づき設定される出力画像サイズＷｏを参照して生成画像サイズＷｐを設定しているが、生成画像サイズ設定部１５が、出力装置情報に含まれる出力装置の種別に応じて生成画像サイズＷｐを設定するとしてもよい。すなわち、生成画像サイズ設定部１５が、出力に用いるプリンタやプロジェクタなどの出力装置の種別を検知して、生成画像サイズＷｐを設定するとしてもよい。
【０１４０】
例えば、出力装置が「プリンタ」のときは、出力結果である印刷物を近くで観察したり、保存したりすることが考えられるため、高精細な画像が求められやすい。また、出力装置が「プロジェクタ」のときは、出力結果であるスクリーン等への投影は一過性であるため、プリンタのときほど高精細さは求められにくい。このように、一般に、出力装置の種別によって出力結果の利用形態が異なることから、出力装置の種別によって、求められる生成画像サイズＷｐは、ある程度の範囲で定まることが多い。そのため、生成画像サイズ設定部１５が、出力装置の種別に応じて生成画像サイズＷｐを設定するとすることも可能である。このようにすれば、生成画像サイズＷｐの設定処理の高速化を図ることが可能になると共に、出力装置の種別以外の出力装置情報が取得できないときにも、出力装置にある程度適した高精細画像データを生成することが可能となる。さらに、出力装置の種別と、設定される生成画像サイズＷｐとの対応関係を、ユーザーが任意に設定できるとすることも可能である。
【０１４１】
Ｃ４．変形例４：
上記第２実施例における高精細処理特定情報には、高精細画像ファイル生成処理実行の際に対象としていた出力装置を特定する出力装置特定情報を含むとしてもよい。このようにすれば、高精細画像出力処理における再処理省略判定に、出力装置特定情報を用いることができる。例えば、選択画像ファイルによる再処理省略判定において、再処理省略判定部１９が、選択画像ファイル中の出力装置特定情報から特定される出力装置と、出力に用いる出力装置との同一性があれば、再処理省略可と判定することも可能である。
【０１４２】
また、このときの出力装置の同一性の判定は、出力装置の種別のみで比較を行ってもよい。また、出力装置の型番を比較する項目に加えてもよい。さらに、プリンタであれば印刷解像度等を、プロジェクタであればプロジェクタの画像サイズを、比較する項目に加えてもよい。
【０１４３】
Ｃ５．変形例５：
上記第２実施例では、再処理省略判定における画像の同一性の判定において、再処理省略判定部１９が、基準フレーム画像の同一性を絶対フレーム番号の一致によって判定しているが、再処理省略判定部１９が、基準フレーム画像の同一性を絶対フレーム番号の類似によって判定することも可能である。ここで、絶対フレーム番号の類似とは、絶対フレーム番号が、ある基準の番号を含む所定の範囲内にあることを意味している。
【０１４４】
一般に、動画像を構成する連続したフレーム画像の時間的間隔は、数十分の１秒というきわめて短時間である。従って、絶対フレーム番号が所定の範囲内にある複数のフレーム画像は、その内容がきわめて類似し、同一性の範囲にあると言える場合も多い。従って、再処理省略判定部１９が、基準フレーム画像の同一性を絶対フレーム番号の類似（絶対フレーム番号が、ある基準の番号を含む所定の範囲内にあること）によって判定しても、画像の同一性を確保できることも多い。このようにすることで、再処理省略可と判定される条件が緩和され、再処理を省略できる場合が増加するため、好ましい。
【０１４５】
Ｃ６．変形例６：
上記第１実施例では、生成画像サイズ設定部１５が、接続ケーブルを介して出力装置情報を取得しているが、生成画像サイズ設定部１５が、無線通信等の他の通信手段によって出力装置情報を取得することも可能である。
【０１４６】
Ｃ７．変形例７：
上記第２実施例の高精細画像出力処理において、再処理省略判定部１９が、再度の高精細画像ファイル生成処理を行うと判定したときは、例えば表示画面１２０にその旨を表示することによって、ユーザーに知らせるようにすることも可能である。さらに、その際、再度の高精細画像ファイル生成処理を行うか否かをユーザーに選択させるようにすることも可能である。
【０１４７】
Ｃ８．変形例８：
上記第２実施例の高精細画像出力処理では、再処理省略判定部１９が再処理省略判定を行った後に、画像を出力するとしているが、例えば、出力装置がプロジェクタのときは、再処理省略判定部１９による再処理省略判定結果が出るまでは、選択画像ファイルに含まれる高精細画像データを仮に出力しておき、再処理省略判定結果が出た後に、必要により出力に用いる高精細画像データを切り替えるようにすることも可能である。
【０１４８】
Ｃ９．変形例９：
上記第２実施例では、高精細処理特定情報と高精細画像データとを含む高精細処理画像ファイルを生成しているが、高精細処理特定情報と高精細画像データとが同一ファイルに存在する必要はなく、関連づけられた別々のファイルとすることも可能である。
【０１４９】
Ｃ１０．変形例１０：
上記第２実施例において説明した高精細処理特定情報の内容は一例であり、その内容は任意に設定することが可能である。
【０１５０】
Ｃ１１．変形例１１：
上記実施例では、動画像を構成する複数のフレーム画像データを用いて、高精細画像データを生成する例を用いて説明したが、フレーム画像データ以外の他の画像データを用いて高精細画像データを生成することも可能である。例えば、複数の静止画像データを用いて高精細画像データを生成することもできる。
【０１５１】
Ｃ１２．変形例１２：
上記実施例において、画像全体のずれ補正量を推定する際に、並進ずれ（横方向ｕ、縦方向ｖ）および回転ずれ（δ）の３つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。
【符号の説明】
【０１５２】
１０…画像生成装置
１１…画像格納部
１２…画像表示操作部
１３…画像出力制御部
１４…画像生成制御部
１５…生成画像サイズ設定部
１６…画像合成部
１８…画像ファイル生成部
１９…再処理省略判定部
２０…インターフェイス
３０…デジタルビデオカメラ
４０…デジタルスチルカメラ
５０…プリンタ
６０…プロジェクタ
８０…画像データ情報格納領域
９０…画像データ格納領域
１２０…表示画面
１２１…画像データ種別画面
１２２…画像リスト画面
１２３…画像表示画面
１２４…動画操作ボタン
１２５…高精細画像生成・出力ボタン
１２６…出力装置表示画面
１２７…出力設定ボタン
【特許請求の範囲】
【請求項１】
複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像生成装置であって、
前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する生成画像サイズ設定部と、
前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成部と、を備える、画像生成装置。
【請求項２】
請求項１記載の画像生成装置であって、
前記生成画像サイズ設定部は、前記出力装置情報に基づき設定される出力画像サイズを参照して、前記生成画像サイズを設定する、画像生成装置。
【請求項３】
請求項２記載の画像生成装置であって、
前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上のときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定する、画像生成装置。
【請求項４】
請求項２記載の画像生成装置であって、
前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいか、または、整数値であるときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上の非整数値であるときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定する、画像生成装置。
【請求項５】
請求項２記載の画像生成装置であって、
前記画像生成装置は、複数の出力装置を接続可能であり、
前記生成画像サイズ設定部は、前記複数の出力装置の内、前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得する、画像生成装置。
【請求項６】
請求項５記載の画像生成装置であって、さらに、
前記生成画像サイズと、前記合成元画像データを特定するための情報と、を含む高精細処理特定情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部と、
ユーザーが選択画像ファイルとして選択した高精細画像ファイル中に含まれる高精細画像データを出力する際に、前記選択画像ファイルに含まれる高精細処理特定情報を用いて、前記画像合成部における再度の高精細画像データ生成処理の省略の可否を判定する再処理省略判定部と、を備え、
前記再処理省略判定部が省略否と判定したときは、前記画像合成部が、再度の高精細画像データ生成処理を実行する、画像生成装置。
【請求項７】
請求項６記載の画像生成装置であって、
前記再処理省略判定部は、
前記選択画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定する、画像生成装置。
【請求項８】
請求項６記載の画像生成装置であって、
前記再処理省略判定部は、
複数の高精細画像ファイルを格納した記録媒体のうちで、所定の検索範囲内のデータ格納領域に格納された高精細画像ファイルを検索対象画像ファイルとして設定し、
（i）前記選択画像ファイルおよび前記検索対象画像ファイルに含まれるそれぞれの高精細処理特定情報中の合成元画像データを特定するための情報によって、前記選択画像ファイルに含まれる高精細画像データと、前記検索対象画像ファイルに含まれる高精細画像データとの間に画像の同一性があると判定され、かつ、
（ii）前記検索対象画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定する、画像生成装置。
【請求項９】
請求項１ないし請求項８に記載の画像生成装置であって、
前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データである、画像生成装置。
【請求項１０】
複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像生成方法であって、
（ａ）前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する工程と、
（ｂ）前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する工程と、を備える、画像生成方法。
【請求項１１】
複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成するための画像生成プログラムであって、
前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する生成画像サイズ設定機能と、
前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成機能と、をコンピュータ上に実現させることを特徴とする、画像生成プログラム。
【請求項１】
複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像生成装置であって、
前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する生成画像サイズ設定部と、
前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成部と、を備える、画像生成装置。
【請求項２】
請求項１記載の画像生成装置であって、
前記生成画像サイズ設定部は、前記出力装置情報に基づき設定される出力画像サイズを参照して、前記生成画像サイズを設定する、画像生成装置。
【請求項３】
請求項２記載の画像生成装置であって、
前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上のときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定する、画像生成装置。
【請求項４】
請求項２記載の画像生成装置であって、
前記生成画像サイズ設定部は、前記出力画像サイズと、前記合成元画像データの表す画像の画像サイズとの比を出力画像サイズ比として算出し、前記出力画像サイズ比の値が所定の閾値より小さいか、または、整数値であるときは、前記生成画像サイズを前記出力画像サイズと等しい値に設定し、前記出力画像サイズ比の値が所定の閾値以上の非整数値であるときは、前記生成画像サイズを、前記出力画像サイズを１より大きな調整係数で除した値に設定する、画像生成装置。
【請求項５】
請求項２記載の画像生成装置であって、
前記画像生成装置は、複数の出力装置を接続可能であり、
前記生成画像サイズ設定部は、前記複数の出力装置の内、前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得する、画像生成装置。
【請求項６】
請求項５記載の画像生成装置であって、さらに、
前記生成画像サイズと、前記合成元画像データを特定するための情報と、を含む高精細処理特定情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部と、
ユーザーが選択画像ファイルとして選択した高精細画像ファイル中に含まれる高精細画像データを出力する際に、前記選択画像ファイルに含まれる高精細処理特定情報を用いて、前記画像合成部における再度の高精細画像データ生成処理の省略の可否を判定する再処理省略判定部と、を備え、
前記再処理省略判定部が省略否と判定したときは、前記画像合成部が、再度の高精細画像データ生成処理を実行する、画像生成装置。
【請求項７】
請求項６記載の画像生成装置であって、
前記再処理省略判定部は、
前記選択画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定する、画像生成装置。
【請求項８】
請求項６記載の画像生成装置であって、
前記再処理省略判定部は、
複数の高精細画像ファイルを格納した記録媒体のうちで、所定の検索範囲内のデータ格納領域に格納された高精細画像ファイルを検索対象画像ファイルとして設定し、
（i）前記選択画像ファイルおよび前記検索対象画像ファイルに含まれるそれぞれの高精細処理特定情報中の合成元画像データを特定するための情報によって、前記選択画像ファイルに含まれる高精細画像データと、前記検索対象画像ファイルに含まれる高精細画像データとの間に画像の同一性があると判定され、かつ、
（ii）前記検索対象画像ファイルに含まれる高精細処理特定情報中の生成画像サイズが、前記出力画像サイズの整数倍であるときは、
再度の高精細画像データ生成処理を省略可と判定する、画像生成装置。
【請求項９】
請求項１ないし請求項８に記載の画像生成装置であって、
前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データである、画像生成装置。
【請求項１０】
複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像生成方法であって、
（ａ）前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する工程と、
（ｂ）前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する工程と、を備える、画像生成方法。
【請求項１１】
複数の画像データから前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成するための画像生成プログラムであって、
前記生成する高精細画像データの出力に用いる出力装置に関する情報を出力装置情報として取得し、前記出力装置情報に基づいて前記出力装置での出力に適した前記高精細画像の画素数で表現される画像サイズを生成画像サイズとして設定する生成画像サイズ設定機能と、
前記複数の画像データから、時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記設定した生成画像サイズの高精細画像を表す高精細画像データを生成する画像合成機能と、をコンピュータ上に実現させることを特徴とする、画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２２１７１０（Ｐ２０１０−２２１７１０Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２０１０−８７１０１（Ｐ２０１０−８７１０１）
【出願日】平成２２年４月５日（２０１０．４．５）
【分割の表示】特願２００４−５７１６０（Ｐ２００４−５７１６０）の分割
【原出願日】平成１６年３月２日（２００４．３．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２２年４月５日（２０１０．４．５）
【分割の表示】特願２００４−５７１６０（Ｐ２００４−５７１６０）の分割
【原出願日】平成１６年３月２日（２００４．３．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]