画像処理システム
【課題】 携帯端末で撮影した動画像から静止画像を作成するシステムを提供する。
【解決手段】 携帯電話１０は、基準フレーム画像Ｆ０と、基準フレーム画像の前後のフレーム画像Ｆ１〜Ｆ３とを選択し、サーバ１００に送信する。サーバ１００は、基準フレーム画像Ｆ０と、他のフレーム画像Ｆ１〜Ｆ３との画素のずれに基づき、鮮明化処理を実行して高解像度静止画像２００を作成し、サンプル版であることを表すサンプル表示２１０を貼付し、携帯電話１０に送信する。携帯電話１０は、利用者からの印刷指示に基づき、印刷指示をサーバ１００に送信する。サーバ１００は、指定されたプリンタＰＲＴに、サンプル表示２１０を削除した高解像度静止画像２００を送信する。プリンタＰＲＴは印刷を実行する。こうすれば、携帯電話１０で撮影した動画像から、簡易に、高解像度の静止画像を取得できる。
【解決手段】 携帯電話１０は、基準フレーム画像Ｆ０と、基準フレーム画像の前後のフレーム画像Ｆ１〜Ｆ３とを選択し、サーバ１００に送信する。サーバ１００は、基準フレーム画像Ｆ０と、他のフレーム画像Ｆ１〜Ｆ３との画素のずれに基づき、鮮明化処理を実行して高解像度静止画像２００を作成し、サンプル版であることを表すサンプル表示２１０を貼付し、携帯電話１０に送信する。携帯電話１０は、利用者からの印刷指示に基づき、印刷指示をサーバ１００に送信する。サーバ１００は、指定されたプリンタＰＲＴに、サンプル表示２１０を削除した高解像度静止画像２００を送信する。プリンタＰＲＴは印刷を実行する。こうすれば、携帯電話１０で撮影した動画像から、簡易に、高解像度の静止画像を取得できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介した画像処理システムに関するものである。
【背景技術】
【０００２】
近年、時系列に連続した複数の画像から構成されている動画像から、高解像度の画像を作成する画像処理装置が普及しつつある。画像処理装置は、例えば、複数の画像のうち、基準となる画像と、この基準画像の前後の画像との画素のずれに基づいて画素の補間を行うことで、高解像度静止画像を作成する。
【０００３】
【特許文献１】特開平１１−１４６１１８号公報
【特許文献２】特開２００３−１０８３４３号公報
【特許文献３】特開２００３−２９６０６０号公報
【特許文献４】特開２００２−２１５７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、携帯電話やＰＤＡなどの携帯端末が急速に普及しつつある。これら携帯端末は、カメラ機能を有するものが多く存在し、静止画像だけでなく、動画像を撮影することも可能な端末が増加している。そのため、携帯端末で撮影した動画像から高解像度静止画像を作成する技術が要望されている。
【０００５】
動画像から高解像度静止画像を作成する画像処理は、非常に負荷のかかる処理である。しかしながら、携帯電話は、小型化・軽量化の観点から、演算処理能力が低いため、携帯端末において撮影した動画像から解像度の高い静止画像を作成する画像処理を行うことは困難であるという問題があった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、簡易な構成で、演算能力の低い画像処理装置においても、解像度の高い静止画像を取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題の少なくとも一部を解決するために、本発明は、第１の構成として、以下のような構成をとることとした。すなわち、
画像処理装置と端末とがネットワークを介して接続された画像処理システムにおいて、
前記端末は、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備え、
前記画像処理装置は、
前記送信された画像を受信する受信部と、
前記画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備えることを要旨とする。
【０００８】
このような構成をとることとすれば、端末は、端末において取得した時系列に連続した複数の画像に基づき、簡易に、高解像度静止画像を表示することができる。従って、利用者は、容易に高解像度静止画像を確認することができる。
【０００９】
本発明の第２の構成として、
端末において、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備えることを要旨とする。
【００１０】
こうすれば、端末は時系列に連続した複数の画像から、高解像度静止画像を作成する元となる２以上の画像を、柔軟に選択して画像処理装置に送信することができる。
【００１１】
本発明の端末において、更に、前記選択の基準となる基準画像の入力を受け付ける入力受付部とを備え、前記選択部は、前記基準画像に基づき、前記２以上の画像を選択することとしてもよい。こうすれば、利用者は、高解像度静止画像の作成の基準となる画像を任意に選択することができる。
【００１２】
本発明の端末において、前記入力受付部は、前記基準画像として、任意に選択される２つの画像の入力を受け付け、前記選択部は、前記２つの画像の間に存在する画像と、前記２つの画像とを、前記２以上の画像として選択することとしてもよい。こうすれば、利用者は高解像度静止画像の作成に用いられる画像の範囲や枚数を、柔軟に選択できる。
【００１３】
本発明の第２の構成として、
画像処理装置において、
端末から送信される時系列に連続する複数の画像を受信する受信部と、
前記複数の画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い前記高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備えることを要旨とする。
【００１４】
こうすれば、利用者は、画像処理装置に複数の画像を送信することにより、自分で画像処理を行うことなく、簡易に高解像度静止画像を取得することができる。
【００１５】
本発明の画像処理装置において、前記画像作成部は、更に、前記高解像度静止画像と、前記複数の画像とを区別するための識別記号を、前記高解像度静止画像上に付与することとしてもよい。こうすれば、高解像度静止画像を確認した利用者は、高解像度静止画像が見本であることを簡易に理解することができる。
【００１６】
本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、上述した画像処理システム、端末、画像処理装置としての構成の他に、端末による画像送信方法、画像処理装置による画像処理方法、端末に画像を送信させるためのコンピュータプログラム、画像処理装置に画像処理を実行させるためのコンピュータプログラム、かかるコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体等としても構成できる。いずれの構成においても、上述した各態様を適宜適用可能である。コンピュータが読み取り可能な記録媒体としては、例えば、フレキシブルディスクや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ハードディスク等種々の媒体を利用することが可能である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、実施例に基づき、次の順序で説明する。
Ａ．実施例：
Ａ１．システム構成：
Ａ２．機能ブロック
Ａ３．高解像度静止画像作成処理：
Ｂ．変形例：
【００１８】
Ａ．実施例：
Ａ１．システム構成：
図１は、本発明の実施例における画像処理システム１０００を例示する説明図である。画像処理システム１０００は、携帯電話１０と、サーバ１００と、プリンタＰＲＴとを含み、インターネットＩＮＴを介して接続されている。携帯電話１０は、操作部３０と、表示部３１と、背面に配置された図示しないＣＣＤカメラを備えている。
【００１９】
携帯電話１０に備えられたＣＣＤカメラは、静止画像、動画像を撮影する機能を備えている。操作部３０は、通話の発着信の操作や、画像の撮影、携帯電話１０に内蔵されたアプリケーションの操作などに使用される。表示部３１は、操作に伴い、種々の情報を表示する。携帯電話１０は、本発明の請求の範囲における「端末」に相当し、サーバ１００は、「画像処理装置」に相当する。また、動画像とは、本発明の請求の範囲における「時系列に連続した複数の静止画像」に相当する。以降、本実施例では、この複数の静止画像をフレーム画像と呼ぶこととする。本実施例の画像処理システム１０００は、以下のように動作する。
【００２０】
携帯電話１０は、撮影した動画像を構成する複数のフレーム画像の一部（フレーム画像Ｆ０〜Ｆ３）をサーバ１００に送信する。サーバ１００は、フレーム画像Ｆ０〜Ｆ３を使用して高解像度の静止画像を作成し、プリンタＰＲＴに送信する。プリンタＰＲＴは、受信した高解像度静止画像を印刷する。
【００２１】
プリンタＰＲＴは、インターネットＩＮＴを介して受信した文書データ、画像データ等を印刷する。プリンタＰＲＴには、固有に割り振られたプリンタ番号が付与されている。サーバ１００は、かかるプリンタ番号とプリンタのＩＰアドレスとを対応させて管理している。図示するように、プリンタＰＲＴには、プリンタ番号の記載されたシール５０が貼付されている。本実施例では、プリンタＰＲＴのプリンタ番号は「１０２０」である。
【００２２】
携帯電話１０は、利用者から、携帯で撮影した動画像を構成するフレーム画像のうち、高解像度静止画像を作成する基準となる基準となる基準フレーム画像Ｆ０の選択入力を受け付ける。図に基準フレーム画像Ｆ０をハッチングで示した。携帯電話１０は、基準フレーム画像Ｆ０と、基準フレーム画像の前後のフレーム画像Ｆ１〜Ｆ３とを併せてインターネットＩＮＴを介してサーバ１００に送信する。フレーム画像Ｆ１〜Ｆ３は、基準フレーム画像との画素のずれを比較する対象となるフレーム画像であるため、以降、フレーム画像Ｆ１〜Ｆ３を対象フレーム画像Ｆ１〜Ｆ３と呼ぶこととする。
【００２３】
サーバ１００は、フレーム画像Ｆ０〜Ｆ３を受信すると、基準フレーム画像Ｆ０と、他のフレーム画像Ｆ１〜Ｆ３との画素のずれに基づき、鮮明化処理を実行して高解像度静止画像２００を作成し、携帯電話１０に送信する。この際、サーバ１００は、送信する高解像度静止画像２００が、サンプル版であることを表すため、画像の中心に「ＳＡＭＰＬＥ」という文字が描かれた画像であるサンプル表示２１０が貼付されている。鮮明化処理に関しては、後述する。
【００２４】
携帯電話１０の利用者は、高解像度静止画像２００を確認し、印刷を所望する場合には、高解像度静止画像２００を印刷するプリンタＰＲＴのプリンタ番号の入力を行い、印刷指示を行う。本実施例では、利用者は、表示部３１に表示されたプリンタ番号の入力領域に、プリンタ番号を操作部３０から直接入力する。入力方法としては、例えば、プリンタ番号の記載されたシール５０を撮影した静止画像を印刷指示とともにサーバ１００に送信することとしてもよい。
【００２５】
携帯電話１０は、入力されたプリンタ番号および印刷指示をサーバ１００に送信する。サーバ１００は、印刷指示を受信すると、プリンタ番号に基づきプリンタＰＲＴを特定し、サンプル表示２１０を削除した高解像度静止画像２００をプリンタＰＲＴに送信する。プリンタＰＲＴは、高解像度静止画像２００を印刷する。
【００２６】
Ａ２．機能ブロック
図２は、本実施例における携帯電話１０の機能ブロックを例示する説明図である。携帯電話１０は、主制御部１１と、通信部１２と、入力受付部１３と、撮影処理部１４と、アプリケーション２０と、画像格納部１６とを備えている。アプリケーション２０は、フレーム画像選択部２１と、印刷指示部２２と、表示制御部２３とから構成されており、予め、ネットワークを介してダウンロードされたアプリケーションである。各機能ブロックは、ソフトウェア的に構成され、主制御部１１により制御されている。各機能ブロックは、ハードウェア的に構成されていてもよい。
【００２７】
通信部１２は、いわゆるネットワークデバイスであり、インターネットＩＮＴを介して、サーバ１００等の他の機器との情報の授受を行う機能を備える。入力受付部１３は、操作部３０を介して利用者の入力を受け付け、他の機能ブロックへ通知する機能を備える。
【００２８】
撮影処理部１４は、ＣＣＤカメラを介して、動画像、静止画像を撮影する機能を備える。撮影処理部１４は、撮影した動画像、静止画像を画像格納部１６に格納する。
【００２９】
表示制御部２３は、アプリケーション２０が起動されてから、終了するまでの操作案内や処理内容、フレーム画像等を、表示部３１に表示する機能を備える。
【００３０】
フレーム画像選択部２１は、利用者から基準フレーム画像の選択入力を受けて、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１，Ｆ２，Ｆ３との合計５枚のフレーム画像を選択し、かかるフレーム画像Ｆ０〜Ｆ３をサーバ１００に送信する。
【００３１】
印刷指示部２２は、利用者により入力されたプリンタ番号とともに、高解像度静止画像２００の印刷指示をサーバ１００に送信する。
【００３２】
図３は、本実施例におけるサーバ１００の機能ブロックを例示する説明図である。サーバ１００は、主制御部１１０と、通信部１２０と、領域特定処理部１２１と、画像処理部１２２と、印刷処理部１２５と、高解像度静止画像格納部１３０と、プリンタ管理情報格納部１４０とから構成されている。各機能ブロックはソフトウェア的に構成され、主制御部１１０によって制御されている。各機能ブロックは、ハードウェア的に構成することとしてもよい。
【００３３】
通信部１２０は、いわゆるネットワークデバイスであり、インターネットＩＮＴを介して、携帯電話１０やプリンタＰＲＴ等、他の機器との情報の授受を行う機能を備える。例えば、携帯電話１０から選択フレーム画像３１０を受け取ったり、高解像度静止画像２００をプリンタＰＲＴに出力したりする。
【００３４】
領域特定処理部１２１は、画像処理部１２２が、取得した選択フレーム画像３１０から高解像度静止画像２００を作成する際に、基準フレーム画像Ｆ０において、高解像度化する対象領域を特定する機能を備える。本実施例では、基準フレーム画像Ｆ０の全領域を対象領域と特定し、全体的に高解像度とすることとしたが、例えば、基準フレームをブロックにわけ、対象フレーム画像Ｆ１〜Ｆ３と、基準フレーム画像Ｆ０との画素のずれに基づき、最も鮮明化処理の効果の高いと判断されるブロックの領域を、対象領域として特定することとしてもよい。
【００３５】
画像処理部１２２は、鮮明化処理部１２３と、スタンプ付与部１２４とから構成されている。鮮明化処理部１２３は、携帯電話１０から送信された選択フレーム画像３１０に基づき、高解像度静止画像２００を作成する。画像処理部１２２は、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１〜Ｆ３との画素のずれに基づき、画素の補間を行い、高解像度静止画像２００を生成し、高解像度静止画像格納部１３０に格納する。
【００３６】
スタンプ付与部１２４は、高解像度静止画像２００がサンプル画像であることを表すサンプル表示２１０を、高解像度静止画像２００に貼付する機能を備える。
【００３７】
プリンタ管理情報格納部１４０は、インターネットＩＮＴに接続されている複数のプリンタに、固有に割り振られたプリンタ番号と、プリンタ番号と対応してプリンタのＩＰアドレスが格納されている。図示するように、例えば、プリンタ番号「１０２０」のプリンタのＩＰアドレスは「１９２．１６８．１２１．１００」である。
【００３８】
印刷処理部１２５は、携帯電話１０からの印刷指示に基づき、指定されたプリンタへ高解像度静止画像２００を送信する。具体的には、携帯電話１０からの印刷指示に含まれるプリンタ番号に基づき、プリンタ管理情報格納部１４０を参照して、印刷すべきプリンタのＩＰアドレスを特定し、プリンタが解釈可能な形式にデータ変換を行い印刷データを送信する。本実施例では、印刷指示には、印刷すべきプリンタのプリンタ番号として「１０２０」が指定されているものとする。
【００３９】
Ａ３．印刷処理：
図４は、本実施例における高解像度静止画像の作成・印刷処理を説明するタイミングチャートである。
【００４０】
携帯電話１０は、動画像を撮影する（ステップＳａ１０）。次に、携帯電話１０は、ユーザの基準フレーム画像の選択入力を受け付けて、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１〜Ｆ３を選択し（ステップＳａ１１）、サーバ１００に送信する（ステップＳａ１２）。図５に、ステップＳａ１１に相当する処理を模式的に示した。
【００４１】
図５（ａ）は、本実施例における携帯電話１０の表示部３１を例示する説明図である。表示部３１は、動画像ＭＶが再生されている状態を例示している。利用者は、動画像ＭＶを再生中に、高解像度静止画像の作成を所望するフレームが表示された際に、選択ボタン３２を押下する。フレーム画像選択部２１は、入力受付部１３を介して選択ボタン３２の押下を検出し、その際に表示しているフレーム画像を基準フレーム画像Ｆ０として選択する。
【００４２】
図５（ｂ）は、本実施例におけるフレーム画像選択処理を模式的に示した説明図である。動画像ＭＶは、図示するように、時系列に連続した複数のフレーム画像３００から構成されている。時間ｔは、図の左側から右側へ矢印の向きに遷移している。携帯電話１０は、基準フレーム画像Ｆ０の選択を検出すると、その前後のフレームを対象フレーム画像Ｆ１〜Ｆ３として選択する。
【００４３】
携帯電話１０は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とをあわせた選択フレーム画像３１０を、サーバ１００に送信する。
【００４４】
図４に戻り説明を続ける。サーバ１００は、受信した選択フレーム画像３１０に基づき、鮮明化処理を行い、高解像度静止画像２００を作成する（ステップＳａ２０）。図６〜図１１に鮮明化処理を説明する説明図を示した。
【００４５】
図６は、本実施例における鮮明化処理を説明するフローチャートである。この処理は、サーバ１００の鮮明化処理部１２３が実行する処理であり、携帯電話１０から選択フレーム画像３１０を受信することにより開始する。
【００４６】
サーバ１００は、携帯電話１０から選択フレーム画像３１０を、ネットワークを介して取得する（ステップＳ１００）。
【００４７】
次に、サーバ１００は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３において、対応する位置に存在する画素のずれ量を、全画素について算出し、かかるずれ量に基づき、ずれを補正するための補正量を推定する（ステップＳ１０１）。
【００４８】
具体的には、サーバ１００は、まず、基準フレーム画像Ｆ０に対して、３枚の対象フレーム画像Ｆ１〜Ｆ３が、それぞれどれだけずれているかを表す「ずれ量」を、全画素について順次算出する。本実施例における「ずれ」とは、撮影対象物自体の動きや、ビデオカメラの設置場所の移動に起因するものではなく、いわゆるパンと呼ばれるカメラワークや、手ぶれのようにビデオカメラの向きの変化のみに起因するものである。すなわち、異なるフレーム画像間において、全ての画素が、同じ量だけずれるようなずれを想定している。ずれは、横および縦のずれを示す「並進のずれ」と、「回転のずれ」の組合せで表される。対象フレーム画像Ｆ１〜Ｆ３について、上述のずれ量が画素ごとに算出されると、かかるずれ量を基にして、ずれを補正するための補正量が推定される。補正量は、画素のずれ量と同様に、「並進の補正量」と、「回転の補正量」との組合せで表される。以下に、補正量の推定処理の詳細を示した。
【００４９】
図７に示すように、基準フレーム情報の座標（ｘ１，ｙ１）が対象フレーム情報の座標（ｘ２，ｙ２）に対応しているものとする。並進補正量は（ｕ，ｖ）、回転補正量はフレーム画像の中心を原点としてδとしている。撮影時に焦点距離を変えないことを前提としているため、並進と回転のみの変換を前提として、座標変換の式として次式を使う。
【００５０】
式（１）
【数１】
式（２）
【数２】
式（１ａ）
【数３】
式（２ａ）
【数４】
【００５１】
なお、基準フレーム画像と対象フレーム画像との時間差はごく僅かであるため、ｕ，ｖ，δは微小量となる。ここで、δが微小量のとき、cosδ≒１、sinδ≒δであるから、上式を以下のように置き換えることができる。
【００５２】
式（３）
【数５】
式（４）
【数６】
式（３ａ）
【数７】
式（４ａ）
【数８】
【００５３】
そして、式（３）、（４）（または、(３ａ)，(４ａ)）のｕ，ｖ，δを最小自乗法により推定する。補正量の推定は、フレーム情報間の各画素の例えば輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法（グラディエント法）に基づいている。
【００５４】
ここで、図８の上段に示すように、基準フレーム情報の各画素の輝度をＺ１（ｉｘ，ｉｙ）、対象フレーム情報の各画素の輝度をＺ２（ｉｘ'，ｉｙ'）と表すことにする。まず、対象フレーム情報の座標（ｉｘ'，ｉｙ'）が基準フレーム情報の座標（ｉｘ〜ｉｘ＋１，ｉｙ〜ｉｙ＋１）の間にあるものとして、勾配法により座標（ｉｘ'，ｉｙ'）を求める手法を説明する。
【００５５】
図の中段に示すように、座標（ｉｘ'，ｉｙ'）のｘ軸方向の位置をｉｘ＋Δｘとし、Ｐｘ＝Ｚ１（ｉｘ＋１，ｉｙ）−Ｚ１（ｉｘ，ｉｙ）とすると、Ｐｘ・Δｘ＝Ｚ２（ｉｘ'，ｉｙ'）−Ｚ１（ｉｘ，ｉｙ）となるようなΔｘを求めればよい。実際には、各画素についてΔｘを算出し、全体で平均をとることになる。ここで、単にＺ１＝Ｚ１（ｉｘ，ｉｙ）、Ｚ２＝Ｚ２（ｉｘ'，ｉｙ'）で表すと、以下の式が成り立つようなΔｘを算出すればよい。
【００５６】
式（５）
【数９】
【００５７】
また、図の下段に示すように、座標（ｉｘ'，ｉｙ'）のｙ軸方向の位置をｉｙ＋Δｙとし、Ｐｙ＝Ｚ１（ｉｘ，ｉｙ＋１）−Ｚ１（ｉｘ，ｉｙ）とすると、Ｐｙ・Δｙ＝Ｚ２（ｉｘ'，ｉｙ'）−Ｚ１（ｉｘ，ｉｙ）となるようなΔｙを求めればよい。ここでも、単にＺ１＝Ｚ１（ｉｘ，ｉｙ）、Ｚ２＝Ｚ２（ｉｘ'，ｉｙ'）で表すと、以下の式が成り立つようなΔｙを算出すればよい。
【００５８】
式（６）
【数１０】
【００５９】
そこで、ｘ、ｙ両方向を考慮すると、以下の式のＳ2を最小にするΔｘ、Δｙを最小自乗法により求めればよい。
【００６０】
【数１１】
【００６１】
以上、勾配法によりフレーム画像がｘ軸方向とｙ軸方向に平行移動したとして並進補正量を求める手法を説明した。次に、回転の補正量について説明する。図９に示すように、基準フレーム情報の座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。
【００６２】
式（８）
【数１２】
式（９）
【数１３】
【００６３】
ここで、並進ずれが補正されているとして、基準フレーム画像と対象フレーム画像の原点を合わせておき、対象フレーム画像では座標（ｘ，ｙ）からδ回転して座標（ｘ'，ｙ'）になったとすると、この回転によるｘ軸方向の移動量とｙ軸方向の移動量は、以下の式により求められる。
【００６４】
式（１０）
【数１４】
式（１１）
【数１５】
【００６５】
そこで、上記式(7)におけるΔｘ，Δｙは、並進補正量ｕ，ｖ、回転補正量δを用いて、以下の式で表される。
【００６６】
式（１２）
【数１６】
式（１３）
【数１７】
【００６７】
これらを上記式(7)に代入すると、以下の式が得られる。
【００６８】
式（１４）
【数１８】
【００６９】
すなわち、基準フレーム情報の座標を（ｉｘ，ｉｙ）として、基準フレーム情報の全画素の座標値と階調データ（輝度値）を式(14)に代入したときに、Ｓ2を最小にするｕ，ｖ，δを最小自乗法により求めればよい。
【００７０】
図６に戻り説明を続ける。次に、サーバ１００は、フレーム画像Ｆ０〜Ｆ３を、推定された補正量を使用して、合成する（ステップＳ１０２）。具体的には、サーバ１００は、補正量を用いて、対象フレーム画像Ｆ１〜Ｆ３の画素位置を補正する（ステップＳ１０３）。画素位置の補正とは、対象フレーム画像Ｆ１〜Ｆ３の各画素の画素位置を、並進の補正量に基づき、縦、横のそれぞれの補正量だけ移動し、回転の補正量だけ、回転をした画素位置に置き換えることを示す。かかる補正処理の結果、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１〜Ｆ３は、重なり部分において一致する。
【００７１】
次に、サーバ１００は、最近傍画素の決定を行う（ステップＳ１０４）。図１０に、最近傍画素の決定処理を説明する模式図を示した。
【００７２】
図１０は、本実施例における最近傍画素決定処理を説明する模式図である。本図は、並進の補正量を例に挙げて説明している。サーバ１００が実行する処理である。本図は、基準フレーム画像Ｆ０、対象フレーム画像Ｆ１〜Ｆ３の一致した画像の一部を拡大し、各フレーム画像Ｆ０〜Ｆ３、および、フレーム画像Ｆ０〜Ｆ３から得られる高解像度静止画像２００の、それぞれの画素位置を示している。図中、黒丸は、高解像度静止画像２００の各画素を表しており、白抜きの四辺形は基準フレーム画像Ｆ０の各画素を表している。また、ステップＳ１０２において補正を行った対象フレーム画像Ｆ１〜Ｆ３の各画素をそれぞれ異なるハッチングにより表した。本実施例では、高解像度静止画像２００は、基準フレーム画像Ｆ０に対して、１．５倍密の画素密度に高解像度化されている。従って、図示するように、高解像度静止画像２００の各画素間の距離は、基準フレーム画像Ｆ０の各画素間の距離の２／３となっている。図中の画素Ｇ（ｋ）（ｋは画素位置を表す整数）のように高解像度静止画像２００の画素のうち、縦横それぞれの方向に２画素おきにある画素は、基準フレーム画像Ｆ０の画素と画素位置が一致することとなる。
【００７３】
高解像度静止画像２００のｊ番目の画素Ｇ（ｊ）に注目して説明する。以下、画素Ｇ（ｊ）を注目画素と呼ぶこととする。サーバ１００は、注目画素Ｇ（ｊ）と、基準フレーム画像Ｆ０の画素において注目画素Ｇ（ｊ）の最も近くに存在する画素との距離Ｌ０を算出する。また、サーバ１００は、ステップＳ１０２の補正処理後の対象フレーム画像Ｆ１、Ｆ２、Ｆ３の画素において注目画素Ｇ（ｊ）の最も近くに存在する画素との距離Ｌ１，Ｌ２，Ｌ３を算出する。
【００７４】
次に、サーバ１００は、距離Ｌ０〜Ｌ３の値を比較し、注目画素Ｇ（ｊ）に最も近い距離に存在する画素を決定する。以降、かかる画素を「最近傍画素」と呼ぶこととする。図示するように、距離Ｌ３である対象フレームＦ３上の画素が、注目画素Ｇ（ｊ）に最も近い画素となっているため、サーバ１００は、この画素を最近傍画素として決定する。以降、注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレームＦ３のｉ番目の画素であったとして、最近傍画素ｇ（Ｆ３，ｉ）と表すこととする。
【００７５】
サーバ１００は、以上の処理を高解像度静止画像２００の全画素について順次実行し、各画素について最近傍画素を決定する。
【００７６】
図６に戻り、説明を続行する。次に、サーバ１００は、高解像度静止画像２００における各画素の画素データを、他の画素の画素データから補間する（ステップＳ１０４）。本実施例では、サーバ１００は、ステップＳ１０３において、決定した最近傍画素の画素データ、および、最近傍画素が属する対象フレーム画像内の画素データを用いる。図１１に、画素補間処理を説明する説明図を示した。
【００７７】
図１１は、本実施例における画素補間処理を説明する模式図である。本図では、ステップＳ１０３において、注目画素Ｇ（ｊ）に対する最近傍画素は、最近傍画素ｇ（Ｆ３，ｉ）であると決定された場合の処理を例示した。
【００７８】
サーバ１００は、最近傍画素ｇ（Ｆ３，ｉ）の他、この最近傍画素ｇ（Ｆ３．ｉ）とともに、注目画素Ｇ（ｊ）を囲む画素ｇ（Ｆ３，ｊ）、画素ｇ（Ｆ３．ｋ）、画素ｇ（Ｆ３，ｌ）の、それぞれの画素データを用いて、バイ・リニア法により注目画素Ｇ（ｊ）の画素データを求める。バイ・リニア法に限らず、バイ・キュービック法、ニアレストネイバ法等の方法を用いることとしてもよい。
【００７９】
サーバ１００は、以上のように鮮明化処理を終え、得られた高解像度静止画像２００を高解像度静止画像格納部１３０に格納する。
【００８０】
図４に戻り説明を続ける。サーバ１００は、高解像度静止画像２００がサンプルであることを表すサンプル表示２１０を、高解像度静止画像２００の中心附近に貼付する（ステップＳａ２１）。かかる処理を図１２に示した。
【００８１】
図１２は、本実施例における画像処理後の高解像度静止画像２００を例示する説明図である。サーバ１００は、図示するように、鮮明化処理によって高解像度化された高解像度静止画像２００にサンプル表示２１０を重ねて合成する。サーバ１００は、サンプル表示２１０を重ねて合成することに代えて、高解像度静止画像２００の画素の一部を、サンプル表示２１０の「ＳＡＭＰＬＥ」となるよう変化させる、等の方法によりサンプルであることを表すこととしてもよい。
【００８２】
図４に戻り説明を続ける。次に、サーバ１００は、サンプル表示２１０が貼付された高解像度静止画像２００を携帯電話１０に送信する（ステップＳａ２２）。
【００８３】
利用者は、サンプル表示２１０の貼付された高解像度静止画像２００を確認し、サンプル表示２１０を削除した高解像度静止画像２００の印刷を所望する場合には、プリンタＰＲＴのプリンタ番号を入力し、サーバ１００に対して印刷指示を送出する。
【００８４】
携帯電話１０は、ユーザからのプリンタ番号の入力を受け付けて、印刷を実行するプリンタを指定し（ステップＳａ１３）、プリンタ番号とともに、サーバ１００に印刷指示を送信する（ステップＳａ１４）。図１３にプリンタ番号を指定する画面例を示した。
【００８５】
図１３は、本実施例におけるプリンタ指定を行う画面例を示す説明図である。図４のステップＳａ１３において表示される表示部３１の表示内容を示している。表示部３１には、プリンタ番号入力領域４０と、印刷ボタン４１とが表示されている。利用者は、操作部３０を操作して、プリンタ番号入力領域４０にプリンタ番号を入力し、印刷ボタン４１を押下する。携帯電話１０は、印刷ボタン４１が押下されたことを検出し、入力されたプリンタ番号と共に、印刷指示をサーバ１００に送信する。
【００８６】
図４に戻り説明を続ける。サーバ１００は、印刷指示を受信すると、プリンタ番号に基づき指定されたプリンタＰＲＴのＩＰアドレス特定し、サンプル表示２１０を削除した高解像度静止画像２００を、プリンタＰＲＴが印刷可能なデータ形式に変換して送信する（ステップＳａ２３）。
【００８７】
プリンタＰＲＴは、受信した高解像度静止画像２００のデータの印刷を実行する（ステップＳａ３０）。
【００８８】
以上説明した実施例の画像処理システム１０００によれば、利用者は、携帯電話１０で撮影した動画像から、簡易に、高解像度静止画像２００を取得することができる。利用者は、印刷前にサンプル表示２１０の貼付された高解像度静止画像２００を確認することができ、印刷を実行するか否かを判断することができる。
【００８９】
本実施例では、利用者は、高解像度静止画像２００を確認後、プリンタを指定して印刷することとしたがこれに限られない。例えば、利用者が、印刷されたものではなく、高解像度の画像データ自体を所望する場合には、サーバ１００は、サンプル表示２１０を削除した画像を、再度、携帯電話１０に送信することとしてもよい。こうすれば、携帯電話１０は、自装置で高解像度静止画像２００を作成することができなくても、簡易に、高解像度静止画像２００を取得することができる。かかる場合には、例えば、サーバ１００は、サンプル表示２１０を削除する鍵を端末に送信することとしてもよい。また、サーバ１００は、高解像度静止画像２００を固有に識別する識別番号と、パスワードを端末に送信することとしてもよい。かかる場合には、利用者は、識別番号、パスワードを使用してネットワーク上に保管されている高解像度静止画像２００にアクセスし、利用可能とすることで実現できる。
【００９０】
また、例えば、本実施例の画像処理システム１０００において、利用者がサンプル表示２１０の貼付された高解像度静止画像２００を確認後に、料金を支払った場合のみ、サンプル表示２１０を削除することとしてもよい。例えば、クレジットカード番号の入力や、携帯電話の使用料金とともに支払う契約等を利用者にさせることにより、課金を実現することとしても良い。
【００９１】
Ｂ．変形例：
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成をとることができることは言うまでもない。例えば、以下のような構成をとることとしてもよい。
【００９２】
Ｂ１．変形例１：
上述した実施例では、携帯電話１０のフレーム画像選択部２１は、利用者から、基準フレームＦ０の選択入力を受け付け、かかる基準フレームＦ０に基づき、対象フレーム画像Ｆ１〜Ｆ３を選択することとした。これに限らず、図１４に示すように、サーバ１００へ送信するフレーム画像を選択することとしてもよい。
【００９３】
図１４は、変形例におけるフレーム画像選択処理を模式的に例示する説明図である。図１４（ａ）に示すように、フレーム画像３００のうち、高解像度静止画像を作成する基準となるフレーム画像の範囲を選択することとしてもよい。すなわち、携帯電話１０は、利用者からの２つのフレーム画像Ｆ１０、Ｆ１１の選択入力を受け付け、このフレーム画像Ｆ１０、Ｆ１１と、フレーム画像Ｆ１０、Ｆ１１の間に存在するフレーム画像Ｆ１２〜１４を選択し、サーバ１００に送信することとしてもよい。こうすれば、利用者は、サーバ１００に受け渡すべきフレーム画像の最初と最後を選択することができ、利便性が向上する。
【００９４】
また、例えば、携帯電話１０は、利用者から、任意の範囲の最初のフレーム画像Ｆ２０と、最後のフレーム画像Ｆ２１との選択入力を受け付け、かかるフレーム画像と、その間に含まれるフレーム画像、すなわち、鮮明化処理に必要な数よりも多い数のフレーム画像をサーバ１００に送信する。サーバ１００は、受け取ったフレーム画像から鮮明化処理に最適なフレーム画像を用いて処理を行う。こうすれば、サーバ１００は鮮明化処理に不適切なフレーム画像を使用せずに処理を実行することができ、高解像度化の精度が向上する。かかる最適なフレーム画像は、例えば、各フレーム画像の輝度情報等を解析し、フレーム画像間の撮影条件の同一・類似を判断して撮影条件が同一・類似と判断できるフレーム画像のみを使用することとしてもよい。
【００９５】
また、例えば、携帯電話１０は、上記のように鮮明化処理に必要な枚数以上のフレーム画像をサーバ１００に送信し、サーバ１００は、かかるフレーム画像から複数の高解像度静止画像を作成し、携帯電話１０に送信することとしてもよい。利用者は、送信された複数の高解像度静止画像から任意に１枚以上選択できることとしてもよい。
【００９６】
また、図１４（ｂ）に示すように、携帯電話１０は、フレーム画像３００のうち、フレーム画像Ｆ３０〜Ｆ３３から構成される選択フレーム画像３２０と、フレーム画像Ｆ４０〜Ｆ４３から構成される選択フレーム画像３３０と、フレーム画像Ｆ５０〜Ｆ５３から構成される選択フレーム画像３４０とを一度に選択し、サーバ１００に受け渡すこととしてもよい。この場合には、サーバ１００は、それぞれの選択フレーム画像３２０、３３０、３４０について、高解像度静止画像を作成し、全てを携帯電話１０に送信することとしてもよい。こうすれば、利用者は、１動画像から複数の高解像度静止画像を確認することができる。従って、例えば、複数の高解像度静止画像から所望する１の高解像度静止画像のみを印刷するようサーバ１００に印刷指示を行うこともできるし、全ての高解像度静止画像を印刷するよう印刷指示を行うこともでき、利便性が向上する。
【００９７】
Ｂ２．変形例２：
上述した実施例では、基準フレームＦ０の全領域に対して鮮明化処理を適用することとしたがこれに限られない。図１５に示すように基準フレームＦ０の一部分に対して鮮明化処理を適用することとしてもよい。図１５は、変形例における領域特定処理を説明する説明図である。図１５（ａ）は、基準フレームＦ０が４×４の１６ブロックに分割された状態を表している。対象フレーム画像Ｆ１〜Ｆ３も、基準フレーム画像Ｆ０と同様にブロックに分割されているものとする。対象フレーム画像Ｆ１〜Ｆ３の各ブロックにおいて、鮮明化処理に用いられる有効な画素の割合を算出し、かかる割合が高いブロックを鮮明化処理の対象とすることとしてもよい。例えば、図にハッチングで示したブロックＣ３０が、有効画素の割合の高いブロックである場合には、図１５（ｂ）に示すように、高解像度静止画像２００のブロックＣ３０に対応する領域のみに、鮮明化処理を適用することとしてもよい。こうすれば、基準フレーム画像Ｆ０の全領域を高解像度化することなく、鮮明化処理の効果を利用者に確認させることができる。
【００９８】
Ｂ３．変形例３：
図１６は、変形例における高解像度化を行う領域を例示する説明図である。図１６（ａ）に示すように、基準フレーム画像５００に人物が撮影されている場合、人物の顔周辺を高解像度化する領域として特定することとしてもよい。具体的には、例えば、基準フレーム画像５００の全画素の色情報の分布に基づき、肌色に近い色情報を有する領域を高解像度化の対象領域として特定することとしてもよい。基準フレーム画像５００に人物が撮影されている場合には、その人物は、画像の重要部分であることが多いため、このような構成とすれば、画像の重要な部分に対して効率的に鮮明化処理を適用することができる。
【００９９】
図１６（ｂ）に示すように、画像の半分を高解像度化の対象領域として特定することとしても良い。こうすれば、予め、どの領域を高解像度化するかを特定する必要がないため、計算量を低減でき、負荷を軽減することができる。また、利用者は、左右の領域を比較することにより、鮮明化処理の効果が明瞭にわかり、好適である。
【０１００】
図１６（ｃ）に示すように、予め決められた領域を高解像度化対象領域として特定することとしても良い。本変形例では、画像中心領域を高解像度化の対象領域とすることとした。画像中心に撮影されているものは、かかる画像の重要な部分であることが多いため、このような構成とすることにより、効率的に本発明を適用することができる。
【０１０１】
図１６の各変形例に示したように、画像の一部の領域について高解像度化する場合には、利用者に、かかる高解像度化した領域のみを表示することとしてもよい。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施例における画像処理システムを例示する説明図である。
【図２】本実施例における携帯電話の機能ブロックを例示する説明図である。
【図３】本実施例におけるサーバの機能ブロックを例示する説明図である。
【図４】本実施例における高解像度静止画像の作成・印刷処理を説明するタイミングチャートである。
【図５】本実施例におけるフレーム画像選択処理を模式的に示した説明図である。
【図６】本実施例における鮮明化処理を説明するフローチャートである。
【図７】本実施例におけるパターンマッチ法により並進補正量を推定する様子を模式的に示す図である。
【図８】本実施例における勾配法による並進補正量を推定する様子を模式的に示す図である。
【図９】本実施例における画素の回転補正量を模式的に示す図である。
【図１０】本実施例における最近傍画素決定処理を説明する模式図である。
【図１１】本実施例における画素補間処理を説明する模式図である。
【図１２】本実施例における画像処理後の高解像度静止画像を例示する説明図である。
【図１３】本実施例におけるプリンタ指定を行う表示部の画面例を示す説明図である。
【図１４】変形例におけるフレーム選択処理を説明する説明図である。
【図１５】変形例における領域特定処理を説明する説明図である。
【図１６】変形例における高解像度化を行う領域を例示する説明図である。
【符号の説明】
【０１０３】
１０００...画像処理システム
１０...携帯電話
１１...主制御部
１２...通信部
１３...入力受付部
１４...撮影処理部
１６...画像格納部
２０...アプリケーション
２１...フレーム画像選択部
２２...印刷指示部
２３...表示制御部
３０...操作部
３１...表示部
３２...選択ボタン
４０...プリンタ番号入力領域
４１...印刷ボタン
５０...シール
１００...サーバ
３００...フレーム画像
３１０...選択フレーム画像
１１０...主制御部
１２０...通信部
１２１...領域特定処理部
１２２...画像処理部
１２３...鮮明化処理部
１２４...スタンプ付与部
１２５...印刷処理部
１３０...高解像度静止画像格納部
１４０...プリンタ管理情報格納部
２００...高解像度静止画像
２１０...サンプル表示
３２０...選択フレーム画像
３３０...選択フレーム画像
３４０...選択フレーム画像
５００...基準フレーム画像
【技術分野】
【０００１】
本発明は、ネットワークを介した画像処理システムに関するものである。
【背景技術】
【０００２】
近年、時系列に連続した複数の画像から構成されている動画像から、高解像度の画像を作成する画像処理装置が普及しつつある。画像処理装置は、例えば、複数の画像のうち、基準となる画像と、この基準画像の前後の画像との画素のずれに基づいて画素の補間を行うことで、高解像度静止画像を作成する。
【０００３】
【特許文献１】特開平１１−１４６１１８号公報
【特許文献２】特開２００３−１０８３４３号公報
【特許文献３】特開２００３−２９６０６０号公報
【特許文献４】特開２００２−２１５７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、携帯電話やＰＤＡなどの携帯端末が急速に普及しつつある。これら携帯端末は、カメラ機能を有するものが多く存在し、静止画像だけでなく、動画像を撮影することも可能な端末が増加している。そのため、携帯端末で撮影した動画像から高解像度静止画像を作成する技術が要望されている。
【０００５】
動画像から高解像度静止画像を作成する画像処理は、非常に負荷のかかる処理である。しかしながら、携帯電話は、小型化・軽量化の観点から、演算処理能力が低いため、携帯端末において撮影した動画像から解像度の高い静止画像を作成する画像処理を行うことは困難であるという問題があった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、簡易な構成で、演算能力の低い画像処理装置においても、解像度の高い静止画像を取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題の少なくとも一部を解決するために、本発明は、第１の構成として、以下のような構成をとることとした。すなわち、
画像処理装置と端末とがネットワークを介して接続された画像処理システムにおいて、
前記端末は、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備え、
前記画像処理装置は、
前記送信された画像を受信する受信部と、
前記画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備えることを要旨とする。
【０００８】
このような構成をとることとすれば、端末は、端末において取得した時系列に連続した複数の画像に基づき、簡易に、高解像度静止画像を表示することができる。従って、利用者は、容易に高解像度静止画像を確認することができる。
【０００９】
本発明の第２の構成として、
端末において、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備えることを要旨とする。
【００１０】
こうすれば、端末は時系列に連続した複数の画像から、高解像度静止画像を作成する元となる２以上の画像を、柔軟に選択して画像処理装置に送信することができる。
【００１１】
本発明の端末において、更に、前記選択の基準となる基準画像の入力を受け付ける入力受付部とを備え、前記選択部は、前記基準画像に基づき、前記２以上の画像を選択することとしてもよい。こうすれば、利用者は、高解像度静止画像の作成の基準となる画像を任意に選択することができる。
【００１２】
本発明の端末において、前記入力受付部は、前記基準画像として、任意に選択される２つの画像の入力を受け付け、前記選択部は、前記２つの画像の間に存在する画像と、前記２つの画像とを、前記２以上の画像として選択することとしてもよい。こうすれば、利用者は高解像度静止画像の作成に用いられる画像の範囲や枚数を、柔軟に選択できる。
【００１３】
本発明の第２の構成として、
画像処理装置において、
端末から送信される時系列に連続する複数の画像を受信する受信部と、
前記複数の画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い前記高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備えることを要旨とする。
【００１４】
こうすれば、利用者は、画像処理装置に複数の画像を送信することにより、自分で画像処理を行うことなく、簡易に高解像度静止画像を取得することができる。
【００１５】
本発明の画像処理装置において、前記画像作成部は、更に、前記高解像度静止画像と、前記複数の画像とを区別するための識別記号を、前記高解像度静止画像上に付与することとしてもよい。こうすれば、高解像度静止画像を確認した利用者は、高解像度静止画像が見本であることを簡易に理解することができる。
【００１６】
本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、上述した画像処理システム、端末、画像処理装置としての構成の他に、端末による画像送信方法、画像処理装置による画像処理方法、端末に画像を送信させるためのコンピュータプログラム、画像処理装置に画像処理を実行させるためのコンピュータプログラム、かかるコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体等としても構成できる。いずれの構成においても、上述した各態様を適宜適用可能である。コンピュータが読み取り可能な記録媒体としては、例えば、フレキシブルディスクや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ハードディスク等種々の媒体を利用することが可能である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について、実施例に基づき、次の順序で説明する。
Ａ．実施例：
Ａ１．システム構成：
Ａ２．機能ブロック
Ａ３．高解像度静止画像作成処理：
Ｂ．変形例：
【００１８】
Ａ．実施例：
Ａ１．システム構成：
図１は、本発明の実施例における画像処理システム１０００を例示する説明図である。画像処理システム１０００は、携帯電話１０と、サーバ１００と、プリンタＰＲＴとを含み、インターネットＩＮＴを介して接続されている。携帯電話１０は、操作部３０と、表示部３１と、背面に配置された図示しないＣＣＤカメラを備えている。
【００１９】
携帯電話１０に備えられたＣＣＤカメラは、静止画像、動画像を撮影する機能を備えている。操作部３０は、通話の発着信の操作や、画像の撮影、携帯電話１０に内蔵されたアプリケーションの操作などに使用される。表示部３１は、操作に伴い、種々の情報を表示する。携帯電話１０は、本発明の請求の範囲における「端末」に相当し、サーバ１００は、「画像処理装置」に相当する。また、動画像とは、本発明の請求の範囲における「時系列に連続した複数の静止画像」に相当する。以降、本実施例では、この複数の静止画像をフレーム画像と呼ぶこととする。本実施例の画像処理システム１０００は、以下のように動作する。
【００２０】
携帯電話１０は、撮影した動画像を構成する複数のフレーム画像の一部（フレーム画像Ｆ０〜Ｆ３）をサーバ１００に送信する。サーバ１００は、フレーム画像Ｆ０〜Ｆ３を使用して高解像度の静止画像を作成し、プリンタＰＲＴに送信する。プリンタＰＲＴは、受信した高解像度静止画像を印刷する。
【００２１】
プリンタＰＲＴは、インターネットＩＮＴを介して受信した文書データ、画像データ等を印刷する。プリンタＰＲＴには、固有に割り振られたプリンタ番号が付与されている。サーバ１００は、かかるプリンタ番号とプリンタのＩＰアドレスとを対応させて管理している。図示するように、プリンタＰＲＴには、プリンタ番号の記載されたシール５０が貼付されている。本実施例では、プリンタＰＲＴのプリンタ番号は「１０２０」である。
【００２２】
携帯電話１０は、利用者から、携帯で撮影した動画像を構成するフレーム画像のうち、高解像度静止画像を作成する基準となる基準となる基準フレーム画像Ｆ０の選択入力を受け付ける。図に基準フレーム画像Ｆ０をハッチングで示した。携帯電話１０は、基準フレーム画像Ｆ０と、基準フレーム画像の前後のフレーム画像Ｆ１〜Ｆ３とを併せてインターネットＩＮＴを介してサーバ１００に送信する。フレーム画像Ｆ１〜Ｆ３は、基準フレーム画像との画素のずれを比較する対象となるフレーム画像であるため、以降、フレーム画像Ｆ１〜Ｆ３を対象フレーム画像Ｆ１〜Ｆ３と呼ぶこととする。
【００２３】
サーバ１００は、フレーム画像Ｆ０〜Ｆ３を受信すると、基準フレーム画像Ｆ０と、他のフレーム画像Ｆ１〜Ｆ３との画素のずれに基づき、鮮明化処理を実行して高解像度静止画像２００を作成し、携帯電話１０に送信する。この際、サーバ１００は、送信する高解像度静止画像２００が、サンプル版であることを表すため、画像の中心に「ＳＡＭＰＬＥ」という文字が描かれた画像であるサンプル表示２１０が貼付されている。鮮明化処理に関しては、後述する。
【００２４】
携帯電話１０の利用者は、高解像度静止画像２００を確認し、印刷を所望する場合には、高解像度静止画像２００を印刷するプリンタＰＲＴのプリンタ番号の入力を行い、印刷指示を行う。本実施例では、利用者は、表示部３１に表示されたプリンタ番号の入力領域に、プリンタ番号を操作部３０から直接入力する。入力方法としては、例えば、プリンタ番号の記載されたシール５０を撮影した静止画像を印刷指示とともにサーバ１００に送信することとしてもよい。
【００２５】
携帯電話１０は、入力されたプリンタ番号および印刷指示をサーバ１００に送信する。サーバ１００は、印刷指示を受信すると、プリンタ番号に基づきプリンタＰＲＴを特定し、サンプル表示２１０を削除した高解像度静止画像２００をプリンタＰＲＴに送信する。プリンタＰＲＴは、高解像度静止画像２００を印刷する。
【００２６】
Ａ２．機能ブロック
図２は、本実施例における携帯電話１０の機能ブロックを例示する説明図である。携帯電話１０は、主制御部１１と、通信部１２と、入力受付部１３と、撮影処理部１４と、アプリケーション２０と、画像格納部１６とを備えている。アプリケーション２０は、フレーム画像選択部２１と、印刷指示部２２と、表示制御部２３とから構成されており、予め、ネットワークを介してダウンロードされたアプリケーションである。各機能ブロックは、ソフトウェア的に構成され、主制御部１１により制御されている。各機能ブロックは、ハードウェア的に構成されていてもよい。
【００２７】
通信部１２は、いわゆるネットワークデバイスであり、インターネットＩＮＴを介して、サーバ１００等の他の機器との情報の授受を行う機能を備える。入力受付部１３は、操作部３０を介して利用者の入力を受け付け、他の機能ブロックへ通知する機能を備える。
【００２８】
撮影処理部１４は、ＣＣＤカメラを介して、動画像、静止画像を撮影する機能を備える。撮影処理部１４は、撮影した動画像、静止画像を画像格納部１６に格納する。
【００２９】
表示制御部２３は、アプリケーション２０が起動されてから、終了するまでの操作案内や処理内容、フレーム画像等を、表示部３１に表示する機能を備える。
【００３０】
フレーム画像選択部２１は、利用者から基準フレーム画像の選択入力を受けて、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１，Ｆ２，Ｆ３との合計５枚のフレーム画像を選択し、かかるフレーム画像Ｆ０〜Ｆ３をサーバ１００に送信する。
【００３１】
印刷指示部２２は、利用者により入力されたプリンタ番号とともに、高解像度静止画像２００の印刷指示をサーバ１００に送信する。
【００３２】
図３は、本実施例におけるサーバ１００の機能ブロックを例示する説明図である。サーバ１００は、主制御部１１０と、通信部１２０と、領域特定処理部１２１と、画像処理部１２２と、印刷処理部１２５と、高解像度静止画像格納部１３０と、プリンタ管理情報格納部１４０とから構成されている。各機能ブロックはソフトウェア的に構成され、主制御部１１０によって制御されている。各機能ブロックは、ハードウェア的に構成することとしてもよい。
【００３３】
通信部１２０は、いわゆるネットワークデバイスであり、インターネットＩＮＴを介して、携帯電話１０やプリンタＰＲＴ等、他の機器との情報の授受を行う機能を備える。例えば、携帯電話１０から選択フレーム画像３１０を受け取ったり、高解像度静止画像２００をプリンタＰＲＴに出力したりする。
【００３４】
領域特定処理部１２１は、画像処理部１２２が、取得した選択フレーム画像３１０から高解像度静止画像２００を作成する際に、基準フレーム画像Ｆ０において、高解像度化する対象領域を特定する機能を備える。本実施例では、基準フレーム画像Ｆ０の全領域を対象領域と特定し、全体的に高解像度とすることとしたが、例えば、基準フレームをブロックにわけ、対象フレーム画像Ｆ１〜Ｆ３と、基準フレーム画像Ｆ０との画素のずれに基づき、最も鮮明化処理の効果の高いと判断されるブロックの領域を、対象領域として特定することとしてもよい。
【００３５】
画像処理部１２２は、鮮明化処理部１２３と、スタンプ付与部１２４とから構成されている。鮮明化処理部１２３は、携帯電話１０から送信された選択フレーム画像３１０に基づき、高解像度静止画像２００を作成する。画像処理部１２２は、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１〜Ｆ３との画素のずれに基づき、画素の補間を行い、高解像度静止画像２００を生成し、高解像度静止画像格納部１３０に格納する。
【００３６】
スタンプ付与部１２４は、高解像度静止画像２００がサンプル画像であることを表すサンプル表示２１０を、高解像度静止画像２００に貼付する機能を備える。
【００３７】
プリンタ管理情報格納部１４０は、インターネットＩＮＴに接続されている複数のプリンタに、固有に割り振られたプリンタ番号と、プリンタ番号と対応してプリンタのＩＰアドレスが格納されている。図示するように、例えば、プリンタ番号「１０２０」のプリンタのＩＰアドレスは「１９２．１６８．１２１．１００」である。
【００３８】
印刷処理部１２５は、携帯電話１０からの印刷指示に基づき、指定されたプリンタへ高解像度静止画像２００を送信する。具体的には、携帯電話１０からの印刷指示に含まれるプリンタ番号に基づき、プリンタ管理情報格納部１４０を参照して、印刷すべきプリンタのＩＰアドレスを特定し、プリンタが解釈可能な形式にデータ変換を行い印刷データを送信する。本実施例では、印刷指示には、印刷すべきプリンタのプリンタ番号として「１０２０」が指定されているものとする。
【００３９】
Ａ３．印刷処理：
図４は、本実施例における高解像度静止画像の作成・印刷処理を説明するタイミングチャートである。
【００４０】
携帯電話１０は、動画像を撮影する（ステップＳａ１０）。次に、携帯電話１０は、ユーザの基準フレーム画像の選択入力を受け付けて、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１〜Ｆ３を選択し（ステップＳａ１１）、サーバ１００に送信する（ステップＳａ１２）。図５に、ステップＳａ１１に相当する処理を模式的に示した。
【００４１】
図５（ａ）は、本実施例における携帯電話１０の表示部３１を例示する説明図である。表示部３１は、動画像ＭＶが再生されている状態を例示している。利用者は、動画像ＭＶを再生中に、高解像度静止画像の作成を所望するフレームが表示された際に、選択ボタン３２を押下する。フレーム画像選択部２１は、入力受付部１３を介して選択ボタン３２の押下を検出し、その際に表示しているフレーム画像を基準フレーム画像Ｆ０として選択する。
【００４２】
図５（ｂ）は、本実施例におけるフレーム画像選択処理を模式的に示した説明図である。動画像ＭＶは、図示するように、時系列に連続した複数のフレーム画像３００から構成されている。時間ｔは、図の左側から右側へ矢印の向きに遷移している。携帯電話１０は、基準フレーム画像Ｆ０の選択を検出すると、その前後のフレームを対象フレーム画像Ｆ１〜Ｆ３として選択する。
【００４３】
携帯電話１０は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とをあわせた選択フレーム画像３１０を、サーバ１００に送信する。
【００４４】
図４に戻り説明を続ける。サーバ１００は、受信した選択フレーム画像３１０に基づき、鮮明化処理を行い、高解像度静止画像２００を作成する（ステップＳａ２０）。図６〜図１１に鮮明化処理を説明する説明図を示した。
【００４５】
図６は、本実施例における鮮明化処理を説明するフローチャートである。この処理は、サーバ１００の鮮明化処理部１２３が実行する処理であり、携帯電話１０から選択フレーム画像３１０を受信することにより開始する。
【００４６】
サーバ１００は、携帯電話１０から選択フレーム画像３１０を、ネットワークを介して取得する（ステップＳ１００）。
【００４７】
次に、サーバ１００は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３において、対応する位置に存在する画素のずれ量を、全画素について算出し、かかるずれ量に基づき、ずれを補正するための補正量を推定する（ステップＳ１０１）。
【００４８】
具体的には、サーバ１００は、まず、基準フレーム画像Ｆ０に対して、３枚の対象フレーム画像Ｆ１〜Ｆ３が、それぞれどれだけずれているかを表す「ずれ量」を、全画素について順次算出する。本実施例における「ずれ」とは、撮影対象物自体の動きや、ビデオカメラの設置場所の移動に起因するものではなく、いわゆるパンと呼ばれるカメラワークや、手ぶれのようにビデオカメラの向きの変化のみに起因するものである。すなわち、異なるフレーム画像間において、全ての画素が、同じ量だけずれるようなずれを想定している。ずれは、横および縦のずれを示す「並進のずれ」と、「回転のずれ」の組合せで表される。対象フレーム画像Ｆ１〜Ｆ３について、上述のずれ量が画素ごとに算出されると、かかるずれ量を基にして、ずれを補正するための補正量が推定される。補正量は、画素のずれ量と同様に、「並進の補正量」と、「回転の補正量」との組合せで表される。以下に、補正量の推定処理の詳細を示した。
【００４９】
図７に示すように、基準フレーム情報の座標（ｘ１，ｙ１）が対象フレーム情報の座標（ｘ２，ｙ２）に対応しているものとする。並進補正量は（ｕ，ｖ）、回転補正量はフレーム画像の中心を原点としてδとしている。撮影時に焦点距離を変えないことを前提としているため、並進と回転のみの変換を前提として、座標変換の式として次式を使う。
【００５０】
式（１）
【数１】
式（２）
【数２】
式（１ａ）
【数３】
式（２ａ）
【数４】
【００５１】
なお、基準フレーム画像と対象フレーム画像との時間差はごく僅かであるため、ｕ，ｖ，δは微小量となる。ここで、δが微小量のとき、cosδ≒１、sinδ≒δであるから、上式を以下のように置き換えることができる。
【００５２】
式（３）
【数５】
式（４）
【数６】
式（３ａ）
【数７】
式（４ａ）
【数８】
【００５３】
そして、式（３）、（４）（または、(３ａ)，(４ａ)）のｕ，ｖ，δを最小自乗法により推定する。補正量の推定は、フレーム情報間の各画素の例えば輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法（グラディエント法）に基づいている。
【００５４】
ここで、図８の上段に示すように、基準フレーム情報の各画素の輝度をＺ１（ｉｘ，ｉｙ）、対象フレーム情報の各画素の輝度をＺ２（ｉｘ'，ｉｙ'）と表すことにする。まず、対象フレーム情報の座標（ｉｘ'，ｉｙ'）が基準フレーム情報の座標（ｉｘ〜ｉｘ＋１，ｉｙ〜ｉｙ＋１）の間にあるものとして、勾配法により座標（ｉｘ'，ｉｙ'）を求める手法を説明する。
【００５５】
図の中段に示すように、座標（ｉｘ'，ｉｙ'）のｘ軸方向の位置をｉｘ＋Δｘとし、Ｐｘ＝Ｚ１（ｉｘ＋１，ｉｙ）−Ｚ１（ｉｘ，ｉｙ）とすると、Ｐｘ・Δｘ＝Ｚ２（ｉｘ'，ｉｙ'）−Ｚ１（ｉｘ，ｉｙ）となるようなΔｘを求めればよい。実際には、各画素についてΔｘを算出し、全体で平均をとることになる。ここで、単にＺ１＝Ｚ１（ｉｘ，ｉｙ）、Ｚ２＝Ｚ２（ｉｘ'，ｉｙ'）で表すと、以下の式が成り立つようなΔｘを算出すればよい。
【００５６】
式（５）
【数９】
【００５７】
また、図の下段に示すように、座標（ｉｘ'，ｉｙ'）のｙ軸方向の位置をｉｙ＋Δｙとし、Ｐｙ＝Ｚ１（ｉｘ，ｉｙ＋１）−Ｚ１（ｉｘ，ｉｙ）とすると、Ｐｙ・Δｙ＝Ｚ２（ｉｘ'，ｉｙ'）−Ｚ１（ｉｘ，ｉｙ）となるようなΔｙを求めればよい。ここでも、単にＺ１＝Ｚ１（ｉｘ，ｉｙ）、Ｚ２＝Ｚ２（ｉｘ'，ｉｙ'）で表すと、以下の式が成り立つようなΔｙを算出すればよい。
【００５８】
式（６）
【数１０】
【００５９】
そこで、ｘ、ｙ両方向を考慮すると、以下の式のＳ2を最小にするΔｘ、Δｙを最小自乗法により求めればよい。
【００６０】
【数１１】
【００６１】
以上、勾配法によりフレーム画像がｘ軸方向とｙ軸方向に平行移動したとして並進補正量を求める手法を説明した。次に、回転の補正量について説明する。図９に示すように、基準フレーム情報の座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。
【００６２】
式（８）
【数１２】
式（９）
【数１３】
【００６３】
ここで、並進ずれが補正されているとして、基準フレーム画像と対象フレーム画像の原点を合わせておき、対象フレーム画像では座標（ｘ，ｙ）からδ回転して座標（ｘ'，ｙ'）になったとすると、この回転によるｘ軸方向の移動量とｙ軸方向の移動量は、以下の式により求められる。
【００６４】
式（１０）
【数１４】
式（１１）
【数１５】
【００６５】
そこで、上記式(7)におけるΔｘ，Δｙは、並進補正量ｕ，ｖ、回転補正量δを用いて、以下の式で表される。
【００６６】
式（１２）
【数１６】
式（１３）
【数１７】
【００６７】
これらを上記式(7)に代入すると、以下の式が得られる。
【００６８】
式（１４）
【数１８】
【００６９】
すなわち、基準フレーム情報の座標を（ｉｘ，ｉｙ）として、基準フレーム情報の全画素の座標値と階調データ（輝度値）を式(14)に代入したときに、Ｓ2を最小にするｕ，ｖ，δを最小自乗法により求めればよい。
【００７０】
図６に戻り説明を続ける。次に、サーバ１００は、フレーム画像Ｆ０〜Ｆ３を、推定された補正量を使用して、合成する（ステップＳ１０２）。具体的には、サーバ１００は、補正量を用いて、対象フレーム画像Ｆ１〜Ｆ３の画素位置を補正する（ステップＳ１０３）。画素位置の補正とは、対象フレーム画像Ｆ１〜Ｆ３の各画素の画素位置を、並進の補正量に基づき、縦、横のそれぞれの補正量だけ移動し、回転の補正量だけ、回転をした画素位置に置き換えることを示す。かかる補正処理の結果、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１〜Ｆ３は、重なり部分において一致する。
【００７１】
次に、サーバ１００は、最近傍画素の決定を行う（ステップＳ１０４）。図１０に、最近傍画素の決定処理を説明する模式図を示した。
【００７２】
図１０は、本実施例における最近傍画素決定処理を説明する模式図である。本図は、並進の補正量を例に挙げて説明している。サーバ１００が実行する処理である。本図は、基準フレーム画像Ｆ０、対象フレーム画像Ｆ１〜Ｆ３の一致した画像の一部を拡大し、各フレーム画像Ｆ０〜Ｆ３、および、フレーム画像Ｆ０〜Ｆ３から得られる高解像度静止画像２００の、それぞれの画素位置を示している。図中、黒丸は、高解像度静止画像２００の各画素を表しており、白抜きの四辺形は基準フレーム画像Ｆ０の各画素を表している。また、ステップＳ１０２において補正を行った対象フレーム画像Ｆ１〜Ｆ３の各画素をそれぞれ異なるハッチングにより表した。本実施例では、高解像度静止画像２００は、基準フレーム画像Ｆ０に対して、１．５倍密の画素密度に高解像度化されている。従って、図示するように、高解像度静止画像２００の各画素間の距離は、基準フレーム画像Ｆ０の各画素間の距離の２／３となっている。図中の画素Ｇ（ｋ）（ｋは画素位置を表す整数）のように高解像度静止画像２００の画素のうち、縦横それぞれの方向に２画素おきにある画素は、基準フレーム画像Ｆ０の画素と画素位置が一致することとなる。
【００７３】
高解像度静止画像２００のｊ番目の画素Ｇ（ｊ）に注目して説明する。以下、画素Ｇ（ｊ）を注目画素と呼ぶこととする。サーバ１００は、注目画素Ｇ（ｊ）と、基準フレーム画像Ｆ０の画素において注目画素Ｇ（ｊ）の最も近くに存在する画素との距離Ｌ０を算出する。また、サーバ１００は、ステップＳ１０２の補正処理後の対象フレーム画像Ｆ１、Ｆ２、Ｆ３の画素において注目画素Ｇ（ｊ）の最も近くに存在する画素との距離Ｌ１，Ｌ２，Ｌ３を算出する。
【００７４】
次に、サーバ１００は、距離Ｌ０〜Ｌ３の値を比較し、注目画素Ｇ（ｊ）に最も近い距離に存在する画素を決定する。以降、かかる画素を「最近傍画素」と呼ぶこととする。図示するように、距離Ｌ３である対象フレームＦ３上の画素が、注目画素Ｇ（ｊ）に最も近い画素となっているため、サーバ１００は、この画素を最近傍画素として決定する。以降、注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレームＦ３のｉ番目の画素であったとして、最近傍画素ｇ（Ｆ３，ｉ）と表すこととする。
【００７５】
サーバ１００は、以上の処理を高解像度静止画像２００の全画素について順次実行し、各画素について最近傍画素を決定する。
【００７６】
図６に戻り、説明を続行する。次に、サーバ１００は、高解像度静止画像２００における各画素の画素データを、他の画素の画素データから補間する（ステップＳ１０４）。本実施例では、サーバ１００は、ステップＳ１０３において、決定した最近傍画素の画素データ、および、最近傍画素が属する対象フレーム画像内の画素データを用いる。図１１に、画素補間処理を説明する説明図を示した。
【００７７】
図１１は、本実施例における画素補間処理を説明する模式図である。本図では、ステップＳ１０３において、注目画素Ｇ（ｊ）に対する最近傍画素は、最近傍画素ｇ（Ｆ３，ｉ）であると決定された場合の処理を例示した。
【００７８】
サーバ１００は、最近傍画素ｇ（Ｆ３，ｉ）の他、この最近傍画素ｇ（Ｆ３．ｉ）とともに、注目画素Ｇ（ｊ）を囲む画素ｇ（Ｆ３，ｊ）、画素ｇ（Ｆ３．ｋ）、画素ｇ（Ｆ３，ｌ）の、それぞれの画素データを用いて、バイ・リニア法により注目画素Ｇ（ｊ）の画素データを求める。バイ・リニア法に限らず、バイ・キュービック法、ニアレストネイバ法等の方法を用いることとしてもよい。
【００７９】
サーバ１００は、以上のように鮮明化処理を終え、得られた高解像度静止画像２００を高解像度静止画像格納部１３０に格納する。
【００８０】
図４に戻り説明を続ける。サーバ１００は、高解像度静止画像２００がサンプルであることを表すサンプル表示２１０を、高解像度静止画像２００の中心附近に貼付する（ステップＳａ２１）。かかる処理を図１２に示した。
【００８１】
図１２は、本実施例における画像処理後の高解像度静止画像２００を例示する説明図である。サーバ１００は、図示するように、鮮明化処理によって高解像度化された高解像度静止画像２００にサンプル表示２１０を重ねて合成する。サーバ１００は、サンプル表示２１０を重ねて合成することに代えて、高解像度静止画像２００の画素の一部を、サンプル表示２１０の「ＳＡＭＰＬＥ」となるよう変化させる、等の方法によりサンプルであることを表すこととしてもよい。
【００８２】
図４に戻り説明を続ける。次に、サーバ１００は、サンプル表示２１０が貼付された高解像度静止画像２００を携帯電話１０に送信する（ステップＳａ２２）。
【００８３】
利用者は、サンプル表示２１０の貼付された高解像度静止画像２００を確認し、サンプル表示２１０を削除した高解像度静止画像２００の印刷を所望する場合には、プリンタＰＲＴのプリンタ番号を入力し、サーバ１００に対して印刷指示を送出する。
【００８４】
携帯電話１０は、ユーザからのプリンタ番号の入力を受け付けて、印刷を実行するプリンタを指定し（ステップＳａ１３）、プリンタ番号とともに、サーバ１００に印刷指示を送信する（ステップＳａ１４）。図１３にプリンタ番号を指定する画面例を示した。
【００８５】
図１３は、本実施例におけるプリンタ指定を行う画面例を示す説明図である。図４のステップＳａ１３において表示される表示部３１の表示内容を示している。表示部３１には、プリンタ番号入力領域４０と、印刷ボタン４１とが表示されている。利用者は、操作部３０を操作して、プリンタ番号入力領域４０にプリンタ番号を入力し、印刷ボタン４１を押下する。携帯電話１０は、印刷ボタン４１が押下されたことを検出し、入力されたプリンタ番号と共に、印刷指示をサーバ１００に送信する。
【００８６】
図４に戻り説明を続ける。サーバ１００は、印刷指示を受信すると、プリンタ番号に基づき指定されたプリンタＰＲＴのＩＰアドレス特定し、サンプル表示２１０を削除した高解像度静止画像２００を、プリンタＰＲＴが印刷可能なデータ形式に変換して送信する（ステップＳａ２３）。
【００８７】
プリンタＰＲＴは、受信した高解像度静止画像２００のデータの印刷を実行する（ステップＳａ３０）。
【００８８】
以上説明した実施例の画像処理システム１０００によれば、利用者は、携帯電話１０で撮影した動画像から、簡易に、高解像度静止画像２００を取得することができる。利用者は、印刷前にサンプル表示２１０の貼付された高解像度静止画像２００を確認することができ、印刷を実行するか否かを判断することができる。
【００８９】
本実施例では、利用者は、高解像度静止画像２００を確認後、プリンタを指定して印刷することとしたがこれに限られない。例えば、利用者が、印刷されたものではなく、高解像度の画像データ自体を所望する場合には、サーバ１００は、サンプル表示２１０を削除した画像を、再度、携帯電話１０に送信することとしてもよい。こうすれば、携帯電話１０は、自装置で高解像度静止画像２００を作成することができなくても、簡易に、高解像度静止画像２００を取得することができる。かかる場合には、例えば、サーバ１００は、サンプル表示２１０を削除する鍵を端末に送信することとしてもよい。また、サーバ１００は、高解像度静止画像２００を固有に識別する識別番号と、パスワードを端末に送信することとしてもよい。かかる場合には、利用者は、識別番号、パスワードを使用してネットワーク上に保管されている高解像度静止画像２００にアクセスし、利用可能とすることで実現できる。
【００９０】
また、例えば、本実施例の画像処理システム１０００において、利用者がサンプル表示２１０の貼付された高解像度静止画像２００を確認後に、料金を支払った場合のみ、サンプル表示２１０を削除することとしてもよい。例えば、クレジットカード番号の入力や、携帯電話の使用料金とともに支払う契約等を利用者にさせることにより、課金を実現することとしても良い。
【００９１】
Ｂ．変形例：
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成をとることができることは言うまでもない。例えば、以下のような構成をとることとしてもよい。
【００９２】
Ｂ１．変形例１：
上述した実施例では、携帯電話１０のフレーム画像選択部２１は、利用者から、基準フレームＦ０の選択入力を受け付け、かかる基準フレームＦ０に基づき、対象フレーム画像Ｆ１〜Ｆ３を選択することとした。これに限らず、図１４に示すように、サーバ１００へ送信するフレーム画像を選択することとしてもよい。
【００９３】
図１４は、変形例におけるフレーム画像選択処理を模式的に例示する説明図である。図１４（ａ）に示すように、フレーム画像３００のうち、高解像度静止画像を作成する基準となるフレーム画像の範囲を選択することとしてもよい。すなわち、携帯電話１０は、利用者からの２つのフレーム画像Ｆ１０、Ｆ１１の選択入力を受け付け、このフレーム画像Ｆ１０、Ｆ１１と、フレーム画像Ｆ１０、Ｆ１１の間に存在するフレーム画像Ｆ１２〜１４を選択し、サーバ１００に送信することとしてもよい。こうすれば、利用者は、サーバ１００に受け渡すべきフレーム画像の最初と最後を選択することができ、利便性が向上する。
【００９４】
また、例えば、携帯電話１０は、利用者から、任意の範囲の最初のフレーム画像Ｆ２０と、最後のフレーム画像Ｆ２１との選択入力を受け付け、かかるフレーム画像と、その間に含まれるフレーム画像、すなわち、鮮明化処理に必要な数よりも多い数のフレーム画像をサーバ１００に送信する。サーバ１００は、受け取ったフレーム画像から鮮明化処理に最適なフレーム画像を用いて処理を行う。こうすれば、サーバ１００は鮮明化処理に不適切なフレーム画像を使用せずに処理を実行することができ、高解像度化の精度が向上する。かかる最適なフレーム画像は、例えば、各フレーム画像の輝度情報等を解析し、フレーム画像間の撮影条件の同一・類似を判断して撮影条件が同一・類似と判断できるフレーム画像のみを使用することとしてもよい。
【００９５】
また、例えば、携帯電話１０は、上記のように鮮明化処理に必要な枚数以上のフレーム画像をサーバ１００に送信し、サーバ１００は、かかるフレーム画像から複数の高解像度静止画像を作成し、携帯電話１０に送信することとしてもよい。利用者は、送信された複数の高解像度静止画像から任意に１枚以上選択できることとしてもよい。
【００９６】
また、図１４（ｂ）に示すように、携帯電話１０は、フレーム画像３００のうち、フレーム画像Ｆ３０〜Ｆ３３から構成される選択フレーム画像３２０と、フレーム画像Ｆ４０〜Ｆ４３から構成される選択フレーム画像３３０と、フレーム画像Ｆ５０〜Ｆ５３から構成される選択フレーム画像３４０とを一度に選択し、サーバ１００に受け渡すこととしてもよい。この場合には、サーバ１００は、それぞれの選択フレーム画像３２０、３３０、３４０について、高解像度静止画像を作成し、全てを携帯電話１０に送信することとしてもよい。こうすれば、利用者は、１動画像から複数の高解像度静止画像を確認することができる。従って、例えば、複数の高解像度静止画像から所望する１の高解像度静止画像のみを印刷するようサーバ１００に印刷指示を行うこともできるし、全ての高解像度静止画像を印刷するよう印刷指示を行うこともでき、利便性が向上する。
【００９７】
Ｂ２．変形例２：
上述した実施例では、基準フレームＦ０の全領域に対して鮮明化処理を適用することとしたがこれに限られない。図１５に示すように基準フレームＦ０の一部分に対して鮮明化処理を適用することとしてもよい。図１５は、変形例における領域特定処理を説明する説明図である。図１５（ａ）は、基準フレームＦ０が４×４の１６ブロックに分割された状態を表している。対象フレーム画像Ｆ１〜Ｆ３も、基準フレーム画像Ｆ０と同様にブロックに分割されているものとする。対象フレーム画像Ｆ１〜Ｆ３の各ブロックにおいて、鮮明化処理に用いられる有効な画素の割合を算出し、かかる割合が高いブロックを鮮明化処理の対象とすることとしてもよい。例えば、図にハッチングで示したブロックＣ３０が、有効画素の割合の高いブロックである場合には、図１５（ｂ）に示すように、高解像度静止画像２００のブロックＣ３０に対応する領域のみに、鮮明化処理を適用することとしてもよい。こうすれば、基準フレーム画像Ｆ０の全領域を高解像度化することなく、鮮明化処理の効果を利用者に確認させることができる。
【００９８】
Ｂ３．変形例３：
図１６は、変形例における高解像度化を行う領域を例示する説明図である。図１６（ａ）に示すように、基準フレーム画像５００に人物が撮影されている場合、人物の顔周辺を高解像度化する領域として特定することとしてもよい。具体的には、例えば、基準フレーム画像５００の全画素の色情報の分布に基づき、肌色に近い色情報を有する領域を高解像度化の対象領域として特定することとしてもよい。基準フレーム画像５００に人物が撮影されている場合には、その人物は、画像の重要部分であることが多いため、このような構成とすれば、画像の重要な部分に対して効率的に鮮明化処理を適用することができる。
【００９９】
図１６（ｂ）に示すように、画像の半分を高解像度化の対象領域として特定することとしても良い。こうすれば、予め、どの領域を高解像度化するかを特定する必要がないため、計算量を低減でき、負荷を軽減することができる。また、利用者は、左右の領域を比較することにより、鮮明化処理の効果が明瞭にわかり、好適である。
【０１００】
図１６（ｃ）に示すように、予め決められた領域を高解像度化対象領域として特定することとしても良い。本変形例では、画像中心領域を高解像度化の対象領域とすることとした。画像中心に撮影されているものは、かかる画像の重要な部分であることが多いため、このような構成とすることにより、効率的に本発明を適用することができる。
【０１０１】
図１６の各変形例に示したように、画像の一部の領域について高解像度化する場合には、利用者に、かかる高解像度化した領域のみを表示することとしてもよい。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施例における画像処理システムを例示する説明図である。
【図２】本実施例における携帯電話の機能ブロックを例示する説明図である。
【図３】本実施例におけるサーバの機能ブロックを例示する説明図である。
【図４】本実施例における高解像度静止画像の作成・印刷処理を説明するタイミングチャートである。
【図５】本実施例におけるフレーム画像選択処理を模式的に示した説明図である。
【図６】本実施例における鮮明化処理を説明するフローチャートである。
【図７】本実施例におけるパターンマッチ法により並進補正量を推定する様子を模式的に示す図である。
【図８】本実施例における勾配法による並進補正量を推定する様子を模式的に示す図である。
【図９】本実施例における画素の回転補正量を模式的に示す図である。
【図１０】本実施例における最近傍画素決定処理を説明する模式図である。
【図１１】本実施例における画素補間処理を説明する模式図である。
【図１２】本実施例における画像処理後の高解像度静止画像を例示する説明図である。
【図１３】本実施例におけるプリンタ指定を行う表示部の画面例を示す説明図である。
【図１４】変形例におけるフレーム選択処理を説明する説明図である。
【図１５】変形例における領域特定処理を説明する説明図である。
【図１６】変形例における高解像度化を行う領域を例示する説明図である。
【符号の説明】
【０１０３】
１０００...画像処理システム
１０...携帯電話
１１...主制御部
１２...通信部
１３...入力受付部
１４...撮影処理部
１６...画像格納部
２０...アプリケーション
２１...フレーム画像選択部
２２...印刷指示部
２３...表示制御部
３０...操作部
３１...表示部
３２...選択ボタン
４０...プリンタ番号入力領域
４１...印刷ボタン
５０...シール
１００...サーバ
３００...フレーム画像
３１０...選択フレーム画像
１１０...主制御部
１２０...通信部
１２１...領域特定処理部
１２２...画像処理部
１２３...鮮明化処理部
１２４...スタンプ付与部
１２５...印刷処理部
１３０...高解像度静止画像格納部
１４０...プリンタ管理情報格納部
２００...高解像度静止画像
２１０...サンプル表示
３２０...選択フレーム画像
３３０...選択フレーム画像
３４０...選択フレーム画像
５００...基準フレーム画像
【特許請求の範囲】
【請求項１】
画像処理装置と端末とがネットワークを介して接続された画像処理システムであって、
前記端末は、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備え、
前記画像処理装置は、
前記送信された画像を受信する受信部と、
前記画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備える画像処理システム。
【請求項２】
端末であって、
画像を表示する表示部と、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備える端末。
【請求項３】
請求項２記載の端末であって、
更に、
前記選択の基準となる基準画像の入力を受け付ける入力受付部を備え、
前記選択部は、前記基準画像に基づき、前記２以上の画像を選択する端末。
【請求項４】
請求項３記載の端末であって、
前記入力受付部は、前記基準画像として、任意に選択される２つの任意選択画像の入力を受け付け、
前記選択部は、前記任意選択画像の間に存在する画像と、前記任意選択画像とを、前記２以上の画像として選択する端末。
【請求項５】
画像処理装置であって、
端末から送信される時系列に連続する複数の画像を受信する受信部と、
前記複数の画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備える画像処理装置。
【請求項６】
請求項５記載の画像処理装置であって、
前記画像作成部は、更に、
前記高解像度静止画像と、前記複数の画像とを区別するための識別記号を、前記高解像度静止画像上に付与する画像処理装置。
【請求項７】
端末が実行する画像送信方法であって、
（ａ）時系列に連続する複数の画像を取得する工程と、
（ｂ）前記画像処理装置から、画像処理後の画像を受信する工程と、
（ｃ）前記複数の画像、および、前記画像処理後の画像を表示する工程と、
（ｄ）前記表示された前記複数の画像から、少なくとも２以上の画像を選択する工程と、
（ｅ）前記選択した画像を前記画像処理装置に送信する工程とを備える画像送信方法。
【請求項８】
画像処理装置が、実行する画像生成方法であって、
（ａ）端末から送信される時系列に連続する複数の画像を受信する工程と、
（ｂ）前記複数の画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する工程と、
（ｃ）前記高解像度静止画像を前記他の端末に送信する工程とを備える画像生成方法。
【請求項９】
コンピュータに、他の装置への画像の送信を実行させるためのコンピュータプログラムであって、
時系列に連続する複数の画像を取得する機能と、
前記画像処理装置から、画像処理後の画像を受信する機能と、
前記複数の画像、および、前記画像処理後の画像を表示する機能と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する機能と、
前記選択した画像を前記画像処理装置に送信する機能とをコンピュータに実行させるためのコンピュータプログラム。
【請求項１０】
コンピュータに、画像作成を実行させるためのコンピュータプログラムであって、
他の端末から送信される時系列に連続する複数の画像を受信する機能と、
前記複数の画像を用いて、前記画像の少なくとも一部分について、前記画像の解像度よりも解像度の高い高解像度静止画像を作成する機能と、
前記高解像度静止画像を前記他の端末に送信する機能とをコンピュータに実行させるためのコンピュータプログラム。
【請求項１１】
請求項９または請求項１０記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
【請求項１】
画像処理装置と端末とがネットワークを介して接続された画像処理システムであって、
前記端末は、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備え、
前記画像処理装置は、
前記送信された画像を受信する受信部と、
前記画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備える画像処理システム。
【請求項２】
端末であって、
画像を表示する表示部と、
時系列に連続する複数の画像を取得する取得部と、
前記画像処理装置から、画像処理後の画像を受信する受信部と、
前記複数の画像、および、前記画像処理後の画像を表示する表示部と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する選択部と、
前記選択した画像を前記画像処理装置に送信する送信部とを備える端末。
【請求項３】
請求項２記載の端末であって、
更に、
前記選択の基準となる基準画像の入力を受け付ける入力受付部を備え、
前記選択部は、前記基準画像に基づき、前記２以上の画像を選択する端末。
【請求項４】
請求項３記載の端末であって、
前記入力受付部は、前記基準画像として、任意に選択される２つの任意選択画像の入力を受け付け、
前記選択部は、前記任意選択画像の間に存在する画像と、前記任意選択画像とを、前記２以上の画像として選択する端末。
【請求項５】
画像処理装置であって、
端末から送信される時系列に連続する複数の画像を受信する受信部と、
前記複数の画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する画像作成部と、
前記高解像度静止画像を前記端末に送信する送信部とを備える画像処理装置。
【請求項６】
請求項５記載の画像処理装置であって、
前記画像作成部は、更に、
前記高解像度静止画像と、前記複数の画像とを区別するための識別記号を、前記高解像度静止画像上に付与する画像処理装置。
【請求項７】
端末が実行する画像送信方法であって、
（ａ）時系列に連続する複数の画像を取得する工程と、
（ｂ）前記画像処理装置から、画像処理後の画像を受信する工程と、
（ｃ）前記複数の画像、および、前記画像処理後の画像を表示する工程と、
（ｄ）前記表示された前記複数の画像から、少なくとも２以上の画像を選択する工程と、
（ｅ）前記選択した画像を前記画像処理装置に送信する工程とを備える画像送信方法。
【請求項８】
画像処理装置が、実行する画像生成方法であって、
（ａ）端末から送信される時系列に連続する複数の画像を受信する工程と、
（ｂ）前記複数の画像を用いて、前記画像の少なくとも一部分について前記画像の解像度よりも解像度の高い高解像度静止画像を作成する工程と、
（ｃ）前記高解像度静止画像を前記他の端末に送信する工程とを備える画像生成方法。
【請求項９】
コンピュータに、他の装置への画像の送信を実行させるためのコンピュータプログラムであって、
時系列に連続する複数の画像を取得する機能と、
前記画像処理装置から、画像処理後の画像を受信する機能と、
前記複数の画像、および、前記画像処理後の画像を表示する機能と、
前記表示された前記複数の画像から、少なくとも２以上の画像を選択する機能と、
前記選択した画像を前記画像処理装置に送信する機能とをコンピュータに実行させるためのコンピュータプログラム。
【請求項１０】
コンピュータに、画像作成を実行させるためのコンピュータプログラムであって、
他の端末から送信される時系列に連続する複数の画像を受信する機能と、
前記複数の画像を用いて、前記画像の少なくとも一部分について、前記画像の解像度よりも解像度の高い高解像度静止画像を作成する機能と、
前記高解像度静止画像を前記他の端末に送信する機能とをコンピュータに実行させるためのコンピュータプログラム。
【請求項１１】
請求項９または請求項１０記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−２５０３７（Ｐ２００６−２５０３７Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００４−１９９５６８（Ｐ２００４−１９９５６８）
【出願日】平成１６年７月６日（２００４．７．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１６年７月６日（２００４．７．６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]