画像処理装置及び画像処理方法
【課題】画像処理に長時間を要する場合であっても、ユーザ入力に対して応答性の高い画像処理装置を提供する。
【解決手段】ＲＡＷ画像データ、及びＲＡＷ画像に関連付けられた簡易画像データを記憶する記憶装置と、記憶装置に記憶されたＲＡＷ画像データの出力を要求する場合に部分領域毎に出力要求を行う出力制御部と、出力制御部からの出力要求を受けたことに応じて記憶されているＲＡＷ画像データの画像全域に対するＲＡＷ現像処理を行う画像処理部とを備える。画像処理部は、出力要求に対して、ＲＡＷ現像処理が完了するまでは部分領域に対応する簡易画像データを出力し、ＲＡＷ現像処理が完了した後は部分領域に対応する現像処理されたＲＡＷ画像データを出力し、出力制御部は、画像処理部から部分領域に対応する画像データが出力された後、キャンセル要求がなければ次の部分領域の出力要求を行う。
【解決手段】ＲＡＷ画像データ、及びＲＡＷ画像に関連付けられた簡易画像データを記憶する記憶装置と、記憶装置に記憶されたＲＡＷ画像データの出力を要求する場合に部分領域毎に出力要求を行う出力制御部と、出力制御部からの出力要求を受けたことに応じて記憶されているＲＡＷ画像データの画像全域に対するＲＡＷ現像処理を行う画像処理部とを備える。画像処理部は、出力要求に対して、ＲＡＷ現像処理が完了するまでは部分領域に対応する簡易画像データを出力し、ＲＡＷ現像処理が完了した後は部分領域に対応する現像処理されたＲＡＷ画像データを出力し、出力制御部は、画像処理部から部分領域に対応する画像データが出力された後、キャンセル要求がなければ次の部分領域の出力要求を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理して出力する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
パーソナルコンピュータなどで画像データに係る画像をユーザが閲覧する際に、その画像データがパーソナルコンピュータで表示するのに適した形式のものであればレスポンス良くユーザの欲する画像を表示することができる。しかし、画像処理を行った後でないと画像を表示することができない画像データが存在する。そのような画像データとして、例えば、一眼レフタイプのデジタルカメラで現在一般的なＲＡＷ撮影モードでの撮影によって得られたＲＡＷ画像データがある。ＲＡＷ画像データに係る画像（ＲＡＷ画像）をパーソナルコンピュータで表示するには、ＢＭＰ形式などのパーソナルコンピュータで表示可能な形式を生成するために、多くの処理ステップからなる画像処理を行う必要がある。このような画像処理は一般にＲＡＷ現像と呼ばれている。
【０００３】
ＲＡＷ画像データは、カメラベンダ毎に好ましい画像処理内容が異なり、また各カメラベンダ独自のフォーマットで記録される。そのため、各カメラベンダが画像処理を行うためのコーデックを配布し、ユーザがこのコーデックをパーソナルコンピュータにインストールして使用する。例えば、画像ブラウジングソフトウェアでＲＡＷ画像を表示する場合には、ＲＡＷ画像データに対応するインストールされたコーデックを利用してＲＡＷ現像を行いＲＡＷ画像の表示を行っている。
【０００４】
画像ブラウジングソフトウェアには、ユーザ操作のレスポンスを良くするために、画像全体に対するＲＡＷ現像要求を発行せずに、コーデックに対して１ラインなどの部分的な領域毎の現像要求（部分現像要求）を発行するものがある。このようにして、ユーザがＲＡＷ画像の表示をキャンセルした際に、ＲＡＷ現像処理を直ぐに中断し、ＣＰＵやメモリの無駄な消費を減少させる試みが行われている。
【０００５】
ユーザ操作へのレスポンスを向上する他の技術として、画像処理に時間を要し、ユーザに高速に処理結果を返すことができない場合に、解像度の低いサムネイル画像を一時的に表示する画像処理装置も存在する（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３７４４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、コーデックが部分現像できない場合には、画像ブラウジングソフトウェアからの部分現像要求に対して高速に制御を戻すことができず、ユーザ入力を阻害し応答性の悪い画像処理装置になってしまうという問題がある。部分現像を行えるか否かは、ＲＡＷ現像処理の画像処理アルゴリズムの内容による。つまり、画像処理アルゴリズムによっては、画像全域の情報を参照して行う処理を有する場合がある。このような画像全域の情報を参照して処理を行う処理ブロックが処理フローの後段に位置すると、たとえ部分現像処理を行ったとしても画像全域の情報を参照して行う処理ブロックでの処理を待たねばならず、結局は高速に結果出力をすることができない。また、特許文献１のように解像度の低い画像を一旦返したとしても、それはユーザが欲する表示結果でないので、すぐにＲＡＷ現像の結果が必要となるために、同様の課題が存在する。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、画像処理に長時間を要する場合であっても、ユーザ入力に対して応答性の高い画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段と、前記記憶手段に記憶された前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御手段と、前記出力制御手段からの出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理手段とを備え、前記画像処理手段は、前記出力制御手段からの出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、前記出力制御手段は、前記画像処理手段から前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、第１の画像データの画像処理を実行中に外部からの要求があった場合には、不要となる画像処理を中止してリソースを解放することができ、ユーザ入力に対する応答性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置の構成例を示す図である。
【図２】第１の実施形態における画像出力処理を示すフローチャートである。
【図３】第２の実施形態における現像結果出力処理を示すフローチャートである。
【図４】第３の実施形態における画像出力処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置の構成例を示す図である。
図１において、１０１は本実施形態に係る画像処理装置を実現するコンピュータ装置１００全体を制御する制御部である。制御部１０１は、画像データに所定の画像処理を施す画像処理部１１４、及び画像データに係る画像の出力（表示）の制御等を行う出力制御部１１５を有する。制御部１０１は、例えばＣＰＵ（Central Processing Unit）であり、ＲＡＭ１０３に格納された処理プログラムを実行することにより画像処理部１１４や出力制御部１１５の機能を実現する。
【００１４】
１０２は変更を必要としないプログラムやパラメータを格納するＲＯＭ（Read Only Memory）である。１０３は外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭ（Random Access Memory）である。１０４は外部記憶装置である。外部記憶装置１０４には、コンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどが含まれる。また、外部記憶装置１０４には、コンピュータ装置１００から着脱可能なフレキシブルディスク、ＣＤ（Compact Disk）等の光ディスク、磁気や光カード、ＩＣカードなどが含まれる。
【００１５】
１０５はユーザの操作を受け、データ等を入力するポインティングデバイスやキーボード等の入力デバイス１０９とのインターフェイス（操作入力インターフェイス）である。１０６はコンピュータ装置１００が保持するデータや供給されたデータ等を表示するためのディスプレイ１１０とのインターフェイス（表示インターフェイス）である。１０７はインターネット等のネットワーク回線１１１に接続するためのネットワークインタフェイスである。１０８は画像データを入力する画像入力デバイス１１２とのインターフェイス（画像入力インターフェイス）である。
【００１６】
１１３は複数のＲＡＷ画像ファイルから構成されるＲＡＷファイル群である。ＲＡＷファイル群１１３は、画像入力デバイス１１２でユーザが予め撮影したＲＡＷ画像データが画像入力インターフェイス１０８を介して転送されたり、ネットワーク回線１１１からユーザが取得して外部記憶装置１０４にファイルとして記憶されたものである。なお、本実施形態におけるＲＡＷ画像ファイルは、ファイル内部にＲＡＷ画像データ（第１の画像データ）が格納される。また、ＲＡＷ画像データとともに画像入力デバイス１１２等により現像処理済みの低解像画像データ（第２の画像データ）がファイル内部に格納され、これに必要に応じて処理を行ったものが簡易画像として出力される。簡易画像は、例えばＪＰＥＧ画像である。１１６は各ユニット１０１〜１０８を通信可能に接続するシステムバスである。
【００１７】
（第１の実施形態）
図２は、第１の実施形態における画像出力処理の一例を示すフローチャートである。図２に示す画像出力処理は、図１に示した本実施形態に係る画像処理装置の制御部１０１がＲＡＭ１０３に格納された制御プログラムを実行することにより実行される。ユーザがポインティングデバイスやキーボード等の入力デバイス１０９を操作することにより、表示したいと欲するＲＡＷ画像データがＲＡＷ画像ファイル群１１３から選択されると、本実施形態における画像処理装置は処理を開始する。そして、選択された画像データに係る画像が例えば画像ブラウジングソフトウェアにより表示される。
【００１８】
まず、ステップＳ２０１にて、出力制御部１１５は、処理すべきライン（部分領域）を１ライン目と決定し、その部分領域の出力要求を画像処理部１１４に対して発行する。ステップＳ２０２にて、画像処理部１１４は、ステップＳ２０１において出力制御部１１５から発行された出力要求を受信すると、ＲＡＭ１０３に保持される（確保した）変数Ｎに１を設定する。次に、ステップＳ２０３にて、画像処理部１１４は、ワーカースレッドを生成する。なお、画像処理部１１４及び出力制御部１１５を含む制御部１０１は、マルチスレッド処理が可能である。制御部１０１は、ステップＳ２０３以降において、ステップＳ２０４〜Ｓ２１１及びＳ２２１〜Ｓ２２３の処理からなるメインスレッドと、ステップＳ２１２〜Ｓ２１８の処理からなるワーカースレッド２０１を同時実行するものとする。以下では、まずメインスレッドの処理について説明し、その後にワーカースレッドの処理について説明する。
【００１９】
ステップＳ２０４にて、画像処理部１１４は、ＲＡＭ１０３に保持される（確保した）現像完了フラグを参照し、値が１であるか否かを判定する。この現像完了フラグは、値が１の場合にはワーカースレッドによる画像全域のＲＡＷ現像処理が完了したことを示し、値が０の場合にはワーカースレッドによる画像全域のＲＡＷ現像処理が未完であることを示す。
【００２０】
ステップＳ２０４での判定の結果、現像完了フラグの値が０の場合には（ステップＳ２０４のＮｏ）、ステップＳ２０５へと処理を進める。ステップＳ２０５にて、画像処理部１１４は、メインスレッドの処理を所定時間スリープさせる（所定時間のウェイト処理を行う）。スリープさせる時間は、例えば画像全域のＲＡＷ現像処理時間や画像処理装置の操作方法等から適切な時間を決定すれば良い。続いて、ステップＳ２０６にて、画像処理部１１４は、選択されたＲＡＷ画像ファイルのＲＡＷ画像データ（第１の画像データ）と関連付けされて記憶されている現像処理済みの簡易画像データ（第２の画像データ）の現在のライン（ラインＮ）を出力する。
【００２１】
一方、ステップＳ２０４での判定の結果、現像完了フラグの値が１の場合には（ステップＳ２０４のＹｅｓ）、ステップＳ２０７へと処理を進める。ステップＳ２０７にて、画像処理部１１４は、ワーカースレッドによりＲＡＷ現像処理された結果の画像データをＲＡＭ１０３から参照し、現在のライン（ラインＮ）を現像結果として出力する。
【００２２】
ステップＳ２０８にて、出力制御部１１５は、ステップＳ２０６又はステップＳ２０７において画像処理部１１４から出力されたラインＮの画像データをディスプレイ１１０に表示させる。ステップＳ２０９にて、出力制御部１１５は、現在処理中のＲＡＷ画像の表示について、ユーザ操作によるキャンセル要求が入力されたか否かを判断する。判断の結果、キャンセル要求が入力されている（Ｙｅｓ）場合にはステップＳ２２１へと処理を進め、キャンセル要求が入力されていない（Ｎｏ）場合にはステップＳ２１０へと処理を進める。
【００２３】
ステップ２１０にて、出力制御部１１５は、現在のラインがＲＡＷ画像の最終ラインであるか否かを判定する。ステップＳ２１０での判定の結果、現在のラインがＲＡＷ画像の最終ラインである場合には（ステップＳ２１０のＹｅｓ）、画像全域を表示したことになるので、出力制御部１１５はステップＳ２２３へと処理を進める。一方、ステップＳ２１０での判定の結果、現在のラインがＲＡＷ画像の最終ラインでない場合には（ステップＳ２１０のＮｏ）、出力制御部１１５はステップＳ２１１へと処理を進める。ステップＳ２１１にて、出力制御部１１５は、現在のラインＮの表示を完了したので、次のラインへと処理を進めるためにＲＡＭ１０３に保持される変数Ｎを１だけインクリメントし、ステップＳ２０４に戻る。このようにしてＲＡＷ画像の最終ラインまで部分領域毎に出力要求を順次発行して前述の処理を繰り返す。
【００２４】
ステップＳ２０９での判断の結果、キャンセル要求が入力されている（Ｙｅｓ）場合に進むステップＳ２２１にて、画像処理部１１４は、選択されたＲＡＷ画像データに係る処理のキャンセルを行うために、キャンセルフラグの値を１に設定する。ここでキャンセルフラグは、ＲＡＭ４０３に保持される（確保した）変数であるものとし、値が１の場合にはユーザ操作によるキャンセル要求が入力されていることを示し、値が０の場合にはユーザ操作によるキャンセル要求の入力がないことを示す。
【００２５】
ステップＳ２２２にて、画像処理部１１４は、ワーカースレッドの終了待ちのループ処理を行う。ワーカースレッドが終了すると（判定がＹｅｓになると）、ステップＳ２２３へと処理を進める。ステップＳ２２３にて、出力制御部１１５は、メインスレッドで確保したリソースを開放し、第１の実施形態における画像出力処理を終了する。
【００２６】
ステップＳ２０３において、画像処理部１１４により生成されたワーカースレッド２０１は、ステップＳ２１２より画像全域に対するＲＡＷ現像処理を開始する。なお、本実施形態においてＲＡＷ現像処理は、一般的なＲＡＷ現像処理と同様に複数の処理ブロックから構成され、ここでは現像処理＜１＞〜＜Ｋ＞のＫ個の処理ブロックから構成されるものとする。
【００２７】
ステップ２１２にて、画像処理部１１４は、現像処理＜１＞を実行する。ステップＳ２１３にて、画像処理部１１４は、選択されたＲＡＷ画像の表示がユーザ操作によりキャンセルされたことを示すキャンセルフラグを参照する。ステップＳ２１３での判定の結果、キャンセルフラグの値が１の場合には（ステップＳ２１３のＹｅｓ）、ワーカースレッドによるＲＡＷ現像処理を行う必要がないので、画像処理部１１４は、以降のＲＡＷ現像処理をスキップし、ステップＳ２１８へと処理を進める。一方、ステップＳ２１３での判定の結果、キャンセルフラグの値が０の場合には（ステップＳ２１３のＮｏ）、画像処理部１１４はステップＳ２１４へと処理を進める。
【００２８】
ステップＳ２１４にて、画像処理部１１４は、現像処理＜２＞を実行する。ステップＳ２１５にて、画像処理部１１４は、ステップＳ２１３と同様にキャンセルフラグを参照する。ステップＳ２１５での判定の結果、キャンセルフラグの値が１の場合には（ステップＳ２１５のＹｅｓ）、画像処理部１１４は、以降のＲＡＷ現像処理をスキップし、ステップＳ２１８へと処理を進める。一方、ステップＳ２１５での判定の結果、キャンセルフラグの値が０の場合には（ステップＳ２１５のＮｏ）、図示していない複数の現像処理とキャンセルフラグの判定とを順に実行した後、ステップＳ２１６へと処理を進める。
【００２９】
ステップＳ２１６にて、画像処理部１１４は、現像処理＜Ｋ＞を実行する。本実施形態ではＲＡＷ現像処理は現像処理＜１＞〜＜Ｋ＞のＫ個の処理ブロックから構成されるため、ステップＳ２１６において画像処理部１１４により実行される現像処理＜Ｋ＞の処理を終えた時点でＲＡＷ現像処理が完了したこととなる。なお、本実施形態において現像処理＜Ｋ＞は、レンズの歪みを補正するためのレンズ歪曲補正処理であるものとする。レンズ歪曲補正処理は画像全域にわたる幾何学的な演算が必要となる。また、ＲＡＷ現像処理の前段で行うと幾何学的演算処理による誤差が発生し、これが後段の画像処理で累積していくので後段で行うことが望ましい。ステップ１１７にて、画像処理部１１４は、ＲＡＷ現像処理を完了したため、現像完了フラグの値を１に設定する。
【００３０】
ステップＳ２１８にて、画像処理部１１４は、ＲＡＷ現像処理を完了したため、ワーカースレッドで確保したリソースをすべて開放する。なお、本実施形態において現像処理結果はＲＡＭ１０３上にメインスレッドにより確保された記憶領域に記憶されるものとし、ステップＳ２１８でのリソース開放後、現像処理結果は保持されるものとする。ステップＳ２１８の処理を実行した後、画像処理部１１４はワーカースレッドを終了する。
【００３１】
第１の実施形態によれば、部分現像が不可能な画像処理アルゴリズムであっても、ユーザ操作によるＲＡＷ画像の表示のキャンセル要求を所定時間内で受け付けてワーカースレッドを開放し、リソースの開放を行うことができる。したがって、ユーザ操作に対して応答性の高い画像処理装置を提供することができる。また、所定時間毎にしか簡易画像を使用しないため、画像全体にわたって簡易画像を使用することはなく、ユーザ操作によるキャンセル要求がない場合には、画像の大部分において良好な現像処理結果を鑑賞することができる。
【００３２】
（第２の実施形態）
以下に説明する第２の実施形態は、前述した画像出力処理のステップＳ２０７において現像結果を出力する際に、画像処理部１１４が、すでに表示済みの簡易画像との境界部分について画像特性の違いを減じる処理を施すようにしたものである。図３は、第２の実施形態における画像出力処理のステップＳ２０７での現像結果出力処理の一例を示すフローチャートである。
【００３３】
画像処理部１１４は、ラインＮの画像を出力する際に（ステップＳ２０７）、ステップＳ３０１より処理を開始する。ステップＳ３０１にて、画像処理部１１４は、予めＲＡＭ１０３に記憶されているラインＬを取得する。ここでラインＬは、図２に示した画像出力処理におけるステップＳ２０６において出力されステップＳ２０８において表示されたラインの最終ラインを示すものとする。
【００３４】
ステップＳ３０２にて、画像処理部１１４は、現在の出力ラインであるラインＮとラインＬとの差が予め定められた閾値Ｔの範囲内であるか否かを判定する。ステップＳ３０２での判定の結果、差が閾値Ｔ以上である（ラインの距離が遠い）場合には、境界部分での特性の段差には影響を与えないため、簡易画像と画像特性の異なる現像結果のラインＮをそのまま出力するためにステップＳ３０７へと処理を進める。ステップＳ３０７にて、画像処理部１１４は、現像結果のラインＮを現像結果として出力する。
【００３５】
一方、ステップＳ３０２での判定の結果、差が閾値Ｔより小さい（ラインの距離が近い）場合には、簡易画像と画像特性の異なる現像結果のラインをそのまま出力してしまうと境界部分での特性の段差が目に見えてしまう。そのため、境界部分での特性の段差を目立たなくする処理を行うために、ステップＳ３０３へと処理を進める。なお、本実施形態において閾値Ｔは、例えば５とする。
【００３６】
ステップＳ３０３にて、画像処理部１１４は、既に表示済みの簡易画像データの内の（Ｎ−１）ライン〜（Ｎ−Ｔ）ラインを取得する。ここでＴは予め定められたローパスフィルタ（ＬＰＦ）の適用範囲に該当し、本実施形態においては、ステップＳ３０２での閾値と同一の値を用いるものとする。なお、本実施形態では、境界部分での画像特性の段差を拡散するためにＬＰＦを用いたフィルタ処理を施すものとするが、これに限られるものではない。例えば、簡易画像において横方向の解像度が低い場合には、画像特性を近づけるために、現像結果に対して横方向の解像度を低下させるような処理を行っても良い。
【００３７】
ステップ３０４にて、画像処理部１１４は、現像結果データの内のＮライン〜（Ｎ＋Ｔ）ラインを取得する。ステップＳ３０５にて、画像処理部１１４は、ステップＳ３０３及びＳ３０４において取得した簡易画像の（Ｎ−１）ライン〜（Ｎ−Ｔ）ラインのデータと現像結果データのＮライン〜（Ｎ＋Ｔ）ラインのデータを用いて縦方向のＬＰＦ処理を施す。以上からＬＰＦのタップ数は、中心の１ラインと上下の５ラインとを足して１１タップということになる。係数としては、一般的に画像処理の暈かし処理で用いられているものと同様で構わない。ステップＳ３０６にて、画像処理部１１４は、ＬＰＦ処理を施して得られた結果をラインＮの現像結果として出力し、ステップＳ２０７での現像結果出力処理を終了する。
【００３８】
第２の実施形態によれば、第１の実施形態と同様の効果が得られる。さらに、ＲＡＷ現像処理が終了した後に表示される現像結果と現像処理終了までに表示した簡易画像とで画像特性が違っている場合でも、境界部分の画像特性の差異が目立たない良好な表示画像が得られる。
【００３９】
（第３の実施形態）
図４は、第３の実施形態における画像出力処理の一例を示すフローチャートである。図４に示す第３の実施形態における画像出力処理は、図２に示した第１の実施形態における画像出力処理とほぼ同様であるが、簡易画像の出力について制限する処理を追加したものである。この処理を追加することにより、画像上部などの限定された領域でのみ簡易画像が使用されるので、画像の中央付近など鑑賞する際に重要となる領域については、より高画質な現像結果を鑑賞することができる。
【００４０】
図４に示すステップＳ４０１〜Ｓ４０４、Ｓ４０６〜Ｓ４１２、Ｓ４２１〜Ｓ４２３は、図２に示したステップＳ２０１〜Ｓ２０４、Ｓ２０５〜Ｓ２１１、Ｓ２２１〜Ｓ２２３にそれぞれ対応し、各ステップでの処理は同様であるので説明は省略する。また、図４に示すワーカースレッド４０１（ステップＳ４１３〜Ｓ４１９）も、図２に示したワーカースレッド２０１（ステップＳ２１２〜Ｓ２１８）と同様であるので説明は省略する。
【００４１】
図４に示す画像出力処理のステップＳ４０５にて、画像処理部１１４は、現在のラインＮが予め定められたラインより小さいか否かを判定する。例えば、処理するＲＡＷ画像は、縦方向３０００ライン程度であると、上部３０ライン程度であれば画像の端１％程度の領域であるため、簡易画像を用いても通常の鑑賞用としては問題はない。したがって、例えば、処理するＲＡＷ画像が縦方向３０００ライン程度であれば、所定ラインは３０とすれば良い。
【００４２】
ステップＳ４０５での判定の結果、現在のラインＮが所定のラインより小さい場合には（ステップＳ４０５のＹｅｓ）、簡易画像を用いても鑑賞用として問題ないため、ステップＳ４０６以降の簡易画像のラインを出力する処理へと処理を進める。一方、ステップＳ４０５での判定の結果、現在のラインＮが所定のライン以上の場合には（ステップＳ４０５のＮｏ）、鑑賞用として重要なラインであるため、簡易画像の表示をせずに、ステップＳ４０４へと処理を進める。
【００４３】
第３の実施形態によれば、鑑賞用として重要な領域については、簡易画像を用いないので、ユーザが鑑賞するにあたって十分な画質が確保された画像を表示可能な画像処理装置を提供することができる。
【００４４】
なお、前述した実施形態では画像処理の内容としてＲＡＷ現像処理を一例として説明したが、これに限定されるものではなく、その他の時間のかかる画像処理であっても構わない。例えば、ノイズ除去処理を例とすれば、時間のかかる高性能ノイズ処理を行っている途中で、簡易画像として高速な簡易ノイズ処理実行結果を出力するようにしても良い。
【００４５】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４６】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４７】
１０１ 制御部、１０３ ＲＡＭ、１０４ 外部記憶装置、１１３ ＲＡＷファイル群、１１４ 画像処理部、１０５ 出力制御部
【技術分野】
【０００１】
本発明は、画像データを処理して出力する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
パーソナルコンピュータなどで画像データに係る画像をユーザが閲覧する際に、その画像データがパーソナルコンピュータで表示するのに適した形式のものであればレスポンス良くユーザの欲する画像を表示することができる。しかし、画像処理を行った後でないと画像を表示することができない画像データが存在する。そのような画像データとして、例えば、一眼レフタイプのデジタルカメラで現在一般的なＲＡＷ撮影モードでの撮影によって得られたＲＡＷ画像データがある。ＲＡＷ画像データに係る画像（ＲＡＷ画像）をパーソナルコンピュータで表示するには、ＢＭＰ形式などのパーソナルコンピュータで表示可能な形式を生成するために、多くの処理ステップからなる画像処理を行う必要がある。このような画像処理は一般にＲＡＷ現像と呼ばれている。
【０００３】
ＲＡＷ画像データは、カメラベンダ毎に好ましい画像処理内容が異なり、また各カメラベンダ独自のフォーマットで記録される。そのため、各カメラベンダが画像処理を行うためのコーデックを配布し、ユーザがこのコーデックをパーソナルコンピュータにインストールして使用する。例えば、画像ブラウジングソフトウェアでＲＡＷ画像を表示する場合には、ＲＡＷ画像データに対応するインストールされたコーデックを利用してＲＡＷ現像を行いＲＡＷ画像の表示を行っている。
【０００４】
画像ブラウジングソフトウェアには、ユーザ操作のレスポンスを良くするために、画像全体に対するＲＡＷ現像要求を発行せずに、コーデックに対して１ラインなどの部分的な領域毎の現像要求（部分現像要求）を発行するものがある。このようにして、ユーザがＲＡＷ画像の表示をキャンセルした際に、ＲＡＷ現像処理を直ぐに中断し、ＣＰＵやメモリの無駄な消費を減少させる試みが行われている。
【０００５】
ユーザ操作へのレスポンスを向上する他の技術として、画像処理に時間を要し、ユーザに高速に処理結果を返すことができない場合に、解像度の低いサムネイル画像を一時的に表示する画像処理装置も存在する（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３７４４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、コーデックが部分現像できない場合には、画像ブラウジングソフトウェアからの部分現像要求に対して高速に制御を戻すことができず、ユーザ入力を阻害し応答性の悪い画像処理装置になってしまうという問題がある。部分現像を行えるか否かは、ＲＡＷ現像処理の画像処理アルゴリズムの内容による。つまり、画像処理アルゴリズムによっては、画像全域の情報を参照して行う処理を有する場合がある。このような画像全域の情報を参照して処理を行う処理ブロックが処理フローの後段に位置すると、たとえ部分現像処理を行ったとしても画像全域の情報を参照して行う処理ブロックでの処理を待たねばならず、結局は高速に結果出力をすることができない。また、特許文献１のように解像度の低い画像を一旦返したとしても、それはユーザが欲する表示結果でないので、すぐにＲＡＷ現像の結果が必要となるために、同様の課題が存在する。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、画像処理に長時間を要する場合であっても、ユーザ入力に対して応答性の高い画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段と、前記記憶手段に記憶された前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御手段と、前記出力制御手段からの出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理手段とを備え、前記画像処理手段は、前記出力制御手段からの出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、前記出力制御手段は、前記画像処理手段から前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、第１の画像データの画像処理を実行中に外部からの要求があった場合には、不要となる画像処理を中止してリソースを解放することができ、ユーザ入力に対する応答性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置の構成例を示す図である。
【図２】第１の実施形態における画像出力処理を示すフローチャートである。
【図３】第２の実施形態における現像結果出力処理を示すフローチャートである。
【図４】第３の実施形態における画像出力処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置の構成例を示す図である。
図１において、１０１は本実施形態に係る画像処理装置を実現するコンピュータ装置１００全体を制御する制御部である。制御部１０１は、画像データに所定の画像処理を施す画像処理部１１４、及び画像データに係る画像の出力（表示）の制御等を行う出力制御部１１５を有する。制御部１０１は、例えばＣＰＵ（Central Processing Unit）であり、ＲＡＭ１０３に格納された処理プログラムを実行することにより画像処理部１１４や出力制御部１１５の機能を実現する。
【００１４】
１０２は変更を必要としないプログラムやパラメータを格納するＲＯＭ（Read Only Memory）である。１０３は外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭ（Random Access Memory）である。１０４は外部記憶装置である。外部記憶装置１０４には、コンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどが含まれる。また、外部記憶装置１０４には、コンピュータ装置１００から着脱可能なフレキシブルディスク、ＣＤ（Compact Disk）等の光ディスク、磁気や光カード、ＩＣカードなどが含まれる。
【００１５】
１０５はユーザの操作を受け、データ等を入力するポインティングデバイスやキーボード等の入力デバイス１０９とのインターフェイス（操作入力インターフェイス）である。１０６はコンピュータ装置１００が保持するデータや供給されたデータ等を表示するためのディスプレイ１１０とのインターフェイス（表示インターフェイス）である。１０７はインターネット等のネットワーク回線１１１に接続するためのネットワークインタフェイスである。１０８は画像データを入力する画像入力デバイス１１２とのインターフェイス（画像入力インターフェイス）である。
【００１６】
１１３は複数のＲＡＷ画像ファイルから構成されるＲＡＷファイル群である。ＲＡＷファイル群１１３は、画像入力デバイス１１２でユーザが予め撮影したＲＡＷ画像データが画像入力インターフェイス１０８を介して転送されたり、ネットワーク回線１１１からユーザが取得して外部記憶装置１０４にファイルとして記憶されたものである。なお、本実施形態におけるＲＡＷ画像ファイルは、ファイル内部にＲＡＷ画像データ（第１の画像データ）が格納される。また、ＲＡＷ画像データとともに画像入力デバイス１１２等により現像処理済みの低解像画像データ（第２の画像データ）がファイル内部に格納され、これに必要に応じて処理を行ったものが簡易画像として出力される。簡易画像は、例えばＪＰＥＧ画像である。１１６は各ユニット１０１〜１０８を通信可能に接続するシステムバスである。
【００１７】
（第１の実施形態）
図２は、第１の実施形態における画像出力処理の一例を示すフローチャートである。図２に示す画像出力処理は、図１に示した本実施形態に係る画像処理装置の制御部１０１がＲＡＭ１０３に格納された制御プログラムを実行することにより実行される。ユーザがポインティングデバイスやキーボード等の入力デバイス１０９を操作することにより、表示したいと欲するＲＡＷ画像データがＲＡＷ画像ファイル群１１３から選択されると、本実施形態における画像処理装置は処理を開始する。そして、選択された画像データに係る画像が例えば画像ブラウジングソフトウェアにより表示される。
【００１８】
まず、ステップＳ２０１にて、出力制御部１１５は、処理すべきライン（部分領域）を１ライン目と決定し、その部分領域の出力要求を画像処理部１１４に対して発行する。ステップＳ２０２にて、画像処理部１１４は、ステップＳ２０１において出力制御部１１５から発行された出力要求を受信すると、ＲＡＭ１０３に保持される（確保した）変数Ｎに１を設定する。次に、ステップＳ２０３にて、画像処理部１１４は、ワーカースレッドを生成する。なお、画像処理部１１４及び出力制御部１１５を含む制御部１０１は、マルチスレッド処理が可能である。制御部１０１は、ステップＳ２０３以降において、ステップＳ２０４〜Ｓ２１１及びＳ２２１〜Ｓ２２３の処理からなるメインスレッドと、ステップＳ２１２〜Ｓ２１８の処理からなるワーカースレッド２０１を同時実行するものとする。以下では、まずメインスレッドの処理について説明し、その後にワーカースレッドの処理について説明する。
【００１９】
ステップＳ２０４にて、画像処理部１１４は、ＲＡＭ１０３に保持される（確保した）現像完了フラグを参照し、値が１であるか否かを判定する。この現像完了フラグは、値が１の場合にはワーカースレッドによる画像全域のＲＡＷ現像処理が完了したことを示し、値が０の場合にはワーカースレッドによる画像全域のＲＡＷ現像処理が未完であることを示す。
【００２０】
ステップＳ２０４での判定の結果、現像完了フラグの値が０の場合には（ステップＳ２０４のＮｏ）、ステップＳ２０５へと処理を進める。ステップＳ２０５にて、画像処理部１１４は、メインスレッドの処理を所定時間スリープさせる（所定時間のウェイト処理を行う）。スリープさせる時間は、例えば画像全域のＲＡＷ現像処理時間や画像処理装置の操作方法等から適切な時間を決定すれば良い。続いて、ステップＳ２０６にて、画像処理部１１４は、選択されたＲＡＷ画像ファイルのＲＡＷ画像データ（第１の画像データ）と関連付けされて記憶されている現像処理済みの簡易画像データ（第２の画像データ）の現在のライン（ラインＮ）を出力する。
【００２１】
一方、ステップＳ２０４での判定の結果、現像完了フラグの値が１の場合には（ステップＳ２０４のＹｅｓ）、ステップＳ２０７へと処理を進める。ステップＳ２０７にて、画像処理部１１４は、ワーカースレッドによりＲＡＷ現像処理された結果の画像データをＲＡＭ１０３から参照し、現在のライン（ラインＮ）を現像結果として出力する。
【００２２】
ステップＳ２０８にて、出力制御部１１５は、ステップＳ２０６又はステップＳ２０７において画像処理部１１４から出力されたラインＮの画像データをディスプレイ１１０に表示させる。ステップＳ２０９にて、出力制御部１１５は、現在処理中のＲＡＷ画像の表示について、ユーザ操作によるキャンセル要求が入力されたか否かを判断する。判断の結果、キャンセル要求が入力されている（Ｙｅｓ）場合にはステップＳ２２１へと処理を進め、キャンセル要求が入力されていない（Ｎｏ）場合にはステップＳ２１０へと処理を進める。
【００２３】
ステップ２１０にて、出力制御部１１５は、現在のラインがＲＡＷ画像の最終ラインであるか否かを判定する。ステップＳ２１０での判定の結果、現在のラインがＲＡＷ画像の最終ラインである場合には（ステップＳ２１０のＹｅｓ）、画像全域を表示したことになるので、出力制御部１１５はステップＳ２２３へと処理を進める。一方、ステップＳ２１０での判定の結果、現在のラインがＲＡＷ画像の最終ラインでない場合には（ステップＳ２１０のＮｏ）、出力制御部１１５はステップＳ２１１へと処理を進める。ステップＳ２１１にて、出力制御部１１５は、現在のラインＮの表示を完了したので、次のラインへと処理を進めるためにＲＡＭ１０３に保持される変数Ｎを１だけインクリメントし、ステップＳ２０４に戻る。このようにしてＲＡＷ画像の最終ラインまで部分領域毎に出力要求を順次発行して前述の処理を繰り返す。
【００２４】
ステップＳ２０９での判断の結果、キャンセル要求が入力されている（Ｙｅｓ）場合に進むステップＳ２２１にて、画像処理部１１４は、選択されたＲＡＷ画像データに係る処理のキャンセルを行うために、キャンセルフラグの値を１に設定する。ここでキャンセルフラグは、ＲＡＭ４０３に保持される（確保した）変数であるものとし、値が１の場合にはユーザ操作によるキャンセル要求が入力されていることを示し、値が０の場合にはユーザ操作によるキャンセル要求の入力がないことを示す。
【００２５】
ステップＳ２２２にて、画像処理部１１４は、ワーカースレッドの終了待ちのループ処理を行う。ワーカースレッドが終了すると（判定がＹｅｓになると）、ステップＳ２２３へと処理を進める。ステップＳ２２３にて、出力制御部１１５は、メインスレッドで確保したリソースを開放し、第１の実施形態における画像出力処理を終了する。
【００２６】
ステップＳ２０３において、画像処理部１１４により生成されたワーカースレッド２０１は、ステップＳ２１２より画像全域に対するＲＡＷ現像処理を開始する。なお、本実施形態においてＲＡＷ現像処理は、一般的なＲＡＷ現像処理と同様に複数の処理ブロックから構成され、ここでは現像処理＜１＞〜＜Ｋ＞のＫ個の処理ブロックから構成されるものとする。
【００２７】
ステップ２１２にて、画像処理部１１４は、現像処理＜１＞を実行する。ステップＳ２１３にて、画像処理部１１４は、選択されたＲＡＷ画像の表示がユーザ操作によりキャンセルされたことを示すキャンセルフラグを参照する。ステップＳ２１３での判定の結果、キャンセルフラグの値が１の場合には（ステップＳ２１３のＹｅｓ）、ワーカースレッドによるＲＡＷ現像処理を行う必要がないので、画像処理部１１４は、以降のＲＡＷ現像処理をスキップし、ステップＳ２１８へと処理を進める。一方、ステップＳ２１３での判定の結果、キャンセルフラグの値が０の場合には（ステップＳ２１３のＮｏ）、画像処理部１１４はステップＳ２１４へと処理を進める。
【００２８】
ステップＳ２１４にて、画像処理部１１４は、現像処理＜２＞を実行する。ステップＳ２１５にて、画像処理部１１４は、ステップＳ２１３と同様にキャンセルフラグを参照する。ステップＳ２１５での判定の結果、キャンセルフラグの値が１の場合には（ステップＳ２１５のＹｅｓ）、画像処理部１１４は、以降のＲＡＷ現像処理をスキップし、ステップＳ２１８へと処理を進める。一方、ステップＳ２１５での判定の結果、キャンセルフラグの値が０の場合には（ステップＳ２１５のＮｏ）、図示していない複数の現像処理とキャンセルフラグの判定とを順に実行した後、ステップＳ２１６へと処理を進める。
【００２９】
ステップＳ２１６にて、画像処理部１１４は、現像処理＜Ｋ＞を実行する。本実施形態ではＲＡＷ現像処理は現像処理＜１＞〜＜Ｋ＞のＫ個の処理ブロックから構成されるため、ステップＳ２１６において画像処理部１１４により実行される現像処理＜Ｋ＞の処理を終えた時点でＲＡＷ現像処理が完了したこととなる。なお、本実施形態において現像処理＜Ｋ＞は、レンズの歪みを補正するためのレンズ歪曲補正処理であるものとする。レンズ歪曲補正処理は画像全域にわたる幾何学的な演算が必要となる。また、ＲＡＷ現像処理の前段で行うと幾何学的演算処理による誤差が発生し、これが後段の画像処理で累積していくので後段で行うことが望ましい。ステップ１１７にて、画像処理部１１４は、ＲＡＷ現像処理を完了したため、現像完了フラグの値を１に設定する。
【００３０】
ステップＳ２１８にて、画像処理部１１４は、ＲＡＷ現像処理を完了したため、ワーカースレッドで確保したリソースをすべて開放する。なお、本実施形態において現像処理結果はＲＡＭ１０３上にメインスレッドにより確保された記憶領域に記憶されるものとし、ステップＳ２１８でのリソース開放後、現像処理結果は保持されるものとする。ステップＳ２１８の処理を実行した後、画像処理部１１４はワーカースレッドを終了する。
【００３１】
第１の実施形態によれば、部分現像が不可能な画像処理アルゴリズムであっても、ユーザ操作によるＲＡＷ画像の表示のキャンセル要求を所定時間内で受け付けてワーカースレッドを開放し、リソースの開放を行うことができる。したがって、ユーザ操作に対して応答性の高い画像処理装置を提供することができる。また、所定時間毎にしか簡易画像を使用しないため、画像全体にわたって簡易画像を使用することはなく、ユーザ操作によるキャンセル要求がない場合には、画像の大部分において良好な現像処理結果を鑑賞することができる。
【００３２】
（第２の実施形態）
以下に説明する第２の実施形態は、前述した画像出力処理のステップＳ２０７において現像結果を出力する際に、画像処理部１１４が、すでに表示済みの簡易画像との境界部分について画像特性の違いを減じる処理を施すようにしたものである。図３は、第２の実施形態における画像出力処理のステップＳ２０７での現像結果出力処理の一例を示すフローチャートである。
【００３３】
画像処理部１１４は、ラインＮの画像を出力する際に（ステップＳ２０７）、ステップＳ３０１より処理を開始する。ステップＳ３０１にて、画像処理部１１４は、予めＲＡＭ１０３に記憶されているラインＬを取得する。ここでラインＬは、図２に示した画像出力処理におけるステップＳ２０６において出力されステップＳ２０８において表示されたラインの最終ラインを示すものとする。
【００３４】
ステップＳ３０２にて、画像処理部１１４は、現在の出力ラインであるラインＮとラインＬとの差が予め定められた閾値Ｔの範囲内であるか否かを判定する。ステップＳ３０２での判定の結果、差が閾値Ｔ以上である（ラインの距離が遠い）場合には、境界部分での特性の段差には影響を与えないため、簡易画像と画像特性の異なる現像結果のラインＮをそのまま出力するためにステップＳ３０７へと処理を進める。ステップＳ３０７にて、画像処理部１１４は、現像結果のラインＮを現像結果として出力する。
【００３５】
一方、ステップＳ３０２での判定の結果、差が閾値Ｔより小さい（ラインの距離が近い）場合には、簡易画像と画像特性の異なる現像結果のラインをそのまま出力してしまうと境界部分での特性の段差が目に見えてしまう。そのため、境界部分での特性の段差を目立たなくする処理を行うために、ステップＳ３０３へと処理を進める。なお、本実施形態において閾値Ｔは、例えば５とする。
【００３６】
ステップＳ３０３にて、画像処理部１１４は、既に表示済みの簡易画像データの内の（Ｎ−１）ライン〜（Ｎ−Ｔ）ラインを取得する。ここでＴは予め定められたローパスフィルタ（ＬＰＦ）の適用範囲に該当し、本実施形態においては、ステップＳ３０２での閾値と同一の値を用いるものとする。なお、本実施形態では、境界部分での画像特性の段差を拡散するためにＬＰＦを用いたフィルタ処理を施すものとするが、これに限られるものではない。例えば、簡易画像において横方向の解像度が低い場合には、画像特性を近づけるために、現像結果に対して横方向の解像度を低下させるような処理を行っても良い。
【００３７】
ステップ３０４にて、画像処理部１１４は、現像結果データの内のＮライン〜（Ｎ＋Ｔ）ラインを取得する。ステップＳ３０５にて、画像処理部１１４は、ステップＳ３０３及びＳ３０４において取得した簡易画像の（Ｎ−１）ライン〜（Ｎ−Ｔ）ラインのデータと現像結果データのＮライン〜（Ｎ＋Ｔ）ラインのデータを用いて縦方向のＬＰＦ処理を施す。以上からＬＰＦのタップ数は、中心の１ラインと上下の５ラインとを足して１１タップということになる。係数としては、一般的に画像処理の暈かし処理で用いられているものと同様で構わない。ステップＳ３０６にて、画像処理部１１４は、ＬＰＦ処理を施して得られた結果をラインＮの現像結果として出力し、ステップＳ２０７での現像結果出力処理を終了する。
【００３８】
第２の実施形態によれば、第１の実施形態と同様の効果が得られる。さらに、ＲＡＷ現像処理が終了した後に表示される現像結果と現像処理終了までに表示した簡易画像とで画像特性が違っている場合でも、境界部分の画像特性の差異が目立たない良好な表示画像が得られる。
【００３９】
（第３の実施形態）
図４は、第３の実施形態における画像出力処理の一例を示すフローチャートである。図４に示す第３の実施形態における画像出力処理は、図２に示した第１の実施形態における画像出力処理とほぼ同様であるが、簡易画像の出力について制限する処理を追加したものである。この処理を追加することにより、画像上部などの限定された領域でのみ簡易画像が使用されるので、画像の中央付近など鑑賞する際に重要となる領域については、より高画質な現像結果を鑑賞することができる。
【００４０】
図４に示すステップＳ４０１〜Ｓ４０４、Ｓ４０６〜Ｓ４１２、Ｓ４２１〜Ｓ４２３は、図２に示したステップＳ２０１〜Ｓ２０４、Ｓ２０５〜Ｓ２１１、Ｓ２２１〜Ｓ２２３にそれぞれ対応し、各ステップでの処理は同様であるので説明は省略する。また、図４に示すワーカースレッド４０１（ステップＳ４１３〜Ｓ４１９）も、図２に示したワーカースレッド２０１（ステップＳ２１２〜Ｓ２１８）と同様であるので説明は省略する。
【００４１】
図４に示す画像出力処理のステップＳ４０５にて、画像処理部１１４は、現在のラインＮが予め定められたラインより小さいか否かを判定する。例えば、処理するＲＡＷ画像は、縦方向３０００ライン程度であると、上部３０ライン程度であれば画像の端１％程度の領域であるため、簡易画像を用いても通常の鑑賞用としては問題はない。したがって、例えば、処理するＲＡＷ画像が縦方向３０００ライン程度であれば、所定ラインは３０とすれば良い。
【００４２】
ステップＳ４０５での判定の結果、現在のラインＮが所定のラインより小さい場合には（ステップＳ４０５のＹｅｓ）、簡易画像を用いても鑑賞用として問題ないため、ステップＳ４０６以降の簡易画像のラインを出力する処理へと処理を進める。一方、ステップＳ４０５での判定の結果、現在のラインＮが所定のライン以上の場合には（ステップＳ４０５のＮｏ）、鑑賞用として重要なラインであるため、簡易画像の表示をせずに、ステップＳ４０４へと処理を進める。
【００４３】
第３の実施形態によれば、鑑賞用として重要な領域については、簡易画像を用いないので、ユーザが鑑賞するにあたって十分な画質が確保された画像を表示可能な画像処理装置を提供することができる。
【００４４】
なお、前述した実施形態では画像処理の内容としてＲＡＷ現像処理を一例として説明したが、これに限定されるものではなく、その他の時間のかかる画像処理であっても構わない。例えば、ノイズ除去処理を例とすれば、時間のかかる高性能ノイズ処理を行っている途中で、簡易画像として高速な簡易ノイズ処理実行結果を出力するようにしても良い。
【００４５】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４６】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４７】
１０１ 制御部、１０３ ＲＡＭ、１０４ 外部記憶装置、１１３ ＲＡＷファイル群、１１４ 画像処理部、１０５ 出力制御部
【特許請求の範囲】
【請求項１】
画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御手段と、
前記出力制御手段からの出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理手段とを備え、
前記画像処理手段は、前記出力制御手段からの出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、
前記出力制御手段は、前記画像処理手段から前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段が出力要求された前記部分領域に対応する前記第２の画像データを出力する場合には、所定時間のウェイト処理を行った後に出力することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段は、予め設定された領域については、出力要求された前記部分領域に対応する前記第２の画像データを出力せずに、前記第１の画像データの画像全域に対する画像処理が完了をした後に出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像処理手段は、出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力する場合には、出力されている前記第２の画像データとの境界部分における画像処理された前記第１の画像データに対して画像特性の違いを減じる処理を施して出力することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記第１の画像データがＲＡＷ画像データであることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の画像データに行う画像処理がＲＡＷ現像処理であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記第２の画像データが、前記第１の画像データに係るＪＰＥＧ画像であることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記第１の画像データに行う画像処理には、レンズの歪曲を補正するためのレンズ歪曲補正処理が含まれていることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段に記憶されている前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御工程と、
前記出力制御工程による出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理工程とを有し、
前記画像処理工程では、前記出力制御工程での出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、
前記出力制御工程では、前記画像処理工程にて前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とする画像処理方法。
【請求項１０】
画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段に記憶されている前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御ステップと、
前記出力制御ステップによる出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理ステップとをコンピュータに実行させ、
かつ前記画像処理ステップでは、前記出力制御ステップでの出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、
前記出力制御ステップでは、前記画像処理ステップにて前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とするプログラム。
【請求項１】
画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御手段と、
前記出力制御手段からの出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理手段とを備え、
前記画像処理手段は、前記出力制御手段からの出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、
前記出力制御手段は、前記画像処理手段から前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段が出力要求された前記部分領域に対応する前記第２の画像データを出力する場合には、所定時間のウェイト処理を行った後に出力することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段は、予め設定された領域については、出力要求された前記部分領域に対応する前記第２の画像データを出力せずに、前記第１の画像データの画像全域に対する画像処理が完了をした後に出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像処理手段は、出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力する場合には、出力されている前記第２の画像データとの境界部分における画像処理された前記第１の画像データに対して画像特性の違いを減じる処理を施して出力することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記第１の画像データがＲＡＷ画像データであることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の画像データに行う画像処理がＲＡＷ現像処理であることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記第２の画像データが、前記第１の画像データに係るＪＰＥＧ画像であることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記第１の画像データに行う画像処理には、レンズの歪曲を補正するためのレンズ歪曲補正処理が含まれていることを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段に記憶されている前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御工程と、
前記出力制御工程による出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理工程とを有し、
前記画像処理工程では、前記出力制御工程での出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、
前記出力制御工程では、前記画像処理工程にて前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とする画像処理方法。
【請求項１０】
画像処理された後に出力される第１の画像データ、及び前記第１の画像データより低解像であって画像処理されている第２の画像データを記憶する記憶手段に記憶されている前記第１の画像データの出力を要求する場合に、部分領域毎に出力要求を行う出力制御ステップと、
前記出力制御ステップによる出力要求を受けたことに応じて、前記記憶手段に記憶された前記第１の画像データの画像全域に対する画像処理を行う画像処理ステップとをコンピュータに実行させ、
かつ前記画像処理ステップでは、前記出力制御ステップでの出力要求に対して、前記第１の画像データの画像全域に対する画像処理が完了するまでは出力要求された前記部分領域に対応する前記第２の画像データを出力し、前記第１の画像データの画像全域に対する画像処理が完了した後は出力要求された前記部分領域に対応する画像処理された前記第１の画像データを出力し、
前記出力制御ステップでは、前記画像処理ステップにて前記部分領域に対応する画像データが出力された後、外部からの要求がなければ次の部分領域の出力要求を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２３４４２５（Ｐ２０１２−２３４４２５Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０３５０６（Ｐ２０１１−１０３５０６）
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]