画像処理システム、画像処理方法およびプログラム
【課題】撮像光学系の光学応答を補正する低コストな画像処理システムを提供すること。
【解決手段】撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部と、特徴量抽出部が抽出した前記特徴量に基づいて、前記撮像装置が撮像した前記撮像画像または他の撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部とを備える。
【解決手段】撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部と、特徴量抽出部が抽出した前記特徴量に基づいて、前記撮像装置が撮像した前記撮像画像または他の撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
撮影光学系と被写体との間の距離および焦点距離の組み合わせに対応した補正データを用いて画像を補整する撮像装置が知られている（例えば、特許文献１参照）。この撮像装置では、被写体までの距離を検出するとともに、撮影光学系の焦点距離を検出して、検出した距離および焦点距離に対応する補正データを読み出して、読み出した補正データを用いて物体像に対し補正処理が行われる。
【特許文献１】特開平９−７４５１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１に記載の技術によると、被写体までの距離および焦点距離に応じた補正データを利用することで、劣化画像を復元できるとされる。しかしながら、上記特許文献１に記載の技術によると、撮像時に被写体までの距離と、焦点距離とを検出するデバイスを撮像装置に実装しなければならず、これらの情報を検出しない撮像装置と比べるとコストが高くなってしまう。また、画像が劣化する要因としては、フォーカス位置、ズーム位置、絞り位置、被写体までの距離など、多様な要因が挙げられる。これらの様々な要因を考慮して劣化画像を高精度に補正しようとすると、コストが著しく増大してしまう。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、画像処理システムであって、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部と、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、特徴量抽出部が抽出した特徴量に基づいて、撮像装置が撮像した撮像画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正データを用いて補正し、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部とを備える。
【０００５】
画像処理部は、特徴量抽出部が抽出した特徴量および同一被写体が撮像された複数の撮像画像上の位置に基づいて、補正画像を生成してよい。
【０００６】
異なる位置に撮像された画像から抽出された特徴量に対応づけて、補正データを格納する補正データ格納部をさらに備え、画像処理部は、撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて補正データ格納部が格納している補正データを用いて、補正画像を生成してよい。
【０００７】
補正データ算出部は、撮像装置と異なる撮像装置により撮像された複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、異なる撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを、同一被写体の画像のうちの撮像画像上におけるより中央に位置する画像を正解画像として優先して用いた処理により算出し、画像処理部は、撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて補正データ格納部が格納している補正データを用いて、補正画像を生成してよい。
【０００８】
補正データ算出部は、異なる撮像装置が異なる複数の撮像条件で撮像して得られた複数の撮像画像を少なくとも用いた処理により、補正データを算出してよい。
【０００９】
補正データ算出部は、異なる撮像装置が光軸方向の距離が異なる被写体を撮像して得られた複数の撮像画像を少なくとも用いた処理により、補正データを算出してよい。
【００１０】
画像処理部は、被写体像の形状を補正する補正データを用いて、補正画像を生成してよい。
【００１１】
特徴量抽出部は、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、エッジ情報を含む特徴量を抽出してよい。
【００１２】
画像処理部は、被写体像のぼけを補正する補正データを用いて、補正画像を生成してよい。
【００１３】
特徴量抽出部は、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、空間周波数成分を含む特徴量を抽出してよい。
【００１４】
補正データは、被写体像に加算すべき高周波成分を含み、画像処理部は、補正データに含まれる高周波成分を画像に加算することにより、補正画像を生成してよい。
【００１５】
補正データは、被写体像に適用すべき画像フィルタを含み、画像処理部は、補正データが含む画像フィルタを画像に適用することにより、補正画像を生成してよい。
【００１６】
画像処理部は、被写体像の色を補正する補正データを用いて、補正画像を生成してよい。
【００１７】
特徴量抽出部は、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、色情報を含む特徴量を抽出してよい。
【００１８】
本発明の第２の態様においては、画像処理方法であって、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出段階と、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、特徴量抽出段階において抽出された特徴量に基づいて、撮像装置が撮像した撮像画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正データを用いて補正し、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階とを備える。
【００１９】
本発明の第３の態様においては、画像処理システム用のプログラムであって、コンピュータを、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、特徴量抽出部が抽出した特徴量に基づいて、撮像装置が撮像した撮像画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正データを用いて補正し、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部として機能させる。
【００２０】
本発明の第４の態様においては、画像処理システムであって、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部と、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、第１特徴量抽出部が抽出した特徴量と補正データとの対応関係を格納する補正データ格納部と、第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部と、第２特徴量抽出部が抽出した特徴量に対応する補正データを補正データ格納部から読み出し、第２撮像装置が撮像した撮像画像から、第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部とを備える。
【００２１】
本発明の第５の態様においては、画像処理方法であって、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出段階と、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、第１特徴量抽出段階において抽出された特徴量と補正データとの対応関係を補正データ格納部に格納する補正データ格納段階と、第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出段階と、第２特徴量抽出段階において抽出された特徴量に対応する補正データを、補正データ格納部から読み出し、第２撮像装置が撮像した撮像画像から、第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階とを備える。
【００２２】
本発明の第６の態様においては、画像処理システム用のプログラムであって、コンピュータを、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、第１特徴量抽出部が抽出した特徴量と補正データとの対応関係を格納する補正データ格納部、第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部、第２特徴量抽出部が抽出した特徴量に対応する補正データを補正データ格納部から読み出し、第２撮像装置が撮像した撮像画像から、第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部として機能させる。
【００２３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、一実施形態に係る画像処理システム１０の全体構成の一例を示す。以下に説明するように、画像処理システム１０は映像監視システムとして機能することができる。画像処理システム１０は、映像監視システムに限らず、撮像された画像に対して、撮像光学系の影響による画像劣化を補正するサービスを提供するシステムとして機能することができる。
【００２６】
画像処理システム１０は、監視空間１５０を撮像する複数の撮像装置１００ａ−ｄ、原画像サーバ１２０、通信ネットワーク１１０、画像処理装置１７０、画像データベース１７５、学習画像データベース１７６、および表示装置１８０ａ−ｄを備える。
【００２７】
以下の説明において、撮像装置１００ａ、撮像装置１００ｂ、撮像装置１００ｃおよび撮像装置１００ｄを撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
【００２８】
撮像装置１００ａは監視空間１５０を撮像する。撮像装置１００ａは、監視空間１５０内の人物１３０、車輌１４０などの動体を撮像して、動画を生成する。撮像装置１００ａは、監視空間１５０を撮像して得られた動画を、原画像サーバ１２０に供給する。撮像装置１００ｂ−ｄは、撮像装置１００ａと異なる位置に設けられるが、その他の点では、撮像装置１００ｂ−ｄの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００ｂ−ｄについてはその説明を省略する。
【００２９】
原画像サーバ１２０は、撮像装置１００ａ−ｄから供給された動画を、画像処理装置１７０に向けて通信ネットワーク１１０に送出する。通信ネットワーク１１０としては、インターネットなどの電気通信回線を例示することができる。原画像サーバ１２０は、例えば撮像装置１００の近傍に設けられる。他の形態において、原画像サーバ１２０は監視空間１５０内に設けられてもよい。
【００３０】
また、原画像サーバ１２０は、撮像装置１００の撮像動作を制御する。例えば、原画像サーバ１２０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００が撮像条件を変えて撮像することができる場合、原画像サーバ１２０は、撮像装置１００の撮像条件を制御してよい。
【００３１】
例えば、撮像装置１００がズーム値を変えて撮像することができる場合、原画像サーバ１２０は撮像装置１００のズーム値を制御してもよい。撮像装置１００がフォーカス位置を変えて撮像することができる場合、原画像サーバ１２０は撮像装置１００のフォーカス位置を制御してもよい。また、撮像装置１００が絞り値を変えて撮像することができる場合、原画像サーバ１２０は撮像装置１００の絞り値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、原画像サーバ１２０は撮像装置１００の撮像方向を制御してもよい。
【００３２】
画像処理装置１７０は、一例として監視空間１５０とは遠隔の空間１６５に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１１０を通じて原画像サーバ１２０から取得する。画像処理装置１７０は、取得した動画に補正処理を施して補正動画を生成する。画像処理装置１７０は、補正動画を画像データベース１７５に格納する。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像データベース１７５が格納している補正動画を、通信ネットワーク１１０を通じて、監視空間１５０および空間１６５とは異なる空間１６０に設けられた表示装置１８０に送信する。
【００３３】
なお、画像処理装置１７０は、補正動画を画像データベース１７５に格納せずに表示装置１８０に送信してもよい。また、画像処理装置１７０は、原画像サーバ１２０から受信した動画に画像処理を施さずに画像データベース１７５に格納してよい。そして、画像処理装置１７０は、表示装置１８０から補正動画を要求された場合に、画像データベース１７５が格納している動画に画像処理を施して補正動画を生成して、生成した補正動画を表示装置１８０に送信してもよい。
【００３４】
表示装置１８０は、画像処理装置１７０から取得した補正動画を表示する。表示装置１８０は、画像処理装置１７０が設けられた空間とは遠隔の空間に設けられてよい。また、表示装置１８０は、監視空間１５０の近傍または監視空間１５０内に設けられてもよい。
【００３５】
以下に、画像処理装置１７０における補正処理の概要を説明する。学習画像データベース１７６は、カメラ１０２により撮像された複数の動画を格納する。画像処理装置１７０は、学習画像データベース１７６に格納された動画に含まれる同一の撮像装置の略同一の撮像条件（例えば、略同一のピント、ズーム、絞り条件）で得られたフレーム画像中の略同一の画像領域に存在する被写体を抽出し、抽出した被写体の画像群から複数の特徴量を抽出し、多次元で現される特徴量空間内での確率分布を学習により求め、各画像領域の画像特徴量をその特徴量空間内での確率と対応づける。さらに画像処理装置１７０は、同一の撮像装置の略同一の撮像条件で得られたフレーム画像中から異なる画像領域に存在する同一の被写体を、類似する形状を有するオブジェクトの抽出、画像内のオブジェクト追跡などを利用して抽出し、抽出した同一被写体の画像のうちフレーム画像内の中心位置付近の同一被写体の画像を正解画像とし、フレーム内の周辺部の同一被写体の画像との関係から、カメラ１０２の撮像光学系の撮像条件および画像領域ごとに画像を補正し、ぼけ、歪み、色ずれなどの画像劣化のない画像を生成するための補正データを算出する。画像処理装置１７０は、算出した補正データを、先に抽出された領域ごとの画像特徴量の特徴量空間内での確率に対応づけて記憶する。
【００３６】
画像処理装置１７０は、原画像サーバ１２０から提供された動画に含まれるフレーム画像から、画像領域ごとに特徴量を抽出する。画像処理装置１７０は、抽出した特徴量で現される特徴量空間内の位置から、記憶している補正データと当該補正データが適用される確率を取得し、各補正データと各補正デーがそれぞれ適用される確率に基いて各フレーム画像を補正することにより、補正動画を生成する。
【００３７】
このように、画像処理装置１７０は、異なる画像領域に撮像されている被写体の画像から抽出された特徴量に基づいて補正動画を生成する。このため、画像処理装置１７０は、撮像装置１００の撮像光学系の光学応答が異なる場合でもレンズの歪みなどがフレーム画像に与える影響を除去した補正画像を生成することができる。
【００３８】
なお、記憶媒体８０は、画像処理装置１７０用のプログラムを記憶している。記憶媒体８０が記憶しているプログラムは、本実施形態に係る画像処理装置１７０などとして機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置１７０として当該コンピュータを機能させる。
【００３９】
記憶媒体８０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体８０として機能することもできる。
【００４０】
また、記憶媒体８０は、画像処理システム１０の他の構成要素として機能するコンピュータ用のプログラムを記憶してよい。当該プログラムは、本図および以後の図に関連して説明される原画像サーバ１２０、表示装置１８０、および撮像装置１００の少なくともいずれかとしてコンピュータを機能させることができる。
【００４１】
図２は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、原画像取得部２１０、同一被写体領域特定部２１２、特徴量抽出部２１４ａ、特徴量抽出部２１４ｂ、学習画像取得部２２６、補正データ算出部２２８、補正データ格納部２３０、画像処理部２１８、および出力部２９０を含む。
【００４２】
学習画像データベース１７６は、撮像装置１００と異なる１以上のカメラ１０２により撮像された複数の撮像画像を取得して格納している。具体的には、カメラ１０２は、種々の撮像条件で撮像された動画を撮像する。そして、学習画像データベース１７６は、１以上のカメラ１０２がそれぞれ異なる複数の撮像条件で撮像して得られた複数の撮像画像を取得する。学習画像データベース１７６が格納している動画は、学習処理に使用されるので、以後の説明においては学習用動画と呼び、撮像装置１００が撮像した動画とは区別する。
【００４３】
以下に画像処理装置１７０の学習動作について説明する。学習画像取得部２２６は、学習画像データベース１７６から動画を取得する。
【００４４】
同一被写体領域特定部２１２は、学習画像取得部２２６が取得した動画に含まれる複数のフレーム画像から、画像領域上の異なる位置に撮像された同一被写体の領域である同一被写体領域を特定する。例えば、同一被写体領域特定部２１２は、類似する形状を有するオブジェクトを抽出することにより、同一被写体領域を特定する。同一被写体領域特定部２１２は、オプティカルフロー、ミーンシフト、カルマンフィルタなどを利用した画像内のオブジェクト追跡を利用して同一被写体領域を特定してもよい。なお、同一被写体領域特定部２１２は、同じ撮像条件で撮像された複数のフレーム画像から、同一被写体領域を特定する。
【００４５】
例えば、同一被写体領域特定部２１２は、フレーム間で類似する画像ブロックを探索して画像の速度場を算出して、当該速度場に基づいて同一被写体のオブジェクトを追跡することにより、同一被写体領域を特定してよい。また、同一被写体領域特定部２１２は、画素値の時空間微分を算出することにより速度場を算出して、当該速度場に基づいて同一被写体のオブジェクトを追跡することにより、同一被写体領域を特定してもよい。
【００４６】
他にも、同一被写体領域特定部２１２は、類似する画素値のヒストグラムを有する画像領域をフレーム間で探索することにより同一被写体のオブジェクトを追跡して、同一被写体領域を特定してもよい。ここで、画素値のヒストグラムとは、色ヒストグラム、輝度ヒストグラムなどを例示することができる。色ヒストグラムは、ＲＧＢ色空間における色成分のヒストグラムであってよく、色相、彩度、明度のＨＳＶ色空間のヒストグラムであってもよい。同一被写体領域特定部２１２は、同一被写体として判断されたオブジェクトの過去の位置に基づいてオブジェクトの将来位置を予測することにより、同一被写体のオブジェクトを追跡してよい。
【００４７】
レンズの歪み等の影響により、同じ被写体のオブジェクトであっても、画像から抽出されるオブジェクトの形状情報・色情報などが画像中の位置に応じて違いが生じてしまう場合がある。上述したオブジェクト追跡によれば、画像中の位置に応じた形状情報・色情報の変化を順次に加味しながら追跡していくことができるので、歪みが大きいレンズを通じて撮像された画像からでも、同一被写体領域を適切に特定することができる場合がある。
【００４８】
同一被写体領域特定部２１２は、フレーム内の各位置に対応した同一被写体領域を特定する。なお、同一被写体領域特定部２１２は、撮像されている同一被写体の角度、形照明条件が類似する同一被写体領域を複数特定する。
【００４９】
特徴量抽出部２１４ａは、複数の画像領域の画像から、それぞれ特定された被写体の撮影角度、照明条件を正規化した後、特徴量を抽出する。特徴量としては、画像上の注目画素とその周辺画素の値に基づいて算出されたエッジ成分、輝度値、色成分、空間周波数成分などを例示することができる。
【００５０】
なお、特徴量抽出部２１４ａは、エッジの方向成分およびエッジの強度成分を、エッジ成分の特徴量として抽出してよい。この場合に、特徴量抽出部２１４ａは、エッジの方向成分およびエッジの強度成分を色成分毎に抽出して、エッジ成分の特徴量としてもよい。また、特徴量抽出部２１４ａは、複数画素における輝度値の平均値および輝度分布の少なくとも一方を、輝度値の特徴量として抽出してよい。また、特徴量抽出部２１４ａは、複数画素における色成分毎の平均値および分布の少なくとも一方を、色成分の特徴量として抽出してよい。また、特徴量抽出部２１４ａは、複数画素における空間周波数成分の特徴量として、予め定められた空間方向毎に空間周波数成分を抽出してよく、色毎に空間周波数成分を抽出してよい。また、特徴量抽出部２１４ａは、隣接する部分領域から抽出された特徴量から部分領域間の特徴量の勾配ベクトルまたは特徴量の差を算出して、当該勾配ベクトルまたは差を、特徴量として抽出してもよい。
【００５１】
補正データ算出部２２８は、同一被写体領域特定部２１２が特定した複数の同一被写体領域の画像に対して、複数の同一被写体領域の画像の関係からそれぞれの画像を撮像したカメラ１０２が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを、フレーム中央部の画像を正解画像として用い、複数の被写体間の関係を総合することにより算出する。例えば、補正データ算出部２２８は、同一被写体領域特定部２１２が特定した同一被写体領域の画像を対応する正解画像に変換することができる画像フィルタを、複数の被写体の関係を平均処理することにより算出する。
【００５２】
補正データ格納部２３０は、補正データ算出部２２８が算出した補正データを、画像の座標位置ごとに特徴量抽出部２１４ａで求められた特徴量の確率分布に対応させ格納する。
【００５３】
次に画像処理装置１７０の補正動作について説明する。原画像取得部２１０は、原画像サーバ１２０から動画を取得する。なお、原画像取得部２１０は、上述したように、画像データベース１７５から動画を取得してもよい。
【００５４】
特徴量抽出部２１４ｂは、原画像取得部２１０が取得した動画に含まれる複数のフレーム画像から、画像領域上の異なる位置に撮像された複数の領域の画像から、それぞれ照明条件を正規化した後、特徴量を抽出する。特徴量としては、画像上の注目画素とその周辺画素の値に基づいて算出されたエッジ成分、輝度値、色成分、空間周波数成分などを例示することができる。なお、特徴量抽出部２１４ｂは、特徴量抽出部２１４ａが抽出する上述した特徴量と同様の特徴量を抽出することができる。このように、特徴量抽出部２１４ｂは、撮像装置１００が撮像した複数のフレーム画像上の異なる位置にそれぞれ撮像された複数の領域の画像から特徴量を抽出する。
【００５５】
画像処理部２１８は、特徴量抽出部２１４ｂで求められた特徴量の確率分布に対応して格納されている補正データを、補正データ格納部２３０から読み出す。
【００５６】
画像処理部２１８は、補正データ格納部２３０から読み出した補正データを用いて、原画像取得部２１０が取得した動画に画像処理を施す。これにより、画像処理部２１８は、撮像装置１００が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成することができる。このように、画像処理部２１８は、特徴量抽出部２１４ｂが抽出した特徴量に適合する特徴量に対応づけられた補正データを用いて、補正画像を生成する。
【００５７】
画像処理部２１８は、補正画像を出力部２９０に供給する。出力部２９０は、補正画像を表示装置１８０に送信する。なお、出力部２９０は、上述したように、補正画像を画像データベース１７５に格納してもよい。
【００５８】
以上説明したように、画像処理装置１７０は、様々な撮像条件でカメラ１０２により撮像されたフレーム画像から学習処理によりフィルタを生成することができる。画像処理装置１７０は、撮像装置１００が撮像したフレーム画像の画像領域の画像から抽出した特徴量に対応するフィルタを用いて、補正画像を生成することができる。このため、撮像装置１００が有する撮像光学系の光学応答が不明な場合であっても、撮像装置１００の撮像光学系の光学的な歪みなどを補正した補正画像を生成することができる。
【００５９】
このため、撮像装置１００は、フォーカス位置、ズーム値などを検出する機能を有していなくても、画像処理装置１７０によって画像を高精度に補正することができるので、安価に光学的な歪みなどを補正した高画質な画像を得ることができる。また、撮像装置１００は、光学的な精度の低い安価な撮像光学系を用いることもできるので、コストをより削減することができる。
【００６０】
特徴量抽出部２１４ａおよび特徴量抽出部２１４ｂは、それぞれこの発明における第１特徴量抽出部および第２特徴量抽出部として機能することができる。同一の画像処理装置１７０内に特徴量抽出部２１４ａおよび特徴量抽出部２１４ｂの機能が実装される場合、特徴量抽出部２１４ａおよび特徴量抽出部２１４ｂは同一の機能ブロックとして実装されてよい。また、カメラ１０２および撮像装置１００は、それぞれこの発明における第１撮像装置および第２撮像装置として機能することができる。なお、補正データ格納部２３０は、補正データ算出部２２８が算出した補正データを、撮像装置１００を識別する情報に対応づけて格納してよい。
【００６１】
図３は、画像処理装置１７０の処理フローの一例を示す。本図では、画像処理装置１７０が、撮像装置１００ａにより撮像された動画３１０に対して画像処理を施して、補正済み動画３５０を生成する処理を説明する。
【００６２】
動画３１０に対する画像処理の前に、画像処理装置１７０において画像フィルタが生成される。学習画像データベース１７６は、カメラ１０２により撮像された学習用動画３００を格納している。同一被写体領域特定部２１２は、学習画像データベース１７６が格納している学習用動画３００に含まれるフレーム画像の中から、フレーム内で異なる位置にある同一被写体のうち予め定められた値より大きい一致度で一致する被写体の画像３６２ａ・・・、３６２ｂ・・・を選択する（Ｓ３６０）。これにより、画像フィルタを生成するための学習用画像セット３６４ａ、３６４ｂ、・・・が抽出される。
【００６３】
補正データ算出部２２８は、学習用画像セット３６４ａ、３６４ｂ、・・・を用いた学習処理により、各学習用画像セットからそれぞれ画像フィルタ３７２を生成する（Ｓ３７０）。生成された画像フィルタ３７２は、特徴量に対応づけて補正データ格納部２３０が格納する。
【００６４】
次に、動画３１０に対する画像処理を説明する。原画像取得部２１０は、複数のフレーム画像３１２を含む動画３１０を取得する。特徴量抽出部２１４ｂは、動画３１０の画像領域３１４の画像に基いて画像特徴量を抽出して（Ｓ３２０）、特徴量の組３２２を抽出する。
【００６５】
画像処理部２１８は、特徴量の組３２２に基づき、動画３１０に対する画像フィルタを生成するために用いる１以上の画像フィルタを、画像フィルタが適用される確率とともに決定する。そして、画像処理部２１８は、決定した画像フィルタおよび確率に基づき画像フィルタ３４０を生成する（Ｓ３３０）。
【００６６】
画像処理部２１８は、画像フィルタ３４０を用いて、動画３１０に含まれるフレーム画像をフィルタリングすることにより、補正済み動画３５０を生成する（Ｓ３４５）。補正済み動画３５０は、出力部２９０により表示装置１８０または画像データベース１７５に出力される。
【００６７】
なお、上記の説明では、簡単のため、２つの同一被写体領域を特定したが、３以上の同一被写体領域を特定してよい。撮像光学系の歪みを検出するためには、画像領域上の中央付近だけでなく、周辺領域からより多くの同一被写体領域を特定することが好ましい。このように、画像処理部２１８は、特徴量抽出部２１４ａが抽出した特徴量および同一被写体が撮像された複数の撮像画像上の位置に基づいて、補正画像を生成するので、撮像光学系の歪みを考慮した適切な画像フィルタ３４０を生成することができる場合がある。
【００６８】
また、画像フィルタとしては、注目画素の画素値を、当該注目画素の周囲の画素の画素値の加重平均により算出するフィルタを例示することができる。なお、その他、画像フィルタとして、エッジ強調などの高周波を強調する周波数フィルタ、アフィン変換を施す幾何フィルタなどであってもよい。このように、補正データは、被写体像に適用すべき画像フィルタであってよく、画像処理部２１８は、補正データが含む画像フィルタを画像に適用することにより、補正画像を生成する。また、この発明における補正データとは、画像フィルタの他、補正対象のフレーム画像に加算すべき画素データまたは空間周波数成分そのものであってもよい。このように、補正データは、被写体像に加算すべき高周波成分を含んでよい。画像処理部２１８は、補正データに含まれる高周波成分を例えば高周波域通過フィルタなどにより抽出、増幅して画像に加算することにより、補正画像を生成してよい。
【００６９】
なお、特徴量抽出部２１４ｂは、補正内容に応じて、適切な種類の特徴量を抽出してよい。例えば、画像処理部２１８は、被写体像の形状を補正する補正データを用いて、補正画像を生成する場合には、特徴量抽出部２１４ｂは、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、エッジ情報を含む特徴量を抽出してよい。また、画像処理部２１８は、被写体像のぼけを補正する補正データを用いて、補正画像を生成する場合には、特徴量抽出部２１４ｂは、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、空間周波数成分を含む特徴量を抽出してよい。
【００７０】
また、画像処理部２１８は、被写体像の色を補正する補正データを用いて、補正画像を生成してよく、この場合、特徴量抽出部２１４ｂは、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、色情報を含む特徴量を抽出する。色情報を含む特徴量とは、色のヒストグラム、色の空間的分布などであってよい。
【００７１】
また、補正データ格納部２３０は、Ｓ３３０において算出された画像フィルタ３４０を、撮像装置１００ａを識別する情報に対応づけて格納してよい。補正データ格納部２３０は、撮像装置１００ａから得られた新たなフレーム画像に対して、補正データ格納部２３０が格納している画像フィルタ３４０を用いて、補正処理を施してよい。
【００７２】
また、画像フィルタは、注目画素の画素値を、当該注目画素の周囲の画素の画素値から予め事前学習により推定算出した値に置き換える処理を規定する画像フィルタであっても良い。
【００７３】
なお、補正データ算出部２２８は、１以上のカメラ１０２が異なる複数の撮像条件で撮像して得られた複数の撮像画像を少なくとも用いた学習により、補正データを算出することが望ましい。また、補正データ算出部２２８は、１以上のカメラ１０２が光軸方向の距離が異なる被写体を撮像して得られた複数の撮像画像を少なくとも用いた学習により、補正データを算出することが望ましい。
【００７４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７５】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【図面の簡単な説明】
【００７６】
【図１】一実施形態に係る画像処理システム１０の全体構成の一例を示す図である。
【図２】画像処理装置１７０のブロック構成の一例を示す図である。
【図３】画像処理装置１７０の処理フローの一例を示す図である。
【符号の説明】
【００７７】
１０ 画像処理システム
８０ 記憶媒体
１００ 撮像装置
１０２ カメラ
１１０ 通信ネットワーク
１２０ 原画像サーバ
１５０ 監視空間
１６０ 空間
１６５ 空間
１７０ 画像処理装置
１７５ 画像データベース
１７６ 学習画像データベース
１８０ 表示装置
２１０ 原画像取得部
２１２ 同一被写体領域特定部
２１４ 特徴量抽出部
２１８ 画像処理部
２２６ 学習画像取得部
２２８ 補正データ算出部
２３０ 補正データ格納部
２９０ 出力部
３００ 学習用動画
３１０ 動画
３５０ 補正済み動画
３６２ 画像
３６４ 学習用画像セット
３７２ 画像フィルタ
３１２ フレーム画像
３１４ 画像領域
３２２ 特徴量の組
３４０ 画像フィルタ
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
撮影光学系と被写体との間の距離および焦点距離の組み合わせに対応した補正データを用いて画像を補整する撮像装置が知られている（例えば、特許文献１参照）。この撮像装置では、被写体までの距離を検出するとともに、撮影光学系の焦点距離を検出して、検出した距離および焦点距離に対応する補正データを読み出して、読み出した補正データを用いて物体像に対し補正処理が行われる。
【特許文献１】特開平９−７４５１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１に記載の技術によると、被写体までの距離および焦点距離に応じた補正データを利用することで、劣化画像を復元できるとされる。しかしながら、上記特許文献１に記載の技術によると、撮像時に被写体までの距離と、焦点距離とを検出するデバイスを撮像装置に実装しなければならず、これらの情報を検出しない撮像装置と比べるとコストが高くなってしまう。また、画像が劣化する要因としては、フォーカス位置、ズーム位置、絞り位置、被写体までの距離など、多様な要因が挙げられる。これらの様々な要因を考慮して劣化画像を高精度に補正しようとすると、コストが著しく増大してしまう。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、画像処理システムであって、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部と、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、特徴量抽出部が抽出した特徴量に基づいて、撮像装置が撮像した撮像画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正データを用いて補正し、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部とを備える。
【０００５】
画像処理部は、特徴量抽出部が抽出した特徴量および同一被写体が撮像された複数の撮像画像上の位置に基づいて、補正画像を生成してよい。
【０００６】
異なる位置に撮像された画像から抽出された特徴量に対応づけて、補正データを格納する補正データ格納部をさらに備え、画像処理部は、撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて補正データ格納部が格納している補正データを用いて、補正画像を生成してよい。
【０００７】
補正データ算出部は、撮像装置と異なる撮像装置により撮像された複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、異なる撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを、同一被写体の画像のうちの撮像画像上におけるより中央に位置する画像を正解画像として優先して用いた処理により算出し、画像処理部は、撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて補正データ格納部が格納している補正データを用いて、補正画像を生成してよい。
【０００８】
補正データ算出部は、異なる撮像装置が異なる複数の撮像条件で撮像して得られた複数の撮像画像を少なくとも用いた処理により、補正データを算出してよい。
【０００９】
補正データ算出部は、異なる撮像装置が光軸方向の距離が異なる被写体を撮像して得られた複数の撮像画像を少なくとも用いた処理により、補正データを算出してよい。
【００１０】
画像処理部は、被写体像の形状を補正する補正データを用いて、補正画像を生成してよい。
【００１１】
特徴量抽出部は、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、エッジ情報を含む特徴量を抽出してよい。
【００１２】
画像処理部は、被写体像のぼけを補正する補正データを用いて、補正画像を生成してよい。
【００１３】
特徴量抽出部は、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、空間周波数成分を含む特徴量を抽出してよい。
【００１４】
補正データは、被写体像に加算すべき高周波成分を含み、画像処理部は、補正データに含まれる高周波成分を画像に加算することにより、補正画像を生成してよい。
【００１５】
補正データは、被写体像に適用すべき画像フィルタを含み、画像処理部は、補正データが含む画像フィルタを画像に適用することにより、補正画像を生成してよい。
【００１６】
画像処理部は、被写体像の色を補正する補正データを用いて、補正画像を生成してよい。
【００１７】
特徴量抽出部は、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、色情報を含む特徴量を抽出してよい。
【００１８】
本発明の第２の態様においては、画像処理方法であって、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出段階と、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、特徴量抽出段階において抽出された特徴量に基づいて、撮像装置が撮像した撮像画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正データを用いて補正し、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階とを備える。
【００１９】
本発明の第３の態様においては、画像処理システム用のプログラムであって、コンピュータを、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部、撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、特徴量抽出部が抽出した特徴量に基づいて、撮像装置が撮像した撮像画像から、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正データを用いて補正し、撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部として機能させる。
【００２０】
本発明の第４の態様においては、画像処理システムであって、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部と、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、第１特徴量抽出部が抽出した特徴量と補正データとの対応関係を格納する補正データ格納部と、第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部と、第２特徴量抽出部が抽出した特徴量に対応する補正データを補正データ格納部から読み出し、第２撮像装置が撮像した撮像画像から、第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部とを備える。
【００２１】
本発明の第５の態様においては、画像処理方法であって、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出段階と、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、第１特徴量抽出段階において抽出された特徴量と補正データとの対応関係を補正データ格納部に格納する補正データ格納段階と、第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出段階と、第２特徴量抽出段階において抽出された特徴量に対応する補正データを、補正データ格納部から読み出し、第２撮像装置が撮像した撮像画像から、第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階とを備える。
【００２２】
本発明の第６の態様においては、画像処理システム用のプログラムであって、コンピュータを、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部、第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、第１特徴量抽出部が抽出した特徴量と補正データとの対応関係を格納する補正データ格納部、第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部、第２特徴量抽出部が抽出した特徴量に対応する補正データを補正データ格納部から読み出し、第２撮像装置が撮像した撮像画像から、第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部として機能させる。
【００２３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、一実施形態に係る画像処理システム１０の全体構成の一例を示す。以下に説明するように、画像処理システム１０は映像監視システムとして機能することができる。画像処理システム１０は、映像監視システムに限らず、撮像された画像に対して、撮像光学系の影響による画像劣化を補正するサービスを提供するシステムとして機能することができる。
【００２６】
画像処理システム１０は、監視空間１５０を撮像する複数の撮像装置１００ａ−ｄ、原画像サーバ１２０、通信ネットワーク１１０、画像処理装置１７０、画像データベース１７５、学習画像データベース１７６、および表示装置１８０ａ−ｄを備える。
【００２７】
以下の説明において、撮像装置１００ａ、撮像装置１００ｂ、撮像装置１００ｃおよび撮像装置１００ｄを撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。
【００２８】
撮像装置１００ａは監視空間１５０を撮像する。撮像装置１００ａは、監視空間１５０内の人物１３０、車輌１４０などの動体を撮像して、動画を生成する。撮像装置１００ａは、監視空間１５０を撮像して得られた動画を、原画像サーバ１２０に供給する。撮像装置１００ｂ−ｄは、撮像装置１００ａと異なる位置に設けられるが、その他の点では、撮像装置１００ｂ−ｄの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００ｂ−ｄについてはその説明を省略する。
【００２９】
原画像サーバ１２０は、撮像装置１００ａ−ｄから供給された動画を、画像処理装置１７０に向けて通信ネットワーク１１０に送出する。通信ネットワーク１１０としては、インターネットなどの電気通信回線を例示することができる。原画像サーバ１２０は、例えば撮像装置１００の近傍に設けられる。他の形態において、原画像サーバ１２０は監視空間１５０内に設けられてもよい。
【００３０】
また、原画像サーバ１２０は、撮像装置１００の撮像動作を制御する。例えば、原画像サーバ１２０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００が撮像条件を変えて撮像することができる場合、原画像サーバ１２０は、撮像装置１００の撮像条件を制御してよい。
【００３１】
例えば、撮像装置１００がズーム値を変えて撮像することができる場合、原画像サーバ１２０は撮像装置１００のズーム値を制御してもよい。撮像装置１００がフォーカス位置を変えて撮像することができる場合、原画像サーバ１２０は撮像装置１００のフォーカス位置を制御してもよい。また、撮像装置１００が絞り値を変えて撮像することができる場合、原画像サーバ１２０は撮像装置１００の絞り値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、原画像サーバ１２０は撮像装置１００の撮像方向を制御してもよい。
【００３２】
画像処理装置１７０は、一例として監視空間１５０とは遠隔の空間１６５に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１１０を通じて原画像サーバ１２０から取得する。画像処理装置１７０は、取得した動画に補正処理を施して補正動画を生成する。画像処理装置１７０は、補正動画を画像データベース１７５に格納する。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像データベース１７５が格納している補正動画を、通信ネットワーク１１０を通じて、監視空間１５０および空間１６５とは異なる空間１６０に設けられた表示装置１８０に送信する。
【００３３】
なお、画像処理装置１７０は、補正動画を画像データベース１７５に格納せずに表示装置１８０に送信してもよい。また、画像処理装置１７０は、原画像サーバ１２０から受信した動画に画像処理を施さずに画像データベース１７５に格納してよい。そして、画像処理装置１７０は、表示装置１８０から補正動画を要求された場合に、画像データベース１７５が格納している動画に画像処理を施して補正動画を生成して、生成した補正動画を表示装置１８０に送信してもよい。
【００３４】
表示装置１８０は、画像処理装置１７０から取得した補正動画を表示する。表示装置１８０は、画像処理装置１７０が設けられた空間とは遠隔の空間に設けられてよい。また、表示装置１８０は、監視空間１５０の近傍または監視空間１５０内に設けられてもよい。
【００３５】
以下に、画像処理装置１７０における補正処理の概要を説明する。学習画像データベース１７６は、カメラ１０２により撮像された複数の動画を格納する。画像処理装置１７０は、学習画像データベース１７６に格納された動画に含まれる同一の撮像装置の略同一の撮像条件（例えば、略同一のピント、ズーム、絞り条件）で得られたフレーム画像中の略同一の画像領域に存在する被写体を抽出し、抽出した被写体の画像群から複数の特徴量を抽出し、多次元で現される特徴量空間内での確率分布を学習により求め、各画像領域の画像特徴量をその特徴量空間内での確率と対応づける。さらに画像処理装置１７０は、同一の撮像装置の略同一の撮像条件で得られたフレーム画像中から異なる画像領域に存在する同一の被写体を、類似する形状を有するオブジェクトの抽出、画像内のオブジェクト追跡などを利用して抽出し、抽出した同一被写体の画像のうちフレーム画像内の中心位置付近の同一被写体の画像を正解画像とし、フレーム内の周辺部の同一被写体の画像との関係から、カメラ１０２の撮像光学系の撮像条件および画像領域ごとに画像を補正し、ぼけ、歪み、色ずれなどの画像劣化のない画像を生成するための補正データを算出する。画像処理装置１７０は、算出した補正データを、先に抽出された領域ごとの画像特徴量の特徴量空間内での確率に対応づけて記憶する。
【００３６】
画像処理装置１７０は、原画像サーバ１２０から提供された動画に含まれるフレーム画像から、画像領域ごとに特徴量を抽出する。画像処理装置１７０は、抽出した特徴量で現される特徴量空間内の位置から、記憶している補正データと当該補正データが適用される確率を取得し、各補正データと各補正デーがそれぞれ適用される確率に基いて各フレーム画像を補正することにより、補正動画を生成する。
【００３７】
このように、画像処理装置１７０は、異なる画像領域に撮像されている被写体の画像から抽出された特徴量に基づいて補正動画を生成する。このため、画像処理装置１７０は、撮像装置１００の撮像光学系の光学応答が異なる場合でもレンズの歪みなどがフレーム画像に与える影響を除去した補正画像を生成することができる。
【００３８】
なお、記憶媒体８０は、画像処理装置１７０用のプログラムを記憶している。記憶媒体８０が記憶しているプログラムは、本実施形態に係る画像処理装置１７０などとして機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像処理装置１７０として当該コンピュータを機能させる。
【００３９】
記憶媒体８０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体８０として機能することもできる。
【００４０】
また、記憶媒体８０は、画像処理システム１０の他の構成要素として機能するコンピュータ用のプログラムを記憶してよい。当該プログラムは、本図および以後の図に関連して説明される原画像サーバ１２０、表示装置１８０、および撮像装置１００の少なくともいずれかとしてコンピュータを機能させることができる。
【００４１】
図２は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、原画像取得部２１０、同一被写体領域特定部２１２、特徴量抽出部２１４ａ、特徴量抽出部２１４ｂ、学習画像取得部２２６、補正データ算出部２２８、補正データ格納部２３０、画像処理部２１８、および出力部２９０を含む。
【００４２】
学習画像データベース１７６は、撮像装置１００と異なる１以上のカメラ１０２により撮像された複数の撮像画像を取得して格納している。具体的には、カメラ１０２は、種々の撮像条件で撮像された動画を撮像する。そして、学習画像データベース１７６は、１以上のカメラ１０２がそれぞれ異なる複数の撮像条件で撮像して得られた複数の撮像画像を取得する。学習画像データベース１７６が格納している動画は、学習処理に使用されるので、以後の説明においては学習用動画と呼び、撮像装置１００が撮像した動画とは区別する。
【００４３】
以下に画像処理装置１７０の学習動作について説明する。学習画像取得部２２６は、学習画像データベース１７６から動画を取得する。
【００４４】
同一被写体領域特定部２１２は、学習画像取得部２２６が取得した動画に含まれる複数のフレーム画像から、画像領域上の異なる位置に撮像された同一被写体の領域である同一被写体領域を特定する。例えば、同一被写体領域特定部２１２は、類似する形状を有するオブジェクトを抽出することにより、同一被写体領域を特定する。同一被写体領域特定部２１２は、オプティカルフロー、ミーンシフト、カルマンフィルタなどを利用した画像内のオブジェクト追跡を利用して同一被写体領域を特定してもよい。なお、同一被写体領域特定部２１２は、同じ撮像条件で撮像された複数のフレーム画像から、同一被写体領域を特定する。
【００４５】
例えば、同一被写体領域特定部２１２は、フレーム間で類似する画像ブロックを探索して画像の速度場を算出して、当該速度場に基づいて同一被写体のオブジェクトを追跡することにより、同一被写体領域を特定してよい。また、同一被写体領域特定部２１２は、画素値の時空間微分を算出することにより速度場を算出して、当該速度場に基づいて同一被写体のオブジェクトを追跡することにより、同一被写体領域を特定してもよい。
【００４６】
他にも、同一被写体領域特定部２１２は、類似する画素値のヒストグラムを有する画像領域をフレーム間で探索することにより同一被写体のオブジェクトを追跡して、同一被写体領域を特定してもよい。ここで、画素値のヒストグラムとは、色ヒストグラム、輝度ヒストグラムなどを例示することができる。色ヒストグラムは、ＲＧＢ色空間における色成分のヒストグラムであってよく、色相、彩度、明度のＨＳＶ色空間のヒストグラムであってもよい。同一被写体領域特定部２１２は、同一被写体として判断されたオブジェクトの過去の位置に基づいてオブジェクトの将来位置を予測することにより、同一被写体のオブジェクトを追跡してよい。
【００４７】
レンズの歪み等の影響により、同じ被写体のオブジェクトであっても、画像から抽出されるオブジェクトの形状情報・色情報などが画像中の位置に応じて違いが生じてしまう場合がある。上述したオブジェクト追跡によれば、画像中の位置に応じた形状情報・色情報の変化を順次に加味しながら追跡していくことができるので、歪みが大きいレンズを通じて撮像された画像からでも、同一被写体領域を適切に特定することができる場合がある。
【００４８】
同一被写体領域特定部２１２は、フレーム内の各位置に対応した同一被写体領域を特定する。なお、同一被写体領域特定部２１２は、撮像されている同一被写体の角度、形照明条件が類似する同一被写体領域を複数特定する。
【００４９】
特徴量抽出部２１４ａは、複数の画像領域の画像から、それぞれ特定された被写体の撮影角度、照明条件を正規化した後、特徴量を抽出する。特徴量としては、画像上の注目画素とその周辺画素の値に基づいて算出されたエッジ成分、輝度値、色成分、空間周波数成分などを例示することができる。
【００５０】
なお、特徴量抽出部２１４ａは、エッジの方向成分およびエッジの強度成分を、エッジ成分の特徴量として抽出してよい。この場合に、特徴量抽出部２１４ａは、エッジの方向成分およびエッジの強度成分を色成分毎に抽出して、エッジ成分の特徴量としてもよい。また、特徴量抽出部２１４ａは、複数画素における輝度値の平均値および輝度分布の少なくとも一方を、輝度値の特徴量として抽出してよい。また、特徴量抽出部２１４ａは、複数画素における色成分毎の平均値および分布の少なくとも一方を、色成分の特徴量として抽出してよい。また、特徴量抽出部２１４ａは、複数画素における空間周波数成分の特徴量として、予め定められた空間方向毎に空間周波数成分を抽出してよく、色毎に空間周波数成分を抽出してよい。また、特徴量抽出部２１４ａは、隣接する部分領域から抽出された特徴量から部分領域間の特徴量の勾配ベクトルまたは特徴量の差を算出して、当該勾配ベクトルまたは差を、特徴量として抽出してもよい。
【００５１】
補正データ算出部２２８は、同一被写体領域特定部２１２が特定した複数の同一被写体領域の画像に対して、複数の同一被写体領域の画像の関係からそれぞれの画像を撮像したカメラ１０２が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを、フレーム中央部の画像を正解画像として用い、複数の被写体間の関係を総合することにより算出する。例えば、補正データ算出部２２８は、同一被写体領域特定部２１２が特定した同一被写体領域の画像を対応する正解画像に変換することができる画像フィルタを、複数の被写体の関係を平均処理することにより算出する。
【００５２】
補正データ格納部２３０は、補正データ算出部２２８が算出した補正データを、画像の座標位置ごとに特徴量抽出部２１４ａで求められた特徴量の確率分布に対応させ格納する。
【００５３】
次に画像処理装置１７０の補正動作について説明する。原画像取得部２１０は、原画像サーバ１２０から動画を取得する。なお、原画像取得部２１０は、上述したように、画像データベース１７５から動画を取得してもよい。
【００５４】
特徴量抽出部２１４ｂは、原画像取得部２１０が取得した動画に含まれる複数のフレーム画像から、画像領域上の異なる位置に撮像された複数の領域の画像から、それぞれ照明条件を正規化した後、特徴量を抽出する。特徴量としては、画像上の注目画素とその周辺画素の値に基づいて算出されたエッジ成分、輝度値、色成分、空間周波数成分などを例示することができる。なお、特徴量抽出部２１４ｂは、特徴量抽出部２１４ａが抽出する上述した特徴量と同様の特徴量を抽出することができる。このように、特徴量抽出部２１４ｂは、撮像装置１００が撮像した複数のフレーム画像上の異なる位置にそれぞれ撮像された複数の領域の画像から特徴量を抽出する。
【００５５】
画像処理部２１８は、特徴量抽出部２１４ｂで求められた特徴量の確率分布に対応して格納されている補正データを、補正データ格納部２３０から読み出す。
【００５６】
画像処理部２１８は、補正データ格納部２３０から読み出した補正データを用いて、原画像取得部２１０が取得した動画に画像処理を施す。これにより、画像処理部２１８は、撮像装置１００が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成することができる。このように、画像処理部２１８は、特徴量抽出部２１４ｂが抽出した特徴量に適合する特徴量に対応づけられた補正データを用いて、補正画像を生成する。
【００５７】
画像処理部２１８は、補正画像を出力部２９０に供給する。出力部２９０は、補正画像を表示装置１８０に送信する。なお、出力部２９０は、上述したように、補正画像を画像データベース１７５に格納してもよい。
【００５８】
以上説明したように、画像処理装置１７０は、様々な撮像条件でカメラ１０２により撮像されたフレーム画像から学習処理によりフィルタを生成することができる。画像処理装置１７０は、撮像装置１００が撮像したフレーム画像の画像領域の画像から抽出した特徴量に対応するフィルタを用いて、補正画像を生成することができる。このため、撮像装置１００が有する撮像光学系の光学応答が不明な場合であっても、撮像装置１００の撮像光学系の光学的な歪みなどを補正した補正画像を生成することができる。
【００５９】
このため、撮像装置１００は、フォーカス位置、ズーム値などを検出する機能を有していなくても、画像処理装置１７０によって画像を高精度に補正することができるので、安価に光学的な歪みなどを補正した高画質な画像を得ることができる。また、撮像装置１００は、光学的な精度の低い安価な撮像光学系を用いることもできるので、コストをより削減することができる。
【００６０】
特徴量抽出部２１４ａおよび特徴量抽出部２１４ｂは、それぞれこの発明における第１特徴量抽出部および第２特徴量抽出部として機能することができる。同一の画像処理装置１７０内に特徴量抽出部２１４ａおよび特徴量抽出部２１４ｂの機能が実装される場合、特徴量抽出部２１４ａおよび特徴量抽出部２１４ｂは同一の機能ブロックとして実装されてよい。また、カメラ１０２および撮像装置１００は、それぞれこの発明における第１撮像装置および第２撮像装置として機能することができる。なお、補正データ格納部２３０は、補正データ算出部２２８が算出した補正データを、撮像装置１００を識別する情報に対応づけて格納してよい。
【００６１】
図３は、画像処理装置１７０の処理フローの一例を示す。本図では、画像処理装置１７０が、撮像装置１００ａにより撮像された動画３１０に対して画像処理を施して、補正済み動画３５０を生成する処理を説明する。
【００６２】
動画３１０に対する画像処理の前に、画像処理装置１７０において画像フィルタが生成される。学習画像データベース１７６は、カメラ１０２により撮像された学習用動画３００を格納している。同一被写体領域特定部２１２は、学習画像データベース１７６が格納している学習用動画３００に含まれるフレーム画像の中から、フレーム内で異なる位置にある同一被写体のうち予め定められた値より大きい一致度で一致する被写体の画像３６２ａ・・・、３６２ｂ・・・を選択する（Ｓ３６０）。これにより、画像フィルタを生成するための学習用画像セット３６４ａ、３６４ｂ、・・・が抽出される。
【００６３】
補正データ算出部２２８は、学習用画像セット３６４ａ、３６４ｂ、・・・を用いた学習処理により、各学習用画像セットからそれぞれ画像フィルタ３７２を生成する（Ｓ３７０）。生成された画像フィルタ３７２は、特徴量に対応づけて補正データ格納部２３０が格納する。
【００６４】
次に、動画３１０に対する画像処理を説明する。原画像取得部２１０は、複数のフレーム画像３１２を含む動画３１０を取得する。特徴量抽出部２１４ｂは、動画３１０の画像領域３１４の画像に基いて画像特徴量を抽出して（Ｓ３２０）、特徴量の組３２２を抽出する。
【００６５】
画像処理部２１８は、特徴量の組３２２に基づき、動画３１０に対する画像フィルタを生成するために用いる１以上の画像フィルタを、画像フィルタが適用される確率とともに決定する。そして、画像処理部２１８は、決定した画像フィルタおよび確率に基づき画像フィルタ３４０を生成する（Ｓ３３０）。
【００６６】
画像処理部２１８は、画像フィルタ３４０を用いて、動画３１０に含まれるフレーム画像をフィルタリングすることにより、補正済み動画３５０を生成する（Ｓ３４５）。補正済み動画３５０は、出力部２９０により表示装置１８０または画像データベース１７５に出力される。
【００６７】
なお、上記の説明では、簡単のため、２つの同一被写体領域を特定したが、３以上の同一被写体領域を特定してよい。撮像光学系の歪みを検出するためには、画像領域上の中央付近だけでなく、周辺領域からより多くの同一被写体領域を特定することが好ましい。このように、画像処理部２１８は、特徴量抽出部２１４ａが抽出した特徴量および同一被写体が撮像された複数の撮像画像上の位置に基づいて、補正画像を生成するので、撮像光学系の歪みを考慮した適切な画像フィルタ３４０を生成することができる場合がある。
【００６８】
また、画像フィルタとしては、注目画素の画素値を、当該注目画素の周囲の画素の画素値の加重平均により算出するフィルタを例示することができる。なお、その他、画像フィルタとして、エッジ強調などの高周波を強調する周波数フィルタ、アフィン変換を施す幾何フィルタなどであってもよい。このように、補正データは、被写体像に適用すべき画像フィルタであってよく、画像処理部２１８は、補正データが含む画像フィルタを画像に適用することにより、補正画像を生成する。また、この発明における補正データとは、画像フィルタの他、補正対象のフレーム画像に加算すべき画素データまたは空間周波数成分そのものであってもよい。このように、補正データは、被写体像に加算すべき高周波成分を含んでよい。画像処理部２１８は、補正データに含まれる高周波成分を例えば高周波域通過フィルタなどにより抽出、増幅して画像に加算することにより、補正画像を生成してよい。
【００６９】
なお、特徴量抽出部２１４ｂは、補正内容に応じて、適切な種類の特徴量を抽出してよい。例えば、画像処理部２１８は、被写体像の形状を補正する補正データを用いて、補正画像を生成する場合には、特徴量抽出部２１４ｂは、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、エッジ情報を含む特徴量を抽出してよい。また、画像処理部２１８は、被写体像のぼけを補正する補正データを用いて、補正画像を生成する場合には、特徴量抽出部２１４ｂは、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、空間周波数成分を含む特徴量を抽出してよい。
【００７０】
また、画像処理部２１８は、被写体像の色を補正する補正データを用いて、補正画像を生成してよく、この場合、特徴量抽出部２１４ｂは、撮像装置が撮像した複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、色情報を含む特徴量を抽出する。色情報を含む特徴量とは、色のヒストグラム、色の空間的分布などであってよい。
【００７１】
また、補正データ格納部２３０は、Ｓ３３０において算出された画像フィルタ３４０を、撮像装置１００ａを識別する情報に対応づけて格納してよい。補正データ格納部２３０は、撮像装置１００ａから得られた新たなフレーム画像に対して、補正データ格納部２３０が格納している画像フィルタ３４０を用いて、補正処理を施してよい。
【００７２】
また、画像フィルタは、注目画素の画素値を、当該注目画素の周囲の画素の画素値から予め事前学習により推定算出した値に置き換える処理を規定する画像フィルタであっても良い。
【００７３】
なお、補正データ算出部２２８は、１以上のカメラ１０２が異なる複数の撮像条件で撮像して得られた複数の撮像画像を少なくとも用いた学習により、補正データを算出することが望ましい。また、補正データ算出部２２８は、１以上のカメラ１０２が光軸方向の距離が異なる被写体を撮像して得られた複数の撮像画像を少なくとも用いた学習により、補正データを算出することが望ましい。
【００７４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７５】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【図面の簡単な説明】
【００７６】
【図１】一実施形態に係る画像処理システム１０の全体構成の一例を示す図である。
【図２】画像処理装置１７０のブロック構成の一例を示す図である。
【図３】画像処理装置１７０の処理フローの一例を示す図である。
【符号の説明】
【００７７】
１０ 画像処理システム
８０ 記憶媒体
１００ 撮像装置
１０２ カメラ
１１０ 通信ネットワーク
１２０ 原画像サーバ
１５０ 監視空間
１６０ 空間
１６５ 空間
１７０ 画像処理装置
１７５ 画像データベース
１７６ 学習画像データベース
１８０ 表示装置
２１０ 原画像取得部
２１２ 同一被写体領域特定部
２１４ 特徴量抽出部
２１８ 画像処理部
２２６ 学習画像取得部
２２８ 補正データ算出部
２３０ 補正データ格納部
２９０ 出力部
３００ 学習用動画
３１０ 動画
３５０ 補正済み動画
３６２ 画像
３６４ 学習用画像セット
３７２ 画像フィルタ
３１２ フレーム画像
３１４ 画像領域
３２２ 特徴量の組
３４０ 画像フィルタ
【特許請求の範囲】
【請求項１】
撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部と、
前記撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、
前記特徴量抽出部が抽出した特徴量に基づいて、前記撮像装置が撮像した撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを前記補正データを用いて補正し、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部と
を備える画像処理システム。
【請求項２】
前記画像処理部は、前記特徴量抽出部が抽出した特徴量および前記同一被写体が撮像された前記複数の撮像画像上の位置に基づいて、前記補正画像を生成する
請求項１に記載の画像処理システム。
【請求項３】
異なる位置に撮像された画像から抽出された特徴量に対応づけて、前記補正データを格納する補正データ格納部
をさらに備え、
前記画像処理部は、前記撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて前記補正データ格納部が格納している前記補正データを用いて、前記補正画像を生成する
請求項２に記載の画像処理システム。
【請求項４】
前記補正データ算出部は、前記撮像装置と異なる撮像装置により撮像された複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、前記異なる撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを、前記同一被写体の画像のうちの前記撮像画像上におけるより中央に位置する画像を正解画像として優先して用いた処理により算出し、
前記画像処理部は、前記撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて前記補正データ格納部が格納している前記補正データを用いて、前記補正画像を生成する
請求項３に記載の画像処理システム。
【請求項５】
前記補正データ算出部は、前記異なる撮像装置が異なる複数の撮像条件で撮像して得られた複数の撮像画像を少なくとも用いた処理により、前記補正データを算出する
請求項４に記載の画像処理システム。
【請求項６】
前記補正データ算出部は、前記異なる撮像装置が光軸方向の距離が異なる被写体を撮像して得られた複数の撮像画像を少なくとも用いた処理により、前記補正データを算出する
請求項４または５に記載の画像処理システム。
【請求項７】
前記画像処理部は、被写体像の形状を補正する前記補正データを用いて、前記補正画像を生成する
請求項２から６のいずれかに記載の画像処理システム。
【請求項８】
前記特徴量抽出部は、前記撮像装置が撮像した前記複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、エッジ情報を含む前記特徴量を抽出する
請求項７に記載の画像処理システム。
【請求項９】
前記画像処理部は、被写体像のぼけを補正する前記補正データを用いて、前記補正画像を生成する
請求項２から６のいずれかに記載の画像処理システム。
【請求項１０】
前記特徴量抽出部は、前記撮像装置が撮像した前記複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、空間周波数成分を含む前記特徴量を抽出する
請求項９に記載の画像処理システム。
【請求項１１】
前記補正データは、被写体像に加算すべき高周波成分を含み、
前記画像処理部は、前記補正データに含まれる高周波成分を画像に加算することにより、前記補正画像を生成する
請求項９または１０に記載の画像処理システム。
【請求項１２】
前記補正データは、被写体像に適用すべき画像フィルタを含み、
前記画像処理部は、前記補正データが含む画像フィルタを画像に適用することにより、前記補正画像を生成する
請求項９または１０に記載の画像処理システム。
【請求項１３】
前記画像処理部は、被写体像の色を補正する前記補正データを用いて、前記補正画像を生成する
請求項２から６のいずれかに記載の画像処理システム。
【請求項１４】
前記特徴量抽出部は、前記撮像装置が撮像した前記複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、色情報を含む前記特徴量を抽出する
請求項１３に記載の画像処理システム。
【請求項１５】
撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出段階と、
前記撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、
前記特徴量抽出段階において抽出された特徴量に基づいて、前記撮像装置が撮像した撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを前記補正データを用いて補正し、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階と
を備える画像処理方法。
【請求項１６】
画像処理システム用のプログラムであって、コンピュータを、
撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部、
前記撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、
前記特徴量抽出部が抽出した特徴量に基づいて、前記撮像装置が撮像した撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを前記補正データを用いて補正し、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部
として機能させるプログラム。
【請求項１７】
第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部と、
前記第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、
前記第１特徴量抽出部が抽出した特徴量と前記補正データとの対応関係を格納する補正データ格納部と、
第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部と、
前記第２特徴量抽出部が抽出した特徴量に対応する補正データを前記補正データ格納部から読み出し、前記第２撮像装置が撮像した撮像画像から、前記第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部と
を備える画像処理システム。
【請求項１８】
第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出段階と、
前記第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、
前記第１特徴量抽出段階において抽出された特徴量と前記補正データとの対応関係を補正データ格納部に格納する補正データ格納段階と、
第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出段階と、
前記第２特徴量抽出段階において抽出された特徴量に対応する補正データを、前記補正データ格納部から読み出し、前記第２撮像装置が撮像した撮像画像から、前記第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階と
を備える画像処理方法。
【請求項１９】
画像処理システム用のプログラムであって、コンピュータを、
第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部、
前記第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、
前記第１特徴量抽出部が抽出した特徴量と前記補正データとの対応関係を格納する補正データ格納部、
第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部、
前記第２特徴量抽出部が抽出した特徴量に対応する補正データを前記補正データ格納部から読み出し、前記第２撮像装置が撮像した撮像画像から、前記第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部
として機能させるプログラム。
【請求項１】
撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部と、
前記撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、
前記特徴量抽出部が抽出した特徴量に基づいて、前記撮像装置が撮像した撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを前記補正データを用いて補正し、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部と
を備える画像処理システム。
【請求項２】
前記画像処理部は、前記特徴量抽出部が抽出した特徴量および前記同一被写体が撮像された前記複数の撮像画像上の位置に基づいて、前記補正画像を生成する
請求項１に記載の画像処理システム。
【請求項３】
異なる位置に撮像された画像から抽出された特徴量に対応づけて、前記補正データを格納する補正データ格納部
をさらに備え、
前記画像処理部は、前記撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて前記補正データ格納部が格納している前記補正データを用いて、前記補正画像を生成する
請求項２に記載の画像処理システム。
【請求項４】
前記補正データ算出部は、前記撮像装置と異なる撮像装置により撮像された複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、前記異なる撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを、前記同一被写体の画像のうちの前記撮像画像上におけるより中央に位置する画像を正解画像として優先して用いた処理により算出し、
前記画像処理部は、前記撮像装置が撮像した撮像画像から抽出された特徴量に適合する特徴量に対応づけて前記補正データ格納部が格納している前記補正データを用いて、前記補正画像を生成する
請求項３に記載の画像処理システム。
【請求項５】
前記補正データ算出部は、前記異なる撮像装置が異なる複数の撮像条件で撮像して得られた複数の撮像画像を少なくとも用いた処理により、前記補正データを算出する
請求項４に記載の画像処理システム。
【請求項６】
前記補正データ算出部は、前記異なる撮像装置が光軸方向の距離が異なる被写体を撮像して得られた複数の撮像画像を少なくとも用いた処理により、前記補正データを算出する
請求項４または５に記載の画像処理システム。
【請求項７】
前記画像処理部は、被写体像の形状を補正する前記補正データを用いて、前記補正画像を生成する
請求項２から６のいずれかに記載の画像処理システム。
【請求項８】
前記特徴量抽出部は、前記撮像装置が撮像した前記複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、エッジ情報を含む前記特徴量を抽出する
請求項７に記載の画像処理システム。
【請求項９】
前記画像処理部は、被写体像のぼけを補正する前記補正データを用いて、前記補正画像を生成する
請求項２から６のいずれかに記載の画像処理システム。
【請求項１０】
前記特徴量抽出部は、前記撮像装置が撮像した前記複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、空間周波数成分を含む前記特徴量を抽出する
請求項９に記載の画像処理システム。
【請求項１１】
前記補正データは、被写体像に加算すべき高周波成分を含み、
前記画像処理部は、前記補正データに含まれる高周波成分を画像に加算することにより、前記補正画像を生成する
請求項９または１０に記載の画像処理システム。
【請求項１２】
前記補正データは、被写体像に適用すべき画像フィルタを含み、
前記画像処理部は、前記補正データが含む画像フィルタを画像に適用することにより、前記補正画像を生成する
請求項９または１０に記載の画像処理システム。
【請求項１３】
前記画像処理部は、被写体像の色を補正する前記補正データを用いて、前記補正画像を生成する
請求項２から６のいずれかに記載の画像処理システム。
【請求項１４】
前記特徴量抽出部は、前記撮像装置が撮像した前記複数の撮像画像上の異なる位置に撮像された同一被写体の画像から、色情報を含む前記特徴量を抽出する
請求項１３に記載の画像処理システム。
【請求項１５】
撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出段階と、
前記撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、
前記特徴量抽出段階において抽出された特徴量に基づいて、前記撮像装置が撮像した撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを前記補正データを用いて補正し、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階と
を備える画像処理方法。
【請求項１６】
画像処理システム用のプログラムであって、コンピュータを、
撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する特徴量抽出部、
前記撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、
前記特徴量抽出部が抽出した特徴量に基づいて、前記撮像装置が撮像した撮像画像から、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを前記補正データを用いて補正し、前記撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部
として機能させるプログラム。
【請求項１７】
第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部と、
前記第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部と、
前記第１特徴量抽出部が抽出した特徴量と前記補正データとの対応関係を格納する補正データ格納部と、
第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部と、
前記第２特徴量抽出部が抽出した特徴量に対応する補正データを前記補正データ格納部から読み出し、前記第２撮像装置が撮像した撮像画像から、前記第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部と
を備える画像処理システム。
【請求項１８】
第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出段階と、
前記第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出段階と、
前記第１特徴量抽出段階において抽出された特徴量と前記補正データとの対応関係を補正データ格納部に格納する補正データ格納段階と、
第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出段階と、
前記第２特徴量抽出段階において抽出された特徴量に対応する補正データを、前記補正データ格納部から読み出し、前記第２撮像装置が撮像した撮像画像から、前記第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理段階と
を備える画像処理方法。
【請求項１９】
画像処理システム用のプログラムであって、コンピュータを、
第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第１特徴量抽出部、
前記第１撮像装置が撮像した複数の撮像画像上の異なる位置にそれぞれ撮像された同一被写体の画像から、前記第１撮像装置が有する撮像光学系による画像領域毎の光学応答の違いを補正する補正データを求める補正データ算出部、
前記第１特徴量抽出部が抽出した特徴量と前記補正データとの対応関係を格納する補正データ格納部、
第２撮像装置が撮像した撮像画像上の一部領域にそれぞれ撮像された画像から、それぞれ特徴量を抽出する第２特徴量抽出部、
前記第２特徴量抽出部が抽出した特徴量に対応する補正データを前記補正データ格納部から読み出し、前記第２撮像装置が撮像した撮像画像から、前記第２撮像装置が有する撮像光学系による画像領域毎の光学応答の違いが補正された補正画像を生成する画像処理部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−５５１３３（Ｐ２０１１−５５１３３Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２００６９１（Ｐ２００９−２００６９１）
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]