写真画像処理方法、写真画像処理装置、及び事象推定方法
【課題】入出力の直積空間内で学習サンプルから推定した共分散行列を用いて、マハラノビス汎距離を最小化する出力を求める写像演算を用いることにより、欠損画像の高精度な修復等が可能な写真画像処理方法及び写真画像処理装置を提供する。
【解決手段】写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップとを備えた写真処理方法。
【解決手段】写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップとを備えた写真処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マハラノビス（Mahalanobis）汎距離の最小化処理を用いた高次元線形写像演算により、処理対象となる写真画像を変換する写真画像処理方法、写真画像処理装置、及び事象推定方法に関する。
【背景技術】
【０００２】
非特許文献１から４に開示されているように、高次元ベクトル間の写像演算は、欠損画像の修復、画像の陰影推定・除去等に広範囲に用いられている。
【０００３】
単純な回帰計算で写像を求める場合、入出力の直積空間に分布する同じ学習サンプルに対して入出力の割り当てを変えると再計算が必要になる、サンプル数よりも入力次元数が高い場合に「多重共線形性」に起因する回帰計算の精度低下が起きる等の問題に直面する。これは、サンプル数よりも入力の次元数が高い場合に、入力変数間に一次従属関係が生じ、計算が不安定になることを指す。
【０００４】
この問題を回避するために、非特許文献５には、主成分分析（ＰＣＡ：Principal Component Analysis）により入力の次元圧縮をして回帰計算を行う手法であるＰＣＲ（Principal Component Regression）が提案されているが、出力とは無関係に入力だけを次元圧縮するために、出力との相関が強い入力成分まで弱めることがある。
【０００５】
これを回避するために、入出力の空間で同時に基底を求め、個々の入出力をこれら基底の線形和で表わしたときの係数間の回帰係数を求める手法であるＰＬＳ（Projection to Latent Structure）も提案されているが、上述の再計算の問題は回避できない。
【０００６】
このように回帰計算では、入力変数の独立性を仮定しており、その独立性が崩れると、著しい精度低下が起きる。また、出力変数に関しても独立性が仮定されており、写像関数は出力変数の数だけ求められる。従って、各出力が互いに独立に変化する可能性があるため、画像のように出力変数間の相関が強いデータの写像にはあまり適さないと言える。
【０００７】
これらの問題を回避するために、入出力の直積空間内で学習サンプルから構成した部分空間を利用して入出力間の写像である「部分空間写像」を求める方法もある。尚、共分散行列の固有ベクトルで張られる空間の場合、元の空間の原点を含まないため超平面と呼ぶべきであるが、本明細書ではこの場合も部分空間と呼ぶ。
【０００８】
この方法では、入出力変数の独立性を仮定せず、むしろこれらの相関関係を部分空間として表している。このため、入力次元数の増加により、むしろ共線形性の問題は生じ難くなる。また、同じ学習サンプルに対する入出力の変更も自由にできるという利点がある。さらに、出力変数間の相関を考慮しているため、出力値が独立に変動しにくく、画像など出力値の空間的連続性を保存しなければならない用途に適している。
【非特許文献１】天野敏之、佐藤幸男：固有空間法を用いたBPLPによる画像補間 、電子情報通信学会論文誌D-II、 Vol.J85-D-II、 No.3、 pp.457-465 (2002)
【非特許文献２】N.Otsu and T.Kasvand、 “Image restoration by multipler regression analysis approach、” Proc. of ICPR、 pp.155-158、 1984.
【非特許文献３】S. Baker、 T. Kanade、 “Limits on super-resolution and how to break them、” In: Proc. Of CVPR. South Carolina、 vol. 2、 pp. 372-379、 2000
【非特許文献４】島野、 長尾、 岡部、 佐藤、 佐藤、 ”任意照明下顔認識のための顔表面の位置相関を考慮したMAP推定”、 情報処理学会CVIM論文誌、 Vol.47、 No.SIG10 (CVIM 15)、 pp.162-172、 July 2006.
【非特許文献５】D. A. Belsley、 E. Kuh、 and R. E. Welsch、 Regression Diagnostics; Identifying Influential Data and Sources of Collinearity、 John Wiley & Sons、 New York、 1980
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしこの手法は、図１に示すように、入力の次元数が低い場合に、入力の補空間と部分空間との交わりが広がるため、写像が不安定になるという問題がある。また、部分空間の次元数が増加しても同様の問題が生じる。これらは、出力変数間の独立性を仮定しないために、十分な入力が与えられないと、出力変数間に多重共線形性が残ることに起因する問題である。
【００１０】
これらの問題を回避するには、入力空間の次元数を上げるか、または、部分空間の次元数を下げる必要がある。しかし、与えられる問題によって入出力空間の次元数は定められており、意図的にこれを変えることはできず、部分空間の次元数を下げることは、データ分布を粗く近似することになるため、写像の精度を低下させてしまう。このような問題は、カーネルＰＣＡで得られる非線形部分空間でも生じ得る普遍的問題であり、これが解決できれば線形・非線形を問わず、幅広いクラスの写像計算全般の安定化につながる。
【００１１】
本発明の目的は、入出力の直積空間内で学習サンプルから推定した共分散行列を用いて、マハラノビス汎距離を最小化する出力を求める写像演算を用いることにより、例えば、欠損画像の高精度な修復等が可能な写真画像処理方法、写真画像処理装置、及び事象推定方法を提供する点にある。
【課題を解決するための手段】
【００１２】
上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップとを備えている点にある。
【００１３】
第一ステップでは、学習サンプルである画像の各画素データが成分として配列された複数のベクトル画像が教師画像として入力され、第二ステップでは、学習サンプルに基づいて入出力の直積空間内で共分散行列が推定される。第三ステップでは、処理対象ベクトル画像が入力され、共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点が求められ、第四ステップでは、最小マハラノビス汎距離を与える直積空間内の点から処理対象ベクトル画像に対応する出力が求められる。
【００１４】
通常の回帰計算や部分空間写像は、最小二乗法による回帰直線・平面の推定問題に帰着する。しかし高次元ベクトル間の写像では、条件数が不足し、ユニークな最小二乗解が決定できないケースがしばしば発生する。このような場合、部分空間写像では出力ベクトルのノルムを最小化するなど、写像とは無関係な条件を導入して計算の安定化が図られる。これに対し本発明によれば、条件数の不足をマハラノビス汎距離、すなわち学習データの分布により補うため、安定な挙動が実現できる。本発明によれば、部分空間を介した線形写像を一般化した形式になり、上述の多重共線形性の問題は生じない。
【００１５】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記共分散行列が非正則である場合に、前記第三ステップで、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離と、前記部分空間の補空間への射影残差に所定の重み変数を乗じた値とを加算した目的関数を生成し、当該目的関数の値が最小となる直積空間内の点を求める点にある。
【００１６】
第一の特徴構成による方法では、共分散行列が非正則である場合には、演算結果が自明ではないため、共分散行列に対応したMoore-Penrose型一般逆行列を用いたマハラノビス汎距離と、前記部分空間の補空間への射影残差に所定の重み変数を乗じた値とを加算した目的関数を生成し、当該目的関数の値が最小となる直積空間内の点を求めることにより近似解が得られる。
【００１７】
同第三の特徴構成は、同請求項３に記載した通り、上述の第一特徴構成に加えて、前記共分散行列が非正則である場合に、前記第三ステップは、前記部分空間と前記出力超平面の交わりの基底ベクトルを求めるステップと、交わりに含まれる点を前記基底ベクトルの線形式で求めるステップと、前記線形式の係数を調整することにより、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離を最小とする直積空間内の点を求めるステップを備えている点にある。
【００１８】
共分散行列が非正則である場合には、演算結果が自明ではないため、部分空間と出力超平面の交わりに含まれる点を基底ベクトルの線形式で求め、線形式の係数を調整することにより、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離を最小とする直積空間内の点を求めることにより厳密解が得られる。
【００１９】
本発明による写真画像処理装置の第一の特徴構成は、同請求項４に記載した通り、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一処理部と、入出力の直積空間内で学習サンプルから共分散行列を推定する第二処理部と、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三処理部と、求められた点から処理対象ベクトル画像に対応する出力を求める第四処理部と備えている点にある。
【００２０】
本発明による線形写像演算を用いた事象推定方法は、複数のパラメータを成分とする複数のベクトルデータを事象を表す学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された推定対象ベクトルデータに直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から推定対象ベクトルデータに対応する出力を推定事象として求める第四ステップとを備えている点にある。
【発明の効果】
【００２１】
以上説明した通り、本発明によれば、入出力の直積空間内で学習サンプルから推定した共分散行列を用いて、マハラノビス汎距離を最小化する出力を求める写像演算を用いることにより、例えば、欠損画像の高精度な修復等が可能な写真画像処理方法、写真画像処理装置、及び事象推定方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００２２】
以下、本発明による写真画像処理方法及び写真画像処理装置の実施の形態について説明する。
【００２３】
図１３に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理して写真プリントを生成出力する写真プリンタ２と、写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行ない、原画像から編集処理した出力画像データを写真プリンタ２に出力する操作ステーション３を備えて構成されている。
【００２４】
操作ステーション３は、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１と、デジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２と、コントローラ３３としての汎用コンピュータ等を備えている。
【００２５】
図１３及び図１４に示すように、写真プリンタ２は、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えている。
【００２６】
露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。
【００２７】
搬送経路に沿って配置された露光部２４や現像処理部２５に、所定のプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。
【００２８】
操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、写真処理装置１の各種の画像処理や入出力制御を実行するための複数のアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。当該アプリケーションプログラムに本発明による画像処理プログラムが含まれる。
【００２９】
コントローラ３３は、そのハードウェア及びソフトウェアが協働して写真処理プロセスを実行するブロックで、以下に、各機能ブロックに分けて説明する。
【００３０】
図１５に示すように、コントローラ３３は、フィルムスキャナ３１やメディアドライバ３２によって読み取られた原画像としての写真画像データを受け取り、所定の前処理を行なってメモリ４１に転送する画像入力部４０と、モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対するキーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、画像入力部４０から転送される写真画像データ及び画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、メモリ４１に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部４７を備えている。
【００３１】
さらに、グラフィックユーザーインターフェース部４２からの表示コマンドに基づいてメモリ４１に展開された画像データや各種の入出力用グラフィックデータ等をモニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等を備えている。
【００３２】
フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されてプリンタ２に出力される。
【００３３】
同様に、メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際にメモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されてメモリ４１に転送される。
【００３４】
このように、頻繁に試行錯誤される各種の編集処理が低解像度の画像に対して実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。
【００３５】
画像処理部４７には、メモリ４１に格納された原画像である写真画像データに対して撮影レンズに起因する歪を補正する歪補正部５０と、粒状ノイズを抑制する粒状ノイズ抑制処理部５１と、画像のエッジを強調し、ノイズを抑制する鮮鋭化処理部５２と、自然なカラーを再現できるようにカラーバランスを調整するカラー補正部５３と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部５４と、本発明による写真画像処理方法及び装置を具現化する線形写像演算部５５等の複数の画像処理ブロックを備えている。
【００３６】
図１６に示すように、線形写像演算部５５は、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一処理部と、入出力の直積空間内で学習サンプルから共分散行列を推定する第二処理部と、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三処理部と、求められた点から処理対象ベクトル画像に対応する出力を求める第四処理部と備えている。
【００３７】
以下、線形写像演算部５５による写真画像処理方法の原理及び実際の処理手順について、部分空間写像と対比しながら詳述する。
【００３８】
〔直積空間を介した写像計算〕
本発明の説明の前に、先ず、空間ＲＮ内での主成分分析に基づいて、入力空間Ｒｒのベクトルに対応する出力空間ＲＮ−ｒの要素を求める方法について述べる。但し、ベクトルｘ（以下の説明では、「ベクトルｘ」等を単に「ｘ」と表記する場合もある。）は平均０共分散Ｃの正規分布に従うものとする。
【００３９】
ｘのうち観測された部分、つまり、学習サンプル或は処理対象画像の画像ベクトル（入力）を、
【数１】
【００４０】
ｘのうち未観測の部分、つまり、入力された処理対象画像の出力画像ベクトル（出力）を、
【数２】
【００４１】
と表す。但し、φｉ（ｉ＝１，・・・，Ｎ）は任意の正規直交基底Φ１＝[φ１・・・φｒ]，Φ２＝[φｒ＋１・・・φＮ]である。
【００４２】
Φ１，Φ２が張る空間Ｒｒ，ＲＮ−ｒを、それぞれ、「入力空間」、「出力空間」と呼ぶ。通常、出力空間には入力ｙは含まれないが、ｙを含む出力空間と平行な超平面を「出力超平面」と呼ぶ。本質的に、この出力超平面内の探索を通じて出力が決定される。ここでΦ１＝[φ１・・・φＮ]とすると、明らかに、次式が成り立ち、
【数３】
【００４３】
従って、
〔数４〕
Ｐ１＋Ｐ２＝Ｉ
〔数５〕
ｘ＝ｙ＋ｚ
〔数６〕
ｙＴＺ＝０
も成り立つ。例えば、
【数７】
【００４４】
とすれば、φｉは正規直交基底となり、
【数８】
【数９】
【００４５】
となるため、次式が成立し、
【数１０】
【００４６】
Ｐ１＋Ｐ２＝Ｉ，ｘ＝ｙ＋ｚ，ｙＴＺ＝０となることが確認できる。
【００４７】
また、共分散行列Ｃとその固有値、固有ベクトルをλｉ，Ｖｉ（ｉ＝１，・・・，Ｍ），Ｍ≦Ｎと表し、これらを用いて、以下の行列を定義する。
【数１１】
，
【００４８】
〔部分空間を介した写像〕
線形回帰を行う方法として、図２に示す部分空間を用いた方法について述べる。具体的には、学習サンプルから求めた共分散行列Ｃの固有値問題を解くことによって得られる正規直交基底Ｖｉが張る部分空間上にｙとｚの和が乗るように、出力ｚを求める方法である。
【００４９】
この部分空間への射影行列はＷ＝ＶＭＶＭＴとなる。これを用いて、ベクトルｘの射影先Ｗｘを求めることができる。このとき射影残差の２乗は、次式で表される。
【数１２】
【００５０】
但しＩは単位行列である。ＷＷ＝Ｗ、及び、ＷＴ＝Ｗという性質から、上式はさらに以下のように簡単化できる。
【数１３】
【００５１】
これは、部分空間の直交補空間への射影の長さの２乗を表している。Ｓ＝Ｉ−Ｗ，ｘ＝ｙ＋ｚとして、〔数１３〕に代入すると、（ｙ＋ｚ）ＴＳ（ｙ＋ｚ）が得られ、これを最小化すれば、補空間への射影成分が最小化される出力ｚＳが計算できる。
【００５２】
変数の素性を明示的に表すと、
【数１４】
【００５３】
となるので、この式をｚで偏微分し、ｚ＝ｚＳとした結果が０であることから、次式が得られる。
【数１５】
【００５４】
この式中のＰ２ＴＳＰ１や、Ｐ２ＴＳＰ２は正則ではないので、出力はMoore-Penrose型一般逆行列(+記号)を用いて、以下のように表される。
【数１６】
【００５５】
さらに、自明な項を除き、整理すると次の解が得られる。
【数１７】
【００５６】
この式中で、学習で求める部分が、Ｓ＝Ｉ−ＶＭＶＭＴであり、入出力はＰ２を変化させるだけで切り替えられる。
【００５７】
図３は、６４×６４の画像１０２１枚から求めた１０２０次元の部分空間を介した写像計算を行った結果を示す。入出力の直積空間は６４×６４＝４０９６次元、入力は１０２４次元、出力は３０７２次元である。この例のように入力の次元数が出力に比べて低い場合には部分空間を介した写像の精度は低下しやすい。
【００５８】
これは、〔数１７〕が〔数１５〕を満足する最小ノルム解となっているためであり、例えば図１のケースでは、交わりの中で最短のベクトルが求められる。このため、図３の場合は学習サンプルの平均画像に近い画像が現れる。
【００５９】
〔本発明によるマハラノビス汎距離最小化による写像〕
共分散行列の逆行列Ｃ−１を用いた直積空間内でのマハラノビス汎距離ｘＴＣ−１ｘを最小化することによって出力ｚｃ−１を求める本発明による写真画像処理方法について、図４を参照して述べる。図４中、破線は等距離面を示す。以下、この手法をMahalanobis-distance Minimization Mapping、略して「Ｍ３」と表記する場合もある。
【００６０】
マハラノビス汎距離の式を展開すると、
【数１８】
【００６１】
となり、変数の素性を明示的に表すと次式が得られる。
【数１９】
【００６２】
この式をｚで偏微分し、ｚ＝ｚｃ−１とした結果が０であることから、次式が得られる。
【数２０】
【００６３】
この式中のＰ２ＴＳＰ１や、Ｐ２ＴＳＰ２は正則ではないので、出力はMoore-Penrose型一般逆行列を用いて、以下のように表される。
【数２１】
【００６４】
このうち、自明な項を除き、〔数１７〕の場合と同様に整理すると次式の解が得られる。この場合もＰ２だけで入出力空間を変更できる。
【数２２】
【００６５】
〔本発明による演算法〕
〔数１７〕と〔数２２〕を比較すると、ＳとＣ−１が異なるだけで式の構造は同じであることが分かる。前者は、部分空間の補空間に対する射影行列、後者は共分散行列の逆行列である。
【００６６】
但し、共分散行列Ｃ＝ＶＭΛＭＶＭＴ及びその逆行列Ｃ−１＝ＶＭΛＭ−１ＶＭＴは、正則でない場合、Ｃの固有値（ΛＭの対角成分）が０の要素に対応するΛＭ−１の要素を∞と計算しなければ、〔数２２〕は不正確な写像になる。
【００６７】
仮に一般逆行列Ｃ＋＝ＶＭΛＭ＋ＶＭＴで代替すると、固有値０に対応するΛＭ＋の要素は０であるため、部分空間の補空間に射影される成分にペナルティが与えられない。
【００６８】
このためｘＴＣ＋ｘを計算すると、図５に示すように、本来マハラノビス汎距離が無限大となる筈の部分空間外部にも、補空間に沿って同じ距離の値が漏れ出てしまう。従って、〔数２２〕Ｃ＋を用いると、部分空間外部でもｘＴＣ＋ｘが小さくなり、不正確な写像になる。
【００６９】
本発明では、図６に示すように、入力に直交する出力超平面と部分空間との両方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求め、これに対応する出力を求める。具体的には、次に示す近似解法と、厳密解法の二つの手法を採用する。
【００７０】
〔近似解法〕
ここで示す近似解法は、〔数１７〕と〔数２２〕を正則化の立場から融合するというアプローチである。具体的には、以下の数式による値を最小化するｚを求める手法となる。
【数２３】
【００７１】
但し、αは正則化パラメータである。これは、部分空間の補空間への射影成分とマハラノビス汎距離の重み付き和を最小化する目的関数である。〔数２３〕は、次の行列を用いた２次形式になっている。
【数２４】
【００７２】
これはｒａｎｋ（Ｃ−１＊）＝Ｎの正則行列であり、これを用いた２次形式は直積空間の原点で最小値０を持つ。〔数２２〕中のＣ−１の代わりにＣ−１＊を用いれば，出力超平面上で２次形式の値を極小化する出力ｚＣ−１＊が求められる。〔数２２〕は、行列と一般逆行列の積になるため、αの絶対的値はキャンセルされ、実質的にはαによってＣ＋とＳとの相対的比率が変化するのみである。
【００７３】
図７に示すように、このαを変化させると、以下に述べるように解が変化する。即ち、αが０であるとき、部分空間から遠く離れた最小マハラノビス解と一致し、αが正の小さな値であるとき、マハラノビス距離を極小化する傾向が強い反面、部分空間からの逸脱を許してしまい、α→∞であるとき、部分空間からの逸脱は小さくなるものの、マハラノビス距離の評価は弱まり、最小ノルム解に漸近する。
【００７４】
このように、αの値をいかに設定しても正確な解は求まらないものの、αの値が適切であれば、実用上問題ない程度の精度の結果が得られる。尚、αの値は、処理対象画像の特性に基づいて予め実験等を介して決定される。
【００７５】
〔厳密解法〕
この解法は、以下の考え方及び手順に基づく。即ち、部分空間と入力に直交する出力超平面の交わりの基底ベクトルを求め、交わりに含まれる点を基底ベクトルの線形式で求める。さらに、その係数を調整することにより、Ｃ＋を用いたマハラノビス距離を最小化する。
【００７６】
交わりの部分の基底ベクトルは、Ｐ２Ｗｄ＝λｄを満足するλ＝１の固有ベクトルとなる。これは、最小正準角を求める際に解かれる固有値問題と同じ形式であるが、次の点が異なる。正準角を求める際にはλ＝１の固有値は捨てられるのに対して、この厳密解ではλ＝１の固有ベクトルを積極的に利用する。
【００７７】
これは、「ＷとＰ２による射影を順次行っても長さが変わらないベクトルは、出力超平面と部分空間の交わりの中に含まれる」という事実に基づいている。本発明では、λ＝１に対応する固有ベクトルｄｉを交わり部分の基底として利用する。以降、これら固有ベクトルから成る行列をＤ＝［ｄ１・・・ｄｋ］と表す。
【００７８】
実際の交わりに含まれる点を表すためには、交わりに含まれる１点ｘＳが必要になる。ｘＳとしては、図６の最小ノルム解ｚＳ＋ｙが利用できる。このとき、交わりに含まれる点集合は次式で表わされる。但し、ａはｋ次元係数ベクトルである。
【数２５】
【００７９】
従って、ｘＴ（ａ）Ｃ＋ｘ（ａ）を最小化するａ＊を求めることにより、本発明による出力ｚＭ３＝Ｐ２ｘ（ａ＊）が算出できる。
【数２６】
【００８０】
であるので、
【数２７】
【００８１】
が成立する。これを解き、
【数２８】
【００８２】
が得られるので、ｚＭ３＝Ｐ２ｘ（ａ＊）が算出できる。但し、以下の二つケースに関しては例外処理が必要となる。即ち、Ｐ２Ｗｄ＝λｄを満足するλ＝１の固有ベクトルが存在しない場合には、交点は唯一に決定できるため、出力は最小ノルム解ｚＳになる。また、Ｐ２Ｗｄ＝λｄを満足するλ＝１の固有ベクトルが出力と同じ次元数（Ｎ−ｒ）個ある場合には、出力は出力空間全域を自由に移動でき、最小真柄のビス解ｚＣ＋に一致する。但し、このケースでは、共分散行列Ｃは正則になっており、ｚＣ＋＝ｚＣ−である。
【００８３】
ｘＳ＝ｚＳ＋ｙと仮定して以上の式を整理すると、〔数１７〕、〔数２５〕、〔数２８〕から、以下のように表される。
【数２９】
【００８４】
このマトリクスを特異値分解したとき、以下の式が得られる。但し、ＵｙＴはＫ×Ｎ、ΛＲはＫ×Ｋ、ＵｚはＫ×Ｎの行列であり、ＫはΛＲの非零の特異値の個数である。
【数３０】
【００８５】
従って、写像計算にはＮ次元ベクトルの内積Ｋ回、スカラの乗算Ｋ回、Ｋ次元ベクトルの内積Ｎ回が必要であり、写像計算のオーダはＯ（ＮＫ）となる。従って、Ｋの値が小さければ、高速な計算も可能になる。
【００８６】
図１６に示すように、線形写像演算部５５では、先ず、構成画素数が等しい複数枚のサンプル画像が第一処理部に入力され、各画素データを成分とする複数のベクトル画像としてメモリ４１に記憶される。例えば、６４画素×６４画素のサンプル画像であれば、４０９６次元のベクトル画像がＲ，Ｇ，Ｂの三色について夫々メモリに格納される。
【００８７】
第二処理部では、サンプル画像から共分散行列の推定処理が色成分毎に実行される。第三処理部では、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める演算処理が色成分毎に実行される。
【００８８】
処理対象ベクトル画像とは、欠損画像の修復処理、或は、超解像化処理等が必要な画像である。第三処理部では、上述した近似解法または厳密解法の何れかに基づいて直積空間内の点が求められ、第四処理部では、それに基づいて処理対象ベクトル画像に対応する出力画像が生成されてメモリ４１に書き込まれる。
【００８９】
本発明による線形写像演算は、ＲＧＢ色成分毎に実行されるものであるが、ＹＣＣ等に変換された輝度、色相に対しても同様に処理可能であり、ＲＧＢの補色であるＣＭＹ色成分毎に実行されるものであってもよい。
【００９０】
学習サンプル内の何れかの画像が処理対象画像として入力される場合には、厳密解法を採用することにより、高精度な出力画像が獲得でき、学習サンプルとは異なる処理対象画像が入力される場合には、厳密解法と近似解法の何れが適切であるか、判断が困難であるため、少なくとも高速処理が必要な場合には、近似解法を採用することが好ましい。
【００９１】
つまり、第一処理部で、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップが実行され、第二処理部で、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップが実行され、第三処理部で、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップが実行され、第四処理部で、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップが実行される。
【００９２】
これらの処理を実行するプログラムは、コントローラ３３に備えたハードディスク等の記憶媒体にインストールされ、ＯＳの管理下で実行されるものである。また、専用の写真処理装置ではなく、汎用のパーソナルコンピュータにこれらのプログラムがインストールされ、コンピュータ上で処理されるように構成されるものであってもよい。
【実施例】
【００９３】
以下では、〔数２２〕、〔数２３〕を用いた近似解法、及び、〔数２５〕、〔数２８〕を用いた厳密解法の写像演算と、〔数１７〕を用いた部分空間を介した写像演算を、上述した写真処理装置を用いて行なった比較結果を示す。尚、近似解法では正則化パラメータであるαを０．０５として実験を行った。
【００９４】
〔低次元空間でのシミュレーション〕
図８は、３次元データを用いて写像計算のシミュレーションを行った結果である。学習に使用したデータは、２次元の正規乱数を平面上で発生させ、これを回転させて生成した３次元のベクトル５０００個である。
【００９５】
この学習サンプルに対して主成分分析を行い、２次元の部分空間を構成した。入力１次元、出力２次元として部分空間写像、共分散行列の一般逆行列を用いた写像計算法、近似解法、厳密解法について実験を行った。
【００９６】
図８から、部分空間写像では、写像結果ｚＳは部分空間の上に拘束されていることが分かる。しかし入力次元数が低いため部分空間と入力空間の交点が唯一に決まらないため、最小ノルム解が求められてしまう。
【００９７】
一方、共分散行列の一般逆行列を用いた写像演算法では、部分空間の拘束をせずにマハラノビス距離のみを最小化することになるため、写像結果ｚＣ＋は部分空間から大きく逸脱してしまう。
【００９８】
これに対して本発明による厳密解ｚＭ３は、近似解ｚＣ−１＊と近いが、ｚＣ−１＊は部分空間から逸脱していて、ｚＭ３は部分空間に拘束されていることが確認できる。
【００９９】
〔画像の欠損推定実験〕
画像データを用いた欠損推定の実験では学習サンプルとしてCAS-PEAL顔画像データベースから無作為に抽出した１０２１枚の正面顔画像の主成分分析を行い、１０２０次元の部分空間を構成した。テスト画像としてはCAS-PEALと、Yale face database Bのデータベースから抽出した学習サンプルに含まれない画像を用いた。
【０１００】
各画像は両眼位置が揃うように回転とスケーリングを行い、６４×６４のサイズで切り出して使用している。入出力直積空間の次元数は、６４×６４＝４０９６次元であり、入力の次元数は４０９６×３／４＝３０７２、４０９６×１／２＝２０４８、４０９６×１／４＝１０２４の３通りである。
【０１０１】
図９及び図１０に、学習画像の一部を欠損させて復元した画像例と入力次元数に対する画素あたりの平均誤差の関係を示す。この図から部分空間写像は入力次元数が高い場合には精度の高い写像が計算できているが、入力次元数が低下すると、急激に計算精度が低下することが分かる。これは元々点であった出力超平面と部分空間の交わりが、入力次元数の低下とともに高次元化した結果、この空間に沿って出力がドリフトし、最小ノルム解に向かって移動したためである。
【０１０２】
これと比べると厳密解法では入力次元数が低下しても精度の高い写像計算が行えており、入力が画像の１／４の大きさでもほぼ同一人物と見なせる画像が求められている。これは、出力超平面と部分空間の交わりの点が高次元化しても、最小ノルムの条件を用いず、この空間に沿ってマハラノビス距離を最小化する方向に移動した結果、学習データが元々分布していた付近から離れることなくそこに停留するためである。
【０１０３】
近似解法は必ずしも原画像の人物とは一致しないが、部分空間写像に比べると写像の破綻が起きにくい。このことは、直観的にも定量的にも確認できる。図１１及び図１２に、テスト画像（未学習データ）を与えた場合の復元結果を示す。この場合も同様に部分空間写像は不安定で、復元された顔領域は白くなっている。このように部分空間写像の精度が推定すべき画素欠損部の拡大にともなって低下する場合でも、部分空間の補空間への射影成分は十分小さく、画像全体としては正確に部分空間の上に乗っていることを確認している。
【０１０４】
厳密解法及び近似解法を定量的に比較してみると、この場合わずかではあるが厳密解法が優れていることが分かる。しかし、生成された画像の自然さという点では、近似解の方が比較的緩やかなコントラストの画像となっており、好ましい性質を持っている。
【０１０５】
いずれにせよ、これらの結果には、絶対的な意味で精度の高いものは含まれていない。この一因は、学習データ数が十分多くないために、入力および出力に類似した画像データがなかったためと考えられる。
【０１０６】
次に、欠損の与え方を空間的に均一にした場合の結果について述べる。この実験では、画像をチェッカーパターン状に入力と出力に分けて写像を行っている。実験で試したのは、各矩形の大きさを１画素、２×２画素、３×３画素とした場合の３通りであり、入力を抽出した原画像はテスト画像の一枚である。
【０１０７】
図から、同じ入力次元数であっても、空間的に一様に分布する入力である方が写像計算の精度が高いことが分かる。このことは図９〜図１２と見比べても明らかである。この理由は、部分空間と入力空間の間の角が小さくなるためであると考えられる。
【０１０８】
しかしこの実験の設定では、部分空間と出力空間の間の交わりに存在するベクトルが少なくなるため、厳密解法の写像はケース１、即ち、部分空間写像と等しくなり、近似解法の方が厳密解法の写像よりも精度が上がっている。これは、最適な写像結果を求めるのに、部分空間を構成する学習データが少ない場合、部分空間に拘束してしまうのが必ずしも良い結果になるとは限らないからである。このため、部分空間に強く拘束する厳密解法よりも部分空間からの逸脱を許容する近似解法の方が高精度になる場合もある。
【０１０９】
つまり、本発明は、入出力の直積空間内で学習サンプルから推定した共分散行列を用いて計算されるマハラノビス汎距離を最小化する高次元線形写像計算法を用いた写真画像処理方法であり、これは、入出力空間内で確率分布を求め、入力に対して、確率密度を最大化する出力を推定する手法を、正規分布の場合に具体化したものとして解釈することができる。
【０１１０】
従来法との比較により、部分空間を介した写像よりも自然で正確な計算ができることが確認された。この傾向は、入力次元数が少なく、出力次元数が高い場合に特に顕著である。また、部分空間の補空間への射影成分とマハラノビス汎距離の両方を最小化する写像計算を行っており、共線形性の問題が発生しにくい安定な構造をしている。
【０１１１】
本発明は、図１２（ａ）に示すような文字がオーバーライトされた欠損画像から原画像を修復したり、図１２（ｂ）に示すような低解像度画像を高解像度画像に超解像化したり、図１２（ｃ）に示すような画像の陰影を推定し、陰影を除去したり、さらには、ボケ画像の鮮鋭化処理、ぶれ画像の修復処理等に幅広く適用できる。
【０１１２】
図１２（ａ）に示すような欠損画像から原画像を修復する場合には、欠損画像を複数の領域に分割し、オーバーライトされた文字による欠損が無い複数の分割領域をサンプル画像として第一処理部に入力し、欠損が発生している分割領域を処理対象画像として第三処理部に入力し、修復された分割画像を合成することにより欠損が無い原画像を得ることができる。
【０１１３】
一例として、実験の最後で示した間引いた画像からの原画像の推定は、幻影処理（Hallucination）の特殊例とみなすことができる。
【０１１４】
通常の回帰計算と比べると、共線形性の問題が発生しにくいことに加えて、直積空間内の確率分布さえ求めておけば、この空間を互いに直交するΦ１とΦ２の直積空間とみなすことによって任意の独立な成分間の写像計算が行える点が大きく異なる。
【０１１５】
例えば、Fourier基底を用いれば低周波数成分Φ１から、高周波数成分Φ２への写像、つまり、ボケ画像の鮮鋭化処理も同じ枠組みで適用できる。
【０１１６】
さらに、本発明による線形写像演算方法は、写真画像の修復処理等以外の事象の推定にも用いることができる。
【０１１７】
例えば、季節情報、消費者物価情報、売上実績情報、株価情報等の複数のパラメータで構成する株価ベクトルデータを学習サンプルとして入力することにより株化を推定したり、人口密度情報、住民年齢情報、交通量情報、競合店売上情報等の複数の立地条件パラメータで構成する営業ベクトルデータを学習サンプルとして入力することにより、新規出店時の売上げを推定するような場合にも活用することができる。
【０１１８】
つまり、本発明による線形写像演算を用いた事象推定方法は、複数のパラメータを成分とする複数のベクトルデータを事象を表す学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された推定対象ベクトルデータに直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から推定対象ベクトルデータに対応する出力を推定事象として求める第四ステップとを備えることにより構成できる。
【０１１９】
そして、この場合にも、上述した近似解を求める方法、厳密解を求める方法が好適に用いられる。
【０１２０】
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【０１２１】
【図１】入力の次元が低い場合の部分空間を介した写像の退化現象（入力１次元から出力２次元の場合）の説明図
【図２】部分空間を用いた写像演算の説明図
【図３】部分空間を介した写像演算の説明図
【図４】本発明による回帰演算の説明図
【図５】Ｍ＜Ｎの場合のマハラノビス汎距離ｘＴＣ＋ｘの等距離面の説明図
【図６】部分空間を介した写像と本発明の違いを示す説明図
【図７】正則化パラメータαの変化による近似解ｚＣ−１＊＋ｙの変化を示す説明図
【図８】三次元直積空間を用いた写像演算の説明図
【図９】（ａ）は学習画像の一部を欠損させて、本発明により復元した画像の説明図、（ｂ）は入力次元数に対する画素あたりの平均誤差の関係の説明図
【図１０】（ａ）は未学習画像の一部を欠損させて、本発明により復元した画像の説明図、（ｂ）は入力次元数に対する画素あたりの平均誤差の関係の説明図
【図１１】（ａ）は間引き処理した未学習画像を、本発明により復元した画像の説明図、（ｂ）は空間的均一さと写像精度の変化の説明図
【図１２】本発明の用途を示し、（ａ）は文字がオーバーライトされた欠損画像から原画像を修復する場合の説明図、（ｂ）は低解像度画像を高解像度画像に超解像化する場合の説明図、（ｃ）は画像の陰影を推定し、陰影を除去する場合の説明図
【図１３】写真画像処理装置の外観説明図
【図１４】写真プリンタの説明図
【図１５】写真画像処理装置の機能ブロック構成図
【図１６】線形写像演算部の機能ブロック構成図
【符号の説明】
【０１２２】
１：写真画像処理装置
４７：画像処理部
５５：線形写像演算部
【技術分野】
【０００１】
本発明は、マハラノビス（Mahalanobis）汎距離の最小化処理を用いた高次元線形写像演算により、処理対象となる写真画像を変換する写真画像処理方法、写真画像処理装置、及び事象推定方法に関する。
【背景技術】
【０００２】
非特許文献１から４に開示されているように、高次元ベクトル間の写像演算は、欠損画像の修復、画像の陰影推定・除去等に広範囲に用いられている。
【０００３】
単純な回帰計算で写像を求める場合、入出力の直積空間に分布する同じ学習サンプルに対して入出力の割り当てを変えると再計算が必要になる、サンプル数よりも入力次元数が高い場合に「多重共線形性」に起因する回帰計算の精度低下が起きる等の問題に直面する。これは、サンプル数よりも入力の次元数が高い場合に、入力変数間に一次従属関係が生じ、計算が不安定になることを指す。
【０００４】
この問題を回避するために、非特許文献５には、主成分分析（ＰＣＡ：Principal Component Analysis）により入力の次元圧縮をして回帰計算を行う手法であるＰＣＲ（Principal Component Regression）が提案されているが、出力とは無関係に入力だけを次元圧縮するために、出力との相関が強い入力成分まで弱めることがある。
【０００５】
これを回避するために、入出力の空間で同時に基底を求め、個々の入出力をこれら基底の線形和で表わしたときの係数間の回帰係数を求める手法であるＰＬＳ（Projection to Latent Structure）も提案されているが、上述の再計算の問題は回避できない。
【０００６】
このように回帰計算では、入力変数の独立性を仮定しており、その独立性が崩れると、著しい精度低下が起きる。また、出力変数に関しても独立性が仮定されており、写像関数は出力変数の数だけ求められる。従って、各出力が互いに独立に変化する可能性があるため、画像のように出力変数間の相関が強いデータの写像にはあまり適さないと言える。
【０００７】
これらの問題を回避するために、入出力の直積空間内で学習サンプルから構成した部分空間を利用して入出力間の写像である「部分空間写像」を求める方法もある。尚、共分散行列の固有ベクトルで張られる空間の場合、元の空間の原点を含まないため超平面と呼ぶべきであるが、本明細書ではこの場合も部分空間と呼ぶ。
【０００８】
この方法では、入出力変数の独立性を仮定せず、むしろこれらの相関関係を部分空間として表している。このため、入力次元数の増加により、むしろ共線形性の問題は生じ難くなる。また、同じ学習サンプルに対する入出力の変更も自由にできるという利点がある。さらに、出力変数間の相関を考慮しているため、出力値が独立に変動しにくく、画像など出力値の空間的連続性を保存しなければならない用途に適している。
【非特許文献１】天野敏之、佐藤幸男：固有空間法を用いたBPLPによる画像補間 、電子情報通信学会論文誌D-II、 Vol.J85-D-II、 No.3、 pp.457-465 (2002)
【非特許文献２】N.Otsu and T.Kasvand、 “Image restoration by multipler regression analysis approach、” Proc. of ICPR、 pp.155-158、 1984.
【非特許文献３】S. Baker、 T. Kanade、 “Limits on super-resolution and how to break them、” In: Proc. Of CVPR. South Carolina、 vol. 2、 pp. 372-379、 2000
【非特許文献４】島野、 長尾、 岡部、 佐藤、 佐藤、 ”任意照明下顔認識のための顔表面の位置相関を考慮したMAP推定”、 情報処理学会CVIM論文誌、 Vol.47、 No.SIG10 (CVIM 15)、 pp.162-172、 July 2006.
【非特許文献５】D. A. Belsley、 E. Kuh、 and R. E. Welsch、 Regression Diagnostics; Identifying Influential Data and Sources of Collinearity、 John Wiley & Sons、 New York、 1980
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしこの手法は、図１に示すように、入力の次元数が低い場合に、入力の補空間と部分空間との交わりが広がるため、写像が不安定になるという問題がある。また、部分空間の次元数が増加しても同様の問題が生じる。これらは、出力変数間の独立性を仮定しないために、十分な入力が与えられないと、出力変数間に多重共線形性が残ることに起因する問題である。
【００１０】
これらの問題を回避するには、入力空間の次元数を上げるか、または、部分空間の次元数を下げる必要がある。しかし、与えられる問題によって入出力空間の次元数は定められており、意図的にこれを変えることはできず、部分空間の次元数を下げることは、データ分布を粗く近似することになるため、写像の精度を低下させてしまう。このような問題は、カーネルＰＣＡで得られる非線形部分空間でも生じ得る普遍的問題であり、これが解決できれば線形・非線形を問わず、幅広いクラスの写像計算全般の安定化につながる。
【００１１】
本発明の目的は、入出力の直積空間内で学習サンプルから推定した共分散行列を用いて、マハラノビス汎距離を最小化する出力を求める写像演算を用いることにより、例えば、欠損画像の高精度な修復等が可能な写真画像処理方法、写真画像処理装置、及び事象推定方法を提供する点にある。
【課題を解決するための手段】
【００１２】
上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップとを備えている点にある。
【００１３】
第一ステップでは、学習サンプルである画像の各画素データが成分として配列された複数のベクトル画像が教師画像として入力され、第二ステップでは、学習サンプルに基づいて入出力の直積空間内で共分散行列が推定される。第三ステップでは、処理対象ベクトル画像が入力され、共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点が求められ、第四ステップでは、最小マハラノビス汎距離を与える直積空間内の点から処理対象ベクトル画像に対応する出力が求められる。
【００１４】
通常の回帰計算や部分空間写像は、最小二乗法による回帰直線・平面の推定問題に帰着する。しかし高次元ベクトル間の写像では、条件数が不足し、ユニークな最小二乗解が決定できないケースがしばしば発生する。このような場合、部分空間写像では出力ベクトルのノルムを最小化するなど、写像とは無関係な条件を導入して計算の安定化が図られる。これに対し本発明によれば、条件数の不足をマハラノビス汎距離、すなわち学習データの分布により補うため、安定な挙動が実現できる。本発明によれば、部分空間を介した線形写像を一般化した形式になり、上述の多重共線形性の問題は生じない。
【００１５】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記共分散行列が非正則である場合に、前記第三ステップで、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離と、前記部分空間の補空間への射影残差に所定の重み変数を乗じた値とを加算した目的関数を生成し、当該目的関数の値が最小となる直積空間内の点を求める点にある。
【００１６】
第一の特徴構成による方法では、共分散行列が非正則である場合には、演算結果が自明ではないため、共分散行列に対応したMoore-Penrose型一般逆行列を用いたマハラノビス汎距離と、前記部分空間の補空間への射影残差に所定の重み変数を乗じた値とを加算した目的関数を生成し、当該目的関数の値が最小となる直積空間内の点を求めることにより近似解が得られる。
【００１７】
同第三の特徴構成は、同請求項３に記載した通り、上述の第一特徴構成に加えて、前記共分散行列が非正則である場合に、前記第三ステップは、前記部分空間と前記出力超平面の交わりの基底ベクトルを求めるステップと、交わりに含まれる点を前記基底ベクトルの線形式で求めるステップと、前記線形式の係数を調整することにより、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離を最小とする直積空間内の点を求めるステップを備えている点にある。
【００１８】
共分散行列が非正則である場合には、演算結果が自明ではないため、部分空間と出力超平面の交わりに含まれる点を基底ベクトルの線形式で求め、線形式の係数を調整することにより、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離を最小とする直積空間内の点を求めることにより厳密解が得られる。
【００１９】
本発明による写真画像処理装置の第一の特徴構成は、同請求項４に記載した通り、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一処理部と、入出力の直積空間内で学習サンプルから共分散行列を推定する第二処理部と、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三処理部と、求められた点から処理対象ベクトル画像に対応する出力を求める第四処理部と備えている点にある。
【００２０】
本発明による線形写像演算を用いた事象推定方法は、複数のパラメータを成分とする複数のベクトルデータを事象を表す学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された推定対象ベクトルデータに直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から推定対象ベクトルデータに対応する出力を推定事象として求める第四ステップとを備えている点にある。
【発明の効果】
【００２１】
以上説明した通り、本発明によれば、入出力の直積空間内で学習サンプルから推定した共分散行列を用いて、マハラノビス汎距離を最小化する出力を求める写像演算を用いることにより、例えば、欠損画像の高精度な修復等が可能な写真画像処理方法、写真画像処理装置、及び事象推定方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００２２】
以下、本発明による写真画像処理方法及び写真画像処理装置の実施の形態について説明する。
【００２３】
図１３に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理して写真プリントを生成出力する写真プリンタ２と、写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行ない、原画像から編集処理した出力画像データを写真プリンタ２に出力する操作ステーション３を備えて構成されている。
【００２４】
操作ステーション３は、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１と、デジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２と、コントローラ３３としての汎用コンピュータ等を備えている。
【００２５】
図１３及び図１４に示すように、写真プリンタ２は、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えている。
【００２６】
露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。
【００２７】
搬送経路に沿って配置された露光部２４や現像処理部２５に、所定のプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。
【００２８】
操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、写真処理装置１の各種の画像処理や入出力制御を実行するための複数のアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。当該アプリケーションプログラムに本発明による画像処理プログラムが含まれる。
【００２９】
コントローラ３３は、そのハードウェア及びソフトウェアが協働して写真処理プロセスを実行するブロックで、以下に、各機能ブロックに分けて説明する。
【００３０】
図１５に示すように、コントローラ３３は、フィルムスキャナ３１やメディアドライバ３２によって読み取られた原画像としての写真画像データを受け取り、所定の前処理を行なってメモリ４１に転送する画像入力部４０と、モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対するキーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、画像入力部４０から転送される写真画像データ及び画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、メモリ４１に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部４７を備えている。
【００３１】
さらに、グラフィックユーザーインターフェース部４２からの表示コマンドに基づいてメモリ４１に展開された画像データや各種の入出力用グラフィックデータ等をモニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等を備えている。
【００３２】
フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されてプリンタ２に出力される。
【００３３】
同様に、メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際にメモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されてメモリ４１に転送される。
【００３４】
このように、頻繁に試行錯誤される各種の編集処理が低解像度の画像に対して実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。
【００３５】
画像処理部４７には、メモリ４１に格納された原画像である写真画像データに対して撮影レンズに起因する歪を補正する歪補正部５０と、粒状ノイズを抑制する粒状ノイズ抑制処理部５１と、画像のエッジを強調し、ノイズを抑制する鮮鋭化処理部５２と、自然なカラーを再現できるようにカラーバランスを調整するカラー補正部５３と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部５４と、本発明による写真画像処理方法及び装置を具現化する線形写像演算部５５等の複数の画像処理ブロックを備えている。
【００３６】
図１６に示すように、線形写像演算部５５は、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一処理部と、入出力の直積空間内で学習サンプルから共分散行列を推定する第二処理部と、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三処理部と、求められた点から処理対象ベクトル画像に対応する出力を求める第四処理部と備えている。
【００３７】
以下、線形写像演算部５５による写真画像処理方法の原理及び実際の処理手順について、部分空間写像と対比しながら詳述する。
【００３８】
〔直積空間を介した写像計算〕
本発明の説明の前に、先ず、空間ＲＮ内での主成分分析に基づいて、入力空間Ｒｒのベクトルに対応する出力空間ＲＮ−ｒの要素を求める方法について述べる。但し、ベクトルｘ（以下の説明では、「ベクトルｘ」等を単に「ｘ」と表記する場合もある。）は平均０共分散Ｃの正規分布に従うものとする。
【００３９】
ｘのうち観測された部分、つまり、学習サンプル或は処理対象画像の画像ベクトル（入力）を、
【数１】
【００４０】
ｘのうち未観測の部分、つまり、入力された処理対象画像の出力画像ベクトル（出力）を、
【数２】
【００４１】
と表す。但し、φｉ（ｉ＝１，・・・，Ｎ）は任意の正規直交基底Φ１＝[φ１・・・φｒ]，Φ２＝[φｒ＋１・・・φＮ]である。
【００４２】
Φ１，Φ２が張る空間Ｒｒ，ＲＮ−ｒを、それぞれ、「入力空間」、「出力空間」と呼ぶ。通常、出力空間には入力ｙは含まれないが、ｙを含む出力空間と平行な超平面を「出力超平面」と呼ぶ。本質的に、この出力超平面内の探索を通じて出力が決定される。ここでΦ１＝[φ１・・・φＮ]とすると、明らかに、次式が成り立ち、
【数３】
【００４３】
従って、
〔数４〕
Ｐ１＋Ｐ２＝Ｉ
〔数５〕
ｘ＝ｙ＋ｚ
〔数６〕
ｙＴＺ＝０
も成り立つ。例えば、
【数７】
【００４４】
とすれば、φｉは正規直交基底となり、
【数８】
【数９】
【００４５】
となるため、次式が成立し、
【数１０】
【００４６】
Ｐ１＋Ｐ２＝Ｉ，ｘ＝ｙ＋ｚ，ｙＴＺ＝０となることが確認できる。
【００４７】
また、共分散行列Ｃとその固有値、固有ベクトルをλｉ，Ｖｉ（ｉ＝１，・・・，Ｍ），Ｍ≦Ｎと表し、これらを用いて、以下の行列を定義する。
【数１１】
，
【００４８】
〔部分空間を介した写像〕
線形回帰を行う方法として、図２に示す部分空間を用いた方法について述べる。具体的には、学習サンプルから求めた共分散行列Ｃの固有値問題を解くことによって得られる正規直交基底Ｖｉが張る部分空間上にｙとｚの和が乗るように、出力ｚを求める方法である。
【００４９】
この部分空間への射影行列はＷ＝ＶＭＶＭＴとなる。これを用いて、ベクトルｘの射影先Ｗｘを求めることができる。このとき射影残差の２乗は、次式で表される。
【数１２】
【００５０】
但しＩは単位行列である。ＷＷ＝Ｗ、及び、ＷＴ＝Ｗという性質から、上式はさらに以下のように簡単化できる。
【数１３】
【００５１】
これは、部分空間の直交補空間への射影の長さの２乗を表している。Ｓ＝Ｉ−Ｗ，ｘ＝ｙ＋ｚとして、〔数１３〕に代入すると、（ｙ＋ｚ）ＴＳ（ｙ＋ｚ）が得られ、これを最小化すれば、補空間への射影成分が最小化される出力ｚＳが計算できる。
【００５２】
変数の素性を明示的に表すと、
【数１４】
【００５３】
となるので、この式をｚで偏微分し、ｚ＝ｚＳとした結果が０であることから、次式が得られる。
【数１５】
【００５４】
この式中のＰ２ＴＳＰ１や、Ｐ２ＴＳＰ２は正則ではないので、出力はMoore-Penrose型一般逆行列(+記号)を用いて、以下のように表される。
【数１６】
【００５５】
さらに、自明な項を除き、整理すると次の解が得られる。
【数１７】
【００５６】
この式中で、学習で求める部分が、Ｓ＝Ｉ−ＶＭＶＭＴであり、入出力はＰ２を変化させるだけで切り替えられる。
【００５７】
図３は、６４×６４の画像１０２１枚から求めた１０２０次元の部分空間を介した写像計算を行った結果を示す。入出力の直積空間は６４×６４＝４０９６次元、入力は１０２４次元、出力は３０７２次元である。この例のように入力の次元数が出力に比べて低い場合には部分空間を介した写像の精度は低下しやすい。
【００５８】
これは、〔数１７〕が〔数１５〕を満足する最小ノルム解となっているためであり、例えば図１のケースでは、交わりの中で最短のベクトルが求められる。このため、図３の場合は学習サンプルの平均画像に近い画像が現れる。
【００５９】
〔本発明によるマハラノビス汎距離最小化による写像〕
共分散行列の逆行列Ｃ−１を用いた直積空間内でのマハラノビス汎距離ｘＴＣ−１ｘを最小化することによって出力ｚｃ−１を求める本発明による写真画像処理方法について、図４を参照して述べる。図４中、破線は等距離面を示す。以下、この手法をMahalanobis-distance Minimization Mapping、略して「Ｍ３」と表記する場合もある。
【００６０】
マハラノビス汎距離の式を展開すると、
【数１８】
【００６１】
となり、変数の素性を明示的に表すと次式が得られる。
【数１９】
【００６２】
この式をｚで偏微分し、ｚ＝ｚｃ−１とした結果が０であることから、次式が得られる。
【数２０】
【００６３】
この式中のＰ２ＴＳＰ１や、Ｐ２ＴＳＰ２は正則ではないので、出力はMoore-Penrose型一般逆行列を用いて、以下のように表される。
【数２１】
【００６４】
このうち、自明な項を除き、〔数１７〕の場合と同様に整理すると次式の解が得られる。この場合もＰ２だけで入出力空間を変更できる。
【数２２】
【００６５】
〔本発明による演算法〕
〔数１７〕と〔数２２〕を比較すると、ＳとＣ−１が異なるだけで式の構造は同じであることが分かる。前者は、部分空間の補空間に対する射影行列、後者は共分散行列の逆行列である。
【００６６】
但し、共分散行列Ｃ＝ＶＭΛＭＶＭＴ及びその逆行列Ｃ−１＝ＶＭΛＭ−１ＶＭＴは、正則でない場合、Ｃの固有値（ΛＭの対角成分）が０の要素に対応するΛＭ−１の要素を∞と計算しなければ、〔数２２〕は不正確な写像になる。
【００６７】
仮に一般逆行列Ｃ＋＝ＶＭΛＭ＋ＶＭＴで代替すると、固有値０に対応するΛＭ＋の要素は０であるため、部分空間の補空間に射影される成分にペナルティが与えられない。
【００６８】
このためｘＴＣ＋ｘを計算すると、図５に示すように、本来マハラノビス汎距離が無限大となる筈の部分空間外部にも、補空間に沿って同じ距離の値が漏れ出てしまう。従って、〔数２２〕Ｃ＋を用いると、部分空間外部でもｘＴＣ＋ｘが小さくなり、不正確な写像になる。
【００６９】
本発明では、図６に示すように、入力に直交する出力超平面と部分空間との両方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求め、これに対応する出力を求める。具体的には、次に示す近似解法と、厳密解法の二つの手法を採用する。
【００７０】
〔近似解法〕
ここで示す近似解法は、〔数１７〕と〔数２２〕を正則化の立場から融合するというアプローチである。具体的には、以下の数式による値を最小化するｚを求める手法となる。
【数２３】
【００７１】
但し、αは正則化パラメータである。これは、部分空間の補空間への射影成分とマハラノビス汎距離の重み付き和を最小化する目的関数である。〔数２３〕は、次の行列を用いた２次形式になっている。
【数２４】
【００７２】
これはｒａｎｋ（Ｃ−１＊）＝Ｎの正則行列であり、これを用いた２次形式は直積空間の原点で最小値０を持つ。〔数２２〕中のＣ−１の代わりにＣ−１＊を用いれば，出力超平面上で２次形式の値を極小化する出力ｚＣ−１＊が求められる。〔数２２〕は、行列と一般逆行列の積になるため、αの絶対的値はキャンセルされ、実質的にはαによってＣ＋とＳとの相対的比率が変化するのみである。
【００７３】
図７に示すように、このαを変化させると、以下に述べるように解が変化する。即ち、αが０であるとき、部分空間から遠く離れた最小マハラノビス解と一致し、αが正の小さな値であるとき、マハラノビス距離を極小化する傾向が強い反面、部分空間からの逸脱を許してしまい、α→∞であるとき、部分空間からの逸脱は小さくなるものの、マハラノビス距離の評価は弱まり、最小ノルム解に漸近する。
【００７４】
このように、αの値をいかに設定しても正確な解は求まらないものの、αの値が適切であれば、実用上問題ない程度の精度の結果が得られる。尚、αの値は、処理対象画像の特性に基づいて予め実験等を介して決定される。
【００７５】
〔厳密解法〕
この解法は、以下の考え方及び手順に基づく。即ち、部分空間と入力に直交する出力超平面の交わりの基底ベクトルを求め、交わりに含まれる点を基底ベクトルの線形式で求める。さらに、その係数を調整することにより、Ｃ＋を用いたマハラノビス距離を最小化する。
【００７６】
交わりの部分の基底ベクトルは、Ｐ２Ｗｄ＝λｄを満足するλ＝１の固有ベクトルとなる。これは、最小正準角を求める際に解かれる固有値問題と同じ形式であるが、次の点が異なる。正準角を求める際にはλ＝１の固有値は捨てられるのに対して、この厳密解ではλ＝１の固有ベクトルを積極的に利用する。
【００７７】
これは、「ＷとＰ２による射影を順次行っても長さが変わらないベクトルは、出力超平面と部分空間の交わりの中に含まれる」という事実に基づいている。本発明では、λ＝１に対応する固有ベクトルｄｉを交わり部分の基底として利用する。以降、これら固有ベクトルから成る行列をＤ＝［ｄ１・・・ｄｋ］と表す。
【００７８】
実際の交わりに含まれる点を表すためには、交わりに含まれる１点ｘＳが必要になる。ｘＳとしては、図６の最小ノルム解ｚＳ＋ｙが利用できる。このとき、交わりに含まれる点集合は次式で表わされる。但し、ａはｋ次元係数ベクトルである。
【数２５】
【００７９】
従って、ｘＴ（ａ）Ｃ＋ｘ（ａ）を最小化するａ＊を求めることにより、本発明による出力ｚＭ３＝Ｐ２ｘ（ａ＊）が算出できる。
【数２６】
【００８０】
であるので、
【数２７】
【００８１】
が成立する。これを解き、
【数２８】
【００８２】
が得られるので、ｚＭ３＝Ｐ２ｘ（ａ＊）が算出できる。但し、以下の二つケースに関しては例外処理が必要となる。即ち、Ｐ２Ｗｄ＝λｄを満足するλ＝１の固有ベクトルが存在しない場合には、交点は唯一に決定できるため、出力は最小ノルム解ｚＳになる。また、Ｐ２Ｗｄ＝λｄを満足するλ＝１の固有ベクトルが出力と同じ次元数（Ｎ−ｒ）個ある場合には、出力は出力空間全域を自由に移動でき、最小真柄のビス解ｚＣ＋に一致する。但し、このケースでは、共分散行列Ｃは正則になっており、ｚＣ＋＝ｚＣ−である。
【００８３】
ｘＳ＝ｚＳ＋ｙと仮定して以上の式を整理すると、〔数１７〕、〔数２５〕、〔数２８〕から、以下のように表される。
【数２９】
【００８４】
このマトリクスを特異値分解したとき、以下の式が得られる。但し、ＵｙＴはＫ×Ｎ、ΛＲはＫ×Ｋ、ＵｚはＫ×Ｎの行列であり、ＫはΛＲの非零の特異値の個数である。
【数３０】
【００８５】
従って、写像計算にはＮ次元ベクトルの内積Ｋ回、スカラの乗算Ｋ回、Ｋ次元ベクトルの内積Ｎ回が必要であり、写像計算のオーダはＯ（ＮＫ）となる。従って、Ｋの値が小さければ、高速な計算も可能になる。
【００８６】
図１６に示すように、線形写像演算部５５では、先ず、構成画素数が等しい複数枚のサンプル画像が第一処理部に入力され、各画素データを成分とする複数のベクトル画像としてメモリ４１に記憶される。例えば、６４画素×６４画素のサンプル画像であれば、４０９６次元のベクトル画像がＲ，Ｇ，Ｂの三色について夫々メモリに格納される。
【００８７】
第二処理部では、サンプル画像から共分散行列の推定処理が色成分毎に実行される。第三処理部では、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める演算処理が色成分毎に実行される。
【００８８】
処理対象ベクトル画像とは、欠損画像の修復処理、或は、超解像化処理等が必要な画像である。第三処理部では、上述した近似解法または厳密解法の何れかに基づいて直積空間内の点が求められ、第四処理部では、それに基づいて処理対象ベクトル画像に対応する出力画像が生成されてメモリ４１に書き込まれる。
【００８９】
本発明による線形写像演算は、ＲＧＢ色成分毎に実行されるものであるが、ＹＣＣ等に変換された輝度、色相に対しても同様に処理可能であり、ＲＧＢの補色であるＣＭＹ色成分毎に実行されるものであってもよい。
【００９０】
学習サンプル内の何れかの画像が処理対象画像として入力される場合には、厳密解法を採用することにより、高精度な出力画像が獲得でき、学習サンプルとは異なる処理対象画像が入力される場合には、厳密解法と近似解法の何れが適切であるか、判断が困難であるため、少なくとも高速処理が必要な場合には、近似解法を採用することが好ましい。
【００９１】
つまり、第一処理部で、写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップが実行され、第二処理部で、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップが実行され、第三処理部で、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップが実行され、第四処理部で、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップが実行される。
【００９２】
これらの処理を実行するプログラムは、コントローラ３３に備えたハードディスク等の記憶媒体にインストールされ、ＯＳの管理下で実行されるものである。また、専用の写真処理装置ではなく、汎用のパーソナルコンピュータにこれらのプログラムがインストールされ、コンピュータ上で処理されるように構成されるものであってもよい。
【実施例】
【００９３】
以下では、〔数２２〕、〔数２３〕を用いた近似解法、及び、〔数２５〕、〔数２８〕を用いた厳密解法の写像演算と、〔数１７〕を用いた部分空間を介した写像演算を、上述した写真処理装置を用いて行なった比較結果を示す。尚、近似解法では正則化パラメータであるαを０．０５として実験を行った。
【００９４】
〔低次元空間でのシミュレーション〕
図８は、３次元データを用いて写像計算のシミュレーションを行った結果である。学習に使用したデータは、２次元の正規乱数を平面上で発生させ、これを回転させて生成した３次元のベクトル５０００個である。
【００９５】
この学習サンプルに対して主成分分析を行い、２次元の部分空間を構成した。入力１次元、出力２次元として部分空間写像、共分散行列の一般逆行列を用いた写像計算法、近似解法、厳密解法について実験を行った。
【００９６】
図８から、部分空間写像では、写像結果ｚＳは部分空間の上に拘束されていることが分かる。しかし入力次元数が低いため部分空間と入力空間の交点が唯一に決まらないため、最小ノルム解が求められてしまう。
【００９７】
一方、共分散行列の一般逆行列を用いた写像演算法では、部分空間の拘束をせずにマハラノビス距離のみを最小化することになるため、写像結果ｚＣ＋は部分空間から大きく逸脱してしまう。
【００９８】
これに対して本発明による厳密解ｚＭ３は、近似解ｚＣ−１＊と近いが、ｚＣ−１＊は部分空間から逸脱していて、ｚＭ３は部分空間に拘束されていることが確認できる。
【００９９】
〔画像の欠損推定実験〕
画像データを用いた欠損推定の実験では学習サンプルとしてCAS-PEAL顔画像データベースから無作為に抽出した１０２１枚の正面顔画像の主成分分析を行い、１０２０次元の部分空間を構成した。テスト画像としてはCAS-PEALと、Yale face database Bのデータベースから抽出した学習サンプルに含まれない画像を用いた。
【０１００】
各画像は両眼位置が揃うように回転とスケーリングを行い、６４×６４のサイズで切り出して使用している。入出力直積空間の次元数は、６４×６４＝４０９６次元であり、入力の次元数は４０９６×３／４＝３０７２、４０９６×１／２＝２０４８、４０９６×１／４＝１０２４の３通りである。
【０１０１】
図９及び図１０に、学習画像の一部を欠損させて復元した画像例と入力次元数に対する画素あたりの平均誤差の関係を示す。この図から部分空間写像は入力次元数が高い場合には精度の高い写像が計算できているが、入力次元数が低下すると、急激に計算精度が低下することが分かる。これは元々点であった出力超平面と部分空間の交わりが、入力次元数の低下とともに高次元化した結果、この空間に沿って出力がドリフトし、最小ノルム解に向かって移動したためである。
【０１０２】
これと比べると厳密解法では入力次元数が低下しても精度の高い写像計算が行えており、入力が画像の１／４の大きさでもほぼ同一人物と見なせる画像が求められている。これは、出力超平面と部分空間の交わりの点が高次元化しても、最小ノルムの条件を用いず、この空間に沿ってマハラノビス距離を最小化する方向に移動した結果、学習データが元々分布していた付近から離れることなくそこに停留するためである。
【０１０３】
近似解法は必ずしも原画像の人物とは一致しないが、部分空間写像に比べると写像の破綻が起きにくい。このことは、直観的にも定量的にも確認できる。図１１及び図１２に、テスト画像（未学習データ）を与えた場合の復元結果を示す。この場合も同様に部分空間写像は不安定で、復元された顔領域は白くなっている。このように部分空間写像の精度が推定すべき画素欠損部の拡大にともなって低下する場合でも、部分空間の補空間への射影成分は十分小さく、画像全体としては正確に部分空間の上に乗っていることを確認している。
【０１０４】
厳密解法及び近似解法を定量的に比較してみると、この場合わずかではあるが厳密解法が優れていることが分かる。しかし、生成された画像の自然さという点では、近似解の方が比較的緩やかなコントラストの画像となっており、好ましい性質を持っている。
【０１０５】
いずれにせよ、これらの結果には、絶対的な意味で精度の高いものは含まれていない。この一因は、学習データ数が十分多くないために、入力および出力に類似した画像データがなかったためと考えられる。
【０１０６】
次に、欠損の与え方を空間的に均一にした場合の結果について述べる。この実験では、画像をチェッカーパターン状に入力と出力に分けて写像を行っている。実験で試したのは、各矩形の大きさを１画素、２×２画素、３×３画素とした場合の３通りであり、入力を抽出した原画像はテスト画像の一枚である。
【０１０７】
図から、同じ入力次元数であっても、空間的に一様に分布する入力である方が写像計算の精度が高いことが分かる。このことは図９〜図１２と見比べても明らかである。この理由は、部分空間と入力空間の間の角が小さくなるためであると考えられる。
【０１０８】
しかしこの実験の設定では、部分空間と出力空間の間の交わりに存在するベクトルが少なくなるため、厳密解法の写像はケース１、即ち、部分空間写像と等しくなり、近似解法の方が厳密解法の写像よりも精度が上がっている。これは、最適な写像結果を求めるのに、部分空間を構成する学習データが少ない場合、部分空間に拘束してしまうのが必ずしも良い結果になるとは限らないからである。このため、部分空間に強く拘束する厳密解法よりも部分空間からの逸脱を許容する近似解法の方が高精度になる場合もある。
【０１０９】
つまり、本発明は、入出力の直積空間内で学習サンプルから推定した共分散行列を用いて計算されるマハラノビス汎距離を最小化する高次元線形写像計算法を用いた写真画像処理方法であり、これは、入出力空間内で確率分布を求め、入力に対して、確率密度を最大化する出力を推定する手法を、正規分布の場合に具体化したものとして解釈することができる。
【０１１０】
従来法との比較により、部分空間を介した写像よりも自然で正確な計算ができることが確認された。この傾向は、入力次元数が少なく、出力次元数が高い場合に特に顕著である。また、部分空間の補空間への射影成分とマハラノビス汎距離の両方を最小化する写像計算を行っており、共線形性の問題が発生しにくい安定な構造をしている。
【０１１１】
本発明は、図１２（ａ）に示すような文字がオーバーライトされた欠損画像から原画像を修復したり、図１２（ｂ）に示すような低解像度画像を高解像度画像に超解像化したり、図１２（ｃ）に示すような画像の陰影を推定し、陰影を除去したり、さらには、ボケ画像の鮮鋭化処理、ぶれ画像の修復処理等に幅広く適用できる。
【０１１２】
図１２（ａ）に示すような欠損画像から原画像を修復する場合には、欠損画像を複数の領域に分割し、オーバーライトされた文字による欠損が無い複数の分割領域をサンプル画像として第一処理部に入力し、欠損が発生している分割領域を処理対象画像として第三処理部に入力し、修復された分割画像を合成することにより欠損が無い原画像を得ることができる。
【０１１３】
一例として、実験の最後で示した間引いた画像からの原画像の推定は、幻影処理（Hallucination）の特殊例とみなすことができる。
【０１１４】
通常の回帰計算と比べると、共線形性の問題が発生しにくいことに加えて、直積空間内の確率分布さえ求めておけば、この空間を互いに直交するΦ１とΦ２の直積空間とみなすことによって任意の独立な成分間の写像計算が行える点が大きく異なる。
【０１１５】
例えば、Fourier基底を用いれば低周波数成分Φ１から、高周波数成分Φ２への写像、つまり、ボケ画像の鮮鋭化処理も同じ枠組みで適用できる。
【０１１６】
さらに、本発明による線形写像演算方法は、写真画像の修復処理等以外の事象の推定にも用いることができる。
【０１１７】
例えば、季節情報、消費者物価情報、売上実績情報、株価情報等の複数のパラメータで構成する株価ベクトルデータを学習サンプルとして入力することにより株化を推定したり、人口密度情報、住民年齢情報、交通量情報、競合店売上情報等の複数の立地条件パラメータで構成する営業ベクトルデータを学習サンプルとして入力することにより、新規出店時の売上げを推定するような場合にも活用することができる。
【０１１８】
つまり、本発明による線形写像演算を用いた事象推定方法は、複数のパラメータを成分とする複数のベクトルデータを事象を表す学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された推定対象ベクトルデータに直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から推定対象ベクトルデータに対応する出力を推定事象として求める第四ステップとを備えることにより構成できる。
【０１１９】
そして、この場合にも、上述した近似解を求める方法、厳密解を求める方法が好適に用いられる。
【０１２０】
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【０１２１】
【図１】入力の次元が低い場合の部分空間を介した写像の退化現象（入力１次元から出力２次元の場合）の説明図
【図２】部分空間を用いた写像演算の説明図
【図３】部分空間を介した写像演算の説明図
【図４】本発明による回帰演算の説明図
【図５】Ｍ＜Ｎの場合のマハラノビス汎距離ｘＴＣ＋ｘの等距離面の説明図
【図６】部分空間を介した写像と本発明の違いを示す説明図
【図７】正則化パラメータαの変化による近似解ｚＣ−１＊＋ｙの変化を示す説明図
【図８】三次元直積空間を用いた写像演算の説明図
【図９】（ａ）は学習画像の一部を欠損させて、本発明により復元した画像の説明図、（ｂ）は入力次元数に対する画素あたりの平均誤差の関係の説明図
【図１０】（ａ）は未学習画像の一部を欠損させて、本発明により復元した画像の説明図、（ｂ）は入力次元数に対する画素あたりの平均誤差の関係の説明図
【図１１】（ａ）は間引き処理した未学習画像を、本発明により復元した画像の説明図、（ｂ）は空間的均一さと写像精度の変化の説明図
【図１２】本発明の用途を示し、（ａ）は文字がオーバーライトされた欠損画像から原画像を修復する場合の説明図、（ｂ）は低解像度画像を高解像度画像に超解像化する場合の説明図、（ｃ）は画像の陰影を推定し、陰影を除去する場合の説明図
【図１３】写真画像処理装置の外観説明図
【図１４】写真プリンタの説明図
【図１５】写真画像処理装置の機能ブロック構成図
【図１６】線形写像演算部の機能ブロック構成図
【符号の説明】
【０１２２】
１：写真画像処理装置
４７：画像処理部
５５：線形写像演算部
【特許請求の範囲】
【請求項１】
写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップとを備えている写真画像処理方法。
【請求項２】
前記共分散行列が非正則である場合に、前記第三ステップで、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離と、前記部分空間の補空間への射影残差に所定の重み変数を乗じた値とを加算した目的関数を生成し、当該目的関数の値が最小となる直積空間内の点を求める請求項１記載の写真画像処理方法。
【請求項３】
前記共分散行列が非正則である場合に、前記第三ステップは、前記部分空間と前記出力超平面の交わりの基底ベクトルを求めるステップと、交わりに含まれる点を前記基底ベクトルの線形式で求めるステップと、前記線形式の係数を調整することにより、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離を最小とする直積空間内の点を求めるステップを備えている請求項１記載の写真画像処理方法。
【請求項４】
写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一処理部と、入出力の直積空間内で学習サンプルから共分散行列を推定する第二処理部と、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三処理部と、求められた点から処理対象ベクトル画像に対応する出力を求める第四処理部と備えている写真画像処理装置。
【請求項５】
複数のパラメータを成分とする複数のベクトルデータを事象を表す学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された推定対象ベクトルデータに直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から推定対象ベクトルデータに対応する出力を推定事象として求める第四ステップとを備えている線形写像演算を用いた事象推定方法。
【請求項１】
写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から処理対象ベクトル画像に対応する出力を求める第四ステップとを備えている写真画像処理方法。
【請求項２】
前記共分散行列が非正則である場合に、前記第三ステップで、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離と、前記部分空間の補空間への射影残差に所定の重み変数を乗じた値とを加算した目的関数を生成し、当該目的関数の値が最小となる直積空間内の点を求める請求項１記載の写真画像処理方法。
【請求項３】
前記共分散行列が非正則である場合に、前記第三ステップは、前記部分空間と前記出力超平面の交わりの基底ベクトルを求めるステップと、交わりに含まれる点を前記基底ベクトルの線形式で求めるステップと、前記線形式の係数を調整することにより、Moore-Penrose型一般逆行列を用いたマハラノビス汎距離を最小とする直積空間内の点を求めるステップを備えている請求項１記載の写真画像処理方法。
【請求項４】
写真画像を構成する各画素データを成分とする複数のベクトル画像を学習サンプルとして入力する第一処理部と、入出力の直積空間内で学習サンプルから共分散行列を推定する第二処理部と、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された処理対象ベクトル画像に直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三処理部と、求められた点から処理対象ベクトル画像に対応する出力を求める第四処理部と備えている写真画像処理装置。
【請求項５】
複数のパラメータを成分とする複数のベクトルデータを事象を表す学習サンプルとして入力する第一ステップと、入出力の直積空間内で学習サンプルから共分散行列を推定する第二ステップと、推定された共分散行列の固有値問題を解くことにより得られる正規直交基底が張る部分空間と、入力された推定対象ベクトルデータに直交する出力超平面の双方に含まれ、且つ、最小マハラノビス汎距離を与える直積空間内の点を求める第三ステップと、求められた点から推定対象ベクトルデータに対応する出力を推定事象として求める第四ステップとを備えている線形写像演算を用いた事象推定方法。
【図１】
【図２】
【図４】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図３】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１６】
【図２】
【図４】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図３】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１６】
【公開番号】特開２０１０−３３１９９（Ｐ２０１０−３３１９９Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９２８６７（Ｐ２００８−１９２８６７）
【出願日】平成２０年７月２５日（２００８．７．２５）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【出願人】（５０４１４５２８３）国立大学法人 和歌山大学 (62)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２５日（２００８．７．２５）
【出願人】（０００１３５３１３）ノーリツ鋼機株式会社 (1,824)
【出願人】（５０４１４５２８３）国立大学法人 和歌山大学 (62)
【Ｆターム（参考）】
[ Back to top ]