画像処理装置、および画像処理プログラム
【課題】複数枚の撮像フレーム間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、この対象オブジェクトについて高精細な画像を生成することができる画像処理装置提供する。
【解決手段】画像処理部４は、画像入力部３に入力されたフレーム画像の中から、対象オブジェクトが撮像されているフレーム画像を、予め定めたフレーム数取り込み（ｓ１）、基準とする基準フレーム画像を選択する（ｓ２）。画像処理部４は、基準フレーム画像として選択しなかった非基準フレーム画像毎に、対象オブジェクトの向きを、基準画像における対象オブジェクトの向きに合わせる非剛体変形を行う（ｓ３）。画像処理部４は、非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する（ｓ４）。
【解決手段】画像処理部４は、画像入力部３に入力されたフレーム画像の中から、対象オブジェクトが撮像されているフレーム画像を、予め定めたフレーム数取り込み（ｓ１）、基準とする基準フレーム画像を選択する（ｓ２）。画像処理部４は、基準フレーム画像として選択しなかった非基準フレーム画像毎に、対象オブジェクトの向きを、基準画像における対象オブジェクトの向きに合わせる非剛体変形を行う（ｓ３）。画像処理部４は、非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する（ｓ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ビデオカメラ等の撮像装置で撮像した複数のフレーム画像から、このフレーム画像よりも高精細な画像を生成する画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置で撮像したフレーム画像から、このフレーム画像よりも高精細な画像（以下、高精細画像と言う。）を生成する技術（以下、超解像技術と言う。）が種々提案されている（例えば、特許文献１〜３等参照）。一般に、ビデオカメラ等の撮像装置は、解像度が高いものほど高価である。この超解像技術は、撮像装置を使用する様々なシステムの構築にかかるコストを低減するのに有用である。
【０００３】
撮像装置を使用するシステムは、そのシステムの用途や目的により、撮像したオブジェクトの認識率が要求される。例えば、駅、繁華街、ショッピングセンタ等、不特定多数の人が集まる場所では、複数の防犯カメラを設置し、不審者等を監視するための監視システムを構築している。この監視システムでは、防犯カメラで撮像したフレーム画像に撮像されている人物の顔について、ある程度の認識率が要求される。また、監視システムは、広域にわたって不審者等を監視するため、複数の防犯カメラを使用している。要求される顔の認識率を満足させるために、比較的高解像度の防犯カメラを使用すると、システムの構築にかかるコストが高くなる。そこで、比較的低解像度の防犯カメラを使用し、上述の超解像技術を利用することにより、システム構築にかかるコストを低減し、且つ、要求される顔の認識率を確保することが行われている。
【０００４】
なお、この超解像技術を利用するシステムとしては、上述の監視システム以外にも、道路を走行している車両のナンバープレートに表記されているナンバープレート番号を認識し、２地点間における車両の旅行時間等を得る交通管制システム等がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５７００１号公報
【特許文献２】特開２００５−１３０４４３号公報
【特許文献３】特開２００５− ７２９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２等で提案されている超解像技術は、フレーム画像に撮像されている人物等のオブジェクトについて、複数枚のフレーム画像から高精細なオブジェクトの画像（例えば、顔画像）を生成するとき、撮像フレーム間におけるオブジェクトの向きの違いを考慮していなかった。
【０００７】
この発明の目的は、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮することで、対象オブジェクトについて従来よりも高精細な画像を生成することができる画像処理装置、および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明の画像処理装置は、上記目的を達するために、以下のように構成している。
【０００９】
画像入力部には、撮像装置で撮像したフレーム画像が入力される。撮像装置は、例えば、１秒間に３０フレーム程度のフレーム画像（動画像）を出力するビデオカメラであってもよいし、レリーズボタンの操作に応じて撮像するカメラや連写機能を有するカメラであってもよい。
【００１０】
抽出部が、画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクト（例えば、対象者の顔や、車両のナンバープレート）が撮像されているフレーム画像を複数フレーム抽出する。基準フレーム画像選択部は、抽出部が抽出した複数のフレーム画像の中から、基準フレーム画像を選択する。例えば、抽出部が抽出した複数のフレーム画像の中から、対象者の顔（対象オブジェクト）の向きが最も正面に近いフレーム画像を、基準フレーム画像として選択する。
【００１１】
非剛体変形部は、基準フレーム画像選択部が基準フレーム画像として選択しなかった非基準フレーム画像毎に、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる。この非剛体変形は、例えば、対象オブジェクトに設定した複数の特徴点について、非基準フレーム画像上の位置を、基準フレーム画像上の位置に一致させる処理である。この処理は、Free Form Deformations（ＦＦＤ）により、非基準フレーム画像の非剛体変形により行える。
【００１２】
高精細画像生成部は、非剛体変形部が非剛体変形を行った、非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する。例えば、非剛体変形部が非剛体変形を行った画像や、基準フレーム画像選択部が選択した基準フレーム画像等、複数のフレーム画像を用い、各フレーム画像に撮像されている対象オブジェクトの位置を合わせて重ねることで、対象オブジェクトについて高精細画像の生成を行えばよい。
【００１３】
また、高精細画像生成部が生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理を行う構成としてもよい。
【００１４】
したがって、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、これら複数のフレーム画像から、対象オブジェクトについて、これらのフレーム画像よりも高精細な画像を生成することができる。
【発明の効果】
【００１５】
この発明によれば、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、この対象オブジェクトについて高精細な画像を生成することができる。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】画像処理装置における高精細画像生成処理を示すフローチャートである。
【図３】非剛体変形処理を説明する図である。
【図４】非剛体変形処理を説明する図である。
【図５】非剛体変形処理を説明する図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施形態である画像処理装置について説明する。
【００１８】
図１は、この画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、出力部５と、を備えている。
【００１９】
制御部２は、画像処理装置１本体各部の動作を制御する。
【００２０】
画像入力部３には、ビデオカメラ１０が接続されている。ビデオカメラ１０は、例えば防犯カメラである。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリアが撮像視野内に収まるように設置している。ビデオカメラ１０は、監視対象エリアを撮像した動画像を出力する。例えば、ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を、１秒間に３０フレーム程度出力する。ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を画像入力部３に入力する。
【００２１】
なお、ここでは、ビデオカメラ１０を画像入力部３に接続した構成を例にしているが、ビデオカメラ１０で撮像した動画像を記録したハードディスク等の記録媒体を画像入力部３に接続し、画像入力部３がビデオカメラ１０で撮像した動画像を構成するフレーム画像をこの記録媒体から順次読み出す構成であってもよい。
【００２２】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている対象オブジェクト（ここでは、撮像されている人物の顔）を検出する。画像処理部４は、対象オブジェクトである人物の顔が撮像されている複数枚のフレーム画像を用いて、この人物の顔について高精細画像を生成する高精細画像生成処理を行う。この画像処理部４は、この高精細画像生成処理を実行するマイコンや、ワーキングエリアとして使用する画像メモリ等を備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予め画像処理部４にインストールしている。
【００２３】
出力部５は、画像入力部３に入力されたフレーム画像や、画像処理部４が高精細画像生成処理により生成した高精細画像等を出力する。出力部５には、表示装置や、顔認証装置等が接続される。出力部５に接続した表示装置（不図示）では、画像入力部３に入力されたフレーム画像や、画像処理部４が生成した高精細画像（対象者の顔画像）を表示する。また、出力部５に接続した顔認証装置（不図示）では、画像処理部４が生成した高精細画像（対象者の顔画像）を用いて、対象者に対する顔認証処理等を行う。
【００２４】
以下、この画像処理装置１の動作について説明する。
【００２５】
画像入力部３には、接続されているビデオカメラ１０が撮像している撮像エリアのフレーム画像が１秒間に３０フレーム程度入力されている。画像処理装置１は、図示していない操作部において、オペレータが対象者を指定する入力操作を行うのを待っている。オペレータは、出力部５に接続した表示装置が表示している、ビデオカメラ１０の撮像画像を確認しながら、対象者を指定する入力操作を行う。画像処理装置１は、対象者を指定する入力操作が行われると、以下に示す高精細画像生成処理を実行する。
【００２６】
なお、ここでは対象者をオペレータが指定する場合を例にしているが、例えば、ビデオカメラ１０が撮像している動画像を処理して、特異な行動をとった人物を検出すると、この人物を対象者として自動的に指定する構成としてもよい。
【００２７】
図２は、この高精細画像生成処理を示すフローチャートである。この高精細画像生成処理は、画像処理部４において実行される。
【００２８】
画像処理部４は、画像入力部３に入力されたフレーム画像の中から、今回指定された対象者の顔（対象オブジェクト）が撮像されているフレーム画像を、予め定めたフレーム数（例えば、３０フレーム）取り込む（ｓ１）。
【００２９】
画像処理部４は、ｓ１で取り込んだ複数フレームのフレーム画像の中から、基準とする基準フレーム画像を選択する（ｓ２）。
【００３０】
ｓ２では、ｓ１で取り込んだフレーム画像の中で、対象者の顔が最も正面に近いフレーム画像を基準フレーム画像として選択する。例えば、対象者の鼻の中心と、口の中心と、を通る直線（分割線）で、対象者の顔を縦方向に分割する。この分割線から右頬の端部までの長さと、この分割線から左頬の端部までの長さとの差の絶対値が最小であるフレーム画像を、基準フレーム画像として選択する。
【００３１】
なお、このｓ２における処理負荷を低減するため、ｓ１で取り込んだ複数のフレーム画像の中で、時間的に中間に位置するフレーム画像を基準フレーム画像としてもよいし、時間的に最も古いフレーム画像を基準フレーム画像としてもよいし、時間的に最も新しいフレーム画像を基準フレーム画像としてもよいし、その他の方法で基準フレーム画像を選択してもよい。
【００３２】
画像処理部４は、ｓ２で基準フレーム画像として選択しなかった非基準フレーム画像毎に、対象オブジェクトである人物の顔の向きを、基準画像における対象オブジェクトである人物の顔の向きに合わせる非剛体変形を行う（ｓ３）。この非剛体変形は、Free Form Deformations（ＦＦＤ）により行う。
【００３３】
ＦＦＤによる非剛体変形は、公知であるので、簡単に説明しておく。図３（Ａ）は、ｓ２で抽出した基準フレーム画像に撮像されている対象者の顔画像である。また、図３（Ｂ）は、対象者の顔が少し左側に傾いている顔画像であり、図３（Ｃ）は、対象者の顔が少し右側に傾いている顔画像である。図３（Ｂ）、および図３（Ｃ）は、非基準フレーム画像である。
【００３４】
図３（Ａ）に示す基準フレーム画像に対して、対象オブジェクトである人物の顔が、予め定めた画素数になるように格子状に分割する（図４（Ａ）参照）。縦方向に分割しているラインと、横方向に分割しているラインとが交差する格子点（ノード）が、１つの画素に相当する。画素は、格子点を中心とする適当な大きさである。同様に、非剛体変形を行う非基準フレーム画像（図３（Ｂ）、および図３（Ｃ））についても、基準フレーム画像と同様に、対象オブジェクトである人物の顔が、予め定めた画素数になるように格子状に分割する（図４（Ｂ）、および図４（Ｃ）参照）。
【００３５】
画像処理部４は、対象者の顔に対して、複数の特徴点を設定する。画像処理部４は、非基準フレーム画像毎に、以下の処理を行う。
【００３６】
その非基準フレーム画像上に設定した各格子点に、水平方向、および垂直方向の係数を持たせる。画像処理部４は、非基準フレーム画像における複数の特徴点（対象者の顔の特徴点）の位置を、基準フレーム画像上の位置に一致させる格子点の位置（係数）を算出する。画像処理部４は、非基準フレーム画像の各格子点を、その格子点について算出した係数に基づいて移動する。このとき、隣接する４つの格子点で囲まれる領域の画像は、これらの格子点の移動に応じて変形する。図５（Ａ）は、基準フレーム画像であり、図５（Ｂ）、および図５（Ｃ）は、ｓ３にかかる非剛体変形を行った非基準フレーム画像である。図５（Ｂ）は、図４（Ｂ）に示した非基準フレーム画像を非剛体変形した例であり、図５（Ｃ）は、図４（Ｃ）に示した非基準フレーム画像を非剛体変形した例である。
【００３７】
図５に示すように、このｓ３にかかる非剛体変形により、各非基準フレーム画像における対象者の顔の向きが、基準フレーム画像における対象者の顔の向きに合わせられる。
【００３８】
画像処理部４は、非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する（ｓ４）。この高精細画像を生成する処理においては、基準フレーム画像を使用してもよいし、使用しなくてもよい。ここでは、基準フレーム画像を使用するものとして説明する。
【００３９】
ｓ４は、基準フレーム画像における画素毎に、画素値を決定する処理である。ここでは、画素毎に、基準フレーム画像、およびｓ３で非剛体変形を行った非基準フレーム画像において対応する画素の画素値の平均を、その画素の画素値に決定する処理である。
【００４０】
なお、基準フレーム画像を使用しない場合は、非剛体変形を行った非基準フレーム画像において対応する画素の画素値の平均を、対応する画素の画素値にすればよい。また、ここでは、画素毎に、その画素値を各フレーム画像における対応する画素の画素値の平均にするとしたが、二乗平均等、他の手法で算出してもよい。
【００４１】
高精細画像は、各画素について、上記処理で決定した画素値の画像である。
【００４２】
画像処理部４は、ｓ４で生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理を行う（ｓ５）。ｓ５では、公知のアンシャープマスキングや、エッジの強調等にかかる処理を画質改善処理として実行する。
【００４３】
画像処理装置１は、ｓ５で画質改善処理を行った高精細画像を出力部５から出力する。
【００４４】
このように、この画像処理装置１は、上述の高精細画像生成処理において、複数のフレーム画像間での人物の顔の向きの違いを考慮して、この人物の顔画像について高精細画像を生成することができる。
【００４５】
なお、上記の例では、対象オブジェクトを人物の顔としたが、対象オブジェクトは人物の顔に限らず、車両のナンバープレート等、他の種類のオブジェクトであってもよい。
【００４６】
また、生成する高精細画像の画素数については、基準フレーム画像や、非基準フレーム画像を分割する格子の大きさを調整することで、任意に設定できる。
【符号の説明】
【００４７】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…出力部
１０…ビデオカメラ
【技術分野】
【０００１】
この発明は、ビデオカメラ等の撮像装置で撮像した複数のフレーム画像から、このフレーム画像よりも高精細な画像を生成する画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置で撮像したフレーム画像から、このフレーム画像よりも高精細な画像（以下、高精細画像と言う。）を生成する技術（以下、超解像技術と言う。）が種々提案されている（例えば、特許文献１〜３等参照）。一般に、ビデオカメラ等の撮像装置は、解像度が高いものほど高価である。この超解像技術は、撮像装置を使用する様々なシステムの構築にかかるコストを低減するのに有用である。
【０００３】
撮像装置を使用するシステムは、そのシステムの用途や目的により、撮像したオブジェクトの認識率が要求される。例えば、駅、繁華街、ショッピングセンタ等、不特定多数の人が集まる場所では、複数の防犯カメラを設置し、不審者等を監視するための監視システムを構築している。この監視システムでは、防犯カメラで撮像したフレーム画像に撮像されている人物の顔について、ある程度の認識率が要求される。また、監視システムは、広域にわたって不審者等を監視するため、複数の防犯カメラを使用している。要求される顔の認識率を満足させるために、比較的高解像度の防犯カメラを使用すると、システムの構築にかかるコストが高くなる。そこで、比較的低解像度の防犯カメラを使用し、上述の超解像技術を利用することにより、システム構築にかかるコストを低減し、且つ、要求される顔の認識率を確保することが行われている。
【０００４】
なお、この超解像技術を利用するシステムとしては、上述の監視システム以外にも、道路を走行している車両のナンバープレートに表記されているナンバープレート番号を認識し、２地点間における車両の旅行時間等を得る交通管制システム等がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５７００１号公報
【特許文献２】特開２００５−１３０４４３号公報
【特許文献３】特開２００５− ７２９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２等で提案されている超解像技術は、フレーム画像に撮像されている人物等のオブジェクトについて、複数枚のフレーム画像から高精細なオブジェクトの画像（例えば、顔画像）を生成するとき、撮像フレーム間におけるオブジェクトの向きの違いを考慮していなかった。
【０００７】
この発明の目的は、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮することで、対象オブジェクトについて従来よりも高精細な画像を生成することができる画像処理装置、および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明の画像処理装置は、上記目的を達するために、以下のように構成している。
【０００９】
画像入力部には、撮像装置で撮像したフレーム画像が入力される。撮像装置は、例えば、１秒間に３０フレーム程度のフレーム画像（動画像）を出力するビデオカメラであってもよいし、レリーズボタンの操作に応じて撮像するカメラや連写機能を有するカメラであってもよい。
【００１０】
抽出部が、画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクト（例えば、対象者の顔や、車両のナンバープレート）が撮像されているフレーム画像を複数フレーム抽出する。基準フレーム画像選択部は、抽出部が抽出した複数のフレーム画像の中から、基準フレーム画像を選択する。例えば、抽出部が抽出した複数のフレーム画像の中から、対象者の顔（対象オブジェクト）の向きが最も正面に近いフレーム画像を、基準フレーム画像として選択する。
【００１１】
非剛体変形部は、基準フレーム画像選択部が基準フレーム画像として選択しなかった非基準フレーム画像毎に、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる。この非剛体変形は、例えば、対象オブジェクトに設定した複数の特徴点について、非基準フレーム画像上の位置を、基準フレーム画像上の位置に一致させる処理である。この処理は、Free Form Deformations（ＦＦＤ）により、非基準フレーム画像の非剛体変形により行える。
【００１２】
高精細画像生成部は、非剛体変形部が非剛体変形を行った、非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する。例えば、非剛体変形部が非剛体変形を行った画像や、基準フレーム画像選択部が選択した基準フレーム画像等、複数のフレーム画像を用い、各フレーム画像に撮像されている対象オブジェクトの位置を合わせて重ねることで、対象オブジェクトについて高精細画像の生成を行えばよい。
【００１３】
また、高精細画像生成部が生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理を行う構成としてもよい。
【００１４】
したがって、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、これら複数のフレーム画像から、対象オブジェクトについて、これらのフレーム画像よりも高精細な画像を生成することができる。
【発明の効果】
【００１５】
この発明によれば、複数のフレーム画像間における、撮像されている人物の顔等の対象オブジェクトの向きの違いを考慮し、この対象オブジェクトについて高精細な画像を生成することができる。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】画像処理装置における高精細画像生成処理を示すフローチャートである。
【図３】非剛体変形処理を説明する図である。
【図４】非剛体変形処理を説明する図である。
【図５】非剛体変形処理を説明する図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施形態である画像処理装置について説明する。
【００１８】
図１は、この画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、出力部５と、を備えている。
【００１９】
制御部２は、画像処理装置１本体各部の動作を制御する。
【００２０】
画像入力部３には、ビデオカメラ１０が接続されている。ビデオカメラ１０は、例えば防犯カメラである。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリアが撮像視野内に収まるように設置している。ビデオカメラ１０は、監視対象エリアを撮像した動画像を出力する。例えば、ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を、１秒間に３０フレーム程度出力する。ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を画像入力部３に入力する。
【００２１】
なお、ここでは、ビデオカメラ１０を画像入力部３に接続した構成を例にしているが、ビデオカメラ１０で撮像した動画像を記録したハードディスク等の記録媒体を画像入力部３に接続し、画像入力部３がビデオカメラ１０で撮像した動画像を構成するフレーム画像をこの記録媒体から順次読み出す構成であってもよい。
【００２２】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている対象オブジェクト（ここでは、撮像されている人物の顔）を検出する。画像処理部４は、対象オブジェクトである人物の顔が撮像されている複数枚のフレーム画像を用いて、この人物の顔について高精細画像を生成する高精細画像生成処理を行う。この画像処理部４は、この高精細画像生成処理を実行するマイコンや、ワーキングエリアとして使用する画像メモリ等を備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムであり、予め画像処理部４にインストールしている。
【００２３】
出力部５は、画像入力部３に入力されたフレーム画像や、画像処理部４が高精細画像生成処理により生成した高精細画像等を出力する。出力部５には、表示装置や、顔認証装置等が接続される。出力部５に接続した表示装置（不図示）では、画像入力部３に入力されたフレーム画像や、画像処理部４が生成した高精細画像（対象者の顔画像）を表示する。また、出力部５に接続した顔認証装置（不図示）では、画像処理部４が生成した高精細画像（対象者の顔画像）を用いて、対象者に対する顔認証処理等を行う。
【００２４】
以下、この画像処理装置１の動作について説明する。
【００２５】
画像入力部３には、接続されているビデオカメラ１０が撮像している撮像エリアのフレーム画像が１秒間に３０フレーム程度入力されている。画像処理装置１は、図示していない操作部において、オペレータが対象者を指定する入力操作を行うのを待っている。オペレータは、出力部５に接続した表示装置が表示している、ビデオカメラ１０の撮像画像を確認しながら、対象者を指定する入力操作を行う。画像処理装置１は、対象者を指定する入力操作が行われると、以下に示す高精細画像生成処理を実行する。
【００２６】
なお、ここでは対象者をオペレータが指定する場合を例にしているが、例えば、ビデオカメラ１０が撮像している動画像を処理して、特異な行動をとった人物を検出すると、この人物を対象者として自動的に指定する構成としてもよい。
【００２７】
図２は、この高精細画像生成処理を示すフローチャートである。この高精細画像生成処理は、画像処理部４において実行される。
【００２８】
画像処理部４は、画像入力部３に入力されたフレーム画像の中から、今回指定された対象者の顔（対象オブジェクト）が撮像されているフレーム画像を、予め定めたフレーム数（例えば、３０フレーム）取り込む（ｓ１）。
【００２９】
画像処理部４は、ｓ１で取り込んだ複数フレームのフレーム画像の中から、基準とする基準フレーム画像を選択する（ｓ２）。
【００３０】
ｓ２では、ｓ１で取り込んだフレーム画像の中で、対象者の顔が最も正面に近いフレーム画像を基準フレーム画像として選択する。例えば、対象者の鼻の中心と、口の中心と、を通る直線（分割線）で、対象者の顔を縦方向に分割する。この分割線から右頬の端部までの長さと、この分割線から左頬の端部までの長さとの差の絶対値が最小であるフレーム画像を、基準フレーム画像として選択する。
【００３１】
なお、このｓ２における処理負荷を低減するため、ｓ１で取り込んだ複数のフレーム画像の中で、時間的に中間に位置するフレーム画像を基準フレーム画像としてもよいし、時間的に最も古いフレーム画像を基準フレーム画像としてもよいし、時間的に最も新しいフレーム画像を基準フレーム画像としてもよいし、その他の方法で基準フレーム画像を選択してもよい。
【００３２】
画像処理部４は、ｓ２で基準フレーム画像として選択しなかった非基準フレーム画像毎に、対象オブジェクトである人物の顔の向きを、基準画像における対象オブジェクトである人物の顔の向きに合わせる非剛体変形を行う（ｓ３）。この非剛体変形は、Free Form Deformations（ＦＦＤ）により行う。
【００３３】
ＦＦＤによる非剛体変形は、公知であるので、簡単に説明しておく。図３（Ａ）は、ｓ２で抽出した基準フレーム画像に撮像されている対象者の顔画像である。また、図３（Ｂ）は、対象者の顔が少し左側に傾いている顔画像であり、図３（Ｃ）は、対象者の顔が少し右側に傾いている顔画像である。図３（Ｂ）、および図３（Ｃ）は、非基準フレーム画像である。
【００３４】
図３（Ａ）に示す基準フレーム画像に対して、対象オブジェクトである人物の顔が、予め定めた画素数になるように格子状に分割する（図４（Ａ）参照）。縦方向に分割しているラインと、横方向に分割しているラインとが交差する格子点（ノード）が、１つの画素に相当する。画素は、格子点を中心とする適当な大きさである。同様に、非剛体変形を行う非基準フレーム画像（図３（Ｂ）、および図３（Ｃ））についても、基準フレーム画像と同様に、対象オブジェクトである人物の顔が、予め定めた画素数になるように格子状に分割する（図４（Ｂ）、および図４（Ｃ）参照）。
【００３５】
画像処理部４は、対象者の顔に対して、複数の特徴点を設定する。画像処理部４は、非基準フレーム画像毎に、以下の処理を行う。
【００３６】
その非基準フレーム画像上に設定した各格子点に、水平方向、および垂直方向の係数を持たせる。画像処理部４は、非基準フレーム画像における複数の特徴点（対象者の顔の特徴点）の位置を、基準フレーム画像上の位置に一致させる格子点の位置（係数）を算出する。画像処理部４は、非基準フレーム画像の各格子点を、その格子点について算出した係数に基づいて移動する。このとき、隣接する４つの格子点で囲まれる領域の画像は、これらの格子点の移動に応じて変形する。図５（Ａ）は、基準フレーム画像であり、図５（Ｂ）、および図５（Ｃ）は、ｓ３にかかる非剛体変形を行った非基準フレーム画像である。図５（Ｂ）は、図４（Ｂ）に示した非基準フレーム画像を非剛体変形した例であり、図５（Ｃ）は、図４（Ｃ）に示した非基準フレーム画像を非剛体変形した例である。
【００３７】
図５に示すように、このｓ３にかかる非剛体変形により、各非基準フレーム画像における対象者の顔の向きが、基準フレーム画像における対象者の顔の向きに合わせられる。
【００３８】
画像処理部４は、非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する（ｓ４）。この高精細画像を生成する処理においては、基準フレーム画像を使用してもよいし、使用しなくてもよい。ここでは、基準フレーム画像を使用するものとして説明する。
【００３９】
ｓ４は、基準フレーム画像における画素毎に、画素値を決定する処理である。ここでは、画素毎に、基準フレーム画像、およびｓ３で非剛体変形を行った非基準フレーム画像において対応する画素の画素値の平均を、その画素の画素値に決定する処理である。
【００４０】
なお、基準フレーム画像を使用しない場合は、非剛体変形を行った非基準フレーム画像において対応する画素の画素値の平均を、対応する画素の画素値にすればよい。また、ここでは、画素毎に、その画素値を各フレーム画像における対応する画素の画素値の平均にするとしたが、二乗平均等、他の手法で算出してもよい。
【００４１】
高精細画像は、各画素について、上記処理で決定した画素値の画像である。
【００４２】
画像処理部４は、ｓ４で生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理を行う（ｓ５）。ｓ５では、公知のアンシャープマスキングや、エッジの強調等にかかる処理を画質改善処理として実行する。
【００４３】
画像処理装置１は、ｓ５で画質改善処理を行った高精細画像を出力部５から出力する。
【００４４】
このように、この画像処理装置１は、上述の高精細画像生成処理において、複数のフレーム画像間での人物の顔の向きの違いを考慮して、この人物の顔画像について高精細画像を生成することができる。
【００４５】
なお、上記の例では、対象オブジェクトを人物の顔としたが、対象オブジェクトは人物の顔に限らず、車両のナンバープレート等、他の種類のオブジェクトであってもよい。
【００４６】
また、生成する高精細画像の画素数については、基準フレーム画像や、非基準フレーム画像を分割する格子の大きさを調整することで、任意に設定できる。
【符号の説明】
【００４７】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…出力部
１０…ビデオカメラ
【特許請求の範囲】
【請求項１】
撮像装置で撮像したフレーム画像を入力する画像入力部と、
前記画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクトが撮像されているフレーム画像を複数フレーム抽出する抽出部と、
前記抽出部が抽出した複数のフレーム画像の中から、基準フレーム画像を選択する基準フレーム画像選択部と、
前記抽出部が抽出し、前記基準フレーム画像選択部が基準フレーム画像として選択しなかった非基準フレーム画像毎に、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、前記基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う非剛体変形部と、
前記非剛体変形部が非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する高精細画像生成部と、を備えた画像処理装置。
【請求項２】
前記非剛体変形部は、対象オブジェクトに設定した複数の特徴点について、前記非基準フレーム画像に撮像されている対象オブジェクトの各特徴点を、前記基準フレーム画像に撮像されている対象オブジェクトの対応する特徴点の位置に合わせる非剛体変形を行う請求項１に記載の画像処理装置。
【請求項３】
対象オブジェクトは、対象者の顔画像であり、
前記非剛体変形部は、対象者の顔部品の特徴量を用いて、複数の特徴点を対象オブジェクトに設定する、請求項２に記載の画像処理装置。
【請求項４】
前記高精細画像生成部が生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理部を備えた、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記非剛体変形部は、Free Form Deformations（ＦＦＤ）により、前記非基準フレーム画像に対する非剛体変形を行う、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクトが撮像されているフレーム画像を複数フレーム抽出する抽出処理と、
前記抽出処理で抽出した複数のフレーム画像の中から、基準フレーム画像を選択する基準フレーム画像選択処理と、
前記抽出処理で抽出し、前記基準フレーム画像選択処理で基準フレーム画像として選択しなかった非基準フレーム画像毎に、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、前記基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う非剛体変形処理と、
前記非剛体変形処理で非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する高精細画像生成処理と、をコンピュータに実行させる画像処理プログラム。
【請求項１】
撮像装置で撮像したフレーム画像を入力する画像入力部と、
前記画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクトが撮像されているフレーム画像を複数フレーム抽出する抽出部と、
前記抽出部が抽出した複数のフレーム画像の中から、基準フレーム画像を選択する基準フレーム画像選択部と、
前記抽出部が抽出し、前記基準フレーム画像選択部が基準フレーム画像として選択しなかった非基準フレーム画像毎に、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、前記基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う非剛体変形部と、
前記非剛体変形部が非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する高精細画像生成部と、を備えた画像処理装置。
【請求項２】
前記非剛体変形部は、対象オブジェクトに設定した複数の特徴点について、前記非基準フレーム画像に撮像されている対象オブジェクトの各特徴点を、前記基準フレーム画像に撮像されている対象オブジェクトの対応する特徴点の位置に合わせる非剛体変形を行う請求項１に記載の画像処理装置。
【請求項３】
対象オブジェクトは、対象者の顔画像であり、
前記非剛体変形部は、対象者の顔部品の特徴量を用いて、複数の特徴点を対象オブジェクトに設定する、請求項２に記載の画像処理装置。
【請求項４】
前記高精細画像生成部が生成した高精細画像に対して、ノイズ、および光学ボケを低減する画質改善処理部を備えた、請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記非剛体変形部は、Free Form Deformations（ＦＦＤ）により、前記非基準フレーム画像に対する非剛体変形を行う、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
画像入力部に入力されたフレーム画像の中から、処理対象である対象オブジェクトが撮像されているフレーム画像を複数フレーム抽出する抽出処理と、
前記抽出処理で抽出した複数のフレーム画像の中から、基準フレーム画像を選択する基準フレーム画像選択処理と、
前記抽出処理で抽出し、前記基準フレーム画像選択処理で基準フレーム画像として選択しなかった非基準フレーム画像毎に、その非基準フレーム画像に撮像されている対象オブジェクトの向きを、前記基準フレーム画像に撮像されている対象オブジェクトの向きに合わせる非剛体変形を行う非剛体変形処理と、
前記非剛体変形処理で非剛体変形を行った非基準フレーム画像を用いて、対象オブジェクトについて高精細画像を生成する高精細画像生成処理と、をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−４５２０７（Ｐ２０１３−４５２０７Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８１３０７（Ｐ２０１１−１８１３０７）
【出願日】平成２３年８月２３日（２０１１．８．２３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名 ：社団法人電子情報通信学会 刊行物名 ：電子情報通信学会 ２０１１年総合大会講演論文集 発行年月日：平成２３年２月２８日
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２３日（２０１１．８．２３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名 ：社団法人電子情報通信学会 刊行物名 ：電子情報通信学会 ２０１１年総合大会講演論文集 発行年月日：平成２３年２月２８日
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]