説明

画像処理プログラム、画像処理装置、および画像処理方法

【課題】画像認識を高速かつ低負荷により実現すること。
【解決手段】検索円C内の画像のうち代表扇形f内の画像とを比較して一致判定する。具体的には、代表扇形内画像gの特徴量を、(A)〜(L)の12分割された各扇形画像の特徴量とを比較することで一致判定をする。両特徴量は、たとえば、ヒストグラム分析によって得られた輝度を用いることができる。代表扇形内画像gと(K)の扇形画像とは、ともに右目に相当する画像であるため、一致と判定される。これにより、代表扇形内画像gは顔画像候補に決定される。また、一致した扇形内画像により、顔画像候補がどのような傾きを持っているかも把握することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本開示技術は、画像処理を実行する画像処理プログラム、画像処理装置、および画像処理方法に関する。
【背景技術】
【0002】
従来、顔認識システムは、以下の1〜7の順で処理を実施していた。
1.入力画像を加工しやすい情報(拡大縮小、グレースケールなど)に変換する。
2.全体画像の一部を矩形で切り出し、その範囲の特徴を取得するための演算を実施する対象とする検索対象窓サイズを決定する。
3.検索窓を全体画像の左上から右下まで移動しながらそれ以降の処理を実施する。
4.検索窓内の中心点からRetinaサンプリングとして特徴を取得するために混合ガウス分布を求める。
5.あらかじめ蓄積していた検索画像との特徴を比較する。
6.特徴がある程度一致している場合、Gaborフィルタを用いて詳細の特徴比較を実行する。
7.Gaborフィルタで特徴がある程度一致している場合、検索対象画像と判断する。
【0003】
また、画像処理としては下記特許文献1〜3の技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−108835号公報
【特許文献2】特開2005−174179号公報
【特許文献3】特開2007−34876号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来技術では、ある対象画像内から特定画像を認識する場合、光源、イメージの回転・縮尺、表情変化などによって比較する画像範囲が変化する。当該変化を対象画像内で画素を移動しながらすべてのパターンを想定して検索すると処理時間が増大するという問題がある。また、上述した従来技術では、対象画像内の検索対象領域をRetinaサンプリングにより特定する技術もある。Retinaサンプリングにより特定できる場合、Gabor Waveletsフィルタを使用することで光源、イメージの回転・縮尺、表情変化については検索可能となっている。
【0006】
しかしながら、Retinaサンプリングでは、画像中に検索用の窓を設定してその窓の中で混合ガウス分布を求めて検出対象かどうか判定する。したがって、確率的に検索対象位置を決定する方針の割に、混合ガウス関数を使用しているため、計算量が多く、システム全体の処理性能の負担が増大するという問題がある。
【0007】
本開示技術は、上述した従来技術による問題点を解消するため、画像認識を高速に実現することができる画像処理プログラム、画像処理装置、および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示技術は、特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶しておき、対象画像を走査する検索円の中心を基点とする中心角により規定された代表扇形を設定し、前記対象画像の任意の走査位置での前記検索円内の画像のうち設定された代表扇形内の画像の特徴量を抽出し、前記記憶装置に記憶されている前記複数の扇形画像の特徴量を抽出し、抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像が、前記複数の扇形画像にあるか否かを判定し、判定結果に基づいて、前記検索円内の画像を前記特定画像の画像候補に決定することを要件とする。
【発明の効果】
【0009】
本画像処理プログラム、画像処理装置、および画像処理方法によれば、画像認識を高速に実現することができるという効果を奏する。
【図面の簡単な説明】
【0010】
【図1】検索画像の分割例を示す説明図である。
【図2】対象画像の一例を示す説明図である。
【図3】検索円内の画像と検索画像との比較例(その1)を示す説明図である。
【図4】本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。
【図5】本実施の形態にかかる画像処理装置の機能的構成を示すブロック図である。
【図6】検索画像内の扇形画像のヒストグラムの一例を示す説明図である。
【図7】平坦化された扇形画像のヒストグラムの一例を示す説明図である。
【図8】対象画像内の代表扇形内画像のヒストグラムの一例を示す説明図である。
【図9】平坦化された代表扇形内画像のヒストグラムの一例を示す説明図である。
【図10】再作成された扇形画像のヒストグラムを示す説明図である。
【図11】再作成された代表扇形内画像のヒストグラムを示す説明図である。
【図12】検索画像蓄積処理の詳細な処理手順を示すフローチャートである。
【図13】画像認識処理の詳細な処理手順を示すフローチャートである。
【図14】図13に示した扇形検索処理(ステップS1307)の詳細な処理手順を示すフローチャートである。
【図15】検索円内の画像と検索画像との比較例(その2)を示す説明図である。
【図16】代表扇形f♯を複数設定した場合の扇形検索処理(ステップS1307)の詳細な処理手順(前半)を示すフローチャートである。
【図17】代表扇形f♯を複数設定した場合の扇形検索処理(ステップS1307)の詳細な処理手順(後半)を示すフローチャートである。
【図18】代表扇形f♯を複数設定した場合の扇形検索処理(ステップS1307)の後半の他の例の詳細な処理手順を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下に添付図面を参照して、本開示技術の画像処理プログラム、画像処理装置、および画像処理方法の好適な実施の形態を詳細に説明する。本実施の形態では、入力画像内の特定画像の例として顔画像を認識する。まず、図1〜3を用いて、本開示技術の画像処理プログラム、画像処理装置、および画像処理方法の一実施形態について説明する。
【0012】
図1は、検索画像の分割例を示す説明図である。検索画像Grとは、認識の対象画像の比較対象となる画像である。検索画像Grは特定画像として顔画像を含む画像である。検索画像Grは、検索画像Grの中心を基点として複数の扇形画像に分割される。図1では、(A)〜(L)の12分割された扇形画像となる。図1では、各扇形画像(A)〜(L)は、中心角が30度に設定された同一半径の画像である。
【0013】
検索画像Grでは、12時の方向を0度とし、時計回りに進むにつれて中心角が増加することとする。検索画像Grでの0度は、顔画像の中心(鼻またはその近傍)からみて頭がある方向を示す。検索画像Grは少なくとも1つあればよい。検索画像Grは、記憶装置に記憶される。
【0014】
図2は、対象画像の一例を示す説明図である。図2中の円は、検索窓となる検索円Cである。検索円Cを対象画像Goに走査することで、走査位置ごとに認識処理を実行する。走査位置では、所定の半径方向となる扇形が設定される。検索円C内の扇形を代表扇形fと称す。代表扇形fは、検索円Cに1または複数設定することができる。図2の例では、1つ設定されている。図2では、代表扇形fは中心角が0度から30度に設定された扇形とする。代表扇形fの中心角は、検索画像Grの扇形画像の中心角と同一角度(本例では30度)とする。なお、代表扇形fの中心角と検索画像Grの扇形画像の中心角とは異なる角度でもよい。
【0015】
図3は、検索円C内の画像と検索画像Grとの比較例(その1)を示す説明図である。図3では、検索円C内の画像のうち代表扇形f内の画像(以下、代表扇形内画像g)とを比較して一致判定する。具体的には、代表扇形内画像gの特徴量を、(A)〜(L)の12分割された各扇形画像の特徴量と比較することで一致判定をする。両特徴量は、たとえば、ヒストグラム分析によって得られた輝度から算出される。
【0016】
図3では、代表扇形内画像gと(K)の扇形画像とは、ともに右目に相当する画像であるため、一致と判定される。これにより、代表扇形内画像gは顔画像候補に決定される。また、一致した扇形画像の位置により、顔画像候補がどのような傾きを持っているかも把握することができる。
【0017】
(ハードウェア構成)
図4は、本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。画像処理装置400は、画像入力IF(インターフェース)401と、プロセッサ402と、BIF(バスインターフェース)403と、バス404と、ローカルメモリ405と、パイプライン406と、BIF407と、メインメモリ408と、画像出力IF409と、バス410と、を含む構成である。
【0018】
画像入力IF401は、外部からの入力画像(検索画像Grや対象画像Go)を受け付けてバス410を介してメインメモリ408に保存する。プロセッサ402は、画像処理装置400全体を統括制御する中央処理装置である。プロセッサ402は、メインメモリ408に保存されている画像処理プログラムを実行する。
【0019】
BIF403は、プロセッサ402とバス404との通信を制御する。バス404は、BIF403,407とローカルメモリ405とを接続する。ローカルメモリ405は、プロセッサ402のワークエリアとなる記憶装置である。ローカルメモリ405には、たとえば、RAM(Random Access Memory)を用いることができる。このように、プロセッサ402、BIF403、バス404、ローカルメモリ405は、ソフトウェア処理を実行するソフトウェア処理部411を構成する。
【0020】
パイプライン406は、パイプライン406処理を実行するハードウェアであり、ローカルメモリ405をワークエリアとして利用する。BIF407は、パイプライン406とバス404との通信を制御する。このように、パイプライン406、BIF407、バス404、ローカルメモリ405は、アクセラレータ412を構成する。アクセラレータ412は、たとえば、画像の拡大、縮小、回転といった所定の処理を実行する(ソフトウェア処理部411ですべて実行する場合、アクセラレータ412は不要となる)。ローカルメモリ405とバス404は、アクセラレータ412とソフトウェア処理部411との共用メモリである。
【0021】
メインメモリ408は、画像処理プログラムや入力画像、その他画像処理プログラムによる処理結果を記憶する記憶装置である。メインメモリ408には、たとえば、RAMやフラッシュメモリ、磁気ディスクを用いることができる。画像出力IF409は、プロセッサ402からの指示によりメインメモリ408に保存されたデータをディスプレイに出力する。バス410は、画像入力IF401、プロセッサ402、パイプライン406、メインメモリ408、および画像出力IF409を接続する。
【0022】
(画像処理装置400の機能的構成)
図5は、本実施の形態にかかる画像処理装置400の機能的構成を示すブロック図である。画像処理装置400は、画像処理部501、画像前処理部502、設定部503、抽出部504、記憶部505、判定部506(算出部511および判断部512)、決定部507、Gaborフィルタ処理実行部508、出力部509とを含む構成である。
【0023】
図5において、画像処理部501、画像前処理部502およびGaborフィルタ処理実行部508は、図4に示したアクセラレータ412またはソフトウェア処理部411によりその機能を実現する。設定部503、抽出部504、判定部506および決定部507は、図4に示したソフトウェア処理部411によりその機能を実現する。記憶部505は、図4に示したメインメモリ408によりその機能を実現する。出力部509は、図4に示した画像出力IF409によりその機能を実現する。
【0024】
画像処理部501は、カメラ入力制御処理と画像出力制御処理とを実行する。具体的には、カメラ入力制御処理では、カメラから画像入力IF401を介して一定間隔で入力されてくる画像をメインメモリ408に格納する。そして、格納された画像のアドレスの識別制御を実行する。また、画像出力制御処理では、画像出力IF409により一定間隔で出力画像をメインメモリ408から出力する。
【0025】
画像前処理部502は、入力画像の画像変換を実行する。具体的には、たとえば、入力画像の拡大/縮小/回転/移動、グレースケール化、各種画像変換フィルタ(ランクフィルタ、ガウシアン)によるフィルタリング処理を実行する。より具体的には、たとえば、入力画像をグレースケール化し、グレースケール化した画像を広域平滑化する。そして、グレースケール化した画像と広域平滑化した画像との輝度差分を求め、輝度差分画像を出力する。輝度差分画像は、ローカルメモリ405またはメインメモリ408に保存される。
【0026】
設定部503は、各種設定を実行する機能を有する。具体的には、検索画像Grを蓄積させる場合の検索画像Gr設定処理と、検索円Cの代表扇形fを設定する代表扇形f設定処理とを実行する。検索画像Gr設定処理では、検索画像Grを扇形に分割する扇形情報を設定する。具体的には、たとえば、図1に示したように、扇形の中心角を設定して検索画像Grを複数の扇形に分割する。
【0027】
また、代表扇形設定処理では、検索円Cの中心を基点とする中心角により規定された代表扇形fを設定する。具体的には、たとえば、図2に示したように、検索円Cの中心角が0度〜30度である扇形を代表扇形fとする。
【0028】
抽出部504は、画像の特徴量を抽出する機能を有する。具体的には、ヒストグラム分析により画像の輝度を特徴量として抽出する。たとえば、検索画像Grを蓄積させる場合は、検索画像Grから分割された各扇形画像の特徴量をヒストグラム分析により抽出する。
【0029】
図6は、検索画像Gr内の扇形画像のヒストグラムの一例を示す説明図である。図6において、横軸は輝度、縦軸はヒストグラムの度数である。なお、扇形画像のヒストグラムは、輝度差分を吸収するために平坦化してもよい。
【0030】
図7は、平坦化された扇形画像のヒストグラムの一例を示す説明図である。ヒストグラムの平坦化は、下記式(1)によりおこなう。
【0031】
【数1】

【0032】
R(i):変換前のi番目の輝度
R´(i):変換後のi番目の輝度
Rmax:変換前の輝度R(i)の最大値
H(i):輝度R(i)を持つ画素数
N:画像に含まれる画素の和
【0033】
そして、抽出部504は、扇形画像ごとに特徴量として図6または図7に示したようなヒストグラムを記憶部505に記憶する。代表扇形内画像gと比較する場合には、各扇形画像の特徴量を記憶部505から抽出する。
【0034】
また、抽出部504は、代表扇形fについても、代表扇形内画像gの特徴量をヒストグラム分析により抽出する。抽出された特徴量(ヒストグラム)は、ローカルメモリ405に記憶される。
【0035】
図8は、対象画像Go内の代表扇形内画像gのヒストグラムの一例を示す説明図である。代表扇形内画像gのヒストグラムは、輝度差分を吸収するために上記式(1)を用いて平坦化してもよい。
【0036】
図9は、平坦化された代表扇形内画像gのヒストグラムの一例を示す説明図である。抽出部504は、図8または図9に示したようなヒストグラムを代表扇形内画像gから抽出してローカルメモリ405に保存する。
【0037】
記憶部505はメインメモリ408であり、複数の扇形画像の特徴量(図6または図7に示したようなヒストグラム)を記憶する機能を有する。
【0038】
判定部506は、代表扇形内画像gの特徴量と各扇形画像の特徴量とに基づいて、代表扇形内画像gが、複数の扇形画像にあるか否かを判定する機能を有する。具体的には、たとえば、代表扇形内画像gの特徴量を用いて、算出部511と判断部512により一致判定を実行する。ここで、算出部511は、代表扇形内画像gの特徴量と扇形画像の特徴量とに基づいて、代表扇形f内の画像と扇形画像との一致度を算出する機能を有する。算出部511は、具体的には、たとえば、扇形画像のヒストグラムと代表扇形内画像gのヒストグラムとの度数を、5輝度程度でまとめて再作成する。
【0039】
図10は、再作成された扇形画像のヒストグラムを示す説明図である。図10に示したヒストグラムは、図7の平坦化後のヒストグラムから再作成されたヒストグラムである。図10において、j番目の輝度の特徴量をPsojとすると、特徴量Psojは下記式(2)により算出される。
【0040】
Psoj=Dsoj/Dmax/P・・・(2)
【0041】
Dsoj:j番目の輝度の度数
Dmax:再作成前の前輝度中の最大度数
P:全画素数
【0042】
図11は、再作成された代表扇形内画像gのヒストグラムを示す説明図である。図11に示したヒストグラムは、図9の平坦化後のヒストグラムから再作成されたヒストグラムである。図11において、j番目の輝度の特徴量をPssjとすると、特徴量Pssjは下記式(3)により算出される。
【0043】
Pssj=Dssj/Dmax/P・・・(3)
【0044】
Dssj:j番目の輝度の度数
Dmax:再作成前の全輝度中の最大度数
P:全画素数
【0045】
そして、算出部511は、代表扇形f内の画像と扇形画像との一致度Mを、下記式(4)により算出する。
【0046】
【数2】

【0047】
j:再作成後のヒストグラムの輝度番号
h:輝度番号jの最大値
【0048】
また、判断部512は、算出部511によって算出された一致度Mが所定のしきい値Mt以上であるか否かを判断する機能を有する。一致度Mが所定のしきい値Mt以上である扇形画像があるまで一致度Mの算出としきい値Mt以上の判断を実行する。そして、判定部506は、代表扇形内画像gに一致する画像が、複数の扇形画像にあると判定する。
【0049】
決定部507は、判定部506によって判定された判定結果に基づいて、検索円C内の画像を特定画像の画像候補に決定する機能を有する。具体的には、たとえば、代表扇形内画像gに一致する画像が、複数の扇形画像にあると判定された場合、検索円C内の画像を特定画像の画像候補に決定する。そして、検索円C内の画像をGaborフィルタ処理対象として記憶部505に保存する。一方、代表扇形内画像gに一致する画像が、複数の扇形画像にないと判定された場合、検索円Cをシフトして走査を続ける。対象画像Goの全領域を走査した場合は処理を終了することとなる。
【0050】
Gaborフィルタ処理実行部508は、Gaborフィルタ処理対象の画像についてGaborフィルタ処理を実行する。Gaborフィルタ処理により、特定画像(顔画像)に同定される。なお、Gaborフィルタ処理実行部508は、周知のアルゴリズムにより実行される。
【0051】
出力部509は、決定部507によって決定された決定結果を出力する機能を有する。具体的には、たとえば、Gaborフィルタ処理実行部508によって実行された実行結果をディスプレイに出力する。これにより、Gaborフィルタ処理によって同定された検索円C内画像を特定画像(顔画像)と認識することができる。
【0052】
(検索画像蓄積処理)
つぎに、検索画像蓄積処理について説明する。検索画像蓄積処理は、対象画像Goからの顔画像認識に先だって、図1に示したように、検索画像Grの特徴量(ヒストグラム)をメインメモリ408に蓄積しておく処理である。検索画像蓄積処理は、図5に示した画像処理部501、画像前処理部502、設定部503、抽出部504および記憶部505により実行される。
【0053】
図12は、検索画像蓄積処理の詳細な処理手順を示すフローチャートである。まず、設定部503により扇形情報、すなわち、中心角や半径を設定しておき(ステップS1201)、画像処理部501により、検索画像Grがあるか否かを判断する(ステップS1202)。検索画像Grがあると判断された場合(ステップS1202:Yes)、画像前処理部502により、検索画像Grをグレースケール化(ステップS1203)、広域平滑化(ステップS1204)、輝度差分取得(ステップS1205)を実行する。
【0054】
そして、設定部503により、輝度差分取得後の検索画像Grについて扇形画像を設定する(ステップS1206)。その後、抽出部504により、扇形画像単位で特徴量を抽出する(ステップS1207)。このあと、抽出された特徴量のヒストグラム平坦化を実行し(ステップS1208)、ヒストグラム平坦化された特徴量をメインメモリ408に保存して(ステップS1209)、ステップS1202に戻る。ステップS1202において、検索画像Grがない場合(ステップS1202:No)、検索画像蓄積処理を終了する。
【0055】
(画像認識処理)
つぎに、画像認識処理について説明する。画像認識処理では、図2および図3に示したように、検索円Cを対象画像Go上で走査して、走査位置ごとに、検索画像Gr内に設定された複数の扇形画像と一致判定を実行して、一致判定結果に応じて対象画像Goを同定する処理である。
【0056】
図13は、画像認識処理の詳細な処理手順を示すフローチャートである。まず、画像処理部501により図2に示した対象画像Goを取得し(ステップS1301)、画像前処理部502により、グレースケール化(ステップS1302)、広域平滑化(ステップS1303)、輝度差分取得(ステップS1304)を実行する。そして、設定部503により、検索円Cおよび代表扇形fを設定して(ステップS1305)、検索円Cの走査を開始する(ステップS1306)。
【0057】
そして、走査位置ごとに、扇形検索処理を実行する(ステップS1307)。扇形検索処理の詳細については後述する。扇形検索処理のあと、検索円Cがシフト可能であるか否かを判断する(ステップS1308)。シフト可能である場合(ステップS1308:Yes)、検索円Cをシフトして(ステップS1309)、ステップS1307に戻る。
【0058】
一方、シフト不可である場合(ステップS1308:No)、Gaborフィルタ処理対象の画像についてGaborフィルタ処理実行部508により、Gaborフィルタ処理を実行する(ステップS1310)。そして、出力部509により、Gaborフィルタ処理結果を出力する(ステップS1311)。
【0059】
図14は、図13に示した扇形検索処理(ステップS1307)の詳細な処理手順を示すフローチャートである。まず、抽出部504により、代表扇形内画像gの特徴量を抽出して(ステップS1401)、ヒストグラム平坦化を実行する(ステップS1402)。つぎに、未選択の検索画像Grがメインメモリ408にあるか否かを判断する(ステップS1403)。
【0060】
未選択の検索画像Grがある場合(ステップS1403:Yes)、未選択の検索画像Grを1つ選択する(ステップS1404)。そして、選択検索画像Gr内で未選択の扇形画像があるか否かを判断する(ステップS1405)。未選択の扇形画像がある場合(ステップS1405:Yes)、未選択の扇形画像を1つ選択する(ステップS1406)。そして、選択扇形画像の特徴量(平坦化されたヒストグラム)をメインメモリ408から抽出する(ステップS1407)。
【0061】
このあと、算出部511により、一致度Mの算出処理を実行する(ステップS1408)。一致度Mが算出されると判断部512により、M≧Mtであるか否かを判断する(ステップS1409)。M≧Mtでない場合(ステップS1409:No)、ステップS1405に戻る。したがって、M≧Mtとなる選択扇形画像が見つかるまでステップS1405〜S1409を繰り返す。
【0062】
一方、M≧Mtである場合(ステップS1409:Yes)、Gaborフィルタ処理対象として検索円C内画像をメインメモリ408に保存して(ステップS1410)、ステップS1308に移行する。これにより、1つでも一致する扇形画像があれば、扇形検索処理は終了する。
【0063】
一方、M≧Mtとなる選択扇形画像が見つかるまでステップS1405〜S1409を繰り返すが、ステップS1405において、未選択の扇形画像がない場合(ステップS1405:No)、ステップS1403に戻り、未選択の検索画像Grがあるか否かを判断する(ステップS1403)。未選択の検索画像Grがない場合(ステップS1403:No)、M≧Mtとなる選択扇形画像が見つからなかったこととなり、ステップS1308に移行する。この場合、Gaborフィルタ処理対象がないため、特定画像(顔画像)の同定ができずに終了することとなる。
【0064】
このように、上述した実施の形態では、扇形どうしで比較するため、検索円C内画像の向きと検索画像Grの向きが異なっていても一致判定することができる。したがって、Retinaサンプリングでの混合ガウス分布を求めるような複雑な計算処理が不要となる。これにより、顔画像があるか否か、あるとしてもどの方向に向いているかわからない対象画像Goの中から顔画像の候補画像を高速かつ低負荷で検索することができる。
【0065】
なお、上述した実施の形態では、検索円C内の代表扇形fが1個の場合について説明したが、検索円C内の代表扇形fを複数個用意して画像認識の認識精度を向上することとしてもよい。ここでは、例として、代表扇形fを等角度間隔で3個設定した場合について説明する。代表扇形fを3個設定する場合は、0度〜30度、120度〜150度、240度〜270度の代表扇形fを設定する。
【0066】
図15は、検索円C内の画像と検索画像Grとの比較例(その2)を示す説明図である。図15では、3個の代表扇形f1〜f3を用いる。代表扇形f1〜f3のうち、代表扇形f1が基準となる代表扇形とする。
【0067】
図15では、図3と同様、(A)〜(L)の各扇形画像と基準となる代表扇形f1内画像とを比較して一致判定する。図15では、代表扇形f1内の画像g1と(K)の扇形画像とは、ともに右目に相当する画像であるため、一致と判定される。この一致判定を第1の一致判定を称す。
【0068】
第1の一致判定により代表扇形f1内の画像g1と(K)の扇形画像とが一致すると判定された場合、残余の代表扇形f2内の画像g2と代表扇形f3内の画像g3についても一致判定を実行する。代表扇形f2内の画像g2との一致判定を第2の一致判定、代表扇形f3内の画像g3との一致判定を第3の一致判定を称す。
【0069】
具体的には、第2の一致判定では、代表扇形f2内の画像g2は、代表扇形f1内の画像g1から120度時計回りに回転した画像である。したがって、比較対象となる検索画像Gr内の扇形画像も、代表扇形f1内の画像g1に一致判定された(K)の扇形画像から120度時計回りに回転した(C)の扇形画像となる。
【0070】
同様に、第3の一致判定では、代表扇形f3内の画像g3は、代表扇形f1内の画像g1から120度反時計回りに回転した画像である。したがって、比較対象となる検索画像Gr内の扇形画像も、代表扇形f1内の画像g1に一致判定された(K)の扇形画像から120度反時計回りに回転した(G)の扇形画像となる。これにより、画像g1および扇形画像(K)を基準とすることで、画像g1〜g3の配列パターンが扇形画像(K),(C),(G)の配列パターンに合致する。
【0071】
このように、第1の一致判定により一致すると判定されたあとに、第2および第3の一致判定を順次実行する場合、不一致と判定されたものが1つでもあっても、すべて一致判定を実行する。そして、一致判定個数の割合がしきい値以上である場合に、検索円C内画像をGaborフィルタ処理対象として保存する。このように、代表扇形fを複数用いることで、画像認識の精度向上を図ることができる。以下、図13のステップS1305において代表扇形f♯(♯は番号)を複数設定した場合の扇形検索処理(ステップS1307)の詳細な処理手順について説明する。
【0072】
図16および図17は、代表扇形f♯を複数設定した場合の扇形検索処理(ステップS1307)の詳細な処理手順を示すフローチャートである。まず、未選択の検索画像Grがメインメモリ408にあるか否かを判断し(ステップS1601)、未選択の検索画像Grを1つ選択する(ステップS1602)。また、抽出部504により、代表扇形内画像gの特徴量を抽出して(ステップS1603)、ヒストグラム平坦化を実行する(ステップS1604)。
【0073】
そして、選択検索画像Gr内で未選択の扇形画像があるか否かを判断する(ステップS1605)。未選択の扇形画像がある場合(ステップS1605:Yes)、未選択の扇形画像を1つ選択する(ステップS1606)。そして、選択扇形画像の特徴量(平坦化されたヒストグラム)をメインメモリ408から抽出する(ステップS1607)。
【0074】
このあと、算出部511により、一致度Mの算出処理を実行する(ステップS1608)。一致度Mが算出されると判断部512により、M≧Mtであるか否かを判断する(ステップS1609)。M≧Mtでない場合(ステップS1609:No)、ステップS1605に戻る。したがって、M≧Mtとなる選択扇形画像が見つかるまでステップS1605〜S1609を繰り返す。一方、M≧Mtである場合(ステップS1609:Yes)、図17のステップS1701に移行する。すなわち、図15の例では、第1の一致判定により一致すると判定されたこととなり、図17により第2および第3の一致判定を実行することとなる。
【0075】
一方、M≧Mtとなる選択扇形画像が見つかるまでステップS1605〜S1609を繰り返すが、ステップS1605において、未選択の扇形画像がない場合(ステップS1605:No)、ステップS1601に戻り、未選択の検索画像Grがあるか否かを判断する(ステップS1601)。未選択の検索画像Grがない場合(ステップS1601:No)、M≧Mtとなる選択扇形画像が見つからなかったこととなり、ステップS1308に移行する。この場合、Gaborフィルタ処理対象がないため、特定画像(顔画像)の同定ができずに終了することとなる。
【0076】
また、図17において、未選択の代表扇形f♯があるか否かを判断する(ステップS1701)。未選択の代表扇形f♯がある場合(ステップS1701:Yes)、未選択の代表扇形f♯を1つ選択する(ステップS1702)。そして、抽出部504により、代表扇形内画像gの特徴量を抽出して(ステップS1703)、ヒストグラム平坦化を実行する(ステップS1704)。
【0077】
このあと、選択された代表扇形内画像g♯に位置が対応する扇形画像を選択する(ステップS1705)。具体的には、ステップS1609において一致判定された扇形画像から、ステップS1609において一致判定された代表扇形f♯からステップS1702で選択された代表扇形内画像g♯への回転方向および回転角により特定される未選択の扇形画像を選択する。そして、選択扇形画像の特徴量(平坦化されたヒストグラム)をメインメモリ408から抽出する(ステップS1706)。
【0078】
このあと、算出部511により、一致度Mの算出処理を実行する(ステップS1707)。一致度Mが算出されると判断部512により、M≧Mtであるか否かを判断する(ステップS1708)。M≧Mtでない場合(ステップS1708:No)、ステップS1701に戻り、ステップS1701〜ステップS1708を繰り返す。したがって、M≧Mtとなる選択扇形画像が見つかるまでステップS1701〜S1708を繰り返す。一方、M≧Mtである場合(ステップS1708:Yes)、一致数kをインクリメントして(ステップS1709)、ステップS1701に戻り、ステップS1701〜ステップS1708を繰り返す。
【0079】
また、ステップS1701において、未選択の代表扇形f♯がない場合(ステップS1701:No)、k/n≧tであるか否かを判断する(ステップS1710)。nは、代表扇形f♯の個数であり、tはしきい値である。k/n≧tである場合(ステップS1710:Yes)、Gaborフィルタ処理対象として検索円C内画像をメインメモリ408に保存し(ステップS1711)、ステップS1308に移行する。一方、k/n≧tでない場合(ステップS1710:No)、ステップS1601に戻る。
【0080】
このように、図16および図17に示した扇形検索処理によれば、代表扇形f♯を複数個用いて対応する扇形画像との一致判定を実行する。したがって、一致した個数に応じて画像認識精度の向上を図ることができる。また、しきい値tを高く設定することで、より画像認識精度が高くなるため、Gaborフィルタ処理を実行せず、検索円C内画像を顔画像候補として保存することとしてもよい。
【0081】
また、図15において、第1〜第3の一致判定により、画像g1〜g3とこれらに対応する扇形画像(K),(C),(G)がすべて一致すると判定された場合、検索円C内画像をGaborフィルタ処理対象として保存することとしてもよい。この場合、第1〜第3の一致判定は、第1の一致判定から順次実行するため、不一致と判定された時点で処理は終了する。したがって、画像認識の精度向上および高速化を実現することができる。以下、詳細な処理手順を図18を用いて説明する。
【0082】
図18は、代表扇形f♯を複数設定した場合の扇形検索処理(ステップS1307)の後半の他の例の詳細な処理手順を示すフローチャートである。まず、未選択の代表扇形fがあるか否かを判断する(ステップS1801)。未選択の代表扇形fがある場合(ステップS1801:Yes)、未選択の代表扇形fを1つ選択する(ステップS1802)。そして、抽出部504により、代表扇形内画像gの特徴量を抽出して(ステップS1803)、ヒストグラム平坦化を実行する(ステップS1804)。
【0083】
このあと、選択された代表扇形内画像gに位置が対応する扇形画像を選択する(ステップS1805)。具体的には、ステップS1609において一致判定された扇形画像から、ステップS1609において一致判定された代表扇形fからステップS1702で選択された代表扇形内画像gへの回転方向および回転角により特定される未選択の扇形画像を選択する。そして、選択扇形画像の特徴量(平坦化されたヒストグラム)をメインメモリ408から抽出する(ステップS1806)。
【0084】
このあと、算出部511により、一致度Mの算出処理を実行する(ステップS1807)。一致度Mが算出されると判断部512により、M≧Mtであるか否かを判断する(ステップS1808)。M≧Mtでない場合(ステップS1808:No)、ステップS1601に戻り、検索画像Grとの一致をあきらめて、つぎの検索画像Grを選択する。
【0085】
一方、M≧Mtである場合(ステップS1808:Yes)、ステップS1801に戻り、ステップS1801〜ステップS1808を繰り返す。すなわち、M≧Mtでない状態になるまで繰り返す。
【0086】
また、ステップS1801において、未選択の代表扇形f♯がない場合(ステップS1801:No)、Gaborフィルタ処理対象として検索円C内画像をメインメモリ408に保存し(ステップS1809)、ステップS1308に移行する。
【0087】
本処理手順によれば、不一致と判定された時点で処理は終了するため、すべて一致した場合のみGaborフィルタ処理対象としてメインメモリ408に保存される。したがって、保存された検索円C内画像の画像認識の精度向上を図ることができる。また、1回でも不一致判定がなされた場合は、残余の扇形画像の一致判定をおこなわずにその時点で検索画像Grが切り替えられる。したがって、画像認識の高速化を実現することができる。
【0088】
また、代表扇形f♯を複数個用いていることにより画像認識精度が向上していることから、Gaborフィルタ処理対象ではなく顔画像として検索円C内画像を保存することとしてもよい。これにより、Gaborフィルタ処理を省略することができるため、処理速度の向上を図ることができる。
【0089】
以上説明したように、本実施の形態によれば、扇形どうしで比較するため、検索円C内画像の向きと検索画像Grの向きが異なっていても簡単に一致判定することができる。これにより、顔画像があるか否か、あるとしてもどの方向に向いているかわからない対象画像Goの中から候補画像を高速かつ低負荷で検索することができる。
【0090】
また、一致度Mを特徴量により算出することで、Retinaサンプリングでの混合ガウス分布を求めるような複雑な計算処理が不要となる。したがって、候補画像を高速かつ低負荷で検索することができる。
【0091】
また、代表扇形f♯を複数個用いて、検索画像Gr中、位置が対応する扇形画像との一致判定をおこない、一致割合(k/n)により候補画像か否かを決定することで、代表扇形fが1個の場合に比べて画像認識精度の向上を図ることができる。
【0092】
また、代表扇形f♯を複数個用いて、検索画像Gr中、位置が対応する扇形画像との一致判定をおこなう場合、不一致と判定された時点で処理を終了させることで、すべて一致した場合のみ候補画像として保存される。したがって、保存された検索円C内画像の画像認識の精度向上を図ることができる。また、1回でも不一致判定がなされた場合は、残余の扇形画像の一致判定をおこなわずにその時点で検索画像Grが切り替えられる。したがって、画像認識の高速化を実現することができる。
【0093】
なお、上述した実施の形態では、特定画像として正面から見た顔画像を例に挙げている。したがって、顔画像の画像認識の精度向上、処理速度の向上および処理負荷の軽減を図ることができる。また、特定画像は斜めからみた顔画像や横顔画像でもよい。また、顔に限らず、体の他の部位でもよい。また、人間に限らず生物の顔などの部位でもよい。さらには、生物ではなく物体(たとえば、車両)の特徴的な部位であってもよい。代表扇形fの中心角や半径の長さは、設定に応じて変更可能である。これにより、対象画像Goの大きさや種類に応じた一致判定をおこなうことができる。
【0094】
また、上述した実施の形態では、対象画像Go上を走査する検索窓を検索円Cとしたが、頂点数の多い正タ多角形(たとえば、正6角形、正8角形、正10角形、…)でも検索円Cとして用いることもできる。
【0095】
なお、本実施の形態で説明した画像処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本画像処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本画像処理プログラムは、インターネット等のネットワークを介して配布してもよい。
【0096】
また、本実施の形態で説明した画像処理装置400は、スタンダードセルやストラクチャードASIC(Application Specific Integrated Circuit)などの特定用途向けIC(以下、単に「ASIC」と称す。)やFPGAなどのPLD(Programmable Logic Device)によっても実現することができる。具体的には、たとえば、上述した画像処理装置400の機能をHDL記述によって機能定義し、そのHDL記述を論理合成してASICやPLDに与えることにより、画像処理装置400を製造することができる。
【0097】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0098】
(付記1)特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶する記憶装置にアクセス可能なコンピュータを、
対象画像を走査する検索円の中心を基点とする中心角により規定された代表扇形を設定する設定手段、
前記対象画像の任意の走査位置での前記検索円内の画像のうち前記設定手段によって設定された代表扇形内の画像の特徴量を抽出し、前記記憶装置に記憶されている前記複数の扇形画像の特徴量を抽出する抽出手段、
前記抽出手段によって抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像が、前記複数の扇形画像にあるか否かを判定する判定手段、
前記判定手段によって判定された判定結果に基づいて、前記検索円内の画像を前記特定画像の画像候補に決定する決定手段、
として機能させることを特徴とする画像処理プログラム。
【0099】
(付記2)前記コンピュータを、
前記代表扇形内の画像の特徴量と前記扇形画像の特徴量とに基づいて、前記代表扇形内の画像と前記扇形画像との一致度を算出する算出手段、
前記算出手段によって算出された一致度が所定のしきい値以上であるか否かを判断する判断手段、として機能させ、
前記判定手段は、
前記判断手段によって判断された判断結果に基づいて、前記代表扇形内の画像に一致する画像が、前記複数の扇形画像にあるか否かを判定することを特徴とする付記1に記載の画像処理プログラム。
【0100】
(付記3)前記設定手段は、
前記代表扇形を複数設定し、
前記抽出手段は、
前記各代表扇形内の画像の特徴量を抽出し、
前記判定手段は、
前記代表扇形内の画像が前記複数の扇形画像にあると判定された場合、前記一の代表扇形以外の他の代表扇形内の画像の特徴量と、前記一の代表扇形内の画像と対応する一の扇形画像を基準とした場合の前記複数の代表扇形の配列パターンに対応する他の扇形画像の特徴量と、に基づいて、前記他の代表扇形内の画像が、前記対応する他の扇形画像に対応するか否かを判定し、
前記決定手段は、
前記複数の代表扇形内の画像と前記複数の代表扇形の配列パターンに対応する複数の扇形画像との一致数に基づいて、前記検索円内の画像を前記特定画像と同種の画像候補に決定することを特徴とする付記1または2に記載の画像処理プログラム。
【0101】
(付記4)前記判定手段は、
前記他の代表扇形内の画像ごとに順次、前記他の代表扇形内の画像が、前記対応する他の扇形画像に一致するか否かを判定し、
前記決定手段は、
前記対応する他の扇形画像に一致しない前記他の代表扇形内の画像が出現した場合、残余の他の代表扇形内の画像について判定することなく、前記検索円内の画像を前記特定画像と同種の画像候補でないと決定することを特徴とする付記3に記載の画像処理プログラム。
【0102】
(付記5)前記コンピュータを、
前記決定手段によって決定された画像候補についてGaborフィルタ処理を実行するGaborフィルタ処理実行手段、
前記Gaborフィルタ処理実行手段によって実行されたGaborフィルタ処理結果を出力する出力手段、
として機能させることを特徴とする付記1〜4のいずれか一つに記載の画像処理プログラム。
【0103】
(付記6)前記特定画像は顔画像であることを特徴とする付記1〜5のいずれか一つに記載の画像処理プログラム。
【0104】
(付記7)特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶する記憶手段と、
対象画像を走査する検索円の中心を基点とする中心角により規定された代表扇形を設定する設定手段と、
前記対象画像の任意の走査位置での前記検索円内の画像のうち前記設定手段によって設定された代表扇形内の画像の特徴量を抽出し、前記記憶手段に記憶されている前記複数の扇形画像の特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像が、前記複数の扇形画像にあるか否かを判定する判定手段と、
前記判定手段によって判定された判定結果に基づいて、前記検索円内の画像を前記特定画像の画像候補に決定する決定手段と、
を備えることを特徴とする画像処理装置。
【0105】
(付記8)特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶する記憶装置にアクセス可能なコンピュータが、
対象画像を走査する検索円の中心を基点とする中心角により規定された代表扇形を設定する設定工程と、
前記対象画像の任意の走査位置での前記検索円内の画像のうち前記設定工程によって設定された代表扇形内の画像の特徴量を抽出し、前記記憶装置に記憶されている前記複数の扇形画像の特徴量を抽出する抽出工程と、
前記抽出工程によって抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像が、前記複数の扇形画像にあるか否かを判定する判定工程と、
前記判定工程によって判定された判定結果に基づいて、前記検索円内の画像を前記特定画像の画像候補に決定する決定工程と、
を実行することを特徴とする画像処理方法。
【符号の説明】
【0106】
Gr 検索画像
C 検索円
Go 対象画像
f 代表扇形
f1〜f3 代表扇形
g 代表扇形内画像
g1〜g3 代表扇形内画像
400 画像処理装置
411 ソフトウェア処理部
412 アクセラレータ
501 画像処理部
502 画像前処理部
503 設定部
504 抽出部
505 記憶部
506 判定部
507 決定部
508 Gaborフィルタ処理実行部
509 出力部
511 算出部
512 判断部

【特許請求の範囲】
【請求項1】
特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶する記憶装置にアクセス可能なコンピュータを、
対象画像を走査する検索円の中心を基点とする中心角により規定された代表扇形を設定する設定手段、
前記対象画像の任意の走査位置での前記検索円内の画像のうち前記設定手段によって設定された代表扇形内の画像の特徴量を抽出し、前記記憶装置に記憶されている前記複数の扇形画像の特徴量を抽出する抽出手段、
前記抽出手段によって抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像が、前記複数の扇形画像にあるか否かを判定する判定手段、
前記判定手段によって判定された判定結果に基づいて、前記検索円内の画像を前記特定画像の画像候補に決定する決定手段、
として機能させることを特徴とする画像処理プログラム。
【請求項2】
前記コンピュータを、
前記代表扇形内の画像の特徴量と前記扇形画像の特徴量とに基づいて、前記代表扇形内の画像と前記扇形画像との一致度を算出する算出手段、
前記算出手段によって算出された一致度が所定のしきい値以上であるか否かを判断する判断手段、として機能させ、
前記判定手段は、
前記判断手段によって判断された判断結果に基づいて、前記代表扇形内の画像に一致する画像が、前記複数の扇形画像にあるか否かを判定することを特徴とする請求項1に記載の画像処理プログラム。
【請求項3】
前記設定手段は、
前記代表扇形を複数設定し、
前記抽出手段は、
前記各代表扇形内の画像の特徴量を抽出し、
前記判定手段は、
前記代表扇形内の画像が前記複数の扇形画像にあると判定された場合、前記一の代表扇形以外の他の代表扇形内の画像の特徴量と、前記一の代表扇形内の画像と対応する一の扇形画像を基準とした場合の前記複数の代表扇形の配列パターンに対応する他の扇形画像の特徴量と、に基づいて、前記他の代表扇形内の画像が、前記対応する他の扇形画像に対応するか否かを判定し、
前記決定手段は、
前記複数の代表扇形内の画像と前記複数の代表扇形の配列パターンに対応する複数の扇形画像との一致数に基づいて、前記検索円内の画像を前記特定画像と同種の画像候補に決定することを特徴とする請求項1または2に記載の画像処理プログラム。
【請求項4】
前記判定手段は、
前記他の代表扇形内の画像ごとに順次、前記他の代表扇形内の画像が、前記対応する他の扇形画像に対応するか否かを判定し、
前記決定手段は、
前記対応する他の扇形画像に一致しない前記他の代表扇形内の画像が出現した場合、残余の他の代表扇形内の画像について判定することなく、前記検索円内の画像を前記特定画像と同種の画像候補でないと決定することを特徴とする請求項3に記載の画像処理プログラム。
【請求項5】
前記コンピュータを、
前記決定手段によって決定された画像候補についてGaborフィルタ処理を実行するGaborフィルタ処理実行手段、
前記Gaborフィルタ処理実行手段によって実行されたGaborフィルタ処理結果を出力する出力手段、
として機能させることを特徴とする請求項1〜4のいずれか一つに記載の画像処理プログラム。
【請求項6】
特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶する記憶手段と、
対象画像を走査する検索円Cの中心を基点とする中心角により規定された代表扇形を設定する設定手段と、
前記対象画像の任意の走査位置での前記検索円内の画像のうち前記設定手段によって設定された代表扇形内の画像の特徴量を抽出するとともに、前記記憶手段に記憶されている前記複数の扇形画像の特徴量を抽出する抽出手段と、
前記抽出手段によって抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像に一致する画像が、前記複数の扇形画像にあるか否かを判定する判定手段と、
前記判定手段によって判定された判定結果に基づいて、前記検索円内の画像を前記特定画像と同種の画像候補に決定する決定手段と、
を備えることを特徴とする画像処理装置。
【請求項7】
特定画像の中心を基点とする中心角により規定された複数の扇形画像の特徴量を記憶する記憶装置にアクセス可能なコンピュータが、
対象画像を走査する検索円の中心を基点とする中心角により規定された代表扇形を設定する設定工程と、
前記対象画像の任意の走査位置での前記検索円内の画像のうち前記設定工程によって設定された代表扇形内の画像の特徴量を抽出するとともに、前記記憶装置に記憶されている前記複数の扇形画像の特徴量を抽出する抽出工程と、
前記抽出工程によって抽出された前記代表扇形内の画像の特徴量と前記各扇形画像の特徴量とに基づいて、前記代表扇形内の画像に一致する画像が、前記複数の扇形画像にあるか否かを判定する判定工程と、
前記判定工程によって判定された判定結果に基づいて、前記検索円内の画像を前記特定画像と同種の画像候補に決定する決定工程と、
を実行することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2011−8713(P2011−8713A)
【公開日】平成23年1月13日(2011.1.13)
【国際特許分類】
【出願番号】特願2009−154098(P2009−154098)
【出願日】平成21年6月29日(2009.6.29)
【出願人】(308014341)富士通セミコンダクター株式会社 (2,507)
【Fターム(参考)】