データ処理装置、データ処理システム、及びプログラム
【課題】特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減できるとともに、顔の向きの判定精度を向上することが可能な、データ処理装置を得る。
【解決手段】データ処理装置は、人物の顔を撮影した画像を取得する取得部３１と、取得部３１が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップ４０を作成する作成部３３と、顔方向マップ４０と、取得部３１が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定部３４と、を備える。
【解決手段】データ処理装置は、人物の顔を撮影した画像を取得する取得部３１と、取得部３１が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップ４０を作成する作成部３３と、顔方向マップ４０と、取得部３１が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定部３４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理システム、及びプログラムに関し、特に、人物の顔を撮影した画像に基づいてその人物の顔の動作を判定する、データ処理装置、データ処理システム、及びプログラムに関する。
【背景技術】
【０００２】
例えば下記特許文献１には、人物の顔を撮影した画像から、目、鼻、口などの顔の特徴点を抽出し、これらの特徴点の位置関係に基づいてその人物の顔の向きを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２３６１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特徴点の位置関係に基づいて人物の顔の向きを判定する手法によると、演算量が膨大となって処理負荷が増大するとともに、顔が真横を向いた場合などには特徴点を正確に抽出できないため、顔の向きを誤って判定してしまう場合がある。
【０００５】
本発明はかかる問題を解決するために成されたものであり、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減できるとともに、顔の向きの判定精度を向上することが可能な、データ処理装置、データ処理システム、及びプログラムを得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係るデータ処理装置は、人物の顔を撮影した画像を取得する取得手段と、前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、を備えることを特徴とするものである。
【０００７】
第１の態様に係るデータ処理装置によれば、取得手段は、人物の顔の画像を撮影した画像を取得し、作成手段は、取得手段が取得した人物の顔の画像に基づいて顔方向マップを作成する。そして、判定手段は、顔方向マップと、取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップを予め作成しておくことにより、判定手段は、撮影画像と顔方向マップ内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【０００８】
本発明の第２の態様に係るデータ処理装置は、第１の態様に係るデータ処理装置において特に、前記作成手段は、前記取得手段が取得したその人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて前記顔方向マップを作成することを特徴とするものである。
【０００９】
第２の態様に係るデータ処理装置によれば、作成手段は、取得手段が取得した人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて顔方向マップを作成する。従って、その人物の顔の三次元画像を撮影するための専用の装置は不要であり、二次元画像を撮影する一般的なＣＣＤカメラなどがあれば足りるため、装置構成を簡略化できるとともに、製品コストを低減することが可能となる。また、顔方向マップの作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００１０】
本発明の第３の態様に係るデータ処理装置は、第２の態様に係るデータ処理装置において特に、前記作成手段は、ニューラルネットワークを用いて前記三次元画像を推定することを特徴とするものである。
【００１１】
第３の態様に係るデータ処理装置によれば、作成手段は、ニューラルネットワークを用いて二次元画像から三次元画像を推定する。これにより、三次元画像の推定を簡易に行うことが可能となる。
【００１２】
本発明の第４の態様に係るデータ処理装置は、第１の態様に係るデータ処理装置において特に、前記作成手段は、前記取得手段が取得したその人物の顔の三次元画像に基づいて前記顔方向マップを作成することを特徴とするものである。
【００１３】
第４の態様に係るデータ処理装置によれば、作成手段は、取得手段が取得した人物の顔の三次元画像に基づいて顔方向マップを作成する。このように、人物の三次元映像を撮影してその人物に関する顔方向マップを作成することにより、二次元画像から三次元画像を推定する場合と比較して精度を向上することが可能となる。また、顔方向マップの作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００１４】
本発明の第５の態様に係るデータ処理装置は、第２〜第４のいずれか一つの態様に係るデータ処理装置において特に、前記作成手段は、前記三次元画像を複数の方向に段階的に回転することによって、各方向におけるその人物の顔の画像を作成することを特徴とするものである。
【００１５】
第５の態様に係るデータ処理装置によれば、作成手段は、三次元画像を複数の方向に段階的に回転することによって、各方向における人物の顔の画像を作成する。これにより、顔方向マップを簡易に作成することが可能となる。
【００１６】
本発明の第６の態様に係るデータ処理装置は、第２〜第４のいずれか一つの態様に係るデータ処理装置において特に、前記作成手段は、前記三次元画像を複数の特定方向に回転することによって、各特定方向におけるその人物の顔の画像を作成し、複数の特定方向における複数の画像間の中間画像を、ニューラルネットワークを用いて作成することを特徴とするものである。
【００１７】
第６の態様に係るデータ処理装置によれば、作成手段は、三次元画像を複数の特定方向に回転することによって、各特定方向における人物の顔の画像を作成し、複数の特定方向における複数の画像間の中間画像を、ニューラルネットワークを用いて作成する。これにより、顔方向マップを簡易に作成することが可能となる。
【００１８】
本発明の第７の態様に係るデータ処理システムは、撮影装置と、データ処理装置と、を備え、前記データ処理装置は、人物の顔を撮影した画像を前記撮影装置から取得する取得手段と、前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、前記顔方向マップと、前記取得手段が前記撮影装置から取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、を有することを特徴とするものである。
【００１９】
第７の態様に係るデータ処理システムによれば、取得手段は、人物の顔の画像を撮影した画像を撮影装置から取得し、作成手段は、取得手段が取得したその人物の顔の画像に基づいて顔方向マップを作成する。そして、判定手段は、顔方向マップと、取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップを予め作成しておくことにより、判定手段は、撮影画像と顔方向マップ内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【００２０】
本発明の第８の態様に係るプログラムは、データ処理装置に搭載されるコンピュータを、人物の顔を撮影した画像を取得する取得手段と、前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、として機能させるためのプログラムである。
【００２１】
第８の態様に係るプログラムによれば、取得手段は、人物の顔の画像を撮影した画像を取得し、作成手段は、取得手段が取得した人物の顔の画像に基づいて顔方向マップを作成する。そして、判定手段は、顔方向マップと、取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップを予め作成しておくことにより、判定手段は、撮影画像と顔方向マップ内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【発明の効果】
【００２２】
本発明によれば、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減できるとともに、顔の向きの判定精度を向上することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係るデータ処理システムの一例として、ノートブック型のパソコンを示す模式図である。
【図２】パソコンのハードウェア構成を示す図である。
【図３】プログラムを実行することによってデータ処理部に実現される機能を示すブロック図である。
【図４】作成部の構成を示す図である。
【図５】顔方向マップの一例を示す図である。
【図６】作成部の第１の変形例を示す図である。
【図７】作成部の第２の変形例を示す図である。
【図８】作成部の第３の変形例を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
図１は、本発明の実施の形態に係るデータ処理システムの一例として、ノートブック型のパソコン１を示す模式図である。また、図２は、パソコン１のハードウェア構成を示す図である。図１，２に示すようにパソコン１は、ＣＣＤカメラ等の撮影部１１と、ＣＰＵ等のデータ処理部１２と、ＩＰネットワーク等と通信を行う通信部１３と、ハードディスク及び半導体メモリ等の記憶部１４と、液晶表示画面等の表示部１５と、キーボード及びマウス等の入力部１６とを備えて構成されている。これらの装置は、バス１１を介して接続されている。記憶部１４には、プログラム２０が記憶されている。
【００２６】
図３は、プログラム２０を実行することによってデータ処理部１２に実現される機能を示すブロック図である。図３に示すようにデータ処理部１２は、取得部３１、抽出部３２、作成部３３、判定部３４、及び画像処理部３５を有している。換言すれば、プログラム２０は、データ処理装置としてのデータ処理部１２を、取得部３１、抽出部３２、作成部３３、判定部３４、及び画像処理部３５として機能させるためのプログラムである。
【００２７】
撮影部１１は、ユーザの顔を含む二次元画像を撮影する。
【００２８】
取得部３１には、ユーザの顔を含む画像データＤ１が、撮影部１１から入力される。画像データＤ１は、例えば、撮影部１１によってユーザの顔を正面から撮影することによって得られる画像データである。
【００２９】
抽出部３２には、画像データＤ１が取得部３１から入力される。抽出部３２は、二値化、エッジ抽出、及びアフィン変換等の周知の手法を用いることにより、画像データＤ１の中からユーザの顔を抽出する。また、抽出部３２は、抽出した顔の画像をニューラルネットワークに対する入力画像として使用できるように、当該顔の画像を所定サイズに圧縮することによって画像データＤ２を生成する。
【００３０】
作成部３３には、ユーザの顔の画像データＤ２が、抽出部３２から入力される。作成部３３は、画像データＤ２に基づいて、そのユーザに関する顔方向マップ４０を作成する。顔方向マップ４０は、ユーザが複数の方向を向いた際の各方向における顔の画像を並べたものである。つまり、顔方向マップ４０には、複数の方向から眺めたユーザの顔の画像が含まれる。
【００３１】
図４は、作成部３３の構成を示す図である。図４に示すように作成部３３は、階層型ニューラルネットワーク５１、回転部５２、及びコホーネン型ニューラルネットワーク５３を有している。
【００３２】
階層型ニューラルネットワーク５１には、ユーザの顔の二次元画像である画像データＤ２が、抽出部３２から入力される。階層型ニューラルネットワーク５１は、画像データＤ２に基づいて三次元画像を推定することにより、そのユーザの顔の三次元画像である画像データＤ１０を生成する。階層型ニューラルネットワーク５１は、複数の入力ユニットを含む入力層と、複数の中間ユニットを含む中間層と、複数の出力ユニットを含む出力層とを備えている。各入力ユニットと各中間ユニットとの間の重み付け値、及び各中間ユニットと各出力ユニットとの間の重み付け値は、事前の学習によってそれぞれ適切な値に設定されている。この学習においては、例えば、人物の顔をＣＣＤカメラで撮影して二次元画像を取得するとともに、レーザーレンジファインダによってその人物の顔の距離画像を取得する。そして、ＣＣＤカメラによって撮影した二次元画像を入力画像として用い、レーザーレンジファインダによって取得した距離画像を教師信号として用いる。様々な人物の顔を用いて複数回の学習を行うことにより、任意の顔の二次元画像から適切な三次元画像が得られるように、上記各ユニット間の重み付け値がそれぞれ設定される。
【００３３】
回転部５２には、画像データＤ１０が階層型ニューラルネットワーク５１から入力される。回転部５２は、ユーザの顔の三次元画像を回転することにより、特定方向から眺めたユーザの顔の二次元画像（以下「特定方向画像」と称す）を複数作成する。例えば、正面、右向き、左向き、上向き、下向き、右上向き、左上向き、右下向き、及び左下向きの特定方向画像を作成する。
【００３４】
コホーネン型ニューラルネットワーク５３には、回転部５２によって作成された複数の特定方向画像の画像データＤ１１が入力される。コホーネン型ニューラルネットワーク５３は、画像データＤ１１に基づいて顔方向マップ４０を作成する。コホーネン型ニューラルネットワーク５３は、複数の入力ユニットを含む入力層と、複数の出力ユニットを含む出力層とを備えている。特定方向画像は入力層に入力される。ある特定方向画像が入力層に入力されると、全ての出力ユニットのうちのある特定の出力ユニットと、その出力ユニットを中心とする所定の学習半径内の複数の出力ユニットとに、その特定方向画像が登録される。別の特定方向画像が入力層に入力されると、別の特定の出力ユニットと、その出力ユニットを中心とする学習半径内の複数の出力ユニットとに、その特定方向画像が登録される。この処理を全ての特定方向画像に関して行う。複数の特定方向画像の登録領域同士が重複する箇所においては、これら複数の特定方向画像同士が互いに融合した（混ざり合った）中間画像が登録される。例えば、正面と右向きとで登録領域の一部同士が重複する箇所においては、正面の顔画像と右向きの顔画像との中間画像（やや右向きの画像）が登録される。このようにコホーネン型ニューラルネットワーク５３は、複数の特定方向画像間の中間画像を作成することにより、自己組織化マップである顔方向マップ４０を作成する。
【００３５】
図５は、顔方向マップ４０の一例を示す図である。顔方向マップ４０は、コホーネン型ニューラルネットワーク５３の複数の出力ユニット１００の集合として構成されており、各出力ユニット１００にユーザの顔画像が一つ表れる。領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９には、右上向き、上向き、左上向き、右向き、正面、左向き、右下向き、下向き、及び左下向きのユーザの顔画像がそれぞれ登録される。顔方向マップ４０においては、マップの上側ほど上向きの度合いが強く、下側ほど下向きの度合いが強く、左側ほど右向きの度合いが強く、右側ほど左向きの度合いが強くなる。
【００３６】
図３を参照して、作成部３３は、上記のようにして作成した顔方向マップ４０を記憶部１４に記憶する。
【００３７】
さて次に、顔方向マップ４０の作成が完了した後の動作について説明する。以下では一例として、ユーザがパソコン１を用いてインターネットにアクセスすることにより、アバターチャットを行う場合について説明する。アバターチャットでは、アバターと称されるキャラクタが各ユーザに設定されており、ユーザがパソコン１を用いて文書を入力すると、アバターが吹き出し等を用いてその文書を発言することにより、仮想空間内でアバター同士が会話をするという演出が行われる。
【００３８】
ユーザがアバターチャットを行っている間、撮影部１１は、ユーザの顔を含む二次元の動画像を撮影する。取得部３１には、ユーザの顔を含む動画像データＤ４が、撮影部１１から入力される。抽出部３２には、動画像データＤ４が取得部３１から入力される。抽出部３２は、二値化、エッジ抽出、及びアフィン変換等の周知の手法を用いることにより、動画像データＤ４の中からユーザの顔を抽出する。
【００３９】
判定部３４には、ユーザの顔の動画像データＤ５が、抽出部３２から入力される。判定部３４は、記憶部１４から読み出した顔方向マップ４０と、抽出部３２から入力された動画像データＤ５とに基づいて、ユーザの顔の動作（うなずき、首振り）を判定する。具体的に、判定部３４は、動画像データＤ５の各フレームの顔画像に関して、顔方向マップ４０に含まれる全ての顔画像の中で類似度が最も高い顔画像を、パターンマッチング等によって探索する。そして、類似度が最も高い顔画像として特定された箇所の軌跡が、領域Ｒ５→Ｒ８→Ｒ５である場合は、ユーザの顔の動作はうなずきであると判定する。また、類似度が最も高い顔画像として特定された箇所の軌跡が、領域Ｒ５→Ｒ６→Ｒ５→Ｒ４→Ｒ５又は領域Ｒ５→Ｒ４→Ｒ５→Ｒ６→Ｒ５）である場合は、ユーザの顔の動作は首振りであると判定する。
【００４０】
画像処理部３５には、ユーザの顔の動作を示すデータＤ６が、判定部３４から入力される。画像処理部３５は、ユーザの顔の動作がうなずきである場合には、うなずき動作を行うアバターを表す画像データＤ７を出力し、ユーザの顔の動作が首振りである場合には、首振り動作を行うアバターを表す画像データＤ７を出力する。画像データＤ７は表示部１５に入力され、表示部１５においてアバター動作の演出が行われる。また、画像データＤ７は図２に示した通信部１３を介してチャット相手に送信され、チャット相手の表示画面においてアバター動作の演出が行われる。なお、ユーザの顔の動作としては、うなずき及び首振りのみならず、傾げ等の他の動作を検出して、アバターの演出に反映させてもよい。
【００４１】
図６は、作成部３３の第１の変形例を示す図である。本変形例に係る作成部３３は、階層型ニューラルネットワーク５１と回転部５２とを有している。
【００４２】
階層型ニューラルネットワーク５１は、上記実施の形態と同様の方法によって、ユーザの顔の三次元画像である画像データＤ１０を生成する。
【００４３】
回転部５２には、画像データＤ１０が階層型ニューラルネットワーク５１から入力される。回転部５２は、三次元画像を所定の角度単位（例えば数度単位）で上下左右方向に段階的に回転することにより、各回転位置におけるユーザの顔の二次元画像を作成する。そして、作成した複数の二次元画像をマップ上に並べることにより、顔方向マップ４０を作成する。
【００４４】
図７は、作成部３３の第２の変形例を示す図である。本変形例に係る作成部３３は、回転部５２とコホーネン型ニューラルネットワーク５３とを有している。
【００４５】
回転部５２には、ユーザの顔の三次元画像である画像データＤ１０が入力される。ユーザの顔の三次元画像は、任意の三次元計測技術を用いて作成することができ、取得部３１によって取得される。
【００４６】
例えば、色毎に位相をずらした赤・青・緑の縦縞のカラーパターンを、ユーザに向けて正面から照射し、ユーザ上に投影されたカラーパターンを、ユーザの斜め前方に配置されたカラーカメラによって撮影する。カラーパターンはユーザの顔の凹凸に応じて変形するため、その変形具合を解析することによって、ユーザの顔の三次元画像を作成することができる。
【００４７】
また例えば、ＴＯＦ（Time Of Flight）カメラを用いてユーザの前方から赤外線を照射し、ユーザによって反射された赤外線を、ＴＯＦカメラのセンサによって検出する。ＴＯＦカメラから照射した赤外線がユーザによって反射されてＴＯＦカメラに戻ってくるまでの時間（飛行時間）は、ユーザの顔の凹凸に応じて異なるため、その飛行時間の分布を解析することによって、ユーザの顔の三次元画像を作成することができる。
【００４８】
また例えば、ステレオカメラによってユーザを撮影することによって、ユーザの顔の三次元画像を作成することができる。
【００４９】
回転部５２は、上記実施の形態と同様の方法によって、複数の特定方向画像の画像データＤ１１を生成する。
【００５０】
コホーネン型ニューラルネットワーク５３は、上記実施の形態と同様の方法によって、画像データＤ１１に基づいて顔方向マップ４０を作成する。
【００５１】
図８は、作成部３３の第３の変形例を示す図である。本変形例に係る作成部３３は、回転部５２を有している。
【００５２】
回転部５２には、ユーザの顔の三次元画像である画像データＤ１０が入力される。画像データＤ１０は、上記第２の変形例と同様に任意の三次元計測技術を用いて作成された画像データである。回転部５２は、上記第１の変形例と同様の方法によって顔方向マップ４０を作成する。
【００５３】
なお、以上の説明では、ユーザの顔の動作を検出してそれをアバターの動作に反映させる例について述べたが、本発明の利用態様はこの例に限定されるものではない。例えば、ユーザと対話を行う対話型ロボットにが、ユーザの顔の動作を検出し、その検出結果に基づいて「はい」や「いいえ」等のユーザの意思を解釈するといった利用態様が考えられる。
【００５４】
このように本実施の形態に係るデータ処理装置によれば、取得部３１は、人物の顔の画像を撮影した画像を取得し、作成部３３は、取得部３１が取得した人物の顔の画像に基づいて顔方向マップ４０を作成する。そして、判定部３４は、顔方向マップ４０と、取得部３１が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップ４０を予め作成しておくことにより、判定部３４は、撮影画像と顔方向マップ４０内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【００５５】
また、本実施の形態に係るデータ処理装置によれば、作成部３３は、取得部３１が取得した人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて顔方向マップ４０を作成する。従って、その人物の顔の三次元画像を撮影するための専用の装置は不要であり、二次元画像を撮影する一般的なＣＣＤカメラなどがあれば足りるため、装置構成を簡略化できるとともに、製品コストを低減することが可能となる。また、顔方向マップ４０の作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００５６】
また、本実施の形態に係るデータ処理装置によれば、図４，６に示した作成部３３は、階層型ニューラルネットワーク５１を用いて二次元画像から三次元画像を推定する。これにより、三次元画像の推定を簡易に行うことが可能となる。
【００５７】
また、本実施の形態に係るデータ処理装置によれば、図７，８に示した作成部３３は、取得部３１が取得した人物の顔の三次元画像に基づいて顔方向マップ４０を作成する。このように、人物の三次元映像を撮影してその人物に関する顔方向マップ４０を作成することにより、二次元画像から三次元画像を推定する場合と比較して精度を向上することが可能となる。また、顔方向マップ４０の作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００５８】
また、本実施の形態に係るデータ処理装置によれば、図６，８に示した作成部３３は、三次元画像を複数の方向に段階的に回転することによって、各方向における人物の顔の画像を作成する。これにより、顔方向マップ４０を簡易に作成することが可能となる。
【００５９】
また、本実施の形態に係るデータ処理装置によれば、図４，７に示した作成部３３は、三次元画像を複数の特定方向に回転することによって、各特定方向における人物の顔の画像を作成し、複数の特定方向画像間の中間画像を、コホーネン型ニューラルネットワーク５３を用いて作成する。これにより、顔方向マップ４０を簡易に作成することが可能となる。
【符号の説明】
【００６０】
１ パソコン
１１ 撮影部
１２ データ処理部
１４ 記憶部
２０ プログラム
３１ 取得部
３３ 作成部
３４ 判定部
４０ 顔方向マップ
５１ 階層型ニューラルネットワーク
５３ コホーネン型ニューラルネットワーク
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理システム、及びプログラムに関し、特に、人物の顔を撮影した画像に基づいてその人物の顔の動作を判定する、データ処理装置、データ処理システム、及びプログラムに関する。
【背景技術】
【０００２】
例えば下記特許文献１には、人物の顔を撮影した画像から、目、鼻、口などの顔の特徴点を抽出し、これらの特徴点の位置関係に基づいてその人物の顔の向きを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２３６１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特徴点の位置関係に基づいて人物の顔の向きを判定する手法によると、演算量が膨大となって処理負荷が増大するとともに、顔が真横を向いた場合などには特徴点を正確に抽出できないため、顔の向きを誤って判定してしまう場合がある。
【０００５】
本発明はかかる問題を解決するために成されたものであり、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減できるとともに、顔の向きの判定精度を向上することが可能な、データ処理装置、データ処理システム、及びプログラムを得ることを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係るデータ処理装置は、人物の顔を撮影した画像を取得する取得手段と、前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、を備えることを特徴とするものである。
【０００７】
第１の態様に係るデータ処理装置によれば、取得手段は、人物の顔の画像を撮影した画像を取得し、作成手段は、取得手段が取得した人物の顔の画像に基づいて顔方向マップを作成する。そして、判定手段は、顔方向マップと、取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップを予め作成しておくことにより、判定手段は、撮影画像と顔方向マップ内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【０００８】
本発明の第２の態様に係るデータ処理装置は、第１の態様に係るデータ処理装置において特に、前記作成手段は、前記取得手段が取得したその人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて前記顔方向マップを作成することを特徴とするものである。
【０００９】
第２の態様に係るデータ処理装置によれば、作成手段は、取得手段が取得した人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて顔方向マップを作成する。従って、その人物の顔の三次元画像を撮影するための専用の装置は不要であり、二次元画像を撮影する一般的なＣＣＤカメラなどがあれば足りるため、装置構成を簡略化できるとともに、製品コストを低減することが可能となる。また、顔方向マップの作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００１０】
本発明の第３の態様に係るデータ処理装置は、第２の態様に係るデータ処理装置において特に、前記作成手段は、ニューラルネットワークを用いて前記三次元画像を推定することを特徴とするものである。
【００１１】
第３の態様に係るデータ処理装置によれば、作成手段は、ニューラルネットワークを用いて二次元画像から三次元画像を推定する。これにより、三次元画像の推定を簡易に行うことが可能となる。
【００１２】
本発明の第４の態様に係るデータ処理装置は、第１の態様に係るデータ処理装置において特に、前記作成手段は、前記取得手段が取得したその人物の顔の三次元画像に基づいて前記顔方向マップを作成することを特徴とするものである。
【００１３】
第４の態様に係るデータ処理装置によれば、作成手段は、取得手段が取得した人物の顔の三次元画像に基づいて顔方向マップを作成する。このように、人物の三次元映像を撮影してその人物に関する顔方向マップを作成することにより、二次元画像から三次元画像を推定する場合と比較して精度を向上することが可能となる。また、顔方向マップの作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００１４】
本発明の第５の態様に係るデータ処理装置は、第２〜第４のいずれか一つの態様に係るデータ処理装置において特に、前記作成手段は、前記三次元画像を複数の方向に段階的に回転することによって、各方向におけるその人物の顔の画像を作成することを特徴とするものである。
【００１５】
第５の態様に係るデータ処理装置によれば、作成手段は、三次元画像を複数の方向に段階的に回転することによって、各方向における人物の顔の画像を作成する。これにより、顔方向マップを簡易に作成することが可能となる。
【００１６】
本発明の第６の態様に係るデータ処理装置は、第２〜第４のいずれか一つの態様に係るデータ処理装置において特に、前記作成手段は、前記三次元画像を複数の特定方向に回転することによって、各特定方向におけるその人物の顔の画像を作成し、複数の特定方向における複数の画像間の中間画像を、ニューラルネットワークを用いて作成することを特徴とするものである。
【００１７】
第６の態様に係るデータ処理装置によれば、作成手段は、三次元画像を複数の特定方向に回転することによって、各特定方向における人物の顔の画像を作成し、複数の特定方向における複数の画像間の中間画像を、ニューラルネットワークを用いて作成する。これにより、顔方向マップを簡易に作成することが可能となる。
【００１８】
本発明の第７の態様に係るデータ処理システムは、撮影装置と、データ処理装置と、を備え、前記データ処理装置は、人物の顔を撮影した画像を前記撮影装置から取得する取得手段と、前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、前記顔方向マップと、前記取得手段が前記撮影装置から取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、を有することを特徴とするものである。
【００１９】
第７の態様に係るデータ処理システムによれば、取得手段は、人物の顔の画像を撮影した画像を撮影装置から取得し、作成手段は、取得手段が取得したその人物の顔の画像に基づいて顔方向マップを作成する。そして、判定手段は、顔方向マップと、取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップを予め作成しておくことにより、判定手段は、撮影画像と顔方向マップ内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【００２０】
本発明の第８の態様に係るプログラムは、データ処理装置に搭載されるコンピュータを、人物の顔を撮影した画像を取得する取得手段と、前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、として機能させるためのプログラムである。
【００２１】
第８の態様に係るプログラムによれば、取得手段は、人物の顔の画像を撮影した画像を取得し、作成手段は、取得手段が取得した人物の顔の画像に基づいて顔方向マップを作成する。そして、判定手段は、顔方向マップと、取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップを予め作成しておくことにより、判定手段は、撮影画像と顔方向マップ内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【発明の効果】
【００２２】
本発明によれば、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減できるとともに、顔の向きの判定精度を向上することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係るデータ処理システムの一例として、ノートブック型のパソコンを示す模式図である。
【図２】パソコンのハードウェア構成を示す図である。
【図３】プログラムを実行することによってデータ処理部に実現される機能を示すブロック図である。
【図４】作成部の構成を示す図である。
【図５】顔方向マップの一例を示す図である。
【図６】作成部の第１の変形例を示す図である。
【図７】作成部の第２の変形例を示す図である。
【図８】作成部の第３の変形例を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
図１は、本発明の実施の形態に係るデータ処理システムの一例として、ノートブック型のパソコン１を示す模式図である。また、図２は、パソコン１のハードウェア構成を示す図である。図１，２に示すようにパソコン１は、ＣＣＤカメラ等の撮影部１１と、ＣＰＵ等のデータ処理部１２と、ＩＰネットワーク等と通信を行う通信部１３と、ハードディスク及び半導体メモリ等の記憶部１４と、液晶表示画面等の表示部１５と、キーボード及びマウス等の入力部１６とを備えて構成されている。これらの装置は、バス１１を介して接続されている。記憶部１４には、プログラム２０が記憶されている。
【００２６】
図３は、プログラム２０を実行することによってデータ処理部１２に実現される機能を示すブロック図である。図３に示すようにデータ処理部１２は、取得部３１、抽出部３２、作成部３３、判定部３４、及び画像処理部３５を有している。換言すれば、プログラム２０は、データ処理装置としてのデータ処理部１２を、取得部３１、抽出部３２、作成部３３、判定部３４、及び画像処理部３５として機能させるためのプログラムである。
【００２７】
撮影部１１は、ユーザの顔を含む二次元画像を撮影する。
【００２８】
取得部３１には、ユーザの顔を含む画像データＤ１が、撮影部１１から入力される。画像データＤ１は、例えば、撮影部１１によってユーザの顔を正面から撮影することによって得られる画像データである。
【００２９】
抽出部３２には、画像データＤ１が取得部３１から入力される。抽出部３２は、二値化、エッジ抽出、及びアフィン変換等の周知の手法を用いることにより、画像データＤ１の中からユーザの顔を抽出する。また、抽出部３２は、抽出した顔の画像をニューラルネットワークに対する入力画像として使用できるように、当該顔の画像を所定サイズに圧縮することによって画像データＤ２を生成する。
【００３０】
作成部３３には、ユーザの顔の画像データＤ２が、抽出部３２から入力される。作成部３３は、画像データＤ２に基づいて、そのユーザに関する顔方向マップ４０を作成する。顔方向マップ４０は、ユーザが複数の方向を向いた際の各方向における顔の画像を並べたものである。つまり、顔方向マップ４０には、複数の方向から眺めたユーザの顔の画像が含まれる。
【００３１】
図４は、作成部３３の構成を示す図である。図４に示すように作成部３３は、階層型ニューラルネットワーク５１、回転部５２、及びコホーネン型ニューラルネットワーク５３を有している。
【００３２】
階層型ニューラルネットワーク５１には、ユーザの顔の二次元画像である画像データＤ２が、抽出部３２から入力される。階層型ニューラルネットワーク５１は、画像データＤ２に基づいて三次元画像を推定することにより、そのユーザの顔の三次元画像である画像データＤ１０を生成する。階層型ニューラルネットワーク５１は、複数の入力ユニットを含む入力層と、複数の中間ユニットを含む中間層と、複数の出力ユニットを含む出力層とを備えている。各入力ユニットと各中間ユニットとの間の重み付け値、及び各中間ユニットと各出力ユニットとの間の重み付け値は、事前の学習によってそれぞれ適切な値に設定されている。この学習においては、例えば、人物の顔をＣＣＤカメラで撮影して二次元画像を取得するとともに、レーザーレンジファインダによってその人物の顔の距離画像を取得する。そして、ＣＣＤカメラによって撮影した二次元画像を入力画像として用い、レーザーレンジファインダによって取得した距離画像を教師信号として用いる。様々な人物の顔を用いて複数回の学習を行うことにより、任意の顔の二次元画像から適切な三次元画像が得られるように、上記各ユニット間の重み付け値がそれぞれ設定される。
【００３３】
回転部５２には、画像データＤ１０が階層型ニューラルネットワーク５１から入力される。回転部５２は、ユーザの顔の三次元画像を回転することにより、特定方向から眺めたユーザの顔の二次元画像（以下「特定方向画像」と称す）を複数作成する。例えば、正面、右向き、左向き、上向き、下向き、右上向き、左上向き、右下向き、及び左下向きの特定方向画像を作成する。
【００３４】
コホーネン型ニューラルネットワーク５３には、回転部５２によって作成された複数の特定方向画像の画像データＤ１１が入力される。コホーネン型ニューラルネットワーク５３は、画像データＤ１１に基づいて顔方向マップ４０を作成する。コホーネン型ニューラルネットワーク５３は、複数の入力ユニットを含む入力層と、複数の出力ユニットを含む出力層とを備えている。特定方向画像は入力層に入力される。ある特定方向画像が入力層に入力されると、全ての出力ユニットのうちのある特定の出力ユニットと、その出力ユニットを中心とする所定の学習半径内の複数の出力ユニットとに、その特定方向画像が登録される。別の特定方向画像が入力層に入力されると、別の特定の出力ユニットと、その出力ユニットを中心とする学習半径内の複数の出力ユニットとに、その特定方向画像が登録される。この処理を全ての特定方向画像に関して行う。複数の特定方向画像の登録領域同士が重複する箇所においては、これら複数の特定方向画像同士が互いに融合した（混ざり合った）中間画像が登録される。例えば、正面と右向きとで登録領域の一部同士が重複する箇所においては、正面の顔画像と右向きの顔画像との中間画像（やや右向きの画像）が登録される。このようにコホーネン型ニューラルネットワーク５３は、複数の特定方向画像間の中間画像を作成することにより、自己組織化マップである顔方向マップ４０を作成する。
【００３５】
図５は、顔方向マップ４０の一例を示す図である。顔方向マップ４０は、コホーネン型ニューラルネットワーク５３の複数の出力ユニット１００の集合として構成されており、各出力ユニット１００にユーザの顔画像が一つ表れる。領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９には、右上向き、上向き、左上向き、右向き、正面、左向き、右下向き、下向き、及び左下向きのユーザの顔画像がそれぞれ登録される。顔方向マップ４０においては、マップの上側ほど上向きの度合いが強く、下側ほど下向きの度合いが強く、左側ほど右向きの度合いが強く、右側ほど左向きの度合いが強くなる。
【００３６】
図３を参照して、作成部３３は、上記のようにして作成した顔方向マップ４０を記憶部１４に記憶する。
【００３７】
さて次に、顔方向マップ４０の作成が完了した後の動作について説明する。以下では一例として、ユーザがパソコン１を用いてインターネットにアクセスすることにより、アバターチャットを行う場合について説明する。アバターチャットでは、アバターと称されるキャラクタが各ユーザに設定されており、ユーザがパソコン１を用いて文書を入力すると、アバターが吹き出し等を用いてその文書を発言することにより、仮想空間内でアバター同士が会話をするという演出が行われる。
【００３８】
ユーザがアバターチャットを行っている間、撮影部１１は、ユーザの顔を含む二次元の動画像を撮影する。取得部３１には、ユーザの顔を含む動画像データＤ４が、撮影部１１から入力される。抽出部３２には、動画像データＤ４が取得部３１から入力される。抽出部３２は、二値化、エッジ抽出、及びアフィン変換等の周知の手法を用いることにより、動画像データＤ４の中からユーザの顔を抽出する。
【００３９】
判定部３４には、ユーザの顔の動画像データＤ５が、抽出部３２から入力される。判定部３４は、記憶部１４から読み出した顔方向マップ４０と、抽出部３２から入力された動画像データＤ５とに基づいて、ユーザの顔の動作（うなずき、首振り）を判定する。具体的に、判定部３４は、動画像データＤ５の各フレームの顔画像に関して、顔方向マップ４０に含まれる全ての顔画像の中で類似度が最も高い顔画像を、パターンマッチング等によって探索する。そして、類似度が最も高い顔画像として特定された箇所の軌跡が、領域Ｒ５→Ｒ８→Ｒ５である場合は、ユーザの顔の動作はうなずきであると判定する。また、類似度が最も高い顔画像として特定された箇所の軌跡が、領域Ｒ５→Ｒ６→Ｒ５→Ｒ４→Ｒ５又は領域Ｒ５→Ｒ４→Ｒ５→Ｒ６→Ｒ５）である場合は、ユーザの顔の動作は首振りであると判定する。
【００４０】
画像処理部３５には、ユーザの顔の動作を示すデータＤ６が、判定部３４から入力される。画像処理部３５は、ユーザの顔の動作がうなずきである場合には、うなずき動作を行うアバターを表す画像データＤ７を出力し、ユーザの顔の動作が首振りである場合には、首振り動作を行うアバターを表す画像データＤ７を出力する。画像データＤ７は表示部１５に入力され、表示部１５においてアバター動作の演出が行われる。また、画像データＤ７は図２に示した通信部１３を介してチャット相手に送信され、チャット相手の表示画面においてアバター動作の演出が行われる。なお、ユーザの顔の動作としては、うなずき及び首振りのみならず、傾げ等の他の動作を検出して、アバターの演出に反映させてもよい。
【００４１】
図６は、作成部３３の第１の変形例を示す図である。本変形例に係る作成部３３は、階層型ニューラルネットワーク５１と回転部５２とを有している。
【００４２】
階層型ニューラルネットワーク５１は、上記実施の形態と同様の方法によって、ユーザの顔の三次元画像である画像データＤ１０を生成する。
【００４３】
回転部５２には、画像データＤ１０が階層型ニューラルネットワーク５１から入力される。回転部５２は、三次元画像を所定の角度単位（例えば数度単位）で上下左右方向に段階的に回転することにより、各回転位置におけるユーザの顔の二次元画像を作成する。そして、作成した複数の二次元画像をマップ上に並べることにより、顔方向マップ４０を作成する。
【００４４】
図７は、作成部３３の第２の変形例を示す図である。本変形例に係る作成部３３は、回転部５２とコホーネン型ニューラルネットワーク５３とを有している。
【００４５】
回転部５２には、ユーザの顔の三次元画像である画像データＤ１０が入力される。ユーザの顔の三次元画像は、任意の三次元計測技術を用いて作成することができ、取得部３１によって取得される。
【００４６】
例えば、色毎に位相をずらした赤・青・緑の縦縞のカラーパターンを、ユーザに向けて正面から照射し、ユーザ上に投影されたカラーパターンを、ユーザの斜め前方に配置されたカラーカメラによって撮影する。カラーパターンはユーザの顔の凹凸に応じて変形するため、その変形具合を解析することによって、ユーザの顔の三次元画像を作成することができる。
【００４７】
また例えば、ＴＯＦ（Time Of Flight）カメラを用いてユーザの前方から赤外線を照射し、ユーザによって反射された赤外線を、ＴＯＦカメラのセンサによって検出する。ＴＯＦカメラから照射した赤外線がユーザによって反射されてＴＯＦカメラに戻ってくるまでの時間（飛行時間）は、ユーザの顔の凹凸に応じて異なるため、その飛行時間の分布を解析することによって、ユーザの顔の三次元画像を作成することができる。
【００４８】
また例えば、ステレオカメラによってユーザを撮影することによって、ユーザの顔の三次元画像を作成することができる。
【００４９】
回転部５２は、上記実施の形態と同様の方法によって、複数の特定方向画像の画像データＤ１１を生成する。
【００５０】
コホーネン型ニューラルネットワーク５３は、上記実施の形態と同様の方法によって、画像データＤ１１に基づいて顔方向マップ４０を作成する。
【００５１】
図８は、作成部３３の第３の変形例を示す図である。本変形例に係る作成部３３は、回転部５２を有している。
【００５２】
回転部５２には、ユーザの顔の三次元画像である画像データＤ１０が入力される。画像データＤ１０は、上記第２の変形例と同様に任意の三次元計測技術を用いて作成された画像データである。回転部５２は、上記第１の変形例と同様の方法によって顔方向マップ４０を作成する。
【００５３】
なお、以上の説明では、ユーザの顔の動作を検出してそれをアバターの動作に反映させる例について述べたが、本発明の利用態様はこの例に限定されるものではない。例えば、ユーザと対話を行う対話型ロボットにが、ユーザの顔の動作を検出し、その検出結果に基づいて「はい」や「いいえ」等のユーザの意思を解釈するといった利用態様が考えられる。
【００５４】
このように本実施の形態に係るデータ処理装置によれば、取得部３１は、人物の顔の画像を撮影した画像を取得し、作成部３３は、取得部３１が取得した人物の顔の画像に基づいて顔方向マップ４０を作成する。そして、判定部３４は、顔方向マップ４０と、取得部３１が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する。このように、人物の顔方向マップ４０を予め作成しておくことにより、判定部３４は、撮影画像と顔方向マップ４０内の画像とのマッチングなどの簡易な処理によって顔の動作を判定できる。そのため、特徴点に基づいて顔の向きを判定する場合と比較して、処理負荷を軽減することが可能となる。また、顔方向マップには横顔も登録できるため、人物が真横を向いた場合であってもそれが横顔であることを正確に判定できる。従って、特徴点に基づいて顔の向きを判定する場合と比較して、顔の向きの判定精度を向上することが可能となる。
【００５５】
また、本実施の形態に係るデータ処理装置によれば、作成部３３は、取得部３１が取得した人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて顔方向マップ４０を作成する。従って、その人物の顔の三次元画像を撮影するための専用の装置は不要であり、二次元画像を撮影する一般的なＣＣＤカメラなどがあれば足りるため、装置構成を簡略化できるとともに、製品コストを低減することが可能となる。また、顔方向マップ４０の作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００５６】
また、本実施の形態に係るデータ処理装置によれば、図４，６に示した作成部３３は、階層型ニューラルネットワーク５１を用いて二次元画像から三次元画像を推定する。これにより、三次元画像の推定を簡易に行うことが可能となる。
【００５７】
また、本実施の形態に係るデータ処理装置によれば、図７，８に示した作成部３３は、取得部３１が取得した人物の顔の三次元画像に基づいて顔方向マップ４０を作成する。このように、人物の三次元映像を撮影してその人物に関する顔方向マップ４０を作成することにより、二次元画像から三次元画像を推定する場合と比較して精度を向上することが可能となる。また、顔方向マップ４０の作成のために複数の方向の顔画像を撮影する必要がないため、ユーザの利便性を向上することが可能となる。
【００５８】
また、本実施の形態に係るデータ処理装置によれば、図６，８に示した作成部３３は、三次元画像を複数の方向に段階的に回転することによって、各方向における人物の顔の画像を作成する。これにより、顔方向マップ４０を簡易に作成することが可能となる。
【００５９】
また、本実施の形態に係るデータ処理装置によれば、図４，７に示した作成部３３は、三次元画像を複数の特定方向に回転することによって、各特定方向における人物の顔の画像を作成し、複数の特定方向画像間の中間画像を、コホーネン型ニューラルネットワーク５３を用いて作成する。これにより、顔方向マップ４０を簡易に作成することが可能となる。
【符号の説明】
【００６０】
１ パソコン
１１ 撮影部
１２ データ処理部
１４ 記憶部
２０ プログラム
３１ 取得部
３３ 作成部
３４ 判定部
４０ 顔方向マップ
５１ 階層型ニューラルネットワーク
５３ コホーネン型ニューラルネットワーク
【特許請求の範囲】
【請求項１】
人物の顔を撮影した画像を取得する取得手段と、
前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、
前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、
を備える、データ処理装置。
【請求項２】
前記作成手段は、前記取得手段が取得したその人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて前記顔方向マップを作成する、請求項１に記載のデータ処理装置。
【請求項３】
前記作成手段は、ニューラルネットワークを用いて前記三次元画像を推定する、請求項２に記載のデータ処理装置。
【請求項４】
前記作成手段は、前記取得手段が取得したその人物の顔の三次元画像に基づいて前記顔方向マップを作成する、請求項１に記載のデータ処理装置。
【請求項５】
前記作成手段は、前記三次元画像を複数の方向に段階的に回転することによって、各方向におけるその人物の顔の画像を作成する、請求項２〜４のいずれか一つに記載のデータ処理装置。
【請求項６】
前記作成手段は、前記三次元画像を複数の特定方向に回転することによって、各特定方向におけるその人物の顔の画像を作成し、複数の特定方向における複数の画像間の中間画像を、ニューラルネットワークを用いて作成する、請求項２〜４のいずれか一つに記載のデータ処理装置。
【請求項７】
撮影装置と、
データ処理装置と、
を備え、
前記データ処理装置は、
人物の顔を撮影した画像を前記撮影装置から取得する取得手段と、
前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、
前記顔方向マップと、前記取得手段が前記撮影装置から取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、
を有する、データ処理システム。
【請求項８】
データ処理装置に搭載されるコンピュータを、
人物の顔を撮影した画像を取得する取得手段と、
前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、
前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、
として機能させるためのプログラム。
【請求項１】
人物の顔を撮影した画像を取得する取得手段と、
前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、
前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、
を備える、データ処理装置。
【請求項２】
前記作成手段は、前記取得手段が取得したその人物の顔の二次元画像に基づいてその人物の顔の三次元画像を推定し、その三次元画像に基づいて前記顔方向マップを作成する、請求項１に記載のデータ処理装置。
【請求項３】
前記作成手段は、ニューラルネットワークを用いて前記三次元画像を推定する、請求項２に記載のデータ処理装置。
【請求項４】
前記作成手段は、前記取得手段が取得したその人物の顔の三次元画像に基づいて前記顔方向マップを作成する、請求項１に記載のデータ処理装置。
【請求項５】
前記作成手段は、前記三次元画像を複数の方向に段階的に回転することによって、各方向におけるその人物の顔の画像を作成する、請求項２〜４のいずれか一つに記載のデータ処理装置。
【請求項６】
前記作成手段は、前記三次元画像を複数の特定方向に回転することによって、各特定方向におけるその人物の顔の画像を作成し、複数の特定方向における複数の画像間の中間画像を、ニューラルネットワークを用いて作成する、請求項２〜４のいずれか一つに記載のデータ処理装置。
【請求項７】
撮影装置と、
データ処理装置と、
を備え、
前記データ処理装置は、
人物の顔を撮影した画像を前記撮影装置から取得する取得手段と、
前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、
前記顔方向マップと、前記取得手段が前記撮影装置から取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、
を有する、データ処理システム。
【請求項８】
データ処理装置に搭載されるコンピュータを、
人物の顔を撮影した画像を取得する取得手段と、
前記取得手段が取得したその人物の顔の画像に基づいて、その人物が複数の方向を向いた際の各方向における顔の画像を並べた顔方向マップを作成する作成手段と、
前記顔方向マップと、前記取得手段が取得したその人物の顔の動画像とに基づいて、その人物の顔の動作を判定する判定手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１８１６４６（Ｐ２０１２−１８１６４６Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４３７０５（Ｐ２０１１−４３７０５）
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月１日（２０１１．３．１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]