癒し情報出力装置
【課題】人間の五感のうちの何れかを刺激する五感情報を入力し、癒しをもたらす五感情報に加工して出力する癒し情報出力装置を提供する。
【解決手段】人間が癒される情報を出力する癒し情報出力装置は、入力部１と伝達関数部２と情報加工部３とからなる。入力部１は、顔画像情報等の五感情報が入力され、その特徴点に基づき複数のパラメータを生成する。伝達関数部２は、癒されるか否かの心理的判断を行うものであり、予め操作者が癒される五感情報を学習している。そして、情報加工部３は、伝達関数部の結果に基づき、新たに入力される顔画像情報等を、癒しをもたらす顔画像情報等に加工して出力する。
【解決手段】人間が癒される情報を出力する癒し情報出力装置は、入力部１と伝達関数部２と情報加工部３とからなる。入力部１は、顔画像情報等の五感情報が入力され、その特徴点に基づき複数のパラメータを生成する。伝達関数部２は、癒されるか否かの心理的判断を行うものであり、予め操作者が癒される五感情報を学習している。そして、情報加工部３は、伝達関数部の結果に基づき、新たに入力される顔画像情報等を、癒しをもたらす顔画像情報等に加工して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報出力装置に関し、特に、人間が癒される情報を出力する癒し情報出力装置に関する。
【背景技術】
【０００２】
人間の表情を解析する従来の技術としては、例えば、本願発明者による特許文献１に開示の表情診断支援装置がある。この装置は、表情をデジタルカメラで撮影し、表情の左右対称度や、目の緊張度、頬の緊張度、口角の角度等を基に顔画像を解析し、パラノイア度、ノイローゼ度、ソシオパス度、鬱度、ストレス度等を診断するものである。なお、診断するプロセスにおいては、事前に複数の専門家による医学、心理学的知識を基にした診断結果を教師データとして、ニューラルネット技術を用いた学習により診断マトリックスの各要素の値を求めている。
【０００３】
また、近来、「癒し」というキーワードが注目されている。しかしながら、「癒し」とはどのようなことを言うのかという点については、感情なのか状態なのかも定かでなく、癒される対象が人間であるが故、個人差や場面の違いによる現象が多いことや、心理的反応を客観的に計測することが極めて困難であることから、長い年月の間解き明かされていない。
【０００４】
この「癒し」を解明するための糸口としては、感情としてのアプローチが重要であると考えられる。そして、本願発明者は、感情の表出、コミュニケーションの手段として発達してきたと言われる人間の表情に着目し、心理的反応の評価指標として最も適当だと思われるその表情を解析することで「癒し」を解明できるのではないかと考えた。
【０００５】
【特許文献１】特開２００６−３０５２６０
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示の装置においては、人間の顔画像情報を「癒し」という観点では診断しておらず、人間が癒されるという心理的プロセスの存在・構造・評価を行うものではなかった。また、入力される顔画像情報に対して、それを所定の目的を満たすように加工して出力する点についても何ら検討がなされているものではなかった。このため、これらの従来技術を用いて、人間が癒されるような環境を構築することは行えなかった。
【０００７】
本発明は、斯かる実情に鑑み、人間の五感のうちの何れかを刺激する五感情報を入力し、癒しをもたらす五感情報に加工して出力する癒し情報出力装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するために、本発明による癒し情報出力装置は、人間の五感のうちの何れかを刺激する五感情報が入力され、入力される五感情報の特徴点に基づき複数のパラメータを生成する入力部と、前記入力部により生成される複数のパラメータが入力され、癒されるか否かの心理的判断を行う伝達関数部であって、予め操作者が癒される五感情報を学習した伝達関数部と、癒し情報出力装置に新たに入力される五感情報に対する前記伝達関数部の結果に基づき、前記新たに入力される五感情報を、癒しをもたらす五感情報に加工して出力する情報加工部と、を具備するものである。
【０００９】
ここで、入力部は、五感情報として顔を撮像して生成される顔画像情報が入力され、入力される顔画像情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらす顔画像情報に加工して出力するものであれば良い。
【００１０】
また、入力部は、入力される顔画像情報の特徴点に基づき、以下の複数のパラメータ、即ち、
１）顔領域に対する右目領域
２）顔領域に対する左目領域
３）顔領域に対する鼻領域
４）顔領域に対する口領域
５）顔領域に対する右眉領域
６）顔領域に対する左眉領域
７）顔横幅に対する目間距離
８）顔縦幅に対する目鼻間距離
９）顔縦幅に対する目口間距離
１０）顔縦幅に対する額縦幅
１１）顔横幅に対する額横幅
１２）顔縦幅に対する左目眉間距離
１３）顔縦幅に対する右目眉間距離
１４）顔縦幅に対する口縦幅
１５）顔横幅に対する口横幅
１６）顔縦幅に対する鼻縦幅
１７）顔横幅に対する鼻横幅
の何れかを組み合わせて生成するものであれば良い。
【００１１】
また、入力部は、入力される顔画像情報に対して、顔、一対の目、及び口の各輪郭を２次の楕円の陰関数で表現した後に特徴点を抽出すれば良い。
【００１２】
また、伝達関数部は、ホログラフィックニューラルネットワークモデルを用いるものであれば良い。
【００１３】
また、伝達関数部は、ホログラフィックニューラルネットワークモデルとファジー推論を組み合わせて用いても良い。
【００１４】
さらに、情報加工部は、新たに入力される顔画像情報に対してウェーブレット変換及び陰関数処理を用いて顔画像情報を再構成するものであっても良い。
【００１５】
また、情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、フェイシャルアクションコーディングシステムを用いて癒しをもたらす顔画像情報に加工して出力することを特徴とする癒し情報出力装置。
【００１６】
さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、新たに入力される顔画像情報に対して癒し評価度を出力する出力部を具備するものであっても良い。
【００１７】
また、情報加工部は、さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらさない顔画像情報に加工して出力しても良い。
【００１８】
また、入力部は、五感情報として音を録音して生成される音情報が入力され、入力される音情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される音情報に対する前記伝達関数部の結果に基づき、前記新たに入力される音情報を、癒しをもたらす音情報に加工して出力するものであっても良い。
【００１９】
また、入力部は、五感情報として臭いを測定して生成される臭い情報が入力され、入力される臭い情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される臭い情報に対する前記伝達関数部の結果に基づき、前記新たに入力される臭い情報を、癒しをもたらす臭い情報に加工して出力するものであっても良い。
【００２０】
さらに、入力部は、五感情報として操作者の環境に基づき生成される環境情報が入力され、入力される環境情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される環境情報に対する前記伝達関数部の結果に基づき、前記新たに入力される環境情報を、癒しをもたらす環境情報に加工して出力するものであっても良い。
【発明の効果】
【００２１】
本発明の癒し情報出力装置には、人間の五感のうちの何れかを刺激する五感情報、例えば顔画像情報を、癒しをもたらす顔画像情報に加工して出力することが可能であるという利点がある。また、入力される顔画像情報を基に、癒し評価度を出力可能であるため、表情から癒されているか否かを評価・解析することが可能であるという利点もある。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の癒し情報出力装置のシステムの概略を説明するためのブロック図である。図示の通り、本発明の癒し情報出力装置は、入力部１と伝達関数部２と情報加工部３とからなる。
【００２３】
入力部１は、人間の五感のうち何れかを刺激する五感情報が入力され、入力される五感情報の特徴点に基づき複数のパラメータを生成するものである。人間の五感のうち何れかが刺激された場合に人間は癒されると考えられる。入力部１では、この五感を刺激する情報が入力される。以下、五感を刺激する情報として、視覚を刺激する情報、より具体的には、顔画像を用いる場合について説明する。この場合、入力部１は、顔を撮像するための撮像部１１と、撮像された顔画像情報の特徴点を抽出し、特徴点からパラメータを生成する演算処理部１２とからなる。より具体的には、撮像部１１はデジタルカメラであれば良い。また、演算処理部１２は、コンピュータ等の電子計算機からなるものであれば良い。演算処理部１２では、撮像部１１により撮像された顔画像情報を入力とし、特徴点を抽出した上で所定のパラメータを生成する。
【００２４】
以下、より具体的にパラメータ生成手法について説明する。図２は、入力された顔画像情報に対する特徴点抽出及びパラメータ生成手法を説明するための図である。図示のように、まず撮像された顔画像情報に対して、１〜６３の特徴点を抽出する。特徴点を抽出するにあたり、前処理として画像フィルタリングしても良い。また、必要によりパターン認識等の技術を用いても良い。
【００２５】
以下、より具体的に特徴点抽出の手法について説明する。ここで、撮像部１１により撮像される顔画像情報はＲＧＢのカラー画像とする。まず、入力画像からＲＧＢ値を得る。次に、それを明度情報と色度情報に分離して考えることができるＹＩＱ表色系に変換する。ＹＩＱ表色系はＹ（輝度）、Ｉ（オレンジ−シアン）、Ｑ（緑−マゼンダ）の三要素からなるものである。そして、明度の差の大きい部分を抽出する。そのためにはＹ成分について、画像全体にＷａｖｅｌｅｔ変換をレベル２まで行い低周波成分をカットする。その後逆変換をし、Ｙ成分の絶対値をとって正規化（０−２５５）し、閾値以上の値を抽出する。そして、Ｙ成分の小さい部分、即ち暗色部分を抽出して眉や目の部分に関する特徴点を抽出したり、Ｑ成分の大きい部分を抽出して唇に関する特徴点を抽出したりすることで、図２に示されるような各特徴点を抽出する。
【００２６】
このように抽出された特徴点を基に、顔の各構成要素の面積や間隔、角度を、図２に示した数式により計算する。なお、図中、Ｐ１は右目領域を、Ｐ２は左目領域を、Ｐ３は鼻領域を、Ｐ４は口領域を、Ｐ５は顔領域を、Ｐ６は右眉領域を、Ｐ７は左眉領域を、Ｐ８は顔縦幅を、Ｐ９は顔横幅を、Ｐ１０は額縦幅を、Ｐ１１は額横幅を、Ｐ１２は目間距離を、Ｐ１３は左目眉間距離を、Ｐ１４は右目眉間距離を、Ｐ１５は目鼻間距離を、Ｐ１６は鼻縦幅を、Ｐ１７は鼻横幅を、Ｐ１８は目口間距離を、Ｐ１９は口縦幅を、Ｐ２０は口横幅を、それぞれ算出する計算式である。
【００２７】
そして、このようにして算出された目や鼻、口等の顔の各構成要素の関係を基に、単なる各構成要素の大きさや形だけを用いるのではなく、顔の雰囲気を示す情報とするために、種々の構成要素の割合を取る。これにより、以下に示される複数のパラメータを算出する。
１）顔領域に対する右目領域
２）顔領域に対する左目領域
３）顔領域に対する鼻領域
４）顔領域に対する口領域
５）顔領域に対する右眉領域
６）顔領域に対する左眉領域
７）顔横幅に対する目間距離
８）顔縦幅に対する目鼻間距離
９）顔縦幅に対する目口間距離
１０）顔縦幅に対する額縦幅
１１）顔横幅に対する額横幅
１２）顔縦幅に対する左目眉間距離
１３）顔縦幅に対する右目眉間距離
１４）顔縦幅に対する口縦幅
１５）顔横幅に対する口横幅
１６）顔縦幅に対する鼻縦幅
１７）顔横幅に対する鼻横幅
これらの各構成要素の相関関係に基づくパラメータをいくつか組み合わせることで、次の伝達関数部２へ入力する複数のパラメータとする。
【００２８】
次に、伝達関数部２は、入力部１により生成される複数のパラメータが入力され、癒されるか否かの心理的判断を行うものである。伝達関数部２は、予め操作者（オペレータ）が癒される顔画像情報を教師データを用いて学習しているものとする。伝達関数部２は、例えばニューラルネットワークモデル２１をベースとするものである。より具体的には、ニューラルネットワークモデルの中でもホログラフィックニューラルネットワークモデルを用いたものである。ホログラフィックニューラルネットワークモデルは、入出力データを複素平面に写像することにより、入出力関係が線形になることを利用したニューラルネットワークモデルである。ホログラフィックニューラルネットワークモデルではニューロンの数は１個であり、伝達関数を求めることに等しい。このため計算が収束するまでの時間を大幅に短縮することが可能となる。
【００２９】
以下、ホログラフィックニューラルネットワークモデルについて説明する。学習にｌ組のｍ次元入力ベクトルｓとｎ次元出力ベクトルｒとを用いるとする。入出力ベクトルの各要素は、非線形変換関数により、以下のように複素平面上に変換される。
【数１】
【数２】
ここで、ｉは虚数単位、θｈｋ、φｊｋは写像関数により変換される位相角度［０，２π］である。λｈｋ、γｊｋは入出力データが対応する位相角領域に出現する確率［０，１］を示す。
【００３０】
以上の数１、数２の操作により、以下の入力行列［Ｓ］、教師行列［Ｔ］が得られる。
【数３】
【数４】
【００３１】
また、出力行列［Ａ］は、伝達関数［Ｘ］を用いて以下のように表される。
【数５】
ここで、伝達関数［Ｘ］は、数６で表される［Ａ］と［Ｔ］との差が最小となるように決定される。
【数６】
ここで、Ｈは共役転置を表す。
この条件より以下の数式が得られる。
【数７】
【００３２】
［Ｓ］、［Ｔ］は既知であるので、［Ｘ］は数７により直接求まる。しかし、Ｇａｕｓｓ−Ｊｏｒｄａｎ消去法でｎ次の行列の逆行列を求める場合、その演算回数はｎ３回となるので、［Ｓ］が高次元になると演算に膨大な時間が必要となる。そこでこれを避けるため、以下の数式で示される反復学習により［Ｘ］を求める。
【数８】
【００３３】
伝達関数［Ｘ］の収束を速くするためには、入力ベクトルを複素平面上に均一に変換することが望ましい。このため、変換関数にはシグモイド関数などが用いられる。ニューラルネットワークモデルの教師データ数が少ない場合には、ｅｘｐａｎｓｉｏｎ ｔｅｒｍ数を増やすことにより、ニューロン内部の入力数を増加する。つまり、データ数そのものは不変であるが、入力データ同士の積で新たな入力データを作成する。このようにして作成された入力データは、元のデータとは線形関係を持たない。例えば、ニューロンへの基本的な入力を２とし、２次項を作成すると、次の拡張ができる。
【数９】
以上の操作で、例えば入力の数は２から１２に増大する。ここで、１２に増大した入力はｅｘｐａｎｓｉｏｎ ｔｅｒｍと呼ばれる。なお、ベクトルは重複して定義する必要はない。
【００３４】
このようなホログラフィックニューラルネットワークモデルを用いた伝達関数部２に対して、まず操作者が癒される顔画像情報を予め学習させる。学習用の入力画像である教師データとしては、例えば世界各国の複数の有名芸術作品の顔表情を顔画像情報として用いる。これをまず図１に示される入力部１に入力することで、上述の入力部１の説明と同様に、顔画像情報の特徴点を抽出し、複数のパラメータを生成する。そして、入力される顔画像情報に対して癒されるか癒されないか、どちらでもないかという評価を操作者自らが行い、これをホログラフィックニューラルネットワークモデルの出力情報の真値とすることで、伝達関数部２のホログラフィックニューラルネットワークモデルの学習を行う。
【００３５】
ホログラフィックニューラルネットワークモデルにおけるこの学習処理により、伝達関数部２は、癒されるか癒されないかの心理的判断を操作者の立場で行うことが可能となる。即ち、教師データ以外に新たに入力される未知の顔画像情報の場合にも、伝達関数部２は操作者が癒されるか否かの心理的判断を行い、その結果を出力することが可能となる。
【００３６】
なお、伝達関数部２に入力される複数のパラメータのうち、どのパラメータが操作者の癒されるか否かという心理的判断に大きく影響を及ぼしているかについて、各教師データの顔画像情報及びそのパラメータの変化と、操作者の評価（真値）とを比較解析することで決定する。これにより、例えば顔の中で目の雰囲気を重視する操作者である、というような傾向を見いだすことが可能となる。この場合、例えば上記複数のパラメータのうち、目の雰囲気の影響を受けていると思われるパラメータ１、パラメータ２、パラメータ７等を適宜組み合わせて伝達関数部２に入力するように制御すれば良い。
【００３７】
また、上述の説明では、伝達関数部２がホログラフィックニューラルネットワークモデルで構成されるものを中心に説明したが、本発明はこれに限定されず、多次元量のデータでなおかつ線形分離不可能な問題に対して比較的小さい計算量で良好な解を得られることが可能な手法であれば、他の構成であっても構わない。また、ホログラフィックニューラルネットワークモデル単体で用いるものにも限定されず、例えばホログラフィックニューラルネットワークモデルとファジー推論を組み合わせて用いても良い。
【００３８】
以下、ホログラフィックニューラルネットワークとファジー推論を組み合わせた場合の伝達関数部について説明する。任意分布ｆ１（ｘ）の−∞≦ｘ≦＋∞の範囲において、入力変数ｘのドメインは、Ｌ個のカテゴリＣａ（ａ＝１・・・Ｌ）に分けられ、新たな分散関数は以下の式により各カテゴリに対して算出される。即ち、上記複数のパラメータの各々に対して、それぞれＬ個のカテゴリ分けを行う（例えば、大、中、小の３個のカテゴリ）。
【数１０】
境界τ１，τ２，・・・τＬ−１の正しい選択の後、新たなサブセットＣａ（ａ＝１・・・Ｌ）が、以下の条件にしたがって最初の列から得られる。
【数１１】
境界は、各カテゴリＣａ（ａ＝１・・・Ｌ）がシーケンスｘから略同じ値の数を有するように選択される。即ち、例えばカテゴリ数Ｌが３の場合であって、試験回数が例えば１５回であった場合には、各カテゴリに５個ずつ含まれるように境界を選択する。これはファジー推論で用いられる手法である。
【００３９】
そして、以下の数１２の係数ｃｉａを解くための一次方程式のシステムを構築した。なお、係数ｃｉａは、領域選択の重みを示すものであり、操作者が癒される情報であるか否かという学習結果に相当するものである。
【数１２】
なお、メンバシップ関数δｉａ及びμｒは以下の数１３及び数１４で表される。
【数１３】
【数１４】
【００４０】
ファジー推論では、係数ｃｉａを固有値解析に持ち込んで求めるが、新たな情報入力に対しては、これを数７で示されるようなホログラフィックニューラルネットワークモデルを用いて求めることで、ホログラフィックニューラルネットワークモデルとファジー推論を組み合わせたハイブリッド型の伝達関数部となる。
【００４１】
これにより、ホログラフィックニューラルネットワークの予測精度は、１次統計の場合に５５％、２次統計の場合に２５％だったのに対して、上述のファジー推論を組み合わせた場合には、６０％に向上した。
【００４２】
さて、本発明の癒し情報出力装置では、入力部１で入力され特徴点を抽出し、これに基づき上記パラメータ１〜パラメータ１７の複数のパラメータを適宜組み合わせて出力し、これを上述のような学習済のニューラルネットワークモデルを用いた伝達関数部２に入力し、癒されるか否かの心理的判断を行う。そして、この伝達関数部の出力は、次に情報加工部３に入力される。
【００４３】
情報加工部３は、新たに入力される顔画像情報に対して、学習済の伝達関数部２の判断結果に基づき、顔画像情報を、癒しをもたらす顔画像情報に加工するものである。伝達関数部２により、どのような顔画像情報であれば操作者が癒されるのかというのが判断できるため、新たに入力される顔画像情報の表情をどのように加工したら操作者が癒される表情となるのかも分かる。即ち、操作者が癒される表情として重視しているパラメータを中心に、そのパラメータの値を操作者が癒される表情と判断する値に近づけるための画像の加工処理を行う。
【００４４】
以下、情報加工部３の加工手順について説明する。情報加工部３では、伝達関数部２の結果に基づき、顔の表情を変化させる。なお、表情の変化度合いについては、別人となる程度の大幅な加工も勿論可能であるが、通常は人間の筋肉の動きにより変化する表情の範囲内で行われることが好ましい。
【００４５】
より具体的に、顔画像情報の加工手法の一例について説明する。まず、入力部１で入力された顔画像情報に対して、画像処理部３１で画像処理を行う。画像処理としては、例えば、ウェーブレット変換及び陰関数処理により顔画像情報を再構成する。なお、画像の再構成については、情報加工部３で行われても良いし、入力部１で予め関数表現化等しておいても良い。ここで、ウェーブレット変換及び陰関数処理としては、例えば、本願発明者と同一の発明者による特開２００７−１９６８７に開示のＣＳＲＢＦ（Ｃｏｍｐａｃｔｌｙ Ｓｕｐｐｏｒｔｅｄ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ）による画像処理方法等を用いることが可能である。ここで、ＣＳＲＢＦとは、物体像の表面再構成を行なう技術の１つである。これは、ある種のスプライン関数や球関数に基づいた手法であり、処理速度が遅いＲＢＦ法に対して基底関数をコンパクトにしたものである。ＣＳＲＢＦを用いて画像を関数表現化する画像処理方法は、例えば多重解像度解析を行ない、各レベルのウェーブレット変換の画素値列及び点群を構築し、最初のレベルでＣＳＲＢＦ近似曲面を生成し、次のレベルにおけるウェーブレット変換の画素値列との誤差を求め、誤差が閾値を超えた場合には超えたところの画素値を用いてＣＳＲＢＦ近似曲面を生成していく。これを繰り返していき、レベル０でのＣＳＲＢＦ近似曲面を生成する。
【００４６】
このような処理により、顔画像情報を関数表現化した上で、次にアクションユニット部３２で表情の変形を行う。表情の変形を行うにあたっては、アクションユニット部３２において、例えばフェイシャルアクションコーディングシステム（ＦＡＣＳ）を用いる。フェイシャルアクションコーディングシステムとは、表現記述法であり、アクションユニット（ＡＵ）と呼ばれる、解剖学的に独立し且つ視覚的に識別可能な表現動作の最小単位を組み合わせて表情変化を主観的に表現する手法である。アクションユニットは、図３に示されるように、Ｎｏ．１〜６６まである（欠番があるので全５８個）。このようなアクションユニットを組み合わせることで、顔画像情報を様々な表情に変化させることが可能となる。なお、上述のファジー推論の手法を用いて、アクションユニットや今回の入力（説明変数）に用いた長さや角度による表情の変化に対してもカテゴリ分けを行うことで、表情の変化度合いに幅を持たせたものとすることも可能である。
【００４７】
情報加工部３では、上述のように、新たに入力された顔画像情報に対する伝達関数部２の結果に基づき、新たに入力される顔画像情報を、アクションユニット部３２でのフェイシャルアクションコーディングシステムを用いて癒しをもたらす顔画像情報に加工する。例えば、伝達関数部２による操作者の心理的判断を基に、操作者に対して癒しをもたらすように、目を細めたり頬を持ち上げたり口角を持ち上げたりする画像処理を施す。そして、このようにして癒しをもたらすように加工された顔画像情報を出力する。出力はモニタ等の画像表示装置に表示しても良いし、プリンタ等で印刷しても良い。
【００４８】
ここで、入力部１において、入力される顔画像情報から特徴点を抽出したり、情報加工部３において、画像処理を行ったりする前に行う前処理について説明する。即ち、顔画像情報から、顔の各パーツ等を特定して特徴点を抽出するための処理について、より具体的に説明する。
【００４９】
まず、顔、一対の目、及び口の各輪郭に対応するような、４個の楕円からなる顔モデル（テンプレート）を用意しておく。４個の楕円は、一般的な人間の顔や目、口の配置がカバー可能な程度に配置されれば良い。また、楕円は、２次の陰関数で記述されれば良い。具体的には、楕円を以下の陰関数で表す。
【数１５】
ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆは、楕円の２次曲線の係数である。
【００５０】
このようなテンプレートを用いて、入力された顔画像情報から顔、一対の目、口の輪郭を抽出する。即ち、楕円内に存在しているはずの顔や目、口の各特徴から、実際に顔画像情報に存在する顔や一対の目、口の輪郭を楕円関数で表現する。楕円による表現は、４個の楕円と各楕円の６個の係数から、全部で２４個の係数を求めて行えば良い。係数を求めるのには、例えば遺伝的アルゴリズム等のメタヒューリスティクスな手法や数理的計画法等の最適化手法により、実際に顔画像情報に存在する顔や一対の目、口の輪郭を同定すれば良い。
【００５１】
そして、このようにして特定された４つの楕円の配置位置に基づき、他の顔のパーツ、即ち、鼻や眉、額等を顔画像情報から特定する。顔や目、口の配置位置が判明すれば、これらの位置関係に基づき、鼻の位置や眉の位置等はある程度判別可能である。例えば、眉は、パターン認識及びウェーブレットを施して得られる元画像の色別、稜線の識別により特定可能である。また、鼻穴や鼻の輪郭は、元画像の稜線の識別等により特定可能である。
【００５２】
このようにして、顔の各パーツを顔画像情報から特定し、必要な特徴点のみを選択的に用い、不要な情報を抽出しないように構成する。これにより、撮影時の影等のノイズによる影響を低減し、撮影条件等に依存することなく、顔画像情報の特徴点の抽出が可能となる。
【００５３】
入力部１では、このように選択的に抽出された顔画像情報に対して、特徴点に基づき複数のパラメータを生成すれば良い。
【００５４】
また、情報加工部３においては、このように選択的に抽出された顔画像情報に対して、ＣＳＲＢＦやウェーブレット変換等の関数表現化や、癒しをもたらす画像情報への加工等を行えば良い。なお、上述のように、ＣＳＲＢＦやウェーブレット変換等の関数表現化による画像の再構成については、情報加工部３で行われても良いし、入力部１で予め行っておいても良い。さらに、情報加工部３においては、再度元の入力された顔画像情報を用いて、必要な加工を行っても勿論良い。
【００５５】
本発明の癒し情報出力装置は、予め操作者が癒される顔画像情報を学習させた上で、未知の新たな顔画像情報を入力すると、操作者にとって癒される表情となるように入力された顔画像情報を加工して出力するものである。なお、これとは逆に、癒しをもたらさない顔画像情報に加工して出力することも可能である。即ち、伝達関数部では、操作者が癒される画像情報が学習されているため、これと正反対の状態とすれば操作者が癒されない顔画像情報に加工することも可能となる。
【００５６】
さらに、操作者としての対象は１人には限定されず、複数の操作者に共通して癒される顔画像情報を学習させておくことも可能である。本発明によれば、多数の者に共通して癒される顔画像情報を学習させた上で、新たな顔画像情報を入力して万人が癒されるような顔画像情報に加工することも可能であるため、例えば証明写真の画像情報を入力すれば、万人が癒されるような表情に加工して出力することも可能となる。これにより、例えば履歴書等に貼付する写真の心証が良くなる効果等が得られる。
【００５７】
なお、操作者が癒される顔画像情報と、新たに入力された顔画像情報に対する伝達関数部の結果を用いることで、これらの差分を抽出して新たに入力された顔画像情報に対して癒し評価度を出力することも可能である。癒し評価度としては、例えば段階評価として数値を提示しても良いし、各パラメータに対する差異をレーダーチャート等で示しても良い。
【００５８】
またさらに、癒し情報出力装置に対して、操作者の顔をリアルタイムに撮像して癒し情報出力装置に入力すると、その操作者が現在癒されているか否かという判断も可能となる。これにより、例えば車両運転中の操作者の表情をリアルタイムで撮像しておき、操作者（ドライバ）が癒されない表情となったという評価も可能となる。したがって、運転中にイライラしだしたドライバに対して、操作者が癒される画像を表示したりリラックスする音楽を流したりすることでイライラを解消し、事故を起こしがちな状況を改善することも可能である。
【００５９】
なお、上述の説明では、人間の五感のうちの何れかを刺激する五感情報として、視覚を刺激する顔画像情報について中心に説明したが、本発明の癒し情報出力装置は、これに限定されるものではない。例えば、五感情報として聴覚を刺激する音を適用しても良い。音の場合には、入力部にはマイク等を用いた録音装置が適用され、音を録音して生成される音情報が入力される。そして、入力された音情報の特徴点に基づき複数のパラメータを生成する。特徴点としては、音の強弱や音程、長さ等、種々のものを抽出し、これに基づき所定のパラメータを生成すれば良い。そして、伝達関数部では、入力される音が操作者に癒されるか否か予め学習しておき、新たに入力される音情報に対して伝達関数部で癒しをもたらすか否か心理的判断を行い、情報加工部で癒しをもたらす音情報に加工して出力すれば良い。
【００６０】
また、五感を刺激するものであれば良いため、入力される五感情報は臭覚を刺激する臭いであっても良い。臭いの場合であっても、臭い情報について所定の特徴点を決定し、これに基づき所定のパラメータを生成すれば良く、これを予め伝達関数部で学習した上で、新たに入力される臭い情報を伝達関数部で癒しをもたらすか否か心理的判断を行い、情報加工部で癒しをもたらす臭い情報に加工して出力しても良い。
【００６１】
さらに、五感のうちの何れかを刺激する五感情報は、何れか１つには限定されず、複数の感覚をトータルで適用することも可能である。例えば、操作者の置かれた環境に基づき生成される環境情報であっても良い。環境情報は、視覚や聴覚以外に、触覚等、複数の感覚に対して操作者が受ける情報である。これらの環境情報に基づき、所定の特徴点、パラメータを上述の例と同様に生成し、伝達関数部で癒しをもたらすか否か心理的判断を行い、情報加工部で癒しをもたらす環境情報に加工して出力しても良い。
【００６２】
なお、本発明の癒し情報出力装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００６３】
【図１】図１は、本発明の癒し情報出力装置のシステムの概略を説明するためのブロック図である。
【図２】図２は、入力された顔画像情報に対する特徴点抽出及びパラメータ生成手法を説明するための図である。
【図３】図３は、アクションユニットの各ユニット番号とユニット名の対応を示す表である。
【符号の説明】
【００６４】
１ 入力部
２ 伝達関数部
３ 情報加工部
１１ 撮像部
１２ 演算処理部
２１ ニューラルネットワークモデル
３１ 画像処理部
３２ アクションユニット部
【技術分野】
【０００１】
本発明は情報出力装置に関し、特に、人間が癒される情報を出力する癒し情報出力装置に関する。
【背景技術】
【０００２】
人間の表情を解析する従来の技術としては、例えば、本願発明者による特許文献１に開示の表情診断支援装置がある。この装置は、表情をデジタルカメラで撮影し、表情の左右対称度や、目の緊張度、頬の緊張度、口角の角度等を基に顔画像を解析し、パラノイア度、ノイローゼ度、ソシオパス度、鬱度、ストレス度等を診断するものである。なお、診断するプロセスにおいては、事前に複数の専門家による医学、心理学的知識を基にした診断結果を教師データとして、ニューラルネット技術を用いた学習により診断マトリックスの各要素の値を求めている。
【０００３】
また、近来、「癒し」というキーワードが注目されている。しかしながら、「癒し」とはどのようなことを言うのかという点については、感情なのか状態なのかも定かでなく、癒される対象が人間であるが故、個人差や場面の違いによる現象が多いことや、心理的反応を客観的に計測することが極めて困難であることから、長い年月の間解き明かされていない。
【０００４】
この「癒し」を解明するための糸口としては、感情としてのアプローチが重要であると考えられる。そして、本願発明者は、感情の表出、コミュニケーションの手段として発達してきたと言われる人間の表情に着目し、心理的反応の評価指標として最も適当だと思われるその表情を解析することで「癒し」を解明できるのではないかと考えた。
【０００５】
【特許文献１】特開２００６−３０５２６０
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示の装置においては、人間の顔画像情報を「癒し」という観点では診断しておらず、人間が癒されるという心理的プロセスの存在・構造・評価を行うものではなかった。また、入力される顔画像情報に対して、それを所定の目的を満たすように加工して出力する点についても何ら検討がなされているものではなかった。このため、これらの従来技術を用いて、人間が癒されるような環境を構築することは行えなかった。
【０００７】
本発明は、斯かる実情に鑑み、人間の五感のうちの何れかを刺激する五感情報を入力し、癒しをもたらす五感情報に加工して出力する癒し情報出力装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するために、本発明による癒し情報出力装置は、人間の五感のうちの何れかを刺激する五感情報が入力され、入力される五感情報の特徴点に基づき複数のパラメータを生成する入力部と、前記入力部により生成される複数のパラメータが入力され、癒されるか否かの心理的判断を行う伝達関数部であって、予め操作者が癒される五感情報を学習した伝達関数部と、癒し情報出力装置に新たに入力される五感情報に対する前記伝達関数部の結果に基づき、前記新たに入力される五感情報を、癒しをもたらす五感情報に加工して出力する情報加工部と、を具備するものである。
【０００９】
ここで、入力部は、五感情報として顔を撮像して生成される顔画像情報が入力され、入力される顔画像情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらす顔画像情報に加工して出力するものであれば良い。
【００１０】
また、入力部は、入力される顔画像情報の特徴点に基づき、以下の複数のパラメータ、即ち、
１）顔領域に対する右目領域
２）顔領域に対する左目領域
３）顔領域に対する鼻領域
４）顔領域に対する口領域
５）顔領域に対する右眉領域
６）顔領域に対する左眉領域
７）顔横幅に対する目間距離
８）顔縦幅に対する目鼻間距離
９）顔縦幅に対する目口間距離
１０）顔縦幅に対する額縦幅
１１）顔横幅に対する額横幅
１２）顔縦幅に対する左目眉間距離
１３）顔縦幅に対する右目眉間距離
１４）顔縦幅に対する口縦幅
１５）顔横幅に対する口横幅
１６）顔縦幅に対する鼻縦幅
１７）顔横幅に対する鼻横幅
の何れかを組み合わせて生成するものであれば良い。
【００１１】
また、入力部は、入力される顔画像情報に対して、顔、一対の目、及び口の各輪郭を２次の楕円の陰関数で表現した後に特徴点を抽出すれば良い。
【００１２】
また、伝達関数部は、ホログラフィックニューラルネットワークモデルを用いるものであれば良い。
【００１３】
また、伝達関数部は、ホログラフィックニューラルネットワークモデルとファジー推論を組み合わせて用いても良い。
【００１４】
さらに、情報加工部は、新たに入力される顔画像情報に対してウェーブレット変換及び陰関数処理を用いて顔画像情報を再構成するものであっても良い。
【００１５】
また、情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、フェイシャルアクションコーディングシステムを用いて癒しをもたらす顔画像情報に加工して出力することを特徴とする癒し情報出力装置。
【００１６】
さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、新たに入力される顔画像情報に対して癒し評価度を出力する出力部を具備するものであっても良い。
【００１７】
また、情報加工部は、さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらさない顔画像情報に加工して出力しても良い。
【００１８】
また、入力部は、五感情報として音を録音して生成される音情報が入力され、入力される音情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される音情報に対する前記伝達関数部の結果に基づき、前記新たに入力される音情報を、癒しをもたらす音情報に加工して出力するものであっても良い。
【００１９】
また、入力部は、五感情報として臭いを測定して生成される臭い情報が入力され、入力される臭い情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される臭い情報に対する前記伝達関数部の結果に基づき、前記新たに入力される臭い情報を、癒しをもたらす臭い情報に加工して出力するものであっても良い。
【００２０】
さらに、入力部は、五感情報として操作者の環境に基づき生成される環境情報が入力され、入力される環境情報の特徴点に基づき複数のパラメータを生成し、前記情報加工部は、癒し情報出力装置に新たに入力される環境情報に対する前記伝達関数部の結果に基づき、前記新たに入力される環境情報を、癒しをもたらす環境情報に加工して出力するものであっても良い。
【発明の効果】
【００２１】
本発明の癒し情報出力装置には、人間の五感のうちの何れかを刺激する五感情報、例えば顔画像情報を、癒しをもたらす顔画像情報に加工して出力することが可能であるという利点がある。また、入力される顔画像情報を基に、癒し評価度を出力可能であるため、表情から癒されているか否かを評価・解析することが可能であるという利点もある。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の癒し情報出力装置のシステムの概略を説明するためのブロック図である。図示の通り、本発明の癒し情報出力装置は、入力部１と伝達関数部２と情報加工部３とからなる。
【００２３】
入力部１は、人間の五感のうち何れかを刺激する五感情報が入力され、入力される五感情報の特徴点に基づき複数のパラメータを生成するものである。人間の五感のうち何れかが刺激された場合に人間は癒されると考えられる。入力部１では、この五感を刺激する情報が入力される。以下、五感を刺激する情報として、視覚を刺激する情報、より具体的には、顔画像を用いる場合について説明する。この場合、入力部１は、顔を撮像するための撮像部１１と、撮像された顔画像情報の特徴点を抽出し、特徴点からパラメータを生成する演算処理部１２とからなる。より具体的には、撮像部１１はデジタルカメラであれば良い。また、演算処理部１２は、コンピュータ等の電子計算機からなるものであれば良い。演算処理部１２では、撮像部１１により撮像された顔画像情報を入力とし、特徴点を抽出した上で所定のパラメータを生成する。
【００２４】
以下、より具体的にパラメータ生成手法について説明する。図２は、入力された顔画像情報に対する特徴点抽出及びパラメータ生成手法を説明するための図である。図示のように、まず撮像された顔画像情報に対して、１〜６３の特徴点を抽出する。特徴点を抽出するにあたり、前処理として画像フィルタリングしても良い。また、必要によりパターン認識等の技術を用いても良い。
【００２５】
以下、より具体的に特徴点抽出の手法について説明する。ここで、撮像部１１により撮像される顔画像情報はＲＧＢのカラー画像とする。まず、入力画像からＲＧＢ値を得る。次に、それを明度情報と色度情報に分離して考えることができるＹＩＱ表色系に変換する。ＹＩＱ表色系はＹ（輝度）、Ｉ（オレンジ−シアン）、Ｑ（緑−マゼンダ）の三要素からなるものである。そして、明度の差の大きい部分を抽出する。そのためにはＹ成分について、画像全体にＷａｖｅｌｅｔ変換をレベル２まで行い低周波成分をカットする。その後逆変換をし、Ｙ成分の絶対値をとって正規化（０−２５５）し、閾値以上の値を抽出する。そして、Ｙ成分の小さい部分、即ち暗色部分を抽出して眉や目の部分に関する特徴点を抽出したり、Ｑ成分の大きい部分を抽出して唇に関する特徴点を抽出したりすることで、図２に示されるような各特徴点を抽出する。
【００２６】
このように抽出された特徴点を基に、顔の各構成要素の面積や間隔、角度を、図２に示した数式により計算する。なお、図中、Ｐ１は右目領域を、Ｐ２は左目領域を、Ｐ３は鼻領域を、Ｐ４は口領域を、Ｐ５は顔領域を、Ｐ６は右眉領域を、Ｐ７は左眉領域を、Ｐ８は顔縦幅を、Ｐ９は顔横幅を、Ｐ１０は額縦幅を、Ｐ１１は額横幅を、Ｐ１２は目間距離を、Ｐ１３は左目眉間距離を、Ｐ１４は右目眉間距離を、Ｐ１５は目鼻間距離を、Ｐ１６は鼻縦幅を、Ｐ１７は鼻横幅を、Ｐ１８は目口間距離を、Ｐ１９は口縦幅を、Ｐ２０は口横幅を、それぞれ算出する計算式である。
【００２７】
そして、このようにして算出された目や鼻、口等の顔の各構成要素の関係を基に、単なる各構成要素の大きさや形だけを用いるのではなく、顔の雰囲気を示す情報とするために、種々の構成要素の割合を取る。これにより、以下に示される複数のパラメータを算出する。
１）顔領域に対する右目領域
２）顔領域に対する左目領域
３）顔領域に対する鼻領域
４）顔領域に対する口領域
５）顔領域に対する右眉領域
６）顔領域に対する左眉領域
７）顔横幅に対する目間距離
８）顔縦幅に対する目鼻間距離
９）顔縦幅に対する目口間距離
１０）顔縦幅に対する額縦幅
１１）顔横幅に対する額横幅
１２）顔縦幅に対する左目眉間距離
１３）顔縦幅に対する右目眉間距離
１４）顔縦幅に対する口縦幅
１５）顔横幅に対する口横幅
１６）顔縦幅に対する鼻縦幅
１７）顔横幅に対する鼻横幅
これらの各構成要素の相関関係に基づくパラメータをいくつか組み合わせることで、次の伝達関数部２へ入力する複数のパラメータとする。
【００２８】
次に、伝達関数部２は、入力部１により生成される複数のパラメータが入力され、癒されるか否かの心理的判断を行うものである。伝達関数部２は、予め操作者（オペレータ）が癒される顔画像情報を教師データを用いて学習しているものとする。伝達関数部２は、例えばニューラルネットワークモデル２１をベースとするものである。より具体的には、ニューラルネットワークモデルの中でもホログラフィックニューラルネットワークモデルを用いたものである。ホログラフィックニューラルネットワークモデルは、入出力データを複素平面に写像することにより、入出力関係が線形になることを利用したニューラルネットワークモデルである。ホログラフィックニューラルネットワークモデルではニューロンの数は１個であり、伝達関数を求めることに等しい。このため計算が収束するまでの時間を大幅に短縮することが可能となる。
【００２９】
以下、ホログラフィックニューラルネットワークモデルについて説明する。学習にｌ組のｍ次元入力ベクトルｓとｎ次元出力ベクトルｒとを用いるとする。入出力ベクトルの各要素は、非線形変換関数により、以下のように複素平面上に変換される。
【数１】
【数２】
ここで、ｉは虚数単位、θｈｋ、φｊｋは写像関数により変換される位相角度［０，２π］である。λｈｋ、γｊｋは入出力データが対応する位相角領域に出現する確率［０，１］を示す。
【００３０】
以上の数１、数２の操作により、以下の入力行列［Ｓ］、教師行列［Ｔ］が得られる。
【数３】
【数４】
【００３１】
また、出力行列［Ａ］は、伝達関数［Ｘ］を用いて以下のように表される。
【数５】
ここで、伝達関数［Ｘ］は、数６で表される［Ａ］と［Ｔ］との差が最小となるように決定される。
【数６】
ここで、Ｈは共役転置を表す。
この条件より以下の数式が得られる。
【数７】
【００３２】
［Ｓ］、［Ｔ］は既知であるので、［Ｘ］は数７により直接求まる。しかし、Ｇａｕｓｓ−Ｊｏｒｄａｎ消去法でｎ次の行列の逆行列を求める場合、その演算回数はｎ３回となるので、［Ｓ］が高次元になると演算に膨大な時間が必要となる。そこでこれを避けるため、以下の数式で示される反復学習により［Ｘ］を求める。
【数８】
【００３３】
伝達関数［Ｘ］の収束を速くするためには、入力ベクトルを複素平面上に均一に変換することが望ましい。このため、変換関数にはシグモイド関数などが用いられる。ニューラルネットワークモデルの教師データ数が少ない場合には、ｅｘｐａｎｓｉｏｎ ｔｅｒｍ数を増やすことにより、ニューロン内部の入力数を増加する。つまり、データ数そのものは不変であるが、入力データ同士の積で新たな入力データを作成する。このようにして作成された入力データは、元のデータとは線形関係を持たない。例えば、ニューロンへの基本的な入力を２とし、２次項を作成すると、次の拡張ができる。
【数９】
以上の操作で、例えば入力の数は２から１２に増大する。ここで、１２に増大した入力はｅｘｐａｎｓｉｏｎ ｔｅｒｍと呼ばれる。なお、ベクトルは重複して定義する必要はない。
【００３４】
このようなホログラフィックニューラルネットワークモデルを用いた伝達関数部２に対して、まず操作者が癒される顔画像情報を予め学習させる。学習用の入力画像である教師データとしては、例えば世界各国の複数の有名芸術作品の顔表情を顔画像情報として用いる。これをまず図１に示される入力部１に入力することで、上述の入力部１の説明と同様に、顔画像情報の特徴点を抽出し、複数のパラメータを生成する。そして、入力される顔画像情報に対して癒されるか癒されないか、どちらでもないかという評価を操作者自らが行い、これをホログラフィックニューラルネットワークモデルの出力情報の真値とすることで、伝達関数部２のホログラフィックニューラルネットワークモデルの学習を行う。
【００３５】
ホログラフィックニューラルネットワークモデルにおけるこの学習処理により、伝達関数部２は、癒されるか癒されないかの心理的判断を操作者の立場で行うことが可能となる。即ち、教師データ以外に新たに入力される未知の顔画像情報の場合にも、伝達関数部２は操作者が癒されるか否かの心理的判断を行い、その結果を出力することが可能となる。
【００３６】
なお、伝達関数部２に入力される複数のパラメータのうち、どのパラメータが操作者の癒されるか否かという心理的判断に大きく影響を及ぼしているかについて、各教師データの顔画像情報及びそのパラメータの変化と、操作者の評価（真値）とを比較解析することで決定する。これにより、例えば顔の中で目の雰囲気を重視する操作者である、というような傾向を見いだすことが可能となる。この場合、例えば上記複数のパラメータのうち、目の雰囲気の影響を受けていると思われるパラメータ１、パラメータ２、パラメータ７等を適宜組み合わせて伝達関数部２に入力するように制御すれば良い。
【００３７】
また、上述の説明では、伝達関数部２がホログラフィックニューラルネットワークモデルで構成されるものを中心に説明したが、本発明はこれに限定されず、多次元量のデータでなおかつ線形分離不可能な問題に対して比較的小さい計算量で良好な解を得られることが可能な手法であれば、他の構成であっても構わない。また、ホログラフィックニューラルネットワークモデル単体で用いるものにも限定されず、例えばホログラフィックニューラルネットワークモデルとファジー推論を組み合わせて用いても良い。
【００３８】
以下、ホログラフィックニューラルネットワークとファジー推論を組み合わせた場合の伝達関数部について説明する。任意分布ｆ１（ｘ）の−∞≦ｘ≦＋∞の範囲において、入力変数ｘのドメインは、Ｌ個のカテゴリＣａ（ａ＝１・・・Ｌ）に分けられ、新たな分散関数は以下の式により各カテゴリに対して算出される。即ち、上記複数のパラメータの各々に対して、それぞれＬ個のカテゴリ分けを行う（例えば、大、中、小の３個のカテゴリ）。
【数１０】
境界τ１，τ２，・・・τＬ−１の正しい選択の後、新たなサブセットＣａ（ａ＝１・・・Ｌ）が、以下の条件にしたがって最初の列から得られる。
【数１１】
境界は、各カテゴリＣａ（ａ＝１・・・Ｌ）がシーケンスｘから略同じ値の数を有するように選択される。即ち、例えばカテゴリ数Ｌが３の場合であって、試験回数が例えば１５回であった場合には、各カテゴリに５個ずつ含まれるように境界を選択する。これはファジー推論で用いられる手法である。
【００３９】
そして、以下の数１２の係数ｃｉａを解くための一次方程式のシステムを構築した。なお、係数ｃｉａは、領域選択の重みを示すものであり、操作者が癒される情報であるか否かという学習結果に相当するものである。
【数１２】
なお、メンバシップ関数δｉａ及びμｒは以下の数１３及び数１４で表される。
【数１３】
【数１４】
【００４０】
ファジー推論では、係数ｃｉａを固有値解析に持ち込んで求めるが、新たな情報入力に対しては、これを数７で示されるようなホログラフィックニューラルネットワークモデルを用いて求めることで、ホログラフィックニューラルネットワークモデルとファジー推論を組み合わせたハイブリッド型の伝達関数部となる。
【００４１】
これにより、ホログラフィックニューラルネットワークの予測精度は、１次統計の場合に５５％、２次統計の場合に２５％だったのに対して、上述のファジー推論を組み合わせた場合には、６０％に向上した。
【００４２】
さて、本発明の癒し情報出力装置では、入力部１で入力され特徴点を抽出し、これに基づき上記パラメータ１〜パラメータ１７の複数のパラメータを適宜組み合わせて出力し、これを上述のような学習済のニューラルネットワークモデルを用いた伝達関数部２に入力し、癒されるか否かの心理的判断を行う。そして、この伝達関数部の出力は、次に情報加工部３に入力される。
【００４３】
情報加工部３は、新たに入力される顔画像情報に対して、学習済の伝達関数部２の判断結果に基づき、顔画像情報を、癒しをもたらす顔画像情報に加工するものである。伝達関数部２により、どのような顔画像情報であれば操作者が癒されるのかというのが判断できるため、新たに入力される顔画像情報の表情をどのように加工したら操作者が癒される表情となるのかも分かる。即ち、操作者が癒される表情として重視しているパラメータを中心に、そのパラメータの値を操作者が癒される表情と判断する値に近づけるための画像の加工処理を行う。
【００４４】
以下、情報加工部３の加工手順について説明する。情報加工部３では、伝達関数部２の結果に基づき、顔の表情を変化させる。なお、表情の変化度合いについては、別人となる程度の大幅な加工も勿論可能であるが、通常は人間の筋肉の動きにより変化する表情の範囲内で行われることが好ましい。
【００４５】
より具体的に、顔画像情報の加工手法の一例について説明する。まず、入力部１で入力された顔画像情報に対して、画像処理部３１で画像処理を行う。画像処理としては、例えば、ウェーブレット変換及び陰関数処理により顔画像情報を再構成する。なお、画像の再構成については、情報加工部３で行われても良いし、入力部１で予め関数表現化等しておいても良い。ここで、ウェーブレット変換及び陰関数処理としては、例えば、本願発明者と同一の発明者による特開２００７−１９６８７に開示のＣＳＲＢＦ（Ｃｏｍｐａｃｔｌｙ Ｓｕｐｐｏｒｔｅｄ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ）による画像処理方法等を用いることが可能である。ここで、ＣＳＲＢＦとは、物体像の表面再構成を行なう技術の１つである。これは、ある種のスプライン関数や球関数に基づいた手法であり、処理速度が遅いＲＢＦ法に対して基底関数をコンパクトにしたものである。ＣＳＲＢＦを用いて画像を関数表現化する画像処理方法は、例えば多重解像度解析を行ない、各レベルのウェーブレット変換の画素値列及び点群を構築し、最初のレベルでＣＳＲＢＦ近似曲面を生成し、次のレベルにおけるウェーブレット変換の画素値列との誤差を求め、誤差が閾値を超えた場合には超えたところの画素値を用いてＣＳＲＢＦ近似曲面を生成していく。これを繰り返していき、レベル０でのＣＳＲＢＦ近似曲面を生成する。
【００４６】
このような処理により、顔画像情報を関数表現化した上で、次にアクションユニット部３２で表情の変形を行う。表情の変形を行うにあたっては、アクションユニット部３２において、例えばフェイシャルアクションコーディングシステム（ＦＡＣＳ）を用いる。フェイシャルアクションコーディングシステムとは、表現記述法であり、アクションユニット（ＡＵ）と呼ばれる、解剖学的に独立し且つ視覚的に識別可能な表現動作の最小単位を組み合わせて表情変化を主観的に表現する手法である。アクションユニットは、図３に示されるように、Ｎｏ．１〜６６まである（欠番があるので全５８個）。このようなアクションユニットを組み合わせることで、顔画像情報を様々な表情に変化させることが可能となる。なお、上述のファジー推論の手法を用いて、アクションユニットや今回の入力（説明変数）に用いた長さや角度による表情の変化に対してもカテゴリ分けを行うことで、表情の変化度合いに幅を持たせたものとすることも可能である。
【００４７】
情報加工部３では、上述のように、新たに入力された顔画像情報に対する伝達関数部２の結果に基づき、新たに入力される顔画像情報を、アクションユニット部３２でのフェイシャルアクションコーディングシステムを用いて癒しをもたらす顔画像情報に加工する。例えば、伝達関数部２による操作者の心理的判断を基に、操作者に対して癒しをもたらすように、目を細めたり頬を持ち上げたり口角を持ち上げたりする画像処理を施す。そして、このようにして癒しをもたらすように加工された顔画像情報を出力する。出力はモニタ等の画像表示装置に表示しても良いし、プリンタ等で印刷しても良い。
【００４８】
ここで、入力部１において、入力される顔画像情報から特徴点を抽出したり、情報加工部３において、画像処理を行ったりする前に行う前処理について説明する。即ち、顔画像情報から、顔の各パーツ等を特定して特徴点を抽出するための処理について、より具体的に説明する。
【００４９】
まず、顔、一対の目、及び口の各輪郭に対応するような、４個の楕円からなる顔モデル（テンプレート）を用意しておく。４個の楕円は、一般的な人間の顔や目、口の配置がカバー可能な程度に配置されれば良い。また、楕円は、２次の陰関数で記述されれば良い。具体的には、楕円を以下の陰関数で表す。
【数１５】
ここで、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆは、楕円の２次曲線の係数である。
【００５０】
このようなテンプレートを用いて、入力された顔画像情報から顔、一対の目、口の輪郭を抽出する。即ち、楕円内に存在しているはずの顔や目、口の各特徴から、実際に顔画像情報に存在する顔や一対の目、口の輪郭を楕円関数で表現する。楕円による表現は、４個の楕円と各楕円の６個の係数から、全部で２４個の係数を求めて行えば良い。係数を求めるのには、例えば遺伝的アルゴリズム等のメタヒューリスティクスな手法や数理的計画法等の最適化手法により、実際に顔画像情報に存在する顔や一対の目、口の輪郭を同定すれば良い。
【００５１】
そして、このようにして特定された４つの楕円の配置位置に基づき、他の顔のパーツ、即ち、鼻や眉、額等を顔画像情報から特定する。顔や目、口の配置位置が判明すれば、これらの位置関係に基づき、鼻の位置や眉の位置等はある程度判別可能である。例えば、眉は、パターン認識及びウェーブレットを施して得られる元画像の色別、稜線の識別により特定可能である。また、鼻穴や鼻の輪郭は、元画像の稜線の識別等により特定可能である。
【００５２】
このようにして、顔の各パーツを顔画像情報から特定し、必要な特徴点のみを選択的に用い、不要な情報を抽出しないように構成する。これにより、撮影時の影等のノイズによる影響を低減し、撮影条件等に依存することなく、顔画像情報の特徴点の抽出が可能となる。
【００５３】
入力部１では、このように選択的に抽出された顔画像情報に対して、特徴点に基づき複数のパラメータを生成すれば良い。
【００５４】
また、情報加工部３においては、このように選択的に抽出された顔画像情報に対して、ＣＳＲＢＦやウェーブレット変換等の関数表現化や、癒しをもたらす画像情報への加工等を行えば良い。なお、上述のように、ＣＳＲＢＦやウェーブレット変換等の関数表現化による画像の再構成については、情報加工部３で行われても良いし、入力部１で予め行っておいても良い。さらに、情報加工部３においては、再度元の入力された顔画像情報を用いて、必要な加工を行っても勿論良い。
【００５５】
本発明の癒し情報出力装置は、予め操作者が癒される顔画像情報を学習させた上で、未知の新たな顔画像情報を入力すると、操作者にとって癒される表情となるように入力された顔画像情報を加工して出力するものである。なお、これとは逆に、癒しをもたらさない顔画像情報に加工して出力することも可能である。即ち、伝達関数部では、操作者が癒される画像情報が学習されているため、これと正反対の状態とすれば操作者が癒されない顔画像情報に加工することも可能となる。
【００５６】
さらに、操作者としての対象は１人には限定されず、複数の操作者に共通して癒される顔画像情報を学習させておくことも可能である。本発明によれば、多数の者に共通して癒される顔画像情報を学習させた上で、新たな顔画像情報を入力して万人が癒されるような顔画像情報に加工することも可能であるため、例えば証明写真の画像情報を入力すれば、万人が癒されるような表情に加工して出力することも可能となる。これにより、例えば履歴書等に貼付する写真の心証が良くなる効果等が得られる。
【００５７】
なお、操作者が癒される顔画像情報と、新たに入力された顔画像情報に対する伝達関数部の結果を用いることで、これらの差分を抽出して新たに入力された顔画像情報に対して癒し評価度を出力することも可能である。癒し評価度としては、例えば段階評価として数値を提示しても良いし、各パラメータに対する差異をレーダーチャート等で示しても良い。
【００５８】
またさらに、癒し情報出力装置に対して、操作者の顔をリアルタイムに撮像して癒し情報出力装置に入力すると、その操作者が現在癒されているか否かという判断も可能となる。これにより、例えば車両運転中の操作者の表情をリアルタイムで撮像しておき、操作者（ドライバ）が癒されない表情となったという評価も可能となる。したがって、運転中にイライラしだしたドライバに対して、操作者が癒される画像を表示したりリラックスする音楽を流したりすることでイライラを解消し、事故を起こしがちな状況を改善することも可能である。
【００５９】
なお、上述の説明では、人間の五感のうちの何れかを刺激する五感情報として、視覚を刺激する顔画像情報について中心に説明したが、本発明の癒し情報出力装置は、これに限定されるものではない。例えば、五感情報として聴覚を刺激する音を適用しても良い。音の場合には、入力部にはマイク等を用いた録音装置が適用され、音を録音して生成される音情報が入力される。そして、入力された音情報の特徴点に基づき複数のパラメータを生成する。特徴点としては、音の強弱や音程、長さ等、種々のものを抽出し、これに基づき所定のパラメータを生成すれば良い。そして、伝達関数部では、入力される音が操作者に癒されるか否か予め学習しておき、新たに入力される音情報に対して伝達関数部で癒しをもたらすか否か心理的判断を行い、情報加工部で癒しをもたらす音情報に加工して出力すれば良い。
【００６０】
また、五感を刺激するものであれば良いため、入力される五感情報は臭覚を刺激する臭いであっても良い。臭いの場合であっても、臭い情報について所定の特徴点を決定し、これに基づき所定のパラメータを生成すれば良く、これを予め伝達関数部で学習した上で、新たに入力される臭い情報を伝達関数部で癒しをもたらすか否か心理的判断を行い、情報加工部で癒しをもたらす臭い情報に加工して出力しても良い。
【００６１】
さらに、五感のうちの何れかを刺激する五感情報は、何れか１つには限定されず、複数の感覚をトータルで適用することも可能である。例えば、操作者の置かれた環境に基づき生成される環境情報であっても良い。環境情報は、視覚や聴覚以外に、触覚等、複数の感覚に対して操作者が受ける情報である。これらの環境情報に基づき、所定の特徴点、パラメータを上述の例と同様に生成し、伝達関数部で癒しをもたらすか否か心理的判断を行い、情報加工部で癒しをもたらす環境情報に加工して出力しても良い。
【００６２】
なお、本発明の癒し情報出力装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００６３】
【図１】図１は、本発明の癒し情報出力装置のシステムの概略を説明するためのブロック図である。
【図２】図２は、入力された顔画像情報に対する特徴点抽出及びパラメータ生成手法を説明するための図である。
【図３】図３は、アクションユニットの各ユニット番号とユニット名の対応を示す表である。
【符号の説明】
【００６４】
１ 入力部
２ 伝達関数部
３ 情報加工部
１１ 撮像部
１２ 演算処理部
２１ ニューラルネットワークモデル
３１ 画像処理部
３２ アクションユニット部
【特許請求の範囲】
【請求項１】
人間が癒される情報を出力する癒し情報出力装置であって、該癒し情報出力装置は、
人間の五感のうちの何れかを刺激する五感情報が入力され、入力される五感情報の特徴点に基づき複数のパラメータを生成する入力部と、
前記入力部により生成される複数のパラメータが入力され、癒されるか否かの心理的判断を行う伝達関数部であって、予め操作者が癒される五感情報を学習した伝達関数部と、
癒し情報出力装置に新たに入力される五感情報に対する前記伝達関数部の結果に基づき、前記新たに入力される五感情報を、癒しをもたらす五感情報に加工して出力する情報加工部と、
を具備することを特徴とする癒し情報出力装置。
【請求項２】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として顔を撮像して生成される顔画像情報が入力され、入力される顔画像情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらす顔画像情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項３】
請求項２に記載の癒し情報出力装置において、前記入力部は、入力される顔画像情報の特徴点に基づき、以下の複数のパラメータ、即ち、
１）顔領域に対する右目領域
２）顔領域に対する左目領域
３）顔領域に対する鼻領域
４）顔領域に対する口領域
５）顔領域に対する右眉領域
６）顔領域に対する左眉領域
７）顔横幅に対する目間距離
８）顔縦幅に対する目鼻間距離
９）顔縦幅に対する目口間距離
１０）顔縦幅に対する額縦幅
１１）顔横幅に対する額横幅
１２）顔縦幅に対する左目眉間距離
１３）顔縦幅に対する右目眉間距離
１４）顔縦幅に対する口縦幅
１５）顔横幅に対する口横幅
１６）顔縦幅に対する鼻縦幅
１７）顔横幅に対する鼻横幅
の何れかを組み合わせて生成することを特徴とする癒し情報出力装置。
【請求項４】
請求項２又は請求項３に記載の癒し情報出力装置において、前記入力部は、入力される顔画像情報に対して、顔、一対の目、及び口の各輪郭を２次の楕円の陰関数で表現した後に特徴点を抽出することを特徴とする癒し情報出力装置。
【請求項５】
請求項２乃至請求項４の何れかに記載の癒し情報出力装置において、前記伝達関数部は、ホログラフィックニューラルネットワークモデルを用いることを特徴とする癒し情報出力装置。
【請求項６】
請求項５に記載の癒し情報出力装置において、前記伝達関数部は、ホログラフィックニューラルネットワークモデルとファジー推論を組み合わせて用いることを特徴とする癒し情報出力装置。
【請求項７】
請求項２乃至請求項６の何れかに記載の癒し情報出力装置において、前記情報加工部は、新たに入力される顔画像情報に対してウェーブレット変換及び陰関数処理を用いて顔画像情報を再構成することを特徴とする癒し情報出力装置。
【請求項８】
請求項２乃至請求項７の何れかに記載の癒し情報出力装置において、前記情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、フェイシャルアクションコーディングシステムを用いて癒しをもたらす顔画像情報に加工して出力することを特徴とする癒し情報出力装置。
【請求項９】
請求項２乃至請求項８の何れかに記載の癒し情報出力装置であって、さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、新たに入力される顔画像情報に対して癒し評価度を出力する出力部を具備することを特徴とする癒し情報出力装置。
【請求項１０】
請求項２乃至請求項９の何れかに記載の癒し情報出力装置において、前記情報加工部は、さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらさない顔画像情報に加工して出力することを特徴とする癒し情報出力装置。
【請求項１１】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として音を録音して生成される音情報が入力され、入力される音情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される音情報に対する前記伝達関数部の結果に基づき、前記新たに入力される音情報を、癒しをもたらす音情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項１２】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として臭いを測定して生成される臭い情報が入力され、入力される臭い情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される臭い情報に対する前記伝達関数部の結果に基づき、前記新たに入力される臭い情報を、癒しをもたらす臭い情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項１３】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として操作者の環境に基づき生成される環境情報が入力され、入力される環境情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される環境情報に対する前記伝達関数部の結果に基づき、前記新たに入力される環境情報を、癒しをもたらす環境情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項１】
人間が癒される情報を出力する癒し情報出力装置であって、該癒し情報出力装置は、
人間の五感のうちの何れかを刺激する五感情報が入力され、入力される五感情報の特徴点に基づき複数のパラメータを生成する入力部と、
前記入力部により生成される複数のパラメータが入力され、癒されるか否かの心理的判断を行う伝達関数部であって、予め操作者が癒される五感情報を学習した伝達関数部と、
癒し情報出力装置に新たに入力される五感情報に対する前記伝達関数部の結果に基づき、前記新たに入力される五感情報を、癒しをもたらす五感情報に加工して出力する情報加工部と、
を具備することを特徴とする癒し情報出力装置。
【請求項２】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として顔を撮像して生成される顔画像情報が入力され、入力される顔画像情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらす顔画像情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項３】
請求項２に記載の癒し情報出力装置において、前記入力部は、入力される顔画像情報の特徴点に基づき、以下の複数のパラメータ、即ち、
１）顔領域に対する右目領域
２）顔領域に対する左目領域
３）顔領域に対する鼻領域
４）顔領域に対する口領域
５）顔領域に対する右眉領域
６）顔領域に対する左眉領域
７）顔横幅に対する目間距離
８）顔縦幅に対する目鼻間距離
９）顔縦幅に対する目口間距離
１０）顔縦幅に対する額縦幅
１１）顔横幅に対する額横幅
１２）顔縦幅に対する左目眉間距離
１３）顔縦幅に対する右目眉間距離
１４）顔縦幅に対する口縦幅
１５）顔横幅に対する口横幅
１６）顔縦幅に対する鼻縦幅
１７）顔横幅に対する鼻横幅
の何れかを組み合わせて生成することを特徴とする癒し情報出力装置。
【請求項４】
請求項２又は請求項３に記載の癒し情報出力装置において、前記入力部は、入力される顔画像情報に対して、顔、一対の目、及び口の各輪郭を２次の楕円の陰関数で表現した後に特徴点を抽出することを特徴とする癒し情報出力装置。
【請求項５】
請求項２乃至請求項４の何れかに記載の癒し情報出力装置において、前記伝達関数部は、ホログラフィックニューラルネットワークモデルを用いることを特徴とする癒し情報出力装置。
【請求項６】
請求項５に記載の癒し情報出力装置において、前記伝達関数部は、ホログラフィックニューラルネットワークモデルとファジー推論を組み合わせて用いることを特徴とする癒し情報出力装置。
【請求項７】
請求項２乃至請求項６の何れかに記載の癒し情報出力装置において、前記情報加工部は、新たに入力される顔画像情報に対してウェーブレット変換及び陰関数処理を用いて顔画像情報を再構成することを特徴とする癒し情報出力装置。
【請求項８】
請求項２乃至請求項７の何れかに記載の癒し情報出力装置において、前記情報加工部は、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、フェイシャルアクションコーディングシステムを用いて癒しをもたらす顔画像情報に加工して出力することを特徴とする癒し情報出力装置。
【請求項９】
請求項２乃至請求項８の何れかに記載の癒し情報出力装置であって、さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、新たに入力される顔画像情報に対して癒し評価度を出力する出力部を具備することを特徴とする癒し情報出力装置。
【請求項１０】
請求項２乃至請求項９の何れかに記載の癒し情報出力装置において、前記情報加工部は、さらに、癒し情報出力装置に新たに入力される顔画像情報に対する前記伝達関数部の結果に基づき、前記新たに入力される顔画像情報を、癒しをもたらさない顔画像情報に加工して出力することを特徴とする癒し情報出力装置。
【請求項１１】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として音を録音して生成される音情報が入力され、入力される音情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される音情報に対する前記伝達関数部の結果に基づき、前記新たに入力される音情報を、癒しをもたらす音情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項１２】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として臭いを測定して生成される臭い情報が入力され、入力される臭い情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される臭い情報に対する前記伝達関数部の結果に基づき、前記新たに入力される臭い情報を、癒しをもたらす臭い情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【請求項１３】
請求項１に記載の癒し情報出力装置において、前記入力部は、五感情報として操作者の環境に基づき生成される環境情報が入力され、入力される環境情報の特徴点に基づき複数のパラメータを生成し、
前記情報加工部は、癒し情報出力装置に新たに入力される環境情報に対する前記伝達関数部の結果に基づき、前記新たに入力される環境情報を、癒しをもたらす環境情報に加工して出力する、
ことを特徴とする癒し情報出力装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００９−１４８５３５（Ｐ２００９−１４８５３５Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００８−１３０５９９（Ｐ２００８−１３０５９９）
【出願日】平成２０年５月１９日（２００８．５．１９）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成２０年５月１９日（２００８．５．１９）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
[ Back to top ]