説明

顔撮影装置

【課題】より良好に顔の位置合わせを行うことができる顔撮影装置を提供する。
【解決手段】撮影(抽出)した顔画像における2以上の検出ラインL1〜L3に沿った波形データを検出波形データとして検出し、それらの検出ラインL1〜L3に沿った基準波形データと比較する。そして、各検出波形データの基準波形データに対するずれ方向及びずれ量に応じた位置合わせ情報を出力し、その位置合わせ情報に基づいて顔の位置合わせを行う。これにより、顔の位置が左右方向にずれているときと、顔の角度がずれているときとを区別することができるので、より良好に顔の位置合わせを行うことができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、基準顔画像に対する顔の位置合わせを行って顔画像を撮影する顔撮影装置に関するものである。
【背景技術】
【0002】
美容皮膚科、美容外科及び形成外科などでは、顔撮影装置により人(被撮影者)の顔を定期的に撮影し、肌の状態の経時的な変化を観察することにより、化粧品や肌治療の効果を確認する作業が行なわれる場合がある(例えば、特許文献1参照)。具体的には、得られた顔画像からシミ、シワ、毛穴及び色ムラなどの評価が行なわれ、さらには、紫外線を使用したポルフィリン及びかくれジミなどの評価も行なわれている。
【0003】
このような肌状態の評価を行うために、以前に撮影した顔画像を今回撮影した顔画像と比較する場合がある。このような場合には、以前の顔画像と今回の顔画像とができるだけ同じ条件で撮影されていることが好ましく、その条件の一例として顔の位置及び角度が挙げられる。すなわち、今回撮影した顔画像における顔の位置及び角度が、以前に撮影した顔画像と異なる場合には、シミ、シワ、毛穴及び色ムラなどの位置や大きさを正確に評価することができないおそれがある。
【0004】
ここで、顔画像をできるだけ同じ条件で撮影する方法としては、頭頂部を検出して基準位置にあるか否かを判定する方法(例えば、特許文献2参照)や、目、耳、鼻などの顔の特徴部分を検出して基準位置にあるか否かを判定する方法(例えば、特許文献3参照)などが提案されている。
【0005】
【特許文献1】特開2004−302424号公報
【特許文献2】特開2003−189161号公報
【特許文献3】特開2005−117316号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献2に開示されている技術のように、頭頂部を検出する場合には、たとえ頭頂部が基準位置にある場合であっても、顔の角度が一致しない場合がある。また、特許文献3に開示されている技術のように、目、耳、鼻などの顔の特徴部分を検出する場合には、その特徴部分の位置を正確に検出することが比較的難しい。そのため、従来の技術では、顔の位置合わせを良好に行うことができないおそれがあった。
【0007】
本発明は、上記実情に鑑みてなされたものであり、より良好に顔の位置合わせを行うことができる顔撮影装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
第1の本発明に係る顔撮影装置は、基準顔画像に対する顔の位置合わせを行って顔画像を撮影する顔撮影装置であって、上記基準顔画像における予め定められた2以上の検出ラインに沿った波形データを基準波形データとして記憶する基準波形データ記憶手段と、撮影した顔画像における上記2以上の検出ラインに沿った波形データを検出波形データとして検出する波形データ検出手段と、上記基準波形データ及び上記検出波形データを比較する波形データ比較手段とを備えたことを特徴とする。
【0009】
このような構成によれば、撮影した顔画像における2以上の検出ライン上に沿った波形データを検出波形データとして検出し、それらの検出ラインに沿った基準波形データと比較することによって、顔の位置合わせを行うことができる。
【0010】
ここで、1つの検出ライン上における検出波形データについてのみ基準波形データと比較するような構成の場合には、顔の位置が左右方向にずれているときと、顔の角度がずれているときとで、基準波形データに対する検出波形データのずれ量が同一となる場合がある。これに対して、本発明のように2以上の検出ラインにおける検出波形データについて基準波形データと比較するような構成によれば、顔の位置が左右方向にずれているときと、顔の角度がずれているときとを区別することができるので、より良好に顔の位置合わせを行うことができる。
【0011】
第2の本発明に係る顔撮影装置は、上記波形データ比較手段による比較結果に基づいて、顔の位置合わせ情報を出力する位置合わせ情報出力手段を備えたことを特徴とする。
【0012】
このような構成によれば、基準波形データ及び検出波形データの比較結果に基づいて顔の位置合わせ情報を出力し、その位置合わせ情報に基づいて顔の位置合わせを行うことができる。したがって、顔の位置をどのようにずらせばよいかが分かりやすいので、より良好に顔の位置合わせを行うことができる。
【0013】
第3の本発明に係る顔撮影装置は、上記波形データが、上記検出ラインに沿った顔画像の明度データからなることを特徴とする。
【0014】
このような構成によれば、撮影した顔画像における検出ラインに沿った明度データを検出波形データとして検出し、それらの検出ラインに沿った明度データからなる基準波形データと比較することによって、顔の位置合わせを行うことができる。顔画像の特徴は、その明度データに基づいて良好に判断することができるため、当該明度データを比較することにより顔の位置合わせを良好に行うことができる。
【0015】
第4の本発明に係る顔撮影装置は、上記検出ラインに平行な複数ラインにおける撮影した顔画像の明度データを平均化する明度平均化処理手段を備え、上記波形データ検出手段が、上記明度平均化処理手段により平均化された明度データを上記検出波形データとして検出することを特徴とする。
【0016】
このような構成によれば、検出ラインに平行な複数ラインにおける撮影した顔画像の明度データを平均化することにより、明度データのノイズを除去することができる。このようにしてノイズが除去された後の明度データからなる検出波形データを基準波形データと比較することによって、顔の位置合わせをより良好に行うことができる。
【0017】
第5の本発明に係る顔撮影装置は、上記検出ライン上における明度データを、その最大値を基準とする明度データに変換することにより正規化する明度正規化処理手段を備え、上記波形データ検出手段が、上記明度正規化処理手段により正規化された明度データを上記検出波形データとして検出することを特徴とする。
【0018】
このような構成によれば、撮影した顔画像と基準顔画像とで全体的な明度差がある場合であっても、明度データの最大値を基準として正規化された検出ライン上の明度データからなる検出波形データを基準波形データと比較することによって、顔の位置合わせをさらに良好に行うことができる。
【0019】
第6の本発明に係る顔撮影装置は、上記波形データが、顔画像を構成しているRGB各色データのうち、上記検出ラインに沿ったRデータのみからなることを特徴とする。
【0020】
このような構成によれば、顔画像を構成しているRGB各色データのうち、検出ラインに沿ったRデータのみからなる検出波形データを基準波形データと比較することによって、顔の位置合わせを行うことができる。顔の輪郭部分などではRGB各色データのうちRデータの変化量が比較的大きいため、当該Rデータを比較することにより顔の位置合わせを良好に行うことができる。
【発明の効果】
【0021】
本発明によれば、撮影した顔画像における2以上の検出ライン上に沿った波形データを検出波形データとして検出し、それらの検出ラインに沿った基準波形データと比較することによって、より良好に顔の位置合わせを行うことができる。
【発明を実施するための最良の形態】
【0022】
<第1実施形態>
図1は、本発明の第1実施形態に係る顔撮影装置Hの構成を示した図であり、筺体1内の構成を横断面図で示している。また、図2は、筺体1の縦断面図である。以下では、図1における上側を前方、下側を後方、左側を左方、右側を右方として説明することとする。
【0023】
この顔撮影装置Hは、美容皮膚科、美容外科及び形成外科などで使用され、当該顔撮影装置Hにより人(被撮影者)の顔を定期的あるいは適度な期間を空けて撮影し、肌の状態の経時的な変化を観察することにより、化粧品や肌治療の効果を確認する作業を行なうことができる。この顔撮影装置Hは、得られた顔画像からシミ、シワ、毛穴及び色ムラなどの評価を行なう機能を有し、さらには、紫外線を使用したポルフィリン及びかくれジミなどの評価を行なう機能も有している。ただし、この顔撮影装置Hは、美容皮膚科、美容外科及び形成外科などで被撮影者に対して使用できるだけでなく、他のあらゆる場所において人の顔を撮影する装置として使用可能である。
【0024】
顔撮影装置Hは、略立方体形状の筺体1を備えており、この筺体1内の所定位置に顔を保持させた状態で顔画像の撮影が行なわれる。筺体1の背面には、開口部1aが形成されており、この開口部1aから被撮影者の顔が挿入される。また、筺体1の背面には、開口部1aからの外光進入を防止するためのカーテン1bが設けられている。すなわち、開口部1aから被撮影者が顔を挿入した状態で、頭の後側をカーテン1bで覆うことにより、室内光などが筺体1内に進入しにくくなるような構造が採用されている。
【0025】
被撮影者の顔は、顔保持手段としてのあご載せ台2及び額押さえ3により、上記所定位置に保持される。図2に示すように、被撮影者の額に当接する額押さえ3の押さえ部3aは、軸3b周りに回転可能に構成され、左右方向への顔の角度の変更に追従して回転できるようになっている。また、被撮影者のあごに当接するあご載せ台2は、連結部2aを介して軸2b周りに回転可能に構成され、左右方向への顔の角度の変更に追従して回転できるようになっている。したがって、あご載せ台2及び額押さえ3により顔を保持した状態で、顔の角度を左右方向に回転させることができるとともに、その場合でも、追従して回転するあご載せ台2及び額押さえ3により顔を安定して保持することができる。
【0026】
筺体1内の前方には、顔を撮影するための撮影手段である撮影カメラ4が設けられており、カメラ支持台5を介して筺体1に固定されている。撮影カメラ4は、その光軸が後方に向かって延びるように固定されており、あご載せ台2及び額押さえ3により後方に保持された被撮影者の顔を撮影することができる。より具体的には、顔が撮影カメラ4の光軸に平行な正面方向P0を向いているときには、正面から見た顔画像(正面顔画像)が撮影される。また、顔が撮影カメラ4の光軸に対して左方向へ傾斜した左傾斜方向P1を向いているときには、右斜め前方から見た顔画像(右顔画像)が撮影され、顔が撮影カメラ4の光軸に対して右方向へ傾斜した右傾斜方向P2を向いているときには、左斜め前方から見た顔画像(左顔画像)が撮影される。
【0027】
左傾斜方向P1は、正面方向P0に対して左方向に角度θだけ傾斜しており、右傾斜方向P2は、正面方向P0に対して右方向に角度θだけ傾斜している。すなわち、左傾斜方向P1及び右傾斜方向P2は、正面方向P0に対して水平面内で逆方向に傾斜しており、正面方向P0に対する傾斜角度θは同一である。この傾斜角度θは、30°〜75°の間に設定され、一般的には40°〜45°に設定される。
【0028】
ここで、軸3bは押さえ部3aの位置よりも少し後側に設けられており、同様に、軸2bもあご載せ台2のあごが載る位置よりも少し後側に設けられている。また、軸3b及び軸2bは同軸上に設けられており、これらの軸線に対して撮影カメラ4の光軸が直交している。したがって、あご載せ台2及び額押さえ3により顔が保持された状態のまま、軸3b及び軸2bを中心に顔を回転させることにより顔の角度を左右方向へ変更した場合であっても、撮影される顔画像の中心が撮影カメラ4の光軸から大きくずれるのを防止できる。
【0029】
筺体1内には、顔を照明するための光源8が複数個所に配置されている。各光源8は、図1に示すように顔の位置を中心として円周方向に並べて設けられるとともに、図2に示すように上方及び下方にも設けられており、それぞれ顔に対向するように配置されている。光源8には、可視光を照射する光源と紫外線を照射するブラックライトとがあり、目的に応じて一方又は両方が使用される。可視光を照射する光源8としては、ハロゲンランプ、蛍光灯、LED(Light-Emitting Diode)、フラッシュ光源などの適宜のものを使用することができる。
【0030】
光源8と顔の位置との間には、光源8から照射される光を均一に拡散するための拡散板9が配置されている。この拡散板9は、図1に示すように、横断面形状が円弧形状(半円形状)である。図2に示すように、拡散板9は、顔に対して水平方向だけでなく、上方及び下方にも配置されており、これにより、顔が拡散板9で包囲されるようになっている。拡散板9における撮影カメラ4の光軸上には、矩形の開口部9aが形成されており、当該開口部9aを介して撮影カメラ4により顔を撮影することができるようになっている。なお、拡散板9は、半円形状のものに限らず、多角形状、楕円形状などの各種形状に形成することができる。
【0031】
撮影カメラ4及び光源8は、制御装置20に接続されており、当該制御装置20の制御によって動作するようになっている。制御装置20は、顔撮影装置Hの動作を制御する機能の他、撮影カメラ4により撮影された顔画像に関する画像処理を行う機能を有する。制御装置20には、モニター21及びキーボード22を備えた汎用のコンピュータが接続されている。当該顔撮影装置Hの操作者は、キーボード22を操作することによりシャッター操作等の入力操作を行うことができるとともに、撮影カメラ4により撮影された顔画像や画像処理された顔画像等をモニター21で確認することができる。
【0032】
図3は、この顔撮影装置Hの電気的構成の一例を示したブロック図である。この図3に示すように、顔撮影装置Hは、上述の撮影カメラ4、光源8、モニター21及びキーボード22の他に、コントローラ30、照明制御部31、カメラ制御部32、音声制御部33、スピーカ34、データ保存部35及び画像処理部36などを備えている。
【0033】
ここで、コントローラ30、照明制御部31、カメラ制御部32、音声制御部33及び画像処理部36は、制御装置20に備えられている。データ保存部35は、制御装置20に備えられていてもよいし、当該制御装置20に接続されたコンピュータのメモリにより構成されていてもよい。スピーカ34は、音声を出力するための音声出力手段であり、制御装置20又は当該制御装置20に接続されたコンピュータに備えられていてもよいし、筺体1内に設けられていてもよい。音声制御部33は、スピーカ34から出力される音声を制御するための音声制御手段である。
【0034】
コントローラ30は、顔撮影装置Hを統括的に制御するものであり、CPU及びメモリなどにより構成される。照明制御部31は、コントローラ30からの制御信号に基づいて光源8の点灯及び消灯を制御するものであり、顔画像の撮影を行う際に光源8を点灯させる。カメラ制御部32は、コントローラ30からの制御信号に基づいて撮影カメラ4の動作を制御するものであり、撮影カメラ4で顔画像を連続して撮影することにより、複数の静止画像データからなる動画像データを生成することができるとともに、キーボード22によるシャッター操作に基づいて、動画像データより解像度が高い静止画像データを生成することができる。撮影カメラ4により生成される動画像データ及び静止画像データは、データ保存部35に記憶される。画像処理部36は、データ保存部35に記憶された動画像データ及び静止画像データに対する画像処理を行う画像処理手段であり、画像処理後のデータが必要に応じてモニター21に表示される。
【0035】
本実施形態では、被撮影者の顔を正面方向P0から撮影することにより正面顔画像を撮影した後、左傾斜方向P1に顔を向けて右顔画像を撮影し、さらに右傾斜方向P2に顔を向けて左顔画像を撮影することにより、正面顔画像データ、右顔画像データ及び左顔画像データからなる3つの静止画像データが生成される。すなわち、顔画像を正面方向P0から撮影することにより、正面顔画像データを生成するとともに、正面方向P0に対して左右両方向にそれぞれ同一角度θだけ傾斜した方向から顔画像を撮影することにより、右顔画像データ及び左顔画像データを生成することができる。
【0036】
正面顔画像、右顔画像及び左顔画像の撮影時には、撮影カメラ4により動画像データが生成され、その動画像データが動画像データ表示手段としてのモニター21にリアルタイムで表示されるようになっている。ここで、リアルタイムとは、データ転送等による若干の時間的誤差を含む概念であり、撮影された動画像データが撮影時とほぼ同時に表示されることを意味している。本実施形態では、正面顔画像、右顔画像及び左顔画像の撮影時に、予め撮影されている基準顔画像に対する顔の位置合わせを行うことにより、顔画像をできるだけ同じ条件で撮影することができるようになっている。
【0037】
図4は、顔の位置合わせを行う際の態様について説明するための図である。図4では、正面顔画像を撮影する際に顔の位置合わせを行う場合の態様が示されているが、右顔画像及び左顔画像を撮影する際にも同様の態様で顔の位置合わせを行うことができる。
【0038】
正面顔画像、右顔画像及び左顔画像の撮影時には、撮影カメラ4で撮影されている動画像データから所定のタイミングで静止画像データが抽出され、その抽出された静止画像データにおける予め定められた2以上の検出ラインに沿った波形データ(断面波形データ)が検出波形データとして検出される。そして、それらの検出波形データと、基準顔画像における上記各検出ラインに沿った波形データからなる基準波形データとを比較することにより、顔の位置合わせを行うことができるようになっている。このようにして顔の位置合わせを行った後、キーボード22を用いてシャッター操作を行うことにより、基準顔画像とできるだけ同じ条件で撮影された正面顔画像データ、右顔画像データ及び左顔画像データを得ることができる。
【0039】
この例では、上記2以上の検出ラインとして、顔の中央部付近を左右方向に延びる中央検出ラインL1と、中央検出ラインL1に対して上方に平行に延びる上部検出ラインL2と、中央検出ラインL1に対して下方に平行に延びる下部検出ラインL3とが設定されている。ここで、中央検出ラインL1は鼻の近傍、上部検出ラインL2は目の近傍、下部検出ラインL3は口の近傍といったように、各検出ラインL1〜L3が顔の特徴部分を横断するように設定されていてもよいし、顔の特徴部分を横断しないように設定されていてもよい。
【0040】
なお、動画像データから抽出される静止画像データは、正面顔画像データ、右顔画像データ及び左顔画像データよりも解像度が低い。以下では、正面顔画像データ、右顔画像データ及び左顔画像データをそれぞれ生成する処理だけでなく、動画像データから静止画像データを抽出する処理も「撮影」に含まれるものとして説明する。
【0041】
本実施形態では、各検出ラインL1〜L3における明度データに対して、明度平均化処理、移動平均処理及び明度正規化処理などの明度データ処理が行われ、これらの処理後の明度データが検出波形データとして検出される。
【0042】
明度平均化処理は、各検出ラインL1〜L3について、その検出ラインL1〜L3を中心とする上下の所定幅W内において、各検出ラインL1〜L3に平行な複数ラインの明度データを平均化する処理である。
【0043】
移動平均処理は、各検出ラインL1〜L3について、その検出ラインL1〜L3上における左方向又は右方向の一方向に注目ポイントを順次に移動させて、各注目ポイントにおける左右の所定幅内での明度データの平均値を算出し、その平均値を当該注目ポイントの明度データとする処理である。
【0044】
明度正規化処理は、各検出ラインL1〜L3について、その検出ラインL1〜L3における明度データを、その最大値を基準とする明度データに変換することにより、最大値を「1」とする値に正規化する処理である。
【0045】
図5は、明度データ処理後の明度データの一例を示した波形図である。この図5に示すように、明度データ処理後の明度データは、明度平均化処理及び移動平均処理によってノイズが除去されるとともに、明度正規化処理によって最大値を「1」とする波形に変換される。
【0046】
この図5からも分かるように、明度データは検出ラインL1〜L3に平行な顔の幅方向に沿って大きく変化しており、特に変化の大きい領域に顔画像の特徴が反映されている。例えば、図5において特に明度データの変化量が大きい左右両端部の領域は、顔画像の特徴の1つである輪郭部分が反映されている。このように、顔画像の特徴は、その明度データに基づいて良好に判断することができるため、当該明度データを比較することにより顔の位置合わせを良好に行うことができる。
【0047】
本実施形態では、明度平均化処理及び移動平均処理により、明度データのノイズを除去することができるので、ノイズが除去された後の明度データからなる検出波形データを基準波形データと比較することによって、顔の位置合わせをより良好に行うことができる。また、撮影した顔画像と基準顔画像とで全体的な明度差がある場合であっても、明度正規化処理により、明度データの最大値を基準として正規化された検出ラインL1〜L3上の明度データからなる検出波形データを基準波形データと比較することによって、顔の位置合わせをさらに良好に行うことができる。
【0048】
図6は、基準波形データ及び検出波形データを比較する際の態様を示した波形図である。図6では、基準波形データを破線で示すとともに、検出波形データを実線で示している。
【0049】
この例では、検出ラインL1〜L3に沿った顔の幅方向における一部分の波形データのみが比較されるようになっている。より具体的には、顔の左右の輪郭部分にそれぞれ対応する範囲R1,R2と、顔の中央部に対応する範囲R3とにおいて、基準波形データ及び検出波形データが比較されるようになっている。各範囲R1〜R3は、その一部が互いに重複していてもよいし、重複していなくてもよい。
【0050】
ただし、上記のような3つの範囲R1〜R3において基準波形データ及び検出波形データが比較されるような構成に限らず、左右の輪郭部分に対応する2つの範囲R1,R2のみや、中央部に対応する1つの範囲R3のみが比較されるような構成であってもよいし、4つ以上の範囲で基準波形データ及び検出波形データが比較されるような構成であってもよい。また、顔の幅方向における一部分の波形データではなく、全範囲にわたって基準波形データ及び検出波形データが比較されるような構成であってもよい。
【0051】
基準波形データと検出波形データを比較する際には、相互相関係数を用いた公知の方法により一致度を算出することができる。この場合、算出される値が「0」に近づくほど一致度が高く、「0」から遠ざかるほど一致度が低いと判定することができる。また、算出される値が正又は負のいずれであるかによって、基準波形データに対して検出波形データが右又は左のいずれにずれているかを判定することができる。したがって、算出された値が「0」を中心とする所定範囲内に存在する場合に、基準波形データと検出波形データとが一致していると判断することができる。
【0052】
図7は、画像処理部36の一構成例を示した機能ブロック図である。図7に示すように、画像処理部36は、顔画像抽出部361、明度平均化処理部362、移動平均処理部363、明度正規化処理部364、波形データ比較部366及び位置合わせ情報出力部367などにより構成され、これらの各機能ブロックは、コントローラ30に備えられたCPUが実行するコンピュータプログラムにより実現される。明度平均化処理部362、移動平均処理部363及び明度正規化処理部364は、波形データ検出部368を構成している。当該波形データ検出部368は、撮影した顔画像における検出ラインL1〜L3に沿った波形データを検出波形データとして検出する波形データ検出手段である。
【0053】
データ保存部35には、図7に示すように、検出ラインL1〜L3に関するデータを記憶する検出ラインデータ記憶部35Aと、基準顔画像に関するデータを記憶する基準顔画像データ記憶部35Bとが割り当てられている。検出ラインデータ記憶部35Aには、中央検出ラインL1、上部検出ラインL2及び下部検出ラインL2の位置情報が記憶されている。検出ラインL1〜L3の位置情報は、固定値であってもよいし、任意の値に変更可能であってもよい。
【0054】
一方、基準顔画像データ記憶部35Bには、予め撮影されている複数の基準顔画像の静止画像データが記憶されている。基準顔画像データ記憶部35Bは、各基準顔画像に対応付けて、その基準顔画像における検出ラインL1〜L3に沿った波形データを基準波形データとして記憶する基準波形データ記憶手段を構成している。
【0055】
顔画像抽出部361は、撮影カメラ4により生成される動画像データから静止画像データを抽出する。波形データ検出部368は、検出ラインデータ記憶部35Aに記憶されている各検出ラインL1〜L3の位置情報に基づいて、抽出された静止画像データの各検出ラインL1〜L3における明度データに対して、明度平均化処理部362、移動平均処理部363及び明度正規化処理部364による処理を行い、これらの処理が施された波形データを検出波形データとして検出する。なお、上述の基準波形データも、この検出波形データと同様の態様で処理が施された波形データとして検出することができる。
【0056】
明度平均化処理部362は、各検出ラインL1〜L3の明度データについて明度平均化処理を行うことにより、各検出ラインL1〜L3に平行な複数ラインにおける明度データを平均化する明度平均化処理手段である。移動平均処理部363は、各検出ラインL1〜L3の明度データについて移動平均処理を行う移動平均処理手段である。明度正規化処理部364は、各検出ラインL1〜L3の明度データについて明度正規化処理を行うことによって、各検出ラインL1〜L3における明度データを、その最大値を基準とする明度データに変換することにより正規化する明度正規化処理手段である。
【0057】
波形データ比較部366は、波形データ検出部368により検出された検出波形データと、基準顔画像データ記憶部35Bに記憶されている基準波形データとを比較する波形データ比較手段である。より具体的には、上述の通り、検出ラインL1〜L3に沿った顔の幅方向における一部分の範囲R1〜R3について、それぞれ相互相関係数などを用いて基準波形データ及び検出波形データが比較されることにより、それらの波形データの一致度が算出される。
【0058】
位置合わせ情報出力部367は、波形データ比較部366による比較結果に基づいて、顔の位置合わせ情報を出力する位置合わせ情報出力手段である。上記位置合わせ情報は、各検出波形データを対応する基準波形データに近似させるための情報であって、各検出波形データの基準波形データに対するずれ方向及びずれ量に応じた情報として出力される。位置合わせ情報出力部367から出力された位置合わせ情報は、スピーカ34から音声として出力されることにより、当該顔撮影装置Hの操作者又は被撮影者に報知されるようになっている。
【0059】
図8は、顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の位置が水平方向にずれている場合を示している。また、図9は、顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の角度がずれている場合を示している。
【0060】
なお、図8及び図9では、基準顔画像データに基づく顔画像を破線で示すとともに、撮影カメラ4により生成される動画像データから抽出された静止画像データに基づく顔画像を実線で示している。また、各検出ラインL1〜L3について、顔の左右の輪郭部分にそれぞれ対応する範囲R1,R2おける検出波形データの基準波形データに対するずれ方向を矢印の向きで示すとともに、そのずれ量を矢印の長さで示している。顔の位置合わせ情報は、上記のような2つの範囲R1,R2における基準波形データ及び検出波形データを比較することにより決定することもできるが、上述の範囲R3のような他の範囲において基準波形データ及び検出波形データを比較するような構成であってもよい。例えば、正面顔画像ではなく、右顔画像や左顔画像のように顔を斜め方向から撮影する場合には、上記範囲R3においても基準波形データ及び検出波形データを比較することによって、より精度のよい位置合わせ情報を決定することができる。
【0061】
図8(a)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が左方向へずれている場合が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、顔が右方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、図8(a)に矢印で示すように、それぞれ基準波形データに対して同一のずれ方向(左方向)へ同一のずれ量でずれることとなる。
【0062】
図8(b)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が右方向へずれている場合が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、顔が左方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、図8(b)に矢印で示すように、それぞれ基準波形データに対して同一のずれ方向(右方向)へ同一のずれ量でずれることとなる。
【0063】
図8(c)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が中央部を基準に縮小している場合が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、顔が後方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、図8(c)に矢印で示すように、各検出ラインL1〜L3における各範囲R1,R2の検出波形データのうち、右側の各検出波形データと左側の各検出波形データとが、それぞれ逆方向であって互いに近づく方向へ同一のずれ量でずれることとなる。
【0064】
図8(d)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が中央部を基準に拡大している場合が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、顔が前方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、図8(d)に矢印で示すように、各検出ラインL1〜L3における各範囲R1,R2の検出波形データのうち、右側の各検出波形データと左側の各検出波形データとが、それぞれ逆方向であって互いに遠ざかる方向へ同一のずれ量でずれることとなる。
【0065】
図8(a)〜(d)に示すように、基準顔画像データに基づく顔画像に対して顔の位置が水平方向にずれている場合には、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、基準波形データに対して同一のずれ量でずれており、ずれ方向のみが異なっている。したがって、各検出ラインL1〜L3における各範囲R1,R2の検出波形データのずれ量が同一であることに基づいて、顔が水平方向にずれていると判断することができるとともに、そのずれ量と各検出ラインL1〜L3における各範囲R1,R2の検出波形データのずれ方向の組合せに基づいて、顔を移動(水平移動)すべき方向及び移動量を判断することができる。
【0066】
次に、図9(a)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が右方向へ回転している場合であって、あごの位置を中心に回転してずれた状態が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、あご載せ台2に当接するあごの位置を中心に顔が左方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、図9(a)に矢印で示すように、それぞれ基準波形データに対して同一のずれ方向(右方向)へずれるとともに、そのずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっている。より具体的には、右側の各範囲R1,R2及び左側の各範囲R1,R2のいずれにおいても、より上側の範囲の検出波形データの方がずれ量が大きくなっている。
【0067】
図9(b)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が右方向へ回転している場合であって、額の位置を中心に回転してずれた状態が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、額押さえ3に当接する額の位置を中心に顔が左方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、図9(b)に矢印で示すように、それぞれ基準波形データに対して同一のずれ方向(左方向)へずれるとともに、そのずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっている。より具体的には、右側の各範囲R1,R2及び左側の各範囲R1,R2のいずれにおいても、より下側の範囲の検出波形データの方がずれ量が大きくなっている。
【0068】
図9(c)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が左方向へ回転している場合であって、あごの位置を中心に回転してずれた状態が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、あご載せ台2に当接するあごの位置を中心に顔が右方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、図9(c)に矢印で示すように、それぞれ基準波形データに対して同一のずれ方向(左方向)へずれるとともに、そのずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっている。より具体的には、右側の各範囲R1,R2及び左側の各範囲R1,R2のいずれにおいても、より上側の範囲の検出波形データの方がずれ量が大きくなっている。
【0069】
図9(d)は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が左方向へ回転している場合であって、額の位置を中心に回転してずれた状態が示されている。すなわち、図1に示す筺体1内において、基準顔画像の撮影時における顔の位置に対して、額押さえ3に当接する額の位置を中心に顔が右方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、図9(d)に矢印で示すように、それぞれ基準波形データに対して同一のずれ方向(右方向)へずれるとともに、そのずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっている。より具体的には、右側の各範囲R1,R2及び左側の各範囲R1,R2のいずれにおいても、より下側の範囲の検出波形データの方がずれ量が大きくなっている。
【0070】
図9(a)〜(d)に示すように、基準顔画像データに基づく顔画像に対して顔の角度がずれている場合には、各検出ラインL1〜L3における各範囲R1,R2の検出波形データが、基準波形データに対して同一のずれ方向にずれており、各ずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっている。したがって、各検出波形データのずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっていることに基づいて、顔が回転してずれていると判断することができるとともに、そのずれ量と各検出ラインL1〜L3における各範囲R1,R2の検出波形データのずれ方向の組合せに基づいて、顔を移動(回転移動)すべき方向及び移動量を判断することができる。
【0071】
このような図8及び図9を用いて説明した態様で、各検出波形データを対応する基準波形データに近似させるために顔を移動すべき方向及び移動量が判断され、その情報が顔の位置合わせ情報として出力される。したがって、出力された位置合わせ情報に基づいて顔の位置合わせを行って顔画像を撮影することにより、基準顔画像の撮影時とできるだけ同じ条件で顔画像を撮影することができる。
【0072】
なお、図9では、あご又は額の位置を中心に顔が左方向又は右方向へ回転している場合について説明したが、あごの位置を中心に顔が前方向又は後方向へ回転した場合や、額の位置を中心に顔が前方向又は後方向に回転した場合であっても、同様に、各検出波形データのずれ量が各検出ラインL1〜L3における各範囲R1,R2によって異なっていることに基づいて、顔が回転してずれていると判断することができるとともに、そのずれ量と各検出ラインL1〜L3における各範囲R1,R2の検出波形データのずれ方向の組合せに基づいて、顔を移動(回転移動)すべき方向及び移動量を判断することができる。
【0073】
図10は、この顔撮影装置Hで顔の位置合わせを行って顔画像を撮影する際の処理の流れを示したフローチャートである。この顔撮影装置Hで顔画像を撮影する際には、まず、操作者がキーボード22を操作することにより、予め撮影されて基準顔画像データ記憶部35Bに記憶されている複数の基準顔画像データの中から、所望の基準顔画像データを選択する(ステップS101)。例えば、肌状態の評価を行うために以前に撮影した顔画像とできるだけ同じ条件で撮影を行いたい場合などには、その以前に撮影した顔画像の静止画像データを基準顔画像データとして選択することとなる。
【0074】
その後、撮影カメラ4により生成されている動画像データから静止画像データが抽出され(ステップS102)、その静止画像データの各検出ラインL1〜L3における明度データに対して、明度平均化処理(ステップS103)、移動平均処理(ステップS104)及び明度正規化処理(ステップS105)が行われる。これらの処理が行われた後の明度データからなる波形データは、各検出ラインL1〜L3に沿った検出波形データとして検出され(ステップS106)、それらの検出波形データが基準波形データと比較される(ステップS107)。
【0075】
比較の結果、各検出波形データが対応する基準波形データと全て一致している場合には(ステップS107でYes)、操作者がキーボード22を用いてシャッター操作を行うことによって、撮影カメラ4により顔画像が撮影されて静止画像データが生成される(ステップS108)。このとき、撮影前に、「そのまま動かないで下さい。撮影します。」などといったように、顔の位置を停止させるための音声がスピーカ34から出力されるようになっていることが好ましい。なお、操作者によるシャッター操作に基づいて撮影が行われるような構成に限らず、自動的に撮影が行われるようになっていてもよい。
【0076】
一方、比較の結果、各検出波形データのうち対応する基準波形データと一致していない検出波形データがある場合には(ステップS107でNo)、図8及び図9を用いて説明したような態様で、各検出波形データの基準波形データに対するずれ方向及びずれ量に応じた位置合わせ情報が生成され、その位置合わせ情報に基づく音声がスピーカ34から出力される(ステップS109)。
【0077】
このとき、スピーカ34から出力される音声は、各検出波形データの基準波形データに対するずれ方向及びずれ量に応じて異なるような構成であることが好ましい。例えば、顔の位置が左側に大きくずれていると判断された場合には、「右に移動して下さい。」という音声を出力し、右斜めに若干回転してずれている場合には、「もう少し左に起こして下さい。」という音声を出力するといったように、移動量の程度を表す情報を含む音声を位置合わせ情報として出力するようになっていてもよい。
【0078】
位置合わせ情報を出力した場合には、その後に所定時間が経過した後(ステップS110でYes)、再び撮影カメラ4により生成されている動画像データから静止画像データが抽出され(ステップS102)、その静止画像データの各検出ラインL1〜L3における明度データに対して、ステップS103以降の処理が行われる。したがって、被撮影者は、位置合わせ情報の出力後、次の静止画像データが抽出されるまでの間に、その出力された位置情報に基づいて顔の位置合わせを行えばよい。
【0079】
本実施形態では、撮影(抽出)した顔画像における2以上の検出ラインL1〜L3上に沿った波形データを検出波形データとして検出し、それらの検出ラインに沿った基準波形データと比較することによって、顔の位置合わせを行うことができる。
【0080】
ここで、1つの検出ライン上における検出波形データについてのみ基準波形データと比較するような構成の場合には、顔の位置が左右方向にずれているときと、顔の角度がずれているときとで、基準波形データに対する検出波形データのずれ量が同一となる場合がある。これに対して、本発明のように2以上の検出ラインL1〜L3における検出波形データについて基準波形データと比較するような構成によれば、顔の位置が左右方向にずれているときと、顔の角度がずれているときとを区別することができるので、より良好に顔の位置合わせを行うことができる。
【0081】
また、本実施形態では、基準波形データ及び検出波形データの比較結果に基づいて顔の位置合わせ情報を出力し、その位置合わせ情報に基づいて顔の位置合わせを行うことができる。したがって、顔の位置をどのようにずらせばよいかが分かりやすいので、より良好に顔の位置合わせを行うことができる。
【0082】
<第2実施形態>
第1実施形態では、動画像データから抽出された静止画像データにおける各検出ラインL1〜L3に沿った明度データが、検出波形データとして検出されるような構成について説明した。これに対して、第2実施形態では、動画像データから抽出された静止画像データを構成しているR(レッド)データ、G(グリーン)データ及びB(ブルー)データの各色データのうち、各検出ラインL1〜L3に沿ったRデータのみが、検出波形データとして検出されるようになっている点が異なっている。
【0083】
図11は、本発明の第2実施形態に係る顔撮影装置Hにおける画像処理部36の一構成例を示した機能ブロック図である。本実施形態では、波形データ検出部368の構成が第1実施形態とは異なる点以外は、第1実施形態と同様の構成を有しているので、同様の構成については図に同一符号を付して説明を省略することとする。
【0084】
本実施形態では、波形データ検出部368が、Rデータ平均化処理部362A、Rデータ移動平均処理部363A及びRデータ正規化処理部364Aなどにより構成され、顔画像抽出部361により抽出された静止画像データにおける各検出ラインL1〜L3に沿ったRデータを検出波形データとして検出する。
【0085】
Rデータ平均化処理部362Aは、各検出ラインL1〜L3のRデータについて、各検出ラインL1〜L3に平行な複数ラインにおけるRデータを平均化するRデータ平均化処理手段である。Rデータ移動平均処理部363Aは、各検出ラインL1〜L3のRデータについて移動平均処理を行うRデータ移動平均処理手段である。Rデータ正規化処理部364Aは、各検出ラインL1〜L3におけるRデータを、その最大値を基準とするRデータに変換することにより正規化するRデータ正規化処理手段である。
【0086】
これらのRデータ平均化処理部362A、Rデータ移動平均処理部363A及びRデータ正規化処理部364Aによる処理は、第1実施形態における明度平均化処理部362、移動平均処理部363及び明度正規化処理部364による処理と同様の態様により行うことができる。そして、このような処理が行われた後のRデータが検出波形データとして検出され、対応する基準波形データと比較される。
【0087】
本実施形態では、顔画像を構成しているRGB各色データのうち、検出ラインL1〜L3に沿ったRデータのみからなる検出波形データを基準波形データと比較することによって、顔の位置合わせを行うことができる。顔の輪郭部分などではRGB各色データのうちRデータの変化量が比較的大きいため、当該Rデータを比較することにより顔の位置合わせを良好に行うことができる。
【0088】
以上の実施形態では、動画像データから静止画像データを抽出するような構成について説明したが、このような構成に限らず、シャッター操作に基づく顔画像の撮影によって、動画像データよりも解像度の高い静止画像データを生成し、その静止画像データにおける各検出ラインL1〜L3に沿った波形データを検出波形データとして検出するような構成であってもよい。
【0089】
検出ラインL1〜L3は、それぞれ左右方向に延びるような構成に限らず、左右方向に対して所定角度だけ傾斜した方向に延びるような構成であってもよい。また、検出ラインは、中央検出ラインL1、上部検出ラインL2及び下部検出ラインL3の3つに限らず、2つであってもよいし、4つ以上であってもよい。
【0090】
顔の位置合わせ情報は、スピーカ34から音声により出力されるような構成に限らず、モニター21に対する表示などの他の手段により出力されるような構成であってもよい。
【0091】
以上の実施形態では、正面顔画像、右顔画像及び左顔画像を撮影することができるような顔撮影装置Hについて説明したが、本発明は、このような顔撮影装置Hに限らず、それらのうち少なくとも1つの顔画像を撮影することができるような顔撮影装置に適用することができる。
【0092】
また、操作者がキーボード22を操作することにより撮影カメラ4のシャッター操作を行うような構成に限らず、被撮影者がシャッター操作を行うような構成であってもよい。この場合、スピーカ34から出力される位置合わせ情報に基づいて、被撮影者自身が顔の位置合わせを行った後、自らシャッター操作を行うことにより、顔画像を撮影することが可能である。
【0093】
以上の実施形態では、筺体1とは別個に制御装置20が設けられ、当該制御装置20にモニター21及びキーボード22を備えた汎用のコンピュータが接続された構成について説明したが、このような構成に限らず、各構成要素が一体的に形成されたような構成であってもよい。
【図面の簡単な説明】
【0094】
【図1】本発明の第1実施形態に係る顔撮影装置の構成を示した図であり、筺体内の構成を横断面図で示している。
【図2】筺体の縦断面図である。
【図3】この顔撮影装置の電気的構成の一例を示したブロック図である。
【図4】顔の位置合わせを行う際の態様について説明するための図である。
【図5】明度データ処理後の明度データの一例を示した波形図である。
【図6】基準波形データ及び検出波形データを比較する際の態様を示した波形図である。
【図7】画像処理部の一構成例を示した機能ブロック図である。
【図8】顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の位置が水平方向にずれている場合を示している。
【図9】顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の角度がずれている場合を示している。
【図10】この顔撮影装置で顔の位置合わせを行って顔画像を撮影する際の処理の流れを示したフローチャートである。
【図11】本発明の第2実施形態に係る顔撮影装置における画像処理部の一構成例を示した機能ブロック図である。
【符号の説明】
【0095】
H 顔撮影装置
L1 中央検出ライン
L2 上部検出ライン
L3 下部検出ライン
4 撮影カメラ
20 制御装置
30 コントローラ
31 照明制御部
32 カメラ制御部
33 音声制御部
34 スピーカ
35 データ保存部
36 画像処理部
361 顔画像抽出部
362 明度平均化処理部
363 移動平均処理部
364 明度正規化処理部
366 波形データ比較部
367 位置合わせ情報出力部
368 波形データ検出部

【特許請求の範囲】
【請求項1】
基準顔画像に対する顔の位置合わせを行って顔画像を撮影する顔撮影装置であって、
上記基準顔画像における予め定められた2以上の検出ラインに沿った波形データを基準波形データとして記憶する基準波形データ記憶手段と、
撮影した顔画像における上記2以上の検出ラインに沿った波形データを検出波形データとして検出する波形データ検出手段と、
上記基準波形データ及び上記検出波形データを比較する波形データ比較手段とを備えたことを特徴とする顔撮影装置。
【請求項2】
上記波形データ比較手段による比較結果に基づいて、顔の位置合わせ情報を出力する位置合わせ情報出力手段を備えたことを特徴とする請求項1に記載の顔撮影装置。
【請求項3】
上記波形データが、上記検出ラインに沿った顔画像の明度データからなることを特徴とする請求項1又は2に記載の顔撮影装置。
【請求項4】
上記検出ラインに平行な複数ラインにおける撮影した顔画像の明度データを平均化する明度平均化処理手段を備え、
上記波形データ検出手段が、上記明度平均化処理手段により平均化された明度データを上記検出波形データとして検出することを特徴とする請求項3に記載の顔撮影装置。
【請求項5】
上記検出ライン上における明度データを、その最大値を基準とする明度データに変換することにより正規化する明度正規化処理手段を備え、
上記波形データ検出手段が、上記明度正規化処理手段により正規化された明度データを上記検出波形データとして検出することを特徴とする請求項3又は4に記載の顔撮影装置。
【請求項6】
上記波形データが、顔画像を構成しているRGB各色データのうち、上記検出ラインに沿ったRデータのみからなることを特徴とする請求項1又は2に記載の顔撮影装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2009−188528(P2009−188528A)
【公開日】平成21年8月20日(2009.8.20)
【国際特許分類】
【出願番号】特願2008−24102(P2008−24102)
【出願日】平成20年2月4日(2008.2.4)
【出願人】(000135313)ノーリツ鋼機株式会社 (1,824)
【Fターム(参考)】