顔画像撮影装置および顔画像撮影方法
【課題】目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供する。
【解決手段】身分証明書や各種免許証などに貼付する証明用写真を作成することを目的に被撮影者の少なくとも顔画像を撮影する顔画像撮影方法であって、被撮影者の少なくとも顔画像を撮影するステップと、この撮影した顔画像から瞳の位置を検出するステップと、この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、この判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップとを有する。
【解決手段】身分証明書や各種免許証などに貼付する証明用写真を作成することを目的に被撮影者の少なくとも顔画像を撮影する顔画像撮影方法であって、被撮影者の少なくとも顔画像を撮影するステップと、この撮影した顔画像から瞳の位置を検出するステップと、この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、この判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップとを有する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、たとえば、身分証明書や各種免許証などに貼付する証明用写真を作成することを目的に、被撮影者の少なくとも顔画像を撮影する顔画像撮影装置および顔画像撮影方法に関する。
【背景技術】
【0002】
一般に、この種の顔画像撮影装置にあっては、撮影状況の案内は撮影者(撮影操作者)が行い、撮影者が案内できない場合は、被撮影者の判断が必要となっていた。
しかしながら、従来の撮影状況の案内方法の揚合、撮影者(撮影操作者)の負荷が増大するという問題がある。特に、撮影申請者の撮影待ち行列ができている場合、撮影申請者の撮影の流れを効率的に行い、撮影サイクルを早める必要がある。
【0003】
その際、被撮影者が撮影の状況がわからず、撮影が終わったことを知らずにそのままカメラの前に居座り、撮影申請者の撮影の流れを妨げる。また、撮影中に被撮影者が撮影が終わったと誤判断して移動したり、そのため不良撮影となり、撮影のやり直しが発生し、撮影申請者の撮影の流れを妨げる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
この発明は、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
この発明の顔画像撮影方法は、被撮影者の少なくとも顔画像を撮影するステップと、この撮影した顔画像から瞳の位置を検出するステップと、この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、この判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップとを有して構成される。
【0006】
この発明の顔画像撮影装置は、被撮影者の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、この判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段とを有して構成される。
【0007】
この発明の顔画像撮影方法は、被撮影者の少なくとも顔画像を撮影するステップと、この撮影した顔画像から瞳の位置を検出するステップと、この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、この判定により瞳が正常に開いていると判定された場合、上記撮影された顔画像を撮影画像として出力または印刷画像として出力または画像保存手段に対して出力するステップと、上記判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップとを有して構成される。
【0008】
この発明の顔画像撮影装置は、被撮影者の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を撮影画像として出力または印刷画像として出力する画像出力手段と、上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段とを有して構成される。
【0009】
この発明の顔画像撮影装置は、被撮影者の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を保存する画像保存手段と、上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段とを有して構成される。
【発明の効果】
【0010】
この発明によれば、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供できる。
【図面の簡単な説明】
【0011】
【図1】この実施の形態に係る顔画像撮影装置の外観構成を概略的に示す図。
【図2】案内表示部の構成を概略的に示す図。
【図3】顔画像撮影装置の全体的な構成を示すブロック図。
【図4】顔画像撮影装置と、被撮影者と、撮影を待機する撮影申請者との間での撮影の物理的な流れを説明するための図。
【図5】第1の実施の形態における処理動作を説明するためのフローチャート。
【図6】第1の実施の形態における処理動作を説明するためのフローチャート。
【図7】第1の実施の形態における案内表示部の表示例を示す図。
【図8】第1の実施の形態における案内表示部の表示例を示す図。
【図9】第1の実施の形態における案内表示部の表示例を示す図。
【図10】第2の実施の形態における、カメラからの入力画像から顔の輪郭領域を検出し、この顔の輪郭領域から顔の大きさを測定する様子を示す図。
【図11】第2の実施の形態における処理動作を説明するためのフローチャート。
【図12】第2の実施の形態における処理動作を説明するためのフローチャート。
【図13】第2の実施の形態における処理動作を説明するためのフローチャート。
【図14】第2の実施の形態における顔の輪郭領域の規定範囲について説明するためのフローチャート。
【図15】第2の実施の形態における頭頂高さ位置検出処理を説明するためのフローチャート。
【図16】第2の実施の形態における左右方向の顔の中心位置の検出処理を説明するためのフローチャート。
【図17】第2の実施の形態における入力画像の画像データ例を示す図。
【図18】第2の実施の形態における入力画像に対する探索範囲を示す図。
【図19】第2の実施の形態における入力画像に対する探索領域内で被撮影者1が存在しないラインと存在するラインを示す図。
【図20】第2の実施の形態における入力画像に対する頭頂の高さと左頭側位置head leftと顔の中心位置centerを示す図。
【図21】第2の実施の形態における入力画像に対する顔の輪郭領域を示す図。
【図22】第2の実施の形態における入力画像に対する顔の輪郭領域の規定範囲を説明するための図。
【図23】第2の実施の形態における入力画像に対する頭頂高さ位置の検出処理を説明するための図。
【図24】第2の実施の形態における入力画像に対する顔左端縦ライン:head leftの検出処理を説明するための図。
【図25】第2の実施の形態における入力画像に対する顔右端縦ライン:head rightの検出処理を説明するための図。
【図26】第2の実施の形態における入力画像に対する顔の中心位置centerの検出処理を説明するための図。
【図27】第2の実施の形態における入力画像に対する顔の輪郭基準位置に基づく、両瞳が必ず存在するであろう領域を示す図。
【図28】第3の実施の形態におけるカメラからの入力画像と、撮影処理中の各処理時に使用する領域や座標を示した図。
【図29】第3の実施の形態におけるカメラからの入力画像と、撮影処理中の各処理時に使用する領域や座標を示した図。
【図30】第3の実施の形態における処理動作を説明するためのフローチャート。
【図31】第3の実施の形態における撮影可能状態の判定処理を説明するためのフローチャート。
【図32】第4の実施の形態におけるカメラからの入力画像、その入力画像中の顔の輪郭位置からの相対位置である瞳(目)の概略位置領域を特定し、この概略位置領域から両瞳の位置領域を抽出する様子を示す図。
【図33】第4の実施の形態における処理動作を説明するためのフローチャート。
【図34】第5の実施の形態における、カメラからの入力画像と、その入力画像中の顔の輪郭位置からの相対位置である瞳(目)の概略位置領域を特定し、この概略位置領域から両瞳の位置領域を抽出し、この両瞳の位置領域の中心位置(座標)からの相対位置により画像切出し領域を決定する様子を示す図。
【図35】第5の実施の形態における処理動作を説明するためのフローチャート。
【図36】第5の実施の形態における処理動作を説明するためのフローチャート。
【図37】第5の実施の形態における再出力処理を説明するためのフローチャート。
【図38】第6の実施の形態における、カメラからの入力画像と、その入力画像中の顔の中心としての眉間の座標を基準に、瞳が存在するであろう領域を抽出し、かつ出力写真サイズの画像領域を抽出する様子を示す図。
【図39】第6の実施の形態における処理動作を説明するためのフローチャート。
【図40】第6の実施の形態における判定処理を説明するためのフローチャート。
【図41】第6の実施の形態における画像出力処理を説明するためのフローチャート。
【図42】第7の実施の形態におけるカメラからの入力画像を示す図。
【図43】第7の実施の形態における処理動作を説明するためのフローチャート。
【発明を実施するための形態】
【0012】
以下、図面を参照しながらこの発明の実施の形態について詳細に説明する。
図1は、この発明の実施の形態に係る顔画像撮影システムの外観構成を概略的に示すものである。この顔画像撮影システムは、被撮影者1を照明する照明器2、被撮影者1の少なくとも顔画像を撮影する撮影手段としてのCCD形のビデオカメラ3、撮影状態や撮影者(操作者)4の操作情報などを表示する表示器(モニタディスプレイ)5、撮影者4による操作指示により、カメラ3からの入力画像を加工したり、表示器5や内蔵する記憶部などに対して出力を行う制御台(制御部)6、被撮影者1に対し撮影状況を案内表示する案内手段としての案内表示部7等を有する顔画像撮影装置と、被撮影者1が撮影の際に着座する椅子8、撮影の際に被撮影者1の背景となる背景板9および、この背景板9の裏側に設けられ被撮影者1に対し撮影状態やガイダンスなどを音声で案内する案内手段としてのスピーカ10等から構成されている。
【0013】
ビデオカメラ3は、640画素×480ラインを1画面の撮影画像として出力される。上記各画素は、R(レッド)、G(グリーン)、B(ブルー)の各色センサからなり、各画素ごとに、各色ごとのデータ(濃度値)を出力するようになっている。
【0014】
背景板9は青色で構成されていることにより、ビデオカメラ3により撮影された際の背景が青色となり、青色が背景色成分となる。上記ビデオカメラ3の撮像部から被撮影者1の距離は、ほぼ一定となっている。つまり、上記ビデオカメラ3により撮影距離固定で撮影されている。
【0015】
案内表示部7は、図2に示すように、被撮影者1に対し撮影待機を促す表示を行う確認中表示部(第2の表示部)11、被撮影者1に対し撮影終了を表示する終了表示部(第3の表示部)12、被撮影者1に対し撮影終了後の進行方向を促す表示を行う出口表示部(第4の表示部)13から構成されている。
【0016】
この場合、確認中表示部11は、本装置前面のカメラ3下方部位で本装置の横幅方向ほぼ中央部に設けられ、終了表示部12は、確認中表示部11の図面に対し右側に設けられ、出口表示部13は、終了表示部12の図面に対し右側に設けられている。
【0017】
さらに、図2に示すように、被撮影者1に対し撮影状況を案内表示する案内表示手段の1つとして、被撮影者1がカメラ3を見る位置(カメラ3に視点を合わせる位置)を表示するカメラ位置表示部(第1の表示部)14がカメラ3の撮影レンズ3aの周囲に設けられている。カメラ位置表示部14は、たとえば、複数のLED表示素子14aを撮影レンズ3aの周囲に設けて構成されており、必要に応じて点灯、点滅、消灯制御される。
【0018】
図3は、図1、図2に示した顔画像撮影システムの全体的な構成を示すブロック図である。すなわち、顔画像撮影システムの制御部6は、ビデオキャプチャ部21、ビデオアクセラレート部22、CPU部23、外部バス制御部24、大容量記憶装置25、リーダライタ部27、I/O制御部30、ネットワークアダプタ(LANカードなど)33および、サウンドコントロール部34などによって構成されている。
【0019】
ビデオキャプチャ部21は、カメラ3からのアナログ信号(入力画像)をリアルタイムにデジタル信号に変換し、後述するビデオメモリとしてのMO26やメインメモリ23bなどに転送するものである。
【0020】
ビデオアクセラレート(video accelerator)部22は、ビデオキャプチャ部21からの画像データをビデオメモリとしてのMO26やメインメモリ23bなどに記憶したり、ビデオキャプチャ部21からの画像データに対する描画処理を行い、表示器5への表示制御を行うものである。
サウンドコントロール部34は、スピーカ10へのガイダンス用の音声を制御するものである。
【0021】
CPU部23は、画像データ等への各種の演算処理や各種制御などを行うCPU(セントラル・プロセッシング・ユニット)23a、ビデオキャプチャ部21からの画像データをフレーム単位で複数フレーム分記憶するとともに、演算結果などを一時保存するメインメモリ23b、各種周辺機器とのインターフェイス(図示しない)を備えたものである。
【0022】
たとえば、CPU部23には、上記インターフェイスを介して、操作者(撮影者)4が操作する入力装置としてのキーボード28やマウス29が接続されている。キーボード28には、被撮影者1の撮影準備ができたことを確認した場合に押下される撮影ボタン28a、撮影画像がOKとなった場合に押下される撮影確定ボタン28b、再撮影が必要となった場合に押下される撮影取消しボタン28cが設けられている。
【0023】
上記撮影ボタン28a、撮影確定ボタン28b、撮影取消しボタン28cに対応するアイコンを表示器5で表示させることにより、マウス29により移動されるカーソルを用いて上記アイコンを選択した際に、上記キーボード28の撮影ボタン28a、撮影確定ボタン28b、撮影取消しボタン28cを押下した場合と同じ機能となる。
【0024】
また、CPU部23には、上記インターフェイスを介して、撮影した顔画像などを例えば印刷出力する出力手段としての画像印刷装置31が接続されている。
外部バス制御部24は、各種周辺機器を接続する外部バス(たとえば、SCSIなど)を制御するものである。
大容量記憶装置25は、各種OSやアプリケーション、制御用データ、画像データなどを保存するものであり、ハードディスク装置(HDD)などにより構成される。
【0025】
リーダライタ部(MOドライバ)27は、制御台6の出力データなどを保存する可搬性のある記憶媒体26としてのたとえば光磁気ディスク(MO)などに対してデータの読み書きを行うものである。
【0026】
I/O制御部30は、上記確認中表示部11、終了表示部12、出口表示部13、カメラ位置表示部14をそれぞれ制御するものである。
【0027】
ネットワークアダプタ(LANカードなど)33は、同一ネットワーク32上の他の各種機器(画像印刷装置や画像ファイリング装置など)との間で相互通信を行うためのものである。
【0028】
図4は、本顔画像撮影システムと、被撮影者1と、撮影を待機する撮影申請者10との間での撮影の物理的な流れを、上方から見て図示したものである。被撮影者1は、通常、撮影が終了すると、図4に示す実線矢印aの方向に移動(進行)するが、もし破線矢印bの方向に移動すると、次の撮影申請者10との入れ替えに支障がある。
【0029】
(第1の実施の形態)
ここで、このような支障を生じさせないための第1の実施の形態として、被撮影者1に対して、視点合せ、待機、終了、進行方向の順に案内を行う実施の形態について説明する。
【0030】
以下、図5および図6に示すフローチャートを参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0031】
まず、ステップS1では、確認中表示部11、終了表示部12、出口表示部13をそれぞれ消灯するとともに、その他本装置の初期化を行い、ステップS2に進む。ステップS2では、カメラ位置表示部14を例えば赤色で点灯することにより、被撮影者1にカメラ3の撮影レンズ3aを見るべく、すなわち、被撮影者1がカメラ3の撮影レンズ3aに視点を合わせるべく促す。
【0032】
次に、ステップS3では、撮影者4がステップS1による被撮影者1の撮影準備ができたことを確認し、撮影ボタン28aを押下する。次に、ステップS4で、カメラ位置表示部14を例えば点滅状態にすることにより、被撮影者1にそのままカメラ3を見続けることを促し、ステップS5に進む。
【0033】
ステップS5では、カメラ3からの被撮影者1が撮影された画像をビデオキャプチャ部21を介して取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS6に進む。ステップS6では、CPU部23内のメインメモリ23bに格納した入力画像を表示器5に表示し、ステップS7に進む。
【0034】
ステップS7では、画像の取込みが終了したので、点滅させていたカメラ位置表示部14を消灯し、ステップS8に進む。ステップS8では、確認中表示部11を、図7に示すように黄色で点滅状態にし、ステップS9に進む。ステップS9では、撮影者4はステップS6で表示した画像に対し目つぶりはないか、顔位置がずれていないか、などの良否判断を行い、再撮影の要否判定を行う。その間、被撮影者1は再撮影に備え、待機している必要がある。そのため、ステップS8にて確認中表示部11を黄色で点滅状態にするものである。
【0035】
ステップS9の判定において、再撮影が必要となった場合、ステップS10に進み、撮影者4は撮影取消しボタン28cを押下することにより、ステップS2に戻り、上記同様な動作を繰り返す。
【0036】
ステップS9の判定において、撮影画像がOKとなった場合、ステップS11に進み、撮影者4は撮影確定ボタン28bを押下する。撮影確定ボタン28bが押下されると、ステップS12に進み、確認中表示部11を消灯する。次に、ステップS13にて、終了表示部12を、図8に示すように緑色で点滅するとともに、ステップS14にて、図8に示すように出口表示部13に設けられた矢印を点滅することにより、被撮影者1に対して撮影が終了したので出口方向へ進行することを促す。
【0037】
次に、ステップS15では、ステップS6にてCPU部23内のメインメモリ23bに格納した入力画像を出力用に変換し、被撮影者1のその他の個人情報とともに、目的に応じ、CPU部23に接続された画像印刷装置31、あるいは、ネットワークアダプタ33からネットワーク32上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク32上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶装置25や可搬性のある記憶媒体26を画像保存手段として用いることにより、それに対して記憶(保存出力)する。これで、被撮影者1人に対する全ての撮影処理が終了する。
なお、撮影した顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0038】
以上説明したように、上記第1の実施の形態によれば、カメラ3による撮影時、被撮影者に対しカメラ3を見る位置を表示するカメラ位置表示部14、被撮影者に対し撮影待機を促す表示を行う確認中表示部11、被撮影者に対し撮影終了を表示する終了表示部12、および、被撮影者に対し撮影終了後の進行方向を促す表示を行う出口表示部13をそれぞれ設けて、被撮影者1に対し撮影状況(カメラ3を見る位置、撮影待機、撮影終了、撮影終了後の進行方向)を案内表示することにより、被撮影者1に対し撮影状況を案内することができ、撮影申請者10の撮影待ち行列が滞ることを極力なくすことができる。しかも、このような案内表示により、健常者は勿論のこと、耳が悪く聞こえ難い難聴者に対しても、確実に案内表示することができる。
【0039】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。たとえば、図9に示すように、本装置への撮影申請者10の行列方向および被撮影者1の出口方向に合わせて、終了表示部12および出口表示部13の取付け位置を変更できるようにしてもよい。
【0040】
図9の例では、撮影を終了した被撮影者1の進行方向を本装置の図面に対し左側とした場合で、終了表示部12はそのまま図面に対し左側へ平行移動して、確認中表示部11の図面に対し左側に取付け、出口表示部13は180度回転させて向きが逆になるようにし、終了表示部12の図面に対し左側に取付けた場合を示している。
【0041】
また、カメラ位置表示部14により、被撮影者1に対しカメラ3の撮影レンズ3aを見る位置を表示するようにしたが、これに限らず、たとえば、確認中表示部11を用いて「カメラの撮影レンズを見て下さい」と文字で表示するようにしてもよく、あるいは、それらの両方を用いてもよい。
【0042】
(第2の実施の形態)
次に、第2の実施の形態として、被撮影者1の顔の大きさを測定し、この測定した大きさに基づきズーミング処理することにより、一定の大きさの顔画像を取得する実施の形態について説明する。
【0043】
図10は、カメラ3からの入力画像(顔画像)41と、その入力画像41から顔の輪郭領域42を検出し、この顔の輪郭領域42から顔の大きさを測定する様子を示したものである。
【0044】
以下、図11に示すフローチャートおよび図10を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0045】
まず、ステップS21にて、図示しないカウンタによって計数されるリトライ回数やその他のデータの初期化を行い、ステップS22に進む。ステップS22では、ビデオキャプチャ部21を介してカメラ3からの入力画像(被撮影者1の顔画像)41を取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS23に進む。ステップS23では、メインメモリ23b内の入力画像41から、被撮影者1の髪形まで含めた検出方法の詳細を後に説明する、背景板9の色成分と異なる色成分を持った顔の輪郭領域42を検出し、ステップS24に進む。
【0046】
ステップS24では、ステップS23で求められた顔の輪郭領域42により、後で詳述する顔の大きさ測定処理により顔の大きさの値(面積、画素数)を測定し、ステップS25に進む。ここに、このステップS24の処理が本発明における測定手段に対応している。
【0047】
ステップS25では、ステップS24で測定された顔の大きさ測定値が規定範囲内に入っているかどうかを判定する。ここでいう規定範囲とは、後で行うズーミング処理の入力対応範囲から逆算した値である。たとえば、ズーミング処理の入力対応範囲がズーム比率0.5〜1.5だった場合、目標の顔の大きさ値/顔の大きさ測定値が0.5以上1.5以下だということが、規定範囲内に入っているということである。ここに、このステップS25の処理が本発明における第1の判定手段に対応している。
【0048】
ステップS25の判定で、顔の大きさ測定値が規定範囲内に入っている場合、ステップS26に進む。ステップS26では、目標の顔の大きさ値と顔の大きさ測定値との比を求め、この求めた比をズーム比率として設定する。なお、目標の顔の大きさ値とは、出力写真にした際に最も適正な顔の大きさの値であり、たとえば何百人かの顔画像データを平均したものに基づいて決定したものである。ここに、このステップS26の処理が本発明におけるズーム比率設定手段に対応している。
【0049】
次に、ステップS27では、ステップS26で設定されたズーム比率に基づき、カメラ3からの入力画像に対してCPU部23により電子的にズーミング処理を行い、ステップS28に進む。ここに、このステップS27の処理が本発明におけるズーミング処理手段に対応している。この例では、電子的にズーミング処理を行う場合について説明したが、カメラ3のレンズの移動によりズーミング処理を行うものであってもよい。
【0050】
ステップS28では、CPU部23内のメインメモリ23bに格納された入力画像を出力用に変換し、被撮影者1のその他の個人情報(氏名、生年月日、ID番号など)とともに、目的に応じ、CPU部23に接続された画像印刷装置30、あるいは、ネットワークアダプタ32からネットワーク31上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク21上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶装置25や可搬性のある記憶媒体26を画像保存手段として用いることにより、それに対して記憶(保存出力)する。これで、被撮影者1人に対する全ての撮影処理が終了する。
なお、撮影した顔画像を身分証明書などの所定の大きさに定められた領域に印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0051】
ステップS25の判定において、測定された顔の大きさ測定値が規定範囲を外れている場合、リトライ処理を行う。すなわち、まず、ステップS29では、前記リトライ回数をインクリメントし、ステップS30に進む。ステップS30では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS31に進む。ここに、このステップS29、S30の処理が本発明における第2の判定手段に対応している。
【0052】
ステップS31では、測定された顔の大きさ測定値が規定範囲を超えている(顔が大き過ぎる)場合は、被撮影者1に対し顔を遠ざけることを促すメッセージを表示器5に表示し、またその逆の場合は、顔を近付けることを促すメッセージを表示器5に表示して、ステップS22に戻り、リトライ処理として再度、ステップS22からの処理を行う。
【0053】
ステップS30の判定において、リトライ回数が規定値を超えた場合、出力写真にした際に不適な画像であると判断して、ステップS32に進み、エラー処理を行って、撮影処理を一旦終了する。ここに、このステップS32の処理が本発明におけるエラー処理手段に対応している。
【0054】
次に、図12に示すフローチャートおよび図10を参照して、図11のステップS24における顔の大きさ測定処理の第1の実施の形態について説明する。
【0055】
まず、ステップS33にて、ステップS23で求められた顔の輪郭領域42からの相対位置領域として、両瞳が必ず存在するであろう領域43を算出し、この算出した領域43の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。上記領域43は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0056】
次に、ステップS34にて、ステップS33で抽出された黒くて丸い形状の部位それぞれに対し、あらかじめ登録された瞳標本と比較し、それぞれの類似度合が最も高い部位を抽出する。瞳は2箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右の瞳の両標本との比較により行い、左瞳部位44、右瞳部位45の座標を抽出する。
【0057】
なお、瞳標本が左右のいずれかの瞳分用意されており、他方については上記瞳標本を反転等の加工して用いることにより、用意する標本を削減できるようにしてもよい。
上記瞳標本とは、たとえば、類似度合いを求めるパターン比較のために、何百人かの瞳部分を撮影した画像を正規化したものである。
【0058】
次に、ステップS35にて、ステップS34で抽出された左瞳部位44、右瞳部位45間の中心距離46を求め、この求めた距離46から顔の大きさの値を算出する。
この顔の大きさは、たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心距離に対する顔の大きさの値を平均したものに基づいて算出したものである。
【0059】
次に、図13に示すフローチャートおよび図10を参照して、図11のステップS24における顔の大きさ測定処理の第2の実施の形態について説明する。
【0060】
まず、ステップS36にて、ステップS23で求められた顔の輪郭領域42からの相対位置領域として、両瞳が必ず存在するであろう領域43を算出し、この算出した領域43の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。
【0061】
次に、ステップS37にて、ステップS36で抽出された黒くて丸い形状の部位それぞれに対し、あらかじめ登録された瞳標本と比較し、それぞれの類似度合が最も高い部位を抽出する。瞳は2箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右の瞳の両標本との比較により行い、左瞳部位44、右瞳部位45を抽出する。
【0062】
次に、ステップS38にて、ステップS37で抽出された左瞳部位44、右瞳部位45の各中心位置からの相対位置領域として、口が必ず存在するであろう領域47を算出し、この算出した領域47の中から唇と同様の赤色系の画素を持つ部位を抽出する。
この領域47は、たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心位置に対する唇を含む領域を求めて平均化した値に基づいて算出したものである。
【0063】
次に、ステップS39にて、ステップS38で抽出されたそれぞれの部位と、あらかじめ登録された口標本とを比較し、類似度合が最も高い部位を口部位48として抽出する。次に、ステップS40にて、ステップS37で抽出された左瞳部位44、右瞳部位45とステップS38で抽出された口部位48との間の面積49を求め、この求めた面積49から顔の大きさの値を算出する。
この顔の大きさは、たとえば何百人かの顔画像データにおける左右両方の瞳部位と口部位との間の面積に対する顔の大きさの値を平均したものに基づいて算出したものである。
【0064】
次に、上記ステップS23の顔の輪郭領域の検出処理について、図14から図16に示すフローチャートと、図17から図25に示す画像データ例とを用いて説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0065】
まず、ステップS41にて、メインメモリ23b内の入力画像41の測定範囲(探索範囲、探索領域)にて背景板9の色成分を測定し、ステップS42に進む。ステップS42では、ステップS41で測定した結果が、背景板9らしい色成分か否か判定し、ステップS43に進む。この際、非青背景(青背景でないもの)を被撮影者1の顔画像の部分と判定する。
【0066】
ステップS43では、後述する頭頂高さ位置検出処理を行い、縦方向頭頂縦方向ライン番号:head topを求め、ステップS44に進む。ステップS44では、頭頂位置が規定範囲内か否かを確認し、ステップS45に進む。
【0067】
ステップS45では、後述する左右方向の顔の中心位置の検出処理を行い、左頭側位置head leftと右頭側位置head rightから顔の中心位置横方向ライン番号:centerを求め、ステップS46に進む。ステップS46では、顔中心位置が規定範囲内か否かを確認し、ステップS47に進む。この際、上記左頭側位置head leftと、右頭側位置head rightと、上記頭頂の高さhead topと、複数の被撮影者1の顔の縦の長さの平均ライン数FACE SIZEにより、上述した顔の輪郭領域42が検出される。
【0068】
ステップS47では、横方向ライン番号:center、縦方向ライン番号:headtopの交差した位置を、顔の輪郭基準位置に設定し、ステップS48に進む。ステップS48では、処理結果を、「顔の輪郭範囲が規定範囲内」に設定し、ステップ24へ進む。
また、もしステップS42、ステップS44、ステップS46にてNGだった場合は、処理結果として顔の輪郭範囲が規定範囲外と設定し、リターンする。
【0069】
上記ステップ41における測定範囲(探索範囲、探索領域)と、上記ステップ43における頭頂位置head topと顔の輪郭領域42の検出方法について、具体的に説明する。
すなわち、図17に示す入力画像41中の被撮影者1の体で占める領域中、トリミングの対象となる顔の位置は被撮影者1が逆立ちでもしない限り、必ず上のほうにあり、さらにその上には青背景の領域がある。
【0070】
このことより、入力画像41中の上下部分(y方向)は探索範囲(探索領域)Aから除外する。この際のパラメータを図18を用いて説明する。
上部分を除外するためのパラメータを、OVER HEADとする。
下部分を除外するためのパラメータを、Y RANGEとする。
【0071】
また、被撮影者1はカメラ3の正面に着座するため、横方向への位置変動はある程度の範囲で収まることにより、横長画像の両サイド(x方向)は探索範囲Aから除外する。この際のパラメータを図18を用いて説明する。
左側部分を除外するためのパラメータを、X STARTとする。
右側部分を除外するためのパラメータを、X STOPとする。
また、画像中の被撮影者1の領域は、ほぼ連続的である。
【0072】
このことより、以下のパラメータを設定する。
横(X)方向の画素の探索間隔:x interval
縦(Y)方向の画素の探索間隔:y interval
さらに、探索領域A内で被撮影者1が存在しないラインを0、披撮影者1が存在するラインを1とすると、図19のaに示すように、縦方向(Y方向)0,0,0,0…0,0,1,1,1,…となり、0と1の昇順に並んだデータである。
【0073】
また、横方向(X方向)も前半部分は昇順並びのデータ、後半部分は降順並びのデータとみなすことができる。この場合、探索領域A内で被撮影者1が存在しないラインを0、披撮影者1が存在するラインを1とすると、図19のbに示すように、0,0,0,0…0,0,1,1,1,…1,1,1,0,0,…0,0,0となる。
【0074】
この結果、図20に示すように、上記Y方向の0から1(0→1)の切り替わりラインが、頭頂の高さ(頭頂位置:縦方向頭頂縦方向ライン番号)head topとして検出され、上記X方向の0から1(0→1)の切り替わりラインが、左頭側位置head leftとして検出され、上記X方向の1から0(1→0)の切り替わりラインが、右頭側位置head rightとして検出される。
また、上記左頭側位置head leftと右頭側位置head rightの中間ラインが、顔の中心位置centerとして検出される。
【0075】
上記した切り替わりラインは、端からの順次探索でも求めることができるが、探索対象が昇順(または降順)のデータであることから、探索領域Aを2分探索することにより、より効率的に処理ができる。
【0076】
また、上記左頭側位置head leftと、右頭側位置head rightと、上記頭頂の高さhead topと、複数の被撮影者1の顔の縦の長さの平均ライン数FACE SIZEにより、図21に示すように、上述した顔の輪郭領域42が検出される。
【0077】
上記顔の輪郭領域42の規定範囲は、顔の輪郭基準位置としての横方向ライン番号:center、縦方向ライン番号:headtopの各値から決定されるものであり、顔を中心とした写真サイズとしてのトリミングサイズが取得できる範囲であり、以下の式になる。
X FMG SIZE/2<center<(X STILL SIZE-X FMG SIZE /2)
OVER HEAD<head top<(Y STILL SIZE -Y FMG SIZE +OVER HEAD)=Y RANGE
すなわち、図22に示すように、入力画像41に対して、顔の中心位置centerは、フレーミング領域(トリミング領域)X FMG SIZEの横方向のライン数の1/2の値から、入力画像41の横方向のライン数X STILL SIZEからフレーミング領域(トリミング領域)X FMG SIZEの横方向のライン数の1/2を減算した値の範囲を規定範囲としている。
【0078】
また、図22に示すように、入力画像41に対して、頭頂位置head topは、入力画像41の縦方向ライン番号OVER HEADから、入力画像41の縦方向のライン数Y STILL SIZEからフレーミング領域(トリミング領域)Y FMG SIZEの横方向のライン数を減算し、入力画像41の縦方向ライン番号OVER HEADを加算した値の範囲を規定範囲としている。
なお、fmg xは、トリミング左上角X座標、fmg yは、トリミング左上角Y座標となっている。
【0079】
次に、上記ステップS43における頭頂高さ位置検出処理を、図16に示すフローチャートと、図23に示す画像データを参照しつつ説明する。
【0080】
まず、ステップS51では、少なくとも披撮影者1の頭頂部が存在していい規定範囲(OVER HEAD+1ライン〜Y RANGEライン)に、被撮影者1の頭頂部があることを確認する。
【0081】
入力画像中の縦方向ライン番号:OVER HEADの横ラインを構成する画素のうち、背景板9の色成分と異なる画素(すなわち被撮影者1の顔部分)を数え、その数が規定値以上あるか否かを確認する。
【0082】
さらに、同様にYRANGEの横ラインを構成する画素のうち、背景板9の色成分と異なる画素が規定値以上あるか否かを確認し、OVER HEADライン上に背景板9の色成分と異なる画素が規定値未満で、Y RANGEライン上に背景板9の色成分と異なる画素が規定値以上であることを確認する。
この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う異物がついていたりした場合に、その部分を無視させるための数値である。
【0083】
入力画像の縦方向ライン番号:OVER HEADをiに、同じくY RANGEをjに設定し、ステップS52に進む。ステップS52では、OVER HEADをiに、Y RANGEをjに設定し、ステップS53に進む。
【0084】
ステップS53では、iラインからjラインの間に0ラインより多くラインが存在することを確認した際、ステップS54に進む。ステップS54では、iラインとjラインの中央のライン(i+j)/2をkに設定し、ステップS55に進む。
【0085】
ステップS55では、kの横ラインを構成している画素のうち、背景板9の色成分と違う画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う微小な異物がついていたりした場合に、その部分を無視させるための数値である。
【0086】
上記ステップS55の判定結果がyesの場合、ステップS56にてkをjに設定し、ステップS53に戻り、上記ステップS55の判定結果がnoの場合、ステップS57にてkをiに設定し、ステップS53に戻る。
【0087】
このようにして、入力画像のOVER HEADからY RANGEまでの探索領域から、1処理ループごとにこの探索領域を半分にしていき、j−iが1未満(ライン数の差がなくなった時、0ライン)となった際に、つまりステップS53の判定結果がnoの場合、ステップS58に進む。
【0088】
ステップS58では、頭頂部Yラインのiを頭頂位置head topに設定し、ステップS59に進む。ステップS59では、処理結果として頭頂位置head topが規定範囲内と設定し、ステップ44へ進む。
【0089】
また、ステップS51の判定結果がyesの場合、つまりY RENGEに顔画像のデータがなく、OVER HEADに顔画像のデータがある場合、顔画像が規定範囲内にないと判断した場合、ステップS60に進む。ステップS60では、処理結果として頭頂位置が規定範囲外と設定し、ステップ44へ進む。
【0090】
次に、上記ステップS45における左右方向の顔の中心位置の検出処理を、図16に示すフローチャートと、図24〜図26に示す画像データを参照しつつ説明する。
【0091】
まず、ステップS61では、図24に示す、入力画像41の左端縦ライン番号0をiに設定し、入力画像の中心縦ライン番号(X STILL SIZE/2)をjに設定し、ステップS62に進む。ステップS62では、iラインからjラインの間に0ラインより多くラインが存在するか否かを確認し、yesの場合、ステップS63に進む。
【0092】
ステップS63では、iラインとjラインの中央の縦ライン(i+j)/2をkに設定し、ステップS64に進む。ステップS64では、kの縦ラインを構成している画素のうち、ステップS41で測定した背景板9の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う微小な異物がついていたりした場合に、その部分を無視させるための数値である。
【0093】
上記ステップS64の判定結果がyesの場合、ステップS65にてkをjに設定し、ステップS62に戻り、上記ステップS64の判定結果がnoの場合、ステップS66にてkをiに設定し、ステップS62に戻る。
【0094】
このようにして、入力画像の左半分の探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満となった際に、つまりステップS62の判定結果がnoの場合、ステップS67に進む。
ステップS67では、ステップS62にてj−iが1未満となったところで、iを顔左端縦ライン:head leftに設定し、ステップS68に進む。
【0095】
ステップS68では、図25に示す、入力画像41の中心縦ライン番号((X START+X STOP)/2)をiに設定し、入力画像の右端縦ライン番号(X STOP)をjに設定し、ステップS69に進む。ステップS69では、iラインからjラインの間に0ラインより多くラインが存在するか否かを確認し、noの場合ステップS70に進む。
【0096】
ステップS70では、iラインとjラインの中央の縦ライン(i+j)/2をkに設定し、ステップS71に進む。ステップS71では、kの縦ラインを構成している画素のうち、ステップS41で測定した背景板9の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う微小な異物がついていたりした場合に、その部分を無視させるための数値である。
【0097】
上記ステップS71の判定結果がyesの場合、ステップS72にてkをiに設定し、ステップS69に戻り、上記ステップS71の判定結果がnoの場合、ステップS73にてkをjに設定し、ステップS69に戻る。
【0098】
このようにして、入力画像の右半分の探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満となった際に、つまりステップS69の判定結果がyesの場合、ステップS74に進む。
【0099】
ステップS74では、ステップS69にてj−iが1未満となったところで、iを顔右端縦ライン:head rightに設定し、ステップS75に進む。ステップS75では、図26に示すように、ステップS67により設定された顔左端縦ラインhead leftとステップS74により設定された顔右端縦ラインhead rightとに基づいて、中央位置を計算し、この計算した値をcenterの値とし、ステップ46へ進む。
【0100】
上記ステップ23における被撮影者1の髪形まで含めた顔の輪郭領域42は、上記顔の輪郭基準位置(center、head top)、head left:左頭側位置、head right:右頭側位置、FACE SIZE:複数の被撮影者1の顔の縦の長さの平均ライン数により決定される。
【0101】
上記ステップS21における両瞳が必ず存在するであろう領域43としては、図27に示すように、上記顔の輪郭基準位置(center、head top)に基づく、横座標:x eye area posi、縦座標:y eye area posiを左頂点とする横方向のサイズ:X EYE AREA SIZE、縦方向のサイズ:Y EYE AREA SIZEの領域が算出される。横座標:x eye area posi、縦座標:y eye area posiは、以下の式になる。
x eye area posi=center-(X EYE AREA SIZE /2)
y eye area posi=head top+Y EYE POSI SIZE-(Y EYE AREA SIZE /2)
すなわち、上記center(顔の輪郭基準位置の横座標)に対して、あらかじめ決まっている領域43の横幅(必ず両瞳が存在するであろう最小限の領域を示す横ライン数:X EYE AREA SIZE)の半分を差し引いた座標が、領域43の左側端部の横座標(x eye area posi)となる。
【0102】
上記headtop(顔の輪郭基準位置の縦座標)に対して、頭頂位置からの瞳の位置までの平均縦ライン数(Y EYE POSI SIZE)を加算し、あらかじめ決まっている領域43の縦幅(必ず両瞳が存在するであろう最小限の領域を示す縦ライン数:Y EYE AREA SIZE)の半分を差し引いた座標が、領域43の上側端部の縦座標(y eye area posi)となる。
【0103】
なお、前記実施の形態では、撮影された顔画像から被撮影者の顔の中の両瞳の位置および口の位置をそれぞれ検出し、これら検出した両瞳の位置および口の位置関係から顔の大きさを測定する場合について説明したが、本発明はこれに限定されるものでなく、撮影された顔画像から被撮影者の顔の中の両瞳の位置、口の位置および鼻の位置をそれぞれ検出し、これら検出した両瞳の位置、口の位置および鼻の位置関係から顔の大きさを測定するようにしてもよい。
【0104】
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影する際、顔の大きさを人間系にて判定し、顔の大きさが大き過ぎる、あるいは、小さ過ぎる画像であった場合は、操作者(撮影者)が大きさの調整(ズーミング)を行っている。
たとえば、撮影サイクルが数秒程度と早い場合、上記人間系の判定では、撮影時の撮影装置の操作者(撮影者)の負荷が大きく、さらに、判定を誤まる確立も高くなる。
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行った場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0105】
これに対して、上述した第2の実施の形態によれば、上記欠点を回避し、被撮影者の少なくとも顔画像を撮影した際、入力した顔画像の顔の大きさを自動的に認識して、出力画像の顔の大きさが常に均一になるように、自動的にズーミング処理を行うことができる。
【0106】
(第3の実施の形態)
次に、第3の実施の形態として、被撮影者1の目及び口の状態を監視することにより、撮影可能状態を認識し、自動撮影を行う実施の形態について説明する。なお、第2の実施の形態における顔の輪郭領域の算出などが同様に行われるようになっている。
図28、図29は、カメラ3からの入力画像(顔画像)と、撮影処理中の各処理時に使用する領域や座標を示したものである。
【0107】
以下、図30に示すフローチャートおよび図28、図29を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0108】
まず、ステップS81にて、図示しないカウンタによって計数されるリトライ回数やその他のデータの初期化を行い、ステップS82に進む。ステップS82では、ビデオキャプチャ部21を介してカメラ3からの入力画像41を取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS83に進む。
【0109】
ステップS83、S84では、メインメモリ23b内の入力画像41により、カメラ3の前に被撮影者1が存在するか否かの検出処理を行う。すなわち、たとえば、入力画像31内に背景色と異なる画素を持った領域(すなわち、被撮影者の領域)を探索することにより、被撮影者1が存在し、かつ、被撮影者1の髪形まで含めた顔の輪郭領域42の位置が出力するために適正な範囲に入っているかを判定する。ここに、このステップS83、S84の処理が本発明における被撮影者検出手段に対応している。
【0110】
カメラ3の前に被撮影者1が存在しない場合、あるいは、顔の輪郭領域42の位置が不適正の場合、ステップS82に戻り、上記同様な動作を繰り返す。カメラ3の前に被撮影者1が存在し、かつ、顔の輪郭領域42の位置が適正な場合、ステップS85に進む。ステップS85では、カメラ3の前の被撮影者1に対し撮影準備を促すため、表示器5およびスピーカ10により、ガイダンスメッセージを出力し、ステップS86に進む。ここに、このステップS85の処理が本発明における撮影案内手段に対応している。
【0111】
ステップS86では、画像41を入力した後、後述する撮影可能状態の判定処理にて被撮影者1が静止した(撮影準備ができた)と判定するための規定時間の間待機し、ステップS87に進む。ステップS87では、再び、先の入力画像41に連続的に続く入力画像41’をカメラ3から取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS88に進む。
【0112】
ステップS88、S89では、メインメモリ23b内の入力画像41および入力画像41’により撮影可能状態判定処理を行うことにより、被撮影者1の撮影準備ができているか否かを判定する。この撮影可能状態判定処理については後で詳細を説明する。ここに、このステップS88、S89の処理が本発明における認識手段に対応している。
【0113】
上記判定の結果、被撮影者1の撮影準備ができている場合、ステップS90に進み、CPU部23内のメインメモリ23bに格納された入力画像41あるいは41’のうち、顔画像の出力に適している画像を選定して出力用に変換し、被撮影者1のその他の個人情報とともに、目的に応じ、CPU部23に接続された画像印刷装置31、あるいは、ネットワークアダプタ33からネットワーク32上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク32上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶装置26や可搬性のある記憶媒体27を画像保存手段として用いることにより、それに対して記憶(保存
出力)する。これで、被撮影者1人に対する全ての撮影処理が終了する。ここに、このステップS90の処理が本発明における選定手段に対応している。
なお、撮影した顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0114】
前記判定の結果、被撮影者1の撮影準備ができていない場合、ステップS91に進み、リトライ処理を行う。すなわち、まず、ステップS91では、前記リトライ回数をインクリメントし、ステップS92に進む。ステップS92では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS82に戻り、リトライ処理として再度、ステップS82からの処理を行う。ここに、このステップS91、S92の処理が本発明における判定手段に対応している。
【0115】
ステップS92の判定において、リトライ回数が規定値を超えた場合、出力写真にした際に不適な画像であると判断して、ステップS93に進み、エラー処理を行って、撮影処理を終了する。ここに、このステップS93の処理が本発明におけるエラー処理手段に対応している。
【0116】
次に、図31に示すフローチャートおよび図28、図29を参照して、図30のステップS88、S89における撮影可能状態の判定処理について説明する。
【0117】
まず、ステップS101にて、顔の輪郭領域42からの相対位置領域として、両瞳が必ず存在するであろう領域43を算出し、この算出した領域43の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。
領域43は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0118】
次に、ステップS102にて、ステップS101で抽出された黒くて丸い形状の部位それぞれに対し、あらかじめ登録された瞳標本と比較し、それぞれの類似度合が規定値を超えている部位の中で最も高い部位を抽出する。瞳は2箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右の瞳の両標本との比較により行い、左瞳部位44、右瞳部位45の座標を抽出する。
【0119】
次に、ステップS103にて、ステップS102で抽出された左瞳部位44、右瞳部位45の各中心位置からの相対位置領域として、口が必ず存在するであろう領域47を算出し、この算出した領域47の中から唇と同様の赤色系の画素を持つ部位を抽出する。
領域47たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心位置に対する唇を含む領域を求めて平均化した値に基づいて算出したものである。
【0120】
次に、ステップS104にて、ステップS103で抽出された部位と、あらかじめ登録された口標本とを比較し、類似度合が規定値を超えている部位の中で最も高い部位を口部位の座標48として抽出する。次に、ステップS105にて、図28の入力画像41における左側の瞳座標44の規定周辺領域50と、図29の入力画像41’における同座標の同じ大きさの領域52での各画素間の輝度差絶対値を求め、その領域全体での合計値SumDef1を求める。
【0121】
次に、ステップS106にて、図28の入力画像41における右側の瞳座標45の規定周辺領域51と、図29の入力画像41’における同座標の同じ大きさの領域53での各画素間の輝度差絶対値を求め、その領域全体での合計値SumDef2を求める。
【0122】
次に、ステップS107にて、図28の入力画像41における口部位の座標48の規定周辺領域53と、図29の入力画像41’における同座標の同じ大きさの領域54での各画素間の輝度差絶対値を求め、その領域全体での合計値SumDef3を求める。
【0123】
次に、ステップS108にて、ステップS105〜107で求めた輝度差絶対値の合計値SumDef1、SumDef2、SumDef3を、それらに対してそれぞれ設定された規定値とそれぞれ比較し、全て規定値以下か否かの判定を行う。
この判定の結果、3つの数値が全て規定値以下であれば、撮影可能状態であると判定し、3つの数値のうち1つでも規定値を超えている場合は、撮影可能状態でないと判定する。
【0124】
被撮影者1の撮影準備が完了していれば、顔および顔の中の動く部位である目および口は静止しているため、上記3つの数値はそれぞれ規定値に対し低い値になる。逆に、顔が動いていれば、上記3つの数値はそれぞれ規定値に対し高い値になる。また、瞬きがあった場合は、SumDef2とSumDef3がそれぞれ規定値に対し高い値になる。会話や口が動いている場合には、SumDef3が規定値に対し高い値になる。
【0125】
前述したステップS86での規定時間とは、被撮影者1が撮影準備ができていないために挙動があった場合、上記3つの数値を充分に数値化できるようにするための動き監視時間である。
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影する際、被撮影者の撮影準備状態(撮影可能状態)は操作者(撮影者)が判定し、撮影を行っていた。
【0126】
ところが、たとえば、撮影サイクルが数秒程度と早い揚合、操作者(撮影者)は、撮影装置の操作を行いながら、被撮影者の様子を観察する必要があるため、操作者(撮影者)の負荷が大きく、さらに、操作を誤まる確立も高くなる。
【0127】
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行った場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0128】
これに対して、上述した第3の実施形態によれば、上記欠点を回避し、被撮影者を連続的に撮影した複数の画像にて目および口を監視することにより、被撮影者の撮影可能状態を認識することによって、人間系の判定などを伴うことなく、自動的に被撮影者の撮影可能状態を認識し、自動的に撮影を行うことができる。
【0129】
なお、前記実施の形態では、取込まれた複数の画像にて被撮影者の顔の中の目および口の状態を監視することにより被撮影者が撮影可能状態であるかを認識する場合について説明したが、本発明はこれに限定されるものでなく、顔の中の目、口および鼻の状態を監視することにより被撮影者が撮影可能状態であるかを認識するようにしてもよい。
【0130】
(第4の実施の形態)
次に、第4の実施の形態として、撮影した画像に基づいて、被撮影者1の瞳の状態を認識し、瞳が正常に開いているかを判定する実施の形態について説明する。この実施の形態は、撮影後の処理に対するものである。なお、第2の実施の形態における顔の輪郭領域の算出などが同様に行われるようになっている。
【0131】
図32は、カメラ3からの入力画像(顔画像)61と、その入力画像61中の顔の輪郭位置62からの相対位置である瞳(目)の概略位置領域63を特定し、この概略位置領域63から両瞳の位置領域64、65を抽出する様子を示したものである。
【0132】
以下、図33に示すフローチャートおよび図32を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0133】
まず、ステップS111にて、リトライ回数やその他のデータの初期化を行い、ステップS112に進む。ステップS112では、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)61を取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS113に進む。ステップS113では、メインメモリ23b内の入力画像61から、髪形まで含めた顔の輪郭位置62を検出し、ステップS114に進む。
【0134】
ステップS114では、検出した顔の輪郭位置62が、あらかじめ設定される規定の範囲内か否かをチェックし、規定の範囲内でなかった場合、ステップS115に進んでエラー処理を行い、初期状態に戻る。
【0135】
また、ステップS114で、規定の範囲内であった場合、ステップS116に進む。ステップS116では、顔の輪郭位置62から、その相対位置である瞳(目)の概略位置領域63を算出し、この概略位置領域63から、瞳と同形状の丸い形状をした位置領域(64、65)を抽出し、ステップS117に進む。
概略位置領域63は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0136】
ステップS117では、抽出した丸い形状をした位置領域の数が、あらかじめ設定される規定数(2個)以上あるか否かをチェックし、規定数に満たない場合は、瞳が正常に開いていないと判定し、ステップS118に進む。ステップS118では、あらかじめ設定される規定時間(約0.1秒程度)待機した後、ステップS119に進む。
【0137】
ステップS119では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS120に進む。ステップS120では、リトライ回数をインクリメントし、ステップS112に戻る。すなわち、リトライ回数が規定回数内であれば、規定時間(約0.1秒程度)待ち、リトライとして再度、顔画像を入力させるためにステップS112に戻る。
ステップS119のチェックで、規定値以上であればステップS121に進んでエラー処理を行い、初期状態に戻る。
【0138】
ステップS117のチェックで、規定数を満たした場合は、瞳が正常に開いているものと判定し、ステップS122に進む。ステップS122では、抽出したそれぞれの位置領域64、65周辺の形状と、CPU部23内のメインメモリ23bにあらかじめ記憶されている瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出し、ステップS123に進む。
【0139】
ステップS123では、ステップS122で抽出した最も類似している部位の類似度合いが、あらかじめ設定される閾値以上か否かをチェックし、閾値以下であれば、ステップS119に進み、前述同様のリトライ処理を行う。上記チェックの結果、閾値以上であれば、正常に開いている瞳位置と判定し、ステップS124に進む。
この場合、瞳は2箇所あるため、標本データは左右の瞳分用意されており、上記判定を左右瞳の両標本データとの比較により行い、左右両瞳の状態を認識する。
【0140】
ステップS124では、ステップS112で取込んだ入力画像を出力用に変換し、被撮影者1のその他の個人情報とともに、目的に応じ、CPU部23に接続された画像印刷装置31、あるいは、ネットワークアダプタ33からネットワーク32上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク32上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶媒体25や可搬性のある記憶媒体26を画像保存手段として用いることにより、それに対して記憶(保存出力)する。これで全ての処理が終了する。
なお、顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0141】
ところで、被撮影者1を撮影した際、瞬きまたは目つぶりがあった場合、ステップS116、S117の処理にて判定し、リトライ処理を行いつつ、瞳が開くのを待つ処理を行う。
【0142】
また、被撮影者1が、瞳は開いているが、よそ見その他の正面をしっかり向いていないような、正常に開いた瞳ではない場合、ステップS122、S123の処理にて判定し、正常に開いた瞳になるのを待つ。また、ステップS122、S123の処理は、ステップS116、S117の処理にて誤判定したものに対しての補正処理としても動作する。
【0143】
さらに、ステップS122、S123の処理は、ステップS116、S117の処理では判定できない不正常な開きすぎの瞳(びっくり目)に対しても作用し、リトライ処理を行う。
【0144】
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影した際、瞳(目)が開いた状態かどうかを人間系にて判定し、目つぶりなどの出力写真として適さない画像であった場合には、撮り直しなどの処置を行っていた。
【0145】
ところが、撮影サイクルが数秒程度と早い場合、上記人間系の判定では、撮影時の撮影装置の操作者(撮影者)の負荷が大きく、さらに判定を誤まる確立も高くなる。
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行なった場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0146】
これに対して、上述した第4の実施の形態によれば、上記欠点を回避し、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供することを目的とする。
上記したように、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る。
【0147】
(第5の実施の形態)
次に、第5の実施の形態として、複数フレームの連続した何コマかの画像データを記憶し、この記憶した画像から1つの画像を撮影結果として選択する実施の形態について説明する。
【0148】
図34は、カメラ3からの入力画像(顔画像)71と、その入力画像71中の顔の輪郭位置72からの相対位置である瞳(目)の概略位置領域73を特定し、この概略位置領域73から両瞳の位置領域74、75を抽出し、この両瞳の位置領域74、75の中心位置(座標)76からの相対位置により画像切出し領域77を決定する様子を示したものである。
【0149】
以下、図35、図36に示すフローチャートおよび図34を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0150】
本装置の撮影処理は、撮影者(操作者)4が被撮影者1の準備ができるのを待機し、キーボード28内の撮影ボタン28aを押下することにより開始する。
撮影処理の開始により、まず、ステップS131にて、リトライ回数、フレーム番号、その他のデータの初期化を行い、ステップS132に進む。ステップS132では、画像取込み処理の開始指令を出力し、ステップS133、S135に進む。ステップS133では、画像取込み処理の開始指令が出力されていることを確認し、ステップS134に進む。
【0151】
ステップS134では、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)71を、フレーム番号「0」から「n」まで連続して取込み、複数フレームの連続画像(動画像)としてCPU部23内のワークメモリとしてのメインメモリ23bに一時格納する。この取込処理は、画像取込処理開始指令が出力されている間、行われる。すなわち、フレーム番号「0」から「n」までの画像を取込むと、画像取込処理開始指令の出力が停止される。
【0152】
一方、ステップS135では、上記ステップS133、S134の処理と並行して、該当フレーム番号(たとえば、フレーム番号「0」、ステップS131にて初期設定される)の画像の取込みが完了するのを待機し、取込みが完了するとステップS136に進む。ステップS136では、CPU部23内のメインメモリ23bに格納されたフレーム番号「0」の入力画像71から、髪形まで含めた顔の輪郭位置72を検出し、ステップS137に進む。
【0153】
ステップS137では、検出した顔の輪郭位置72が、あらかじめ設定される規定の範囲内か否かをチェックし、規定の範囲内でなかった場合、ステップS138に進んでエラー処理を行い、初期状態に戻る。規定の範囲内であった場合、ステップS139に進む。ステップS139では、顔の輪郭位置72から、その相対位置である瞳(目)の概略位置領域73を算出し、この概略位置領域73から、両瞳と同形状の丸い形状をした位置領域74、75を抽出し、ステップS140に進む。
上記領域73は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0154】
ステップS140では、抽出した丸い形状をした位置領域74、75の画像(瞳)が印刷出力に適した状態にあるか否かをチェックし、もしその画像が瞬きや目つぶりなどの印刷出力に適さない状態であった場合、ステップS141に進む。
【0155】
ステップS141では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS142に進む。ステップS142では、リトライ回数およびフレーム番号をそれぞれインクリメントし、ステップS135に戻る。すなわち、リトライ回数が規定回数内であれば、ステップS135に戻り、次のフレーム番号「1」の画像にてリトライを行うものである。
ステップS11のチェックで、リトライ回数が規定値以上であればステップS143に進んでエラー処理を行い、初期状態に戻る。
【0156】
ステップS140のチェックで、画像に瞬きや目つぶりなどがなく、印刷出力に適した状態にあった場合、ステップS144に進む。ステップS144では、ステップS139で抽出した両瞳の位置領域74、75から、その位置領域74、75間の中心位置(座標)76を算出し、その中心位置76からの相対位置により画像切出し領域77を決定し、その画像切出し領域77内の画像を入力画像から切出し、ステップS145に進む。
この領域77は、たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心位置に対する画像切出し領域を求めて平均化した値に基づいて算出したものである。
【0157】
ステップS145では、ステップS144で切り出した画像を、被撮影者1のその他の個人情報とともに、目的に応じ、LANカード33からネットワーク32上に接続された図示しない印刷部において記録媒体(用紙、カード)に印刷出力したり、同ネットワーク32上に接続された図示しないファイリング機器等の保存装置に出力したり、CPU23a内のメインメモリ23bまたはハードディスクなどの大容量記憶媒体25や可搬性のある記憶媒体26に保存出力し、ステップS146に進む。ステップ146では、フレーム番号「n」の画像の取り込みが終了するのを待機し、取り込みが終了するとステップS147に進む。
【0158】
ステップS147では、CPU部23内のメインメモリ23bに一時格納されているnフレーム分の連続画像をバックアップ画像として大容量記憶媒体25に保存し、処理を終了する。
【0159】
ステップS145における印刷出力の結果にて、たとえば、被撮影者1が口を開いていた、横を向いていた、ステップS139、S140の処理にて誤判定したことなどが原因で証明用写真として適さない画像であると撮影者4が判断した場合、バックアップしてあるnフレーム分の連続画像から適合する画像を選択し、再度出力する。以下、それについて図37に示すフローチャートを参照して詳細に説明する。
【0160】
まず、ステップS151において、撮影者4は、撮影時に登録した再出力対称の照会番号をキーボード28から入力することにより、ステップS152に進み、その照会番号に対応するバックアップ画像を大容量記憶媒体25内から検索する。この検索により、該当する画像が存在しなければ(S153)、ステップS154に進み、該当番号の画像がない旨のメッセージを表示器5に表示し、処理を終了する。
【0161】
上記検索により、該当する画像が存在した場合(S153)、ステップS155に進み、該当するバックアップ画像の全てのフレームを読出して表示器5に表示し、ステップS156に進む。ステップS156では、表示器5に表示された全フレームの画像の中から、撮影者4が、証明用写真に適した画像を選択し、そのフレーム番号をキーボード28から入力することにより、ステップS157に進む。
【0162】
ステップS157では、キーボード28から入力されたフレーム番号に対応した画像を大容量記憶媒体25内から検索して読出し、この読出した画像をステップS15と同様な処理にて印刷出力し、再出力処理を終了する。
【0163】
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影した際、正常な画像かどうかを人間系にて判定し、目つぶりなどの出力写真として適さない画像であった場合には、撮り直しなどの処置を行っていた。
【0164】
ところが、撮影サイクルが数秒程度と早い場合、上記人間系の判定では、撮影時の撮影装置の操作者(撮影者)の負荷が大きく、さらに判定を誤まる確立も高くなる。
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行った場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0165】
これに対して、上述した第5の実施の形態によれば、上記欠点を回避し、不良画像撮影を行ったとしても、被撮影者を再び呼び戻して再度撮影することなく、良品の画像を再出力することができる。
【0166】
なお、上述した再出力処理プログラムは、本装置内にある場合を想定して説明したが、本装置とネットワークアダプタ33を介して、同一ネットワーク32上に接続された再出力処理専用の端末装置に設けられていてもよい。
【0167】
また、大容量記憶媒体25にバックアップ記憶したnフレーム分の連続画像は、たとえば、別途同一ネットワーク上に配備された証明用写真発行管理システムから、発行完了の情報を得ることにより消去されるようになっている。
【0168】
(第6の実施の形態)
次に、第6の実施の形態として、撮影された画像データにおける基準位置としての眉間の位置をクリックするのに基づいて、顔画像を抽出する実施の形態について説明する。
【0169】
図38は、カメラ3からの入力画像(顔画像)81と、その入力画像81中の顔の中心としての眉間83の座標を基準に、瞳が存在するであろう領域82を抽出し、かつ出力写真サイズの画像領域84を抽出する様子を示したものである。
【0170】
以下、図39、図40、図41に示すフローチャートおよび図38を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0171】
この実施例では、撮影ボタン28aの変わりに、表示画像中の顔の眉間部分をクリックすると撮影するという処理について説明する。
まず、ステップS161にて、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)81を取込み、ステップS162に進む。ステップS162では、その入力画像81がビデオアクセラレート部22を経由し、表示器5により表示され、ステップS163に進む。ステップS163では、マウス29からクリックがあったかどうかを判定し、クリックがなかったと判定した場合、再びステップS1に戻る。すなわち、クリックがなかった場合は動画に近い状態で表示器5の表示が行われる。
【0172】
上記ステップS163でクリックがあったと判定した場合、図40で説明する判定処理(S164)および図41で説明する画像出力処理(S165)を行い、ステップS161に戻る。
上記ステップS164は、マウス29によるクリックがあった場合に、目つぶり等のない画像かどうか判定する処理であり、図40を参照しつつ説明する。
【0173】
まず、ステップS171にて、リトライ回数やその他のデータの初期化を行い、ステップS172に進む。ステップS172では、上記カメラ3から取込んだ入力画像81はCPU部23内のメインメモリ23bにおける(リトライ回数に相当するバッファ番号)に一時格納され、ステップS173に進む。
【0174】
ステップS173では、上記N番目の画像バッファにおける画像上のマウス29でクリックされた眉間の座標83を基準に、瞳が存在するであろう領域82を算出し、ステップS174に進む。つまり、眉間の位置の座標83から、その相対位置である瞳(目)の概略位置領域82を算出する。ステップS174では、領域82中から、瞳と同形状の丸い形状をした位置領域(84、85)を抽出し、ステップS175に進む。
上記領域82は、たとえば何百人かの顔画像データにおける眉間の位置の座標に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0175】
ステップS175では、抽出した丸い形状をした位置領域の数が、あらかじめ設定される規定数(2個)以上あるか否かをチェックし、規定数に満たない場合は、瞳が正常に開いていない(被撮影者1を撮影した際に瞬きまたは目つぶりであった)と判定し、ステップS176に進む。
【0176】
ステップS176では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS177に進む。ステップS177では、あらかじめ設定される規定時間(約0.1秒程度)待機した後、ステップS178に進む。
【0177】
ステップS178では、リトライ回数をインクリメントし、ステップS172に戻る。すなわち、リトライ回数が規定回数内であれば、規定時間(約0.1秒程度)待ち、リトライとして再度、顔画像を入力させるためにステップS172に戻る。
【0178】
これにより、もし被撮影者1を撮影した際、瞬きまたは目つぶりであった場合、ステップS175の処理にて判定し、リトライを行いつつ、目が開くのを待つことを行う。
もし被撮影者が、目は開いているがよそ見その他の正面をしっかり向いていないような、正常に開いた目ではない場合は、ステップS177の処理にて判定し、正常に開いた目になるのを待つ。またステップS177の処理はステップS175の処理にて誤判定したものに対しての補正処理としても動作する。
【0179】
また、ステップS177の処理は、ステップS175の処理では判定できない不正常な開きすぎの目(びっくり目)に対しても作用し、リトライ処理を行う。
ステップS176のチェックで、規定値以上であればステップS177に進んでエラー処理を行い、初期状態に戻る。
【0180】
ステップS175のチェックで、規定数を満たした場合は、瞳が正常に開いているものと判定し、ステップS178に進む。ステップS178では、抽出したそれぞれの位置領域84、85周辺の形状と、CPU部23内のメインメモリ23bの上記N番目の画像バッファにあらかじめ記憶されている瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出し、ステップS179に進む。
【0181】
ステップS179では、ステップS178で抽出した最も類似している部位の類似度合いが、あらかじめ設定される閾値以上か否かをチェックし、閾値以下であれば、ステップS176に進み、前述同様のリトライ処理を行う。上記チェックの結果、閾値以上であれば、正常に開いている瞳位置と判定し、ステップS165の画像出力処理に進む。
この場合、瞳は2箇所あるため、標本データは左右の瞳分用意されており、上記判定を左右瞳の両標本データとの比較により行い、左右両瞳の状態を認識する。
【0182】
次に、上記判定処理後の上記ステップ165の画像出力処理を、図41に示すフローチャートを参照しつつ説明する。
【0183】
まず、ステップS181では、直前の判定処理結果がエラーかどうか判定する。この判定の結果、エラーの場合、バッファ番号を「0」、すなわち、撮影のクリックが行われたタイミングにもっとも近い画像を記録している画像バッファを選択し(ステップ182)、ステップS183に進む。
また、上記ステップS181で、直前の判定処理がエラーでないと判定した場合、現在登録しているバッファ番号の画像バッファを選択し、ステップS183に進む。
【0184】
ステップS183では、ステップS181あるいはS182で選択した画像バッファの画像に対し、クリックされた座標を基準に出力サイズの画像領域84を切り出し、ステップS184に進む。
【0185】
ステップS184では、切り出した画像に対し、必要であれば圧縮処理をし、大容量記憶媒体25や、可搬性の記憶媒体26に確保したり、ネットワークアダプタ33を経由し、ネットワーク32上の図示しない印刷機やファイリング機器に出力する。
この実施の形態では、ポインティングデバイスとしてマウスを使用しているが、タッチパネルにより画面を直接クリックする方法もある。
【0186】
したがって、従来の顔画像撮影装置にあっては、画像を撮影してから出力されるまでの工程は、撮影ボタン押下、顔が含まれる広範囲の画像取り込み、その画像を保存媒体に確保、確保した画像中の顔周辺をトリミングし、切り出した部分を出力する。
このため、撮影の操作工程が長く複雑で、撮影してから出力するまでに時間がかかっている。
【0187】
これに対して、上述した第6の実施形態によれば、上記欠点を回避し、、被撮影者の少なくとも顔画像を撮影した際、撮影画像をトリミングするという複雑な操作を必要とすることなく、直接表示画面上の顔の位置を示すことにより、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る。
【0188】
(第7の実施の形態)
次に、第7の実施の形態として、撮影された画像データをモニタ表示し、このモニタ表示に基づいて画像の取込みが指示された際に、この指示の直前にモニタ表示されていた画像を採用する実施の形態について説明する。
【0189】
図42は、カメラ3からの入力画像(顔画像)91を示したものである。
以下、図43に示すフローチャートおよび図33を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0190】
この実施例では、撮影ボタン28aの押下に基づいて、この押下時の直前のモニタ画像を出力するという処理について説明する。
まず、ステップS191にて、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)91を取込み、その入力画像81がビデオアクセラレート部22を経由し、CPU部23のメインメモリ23aのバッファ部に記録し、ステップS192に進む。ステップS192では、その入力画像81が表示器5により表示され、ステップS193に進む。ステップS193では、キーボード28の撮影ボタン28aの押下を判定し、撮影ボタン28aの押下がなかったと判定した場合、再びS191に戻る。すなわち、撮影ボタン28aの押下がなかった場合は動画に近い状態で表示器5の表示が行われる。また、メインメモリ23aのバッファ部に現在の撮影画像より以前の画像が記録されている。
【0191】
上記ステップS193で撮影ボタン28aの押下があったと判定した場合、上記バッファ部に記憶されている上記撮影ボタン28aの押下が行われる際に表示器5で表示されていた画像が撮影画像として判定する(ステップS194)。この撮影画像と判定した画像を、大容量記憶媒体25や、可搬性の記憶媒体26に確保したり、ネットワークアダプタ33を経由し、ネットワーク32上の図示しない印刷機やファイリング機器に出力する(ステップS195)。
【0192】
したがって、従来の顔画像撮影装置にあっては、撮影画像のモニタを見ながら、撮影画像が適性と判断しされた時、撮影ボタンを押し、撮影ボタンを押された信号(タイミング)にて画像を取りこみ、取りこんだ画像を撮影画像としている。
【0193】
このような従来の方法では、適正な画像と判断したモニタの画像と、撮影画像として取りこんだ画像の間には、撮影ボタンを押すのにかかる時間、画像を取り込むための要した時間等の時間的なずれが生じ、適性と判断した画像とは時間的に遅れた、異なる画像を取り込む結果となっている。このため、判断した適正な画像とは大きく異なった画像となる場合があり、再度撮影をやり直す必要がある。
【0194】
これに対して、上述した第7の実施形態によれば、上記欠点を回避し、被撮影者の少なくとも顔画像を撮影し、この撮影画像のモニタ表示を確認する際に、確認の指示がなされた直前のモニタ画面を出力することにより、常に最良の画像を出力し得る。
【符号の説明】
【0195】
1…被撮影者、2…照明器、3…ビデオカメラ、4…撮影者(操作者)、5…表示器(モニタディスプレイ)、6…制御台(制御部)、9…背景板、10…スピーカ、11…確認中表示部(第2の表示部)、12…終了表示部(第3の表示部)、13…出口表示部(第4の表示部)、14…カメラ位置表示部(第1の表示部)、21…ビデオキャプチャ部、22…ビデオアクセラレート部、23…CPU部、23a…CPU、23b…メインメモリ、25…大容量記憶媒体、26…記憶媒体、27…リーダライタ部、28…キーボード、29…マウス、31…画像印刷装置(出力手段)、32…ネットワーク。
【技術分野】
【0001】
この発明は、たとえば、身分証明書や各種免許証などに貼付する証明用写真を作成することを目的に、被撮影者の少なくとも顔画像を撮影する顔画像撮影装置および顔画像撮影方法に関する。
【背景技術】
【0002】
一般に、この種の顔画像撮影装置にあっては、撮影状況の案内は撮影者(撮影操作者)が行い、撮影者が案内できない場合は、被撮影者の判断が必要となっていた。
しかしながら、従来の撮影状況の案内方法の揚合、撮影者(撮影操作者)の負荷が増大するという問題がある。特に、撮影申請者の撮影待ち行列ができている場合、撮影申請者の撮影の流れを効率的に行い、撮影サイクルを早める必要がある。
【0003】
その際、被撮影者が撮影の状況がわからず、撮影が終わったことを知らずにそのままカメラの前に居座り、撮影申請者の撮影の流れを妨げる。また、撮影中に被撮影者が撮影が終わったと誤判断して移動したり、そのため不良撮影となり、撮影のやり直しが発生し、撮影申請者の撮影の流れを妨げる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
この発明は、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
この発明の顔画像撮影方法は、被撮影者の少なくとも顔画像を撮影するステップと、この撮影した顔画像から瞳の位置を検出するステップと、この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、この判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップとを有して構成される。
【0006】
この発明の顔画像撮影装置は、被撮影者の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、この判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段とを有して構成される。
【0007】
この発明の顔画像撮影方法は、被撮影者の少なくとも顔画像を撮影するステップと、この撮影した顔画像から瞳の位置を検出するステップと、この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、この判定により瞳が正常に開いていると判定された場合、上記撮影された顔画像を撮影画像として出力または印刷画像として出力または画像保存手段に対して出力するステップと、上記判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップとを有して構成される。
【0008】
この発明の顔画像撮影装置は、被撮影者の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を撮影画像として出力または印刷画像として出力する画像出力手段と、上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段とを有して構成される。
【0009】
この発明の顔画像撮影装置は、被撮影者の少なくとも顔画像を撮影する撮影手段と、この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を保存する画像保存手段と、上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段とを有して構成される。
【発明の効果】
【0010】
この発明によれば、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供できる。
【図面の簡単な説明】
【0011】
【図1】この実施の形態に係る顔画像撮影装置の外観構成を概略的に示す図。
【図2】案内表示部の構成を概略的に示す図。
【図3】顔画像撮影装置の全体的な構成を示すブロック図。
【図4】顔画像撮影装置と、被撮影者と、撮影を待機する撮影申請者との間での撮影の物理的な流れを説明するための図。
【図5】第1の実施の形態における処理動作を説明するためのフローチャート。
【図6】第1の実施の形態における処理動作を説明するためのフローチャート。
【図7】第1の実施の形態における案内表示部の表示例を示す図。
【図8】第1の実施の形態における案内表示部の表示例を示す図。
【図9】第1の実施の形態における案内表示部の表示例を示す図。
【図10】第2の実施の形態における、カメラからの入力画像から顔の輪郭領域を検出し、この顔の輪郭領域から顔の大きさを測定する様子を示す図。
【図11】第2の実施の形態における処理動作を説明するためのフローチャート。
【図12】第2の実施の形態における処理動作を説明するためのフローチャート。
【図13】第2の実施の形態における処理動作を説明するためのフローチャート。
【図14】第2の実施の形態における顔の輪郭領域の規定範囲について説明するためのフローチャート。
【図15】第2の実施の形態における頭頂高さ位置検出処理を説明するためのフローチャート。
【図16】第2の実施の形態における左右方向の顔の中心位置の検出処理を説明するためのフローチャート。
【図17】第2の実施の形態における入力画像の画像データ例を示す図。
【図18】第2の実施の形態における入力画像に対する探索範囲を示す図。
【図19】第2の実施の形態における入力画像に対する探索領域内で被撮影者1が存在しないラインと存在するラインを示す図。
【図20】第2の実施の形態における入力画像に対する頭頂の高さと左頭側位置head leftと顔の中心位置centerを示す図。
【図21】第2の実施の形態における入力画像に対する顔の輪郭領域を示す図。
【図22】第2の実施の形態における入力画像に対する顔の輪郭領域の規定範囲を説明するための図。
【図23】第2の実施の形態における入力画像に対する頭頂高さ位置の検出処理を説明するための図。
【図24】第2の実施の形態における入力画像に対する顔左端縦ライン:head leftの検出処理を説明するための図。
【図25】第2の実施の形態における入力画像に対する顔右端縦ライン:head rightの検出処理を説明するための図。
【図26】第2の実施の形態における入力画像に対する顔の中心位置centerの検出処理を説明するための図。
【図27】第2の実施の形態における入力画像に対する顔の輪郭基準位置に基づく、両瞳が必ず存在するであろう領域を示す図。
【図28】第3の実施の形態におけるカメラからの入力画像と、撮影処理中の各処理時に使用する領域や座標を示した図。
【図29】第3の実施の形態におけるカメラからの入力画像と、撮影処理中の各処理時に使用する領域や座標を示した図。
【図30】第3の実施の形態における処理動作を説明するためのフローチャート。
【図31】第3の実施の形態における撮影可能状態の判定処理を説明するためのフローチャート。
【図32】第4の実施の形態におけるカメラからの入力画像、その入力画像中の顔の輪郭位置からの相対位置である瞳(目)の概略位置領域を特定し、この概略位置領域から両瞳の位置領域を抽出する様子を示す図。
【図33】第4の実施の形態における処理動作を説明するためのフローチャート。
【図34】第5の実施の形態における、カメラからの入力画像と、その入力画像中の顔の輪郭位置からの相対位置である瞳(目)の概略位置領域を特定し、この概略位置領域から両瞳の位置領域を抽出し、この両瞳の位置領域の中心位置(座標)からの相対位置により画像切出し領域を決定する様子を示す図。
【図35】第5の実施の形態における処理動作を説明するためのフローチャート。
【図36】第5の実施の形態における処理動作を説明するためのフローチャート。
【図37】第5の実施の形態における再出力処理を説明するためのフローチャート。
【図38】第6の実施の形態における、カメラからの入力画像と、その入力画像中の顔の中心としての眉間の座標を基準に、瞳が存在するであろう領域を抽出し、かつ出力写真サイズの画像領域を抽出する様子を示す図。
【図39】第6の実施の形態における処理動作を説明するためのフローチャート。
【図40】第6の実施の形態における判定処理を説明するためのフローチャート。
【図41】第6の実施の形態における画像出力処理を説明するためのフローチャート。
【図42】第7の実施の形態におけるカメラからの入力画像を示す図。
【図43】第7の実施の形態における処理動作を説明するためのフローチャート。
【発明を実施するための形態】
【0012】
以下、図面を参照しながらこの発明の実施の形態について詳細に説明する。
図1は、この発明の実施の形態に係る顔画像撮影システムの外観構成を概略的に示すものである。この顔画像撮影システムは、被撮影者1を照明する照明器2、被撮影者1の少なくとも顔画像を撮影する撮影手段としてのCCD形のビデオカメラ3、撮影状態や撮影者(操作者)4の操作情報などを表示する表示器(モニタディスプレイ)5、撮影者4による操作指示により、カメラ3からの入力画像を加工したり、表示器5や内蔵する記憶部などに対して出力を行う制御台(制御部)6、被撮影者1に対し撮影状況を案内表示する案内手段としての案内表示部7等を有する顔画像撮影装置と、被撮影者1が撮影の際に着座する椅子8、撮影の際に被撮影者1の背景となる背景板9および、この背景板9の裏側に設けられ被撮影者1に対し撮影状態やガイダンスなどを音声で案内する案内手段としてのスピーカ10等から構成されている。
【0013】
ビデオカメラ3は、640画素×480ラインを1画面の撮影画像として出力される。上記各画素は、R(レッド)、G(グリーン)、B(ブルー)の各色センサからなり、各画素ごとに、各色ごとのデータ(濃度値)を出力するようになっている。
【0014】
背景板9は青色で構成されていることにより、ビデオカメラ3により撮影された際の背景が青色となり、青色が背景色成分となる。上記ビデオカメラ3の撮像部から被撮影者1の距離は、ほぼ一定となっている。つまり、上記ビデオカメラ3により撮影距離固定で撮影されている。
【0015】
案内表示部7は、図2に示すように、被撮影者1に対し撮影待機を促す表示を行う確認中表示部(第2の表示部)11、被撮影者1に対し撮影終了を表示する終了表示部(第3の表示部)12、被撮影者1に対し撮影終了後の進行方向を促す表示を行う出口表示部(第4の表示部)13から構成されている。
【0016】
この場合、確認中表示部11は、本装置前面のカメラ3下方部位で本装置の横幅方向ほぼ中央部に設けられ、終了表示部12は、確認中表示部11の図面に対し右側に設けられ、出口表示部13は、終了表示部12の図面に対し右側に設けられている。
【0017】
さらに、図2に示すように、被撮影者1に対し撮影状況を案内表示する案内表示手段の1つとして、被撮影者1がカメラ3を見る位置(カメラ3に視点を合わせる位置)を表示するカメラ位置表示部(第1の表示部)14がカメラ3の撮影レンズ3aの周囲に設けられている。カメラ位置表示部14は、たとえば、複数のLED表示素子14aを撮影レンズ3aの周囲に設けて構成されており、必要に応じて点灯、点滅、消灯制御される。
【0018】
図3は、図1、図2に示した顔画像撮影システムの全体的な構成を示すブロック図である。すなわち、顔画像撮影システムの制御部6は、ビデオキャプチャ部21、ビデオアクセラレート部22、CPU部23、外部バス制御部24、大容量記憶装置25、リーダライタ部27、I/O制御部30、ネットワークアダプタ(LANカードなど)33および、サウンドコントロール部34などによって構成されている。
【0019】
ビデオキャプチャ部21は、カメラ3からのアナログ信号(入力画像)をリアルタイムにデジタル信号に変換し、後述するビデオメモリとしてのMO26やメインメモリ23bなどに転送するものである。
【0020】
ビデオアクセラレート(video accelerator)部22は、ビデオキャプチャ部21からの画像データをビデオメモリとしてのMO26やメインメモリ23bなどに記憶したり、ビデオキャプチャ部21からの画像データに対する描画処理を行い、表示器5への表示制御を行うものである。
サウンドコントロール部34は、スピーカ10へのガイダンス用の音声を制御するものである。
【0021】
CPU部23は、画像データ等への各種の演算処理や各種制御などを行うCPU(セントラル・プロセッシング・ユニット)23a、ビデオキャプチャ部21からの画像データをフレーム単位で複数フレーム分記憶するとともに、演算結果などを一時保存するメインメモリ23b、各種周辺機器とのインターフェイス(図示しない)を備えたものである。
【0022】
たとえば、CPU部23には、上記インターフェイスを介して、操作者(撮影者)4が操作する入力装置としてのキーボード28やマウス29が接続されている。キーボード28には、被撮影者1の撮影準備ができたことを確認した場合に押下される撮影ボタン28a、撮影画像がOKとなった場合に押下される撮影確定ボタン28b、再撮影が必要となった場合に押下される撮影取消しボタン28cが設けられている。
【0023】
上記撮影ボタン28a、撮影確定ボタン28b、撮影取消しボタン28cに対応するアイコンを表示器5で表示させることにより、マウス29により移動されるカーソルを用いて上記アイコンを選択した際に、上記キーボード28の撮影ボタン28a、撮影確定ボタン28b、撮影取消しボタン28cを押下した場合と同じ機能となる。
【0024】
また、CPU部23には、上記インターフェイスを介して、撮影した顔画像などを例えば印刷出力する出力手段としての画像印刷装置31が接続されている。
外部バス制御部24は、各種周辺機器を接続する外部バス(たとえば、SCSIなど)を制御するものである。
大容量記憶装置25は、各種OSやアプリケーション、制御用データ、画像データなどを保存するものであり、ハードディスク装置(HDD)などにより構成される。
【0025】
リーダライタ部(MOドライバ)27は、制御台6の出力データなどを保存する可搬性のある記憶媒体26としてのたとえば光磁気ディスク(MO)などに対してデータの読み書きを行うものである。
【0026】
I/O制御部30は、上記確認中表示部11、終了表示部12、出口表示部13、カメラ位置表示部14をそれぞれ制御するものである。
【0027】
ネットワークアダプタ(LANカードなど)33は、同一ネットワーク32上の他の各種機器(画像印刷装置や画像ファイリング装置など)との間で相互通信を行うためのものである。
【0028】
図4は、本顔画像撮影システムと、被撮影者1と、撮影を待機する撮影申請者10との間での撮影の物理的な流れを、上方から見て図示したものである。被撮影者1は、通常、撮影が終了すると、図4に示す実線矢印aの方向に移動(進行)するが、もし破線矢印bの方向に移動すると、次の撮影申請者10との入れ替えに支障がある。
【0029】
(第1の実施の形態)
ここで、このような支障を生じさせないための第1の実施の形態として、被撮影者1に対して、視点合せ、待機、終了、進行方向の順に案内を行う実施の形態について説明する。
【0030】
以下、図5および図6に示すフローチャートを参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0031】
まず、ステップS1では、確認中表示部11、終了表示部12、出口表示部13をそれぞれ消灯するとともに、その他本装置の初期化を行い、ステップS2に進む。ステップS2では、カメラ位置表示部14を例えば赤色で点灯することにより、被撮影者1にカメラ3の撮影レンズ3aを見るべく、すなわち、被撮影者1がカメラ3の撮影レンズ3aに視点を合わせるべく促す。
【0032】
次に、ステップS3では、撮影者4がステップS1による被撮影者1の撮影準備ができたことを確認し、撮影ボタン28aを押下する。次に、ステップS4で、カメラ位置表示部14を例えば点滅状態にすることにより、被撮影者1にそのままカメラ3を見続けることを促し、ステップS5に進む。
【0033】
ステップS5では、カメラ3からの被撮影者1が撮影された画像をビデオキャプチャ部21を介して取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS6に進む。ステップS6では、CPU部23内のメインメモリ23bに格納した入力画像を表示器5に表示し、ステップS7に進む。
【0034】
ステップS7では、画像の取込みが終了したので、点滅させていたカメラ位置表示部14を消灯し、ステップS8に進む。ステップS8では、確認中表示部11を、図7に示すように黄色で点滅状態にし、ステップS9に進む。ステップS9では、撮影者4はステップS6で表示した画像に対し目つぶりはないか、顔位置がずれていないか、などの良否判断を行い、再撮影の要否判定を行う。その間、被撮影者1は再撮影に備え、待機している必要がある。そのため、ステップS8にて確認中表示部11を黄色で点滅状態にするものである。
【0035】
ステップS9の判定において、再撮影が必要となった場合、ステップS10に進み、撮影者4は撮影取消しボタン28cを押下することにより、ステップS2に戻り、上記同様な動作を繰り返す。
【0036】
ステップS9の判定において、撮影画像がOKとなった場合、ステップS11に進み、撮影者4は撮影確定ボタン28bを押下する。撮影確定ボタン28bが押下されると、ステップS12に進み、確認中表示部11を消灯する。次に、ステップS13にて、終了表示部12を、図8に示すように緑色で点滅するとともに、ステップS14にて、図8に示すように出口表示部13に設けられた矢印を点滅することにより、被撮影者1に対して撮影が終了したので出口方向へ進行することを促す。
【0037】
次に、ステップS15では、ステップS6にてCPU部23内のメインメモリ23bに格納した入力画像を出力用に変換し、被撮影者1のその他の個人情報とともに、目的に応じ、CPU部23に接続された画像印刷装置31、あるいは、ネットワークアダプタ33からネットワーク32上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク32上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶装置25や可搬性のある記憶媒体26を画像保存手段として用いることにより、それに対して記憶(保存出力)する。これで、被撮影者1人に対する全ての撮影処理が終了する。
なお、撮影した顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0038】
以上説明したように、上記第1の実施の形態によれば、カメラ3による撮影時、被撮影者に対しカメラ3を見る位置を表示するカメラ位置表示部14、被撮影者に対し撮影待機を促す表示を行う確認中表示部11、被撮影者に対し撮影終了を表示する終了表示部12、および、被撮影者に対し撮影終了後の進行方向を促す表示を行う出口表示部13をそれぞれ設けて、被撮影者1に対し撮影状況(カメラ3を見る位置、撮影待機、撮影終了、撮影終了後の進行方向)を案内表示することにより、被撮影者1に対し撮影状況を案内することができ、撮影申請者10の撮影待ち行列が滞ることを極力なくすことができる。しかも、このような案内表示により、健常者は勿論のこと、耳が悪く聞こえ難い難聴者に対しても、確実に案内表示することができる。
【0039】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。たとえば、図9に示すように、本装置への撮影申請者10の行列方向および被撮影者1の出口方向に合わせて、終了表示部12および出口表示部13の取付け位置を変更できるようにしてもよい。
【0040】
図9の例では、撮影を終了した被撮影者1の進行方向を本装置の図面に対し左側とした場合で、終了表示部12はそのまま図面に対し左側へ平行移動して、確認中表示部11の図面に対し左側に取付け、出口表示部13は180度回転させて向きが逆になるようにし、終了表示部12の図面に対し左側に取付けた場合を示している。
【0041】
また、カメラ位置表示部14により、被撮影者1に対しカメラ3の撮影レンズ3aを見る位置を表示するようにしたが、これに限らず、たとえば、確認中表示部11を用いて「カメラの撮影レンズを見て下さい」と文字で表示するようにしてもよく、あるいは、それらの両方を用いてもよい。
【0042】
(第2の実施の形態)
次に、第2の実施の形態として、被撮影者1の顔の大きさを測定し、この測定した大きさに基づきズーミング処理することにより、一定の大きさの顔画像を取得する実施の形態について説明する。
【0043】
図10は、カメラ3からの入力画像(顔画像)41と、その入力画像41から顔の輪郭領域42を検出し、この顔の輪郭領域42から顔の大きさを測定する様子を示したものである。
【0044】
以下、図11に示すフローチャートおよび図10を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0045】
まず、ステップS21にて、図示しないカウンタによって計数されるリトライ回数やその他のデータの初期化を行い、ステップS22に進む。ステップS22では、ビデオキャプチャ部21を介してカメラ3からの入力画像(被撮影者1の顔画像)41を取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS23に進む。ステップS23では、メインメモリ23b内の入力画像41から、被撮影者1の髪形まで含めた検出方法の詳細を後に説明する、背景板9の色成分と異なる色成分を持った顔の輪郭領域42を検出し、ステップS24に進む。
【0046】
ステップS24では、ステップS23で求められた顔の輪郭領域42により、後で詳述する顔の大きさ測定処理により顔の大きさの値(面積、画素数)を測定し、ステップS25に進む。ここに、このステップS24の処理が本発明における測定手段に対応している。
【0047】
ステップS25では、ステップS24で測定された顔の大きさ測定値が規定範囲内に入っているかどうかを判定する。ここでいう規定範囲とは、後で行うズーミング処理の入力対応範囲から逆算した値である。たとえば、ズーミング処理の入力対応範囲がズーム比率0.5〜1.5だった場合、目標の顔の大きさ値/顔の大きさ測定値が0.5以上1.5以下だということが、規定範囲内に入っているということである。ここに、このステップS25の処理が本発明における第1の判定手段に対応している。
【0048】
ステップS25の判定で、顔の大きさ測定値が規定範囲内に入っている場合、ステップS26に進む。ステップS26では、目標の顔の大きさ値と顔の大きさ測定値との比を求め、この求めた比をズーム比率として設定する。なお、目標の顔の大きさ値とは、出力写真にした際に最も適正な顔の大きさの値であり、たとえば何百人かの顔画像データを平均したものに基づいて決定したものである。ここに、このステップS26の処理が本発明におけるズーム比率設定手段に対応している。
【0049】
次に、ステップS27では、ステップS26で設定されたズーム比率に基づき、カメラ3からの入力画像に対してCPU部23により電子的にズーミング処理を行い、ステップS28に進む。ここに、このステップS27の処理が本発明におけるズーミング処理手段に対応している。この例では、電子的にズーミング処理を行う場合について説明したが、カメラ3のレンズの移動によりズーミング処理を行うものであってもよい。
【0050】
ステップS28では、CPU部23内のメインメモリ23bに格納された入力画像を出力用に変換し、被撮影者1のその他の個人情報(氏名、生年月日、ID番号など)とともに、目的に応じ、CPU部23に接続された画像印刷装置30、あるいは、ネットワークアダプタ32からネットワーク31上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク21上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶装置25や可搬性のある記憶媒体26を画像保存手段として用いることにより、それに対して記憶(保存出力)する。これで、被撮影者1人に対する全ての撮影処理が終了する。
なお、撮影した顔画像を身分証明書などの所定の大きさに定められた領域に印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0051】
ステップS25の判定において、測定された顔の大きさ測定値が規定範囲を外れている場合、リトライ処理を行う。すなわち、まず、ステップS29では、前記リトライ回数をインクリメントし、ステップS30に進む。ステップS30では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS31に進む。ここに、このステップS29、S30の処理が本発明における第2の判定手段に対応している。
【0052】
ステップS31では、測定された顔の大きさ測定値が規定範囲を超えている(顔が大き過ぎる)場合は、被撮影者1に対し顔を遠ざけることを促すメッセージを表示器5に表示し、またその逆の場合は、顔を近付けることを促すメッセージを表示器5に表示して、ステップS22に戻り、リトライ処理として再度、ステップS22からの処理を行う。
【0053】
ステップS30の判定において、リトライ回数が規定値を超えた場合、出力写真にした際に不適な画像であると判断して、ステップS32に進み、エラー処理を行って、撮影処理を一旦終了する。ここに、このステップS32の処理が本発明におけるエラー処理手段に対応している。
【0054】
次に、図12に示すフローチャートおよび図10を参照して、図11のステップS24における顔の大きさ測定処理の第1の実施の形態について説明する。
【0055】
まず、ステップS33にて、ステップS23で求められた顔の輪郭領域42からの相対位置領域として、両瞳が必ず存在するであろう領域43を算出し、この算出した領域43の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。上記領域43は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0056】
次に、ステップS34にて、ステップS33で抽出された黒くて丸い形状の部位それぞれに対し、あらかじめ登録された瞳標本と比較し、それぞれの類似度合が最も高い部位を抽出する。瞳は2箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右の瞳の両標本との比較により行い、左瞳部位44、右瞳部位45の座標を抽出する。
【0057】
なお、瞳標本が左右のいずれかの瞳分用意されており、他方については上記瞳標本を反転等の加工して用いることにより、用意する標本を削減できるようにしてもよい。
上記瞳標本とは、たとえば、類似度合いを求めるパターン比較のために、何百人かの瞳部分を撮影した画像を正規化したものである。
【0058】
次に、ステップS35にて、ステップS34で抽出された左瞳部位44、右瞳部位45間の中心距離46を求め、この求めた距離46から顔の大きさの値を算出する。
この顔の大きさは、たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心距離に対する顔の大きさの値を平均したものに基づいて算出したものである。
【0059】
次に、図13に示すフローチャートおよび図10を参照して、図11のステップS24における顔の大きさ測定処理の第2の実施の形態について説明する。
【0060】
まず、ステップS36にて、ステップS23で求められた顔の輪郭領域42からの相対位置領域として、両瞳が必ず存在するであろう領域43を算出し、この算出した領域43の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。
【0061】
次に、ステップS37にて、ステップS36で抽出された黒くて丸い形状の部位それぞれに対し、あらかじめ登録された瞳標本と比較し、それぞれの類似度合が最も高い部位を抽出する。瞳は2箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右の瞳の両標本との比較により行い、左瞳部位44、右瞳部位45を抽出する。
【0062】
次に、ステップS38にて、ステップS37で抽出された左瞳部位44、右瞳部位45の各中心位置からの相対位置領域として、口が必ず存在するであろう領域47を算出し、この算出した領域47の中から唇と同様の赤色系の画素を持つ部位を抽出する。
この領域47は、たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心位置に対する唇を含む領域を求めて平均化した値に基づいて算出したものである。
【0063】
次に、ステップS39にて、ステップS38で抽出されたそれぞれの部位と、あらかじめ登録された口標本とを比較し、類似度合が最も高い部位を口部位48として抽出する。次に、ステップS40にて、ステップS37で抽出された左瞳部位44、右瞳部位45とステップS38で抽出された口部位48との間の面積49を求め、この求めた面積49から顔の大きさの値を算出する。
この顔の大きさは、たとえば何百人かの顔画像データにおける左右両方の瞳部位と口部位との間の面積に対する顔の大きさの値を平均したものに基づいて算出したものである。
【0064】
次に、上記ステップS23の顔の輪郭領域の検出処理について、図14から図16に示すフローチャートと、図17から図25に示す画像データ例とを用いて説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0065】
まず、ステップS41にて、メインメモリ23b内の入力画像41の測定範囲(探索範囲、探索領域)にて背景板9の色成分を測定し、ステップS42に進む。ステップS42では、ステップS41で測定した結果が、背景板9らしい色成分か否か判定し、ステップS43に進む。この際、非青背景(青背景でないもの)を被撮影者1の顔画像の部分と判定する。
【0066】
ステップS43では、後述する頭頂高さ位置検出処理を行い、縦方向頭頂縦方向ライン番号:head topを求め、ステップS44に進む。ステップS44では、頭頂位置が規定範囲内か否かを確認し、ステップS45に進む。
【0067】
ステップS45では、後述する左右方向の顔の中心位置の検出処理を行い、左頭側位置head leftと右頭側位置head rightから顔の中心位置横方向ライン番号:centerを求め、ステップS46に進む。ステップS46では、顔中心位置が規定範囲内か否かを確認し、ステップS47に進む。この際、上記左頭側位置head leftと、右頭側位置head rightと、上記頭頂の高さhead topと、複数の被撮影者1の顔の縦の長さの平均ライン数FACE SIZEにより、上述した顔の輪郭領域42が検出される。
【0068】
ステップS47では、横方向ライン番号:center、縦方向ライン番号:headtopの交差した位置を、顔の輪郭基準位置に設定し、ステップS48に進む。ステップS48では、処理結果を、「顔の輪郭範囲が規定範囲内」に設定し、ステップ24へ進む。
また、もしステップS42、ステップS44、ステップS46にてNGだった場合は、処理結果として顔の輪郭範囲が規定範囲外と設定し、リターンする。
【0069】
上記ステップ41における測定範囲(探索範囲、探索領域)と、上記ステップ43における頭頂位置head topと顔の輪郭領域42の検出方法について、具体的に説明する。
すなわち、図17に示す入力画像41中の被撮影者1の体で占める領域中、トリミングの対象となる顔の位置は被撮影者1が逆立ちでもしない限り、必ず上のほうにあり、さらにその上には青背景の領域がある。
【0070】
このことより、入力画像41中の上下部分(y方向)は探索範囲(探索領域)Aから除外する。この際のパラメータを図18を用いて説明する。
上部分を除外するためのパラメータを、OVER HEADとする。
下部分を除外するためのパラメータを、Y RANGEとする。
【0071】
また、被撮影者1はカメラ3の正面に着座するため、横方向への位置変動はある程度の範囲で収まることにより、横長画像の両サイド(x方向)は探索範囲Aから除外する。この際のパラメータを図18を用いて説明する。
左側部分を除外するためのパラメータを、X STARTとする。
右側部分を除外するためのパラメータを、X STOPとする。
また、画像中の被撮影者1の領域は、ほぼ連続的である。
【0072】
このことより、以下のパラメータを設定する。
横(X)方向の画素の探索間隔:x interval
縦(Y)方向の画素の探索間隔:y interval
さらに、探索領域A内で被撮影者1が存在しないラインを0、披撮影者1が存在するラインを1とすると、図19のaに示すように、縦方向(Y方向)0,0,0,0…0,0,1,1,1,…となり、0と1の昇順に並んだデータである。
【0073】
また、横方向(X方向)も前半部分は昇順並びのデータ、後半部分は降順並びのデータとみなすことができる。この場合、探索領域A内で被撮影者1が存在しないラインを0、披撮影者1が存在するラインを1とすると、図19のbに示すように、0,0,0,0…0,0,1,1,1,…1,1,1,0,0,…0,0,0となる。
【0074】
この結果、図20に示すように、上記Y方向の0から1(0→1)の切り替わりラインが、頭頂の高さ(頭頂位置:縦方向頭頂縦方向ライン番号)head topとして検出され、上記X方向の0から1(0→1)の切り替わりラインが、左頭側位置head leftとして検出され、上記X方向の1から0(1→0)の切り替わりラインが、右頭側位置head rightとして検出される。
また、上記左頭側位置head leftと右頭側位置head rightの中間ラインが、顔の中心位置centerとして検出される。
【0075】
上記した切り替わりラインは、端からの順次探索でも求めることができるが、探索対象が昇順(または降順)のデータであることから、探索領域Aを2分探索することにより、より効率的に処理ができる。
【0076】
また、上記左頭側位置head leftと、右頭側位置head rightと、上記頭頂の高さhead topと、複数の被撮影者1の顔の縦の長さの平均ライン数FACE SIZEにより、図21に示すように、上述した顔の輪郭領域42が検出される。
【0077】
上記顔の輪郭領域42の規定範囲は、顔の輪郭基準位置としての横方向ライン番号:center、縦方向ライン番号:headtopの各値から決定されるものであり、顔を中心とした写真サイズとしてのトリミングサイズが取得できる範囲であり、以下の式になる。
X FMG SIZE/2<center<(X STILL SIZE-X FMG SIZE /2)
OVER HEAD<head top<(Y STILL SIZE -Y FMG SIZE +OVER HEAD)=Y RANGE
すなわち、図22に示すように、入力画像41に対して、顔の中心位置centerは、フレーミング領域(トリミング領域)X FMG SIZEの横方向のライン数の1/2の値から、入力画像41の横方向のライン数X STILL SIZEからフレーミング領域(トリミング領域)X FMG SIZEの横方向のライン数の1/2を減算した値の範囲を規定範囲としている。
【0078】
また、図22に示すように、入力画像41に対して、頭頂位置head topは、入力画像41の縦方向ライン番号OVER HEADから、入力画像41の縦方向のライン数Y STILL SIZEからフレーミング領域(トリミング領域)Y FMG SIZEの横方向のライン数を減算し、入力画像41の縦方向ライン番号OVER HEADを加算した値の範囲を規定範囲としている。
なお、fmg xは、トリミング左上角X座標、fmg yは、トリミング左上角Y座標となっている。
【0079】
次に、上記ステップS43における頭頂高さ位置検出処理を、図16に示すフローチャートと、図23に示す画像データを参照しつつ説明する。
【0080】
まず、ステップS51では、少なくとも披撮影者1の頭頂部が存在していい規定範囲(OVER HEAD+1ライン〜Y RANGEライン)に、被撮影者1の頭頂部があることを確認する。
【0081】
入力画像中の縦方向ライン番号:OVER HEADの横ラインを構成する画素のうち、背景板9の色成分と異なる画素(すなわち被撮影者1の顔部分)を数え、その数が規定値以上あるか否かを確認する。
【0082】
さらに、同様にYRANGEの横ラインを構成する画素のうち、背景板9の色成分と異なる画素が規定値以上あるか否かを確認し、OVER HEADライン上に背景板9の色成分と異なる画素が規定値未満で、Y RANGEライン上に背景板9の色成分と異なる画素が規定値以上であることを確認する。
この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う異物がついていたりした場合に、その部分を無視させるための数値である。
【0083】
入力画像の縦方向ライン番号:OVER HEADをiに、同じくY RANGEをjに設定し、ステップS52に進む。ステップS52では、OVER HEADをiに、Y RANGEをjに設定し、ステップS53に進む。
【0084】
ステップS53では、iラインからjラインの間に0ラインより多くラインが存在することを確認した際、ステップS54に進む。ステップS54では、iラインとjラインの中央のライン(i+j)/2をkに設定し、ステップS55に進む。
【0085】
ステップS55では、kの横ラインを構成している画素のうち、背景板9の色成分と違う画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う微小な異物がついていたりした場合に、その部分を無視させるための数値である。
【0086】
上記ステップS55の判定結果がyesの場合、ステップS56にてkをjに設定し、ステップS53に戻り、上記ステップS55の判定結果がnoの場合、ステップS57にてkをiに設定し、ステップS53に戻る。
【0087】
このようにして、入力画像のOVER HEADからY RANGEまでの探索領域から、1処理ループごとにこの探索領域を半分にしていき、j−iが1未満(ライン数の差がなくなった時、0ライン)となった際に、つまりステップS53の判定結果がnoの場合、ステップS58に進む。
【0088】
ステップS58では、頭頂部Yラインのiを頭頂位置head topに設定し、ステップS59に進む。ステップS59では、処理結果として頭頂位置head topが規定範囲内と設定し、ステップ44へ進む。
【0089】
また、ステップS51の判定結果がyesの場合、つまりY RENGEに顔画像のデータがなく、OVER HEADに顔画像のデータがある場合、顔画像が規定範囲内にないと判断した場合、ステップS60に進む。ステップS60では、処理結果として頭頂位置が規定範囲外と設定し、ステップ44へ進む。
【0090】
次に、上記ステップS45における左右方向の顔の中心位置の検出処理を、図16に示すフローチャートと、図24〜図26に示す画像データを参照しつつ説明する。
【0091】
まず、ステップS61では、図24に示す、入力画像41の左端縦ライン番号0をiに設定し、入力画像の中心縦ライン番号(X STILL SIZE/2)をjに設定し、ステップS62に進む。ステップS62では、iラインからjラインの間に0ラインより多くラインが存在するか否かを確認し、yesの場合、ステップS63に進む。
【0092】
ステップS63では、iラインとjラインの中央の縦ライン(i+j)/2をkに設定し、ステップS64に進む。ステップS64では、kの縦ラインを構成している画素のうち、ステップS41で測定した背景板9の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う微小な異物がついていたりした場合に、その部分を無視させるための数値である。
【0093】
上記ステップS64の判定結果がyesの場合、ステップS65にてkをjに設定し、ステップS62に戻り、上記ステップS64の判定結果がnoの場合、ステップS66にてkをiに設定し、ステップS62に戻る。
【0094】
このようにして、入力画像の左半分の探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満となった際に、つまりステップS62の判定結果がnoの場合、ステップS67に進む。
ステップS67では、ステップS62にてj−iが1未満となったところで、iを顔左端縦ライン:head leftに設定し、ステップS68に進む。
【0095】
ステップS68では、図25に示す、入力画像41の中心縦ライン番号((X START+X STOP)/2)をiに設定し、入力画像の右端縦ライン番号(X STOP)をjに設定し、ステップS69に進む。ステップS69では、iラインからjラインの間に0ラインより多くラインが存在するか否かを確認し、noの場合ステップS70に進む。
【0096】
ステップS70では、iラインとjラインの中央の縦ライン(i+j)/2をkに設定し、ステップS71に進む。ステップS71では、kの縦ラインを構成している画素のうち、ステップS41で測定した背景板9の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板9にその色とは違う微小な異物がついていたりした場合に、その部分を無視させるための数値である。
【0097】
上記ステップS71の判定結果がyesの場合、ステップS72にてkをiに設定し、ステップS69に戻り、上記ステップS71の判定結果がnoの場合、ステップS73にてkをjに設定し、ステップS69に戻る。
【0098】
このようにして、入力画像の右半分の探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満となった際に、つまりステップS69の判定結果がyesの場合、ステップS74に進む。
【0099】
ステップS74では、ステップS69にてj−iが1未満となったところで、iを顔右端縦ライン:head rightに設定し、ステップS75に進む。ステップS75では、図26に示すように、ステップS67により設定された顔左端縦ラインhead leftとステップS74により設定された顔右端縦ラインhead rightとに基づいて、中央位置を計算し、この計算した値をcenterの値とし、ステップ46へ進む。
【0100】
上記ステップ23における被撮影者1の髪形まで含めた顔の輪郭領域42は、上記顔の輪郭基準位置(center、head top)、head left:左頭側位置、head right:右頭側位置、FACE SIZE:複数の被撮影者1の顔の縦の長さの平均ライン数により決定される。
【0101】
上記ステップS21における両瞳が必ず存在するであろう領域43としては、図27に示すように、上記顔の輪郭基準位置(center、head top)に基づく、横座標:x eye area posi、縦座標:y eye area posiを左頂点とする横方向のサイズ:X EYE AREA SIZE、縦方向のサイズ:Y EYE AREA SIZEの領域が算出される。横座標:x eye area posi、縦座標:y eye area posiは、以下の式になる。
x eye area posi=center-(X EYE AREA SIZE /2)
y eye area posi=head top+Y EYE POSI SIZE-(Y EYE AREA SIZE /2)
すなわち、上記center(顔の輪郭基準位置の横座標)に対して、あらかじめ決まっている領域43の横幅(必ず両瞳が存在するであろう最小限の領域を示す横ライン数:X EYE AREA SIZE)の半分を差し引いた座標が、領域43の左側端部の横座標(x eye area posi)となる。
【0102】
上記headtop(顔の輪郭基準位置の縦座標)に対して、頭頂位置からの瞳の位置までの平均縦ライン数(Y EYE POSI SIZE)を加算し、あらかじめ決まっている領域43の縦幅(必ず両瞳が存在するであろう最小限の領域を示す縦ライン数:Y EYE AREA SIZE)の半分を差し引いた座標が、領域43の上側端部の縦座標(y eye area posi)となる。
【0103】
なお、前記実施の形態では、撮影された顔画像から被撮影者の顔の中の両瞳の位置および口の位置をそれぞれ検出し、これら検出した両瞳の位置および口の位置関係から顔の大きさを測定する場合について説明したが、本発明はこれに限定されるものでなく、撮影された顔画像から被撮影者の顔の中の両瞳の位置、口の位置および鼻の位置をそれぞれ検出し、これら検出した両瞳の位置、口の位置および鼻の位置関係から顔の大きさを測定するようにしてもよい。
【0104】
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影する際、顔の大きさを人間系にて判定し、顔の大きさが大き過ぎる、あるいは、小さ過ぎる画像であった場合は、操作者(撮影者)が大きさの調整(ズーミング)を行っている。
たとえば、撮影サイクルが数秒程度と早い場合、上記人間系の判定では、撮影時の撮影装置の操作者(撮影者)の負荷が大きく、さらに、判定を誤まる確立も高くなる。
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行った場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0105】
これに対して、上述した第2の実施の形態によれば、上記欠点を回避し、被撮影者の少なくとも顔画像を撮影した際、入力した顔画像の顔の大きさを自動的に認識して、出力画像の顔の大きさが常に均一になるように、自動的にズーミング処理を行うことができる。
【0106】
(第3の実施の形態)
次に、第3の実施の形態として、被撮影者1の目及び口の状態を監視することにより、撮影可能状態を認識し、自動撮影を行う実施の形態について説明する。なお、第2の実施の形態における顔の輪郭領域の算出などが同様に行われるようになっている。
図28、図29は、カメラ3からの入力画像(顔画像)と、撮影処理中の各処理時に使用する領域や座標を示したものである。
【0107】
以下、図30に示すフローチャートおよび図28、図29を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0108】
まず、ステップS81にて、図示しないカウンタによって計数されるリトライ回数やその他のデータの初期化を行い、ステップS82に進む。ステップS82では、ビデオキャプチャ部21を介してカメラ3からの入力画像41を取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS83に進む。
【0109】
ステップS83、S84では、メインメモリ23b内の入力画像41により、カメラ3の前に被撮影者1が存在するか否かの検出処理を行う。すなわち、たとえば、入力画像31内に背景色と異なる画素を持った領域(すなわち、被撮影者の領域)を探索することにより、被撮影者1が存在し、かつ、被撮影者1の髪形まで含めた顔の輪郭領域42の位置が出力するために適正な範囲に入っているかを判定する。ここに、このステップS83、S84の処理が本発明における被撮影者検出手段に対応している。
【0110】
カメラ3の前に被撮影者1が存在しない場合、あるいは、顔の輪郭領域42の位置が不適正の場合、ステップS82に戻り、上記同様な動作を繰り返す。カメラ3の前に被撮影者1が存在し、かつ、顔の輪郭領域42の位置が適正な場合、ステップS85に進む。ステップS85では、カメラ3の前の被撮影者1に対し撮影準備を促すため、表示器5およびスピーカ10により、ガイダンスメッセージを出力し、ステップS86に進む。ここに、このステップS85の処理が本発明における撮影案内手段に対応している。
【0111】
ステップS86では、画像41を入力した後、後述する撮影可能状態の判定処理にて被撮影者1が静止した(撮影準備ができた)と判定するための規定時間の間待機し、ステップS87に進む。ステップS87では、再び、先の入力画像41に連続的に続く入力画像41’をカメラ3から取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS88に進む。
【0112】
ステップS88、S89では、メインメモリ23b内の入力画像41および入力画像41’により撮影可能状態判定処理を行うことにより、被撮影者1の撮影準備ができているか否かを判定する。この撮影可能状態判定処理については後で詳細を説明する。ここに、このステップS88、S89の処理が本発明における認識手段に対応している。
【0113】
上記判定の結果、被撮影者1の撮影準備ができている場合、ステップS90に進み、CPU部23内のメインメモリ23bに格納された入力画像41あるいは41’のうち、顔画像の出力に適している画像を選定して出力用に変換し、被撮影者1のその他の個人情報とともに、目的に応じ、CPU部23に接続された画像印刷装置31、あるいは、ネットワークアダプタ33からネットワーク32上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク32上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶装置26や可搬性のある記憶媒体27を画像保存手段として用いることにより、それに対して記憶(保存
出力)する。これで、被撮影者1人に対する全ての撮影処理が終了する。ここに、このステップS90の処理が本発明における選定手段に対応している。
なお、撮影した顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0114】
前記判定の結果、被撮影者1の撮影準備ができていない場合、ステップS91に進み、リトライ処理を行う。すなわち、まず、ステップS91では、前記リトライ回数をインクリメントし、ステップS92に進む。ステップS92では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS82に戻り、リトライ処理として再度、ステップS82からの処理を行う。ここに、このステップS91、S92の処理が本発明における判定手段に対応している。
【0115】
ステップS92の判定において、リトライ回数が規定値を超えた場合、出力写真にした際に不適な画像であると判断して、ステップS93に進み、エラー処理を行って、撮影処理を終了する。ここに、このステップS93の処理が本発明におけるエラー処理手段に対応している。
【0116】
次に、図31に示すフローチャートおよび図28、図29を参照して、図30のステップS88、S89における撮影可能状態の判定処理について説明する。
【0117】
まず、ステップS101にて、顔の輪郭領域42からの相対位置領域として、両瞳が必ず存在するであろう領域43を算出し、この算出した領域43の中から瞳と同形状の部位、たとえば、黒くて丸い形状の部位を抽出する。
領域43は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0118】
次に、ステップS102にて、ステップS101で抽出された黒くて丸い形状の部位それぞれに対し、あらかじめ登録された瞳標本と比較し、それぞれの類似度合が規定値を超えている部位の中で最も高い部位を抽出する。瞳は2箇所あるため、瞳標本は左右の瞳分用意されており、上記判定を左右の瞳の両標本との比較により行い、左瞳部位44、右瞳部位45の座標を抽出する。
【0119】
次に、ステップS103にて、ステップS102で抽出された左瞳部位44、右瞳部位45の各中心位置からの相対位置領域として、口が必ず存在するであろう領域47を算出し、この算出した領域47の中から唇と同様の赤色系の画素を持つ部位を抽出する。
領域47たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心位置に対する唇を含む領域を求めて平均化した値に基づいて算出したものである。
【0120】
次に、ステップS104にて、ステップS103で抽出された部位と、あらかじめ登録された口標本とを比較し、類似度合が規定値を超えている部位の中で最も高い部位を口部位の座標48として抽出する。次に、ステップS105にて、図28の入力画像41における左側の瞳座標44の規定周辺領域50と、図29の入力画像41’における同座標の同じ大きさの領域52での各画素間の輝度差絶対値を求め、その領域全体での合計値SumDef1を求める。
【0121】
次に、ステップS106にて、図28の入力画像41における右側の瞳座標45の規定周辺領域51と、図29の入力画像41’における同座標の同じ大きさの領域53での各画素間の輝度差絶対値を求め、その領域全体での合計値SumDef2を求める。
【0122】
次に、ステップS107にて、図28の入力画像41における口部位の座標48の規定周辺領域53と、図29の入力画像41’における同座標の同じ大きさの領域54での各画素間の輝度差絶対値を求め、その領域全体での合計値SumDef3を求める。
【0123】
次に、ステップS108にて、ステップS105〜107で求めた輝度差絶対値の合計値SumDef1、SumDef2、SumDef3を、それらに対してそれぞれ設定された規定値とそれぞれ比較し、全て規定値以下か否かの判定を行う。
この判定の結果、3つの数値が全て規定値以下であれば、撮影可能状態であると判定し、3つの数値のうち1つでも規定値を超えている場合は、撮影可能状態でないと判定する。
【0124】
被撮影者1の撮影準備が完了していれば、顔および顔の中の動く部位である目および口は静止しているため、上記3つの数値はそれぞれ規定値に対し低い値になる。逆に、顔が動いていれば、上記3つの数値はそれぞれ規定値に対し高い値になる。また、瞬きがあった場合は、SumDef2とSumDef3がそれぞれ規定値に対し高い値になる。会話や口が動いている場合には、SumDef3が規定値に対し高い値になる。
【0125】
前述したステップS86での規定時間とは、被撮影者1が撮影準備ができていないために挙動があった場合、上記3つの数値を充分に数値化できるようにするための動き監視時間である。
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影する際、被撮影者の撮影準備状態(撮影可能状態)は操作者(撮影者)が判定し、撮影を行っていた。
【0126】
ところが、たとえば、撮影サイクルが数秒程度と早い揚合、操作者(撮影者)は、撮影装置の操作を行いながら、被撮影者の様子を観察する必要があるため、操作者(撮影者)の負荷が大きく、さらに、操作を誤まる確立も高くなる。
【0127】
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行った場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0128】
これに対して、上述した第3の実施形態によれば、上記欠点を回避し、被撮影者を連続的に撮影した複数の画像にて目および口を監視することにより、被撮影者の撮影可能状態を認識することによって、人間系の判定などを伴うことなく、自動的に被撮影者の撮影可能状態を認識し、自動的に撮影を行うことができる。
【0129】
なお、前記実施の形態では、取込まれた複数の画像にて被撮影者の顔の中の目および口の状態を監視することにより被撮影者が撮影可能状態であるかを認識する場合について説明したが、本発明はこれに限定されるものでなく、顔の中の目、口および鼻の状態を監視することにより被撮影者が撮影可能状態であるかを認識するようにしてもよい。
【0130】
(第4の実施の形態)
次に、第4の実施の形態として、撮影した画像に基づいて、被撮影者1の瞳の状態を認識し、瞳が正常に開いているかを判定する実施の形態について説明する。この実施の形態は、撮影後の処理に対するものである。なお、第2の実施の形態における顔の輪郭領域の算出などが同様に行われるようになっている。
【0131】
図32は、カメラ3からの入力画像(顔画像)61と、その入力画像61中の顔の輪郭位置62からの相対位置である瞳(目)の概略位置領域63を特定し、この概略位置領域63から両瞳の位置領域64、65を抽出する様子を示したものである。
【0132】
以下、図33に示すフローチャートおよび図32を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0133】
まず、ステップS111にて、リトライ回数やその他のデータの初期化を行い、ステップS112に進む。ステップS112では、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)61を取込み、CPU部23内のメインメモリ23bに一時格納し、ステップS113に進む。ステップS113では、メインメモリ23b内の入力画像61から、髪形まで含めた顔の輪郭位置62を検出し、ステップS114に進む。
【0134】
ステップS114では、検出した顔の輪郭位置62が、あらかじめ設定される規定の範囲内か否かをチェックし、規定の範囲内でなかった場合、ステップS115に進んでエラー処理を行い、初期状態に戻る。
【0135】
また、ステップS114で、規定の範囲内であった場合、ステップS116に進む。ステップS116では、顔の輪郭位置62から、その相対位置である瞳(目)の概略位置領域63を算出し、この概略位置領域63から、瞳と同形状の丸い形状をした位置領域(64、65)を抽出し、ステップS117に進む。
概略位置領域63は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0136】
ステップS117では、抽出した丸い形状をした位置領域の数が、あらかじめ設定される規定数(2個)以上あるか否かをチェックし、規定数に満たない場合は、瞳が正常に開いていないと判定し、ステップS118に進む。ステップS118では、あらかじめ設定される規定時間(約0.1秒程度)待機した後、ステップS119に進む。
【0137】
ステップS119では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS120に進む。ステップS120では、リトライ回数をインクリメントし、ステップS112に戻る。すなわち、リトライ回数が規定回数内であれば、規定時間(約0.1秒程度)待ち、リトライとして再度、顔画像を入力させるためにステップS112に戻る。
ステップS119のチェックで、規定値以上であればステップS121に進んでエラー処理を行い、初期状態に戻る。
【0138】
ステップS117のチェックで、規定数を満たした場合は、瞳が正常に開いているものと判定し、ステップS122に進む。ステップS122では、抽出したそれぞれの位置領域64、65周辺の形状と、CPU部23内のメインメモリ23bにあらかじめ記憶されている瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出し、ステップS123に進む。
【0139】
ステップS123では、ステップS122で抽出した最も類似している部位の類似度合いが、あらかじめ設定される閾値以上か否かをチェックし、閾値以下であれば、ステップS119に進み、前述同様のリトライ処理を行う。上記チェックの結果、閾値以上であれば、正常に開いている瞳位置と判定し、ステップS124に進む。
この場合、瞳は2箇所あるため、標本データは左右の瞳分用意されており、上記判定を左右瞳の両標本データとの比較により行い、左右両瞳の状態を認識する。
【0140】
ステップS124では、ステップS112で取込んだ入力画像を出力用に変換し、被撮影者1のその他の個人情報とともに、目的に応じ、CPU部23に接続された画像印刷装置31、あるいは、ネットワークアダプタ33からネットワーク32上に接続された画像印刷装置(図示しない)において、記録媒体(用紙、カードなど)に印刷出力したり、同ネットワーク32上に接続された画像保存手段としての画像ファイリング装置(図示しない)に対して保存出力したり、さらには、CPU部23内のメインメモリ23bあるいは大容量記憶媒体25や可搬性のある記憶媒体26を画像保存手段として用いることにより、それに対して記憶(保存出力)する。これで全ての処理が終了する。
なお、顔画像を印刷出力するか保存出力するかは目的に応じて選択すればよく、顔画像の出力方法は任意である。
【0141】
ところで、被撮影者1を撮影した際、瞬きまたは目つぶりがあった場合、ステップS116、S117の処理にて判定し、リトライ処理を行いつつ、瞳が開くのを待つ処理を行う。
【0142】
また、被撮影者1が、瞳は開いているが、よそ見その他の正面をしっかり向いていないような、正常に開いた瞳ではない場合、ステップS122、S123の処理にて判定し、正常に開いた瞳になるのを待つ。また、ステップS122、S123の処理は、ステップS116、S117の処理にて誤判定したものに対しての補正処理としても動作する。
【0143】
さらに、ステップS122、S123の処理は、ステップS116、S117の処理では判定できない不正常な開きすぎの瞳(びっくり目)に対しても作用し、リトライ処理を行う。
【0144】
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影した際、瞳(目)が開いた状態かどうかを人間系にて判定し、目つぶりなどの出力写真として適さない画像であった場合には、撮り直しなどの処置を行っていた。
【0145】
ところが、撮影サイクルが数秒程度と早い場合、上記人間系の判定では、撮影時の撮影装置の操作者(撮影者)の負荷が大きく、さらに判定を誤まる確立も高くなる。
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行なった場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0146】
これに対して、上述した第4の実施の形態によれば、上記欠点を回避し、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る顔画像撮影方法および顔画像撮影装置を提供することを目的とする。
上記したように、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る。
【0147】
(第5の実施の形態)
次に、第5の実施の形態として、複数フレームの連続した何コマかの画像データを記憶し、この記憶した画像から1つの画像を撮影結果として選択する実施の形態について説明する。
【0148】
図34は、カメラ3からの入力画像(顔画像)71と、その入力画像71中の顔の輪郭位置72からの相対位置である瞳(目)の概略位置領域73を特定し、この概略位置領域73から両瞳の位置領域74、75を抽出し、この両瞳の位置領域74、75の中心位置(座標)76からの相対位置により画像切出し領域77を決定する様子を示したものである。
【0149】
以下、図35、図36に示すフローチャートおよび図34を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0150】
本装置の撮影処理は、撮影者(操作者)4が被撮影者1の準備ができるのを待機し、キーボード28内の撮影ボタン28aを押下することにより開始する。
撮影処理の開始により、まず、ステップS131にて、リトライ回数、フレーム番号、その他のデータの初期化を行い、ステップS132に進む。ステップS132では、画像取込み処理の開始指令を出力し、ステップS133、S135に進む。ステップS133では、画像取込み処理の開始指令が出力されていることを確認し、ステップS134に進む。
【0151】
ステップS134では、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)71を、フレーム番号「0」から「n」まで連続して取込み、複数フレームの連続画像(動画像)としてCPU部23内のワークメモリとしてのメインメモリ23bに一時格納する。この取込処理は、画像取込処理開始指令が出力されている間、行われる。すなわち、フレーム番号「0」から「n」までの画像を取込むと、画像取込処理開始指令の出力が停止される。
【0152】
一方、ステップS135では、上記ステップS133、S134の処理と並行して、該当フレーム番号(たとえば、フレーム番号「0」、ステップS131にて初期設定される)の画像の取込みが完了するのを待機し、取込みが完了するとステップS136に進む。ステップS136では、CPU部23内のメインメモリ23bに格納されたフレーム番号「0」の入力画像71から、髪形まで含めた顔の輪郭位置72を検出し、ステップS137に進む。
【0153】
ステップS137では、検出した顔の輪郭位置72が、あらかじめ設定される規定の範囲内か否かをチェックし、規定の範囲内でなかった場合、ステップS138に進んでエラー処理を行い、初期状態に戻る。規定の範囲内であった場合、ステップS139に進む。ステップS139では、顔の輪郭位置72から、その相対位置である瞳(目)の概略位置領域73を算出し、この概略位置領域73から、両瞳と同形状の丸い形状をした位置領域74、75を抽出し、ステップS140に進む。
上記領域73は、たとえば何百人かの顔画像データにおける顔の輪郭領域に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0154】
ステップS140では、抽出した丸い形状をした位置領域74、75の画像(瞳)が印刷出力に適した状態にあるか否かをチェックし、もしその画像が瞬きや目つぶりなどの印刷出力に適さない状態であった場合、ステップS141に進む。
【0155】
ステップS141では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS142に進む。ステップS142では、リトライ回数およびフレーム番号をそれぞれインクリメントし、ステップS135に戻る。すなわち、リトライ回数が規定回数内であれば、ステップS135に戻り、次のフレーム番号「1」の画像にてリトライを行うものである。
ステップS11のチェックで、リトライ回数が規定値以上であればステップS143に進んでエラー処理を行い、初期状態に戻る。
【0156】
ステップS140のチェックで、画像に瞬きや目つぶりなどがなく、印刷出力に適した状態にあった場合、ステップS144に進む。ステップS144では、ステップS139で抽出した両瞳の位置領域74、75から、その位置領域74、75間の中心位置(座標)76を算出し、その中心位置76からの相対位置により画像切出し領域77を決定し、その画像切出し領域77内の画像を入力画像から切出し、ステップS145に進む。
この領域77は、たとえば何百人かの顔画像データにおける左右両方の瞳部位間の中心位置に対する画像切出し領域を求めて平均化した値に基づいて算出したものである。
【0157】
ステップS145では、ステップS144で切り出した画像を、被撮影者1のその他の個人情報とともに、目的に応じ、LANカード33からネットワーク32上に接続された図示しない印刷部において記録媒体(用紙、カード)に印刷出力したり、同ネットワーク32上に接続された図示しないファイリング機器等の保存装置に出力したり、CPU23a内のメインメモリ23bまたはハードディスクなどの大容量記憶媒体25や可搬性のある記憶媒体26に保存出力し、ステップS146に進む。ステップ146では、フレーム番号「n」の画像の取り込みが終了するのを待機し、取り込みが終了するとステップS147に進む。
【0158】
ステップS147では、CPU部23内のメインメモリ23bに一時格納されているnフレーム分の連続画像をバックアップ画像として大容量記憶媒体25に保存し、処理を終了する。
【0159】
ステップS145における印刷出力の結果にて、たとえば、被撮影者1が口を開いていた、横を向いていた、ステップS139、S140の処理にて誤判定したことなどが原因で証明用写真として適さない画像であると撮影者4が判断した場合、バックアップしてあるnフレーム分の連続画像から適合する画像を選択し、再度出力する。以下、それについて図37に示すフローチャートを参照して詳細に説明する。
【0160】
まず、ステップS151において、撮影者4は、撮影時に登録した再出力対称の照会番号をキーボード28から入力することにより、ステップS152に進み、その照会番号に対応するバックアップ画像を大容量記憶媒体25内から検索する。この検索により、該当する画像が存在しなければ(S153)、ステップS154に進み、該当番号の画像がない旨のメッセージを表示器5に表示し、処理を終了する。
【0161】
上記検索により、該当する画像が存在した場合(S153)、ステップS155に進み、該当するバックアップ画像の全てのフレームを読出して表示器5に表示し、ステップS156に進む。ステップS156では、表示器5に表示された全フレームの画像の中から、撮影者4が、証明用写真に適した画像を選択し、そのフレーム番号をキーボード28から入力することにより、ステップS157に進む。
【0162】
ステップS157では、キーボード28から入力されたフレーム番号に対応した画像を大容量記憶媒体25内から検索して読出し、この読出した画像をステップS15と同様な処理にて印刷出力し、再出力処理を終了する。
【0163】
したがって、従来の顔画像撮影装置にあっては、被撮影者を撮影した際、正常な画像かどうかを人間系にて判定し、目つぶりなどの出力写真として適さない画像であった場合には、撮り直しなどの処置を行っていた。
【0164】
ところが、撮影サイクルが数秒程度と早い場合、上記人間系の判定では、撮影時の撮影装置の操作者(撮影者)の負荷が大きく、さらに判定を誤まる確立も高くなる。
特に、判定を誤まって撮影して、印刷出力した後、誤まった判定を行った場合、既にその場にはいない被撮影者を呼び戻し、再度撮影しなければならない。また、印刷出力するに伴なう出力媒体(用紙など)の費用が無駄に浪費されるという問題がある。
【0165】
これに対して、上述した第5の実施の形態によれば、上記欠点を回避し、不良画像撮影を行ったとしても、被撮影者を再び呼び戻して再度撮影することなく、良品の画像を再出力することができる。
【0166】
なお、上述した再出力処理プログラムは、本装置内にある場合を想定して説明したが、本装置とネットワークアダプタ33を介して、同一ネットワーク32上に接続された再出力処理専用の端末装置に設けられていてもよい。
【0167】
また、大容量記憶媒体25にバックアップ記憶したnフレーム分の連続画像は、たとえば、別途同一ネットワーク上に配備された証明用写真発行管理システムから、発行完了の情報を得ることにより消去されるようになっている。
【0168】
(第6の実施の形態)
次に、第6の実施の形態として、撮影された画像データにおける基準位置としての眉間の位置をクリックするのに基づいて、顔画像を抽出する実施の形態について説明する。
【0169】
図38は、カメラ3からの入力画像(顔画像)81と、その入力画像81中の顔の中心としての眉間83の座標を基準に、瞳が存在するであろう領域82を抽出し、かつ出力写真サイズの画像領域84を抽出する様子を示したものである。
【0170】
以下、図39、図40、図41に示すフローチャートおよび図38を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0171】
この実施例では、撮影ボタン28aの変わりに、表示画像中の顔の眉間部分をクリックすると撮影するという処理について説明する。
まず、ステップS161にて、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)81を取込み、ステップS162に進む。ステップS162では、その入力画像81がビデオアクセラレート部22を経由し、表示器5により表示され、ステップS163に進む。ステップS163では、マウス29からクリックがあったかどうかを判定し、クリックがなかったと判定した場合、再びステップS1に戻る。すなわち、クリックがなかった場合は動画に近い状態で表示器5の表示が行われる。
【0172】
上記ステップS163でクリックがあったと判定した場合、図40で説明する判定処理(S164)および図41で説明する画像出力処理(S165)を行い、ステップS161に戻る。
上記ステップS164は、マウス29によるクリックがあった場合に、目つぶり等のない画像かどうか判定する処理であり、図40を参照しつつ説明する。
【0173】
まず、ステップS171にて、リトライ回数やその他のデータの初期化を行い、ステップS172に進む。ステップS172では、上記カメラ3から取込んだ入力画像81はCPU部23内のメインメモリ23bにおける(リトライ回数に相当するバッファ番号)に一時格納され、ステップS173に進む。
【0174】
ステップS173では、上記N番目の画像バッファにおける画像上のマウス29でクリックされた眉間の座標83を基準に、瞳が存在するであろう領域82を算出し、ステップS174に進む。つまり、眉間の位置の座標83から、その相対位置である瞳(目)の概略位置領域82を算出する。ステップS174では、領域82中から、瞳と同形状の丸い形状をした位置領域(84、85)を抽出し、ステップS175に進む。
上記領域82は、たとえば何百人かの顔画像データにおける眉間の位置の座標に対する両瞳が必ず存在する領域を求めて平均化した値に基づいて算出したものである。
【0175】
ステップS175では、抽出した丸い形状をした位置領域の数が、あらかじめ設定される規定数(2個)以上あるか否かをチェックし、規定数に満たない場合は、瞳が正常に開いていない(被撮影者1を撮影した際に瞬きまたは目つぶりであった)と判定し、ステップS176に進む。
【0176】
ステップS176では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS177に進む。ステップS177では、あらかじめ設定される規定時間(約0.1秒程度)待機した後、ステップS178に進む。
【0177】
ステップS178では、リトライ回数をインクリメントし、ステップS172に戻る。すなわち、リトライ回数が規定回数内であれば、規定時間(約0.1秒程度)待ち、リトライとして再度、顔画像を入力させるためにステップS172に戻る。
【0178】
これにより、もし被撮影者1を撮影した際、瞬きまたは目つぶりであった場合、ステップS175の処理にて判定し、リトライを行いつつ、目が開くのを待つことを行う。
もし被撮影者が、目は開いているがよそ見その他の正面をしっかり向いていないような、正常に開いた目ではない場合は、ステップS177の処理にて判定し、正常に開いた目になるのを待つ。またステップS177の処理はステップS175の処理にて誤判定したものに対しての補正処理としても動作する。
【0179】
また、ステップS177の処理は、ステップS175の処理では判定できない不正常な開きすぎの目(びっくり目)に対しても作用し、リトライ処理を行う。
ステップS176のチェックで、規定値以上であればステップS177に進んでエラー処理を行い、初期状態に戻る。
【0180】
ステップS175のチェックで、規定数を満たした場合は、瞳が正常に開いているものと判定し、ステップS178に進む。ステップS178では、抽出したそれぞれの位置領域84、85周辺の形状と、CPU部23内のメインメモリ23bの上記N番目の画像バッファにあらかじめ記憶されている瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出し、ステップS179に進む。
【0181】
ステップS179では、ステップS178で抽出した最も類似している部位の類似度合いが、あらかじめ設定される閾値以上か否かをチェックし、閾値以下であれば、ステップS176に進み、前述同様のリトライ処理を行う。上記チェックの結果、閾値以上であれば、正常に開いている瞳位置と判定し、ステップS165の画像出力処理に進む。
この場合、瞳は2箇所あるため、標本データは左右の瞳分用意されており、上記判定を左右瞳の両標本データとの比較により行い、左右両瞳の状態を認識する。
【0182】
次に、上記判定処理後の上記ステップ165の画像出力処理を、図41に示すフローチャートを参照しつつ説明する。
【0183】
まず、ステップS181では、直前の判定処理結果がエラーかどうか判定する。この判定の結果、エラーの場合、バッファ番号を「0」、すなわち、撮影のクリックが行われたタイミングにもっとも近い画像を記録している画像バッファを選択し(ステップ182)、ステップS183に進む。
また、上記ステップS181で、直前の判定処理がエラーでないと判定した場合、現在登録しているバッファ番号の画像バッファを選択し、ステップS183に進む。
【0184】
ステップS183では、ステップS181あるいはS182で選択した画像バッファの画像に対し、クリックされた座標を基準に出力サイズの画像領域84を切り出し、ステップS184に進む。
【0185】
ステップS184では、切り出した画像に対し、必要であれば圧縮処理をし、大容量記憶媒体25や、可搬性の記憶媒体26に確保したり、ネットワークアダプタ33を経由し、ネットワーク32上の図示しない印刷機やファイリング機器に出力する。
この実施の形態では、ポインティングデバイスとしてマウスを使用しているが、タッチパネルにより画面を直接クリックする方法もある。
【0186】
したがって、従来の顔画像撮影装置にあっては、画像を撮影してから出力されるまでの工程は、撮影ボタン押下、顔が含まれる広範囲の画像取り込み、その画像を保存媒体に確保、確保した画像中の顔周辺をトリミングし、切り出した部分を出力する。
このため、撮影の操作工程が長く複雑で、撮影してから出力するまでに時間がかかっている。
【0187】
これに対して、上述した第6の実施形態によれば、上記欠点を回避し、、被撮影者の少なくとも顔画像を撮影した際、撮影画像をトリミングするという複雑な操作を必要とすることなく、直接表示画面上の顔の位置を示すことにより、目つぶりなどの出力写真として適さない画像を自動的に排除し、常に最良の画像を出力し得る。
【0188】
(第7の実施の形態)
次に、第7の実施の形態として、撮影された画像データをモニタ表示し、このモニタ表示に基づいて画像の取込みが指示された際に、この指示の直前にモニタ表示されていた画像を採用する実施の形態について説明する。
【0189】
図42は、カメラ3からの入力画像(顔画像)91を示したものである。
以下、図43に示すフローチャートおよび図33を参照して本装置の処理動作を説明する。なお、以下に説明する処理は、主にCPU部23内のCPU23aの制御によって実行される。
【0190】
この実施例では、撮影ボタン28aの押下に基づいて、この押下時の直前のモニタ画像を出力するという処理について説明する。
まず、ステップS191にて、ビデオキャプチャ部21を介してカメラ3からの入力画像(顔画像)91を取込み、その入力画像81がビデオアクセラレート部22を経由し、CPU部23のメインメモリ23aのバッファ部に記録し、ステップS192に進む。ステップS192では、その入力画像81が表示器5により表示され、ステップS193に進む。ステップS193では、キーボード28の撮影ボタン28aの押下を判定し、撮影ボタン28aの押下がなかったと判定した場合、再びS191に戻る。すなわち、撮影ボタン28aの押下がなかった場合は動画に近い状態で表示器5の表示が行われる。また、メインメモリ23aのバッファ部に現在の撮影画像より以前の画像が記録されている。
【0191】
上記ステップS193で撮影ボタン28aの押下があったと判定した場合、上記バッファ部に記憶されている上記撮影ボタン28aの押下が行われる際に表示器5で表示されていた画像が撮影画像として判定する(ステップS194)。この撮影画像と判定した画像を、大容量記憶媒体25や、可搬性の記憶媒体26に確保したり、ネットワークアダプタ33を経由し、ネットワーク32上の図示しない印刷機やファイリング機器に出力する(ステップS195)。
【0192】
したがって、従来の顔画像撮影装置にあっては、撮影画像のモニタを見ながら、撮影画像が適性と判断しされた時、撮影ボタンを押し、撮影ボタンを押された信号(タイミング)にて画像を取りこみ、取りこんだ画像を撮影画像としている。
【0193】
このような従来の方法では、適正な画像と判断したモニタの画像と、撮影画像として取りこんだ画像の間には、撮影ボタンを押すのにかかる時間、画像を取り込むための要した時間等の時間的なずれが生じ、適性と判断した画像とは時間的に遅れた、異なる画像を取り込む結果となっている。このため、判断した適正な画像とは大きく異なった画像となる場合があり、再度撮影をやり直す必要がある。
【0194】
これに対して、上述した第7の実施形態によれば、上記欠点を回避し、被撮影者の少なくとも顔画像を撮影し、この撮影画像のモニタ表示を確認する際に、確認の指示がなされた直前のモニタ画面を出力することにより、常に最良の画像を出力し得る。
【符号の説明】
【0195】
1…被撮影者、2…照明器、3…ビデオカメラ、4…撮影者(操作者)、5…表示器(モニタディスプレイ)、6…制御台(制御部)、9…背景板、10…スピーカ、11…確認中表示部(第2の表示部)、12…終了表示部(第3の表示部)、13…出口表示部(第4の表示部)、14…カメラ位置表示部(第1の表示部)、21…ビデオキャプチャ部、22…ビデオアクセラレート部、23…CPU部、23a…CPU、23b…メインメモリ、25…大容量記憶媒体、26…記憶媒体、27…リーダライタ部、28…キーボード、29…マウス、31…画像印刷装置(出力手段)、32…ネットワーク。
【特許請求の範囲】
【請求項1】
被撮影者の少なくとも顔画像を撮影するステップと、
この撮影した顔画像から瞳の位置を検出するステップと、
この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、
この判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップと、
を有することを特徴とする顔画像撮影方法。
【請求項2】
被撮影者の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、
この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、
この判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段と、
を具備したことを特徴とする顔画像撮影装置。
【請求項3】
被撮影者の少なくとも顔画像を撮影するステップと、
この撮影した顔画像から瞳の位置を検出するステップと、
この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、
この判定により瞳が正常に開いていると判定された場合、上記撮影された顔画像を撮影画像として出力または印刷画像として出力または画像保存手段に対して出力するステップと、
上記判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップと、
を有することを特徴とする顔画像撮影方法。
【請求項4】
被撮影者の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、
この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、
この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を撮影画像として出力または印刷画像として出力する画像出力手段と、
上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段と、
を具備したことを特徴とする顔画像撮影装置。
【請求項5】
上記検出手段は、上記撮影手段により撮影された顔画像から顔の輪郭位置を検出し、この検出した顔の輪郭位置により、その輪郭位置からの相対位置である瞳の概略位置領域を算出し、この算出した瞳の概略位置領域から瞳の位置を抽出することを特徴とする請求項2、請求項4のうちいずれか1つに記載の顔画像撮影装置。
【請求項6】
上記判定手段は、上記検出手段による瞳の位置の検出数があらかじめ設定される規定数以上あるか否かを判定し、規定数以上ある場合、それぞれの検出位置周辺の形状とあらかじめ設定される瞳の標本データとを比較し、最も類似している位置の類似度合いがあらかじめ設定される閾値以上であるか否かを判定し、閾値以上であれば瞳が正常に開いていると判定し、閾値以下であったり、上記判定で検出数が規定数以下である場合、瞳が正常に開いていないと判定することを特徴とする請求項2、請求項4のうちいずれか1つに記載の顔画像撮影装置。
【請求項7】
上記リトライ制御手段は、上記判定手段により瞳が正常に開いていないと判定された場合、あらかじめ設定される規定時間待機した後、上記リトライ処理を行うことを特徴とする請求項2、請求項4のうちいずれか1つに記載の顔画像撮影装置。
【請求項8】
被撮影者の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、
この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、
この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を保存する画像保存手段と、
上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段と、
を具備したことを特徴とする顔画像撮影装置。
【請求項1】
被撮影者の少なくとも顔画像を撮影するステップと、
この撮影した顔画像から瞳の位置を検出するステップと、
この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、
この判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップと、
を有することを特徴とする顔画像撮影方法。
【請求項2】
被撮影者の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、
この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、
この判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段と、
を具備したことを特徴とする顔画像撮影装置。
【請求項3】
被撮影者の少なくとも顔画像を撮影するステップと、
この撮影した顔画像から瞳の位置を検出するステップと、
この検出した瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定するステップと、
この判定により瞳が正常に開いていると判定された場合、上記撮影された顔画像を撮影画像として出力または印刷画像として出力または画像保存手段に対して出力するステップと、
上記判定により瞳が正常に開いていないと判定された場合、上記顔画像の撮影、上記瞳の位置検出、および、上記瞳が正常に開いているか否かの判定を再度行うステップと、
を有することを特徴とする顔画像撮影方法。
【請求項4】
被撮影者の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、
この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、
この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を撮影画像として出力または印刷画像として出力する画像出力手段と、
上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段と、
を具備したことを特徴とする顔画像撮影装置。
【請求項5】
上記検出手段は、上記撮影手段により撮影された顔画像から顔の輪郭位置を検出し、この検出した顔の輪郭位置により、その輪郭位置からの相対位置である瞳の概略位置領域を算出し、この算出した瞳の概略位置領域から瞳の位置を抽出することを特徴とする請求項2、請求項4のうちいずれか1つに記載の顔画像撮影装置。
【請求項6】
上記判定手段は、上記検出手段による瞳の位置の検出数があらかじめ設定される規定数以上あるか否かを判定し、規定数以上ある場合、それぞれの検出位置周辺の形状とあらかじめ設定される瞳の標本データとを比較し、最も類似している位置の類似度合いがあらかじめ設定される閾値以上であるか否かを判定し、閾値以上であれば瞳が正常に開いていると判定し、閾値以下であったり、上記判定で検出数が規定数以下である場合、瞳が正常に開いていないと判定することを特徴とする請求項2、請求項4のうちいずれか1つに記載の顔画像撮影装置。
【請求項7】
上記リトライ制御手段は、上記判定手段により瞳が正常に開いていないと判定された場合、あらかじめ設定される規定時間待機した後、上記リトライ処理を行うことを特徴とする請求項2、請求項4のうちいずれか1つに記載の顔画像撮影装置。
【請求項8】
被撮影者の少なくとも顔画像を撮影する撮影手段と、
この撮影手段により撮影された顔画像から瞳の位置を検出する検出手段と、
この検出手段により検出された瞳の位置に基づき瞳の状態を認識し、瞳が正常に開いているか否かを判定する判定手段と、
この判定手段により瞳が正常に開いていると判定された場合、上記撮影手段により撮影された顔画像を保存する画像保存手段と、
上記判定手段により瞳が正常に開いていないと判定された場合、上記撮影手段による顔画像の撮影、上記検出手段による瞳の位置検出、および、上記判定手段による瞳が正常に開いているか否かの判定を再度行わせるリトライ制御手段と、
を具備したことを特徴とする顔画像撮影装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【公開番号】特開2009−175744(P2009−175744A)
【公開日】平成21年8月6日(2009.8.6)
【国際特許分類】
【出願番号】特願2009−68310(P2009−68310)
【出願日】平成21年3月19日(2009.3.19)
【分割の表示】特願2000−194740(P2000−194740)の分割
【原出願日】平成12年6月28日(2000.6.28)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成21年8月6日(2009.8.6)
【国際特許分類】
【出願日】平成21年3月19日(2009.3.19)
【分割の表示】特願2000−194740(P2000−194740)の分割
【原出願日】平成12年6月28日(2000.6.28)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]