情報処理装置および方法、並びにプログラム
【課題】顔の画像の表示を制御することができるようにする。
【解決手段】不適切画像検出部５６は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出し、表示制御部５７は、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御することで、ユーザの望んでいない顔の画像が、他の人に見られないように表示を制御することができるようになる。本発明は、車載装置に適用できる。
【解決手段】不適切画像検出部５６は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出し、表示制御部５７は、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御することで、ユーザの望んでいない顔の画像が、他の人に見られないように表示を制御することができるようになる。本発明は、車載装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、顔の画像の表示を制御することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、認証の方法については、種々の方法が提案されているが、そのうちの１つに、人間の体の特徴を利用するバイオメトリックス認証の一種で、顔の画像（顔画像）を用いて認証（以下、顔画像認証と称する）を行う方法がある。
【０００３】
一般的に、顔画像認証は、指紋、声紋、虹彩など他のバイオメトリクス認証技術と比較して、ユーザ（認証者）の顔をカメラで撮像するだけでよく、体の接触や特別な動作を必要とせず認証が行われるため、効率的で心理的負担が少ないと言われている。また、ユーザに顔の画像や映像が記録されるかもしれないと思わせることで不正を心理的に抑止する効果を期待できるとされている。
【０００４】
また、撮像により得られた画像の一部をモザイク処理し、正当なパスワードを入力されたときにそのモザイクが解除されるようにして、画像を表示させる電子機器もある（例えば、特許文献１）。さらにまた、被監視者の顔、被監視者が存在する領域の状態を表示手段に表示することなく、被監視者のみの状態を表示させる監視モニタシステムがある（例えば、特許文献２）。
【０００５】
【特許文献１】特開２００３−８７６３２号公報
【特許文献２】特開平１０−２３４０３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザの顔を撮像する場合、ユーザの望んでいない表情の顔が撮像され、その撮像された顔画像が他の人によって見られてしまう可能性がある。
【０００７】
具体的には、顔画像認証において、例えば、撮像された顔画像が正しく認証されないユーザが存在する場合、顔画像認証のシステムを管理している保守担当者は、正しく認証が行われなかったユーザの顔画像を確認することで、原因を解明する。しかし、このとき、ユーザにとっては、その原因を確認するために用いられる自分の顔画像が、例えば、口を大きく開けている顔や、変な表情をしているときなど、保守担当者（他の人）に見られたくない表情となっていたり、自分の顔画像と一緒に、他の人には知られたくない人の顔画像が含まれていることも考えられる。すなわち、保守担当者が全ての画像を表示させて確認することで、ユーザの望んでいない顔画像が、保守担当者に見られてしまう可能性がある。
【０００８】
また、特開２００３−８７６３２号公報に開示されている電子機器は、撮像された画像データにモザイク処理を施すことにより、正当なパスワードが入力された場合にのみ画像を表示するようにし、特開平１０−２３４０３０号公報に開示されている監視モニタシステムは、被監視者の顔や被監視者が存在する領域の状態を表示しないようにしているが、ユーザの望んでいない画像を検出することができないので、ユーザの望んでいない画像が表示されてしまう可能性があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、ユーザの望んでいない顔画像の表示を制御することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の情報処理装置は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する第１の検出手段と、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する表示制御手段とを備える。
【００１１】
本発明の一側面の情報処理装置においては、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像が検出され、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示が制御される。
【００１２】
したがって、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【００１３】
情報処理装置は、例えば、顔画像認証の処理を行う車載装置として構成される。
【００１４】
第１の検出手段は、例えば、CPU（Central Processing Unit）などによって実行されるプログラムに含まれる不適切画像検出部により構成される。不適切画像検出部は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する。
【００１５】
したがって、ユーザが他のユーザに見られることを望んでない画像を、より確実に検出することが可能となる。
【００１６】
表示制御手段は、例えば、CPUなどにより実行されるプログラムに含まれる表示制御部により構成される。表示制御部は、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する。
【００１７】
したがって、ユーザが他のユーザに見られることを望んでない画像を、より確実に他のユーザに見られないようにすることが可能となる。
【００１８】
あらかじめ定められた状態は、自分の顔の表情の状態、他の人の顔の状態、または複数の人の顔の状態であるようにすることができる。
【００１９】
また、あらかじめ定められた状態は、あるべきではないと想定される物体がある状態、あるはずであると想定される物体がない状態、顔以外の身体による所定の状態、または人間以外でユーザの顔となりうる物体の状態であるようにすることができる。
【００２０】
したがって、例えば、口を大きく開けているときの顔や、変な表情をしているときの顔など、他の人には見られたくない顔を、より確実に検出することが可能となる。
【００２１】
また、表示制御手段は、第２の画像が表示されないように画面の表示を制御するようにすることができる。
【００２２】
さらに、表示制御手段は、第２の画像に対応したアイコンが表示されるように画面の表示を制御するようにすることができる。
【００２３】
また、表示制御手段は、ユーザの指示によりアイコンが選択された場合、アイコンに対応する第２の画像が表示されるよう画面の表示を制御する
【００２４】
したがって、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像を、ユーザ本人による許可なしでは表示されないようにすることが可能となる。
【００２５】
被写体の第３の画像を取得する取得手段と、取得した第３の画像から、ユーザの顔の画像を検出する第２の検出手段と、顔の画像が検出された場合、その顔の画像が検出された第３の画像が、第１の画像として記憶装置に記憶されるように記憶を制御する記憶制御手段とを備えることができる。
【００２６】
取得手段は、例えば、CCD（Charge Coupled Device）などの撮像素子や、DSP（Digital Signal Processor）などに相当する画像取得部により構成される。画像取得部は、被写体の画像に対応する画像データを生成することで、画像を取得する。
【００２７】
第２の検出手段は、例えば、CPUなどによって実行されるプログラムに含まれる顔画像検出部により構成される。顔画像検出部は、取得した画像からユーザの顔の画像を検出する。
【００２８】
記憶制御手段は、例えば、CPUなどによって実行されるプログラムに含まれる記憶制御部により構成される。記憶制御部は、顔画像が検出された画像が、例えば、フラッシュメモリなどからなる画像記憶部に記憶されるように記憶を制御する。
【００２９】
したがって、より確実に、顔画像が含まれる画像を画像記憶部に記憶させることができる。
【００３０】
また、第１の検出手段は、記憶装置に記憶されている第１の画像から、第２の画像を検出し、表示制御手段は、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御するようにすることができる。
【００３１】
本発明の一側面の情報処理方法は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する第１の検出ステップと、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップとを含む。
【００３２】
本発明の一側面の情報処理方法においては、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像が検出され、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示が制御される。
【００３３】
したがって、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【００３４】
この検出ステップは、例えば、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を不適切画像検出部により検出する検出ステップにより構成され、表示制御ステップは、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を表示制御部により制御する表示制御ステップにより構成される。
【００３５】
本発明の一側面のプログラムは、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する第１の検出ステップと、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップとを含む。
【００３６】
本発明の一側面のプログラムは、所定の記録媒体に記録されて、例えば、ドライブにより読み出され、情報処理装置にインストールされる。記録媒体は、フロッピ（登録商標）ディスクなどよりなる磁気ディスク、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk)などよりなる光ディスク、MD(Mini Disk)（登録商標）などよりなる光磁気ディスク、または半導体メモリなどのリムーバブルメディアにより構成される。
【発明の効果】
【００３７】
以上のように、本発明の一側面によれば、顔画像の表示を制御することができる。
【００３８】
また、本発明の一側面によれば、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【発明を実施するための最良の形態】
【００３９】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００４０】
図１は、本発明を適用した情報処理装置としての車載装置１のハードウェアの構成の例を示すブロック図である。
【００４１】
車載装置１は、例えば、乗用車、バス、電車、その他の車両に搭載されており、乗車している人（搭乗者）の個人情報が登録されたり、乗車（搭乗）する人（ユーザ）の認証処理を実行することが可能なようにされている。なお、本実施の形態では、本発明を適用した情報処理装置の一例として車載装置１について説明するが、それに限らず、例えば、防犯装置、パーソナルコンピュータ、デジタルスチルカメラ、携帯電話機、PDA（Personal Digital Assistance）、家庭用電気製品（家電）、または画像印刷装置など、顔画像を利用する機器に適用することができる。
【００４２】
車載装置１は、CPU１１、ROM（Read Only Memory）１２、RAM（Random Access Memory）１３、CCDカメラ１５、画像入力部１６、フラッシュメモリ１７、LCD（Liquid Crystal Display）表示部１８、タッチパネル操作部１９、および外部状態入力部２０を含むように構成される。また、これらはCPUバス１４を介して相互に接続されている。
【００４３】
CPU１１は、車載装置１の各部を制御する。車載装置１において、CPU１１は、ROM１２に記録されているプログラム、またはフラッシュメモリ１７などの記録部からRAM１３にロードされたプログラムにしたがって各種の処理を実行する。RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４４】
CCDカメラ１５および画像入力部１６は、CPU１１の制御の基に、ユーザの操作に応じた各種撮像に関する処理を行う。CCDカメラ１５は、例えば、レンズなどの光学系、CCDなどの撮像素子、映像信号の処理を行う映像信号回路などから構成される。CCDカメラ１５は、撮像した画像を画像データに変換し、変換した画像データを画像入力部１６に供給する。
【００４５】
画像入力部１６は、CCDカメラ１５から供給される画像データを、フラッシュメモリ１７に記録するのに適した方式に変換するなどの処理を行い、CPUバス１４を介してフラッシュメモリ１７に供給して、記録させる。また、画像入力部１６は、CCDカメラ１５から供給される画像データを、LCD表示部１８の画面に表示するのに適した方式に変換するなどの処理を行い、CPUバス１４を介してLCD表示部１８に供給して、撮像された画像データに対応する画像をLCD表示部１８の画面に表示させる。
【００４６】
フラッシュメモリ１７は、書き換え可能で、電源を切ってもデータが消えない不揮発性半導体メモリであり、画像入力部１６から供給される画像データを記憶する。これにより、例えば、CCDカメラ１５により撮像された被写体の画像が、フラッシュメモリ１７に記憶される。
【００４７】
LCD表示部１８は、CPU１１の制御の基に、画像入力部１６から供給される画像データに応じた画像を表示する。これにより、例えば、CCDカメラ１５により撮像された被写体の画像が、LCD表示部１８の画面に表示される。タッチパネル操作部１９は、LCD表示部１８を透過するようになされており、LCD表示部１８の画面に表示された操作画面のボタンなどを選択するユーザの操作を受け付けて、その操作位置の位置を示す信号（以下、操作信号と称する）をCPU１１に供給する。CPU１１は、タッチパネル操作部１９から供給される操作信号を基に、各種の処理を実行する。
【００４８】
外部状態入力部２０は、他の外部の機器と接続され、その接続された外部の機器から入力されてくる情報をCPU１１に供給する。具体的には、外部状態入力部２０は、例えば、車載装置１が搭載されている乗用車などに接続された他の機器から入力されてくる情報をCPU１１に供給する。CPU１１は、外部状態入力部２０から供給される情報を基に、例えば、各座席における人の存在の有無、着座の状態、運転の状態などの状態を判定し、判定結果に応じた処理を各部に実行させる。
【００４９】
CPUバス１４にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、例えば、ROM１２やフラッシュメモリ１７などにインストールされる。
【００５０】
なお、車載装置１のハードウェアの構成は、図１の例に限定されず、後述する図２の機能的構成を少なくとも有していればよい。
【００５１】
図２は、図１の車載装置１の機能的構成例を示すブロック図である。
【００５２】
車載装置１は、画像取得部５１、顔画像検出部５２、顔画像登録制御部５３、画像記憶部５４、顔画像利用部５５、不適切画像検出部５６、表示制御部５７、表示部５８、対象状態検出部５９、操作部６０、および制御部６１を含むようにして構成される。
【００５３】
なお、本実施の形態では、車載装置１は、上述した図１のハードウェア構成を有しているので、顔画像検出部５２、顔画像登録制御部５３、顔画像利用部５５、不適切画像検出部５６、および表示制御部５７は、例えば、ソフトウェア（コンピュータプログラム）を実行する図１のCPU１１によって実現される。また、画像取得部５１は、例えば、図１のCCDカメラ１５および画像入力部１６に相当し、画像記憶部５４は、例えば、図１のフラッシュメモリ１７に相当し、表示部５８は、図１のLCD表示部１８に相当する。さらにまた、対象状態検出部５９は、各種のセンサが接続されている図１の外部状態入力部２０に相当し、操作部６０は、例えば、図１のタッチパネル操作部１９に相当し、制御部６１は、図１のCPU１１に相当する。
【００５４】
ただし、顔画像検出部５２、顔画像登録制御部５３、顔画像利用部５５、不適切画像検出部５６、または表示制御部５７は、ハードウェアとして構成することもできるし、ソフトウェアとハードウェアとの組み合わせとして構成することもできる。
【００５５】
画像取得部５１は、制御部６１を介して操作部６０から供給される操作信号を基に、被写体の画像に対応する画像データを生成することで、画像を取得する。画像取得部５１は、生成した画像データを、顔画像検出部５２および顔画像登録制御部５３に供給する。
【００５６】
顔画像検出部５２は、画像取得部５１から供給される画像データに対応する画像から、顔画像を検出する。顔画像検出部５２は、顔画像の検出結果を顔画像登録制御部５３に供給する。
【００５７】
顔画像登録制御部５３は、顔画像検出部５２から供給される検出結果を基に、画像取得部５１から供給される画像データのうち、顔画像が検出された画像に対応する画像データが画像記憶部５４に記憶されるように、画像データの登録を制御する。
【００５８】
顔画像利用部５５は、制御部６１を介して操作部６０から供給される操作信号を基に、画像記憶部５４に記憶されている画像データを取得する。顔画像利用部５５は、取得した画像データを基に、例えば、顔画像認証などの各種の処理を実行する。また、顔画像利用部５５は、例えば、顔画像認証などの各種の処理を実行することにより生成された画像データを画像記憶部５４に記憶させる。
【００５９】
不適切画像検出部５６および表示制御部５７は、制御部６１を介して操作部６０から供給される操作信号を基に、画像記憶部５４に記憶されている画像データを取得する。不適切画像検出部５６は、取得した画像データに対応する画像から、不適切な画像を検出する。不適切画像検出部５６は、不適切な画像の検出結果を表示制御部５７に供給する。
【００６０】
ここで、詳細は後述するが、不適切な画像とは、ユーザが他の人に見られるのを望んでいない顔を含んでいる画像である。具体的には、例えば、不適切な画像は、白目になったとき、目を閉じたとき、口を大きく開けたとき、顔をゆがめたとき、変な表情をしたときなどの他人には見られたくない表情を含んでいる画像である。なお、以下、不適切な画像に対応するデータを、不適切な画像データと称して説明する。
【００６１】
表示制御部５７は、不適切画像検出部５６から供給される検出結果を基に、取得した画像データに対応する画像を表示部５８の画面に表示させるとともに、取得した画像データのうち、不適切な画像を、他の人が直接確認できないように表示部５８の画面に表示させる。
【００６２】
対象状態検出部５９は、対象状態を検出する。対象状態検出部５９は、検出した対象状態を顔画像登録制御部５３に供給する。
【００６３】
ここで、対象状態とは、例えば、乗用車の座席に人が座っている状態や、座席に物が置かれている状態などの、ある特定の対象に注目したときのその対象の状態である。例えば、顔画像登録制御部５３は、対象状態検出部５９から供給される対象状態を基に、乗用車の座席に人が座っていないとき、画像取得部５１から取得した画像データに対応する画像には、顔画像は含まれていないので、画像データが画像記憶部５４に記憶されないように、画像データの登録を制御する。
【００６４】
以上のように、車載装置１では、画像取得部５１が取得した画像データに対して、顔画像検出部５２および顔画像登録制御部５３が各種の処理を行うことにより（以下、この処理を登録の処理と称する）、顔画像を含んでいる画像に対応する画像データが画像記憶部５４に記憶され、その記憶されている画像データに対して、顔画像利用部５５が各種の処理を行うことにより（以下、この処理を利用の処理と称する）、顔画像認証などが行われ、さらに、その記憶されている画像データに対して、不適切画像検出部５６および表示制御部５７が各種の処理を行うことにより（以下、この処理を確認の処理と称する）、不適切な画像の、表示部５８の画面への表示が制御される。
【００６５】
なお、例えば、顔画像検出部５２、顔画像登録制御部５３、顔画像利用部５５、不適切画像検出部５６、および表示制御部５７を、それぞれ、顔画像検出プログラム、登録プログラム、顔画像利用プログラム、不適切画像検出プログラム、および確認表示プログラムとして、ソフトウェアにより提供してROM１２に記録させた場合、顔画像検出プログラムおよび登録プログラムは、登録の処理を実行し、顔画像利用プログラムは、利用の処理を実行し、不適切画像検出プログラムおよび確認表示プログラムは、確認の処理を実行することになる。
【００６６】
また、例えば、ネットワークを介して画像を他の機器に表示させる場合など、画像の表示が別の機器で行われるとき、表示制御部５７と表示部５８の代わりに、出力制御部（図示せず）と出力部（図示せず）を設ける構成にして、画像を他の機器に出力し、他の機器で画像を表示させるようにしてもよい。
【００６７】
次に、図１の車載装置１の動作について説明する。例えば、乗用車に設けられた車載装置１が運転者（ユーザ）を認証する機能（運転者認証システム）を備えている場合、まず、ユーザは、自分の顔の情報（顔画像）を登録する操作を行う。そして、車載装置１は、ユーザが運転を開始するとき、あらかじめ登録されている顔画像と、運転する直前に撮像された顔画像とが一致するかを判定することにより、そのユーザが正当であるかの認証を行う。また、それらの顔画像が一致しないとき、撮像された顔画像に問題がある可能性があるので、ユーザは、車載装置１が正常に動作しているかを確認してもらうために、車載装置１が搭載された乗用車をカーディーラに持ち込むことになる。そして、カーディーラのセールスマンや整備担当者などは、撮像された顔画像を画面に表示して確認し、原因を解明する必要がある。
【００６８】
したがって、以下、ユーザにより顔画像が登録されてから、顔画像認証を行って、顔画像認証に失敗したときに顔画像を表示させるまでの処理（すなわち、登録の処理、利用の処理、および確認の処理）の一例として、図３のフローチャートを参照して、車載装置１による、運転者認証の処理について説明する。
【００６９】
制御部６１は、操作部６０を介してユーザにより所定の操作が指示されたとき、図３のフローチャートに示される処理を各部に実行させる。
【００７０】
ステップＳ１１において、制御部６１は、操作部６０からの操作信号に基づいて、ユーザにより登録操作が行われたか否かを判定する。
【００７１】
例えば、表示制御部５７は、制御部６１の制御の基に、ユーザにより所定の操作が指示され、運転者認証システムの使用を開始するとき、表示部５８の画面に、図４に示すような、初期設定用の画面１０１を表示させる。このとき、画面１０１には、例えば、まだ、ユーザが顔画像の登録する操作を行っていないので、「ご利用頂きましてありがとうございます。現在、登録済みの利用者はありません。利用を開始する前に、顔画像の登録を行ってください。利用を開始するとサービス画面が表示されます。」であるメッセージが表示される。また、画面１０１には、顔画像の登録の動作を指示するためのボタン１０２ａ、運転者の認証の動作を指示するためのボタン１０２ｂ、および登録されている顔画像の確認の動作を指示するためのボタン１０２ｃもそれぞれ表示される。
【００７２】
図３のフローチャートに戻り、例えば、ステップＳ１１において、制御部６１は、ユーザによりボタン１０２ａが押圧操作されたか否かを判定する。
【００７３】
ステップＳ１１において、例えば、ユーザによりボタン１０２ａが押圧操作されるなど、ユーザにより登録操作が行われたと判定された場合、ステップＳ１２に進み、画像取得部５１、顔画像検出部５２、顔画像登録制御部５３、および画像記憶部５４は、ユーザ（運転者）の顔画像を登録する登録の処理を行う。
【００７４】
ここで、ステップＳ１１における、画像取得部５１、顔画像検出部５２、顔画像登録制御部５３、および画像記憶部５４による登録の処理の詳細について、図５のフローチャートを参照して説明する。
【００７５】
ステップＳ３１において、画像取得部５１は、被写体であるユーザの画像に対応した画像データを生成して取得し、取得した画像データを顔画像検出部５２および顔画像登録制御部５３に供給する。
【００７６】
ステップＳ３２において、顔画像検出部５２は、画像取得部５１から供給される画像データに対応する画像から、顔画像を検出する顔画像検出の処理を行って、検出結果を顔画像登録制御部５３に供給する。
【００７７】
ここで、ステップＳ３２における、顔画像検出部５２による顔画像検出の処理の詳細について、図６のフローチャートを参照して説明する。
【００７８】
ステップＳ４１において、顔画像検出部５２は、画像取得部５１からの画像データに対応する画像から、ユーザの頭部の画像を検出する。具体的には、顔画像検出部５２は、例えば、頭部は楕円状の形状をしているので、画像取得部５１からの画像データに対応する画像から、楕円状となる画像を検出することにより、その楕円状の画像を頭部とすることで、頭部の画像を検出する。
【００７９】
なお、頭部の検出方法であるが、楕円状の形状をしている画像を検出する以外に、例えば、顔の下側の輪郭線と類似した形状の画像を検出したり、濃淡のパターンを用いて画像を検出する方法など、画像取得部５１からの画像データに対応する画像から、頭部の画像を検出できる方法であればよい。
【００８０】
ステップＳ４２において、顔画像検出部５２は、検出された頭部の画像から器官の画像を検出する。具体的には、顔画像検出部５２は、頭部の画像から、ユーザの、例えば、目、鼻、口、眉、耳、髪などの画像を検出することにより、器官の画像を検出する。
【００８１】
なお、器官の検出方法であるが、全ての器官の画像を検出する必要はなく、頭部の画像から、例えば、目と口の画像のみを検出するなど、器官の画像の一部を検出するようにしてもよい。
【００８２】
ステップＳ４３において、顔画像検出部５２は、顔画像の検出結果を顔画像登録制御部５３に出力する。具体的には、例えば、顔画像検出部５２は、画像取得部５１からの画像データに対応する画像から検出される、頭部と器官の画像の検出結果を顔画像登録制御部５３に供給する。
【００８３】
図５のフローチャートに戻り、ステップＳ３３において、顔画像登録制御部５３は、顔画像検出部５２からの検出結果を基に、画像取得部５１からの画像データに対応する画像から、顔画像が検出されたか否かを判定する。具体的には、顔画像登録制御部５３は、画像取得部５１から供給された画像データに対応する画像についての顔画像の検出結果が、例えば、複数の器官の画像のうち、一部の器官の画像が検出されていないことを示している場合、器官の一部が隠れている顔画像であると判定する。
【００８４】
なお、顔画像であるかの判定基準は、上述した例に限らず、器官が隠れている顔画像であると判定する基準（閾値）を、器官の画像に応じて決定することができる。例えば、目と口の画像が検出されたとき、器官の画像の一部が隠れている顔画像であると判定させたり、器官の画像の１つまたは２つが欠けているとき、器官の画像の一部が隠れている顔画像であると判定させたりする閾値を用いるようにしてもよい。また、同様に、顔画像ではないと判定する基準（閾値）を、器官の画像に応じて決定することができる。例えば、器官の画像が１つしか検出されないときなど、器官の画像の一部が検出されても顔画像でないと判定させる閾値を用いるようにしてもよい。すなわち、顔画像であるかの判定基準となる閾値は、状況に応じて適宜変更することが可能となる。
【００８５】
また、顔画像検出の処理であるが、あらかじめ顔画像を検出する範囲を絞り込んで、画像取得部５１から供給される画像データに対応する画像のうち、ある所定の範囲の画像においてのみ顔画像検出の処理を行うようにしてもよい。
【００８６】
ステップＳ３３において、顔画像が検出されていないと判定された場合、画像データを登録する必要がないので、ステップＳ３４の処理をスキップして、図３のステップＳ１２に戻り、ステップＳ１３以降の処理が実行される。例えば、顔画像登録制御部５３は、器官の画像が全く検出されない場合、画像データに対応する画像には顔画像が含まれていないと判定されるので、画像データを画像記憶部５４に登録せずに、登録の処理を終了する。
【００８７】
一方、ステップＳ３３において、顔画像が検出されたと判定された場合、ステップＳ３４に進み、顔画像登録制御部５３は、画像取得部５１からの画像データを画像記憶部５４に記憶させて、処理は、図３のステップＳ１２に戻り、ステップＳ１３以降の処理が実行される。
【００８８】
具体的には、例えば、図７に示すように、画像取得部５１が取得した画像データに対応する画像１１１には、顔画像が含まれているので、顔画像検出部５２は、画像１０１から頭部と器官の画像を検出し、その検出結果を顔画像登録制御部５３に供給する。そして、顔画像登録制御部５３は、顔画像検出部５２からの検出結果を基に、画像１１１には、顔画像が含まれていると判定し、画像１１１に対応する画像データを画像記憶部５４に記憶させる。
【００８９】
なお、画像記憶部５４が記憶する画像データ、すなわち、登録される画像データは、例えば、高解像度などの品質の高い画像であることが望ましい。例えば、画像取得部５１、顔画像検出部５２、および顔画像登録制御部５３は、登録の処理を行う同じユーザに対して、繰り返し取得した画像（顔画像）の類似度を算出することで、類似度が所定の閾値を超える画像となったときに、その画像に対応する画像データを画像記憶部５４に記憶させるようにすることで、品質の高い画像を登録することが可能となる。また、例えば、画像取得部５１、顔画像検出部５２、および顔画像登録制御部５３は、登録の処理を行う同じユーザに対して、繰り返し取得した画像（顔画像）そのもののダイナミックレンジや明るさ、ノイズレベルなどを検出して、品質の低い画像を除くようにすることで、品質の高い画像を登録することが可能となる。
【００９０】
さらにまた、不適切画像検出部５６は、登録の処理において、顔画像登録制御部５３が画像記憶部５４に記憶させる画像データに対応する画像から不適切な画像を検出し、その検出したことを示す情報を不適切な画像データに対応させて画像記憶部５４に記憶させるようにしてもよい。
【００９１】
図３のフローチャートに戻り、一方、ステップＳ１１において、ユーザにより登録操作が行われていないと判定された場合、ステップＳ１３に進み、制御部６１は、操作部６０からの操作信号に基づいて、利用操作が行われたか否かを判定する。例えば、ステップＳ１３において、制御部６１は、ユーザにより、図４のボタン１０２ｂが押圧操作されたか否かを判定する。
【００９２】
ステップＳ１３において、例えば、ユーザによりボタン１０２ｂが押圧操作されるなど、ユーザにより利用操作が行われたと判定された場合、ステップＳ１４に進み、顔画像利用部５５は、利用の処理を行う。
【００９３】
なお、利用の処理を行うための条件は、上述した、ユーザにより利用を指示するための操作が行われたかを判定する条件に限定されず、例えば、顔画像検出部５２が画像取得部５１より取得した画像データに対応する画像から顔画像を検出したとき、ある時間から所定の時間が経過したとき、対象状態検出部５９が所定の状態を検出したとき、または不適切画像検出部５６が画像記憶部５４より取得した画像データに対応する画像から不適切な画像を検出したときなど、他の条件とすることも可能である。
【００９４】
ここで、ステップＳ１４における、顔画像利用部５５による利用の処理の詳細について、図８のフローチャートを参照して説明する。
【００９５】
ステップＳ５１において、顔画像利用部５５は、顔画像認証の処理などの顔画像を利用した各種の処理を行う。具体的には、例えば、乗用車を利用するユーザの顔画像と利用者IDをあらかじめ登録しておくことにより（例えば、上述したステップＳ１２の処理）、顔画像利用部５５は、ユーザに対して顔画像認証の処理を行って、顔画像認証に成功した場合、登録されているユーザが乗用車を使用できるようにする。
【００９６】
なお、顔画像利用部５５は、顔画像認証に成功した場合、例えば、ユーザが搭乗するとき、そのユーザに応じたシートポジションやエアコンの設定をしたり、ユーザに応じた情報提供サービスをしたり、ユーザの情報を外部の他の機器に通知したり、ユーザの状態を監視したりするなどの各種の処理を行うようにしてもよい。
【００９７】
すなわち、利用の処理とは、例えば、顔画像が登録されているユーザを、顔画像認証の処理などにより識別した結果を用いた処理、または顔画像若しくは顔画像を含んでいる画像を用いた処理などの顔画像を利用した各種の処理のことをいう。
【００９８】
なお、本発明を車載装置１と同様に、例えば、デジタルスチルカメラに適用した場合、顔画像利用部５５は、画像があらかじめ登録されているユーザの画像を撮像させることにより、登録されている画像と撮像された画像とを比較することで行う認証処理などの、利用の処理を実行する。そして、認証に成功した場合、顔画像利用部５５は、例えば、そのデジタルスチルカメラの各種の機能をユーザに操作させることを許可するとともに、その許可されたユーザの名前を表示させるようにするなどの利用の処理を実行する。
【００９９】
また、同様に、例えば、本発明を携帯電話機に適用した場合、顔画像利用部５５は、通話の相手の携帯電話機に顔画像を記憶させておくことにより、着信時に顔画像を表示させる処理、通信相手の顔画像をあらかじめ登録しておき、その登録された顔画像がユーザにより選択された場合、その選択された相手に発信する処理、または通信相手に発信者の顔がわかるように、発信と同時に自分の顔画像を通信相手に送信する処理などの、利用の処理を実行する。
【０１００】
ステップＳ５２において、顔画像利用部５５は、制御部６１を介して操作部６０からの操作信号に基づいて、ユーザにより利用終了が指示されたか否かを判定する。
【０１０１】
ステップＳ５２において、ユーザにより利用終了が指示されていないと判定された場合、利用処理を継続するので、ステップＳ５１に戻り、ステップＳ５２において、ユーザにより利用終了が指示されるまで、顔画像利用部５５により各種の処理が実行される。
【０１０２】
なお、顔画像利用部５５は、利用の処理において生成された画像データを、画像記憶部５４に適宜記憶させることもできる。その場合、後述する確認の処理においては、その顔画像利用部５５により画像記憶部５４に記憶させられた画像データに対しても処理が実行されることになる。
【０１０３】
一方、ステップＳ５２において、ユーザにより利用終了が指示された判定された場合、利用の処理は終了し、図３のステップＳ１４に戻り、ステップＳ１５以降の処理が実行される。
【０１０４】
また、ステップＳ１３において、ユーザにより利用操作が行われていないと判定された場合、ステップＳ１５に進み、制御部６１は、操作部６０からの操作信号に基づいて、確認操作が行われたか否かを判定する。例えば、ステップＳ１５において、制御部６１は、ユーザにより、図４のボタン１０２ｃが押圧操作されたか否かを判定する。
【０１０５】
ステップＳ１５において、例えば、ユーザによりボタン１０２ｃが押圧操作されるなど、ユーザにより確認操作が行われたと判定された場合、ステップＳ１６に進み、画像記憶部５４、不適切画像検出部５６、表示制御部５７、および表示部５８は、確認の処理を行う。
【０１０６】
ここで、ステップＳ１６における、画像記憶部５４、不適切画像検出部５６、表示制御部５７、および表示部５８による確認の処理の詳細について、図９のフローチャートを参照して説明する。
【０１０７】
なお、上述したように、確認の処理は、例えば、利用の処理（ステップＳ１４の処理）において、乗用車の利用を登録された顔画像による顔画像認証を利用して制御する場合、顔画像の登録を正しく行われないと、ユーザを認証することができない。このように顔画像の登録が正しく行われていない場合、ユーザは、車載装置１が正常に動作しているかを確認してもらうために、車載装置１が搭載された乗用車をカーディーラに持ち込むことになる。カーディーラのセールスマンや整備担当者は、車載装置１のハードウェアの確認を行い、ハードウェアに異常がない場合には、顔画像の登録に問題がある可能性があるので、ユーザの顔画像を画面に表示して確認することになる。
【０１０８】
すなわち、例えば、制御部６１は、操作部６０を介して、カーディーラのセールスマンなどにより所定の操作が指示されたとき、図９のフローチャートに示される処理を各部に実行させる。
【０１０９】
ステップＳ７１において、不適切画像検出部５６と表示制御部５７は、画像記憶部５４に記憶されている画像データを取得する。
【０１１０】
ステップＳ７２において、不適切画像検出部５６は、不適切画像検出の処理を行う。
【０１１１】
ここで、ステップＳ７２における、不適切画像検出部５６による、不適切画像検出の処理の詳細について、図１０のフローチャートを参照して説明する。
【０１１２】
ステップＳ８１において、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、顔画像の状態を検出する。具体的には、例えば、不適切画像検出部５６は、普通ではない顔画像、他の人の顔画像、または複数の顔画像などを検出する。
【０１１３】
より詳細には、普通ではない顔画像とは、例えば、白目だけになっている顔画像、両目若しくは片目を閉じている顔画像、口を大きく開けている顔画像、顔の前に顔以外の手や指などがある画像である。またそれらの検出と判定方法であるが、白目だけになっている顔画像は、例えば、目の領域において虹彩や瞳孔などの黒目の部分が検出されなかったり、白い色だけが検出されることなどによって判定させる。
【０１１４】
また、目を閉じている顔画像は、例えば、目の開閉状態を検出することによって判定させ、口を大きく開けている顔画像は、例えば、口の開閉状態を検出することによって判定させる。さらにまた、口の検出状態は、例えば、上述した器官の画像を検出する場合、口と判定された領域の形状が顔の垂直方向に対して、縦と横との比率がどの程度となっているかにより、縦に大きく伸びているとき、口を大きく開けていると判定させる。また、顔の前に顔以外の手や指などがある顔画像は、例えば、顔に当てている手を検出することによって判定させる。なお、手や指以外のものが顔の前にあることを検出して判定させるようにしてもよい。
【０１１５】
さらにまた、例えば、女性のなかには、化粧をする前や化粧をしている途中の顔を他の人に見られるのを望まない人もいる。その場合、例えば、化粧をする前の顔画像をあらかじめ登録しておいて、登録されているその化粧をする前の顔画像と類似度の高い顔画像が検出されたとき、普通ではない顔画像であると判定させたり、化粧をした後の顔画像をあらかじめ登録しておいて、登録されているその化粧をした後の顔画像と類似度が低い顔画像が検出されたとき、普通ではない顔画像であると判定させる。すなわち、男女を問わず、ユーザ本人が望んでいる顔画像と類似度の低い顔画像が検出されたとき、不適切な画像として判定させることができる。
【０１１６】
なお、顔画像からユーザの表情を検出して、例えば、怒っている顔、困っている顔、悲しい顔などを不適切な画像として判定させることもできる。また、ユーザが継続的に普通ではない顔を続けていた場合、顔画像の登録時に類似度が正常と判定されていても、普通ではない顔画像が登録される可能性もある。その場合、普通ではない顔画像の判定を、“普通である”と“普通ではない”の２通りにより判定させるのではなく、普通ではない程度を表す値（普通ではない度合い）として出力するようにしてもよい。すなわち、例えば、登録される顔画像と、ユーザが以前に正常であると判定された顔画像と比較して、普通ではない度合いが所定の閾値を超えるとき、普通ではない顔画像であると判定させる。その結果、ある程度の範囲を持って普通でない顔画像を判定させることが可能となるので、各ユーザの個人差に対応させることができる。
【０１１７】
また、他の人の顔画像とは、例えば、確認しようとしているユーザとは明らかに異なる人（他の人）を含んでいる画像である。例えば、他の人の顔画像は、あらかじめユーザの顔画像と異なっていると判定できる場合、他の人の顔画像であって、普通ではない顔画像であると判定することが望ましいので、登録されているユーザの顔画像と比較して類似度を算出し、その類似度が極端に低いとき、他の人の顔画像である不適切な画像であると判定させる。また、性別や人種、年齢などを判別する方法を用いることにより、それらの判別結果をさらに加えて、顔画像が登録されているユーザ本人の顔画像と大きく異なる場合、他の人の顔画像である不適切な画像であると判定させるようにしてもよい。
【０１１８】
さらにまた、複数の顔画像とは、例えば、確認しようとしているユーザ以外の顔画像を含んでいる画像である。例えば、複数の顔画像は、複数の顔画像が検出される場合、その顔画像のいずれかまたは双方が他の人の顔画像となるので、複数の顔画像が検出されたとき、複数の顔画像である不適切な顔画像であると判定させる。また、複数の顔画像は、ユーザ本人の顔画像を識別し、本人以外の他の人の顔画像を不適切な顔画像であると判定させたり、ユーザ本人の顔画像との類似度を算出し、類似度の低い顔画像を不適切な顔画像であると判定させてもよい。すなわち、確認しようとしているユーザ本人以外の顔画像が画面に表示されるのは望ましくないので、利用の目的や内容に応じて、上述した方法により複数の顔画像を判定させている。
【０１１９】
このように、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、その画像に含まれる普通ではない顔画像、他の人の顔画像、または複数の顔画像などについて、上述した例のような状態を検出する。
【０１２０】
なお、不適切画像検出部５６は、例えば、画像の撮像された状況などにより、顔画像を正しく検出できないとき、不適切な画像であると判定させるようにしてもよい。
【０１２１】
ステップＳ８２において、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、顔画像以外の要素を検出する。例えば、不適切画像検出部５６は、検出されるべきでない物体（状態）のある画像、検出されるべき物体（状態）のない画像、顔画像以外の人の画像、人以外の対象の画像、または顔画像が検出されない画像などを検出する。
【０１２２】
具体的には、検出されるべきでない物体（状態）のある画像とは、例えば、眼鏡やサングラス、帽子などの、本来ならばそこにあるはずのない物体の画像である。すなわち、ユーザのなかには、眼鏡やサングラスをしていることを他の人に隠している人もおり、そのような人たちは、眼鏡などをしている自分の顔画像が見られることを望んではいないので、例えば、顔画像の領域に、眼鏡と類似する物体の画像が検出された場合、その顔画像のユーザは、眼鏡をかけているので、不適切な画像であると判定させる。また、同様に、例えば、髪型や帽子の形状をあらかじめ認識しておき、特定の髪型や帽子をかぶっている顔画像が検出された場合、その画像を不適切な画像と判定させるようにしてもよい。
【０１２３】
また、検出されるべき物体（状態）のない画像とは、例えば、制服や制帽などの、本来ならばそこにあるはずの物体の画像である。すなわち、ユーザのなかには、例えば、運転中に制服や制帽を着用していることが望ましい場合があり、特定の衣服や帽子、装備などを着用していない顔画像（画像）が検出された場合、その画像を不適切な画像と判定させる。
【０１２４】
さらに、顔画像以外の人の画像とは、例えば、ユーザが着用している衣類などの、ユーザの顔以外の画像である。例えば、顔画像の肌の色を基準（閾値）として、首から下の領域において衣類らしい特徴を持っている物体が検出されない場合や、肌の色に近い色が連続して検出された場合、衣類を着用していないので、不適切な画像であると判定させる。また、例えば、指や手を、口や鼻の穴に入れているような画像は、特に恥ずかしく、表示されることを望まない画像である可能性が高いので、それらの画像も不適切な画像であると判定させる。なお、顔画像以外の人の画像は、上述した例に限らす、例えば、片方の目の下に指を当てている仕草など、ユーザが表示されることを望まない画像であればよく、それらが検出された場合には、その画像を不適切な画像と判定させる。
【０１２５】
また、人以外の対象の画像とは、例えば、ぬいぐるみや絵などの人以外で顔画像となりうる可能性のある画像である。例えば、助手席のシートカバーにパンダの絵が描かれている場合や、後部座席に常に熊のぬいぐるみが置いてある場合など、車内にいるユーザを検出して登録しようとしたとき、パンダや熊の顔部分が人の顔と誤検出されて、繰り返し画像記憶部５４に記憶される可能性がある。このような状態において、顔画像の確認を行うと、パンダや熊の顔の画像が多数表示されてしまい、確認作業に無駄な手間がかかるとともに、画像記憶部５４には、不要なパンダや熊の顔の画像データが記憶されるので、必要な画像データを記憶する容量を圧迫することも考えられる。
【０１２６】
また、ユーザのなかには、自分の顔として、ぬいぐるみの顔や動物の絵などの画像が表示されることに対して、好ましく思わなかったり、そのようなぬいぐるみの顔や動物の絵などの画像が表示されること自体が好ましくない状況も考えられる。したがって、このような人以外の対象の画像が検出された場合、不適切な画像であると判定させる。なお、例えば、乗用車の座席に人が座っていない状態や、座席に物が置かれている状況を検出し、それらが検出された場合、ユーザはその場所にはいないので、不適切な画像であると判定させるようにしてもよい。
【０１２７】
さらにまた、顔画像が検出されない画像とは、ユーザの顔画像が取得できないときに取得された画像である。例えば、顔画像が検出されない画像は、ドアが開いてユーザ（運転者）が乗り込む瞬間や、運転者が降車する瞬間に顔画像の登録が行われると、顔が撮像されなかったり、位置が適切ではなかったり、顔がぶれたりするなどの望ましくない状態となる可能性がある。したがって、このような顔画像が検出されない場合、不適切な画像であると判定させる。
【０１２８】
なお、これらの顔画像が検出されない画像は、例えば、対象状態検出部５９により検出されるので、顔画像登録制御部５３が、画像記憶部５４に記憶させる画像データに対応させて、対象状態検出部５９からの顔画像の検出結果を記憶させることにより、不適切画像検出部５６が、顔画像が検出されない画像を不適切な画像と判定させることができる。
【０１２９】
なお、例えば、顔に直接日光や対向車のヘッドライトが当たっていることが検出されたり、高速走行中に窓が開いていて、車内に風が強く吹き込んでいることが検出された場合、顔画像が検出されない画像となる可能性があるので、そのときには、不適切画像検出部５７は、不適切な画像と判定させる。さらに、例えば、乗用車の激しい振動が検出されたり、高速移動中で加速度の増減の大きい状態が検出された場合、顔が揺れていたり、ユーザ（運転者）が緊張することで、顔の表情が普通ではない可能性があるので、そのときには、不適切画像検出部５７は、不適切な画像と判定させる。
【０１３０】
また、対象状態検出部５９は、例えば、電波や光、音波などを用いて、物体の存在を３次元で解析することにより、ユーザ（運転者）の、例えば、頭部、首、胴、手、足などの位置を検出することが可能であるので、これらの検出された状態が望ましくない状態であるとき、不適切な画像と判定させる。具体的には、例えば、身体の各部が所定の状態にないときや、頭や身体、手足が大きく揺れているときなどには、検出された状態が望ましくない可能性があるので、不適切画像検出部５７は、不適切な画像であると判定させる。
【０１３１】
なお、例えば、本発明を（カメラ付き）携帯電話機に適用した場合、対象状態検出部５９は、バスルームにおいて携帯電話機の撮像機能を使用しているとき、着衣がない画像が記録される可能性があるので、このような状態にあるとき、不適切な画像であると判定させる。また、例えば、対象状態検出部５９は、携帯電話機の撮像部が下方向に向けられて使用されているとき、顔ではなく靴や床の模様などが撮像される可能性があるので、このような状態にあるとき、不適切な画像であると判定させる。
【０１３２】
このように、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、その画像に含まれる顔画像以外の、検出されるべきでない物体（状態）のある画像、検出されるべき物体（状態）のない画像、顔画像以外の人の画像、人以外の対象の画像、または顔画像が検出されない画像などについて、上述した例のような要素を検出する。
【０１３３】
ステップＳ８３において、不適切画像検出部５６は、検出結果を表示制御部５７に供給し、処理は、図９のステップＳ７２に戻り、ステップＳ７３以降の処理が実行される。
【０１３４】
具体的には、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から検出される、例えば、顔画像の状態と顔画像以外の要素の検出結果を表示制御部５７に供給する。
【０１３５】
すなわち、不適切画像検出部５６が、上述したステップＳ８１およびステップＳ８２の処理の例で説明したような、顔画像の状態や顔画像以外の要素などを検出することにより、表示制御部５７は、それらの検出結果に応じて画像の表示を制御することが可能となる。
【０１３６】
なお、不適切画像検出部５６による、不適切な画像の検出方法であるが、上述した、顔画像の状態や顔画像以外の要素を用いた検出の方法に限らず、不適切な画像を検出できる方法であればよい。また、不適切画像検出部５６による、顔画像の状態や顔画像以外の要素などの検出方法であるが、もちろん、上述した全ての方法を実施する必要はなく、利用の目的や内容に応じて適宜選択して実施するようにすればよい。さらにまた、上述した検出方法の一部を他の方法に置き換えて実施するようにしてもよい。
【０１３７】
ステップＳ７３において、表示制御部５７は、不適切画像検出部５６から供給される検出結果に基づいて、画像記憶部５４より取得した画像データに対応する画像が、不適切な画像であるか否かを判定する。
【０１３８】
ステップＳ７３において、不適切な画像ではないと判定された場合、ステップＳ７４に進み、表示制御部５７は、画像記憶部５４より取得した画像データに対応する画像を、そのまま表示部５８の画面に表示させる。
【０１３９】
一方、ステップＳ７５において、不適切な画像であると判定された場合、ステップＳ７５に進み、表示制御部５７は、不適切画像表示の処理を行う。
【０１４０】
ここで、ステップＳ７５における、表示制御部５７による、不適切画像表示の処理の詳細について、図１１のフローチャートを参照して説明する。
【０１４１】
ステップＳ９１において、表示制御部５７は、不適切な画像の表示を禁止するために、画像記憶部５４より取得した画像データに対応した画像が表示部５８の画面に表示されないように表示を制御して、図９のステップＳ７５に戻り、ステップＳ７６以降の処理が実行される。
【０１４２】
ステップＳ７６において、不適切画像検出部５６および表示制御部５７は、表示部５８の画面に表示させる画像があるか否かを判定する。
【０１４３】
ステップＳ７６において、表示させる画像があると判定された場合、まだ表示部５８の画面に表示させる画像が残っているので、ステップＳ７１に戻り、ステップＳ７１乃至ステップＳ７６の処理が、表示させる画像がなくなるまで繰り返される。
【０１４４】
このように、図９のステップＳ７１乃至ステップＳ７６の処理が繰り返されることにより、例えば、表示制御部５７は、図１２に示すような画面１２１を、表示部５８の画面に表示させる。具体的には、画面１２１には、画像１２２ａ乃至画像１２２ｊが表示されているが、画像１２２ａ乃至画像１２２ｃは、例えば、暗い状態で撮像されたり、ノイズが多いことなどが原因で、顔画像の類似度が低いだけであるので、そのまま画像が表示されている。
【０１４５】
画像１２２ｄは、撮像されたユーザの顔画像の位置が下方向にずれているだけであるので、そのまま画像が表示されている。このとき、取得された画像がそのまま表示されているので、例えば、カーディーラのセールスマンなどは、顔画像の内容ではなく、顔画像の位置に問題があることがわかる。また、画像１２２ｅは、顔画像が検出されていないので、例えば、運転席のシートやヘッドレストなどの、その顔画像が検出されていない画像がそのまま表示されている。
【０１４６】
さらにまた、画像１２２ｆおよび画像１２２ｇは、例えば、上述したように、白目になっている顔画像などの他の人に見られたくない顔画像の画像であるので、顔画像の表示が禁止されている。また、画像１２２ｈは、例えば、上述したように、ユーザ（運転者）がドアを開けて乗用車に乗り込むときにおいて顔画像が検出されないなど、ユーザにとって望ましい状態ではない画像であるので、顔画像の表示が禁止されている。さらに、画像１２２ｉは、登録されていないユーザの顔画像の画像であるので、顔画像の表示が禁止されている。また、画像１２２ｊは、登録されているユーザと登録されていないユーザの２人の顔画像の画像であるので、登録されているユーザの顔画像がそのまま表示され（画像１２２ｊの左側の顔）、登録されていないユーザの顔画像がマスキングされて表示されている（画像１２２ｊのマスキングされた右側の顔）。
【０１４７】
すなわち、表示制御部５７は、不適切画像検出部５６からの検出結果を基に、例えば、画像記憶部５４より取得した画像データに対応する画像１２２ａ乃至画像１２２ｊのうち、不適切な画像ではない画像１２２ａ乃至画像１２２ｅをそのまま表示部５８の画面に表示させ、それに対して、不適切な画像である画像１２２ｆ乃至画像１２２ｊをそのまま表示部５８の画面に表示させないようにしている（不適切な画像の表示を禁止している）。
【０１４８】
このように、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像の表示を禁止することができる。その結果、上述したように、例えば、車載装置１が正常に動作しているかを確認してもらうために、ユーザによって、車載装置１が搭載された乗用車がカーディーラに持ち込まれた場合、セールスマンなどは、顔画像の登録が正しく行われたかを確認するとき、不適切な画像、すなわち、ユーザ本人が意図していない、または他人に見られたくない画像の表示が禁止されているので、それらの不適切な画像を見ることはできない。その結果、ユーザにとっては、他の人には見られたくない自分の顔が見られないこととなり、プライバシーが保護されることになる。
【０１４９】
また、画面１２１には、画像１２２ａ乃至画像１２２ｊの１０個の画像を表示しているが、表示させる画像が１０個以上ある場合、表示制御部５７は、ユーザによるボタン１２３ａの押圧操作に応じて操作部６０から制御部６１を介して供給される操作信号を基に、画像１２２ａ乃至画像１２２ｊよりも前に表示させる１０個の画像を表示部５８の画面に表示させる。また、同様に、表示制御部は、ユーザによるボタン１２３ｂの押圧操作に応じて、画像１２２ａ乃至画像１２２ｊよりも次に表示させる１０個の画像を表示部５８の画面に表示させる。
【０１５０】
なお、表示制御部５７は、不適切画像検出５６からの検出結果を基に、表示させる画像の詳細な情報を表示させるようにしてもよい。具体的には、表示制御部５７は、表示部５８の画面に表示させる画像１２２ａ乃至画像１２２ｊのうち、例えば、画像１２２ａには“類似度低下”、画像１２２ｂには“類似度低下”、画像１２２ｃには“類似度低下”、画像１２２ｄには“位置不良”、画像１２２ｅには“顔非検出”などの文字を画像に対応させて表示させてもよい。また、同様に、表示制御部５７は、画像１２２ａ乃至画像１２２ｊのうち、例えば、画像１２２ｆには“顔画像不良”、画像１２２ｇには“顔画像不良”、画像１２２ｈには“顔非検出”、画像１２２ｉには“非登録者”、画像１２２ｊには“複数顔検出”などの文字を画像に対応させて表示させてもよい。その結果、例えば、カーディーラのセールスマンなどは、表示されない不適切な画像の不適切な理由を推測することができる。
【０１５１】
また、表示制御部５７による、不適切画像表示の処理であるが、不適切な画像の表示を禁止する方法に限らず、例えば、不適切な画像に対応する（不適切な画像を抽象化した）アイコンを表示させるようにしてもよい。したがって、図９のステップＳ７５における、表示制御部５７による、不適切画像表示の処理の他の例について、図１３のフローチャートを参照して説明する。
【０１５２】
ステップＳ１０１において、表示制御部５７は、不適切な画像に対応したアイコンを取得する。具体的には、例えば、表示制御部５７は、不適切画像検出部５６からの検出結果を基に、画像記憶部５４に記憶されているアイコンを取得する。
【０１５３】
ステップＳ１０２において、表示制御部５７は、画像記憶部５４より取得した画像データに対応する不適切な画像の代わりに、その不適切な画像に対応したアイコンを表示部５８の画面に表示させる。
【０１５４】
そして、図９のフローチャートに戻り、ステップＳ７１乃至ステップＳ７６の処理が、表示させる画像がなくなるまで繰り返される。このように、図９のステップＳ７１乃至ステップＳ７６の処理が繰り返されることにより、例えば、表示制御部５７は、図１４に示すような画面１３１を、表示部５８の画面に表示させる。
【０１５５】
具体的には、画面１３１には、画像１３２ａ乃至画像１３２ｊが表示されているが、画像１３２ａは、顔画像から目が検出されていない画像であるので、それに対応した目が検出されていないことを示しているアイコンが表示され、画像１３２ｂは、顔画像からサングラスが検出された画像であるので、それに対応したサングラスをしていることを示しているアイコンが表示されている。さらにまた、画像１３２ｃは、顔画像からあくびをしていることが検出された画像であるので、それに対応したあくびをしていることを示しているアイコンが表示され、画像１３２ｄは、顔画像から撮像された顔画像の位置が下方向にずれている画像であるので、それに対応した下方向にずれていることを示しているアイコンが表示されている。
【０１５６】
また、画像１３２ｅは、撮像された顔画像が上方向を向いている画像であるので、それに対応した上方向を向いていることを示しているアイコンが表示され、画像１３２ｆは、顔画像が隠れてしまっている画像であるので、それに対応した顔画像が隠れていることを示しているアイコンが表示され、画像１３２ｇは、例えば、上述したように、白目になっている顔画像などの他の人に見られたくない顔画像の画像であるので、それに対応した顔画像とは異なるアイコンが表示されている。
【０１５７】
さらにまた、画像１３２ｈは、顔画像が検出されなかった画像であるので、それに対応した顔画像が検出されなかったことを示しているアイコンが表示され、画像１３２ｉは、登録されていないユーザの顔画像の画像であるので、それに対応した登録されていないユーザの顔画像を示しているアイコンが表示され、画像１３２ｊは、登録されているユーザと登録されていないユーザの２人の顔画像の画像であるので、それに対応した２人の顔画像を示しているアイコンが表示されている。
【０１５８】
すなわち、表示制御部５７は、不適切画像検出部５６からの検出結果を基に、例えば、画像記憶部５４より取得した画像データに対応する画像１３２ａ乃至画像１３２ｊを、そのまま画像を表示させるのではなく、それらの画像に対応したアイコンが表示部５８の画面に表示されるように表示を制御している。
【０１５９】
このように、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像の代わりに、その画像を抽象化したアイコンを表示させることができる。その結果、上述したように、例えば、車載装置１が正常に動作しているかを確認してもらうために、ユーザによって、車載装置１が搭載された乗用車がカーディーラに持ち込まれた場合、セールスマンなどは、顔画像の登録が正しく行われたかを確認するとき、不適切な画像、すなわち、ユーザ本人が意図していない、または他人に見られたくない画像の代わりに、それらの画像に対応したアイコンが表示されているので、それらの不適切な画像を見ることはできない。その結果、ユーザにとっては、アイコンは確認されても、他の人には見られたくない自分の顔が見られないこととなり、プライバシーが保護されることになる。
【０１６０】
なお、上述したように、表示制御部５７は、表示部５８の画面に表示させる画像１３２ａ乃至画像１３２ｊのうち、例えば、画像１３２ａには“目が検出されない”、画像１３２ｂには“サングラス”、画像１３２ｃには“あくび”、画像１３２ｄには“位置不良”、画像１３２ｅには“上を向いている”などの文字を画像に対応させて表示させてもよい。また、同様に、表示制御部５７は、画像１３２ａ乃至画像１３２ｊのうち、例えば、画像１３２ｆには“隠れ”、画像１３２ｇには“顔画像不良”、画像１３２ｈには“顔非検出”、画像１３２ｉには“非登録者”、画像１３２ｊには“複数顔検出”などの文字を画像に対応させて表示させてもよい。その結果、例えば、カーディーラのセールスマンなどは、表示されているアイコンの不適切な理由を推測することができる。
【０１６１】
また、図１２の画面１２１と図１４の画面１３１は、表示方法の一例であり、表示制御部５７は、上述したステップＳ８１およびステップＳ８２の処理の例で説明したような、不適切画像検出部５６によって検出される、顔画像の状態や顔画像以外の要素などの検出結果に基づいて、表示部５８の画面に表示させる画面１２１と画面１３１の内容を変更させる。また、表示制御部５７は、上述したように、利用の目的や内容に応じて詳細な理由を表示して、不適切な理由を推測し易くしたり、逆に、理由を簡略化して不適切な理由を推測しにくくしてもよい。
【０１６２】
さらにまた、図１２の画面１２１の画像１２２ａ乃至画像１２２ｊと、図１４の画面１３１の画像１３２ａ乃至画像１３２ｊは、例えば、顔画像認証の初期設定時に登録された画像（顔画像）、または顔画像認証の認証時に撮像された画像（顔画像）となる。
【０１６３】
ところで、例えば、画面１３１の画像１３２ａ乃至画像１３２ｊのうち、画像１３２ａがユーザの押圧操作により選択された場合、表示制御部５７は、図１５で示すような、画面１３１に重なるようにして、画像１３２ａの詳細を示している画面１４１を表示部５８の画面に表示させる。
【０１６４】
画面１４１には、例えば、目が検出されていないことを示しているアイコンの画像１３２ａとともに、その説明文、判定結果、詳細情報が表示される。また、画面１４１では、ボタン１４２が表示されており、ユーザによりボタン１４２が押圧操作された場合、画像１３２ａには、アイコンの代わりにそのアイコンの元となる顔画像、すなわち、アイコンではなく、実際に撮像された目が検出されていないユーザの顔画像の画像が表示部５８の画面に表示される。
【０１６５】
このとき、新しく開いた画面１４１では、例えば、表示される画像１３２ａに対して、ぼかしフィルタの画像処理を施すことにより、セールスマンなどが画像１３２ａに含まれる顔画像の細かい表情がわからないように表示させる。その結果、ユーザは、この画像１３２ａが表示されている画面１４１を確認することで、実際の自分の顔画像を表示してもよいかを判断することが可能となる。
【０１６６】
すなわち、上述したように、顔画像の登録が正しく行われたかを確認するために、カーディーラのセールスマンなどの操作により、例えば、画面１３１が表示部５８の画面に表示させた場合、不適切な画像に対応するアイコンが表示されることになるが、顔画像の登録に問題がある原因を解明するために、どうしてもユーザの顔画像を表示させて確認しなければならないこともある。その場合、セールスマンなどは、不適切な画像を表示させることが可能であるかをユーザに確認し、ユーザが表示させてもよいと答えた場合には、上述したように、ボタン１４２を押圧操作して、アイコンに対応する不適切な画像を表示させることができる。その結果、セールスマンなどは、ユーザのプライバシーを保護するとともに、顔画像を確認して顔画像の登録が正しく行われたかを調査することができる。
【０１６７】
また、ユーザ本人の同意を確認する方法は、例えば、パスワードの入力やIDカードの提示などの手段を設けて行うようにしてもよい。
【０１６８】
なお、上述した例では、確認の処理の一例として、顔画像認証を行う車載装置１において、顔画像認証が適切に行われない場合に、登録されている画像（顔画像）の内容を確認させる処理を説明したが、確認の処理はこれに限らず、例えば、登録されている特定のユーザの画像（画像）を探すとき、画像（顔画像）と名前やIDとが一致するかを確認するとき、またはネットワークを介して外部の他の機器に送信する画像（顔画像）を選択するときなどに実行される。
【０１６９】
図９のフローチャートに戻り、ステップＳ７６において、表示させる画像がないと判定された場合、図３のステップＳ１６に戻り、ステップＳ１７以降の処理が実行される。
【０１７０】
ステップＳ１７において、制御部６１は、操作部６０からの操作信号に基づいて、ユーザにより動作終了が指示されたか否かを判定する。
【０１７１】
ステップＳ１７において、ユーザにより動作終了が指示されていなと判定された場合、ステップＳ１１に戻り、ステップＳ１７において、ユーザにより動作終了が指示されるまで、ステップＳ１１乃至ステップＳ１７の処理が繰り返される。
【０１７２】
一方、ステップＳ１７において、ユーザにより動作終了が指示されたと判定された場合、運転者認証の処理、すなわち、運転者認証システムは終了する。
【０１７３】
このように、不適切な画像については、表示や出力を禁止したり、他の画像で置き換えたりしているので、ユーザにとって望ましくない画像が表示部５８の画面に表示されたり、外部の他の機器に出力されたりすることを防止することができる。
【０１７４】
以上のように、本発明によれば、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【０１７５】
また、本発明によれば、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像を、ユーザ本人による許可なしでは表示されないように、非表示処理やマスキング、画像に対応するアイコンなどの処理を施すことが可能である。その結果、それらの見られたくない画像を他の人に見られないようにすることができるとともに、ユーザのプライバシーを保護することができる。
【０１７６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７７】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM，DVD）を含む）、光磁気ディスク（MDを含む）、若しくは半導体メモリなどよりなる図１のリムーバブルメディア２２により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図１のROM１２や記録部（図示せず）などで構成される。
【０１７８】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１７９】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８１】
さらにまた、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８２】
【図１】本発明を適用した情報処理装置としての車載装置のハードウェアの構成の例を示すブロック図である。
【図２】図１の車載装置の機能的構成例を示すブロック図である。
【図３】運転者認証の処理について説明するフローチャートである。
【図４】運転者認証システムの初期画面の例を示す図である。
【図５】登録の処理の詳細について説明するフローチャートである。
【図６】顔画像検出の処理の詳細について説明するフローチャートである。
【図７】顔画像を含んでいる画像の例を示す図である。
【図８】利用の処理の詳細について説明するフローチャートである。
【図９】確認の処理の詳細について説明するフローチャートである。
【図１０】不適切画像検出の処理の詳細について説明するフローチャートである。
【図１１】不適切画像表示の処理の詳細について説明するフローチャートである。
【図１２】画像の一覧の画面の例を示す図である。
【図１３】不適切画像表示の処理の詳細について説明するフローチャートである。
【図１４】画像の一覧の画面の例を示す図である。
【図１５】不適切な画像の詳細な画面の例を示す図である。
【符号の説明】
【０１８３】
１ 車載装置
１１ CPU
１２ ROM
１３ RAM
１５ CCDカメラ
１６ 画像入力部
１７ フラッシュメモリ
１８ LCD表示部
１９ タッチパネル操作部
２０ 外部状態入力部
２１ ドライブ
２２ リムーバブルメディア
５１ 画像取得部
５２ 顔画像検出部
５３ 顔画像登録制御部
５４ 画像記憶部
５５ 顔画像利用部
５６ 不適切画像検出部
５７ 表示制御部
５８ 表示部
５９ 対象状態検出部
６０ 操作部
６１ 制御部
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、顔の画像の表示を制御することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、認証の方法については、種々の方法が提案されているが、そのうちの１つに、人間の体の特徴を利用するバイオメトリックス認証の一種で、顔の画像（顔画像）を用いて認証（以下、顔画像認証と称する）を行う方法がある。
【０００３】
一般的に、顔画像認証は、指紋、声紋、虹彩など他のバイオメトリクス認証技術と比較して、ユーザ（認証者）の顔をカメラで撮像するだけでよく、体の接触や特別な動作を必要とせず認証が行われるため、効率的で心理的負担が少ないと言われている。また、ユーザに顔の画像や映像が記録されるかもしれないと思わせることで不正を心理的に抑止する効果を期待できるとされている。
【０００４】
また、撮像により得られた画像の一部をモザイク処理し、正当なパスワードを入力されたときにそのモザイクが解除されるようにして、画像を表示させる電子機器もある（例えば、特許文献１）。さらにまた、被監視者の顔、被監視者が存在する領域の状態を表示手段に表示することなく、被監視者のみの状態を表示させる監視モニタシステムがある（例えば、特許文献２）。
【０００５】
【特許文献１】特開２００３−８７６３２号公報
【特許文献２】特開平１０−２３４０３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザの顔を撮像する場合、ユーザの望んでいない表情の顔が撮像され、その撮像された顔画像が他の人によって見られてしまう可能性がある。
【０００７】
具体的には、顔画像認証において、例えば、撮像された顔画像が正しく認証されないユーザが存在する場合、顔画像認証のシステムを管理している保守担当者は、正しく認証が行われなかったユーザの顔画像を確認することで、原因を解明する。しかし、このとき、ユーザにとっては、その原因を確認するために用いられる自分の顔画像が、例えば、口を大きく開けている顔や、変な表情をしているときなど、保守担当者（他の人）に見られたくない表情となっていたり、自分の顔画像と一緒に、他の人には知られたくない人の顔画像が含まれていることも考えられる。すなわち、保守担当者が全ての画像を表示させて確認することで、ユーザの望んでいない顔画像が、保守担当者に見られてしまう可能性がある。
【０００８】
また、特開２００３−８７６３２号公報に開示されている電子機器は、撮像された画像データにモザイク処理を施すことにより、正当なパスワードが入力された場合にのみ画像を表示するようにし、特開平１０−２３４０３０号公報に開示されている監視モニタシステムは、被監視者の顔や被監視者が存在する領域の状態を表示しないようにしているが、ユーザの望んでいない画像を検出することができないので、ユーザの望んでいない画像が表示されてしまう可能性があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、ユーザの望んでいない顔画像の表示を制御することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の情報処理装置は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する第１の検出手段と、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する表示制御手段とを備える。
【００１１】
本発明の一側面の情報処理装置においては、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像が検出され、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示が制御される。
【００１２】
したがって、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【００１３】
情報処理装置は、例えば、顔画像認証の処理を行う車載装置として構成される。
【００１４】
第１の検出手段は、例えば、CPU（Central Processing Unit）などによって実行されるプログラムに含まれる不適切画像検出部により構成される。不適切画像検出部は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する。
【００１５】
したがって、ユーザが他のユーザに見られることを望んでない画像を、より確実に検出することが可能となる。
【００１６】
表示制御手段は、例えば、CPUなどにより実行されるプログラムに含まれる表示制御部により構成される。表示制御部は、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する。
【００１７】
したがって、ユーザが他のユーザに見られることを望んでない画像を、より確実に他のユーザに見られないようにすることが可能となる。
【００１８】
あらかじめ定められた状態は、自分の顔の表情の状態、他の人の顔の状態、または複数の人の顔の状態であるようにすることができる。
【００１９】
また、あらかじめ定められた状態は、あるべきではないと想定される物体がある状態、あるはずであると想定される物体がない状態、顔以外の身体による所定の状態、または人間以外でユーザの顔となりうる物体の状態であるようにすることができる。
【００２０】
したがって、例えば、口を大きく開けているときの顔や、変な表情をしているときの顔など、他の人には見られたくない顔を、より確実に検出することが可能となる。
【００２１】
また、表示制御手段は、第２の画像が表示されないように画面の表示を制御するようにすることができる。
【００２２】
さらに、表示制御手段は、第２の画像に対応したアイコンが表示されるように画面の表示を制御するようにすることができる。
【００２３】
また、表示制御手段は、ユーザの指示によりアイコンが選択された場合、アイコンに対応する第２の画像が表示されるよう画面の表示を制御する
【００２４】
したがって、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像を、ユーザ本人による許可なしでは表示されないようにすることが可能となる。
【００２５】
被写体の第３の画像を取得する取得手段と、取得した第３の画像から、ユーザの顔の画像を検出する第２の検出手段と、顔の画像が検出された場合、その顔の画像が検出された第３の画像が、第１の画像として記憶装置に記憶されるように記憶を制御する記憶制御手段とを備えることができる。
【００２６】
取得手段は、例えば、CCD（Charge Coupled Device）などの撮像素子や、DSP（Digital Signal Processor）などに相当する画像取得部により構成される。画像取得部は、被写体の画像に対応する画像データを生成することで、画像を取得する。
【００２７】
第２の検出手段は、例えば、CPUなどによって実行されるプログラムに含まれる顔画像検出部により構成される。顔画像検出部は、取得した画像からユーザの顔の画像を検出する。
【００２８】
記憶制御手段は、例えば、CPUなどによって実行されるプログラムに含まれる記憶制御部により構成される。記憶制御部は、顔画像が検出された画像が、例えば、フラッシュメモリなどからなる画像記憶部に記憶されるように記憶を制御する。
【００２９】
したがって、より確実に、顔画像が含まれる画像を画像記憶部に記憶させることができる。
【００３０】
また、第１の検出手段は、記憶装置に記憶されている第１の画像から、第２の画像を検出し、表示制御手段は、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御するようにすることができる。
【００３１】
本発明の一側面の情報処理方法は、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する第１の検出ステップと、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップとを含む。
【００３２】
本発明の一側面の情報処理方法においては、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像が検出され、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示が制御される。
【００３３】
したがって、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【００３４】
この検出ステップは、例えば、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を不適切画像検出部により検出する検出ステップにより構成され、表示制御ステップは、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を表示制御部により制御する表示制御ステップにより構成される。
【００３５】
本発明の一側面のプログラムは、ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある第２の画像を検出する第１の検出ステップと、第２の画像が検出された場合、第１の画像のうち、第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップとを含む。
【００３６】
本発明の一側面のプログラムは、所定の記録媒体に記録されて、例えば、ドライブにより読み出され、情報処理装置にインストールされる。記録媒体は、フロッピ（登録商標）ディスクなどよりなる磁気ディスク、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk)などよりなる光ディスク、MD(Mini Disk)（登録商標）などよりなる光磁気ディスク、または半導体メモリなどのリムーバブルメディアにより構成される。
【発明の効果】
【００３７】
以上のように、本発明の一側面によれば、顔画像の表示を制御することができる。
【００３８】
また、本発明の一側面によれば、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【発明を実施するための最良の形態】
【００３９】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００４０】
図１は、本発明を適用した情報処理装置としての車載装置１のハードウェアの構成の例を示すブロック図である。
【００４１】
車載装置１は、例えば、乗用車、バス、電車、その他の車両に搭載されており、乗車している人（搭乗者）の個人情報が登録されたり、乗車（搭乗）する人（ユーザ）の認証処理を実行することが可能なようにされている。なお、本実施の形態では、本発明を適用した情報処理装置の一例として車載装置１について説明するが、それに限らず、例えば、防犯装置、パーソナルコンピュータ、デジタルスチルカメラ、携帯電話機、PDA（Personal Digital Assistance）、家庭用電気製品（家電）、または画像印刷装置など、顔画像を利用する機器に適用することができる。
【００４２】
車載装置１は、CPU１１、ROM（Read Only Memory）１２、RAM（Random Access Memory）１３、CCDカメラ１５、画像入力部１６、フラッシュメモリ１７、LCD（Liquid Crystal Display）表示部１８、タッチパネル操作部１９、および外部状態入力部２０を含むように構成される。また、これらはCPUバス１４を介して相互に接続されている。
【００４３】
CPU１１は、車載装置１の各部を制御する。車載装置１において、CPU１１は、ROM１２に記録されているプログラム、またはフラッシュメモリ１７などの記録部からRAM１３にロードされたプログラムにしたがって各種の処理を実行する。RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４４】
CCDカメラ１５および画像入力部１６は、CPU１１の制御の基に、ユーザの操作に応じた各種撮像に関する処理を行う。CCDカメラ１５は、例えば、レンズなどの光学系、CCDなどの撮像素子、映像信号の処理を行う映像信号回路などから構成される。CCDカメラ１５は、撮像した画像を画像データに変換し、変換した画像データを画像入力部１６に供給する。
【００４５】
画像入力部１６は、CCDカメラ１５から供給される画像データを、フラッシュメモリ１７に記録するのに適した方式に変換するなどの処理を行い、CPUバス１４を介してフラッシュメモリ１７に供給して、記録させる。また、画像入力部１６は、CCDカメラ１５から供給される画像データを、LCD表示部１８の画面に表示するのに適した方式に変換するなどの処理を行い、CPUバス１４を介してLCD表示部１８に供給して、撮像された画像データに対応する画像をLCD表示部１８の画面に表示させる。
【００４６】
フラッシュメモリ１７は、書き換え可能で、電源を切ってもデータが消えない不揮発性半導体メモリであり、画像入力部１６から供給される画像データを記憶する。これにより、例えば、CCDカメラ１５により撮像された被写体の画像が、フラッシュメモリ１７に記憶される。
【００４７】
LCD表示部１８は、CPU１１の制御の基に、画像入力部１６から供給される画像データに応じた画像を表示する。これにより、例えば、CCDカメラ１５により撮像された被写体の画像が、LCD表示部１８の画面に表示される。タッチパネル操作部１９は、LCD表示部１８を透過するようになされており、LCD表示部１８の画面に表示された操作画面のボタンなどを選択するユーザの操作を受け付けて、その操作位置の位置を示す信号（以下、操作信号と称する）をCPU１１に供給する。CPU１１は、タッチパネル操作部１９から供給される操作信号を基に、各種の処理を実行する。
【００４８】
外部状態入力部２０は、他の外部の機器と接続され、その接続された外部の機器から入力されてくる情報をCPU１１に供給する。具体的には、外部状態入力部２０は、例えば、車載装置１が搭載されている乗用車などに接続された他の機器から入力されてくる情報をCPU１１に供給する。CPU１１は、外部状態入力部２０から供給される情報を基に、例えば、各座席における人の存在の有無、着座の状態、運転の状態などの状態を判定し、判定結果に応じた処理を各部に実行させる。
【００４９】
CPUバス１４にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、例えば、ROM１２やフラッシュメモリ１７などにインストールされる。
【００５０】
なお、車載装置１のハードウェアの構成は、図１の例に限定されず、後述する図２の機能的構成を少なくとも有していればよい。
【００５１】
図２は、図１の車載装置１の機能的構成例を示すブロック図である。
【００５２】
車載装置１は、画像取得部５１、顔画像検出部５２、顔画像登録制御部５３、画像記憶部５４、顔画像利用部５５、不適切画像検出部５６、表示制御部５７、表示部５８、対象状態検出部５９、操作部６０、および制御部６１を含むようにして構成される。
【００５３】
なお、本実施の形態では、車載装置１は、上述した図１のハードウェア構成を有しているので、顔画像検出部５２、顔画像登録制御部５３、顔画像利用部５５、不適切画像検出部５６、および表示制御部５７は、例えば、ソフトウェア（コンピュータプログラム）を実行する図１のCPU１１によって実現される。また、画像取得部５１は、例えば、図１のCCDカメラ１５および画像入力部１６に相当し、画像記憶部５４は、例えば、図１のフラッシュメモリ１７に相当し、表示部５８は、図１のLCD表示部１８に相当する。さらにまた、対象状態検出部５９は、各種のセンサが接続されている図１の外部状態入力部２０に相当し、操作部６０は、例えば、図１のタッチパネル操作部１９に相当し、制御部６１は、図１のCPU１１に相当する。
【００５４】
ただし、顔画像検出部５２、顔画像登録制御部５３、顔画像利用部５５、不適切画像検出部５６、または表示制御部５７は、ハードウェアとして構成することもできるし、ソフトウェアとハードウェアとの組み合わせとして構成することもできる。
【００５５】
画像取得部５１は、制御部６１を介して操作部６０から供給される操作信号を基に、被写体の画像に対応する画像データを生成することで、画像を取得する。画像取得部５１は、生成した画像データを、顔画像検出部５２および顔画像登録制御部５３に供給する。
【００５６】
顔画像検出部５２は、画像取得部５１から供給される画像データに対応する画像から、顔画像を検出する。顔画像検出部５２は、顔画像の検出結果を顔画像登録制御部５３に供給する。
【００５７】
顔画像登録制御部５３は、顔画像検出部５２から供給される検出結果を基に、画像取得部５１から供給される画像データのうち、顔画像が検出された画像に対応する画像データが画像記憶部５４に記憶されるように、画像データの登録を制御する。
【００５８】
顔画像利用部５５は、制御部６１を介して操作部６０から供給される操作信号を基に、画像記憶部５４に記憶されている画像データを取得する。顔画像利用部５５は、取得した画像データを基に、例えば、顔画像認証などの各種の処理を実行する。また、顔画像利用部５５は、例えば、顔画像認証などの各種の処理を実行することにより生成された画像データを画像記憶部５４に記憶させる。
【００５９】
不適切画像検出部５６および表示制御部５７は、制御部６１を介して操作部６０から供給される操作信号を基に、画像記憶部５４に記憶されている画像データを取得する。不適切画像検出部５６は、取得した画像データに対応する画像から、不適切な画像を検出する。不適切画像検出部５６は、不適切な画像の検出結果を表示制御部５７に供給する。
【００６０】
ここで、詳細は後述するが、不適切な画像とは、ユーザが他の人に見られるのを望んでいない顔を含んでいる画像である。具体的には、例えば、不適切な画像は、白目になったとき、目を閉じたとき、口を大きく開けたとき、顔をゆがめたとき、変な表情をしたときなどの他人には見られたくない表情を含んでいる画像である。なお、以下、不適切な画像に対応するデータを、不適切な画像データと称して説明する。
【００６１】
表示制御部５７は、不適切画像検出部５６から供給される検出結果を基に、取得した画像データに対応する画像を表示部５８の画面に表示させるとともに、取得した画像データのうち、不適切な画像を、他の人が直接確認できないように表示部５８の画面に表示させる。
【００６２】
対象状態検出部５９は、対象状態を検出する。対象状態検出部５９は、検出した対象状態を顔画像登録制御部５３に供給する。
【００６３】
ここで、対象状態とは、例えば、乗用車の座席に人が座っている状態や、座席に物が置かれている状態などの、ある特定の対象に注目したときのその対象の状態である。例えば、顔画像登録制御部５３は、対象状態検出部５９から供給される対象状態を基に、乗用車の座席に人が座っていないとき、画像取得部５１から取得した画像データに対応する画像には、顔画像は含まれていないので、画像データが画像記憶部５４に記憶されないように、画像データの登録を制御する。
【００６４】
以上のように、車載装置１では、画像取得部５１が取得した画像データに対して、顔画像検出部５２および顔画像登録制御部５３が各種の処理を行うことにより（以下、この処理を登録の処理と称する）、顔画像を含んでいる画像に対応する画像データが画像記憶部５４に記憶され、その記憶されている画像データに対して、顔画像利用部５５が各種の処理を行うことにより（以下、この処理を利用の処理と称する）、顔画像認証などが行われ、さらに、その記憶されている画像データに対して、不適切画像検出部５６および表示制御部５７が各種の処理を行うことにより（以下、この処理を確認の処理と称する）、不適切な画像の、表示部５８の画面への表示が制御される。
【００６５】
なお、例えば、顔画像検出部５２、顔画像登録制御部５３、顔画像利用部５５、不適切画像検出部５６、および表示制御部５７を、それぞれ、顔画像検出プログラム、登録プログラム、顔画像利用プログラム、不適切画像検出プログラム、および確認表示プログラムとして、ソフトウェアにより提供してROM１２に記録させた場合、顔画像検出プログラムおよび登録プログラムは、登録の処理を実行し、顔画像利用プログラムは、利用の処理を実行し、不適切画像検出プログラムおよび確認表示プログラムは、確認の処理を実行することになる。
【００６６】
また、例えば、ネットワークを介して画像を他の機器に表示させる場合など、画像の表示が別の機器で行われるとき、表示制御部５７と表示部５８の代わりに、出力制御部（図示せず）と出力部（図示せず）を設ける構成にして、画像を他の機器に出力し、他の機器で画像を表示させるようにしてもよい。
【００６７】
次に、図１の車載装置１の動作について説明する。例えば、乗用車に設けられた車載装置１が運転者（ユーザ）を認証する機能（運転者認証システム）を備えている場合、まず、ユーザは、自分の顔の情報（顔画像）を登録する操作を行う。そして、車載装置１は、ユーザが運転を開始するとき、あらかじめ登録されている顔画像と、運転する直前に撮像された顔画像とが一致するかを判定することにより、そのユーザが正当であるかの認証を行う。また、それらの顔画像が一致しないとき、撮像された顔画像に問題がある可能性があるので、ユーザは、車載装置１が正常に動作しているかを確認してもらうために、車載装置１が搭載された乗用車をカーディーラに持ち込むことになる。そして、カーディーラのセールスマンや整備担当者などは、撮像された顔画像を画面に表示して確認し、原因を解明する必要がある。
【００６８】
したがって、以下、ユーザにより顔画像が登録されてから、顔画像認証を行って、顔画像認証に失敗したときに顔画像を表示させるまでの処理（すなわち、登録の処理、利用の処理、および確認の処理）の一例として、図３のフローチャートを参照して、車載装置１による、運転者認証の処理について説明する。
【００６９】
制御部６１は、操作部６０を介してユーザにより所定の操作が指示されたとき、図３のフローチャートに示される処理を各部に実行させる。
【００７０】
ステップＳ１１において、制御部６１は、操作部６０からの操作信号に基づいて、ユーザにより登録操作が行われたか否かを判定する。
【００７１】
例えば、表示制御部５７は、制御部６１の制御の基に、ユーザにより所定の操作が指示され、運転者認証システムの使用を開始するとき、表示部５８の画面に、図４に示すような、初期設定用の画面１０１を表示させる。このとき、画面１０１には、例えば、まだ、ユーザが顔画像の登録する操作を行っていないので、「ご利用頂きましてありがとうございます。現在、登録済みの利用者はありません。利用を開始する前に、顔画像の登録を行ってください。利用を開始するとサービス画面が表示されます。」であるメッセージが表示される。また、画面１０１には、顔画像の登録の動作を指示するためのボタン１０２ａ、運転者の認証の動作を指示するためのボタン１０２ｂ、および登録されている顔画像の確認の動作を指示するためのボタン１０２ｃもそれぞれ表示される。
【００７２】
図３のフローチャートに戻り、例えば、ステップＳ１１において、制御部６１は、ユーザによりボタン１０２ａが押圧操作されたか否かを判定する。
【００７３】
ステップＳ１１において、例えば、ユーザによりボタン１０２ａが押圧操作されるなど、ユーザにより登録操作が行われたと判定された場合、ステップＳ１２に進み、画像取得部５１、顔画像検出部５２、顔画像登録制御部５３、および画像記憶部５４は、ユーザ（運転者）の顔画像を登録する登録の処理を行う。
【００７４】
ここで、ステップＳ１１における、画像取得部５１、顔画像検出部５２、顔画像登録制御部５３、および画像記憶部５４による登録の処理の詳細について、図５のフローチャートを参照して説明する。
【００７５】
ステップＳ３１において、画像取得部５１は、被写体であるユーザの画像に対応した画像データを生成して取得し、取得した画像データを顔画像検出部５２および顔画像登録制御部５３に供給する。
【００７６】
ステップＳ３２において、顔画像検出部５２は、画像取得部５１から供給される画像データに対応する画像から、顔画像を検出する顔画像検出の処理を行って、検出結果を顔画像登録制御部５３に供給する。
【００７７】
ここで、ステップＳ３２における、顔画像検出部５２による顔画像検出の処理の詳細について、図６のフローチャートを参照して説明する。
【００７８】
ステップＳ４１において、顔画像検出部５２は、画像取得部５１からの画像データに対応する画像から、ユーザの頭部の画像を検出する。具体的には、顔画像検出部５２は、例えば、頭部は楕円状の形状をしているので、画像取得部５１からの画像データに対応する画像から、楕円状となる画像を検出することにより、その楕円状の画像を頭部とすることで、頭部の画像を検出する。
【００７９】
なお、頭部の検出方法であるが、楕円状の形状をしている画像を検出する以外に、例えば、顔の下側の輪郭線と類似した形状の画像を検出したり、濃淡のパターンを用いて画像を検出する方法など、画像取得部５１からの画像データに対応する画像から、頭部の画像を検出できる方法であればよい。
【００８０】
ステップＳ４２において、顔画像検出部５２は、検出された頭部の画像から器官の画像を検出する。具体的には、顔画像検出部５２は、頭部の画像から、ユーザの、例えば、目、鼻、口、眉、耳、髪などの画像を検出することにより、器官の画像を検出する。
【００８１】
なお、器官の検出方法であるが、全ての器官の画像を検出する必要はなく、頭部の画像から、例えば、目と口の画像のみを検出するなど、器官の画像の一部を検出するようにしてもよい。
【００８２】
ステップＳ４３において、顔画像検出部５２は、顔画像の検出結果を顔画像登録制御部５３に出力する。具体的には、例えば、顔画像検出部５２は、画像取得部５１からの画像データに対応する画像から検出される、頭部と器官の画像の検出結果を顔画像登録制御部５３に供給する。
【００８３】
図５のフローチャートに戻り、ステップＳ３３において、顔画像登録制御部５３は、顔画像検出部５２からの検出結果を基に、画像取得部５１からの画像データに対応する画像から、顔画像が検出されたか否かを判定する。具体的には、顔画像登録制御部５３は、画像取得部５１から供給された画像データに対応する画像についての顔画像の検出結果が、例えば、複数の器官の画像のうち、一部の器官の画像が検出されていないことを示している場合、器官の一部が隠れている顔画像であると判定する。
【００８４】
なお、顔画像であるかの判定基準は、上述した例に限らず、器官が隠れている顔画像であると判定する基準（閾値）を、器官の画像に応じて決定することができる。例えば、目と口の画像が検出されたとき、器官の画像の一部が隠れている顔画像であると判定させたり、器官の画像の１つまたは２つが欠けているとき、器官の画像の一部が隠れている顔画像であると判定させたりする閾値を用いるようにしてもよい。また、同様に、顔画像ではないと判定する基準（閾値）を、器官の画像に応じて決定することができる。例えば、器官の画像が１つしか検出されないときなど、器官の画像の一部が検出されても顔画像でないと判定させる閾値を用いるようにしてもよい。すなわち、顔画像であるかの判定基準となる閾値は、状況に応じて適宜変更することが可能となる。
【００８５】
また、顔画像検出の処理であるが、あらかじめ顔画像を検出する範囲を絞り込んで、画像取得部５１から供給される画像データに対応する画像のうち、ある所定の範囲の画像においてのみ顔画像検出の処理を行うようにしてもよい。
【００８６】
ステップＳ３３において、顔画像が検出されていないと判定された場合、画像データを登録する必要がないので、ステップＳ３４の処理をスキップして、図３のステップＳ１２に戻り、ステップＳ１３以降の処理が実行される。例えば、顔画像登録制御部５３は、器官の画像が全く検出されない場合、画像データに対応する画像には顔画像が含まれていないと判定されるので、画像データを画像記憶部５４に登録せずに、登録の処理を終了する。
【００８７】
一方、ステップＳ３３において、顔画像が検出されたと判定された場合、ステップＳ３４に進み、顔画像登録制御部５３は、画像取得部５１からの画像データを画像記憶部５４に記憶させて、処理は、図３のステップＳ１２に戻り、ステップＳ１３以降の処理が実行される。
【００８８】
具体的には、例えば、図７に示すように、画像取得部５１が取得した画像データに対応する画像１１１には、顔画像が含まれているので、顔画像検出部５２は、画像１０１から頭部と器官の画像を検出し、その検出結果を顔画像登録制御部５３に供給する。そして、顔画像登録制御部５３は、顔画像検出部５２からの検出結果を基に、画像１１１には、顔画像が含まれていると判定し、画像１１１に対応する画像データを画像記憶部５４に記憶させる。
【００８９】
なお、画像記憶部５４が記憶する画像データ、すなわち、登録される画像データは、例えば、高解像度などの品質の高い画像であることが望ましい。例えば、画像取得部５１、顔画像検出部５２、および顔画像登録制御部５３は、登録の処理を行う同じユーザに対して、繰り返し取得した画像（顔画像）の類似度を算出することで、類似度が所定の閾値を超える画像となったときに、その画像に対応する画像データを画像記憶部５４に記憶させるようにすることで、品質の高い画像を登録することが可能となる。また、例えば、画像取得部５１、顔画像検出部５２、および顔画像登録制御部５３は、登録の処理を行う同じユーザに対して、繰り返し取得した画像（顔画像）そのもののダイナミックレンジや明るさ、ノイズレベルなどを検出して、品質の低い画像を除くようにすることで、品質の高い画像を登録することが可能となる。
【００９０】
さらにまた、不適切画像検出部５６は、登録の処理において、顔画像登録制御部５３が画像記憶部５４に記憶させる画像データに対応する画像から不適切な画像を検出し、その検出したことを示す情報を不適切な画像データに対応させて画像記憶部５４に記憶させるようにしてもよい。
【００９１】
図３のフローチャートに戻り、一方、ステップＳ１１において、ユーザにより登録操作が行われていないと判定された場合、ステップＳ１３に進み、制御部６１は、操作部６０からの操作信号に基づいて、利用操作が行われたか否かを判定する。例えば、ステップＳ１３において、制御部６１は、ユーザにより、図４のボタン１０２ｂが押圧操作されたか否かを判定する。
【００９２】
ステップＳ１３において、例えば、ユーザによりボタン１０２ｂが押圧操作されるなど、ユーザにより利用操作が行われたと判定された場合、ステップＳ１４に進み、顔画像利用部５５は、利用の処理を行う。
【００９３】
なお、利用の処理を行うための条件は、上述した、ユーザにより利用を指示するための操作が行われたかを判定する条件に限定されず、例えば、顔画像検出部５２が画像取得部５１より取得した画像データに対応する画像から顔画像を検出したとき、ある時間から所定の時間が経過したとき、対象状態検出部５９が所定の状態を検出したとき、または不適切画像検出部５６が画像記憶部５４より取得した画像データに対応する画像から不適切な画像を検出したときなど、他の条件とすることも可能である。
【００９４】
ここで、ステップＳ１４における、顔画像利用部５５による利用の処理の詳細について、図８のフローチャートを参照して説明する。
【００９５】
ステップＳ５１において、顔画像利用部５５は、顔画像認証の処理などの顔画像を利用した各種の処理を行う。具体的には、例えば、乗用車を利用するユーザの顔画像と利用者IDをあらかじめ登録しておくことにより（例えば、上述したステップＳ１２の処理）、顔画像利用部５５は、ユーザに対して顔画像認証の処理を行って、顔画像認証に成功した場合、登録されているユーザが乗用車を使用できるようにする。
【００９６】
なお、顔画像利用部５５は、顔画像認証に成功した場合、例えば、ユーザが搭乗するとき、そのユーザに応じたシートポジションやエアコンの設定をしたり、ユーザに応じた情報提供サービスをしたり、ユーザの情報を外部の他の機器に通知したり、ユーザの状態を監視したりするなどの各種の処理を行うようにしてもよい。
【００９７】
すなわち、利用の処理とは、例えば、顔画像が登録されているユーザを、顔画像認証の処理などにより識別した結果を用いた処理、または顔画像若しくは顔画像を含んでいる画像を用いた処理などの顔画像を利用した各種の処理のことをいう。
【００９８】
なお、本発明を車載装置１と同様に、例えば、デジタルスチルカメラに適用した場合、顔画像利用部５５は、画像があらかじめ登録されているユーザの画像を撮像させることにより、登録されている画像と撮像された画像とを比較することで行う認証処理などの、利用の処理を実行する。そして、認証に成功した場合、顔画像利用部５５は、例えば、そのデジタルスチルカメラの各種の機能をユーザに操作させることを許可するとともに、その許可されたユーザの名前を表示させるようにするなどの利用の処理を実行する。
【００９９】
また、同様に、例えば、本発明を携帯電話機に適用した場合、顔画像利用部５５は、通話の相手の携帯電話機に顔画像を記憶させておくことにより、着信時に顔画像を表示させる処理、通信相手の顔画像をあらかじめ登録しておき、その登録された顔画像がユーザにより選択された場合、その選択された相手に発信する処理、または通信相手に発信者の顔がわかるように、発信と同時に自分の顔画像を通信相手に送信する処理などの、利用の処理を実行する。
【０１００】
ステップＳ５２において、顔画像利用部５５は、制御部６１を介して操作部６０からの操作信号に基づいて、ユーザにより利用終了が指示されたか否かを判定する。
【０１０１】
ステップＳ５２において、ユーザにより利用終了が指示されていないと判定された場合、利用処理を継続するので、ステップＳ５１に戻り、ステップＳ５２において、ユーザにより利用終了が指示されるまで、顔画像利用部５５により各種の処理が実行される。
【０１０２】
なお、顔画像利用部５５は、利用の処理において生成された画像データを、画像記憶部５４に適宜記憶させることもできる。その場合、後述する確認の処理においては、その顔画像利用部５５により画像記憶部５４に記憶させられた画像データに対しても処理が実行されることになる。
【０１０３】
一方、ステップＳ５２において、ユーザにより利用終了が指示された判定された場合、利用の処理は終了し、図３のステップＳ１４に戻り、ステップＳ１５以降の処理が実行される。
【０１０４】
また、ステップＳ１３において、ユーザにより利用操作が行われていないと判定された場合、ステップＳ１５に進み、制御部６１は、操作部６０からの操作信号に基づいて、確認操作が行われたか否かを判定する。例えば、ステップＳ１５において、制御部６１は、ユーザにより、図４のボタン１０２ｃが押圧操作されたか否かを判定する。
【０１０５】
ステップＳ１５において、例えば、ユーザによりボタン１０２ｃが押圧操作されるなど、ユーザにより確認操作が行われたと判定された場合、ステップＳ１６に進み、画像記憶部５４、不適切画像検出部５６、表示制御部５７、および表示部５８は、確認の処理を行う。
【０１０６】
ここで、ステップＳ１６における、画像記憶部５４、不適切画像検出部５６、表示制御部５７、および表示部５８による確認の処理の詳細について、図９のフローチャートを参照して説明する。
【０１０７】
なお、上述したように、確認の処理は、例えば、利用の処理（ステップＳ１４の処理）において、乗用車の利用を登録された顔画像による顔画像認証を利用して制御する場合、顔画像の登録を正しく行われないと、ユーザを認証することができない。このように顔画像の登録が正しく行われていない場合、ユーザは、車載装置１が正常に動作しているかを確認してもらうために、車載装置１が搭載された乗用車をカーディーラに持ち込むことになる。カーディーラのセールスマンや整備担当者は、車載装置１のハードウェアの確認を行い、ハードウェアに異常がない場合には、顔画像の登録に問題がある可能性があるので、ユーザの顔画像を画面に表示して確認することになる。
【０１０８】
すなわち、例えば、制御部６１は、操作部６０を介して、カーディーラのセールスマンなどにより所定の操作が指示されたとき、図９のフローチャートに示される処理を各部に実行させる。
【０１０９】
ステップＳ７１において、不適切画像検出部５６と表示制御部５７は、画像記憶部５４に記憶されている画像データを取得する。
【０１１０】
ステップＳ７２において、不適切画像検出部５６は、不適切画像検出の処理を行う。
【０１１１】
ここで、ステップＳ７２における、不適切画像検出部５６による、不適切画像検出の処理の詳細について、図１０のフローチャートを参照して説明する。
【０１１２】
ステップＳ８１において、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、顔画像の状態を検出する。具体的には、例えば、不適切画像検出部５６は、普通ではない顔画像、他の人の顔画像、または複数の顔画像などを検出する。
【０１１３】
より詳細には、普通ではない顔画像とは、例えば、白目だけになっている顔画像、両目若しくは片目を閉じている顔画像、口を大きく開けている顔画像、顔の前に顔以外の手や指などがある画像である。またそれらの検出と判定方法であるが、白目だけになっている顔画像は、例えば、目の領域において虹彩や瞳孔などの黒目の部分が検出されなかったり、白い色だけが検出されることなどによって判定させる。
【０１１４】
また、目を閉じている顔画像は、例えば、目の開閉状態を検出することによって判定させ、口を大きく開けている顔画像は、例えば、口の開閉状態を検出することによって判定させる。さらにまた、口の検出状態は、例えば、上述した器官の画像を検出する場合、口と判定された領域の形状が顔の垂直方向に対して、縦と横との比率がどの程度となっているかにより、縦に大きく伸びているとき、口を大きく開けていると判定させる。また、顔の前に顔以外の手や指などがある顔画像は、例えば、顔に当てている手を検出することによって判定させる。なお、手や指以外のものが顔の前にあることを検出して判定させるようにしてもよい。
【０１１５】
さらにまた、例えば、女性のなかには、化粧をする前や化粧をしている途中の顔を他の人に見られるのを望まない人もいる。その場合、例えば、化粧をする前の顔画像をあらかじめ登録しておいて、登録されているその化粧をする前の顔画像と類似度の高い顔画像が検出されたとき、普通ではない顔画像であると判定させたり、化粧をした後の顔画像をあらかじめ登録しておいて、登録されているその化粧をした後の顔画像と類似度が低い顔画像が検出されたとき、普通ではない顔画像であると判定させる。すなわち、男女を問わず、ユーザ本人が望んでいる顔画像と類似度の低い顔画像が検出されたとき、不適切な画像として判定させることができる。
【０１１６】
なお、顔画像からユーザの表情を検出して、例えば、怒っている顔、困っている顔、悲しい顔などを不適切な画像として判定させることもできる。また、ユーザが継続的に普通ではない顔を続けていた場合、顔画像の登録時に類似度が正常と判定されていても、普通ではない顔画像が登録される可能性もある。その場合、普通ではない顔画像の判定を、“普通である”と“普通ではない”の２通りにより判定させるのではなく、普通ではない程度を表す値（普通ではない度合い）として出力するようにしてもよい。すなわち、例えば、登録される顔画像と、ユーザが以前に正常であると判定された顔画像と比較して、普通ではない度合いが所定の閾値を超えるとき、普通ではない顔画像であると判定させる。その結果、ある程度の範囲を持って普通でない顔画像を判定させることが可能となるので、各ユーザの個人差に対応させることができる。
【０１１７】
また、他の人の顔画像とは、例えば、確認しようとしているユーザとは明らかに異なる人（他の人）を含んでいる画像である。例えば、他の人の顔画像は、あらかじめユーザの顔画像と異なっていると判定できる場合、他の人の顔画像であって、普通ではない顔画像であると判定することが望ましいので、登録されているユーザの顔画像と比較して類似度を算出し、その類似度が極端に低いとき、他の人の顔画像である不適切な画像であると判定させる。また、性別や人種、年齢などを判別する方法を用いることにより、それらの判別結果をさらに加えて、顔画像が登録されているユーザ本人の顔画像と大きく異なる場合、他の人の顔画像である不適切な画像であると判定させるようにしてもよい。
【０１１８】
さらにまた、複数の顔画像とは、例えば、確認しようとしているユーザ以外の顔画像を含んでいる画像である。例えば、複数の顔画像は、複数の顔画像が検出される場合、その顔画像のいずれかまたは双方が他の人の顔画像となるので、複数の顔画像が検出されたとき、複数の顔画像である不適切な顔画像であると判定させる。また、複数の顔画像は、ユーザ本人の顔画像を識別し、本人以外の他の人の顔画像を不適切な顔画像であると判定させたり、ユーザ本人の顔画像との類似度を算出し、類似度の低い顔画像を不適切な顔画像であると判定させてもよい。すなわち、確認しようとしているユーザ本人以外の顔画像が画面に表示されるのは望ましくないので、利用の目的や内容に応じて、上述した方法により複数の顔画像を判定させている。
【０１１９】
このように、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、その画像に含まれる普通ではない顔画像、他の人の顔画像、または複数の顔画像などについて、上述した例のような状態を検出する。
【０１２０】
なお、不適切画像検出部５６は、例えば、画像の撮像された状況などにより、顔画像を正しく検出できないとき、不適切な画像であると判定させるようにしてもよい。
【０１２１】
ステップＳ８２において、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、顔画像以外の要素を検出する。例えば、不適切画像検出部５６は、検出されるべきでない物体（状態）のある画像、検出されるべき物体（状態）のない画像、顔画像以外の人の画像、人以外の対象の画像、または顔画像が検出されない画像などを検出する。
【０１２２】
具体的には、検出されるべきでない物体（状態）のある画像とは、例えば、眼鏡やサングラス、帽子などの、本来ならばそこにあるはずのない物体の画像である。すなわち、ユーザのなかには、眼鏡やサングラスをしていることを他の人に隠している人もおり、そのような人たちは、眼鏡などをしている自分の顔画像が見られることを望んではいないので、例えば、顔画像の領域に、眼鏡と類似する物体の画像が検出された場合、その顔画像のユーザは、眼鏡をかけているので、不適切な画像であると判定させる。また、同様に、例えば、髪型や帽子の形状をあらかじめ認識しておき、特定の髪型や帽子をかぶっている顔画像が検出された場合、その画像を不適切な画像と判定させるようにしてもよい。
【０１２３】
また、検出されるべき物体（状態）のない画像とは、例えば、制服や制帽などの、本来ならばそこにあるはずの物体の画像である。すなわち、ユーザのなかには、例えば、運転中に制服や制帽を着用していることが望ましい場合があり、特定の衣服や帽子、装備などを着用していない顔画像（画像）が検出された場合、その画像を不適切な画像と判定させる。
【０１２４】
さらに、顔画像以外の人の画像とは、例えば、ユーザが着用している衣類などの、ユーザの顔以外の画像である。例えば、顔画像の肌の色を基準（閾値）として、首から下の領域において衣類らしい特徴を持っている物体が検出されない場合や、肌の色に近い色が連続して検出された場合、衣類を着用していないので、不適切な画像であると判定させる。また、例えば、指や手を、口や鼻の穴に入れているような画像は、特に恥ずかしく、表示されることを望まない画像である可能性が高いので、それらの画像も不適切な画像であると判定させる。なお、顔画像以外の人の画像は、上述した例に限らす、例えば、片方の目の下に指を当てている仕草など、ユーザが表示されることを望まない画像であればよく、それらが検出された場合には、その画像を不適切な画像と判定させる。
【０１２５】
また、人以外の対象の画像とは、例えば、ぬいぐるみや絵などの人以外で顔画像となりうる可能性のある画像である。例えば、助手席のシートカバーにパンダの絵が描かれている場合や、後部座席に常に熊のぬいぐるみが置いてある場合など、車内にいるユーザを検出して登録しようとしたとき、パンダや熊の顔部分が人の顔と誤検出されて、繰り返し画像記憶部５４に記憶される可能性がある。このような状態において、顔画像の確認を行うと、パンダや熊の顔の画像が多数表示されてしまい、確認作業に無駄な手間がかかるとともに、画像記憶部５４には、不要なパンダや熊の顔の画像データが記憶されるので、必要な画像データを記憶する容量を圧迫することも考えられる。
【０１２６】
また、ユーザのなかには、自分の顔として、ぬいぐるみの顔や動物の絵などの画像が表示されることに対して、好ましく思わなかったり、そのようなぬいぐるみの顔や動物の絵などの画像が表示されること自体が好ましくない状況も考えられる。したがって、このような人以外の対象の画像が検出された場合、不適切な画像であると判定させる。なお、例えば、乗用車の座席に人が座っていない状態や、座席に物が置かれている状況を検出し、それらが検出された場合、ユーザはその場所にはいないので、不適切な画像であると判定させるようにしてもよい。
【０１２７】
さらにまた、顔画像が検出されない画像とは、ユーザの顔画像が取得できないときに取得された画像である。例えば、顔画像が検出されない画像は、ドアが開いてユーザ（運転者）が乗り込む瞬間や、運転者が降車する瞬間に顔画像の登録が行われると、顔が撮像されなかったり、位置が適切ではなかったり、顔がぶれたりするなどの望ましくない状態となる可能性がある。したがって、このような顔画像が検出されない場合、不適切な画像であると判定させる。
【０１２８】
なお、これらの顔画像が検出されない画像は、例えば、対象状態検出部５９により検出されるので、顔画像登録制御部５３が、画像記憶部５４に記憶させる画像データに対応させて、対象状態検出部５９からの顔画像の検出結果を記憶させることにより、不適切画像検出部５６が、顔画像が検出されない画像を不適切な画像と判定させることができる。
【０１２９】
なお、例えば、顔に直接日光や対向車のヘッドライトが当たっていることが検出されたり、高速走行中に窓が開いていて、車内に風が強く吹き込んでいることが検出された場合、顔画像が検出されない画像となる可能性があるので、そのときには、不適切画像検出部５７は、不適切な画像と判定させる。さらに、例えば、乗用車の激しい振動が検出されたり、高速移動中で加速度の増減の大きい状態が検出された場合、顔が揺れていたり、ユーザ（運転者）が緊張することで、顔の表情が普通ではない可能性があるので、そのときには、不適切画像検出部５７は、不適切な画像と判定させる。
【０１３０】
また、対象状態検出部５９は、例えば、電波や光、音波などを用いて、物体の存在を３次元で解析することにより、ユーザ（運転者）の、例えば、頭部、首、胴、手、足などの位置を検出することが可能であるので、これらの検出された状態が望ましくない状態であるとき、不適切な画像と判定させる。具体的には、例えば、身体の各部が所定の状態にないときや、頭や身体、手足が大きく揺れているときなどには、検出された状態が望ましくない可能性があるので、不適切画像検出部５７は、不適切な画像であると判定させる。
【０１３１】
なお、例えば、本発明を（カメラ付き）携帯電話機に適用した場合、対象状態検出部５９は、バスルームにおいて携帯電話機の撮像機能を使用しているとき、着衣がない画像が記録される可能性があるので、このような状態にあるとき、不適切な画像であると判定させる。また、例えば、対象状態検出部５９は、携帯電話機の撮像部が下方向に向けられて使用されているとき、顔ではなく靴や床の模様などが撮像される可能性があるので、このような状態にあるとき、不適切な画像であると判定させる。
【０１３２】
このように、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から、その画像に含まれる顔画像以外の、検出されるべきでない物体（状態）のある画像、検出されるべき物体（状態）のない画像、顔画像以外の人の画像、人以外の対象の画像、または顔画像が検出されない画像などについて、上述した例のような要素を検出する。
【０１３３】
ステップＳ８３において、不適切画像検出部５６は、検出結果を表示制御部５７に供給し、処理は、図９のステップＳ７２に戻り、ステップＳ７３以降の処理が実行される。
【０１３４】
具体的には、不適切画像検出部５６は、画像記憶部５４より取得した画像データに対応する画像から検出される、例えば、顔画像の状態と顔画像以外の要素の検出結果を表示制御部５７に供給する。
【０１３５】
すなわち、不適切画像検出部５６が、上述したステップＳ８１およびステップＳ８２の処理の例で説明したような、顔画像の状態や顔画像以外の要素などを検出することにより、表示制御部５７は、それらの検出結果に応じて画像の表示を制御することが可能となる。
【０１３６】
なお、不適切画像検出部５６による、不適切な画像の検出方法であるが、上述した、顔画像の状態や顔画像以外の要素を用いた検出の方法に限らず、不適切な画像を検出できる方法であればよい。また、不適切画像検出部５６による、顔画像の状態や顔画像以外の要素などの検出方法であるが、もちろん、上述した全ての方法を実施する必要はなく、利用の目的や内容に応じて適宜選択して実施するようにすればよい。さらにまた、上述した検出方法の一部を他の方法に置き換えて実施するようにしてもよい。
【０１３７】
ステップＳ７３において、表示制御部５７は、不適切画像検出部５６から供給される検出結果に基づいて、画像記憶部５４より取得した画像データに対応する画像が、不適切な画像であるか否かを判定する。
【０１３８】
ステップＳ７３において、不適切な画像ではないと判定された場合、ステップＳ７４に進み、表示制御部５７は、画像記憶部５４より取得した画像データに対応する画像を、そのまま表示部５８の画面に表示させる。
【０１３９】
一方、ステップＳ７５において、不適切な画像であると判定された場合、ステップＳ７５に進み、表示制御部５７は、不適切画像表示の処理を行う。
【０１４０】
ここで、ステップＳ７５における、表示制御部５７による、不適切画像表示の処理の詳細について、図１１のフローチャートを参照して説明する。
【０１４１】
ステップＳ９１において、表示制御部５７は、不適切な画像の表示を禁止するために、画像記憶部５４より取得した画像データに対応した画像が表示部５８の画面に表示されないように表示を制御して、図９のステップＳ７５に戻り、ステップＳ７６以降の処理が実行される。
【０１４２】
ステップＳ７６において、不適切画像検出部５６および表示制御部５７は、表示部５８の画面に表示させる画像があるか否かを判定する。
【０１４３】
ステップＳ７６において、表示させる画像があると判定された場合、まだ表示部５８の画面に表示させる画像が残っているので、ステップＳ７１に戻り、ステップＳ７１乃至ステップＳ７６の処理が、表示させる画像がなくなるまで繰り返される。
【０１４４】
このように、図９のステップＳ７１乃至ステップＳ７６の処理が繰り返されることにより、例えば、表示制御部５７は、図１２に示すような画面１２１を、表示部５８の画面に表示させる。具体的には、画面１２１には、画像１２２ａ乃至画像１２２ｊが表示されているが、画像１２２ａ乃至画像１２２ｃは、例えば、暗い状態で撮像されたり、ノイズが多いことなどが原因で、顔画像の類似度が低いだけであるので、そのまま画像が表示されている。
【０１４５】
画像１２２ｄは、撮像されたユーザの顔画像の位置が下方向にずれているだけであるので、そのまま画像が表示されている。このとき、取得された画像がそのまま表示されているので、例えば、カーディーラのセールスマンなどは、顔画像の内容ではなく、顔画像の位置に問題があることがわかる。また、画像１２２ｅは、顔画像が検出されていないので、例えば、運転席のシートやヘッドレストなどの、その顔画像が検出されていない画像がそのまま表示されている。
【０１４６】
さらにまた、画像１２２ｆおよび画像１２２ｇは、例えば、上述したように、白目になっている顔画像などの他の人に見られたくない顔画像の画像であるので、顔画像の表示が禁止されている。また、画像１２２ｈは、例えば、上述したように、ユーザ（運転者）がドアを開けて乗用車に乗り込むときにおいて顔画像が検出されないなど、ユーザにとって望ましい状態ではない画像であるので、顔画像の表示が禁止されている。さらに、画像１２２ｉは、登録されていないユーザの顔画像の画像であるので、顔画像の表示が禁止されている。また、画像１２２ｊは、登録されているユーザと登録されていないユーザの２人の顔画像の画像であるので、登録されているユーザの顔画像がそのまま表示され（画像１２２ｊの左側の顔）、登録されていないユーザの顔画像がマスキングされて表示されている（画像１２２ｊのマスキングされた右側の顔）。
【０１４７】
すなわち、表示制御部５７は、不適切画像検出部５６からの検出結果を基に、例えば、画像記憶部５４より取得した画像データに対応する画像１２２ａ乃至画像１２２ｊのうち、不適切な画像ではない画像１２２ａ乃至画像１２２ｅをそのまま表示部５８の画面に表示させ、それに対して、不適切な画像である画像１２２ｆ乃至画像１２２ｊをそのまま表示部５８の画面に表示させないようにしている（不適切な画像の表示を禁止している）。
【０１４８】
このように、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像の表示を禁止することができる。その結果、上述したように、例えば、車載装置１が正常に動作しているかを確認してもらうために、ユーザによって、車載装置１が搭載された乗用車がカーディーラに持ち込まれた場合、セールスマンなどは、顔画像の登録が正しく行われたかを確認するとき、不適切な画像、すなわち、ユーザ本人が意図していない、または他人に見られたくない画像の表示が禁止されているので、それらの不適切な画像を見ることはできない。その結果、ユーザにとっては、他の人には見られたくない自分の顔が見られないこととなり、プライバシーが保護されることになる。
【０１４９】
また、画面１２１には、画像１２２ａ乃至画像１２２ｊの１０個の画像を表示しているが、表示させる画像が１０個以上ある場合、表示制御部５７は、ユーザによるボタン１２３ａの押圧操作に応じて操作部６０から制御部６１を介して供給される操作信号を基に、画像１２２ａ乃至画像１２２ｊよりも前に表示させる１０個の画像を表示部５８の画面に表示させる。また、同様に、表示制御部は、ユーザによるボタン１２３ｂの押圧操作に応じて、画像１２２ａ乃至画像１２２ｊよりも次に表示させる１０個の画像を表示部５８の画面に表示させる。
【０１５０】
なお、表示制御部５７は、不適切画像検出５６からの検出結果を基に、表示させる画像の詳細な情報を表示させるようにしてもよい。具体的には、表示制御部５７は、表示部５８の画面に表示させる画像１２２ａ乃至画像１２２ｊのうち、例えば、画像１２２ａには“類似度低下”、画像１２２ｂには“類似度低下”、画像１２２ｃには“類似度低下”、画像１２２ｄには“位置不良”、画像１２２ｅには“顔非検出”などの文字を画像に対応させて表示させてもよい。また、同様に、表示制御部５７は、画像１２２ａ乃至画像１２２ｊのうち、例えば、画像１２２ｆには“顔画像不良”、画像１２２ｇには“顔画像不良”、画像１２２ｈには“顔非検出”、画像１２２ｉには“非登録者”、画像１２２ｊには“複数顔検出”などの文字を画像に対応させて表示させてもよい。その結果、例えば、カーディーラのセールスマンなどは、表示されない不適切な画像の不適切な理由を推測することができる。
【０１５１】
また、表示制御部５７による、不適切画像表示の処理であるが、不適切な画像の表示を禁止する方法に限らず、例えば、不適切な画像に対応する（不適切な画像を抽象化した）アイコンを表示させるようにしてもよい。したがって、図９のステップＳ７５における、表示制御部５７による、不適切画像表示の処理の他の例について、図１３のフローチャートを参照して説明する。
【０１５２】
ステップＳ１０１において、表示制御部５７は、不適切な画像に対応したアイコンを取得する。具体的には、例えば、表示制御部５７は、不適切画像検出部５６からの検出結果を基に、画像記憶部５４に記憶されているアイコンを取得する。
【０１５３】
ステップＳ１０２において、表示制御部５７は、画像記憶部５４より取得した画像データに対応する不適切な画像の代わりに、その不適切な画像に対応したアイコンを表示部５８の画面に表示させる。
【０１５４】
そして、図９のフローチャートに戻り、ステップＳ７１乃至ステップＳ７６の処理が、表示させる画像がなくなるまで繰り返される。このように、図９のステップＳ７１乃至ステップＳ７６の処理が繰り返されることにより、例えば、表示制御部５７は、図１４に示すような画面１３１を、表示部５８の画面に表示させる。
【０１５５】
具体的には、画面１３１には、画像１３２ａ乃至画像１３２ｊが表示されているが、画像１３２ａは、顔画像から目が検出されていない画像であるので、それに対応した目が検出されていないことを示しているアイコンが表示され、画像１３２ｂは、顔画像からサングラスが検出された画像であるので、それに対応したサングラスをしていることを示しているアイコンが表示されている。さらにまた、画像１３２ｃは、顔画像からあくびをしていることが検出された画像であるので、それに対応したあくびをしていることを示しているアイコンが表示され、画像１３２ｄは、顔画像から撮像された顔画像の位置が下方向にずれている画像であるので、それに対応した下方向にずれていることを示しているアイコンが表示されている。
【０１５６】
また、画像１３２ｅは、撮像された顔画像が上方向を向いている画像であるので、それに対応した上方向を向いていることを示しているアイコンが表示され、画像１３２ｆは、顔画像が隠れてしまっている画像であるので、それに対応した顔画像が隠れていることを示しているアイコンが表示され、画像１３２ｇは、例えば、上述したように、白目になっている顔画像などの他の人に見られたくない顔画像の画像であるので、それに対応した顔画像とは異なるアイコンが表示されている。
【０１５７】
さらにまた、画像１３２ｈは、顔画像が検出されなかった画像であるので、それに対応した顔画像が検出されなかったことを示しているアイコンが表示され、画像１３２ｉは、登録されていないユーザの顔画像の画像であるので、それに対応した登録されていないユーザの顔画像を示しているアイコンが表示され、画像１３２ｊは、登録されているユーザと登録されていないユーザの２人の顔画像の画像であるので、それに対応した２人の顔画像を示しているアイコンが表示されている。
【０１５８】
すなわち、表示制御部５７は、不適切画像検出部５６からの検出結果を基に、例えば、画像記憶部５４より取得した画像データに対応する画像１３２ａ乃至画像１３２ｊを、そのまま画像を表示させるのではなく、それらの画像に対応したアイコンが表示部５８の画面に表示されるように表示を制御している。
【０１５９】
このように、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像の代わりに、その画像を抽象化したアイコンを表示させることができる。その結果、上述したように、例えば、車載装置１が正常に動作しているかを確認してもらうために、ユーザによって、車載装置１が搭載された乗用車がカーディーラに持ち込まれた場合、セールスマンなどは、顔画像の登録が正しく行われたかを確認するとき、不適切な画像、すなわち、ユーザ本人が意図していない、または他人に見られたくない画像の代わりに、それらの画像に対応したアイコンが表示されているので、それらの不適切な画像を見ることはできない。その結果、ユーザにとっては、アイコンは確認されても、他の人には見られたくない自分の顔が見られないこととなり、プライバシーが保護されることになる。
【０１６０】
なお、上述したように、表示制御部５７は、表示部５８の画面に表示させる画像１３２ａ乃至画像１３２ｊのうち、例えば、画像１３２ａには“目が検出されない”、画像１３２ｂには“サングラス”、画像１３２ｃには“あくび”、画像１３２ｄには“位置不良”、画像１３２ｅには“上を向いている”などの文字を画像に対応させて表示させてもよい。また、同様に、表示制御部５７は、画像１３２ａ乃至画像１３２ｊのうち、例えば、画像１３２ｆには“隠れ”、画像１３２ｇには“顔画像不良”、画像１３２ｈには“顔非検出”、画像１３２ｉには“非登録者”、画像１３２ｊには“複数顔検出”などの文字を画像に対応させて表示させてもよい。その結果、例えば、カーディーラのセールスマンなどは、表示されているアイコンの不適切な理由を推測することができる。
【０１６１】
また、図１２の画面１２１と図１４の画面１３１は、表示方法の一例であり、表示制御部５７は、上述したステップＳ８１およびステップＳ８２の処理の例で説明したような、不適切画像検出部５６によって検出される、顔画像の状態や顔画像以外の要素などの検出結果に基づいて、表示部５８の画面に表示させる画面１２１と画面１３１の内容を変更させる。また、表示制御部５７は、上述したように、利用の目的や内容に応じて詳細な理由を表示して、不適切な理由を推測し易くしたり、逆に、理由を簡略化して不適切な理由を推測しにくくしてもよい。
【０１６２】
さらにまた、図１２の画面１２１の画像１２２ａ乃至画像１２２ｊと、図１４の画面１３１の画像１３２ａ乃至画像１３２ｊは、例えば、顔画像認証の初期設定時に登録された画像（顔画像）、または顔画像認証の認証時に撮像された画像（顔画像）となる。
【０１６３】
ところで、例えば、画面１３１の画像１３２ａ乃至画像１３２ｊのうち、画像１３２ａがユーザの押圧操作により選択された場合、表示制御部５７は、図１５で示すような、画面１３１に重なるようにして、画像１３２ａの詳細を示している画面１４１を表示部５８の画面に表示させる。
【０１６４】
画面１４１には、例えば、目が検出されていないことを示しているアイコンの画像１３２ａとともに、その説明文、判定結果、詳細情報が表示される。また、画面１４１では、ボタン１４２が表示されており、ユーザによりボタン１４２が押圧操作された場合、画像１３２ａには、アイコンの代わりにそのアイコンの元となる顔画像、すなわち、アイコンではなく、実際に撮像された目が検出されていないユーザの顔画像の画像が表示部５８の画面に表示される。
【０１６５】
このとき、新しく開いた画面１４１では、例えば、表示される画像１３２ａに対して、ぼかしフィルタの画像処理を施すことにより、セールスマンなどが画像１３２ａに含まれる顔画像の細かい表情がわからないように表示させる。その結果、ユーザは、この画像１３２ａが表示されている画面１４１を確認することで、実際の自分の顔画像を表示してもよいかを判断することが可能となる。
【０１６６】
すなわち、上述したように、顔画像の登録が正しく行われたかを確認するために、カーディーラのセールスマンなどの操作により、例えば、画面１３１が表示部５８の画面に表示させた場合、不適切な画像に対応するアイコンが表示されることになるが、顔画像の登録に問題がある原因を解明するために、どうしてもユーザの顔画像を表示させて確認しなければならないこともある。その場合、セールスマンなどは、不適切な画像を表示させることが可能であるかをユーザに確認し、ユーザが表示させてもよいと答えた場合には、上述したように、ボタン１４２を押圧操作して、アイコンに対応する不適切な画像を表示させることができる。その結果、セールスマンなどは、ユーザのプライバシーを保護するとともに、顔画像を確認して顔画像の登録が正しく行われたかを調査することができる。
【０１６７】
また、ユーザ本人の同意を確認する方法は、例えば、パスワードの入力やIDカードの提示などの手段を設けて行うようにしてもよい。
【０１６８】
なお、上述した例では、確認の処理の一例として、顔画像認証を行う車載装置１において、顔画像認証が適切に行われない場合に、登録されている画像（顔画像）の内容を確認させる処理を説明したが、確認の処理はこれに限らず、例えば、登録されている特定のユーザの画像（画像）を探すとき、画像（顔画像）と名前やIDとが一致するかを確認するとき、またはネットワークを介して外部の他の機器に送信する画像（顔画像）を選択するときなどに実行される。
【０１６９】
図９のフローチャートに戻り、ステップＳ７６において、表示させる画像がないと判定された場合、図３のステップＳ１６に戻り、ステップＳ１７以降の処理が実行される。
【０１７０】
ステップＳ１７において、制御部６１は、操作部６０からの操作信号に基づいて、ユーザにより動作終了が指示されたか否かを判定する。
【０１７１】
ステップＳ１７において、ユーザにより動作終了が指示されていなと判定された場合、ステップＳ１１に戻り、ステップＳ１７において、ユーザにより動作終了が指示されるまで、ステップＳ１１乃至ステップＳ１７の処理が繰り返される。
【０１７２】
一方、ステップＳ１７において、ユーザにより動作終了が指示されたと判定された場合、運転者認証の処理、すなわち、運転者認証システムは終了する。
【０１７３】
このように、不適切な画像については、表示や出力を禁止したり、他の画像で置き換えたりしているので、ユーザにとって望ましくない画像が表示部５８の画面に表示されたり、外部の他の機器に出力されたりすることを防止することができる。
【０１７４】
以上のように、本発明によれば、ユーザの望んでいない顔画像が、他の人に見られないように表示を制御することができる。
【０１７５】
また、本発明によれば、例えば、口を開けた顔や白目の顔の画像、他の人が写っている画像などの、ユーザ本人が意図していない、または他人に見られたくない画像を、ユーザ本人による許可なしでは表示されないように、非表示処理やマスキング、画像に対応するアイコンなどの処理を施すことが可能である。その結果、それらの見られたくない画像を他の人に見られないようにすることができるとともに、ユーザのプライバシーを保護することができる。
【０１７６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７７】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM，DVD）を含む）、光磁気ディスク（MDを含む）、若しくは半導体メモリなどよりなる図１のリムーバブルメディア２２により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図１のROM１２や記録部（図示せず）などで構成される。
【０１７８】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１７９】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８１】
さらにまた、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８２】
【図１】本発明を適用した情報処理装置としての車載装置のハードウェアの構成の例を示すブロック図である。
【図２】図１の車載装置の機能的構成例を示すブロック図である。
【図３】運転者認証の処理について説明するフローチャートである。
【図４】運転者認証システムの初期画面の例を示す図である。
【図５】登録の処理の詳細について説明するフローチャートである。
【図６】顔画像検出の処理の詳細について説明するフローチャートである。
【図７】顔画像を含んでいる画像の例を示す図である。
【図８】利用の処理の詳細について説明するフローチャートである。
【図９】確認の処理の詳細について説明するフローチャートである。
【図１０】不適切画像検出の処理の詳細について説明するフローチャートである。
【図１１】不適切画像表示の処理の詳細について説明するフローチャートである。
【図１２】画像の一覧の画面の例を示す図である。
【図１３】不適切画像表示の処理の詳細について説明するフローチャートである。
【図１４】画像の一覧の画面の例を示す図である。
【図１５】不適切な画像の詳細な画面の例を示す図である。
【符号の説明】
【０１８３】
１ 車載装置
１１ CPU
１２ ROM
１３ RAM
１５ CCDカメラ
１６ 画像入力部
１７ フラッシュメモリ
１８ LCD表示部
１９ タッチパネル操作部
２０ 外部状態入力部
２１ ドライブ
２２ リムーバブルメディア
５１ 画像取得部
５２ 顔画像検出部
５３ 顔画像登録制御部
５４ 画像記憶部
５５ 顔画像利用部
５６ 不適切画像検出部
５７ 表示制御部
５８ 表示部
５９ 対象状態検出部
６０ 操作部
６１ 制御部
【特許請求の範囲】
【請求項１】
ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある前記第２の画像を検出する第１の検出手段と、
前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、前記他のユーザが直接見ることができないように画面の表示を制御する表示制御手段と
を備える情報処理装置。
【請求項２】
前記あらかじめ定められた状態は、自分の顔の表情の状態、他の人の顔の状態、または複数の人の顔の状態である
請求項１の情報処理装置。
【請求項３】
前記あらかじめ定められた状態は、あるべきではないと想定される物体がある状態、あるはずであると想定される物体がない状態、顔以外の身体による所定の状態、または人間以外で前記ユーザの顔となりうる物体の状態である
請求項１の情報処理装置。
【請求項４】
前記表示制御手段は、前記第２の画像が表示されないように画面の表示を制御する
請求項１の情報処理装置。
【請求項５】
前記表示制御手段は、前記第２の画像に対応したアイコンが表示されるように画面の表示を制御する
請求項１の情報処理装置。
【請求項６】
前記表示制御手段は、前記ユーザの指示により前記アイコンが選択された場合、前記アイコンに対応する前記第２の画像が表示されるよう画面の表示を制御する
請求項５の情報処理装置。
【請求項７】
被写体の第３の画像を取得する取得手段と、
取得した前記第３の画像から、前記ユーザの顔の画像を検出する第２の検出手段と、
前記顔の画像が検出された場合、その顔の画像が検出された前記第３の画像が、前記第１の画像として記憶装置に記憶されるように記憶を制御する記憶制御手段と
を備える請求項１の情報処理装置。
【請求項８】
前記第１の検出手段は、前記記憶装置に記憶されている第１の画像から、前記第２の画像を検出し、
前記表示制御手段は、前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する
請求項７の情報処理装置。
【請求項９】
ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある前記第２の画像を検出する第１の検出ステップと、
前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、前記他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップと
を含む情報処理方法。
【請求項１０】
ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある前記第２の画像を検出する第１の検出ステップと、
前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、前記他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある前記第２の画像を検出する第１の検出手段と、
前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、前記他のユーザが直接見ることができないように画面の表示を制御する表示制御手段と
を備える情報処理装置。
【請求項２】
前記あらかじめ定められた状態は、自分の顔の表情の状態、他の人の顔の状態、または複数の人の顔の状態である
請求項１の情報処理装置。
【請求項３】
前記あらかじめ定められた状態は、あるべきではないと想定される物体がある状態、あるはずであると想定される物体がない状態、顔以外の身体による所定の状態、または人間以外で前記ユーザの顔となりうる物体の状態である
請求項１の情報処理装置。
【請求項４】
前記表示制御手段は、前記第２の画像が表示されないように画面の表示を制御する
請求項１の情報処理装置。
【請求項５】
前記表示制御手段は、前記第２の画像に対応したアイコンが表示されるように画面の表示を制御する
請求項１の情報処理装置。
【請求項６】
前記表示制御手段は、前記ユーザの指示により前記アイコンが選択された場合、前記アイコンに対応する前記第２の画像が表示されるよう画面の表示を制御する
請求項５の情報処理装置。
【請求項７】
被写体の第３の画像を取得する取得手段と、
取得した前記第３の画像から、前記ユーザの顔の画像を検出する第２の検出手段と、
前記顔の画像が検出された場合、その顔の画像が検出された前記第３の画像が、前記第１の画像として記憶装置に記憶されるように記憶を制御する記憶制御手段と
を備える請求項１の情報処理装置。
【請求項８】
前記第１の検出手段は、前記記憶装置に記憶されている第１の画像から、前記第２の画像を検出し、
前記表示制御手段は、前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、他のユーザが直接見ることができないように画面の表示を制御する
請求項７の情報処理装置。
【請求項９】
ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある前記第２の画像を検出する第１の検出ステップと、
前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、前記他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップと
を含む情報処理方法。
【請求項１０】
ユーザの顔の画像を含んでいる第１の画像から、他のユーザに見られたくない可能性のある第２の画像であって、あらかじめ定められた状態にある前記第２の画像を検出する第１の検出ステップと、
前記第２の画像が検出された場合、前記第１の画像のうち、前記第２の画像を、前記他のユーザが直接見ることができないように画面の表示を制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−２１３１７７（Ｐ２００７−２１３１７７Ａ）
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００６−３０４９０（Ｐ２００６−３０４９０）
【出願日】平成１８年２月８日（２００６．２．８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願日】平成１８年２月８日（２００６．２．８）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]