情報表示装置
【課題】電子メール機能やインターネットのブラウザ機能の付いた携帯電話装置などの情報表示装置を、駅の構内や電車の中などで使用すると、情報表示装置の表示部に表示した電子メールの文章やウエブで検索して表示した画面などを他人に覗かれてしまうことがある。
【解決手段】情報表示装置の操作者が表示部に電子メールの文章やウエブで検索して表示した画面など表示しているとき、表示部を見ている人物についてカメラによる画像認識を行う。カメラによる画像認識した人物の顔画像は、電話帳に登録した顔画像と照合する。照合の結果、表示部を見ている人物の中に表示部を見ることを許可されていない人物が検知された場合は、表示部にその旨を表示したり、警告を発したり、予め定めた電話番号に発呼したり、電子メールを送信して通知したり、あるいは視野角を変更するなどという防止動作を行う。
【解決手段】情報表示装置の操作者が表示部に電子メールの文章やウエブで検索して表示した画面など表示しているとき、表示部を見ている人物についてカメラによる画像認識を行う。カメラによる画像認識した人物の顔画像は、電話帳に登録した顔画像と照合する。照合の結果、表示部を見ている人物の中に表示部を見ることを許可されていない人物が検知された場合は、表示部にその旨を表示したり、警告を発したり、予め定めた電話番号に発呼したり、電子メールを送信して通知したり、あるいは視野角を変更するなどという防止動作を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は所定のアプリケーションに対応する画面を表示部に表示する情報表示装置に関し、特に電子メール機能、ブラウザ機能、電話帳機能などのアプリケーションを動作させ、情報表示装置の表示部に電子メールやインターネットのコンテンツなどを表示している際に、覗き見されていることを検知して警告する情報表示装置に関する。
【背景技術】
【０００２】
携帯電話装置をはじめとする情報表示装置は、使用する場所を選ばない。そのため、駅の構内や電車の中などで、電子メールやインターネットのコンテンツを表示しているときに、表示画面を他人に覗かれしまうことがある。また、据え置き型のパーソナルコンピュータなどの情報表示装置についても、電子メールやインターネットのコンテンツを表示しているときに、表示画面を他人に覗かれしまうことがある。
【０００３】
例えば現金自動預け入れ支払機（ＡＴＭ装置）において、操作時に他人が覗き見可能な位置にいるときは注意を促すことが提案されている（例えば、特許文献１参照）。
【０００４】
また、現金自動預け入れ支払機の操作者自身についても、その銀行口座についてパスワード入力時点からカメラの画像解析を行い、銀行口座利用者本人以外の人物であることを検知したら、警告したり特定の電話番号への通知をしたりすることが提案されている（例えば、特許文献２参照）。
【０００５】
従来の携帯電話装置の覗き見防止方法として実用化されているものに、いわゆる覗き見防止シートを貼る方法がある。覗き見防止シートを携帯電話装置の表示部に貼ると表示部の視野角は狭まり、視野角の外になった人からは表示部の内容が見えなくなる。しかし、電車の中など、自分の頭部の真後ろに他人の頭部があるときは、狭い視野角内に他人の目が入ってしまい、簡単に覗かれてしまうことがある。この場合、覗かれていても気づかないことが多い。また、視野角を狭める覗き見防止シートを貼っていると、携帯電話の表示部に表示した内容を友達などの複数の人に同時に見せるのには不便である。
【０００６】
上記現金自動預け入れ支払機のように携帯電話装置でも、操作者の近くにいる人物が表示画面を覗き見しているかどうかを装置自身が判断して、警告してくれれば便利である。また、携帯電話装置を操作している者が所有者本人でないときには、そのことを装置自身が判断して、操作を禁止してくれれば、携帯電話装置の電子メールや電話帳情報などの個人情報を覗かれることが無くて便利である。
【０００７】
そこで、カメラ付き携帯電話装置についても、表示部の近くに設けたカメラを利用して、表示部を見ることができる所定範囲内の人物の虹彩の情報を抽出して、予め記憶手段に登録してある虹彩データと照合し、誰かに覗かれていると判定したときは警告し、表示を中断して表示内容を覗かれないようにする方法が提案されている。しかし理論的には、虹彩認識技術を覗き見検出に用いるのは可能であろうが、照合する前に携帯電話装置の操作や表示部の閲覧を許される複数の人々の虹彩データを予め登録しておく必要があるなど、使い勝手の面から、一般的な携帯電話装置に簡単に搭載できるかどうか疑問であった（例えば、特許文献３参照）。
【０００８】
また、携帯電話装置の表示内容を誰かに覗かれていると警告された場合でも、表示部を見続けたいときがある。そのような場合には、表示しつづけている携帯電話装置を持つ手の角度を変えたり、自分の体の向きを変えたりして覗き見を回避する行動を取り、覗いている他人から見えない位置や角度に表示部をずらすことができれば便利である。このことは、据え置き型のパーソナルコンピュータなどの情報表示装置についても同様である。
【０００９】
しかし、従来の技術は、覗き見されていることを単純に警告するにとどまり、誰にどの向きから覗かれているかを示すことについては全く配慮されていない。そのため覗き見されていることが分かったとしても、どのように携帯電話装置の持ち方を変えればよいか、あるいは自分の体の向きを変えればよいか、画面の角度を変えればよいか、ウィンドウを閉じればよいかなどがわからなかった。
【特許文献１】特開２００６−３１２８７号公報
【特許文献２】特開２００６−３９８４１号公報
【特許文献３】特開２００３−２６４８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、情報表示装置の所有者など、情報表示装置を専有して全ての操作ができる人物（以下、説明を簡単にするために「専有者」と称する）と、一部の操作と表示部の閲覧を「専有者」から承認された「被承認者」を簡単に登録することができ、操作者が「専有者」であるか、「被承認者」であるかを認識して制御することができる情報表示装置を実現することを第一の課題としている。
【００１１】
また、本発明は、「専有者」や「被承認者」以外の、情報表示装置の操作や表示部の表示内容の閲覧を承認されていない人物が情報表示装置の表示部の表示内容を覗き見たときには、そのことを検知して警告するとともに、予め定めた者の電話装置や電子メール受信機に覗き見られていることを通知することができ、更に情報表示装置に対してどの位置にいる人物が覗き見しているかを示すことができる情報表示装置を実現することを第二の課題としている。
【００１２】
更に、本発明は、情報表示装置に対してどの位置にいる人物が覗き見しているかを示すだけにとどまらず、覗き見している人物の視線をさえぎるように表示部の視野角を変える方法など、覗き見を回避する具体的な方法を操作者に示し、また具体的な方法を自動的に実行する情報表示装置を実現することを第三の課題としている。
【課題を解決するための手段】
【００１３】
本発明は、所定のアプリケーションに対応する画面を表示部に表示する情報表示装置において、表示部の近傍に配置したカメラ手段と、顔画像データベースと、顔画像照合手段と、覗き見状況分析手段とを設け、顔画像データベースには、情報表示装置の専有者の顔画像と被承認者の顔画像を記憶しておき、情報表示装置のアプリケーションが動作すると、カメラ手段は表示部に対向する領域を撮像し、顔画像照合手段は、撮像した画像から顔画像を抽出し、抽出した顔画像と顔画像データベースに記憶した顔画像とを照合し、覗き見状況分析手段は顔画像照合手段が照合した結果、予め記憶させた顔画像が一致しないときには、覗き見されていると判定し、判定結果を表示手段に示すよう構成している。
【００１４】
そのため、情報表示装置の操作者が電子メール閲覧やインターネットのコンテンツ画閲覧面などの所定のアプリケーションを動作させると、カメラにより、操作者とその周辺にいる人物の画像認識を行い、操作や表示部の閲覧を承認されていない人物が検知された場合は、操作者にその旨を音声や文字などを出力して通知するだけでなく、覗き見状況を表示する。
【００１５】
なお、ここで所定のアプリケーションとは、電子メール機能、ブラウザ機能、電話帳機能など所定の機能群のうちのいずれか一つのアプリケーションを示すことにしてもよいし、電子メールの閲覧時や、電子メール機能から電話帳を呼び出し表示しているとき、あるいはブラウザのコンテンツ閲覧画面など所定の機能を動作させるときのように複合的に連携して動作させる複数のアプリケーションを示すことにしてもよい。
【００１６】
そのため、使用するアプリケーションに応じた機能の制御について、専有者と被承認者だけが端末を閲覧できるようになるため、ユーザの利便性を損なわずに覗き見を防止できるだけでなく、覗き見されている状況が把握できる。
【００１７】
また本発明は、情報表示装置を操作している操作者の周囲から覗き見されたときは、操作者にその旨を音声や文字などを出力して通知するだけでなく、覗き見状況を提示し、さらに覗き見を回避する方法を示し、そして覗き見を回避する方法を自動的に実行するように構成している。
【００１８】
このため、情報表示装置を操作している操作者の周囲から覗き見されたときは、警告するだけでなく、状況が把握でき、覗き見の回避方法もわかるので、覗き見している人物の視野をさえぎるように行動することができる。特に、自動的に回避動作をするようにした情報表示装置では、覗き見されたとしてもそのまま特別な行動をとらなくても、覗き見している人物の視野をさえぎるように覗き見を回避することができる。
【００１９】
また本発明は、情報表示装置の待ち受けやスクリーン表示以外の機能を動作させているとき、例えば筐体が開いたときには常に覗き見防止モードにしたり、筐体が開いていないときに所定のアプリケーションが動作したりしたときは、覗き見防止モードにするようにしている。
【００２０】
このため、本発明の情報表示装置が覗き見される可能性のあるときに、自動的に覗き見防止モードにすることができる。
【発明の効果】
【００２１】
本発明によれば、カメラ部で撮像した操作者の顔画像と、情報表示装置の専有者の顔画像または被承認者の顔画像を照合することにより、情報表示装置を操作する者が、情報表示装置の専有者または被承認者であることを確認するので、情報表示装置を操作したり、表示部を閲覧したりできる人を専有者と被承認者に制限できる。
【００２２】
その結果、専有者へのなりすましや被承認者へのなりすましを防止できる。人物ごとに操作できる範囲や表示部を閲覧できる範囲を制限するという使い方ができるという効果がある。また、情報表示装置に対してどの位置にいる人物がどの向きから覗き見をしているのかを示すことができる。そして、覗き見している人物の視野をさえぎるように表示部の視野角を変化させる覗き見回避方法を提示すことができる。また、自動的に覗き見を回避するために視野角を変化さることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態では、情報表示装置の一つである携帯電話装置について説明する。
【００２４】
（実施の形態１）
本発明の実施の形態１に係る情報表示装置は、使用時には表示部を真正面で見ている操作者のカメラ画像から顔画像を抽出し、予め携帯電話装置に記憶した顔画像付き電子電話帳などの顔画像データベースに登録した専有者および被承認者の顔画像を照合し、表示部を真正面で見ている人物が専有者でなく、被承認者でもない人物だと検知された場合には、専有者や被承認者でない人物が覗き見していると判定し、警告音や警告メッセージで覗き見されていることを通知し、覗き見の状況を提示し、その後、情報表示装置で行なわれる操作を停止する。
【００２５】
図１に、本発明の実施の形態１に係る携帯電話装置１００の外観図を示す。携帯電話装置１００は、テンキーなどの入力部１０を設けた第一の筐体１と、液晶表示手段などからなる表示部２０と、ＣＣＤカメラなどからなるカメラ部２１を設けた第二の筐体２をヒンジ部３により開閉可能に結合した折り畳み式携帯電話装置として構成している。携帯電話装置１００の図示していない記憶装置には、電子電話帳があり、電話番号とその携帯電話装置を専ら使用する専有者の氏名と顔画像を登録し、更に専有者が一部の操作や表示部の閲覧を承認した被承認者の電話番号、氏名と顔画像を登録している。専有者および被承認者以外の人物については、電話番号と氏名を登録している。ここで顔画像については、携帯電話装置１００の専有者の顔画像と、被承認者の顔画像だけを登録し、それ以外の人々の電子電話帳には顔画像を登録していないとして説明する。
【００２６】
携帯電話装置１００を使用するときは、第一の筐体１を操作者が手で持ち、第二の筐体２を開いて表示部２０に電子メールの文章や、インターネットからダウンロードしたコンテンツの画面を表示して見ることができる。
【００２７】
表示部２０に表示した電子メールの文章やコンテンツ画面を見るという操作がされたときには、携帯電話装置１００はカメラ部２１を起動して、表示部２０を見ている操作者とその周辺の光景を撮像する。そして、撮像した画像について顔画像を抽出する。顔画像があれば電子電話帳に登録されている顔画像と照合する。顔画像が専有者または被承認者の顔画像と一致したときは、全てまたは一部の操作を可能にしたり、表示部の表示内容の閲覧動作を可能にしたりする。
【００２８】
もし、カメラ部２１で撮像した顔画像が、電子電話帳に登録されている専有者および被承認者の顔画像と一致しないときは、覗かれていると判定する。覗かれていると判定したときは、図示しないブザーや表示部２０に警告文を表示するなどして警告する。また、覗き見の状況を提示する。すなわち、覗いている人物が携帯電話装置１００に対してどの位置にいて、どの向きから覗き見しているかを割り出して、覗き見している人物の携帯電話装置１００に対する位置と、覗き見している向きを表示部２０に表示する。そして、動作し始めたアプリケーションを終了させる。
【００２９】
図２に、携帯電話装置１００の本発明の特徴部分のブロック図を示す。図２では、電話通信機能等の一般的な機能に関するブロックについては記載を省略している。図２では、カメラ部２１、入力部１０、表示部２０、電話帳データベース１０１、そしてアプリケーション処理部１０２が制御部１０３に接続していることを示している。
【００３０】
ここで、カメラ部２１、入力部１０、表示部２０、電話帳データベース１０１については既に説明した通りである。特に、電話帳データベース１０１は、携帯電話装置１００の専有者１０８のプロフィール、つまり住所、氏名、年齢、顔画像などを登録してある他、携帯電話装置１００の一部の操作と表示部の閲覧を承認された複数の被承認者１０９の顔画像付きのプロフィールを登録している。また、電話帳データベース１０１には、顔画像なしの電話帳データ１１０については全ての操作と閲覧を拒否する拒否対象者として登録していることを示している。
【００３１】
アプリケーション処理部１０２は、電子メールのアプリケーション動作や、インターネットのブウザのアプリケーション動作などの具体的な動作を実行する。なお、ここで所定のアプリケーションとは、電子メール機能、ブラウザ機能、電話帳機能など所定の機能群のうちのいずれか一つのアプリケーションを示すことにしてもよいし、電子メールの閲覧時や、電子メール機能から電話帳を呼び出し表示しているとき、あるいはブラウザのコンテンツ閲覧画面など所定の機能を動作させるときのように複合的に連携して動作させる複数のアプリケーションを示すことにしてもよいとして説明する。
【００３２】
制御部１０３には、アプリケーション判断部１０４を設け、アプリケーション処理部１０２がどのような動作を処理しているかを監視している。アプリケーション判断部１０４には、カメラ部２１を接続しており、アプリケーション処理部１０２の動作の内容により、例えば、電子メールの閲覧操作が始まったときに、覗き見防止モードを動作させ、カメラ部２１を動作させる。
【００３３】
ここで、覗き見防止モードとは、電子メールのように表示部２０に何らかの表示を行なっているときに、カメラ部２１を起動し、操作者と操作者の周辺を撮像し、撮像した画像の中から顔画像を抽出し、抽出した顔画像をその情報表示装置の専有者の顔画像や操作の一部や表示部の閲覧を承認している被承認者の顔画像と照合して、顔画像が不一致のときは、警告するという動作モードである。
【００３４】
覗き見防止モードが動作すると、第一段階の動作として、カメラ部２１で撮像した画像から、情報表示装置を操作している操作者の顔画像を抽出して制御部１０３の中にある顔検出部１０５に送る。制御部１０３は、送られてきた顔画像を電話帳データベース１０１に登録されている専有者の顔画像と照合するための専有者顔認識部１０６を持ち、顔検出部１０５に送られてきた顔画像と専有者の顔認を照合する。顔画像と専有者の顔画像が一致すれば専有者顔認識部１０６は、操作者に全ての操作を許可する。すなわち、操作者に全ての操作を許可した後は、入力部１０からの操作を受け入れて、その操作どおり動作させる。
【００３５】
操作者の顔画像と専有者の顔画像が一致しなければ、操作者が被承認者かどうかを照合する。すなわち、制御部１０３には、カメラ部２１で撮像した操作者の顔画像を、電話帳データベース１０１に登録されている被承認者の顔画像と照合するための被承認者顔認識部１０７を持ち、操作者の顔画像と被承認者の顔画像を照合する。操作者周辺の人物の顔画像と被承認者の顔画像が一致すれば被承認者顔認識部１０７は、被承認者に許されている操作のみを許可する。すなわち、入力部１０について許可された操作については、操作されたとおりに動作させるが、許可されていない操作については動作させない。
【００３６】
カメラ部２１で撮像した顔画像が専有者でも被承認者でもないときには、拒否対象者であるとして、入力部１０が操作されたとしても対応する動作をせず、表示部にはカメラ部２１がとらえた覗き見の状況を表示する。このことにより、専有者でも被承認者でもない人物に対して直接的に警告することができる。また、覗き見の状況の画像を保存することにしておけば、誰に覗き見されたことを証拠として残すことができる。
【００３７】
そして、覗き見防止モードの第二段階として、カメラ部２１で撮像した画像から、情報表示装置の操作者の周辺にいる人物の顔画像を抽出して顔検出部１０５に送る。制御部１０３では、顔検出部１０５に送られた顔画像について、専有者顔認識部１０６と被承認者顔認識部１０７がそれぞれ照合を行い、情報表示装置の操作者の周辺にいる人物の顔画像が専有者の顔画像でも被承認者の顔画像でもないときに、覗かれていると判定する。覗かれていると判定したときは、図示しないブザーで警告音を出すとともに、表示部２０に覗かれているという警告文を表示する。そして、カメラ部２１が撮像した画像を「覗き見の状況」として表示部２０に表示する。「覗き見の状況」が表示されると、携帯電話装置１００の操作者はもちろん、携帯電話装置１００を覗いている人物も見るので、覗き見している本人に直接的に警告することができる。
【００３８】
次に、本発明の携帯電話装置１００の覗き見防止モードの第一段階の動作を説明する。図３に、携帯電話装置１００の動作を説明するフローチャートを示す。ここでは、電子メールを表示するアプリケーション動作が始まったとして説明する。
【００３９】
まず、電子メール表示のアプリケーション動作が始まると（ステップＳ０１）、表示部を真正面から見ている人物の顔画像をカメラ部２１で撮像し、電話帳データベースに登録された顔画像と照合する。
【００４０】
カメラ部２１で撮像した顔画像と専有者の顔画像が一致すれば（ステップＳ０２のＹＥＳ）、制限なしで操作を続行させる(ステップＳ０３)。そしてアプリケーション動作が終われば、処理を終了する（ステップＳ０４）。もし、カメラ部２１で撮像した顔画像と専有者の顔画像が一致しなければ（ステップＳ０２のＮＯ）、カメラ部２１で撮像した顔画像と被承認者の顔画像を照合する。
【００４１】
カメラ部２１で撮像した顔画像と被承認者の顔画像が一致すれば（ステップＳ０５のＹＥＳ）、被承認者に設定されている許可内容を確認し（ステップＳ０６のＹＥＳ）、制限されている範囲での操作を続行する（ステップＳ０７）。もしステップＳ０５で、カメラ部２１で撮像した顔画像と被承認者の顔画像と一致しなければ（ステップＳ０５のＮＯ）、表示部を真正面から見ている人物は携帯電話装置１００の専有者でも被承認者でもない人物であり、覗き見をしていると判定する。
【００４２】
そして、覗き見をされていること、不正使用であることをブザーや音声メッセージなどの音声で通知するとともに、その後の操作に対する動作を停止する（ステップＳ０８）。そしてカメラ部２１が撮像した覗き見の状況を示す画像を表示部２０に表示するようにしている（ステップＳ０９）。
【００４３】
以上説明したとおり、本発明の実施の形態１では、携帯電話装置の操作者が専有者か被承認者かを照合するため、専有者または被承認者になりすまして携帯電話装置を操作すると、覗かれていると判定して、音と表示部で警告し、更に覗き見の状況を提示することができる。
【００４４】
次に、本発明の携帯電話装置１００の覗き見防止モードの第二段階の動作を説明する。覗き見防止モードの第二段階では、表示部を見ている真正面で見ている操作者の他に、操作者の周囲にいる人物の顔画像をカメラ画像から抽出して、専有者の顔画像ならびに被承認者の顔画像と照合する。
【００４５】
すなわち、表示部を真正面で見ている操作者の照合については前述のとおりであるが、更に、操作者の周囲にいる他の人物が表示部を覗き見していると判定した場合には、ユーザに警告音や警告メッセージで覗き見を通知し、覗き見の状況として、覗き見している人物の位置を示し、覗き見している人物から表示部が見えなくなるように視野角を変更するなどの処置を行う。
【００４６】
本発明の携帯電話装置１００の覗き見防止モードの第二段階の動作を、図４のフローチャートと図５、図６、図７の表示部の表示内容の遷移図を用いて説明する。
【００４７】
図４では、表示部２０の真正面にいる人物について、カメラ部２１で撮像した顔画像が専有者と一致したときの動作（ステップＳ０３）、被承認者と一致したときの動作（ステップＳ０７）、専有者とも被承認者とも一致しないときの動作（ステップＳ０８）は図３と同じである。
【００４８】
覗き見防止モードの第二段階では、表示部２０を真正面で見ている操作者に対しての処理動作を行なった後に、表示部２０を真正面で見ている操作者の周囲から覗き見されているか否かを判定する。より具体的には、カメラ部２１が撮像した画像の表示部２０の真正面を見ている人物の顔画像の周囲に他の顔画像があるかどうかを抽出し、抽出した顔画像の全員に対して、覗き見しているかどうかをチェックする。
【００４９】
例えば、表示部２０の真正面を見ている人物の顔画像を８人分抽出したときには、表示部２０の真正面を見ている人物に近い顔画像から一人ずつ順番に、目線が表示部２０を向いているか否かを８人全員についてチェックする。もし、目線が表示部２０を向いているときには、その人物の顔画像を電子電話帳に登録してある顔画像、すなわち専有者の顔画像および被承認者の顔画像と照合する。操作者の周囲の人物の顔画像が電子電話帳に登録してある顔画像と一致しないときは、周囲から覗き見していると判定する。このチェックを全員について行う（ステップＳ１０）。
【００５０】
画像の表示部２０の真正面を見ている人物の顔画像の周囲の顔画像の内の一人でも周囲から覗き見しているときには「覗き見されている」と判定する。覗き見されていると判定したときは（ステップＳ１１のＹＥＳ）、覗き見している人物の位置と覗き見している向きを分析し（ステップＳ１２）、図５に示すように、覗き見の具体的な状況を表示部２０に表示する。
【００５１】
図５では、覗き見の具体的な状況を頭の上から見た平面図として表示している。図５で、３０は携帯電話装置の表示部２０の位置と向きを示し、３１は視野範囲を示す線、３２は表示部の真正面に位置する操作者、３３は覗き見している人物を示している。「覗き見している向き」は、３３の人物の体の向きで示している。なお、３４は人物３２の周囲にいるが、視線が表示部２０を向いていないので、覗き見していない人物として実線ではなく破線で表現している（ステップＳ１３）。
【００５２】
そして、図６のように覗き見の回避方法を表示部２０に表示する。図６では、表示部２０の向きをどのように変えるべきかを、文字メッセージ４１と矢印４２、そして変えるべき表示部の向きを破線４３と二点鎖線４４で示している（ステップＳ１４）。そしてアプリケーション処理動作を終了する（ステップＳ１６）。
【００５３】
ステップＳ１１で、表示部２０の真正面を見ている操作者の顔画像の周囲に他の顔画像があったとしても、目線が表示部２０を向いていなければ、覗き見されていないと判定する。また、表示部２０の真正面を見ている操作者の顔画像の周囲に他の顔画像があって、目線が表示部２０を向いていたとしても、他の顔画像が電子電話帳の登録されている顔画像、つまり専有者の顔画像か被承認者の顔画像と一致したときも、専有者本人または閲覧を承認された人物であり、覗き見されていないと判定する（ステップＳ１１のＮＯ）。覗き見されていないと判定したときは、アプリケーション動作を行なって終了する。
【００５４】
なお、図５では、覗き見の具体的な状況を頭の上から見た平面図として表示したが、図７のように、カメラ部２１で撮像した画像の左右を鏡像反転して示してもよい。このことで、振り向かなくても状況が把握できる。また、このように現実的な画像を表示すると、この画面を覗き見している人物に対して、自分が覗き見している姿を見せることになるので、より強く警告できるという効果がある。
【００５５】
このことにより、表示部２０を真正面で見ている操作者の周囲の人物に覗かれていたときは、覗き見の具体的な状況が表示部に表示され、さらに覗き見の回避方法が表示部に示されるので、携帯電話装置の持ち方を変えたり、体の位置を変えたりすることによって覗き見されている状態から容易に脱却することができる。
【００５６】
（実施の形態２）
本発明の実施の形態２に係る情報表示装置を説明する。本発明の実施の形態２に係る情報表示装置である携帯電話装置２００は、操作者の周囲の人物が覗き見していると判定したときに、表示部２０に示した覗き見の回避方法を自動的に実行するようにした点に特徴がある。
【００５７】
図８に、本発明の実施の形態２に係る携帯電話装置２００の動作を説明するフローチャートを示す。図８は、既に説明した図４のフローチャートのステップＳ０１からステップＳ１４までは同じである。ステップＳ１４で例えば、図９のように、これから回避動作をすることを示し、ステップＳ１５で覗き見の回避方法を実行する。具体的には、表示部２０の液晶に与えている電圧を変えて視野角をずらして、覗き見している人物を視野角外に出している。
【００５８】
実施の形態２に係る携帯電話装置２００では、携帯電話装置が周囲で覗き見している人物を探し、その人物が表示部２０の閲覧を承認していない人物であるときは、自動的に視野角をずらしてその人物から表示部２０を見えなくしている。このことにより、例えば、実施の形態２に係る携帯電話装置２００で電子メールを見ているときに周囲から覗かれたとしても回避方法があれば、自動的に回避動作が実行されるので、そのまま安心して電子メールを見続けることができる。
【００５９】
（実施の形態３）
本発明の実施の形態３に係る情報表示装置を説明する。本発明の実施の形態３に係る情報表示装置は、特定のアプリケーション処理動作をするときに、覗き見防止モードになるようにしている。例えば、本発明の実施の形態３に係る情報表示装置の筐体が開いたとき、インターネットのウエブでセキュリティを実行するとき、電子メールを編集するかまたは閲覧するとき、自分が撮った写真を見るときに覗き見防止モードが動作するようにしている。
【００６０】
図１０に実施の形態３に係る情報表示装置である携帯電話装置３００の動作を示すフローチャートを示す。図１０では、携帯電話装置３００が開いたとき（ステップＳ２２）、インターネットのウエブでセキュリティを実行したとき（ステップＳ２３）、電子メールを編集するかまたは閲覧しているとき（ステップＳ２４）、自分が撮った写真を見るとき（ステップＳ２５）に、覗き見防止モードに移行している（ステップＳ２６）。
【００６１】
このように、本発明の携帯電話装置３００によれば、待ち受けやスクリーン表示以外の機能を動作させているとき、例えば筐体が開いたときには常に覗き見防止モードになる。また、筐体が開いていないときに所定のアプリケーションが動作したりしたときは、覗き見防止モードになる。そのため、本発明の携帯電話装置３００が覗き見される可能性のあるときには、その都度、携帯電話装置３００を操作して覗き見防止モードに設定しなくても、自動的に覗き見防止モードになる。
【００６２】
携帯電話装置３００では、上記のとき以外は覗き見防止モードにならないようにしているが、これ以外のとき、例えば携帯電話装置３００の初期設定画面を開いたときにも覗き見防止モードにすれば、シークレット設定の状況などを他人に見られることが無いので、初期設定をいたずらされる心配がないという効果がある。
【００６３】
（実施の形態４）
本発明の実施の形態４に係る情報表示装置を説明する。本発明の実施の形態４に係る情報表示装置は、実施の形態１で、情報表示装置の専有者でも被承認者でもない人物が表示部の真正面で覗き見したときに、予め定めた電話番号に発呼したり、予め定めたメールアドレスに対して電子メールを送信したりするようにしている。
【００６４】
図１１に、本発明の実施の形態４に係る情報表示装置である携帯電話装置の動作を説明するフローチャートを示す。図１１において、ステップＳ０８で覗き見と不正使用を図示しないブザーや文字表示で通知した後、ステップＳ３１で、予め定めた電話番号に発呼したり、予め定めたメールアドレスに対して電子メールを送信したりしている。
【００６５】
このことにより、紛失したあるいは盗難にあった情報表示装置を誰かが操作したときなどに情報表示装置の専有者の自宅や警察に自動的に連絡が入ることになる。
【００６６】
以上、実施の形態１から実施の形態４まで、情報表示装置の一つである携帯電話装置について説明したが、本発明の情報表示装置としては、携帯電話装置やその他の携帯端末装置に限らず、据え置き型のパーソナルコンピュータなどの情報表示装置であってもよい。据え置き型のパーソナルコンピュータでも、表示部の角度を変えたり視野角を変えたりして覗き見を回避することができ、電子メール等の通信手段も持っていることがあるからである。
【産業上の利用可能性】
【００６７】
本発明は、情報表示装置の専有者や情報表示装置の一部の操作や表示部の閲覧を承認された被承認者以外の人物に操作されたり、覗き見されたりしたときに、また周囲から覗きみをされたときに、覗かれた状況が表示部に表示されるので、覗かれている状況が具体的にわかり、すぐに覗き見の回避行動がとれるものであり、さらに自動的に回避動作を行なうようにしている。そのため、本発明の情報表示装置としては、上記説明した携帯電話装置以外に、携帯型パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｃｔａｎｔｓ）や、携帯型ゲーム機、携帯型デジタルテレビ受信機、据え置き型のパーソナルコンピュータなどに適用できる。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態１に係る携帯電話装置の外観図
【図２】本発明の実施の形態１に係る携帯電話装置のブロック図
【図３】本発明の実施の形態１に係る携帯電話装置の動作を示すフローチャート
【図４】本発明の実施の形態１に係る携帯電話装置の動作を示すフローチャート
【図５】本発明の実施の形態１に係る携帯電話装置の動作中の表示内容を示す図
【図６】本発明の実施の形態１に係る携帯電話装置の動作中の表示内容を示す図
【図７】本発明の実施の形態１に係る携帯電話装置の動作中の表示内容を示す図
【図８】本発明の実施の形態２に係る携帯電話装置の動作を示すフローチャート
【図９】本発明の実施の形態２に係る携帯電話装置の動作中の表示内容を示す図
【図１０】本発明の実施の形態３に係る携帯電話装置の動作を示すフローチャート
【図１１】本発明の実施の形態４に係る携帯電話装置の動作を示すフローチャート
【符号の説明】
【００６９】
１０ 入力部
２０ 表示部
２１ カメラ部
１０１ 電話帳データベース
１０３ 制御部
１０４ アプリケーション判断部
１０５ 顔検出部
１０６ 専有者顔認識部
１０７ 被承認者顔認識部
【技術分野】
【０００１】
本発明は所定のアプリケーションに対応する画面を表示部に表示する情報表示装置に関し、特に電子メール機能、ブラウザ機能、電話帳機能などのアプリケーションを動作させ、情報表示装置の表示部に電子メールやインターネットのコンテンツなどを表示している際に、覗き見されていることを検知して警告する情報表示装置に関する。
【背景技術】
【０００２】
携帯電話装置をはじめとする情報表示装置は、使用する場所を選ばない。そのため、駅の構内や電車の中などで、電子メールやインターネットのコンテンツを表示しているときに、表示画面を他人に覗かれしまうことがある。また、据え置き型のパーソナルコンピュータなどの情報表示装置についても、電子メールやインターネットのコンテンツを表示しているときに、表示画面を他人に覗かれしまうことがある。
【０００３】
例えば現金自動預け入れ支払機（ＡＴＭ装置）において、操作時に他人が覗き見可能な位置にいるときは注意を促すことが提案されている（例えば、特許文献１参照）。
【０００４】
また、現金自動預け入れ支払機の操作者自身についても、その銀行口座についてパスワード入力時点からカメラの画像解析を行い、銀行口座利用者本人以外の人物であることを検知したら、警告したり特定の電話番号への通知をしたりすることが提案されている（例えば、特許文献２参照）。
【０００５】
従来の携帯電話装置の覗き見防止方法として実用化されているものに、いわゆる覗き見防止シートを貼る方法がある。覗き見防止シートを携帯電話装置の表示部に貼ると表示部の視野角は狭まり、視野角の外になった人からは表示部の内容が見えなくなる。しかし、電車の中など、自分の頭部の真後ろに他人の頭部があるときは、狭い視野角内に他人の目が入ってしまい、簡単に覗かれてしまうことがある。この場合、覗かれていても気づかないことが多い。また、視野角を狭める覗き見防止シートを貼っていると、携帯電話の表示部に表示した内容を友達などの複数の人に同時に見せるのには不便である。
【０００６】
上記現金自動預け入れ支払機のように携帯電話装置でも、操作者の近くにいる人物が表示画面を覗き見しているかどうかを装置自身が判断して、警告してくれれば便利である。また、携帯電話装置を操作している者が所有者本人でないときには、そのことを装置自身が判断して、操作を禁止してくれれば、携帯電話装置の電子メールや電話帳情報などの個人情報を覗かれることが無くて便利である。
【０００７】
そこで、カメラ付き携帯電話装置についても、表示部の近くに設けたカメラを利用して、表示部を見ることができる所定範囲内の人物の虹彩の情報を抽出して、予め記憶手段に登録してある虹彩データと照合し、誰かに覗かれていると判定したときは警告し、表示を中断して表示内容を覗かれないようにする方法が提案されている。しかし理論的には、虹彩認識技術を覗き見検出に用いるのは可能であろうが、照合する前に携帯電話装置の操作や表示部の閲覧を許される複数の人々の虹彩データを予め登録しておく必要があるなど、使い勝手の面から、一般的な携帯電話装置に簡単に搭載できるかどうか疑問であった（例えば、特許文献３参照）。
【０００８】
また、携帯電話装置の表示内容を誰かに覗かれていると警告された場合でも、表示部を見続けたいときがある。そのような場合には、表示しつづけている携帯電話装置を持つ手の角度を変えたり、自分の体の向きを変えたりして覗き見を回避する行動を取り、覗いている他人から見えない位置や角度に表示部をずらすことができれば便利である。このことは、据え置き型のパーソナルコンピュータなどの情報表示装置についても同様である。
【０００９】
しかし、従来の技術は、覗き見されていることを単純に警告するにとどまり、誰にどの向きから覗かれているかを示すことについては全く配慮されていない。そのため覗き見されていることが分かったとしても、どのように携帯電話装置の持ち方を変えればよいか、あるいは自分の体の向きを変えればよいか、画面の角度を変えればよいか、ウィンドウを閉じればよいかなどがわからなかった。
【特許文献１】特開２００６−３１２８７号公報
【特許文献２】特開２００６−３９８４１号公報
【特許文献３】特開２００３−２６４８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、情報表示装置の所有者など、情報表示装置を専有して全ての操作ができる人物（以下、説明を簡単にするために「専有者」と称する）と、一部の操作と表示部の閲覧を「専有者」から承認された「被承認者」を簡単に登録することができ、操作者が「専有者」であるか、「被承認者」であるかを認識して制御することができる情報表示装置を実現することを第一の課題としている。
【００１１】
また、本発明は、「専有者」や「被承認者」以外の、情報表示装置の操作や表示部の表示内容の閲覧を承認されていない人物が情報表示装置の表示部の表示内容を覗き見たときには、そのことを検知して警告するとともに、予め定めた者の電話装置や電子メール受信機に覗き見られていることを通知することができ、更に情報表示装置に対してどの位置にいる人物が覗き見しているかを示すことができる情報表示装置を実現することを第二の課題としている。
【００１２】
更に、本発明は、情報表示装置に対してどの位置にいる人物が覗き見しているかを示すだけにとどまらず、覗き見している人物の視線をさえぎるように表示部の視野角を変える方法など、覗き見を回避する具体的な方法を操作者に示し、また具体的な方法を自動的に実行する情報表示装置を実現することを第三の課題としている。
【課題を解決するための手段】
【００１３】
本発明は、所定のアプリケーションに対応する画面を表示部に表示する情報表示装置において、表示部の近傍に配置したカメラ手段と、顔画像データベースと、顔画像照合手段と、覗き見状況分析手段とを設け、顔画像データベースには、情報表示装置の専有者の顔画像と被承認者の顔画像を記憶しておき、情報表示装置のアプリケーションが動作すると、カメラ手段は表示部に対向する領域を撮像し、顔画像照合手段は、撮像した画像から顔画像を抽出し、抽出した顔画像と顔画像データベースに記憶した顔画像とを照合し、覗き見状況分析手段は顔画像照合手段が照合した結果、予め記憶させた顔画像が一致しないときには、覗き見されていると判定し、判定結果を表示手段に示すよう構成している。
【００１４】
そのため、情報表示装置の操作者が電子メール閲覧やインターネットのコンテンツ画閲覧面などの所定のアプリケーションを動作させると、カメラにより、操作者とその周辺にいる人物の画像認識を行い、操作や表示部の閲覧を承認されていない人物が検知された場合は、操作者にその旨を音声や文字などを出力して通知するだけでなく、覗き見状況を表示する。
【００１５】
なお、ここで所定のアプリケーションとは、電子メール機能、ブラウザ機能、電話帳機能など所定の機能群のうちのいずれか一つのアプリケーションを示すことにしてもよいし、電子メールの閲覧時や、電子メール機能から電話帳を呼び出し表示しているとき、あるいはブラウザのコンテンツ閲覧画面など所定の機能を動作させるときのように複合的に連携して動作させる複数のアプリケーションを示すことにしてもよい。
【００１６】
そのため、使用するアプリケーションに応じた機能の制御について、専有者と被承認者だけが端末を閲覧できるようになるため、ユーザの利便性を損なわずに覗き見を防止できるだけでなく、覗き見されている状況が把握できる。
【００１７】
また本発明は、情報表示装置を操作している操作者の周囲から覗き見されたときは、操作者にその旨を音声や文字などを出力して通知するだけでなく、覗き見状況を提示し、さらに覗き見を回避する方法を示し、そして覗き見を回避する方法を自動的に実行するように構成している。
【００１８】
このため、情報表示装置を操作している操作者の周囲から覗き見されたときは、警告するだけでなく、状況が把握でき、覗き見の回避方法もわかるので、覗き見している人物の視野をさえぎるように行動することができる。特に、自動的に回避動作をするようにした情報表示装置では、覗き見されたとしてもそのまま特別な行動をとらなくても、覗き見している人物の視野をさえぎるように覗き見を回避することができる。
【００１９】
また本発明は、情報表示装置の待ち受けやスクリーン表示以外の機能を動作させているとき、例えば筐体が開いたときには常に覗き見防止モードにしたり、筐体が開いていないときに所定のアプリケーションが動作したりしたときは、覗き見防止モードにするようにしている。
【００２０】
このため、本発明の情報表示装置が覗き見される可能性のあるときに、自動的に覗き見防止モードにすることができる。
【発明の効果】
【００２１】
本発明によれば、カメラ部で撮像した操作者の顔画像と、情報表示装置の専有者の顔画像または被承認者の顔画像を照合することにより、情報表示装置を操作する者が、情報表示装置の専有者または被承認者であることを確認するので、情報表示装置を操作したり、表示部を閲覧したりできる人を専有者と被承認者に制限できる。
【００２２】
その結果、専有者へのなりすましや被承認者へのなりすましを防止できる。人物ごとに操作できる範囲や表示部を閲覧できる範囲を制限するという使い方ができるという効果がある。また、情報表示装置に対してどの位置にいる人物がどの向きから覗き見をしているのかを示すことができる。そして、覗き見している人物の視野をさえぎるように表示部の視野角を変化させる覗き見回避方法を提示すことができる。また、自動的に覗き見を回避するために視野角を変化さることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態では、情報表示装置の一つである携帯電話装置について説明する。
【００２４】
（実施の形態１）
本発明の実施の形態１に係る情報表示装置は、使用時には表示部を真正面で見ている操作者のカメラ画像から顔画像を抽出し、予め携帯電話装置に記憶した顔画像付き電子電話帳などの顔画像データベースに登録した専有者および被承認者の顔画像を照合し、表示部を真正面で見ている人物が専有者でなく、被承認者でもない人物だと検知された場合には、専有者や被承認者でない人物が覗き見していると判定し、警告音や警告メッセージで覗き見されていることを通知し、覗き見の状況を提示し、その後、情報表示装置で行なわれる操作を停止する。
【００２５】
図１に、本発明の実施の形態１に係る携帯電話装置１００の外観図を示す。携帯電話装置１００は、テンキーなどの入力部１０を設けた第一の筐体１と、液晶表示手段などからなる表示部２０と、ＣＣＤカメラなどからなるカメラ部２１を設けた第二の筐体２をヒンジ部３により開閉可能に結合した折り畳み式携帯電話装置として構成している。携帯電話装置１００の図示していない記憶装置には、電子電話帳があり、電話番号とその携帯電話装置を専ら使用する専有者の氏名と顔画像を登録し、更に専有者が一部の操作や表示部の閲覧を承認した被承認者の電話番号、氏名と顔画像を登録している。専有者および被承認者以外の人物については、電話番号と氏名を登録している。ここで顔画像については、携帯電話装置１００の専有者の顔画像と、被承認者の顔画像だけを登録し、それ以外の人々の電子電話帳には顔画像を登録していないとして説明する。
【００２６】
携帯電話装置１００を使用するときは、第一の筐体１を操作者が手で持ち、第二の筐体２を開いて表示部２０に電子メールの文章や、インターネットからダウンロードしたコンテンツの画面を表示して見ることができる。
【００２７】
表示部２０に表示した電子メールの文章やコンテンツ画面を見るという操作がされたときには、携帯電話装置１００はカメラ部２１を起動して、表示部２０を見ている操作者とその周辺の光景を撮像する。そして、撮像した画像について顔画像を抽出する。顔画像があれば電子電話帳に登録されている顔画像と照合する。顔画像が専有者または被承認者の顔画像と一致したときは、全てまたは一部の操作を可能にしたり、表示部の表示内容の閲覧動作を可能にしたりする。
【００２８】
もし、カメラ部２１で撮像した顔画像が、電子電話帳に登録されている専有者および被承認者の顔画像と一致しないときは、覗かれていると判定する。覗かれていると判定したときは、図示しないブザーや表示部２０に警告文を表示するなどして警告する。また、覗き見の状況を提示する。すなわち、覗いている人物が携帯電話装置１００に対してどの位置にいて、どの向きから覗き見しているかを割り出して、覗き見している人物の携帯電話装置１００に対する位置と、覗き見している向きを表示部２０に表示する。そして、動作し始めたアプリケーションを終了させる。
【００２９】
図２に、携帯電話装置１００の本発明の特徴部分のブロック図を示す。図２では、電話通信機能等の一般的な機能に関するブロックについては記載を省略している。図２では、カメラ部２１、入力部１０、表示部２０、電話帳データベース１０１、そしてアプリケーション処理部１０２が制御部１０３に接続していることを示している。
【００３０】
ここで、カメラ部２１、入力部１０、表示部２０、電話帳データベース１０１については既に説明した通りである。特に、電話帳データベース１０１は、携帯電話装置１００の専有者１０８のプロフィール、つまり住所、氏名、年齢、顔画像などを登録してある他、携帯電話装置１００の一部の操作と表示部の閲覧を承認された複数の被承認者１０９の顔画像付きのプロフィールを登録している。また、電話帳データベース１０１には、顔画像なしの電話帳データ１１０については全ての操作と閲覧を拒否する拒否対象者として登録していることを示している。
【００３１】
アプリケーション処理部１０２は、電子メールのアプリケーション動作や、インターネットのブウザのアプリケーション動作などの具体的な動作を実行する。なお、ここで所定のアプリケーションとは、電子メール機能、ブラウザ機能、電話帳機能など所定の機能群のうちのいずれか一つのアプリケーションを示すことにしてもよいし、電子メールの閲覧時や、電子メール機能から電話帳を呼び出し表示しているとき、あるいはブラウザのコンテンツ閲覧画面など所定の機能を動作させるときのように複合的に連携して動作させる複数のアプリケーションを示すことにしてもよいとして説明する。
【００３２】
制御部１０３には、アプリケーション判断部１０４を設け、アプリケーション処理部１０２がどのような動作を処理しているかを監視している。アプリケーション判断部１０４には、カメラ部２１を接続しており、アプリケーション処理部１０２の動作の内容により、例えば、電子メールの閲覧操作が始まったときに、覗き見防止モードを動作させ、カメラ部２１を動作させる。
【００３３】
ここで、覗き見防止モードとは、電子メールのように表示部２０に何らかの表示を行なっているときに、カメラ部２１を起動し、操作者と操作者の周辺を撮像し、撮像した画像の中から顔画像を抽出し、抽出した顔画像をその情報表示装置の専有者の顔画像や操作の一部や表示部の閲覧を承認している被承認者の顔画像と照合して、顔画像が不一致のときは、警告するという動作モードである。
【００３４】
覗き見防止モードが動作すると、第一段階の動作として、カメラ部２１で撮像した画像から、情報表示装置を操作している操作者の顔画像を抽出して制御部１０３の中にある顔検出部１０５に送る。制御部１０３は、送られてきた顔画像を電話帳データベース１０１に登録されている専有者の顔画像と照合するための専有者顔認識部１０６を持ち、顔検出部１０５に送られてきた顔画像と専有者の顔認を照合する。顔画像と専有者の顔画像が一致すれば専有者顔認識部１０６は、操作者に全ての操作を許可する。すなわち、操作者に全ての操作を許可した後は、入力部１０からの操作を受け入れて、その操作どおり動作させる。
【００３５】
操作者の顔画像と専有者の顔画像が一致しなければ、操作者が被承認者かどうかを照合する。すなわち、制御部１０３には、カメラ部２１で撮像した操作者の顔画像を、電話帳データベース１０１に登録されている被承認者の顔画像と照合するための被承認者顔認識部１０７を持ち、操作者の顔画像と被承認者の顔画像を照合する。操作者周辺の人物の顔画像と被承認者の顔画像が一致すれば被承認者顔認識部１０７は、被承認者に許されている操作のみを許可する。すなわち、入力部１０について許可された操作については、操作されたとおりに動作させるが、許可されていない操作については動作させない。
【００３６】
カメラ部２１で撮像した顔画像が専有者でも被承認者でもないときには、拒否対象者であるとして、入力部１０が操作されたとしても対応する動作をせず、表示部にはカメラ部２１がとらえた覗き見の状況を表示する。このことにより、専有者でも被承認者でもない人物に対して直接的に警告することができる。また、覗き見の状況の画像を保存することにしておけば、誰に覗き見されたことを証拠として残すことができる。
【００３７】
そして、覗き見防止モードの第二段階として、カメラ部２１で撮像した画像から、情報表示装置の操作者の周辺にいる人物の顔画像を抽出して顔検出部１０５に送る。制御部１０３では、顔検出部１０５に送られた顔画像について、専有者顔認識部１０６と被承認者顔認識部１０７がそれぞれ照合を行い、情報表示装置の操作者の周辺にいる人物の顔画像が専有者の顔画像でも被承認者の顔画像でもないときに、覗かれていると判定する。覗かれていると判定したときは、図示しないブザーで警告音を出すとともに、表示部２０に覗かれているという警告文を表示する。そして、カメラ部２１が撮像した画像を「覗き見の状況」として表示部２０に表示する。「覗き見の状況」が表示されると、携帯電話装置１００の操作者はもちろん、携帯電話装置１００を覗いている人物も見るので、覗き見している本人に直接的に警告することができる。
【００３８】
次に、本発明の携帯電話装置１００の覗き見防止モードの第一段階の動作を説明する。図３に、携帯電話装置１００の動作を説明するフローチャートを示す。ここでは、電子メールを表示するアプリケーション動作が始まったとして説明する。
【００３９】
まず、電子メール表示のアプリケーション動作が始まると（ステップＳ０１）、表示部を真正面から見ている人物の顔画像をカメラ部２１で撮像し、電話帳データベースに登録された顔画像と照合する。
【００４０】
カメラ部２１で撮像した顔画像と専有者の顔画像が一致すれば（ステップＳ０２のＹＥＳ）、制限なしで操作を続行させる(ステップＳ０３)。そしてアプリケーション動作が終われば、処理を終了する（ステップＳ０４）。もし、カメラ部２１で撮像した顔画像と専有者の顔画像が一致しなければ（ステップＳ０２のＮＯ）、カメラ部２１で撮像した顔画像と被承認者の顔画像を照合する。
【００４１】
カメラ部２１で撮像した顔画像と被承認者の顔画像が一致すれば（ステップＳ０５のＹＥＳ）、被承認者に設定されている許可内容を確認し（ステップＳ０６のＹＥＳ）、制限されている範囲での操作を続行する（ステップＳ０７）。もしステップＳ０５で、カメラ部２１で撮像した顔画像と被承認者の顔画像と一致しなければ（ステップＳ０５のＮＯ）、表示部を真正面から見ている人物は携帯電話装置１００の専有者でも被承認者でもない人物であり、覗き見をしていると判定する。
【００４２】
そして、覗き見をされていること、不正使用であることをブザーや音声メッセージなどの音声で通知するとともに、その後の操作に対する動作を停止する（ステップＳ０８）。そしてカメラ部２１が撮像した覗き見の状況を示す画像を表示部２０に表示するようにしている（ステップＳ０９）。
【００４３】
以上説明したとおり、本発明の実施の形態１では、携帯電話装置の操作者が専有者か被承認者かを照合するため、専有者または被承認者になりすまして携帯電話装置を操作すると、覗かれていると判定して、音と表示部で警告し、更に覗き見の状況を提示することができる。
【００４４】
次に、本発明の携帯電話装置１００の覗き見防止モードの第二段階の動作を説明する。覗き見防止モードの第二段階では、表示部を見ている真正面で見ている操作者の他に、操作者の周囲にいる人物の顔画像をカメラ画像から抽出して、専有者の顔画像ならびに被承認者の顔画像と照合する。
【００４５】
すなわち、表示部を真正面で見ている操作者の照合については前述のとおりであるが、更に、操作者の周囲にいる他の人物が表示部を覗き見していると判定した場合には、ユーザに警告音や警告メッセージで覗き見を通知し、覗き見の状況として、覗き見している人物の位置を示し、覗き見している人物から表示部が見えなくなるように視野角を変更するなどの処置を行う。
【００４６】
本発明の携帯電話装置１００の覗き見防止モードの第二段階の動作を、図４のフローチャートと図５、図６、図７の表示部の表示内容の遷移図を用いて説明する。
【００４７】
図４では、表示部２０の真正面にいる人物について、カメラ部２１で撮像した顔画像が専有者と一致したときの動作（ステップＳ０３）、被承認者と一致したときの動作（ステップＳ０７）、専有者とも被承認者とも一致しないときの動作（ステップＳ０８）は図３と同じである。
【００４８】
覗き見防止モードの第二段階では、表示部２０を真正面で見ている操作者に対しての処理動作を行なった後に、表示部２０を真正面で見ている操作者の周囲から覗き見されているか否かを判定する。より具体的には、カメラ部２１が撮像した画像の表示部２０の真正面を見ている人物の顔画像の周囲に他の顔画像があるかどうかを抽出し、抽出した顔画像の全員に対して、覗き見しているかどうかをチェックする。
【００４９】
例えば、表示部２０の真正面を見ている人物の顔画像を８人分抽出したときには、表示部２０の真正面を見ている人物に近い顔画像から一人ずつ順番に、目線が表示部２０を向いているか否かを８人全員についてチェックする。もし、目線が表示部２０を向いているときには、その人物の顔画像を電子電話帳に登録してある顔画像、すなわち専有者の顔画像および被承認者の顔画像と照合する。操作者の周囲の人物の顔画像が電子電話帳に登録してある顔画像と一致しないときは、周囲から覗き見していると判定する。このチェックを全員について行う（ステップＳ１０）。
【００５０】
画像の表示部２０の真正面を見ている人物の顔画像の周囲の顔画像の内の一人でも周囲から覗き見しているときには「覗き見されている」と判定する。覗き見されていると判定したときは（ステップＳ１１のＹＥＳ）、覗き見している人物の位置と覗き見している向きを分析し（ステップＳ１２）、図５に示すように、覗き見の具体的な状況を表示部２０に表示する。
【００５１】
図５では、覗き見の具体的な状況を頭の上から見た平面図として表示している。図５で、３０は携帯電話装置の表示部２０の位置と向きを示し、３１は視野範囲を示す線、３２は表示部の真正面に位置する操作者、３３は覗き見している人物を示している。「覗き見している向き」は、３３の人物の体の向きで示している。なお、３４は人物３２の周囲にいるが、視線が表示部２０を向いていないので、覗き見していない人物として実線ではなく破線で表現している（ステップＳ１３）。
【００５２】
そして、図６のように覗き見の回避方法を表示部２０に表示する。図６では、表示部２０の向きをどのように変えるべきかを、文字メッセージ４１と矢印４２、そして変えるべき表示部の向きを破線４３と二点鎖線４４で示している（ステップＳ１４）。そしてアプリケーション処理動作を終了する（ステップＳ１６）。
【００５３】
ステップＳ１１で、表示部２０の真正面を見ている操作者の顔画像の周囲に他の顔画像があったとしても、目線が表示部２０を向いていなければ、覗き見されていないと判定する。また、表示部２０の真正面を見ている操作者の顔画像の周囲に他の顔画像があって、目線が表示部２０を向いていたとしても、他の顔画像が電子電話帳の登録されている顔画像、つまり専有者の顔画像か被承認者の顔画像と一致したときも、専有者本人または閲覧を承認された人物であり、覗き見されていないと判定する（ステップＳ１１のＮＯ）。覗き見されていないと判定したときは、アプリケーション動作を行なって終了する。
【００５４】
なお、図５では、覗き見の具体的な状況を頭の上から見た平面図として表示したが、図７のように、カメラ部２１で撮像した画像の左右を鏡像反転して示してもよい。このことで、振り向かなくても状況が把握できる。また、このように現実的な画像を表示すると、この画面を覗き見している人物に対して、自分が覗き見している姿を見せることになるので、より強く警告できるという効果がある。
【００５５】
このことにより、表示部２０を真正面で見ている操作者の周囲の人物に覗かれていたときは、覗き見の具体的な状況が表示部に表示され、さらに覗き見の回避方法が表示部に示されるので、携帯電話装置の持ち方を変えたり、体の位置を変えたりすることによって覗き見されている状態から容易に脱却することができる。
【００５６】
（実施の形態２）
本発明の実施の形態２に係る情報表示装置を説明する。本発明の実施の形態２に係る情報表示装置である携帯電話装置２００は、操作者の周囲の人物が覗き見していると判定したときに、表示部２０に示した覗き見の回避方法を自動的に実行するようにした点に特徴がある。
【００５７】
図８に、本発明の実施の形態２に係る携帯電話装置２００の動作を説明するフローチャートを示す。図８は、既に説明した図４のフローチャートのステップＳ０１からステップＳ１４までは同じである。ステップＳ１４で例えば、図９のように、これから回避動作をすることを示し、ステップＳ１５で覗き見の回避方法を実行する。具体的には、表示部２０の液晶に与えている電圧を変えて視野角をずらして、覗き見している人物を視野角外に出している。
【００５８】
実施の形態２に係る携帯電話装置２００では、携帯電話装置が周囲で覗き見している人物を探し、その人物が表示部２０の閲覧を承認していない人物であるときは、自動的に視野角をずらしてその人物から表示部２０を見えなくしている。このことにより、例えば、実施の形態２に係る携帯電話装置２００で電子メールを見ているときに周囲から覗かれたとしても回避方法があれば、自動的に回避動作が実行されるので、そのまま安心して電子メールを見続けることができる。
【００５９】
（実施の形態３）
本発明の実施の形態３に係る情報表示装置を説明する。本発明の実施の形態３に係る情報表示装置は、特定のアプリケーション処理動作をするときに、覗き見防止モードになるようにしている。例えば、本発明の実施の形態３に係る情報表示装置の筐体が開いたとき、インターネットのウエブでセキュリティを実行するとき、電子メールを編集するかまたは閲覧するとき、自分が撮った写真を見るときに覗き見防止モードが動作するようにしている。
【００６０】
図１０に実施の形態３に係る情報表示装置である携帯電話装置３００の動作を示すフローチャートを示す。図１０では、携帯電話装置３００が開いたとき（ステップＳ２２）、インターネットのウエブでセキュリティを実行したとき（ステップＳ２３）、電子メールを編集するかまたは閲覧しているとき（ステップＳ２４）、自分が撮った写真を見るとき（ステップＳ２５）に、覗き見防止モードに移行している（ステップＳ２６）。
【００６１】
このように、本発明の携帯電話装置３００によれば、待ち受けやスクリーン表示以外の機能を動作させているとき、例えば筐体が開いたときには常に覗き見防止モードになる。また、筐体が開いていないときに所定のアプリケーションが動作したりしたときは、覗き見防止モードになる。そのため、本発明の携帯電話装置３００が覗き見される可能性のあるときには、その都度、携帯電話装置３００を操作して覗き見防止モードに設定しなくても、自動的に覗き見防止モードになる。
【００６２】
携帯電話装置３００では、上記のとき以外は覗き見防止モードにならないようにしているが、これ以外のとき、例えば携帯電話装置３００の初期設定画面を開いたときにも覗き見防止モードにすれば、シークレット設定の状況などを他人に見られることが無いので、初期設定をいたずらされる心配がないという効果がある。
【００６３】
（実施の形態４）
本発明の実施の形態４に係る情報表示装置を説明する。本発明の実施の形態４に係る情報表示装置は、実施の形態１で、情報表示装置の専有者でも被承認者でもない人物が表示部の真正面で覗き見したときに、予め定めた電話番号に発呼したり、予め定めたメールアドレスに対して電子メールを送信したりするようにしている。
【００６４】
図１１に、本発明の実施の形態４に係る情報表示装置である携帯電話装置の動作を説明するフローチャートを示す。図１１において、ステップＳ０８で覗き見と不正使用を図示しないブザーや文字表示で通知した後、ステップＳ３１で、予め定めた電話番号に発呼したり、予め定めたメールアドレスに対して電子メールを送信したりしている。
【００６５】
このことにより、紛失したあるいは盗難にあった情報表示装置を誰かが操作したときなどに情報表示装置の専有者の自宅や警察に自動的に連絡が入ることになる。
【００６６】
以上、実施の形態１から実施の形態４まで、情報表示装置の一つである携帯電話装置について説明したが、本発明の情報表示装置としては、携帯電話装置やその他の携帯端末装置に限らず、据え置き型のパーソナルコンピュータなどの情報表示装置であってもよい。据え置き型のパーソナルコンピュータでも、表示部の角度を変えたり視野角を変えたりして覗き見を回避することができ、電子メール等の通信手段も持っていることがあるからである。
【産業上の利用可能性】
【００６７】
本発明は、情報表示装置の専有者や情報表示装置の一部の操作や表示部の閲覧を承認された被承認者以外の人物に操作されたり、覗き見されたりしたときに、また周囲から覗きみをされたときに、覗かれた状況が表示部に表示されるので、覗かれている状況が具体的にわかり、すぐに覗き見の回避行動がとれるものであり、さらに自動的に回避動作を行なうようにしている。そのため、本発明の情報表示装置としては、上記説明した携帯電話装置以外に、携帯型パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｃｔａｎｔｓ）や、携帯型ゲーム機、携帯型デジタルテレビ受信機、据え置き型のパーソナルコンピュータなどに適用できる。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態１に係る携帯電話装置の外観図
【図２】本発明の実施の形態１に係る携帯電話装置のブロック図
【図３】本発明の実施の形態１に係る携帯電話装置の動作を示すフローチャート
【図４】本発明の実施の形態１に係る携帯電話装置の動作を示すフローチャート
【図５】本発明の実施の形態１に係る携帯電話装置の動作中の表示内容を示す図
【図６】本発明の実施の形態１に係る携帯電話装置の動作中の表示内容を示す図
【図７】本発明の実施の形態１に係る携帯電話装置の動作中の表示内容を示す図
【図８】本発明の実施の形態２に係る携帯電話装置の動作を示すフローチャート
【図９】本発明の実施の形態２に係る携帯電話装置の動作中の表示内容を示す図
【図１０】本発明の実施の形態３に係る携帯電話装置の動作を示すフローチャート
【図１１】本発明の実施の形態４に係る携帯電話装置の動作を示すフローチャート
【符号の説明】
【００６９】
１０ 入力部
２０ 表示部
２１ カメラ部
１０１ 電話帳データベース
１０３ 制御部
１０４ アプリケーション判断部
１０５ 顔検出部
１０６ 専有者顔認識部
１０７ 被承認者顔認識部
【特許請求の範囲】
【請求項１】
所定のアプリケーションに対応する画面を表示部に表示する情報表示装置において、
前記表示部の近傍に配置したカメラ手段と、
顔画像データベースと、
顔画像照合手段と、
覗き見状況分析手段と、を設け、
前記顔画像データベースには、情報表示装置の専有者の顔画像と被承認者の顔画像を記憶しておき、
前記情報表示装置の前記アプリケーションが動作すると、
前記カメラ手段は前記表示部に対向する領域を撮像し、
前記顔画像照合手段は、前記撮像した画像から顔画像を抽出し、前記抽出した顔画像と前記顔画像データベースに記憶した顔画像とを照合し、
前記覗き見状況分析手段は前記顔画像照合手段が照合した結果、予め記憶させた顔画像が一致しないときには、覗き見されていると判定し、前記判定結果を前記表示手段に示すよう構成した情報表示装置。
【請求項２】
前記覗き見状況分析手段は、前記カメラ手段で撮像した画像について覗き見の状況を分析した結果から、前記表示部の向きを変更して覗き見を回避する方法を求め、前記表示部に表示するようにしたことを特徴とする請求項１に記載の情報表示装置。
【請求項３】
前記覗き見状況分析手段が覗き見の状況を分析した結果から、前記表示部の向きを変更して覗き見を回避する方法を実行するようにしたことを特徴とする請求項１に記載の情報表示装置。
【請求項１】
所定のアプリケーションに対応する画面を表示部に表示する情報表示装置において、
前記表示部の近傍に配置したカメラ手段と、
顔画像データベースと、
顔画像照合手段と、
覗き見状況分析手段と、を設け、
前記顔画像データベースには、情報表示装置の専有者の顔画像と被承認者の顔画像を記憶しておき、
前記情報表示装置の前記アプリケーションが動作すると、
前記カメラ手段は前記表示部に対向する領域を撮像し、
前記顔画像照合手段は、前記撮像した画像から顔画像を抽出し、前記抽出した顔画像と前記顔画像データベースに記憶した顔画像とを照合し、
前記覗き見状況分析手段は前記顔画像照合手段が照合した結果、予め記憶させた顔画像が一致しないときには、覗き見されていると判定し、前記判定結果を前記表示手段に示すよう構成した情報表示装置。
【請求項２】
前記覗き見状況分析手段は、前記カメラ手段で撮像した画像について覗き見の状況を分析した結果から、前記表示部の向きを変更して覗き見を回避する方法を求め、前記表示部に表示するようにしたことを特徴とする請求項１に記載の情報表示装置。
【請求項３】
前記覗き見状況分析手段が覗き見の状況を分析した結果から、前記表示部の向きを変更して覗き見を回避する方法を実行するようにしたことを特徴とする請求項１に記載の情報表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−９３３９９（Ｐ２００９−９３３９９Ａ）
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願番号】特願２００７−２６３１０４（Ｐ２００７−２６３１０４）
【出願日】平成１９年１０月９日（２００７．１０．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願日】平成１９年１０月９日（２００７．１０．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]