操作入力システム
【課題】入力中の操作画面を第三者に見られても、入力内容が漏洩することのない操作入力システムを提供する。
【解決手段】複合機１０の操作パネル３０は、パスワードなどセキュリティ情報の入力を受ける場合に、操作画面上に所定のキー配置で入力キー６１を設定し、この入力キー非表示の操作画面を操作パネル３０に表示すると共に、設定した入力キーに対する操作をタッチパネルで受け付ける。携帯端末４０は操作者が操作パネル３０を操作する様子をカメラ４２で撮影し、このカメラ画像内の操作パネル３０の位置・サイズを解析し、このカメラ画像に入力キーの模擬画像を位置合わせして合成した合成画像を表示する。ユーザは携帯端末４０を見ながら操作パネル３０から入力操作を行う。
【解決手段】複合機１０の操作パネル３０は、パスワードなどセキュリティ情報の入力を受ける場合に、操作画面上に所定のキー配置で入力キー６１を設定し、この入力キー非表示の操作画面を操作パネル３０に表示すると共に、設定した入力キーに対する操作をタッチパネルで受け付ける。携帯端末４０は操作者が操作パネル３０を操作する様子をカメラ４２で撮影し、このカメラ画像内の操作パネル３０の位置・サイズを解析し、このカメラ画像に入力キーの模擬画像を位置合わせして合成した合成画像を表示する。ユーザは携帯端末４０を見ながら操作パネル３０から入力操作を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作画面でユーザから入力操作を受け付ける操作入力システムに係り、特に、パスワードなどのセキュリティ情報の入力を受ける操作入力システムに関する。
【背景技術】
【０００２】
操作パネルからパスワードなどのセキュリティ情報を入力する場合に、第三者が近くに居ると、入力中の操作パネルを盗み見されたり、操作する手の動きを見られたりすることで、入力したセキュリティ情報の内容が漏洩する恐れがある。
【０００３】
このような第三者の盗み見による情報漏洩を防止する対策として、たとえば、操作パネルに表示するソフトテンキーの配列を毎回変更することで、第三者に入力中の手の動きを盗み見されても、入力内容を推測され難くする方法が提案されている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５８８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ソフトテンキーの配列を毎回変化させたとしても、図１６に示すように、操作パネルの操作画面そのものを、後方の第三者に盗み見された場合、あるいは図１７に示すように、悪意で設置されたビデオカメラを使用して盗み見された場合には、入力内容の漏洩を防止することはできない。
【０００６】
本発明は、上記の問題を解決しようとするものであり、入力中の操作画面を第三者に見られても、入力内容が漏洩することのない操作入力システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００８】
［１］操作画面を表示する表示部と、前記操作画面に対する操作を検出する操作検出部とを備えた操作表示装置と、
カメラと第２表示部とを有して前記操作表示装置と通信可能な表示装置と、
を備え、
前記操作表示装置でセキュリティ情報の入力を受ける場合に、
前記操作表示装置は、前記表示部の画面上に所定のキー配置で入力キーを設定しかつ前記入力キーもしくは少なくとも前記入力キーの内容を視認できない操作画面を前記表示部に表示すると共に、前記設定した入力キーに対する操作を前記操作検出部で受け付け、
前記表示装置は、前記カメラの撮影画像に基づいて、前記表示部を操作者が操作する様子に前記入力キーの模擬画像が前記設定された位置に位置合わせして合成された状態が見えるように前記第２表示部の表示内容を制御する
ことを特徴とする操作入力システム。
【０００９】
上記発明では、セキュリティ情報の入力を受ける場合に、操作表示装置の表示部には、入力キーそのもの、もしくは入力キーの内容（たとえば、割り当てられている文字や記号）を視認できない操作画面を表示すると共にこの視認できない状態の入力キーに対する操作を受け付ける。一方、表示装置は、表示部を操作者が操作する様子に、入力キーの模擬画像が位置合わせして合成された状態が見えるように第２表示部の表示内容を制御する。これにより、操作者は、入力キーを視認できない操作画面を自分が操作する様子に入力キーの模擬画像が合成された状態を表示装置の第２表示部で確認しながら、操作表示装置の操作画面に対する入力操作を行うことができる。操作表示装置の操作画面には入力キー（もしくは入力キーの内容）が非表示なので、この操作画面やこれを操作する様子を第三者に盗み見されたとしても、入力内容が漏洩することはない。
【００１０】
［２］前記操作表示装置でセキュリティ情報の入力を受ける場合に、必要な入力操作以外にダミーの入力操作を行う旨の指示を前記第２表示部に表示する
ことを特徴とする［１］に記載の操作入力システム。
【００１１】
上記発明では、盗み見により、操作表示装置への入力操作回数が漏洩したとしても、必要な入力操作以外にダミーの入力操作が行われ、かつ盗み見する者には必要な入力操作とダミーの入力操作とを区別できないので、必要な入力操作の入力回数（たとえば、暗証番号の桁数）の漏洩を防止することができる。
【００１２】
［３］前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーが非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記入力キーの配置されていない箇所に対して行うように指示する
ことを特徴とする［２］に記載の操作入力システム。
【００１３】
上記発明では、入力キーが非表示の場合、操作画面を盗み見する者には、操作画面への操作が入力キーに対する操作なのか入力キーのない箇所へのダミーの入力操作なのかを区別できない。一方、第２表示部を見ている操作者は、各入力キーの場所が分かるので、入力キーの配置されていない空きスペースの場所も分かる。そこで、ダミーの入力操作を入力キーの配置されていない箇所に対して行うように指示することで、実際の入力キーに対する余計な入力操作を回避しつつ、ダミーの入力操作を行わせることができる。
【００１４】
［４］前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーの枠を表示しかつ入力キーの内容が非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記必要な入力操作の前後または途中の指定した箇所で指定した回数行うように指示する
ことを特徴とする［２］に記載の操作入力システム。
【００１５】
上記発明では、各入力キーの内容は非表示であるが枠は表示されているので、ダミーの入力操作をいずれかの入力キーに対して行うことになる。そこで、必要な入力操作の前後や途中の指定した箇所で指定した回数だけダミーの入力操作を行うように指示する。これにより、操作表示装置では、指定した箇所での指定した回数の入力操作をダミー入力として無視することができる。また、盗み見する者には、入力キーの操作回数は分かっても、実施に必要な入力操作の回数は分からない。
【００１６】
［５］前記操作表示装置は、セキュリティ情報の入力を受ける場合に、前記所定のキー配置の情報を前記表示装置に送信し、
前記表示装置は、前記操作表示装置から受信した前記キー配置の情報に基づいて、前記入力キーの模擬画像を合成する
ことを特徴とする［１］乃至［４］のいずれか１項に記載の操作入力システム。
【００１７】
上記発明では、キー配置の情報を操作表示装置から表示装置へ送信するだけで両装置を連携させることができ、操作表示装置と表示装置との間で授受する情報量を少なくすることができる。
【００１８】
［６］前記操作表示装置でセキュリティ情報の入力を受ける場合に前記操作表示装置と前記表示装置とが通信できないときは、前記操作表示装置の表示部に前記入力キーを表示する
ことを特徴とする［１］乃至［５］のいずれか１項に記載の操作入力システム。
【００１９】
上記発明では、操作表示装置と前記表示装置が通信できない場合は、操作表示装置単独で動作するように、操作表示装置の操作画面に入力キーを表示する。
【００２０】
［７］前記操作表示装置でセキュリティ情報の入力を受ける毎に、前記キー配置を変更する
ことを特徴とする［１］乃至［６］のいずれか１項に記載の操作入力システム。
【００２１】
［８］前記表示装置は、前記カメラの撮影画像に前記入力キーの模擬画像を合成した画像を前記第２表示部に表示する
ことを特徴とする［１］乃至［７］のいずれか１項に記載の操作入力システム。
【００２２】
［９］前記表示装置の前記第２表示部は、外の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、外の様子に前記入力キーの模擬画像を重ね合わせる
ことを特徴とする［１］乃至［７］のいずれか１項に記載の操作入力システム。
【発明の効果】
【００２３】
本発明に係る操作入力システムによれば、入力中の操作画面を第三者に見られても、入力内容が漏洩しないので、セキュリティが向上する。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る操作入力システムのシステム構成を示す図である。
【図２】セキュリティ情報の入力操作を受ける際の操作パネルおよび携帯端末の表示内容の一例を示す説明図である。
【図３】本発明の操作入力システムの操作パネルを備えた複合機の概略構成を示すブロック図である。
【図４】本発明の第１の実施の形態に係る操作入力システムの携帯端末の概略構成を示すブロック図である。
【図５】第１の実施の形態におけるセキュリティ情報入力時の通常操作画面の一例を示す正面図である。
【図６】第１の実施の形態におけるセキュリティ情報入力時の秘匿操作画面（入力キー非表示）の一例を示す正面図である。
【図７】複合機の操作パネルから携帯端末を併用してセキュリティ情報を入力する際の複合機の動作を示す流れ図である。
【図８】複合機の操作パネルから携帯端末を併用してセキュリティ情報を入力する際の携帯端末の動作を示す流れ図である。
【図９】第２の実施の形態におけるセキュリティ情報入力時の通常操作画面の一例を示す正面図である。
【図１０】第２の実施の形態におけるセキュリティ情報入力時の秘匿操作画面（入力キーの内容非表示）の一例を示す正面図である。
【図１１】第２の実施の形態に係る複合機の操作パネルから携帯端末を併用してセキュリティ情報を入力する際の複合機の動作を示す流れ図である。
【図１２】第２の実施の形態において、携帯端末を併用してセキュリティ情報を複合機の操作パネルから入力する状態を例示した説明図である。
【図１３】ヘッドマウントディスプレイの概略外観を示す図である。
【図１４】ヘッドマウントディスプレイの構成を示すブロック図である。
【図１５】第３の実施の形態において、ヘッドマウントディスプレイを併用してセキュリティ情報を複合機の操作パネルから入力する際の表示例を示す説明図である。
【図１６】従来の操作パネルが第３者によって盗み見される様子を示す説明図である。
【図１７】従来の操作パネルが、設置されたビデオカメラを通じて盗み見される様子を示す説明図である。
【発明を実施するための形態】
【００２５】
以下、図面に基づき本発明の実施の形態を説明する。
【００２６】
図１は、本発明の第１の実施の形態に係る操作入力システムを適用した複合機システム３の構成を示している。本例の操作入力システムは、複合機１０に備え付けられた操作パネル３０（操作表示装置）と、複合機１０と別体にされてユーザが携帯可能な携帯端末４０（表示装置）とを備えて構成される。
【００２７】
複合機１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピージョブ、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャンジョブ、端末装置からネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリントジョブなどの複数種類のジョブを実行する機能を備えた装置である。
【００２８】
複合機１０は、ジョブの投入操作や各種の設定操作などをユーザから受け付ける操作パネル３０を備えている。また、携帯端末４０は、パスワードなどのセキュリティ情報を操作パネル３０から入力する際に併用される。携帯端末４０は表面に表示部４１を有し、裏面に該裏面の臨む方向を撮影するカメラ４２を備えている。
【００２９】
パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０および携帯端末４０は、図２に示すように連携して動作する。すなわち、パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０ではセキュリティ情報の入力に使用される入力キー（ソフトキー）が非表示（もしくは入力キーの枠（形状）は表示されるが内容は非表示）になる。
【００３０】
一方、携帯端末４０のカメラ４２で複合機１０の操作パネル３０を撮影すると、携帯端末４０の表示部４１には、カメラ画像内の操作パネルに、現実の操作パネル３０では非表示になっている入力キーの模擬画像を位置合わせして合成した画像が表示される。この状態で操作者が現実の操作パネル３０を操作しようとすると、操作者の指もカメラ４２に撮影されるので、図２下部に示すように、携帯端末４０には、操作者の指が操作パネル３０を操作する様子に入力キーの模擬画像が位置合わせし合成されて表示される。
【００３１】
従って、操作者は携帯端末４０の表示を見ながら入力操作を行うことで、各入力キーの位置を認識しながら、入力キーが非表示の操作パネル３０に対する入力操作を円滑に行うことができる。たとえば、携帯端末４０を自分の顔に近づけて見るなど第三者から盗み見されないようにしながらセキュリティ情報の入力操作を操作パネル３０に対して行えば、操作パネル３０や入力操作中の指の動きを第三者に盗み見されたりビデオカメラで撮影されたりした場合でも、入力内容の漏洩を防止することができる。
【００３２】
図３は、複合機１０の概略構成を示すブロック図である。複合機１０は、当該複合機１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２と、ＲＡＭ(Random Access Memory)１３と、画像読取部１４と、プリンタ部１５と、画像処理部１６と、不揮発メモリ１７と、自動原稿搬送部１８と、ファクシミリ通信部１９と、ネットワーク通信部２１と、無線通信部２２と、操作パネル３０などが接続さされている。
【００３３】
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。また、ＣＰＵ１１は、操作パネル３０の表示内容や携帯端末４０との連携動作を制御する制御部としての機能を果たす。
【００３４】
ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで複合機１０の各機能が実現される。
【００３５】
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
【００３６】
画像読取部１４は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１４は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００３７】
プリンタ部１５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。
【００３８】
画像処理部１６は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
【００３９】
不揮発メモリ１７は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。
【００４０】
自動原稿搬送部１８は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１４の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。
【００４１】
ファクシミリ通信部１９は、ファクシミリ機能を備えた外部装置と公衆回線を通じて画像データを送受信する機能を果たす。
【００４２】
ネットワーク通信部２１は、ＬＡＮ(Local Area Network)などのネットワークを通じて端末装置やその他の外部装置との間でデータを通信する機能を果たす。
【００４３】
無線通信部２２は、近くの携帯端末４０と無線通信する機能を果たす。無線通信部２２の通信可能距離は１ｍ程度で十分であり、通信方式には各種の近距離無線通信方式を採用することができる。なお、携帯端末４０との間の通信は、無線ＬＡＮ（Local Area Network）を利用してもかまわない。
【００４４】
操作パネル３０は、表示部３１と、操作部３２とを備えている。表示部３１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部３２は、スタートボタンなどの各種操作スイッチと、表示部３１の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部３１の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。
【００４５】
図４は、携帯端末４０の概略構成を示している。携帯端末４０は、ＣＰＵ４３にバスを介してＲＯＭ４４、ＲＡＭ４５、不揮発メモリ４６、方位センサー部４７、カメラ４２、操作部４８、表示部４１、ネットワーク通信部４９、画像処理部５１、無線通信部５２などを接続して構成される。
【００４６】
ＣＰＵ４３はＲＯＭ４４に格納されているプログラムに従って携帯端末４０の動作を制御する。ＲＯＭ４４にはプログラムや固定データが記憶されている。ＲＡＭ４５はＣＰＵ４３がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４６には、各種の設定情報が記憶される。
【００４７】
方位センサー部４７は、携帯端末４０の向きや姿勢、およびそれらの変化を検出する。カメラ４２は携帯端末４０の裏面側に設けられて携帯端末４０の裏面が臨む方向を撮影する。カメラ４２は動画を撮影でき、たとえば、毎秒３０フレームの画像を取り込む。
【００４８】
表示部４１は液晶ディスプレイなどで構成される。操作部４８は表示部４１の物理的画面上に設けられたタッチパネルなどで構成される。
【００４９】
ネットワーク通信部４９は、ＬＡＮなどのネットワークを通じて複合機１０や他の外部装置と通信する機能を果たす。画像処理部５１は、画像データに対して、回転、拡大縮小など各種の処理を施す。無線通信部５２は近くの複合機１０と無線通信する機能を果たす。なお、複合機１０との間の通信は、無線ＬＡＮ（Local Area Network）を利用してもかまわない。
【００５０】
図５は、セキュリティ情報入力時の通常操作画面６０Ａの一例を、図６は、セキュリティ情報入力時の秘匿操作画面６０Ｂの一例を示している。通常操作画面６０Ａは携帯端末４０を併用せずに、操作パネル３０単独でセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。通常操作画面６０Ａには、セキュリティ情報の各文字の入力に使用される複数の入力キー６１、キャンセル釦６２、認証釦６３、案内メッセージ６４、入力値表示欄６５などのオブジェクトが表示される。
【００５１】
秘匿操作画面６０Ｂは携帯端末４０を併用してセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。秘匿操作画面６０Ｂには、通常操作画面６０Ａにあった入力キー６１、入力値表示欄６５は表示されない。各入力キー６１は通常操作画面６０Ａと同様に画面上に設定（定義）されているが非表示になっている。また、秘匿操作画面６０Ｂの四隅には位置合わせマーク６６が表示される。位置合わせマーク６６は、携帯端末４０のカメラ４２で撮影した画像内において操作パネル３０の表示部３１の位置を特定する際の基準位置を示す。位置合わせマーク６６は、秘匿操作画面６０Ｂの四隅に配置するほか、いずれか一方の対角位置にのみ配置してもよい。位置合わせマーク６６の形状や配置は、基準位置を示す機能を果たすことができれば、例示したものに限定されない。
【００５２】
図７は、操作パネル３０からパスワードなどのセキュリティ情報を入力する際の複合機１０の動作の流れを示している。たとえば、複合機１０は、使用を開始するに際してユーザ認証を必要とし、このユーザ認証用のＩＤ（Identification）、パスワードの入力操作を受ける場合に図７に示す動作が行われる。
【００５３】
まず、操作パネル３０の制御を行うＣＰＵ１１は、セキュリティ情報の入力を受ける際に、セキュリティ情報入力用の各入力キー６１のキー配置を、たとえば、無作為抽選などによって決定して設定（定義）する（ステップＳ１０１）。
【００５４】
ここでは、セキュリティ情報入力時の操作画面においてセキュリティ情報の入力に使用する入力キー６１以外のオブジェクトの配置は予め固定的に定めてあり、これら固定配置のオブジェクトが存在しないスペースにセキュリティ情報入力用の各入力キー６１をランダムに配置する。本例では、図５、図６に示すキャンセル釦６２、認証釦６３、案内メッセージ６４、入力値表示欄６５、位置合わせマーク６６は固定配置のオブジェクトであり、これらの存在しない空きスペースに入力キー６１を配置する。
【００５５】
次に、携帯端末４０と通信により接続可能か否かを調べる（ステップＳ１０２）。携帯端末４０と通信により接続できた場合は（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０８へ移行する。通信できない場合は（ステップＳ１０３；Ｎｏ）、操作パネル３０の表示部３１に警告メッセージを表示し、携帯端末４０を準備して通信可能な状態にするようにユーザを促す（ステップＳ１０４）。
【００５６】
その後、携帯端末４０と通信可能となったか否かを確認し、所定時間内に通信可能になった場合は（ステップＳ１０５；Ｙｅｓ）、ステップＳ１０８へ移行する。所定時間が経過しても携帯端末４０と通信して接続できない場合は（ステップＳ１０５；Ｎｏ）、セキュリティ情報入力用の各入力キー６１を視認可能に表示する通常操作画面６０Ａ（図５参照）を操作パネル３０の表示部３１に表示する（ステップＳ１０６）。そして、この通常操作画面６０Ａにてセキュリティ情報の入力操作を受け付けて（ステップＳ１０７）本処理を終了する。
【００５７】
携帯端末４０と通信により接続可能な場合は（ステップＳ１０３；Ｙｅｓ、もしくは、ステップＳ１０５；Ｙｅｓ）、セキュリティ情報入力用の各入力キー６１が非表示にされた秘匿操作画面６０Ｂ（図６参照）を操作パネル３０の表示部３１に表示する（ステップＳ１０８）。そして、秘匿操作画面６０Ｂで非表示となっている入力キー６１や入力値表示欄６５の配置情報を携帯端末４０に対して送信する（ステップＳ１０９）。たとえば、入力キー６１の配置情報は、操作パネル３０の表示部３１の左下端を原点とした座標系における各入力キー６１の位置座標、各入力キー６１の形状やサイズ、各入力キー６１に割り当てられている内容（文字や記号）などで構成される。
【００５８】
さらに、セキュリティ情報として必要な入力以外のダミー入力を入力キー６１などの配置されていない空きスペースに対して適宜行う旨のメッセージおよびこのメッセージの表示指示を携帯端末４０に送信する（ステップＳ１１０）。
【００５９】
その後、操作パネル３０は、入力キー６１が非表示になっている秘匿操作画面６０Ｂに対するユーザからの操作を監視する（ステップＳ１１１）。非表示の入力キー６１が定義されている箇所に対する操作を受けた場合は（ステップＳ１１２；Ｙｅｓ）、その箇所に定義されている非表示の入力キー６１に対する操作があったものとして、その入力キー６１に割り当てられている文字や記号を入力する（ステップＳ１１３）。
【００６０】
さらにその入力内容を携帯端末４０へ送信し（ステップＳ１１４）、ステップＳ１１１に戻って処理を継続する。入力内容の送信は暗号化して行われる。なお、入力内容そのものを送信する代わりに、入力キー６１に与えた番号などを通知してもよい。たとえば、入力キー６１の配列情報に、各入力キー６１の番号とその入力キー６１の内容とを対応付けした情報を含めておけば、入力キー６１の番号を携帯端末４０に通知することで、携帯端末４０側で入力内容を認識することができる。
【００６１】
認証釦６３に対する操作など入力終了の操作を受けた場合は（ステップＳ１１５；Ｙｅｓ）、表示終了指示を携帯端末４０に送信して（ステップＳ１１６）本処理を終了する。入力終了の操作を受けない場合は（ステップＳ１１５；Ｎｏ）、ステップＳ１１１に戻って処理を継続する。
【００６２】
図８は、操作パネル３０に表示された秘匿操作画面６０Ｂからセキュリティ情報を入力する際に併用される携帯端末４０の動作の流れを示している。図８は、図７に示す動作に対応した携帯端末４０の動作を示している。携帯端末４０は、複合機１０から入力キー６１や入力値表示欄６５の配置情報を受信すると（ステップＳ２０１）、カメラ４２で撮影を開始する（ステップＳ２０２）。さらに、複合機１０からダミー入力のメッセージおよび該メッセージの表示指示を受信する（ステップＳ２０３）。
【００６３】
その後、連続撮影しているカメラ４２の出力するカメラ画像を解析し、このカメラ画像内での操作パネル３０の表示部３１の位置を検出する。ここでは、位置合わせマーク６６を検出し、この位置合わせマーク６６を基準にカメラ画像内の表示部３１を検出する（ステップＳ２０４）。より詳細には、四隅もしくは対角に配置された各位置合わせマーク６６の位置や互いの間隔などからカメラ画像内での表示部３１の位置、サイズ、傾きなどを検出する。
【００６４】
次に、検出した操作パネル３０の表示部３１の位置、サイズ、傾斜に合わせて、各入力キー６１の模擬画像および入力値表示欄６５の模擬画像をカメラ画像に合成し、この画像にさらに、ステップＳ２０３で受信したダミー入力のメッセージを、カメラ画像内の表示部３１と重ならない位置に合成したものを携帯端末４０の表示部４１に表示する（ステップＳ２０５）。なお、模擬画像の合成では、ステップＳ２０１で受信した配置情報から実物の操作パネル３０の表示部３１内での各入力キー６１や入力値表示欄６５の位置や形状を把握し、該情報とステップＳ２０４で検出した情報とから、カメラ画像内の操作パネル３０の表示部３１の位置、大きさ、傾きなどに、各入力キー６１や入力値表示欄６５の模擬画像のサイズ、位置、傾きなどを合わせ込んで合成する。
【００６５】
その後、複合機１０から入力キー６１の操作による入力内容を受信した場合は（ステップＳ２０６；Ｙｅｓ）、その入力内容に従って、入力値表示欄６５の入力内容を更新してカメラ画像に合成表示する（ステップＳ２０７）。たとえば、携帯端末４０の表示内容は図２の下部に示すようなものになる。
【００６６】
複合機１０から表示終了指示を受信した場合は（ステップＳ２０８；Ｙｅｓ）、本処理を終了する。表示終了指示を受信しない場合は（ステップＳ２０８；Ｎｏ）、ステップＳ２０４に戻って処理を継続する。
【００６７】
図７の処理を複合機１０で行い、図８の処理を携帯端末４０で行うことにより、図２に示すような表示状態でセキュリティ情報を複合機１０の操作パネル３０から入力することができる。すなわち、パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０ではセキュリティ情報の入力に使用される入力キー６１が非表示になっている。一方、携帯端末４０の表示部４１には、操作者の指が操作パネル３０を操作する様子に入力キー６１の模擬画像が位置合わせして合成された画像が表示される。操作者は携帯端末４０の表示を見ながら操作パネル３０に対して入力操作を行うことで、入力キー６１が非表示の操作パネル３０に対する入力操作を各入力キー６１の位置を認識しながら行うことができる。
【００６８】
たとえば、第三者から盗み見されないように携帯端末４０を自分の顔に近づけて見ながらセキュリティ情報の入力操作を操作パネル３０からを行えば、操作パネル３０を第三者に盗み見されたりビデオカメラで撮影されたりした場合でも、入力内容の漏洩を防止することができる。
【００６９】
また、実際の入力操作は操作パネル３０に対して行うので、入力内容を携帯端末４０から複合機１０へ送信する必要もなく、この送信に由来して入力内容が漏洩することも防止される。
【００７０】
また、操作パネル３０上では各入力キー６１が完全に非表示なので、図２に示すように各入力キー６１の配置を操作パネル３０の画面内に散在させることで、行列状などに規則正しく配列する場合に比べて、操作パネル３０を盗み見等する第三者によるキー配置の推測をより困難にしてセキュリティを高めることができる。
【００７１】
また、操作パネル３０上では各入力キー６１が完全に非表示なので、操作パネル３０を操作する様子からは、入力キー６１を操作しているのか、何もない空きスペースを操作しているのかを区別することができない。そこで、本実施の形態では、ダミー入力を、入力キー６１の無い箇所に適宜行う旨のメッセージを携帯端末４０に表示して、ダミー入力を促している。たとえば、入力の必要なセキュリティ情報が「０２７５１」である場合に、「Ｘ０２Ｘ７５Ｘ１Ｘ」（Ｘは空きスペースへのダミー入力を示す）のように、入力の必要なセキュリティ情報の前後や途中でダミー入力（Ｘ）を適宜混ぜながら操作すればよい。また、空きスペースへのダミー入力は、操作パネル３０側で自ずと無視されるので、特別に処理を追加することなく、ダミー入力を含ませることができる。
【００７２】
このように、ダミー入力を行わせることで、セキュリティ情報が何文字で構成されるかについても第三者は推認できなくなり、セキュリティが向上する。
【００７３】
次に、本発明の第２の実施の形態について説明する。
【００７４】
第１の実施の形態では、秘匿操作画面６０Ｂにおいて入力キー６１を完全に非表示としたが、第２の実施の形態では、入力キー６１の枠は表示し、その入力キー６１による入力内容（その入力キー６１に割り当てられている文字や記号）は視認できない秘匿操作画面を表示する。
【００７５】
図９は、第２の実施の形態におけるセキュリティ情報入力時の通常操作画面６０Ｃの一例を示している。また図１０は、第２の実施の形態におけるセキュリティ情報入力時の秘匿操作画面６０Ｄの一例を示している。通常操作画面６０Ｃは携帯端末４０を併用せずに操作パネル３０単独でセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。通常操作画面６０Ｃには、セキュリティ情報を構成する各文字の入力に使用される複数の入力キー６１、キャンセル釦６２、認証釦６３、案内メッセージ６４、入力値表示欄６５などのオブジェクトがすべて視認可能に表示される。
【００７６】
秘匿操作画面６０Ｄは携帯端末４０を併用してセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。秘匿操作画面６０Ｄには、通常操作画面６０Ｃにあった入力キー６１はその枠（形状）のみ表示され、入力キー６１の内容（割り当てられている文字や記号）は表示されない。また入力値表示欄６５の枠は表示されるが、入力操作によって受け付けた入力内容は表示されない。
【００７７】
秘匿操作画面６０Ｄには、第１の実施の形態の秘匿操作画面６０Ｂにあった位置合わせマーク６６は表示されない。第２の実施の形態では入力キー６１の枠や入力値表示欄６５の枠が位置合わせマークとして機能する。なお、入力値表示欄６５は枠を含めて完全に非表示としてもよい。
【００７８】
入力キー６１の枠を表示すると、操作者の操作が、入力キー６１に対する操作であるか、他の場所への操作であるかを、操作パネル３０を盗み見する第三者は区別できる。このため、第１の実施の形態の秘匿操作画面６０Ｂで例示したように入力キー６１を散在させることの意義は少ない。そこで、第２の実施の形態では、操作性を優先し、入力キー６１を縦横の格子状に整列して配置してある。ただし、各入力キー６１に割り当てる内容は、セキュリティ情報の入力毎にランダムに変更する。
【００７９】
また、第２の実施の形態では、入力キー６１の枠を表示するので、ダミー入力を空きスペースに行うことはできない。そこで、ダミー入力を、必要な入力操作の前後や途中など指定した入力位置で所定した回数行わせるようになっている。
【００８０】
図１１は、第２の実施の形態に係る複合機１０の操作パネル３０からパスワードなどのセキュリティ情報を入力する際の複合機１０の動作の流れを示している。操作パネル３０の制御を行うＣＰＵ１１は、セキュリティ情報の入力を受ける際に、セキュリティ情報入力用の各入力キー６１のキー配置を、たとえば、無作為抽選などによって決定する（ステップＳ３０１）。第２の実施の形態では入力キー６１の物理的な配列は縦横の格子状に固定されているので、それぞれの入力キー６１に割り当てる文字や記号をランダムに変更してキー配置を決定し定義する。
【００８１】
次に、携帯端末４０と通信により接続可能か否かを調べる（ステップＳ３０２）。携帯端末４０と通信により接続できた場合は（ステップＳ３０３；Ｙｅｓ）、ステップＳ３０８へ移行する。通信できない場合は（ステップＳ３０３；Ｎｏ）、操作パネル３０の表示部３１に警告メッセージを表示し、携帯端末４０を準備して通信可能な状態にするようにユーザを促す（ステップＳ３０４）。その後、携帯端末４０と通信可能となったか否かを確認し、所定時間内に通信可能になった場合は（ステップＳ３０５；Ｙｅｓ）、ステップＳ３０８へ移行する。
【００８２】
所定時間が経過しても携帯端末４０と接続できない場合は（ステップＳ３０５；Ｎｏ）、セキュリティ情報入力用の各入力キー６１の内容についても視認可能な通常操作画面６０Ｃ（図９参照）を操作パネル３０の表示部３１に表示する（ステップＳ３０６）。そして、通常操作画面６０Ｃにてセキュリティ情報の入力操作を受け付けて（ステップＳ３０７）本処理を終了する。
【００８３】
携帯端末４０と通信により接続可能な場合は（ステップＳ３０３；Ｙｅｓ、もしくは、ステップＳ３０５；Ｙｅｓ）、セキュリティ情報入力用の各入力キー６１の枠のみ表示され内容が非表示の秘匿操作画面６０Ｄ（図１０参照）を操作パネル３０の表示部３１に表示する（ステップＳ３０８）。そして、各入力キー６１や入力値表示欄６５の配置情報を携帯端末４０に対して送信する（ステップＳ３０９）。さらに、セキュリティ情報として必要な入力以外のダミー入力を、必要な入力操作の前後もしくは途中の指定された位置で指定された回数行う旨のメッセージおよびこのメッセージの表示指示を携帯端末４０に送信する（ステップＳ３１０）。
【００８４】
たとえば、パスワードの入力完了後、２回のダミー入力を行う旨のメッセージを送信する。なお、指定するダミー入力の位置や回数を毎回もしくは複数回の１回の割合で変更するようにすれば、さらにセキュリティが向上する。
【００８５】
操作パネル３０は、入力キー６１の枠だけ表示されて内容が非表示になっている秘匿操作画面６０Ｄに対するユーザの操作を監視する（ステップＳ３１１）。いずれかの入力キー６１の枠が表示されている領域に対する操作を受けた場合は（ステップＳ３１２；Ｙｅｓ）、今回の入力が予め定めたダミー入力の位置での入力か否かを判定する（ステップＳ３１３）。たとえば、５桁のパスワードの後ろに２桁のダミー入力をするように指示してある場合は、６回目と７回目の入力をダミー入力と判断する。
【００８６】
今回の入力操作がダミー入力でなければ（ステップＳ３１３；Ｎｏ）、その操作された入力キー６１に割り当てられている文字や記号の入力があったものとする（ステップＳ３１４）。さらにその入力内容を携帯端末４０へ送信して（ステップＳ３１５）、ステップＳ３１１に戻って処理を継続する。
【００８７】
今回の入力操作がダミー入力であった場合は（ステップＳ３１３；Ｙｅｓ）、ダミー入力があった旨を携帯端末４０に送信する（ステップＳ３１６）。その後、ステップＳ３１１に戻って処理を継続する。
【００８８】
認証釦６３に対する操作など入力終了の操作を受けた場合は（ステップＳ３１７；Ｙｅｓ）、表示終了指示を携帯端末４０に送信して（ステップＳ３１８）本処理を終了する。入力終了の操作を受けない場合は（ステップＳ３１７；Ｎｏ）、ステップＳ３１１に戻って処理を継続する。
【００８９】
なお、携帯端末４０側の処理は図８に示すものと基本的に同一である。ただし、第２の実施の形態では、入力キー６１の枠が現実の操作パネル３０に表示されるので、携帯端末４０のカメラ４２が撮影したカメラ画像内の操作パネルにも入力キー６１の枠が写っている。そこで、ステップＳ２０５では、各入力キー６１の内容を表す文字や記号のみをカメラ画像内の各入力キー６１の枠に位置合わせして合成する。もちろん、枠を含めた入力キー６１全体の模擬画像を合成するようにしてもかまわない。入力値表示欄６５についても同様である。
【００９０】
図１２は、第２の実施の形態において、携帯端末４０を併用してセキュリティ情報を複合機１０の操作パネル３０から入力する状態を例示している。パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０に表示された秘匿操作画面６０Ｄではセキュリティ情報の入力に使用される入力キー６１の枠は表示されるが各入力キー６１の内容が非表示になっている。携帯端末４０の表示部４１には、操作パネル３０を操作者の指が操作する様子に、入力キー６１の内容の模擬画像を位置合わせして合成した画像が表示される。操作者は携帯端末４０の表示を見ながら入力操作を行うことで、入力キー６１の内容が非表示の操作パネル３０に対する入力操作を各入力キー６１の内容を認識しながら行うことができる。
【００９１】
たとえば、携帯端末４０を自分の顔に近づけて見るなど第三者から盗み見されないようにしながらセキュリティ情報の入力操作を操作パネル３０からを行えば、操作パネル３０を第三者に盗み見されたりビデオカメラで撮影されたりした場合でも、入力内容の漏洩を防止することができる。
【００９２】
また、一連の入力操作中にダミー入力を行わせるので、セキュリティ情報が何文字で構成されるかについても第三者には推認できなくなり、セキュリティが向上する。図１２の例では、パスワードの入力後に、２回のダミー入力操作を行う旨のメッセージが携帯端末４０に表示されている。このときユーザが、入力の必要なセキュリティ情報「０２７５１」に対して、「０２７５１３８」のように７桁の入力を行うと、操作パネル３０では最後の２桁をダミー入力として扱う。携帯端末４０の入力値表示欄６５には、「０２７５１＊＊」と表示され、最後の２回の入力がダミー入力として認識されたことが示される。
【００９３】
次に、本発明の第３の実施の形態について説明する。
【００９４】
第１、第２の実施の形態では、セキュリティ情報の入力操作時に携帯端末４０を併用したが、第３の実施の形態では、携帯端末４０に代えて透過型のヘッドマウントディスプレイ７０を使用する。
【００９５】
図１３は、ヘッドマウントディスプレイ７０の概略構成を示している。ヘッドマウントディスプレイ７０は、眼鏡に類似した形を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ７０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。
【００９６】
ヘッドマウントディスプレイ７０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部７１と、左右の表示部７１をそれらの間で繋ぐブリッジ７２と、ブリッジ７２で連結された左右の表示部７１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル７３などを備えている。
【００９７】
また、表示部７１の両脇には、ネットワーク通信部８１、画像処理部８２、制御部８３などの制御回路、投影部８４、カメラ８５などを含む基幹部７４が設けられている。また各表示部７１の前方に位置するようにハーフミラー７５が、左右の基幹部７４から延びる支持腕に支持されている。
【００９８】
ハーフミラー７５は前方から表示部７１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部７４の投影部８４は、画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー７５に向けて投影する。ハーフミラー７５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー７５は、たとえば、透過と反射の光量比が１：１になっている。
【００９９】
ヘッドマウントディスプレイ７０の装着者の目は、外光Ｌ１と画像光Ｌ２とが１：１の割合で合成された光が表示部７１を通じて入射する。すなわち、ヘッドマウントディスプレイ７０の装着者は、外の様子と投影部８４が投影した画像とを半々の透過率で重ね合わせた様子を見る。
【０１００】
図１４は、ヘッドマウントディスプレイ７０の構成を示すブロック図である。ヘッドマウントディスプレイ７０は、制御部としてのＣＰＵ８３にバスを介してＲＯＭ８６、ＲＡＭ８７、不揮発メモリ８８、方位センサー部８９、投影部８４、カメラ８５、操作部９１、表示部７１、ネットワーク通信部８１、画像処理部９２、無線通信部９３などを接続して構成される。
【０１０１】
ＣＰＵ８３はＲＯＭ８６に格納されているプログラムに従ってヘッドマウントディスプレイ７０の動作を制御する。ＲＯＭ８６にはプログラムや固定データが記憶されている。ＲＡＭ８７はＣＰＵ８３がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ８８には、各種の設定情報が記憶される。
【０１０２】
方位センサー部８９は、ヘッドマウントディスプレイ７０の向きや姿勢およびその変化を検出する。カメラ８５はヘッドマウントディスプレイ７０の前方を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ８５は、左右の基幹部７４にそれぞれ設けられてもよいし、いずれか一方のみに設けられてもよい。カメラ８５は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。
【０１０３】
操作部９１は基幹部７４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。
【０１０４】
ネットワーク通信部８１は、ＬＡＮなどのネットワークを通じて複合機１０や他の外部装置との間でデータを通信する機能を果たす。無線通信部９３は近くの複合機１０と無線通信する機能を果たす。なお、複合機１０との間の通信は、無線ＬＡＮ（Local Area Network）を利用してもかまわない。画像処理部９２は、模擬画像の変形などを行う。
【０１０５】
透過型のヘッドマウントディスプレイ７０で行う処理は基本的には図８に示すものと同一である。ただし、第１、第２の実施の形態の携帯端末４０ではカメラ画像に入力キー６１などの模擬画像を位置合わせして合成した画像を表示部４１に表示したが、第３の実施の形態のヘッドマウントディスプレイ７０では、装着者が見ている現実空間の操作パネル３０の表示部３１に位置合わせして、入力キー６１などの模擬画像のみを投影部８４に投影する。
【０１０６】
詳細には、ヘッドマウントディスプレイ７０のカメラ８５の撮影するカメラ画像を解析し、このカメラ画像内にある操作パネル３０の表示部３１の位置を特定する。この位置は、ヘッドマウントディスプレイ７０の装着者が見ている現実空間内での表示部３１の位置に対応しているので、装着者が見ている現実空間内の表示部３１の位置やサイズ、向きに、位置や形状、向きを合わせ込んで入力キー６１などの模擬画像を投影部８４から投影する。
【０１０７】
第１の実施の形態と同様に、操作パネル３０の表示部３１に入力キー６１が完全に非表示の秘匿操作画面６０Ｂが表示される場合には、投影部８４の投影する画像は入力キー６１や入力値表示欄６５の模擬画像になる。また第２の実施の形態と同様に、操作パネル３０の表示部３１に入力キー６１の枠が表示され内容が非表示の秘匿操作画面６０Ｄが表示される場合には、投影部８４の投影する画像は入力キー６１の内容を示す文字や記号、入力値表示欄６５の中に表示する入力内容の画像になる。
【０１０８】
図１５は、第３の実施の形態において、ヘッドマウントディスプレイ７０を併用してセキュリティ情報を複合機１０の操作パネル３０から入力する状態を例示している。同図（ａ）は、複合機１０の操作パネル３０の表示状態を示している。この例では、入力キー６１が完全に非表示の秘匿操作画面６０Ｂが表示されている。
【０１０９】
同図（ｂ）はヘッドマウントディスプレイ７０の装着者の目に映る現実空間を示している。同図（ｃ）はヘッドマウントディスプレイ７０の投影部８４が投影した画像を示している。入力キー６１および入力値表示欄６５の模擬画像が、同図（ｂ）の現実空間の操作パネル３０の表示部３１に位置・形状・傾斜などが合わせ込まれて投影される。同図（ｄ）は、ヘッドマウントディスプレイ７０の装着者に見える内容であり、同図（ｂ）と同図（ｃ）とを重ね合わせたものになっている。
【０１１０】
このように、ヘッドマウントディスプレイ７０を使用すれば、投影部８４で投影した入力キー６１（あるいは入力キー６１の内容）や入力値表示欄６５の内容は、ヘッドマウントディスプレイ７０の装着者にしか見ることができず、第３者に見られることは一切ないので、さらにセキュリティを高めることができる。
【０１１１】
次に、上記各実施の形態に共通適用可能な応用例を説明する。
【０１１２】
（１）処理負担の軽減
携帯端末４０やヘッドマウントディスプレイ７０は、カメラ４２、８５で撮影した画像を解析して、その画像内にある操作パネル３０の表示部３１の位置、サイズ、傾きなどを特定する。この特定処理の処理負担を以下のように軽減する。
【０１１３】
上記特定処理は、初回の検出時および、方位センサー部４７、８９が携帯端末４０やヘッドマウントディスプレイ７０の位置が一定以上変化したことを検出したときのみ行う。
【０１１４】
（２）携帯端末４０やヘッドマウントディスプレイ７０との通信
実施の形態では携帯端末４０やヘッドマウントディスプレイ７０と複合機１０との間の通信を無線通信によって行ったが、人体通信で行うようにしてもよい。すなわち、携帯端末４０を一方の手に持った操作者もしくはヘッドマウントディスプレイ７０を装着した操作者が操作パネル３０の表示部３１の表示面を指で操作したとき、人体を通信媒体として携帯端末４０もしくはヘッドマウントディスプレイ７０と通信する。
【０１１５】
たとえば、携帯端末４０やヘッドマウントディスプレイ７０を併用する秘匿モードでセキュリティ情報の入力を行うか否かの選択釦を操作パネル３０の表示部３１に表示し、ユーザが秘匿モードの選択釦を押下操作したときに人体通信を行う。この人体通信により携帯端末４０やヘッドマウントディスプレイ７０との接続を確認すると共に、接続を確認できたときは、入力キー６１の配置情報などを携帯端末４０やヘッドマウントディスプレイ７０に対して送信する。
【０１１６】
これにより、実際のセキュリティ情報の入力操作前に、入力キー６１６１などの配置情報などを携帯端末４０やヘッドマウントディスプレイ７０に送信して合成する画像を生成させることができる。人体通信を利用することで、通信中のセキュリティが高まり、通信による情報漏洩を防止することができる。
【０１１７】
（３）携帯端末４０やヘッドマウントディスプレイ７０の省電力モード自動解除
セキュリティ情報の入力に際して携帯端末４０やヘッドマウントディスプレイ７０との通信による接続を確認できたときに携帯端末４０やヘッドマウントディスプレイ７０が省電力モードであれば、通常電力モードに復帰させる。すなわち、所定の復帰コマンドを複合機１０から携帯端末４０やヘッドマウントディスプレイ７０に送信して、これらを通常動作状態に復帰させる。
【０１１８】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１１９】
実施の形態では、本発明に係る操作入力システムを複合機１０に適用した場合を例に説明したが、適用対象の機器は複合機に限定されるものではない。なお、本発明によるセキュリティ向上の効果は、第３者による操作パネルの盗み見等を完全に防止できない場合により発揮される。たとえば、操作パネル３０が、当該操作パネル３０によって操作される装置本体と一体不可分で取り外しできないような態様に本発明は好適である。
【０１２０】
第３の実施の形態では、外の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイを採用したが、装着すると外の様子を見ることができず、映し出される画像のみが見える、ＶＲ（Virtual Rsality）型のヘッドマウントディスプレイであってもよい。この場合は携帯端末４０と同様にカメラ画像に入力キー６１などの模擬画像を合成した画像を表示すればよい。
【０１２１】
このほか、秘匿操作画面６０Ｂ、６０Ｄにおいて「パスワードを入力してください」などのメッセージを非表示とし、これを携帯端末４０側にのみ表示するように構成すれば、セキュリティ情報を入力しようとしていることすら第３者にわからなくなり、セキュリティの向上に寄与する。
【０１２２】
また、実施の形態では、複合機１０から携帯端末４０やヘッドマウントディスプレイ７０に対して入力キー６１などの配列情報を送信し、この配列情報に基づいて携帯端末４０やヘッドマウントディスプレイ７０側で入力キー６１などの模擬画像を作成して合成する構成であったが、複合機１０と、携帯端末４０、ヘッドマウントディスプレイ７０との作業分担はこれに限定されるものではない。たとえば、カメラ画像を解析して得た操作パネル３０の表示部３１の位置・形状・傾きなどの情報を携帯端末４０やヘッドマウントディスプレイ７０から複合機１０に対して送信し、この情報に基づいて複合機１０側で合成すべき画像を作成し、この画像を携帯端末４０に送信してカメラ画像と合成させて表示する、あるいはヘッドマウントディスプレイ７０に送信して投影部８４に投影させるといった構成でもかまわない。
【０１２３】
実施の形態では、入力値表示欄６５および入力内容を携帯端末４０やヘッドマウントディスプレイ７０に表示するようにしたが、これらの表示は省略してもよい。複合機１０と携帯端末４０やヘッドマウントディスプレイ７０との入力内容に関する通信が不要になり、セキュリティがさらに高まる。
【０１２４】
セキュリティ情報は、実施の形態で例示したパスワードなどに限定されない。いかなる情報をセキュリティ情報とするかは任意に定義・設定すればよい。
【符号の説明】
【０１２５】
３…複合機システム
１０…複合機
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…画像読取部
１５…プリンタ部
１６…画像処理部
１７…不揮発メモリ
１８…自動原稿搬送部
１９…ファクシミリ通信部
２１…ネットワーク通信部
２２…無線通信部
３０…操作パネル
３１…表示部
３２…操作部
４０…携帯端末
４１…表示部
４２…カメラ
４３…ＣＰＵ
４４…ＲＯＭ
４５…ＲＡＭ
４６…不揮発メモリ
４７…方位センサー部
４８…操作部
４９…ネットワーク通信部
５１…画像処理部
５２…無線通信部
６０Ａ…通常操作画面
６０Ｂ…入力キーが完全非表示の秘匿操作画面
６０Ｃ…通常操作画面
６０Ｄ…入力キーの枠が表示され内容が非表示の秘匿操作画面
６１…入力キー
６２…キャンセル釦
６３…認証釦
６４…案内メッセージ
６５…入力値表示欄
６６…位置合わせマーク
７０…ヘッドマウントディスプレイ
７１…表示部
７２…ブリッジ
７３…ツル
７４…基幹部
７５…ハーフミラー
８１…ネットワーク通信部
８２…画像処理部
８３…制御部（ＣＰＵ）
８４…投影部
８５…カメラ
８６…ＲＯＭ
８７…ＲＡＭ
８８…不揮発メモリ
８９…方位センサー部
９１…操作部
９２…画像処理部
９３…無線通信部
Ｌ１…外光
Ｌ２…画像光
【技術分野】
【０００１】
本発明は、操作画面でユーザから入力操作を受け付ける操作入力システムに係り、特に、パスワードなどのセキュリティ情報の入力を受ける操作入力システムに関する。
【背景技術】
【０００２】
操作パネルからパスワードなどのセキュリティ情報を入力する場合に、第三者が近くに居ると、入力中の操作パネルを盗み見されたり、操作する手の動きを見られたりすることで、入力したセキュリティ情報の内容が漏洩する恐れがある。
【０００３】
このような第三者の盗み見による情報漏洩を防止する対策として、たとえば、操作パネルに表示するソフトテンキーの配列を毎回変更することで、第三者に入力中の手の動きを盗み見されても、入力内容を推測され難くする方法が提案されている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５８８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ソフトテンキーの配列を毎回変化させたとしても、図１６に示すように、操作パネルの操作画面そのものを、後方の第三者に盗み見された場合、あるいは図１７に示すように、悪意で設置されたビデオカメラを使用して盗み見された場合には、入力内容の漏洩を防止することはできない。
【０００６】
本発明は、上記の問題を解決しようとするものであり、入力中の操作画面を第三者に見られても、入力内容が漏洩することのない操作入力システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００８】
［１］操作画面を表示する表示部と、前記操作画面に対する操作を検出する操作検出部とを備えた操作表示装置と、
カメラと第２表示部とを有して前記操作表示装置と通信可能な表示装置と、
を備え、
前記操作表示装置でセキュリティ情報の入力を受ける場合に、
前記操作表示装置は、前記表示部の画面上に所定のキー配置で入力キーを設定しかつ前記入力キーもしくは少なくとも前記入力キーの内容を視認できない操作画面を前記表示部に表示すると共に、前記設定した入力キーに対する操作を前記操作検出部で受け付け、
前記表示装置は、前記カメラの撮影画像に基づいて、前記表示部を操作者が操作する様子に前記入力キーの模擬画像が前記設定された位置に位置合わせして合成された状態が見えるように前記第２表示部の表示内容を制御する
ことを特徴とする操作入力システム。
【０００９】
上記発明では、セキュリティ情報の入力を受ける場合に、操作表示装置の表示部には、入力キーそのもの、もしくは入力キーの内容（たとえば、割り当てられている文字や記号）を視認できない操作画面を表示すると共にこの視認できない状態の入力キーに対する操作を受け付ける。一方、表示装置は、表示部を操作者が操作する様子に、入力キーの模擬画像が位置合わせして合成された状態が見えるように第２表示部の表示内容を制御する。これにより、操作者は、入力キーを視認できない操作画面を自分が操作する様子に入力キーの模擬画像が合成された状態を表示装置の第２表示部で確認しながら、操作表示装置の操作画面に対する入力操作を行うことができる。操作表示装置の操作画面には入力キー（もしくは入力キーの内容）が非表示なので、この操作画面やこれを操作する様子を第三者に盗み見されたとしても、入力内容が漏洩することはない。
【００１０】
［２］前記操作表示装置でセキュリティ情報の入力を受ける場合に、必要な入力操作以外にダミーの入力操作を行う旨の指示を前記第２表示部に表示する
ことを特徴とする［１］に記載の操作入力システム。
【００１１】
上記発明では、盗み見により、操作表示装置への入力操作回数が漏洩したとしても、必要な入力操作以外にダミーの入力操作が行われ、かつ盗み見する者には必要な入力操作とダミーの入力操作とを区別できないので、必要な入力操作の入力回数（たとえば、暗証番号の桁数）の漏洩を防止することができる。
【００１２】
［３］前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーが非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記入力キーの配置されていない箇所に対して行うように指示する
ことを特徴とする［２］に記載の操作入力システム。
【００１３】
上記発明では、入力キーが非表示の場合、操作画面を盗み見する者には、操作画面への操作が入力キーに対する操作なのか入力キーのない箇所へのダミーの入力操作なのかを区別できない。一方、第２表示部を見ている操作者は、各入力キーの場所が分かるので、入力キーの配置されていない空きスペースの場所も分かる。そこで、ダミーの入力操作を入力キーの配置されていない箇所に対して行うように指示することで、実際の入力キーに対する余計な入力操作を回避しつつ、ダミーの入力操作を行わせることができる。
【００１４】
［４］前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーの枠を表示しかつ入力キーの内容が非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記必要な入力操作の前後または途中の指定した箇所で指定した回数行うように指示する
ことを特徴とする［２］に記載の操作入力システム。
【００１５】
上記発明では、各入力キーの内容は非表示であるが枠は表示されているので、ダミーの入力操作をいずれかの入力キーに対して行うことになる。そこで、必要な入力操作の前後や途中の指定した箇所で指定した回数だけダミーの入力操作を行うように指示する。これにより、操作表示装置では、指定した箇所での指定した回数の入力操作をダミー入力として無視することができる。また、盗み見する者には、入力キーの操作回数は分かっても、実施に必要な入力操作の回数は分からない。
【００１６】
［５］前記操作表示装置は、セキュリティ情報の入力を受ける場合に、前記所定のキー配置の情報を前記表示装置に送信し、
前記表示装置は、前記操作表示装置から受信した前記キー配置の情報に基づいて、前記入力キーの模擬画像を合成する
ことを特徴とする［１］乃至［４］のいずれか１項に記載の操作入力システム。
【００１７】
上記発明では、キー配置の情報を操作表示装置から表示装置へ送信するだけで両装置を連携させることができ、操作表示装置と表示装置との間で授受する情報量を少なくすることができる。
【００１８】
［６］前記操作表示装置でセキュリティ情報の入力を受ける場合に前記操作表示装置と前記表示装置とが通信できないときは、前記操作表示装置の表示部に前記入力キーを表示する
ことを特徴とする［１］乃至［５］のいずれか１項に記載の操作入力システム。
【００１９】
上記発明では、操作表示装置と前記表示装置が通信できない場合は、操作表示装置単独で動作するように、操作表示装置の操作画面に入力キーを表示する。
【００２０】
［７］前記操作表示装置でセキュリティ情報の入力を受ける毎に、前記キー配置を変更する
ことを特徴とする［１］乃至［６］のいずれか１項に記載の操作入力システム。
【００２１】
［８］前記表示装置は、前記カメラの撮影画像に前記入力キーの模擬画像を合成した画像を前記第２表示部に表示する
ことを特徴とする［１］乃至［７］のいずれか１項に記載の操作入力システム。
【００２２】
［９］前記表示装置の前記第２表示部は、外の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、外の様子に前記入力キーの模擬画像を重ね合わせる
ことを特徴とする［１］乃至［７］のいずれか１項に記載の操作入力システム。
【発明の効果】
【００２３】
本発明に係る操作入力システムによれば、入力中の操作画面を第三者に見られても、入力内容が漏洩しないので、セキュリティが向上する。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施の形態に係る操作入力システムのシステム構成を示す図である。
【図２】セキュリティ情報の入力操作を受ける際の操作パネルおよび携帯端末の表示内容の一例を示す説明図である。
【図３】本発明の操作入力システムの操作パネルを備えた複合機の概略構成を示すブロック図である。
【図４】本発明の第１の実施の形態に係る操作入力システムの携帯端末の概略構成を示すブロック図である。
【図５】第１の実施の形態におけるセキュリティ情報入力時の通常操作画面の一例を示す正面図である。
【図６】第１の実施の形態におけるセキュリティ情報入力時の秘匿操作画面（入力キー非表示）の一例を示す正面図である。
【図７】複合機の操作パネルから携帯端末を併用してセキュリティ情報を入力する際の複合機の動作を示す流れ図である。
【図８】複合機の操作パネルから携帯端末を併用してセキュリティ情報を入力する際の携帯端末の動作を示す流れ図である。
【図９】第２の実施の形態におけるセキュリティ情報入力時の通常操作画面の一例を示す正面図である。
【図１０】第２の実施の形態におけるセキュリティ情報入力時の秘匿操作画面（入力キーの内容非表示）の一例を示す正面図である。
【図１１】第２の実施の形態に係る複合機の操作パネルから携帯端末を併用してセキュリティ情報を入力する際の複合機の動作を示す流れ図である。
【図１２】第２の実施の形態において、携帯端末を併用してセキュリティ情報を複合機の操作パネルから入力する状態を例示した説明図である。
【図１３】ヘッドマウントディスプレイの概略外観を示す図である。
【図１４】ヘッドマウントディスプレイの構成を示すブロック図である。
【図１５】第３の実施の形態において、ヘッドマウントディスプレイを併用してセキュリティ情報を複合機の操作パネルから入力する際の表示例を示す説明図である。
【図１６】従来の操作パネルが第３者によって盗み見される様子を示す説明図である。
【図１７】従来の操作パネルが、設置されたビデオカメラを通じて盗み見される様子を示す説明図である。
【発明を実施するための形態】
【００２５】
以下、図面に基づき本発明の実施の形態を説明する。
【００２６】
図１は、本発明の第１の実施の形態に係る操作入力システムを適用した複合機システム３の構成を示している。本例の操作入力システムは、複合機１０に備え付けられた操作パネル３０（操作表示装置）と、複合機１０と別体にされてユーザが携帯可能な携帯端末４０（表示装置）とを備えて構成される。
【００２７】
複合機１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピージョブ、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャンジョブ、端末装置からネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリントジョブなどの複数種類のジョブを実行する機能を備えた装置である。
【００２８】
複合機１０は、ジョブの投入操作や各種の設定操作などをユーザから受け付ける操作パネル３０を備えている。また、携帯端末４０は、パスワードなどのセキュリティ情報を操作パネル３０から入力する際に併用される。携帯端末４０は表面に表示部４１を有し、裏面に該裏面の臨む方向を撮影するカメラ４２を備えている。
【００２９】
パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０および携帯端末４０は、図２に示すように連携して動作する。すなわち、パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０ではセキュリティ情報の入力に使用される入力キー（ソフトキー）が非表示（もしくは入力キーの枠（形状）は表示されるが内容は非表示）になる。
【００３０】
一方、携帯端末４０のカメラ４２で複合機１０の操作パネル３０を撮影すると、携帯端末４０の表示部４１には、カメラ画像内の操作パネルに、現実の操作パネル３０では非表示になっている入力キーの模擬画像を位置合わせして合成した画像が表示される。この状態で操作者が現実の操作パネル３０を操作しようとすると、操作者の指もカメラ４２に撮影されるので、図２下部に示すように、携帯端末４０には、操作者の指が操作パネル３０を操作する様子に入力キーの模擬画像が位置合わせし合成されて表示される。
【００３１】
従って、操作者は携帯端末４０の表示を見ながら入力操作を行うことで、各入力キーの位置を認識しながら、入力キーが非表示の操作パネル３０に対する入力操作を円滑に行うことができる。たとえば、携帯端末４０を自分の顔に近づけて見るなど第三者から盗み見されないようにしながらセキュリティ情報の入力操作を操作パネル３０に対して行えば、操作パネル３０や入力操作中の指の動きを第三者に盗み見されたりビデオカメラで撮影されたりした場合でも、入力内容の漏洩を防止することができる。
【００３２】
図３は、複合機１０の概略構成を示すブロック図である。複合機１０は、当該複合機１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２と、ＲＡＭ(Random Access Memory)１３と、画像読取部１４と、プリンタ部１５と、画像処理部１６と、不揮発メモリ１７と、自動原稿搬送部１８と、ファクシミリ通信部１９と、ネットワーク通信部２１と、無線通信部２２と、操作パネル３０などが接続さされている。
【００３３】
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。また、ＣＰＵ１１は、操作パネル３０の表示内容や携帯端末４０との連携動作を制御する制御部としての機能を果たす。
【００３４】
ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで複合機１０の各機能が実現される。
【００３５】
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
【００３６】
画像読取部１４は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１４は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００３７】
プリンタ部１５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。
【００３８】
画像処理部１６は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
【００３９】
不揮発メモリ１７は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。
【００４０】
自動原稿搬送部１８は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１４の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。
【００４１】
ファクシミリ通信部１９は、ファクシミリ機能を備えた外部装置と公衆回線を通じて画像データを送受信する機能を果たす。
【００４２】
ネットワーク通信部２１は、ＬＡＮ(Local Area Network)などのネットワークを通じて端末装置やその他の外部装置との間でデータを通信する機能を果たす。
【００４３】
無線通信部２２は、近くの携帯端末４０と無線通信する機能を果たす。無線通信部２２の通信可能距離は１ｍ程度で十分であり、通信方式には各種の近距離無線通信方式を採用することができる。なお、携帯端末４０との間の通信は、無線ＬＡＮ（Local Area Network）を利用してもかまわない。
【００４４】
操作パネル３０は、表示部３１と、操作部３２とを備えている。表示部３１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部３２は、スタートボタンなどの各種操作スイッチと、表示部３１の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部３１の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。
【００４５】
図４は、携帯端末４０の概略構成を示している。携帯端末４０は、ＣＰＵ４３にバスを介してＲＯＭ４４、ＲＡＭ４５、不揮発メモリ４６、方位センサー部４７、カメラ４２、操作部４８、表示部４１、ネットワーク通信部４９、画像処理部５１、無線通信部５２などを接続して構成される。
【００４６】
ＣＰＵ４３はＲＯＭ４４に格納されているプログラムに従って携帯端末４０の動作を制御する。ＲＯＭ４４にはプログラムや固定データが記憶されている。ＲＡＭ４５はＣＰＵ４３がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４６には、各種の設定情報が記憶される。
【００４７】
方位センサー部４７は、携帯端末４０の向きや姿勢、およびそれらの変化を検出する。カメラ４２は携帯端末４０の裏面側に設けられて携帯端末４０の裏面が臨む方向を撮影する。カメラ４２は動画を撮影でき、たとえば、毎秒３０フレームの画像を取り込む。
【００４８】
表示部４１は液晶ディスプレイなどで構成される。操作部４８は表示部４１の物理的画面上に設けられたタッチパネルなどで構成される。
【００４９】
ネットワーク通信部４９は、ＬＡＮなどのネットワークを通じて複合機１０や他の外部装置と通信する機能を果たす。画像処理部５１は、画像データに対して、回転、拡大縮小など各種の処理を施す。無線通信部５２は近くの複合機１０と無線通信する機能を果たす。なお、複合機１０との間の通信は、無線ＬＡＮ（Local Area Network）を利用してもかまわない。
【００５０】
図５は、セキュリティ情報入力時の通常操作画面６０Ａの一例を、図６は、セキュリティ情報入力時の秘匿操作画面６０Ｂの一例を示している。通常操作画面６０Ａは携帯端末４０を併用せずに、操作パネル３０単独でセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。通常操作画面６０Ａには、セキュリティ情報の各文字の入力に使用される複数の入力キー６１、キャンセル釦６２、認証釦６３、案内メッセージ６４、入力値表示欄６５などのオブジェクトが表示される。
【００５１】
秘匿操作画面６０Ｂは携帯端末４０を併用してセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。秘匿操作画面６０Ｂには、通常操作画面６０Ａにあった入力キー６１、入力値表示欄６５は表示されない。各入力キー６１は通常操作画面６０Ａと同様に画面上に設定（定義）されているが非表示になっている。また、秘匿操作画面６０Ｂの四隅には位置合わせマーク６６が表示される。位置合わせマーク６６は、携帯端末４０のカメラ４２で撮影した画像内において操作パネル３０の表示部３１の位置を特定する際の基準位置を示す。位置合わせマーク６６は、秘匿操作画面６０Ｂの四隅に配置するほか、いずれか一方の対角位置にのみ配置してもよい。位置合わせマーク６６の形状や配置は、基準位置を示す機能を果たすことができれば、例示したものに限定されない。
【００５２】
図７は、操作パネル３０からパスワードなどのセキュリティ情報を入力する際の複合機１０の動作の流れを示している。たとえば、複合機１０は、使用を開始するに際してユーザ認証を必要とし、このユーザ認証用のＩＤ（Identification）、パスワードの入力操作を受ける場合に図７に示す動作が行われる。
【００５３】
まず、操作パネル３０の制御を行うＣＰＵ１１は、セキュリティ情報の入力を受ける際に、セキュリティ情報入力用の各入力キー６１のキー配置を、たとえば、無作為抽選などによって決定して設定（定義）する（ステップＳ１０１）。
【００５４】
ここでは、セキュリティ情報入力時の操作画面においてセキュリティ情報の入力に使用する入力キー６１以外のオブジェクトの配置は予め固定的に定めてあり、これら固定配置のオブジェクトが存在しないスペースにセキュリティ情報入力用の各入力キー６１をランダムに配置する。本例では、図５、図６に示すキャンセル釦６２、認証釦６３、案内メッセージ６４、入力値表示欄６５、位置合わせマーク６６は固定配置のオブジェクトであり、これらの存在しない空きスペースに入力キー６１を配置する。
【００５５】
次に、携帯端末４０と通信により接続可能か否かを調べる（ステップＳ１０２）。携帯端末４０と通信により接続できた場合は（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０８へ移行する。通信できない場合は（ステップＳ１０３；Ｎｏ）、操作パネル３０の表示部３１に警告メッセージを表示し、携帯端末４０を準備して通信可能な状態にするようにユーザを促す（ステップＳ１０４）。
【００５６】
その後、携帯端末４０と通信可能となったか否かを確認し、所定時間内に通信可能になった場合は（ステップＳ１０５；Ｙｅｓ）、ステップＳ１０８へ移行する。所定時間が経過しても携帯端末４０と通信して接続できない場合は（ステップＳ１０５；Ｎｏ）、セキュリティ情報入力用の各入力キー６１を視認可能に表示する通常操作画面６０Ａ（図５参照）を操作パネル３０の表示部３１に表示する（ステップＳ１０６）。そして、この通常操作画面６０Ａにてセキュリティ情報の入力操作を受け付けて（ステップＳ１０７）本処理を終了する。
【００５７】
携帯端末４０と通信により接続可能な場合は（ステップＳ１０３；Ｙｅｓ、もしくは、ステップＳ１０５；Ｙｅｓ）、セキュリティ情報入力用の各入力キー６１が非表示にされた秘匿操作画面６０Ｂ（図６参照）を操作パネル３０の表示部３１に表示する（ステップＳ１０８）。そして、秘匿操作画面６０Ｂで非表示となっている入力キー６１や入力値表示欄６５の配置情報を携帯端末４０に対して送信する（ステップＳ１０９）。たとえば、入力キー６１の配置情報は、操作パネル３０の表示部３１の左下端を原点とした座標系における各入力キー６１の位置座標、各入力キー６１の形状やサイズ、各入力キー６１に割り当てられている内容（文字や記号）などで構成される。
【００５８】
さらに、セキュリティ情報として必要な入力以外のダミー入力を入力キー６１などの配置されていない空きスペースに対して適宜行う旨のメッセージおよびこのメッセージの表示指示を携帯端末４０に送信する（ステップＳ１１０）。
【００５９】
その後、操作パネル３０は、入力キー６１が非表示になっている秘匿操作画面６０Ｂに対するユーザからの操作を監視する（ステップＳ１１１）。非表示の入力キー６１が定義されている箇所に対する操作を受けた場合は（ステップＳ１１２；Ｙｅｓ）、その箇所に定義されている非表示の入力キー６１に対する操作があったものとして、その入力キー６１に割り当てられている文字や記号を入力する（ステップＳ１１３）。
【００６０】
さらにその入力内容を携帯端末４０へ送信し（ステップＳ１１４）、ステップＳ１１１に戻って処理を継続する。入力内容の送信は暗号化して行われる。なお、入力内容そのものを送信する代わりに、入力キー６１に与えた番号などを通知してもよい。たとえば、入力キー６１の配列情報に、各入力キー６１の番号とその入力キー６１の内容とを対応付けした情報を含めておけば、入力キー６１の番号を携帯端末４０に通知することで、携帯端末４０側で入力内容を認識することができる。
【００６１】
認証釦６３に対する操作など入力終了の操作を受けた場合は（ステップＳ１１５；Ｙｅｓ）、表示終了指示を携帯端末４０に送信して（ステップＳ１１６）本処理を終了する。入力終了の操作を受けない場合は（ステップＳ１１５；Ｎｏ）、ステップＳ１１１に戻って処理を継続する。
【００６２】
図８は、操作パネル３０に表示された秘匿操作画面６０Ｂからセキュリティ情報を入力する際に併用される携帯端末４０の動作の流れを示している。図８は、図７に示す動作に対応した携帯端末４０の動作を示している。携帯端末４０は、複合機１０から入力キー６１や入力値表示欄６５の配置情報を受信すると（ステップＳ２０１）、カメラ４２で撮影を開始する（ステップＳ２０２）。さらに、複合機１０からダミー入力のメッセージおよび該メッセージの表示指示を受信する（ステップＳ２０３）。
【００６３】
その後、連続撮影しているカメラ４２の出力するカメラ画像を解析し、このカメラ画像内での操作パネル３０の表示部３１の位置を検出する。ここでは、位置合わせマーク６６を検出し、この位置合わせマーク６６を基準にカメラ画像内の表示部３１を検出する（ステップＳ２０４）。より詳細には、四隅もしくは対角に配置された各位置合わせマーク６６の位置や互いの間隔などからカメラ画像内での表示部３１の位置、サイズ、傾きなどを検出する。
【００６４】
次に、検出した操作パネル３０の表示部３１の位置、サイズ、傾斜に合わせて、各入力キー６１の模擬画像および入力値表示欄６５の模擬画像をカメラ画像に合成し、この画像にさらに、ステップＳ２０３で受信したダミー入力のメッセージを、カメラ画像内の表示部３１と重ならない位置に合成したものを携帯端末４０の表示部４１に表示する（ステップＳ２０５）。なお、模擬画像の合成では、ステップＳ２０１で受信した配置情報から実物の操作パネル３０の表示部３１内での各入力キー６１や入力値表示欄６５の位置や形状を把握し、該情報とステップＳ２０４で検出した情報とから、カメラ画像内の操作パネル３０の表示部３１の位置、大きさ、傾きなどに、各入力キー６１や入力値表示欄６５の模擬画像のサイズ、位置、傾きなどを合わせ込んで合成する。
【００６５】
その後、複合機１０から入力キー６１の操作による入力内容を受信した場合は（ステップＳ２０６；Ｙｅｓ）、その入力内容に従って、入力値表示欄６５の入力内容を更新してカメラ画像に合成表示する（ステップＳ２０７）。たとえば、携帯端末４０の表示内容は図２の下部に示すようなものになる。
【００６６】
複合機１０から表示終了指示を受信した場合は（ステップＳ２０８；Ｙｅｓ）、本処理を終了する。表示終了指示を受信しない場合は（ステップＳ２０８；Ｎｏ）、ステップＳ２０４に戻って処理を継続する。
【００６７】
図７の処理を複合機１０で行い、図８の処理を携帯端末４０で行うことにより、図２に示すような表示状態でセキュリティ情報を複合機１０の操作パネル３０から入力することができる。すなわち、パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０ではセキュリティ情報の入力に使用される入力キー６１が非表示になっている。一方、携帯端末４０の表示部４１には、操作者の指が操作パネル３０を操作する様子に入力キー６１の模擬画像が位置合わせして合成された画像が表示される。操作者は携帯端末４０の表示を見ながら操作パネル３０に対して入力操作を行うことで、入力キー６１が非表示の操作パネル３０に対する入力操作を各入力キー６１の位置を認識しながら行うことができる。
【００６８】
たとえば、第三者から盗み見されないように携帯端末４０を自分の顔に近づけて見ながらセキュリティ情報の入力操作を操作パネル３０からを行えば、操作パネル３０を第三者に盗み見されたりビデオカメラで撮影されたりした場合でも、入力内容の漏洩を防止することができる。
【００６９】
また、実際の入力操作は操作パネル３０に対して行うので、入力内容を携帯端末４０から複合機１０へ送信する必要もなく、この送信に由来して入力内容が漏洩することも防止される。
【００７０】
また、操作パネル３０上では各入力キー６１が完全に非表示なので、図２に示すように各入力キー６１の配置を操作パネル３０の画面内に散在させることで、行列状などに規則正しく配列する場合に比べて、操作パネル３０を盗み見等する第三者によるキー配置の推測をより困難にしてセキュリティを高めることができる。
【００７１】
また、操作パネル３０上では各入力キー６１が完全に非表示なので、操作パネル３０を操作する様子からは、入力キー６１を操作しているのか、何もない空きスペースを操作しているのかを区別することができない。そこで、本実施の形態では、ダミー入力を、入力キー６１の無い箇所に適宜行う旨のメッセージを携帯端末４０に表示して、ダミー入力を促している。たとえば、入力の必要なセキュリティ情報が「０２７５１」である場合に、「Ｘ０２Ｘ７５Ｘ１Ｘ」（Ｘは空きスペースへのダミー入力を示す）のように、入力の必要なセキュリティ情報の前後や途中でダミー入力（Ｘ）を適宜混ぜながら操作すればよい。また、空きスペースへのダミー入力は、操作パネル３０側で自ずと無視されるので、特別に処理を追加することなく、ダミー入力を含ませることができる。
【００７２】
このように、ダミー入力を行わせることで、セキュリティ情報が何文字で構成されるかについても第三者は推認できなくなり、セキュリティが向上する。
【００７３】
次に、本発明の第２の実施の形態について説明する。
【００７４】
第１の実施の形態では、秘匿操作画面６０Ｂにおいて入力キー６１を完全に非表示としたが、第２の実施の形態では、入力キー６１の枠は表示し、その入力キー６１による入力内容（その入力キー６１に割り当てられている文字や記号）は視認できない秘匿操作画面を表示する。
【００７５】
図９は、第２の実施の形態におけるセキュリティ情報入力時の通常操作画面６０Ｃの一例を示している。また図１０は、第２の実施の形態におけるセキュリティ情報入力時の秘匿操作画面６０Ｄの一例を示している。通常操作画面６０Ｃは携帯端末４０を併用せずに操作パネル３０単独でセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。通常操作画面６０Ｃには、セキュリティ情報を構成する各文字の入力に使用される複数の入力キー６１、キャンセル釦６２、認証釦６３、案内メッセージ６４、入力値表示欄６５などのオブジェクトがすべて視認可能に表示される。
【００７６】
秘匿操作画面６０Ｄは携帯端末４０を併用してセキュリティ情報を入力する際に操作パネル３０の表示部３１に表示される。秘匿操作画面６０Ｄには、通常操作画面６０Ｃにあった入力キー６１はその枠（形状）のみ表示され、入力キー６１の内容（割り当てられている文字や記号）は表示されない。また入力値表示欄６５の枠は表示されるが、入力操作によって受け付けた入力内容は表示されない。
【００７７】
秘匿操作画面６０Ｄには、第１の実施の形態の秘匿操作画面６０Ｂにあった位置合わせマーク６６は表示されない。第２の実施の形態では入力キー６１の枠や入力値表示欄６５の枠が位置合わせマークとして機能する。なお、入力値表示欄６５は枠を含めて完全に非表示としてもよい。
【００７８】
入力キー６１の枠を表示すると、操作者の操作が、入力キー６１に対する操作であるか、他の場所への操作であるかを、操作パネル３０を盗み見する第三者は区別できる。このため、第１の実施の形態の秘匿操作画面６０Ｂで例示したように入力キー６１を散在させることの意義は少ない。そこで、第２の実施の形態では、操作性を優先し、入力キー６１を縦横の格子状に整列して配置してある。ただし、各入力キー６１に割り当てる内容は、セキュリティ情報の入力毎にランダムに変更する。
【００７９】
また、第２の実施の形態では、入力キー６１の枠を表示するので、ダミー入力を空きスペースに行うことはできない。そこで、ダミー入力を、必要な入力操作の前後や途中など指定した入力位置で所定した回数行わせるようになっている。
【００８０】
図１１は、第２の実施の形態に係る複合機１０の操作パネル３０からパスワードなどのセキュリティ情報を入力する際の複合機１０の動作の流れを示している。操作パネル３０の制御を行うＣＰＵ１１は、セキュリティ情報の入力を受ける際に、セキュリティ情報入力用の各入力キー６１のキー配置を、たとえば、無作為抽選などによって決定する（ステップＳ３０１）。第２の実施の形態では入力キー６１の物理的な配列は縦横の格子状に固定されているので、それぞれの入力キー６１に割り当てる文字や記号をランダムに変更してキー配置を決定し定義する。
【００８１】
次に、携帯端末４０と通信により接続可能か否かを調べる（ステップＳ３０２）。携帯端末４０と通信により接続できた場合は（ステップＳ３０３；Ｙｅｓ）、ステップＳ３０８へ移行する。通信できない場合は（ステップＳ３０３；Ｎｏ）、操作パネル３０の表示部３１に警告メッセージを表示し、携帯端末４０を準備して通信可能な状態にするようにユーザを促す（ステップＳ３０４）。その後、携帯端末４０と通信可能となったか否かを確認し、所定時間内に通信可能になった場合は（ステップＳ３０５；Ｙｅｓ）、ステップＳ３０８へ移行する。
【００８２】
所定時間が経過しても携帯端末４０と接続できない場合は（ステップＳ３０５；Ｎｏ）、セキュリティ情報入力用の各入力キー６１の内容についても視認可能な通常操作画面６０Ｃ（図９参照）を操作パネル３０の表示部３１に表示する（ステップＳ３０６）。そして、通常操作画面６０Ｃにてセキュリティ情報の入力操作を受け付けて（ステップＳ３０７）本処理を終了する。
【００８３】
携帯端末４０と通信により接続可能な場合は（ステップＳ３０３；Ｙｅｓ、もしくは、ステップＳ３０５；Ｙｅｓ）、セキュリティ情報入力用の各入力キー６１の枠のみ表示され内容が非表示の秘匿操作画面６０Ｄ（図１０参照）を操作パネル３０の表示部３１に表示する（ステップＳ３０８）。そして、各入力キー６１や入力値表示欄６５の配置情報を携帯端末４０に対して送信する（ステップＳ３０９）。さらに、セキュリティ情報として必要な入力以外のダミー入力を、必要な入力操作の前後もしくは途中の指定された位置で指定された回数行う旨のメッセージおよびこのメッセージの表示指示を携帯端末４０に送信する（ステップＳ３１０）。
【００８４】
たとえば、パスワードの入力完了後、２回のダミー入力を行う旨のメッセージを送信する。なお、指定するダミー入力の位置や回数を毎回もしくは複数回の１回の割合で変更するようにすれば、さらにセキュリティが向上する。
【００８５】
操作パネル３０は、入力キー６１の枠だけ表示されて内容が非表示になっている秘匿操作画面６０Ｄに対するユーザの操作を監視する（ステップＳ３１１）。いずれかの入力キー６１の枠が表示されている領域に対する操作を受けた場合は（ステップＳ３１２；Ｙｅｓ）、今回の入力が予め定めたダミー入力の位置での入力か否かを判定する（ステップＳ３１３）。たとえば、５桁のパスワードの後ろに２桁のダミー入力をするように指示してある場合は、６回目と７回目の入力をダミー入力と判断する。
【００８６】
今回の入力操作がダミー入力でなければ（ステップＳ３１３；Ｎｏ）、その操作された入力キー６１に割り当てられている文字や記号の入力があったものとする（ステップＳ３１４）。さらにその入力内容を携帯端末４０へ送信して（ステップＳ３１５）、ステップＳ３１１に戻って処理を継続する。
【００８７】
今回の入力操作がダミー入力であった場合は（ステップＳ３１３；Ｙｅｓ）、ダミー入力があった旨を携帯端末４０に送信する（ステップＳ３１６）。その後、ステップＳ３１１に戻って処理を継続する。
【００８８】
認証釦６３に対する操作など入力終了の操作を受けた場合は（ステップＳ３１７；Ｙｅｓ）、表示終了指示を携帯端末４０に送信して（ステップＳ３１８）本処理を終了する。入力終了の操作を受けない場合は（ステップＳ３１７；Ｎｏ）、ステップＳ３１１に戻って処理を継続する。
【００８９】
なお、携帯端末４０側の処理は図８に示すものと基本的に同一である。ただし、第２の実施の形態では、入力キー６１の枠が現実の操作パネル３０に表示されるので、携帯端末４０のカメラ４２が撮影したカメラ画像内の操作パネルにも入力キー６１の枠が写っている。そこで、ステップＳ２０５では、各入力キー６１の内容を表す文字や記号のみをカメラ画像内の各入力キー６１の枠に位置合わせして合成する。もちろん、枠を含めた入力キー６１全体の模擬画像を合成するようにしてもかまわない。入力値表示欄６５についても同様である。
【００９０】
図１２は、第２の実施の形態において、携帯端末４０を併用してセキュリティ情報を複合機１０の操作パネル３０から入力する状態を例示している。パスワードなどのセキュリティ情報の入力を受ける場合、複合機１０の操作パネル３０に表示された秘匿操作画面６０Ｄではセキュリティ情報の入力に使用される入力キー６１の枠は表示されるが各入力キー６１の内容が非表示になっている。携帯端末４０の表示部４１には、操作パネル３０を操作者の指が操作する様子に、入力キー６１の内容の模擬画像を位置合わせして合成した画像が表示される。操作者は携帯端末４０の表示を見ながら入力操作を行うことで、入力キー６１の内容が非表示の操作パネル３０に対する入力操作を各入力キー６１の内容を認識しながら行うことができる。
【００９１】
たとえば、携帯端末４０を自分の顔に近づけて見るなど第三者から盗み見されないようにしながらセキュリティ情報の入力操作を操作パネル３０からを行えば、操作パネル３０を第三者に盗み見されたりビデオカメラで撮影されたりした場合でも、入力内容の漏洩を防止することができる。
【００９２】
また、一連の入力操作中にダミー入力を行わせるので、セキュリティ情報が何文字で構成されるかについても第三者には推認できなくなり、セキュリティが向上する。図１２の例では、パスワードの入力後に、２回のダミー入力操作を行う旨のメッセージが携帯端末４０に表示されている。このときユーザが、入力の必要なセキュリティ情報「０２７５１」に対して、「０２７５１３８」のように７桁の入力を行うと、操作パネル３０では最後の２桁をダミー入力として扱う。携帯端末４０の入力値表示欄６５には、「０２７５１＊＊」と表示され、最後の２回の入力がダミー入力として認識されたことが示される。
【００９３】
次に、本発明の第３の実施の形態について説明する。
【００９４】
第１、第２の実施の形態では、セキュリティ情報の入力操作時に携帯端末４０を併用したが、第３の実施の形態では、携帯端末４０に代えて透過型のヘッドマウントディスプレイ７０を使用する。
【００９５】
図１３は、ヘッドマウントディスプレイ７０の概略構成を示している。ヘッドマウントディスプレイ７０は、眼鏡に類似した形を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ７０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。
【００９６】
ヘッドマウントディスプレイ７０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部７１と、左右の表示部７１をそれらの間で繋ぐブリッジ７２と、ブリッジ７２で連結された左右の表示部７１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル７３などを備えている。
【００９７】
また、表示部７１の両脇には、ネットワーク通信部８１、画像処理部８２、制御部８３などの制御回路、投影部８４、カメラ８５などを含む基幹部７４が設けられている。また各表示部７１の前方に位置するようにハーフミラー７５が、左右の基幹部７４から延びる支持腕に支持されている。
【００９８】
ハーフミラー７５は前方から表示部７１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部７４の投影部８４は、画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー７５に向けて投影する。ハーフミラー７５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー７５は、たとえば、透過と反射の光量比が１：１になっている。
【００９９】
ヘッドマウントディスプレイ７０の装着者の目は、外光Ｌ１と画像光Ｌ２とが１：１の割合で合成された光が表示部７１を通じて入射する。すなわち、ヘッドマウントディスプレイ７０の装着者は、外の様子と投影部８４が投影した画像とを半々の透過率で重ね合わせた様子を見る。
【０１００】
図１４は、ヘッドマウントディスプレイ７０の構成を示すブロック図である。ヘッドマウントディスプレイ７０は、制御部としてのＣＰＵ８３にバスを介してＲＯＭ８６、ＲＡＭ８７、不揮発メモリ８８、方位センサー部８９、投影部８４、カメラ８５、操作部９１、表示部７１、ネットワーク通信部８１、画像処理部９２、無線通信部９３などを接続して構成される。
【０１０１】
ＣＰＵ８３はＲＯＭ８６に格納されているプログラムに従ってヘッドマウントディスプレイ７０の動作を制御する。ＲＯＭ８６にはプログラムや固定データが記憶されている。ＲＡＭ８７はＣＰＵ８３がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ８８には、各種の設定情報が記憶される。
【０１０２】
方位センサー部８９は、ヘッドマウントディスプレイ７０の向きや姿勢およびその変化を検出する。カメラ８５はヘッドマウントディスプレイ７０の前方を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ８５は、左右の基幹部７４にそれぞれ設けられてもよいし、いずれか一方のみに設けられてもよい。カメラ８５は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。
【０１０３】
操作部９１は基幹部７４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。
【０１０４】
ネットワーク通信部８１は、ＬＡＮなどのネットワークを通じて複合機１０や他の外部装置との間でデータを通信する機能を果たす。無線通信部９３は近くの複合機１０と無線通信する機能を果たす。なお、複合機１０との間の通信は、無線ＬＡＮ（Local Area Network）を利用してもかまわない。画像処理部９２は、模擬画像の変形などを行う。
【０１０５】
透過型のヘッドマウントディスプレイ７０で行う処理は基本的には図８に示すものと同一である。ただし、第１、第２の実施の形態の携帯端末４０ではカメラ画像に入力キー６１などの模擬画像を位置合わせして合成した画像を表示部４１に表示したが、第３の実施の形態のヘッドマウントディスプレイ７０では、装着者が見ている現実空間の操作パネル３０の表示部３１に位置合わせして、入力キー６１などの模擬画像のみを投影部８４に投影する。
【０１０６】
詳細には、ヘッドマウントディスプレイ７０のカメラ８５の撮影するカメラ画像を解析し、このカメラ画像内にある操作パネル３０の表示部３１の位置を特定する。この位置は、ヘッドマウントディスプレイ７０の装着者が見ている現実空間内での表示部３１の位置に対応しているので、装着者が見ている現実空間内の表示部３１の位置やサイズ、向きに、位置や形状、向きを合わせ込んで入力キー６１などの模擬画像を投影部８４から投影する。
【０１０７】
第１の実施の形態と同様に、操作パネル３０の表示部３１に入力キー６１が完全に非表示の秘匿操作画面６０Ｂが表示される場合には、投影部８４の投影する画像は入力キー６１や入力値表示欄６５の模擬画像になる。また第２の実施の形態と同様に、操作パネル３０の表示部３１に入力キー６１の枠が表示され内容が非表示の秘匿操作画面６０Ｄが表示される場合には、投影部８４の投影する画像は入力キー６１の内容を示す文字や記号、入力値表示欄６５の中に表示する入力内容の画像になる。
【０１０８】
図１５は、第３の実施の形態において、ヘッドマウントディスプレイ７０を併用してセキュリティ情報を複合機１０の操作パネル３０から入力する状態を例示している。同図（ａ）は、複合機１０の操作パネル３０の表示状態を示している。この例では、入力キー６１が完全に非表示の秘匿操作画面６０Ｂが表示されている。
【０１０９】
同図（ｂ）はヘッドマウントディスプレイ７０の装着者の目に映る現実空間を示している。同図（ｃ）はヘッドマウントディスプレイ７０の投影部８４が投影した画像を示している。入力キー６１および入力値表示欄６５の模擬画像が、同図（ｂ）の現実空間の操作パネル３０の表示部３１に位置・形状・傾斜などが合わせ込まれて投影される。同図（ｄ）は、ヘッドマウントディスプレイ７０の装着者に見える内容であり、同図（ｂ）と同図（ｃ）とを重ね合わせたものになっている。
【０１１０】
このように、ヘッドマウントディスプレイ７０を使用すれば、投影部８４で投影した入力キー６１（あるいは入力キー６１の内容）や入力値表示欄６５の内容は、ヘッドマウントディスプレイ７０の装着者にしか見ることができず、第３者に見られることは一切ないので、さらにセキュリティを高めることができる。
【０１１１】
次に、上記各実施の形態に共通適用可能な応用例を説明する。
【０１１２】
（１）処理負担の軽減
携帯端末４０やヘッドマウントディスプレイ７０は、カメラ４２、８５で撮影した画像を解析して、その画像内にある操作パネル３０の表示部３１の位置、サイズ、傾きなどを特定する。この特定処理の処理負担を以下のように軽減する。
【０１１３】
上記特定処理は、初回の検出時および、方位センサー部４７、８９が携帯端末４０やヘッドマウントディスプレイ７０の位置が一定以上変化したことを検出したときのみ行う。
【０１１４】
（２）携帯端末４０やヘッドマウントディスプレイ７０との通信
実施の形態では携帯端末４０やヘッドマウントディスプレイ７０と複合機１０との間の通信を無線通信によって行ったが、人体通信で行うようにしてもよい。すなわち、携帯端末４０を一方の手に持った操作者もしくはヘッドマウントディスプレイ７０を装着した操作者が操作パネル３０の表示部３１の表示面を指で操作したとき、人体を通信媒体として携帯端末４０もしくはヘッドマウントディスプレイ７０と通信する。
【０１１５】
たとえば、携帯端末４０やヘッドマウントディスプレイ７０を併用する秘匿モードでセキュリティ情報の入力を行うか否かの選択釦を操作パネル３０の表示部３１に表示し、ユーザが秘匿モードの選択釦を押下操作したときに人体通信を行う。この人体通信により携帯端末４０やヘッドマウントディスプレイ７０との接続を確認すると共に、接続を確認できたときは、入力キー６１の配置情報などを携帯端末４０やヘッドマウントディスプレイ７０に対して送信する。
【０１１６】
これにより、実際のセキュリティ情報の入力操作前に、入力キー６１６１などの配置情報などを携帯端末４０やヘッドマウントディスプレイ７０に送信して合成する画像を生成させることができる。人体通信を利用することで、通信中のセキュリティが高まり、通信による情報漏洩を防止することができる。
【０１１７】
（３）携帯端末４０やヘッドマウントディスプレイ７０の省電力モード自動解除
セキュリティ情報の入力に際して携帯端末４０やヘッドマウントディスプレイ７０との通信による接続を確認できたときに携帯端末４０やヘッドマウントディスプレイ７０が省電力モードであれば、通常電力モードに復帰させる。すなわち、所定の復帰コマンドを複合機１０から携帯端末４０やヘッドマウントディスプレイ７０に送信して、これらを通常動作状態に復帰させる。
【０１１８】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１１９】
実施の形態では、本発明に係る操作入力システムを複合機１０に適用した場合を例に説明したが、適用対象の機器は複合機に限定されるものではない。なお、本発明によるセキュリティ向上の効果は、第３者による操作パネルの盗み見等を完全に防止できない場合により発揮される。たとえば、操作パネル３０が、当該操作パネル３０によって操作される装置本体と一体不可分で取り外しできないような態様に本発明は好適である。
【０１２０】
第３の実施の形態では、外の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイを採用したが、装着すると外の様子を見ることができず、映し出される画像のみが見える、ＶＲ（Virtual Rsality）型のヘッドマウントディスプレイであってもよい。この場合は携帯端末４０と同様にカメラ画像に入力キー６１などの模擬画像を合成した画像を表示すればよい。
【０１２１】
このほか、秘匿操作画面６０Ｂ、６０Ｄにおいて「パスワードを入力してください」などのメッセージを非表示とし、これを携帯端末４０側にのみ表示するように構成すれば、セキュリティ情報を入力しようとしていることすら第３者にわからなくなり、セキュリティの向上に寄与する。
【０１２２】
また、実施の形態では、複合機１０から携帯端末４０やヘッドマウントディスプレイ７０に対して入力キー６１などの配列情報を送信し、この配列情報に基づいて携帯端末４０やヘッドマウントディスプレイ７０側で入力キー６１などの模擬画像を作成して合成する構成であったが、複合機１０と、携帯端末４０、ヘッドマウントディスプレイ７０との作業分担はこれに限定されるものではない。たとえば、カメラ画像を解析して得た操作パネル３０の表示部３１の位置・形状・傾きなどの情報を携帯端末４０やヘッドマウントディスプレイ７０から複合機１０に対して送信し、この情報に基づいて複合機１０側で合成すべき画像を作成し、この画像を携帯端末４０に送信してカメラ画像と合成させて表示する、あるいはヘッドマウントディスプレイ７０に送信して投影部８４に投影させるといった構成でもかまわない。
【０１２３】
実施の形態では、入力値表示欄６５および入力内容を携帯端末４０やヘッドマウントディスプレイ７０に表示するようにしたが、これらの表示は省略してもよい。複合機１０と携帯端末４０やヘッドマウントディスプレイ７０との入力内容に関する通信が不要になり、セキュリティがさらに高まる。
【０１２４】
セキュリティ情報は、実施の形態で例示したパスワードなどに限定されない。いかなる情報をセキュリティ情報とするかは任意に定義・設定すればよい。
【符号の説明】
【０１２５】
３…複合機システム
１０…複合機
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…画像読取部
１５…プリンタ部
１６…画像処理部
１７…不揮発メモリ
１８…自動原稿搬送部
１９…ファクシミリ通信部
２１…ネットワーク通信部
２２…無線通信部
３０…操作パネル
３１…表示部
３２…操作部
４０…携帯端末
４１…表示部
４２…カメラ
４３…ＣＰＵ
４４…ＲＯＭ
４５…ＲＡＭ
４６…不揮発メモリ
４７…方位センサー部
４８…操作部
４９…ネットワーク通信部
５１…画像処理部
５２…無線通信部
６０Ａ…通常操作画面
６０Ｂ…入力キーが完全非表示の秘匿操作画面
６０Ｃ…通常操作画面
６０Ｄ…入力キーの枠が表示され内容が非表示の秘匿操作画面
６１…入力キー
６２…キャンセル釦
６３…認証釦
６４…案内メッセージ
６５…入力値表示欄
６６…位置合わせマーク
７０…ヘッドマウントディスプレイ
７１…表示部
７２…ブリッジ
７３…ツル
７４…基幹部
７５…ハーフミラー
８１…ネットワーク通信部
８２…画像処理部
８３…制御部（ＣＰＵ）
８４…投影部
８５…カメラ
８６…ＲＯＭ
８７…ＲＡＭ
８８…不揮発メモリ
８９…方位センサー部
９１…操作部
９２…画像処理部
９３…無線通信部
Ｌ１…外光
Ｌ２…画像光
【特許請求の範囲】
【請求項１】
操作画面を表示する表示部と、前記操作画面に対する操作を検出する操作検出部とを備えた操作表示装置と、
カメラと第２表示部とを有して前記操作表示装置と通信可能な表示装置と、
を備え、
前記操作表示装置でセキュリティ情報の入力を受ける場合に、
前記操作表示装置は、前記表示部の画面上に所定のキー配置で入力キーを設定しかつ前記入力キーもしくは少なくとも前記入力キーの内容を視認できない操作画面を前記表示部に表示すると共に、前記設定した入力キーに対する操作を前記操作検出部で受け付け、
前記表示装置は、前記カメラの撮影画像に基づいて、前記表示部を操作者が操作する様子に、前記入力キーの模擬画像が前記設定された位置に位置合わせして合成された状態が見えるように前記第２表示部の表示内容を制御する
ことを特徴とする操作入力システム。
【請求項２】
前記操作表示装置でセキュリティ情報の入力を受ける場合に、必要な入力操作以外にダミーの入力操作を行う旨の指示を前記第２表示部に表示する
ことを特徴とする請求項１に記載の操作入力システム。
【請求項３】
前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーが非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記入力キーの配置されていない箇所に対して行うように指示する
ことを特徴とする請求項２に記載の操作入力システム。
【請求項４】
前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーの枠を表示しかつ入力キーの内容が非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記必要な入力操作の前後または途中の指定した箇所で指定した回数行うように指示する
ことを特徴とする請求項２に記載の操作入力システム。
【請求項５】
前記操作表示装置は、セキュリティ情報の入力を受ける場合に、前記所定のキー配置の情報を前記表示装置に送信し、
前記表示装置は、前記操作表示装置から受信した前記キー配置の情報に基づいて、前記入力キーの模擬画像を合成する
ことを特徴とする請求項１乃至４のいずれか１項に記載の操作入力システム。
【請求項６】
前記操作表示装置でセキュリティ情報の入力を受ける場合に前記操作表示装置と前記表示装置とが通信できないときは、前記操作表示装置の表示部に前記入力キーを表示する
ことを特徴とする請求項１乃至５のいずれか１項に記載の操作入力システム。
【請求項７】
前記操作表示装置でセキュリティ情報の入力を受ける毎に、前記キー配置を変更する
ことを特徴とする請求項１乃至６のいずれか１項に記載の操作入力システム。
【請求項８】
前記表示装置は、前記カメラの撮影画像に前記入力キーの模擬画像を合成した画像を前記第２表示部に表示する
ことを特徴とする請求項１乃至７のいずれか１項に記載の操作入力システム。
【請求項９】
前記表示装置の前記第２表示部は、外の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、外の様子に前記入力キーの模擬画像を重ね合わせる
ことを特徴とする請求項１乃至７のいずれか１項に記載の操作入力システム。
【請求項１】
操作画面を表示する表示部と、前記操作画面に対する操作を検出する操作検出部とを備えた操作表示装置と、
カメラと第２表示部とを有して前記操作表示装置と通信可能な表示装置と、
を備え、
前記操作表示装置でセキュリティ情報の入力を受ける場合に、
前記操作表示装置は、前記表示部の画面上に所定のキー配置で入力キーを設定しかつ前記入力キーもしくは少なくとも前記入力キーの内容を視認できない操作画面を前記表示部に表示すると共に、前記設定した入力キーに対する操作を前記操作検出部で受け付け、
前記表示装置は、前記カメラの撮影画像に基づいて、前記表示部を操作者が操作する様子に、前記入力キーの模擬画像が前記設定された位置に位置合わせして合成された状態が見えるように前記第２表示部の表示内容を制御する
ことを特徴とする操作入力システム。
【請求項２】
前記操作表示装置でセキュリティ情報の入力を受ける場合に、必要な入力操作以外にダミーの入力操作を行う旨の指示を前記第２表示部に表示する
ことを特徴とする請求項１に記載の操作入力システム。
【請求項３】
前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーが非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記入力キーの配置されていない箇所に対して行うように指示する
ことを特徴とする請求項２に記載の操作入力システム。
【請求項４】
前記操作表示装置でセキュリティ情報の入力を受ける場合に、前記入力キーの枠を表示しかつ入力キーの内容が非表示の操作画面を前記表示部に表示すると共に、前記ダミーの入力操作を前記必要な入力操作の前後または途中の指定した箇所で指定した回数行うように指示する
ことを特徴とする請求項２に記載の操作入力システム。
【請求項５】
前記操作表示装置は、セキュリティ情報の入力を受ける場合に、前記所定のキー配置の情報を前記表示装置に送信し、
前記表示装置は、前記操作表示装置から受信した前記キー配置の情報に基づいて、前記入力キーの模擬画像を合成する
ことを特徴とする請求項１乃至４のいずれか１項に記載の操作入力システム。
【請求項６】
前記操作表示装置でセキュリティ情報の入力を受ける場合に前記操作表示装置と前記表示装置とが通信できないときは、前記操作表示装置の表示部に前記入力キーを表示する
ことを特徴とする請求項１乃至５のいずれか１項に記載の操作入力システム。
【請求項７】
前記操作表示装置でセキュリティ情報の入力を受ける毎に、前記キー配置を変更する
ことを特徴とする請求項１乃至６のいずれか１項に記載の操作入力システム。
【請求項８】
前記表示装置は、前記カメラの撮影画像に前記入力キーの模擬画像を合成した画像を前記第２表示部に表示する
ことを特徴とする請求項１乃至７のいずれか１項に記載の操作入力システム。
【請求項９】
前記表示装置の前記第２表示部は、外の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、外の様子に前記入力キーの模擬画像を重ね合わせる
ことを特徴とする請求項１乃至７のいずれか１項に記載の操作入力システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１１０５１４（Ｐ２０１３−１１０５１４Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２８２０（Ｐ２０１１−２５２８２０）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]