説明

情報機器、表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラム及び表示する方法

【課題】ネットワークを介して他の機器から受信した表示オブジェクトの電子署名の検証結果の表示の偽装を防止する。
【解決手段】ネットワークに接続可能な通信部と、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、処理部と、記憶部とを備えた情報機器に、通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、当該表示オブジェクトの電子署名を検証するステップと、電子署名の検証結果に応じて表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示することで、当該表示オブジェクトと当該表示オブジェクトの電子署名の検証結果とを表示するステップとを実行させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワークに接続可能な情報機器のセキュリティに関する。より詳細には、情報機器がネットワークを介して他の機器から受信した表示オブジェクトの電子署名の検証結果を偽装する攻撃を防止する技術に関する。
【背景技術】
【0002】
[ネットワークセキュリティについて]
【0003】
インターネット等のネットワークに接続した情報機器は種々の脅威にさらされる。しかし、ネットワークに接続して得る情報は重要であり、脅威を回避するためにネットワークに接続しないという選択は望ましくない。そこで、ネットワークに接続したために生じる脅威から防御するためにファイアーウォールやウイルス対策ソフトウェア等のネットワークセキュリティが必要となる。
【0004】
ネットワークセキュリティで防御すべき脅威は多岐に渡るため単一のポリシーや技術で全体をカバーすることはできない。多種、多様な脅威に対して個々に対策が必要である。本発明は、そのようなネットワークセキュリティの技術の一端に関するものである。
【0005】
電子商取引や電子行政サービスを利用するときネットワークを介して送受信する表示オブジェクトを暗号化して第3者による盗み読みを防止することは良く知られている。加えて、なりすまし、改竄及び否認行為を防止するため表示オブジェクトに電子署名を施してからネットワークへ送信し、受信した側の情報機器は、その電子署名を検証することも必要になる。
【0006】
[電子署名の検証結果の表示について]
【0007】
受信した表示オブジェクトの電子署名の検証が失敗したとき、その表示オブジェクトを信用すると、なりすまし、改竄又は否認行為による被害に遭う危険性がある。検証が成功したならば、基本的に、それらの被害に遭う危険性は否定できる。そして、利用者が、それらの被害に遭わないようにするために電子署名の検証結果は分かりやすい方法で示さなければならない。
【0008】
しかし、電子署名の検証結果を利用者に示すとき、単に記号や文字を使ってディスプレイに表示するだけでは安全と言い切れない。なぜなら、正規の検証結果と見間違うように偽装することが可能だからである。例えば、悪意を持った人間が、真正であると思わせる記号や「信頼できます。」という文字を使って検証が成功したように見せかけることは可能である。そのような検証結果の表示の偽装に騙されないようにする技術が以下の先行技術文献に記載されている。
【0009】
特許文献1には、クライアント端末の検証用個人テーブルに任意の文字列や画像データ等の情報を登録しておき、電子データの真正性の検証結果を出力するときに、前記登録した任意の情報を検証結果と共に出力する真正性出力方法が記載されている。これによれば、検証用個人テーブルの情報を知らない第3者による偽の真正性表示が困難になる。
【0010】
特許文献2には、ユーザがある種のアクションを実施するとレンダリングされたUI(user interface)オブジェクトを検証して、検証が成功又は検証が失敗したUIオブジェクトに視覚的効果(境界を追加する、ディスプレイ画面の特定の位置に表示する、半透明性を増加させる等)を適用して検証されたUIオブジェクトの識別を容易にする検証システムが記載されている。これによれば、自らのアクションをきっかけにUIオブジェクトに生じた視覚的効果を見たユーザは真正なUIオブジェクトを容易に識別できる。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2002−229450号公報
【特許文献2】特表2010−507173号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
特許文献1に記載の真正性出力方法は検証用個人テーブルに登録した任意の情報によって真正性を示すため、その対象が不明確になる可能性がある。例えば、任意の情報と共に、あるWebページのURLが真正であると表示されているとき、そのWebページと、そのWebページであるかのようにURLを偽装したWebページとを見分けることは困難である。
【0013】
また、検証用個人テーブルに登録した任意の文字列や画像データ等の情報が漏洩したとき検証結果の偽装が可能になる。たとえ、信頼できる人でも任意の情報を見ているならば、ひとたび偽装が行われれば、その信頼できる人も疑わなければならなくなる。よって、検証結果を表示するときは他人に見せないようにする必要がある。
【0014】
特許文献2に記載の検証システムでは、検証したUIオブジェクトに適用する視覚的効果に似た視覚的効果をUIオブジェクト自体が使用すると、検証したUIオブジェクトであるかのように偽装していることになる。例えば、Webページを画面中央に表示して、ユーザがキーボードの特定のキーを押したときに検証して、検証が成功したならばWebページを画面の上左隅に移動させるようにしているとき、似た視覚的効果(画面の中央に表示して一定時間経過後、上左隅に移動する)を生じさせるスクリプトをWebページに入れたならば、その視覚的効果を電子署名の検証結果の表示であるとユーザが誤解する可能性がある。よって、悪意の無いUIオブジェクトは偽装していないことを明らかにするため、検証したUIオブジェクトに適用する視覚的効果と似た視覚的効果を使わないという暗黙の制限が生じて利便性を低下させる。
【0015】
本発明は、上記の問題を解決して、電子署名の検証結果の偽装を防止し、ネットワークを利用する環境の安全性と利便性を向上させることを目的としている。
【課題を解決するための手段】
【0016】
上記の目的を達成する情報機器は、ネットワークに接続可能な通信部と、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、処理部と、記憶部とを備えた情報機器であって、前記通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、当該表示オブジェクトの電子署名を検証するステップを実行し、前記電子署名の検証結果に応じて前記表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示するステップを実行する構成を有することを特徴とする。
【0017】
上記の目的を達成するためのプログラムは、ネットワークに接続可能な通信部と、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、処理部と、記憶部とを備えた情報機器に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムであって、前記通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、当該表示オブジェクトの電子署名を検証するステップと、前記電子署名の検証結果に応じて前記表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示することで、当該表示オブジェクトと当該表示オブジェクトの電子署名の検証結果とを表示するステップとを前記情報機器に実行させる。
【0018】
上記の目的を達成する方法は、ネットワークに接続可能な通信部と、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、処理部と、記憶部とを備えた情報機器が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法であって、前記通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、当該表示オブジェクトの電子署名を検証するステップと、前記電子署名の検証結果に応じて前記表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示することで、当該表示オブジェクトと当該表示オブジェクトの電子署名の検証結果とを表示するステップとを前記情報機器が実行することを特徴とする方法である。
【発明の効果】
【0019】
本発明によれば、表示オブジェクトの電子署名の検証結果は、その表示オブジェクトを表示する奥行き位置で表示する。よって、表示オブジェクトと電子署名の検証結果との関係が明確になる。
【0020】
また、表示オブジェクトの電子署名の検証結果を表示するために秘密の情報を使わない。よって、表示部に表示した電子署名の検証結果を他人に見られても偽装に利用される恐れが無い。
【0021】
また、表示オブジェクトの電子署名の検証結果は、後に説明する生理的要因の立体視の原理による奥行き知覚を用いて表示する。よって、表示オブジェクトに用いる2次元の視覚的効果(心理的要因による立体感を含む)は、電子署名の検証結果であると誤解されることが無いため制限無しに使用可能である。
【0022】
ゆえに、表示オブジェクトの電子署名の検証結果を偽装して利用者を騙す攻撃が困難になり、ネットワークを利用する環境の安全性と利便性を向上させることができる。
【図面の簡単な説明】
【0023】
【図1】パーソナルコンピュータに本発明を適用した例を説明するための斜視図である。
【図2】クライアント・サーバ接続方式を説明するための図である。
【図3】放送型接続方式を説明するための図である。
【図4】P2P接続方式を説明するための図である。
【図5】人が焦点調節によって奥行きを知覚する原理を説明するための図である。
【図6】人が運動視差によって奥行きを知覚する原理を説明するための平面図である。
【図7】人が輻輳によって奥行きを知覚する原理を説明するための平面図である。
【図8】人が両眼視差によって奥行きを知覚する原理を説明するための平面図である。
【図9】人が心理的要因によって奥行きを知覚する原理を説明するための図面代用写真である。
【図10】ステレオグラムの例の図面代用写真である。
【図11】第1の実施の形態のハードウェア構成を示すブロック図である。
【図12】第1の実施の形態の多重奥行き表示部の構成を説明するための斜視図である。
【図13】第1の実施の形態の多重奥行き表示部の奥側液晶パネルに受信メール一覧を表示した状態を示した斜視図である。
【図14】第1の実施の形態の多重奥行き表示部の手前側液晶パネルに見積書を表示した状態を示した斜視図である。
【図15】第1の実施の形態の多重奥行き表示部の奥側と手前側とに画像を表示した状態を示した斜視図である。
【図16】第1の実施の形態の多重奥行き表示部の光の干渉を防ぐ制御を説明するためのタイミングチャートである。
【図17】第1の実施の形態に係るプログラムのフローチャートである。
【図18】第2の実施の形態のハードウェア構成を示すブロック図である。
【図19】第2の実施の形態の表示の様子を示した斜視図である。
【図20】第2の実施の形態の両眼視差を有するステレオ画像の例である。
【図21】第2の実施の形態の液晶表示部と液晶シャッター眼鏡との制御のタイミングチャートである。
【図22】第2の実施の形態で利用者が知覚する奥行き位置の範囲を説明するための平面図である。
【図23】第2の実施の形態に係るプログラムのフローチャートである。
【図24】第2の実施の形態で説明する、ステレオ画像の例を示した図面代用写真である。
【図25】第2の実施の形態で説明する、2次元画像+デプスマップの例を示した図面代用写真である。
【図26】第2の実施の形態のステレオマッチング処理プログラムを説明するためのフローチャートである。
【図27】第3の実施の形態のハードウェア構成を示すブロック図である。
【図28】第3の実施の形態の電子広告看板を人の集まる商業施設内のエスカレータホールの壁面に設置した様子を示す図である。
【図29】第3の実施の形態の電子広告看板が緊急地震速報を表示した様子を示す図である。
【図30】第3の実施の形態の電子広告看板の多眼式立体画像表示部の特徴的な構造を説明するための図である。
【図31】第3の実施の形態の電子広告看板の多眼式立体画像表示部の16個の視点のうち右から5番目の視点に対応する画素を示す図である。
【図32】第3の実施の形態の電子広告看板の多眼式立体画像表示部の16個の視点のうち右から12番目の視点に対応する画素を示す図である。
【図33】第3の実施の形態で説明する、3視点画像データを撮影する方法を示した平面図である。
【図34】第3の実施の形態で説明する、3視点画像データの例の図面代用写真である。
【図35】第3の実施の形態に係るプログラムのフローチャートである。
【図36】第3の実施の形態の電子広告看板が無効の画像を表示した様子を示す図である。
【図37】第3の実施の形態の電子広告看板が訓練報の画像を表示した様子を示す図である。
【図38】第4の実施の形態で説明する、ファントグラムを表示した例を示した図である。
【図39】第4の実施の形態のハードウェア構成を示すブロック図である。
【図40】第4の実施の形態の立体画像表示部を説明するための斜視図である。
【図41】第4の実施の形態のスキャンバックライト方式の原理を説明するための図である。
【図42】第4の実施の形態のスキャンバックライト方式を説明するためのタイミングチャートである。
【図43】第4の実施の形態の立体画像表示部のプリズム板を説明するための側面図である。
【図44】第4の実施の形態で利用者の視界に映る立体画像表示部の様子を示した図である。
【図45】第4の実施の形態で利用者が知覚する奥行き位置の範囲を説明するための側面図である。
【図46】第4の実施の形態に係るプログラムのフローチャートである。
【図47】第5の実施の形態のハードウェア構成を示すブロック図である。
【図48】第5の実施の形態の浮遊画像表示部の原理を説明するための側面図である。
【図49】第5の実施の形態の浮遊画像表示部の外観の例を示す斜視図である。
【図50】第5の実施の形態の浮遊画像表示部内部の変位機構を説明するための側面図である。
【図51】第5の実施の形態の浮遊画像表示部の変位機構のリセットを説明するための側面図である。
【図52】第5の実施の形態の浮遊画像表示部の変位機構の位置セットを説明するための側面図である。
【図53】第5の実施の形態に係るプログラムのフローチャートである。
【図54】第5の実施の形態の浮遊画像表示部に表示した画像の例を示す斜視図である。
【図55】第6の実施の形態のハードウェア構成を示すブロック図である。
【図56】第6の実施の形態の表示の様子を示した斜視図である。
【図57】第6の実施の形態で運動視差による奥行き知覚を説明するための平面図である。
【図58】第6の実施の形態で利用者の視界に映る表示部の画像の様子を示した図である。
【図59】第6の実施の形態で運動視差を知覚させる画像データの例である。
【図60】第6の実施の形態のWeb会議のクライアント認証を説明するための図である。
【図61】第6の実施の形態に係るプログラムのフローチャートである。
【発明を実施するための形態】
【0024】
以下、図面を参照しながら発明を実施するための形態について説明する。
【0025】
以下、図中の同一又は相当部分には同一の符号を付して重複する説明を省略する。また、各部分を認識可能な大きさにするため縮尺を適宜変更している。
【0026】
以降の説明に使用する3次元空間の直交座標系は、本発明を適用した情報機器の表示部を見ている利用者の視点(目の位置、両目の場合には両目の中央の位置)から表示部の中心に向かう視線方向(奥行き方向)をz方向、水平方向をx方向、z方向及びx方向の両方向に垂直な方向をy方向とする。
【0027】
説明は以下の順序で行う。
<実施の形態の概要>
<第1の実施の形態>(多重奥行き表示部を有するパーソナルコンピュータを例示する。)
<第2の実施の形態>(立体画像表示部を有するパーソナルコンピュータを例示する。)
<第3の実施の形態>(立体画像表示部を有する電子広告看板を例示する。)
<第4の実施の形態>(立体画像表示部を有するデジタルデスクを例示する。)
<第5の実施の形態>(浮遊画像表示部を有するパーソナルコンピュータを例示する。)
<第6の実施の形態>(運動視差による奥行き知覚が可能なWeb会議端末を例示する。)
<まとめ>
【0028】
<実施の形態の概要>
【0029】
まず、実施の形態の概要を説明する。
【0030】
図1は情報機器であるパーソナルコンピュータに本発明を適用した例を説明するための斜視図である。
【0031】
パーソナルコンピュータ40は、表示部10、操作部14(キーボード)及びパーソナルコンピュータの本体15(以下、PC本体と記載する)を備えている。後に詳しく説明するが、PC本体15は、ネットワークに接続可能な通信部、処理部及び記憶部を備えている。また、表示部10は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部である。
【0032】
PC本体15は他の機器からネットワークを介して受信した表示オブジェクトを表示部10に表示させる。なお、表示オブジェクトとは、ダイアログ、ボタン、アイコン、文字、画像、また、それらが集合した、メニュー、ウィンドウ等である。例示した第1の表示オブジェクト21は電子商取引を目的にしたショッピングサイトである「○○書店」のWebページをブラウズしたウィンドウである。この第1の表示オブジェクト21は電子署名が施されていないので検証が失敗する。そして、表示部10の表面に表示する。
【0033】
利用者がショッピングサイトへログインするためにメニューの項目を選択すると、第2の表示オブジェクト22として「○○書店」のログインダイアログを表示する。ショッピングサイトのWebサーバから受信した第2の表示オブジェクト22には真正なショッピングサイトであることを検証可能な電子署名が施されている。PC本体15は第2の表示オブジェクト22の電子署名を検証して成功したならば第2の表示オブジェクト22を利用者が表示部10より手前に飛び出した位置に知覚するように表示する。
【0034】
上記、表示の状態をさらに詳しく説明する。
【0035】
第1の表示オブジェクト21と第2の表示オブジェクト22は、それぞれ、x方向とy方向の2次元の空間で表示している。そして、利用者は、それぞれを厚みの無い平面の画像として知覚する。
【0036】
第2の表示オブジェクト22は、利用者から見て表示部10の表面よりも手前(−z方向)に飛び出した位置に知覚するように表示している。これにより利用者は第2の表示オブジェクト22が真正なショッピングサイトから受け取ったログインダイアログであると判断することができる。
【0037】
なお、図示を省略するが、検証が失敗したならば第2の表示オブジェクト22は、第1の表示オブジェクト21と同様に表示部10の表面に表示する。
【0038】
上記説明の表示の形態は概要を説明するための例示であり、利用者が表示オブジェクトを知覚する位置と知覚させる仕組みについては、後に、第1から第6の実施の形態で詳しく説明する。
【0039】
[ネットワークと情報機器の構成]
【0040】
図2から図4を参照して、本発明に係るネットワークと情報機器の構成について3つの接続方式を例にして説明する。
【0041】
ネットワーク30は複数の情報機器を接続するためのLAN(Local Area Network)やインターネット等の有線又は無線による通信網である。情報機器31は少なくともネットワークに接続可能な通信部と、記憶部と、処理部と、表示部とを有している。具体的には、パーソナルコンピュータ40、携帯電話機41、電子広告看板42等であり、これらは、それぞれ離れた場所にあるものとする。なお、他の機器とは、表示オブジェクトを送信する側の機器であり、サーバ32、パーソナルコンピュータ40、携帯電話機41等である。
【0042】
図2は、クライアント・サーバ接続方式を説明するための図である。クライアント・サーバ接続方式のデータの流れ33で示したように、サーバ32はクライアント(パーソナルコンピュータ40等の情報機器)の要求に応えてサービスを提供する。
【0043】
図3は、放送型接続方式を説明するための図である。放送型接続方式のデータの流れ34で示したように、放送局として機能するサーバ32は情報機器31からの要求が無くても、スケジュールに従って、又は、事件、事故等の例外的な事情に対応して情報機器31にサービスを提供する。
【0044】
図4は、P2P(Peer to Peer)接続方式を説明するための図である。P2P接続方式のデータの流れ35で示したように、互いに対等な関係の情報機器31は、サーバ32を経由しなくても直接に情報を交換する。
【0045】
本発明は、いずれの接続方式にも適用可能であり、また、ネットワーク30の規模・形態・通信プロトコルにも依存しない。
【0046】
[電子署名について]
【0047】
電子署名は、電子署名及び認証業務に関する法律第二条によって以下のように定義されている。
「電磁的記録に記録することができる情報について行われる措置であって、次の要件のいずれにも該当するものをいう。
一 当該情報が当該措置を行った者の作成に係るものであることを示すためのものであること。
二 当該情報について改変が行われていないかどうかを確認することができるものであること。」
そして、本発明もこれに従う。
【0048】
[電子署名の方法]
【0049】
電子署名の方法は、一般に公開鍵暗号方式を用いたデジタル署名方式を利用することが多い。具体的には、RSA方式、DSA方式及びECDSA方式が知られている。電子署名の検証に用いる公開鍵の有効性は公開鍵認証基盤(PKI:Public Key Infrastructure)を用いて確認することが多い。これらの技術は政府認証基盤(GPKI:Government Public Key Infrastructure)をはじめとして、既に公知・公用のものであるので説明を省略する。
【0050】
なお、本発明で利用可能な電子署名は、これらの方式に限定されるものではなく、上記、電子署名の要件のいずれにも該当すれば、一方向性関数を用いるものや、後に、第1の実施の形態で説明する共通鍵暗号方式を用いるものでもよい。
【0051】
[立体視の原理]
【0052】
ところで、本発明を適用可能な表示部は、利用者に複数の異なった奥行き位置の表示オブジェクトを知覚させる。これは人間が視覚情報から奥行きを知覚する立体視の原理に深く関係している。そこで、立体視の原理について説明する。
【0053】
立体視の原理は、生理的要因によるものと心理的要因によるものとに大別することができる。
【0054】
{生理的要因によるもの}
【0055】
生理的要因には以下の4つがある。
【0056】
1:焦点調節
【0057】
図5は人が焦点調節によって奥行きを知覚する原理を説明するための図である。図5の(a)は、リンゴ50が近いときの状態であり、観察者60の眼球61の水晶体63が厚くなるように毛様体筋62が緊張して網膜に焦点の合った像が映っている。図5の(b)は、リンゴ50が遠いときの状態であり、水晶体63が薄くなるように毛様体筋62が弛緩して網膜に焦点の合った像が映っている。人の脳は網膜に正しく結像するよう毛様体筋62の緊張の度合いを調節するため、その度合いを物体までの距離として知覚する。この毛様体筋62の緊張の度合いによる距離の知覚を焦点調節という。なお、毛様体筋62は環状の筋肉であり、緊張すると直径が小さく、弛緩すると直径が大きくなる。
【0058】
2:運動視差
【0059】
図6は人が運動視差によって奥行きを知覚する原理を説明するための平面図である。観察者60がAの位置でリンゴ50と柿51を見たとき、リンゴ50と柿51は、ほぼ横に並んで見える。その後、観察者60がBの位置に移動してリンゴ50と柿51を見たとき、リンゴ50は柿51の影に隠れてしまう。このような人の目の位置の変化(運動)による経時的な像の変化を人の脳は物体までの距離として知覚する。この、人の目の位置の変化による像の変化や距離の知覚を運動視差という。
【0060】
3:輻輳(眼科用語では輻湊と書くこともある)
【0061】
図7は人が輻輳によって奥行きを知覚する原理を説明するための平面図である。観察者60がリンゴ50と柿51をそれぞれ見たとき、遠い位置にあるリンゴ50を見るときの両目の視線がなす輻輳角Cと、近い位置にある柿51を見るときの両目の視線がなす輻輳角Dとを比べると、柿51を見るときの輻輳角Dの方が大きくなる。人の脳は見る物体の方向に視線を向けるため眼球の向きを変える筋肉(図示省略)を緊張又は弛緩させて輻輳角を調節する。そして、その度合いを物体までの距離として知覚する。この、両目の視線がなす輻輳角による距離の知覚を輻輳という。
【0062】
4:両眼視差
【0063】
図8は人が両眼視差によって奥行きを知覚する原理を説明するための平面図である。観察者60がマグカップ52を見たとき、右目からはマグカップ52の取っ手全体が本体の横に見え、左目からは取っ手が本体の影に隠れて一部分だけ見えるようになる。人の両目は約6cm離れているため右目と左目とで見える像が若干違う。人の脳は、その左右の像を一つに纏めて立体像として知覚する。これを融像という。そして、その像の違いを物体までの距離として知覚する。この、右目と左目とで見える像の違い及び像の違いによる距離の知覚を両眼視差という。
【0064】
{心理的要因によるもの}
【0065】
図9は人が心理的要因によって奥行きを知覚する原理を説明するための図面代用写真である。
【0066】
1:物の大小
図9の(a)は物の大小による奥行き知覚を説明するための写真である。写真には大きいリンゴと小さいリンゴが写っている。人の脳は小さいリンゴが遠くにあると知覚する。
【0067】
2:物の重なり
図9の(b)は物の重なりによる奥行き知覚を説明するための写真である。図の左側のリンゴは右側のリンゴの上に重なっている。よって、右側のリンゴの方が遠くにあると知覚する。
【0068】
3:陰影
図9の(c)は陰影による奥行き知覚を説明するための写真である。人は見ている物体に影があると、その影を手がかりにして奥行きを知覚する。
【0069】
4:その他
図示を省略するが、心理的要因には、その他にも、
・視野内での対象の物の相対的な高さが高い物ほど遠くにあると知覚する。(物の高低)
・遠くの景色は大気の乱反射によりコントラストや彩度が低く見える。(空気透視)
・対象の物の肌理が密であるほど遠くにあると知覚する。(肌理の粗密)
等がある。
【0070】
[本発明を適用可能な表示部について]
【0071】
電子署名の検証結果は、偽装が困難な手段で利用者に示す必要がある。図1の例では第2の表示オブジェクト22が表示部10より手前に飛び出した位置に見えることで検証が成功していることを示した。ただし、明らかに飛び出して見える必要がある。心理的要因の「物の大小」等の効果を表示オブジェクトに適用しても、飛び出しているのかどうかは明らかではない。例えば、図9の(a)から(c)のリンゴの実体は、遠く離れた場所にある巨大な看板かもしれない、あるいは目の前にある小さな装身具かもしれない。図9の写真を見ただけで具体的な大きさと距離を感じることはできない。つまり、心理的要因で感じる立体感は、見る対象の相対的な距離感である。よって、心理的要因の効果を適用した画像を表示しても、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることにはならない。
【0072】
それに対して生理的要因である、焦点調節、運動視差、輻輳又は両眼視差によれば、前記説明から明らかなように絶対的な距離感を知覚できる。よって、生理的要因の4つの立体視の原理で人間に奥行き知覚を起こさせると、利用者に複数の異なった奥行き位置に表示オブジェクトを知覚させることができる。ここで4つの立体視の原理がすべて成立する表示部は望ましい構成であるが、それが必ず必要なわけではない。後に説明する液晶シャッター眼鏡方式の立体画像表示部は、両眼視差を知覚させるが焦点調節を知覚させることはできない。両眼視差と焦点調節とでは人間の脳は両眼視差を優先するため、焦点調節が一致しなくても立体感を感じること、また、双方の感覚が一致しないため長時間の観察で眼精疲労を起こすことはよく知られている。ゆえに、生理的要因の4つの立体視の原理の少なくとも1つ以上を用いて奥行きを知覚させる表示部が本発明を適用可能な表示部である。
【0073】
なお、両眼視差を用いて奥行きを知覚させる方法の一つとしてステレオグラムが紹介されることがある。図10は平行法(右目で右画像、左目で左画像を見る方法)によるステレオグラムの例の図面代用写真である。ステレオグラムは両眼視差を有する一対のステレオ画像である。これに目を近づけて、ぼんやりと焦点をずらすように見ることで左右の画像の中央に融像した立体感のある像が見えるものである。図10の2枚の画像の、中心と中心との距離が4cm程度になるように印刷又は表示させて観察すると実際に立体感のあるバナナを観察できる。ステレオグラムは両眼視差により奥行きを知覚させる。しかし、両目で見た像を融像させるには、ある程度の訓練が必要であり、また、個人差もあり、融像させることが困難な人もいる。つまり、ステレオグラムは人が自然な状態では融像できない画像を訓練した技能で融像させることを期待した画像情報であり、表示部の構成や仕組みの名称ではない。よって、本発明に係るものではない。
【0074】
本発明を適用可能な情報機器の表示部は、利用者が自然な状態で融像して奥行きを知覚する画像を表示できる表示部でなければならない。
【0075】
<第1の実施の形態>
【0076】
それでは、以下に具体的な実施の形態を順次説明する。
【0077】
第1の実施の形態は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部として多重奥行き表示部を備えたパーソナルコンピュータに本発明を適用した例を説明する。
【0078】
多重奥行き表示部とは、表示部内の利用者から見て複数の異なった奥行き位置に2次元画像を表示することが可能な表示部である。本実施の形態では、表示可能な奥行き位置が、利用者から見て遠い側にある奥側と、近い側にある手前側との2段階である多重奥行き表示部を例示する。
【0079】
[ハードウェア構成]
【0080】
図11は第1の実施の形態のハードウェア構成を示すブロック図である。
【0081】
第1の実施の形態のパーソナルコンピュータ40は、PC本体15、操作部14及び多重奥行き表示部100を備えている。
【0082】
PC本体15には、演算及び制御を行うCPUを含む処理部11、ブートストラッププログラムを記録したROMやメインメモリのRAMを含む記憶部12、ネットワークに接続可能な通信部13、ハードディスクドライブ(HDD)を含む補助記憶部16、周辺機器を接続するためのUSBインターフェイス17、及び、奥側表示サブシステム101と手前側表示サブシステム102を備えている。奥側表示サブシステム101と手前側表示サブシステム102は、図示を省略するがグラフィック処理LSIやVRAMを含んでいて多重奥行き表示部100に表示させる画像の処理を受け持っている。
【0083】
通信部13は、ネットワーク30を介して、他の機器であるメールサーバ36とクライアント・サーバ接続方式で接続する。
【0084】
なお、通常の表示部ならば表示サブシステムは1つで足りるが、本実施の形態では多重奥行き表示部100を制御するために表示サブシステムを2重化している。奥側表示サブシステム101と手前側表示サブシステム102はバス上で異なるアドレスを持っており、処理部11のCPUから2つの表示サブシステムそれぞれに異なる画像データを渡すことが可能である。多重奥行き表示部100は奥側液晶パネルと手前側液晶パネルの2つの透過型液晶パネルを設けた液晶ディスプレイである。また、それぞれの液晶パネルを駆動するドライバ回路(図示省略)も2つ設けている。
【0085】
PC本体15は、後に説明する第1の実施の形態に係るプログラムのフローチャートの各ステップを実行することにより、特許請求の範囲に記載の構成を有する情報機器として具現化する。
【0086】
[多重奥行き表示部について]
【0087】
図12は多重奥行き表示部の構成を説明するための斜視図である。パーソナルコンピュータ40は、多重奥行き表示部100、PC本体15及び操作部14を備えている。多重奥行き表示部100には、バックライト111、奥側偏光フィルタ112、奥側液晶パネル113、手前側液晶パネル114及び手前側偏光フィルタ115がある。
【0088】
奥側液晶パネル113と手前側液晶パネル114との間隔は、2枚の液晶パネルに表示した表示オブジェクトの奥行き位置を利用者が識別可能な距離である必要がある。具体的には、多重奥行き表示部100のサイズと標準的な利用者の位置を考慮して、数mmから数cmの範囲の間で設定する。なお、本実施の形態では、奥側液晶パネル113と手前側液晶パネル114とが同じ大きさのものである図を用いて説明するが、液晶パネル同士の間隔が大きくなると、手前側液晶パネル114よりも奥側液晶パネル113やバックライト111の見かけ上の大きさが小さくなり四辺に空き領域が発生することになる。表示部の大きさや標準的な利用者の位置によってはバックライト111から手前側偏光フィルタ115にかけて順次小さくするように設計することが必要になる。
【0089】
なお、透過型液晶ディスプレイの基本的な仕組み(バックライト、カラーフィルタ、ブラックマトリクス、偏光方向、液晶への印加電圧等)は公知・公用の技術であるので説明を省略する。
【0090】
図13は多重奥行き表示部100の奥側液晶パネル113に受信メール一覧121を表示した状態を示した斜視図である。見やすくするために他の部分(バックライト111等)の図示を省略している。受信メール一覧121は、メールサーバ36から受信したものであり、これからメールサーバ36から受信することが可能なメールの一覧表である。この受信メール一覧121には電子署名が施されていない、よって、検証が失敗する。図から明らかなように電子署名の検証が失敗した受信メール一覧121は多重奥行き表示部100の奥側に表示する。
【0091】
図14は多重奥行き表示部100の手前側液晶パネル114に見積書122を表示した状態を示した斜視図である。図13と同様、見やすくするために他の部分の図示を省略している。見積書122は受信メール一覧121の「見積書送付の」のメールに添付されていたものである。この見積書122は「○○設計」が作成したものである。また、この見積書122には「○○設計」の電子署名が施されていて検証が成功した。図から明らかなように電子署名の検証が成功した見積書122は多重奥行き表示部100の手前側に表示する。
【0092】
図15は多重奥行き表示部100の奥側と手前側とに画像を表示した状態を示した斜視図である。多重奥行き表示部100の手前側には検証が成功した見積書122が、奥側には検証が失敗した受信メール一覧121が見えている。
【0093】
なお、多重奥行き表示部100は透過型液晶ディスプレイであるため受信メール一覧121と見積書122が重なる部分において、見積書122の白いピクセルでも受信メール一覧121の黒いピクセルが見えてしまうことになる。これが見にくい場合には、奥側の受信メール一覧121の重複している部分を白抜きに書き換える、又は、奥側の表示を一時的に止める等の対応が必要になる。
【0094】
また、複数の2次元画像を重ねて表示すると重ね合わさった部分において光の干渉により意図しない色合いや滲みが生じることがある。これを防止するために奥側液晶パネル113と手前側液晶パネル114の表示タイミングが重ならないように制御することが必要になることもある。図16は多重奥行き表示部100の光の干渉を防ぐ制御を説明するためのタイミングチャートである。図16のタイミングチャートで示したように、1フレーム毎に奥側液晶パネル113と手前側液晶パネル114とを利用者がちらつきを感じない速さで交互に表示させ、その表示に同期させてバックライト111を制御すればバックライト111が点灯したときに2枚の液晶パネルが両方共onになることが無いため光の干渉を防ぐことができる。(参考文献:特開2009−192897号公報)
【0095】
また、液晶パネルのブラックマトリックス等の格子パターン間の干渉によりモアレ縞が発生することもある。これを防止するために奥側液晶パネル113と手前側液晶パネル114の精細度を異ならせることが必要になることもある。例えば、奥側液晶パネル113を水平1024画素×垂直768画素、手前側液晶パネル114を水平640画素×垂直480画素というように精細度を異ならせればモアレ縞の低減ができる。(参考文献:特開2007−139865号公報)
【0096】
上記、本実施の形態の多重奥行き表示部100の構成は、DFD(Depth Fused 3D)方式の立体画像表示部と類似している。DFD方式の立体画像表示部は、複数の表示面に同じ2次元画像を表示して、それぞれの画像の輝度や彩度を変化させることで画像が複数の表示面の中間にあるように感じさせる立体画像表示部である。しかし、本実施の形態では、奥側液晶パネル113と手前側液晶パネル114とに異なる2次元画像を表示させる。よって、立体画像表示部としては機能しない。この点でDFD方式とは異なっている。
【0097】
[PC本体の起動]
【0098】
図11のブロック図に戻ってPC本体15の起動について説明する。
【0099】
PC本体15の電源を投入すると記憶部12内のROMに記憶しているブートストラッププログラムを処理部11のCPUが順次読み出して実行する。ブートストラッププログラムを実行したCPUは補助記憶部16のHDDに記憶しているオペレーティングシステムのプログラムを読み出して記憶部12のRAMに記憶させる。
【0100】
以上のブート処理が終了したら処理部11のCPUは記憶部12のRAMに記憶したオペレーティングシステムのプログラムを実行する。オペレーティングシステムには、通信部13、奥側表示サブシステム101及び手前側表示サブシステム102を制御するデバイスドライバ等を含んでいて、それらの起動が終了するとPC本体15の起動が完了した状態になる。
【0101】
PC本体15の起動が完了し、利用者が操作部14を使ってメール送受信用アプリケーションプログラムを開いて受信メール一覧121を求める操作をする。PC本体15は、通信部13からネットワーク30を介してメールサーバ36に受信メール一覧121の送信を要求する。メールサーバ36はネットワーク30を介してPC本体15に該利用者宛の受信メール一覧121を送信する。
【0102】
[第1の実施の形態に係るプログラム]
【0103】
図17は第1の実施の形態に係るプログラムのフローチャートである。このプログラムは情報機器(PC本体15)に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムである。また、情報機器(PC本体15)が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法は、このプログラムの各ステップを情報機器(PC本体15)が実行することを特徴としている。
【0104】
このプログラムは具体的には、図11に記載のPC本体15の補助記憶部16に記憶しているメール送受信用アプリケーションプログラムの一部である。先に説明した、受信メール一覧121の要求をして表示オブジェクトを受信する状態になると、PC本体15の処理部11は、このプログラムを補助記憶部16から記憶部12に読み出して実行する。
【0105】
{受信メール一覧を受信して表示する}
【0106】
図17のフローチャートを参照して受信メール一覧を受信して表示する例を説明する。
【0107】
ステップ151は通信部13がメールサーバ36から表示オブジェクトである受信メール一覧121を受信するのを待つ。
【0108】
ステップ152は通信部13が受信メール一覧121を受信して記憶部12に記憶させるための処理を実行する。
【0109】
ステップ153は受信メール一覧121の電子署名を検証する。
【0110】
ステップ154は電子署名の検証が成功したか否かを判断する。受信メール一覧121には電子署名が施されていない。よって、電子署名の検証が失敗してステップ157に進む。
【0111】
ステップ157は受信メール一覧121のデータから文字フォントやイメージデータを展開して多重奥行き表示部100で表示する画像データを生成する。そして、画像データを図11のブロック図で示した奥側表示サブシステム101に転送して、図13に記載のように受信メール一覧121を多重奥行き表示部100の奥側液晶パネル113に表示させる。
【0112】
第1の実施の形態に係るプログラムは、ここでいったん終了する。
【0113】
利用者が受信メール一覧121を見て、「○○設計」からのメールに見積書122が添付されていることを知る。メールの本文を開いて、その内容を確認して添付されている見積書122を受信する操作を行ってメールの本文を閉じる。図11のブロック図で示したPC本体15は、通信部13からネットワーク30を介してメールサーバ36に見積書122の送信を要求する。メールサーバ36はネットワーク30を介してPC本体15に見積書122を送信する。
【0114】
{見積書を受信して表示する}
【0115】
図17のフローチャートに戻って見積書を受信して表示する例を説明する。
【0116】
再び、処理部11は、第1の実施の形態に係るプログラムの各ステップを実行する。
【0117】
ステップ151は通信部13がメールサーバ36から表示オブジェクトである見積書122を受信するのを待つ。
【0118】
ステップ152は通信部13が見積書122を受信して記憶部12に記憶させるための処理を実行する。
【0119】
ステップ153は見積書122の電子署名を検証する。見積書122には共通鍵暗号方式に基づく電子署名が施されている。予め、USBメモリ等のリムーバブルメディアに記録して手渡しで「○○設計」から入手して記憶部12の外部からは読み出し不可能な領域に記憶させておいた共通鍵暗号方式の検証用の暗号鍵を用いて見積書122とセットで受信した電子署名データを復号化し、見積書122のデータから生成したハッシュ値と比較する。一致するならば検証は成功であり、不一致ならば失敗である。
【0120】
ステップ154は電子署名の検証が成功したか否かを判断する。見積書122には正しい電子署名データがセットになっていた。よって、検証は成功したと判断してステップ155に進む。
【0121】
ステップ155は暗号化されている見積書122を復号化する。復号化には、予め、USBメモリ等のリムーバブルメディアに記録して手渡しで「○○設計」から入手して記憶部12の外部からは読み出し不可能な領域に記憶させておいた共通鍵暗号方式の復号化用の暗号鍵を用いる。
【0122】
ステップ156は見積書122のデータから文字フォントやイメージデータを展開して多重奥行き表示部100で表示する画像データを生成する。そして、画像データを手前側表示サブシステム102に転送して図14に記載のように見積書122を多重奥行き表示部100の手前側液晶パネル114に表示させる。
【0123】
なお、ステップ154で電子署名の検証が失敗したと判断したならば、ステップ157に進んで、見積書122から生成した画像データを多重奥行き表示部100の奥側液晶パネル113に表示させる。
【0124】
上記説明で明らかなように、第1の実施の形態に係るプログラムは、表示オブジェクトの電子署名の検証結果に応じて、検証が失敗したならば奥側液晶パネル113に、検証が成功したならば手前側液晶パネル114に振り分けて表示オブジェクト(受信メール一覧121及び見積書122)を表示するステップをPC本体15に実行させる。そして、利用者は、表示オブジェクトが、どちらの位置に表示されているかを見て表示オブジェクトの電子署名の検証結果を知ることができる。
【0125】
以上、第1の実施の形態は、多重奥行き表示部を備えたパーソナルコンピュータに本発明を適用した例を示した。本実施の形態では、他の機器から受信した表示オブジェクトを2次元画像で表示する。よって、表示オブジェクトの視覚的効果による偽装が不可能である。また、多重奥行き表示部は、生理的要因による立体視の4つの原理を満足するため、立体視の原理の不一致による違和感が無く長時間の利用が可能な表示部である。
【0126】
<第2の実施の形態>
【0127】
第2から第4の実施の形態では、近年、急速に普及している立体画像表示部を利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部として用いる例を説明する。
【0128】
立体画像表示部が人間に立体画像を知覚させる方式には、2眼式、多眼式、空間像表示方式、HMD(Head Mounted Display)など多くの方式が提案されている。また、例えば2眼式においても、専用の眼鏡を用いる眼鏡式、眼鏡を用いない裸眼式に分けることができる。また、それらの方式をさらに細分化することができる。立体画像を表示する方式は非常に多岐に渡るため本明細書で全体を説明するのは困難である。そこで、第2から第4の実施の形態では、一般への普及度が高く実用的な方式と、本発明を適用すると特有の効果がある方式とを選択して説明する。
【0129】
第2の実施の形態は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部として液晶シャッター眼鏡方式の立体画像表示部を備えたパーソナルコンピュータに本発明を適用した例を説明する。
【0130】
液晶シャッター眼鏡方式は、一対のステレオ画像を両眼で見る2眼式であり、その中でも専用の眼鏡を用いる眼鏡式である。液晶シャッター眼鏡方式は両眼視差を有するステレオ画像を利用者がちらつきを感じない速さで交互に表示して、それに同期した液晶シャッター眼鏡によって画像を利用者の左右の目に振り分ける方式である。
【0131】
[ハードウェア構成]
【0132】
図18は第2の実施の形態のハードウェア構成を示すブロック図である。
【0133】
第2の実施の形態のパーソナルコンピュータ40は、PC本体15、操作部14、液晶表示部200、さらにトランスミッタ202と液晶シャッター眼鏡203を備えている。なお、第1の実施の形態では、PC本体15の表示サブシステムが奥側と手前側の2組あったが、本実施の形態の表示サブシステム201は1組である。また、表示サブシステム201には、後に説明する、2次元画像+デプスマップからステレオ画像を作成する処理やステレオマッチング処理のために処理部211とROM212を備えている。
【0134】
PC本体15の通信部13は、ネットワーク30を介して、他の機器であるWebサーバ37とクライアント・サーバ接続方式で接続する。
【0135】
PC本体15は、後に説明する第2の実施の形態に係るプログラムのフローチャートの各ステップを実行することにより、特許請求の範囲に記載の構成を有する情報機器として具現化する。
【0136】
[液晶シャッター眼鏡方式の立体画像表示部について]
【0137】
液晶表示部200は左目用と右目用の画像を交互に表示させても利用者がちらつきを感じない速度で切り替え可能な応答速度の液晶パネルを有している。USBインターフェイス17に接続したトランスミッタ202は液晶表示部200と液晶シャッター眼鏡203との同期を取るために微弱電波や赤外線等の無線又は有線で信号を送信する。液晶シャッター眼鏡203はレンズの部分が液晶シャッターになっていてトランスミッタ202から受信した信号に同期して左右の液晶シャッターを交互にオン・オフさせる。図示を省略するが、液晶シャッター眼鏡203には、トランスミッタ202からの信号を受信する受信回路、液晶シャッターの制御回路及び小型の電池等を内蔵している。
【0138】
図19は第2の実施の形態の表示の様子を示した斜視図である。利用者70は液晶シャッター眼鏡203を掛けて液晶表示部200を見ている。液晶表示部200には「○○研究会」のWebページ221と会員登録のダイアログ222を表示している。会員登録のダイアログ222には電子署名が施されていて検証も成功したので手前に飛び出して見えている。液晶表示部200には左目用と右目用の両眼視差を有するステレオ画像が人間の眼の残像効果でちらつきを感じない以上の早さで交互に表示して、それに同期して液晶シャッター眼鏡203の液晶シャッターを左右交互にオン・オフするため利用者70は両眼視差により会員登録のダイアログ222を手前に知覚する。つまり、液晶表示部200と液晶シャッター眼鏡203とで液晶シャッター眼鏡方式の立体画像表示部の機能を果たすのである。
【0139】
図20は第2の実施の形態の両眼視差を有するステレオ画像の例である。図20の(a)は左目用、(b)は右目用の画像である。Webページ221は液晶表示部200の表面に位置するため、(a)、(b)とも同じ画像である。会員登録のダイアログ222は、液晶表示部200の表面よりも手前に飛び出した位置になるため(a)の左目用画像では右に、(b)の右目用画像では左に位置がずれている。
【0140】
図21は第2の実施の形態の液晶表示部200と液晶シャッター眼鏡203との制御のタイミングチャートである。液晶表示部200の液晶パネルは1フレーム毎に右目用画像と左目用画像とを交互に表示する。液晶シャッター眼鏡203は右目用画像を表示しているときに右側液晶シャッターをON(画像を透過させる状態)にして、左目用画像を表示しているときに左側液晶シャッターをONにする。それに合わせて液晶表示部200のバックライトを制御している。上記構成により1組の表示部で右目用画像と左目用画像を左右の目に振り分けることが可能になっている。
【0141】
[利用者が知覚する奥行き位置の範囲について]
【0142】
図22は第2の実施の形態で利用者70が知覚する奥行き位置の範囲を説明するための平面図である。利用者70は液晶シャッター眼鏡203をかけて液晶表示部200の方向を見ている。利用者70はWebページ221を液晶表示部200の表面の位置に、会員登録のダイアログ222を液晶表示部200より手前の位置に知覚している。利用者70が知覚する奥行き方向(z方向)全体はE1とE2の範囲に分割できる。範囲E1は近すぎて利用者70がステレオ画像を融像することができない又は違和感を伴う範囲である。範囲E2は利用者70が融像した画像を知覚することが可能な奥行き位置の範囲であり矢印の上端の位置は無限遠を示している。範囲E2は、さらに、範囲F1、F2及びF3に分割できる。範囲F1は電子署名の検証が成功した表示オブジェクトを知覚させる範囲である。範囲F2は電子署名の検証が成功した表示オブジェクトと検証が失敗した表示オブジェクトとを利用者70が見間違わないように設けるギャップである。表示オブジェクトの作成者はF1及びF2の範囲に知覚する立体画像の表示オブジェクトを作成してはならない。範囲F3は検証が失敗した表示オブジェクトを知覚させる範囲である。
【0143】
例示したWebページ221は液晶表示部200の表面の位置に奥行きの無い平面の画像で表示している。しかし、本実施の形態では、他の機器から受信した表示オブジェクトが立体画像であるとき範囲F3の中で立体表示することも可能である。
【0144】
[PC本体の起動]
【0145】
図18のブロック図に戻ってPC本体15の起動について説明する。
【0146】
PC本体15の起動は第1の実施の形態の[PC本体の起動]と同様であるが、オペレーティングシステムは、液晶表示部200にステレオ画像を左右交互に表示させ、液晶シャッター眼鏡203を同期させる立体画像表示ドライバを含んでいる。
【0147】
PC本体15の起動が完了し、利用者が操作部14を使ってWebページ221の送信を求める操作をする。PC本体15は、通信部13からネットワーク30を介してWebサーバ37にWebページ221の送信を要求する。Webサーバ37はネットワーク30を介してPC本体15にWebページ221を送信する。
【0148】
[第2の実施の形態に係るプログラム]
【0149】
図23は第2の実施の形態に係るプログラムのフローチャートである。このプログラムは情報機器(PC本体15)に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムである。また、情報機器(PC本体15)が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法は、このプログラムの各ステップを情報機器(PC本体15)が実行することを特徴としている。
【0150】
このプログラムは具体的には、図18に記載のPC本体15の補助記憶部16に記憶しているWebページブラウズ用アプリケーションプログラムの一部である。先に説明した、Webページ221の要求をして表示オブジェクトを受信する状態になると、PC本体15の処理部11は、このプログラムを補助記憶部16から記憶部12に読み出して実行する。
【0151】
{Webページを受信して表示する}
【0152】
図23のフローチャートを参照してWebページを受信して表示する例を説明する。
【0153】
ステップ251は通信部13がWebサーバ37から表示オブジェクトであるWebページ221を受信するのを待つ。
【0154】
ステップ252は通信部13が、後に説明する、SSL/TLSハンドシェイク要求の応答を受信したのか否かを判断する。今回はWebページ221を受信した。Webページ221の受信にはSSL/TLSを用いていない、SSL/TLSは電子署名として機能するがWebページ221は用いていないため検証が失敗したと見なすことができる。SSL/TLSを用いていない場合はステップ261に進む。
【0155】
ステップ261は通信部13がWebページ221を受信して記憶部12に記憶させるための処理を実行する。
【0156】
ステップ262はWebページ221のデータに基づいて文字フォントやグラフィックデータを展開して画像データを生成して記憶部12に記憶させる処理を実行する。Webページ221は電子署名を施していなかったので液晶表示部200の表面の位置(奥側)に知覚するよう画像データを生成する。具体的には左右とも同じ画像のステレオ画像である。
【0157】
ステップ259は記憶部12に記憶させた画像データを表示サブシステム201に転送して、図19に記載のように「○○研究会」のWebページ221の画像を液晶表示部200の表面に知覚するように表示させる。
【0158】
第2の実施の形態に係るプログラムは、ここでいったん終了する。
【0159】
図19の「○○研究会」のWebページ221の会員登録のボタンのリンクにはインターネット上で通信の盗み読みや改竄等を防止するためのネットワークプロトコルであるSSL(Secure Sockets Layer)又はSSLをベースにしたTLS(Transport Layer Security)(SSL/TLSと省略して記載する)が指定されている。具体的にはリンクのURLの先頭が「https://」で始まっている。よって、SSL/TLSのハンドシェイクで以降の通信の相手の認証と暗号鍵の交換をする。利用者70が操作部14を操作して会員登録のボタンを選択すると、PC本体15は、通信部13からネットワーク30を介してWebサーバ37にSSL/TLSハンドシェイクを要求するメッセージを送信する。Webサーバ37はネットワーク30を介してPC本体15にSSL/TLSハンドシェイク要求の応答を送信する。
【0160】
{会員登録のダイアログを受信して表示する}
【0161】
図23のフローチャートに戻って会員登録のダイアログを受信して表示する例を説明する。
【0162】
再び、処理部11は、第2の実施の形態に係るプログラムの各ステップを実行する。
【0163】
ステップ251は通信部13がWebサーバ37からSSL/TLSハンドシェイク要求の応答を受信するのを待つ。
【0164】
ステップ252は通信部13がSSL/TLSハンドシェイク要求の応答を受信したのか否かを判断する。今回はSSL/TLSハンドシェイク要求の応答を受信したのでステップ253に進む。
【0165】
ステップ253はSSL/TLSのハンドシェイクの処理を実行する。SSL/TLSハンドシェイクは、予め記憶部12に記憶させていた信頼するルート証明書に基づくPKIを用いてRSA方式又はDSA方式でWebサーバ37の認証を行い、以降の通信で使用する共通鍵暗号方式の暗号鍵を他からは秘密にWebサーバ37と共有する手順を実行する。
【0166】
ステップ254はSSL/TLSハンドシェイクが成功したか否かを判断する。具体的にはWebサーバ37の認証と共通鍵の共有が成功したならば、そのメッセージをWebサーバ37に送信して、Webサーバ37からも成功したメッセージを受信すればSSL/TLSのハンドシェイクは成功であり、いずれかの段階でエラー又は中断が発生すれば失敗である。
【0167】
ステップ255はWebサーバ37から表示オブジェクトである会員登録のダイアログ222を受信する。この会員登録のダイアログ222は、先のSSL/TLSのハンドシェイクでWebサーバ37と共有した共通鍵暗号方式の暗号鍵を用いて暗号化されている。よって、このステップで復号化も行う。
【0168】
ステップ256はステップ255の受信の処理が成功したか否かを判断する。具体的には、受信及び復号化においてエラー又は中断が無く、データの正当性をチェックするチェックコードが一致すれば成功であり、そうでなければ失敗である。復号化が成功すると受信した表示オブジェクトは、SSL/TLSハンドシェイクで認証したWebサーバ37が作成して、改竄されていないことが示されている。よって、電子署名の検証が成功している。
【0169】
ステップ257はステップ255で受信及び復号化した会員登録のダイアログ222を記憶部12に記憶させる処理を実行する。
【0170】
なお、ステップ254又は256においてSSL/TLSハンドシェイクや受信の処理が失敗したと判断したならば、電子署名の検証が失敗したと見なすことができる。よって、ステップ260で失敗の状況に応じた警告オブジェクトを生成して記憶部12に記憶させる処理を実行する。具体的には、例えば文字で「Webサーバの認証が失敗しました」や「受信中にエラーが発生しました」等である。そして、ステップ262で警告オブジェクトと会員登録のダイアログ222のデータに基づいて文字フォントやグラフィックデータを展開して液晶表示部200の表面の位置に知覚するように画像データを生成する。
【0171】
ステップ258はステップ257で記憶部12に記憶させた会員登録のダイアログ222のデータに基づいて文字フォントやグラフィックデータを展開して画像データを生成して記憶部12に記憶させる処理を実行する。このステップでは利用者70から見て液晶表示部200より手前の範囲F1に表示オブジェクトを知覚するように画像データを生成する。具体的には、液晶表示部200の大きさと精細度、利用者70の標準的な位置、会員登録のダイアログ222の大きさと位置から、右目用と左目用の視差を算出して生成した画像データを既に表示しているWebページ221の画像データに重ね書きする。
【0172】
ステップ259は記憶部12に記憶させた画像データを表示サブシステム201に転送して、図19に記載のように「○○研究会」の会員登録のダイアログ222を液晶表示部200から飛び出した位置に知覚するように表示させる。
【0173】
上記説明で明らかなように、第2の実施の形態に係るプログラムは、表示オブジェクトの電子署名の検証結果に応じて、検証が失敗したならば液晶表示部200の表面及び表面から奥の範囲F3に、検証が成功したならば液晶表示部200より手前の範囲F1に振り分けて表示オブジェクト(Webページ221及び会員登録のダイアログ222)を表示するステップをPC本体15に実行させる。そして、利用者は、表示オブジェクトが、どちらの位置に表示されているかを見て表示オブジェクトの電子署名の検証結果を知ることができる。
【0174】
{ウィンドウの重なりと電子署名の検証結果の整合について}
【0175】
本実施の形態では、電子署名の検証が失敗したWebページ221と電子署名の検証が成功した会員登録のダイアログ222との2つのウィンドウを例示した。ところで、マルチウィンドウシステムでは、新たなウィンドウを表示するとき以前のウィンドウに上書きするのが通常である。ここで、電子署名の検証が成功した表示オブジェクトを表示しているとき、新たな表示オブジェクトの電子署名の検証が失敗したならば、画像データでは上書きするが奥行き位置では奥側になるという不整合が生じる。そのため、電子署名の検証が失敗した新たな表示オブジェクトが以前に表示した電子署名の検証が成功した表示オブジェクトを切り取ったように表示することになる。マルチウィンドウを扱うオペレーティングシステムでは、この不整合を回避するために、既に電子署名の検証が成功した表示オブジェクトを表示している位置に電子署名の検証が失敗した新たな表示オブジェクトが重なるならば、電子署名の検証が成功した表示オブジェクトの陰になる部分には電子署名の検証が失敗した新たな表示オブジェクトの画像データを書き込まないで奥側に表示する必要がある。
【0176】
[電子署名の検証結果の偽装の防止について]
【0177】
第1の実施の形態では、他の機器から受信した表示オブジェクトの視覚的効果を使った偽装が不可能である。しかし、本実施の形態のように立体画像表示部を用いる場合は、立体画像を表示する表示オブジェクトを使って電子署名の検証が成功したように偽装することが可能である。具体的には、他の機器から受信した電子署名を施していない表示オブジェクトが立体画像を表示するデータであるとき、範囲F1の位置に利用者が知覚する表示オブジェクトのデータを作成するのである。そこで、検証結果の偽装を防止する手段が必要である。
【0178】
{表示オブジェクトのデータの形式}
【0179】
液晶シャッター眼鏡方式を含む2眼式の立体画像表示部で再生可能な立体画像のデータの形式には、
1.ステレオ画像
2.2次元画像+デプスマップ
3.シーン記述言語
がある。
【0180】
図24はカメラの光軸を平行にして撮影した平行法によるステレオ画像の例を示した図面代用写真である。図24の(a)はピラミッド型の対象物を左目の位置から撮影した画像、(b)は右目の位置から撮影した画像である。この2枚の画像を、それぞれ、左目用画像、右目用画像として液晶シャッター眼鏡方式の立体画像表示部で表示すると、表示部より手前にピラミッド型の対象物を知覚する。
【0181】
図25は2次元画像+デプスマップの例を示した図面代用写真である。図25の(a)はピラミッド型の対象物の正面から撮影した2次元画像であり、(b)は2次元画像のピクセル毎の距離を最も手前が白、無限遠が黒になる輝度の変化で表現した奥行き情報の画像でありデプスマップという。なお、デプスマップには色相の変化で奥行きを表現するものもある。2次元画像+デプスマップを本実施の形態で表示するときには、表示サブシステム201の処理部211を、2次元画像を基にデプスマップを参照して両眼視差を有するステレオ画像を作成する手段、及び、ステレオ画像を作成するとき2次元画像には無いがステレオ画像では必要になる欠落部分を補完する手段(ギャップフィリング)として機能させるためのプログラムを表示サブシステム201のROM212に記憶させておく必要がある。
【0182】
シーン記述言語は表示するオブジェクトの形、テクスチャ及び位置等の特徴を文字やコードで記述するものである。シーン記述言語における位置を示す情報は、検証結果の偽装の防止に関してはデプスマップと同様に対応可能であるのでシーン記述言語に関する説明は省略する。なお、シーン記述言語において、距離を示す記述が各オブジェクト間の相対的距離のみである場合、絶対的距離は受信した情報機器が決めるので図22の範囲F3に収まるよう制御すれば偽装が不可能である。
【0183】
{ステレオ画像での偽装の防止}
【0184】
ステレオ画像で検証結果の偽装を防止するにはステレオマッチングの技術を用いる。ステレオマッチングはステレオカメラで撮影したステレオ画像を入力して、一方の画像のある画素と、他方の画像の探索ライン(エピポーラライン)上の対応する画素(相関先)とのずれ量と、ステレオ画像を撮影したカメラのレンズ間の距離や向き等のパラメータを基に画像に映されている対象までの距離を算出する技術である。このステレオマッチングは主にカメラから対象物までの距離を算出する技術であるので、表示部に表示した画像を、利用者が、どの奥行き位置に知覚するかを求めるためには若干の修正が必要となる。例えば、2台のカメラの光軸が平行になるように設置して撮影する平行法で撮影したステレオ画像では、ほぼ無限遠にあると見なせる対象物の視差は最小になり、対象物までの距離が近くなるにつれて視差は大きくなる。一方、表示部に表示した画像を利用者が見るとき、左右の視差が無い表示オブジェクトは表示部の表面に位置していると知覚する。また、表示部の表面から手前に知覚させる場合と、奥側に知覚させる場合とでは逆方向の視差が必要である。このような違いに対応させたステレオマッチングを用いて利用者が知覚する奥行き位置を算出する。そして、その位置が図22の範囲F3内であるならば問題無いが、範囲F1又はF2に入っているならば検証結果を偽装しているか、誤って位置を設定している。よって、その表示オブジェクトの表示を止めて利用者に対する警告メッセージを表示する。なお、ステレオマッチングは乗用車における衝突防止装置等において公知・公用の技術であるので詳細な説明は省略する。(参考文献:特開2001−92968号公報、等)
【0185】
図26はステレオマッチング処理プログラムを説明するためのフローチャートである。このプログラムは、表示サブシステム201の処理部211にステレオマッチング処理のステップを実行させるためのプログラムであり、表示サブシステム201のROM212に記憶させておく。このプログラムによる処理は図23のステップ259の処理中に実行する。
【0186】
以下、図26を参照しながらステレオマッチング処理プログラムの各ステップを説明する。
【0187】
ステップ281は、図23のステップ259で処理部11が記憶部12から表示サブシステム201に転送した画像データがステレオ画像の静止画を含んでいるか否かを判断する。
【0188】
ステップ282は、ステレオ画像の静止画のステレオマッチングを行う。
【0189】
ステップ283はステレオマッチングの結果、利用者が知覚する位置が範囲F3内であるか否かを判断する。範囲外の表示オブジェクトがあったならば、ステップ292で処理部11に偽装を検出したことを通知してステレオ画像を表示せずに終了する。
【0190】
ステレオマッチングの結果が範囲F3内又は2次元の静止画であったならば、ステップ284で静止画を液晶表示部200に表示させる。
【0191】
ステップ285は、図23のステップ259で処理部11が記憶部12から表示サブシステム201に転送した画像データが動画を含んでいるか否かを判断する。
【0192】
動画を含んでいるならばステップ286で動画に対するステレオマッチングの準備として読み出しのポインタを動画の時間的な先頭にセットして読み出しを始める。
【0193】
ステップ287は、読み出した動画の画像データに対してステレオマッチングを行う。
【0194】
ステップ288は、動画に対するステレオマッチングの結果、利用者が知覚する位置が範囲F3内であるか否かを判断する。範囲外の表示オブジェクトがあったならば、ステップ292で処理部11に偽装を検出したことを通知して動画を表示せずに終了する。
【0195】
範囲F3内であったならば、ステップ289で予め設定した所定時間分動画の読み出しポインタを進める。これは、ステレオマッチングによって偽装を検出するにあたり動画の全フレームをチェックすることなく、利用者が騙されない範囲で間引いた検査を行って処理の負担を軽減するための処理である。
【0196】
ステップ290は動画の読み出しポインタを所定時間進めた結果、動画が終了したか否かを判断する。まだ続きがあるならば再びステップ287に戻り、動画に対するステレオマッチングを実行する。動画が終了したならば、ステップ291で動画を液晶表示部200に表示させる。
【0197】
このフローチャートでは短時間の動画を例にして説明したが、長時間やリアルタイムの動画に対してはストリーミング処理で対応することが必要になる。
【0198】
なお、ステップ285以降の動画に対する処理は、動画の画像データがステレオ画像であるか否かにかかわらず実行するべきである。ステレオ画像ではない、2次元の動画ならばステレオマッチングをしても無意味だと思うかもしれない。しかし、本実施の形態を適用した情報機器に対する、さらなる攻撃の方法について調査した結果、いわゆる、ファイルの拡張子及びヘッダの偽装を用いてステレオマッチングを回避する攻撃が可能であることを発見している。その偽装の方法と対策を説明する。
【0199】
ステレオ画像の動画のデータファイルの形式には、時分割でフレーム毎に左目用画像・右目用画像を交互に記録するフレームシーケンシャルと、左目用画像・右目用画像をそれぞれ横半分に圧縮して1フレームの画像に横並びで記録するサイドバイサイド等がある。
【0200】
ここで、利用者が知覚する位置が範囲F1である視差を有し、フレームレートが液晶シャッターの切り替え速度と一致するフレームシーケンシャルのステレオ画像を用意して、そのファイルの拡張子及びヘッダを2次元の動画の画像データに偽装する。攻撃する者は、偽装した画像データと、通常のフレームシーケンシャルの立体動画データとを表示オブジェクトに組み立てて情報機器31に送信する。受信した情報機器31が2次元の動画の画像データに対してステレオマッチングをしないならば、通常のフレームシーケンシャルの立体動画データと同時に再生する偽装した画像データを利用者が範囲F1に知覚する可能性がある。よって、2次元の動画の画像データであってもデータの本体がフレームシーケンシャルの動画の画像データではないことが確認できないならばステレオマッチングを実行するべきである。
【0201】
{2次元画像+デプスマップでの偽装の防止}
【0202】
2次元画像+デプスマップで検証結果の偽装を防止する方法は表示サブシステム201の処理部211がステレオ画像を処理するドライバの機能によって4つのケースで対応する。なお、以下の説明においてデプスマップの各ピクセルの値を記載するとき、0 から 255 の範囲の値で表現する方法で記載する。具体的には最も遠い位置を示す黒を 0 、最も近い位置を示す白を 255 と記載する。
【0203】
第1のケース:デプスマップの値が 0 から 255 の範囲において、利用者が知覚する位置を範囲F3に収めるようドライバが機能するとき、つまり、デプスマップを参照して2次元画像を両眼視差画像に変換する度合いを範囲F3に収まるよう設定しているならば偽装が不可能である。よって、防止する方法も必要が無い。
【0204】
第2のケース:デプスマップの値が 0 から 255 の範囲において、利用者が知覚する位置が範囲F1からF3であるときの対応。例えば、範囲F1及びF2に相当する値が 255 から 201 であるとき、その範囲の値をすべて 200 に置き換える。端的にはリミットをかけるのである。表示オブジェクトの形によっては手前の部分が潰れたように知覚することもある。
【0205】
第3のケース:デプスマップの値が 0 から 255 の範囲において、利用者が知覚する位置が範囲F1からF3であるときの対応。例えば、範囲F1及びF2に相当する値が 255 から 201 であるとき、255 から 0 の値を 200 から 0 の範囲に変換する。端的には圧縮するのである。結果、全体が前後方向で潰れたような表示になる。
【0206】
第4のケース:デプスマップの値が 0 から 255 の範囲において、利用者が知覚する位置が範囲F1からF3であるときの対応。例えば、範囲F1及びF2に相当する値が 255 から 201 であるとき、デプスマップに 255 から 201 の値があるならば、警告メッセージを生成して液晶表示部200に表示させる。また、必要に応じて処理部11に偽装を検出したことを通知する。
【0207】
以上、第2の実施の形態は、一般に広く普及している液晶シャッター眼鏡方式の立体画像表示部を有するパーソナルコンピュータに本発明を適用した例と偽装を防止するための技術を説明した。なお、本実施の形態では、液晶シャッター眼鏡方式の例を説明したが、偏光フィルター眼鏡方式、眼鏡が不要な裸眼式(パララックスバリア方式、レンチキュラーレンズ方式等)でも2眼式の立体画像表示部であれば同様に適用が可能である。
【0208】
<第3の実施の形態>
【0209】
第3の実施の形態は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部として多眼式立体画像表示部を備えた電子広告看板に本発明を適用した例を説明する。
【0210】
多眼式とは、3以上の多数の視点に対応した視差画像を用いた立体画像の表示方式である。視点によって異なる画像を観察できるよう、レンチキュラーレンズやパララックスバリア等を用いる。多眼式は専用の眼鏡を使わずに多くの人が同時に観察できることからパブリックビューイングに適している。また、観察者の位置によって見え方が変化する運動視差を知覚させることが可能である。多眼式の表示部にもいくつかの種類があるが本実施の形態ではレンチキュラーレンズをプラズマディスプレイパネル(以下、PDPと記載する)の前面に配設した多眼式立体画像表示部の例を説明する。
【0211】
[ハードウェア構成]
【0212】
図27は第3の実施の形態のハードウェア構成を示すブロック図である。
【0213】
第3の実施の形態の情報機器は電子広告看板42である。
【0214】
電子広告看板42は、処理部11、記憶部12、通信部13、スピーカ315、音声出力部316、多眼式立体画像表示部300、多眼式表示サブシステム301及び多眼式画像生成部302を備えている。記憶部12のROMには電子広告看板42の制御プログラムをファームウェアの形で記憶させている。音声出力部316とスピーカ315は、後に説明する緊急地震速報を音声で伝えるために備えている。多眼式表示サブシステム301は、多眼式立体画像表示部300の視点の数に相当するグラフィック処理LSIやVRAMを備えた並列構成が望ましい。なお、多眼式画像生成部302については後に詳しく説明する。
【0215】
電子広告看板42の通信部13は、ネットワーク30を介して、他の機器である広告配信サーバ38に放送型接続方式で接続する。
【0216】
広告配信サーバ38は、1又は複数の電子広告看板42にネットワーク30を介して予め準備している電子広告を配信する。この配信は予め広告配信サーバ38に設定したスケジュールで行われる。なお、以下の説明では、広告配信サーバ38が配信した電子広告をリアルタイムで表示する例を説明するが、広告配信サーバ38やネットワーク30の処理能力の空きが大きいときに電子広告を纏めて配信して記憶部12に記憶させておき、予め設定した時間に電子広告を順次表示することで負荷の分散をする構成も可能である。
【0217】
図28は電子広告看板42を人の集まる商業施設内のエスカレータホールの壁面に設置した様子を示す図である。電子広告看板42にはネットワーク30を介して広告配信サーバ38から受信した電子広告の画像321を表示している。
【0218】
図29は電子広告看板42が緊急地震速報を表示した様子を示す図である。緊急地震速報の画像322は電子広告看板42の表面よりも手前の空中に浮いているように知覚する。なお、図29の緊急地震速報の画像322は簡略化して示している。実際の表示では具体的な予測震度や地域等の情報も表示する。
【0219】
広告配信サーバ38は広告配信業者が運営している。この広告配信業者は気象庁又は関連する公益法人から緊急地震速報の配信を受けて受信端末に再配信する配信事業者を兼ねている。広告配信サーバ38は緊急地震速報の再配信機能を有しており、電子広告看板42は緊急地震速報の受信端末を兼ねている。そして、広告配信サーバ38は平常時には電子広告を予め設定したスケジュールで配信しているが、緊急地震速報を受信したときは電子広告の配信を中断して緊急地震速報を配信する。
【0220】
電子広告看板42は、後に説明する第3の実施の形態に係るプログラムのフローチャートの各ステップを実行することにより、特許請求の範囲に記載の構成を有する情報機器として具現化する。
【0221】
[多眼式立体画像表示部について]
【0222】
多眼式立体画像表示部300の構造について説明する。なお、分かりやすくするために視点が16個の表示部を例示するが、設置する状況によって、より多くの視点を設けることが必要になる。
【0223】
図30は電子広告看板42の多眼式立体画像表示部300の特徴的な構造を説明するための図である。
【0224】
多眼式立体画像表示部300はレンチキュラーレンズをPDPの前面に配設した立体画像表示部である。多眼式立体画像表示部300の表面の画素の要部を拡大して図の右側に示した。拡大図はPDP303の前面にレンチキュラーレンズ304を配設していることを示している。PDP303の表面には、R(赤)、G(緑)、B(青)の色画素を横方向に周期的に配置して、縦方向に同色を配置している。レンチキュラーレンズ304は細長いシリンドリカルレンズを多数並べたものであるが、そのシリンドリカルレンズの中心軸は、PDP303の画素の縦方向に対して少し斜めに配設している。レンチキュラーレンズ304のレンズの幅と傾ける角度を適切に設計することにより、立体表示によって発生する色ムラ及び光の強度ムラの解消ができる。(参考文献:特開2005−309374号公報)なお、PDPの発光原理等については公知・公用の技術であるので説明を省略する。
【0225】
図31及び図32は電子広告看板42の多眼式立体画像表示部300が多数の視点に異なる画像を知覚させる原理を説明するための図である。図31及び図32の立体画素320はPDP303の一部分であり、2次元画素(RGB各1個)を16個使って立体画素1個を構成している。図31及び図32の多数の眼の記号は多眼式立体画像表示部300に向き合って水平に並んだ16個の視点を示している。以下、16個の視点のうち2個の視点を例にして説明する。
【0226】
図31は多眼式立体画像表示部300の16個の視点のうち右から5番目の視点に対応する画素を示す図である。5番目の視点305からはレンチキュラーレンズ304による屈折の効果により立体画素320の中央より少し左の網かけをした2次元画素が見える。
【0227】
図32は多眼式立体画像表示部300の16個の視点のうち右から12番目の視点に対応する画素を示す図である。12番目の視点312からはレンチキュラーレンズ304による屈折の効果により立体画素320の中央より少し右の網かけをした2次元画素が見える。つまり、16個の視点それぞれは立体画素を構成する16個の2次元画素に対応しており、その2次元画素毎に視差が異なる画像を表示し、利用者は、その16個の視点の内、隣接する2個の視点から両目で観察することで両眼視差による立体感のある表示を知覚する。
【0228】
[多眼式の画像データ]
【0229】
本実施の形態の場合、立体表示するための画像データは2次元画像の16倍必要である。他の機器から受信する表示オブジェクトが立体画像データを含んでいるとき、データ量が多くなるためネットワークを介しての送受信や記憶部への記憶などの扱いが困難になる。そこでデータ量を節約して電子広告看板に適した3視点画像データの例について説明する。
【0230】
図33は多眼式立体画像表示部用の3視点画像データを撮影する方法を示した平面図である。ピラミッド型の対象物330に向かって、左から第1のカメラ331が、正面から第2のカメラ332が、右から第3のカメラ333が撮影をすることを示している。図34は図33に示したカメラの配置で撮影した多眼式立体画像表示部用の3視点画像データの例の図面代用写真である。図34の(a)は第1のカメラ331、(b)は第2のカメラ332、(c)は第3のカメラ333が撮影した画像、そして、(d)は第2のカメラの画像から生成したデプスマップである。3視点画像データの情報量は2次元画像の4倍であり、この情報量であればネットワーク30を介しても送信可能である。また、次に説明する多眼式画像生成部で視点の数に対応した視差画像を生成するため、視点の数が多くなってもネットワーク上の画像データは増加しない。
【0231】
[多眼式画像生成部について]
【0232】
図27のブロック図に戻って多眼式画像生成部302を説明する。ネットワーク30を介して通信部13が受信した電子広告に3視点画像データを含んでいるとき、多眼式画像生成部302は3視点画像データから多眼式立体画像表示部300の視点の数に対応した視差画像を生成する。多眼式画像生成部302は、図示を省略するが、マイクロプロセッサ、メモリ等を有する視差画像生成処理専用のサブシステムであり、その処理を制御するファームウェアも含んでいる。多眼式画像生成部302は、多眼式立体画像表示部300のPDPの大きさや精細度、レンチキュラーレンズの焦点距離、視点の位置等のパラメータを使って、3視点画像データから16個の視点に対応した画像データを生成する。例えば、先の図31で説明した5番目の視点であるならば、正面の画像と、右の画像とを基にデプスマップを参照して、右と正面の中間の視点の視差画像を生成する。また、そのとき生じる欠落部分をギャップフィリングで補完する。多眼式画像生成部302で生成した16個の視点に対応した画像データは多眼式表示サブシステム301に転送して多眼式立体画像表示部300に表示させる。
【0233】
[利用者が知覚する奥行き位置の範囲について]
【0234】
本実施の形態において利用者が知覚する奥行き位置の範囲は第2の実施の形態の場合と同様である。端的には、電子署名の検証が成功した表示オブジェクトは手前に飛び出して見え、そこから表示部300の表面までは見間違いを防ぐギャップであり、表示部300の表面から無限遠は電子署名の検証が失敗した表示オブジェクトを表示する。図28で例示した電子広告の画像321は2次元画像であるが、上記説明した3視点画像データを含む表示オブジェクトを受信したときには電子広告看板42の表面から奥に広がる立体画像を表示する。
【0235】
[電子広告看板の起動]
【0236】
図27のブロック図を参照しながら電子広告看板42の起動を説明する。
【0237】
電子広告看板42の電源を投入すると記憶部12のROMに記憶している制御プログラムを処理部11のCPUが実行する。制御プログラムは、通信部13、音声出力部316等のドライバを含んでいる。
【0238】
[第3の実施の形態に係るプログラム]
【0239】
図35は第3の実施の形態に係るプログラムのフローチャートである。このプログラムは情報機器(電子広告看板42)に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムである。また、情報機器(電子広告看板42)が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法は、このプログラムの各ステップを情報機器(電子広告看板42)が実行することを特徴としている。
【0240】
このプログラムは具体的には、図27に記載の電子広告看板42の記憶部12に制御プログラムの一部として記憶している。電子広告看板42は、通信部13、音声出力部316のドライバ等を起動してから、このプログラムを実行する。
【0241】
{電子広告を受信して表示する}
【0242】
図35のフローチャートを参照して電子広告を受信して表示する例を説明する。
【0243】
ステップ351は通信部13が広告配信サーバ38から電子広告又は緊急地震速報を受信するのを待つ。
【0244】
ステップ352は通信部13が受信したのが緊急地震速報か否かを判断する。緊急地震速報であるか否かは通信手段毎に定められている緊急地震速報特有の信号又はデータ等により判断する。今回は電子広告を受信した。よって、ステップ361に進む。
【0245】
ステップ361は通信部13が電子広告を受信して記憶部12に記憶させるための処理を実行する。なお、電子広告は多眼式立体画像表示部300に広告の画像を表示させるための表示オブジェクトである。
【0246】
記憶部12に記憶した電子広告は、通常、共通鍵暗号方式で暗号化しているのでステップ362で復号化する。この暗号化は第三者による盗み読みの防止よりも、電子広告の画像、タレントの肖像及び音楽等の著作権及びパブリシティ権の保護を目的にしている。なお、復号化に用いる暗号鍵は、第1の実施の形態と同様に、予め、記憶部12に記憶させておいたものを用いる。
【0247】
ステップ363は復号化した電子広告の文字データ等を必要に応じて展開して画像データを生成する。
【0248】
ステップ357は電子広告の画像データを多眼式画像生成部302に転送する。多眼式画像生成部302は画像データから多眼式立体画像表示部300に必要な視差を有する多眼式の画像データを生成して多眼式表示サブシステム301に転送し図28で示したように電子広告の画像321を表示する。なお、電子広告には電子署名が施されていないため検証が失敗したと見なせる。利用者が表示オブジェクトを知覚する位置は多眼式立体画像表示部300の表面から奥である。
【0249】
電子広告は音声オブジェクトを含んでいない。よって、ステップ358で音声データを再生することはない。
【0250】
第3の実施の形態に係るプログラムは、再び、ステップ351に戻り、電子広告看板42の電源を切断するまで、表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを繰り返す。
【0251】
{緊急地震速報を受信して表示する}
【0252】
次は、緊急地震速報を受信して表示する例を説明する。
【0253】
ステップ351は通信部13が広告配信サーバ38から電子広告又は緊急地震速報を受信するのを待つ。
【0254】
ステップ352は通信部13が受信したのが緊急地震速報か否かを判断する。今回は緊急地震速報を受信したのでステップ353に進む。なお、緊急地震速報は表示オブジェクトと音声オブジェクトとで構成している。
【0255】
ステップ353は通信部13が受信した緊急地震速報の電子署名の検証をする。緊急地震速報の電子署名を検証するのはサイバーテロの対策である。悪意を持った人間が嘘の緊急地震速報をネットワークに乗せる攻撃を防止するのである。多くの人が集まる場所で、極端に誇張した内容の嘘の緊急地震速報が告知されたならば混乱した人々がパニックを起こすかもしれない。また、嘘が頻発すると本当の緊急地震速報を信じなくなり実質的に機能しなくなる。よって、嘘の緊急地震速報を分かりやすい方法で区別する必要がある。なお、嘘の緊急地震速報を送信する方法には、例えばネットワーク30が電波による放送であるならば、いわゆる電波ジャックがありえる。
【0256】
なお、電子署名を検証する方法は、第1又は第2の実施の形態で例示したとおりである。
【0257】
ステップ354は、電子署名の検証が成功したか否かを判断する。
【0258】
検証が成功したならば、ステップ355に進み、通信手段毎に定められている訓練報特有の信号又はデータ等により受信した緊急地震速報が訓練報であるか否かを判断する。
【0259】
訓練報ではないならば、ステップ356で緊急地震速報の表示オブジェクトから画像データを、また、音声オブジェクトから音声データを生成する。
【0260】
ステップ357は緊急地震速報の画像データを多眼式画像生成部302に転送して図29で示したように緊急地震速報の画像322を電子広告看板42の表面よりも手前に飛び出した位置に知覚するように表示する。
【0261】
ステップ358は緊急地震速報の音声データを音声出力部316に転送してスピーカ315から再生させる。
【0262】
第3の実施の形態に係るプログラムは、再び、ステップ351に戻り、電子広告看板42の電源を切断するまで表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを繰り返す。
【0263】
なお、ステップ354において、緊急地震速報の電子署名の検証が失敗したと判断したときは、ステップ360で緊急地震速報が無効であることを示す無効の画像323を生成する。
【0264】
ところで、無効の緊急地震速報の扱いについて、電子署名の検証が失敗して信用できないならば表示することなく破棄する対応もありえる。つまり、電子広告看板42の付近の人々が嘘の緊急地震速報によって混乱することが無いよう伝えないでおく方が安全だということである。しかし、この対応には本質的な違和感がある。それは、サイバーテロによる攻撃が行われているかもしれないのに、その事柄をも伝えないのは安全と言えるのかということである。信用できない緊急地震速報ならば地震に対する危険回避行動は必要が無い。しかし、誰かが悪意を持って嘘の情報を流布しようとしているならば、その事柄について警戒するべきである。よって、電子署名の検証が失敗したならば、図36に示したように無効の画像323を電子広告看板42の表面に知覚するように表示するべきである。
【0265】
また、ステップ355において、緊急地震速報が訓練報であると判断したときは、ステップ359で表示オブジェクトである訓練報の画像データと音声オブジェクトである音声データとを生成する。訓練報とは、危険回避の行動訓練のために配信する緊急地震速報である。訓練報は電子署名の検証が成功している。よって、図37に示したように訓練であることを明示した訓練報の画像324を電子広告看板42の表面よりも手前に飛び出した位置に知覚するように表示する。
【0266】
上記説明で明らかなように、第3の実施の形態に係るプログラムは、表示オブジェクトの電子署名の検証結果に応じて、検証が失敗したならば電子広告看板42の表面及び表面から奥に、検証が成功したならば表面よりも手前に飛び出した位置に振り分けて表示オブジェクト(電子広告、緊急地震速報)を表示するステップを電子広告看板42に実行させる。そして、利用者は、表示オブジェクトが、どちらの位置に表示されているかを見て表示オブジェクトの電子署名の検証結果を知ることができる。
【0267】
[電子署名の検証結果の偽装の防止について]
【0268】
電子署名の検証結果の偽装を防止する方法は第2の実施の形態の2次元画像+デプスマップの場合の第1のケースと同様である。詳細には、電子広告の表示オブジェクト321を作成するときの規格として表示可能な奥行き位置を電子広告看板42の表面から無限遠であると定めておき、多眼式画像生成部302は、デプスマップの白(255)を電子広告看板42の表面に、黒(0)を無限遠にする視差画像を生成するよう設計すれば電子広告の画像321の視覚的効果による偽装は不可能である。
【0269】
なお、緊急地震速報には、誤って発表した緊急地震速報を取り消すキャンセル報、動作試験に行うテスト報もある。そして、その処理は上記、ステップ355及びステップ359で説明した訓練報と同様である。
【0270】
また、緊急地震速報と同様に広く一般に告知する情報として津波警報があるが、同様に本発明を適用可能である。
【0271】
以上、第3の実施の形態は、パブリックビューイングに適している多眼式立体画像表示部を備えた電子広告看板で緊急地震速報を告知する形態を例にして、広く一般に放送型接続方式で送信する表示オブジェクトに対する大規模なサイバーテロを防止する例を示した。
【0272】
<第4の実施の形態>
【0273】
第4の実施の形態は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部としてスキャンバックライト方式の立体画像表示部を備えたデジタルデスクに本発明を適用した例を説明する。また、本実施の形態は、上記、スキャンバックライト方式の立体画像表示部にファントグラムを用いた例を説明する。
【0274】
ファントグラムとは、水平に置いた画像を斜めに見下ろすように観察したとき立体像が立っているように見える立体画像の表示方法である。図38はファントグラムを表示した例を示した図である。利用者70は机の天板に表示部を埋め込んだデジタルデスク43に向かって椅子に腰掛けている。利用者70が視線を水平より約45度下方向に落として見下ろすと表示面が上を向いている立体画像表示部400に表示したファントグラム用の視差画像により立体像405(デジタルカメラ)が立体画像表示部400の上に立っているように観察できる。ファントグラムは表示部の上の限られた空間で立体像を表示する。よって、第2の実施の形態で説明した液晶シャッター眼鏡方式のように無限遠までの奥行きを表示することはしない。しかし、その反面、自然な立体感を感じやすく、焦点調節と両眼視差の不一致が少ないという特徴がある。
【0275】
[ハードウェア構成]
【0276】
図39は第4の実施の形態のハードウェア構成を示すブロック図である。
【0277】
デジタルデスク43には、操作部14及び電子印鑑402を接続している。本実施の形態のデジタルデスク43はファントグラムを応用した表示部とパーソナルコンピュータを組み込んだ事務机である。ファントグラムを採用することで、従来からの立った表示部を用いた場合に比べて利用者の視界が遮られないため見通しがよい。また、表示した文書が、紙の文書を机の上に置いている状態と同様に見えるため自然な感覚を得られる。利用者はデジタルデスク43の立体画像表示部400に表示した画像を見て操作部14や電子印鑑402を操作して事務を執る。
【0278】
電子印鑑402は物理的な押すという操作をトリガにして電子署名を実行するものである。電子印鑑402を手に持って立体画像表示部400に表示した表示オブジェクトに物理的に押印をすると朱肉による着色はしないが電磁的記録で押印の事実を記録する。従来からの垂直に立った表示部の場合、電子印鑑402で押印するとき手を空中で保持する必要があり不安定になりやすい。その点で電子印鑑とファントグラムは使いやすい組み合わせである。
【0279】
デジタルデスク43は、処理部11、記憶部12、通信部13、補助記憶部16、USBインターフェイス17、立体画像表示部400及び表示サブシステム401を備えている。立体画像表示部400はスキャンバックライト方式の透過型液晶ディスプレイの立体画像表示部である。表示サブシステム401は、図示を省略するがグラフィック処理LSIやVRAMを含んでいて立体画像表示部400に表示させる画像の処理を受け持っている。
【0280】
通信部13は、ネットワーク30を介して、他の機器であるアップデートサーバ39とクライアント・サーバ接続方式で接続する。
【0281】
デジタルデスク43は、後に説明する第4の実施の形態に係るプログラムのフローチャートの各ステップを実行することにより、特許請求の範囲に記載の構成を有する情報機器として具現化する。
【0282】
[スキャンバックライト方式の立体画像表示部について]
【0283】
図40は立体画像表示部400を説明するための斜視図である。デジタルデスク43の天板には、表示面を上に向けた立体画像表示部400を水平に設置している。立体画像表示部400の要部を拡大して右上に示した。バックライト411は細長いストライプ状の光源であり、液晶パネル413の画素の縦列毎に左用(L)と右用(R)とを組にして配設している。そして、液晶パネル413とバックライト411の間にはレンチキュラーレンズ412を配設している。レンチキュラーレンズ412を構成するシリンドリカルレンズの中心軸は液晶パネルの画素の縦列と平行である。液晶パネル413の上面にはプリズム板414を配設している。プリズム板414については後に詳しく説明する。なお、偏光フィルタの図示は省略している。また、操作部14及び電子印鑑402はデジタルデスク43の天板の下部の引き出しに収納可能であり、図では収納した状態を表している。
【0284】
図41はスキャンバックライト方式の原理を説明するための図である。本実施の形態のスキャンバックライト方式は、一対のステレオ画像を両眼で見る2眼式、かつ、専用の眼鏡を必要としない裸眼式である。図41の(a)は利用者70に対して左目用の画像を表示した状態であり、バックライト411の左目用(L)が点灯して、その光線はレンチキュラーレンズ412で屈折して液晶パネル413の画素を通過して利用者70の左目に達する。同様に(b)は右目用の画像を表示した状態である。
【0285】
図42はスキャンバックライト方式を説明するためのタイミングチャートである。液晶パネル412は1フレーム毎に右目用画像と左目用画像を交互に表示し、それに同期してバックライト411のRとLとが交互に点灯する。各フレームを人間の目がちらつきを感じない早さで切り替えることで利用者に両眼視差による立体像を知覚させることができる。第3の実施の形態で示したような表示パネルの前面にレンチキュラーレンズを配設する裸眼式立体画像表示部は視点の数が増えるほど画面の精細度が低くなるが、上記説明で明らかなようにスキャンバックライト方式は裸眼式でありながら、2次元画像表示部と同じ高い精細度の画像を観察できるという特徴がある。
【0286】
次に、プリズム板414について説明する。図43は立体画像表示部400のプリズム板414を説明するための側面図である。バックライト411、レンチキュラーレンズ412及び液晶パネル413によって表示する画像は、破線矢印が示す方向、つまり、立体画像表示部400の真上から見下ろしたとき良好な状態で観察できる。しかし、本実施の形態ではファントグラムを適用するため利用者70は約45度斜めの実線矢印で示した方向から見下ろすように観察するため輝度や色相のむらが生じる。いわゆる視野角の問題である。
【0287】
プリズム板414は細長いプリズムを並列に並べて板状にしたものであり、立体画像表示部400から出射する光の向きを利用者70の目の方向に変換する。本実施の形態ではプリズム板414を液晶パネル413の上に配設して視野角の問題を解消している。また、プリズム板414が液晶パネル413から出射する光を利用者70の方向に向けるため、利用者70と反対側に居る人からは見にくくなり目隠しとしても機能する。なお、図40と図43で、プリズム板414のプリズムのピッチが液晶パネル413の画素ピッチと一致している図を示したが、双方のピッチが異なってもかまわない。
【0288】
図44は利用者の視界に映る立体画像表示部400の様子を示した図である。デジタルデスク43の立体画像表示部400には2つのダイアログを表示している。これらは、アップデートサーバ39(図39)がソフトウェアのアップデートを実行するかどうかを問い合わせているダイアログである。左側は電子署名の検証が成功した真正なダイアログ422であり、立体画像表示部400の表面にあるように知覚できる。そして、このダイアログのYを選択するとアップデートのプログラムがインストールされる。右側は電子署名の検証が失敗した偽装のダイアログ421である。偽装のダイアログ421の形状は厚みのある直方体であり、立体画像表示部400の表面に立っているように知覚できる。そして、このダイアログのYを選択するとセキュリティ上の脅威の一つであるトロイの木馬のプログラムがインストールされる危険性がある。
【0289】
[利用者が知覚する奥行き位置の範囲について]
【0290】
図45は本実施の形態で利用者70が知覚する奥行き位置の範囲を説明するための側面図である。利用者70は水平よりも約45度斜め下方向を見ている。そして、その視線の中心に各表示オブジェクトの中央が位置している例で奥行き位置を説明する。範囲G1は利用者70に近すぎて融像できない範囲である。範囲G2は電子署名の検証が失敗した表示オブジェクトを表示する範囲である。電子署名の検証が失敗した表示オブジェクトは厚みのある直方体に見えるように画像データを生成する。その厚みにより表示オブジェクトの利用者側の表面が範囲G2にあるように知覚させる。範囲G3は電子署名の検証が成功した表示オブジェクトと検証が失敗した表示オブジェクトとを利用者70が見間違わないように設けるギャップである。範囲G4は立体画像表示部400の表面であり、電子署名の検証が成功した表示オブジェクトを表示する位置である。
【0291】
ところで、この振り分けは、第1から第3の実施の形態で説明した振り分けと反対である。
【0292】
本実施の形態のデジタルデスク43には電子印鑑402を備えているが、これは、例えば図44の真正なダイアログ422の "Y" を選択するときに電子印鑑402を押すという使い方を想定している。そうすればソフトウェアのアップデートを承認したのが誰であるかというロギングデータを記録するのが容易になるからである。そのとき、偽装のダイアログ421に電子印鑑402を押そうとしても、その表面は表示部400から離れた空中にあるため物理的に押せないというセキュリティ上の効果がある。また、立体画像表示部400の表面に利用者70が手を置いたとき、偽装のダイアログ421に手がめり込んだ状態で見えるという不自然な状態を利用して偽装のダイアログ421を簡単に見分けることができるという効果もある。
【0293】
振り分けを反対にする別の事例として、利用者70がシステム又はネットワークの管理者であり、デジタルデスク43が管理用のコンソールである場合を説明する。利用者70がエンドユーザではなく、システム又はネットワークの管理者ならば、偽装のダイアログ421は重要なインシデントであり管理者としての対応を必要とする。異常な事態を見つけ出すことが重要な、このような利用形態では、電子署名の検証が失敗した表示オブジェクトは、管理者が見やすいように手前に表示するのが望ましい。なお、証明書失効リスト(Certificate Revocation List:CRL)に載っている電子証明書を用いて電子署名を施していた場合など、明らかに信頼できない表示オブジェクトは、G2の範囲内でさらに利用者に近い位置に知覚させる構成は、より望ましい。
【0294】
なお、図44と図45において、偽装のダイアログ421と真正なダイアログ422とを一つの図に記載しているが、これは、それらを同時に表示することを意味しているのではない。それらの違いを説明するために同じ図に記載している。
【0295】
[デジタルデスクの起動]
【0296】
デジタルデスク43の起動は、第1の実施の形態の[PC本体の起動]と同様である。なお、オペレーティングシステムは、電子印鑑402を制御するデバイスドライバ及び立体画像表示部400にステレオ画像を表示させる立体画像表示ドライバを含んでいる。
【0297】
デジタルデスク43のオペレーティングシステムは自動的にアップデートを確認する機能を有している。自動的にアップデートを確認する機能は、1日から1ヶ月に1回程度の予め設定した周期で自動的にアップデートサーバ39に対してアップデートの有無を確認する。利用者がデジタルデスク43の電源を投入して起動が完了した。デジタルデスク43は、予め設定した周期が来たので通信部13からネットワーク30を介してアップデートサーバ39にアップデートの有無を確認するメッセージを送信した。アップデートサーバ39は、新規アップデートがあるためネットワーク30を介してデジタルデスク43にアップデートを実行するかどうかを問い合わせるダイアログを送信する。
【0298】
[第4の実施の形態に係るプログラム]
【0299】
図46は第4の実施の形態に係るプログラムのフローチャートである。このプログラムは情報機器(デジタルデスク43)に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムである。また、情報機器(デジタルデスク43)が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法は、このプログラムの各ステップを情報機器(デジタルデスク43)が実行することを特徴としている。
【0300】
このプログラムは具体的には、図39に記載のデジタルデスク43の補助記憶部16に記憶しているオペレーティングシステムの一部である。先に説明した、アップデートの有無を確認するメッセージを送信して、表示オブジェクトを受信する状態になると、デジタルデスク43の処理部11は、補助記憶部16から記憶部12に読み出している、このプログラムを実行する。
【0301】
{偽装のダイアログを受信して表示する}
【0302】
図46のフローチャートを参照してデジタルデスク43が偽装のダイアログ421を受信して表示する例を説明する。
【0303】
ステップ451は通信部13にアップデートサーバ39からの受信があったか否かを判断する。
【0304】
受信が無いときはステップ459でタイムアウトになったか否かを判断する。本実施の形態でタイムアウトは、アップデートサーバ39にアップデートの有無を確認するメッセージを送信してから、予め設定した時間内にアップデートを実行するかどうかを問い合わせるダイアログを受信しなかった場合である。予め設定した時間が経過しても受信が無いならばタイムアウトであり、アップデートの通知が無かったと判断できる。タイムアウトならばプログラムを終了し、まだ、タイムアウトではないならばステップ451に戻って受信を待つ。
【0305】
ステップ452は通信部13が表示オブジェクトである偽装のダイアログ421を受信して記憶部12に記憶させるための処理を実行する。
【0306】
ステップ453は、デジタルデスク43のオペレーティングシステムをインストールしたときに補助記憶部16のHDDの外部から書き換え不可能な領域に記録した公開鍵を用いて偽装のダイアログ421の電子署名を検証する。
【0307】
ステップ454は電子署名を検証した結果、検証が成功したか否かを判断する。
【0308】
偽装のダイアログ421は見かけ上はアップデートサーバ39から受信したものであるが、DNSスプーフィングにより実際は偽のアップデートサーバ(図示省略)から受信したものである。よって、検証が失敗してステップ460に進む。
【0309】
なお、DNSスプーフィングはDNS(Domain Name System)サーバの脆弱性をついてDNSテーブルの値を不正に書き換えてクライアントからの要求に対して偽のサーバへ誘導させる攻撃である。
【0310】
ステップ460は受信した偽装のダイアログ421のデータを基に文字フォントやイメージデータ等を展開して画像データを生成して記憶部12に記憶させる処理を実行する。電子署名の検証が失敗した偽装のダイアログ421からは厚みのある直方体の形状を知覚させるためのファントグラム用の視差画像を有するステレオ画像の画像データを生成する。
【0311】
ステップ458は記憶部12に記憶させた画像データを表示サブシステム401に転送して、図45に記載のように偽装のダイアログ421を表示させる。
【0312】
{真正なダイアログを受信して表示する}
【0313】
図46のフローチャートの先頭に戻り、デジタルデスク43が真正なダイアログ422を受信して表示する一連のステップを説明する。
【0314】
ステップ451は通信部13にアップデートサーバ39からの受信があったか否かを判断する。
【0315】
アップデートサーバ39からの受信があったならば、ステップ452は通信部13が表示オブジェクトである真正なダイアログ422を受信して記憶部12に記憶させるための処理を実行する。
【0316】
ステップ453は、真正なダイアログ422の電子署名を検証する。
【0317】
ステップ454は電子署名を検証した結果、検証が成功したか否かを判断する。真正なダイアログ422には正しい電子署名データが添付されている。よって、検証が成功してステップ455に進む。
【0318】
ステップ455は受信した真正なダイアログ422が暗号化されているか否かを判断する。表示オブジェクトを暗号化するかどうかは、その表示オブジェクトの用途によって変化する。暗号化されているならばステップ456で復号化する。
【0319】
ステップ457は受信した真正なダイアログ422のデータを基に文字フォントやイメージデータ等を展開して画像データを生成して記憶部12に記憶させる処理を実行する。電子署名の検証が成功した、真正なダイアログ422は立体画像表示部400の表面である範囲G4に知覚するよう左右とも同じ画像のステレオ画像を生成する。
【0320】
ステップ458は記憶部12に記憶させた画像データを表示サブシステム401に転送して、図45に記載のように真正なダイアログ422を立体画像表示部400の表面の範囲G4に知覚するように表示させる。
【0321】
上記説明で明らかなように、第4の実施の形態に係るプログラムは、表示オブジェクトの電子署名の検証結果に応じて、検証が失敗したならば立体画像表示部400の表面よりも飛び出した範囲G2に、検証が成功したならば立体画像表示部400の表面である範囲G4に振り分けて表示オブジェクト(偽装のダイアログ又は真正なダイアログ)を表示するステップをデジタルデスク43に実行させる。そして、利用者は、表示オブジェクトが、どちらの位置に表示されているかを見て表示オブジェクトの電子署名の検証結果を知ることができる。
【0322】
[検証結果の偽装の防止について]
【0323】
デジタルデスク43は事務が主な用途であることから、水平の2次元画像の表示オブジェクトのみ扱うのが望ましく、他の機器からの立体画像データを表示する機能を有していない。よって、他の機器から受信した表示オブジェクトの視覚的効果で電子署名の検証が成功しているように偽装することは想定しにくい。
【0324】
しかし、第2の実施の形態で説明した、ファイルの拡張子及びヘッダの偽装により、見かけ上は2次元のフレームシーケンシャルの動画データであって、実体は立体の動画データである攻撃方法が不可能ではない。本実施の形態では検証が失敗した表示オブジェクトを範囲G2に知覚するよう視差を加える。そこで、攻撃する者は、その逆の視差を有する立体画像データを生成して2次元の動画データであるよう偽装して送信するのである。これを防止するためには、液晶パネル413と動画再生のフレームレートを異ならせればよい。具体的には、液晶パネル413は120fps(フレーム/秒)、動画再生は60fpsとすれば、動画の1フレーム中にスキャンバックライトの左右を表示してしまうため動画データの視差で検証していない表示オブジェクトの視差を相殺することはできない。
【0325】
以上、第4の実施の形態は、裸眼式でありながら高い精細度の表示が可能なスキャンバックライト方式にファントグラムを用いたデジタルデスクを例にして、第1から第3の実施の形態とは逆の奥行き位置の振り分けと、その効果、また、液晶パネル413と動画再生のフレームレートを異ならせることでファイルの拡張子及びヘッダの偽装による攻撃を防止する例を示した。
【0326】
<第5の実施の形態>
【0327】
第5の実施の形態は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部として浮遊画像表示部を備えたパーソナルコンピュータに本発明を適用した例を説明する。
【0328】
浮遊画像とは、表示部の表面よりも手前の空間に浮かんでいるように見える2次元画像である。本実施の形態ではマイクロレンズアレイにより浮遊画像を表示する浮遊画像表示部を用いた例を説明する。
【0329】
[ハードウェア構成]
【0330】
図47は第5の実施の形態のハードウェア構成を示すブロック図である。
【0331】
パーソナルコンピュータ40は、PC本体15、操作部14及び浮遊画像表示部500を備えている。
【0332】
PC本体15内の構成は第1の実施の形態と同様であるが表示サブシステム501は1組である。
【0333】
通信部13は、ネットワーク30を介して、他の機器である携帯電話機41とP2P(Peer to Peer)接続方式で接続する。
【0334】
浮遊画像表示部500には、液晶表示ユニット、マイクロレンズアレイ、変位機構及び制御回路(図示省略)を備えている。
【0335】
PC本体15は、後に説明する第5の実施の形態に係るプログラムのフローチャートの各ステップを実行することにより、特許請求の範囲に記載の構成を有する情報機器として具現化する。
【0336】
[浮遊画像表示部について]
【0337】
図48は浮遊画像表示部の原理を説明するための側面図である。浮遊画像表示部500は、全体が黒色を呈した浮遊画像表示部の筐体502と、やはり全体が黒色を呈したフード503とを有している。浮遊画像表示部の筐体502の内部には液晶表示ユニット504とマイクロレンズアレイ506を備えている。液晶表示ユニット504には、図示を省略するが、液晶表示パネル、偏光フィルタ、バックライト及び駆動回路を備えている。マイクロレンズアレイ506は液晶表示ユニット504と平行に利用者70の側の所定の位置に取り付けている。マイクロレンズアレイ506はレンズアレイプレート505を2枚一組で構成している。レンズアレイプレート505は多数の微小な凸レンズを隣接して2次元マトリクス状に並べたパネルである。その材質にはアクリルを用いて一体形成で比較的安価に作成することができる。レンズアレイプレート505の多数の微小な凸レンズの光軸は、それぞれ凸レンズが並ぶ面に対して垂直で、かつ、対になるレンズアレイプレート505の対向する凸レンズと一致している。また、すべての凸レンズの焦点距離は同じである。
【0338】
マイクロレンズアレイ506は正立等倍光学系であり、液晶表示ユニット504で表示した2次元画像507がマイクロレンズアレイ506で屈折して浮遊画像508として実像を結像する。これにより利用者70は浮遊画像表示部500の前面に浮遊画像508が浮いているように知覚する。
【0339】
図49は浮遊画像表示部500の外観の例を示す斜視図である。浮遊画像表示部の筐体502の前面には表示面を囲むようにフード503を設けている。利用者は浮遊画像表示部500の前面に浮遊画像508が浮いているように知覚する。浮遊画像508は両眼視差の情報を含んでいない。浮遊画像508の位置の知覚は焦点調節と輻湊によるものである。焦点調節と輻湊による奥行き知覚は両眼視差による知覚よりも弱い。浮遊画像表示部500が全体に黒色であること、また、フード503を設けるのは、付近の背景を遮ることにより焦点調節と輻湊による奥行き知覚を助けるためである。
【0340】
なお、図49及び図54の斜視図は概念的に浮遊画像を示している。マイクロレンズアレイを用いた浮遊画像は視野角が狭く、実際には正面から見たときに画像が見える。図では飛び出しているさまを示しているのであり、実際に見える状態ではない。
【0341】
[浮遊画像表示部の変位機構について]
【0342】
ところで、適度な球面収差又はコマ収差を有することで焦点深度を深くしたマイクロレンズアレイを用いた浮遊画像表示部において、液晶表示ユニットとマイクロレンズアレイの距離を変位機構によって変えると浮遊画像の位置を変化させることが可能であることが知られている。(参考文献:国際公開WO2007/049664号公報)
【0343】
本実施の形態でも、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させるため上記構成を用いる。
【0344】
図50は浮遊画像表示部500内部の変位機構を説明するための側面図である。
【0345】
変位機構513には、ステップモータ509、位置センサ510、移動ステージ511及びレンズ固定ステージ512、並びに、図示を省略するが、駆動側プーリ、従動側プーリ、タイミングベルト及び制御回路を有している。
【0346】
マイクロレンズアレイ506はレンズ固定ステージ512に固定して、レンズ固定ステージ512は移動ステージ511で摺動可能に支持している。
【0347】
ステップモータ509の回転軸に直結した駆動側プーリと、対向する従動側プーリとに架け渡したタイミングベルトは、移動ステージ511と平行に位置していて、タイミングベルトの一部にはレンズ固定ステージ512を固定している。よって、ステップモータ509の回転によってマイクロレンズアレイ506をz方向に変位させることが可能である。また、位置センサ510はレンズ固定ステージ512が移動ステージ511の液晶表示ユニット504側の端であるホームポジションまで戻ったことを検出する。
【0348】
マイクロレンズアレイ506は、正立等倍光学系であり、マイクロレンズアレイ506の中心から、2次元画像507までの距離L1と浮遊画像508までの距離L2が等しくなるようにしている。変位機構513の動作によりマイクロレンズアレイ506の位置が変わると浮遊画像508の位置も変わる。
【0349】
{変位機構のリセット}
【0350】
図51は浮遊画像表示部500の変位機構513のリセットを説明するための側面図である。
【0351】
変位機構513の制御回路は、変位機構をリセットしてレンズ固定ステージ512をホームポジションに戻す命令を処理部11から受け取ると、レンズ固定ステージ512が液晶表示ユニット504の方向に向かって移動するようステップモータ509を回転させる。そして、レンズ固定ステージ512がホームポジションまで戻ったことを位置センサ510が検出したらステップモータ509を停止させる。
【0352】
図51に示したようにレンズ固定ステージ512がホームポジションに位置している状態で、浮遊画像508は範囲R内の最も奥の位置で結像している。なお、範囲Rはマイクロレンズアレイ506の焦点深度の範囲内で浮遊画像508が結像できる範囲である。浮遊画像508が、この範囲を外れるとボケが発生する。
【0353】
{変位機構の位置セット}
【0354】
図52は浮遊画像表示部500の変位機構513の位置セットを説明するための側面図である。
【0355】
変位機構513の制御回路は、変位機構の位置セットをする命令を処理部11から受け取ると、その命令コードに付加している位置データに基づいてステップモータ509を回転させてレンズ固定ステージ512を利用者70の方向に移動させる。図52はレンズ固定ステージ512が液晶表示ユニット504から最も離れた位置(利用者から見て最も手前)まで移動した状態を示している。この状態では、浮遊画像508が範囲R内の最も利用者側の位置で結像する。
【0356】
上記説明で明らかなように、変位機構をリセット→変位機構の位置セット→液晶表示ユニットに2次元画像を表示、というサイクルを繰り返すと、処理部11の命令により、任意の奥行き位置に浮遊画像508を表示させることができる。
【0357】
[検証に使用した公開鍵の信頼度について]
【0358】
第1から第4の実施の形態では、電子署名を検証した結果は成功又は失敗である。例えば、PKIを用いるとき、他の機器から受信した表示オブジェクトから生成したハッシュ値と、表示オブジェクトの電子署名のデータを電子証明書の公開鍵で復号化した値とが一致して、その電子証明書が信頼できるか否かについて証明書パスを検証して信頼する認証局(CA)が発行したルート証明書にたどり着けば電子署名の検証は成功であり、いずれか1カ所でも不一致ならば失敗である。そして、表示オブジェクトの電子署名の検証が成功したならば、その表示オブジェクトを信頼してよいと言える。
【0359】
しかし、電子署名の検証が成功していても、信頼してよいと言えない場合がある。例えば、検証に用いる公開鍵の信頼性がPGP(Pretty Good Privacy)の信頼の輪で構築されているとき、ハッシュ値が一致しても公開鍵が信頼できるか否かは状況によって異なる。よって、電子署名の検証が成功していても検証に使用した公開鍵の信頼性が完全ではないときは、公開鍵の信頼度、表示オブジェクトの内容、相手に関する他の情報等の様々な要因を考慮して利用者自身が信頼するか否かを決定する必要がある。PGPの信頼の輪では、利用者が互いに信用する相手の公開鍵に署名をして信頼度を数値化できるようにしている。例えば、自分が完全に信頼している人が、他の人の公開鍵に信頼できると署名をしているならば、その、他の人の公開鍵も信頼できる。また、自分が、ある程度信頼している人が、他の人の公開鍵に署名をしているなら、その、他の人の公開鍵は、ある程度信頼できる。これは一例であり、信頼度の判定のパラメータは利用者が設定できるので複雑な判定や単純な判定がありえる。PGPの信頼の輪では、この公開鍵の信頼度を数値化するので、情報機器は、その結果も表示する必要がある。
【0360】
本実施の形態では、分かりやすく説明するため、電子署名の検証結果と公開鍵の信頼度とを以下の3段階で表示する例を説明する。
【0361】
1:信頼しない
電子署名の検証が失敗した。(電子署名が施されていなかったときを含む。)
【0362】
2:ある程度信頼する
電子署名の検証が成功した。検証に使用した公開鍵には自分がある程度信頼する人の署名がある。しかし、完全に信頼する条件(例えば2人以上の署名がある等)は成立していない。
【0363】
3:完全に信頼する
電子署名の検証が成功した。検証に使用した公開鍵は自分が信頼している。又は、完全に信頼する条件(完全に信頼する人の署名がある等)が成立している。
【0364】
[PC本体の起動]
【0365】
PC本体15の起動は第1の実施の形態の[PC本体の起動]と同様である。なお、オペレーティングシステムは、浮遊画像表示部500の変位機構を制御するドライバを含んでいる。
【0366】
本実施の形態の、他の機器である携帯電話機41にはデジタル化した音楽データを記録して権利者の許諾を受けて有料でダウンロード販売している。利用者は操作部14を使ってダウンロードしたい音楽データを購入する手続きの操作をする。PC本体15は、音楽データを購入するための注文データを通信部13からネットワーク30を介して携帯電話機41に送信した。携帯電話機41は、ネットワーク30を介してPC本体15に電子マネーの番号を入力するダイアログ(以下、電子マネーのダイアログと記載する)を送信する。
【0367】
[第5の実施の形態に係るプログラム]
【0368】
図53は第5の実施の形態に係るプログラムのフローチャートである。このプログラムは情報機器(PC本体15)に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムである。また、情報機器(PC本体15)が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法は、このプログラムの各ステップを情報機器(PC本体15)が実行することを特徴としている。
【0369】
このプログラムは具体的には、図47に記載のPC本体15の補助記憶部16に記憶している、P2P接続方式で他の機器から音楽データをダウンロードするためのアプリケーションプログラムの一部である。先に説明した、注文データを送信して、電子マネーのダイアログを受信する状態になると、PC本体15の処理部11は、このプログラムを補助記憶部16から記憶部12に読み出して実行する。
【0370】
{電子マネーのダイアログを受信して表示する}
【0371】
図53のフローチャートを参照して電子マネーのダイアログを受信して表示する例を説明する。
【0372】
ステップ551は通信部13が携帯電話機41から表示オブジェクトである電子マネーのダイアログ521(図54参照)を受信するのを待つ。
【0373】
ステップ552は、上記、{変位機構のリセット}で説明した、変位機構の位置をリセットする命令を表示サブシステムに送る。
【0374】
ステップ553は通信部13が電子マネーのダイアログ521を受信して記憶部12に記憶させるための処理を実行する。
【0375】
ステップ554は、電子マネーのダイアログ521の電子署名を検証する。電子マネーのダイアログ521にはPGPの信頼の輪に基づく公開鍵で検証可能な電子署名が施されている。よって、公開鍵の信頼度の判定も行う。
【0376】
ステップ555は電子署名の検証が成功したか否かを判断する。電子署名の検証が失敗した場合はステップ559に進むので変位機構はリセットした状態のままになる。
【0377】
電子署名の検証が成功したならばステップ556で公開鍵の信頼度により変位機構の位置をセットする命令を表示サブシステムに送る。
【0378】
ステップ557は電子マネーのダイアログ521が暗号化されているか否かを判断する。
【0379】
暗号化されているならばステップ558で表示オブジェクトを復号化する。
【0380】
ステップ559は電子マネーのダイアログ521のデータから文字フォントやイメージデータを展開して表示部500で表示する画像データを生成する。
【0381】
ステップ560は画像データを表示サブシステム501に転送して電子マネーのダイアログ521を表示部500に表示させる。
【0382】
図54は、浮遊画像表示部500に表示した画像の例を示す斜視図である。
【0383】
図54の(a)は、電子署名の検証結果と公開鍵の信頼度が、上記、1:信頼しない、であるときの表示状態であり、変位機構をリセットした位置のため電子マネーのダイアログ521が浮遊画像表示部500の中にあるように知覚する。
【0384】
図54の(b)は、電子署名の検証結果と公開鍵の信頼度が、上記、2:ある程度信頼する、であるときの表示状態であり、変位機構がマイクロレンズアレイ506を所定量だけ前進させているので電子マネーのダイアログ521が浮遊画像表示部500の表面にあるように知覚する。
【0385】
図54の(c)は、電子署名の検証結果と公開鍵の信頼度が、上記、3:の完全に信頼する、であるときの表示状態であり、変位機構がマイクロレンズアレイ506を最も手前に移動させているので電子マネーのダイアログ521が浮遊画像表示部500の表面よりも飛び出した位置に知覚する。
【0386】
上記説明で明らかなように、第5の実施の形態に係るプログラムは、電子署名の検証結果と公開鍵の信頼度とにより浮遊画像表示部500の任意の数の複数の奥行き位置に表示オブジェクトを振り分けて表示するステップをPC本体15に実行させる。そして、利用者は、表示オブジェクトが表示された位置により、電子署名の検証結果と検証が成功した表示オブジェクトの公開鍵の信頼度とを知覚できるため、表示オブジェクトの内容などの要因も勘案して最終的に信頼するか否かを判断できるようになる。
【0387】
なお、本実施の形態の浮遊画像表示部500では、電子署名の検証結果及び公開鍵の信頼度が異なる複数の表示オブジェクトを同時に表示することはできない。新しい表示オブジェクトを表示するときには古い表示オブジェクトを消去してから表示するように処理する。
【0388】
以上、第5の実施の形態は、浮遊画像表示部を備えたパーソナルコンピュータに本発明を適用して、電子署名の検証結果と公開鍵の信頼度とを表示するために処理部からの命令で任意の数の奥行き位置で表示する例を示した。浮遊画像表示部は焦点調節と輻輳により奥行き位置を知覚させるという特徴がある。また、構造が簡単であるため低コストであるという利点がある。なお、本実施の形態では、第1の実施の形態と同様、他の機器から受信した表示オブジェクトを2次元画像で表示するため、表示オブジェクトの視覚的効果による偽装が不可能である。
【0389】
<第6の実施の形態>
【0390】
第6の実施の形態は、利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部として運動視差による奥行き知覚が可能な表示部を備えたパーソナルコンピュータに本発明を適用してWeb会議端末として使用する例を説明する。
【0391】
Web会議は、会議に参加する利用者の画像と音声とをネットワークを介して送受信し、また、資料を共有することで、遠隔地間の会議を可能にする技術である。会議に参加する利用者は、それぞれが個別のWeb会議端末を使用する。Web会議端末は、通常、利用者の顔を撮影するカメラと音声の入出力を行うマイクとスピーカとを備えたパーソナルコンピュータを用いる。専用の会議室に集まって大型のモニタ画面を備えた専用システムを使用するテレビ会議と比べると、会議室が不要で会議室に集まる必要が無い、コストが安い、資料が共有できるという利点がある。
【0392】
[ハードウェア構成]
【0393】
図55は第6の実施の形態のハードウェア構成を示すブロック図である。
【0394】
パーソナルコンピュータ40は、PC本体15、操作部14、カメラユニット603を有する表示部600及びUSBマイクスピーカ604を備えている。
【0395】
表示部600の表示ユニットは、通常の2次元画像を表示可能な液晶ディスプレイ又はPDP等である。
【0396】
カメラユニット603は動画撮影が可能なCCDカメラを2台備えたステレオカメラのユニットであり、表示部600に対面している利用者の顔を撮影してWeb会議サーバ45に送信するため、及び、顔認識とステレオマッチングで利用者の視点の位置を測定するために使用する。
【0397】
USBマイクスピーカ604は、ハウリング防止のエコーキャンセル機能を有するマイクとスピーカのセットであり、Web会議の音声の入出力のために使用する。
【0398】
PC本体15内の構成は第1の実施の形態と同様であるが表示サブシステム601は1組である。また、第1の実施の形態には無かった顔認識部602を備えている。顔認識部602は、カメラユニット603で撮影した画像データを表示部600及び表示サブシステム601を介して受け取る。顔認識部602は、表示部600に対面している利用者の顔をパターンマッチングで認識して2次元上の位置を測定する顔認識と、2台のカメラの画像の視差から利用者までの距離を測定するステレオマッチングとをマイクロプロセッサで処理する。そして、顔認識とステレオマッチングで測定した利用者の位置データは処理部11に送る。なお、顔認識はデジタルカメラのピント合わせ機能で公知・公用であり、ステレオマッチングは自動車の衝突防止装置で公知・公用であるので説明を省略する。
【0399】
通信部13は、ネットワーク30を介して、他の機器であるWeb会議サーバ45とクライアント・サーバ接続方式で接続する。
【0400】
Web会議サーバ45は、複数のWeb会議端末に対して、画像、音声及び資料の送受信を処理する。
【0401】
PC本体15は、後に説明する第6の実施の形態に係るプログラムのフローチャートの各ステップを実行することにより、特許請求の範囲に記載の構成を有する情報機器として具現化する。
【0402】
[運動視差による奥行き知覚が可能な表示部について]
【0403】
図56は第6の実施の形態の表示の様子を示した斜視図である。利用者70は電子署名の検証が成功した参加者の画像622が表示部600の表面から手前に飛び出しているように厚みを知覚している。しかし、電子署名の検証が成功した参加者の画像622を立体的に知覚する原理は運動視差によるものであるため、利用者70が静止しているときには、運動視差により厚みを知覚することはない。図56は利用者70が動いているときに知覚する画像の様子を示している。表示部600の上部にあるカメラユニット603はWeb会議中に連続して利用者70を撮影し、その画像データから利用者70の視点の位置を測定している。利用者70の視点が、いずれかの方向に移動したとき、その移動に合わせた画像を表示することで運動視差による奥行きを知覚させる。
【0404】
以下、運動視差による奥行き知覚の仕組みを詳細に説明する。なお、以下の説明では、Web会議サーバ45(図55)からネットワーク30(図55)を介して受信したWeb会議の参加者の画像として、電子署名の検証が失敗した参加者の画像621と電子署名の検証が成功した参加者の画像622とを例示して説明する。また、利用者70の視点の動きは、立体空間のいずれの方向でも良いが、表示部600の正面から水平に左方向へ移動する例を説明して、他の方向の説明は省略する。
【0405】
図57は運動視差による奥行き知覚を説明するための平面図である。利用者70の視点は表示部600の正面にある。そして、表示部600の表面には、電子署名の検証が失敗した参加者の画像621と電子署名の検証が成功した参加者の画像622とを表示している。利用者70は、体を左に傾けて、Jの位置からKの位置に視点を移動させる。Kの位置からは電子署名の検証が成功した参加者の画像622の厚みの部分が見え、利用者70と対面する表面の画像は右にシフトして電子署名の検証が失敗した参加者の画像621に重なるようになる。利用者70の視点がJの位置からKの位置まで移動する間に電子署名の検証が成功した参加者の画像622を徐々に変化させることで利用者70は運動視差による奥行きを知覚する。
【0406】
図58は、利用者70の視界に映る表示部600の画像の様子を示した図である。図58の(a)は、利用者70の視点がJの位置にあるときに視界に映る表示部600の画像の様子である。電子署名の検証が失敗した参加者の画像621と電子署名の検証が成功した参加者の画像622とが見えているが、電子署名の検証が成功した参加者の画像622は厚みがあるため利用者70に近くなる。よって、電子署名の検証が失敗した参加者の画像621より若干大きく見えるように表示している。図58の(b)は、利用者70の視点がKの位置にあるときに視界に映る表示部600の画像の様子である。表示部600を斜めに見ているため遠くになる右側は小さく、また、電子署名の検証が成功した参加者の画像622の厚みが見えて、さらに、一部が電子署名の検証が失敗した参加者の画像621の画像に重なるように見えている。
【0407】
図59は運動視差を知覚させる画像データの例である。図59の(a)は、利用者70の視点がJの位置にあるときに表示部600で表示する画像データの例である。電子署名の検証が成功した参加者の画像622は厚みがあるため利用者70に近く、よって、電子署名の検証が失敗した参加者の画像621より、利用者70までの距離に応じて大きくなる。図59の(b)は、利用者70の視点がKの位置にあるときに表示部600で表示する画像データの例である。電子署名の検証が成功した参加者の画像622の厚みを表示して、さらに、女性が映っている表面の部分は右方向にシフトして電子署名の検証が失敗した参加者の画像621の画像に一部が重なる。
【0408】
利用者70の視点がJの位置からKの位置まで移動する間に、図59の(a)と(b)との中間の画像を、利用者70の位置に応じて徐々に書き換えることで運動視差により利用者70が電子署名の検証が成功した参加者の画像622を厚みがある画像として知覚する。
【0409】
なお、上記、利用者70の視点の位置を測定して運動視差による奥行きを知覚させる技術は、「Head Tracking」又は「Head-Coupled Perspective」と呼ばれることがある。
【0410】
[運動視差による奥行き知覚とWeb会議について]
【0411】
Web会議端末として機能するパーソナルコンピュータ40に運動視差による奥行き知覚が可能な表示部を用いる効果を説明する。
【0412】
例えば、第2の実施の形態で説明した会員登録のダイアログ222は、電子署名の検証が成功していることを必ず確認すべき表示オブジェクトであり、それを見る時間は比較的短時間である。しかし、本実施の形態のWeb会議では、リアルタイムに応答する相手の顔や声及び会話の内容から、ある程度、相手を確認することができるため、常に電子署名の検証結果を確認する必要は無い。電子署名の検証結果を確認するのは相手の言動が極端に疑わしいときや、初対面のとき等である。また、比較的長時間、相手の画像を見るため眼精疲労を起こしやすい立体画像表示部は望ましくない。その点で、運動視差による奥行き知覚は、利用者70が意識して視点を動かしたときに奥行きを感じ、静止している状態では2次元画像であるため疲れにくいという効果がある。
【0413】
また、Web会議では、利用者70がカメラユニット603の正面に居ることを、自分の鏡像を映す副画面で確認する必要があるが、本実施の形態の運動視差による奥行き知覚では、正対していないとき、電子署名の検証が成功した参加者の画像622の厚みの部分が見えるため副画面を確認しなくても気づくことができるという効果もある。
【0414】
[利用者が知覚する奥行き位置について]
【0415】
本実施の形態において利用者が知覚する奥行き位置は、電子署名の検証が失敗した参加者の画像621を表示する表示部600の表面と、電子署名の検証が成功した参加者の画像622の厚み分、表示部600の表面から飛び出した位置との2つである。
【0416】
[Web会議のクライアント認証について]
【0417】
図60は、Web会議のクライアント認証を説明するための図である。図60のWeb会議端末44には3台のWeb会議端末T1からT3がある。これらは、それぞれ離れた場所にあり、ネットワーク30を介してWeb会議サーバ45に接続することで互いに通信が可能になる。ここで、Web会議端末T1を自身の端末、Web会議端末T2とT3とを相手側の他の参加者の端末とする。Web会議端末T1がWeb会議サーバ45にSSL/TLSで通信するとき、Web会議サーバ45から受信した表示オブジェクトはWeb会議サーバ45で作成したものであり、それが改竄されていないことを確認する電子署名の検証をすることができる。具体的には、SSL/TLSのハンドシェイクが成功して、以降の通信の受信及び復号化においてエラー又は中断が無く、データの正当性をチェックするチェックコードが一致すれば電子署名の検証が成功であり、そうでなければ失敗である。
【0418】
ところで、Web会議で利用者が見る表示オブジェクトは、他の参加者の画像である。これは他の参加者のWeb会議端末T2又はT3で撮影したものである。それを、Web会議サーバ45を経由して受信したとき、Web会議サーバ45から受信した表示オブジェクトの電子署名の検証が成功しても、その表示オブジェクトに含まれている画像が、他の参加者のWeb会議端末T2又はT3で撮影した画像であることは確認できていない。
【0419】
そこで、Web会議端末T2又はT3がWeb会議サーバ45にハンドシェイクを要求したとき、Web会議サーバ45はクライアント認証を要求するのである。そうすれば、以降の通信でWeb会議サーバ45はWeb会議端末T2又はT3から受信した表示オブジェクトの電子署名を検証することが可能になる。Web会議端末T2又はT3から受信した表示オブジェクトをWeb会議サーバ45が一つの表示オブジェクトに編集するとき電子署名の検証結果のデータも付加しておくことで、それを受信した自身のWeb会議端末T1で、個々の表示オブジェクトが、それぞれWeb会議端末T2又はT3で撮影した画像であり、改竄されていないことが間接的に確認できる。図60のクライアント認証46はWeb会議端末T2に対するWeb会議サーバ45のクライアント認証が成功していることを示し、サーバ認証47はWeb会議サーバ45に対するWeb会議端末T1のサーバ認証が成功していることを示している。よって、Web会議端末T2から受信した表示オブジェクトは電子署名の検証が成功するが、Web会議端末T3から受信した表示オブジェクトは電子署名の検証が失敗するのである。
【0420】
[PC本体の起動]
【0421】
図55のブロック図に戻ってPC本体15の起動について説明する。
【0422】
PC本体の起動は第1の実施の形態の[PC本体の起動]と同様であるが、オペレーティングシステムは、カメラユニット603から画像を入力するドライバ、及び、USBマイクスピーカ604に音声の入出力をさせるドライバを含んでいる。
【0423】
PC本体15の起動が完了し、利用者が操作部14を使ってWeb会議を始める操作をする。PC本体15は、補助記憶部16に記憶しているWeb会議のアプリケーションプログラムを記憶部12に読み出して実行する。Web会議のアプリケーションプログラムによりPC本体15は、通信部13からネットワーク30を介してWeb会議サーバ45にWeb会議への接続を要求する。Web会議サーバ45はネットワーク30を介してPC本体15にWeb会議の現在の参加者の画像を送信する。
【0424】
[第6の実施の形態に係るプログラム]
【0425】
図61は第6の実施の形態に係るプログラムのフローチャートである。このプログラムは情報機器(PC本体15)に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムである。また、情報機器(PC本体15)が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法は、このプログラムの各ステップを情報機器(PC本体15)が実行することを特徴としている。
【0426】
このプログラムは具体的には、図55に記載のPC本体15の補助記憶部16に記憶しているWeb会議のアプリケーションプログラムの一部である。Web会議のアプリケーションプログラムには、Web会議サーバ45に接続するための接続処理、参加者の画像の入出力をするための画像送受信処理、参加者の音声の入出力をするための音声送受信処理、及び、資料を共有するための資料共有処理があるが、Web会議は公知・公用の技術であるので、本実施の形態では、参加者の画像の入出力をするための画像送受信処理のうち、Web会議サーバ45からネットワーク30を介して受信した相手側の参加者の画像を表示するプログラムを説明する。
【0427】
PC本体15の処理部11は、先に説明した、Web会議への接続の要求をして、表示オブジェクトを受信する状態になると、このプログラムを実行する。
【0428】
{Web会議の参加者の画像を受信して表示する}
【0429】
図61のフローチャートを参照してWeb会議の相手側の参加者の画像を受信して表示する例を説明する。
【0430】
ステップ651は通信部13がWeb会議サーバ45からSSL/TLSハンドシェイク要求の応答を受信するのを待つ。
【0431】
ステップ652は通信部13がSSL/TLSハンドシェイク要求の応答を受信したのか否かを判断する。SSL/TLSハンドシェイク要求の応答を受信したのでなければプログラムを終了する。
【0432】
ステップ653はSSL/TLSのハンドシェイクの処理を実行する。詳細は第2の実施の形態で説明したのと同様である。
【0433】
ステップ654はSSL/TLSハンドシェイクが成功したか否かを判断する。SSL/TLSのハンドシェイクが失敗したならばプログラムを終了する。
【0434】
ステップ655はWeb会議サーバ45から表示オブジェクトである相手側の参加者の画像を受信及び復号化して記憶部12に記憶させる処理を実行する。
【0435】
ステップ656はステップ655の受信の処理が成功したか否かを判断する。受信が失敗したならばプログラムを終了する。
【0436】
ステップ657は会議終了か否かを判断する。会議終了とは、Web会議サーバ45から受信した表示オブジェクトの相手側の参加者が全員退席した、会議終了を示すデータを受信した、利用者が操作部14を使って退席の操作をした等により発生する。会議終了ならばプログラムを終了する。
【0437】
ステップ658はカメラユニット603で撮影した利用者の画像を顔認識部602で顔認識とステレオマッチング処理して利用者の視点の位置を測定する。
【0438】
ステップ659はWeb会議サーバ45から受信した表示オブジェクトの相手側の参加者の画像の電子署名の検証結果のデータと利用者の位置のデータとを基に図59で例示した運動視差の画像データを生成する。
【0439】
ステップ660は生成した運動視差の画像データを表示サブシステム601に転送して、表示部600で表示させる。
【0440】
ステップ661はタイマをリセットする。このタイマはステップ663でタイムアウトを判定するためのタイマである。
【0441】
ステップ662はWeb会議サーバ45から通信部13に表示オブジェクトの受信があるか否かを判断する。受信があるならばステップ655に戻り表示オブジェクトである相手側の参加者の画像を受信及び復号化して記憶部12に記憶させる処理を実行する。このループを繰り返すことで相手側の参加者の画像を動画として再生できる。
【0442】
ステップ663はタイムアウトを判定する。このタイムアウトは、Web会議サーバ45からの受信が無い状態が続いても運動視差のための画像データの更新をするものである。タイムアウトならばステップ658に戻る。タイムアウトの時間は、30ミリ秒から300ミリ秒辺りが適当であるが、Web会議サーバ45から受信する表示オブジェクトの標準的なフレームレートよりは長い時間を設定しないとWeb会議サーバ45からの受信の邪魔をすることは自明である。
【0443】
上記説明で明らかなように、第6の実施の形態に係るプログラムは、表示オブジェクトの電子署名の検証結果に応じて、検証が失敗したならば表示部600の表面に、検証が成功したならば表示部600の表面から電子署名の検証が成功した参加者の画像622の厚み分飛び出した位置に振り分けて表示オブジェクト(参加者の画像)を表示するステップをPC本体15に実行させる。そして、利用者は、表示オブジェクトが、どちらの位置に表示されているかを見て表示オブジェクトの電子署名の検証結果を知ることができる。
【0444】
[検証結果の偽装の防止について]
【0445】
表示部600は、通常の2次元画像を表示可能な表示部であり、両眼視差、焦点調節、輻輳による奥行きを知覚させる機能は無い。また、運動視差による奥行きを知覚させるための利用者の視点の位置のデータをネットワーク30に送信することはない。よって、他の機器から受信した表示オブジェクトの視覚的効果で電子署名の検証結果を偽装することはできない。
【0446】
以上、第6の実施の形態は、Web会議端末で運動視差による奥行き知覚が可能な表示部を使用すると効果的である例を説明した。また、Web会議サーバ45を経由した相手側のWeb会議端末が撮影した画像の電子署名をSSL/TLSのクライアント認証を使って間接的に検証する例を説明した。
【0447】
<まとめ>
【0448】
以上説明したように、本発明を適用した情報機器は、表示オブジェクトと表示オブジェクトの電子署名の検証結果とを、表示部の複数の異なった奥行き位置に当該表示オブジェクトを知覚させることで利用者に示す。これにより、電子署名の検証結果を偽装して利用者を騙す攻撃が困難になり、ネットワークを利用する環境の安全性と利便性を向上させることができる。
【0449】
本発明は、従来、臨場感を増すためのみに使われてきた奥行き知覚を電子署名の検証結果の表示に用いること、また、本発明を適用した情報機器に対する、さらなる攻撃の可能性を調査した結果及び対策を示したことを特徴としている。
【0450】
なお、上記、各実施の形態はあらゆる点で単なる例示である。よって、本発明は上記の実施の形態に何等限定されるものではなく、特許請求の範囲に記載された技術的思想の範疇内において変形や変更が可能である。例えば、第1の実施の形態のPC本体15は、その起動にあたって、ブートストラッププログラムを実行することにより、補助記憶部16のHDDからオペレーティングシステムのプログラムを読み出して実行するが、これを、信頼するサーバからネットワーク30を介してオペレーティングシステムのプログラムを受信して実行するネットワークブート方式に変更することが可能である。また、第3の実施の形態では本発明を電子広告看板42に適用した例を示したが、電子広告を表示する表示部と音声再生機能を有し、かつ、ネットワークに接続した自動販売機に適用することも可能である。
【符号の説明】
【0451】
11 処理部
12 記憶部
13 通信部
14 操作部
15 PC本体
16 補助記憶部
17 USBインターフェイス
30 ネットワーク
31 情報機器
36 メールサーバ
37 Webサーバ
38 広告配信サーバ
39 アップデートサーバ
40 パーソナルコンピュータ
41 携帯電話機
42 電子広告看板
43 デジタルデスク
44 Web会議端末
70 利用者
100 多重奥行き表示部
200 液晶表示部
203 液晶シャッター眼鏡
300 多眼式立体画像表示部
400 立体画像表示部
500 浮遊画像表示部
600 表示部

【特許請求の範囲】
【請求項1】
ネットワークに接続可能な通信部と、
利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、
処理部と、
記憶部と
を備えた情報機器であって、
前記通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、
当該表示オブジェクトの電子署名を検証するステップを実行し、
前記電子署名の検証結果に応じて前記表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示するステップを実行する構成を有することを特徴とする情報機器。
【請求項2】
ネットワークに接続可能な通信部と、
利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、
処理部と、
記憶部と
を備えた情報機器に表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラムであって、
前記通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、
当該表示オブジェクトの電子署名を検証するステップと、
前記電子署名の検証結果に応じて前記表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示することで、当該表示オブジェクトと当該表示オブジェクトの電子署名の検証結果とを表示するステップと
を前記情報機器に実行させるためのプログラム。
【請求項3】
ネットワークに接続可能な通信部と、
利用者から見て複数の異なった奥行き位置に表示オブジェクトを知覚させることが可能な表示部と、
処理部と、
記憶部と
を備えた情報機器が表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示する方法であって、
前記通信部がネットワークを介して他の機器から表示オブジェクトを受信したときに、
当該表示オブジェクトの電子署名を検証するステップと、
前記電子署名の検証結果に応じて前記表示部の複数の異なった奥行き位置に振り分けて当該表示オブジェクトを表示することで、当該表示オブジェクトと当該表示オブジェクトの電子署名の検証結果とを表示するステップと
を前記情報機器が実行することを特徴とする方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図59】
image rotate

【図60】
image rotate

【図61】
image rotate

【図9】
image rotate

【図10】
image rotate

【図24】
image rotate

【図25】
image rotate

【図34】
image rotate


【公開番号】特開2012−109960(P2012−109960A)
【公開日】平成24年6月7日(2012.6.7)
【国際特許分類】
【公開請求】
【出願番号】特願2011−238615(P2011−238615)
【出願日】平成23年10月31日(2011.10.31)
【特許番号】特許第4910076号(P4910076)
【特許公報発行日】平成24年4月4日(2012.4.4)
【出願人】(594193313)
【Fターム(参考)】