説明

画像表示装置、画像表示方法、および画像表示用プログラム

【課題】仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供する。
【解決手段】画像を所定のカテゴリーに分類する画像分類部8と、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示する表示部5と、前記仮想空間内で前記アバターを移動させるためのアバター制御部と、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させる表示制御部1とを備える画像表示装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置、画像表示方法および画像表示用プログラムに関し、詳しくは、現実の空間を模した仮想空間にて、そこに画像を展示するに適した画像表示装置、画像表示方法、および画像表示用プログラムに関する。
【背景技術】
【0002】
コンピュータグラフィック技術が発展し、コンピュータやグラフィックエンジンの処理速度が高速化してきていることにより、3D空間での表示が容易になってきている。また、近年、ネットワークを通じて、コンピュータグラフィックで作られた仮想空間に、アクセス可能とするサービスが普及してきている。このような仮想空間は、従来のネットワークを通じて行うデータアクセスとは異なり、フレンドリーなユーザーインターフェースにて、ユーザーをネットの向こうの世界に誘うのに効果を発揮している。
【0003】
この仮想空間においては、リアルな空間と同様の疑似体験が可能であり、また、これまでのネットワークを通じて提供されるサービスのうち、比較的単純なデータストアを置き換えるとしても、その空間特性を活かしたテーマ分類等も可能である。このような仮想空間を利用する技術は、種々提案されている。
【0004】
例えば、特許文献1には、仮想空間内において、ビルの上にビルの名前などのアノテーション(注釈)を合成表示するようにし、体験者の位置によって表示方法を切り換えるようにした画像生成装置が開示されている。
【特許文献1】特開2005−174024号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
このように特許文献1の画像生成装置によれば、体験者の位置によって表示位置を切り換えることから、常に最適な位置にアノテーションを表示することができる。しかし、この画像生成装置には、仮想空間のどこに行けばどの画像を見ることができるか、また、ユーザーにとって分かりやすい展示や、プライバシーの保護対策については、触れられていない。さらに、撮影した画像を極力有効利用して、表示画面の雰囲気を豊かにするような提案もなかった。
【0006】
仮想空間では、空間特性を活かした活用が望ましく、リアルな空間に類似させることのできる特性を極力活かして、表示画面の豊かさを増し、なおかつ仮想世界ならではの工夫を行うことが必要である。例えば、仮想空間では、主に利用者は、アバターの姿を借りて空間内を移動するが、このアバターと画像の大きさの関係などは、仮想空間での特有の問題である。
【0007】
前述の特許文献1に開示された画像生成装置では、仮想空間を利用して画像展示する展示者が、仮想空間で見ることができるようにしたコンテンツを、仮想空間上で違和感のない表示方法、言い換えると、現実空間にあるようなアイテムを利用して、展示することは何ら考慮されていなかった。このため、仮想空間を訪れた訪問者が不自然さを感じることなく、様々な画像を楽しむことができなかった。
【0008】
本発明は、このような事情を鑑みてなされたものであり、仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
前記目的を達成するため第1の発明に係わる画像表示装置は、画像を所定のカテゴリーに分類する画像分類部と、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示する表示部と、前記仮想空間内で前記アバターを移動させるためのアバター制御部と、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させる表示制御部と、を備える。
【0010】
第2の発明に係わる画像表示装置は、前記第1の発明において、前記表示制御部は、前記アバターが前記画像に近づくと前記画像を拡大して表示する。
【0011】
第3の発明に係わる画像表示装置は、前記第1の発明において、前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じて前記仮想空間内の所定位置に配置する機能を有するものである。
【0012】
第4の発明に係わる画像表示装置は、前記第1の発明において、前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示する機能を有する。
【0013】
第5の発明に係わる画像表示装置は、前記第4の発明において、前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類するものであり、前記表示制御部は、前記画像がプライベートな画像に属する画像を表示するときはそれ以外の画像を表示するときに比べ大きく表示する。
【0014】
第6の発明に係わる画像表示方法は、画像を所定のカテゴリーに分類するステップと、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示するステップと、前記仮想空間内で前記アバターを移動させるステップと、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させるステップと、を備える。
【0015】
第7の発明に係わる画像表示用プログラムは、画像を所定のカテゴリーに分類するステップと、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示するステップと、前記仮想空間内で前記アバターを移動させるステップと、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させるステップと、をコンピュータに実行させる。
【0016】
第8の発明に係わる画像表示装置は、所定のカテゴリーに分類した分類情報と共に画像を記憶する画像記憶部と、前記画像を仮想空間内に表示する画像表示部と、仮想空間内でアバターを移動させるためのアバター制御部と、前記画像と前記アバターとの相対的な位置関係に応じ、かつ前記画像の分類情報に基づいて前記画像の表示態様を変化させる表示制御部と、を備える。
【0017】
第9の発明に係わる画像表示装置は、前記第8の発明において、前記表示制御部は、前記アバターが前記画像に近づくと前記画像を拡大して表示する。
【0018】
第10の発明に係わる画像表示装置は、前記第8の発明において、前記表示制御部は、さらに、前記画像を前記分類情報に応じて前記仮想空間内の所定位置に配置する機能を有する。
【0019】
第11の発明に係わる画像表示装置は、前記第8の発明において、前記表示制御部は、さらに、前記画像を前記分類に応じた大きさで前記仮想空間内に表示する機能を有する。
【0020】
第12の発明に係わる画像表示装置は、前記第8の発明において、前記分類情報は、前記画像がプライベート画像であるか、ノン・プライベート画像であるかの情報を含む。
【0021】
第13の発明に係わる画像表示用プログラムは、所定のカテゴリーに分類した分類情報と共に画像を記憶するステップと、前記画像を仮想空間内に表示するステップと、仮想空間内でアバターを移動させるステップと、前記画像と前記アバターとの相対的な位置関係に応じ、かつ前記画像の分類情報に基づいて前記画像の表示態様を変化させるステップと、をコンピュータに実行させる。
【0022】
第14の発明に係わる撮像装置は、被写体の画像を取得する撮像部と、日時情報と位置情報を取得する情報取得部と、前記画像と共に撮像時の日時情報と位置情報を記録する画像記録部と、この日時情報と位置情報を周期的に取得し、これらの情報に基づいて、プライベートの経路で撮影した画像か、ノンプライベートの経路で撮影した画像かを分類する画像分類部と、を備え、前記画像記録部に前記画像と共に前記画像分類部による分類結果を記録する。
【0023】
第15の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の背景中に合成表示する画像合成表示装置において、前記仮想空間中において、前記アバター像と前記鑑賞画像の相対的距離に応じて、前記鑑賞画像が小さいままで前記アバターの影に隠れる第1表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第2表示モードのいずれかで表示する画像合成表示部と、を備える。
【0024】
第16の発明に係わる画像合成表示装置は、前記第15の発明において、前記鑑賞画像には、分類情報が添付されており、前記画像合成表示部は、前記分類情報に基づいて、前記第1表示モードで表示されるか、前記第2表示モードで表示されるかを決定する
第17の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の背景中に合成表示する画像合成表示装置において、前記仮想空間中において、前記アバター像と前記鑑賞画像が相対的に近づくと、前記鑑賞画像が画像再生される第1の表示モードと、前記アバター像がさらに近づいても前記鑑賞画像が小さいままで前記アバター像に隠れる第2の表示モードと、前記鑑賞画像が拡大され、前記アバター像よりも大きく表示される第3の表示モードのうちの少なくとも2つの表示モードを、前記鑑賞画像の前記仮想空間の室内の位置に応じて、切り替える画像合成切替表示部と、を備える。
【0025】
第18の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の展示用の室内の背景中に合成表示する画像合成表示装置において、前記室内に入るための入り口部と、前記仮想空間中において、前記アバター像と前記鑑賞画像との相対的距離に応じて、前記鑑賞画像が小さいままで前記アバターの影に隠れる第1表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第2表示モードのいずれかで表示する画像合成表示部と、を有し、前記画像合成表示部は、前記第1表示モードとなる画像は、前記入り口部から見えない位置に配置する。
【0026】
第19の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の展示用の室内の背景中に合成表示する画像合成表示装置において、前記室内に入るための入り口部と、前記仮想空間中において、前記アバター像と前記鑑賞画像との相対的距離に応じて、前記鑑賞画像が画像再生される第1の表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第2表示モードのいずれかで表示する画像合成表示部と、を有し、前記画像合成表示部は、前記第1表示モードとなる画像は、前記入り口部から見えない位置に配置する。
【発明の効果】
【0027】
本発明によれば、仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供することができる。
【発明を実施するための最良の形態】
【0028】
以下、図面に従って本発明を適用したデジタルカメラとサーバーとからなるシステムを用いて好ましい一実施形態について説明する。本実施形態におけるデジタルカメラは、レリーズ釦の操作に応じて静止画の画像データを取得し、これを記録媒体に記録する。写真の画像データの記録にあたって、撮影日時や撮影位置を記録媒体に付随情報として併せて記録する。ここで記録された情報を基にして、プライベート画像かノン・プライベート画像か等の画像分類を行う。仮想空間での展示にあたっては、画像分類の結果や、訪問者とプライベート画像の相対位置関係に応じて、画像の拡大率や、画像の配置位置、あるいはアバターの位置等の表示態様を変化させている。本実施形態においては、撮影した写真を有効に点在させて、この空間をカスタマイズすることにより雰囲気を高めている。また、ユーザーが、仮想空間のどこにどの画像があるかを直感的に判断でき、また、プライバシーにも留意した画像展示を行っている。
【0029】
図1は本発明の一実施形態に係わるカメラとサーバーからなるシステムの構成を示すブロック図であり、カメラ10は被写体を撮影し、画像を取得するデジタルカメラである。
カメラ10は、制御部1、行動記録部1a、撮影部2、画像記録部3、顔検出部4、年齢推定部4a、表示部5、通信部5、位置判定部6、時計部7、画像分類部8、仮想空間データ部9、通信部9aを有している。
【0030】
制御部1は、CPU(Central Processing Unit)等によって構成され、このカメラ10の各部と接続され、全体制御を行う。行動記録部1aは、カメラ10を携帯するユーザーの行動を判定して記録する。この判定にあたっては、時計部7が出力する日時情報、および位置判定部6が出力する位置情報に基づいて行う。
【0031】
撮影部2は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。
顔検出部4は、撮影部2から出力される画像信号を入力し、この画像信号に基づいて画面内に人物の顔の部分があるか否かを判定し、判定結果を年齢推定部4aに出力する。年齢推定部4aは、顔検出部4によって検出された顔の画像に基づいて、写っている人物が大人か子供か等、人物の年齢を推定する。なお、顔検出部4における顔検出結果は、年齢推定部4aを通じて、制御部1に伝えられる。
【0032】
画像記録部3は、撮影部2から出力される画像信号に基づいて静止画の画像データを記録する。表示部5は、画像記録部3に記録された画像データに基づいて画像を表示する。
また、表示部5は、通信部9aを通じて仮想空間コミュニティサーバー21にアクセスし、仮想空間の画像を表示する。
【0033】
画像分類部8は、画像記録部3に記録されている画像の分類を行う。分類にあたっては、顔検出部4によって人物の顔が含まれるか否か等によって行う。位置判定部6は、GPS(Global Positioning System:全地球測位システム)等の位置測定機能を有し、撮影位置情報を取得し、画像データと共に画像記録部3に記録される。また、時計部7は、時計機能を有しており、日時情報を出力し、撮影日時(撮影時間とも称す)情報は、画像データと共に画像記録部3に記録される。
【0034】
仮想空間データ部9は、仮想空間を形成するためのデータの記憶部である。仮想空間に関するデータは、仮想空間コミュニティサーバー21より送られてくるが、この仮想空間データ部9に、仮想空間の背景やアバター表示用の画像データを記憶する。仮想空間コミュニティサーバー21との通信のたびに、背景等の画像データを受信すると、通信時間による遅延が発生してしまうことから、仮想空間データ部9に背景等の画像データを記憶し、不要な通信を行わないようにしている。
【0035】
通信部9aは、インターネット20を介して仮想空間コミュニティサーバー21と通信を行う。通信は、無線通信や赤外通信等によってネットワークに接続する。なお、赤外通信ではネットワークに直接接続することができないので、携帯電話やPC等の外部機器を介して通信する。
【0036】
仮想空間コミュニティサーバー21は、仮想空間を提供するものによって運営されているサーバーであり、カメラ10のほか、パーソナルコンピュータや携帯電話等から、インターネット20を通じてアクセス可能である。
【0037】
次に、本実施形態においてユーザーが撮影した画像を自動的に分類する画像分類について図2乃至図4を用いて説明する。本実施形態においては、通勤・通学における職場・学校での撮影画像は、ノン・プライベート画像であり、一方、通勤・通学から外れたルートでの撮影画像は、プライベート画像であると分類する。
【0038】
図2は自宅25と職場26との位置関係を示す地図である。例えば、自宅25と職場26の通勤の際に、カメラ10を常に持ち歩いているとする。この場合には、カメラ10に内蔵の位置判定部6や時計部7によって、時刻と位置を判定することができる。また、カメラ10に内蔵する加速度センサ(不図示)の出力と、時計部7によって出力される時刻情報に基づいて、カメラ10のユーザーの生活リズムを検出するようにしても良い。
【0039】
ユーザーの生活リズムとして、時刻と自宅25からの移動距離をグラフ化すると、図3のようになる。ここで自宅25か否かの判定は、自宅25に居る際に手動で設定してもよいが、夜中に居た場所を自宅25と判定すればよい。なお、自宅からの移動の様子は、二次元で表示すべきであるが、図3においては一次元で表示している。
【0040】
図3において、実線31は、プラスマイナス1時間程度の差で、朝と夜に移動していることから、通勤・通学のパターンと判断することができる。すなわち、実線部31aは、1時間程度の差で、自宅から通勤先・学校への移動を示しており、実線部31bは、1時間程度の差で、通勤先・学校から自宅への移動を示しており、日々、このような移動を行っていることから通勤・通学のパターンと判断できる。
【0041】
一方、実線31から外れた破線32、33のような行動は、通常の仕事とは別の行動と考えることができる。なお、通勤・通学か否かの判定にあたっては、何日もデータを取って、その結果より平均を求め、そこからの誤差で通常の通勤・通学以外と判定してもよい。
【0042】
また、図4に示すように、撮影画像を整理することによっても、画像を分類することができる。つまり、撮影の時刻や密集度、さらに、顔画像のありなしによって、運動会、旅行等、それぞれのイベントの特有の特徴を判定し、画像分類が可能である。ここで、運動会は、主に午前中に密集して顔画像のある画像を多数撮影するが、旅行では、風景画像が増加し、しかも密集度合いは運動会より少ないことから、判定できる。
【0043】
以上説明した画像分類の考え方に沿って撮影画像の分類の動作について、図5を用いて説明する。この撮影画像の分類動作は、カメラ10によって実行される。この分類制御のフローに入ると、まず、ステップS51〜S54において、カメラ10を持ち歩くユーザーの行動を判定し、明確な生活リズムが得られた時点で通勤・通学の判定を行う。
【0044】
まず、所定時間間隔であるかを判定する(S51)。すなわち、この行動判定は、時計部7による日時情報に基づいて、所定時間間隔で行われる。所定時間経過したことを判定すると、次に、移動検出と場所判定を行う(S52)。このステップでは、位置判定部6によって現在の検出を行い、時計部7から現在の日時情報を得る。続いて、時間と位置の関係を記録する(S53)。ここでは、ステップS52において検出判定された位置情報と、そのときの日時情報をペアにして画像記録部3等の記録部に記録する。
【0045】
次に、判定可能か否かを判断する(S54)。図3、図4を用いて説明したように、日常的な通勤・通学における移動(つまり実線31での移動)か、それ以外移動(破線32、33での移動)を判定できるだけの情報が集まったか、あるいは明確な生活リズムが得られた時点であるか否かの判定を行う。
【0046】
ステップS54における判定の結果、判定可能でなかった場合には、ステップS51に戻り、前述のステップを繰り返す。一方、判定の結果、判定可能であった場合には、通勤・通学場所判定を行う(S55)。このステップでは、ステップS53において記録された日時情報および位置情報に基づいて、通勤・通学場所と判定するための時間帯や自宅基準での位置等の情報を決定する。
【0047】
続いて、ステップS55の通勤通学場所判定に基づいて、画像記録部3に記録されている撮影画像の中に通勤・通学場所での写真があるか否かの判定を行う(S56)。この判定の結果、通勤・通学場所での撮影画像がなかった場合には、ステップS51に戻り、前述のステップを繰り返す。
【0048】
一方、ステップS56における判定の結果、通勤・通学場所写真があった場合には、その撮影画像の中に人物の顔が検出されるか否かの判定を行う(S57)。このステップでは、顔検出部4によって人物の顔が検出されるか否かを判定する。この判定の結果、顔が検出された場合には、この画像をプライベート以外(ノン・プライベート)の人物の顔画像として記録する(S58)。
【0049】
すなわち、ステップS58においては、通勤・通学の途上、および、職場・学校で撮影した画像は、プライベートな写真ではないと判断し、このとき検出された人物の顔はノン・プライベート人物として記録される。この時、子供の顔などは、年齢推定部4aによる年齢判定で除外するようにしてもよい。つまり、ここで記録されたデータに基づき、ノン・プライベートとされた人以外の人が家族などプライベートな関係の人であると推測できる。
【0050】
職場近くの仕事帰りの飲み会なども、通常パターン(図3における実線31参照)の生活リズムに該当していると考え、この中に含むようにする。これは、図4に示すような考え方に従ってパーティ判定を行い、通勤の帰りの時間近くの人物の多い密集写真は、ノン・プライベートと判定すればよい。
【0051】
続いて、未分類画像があるか否かの判定を行う(S61)。このステップでは、画像記録部3に記録されている撮影画像の中で、プライベート画像、ノン・プライベート画像、旅行、風景画像等に分類されていない未分類の画像が有るか否かの判定を行う。このステップにおける判定の結果、未分類画像がなかった場合には、元のフローにリターンする。
【0052】
一方、ステップS61における判定の結果、未分類画像が有った場合には、その未分類画像に人物の顔画像が有るか否かの判定を行う(S62)。このステップにおける判定は、顔検出部4によって行う。この判定の結果、顔画像が有った場合には、次に、その顔がノン・プライベート人物か否かの判定を行う(S63)。前述したように、ステップS58において、ノン・プライベート人物判定を行っているので、このときの判定を利用して行う。
【0053】
ステップS63における判定の結果、ノン・プライベート人物であった場合には、すなわち、家族等のプライベート人物であった場合には、ステップS74にジャンプする。一方、ステップS63における判定の結果、ノン・プライベート人物でなかった場合には、プライベート画像と判定する(S64)。そして、正面向き人物の多い写真を家族写真と判定する(S65)。このステップでは、プライベート画像と判定された複数の写真の中から、正面向きの人物が最も多い写真を検索し、この写真を家族写真とする。なお、この家族写真判定にあたっては、年齢判定を行い、子供が含まれることを条件にしてもよい。
【0054】
ステップS62における判定の結果、顔画像がなかった場合には、その画像が通勤・通学の場所で撮影したものか否かの判定を行う(S71)。このステップでは、撮影画像ごとに撮影位置情報と撮影日時情報が記録されており、また、ステップS55において、通勤・通学を判定するための情報が求められているので、この判定情報を用いて判定する。
【0055】
ステップS71における判定の結果、その画像が通勤・通学の場所で撮影したものであった場合には、ステップS74にジャンプする。一方、この判定の結果、通勤・通学の場所以外で撮影されていた場合には、その写真が旅行か否かの判定を行う(S71)。この判定は、図4に示すように、一群の撮影画像が日をまたいて撮影がなされており、また、人物以外の写真も多い場合に旅行と判定する。
【0056】
ステップS72における判定の結果、旅行でなかった場合には、ステップS74にジャンプする。一方、この判定の結果、旅行であった場合には、その画像は、風景画像と判定する(S73)。
【0057】
前述したステップS65で家族写真判定を行うと、また、ステップS73において風景画像判定を行うと、または、前述したステップにおいて、ステップS74にジャンプと判定されると、それぞれの判定結果を画像と関連付けて、画像記録部3に記録する(S74)。この記録を行うと、元のフローに戻る。
【0058】
このように、本実施形態の分類制御のフローにおいては、顔画像を含む写真を随時判定し、ノン・プライベート人物の顔があればノン・プライベート画像、なければプライベート画像と判定する。すなわち、未分類画像で顔画像があれば(S61、S62→S63)、先のノン・プライベート人物と比較して、プライベート画像とする(S64)。さらに、正面向きの人物が並んだ画像は、家族写真と判定する。
【0059】
また、顔画像のない画像は風景画像と考えることが出来るが、通勤・通学場所での、黒板、白板の写真や資料の写真等を風景画像と誤って判定しないように、通勤・通学場所での画像は風景画像と判定していない(S71)。また、自宅周辺の風景より、旅先の風景の方が好ましいので、図4に示すような方法で、旅行中の画像かどうかを判定し、その結果によって、風景画像としている(S72→73)。
【0060】
次に、図6および図7に示すフローチャートを用いて、カメラ10の動作について説明する。カメラ制御のフローに入ると、まず、カメラ10が撮影モードに設定されているか否かの判定を行う(S1)。このカメラ10は、撮影モードや再生モードが撮影者によって設定可能である。ステップS1における判定の結果、撮影モードが選択されていた場合には、レリーズか否かの判定を行う(S2)。このレリーズか否かの判定は、レリーズ釦が全押し操作されたか否かを検出することによって行う。
【0061】
ステップS2における判定の結果、レリーズでなかった場合には、ステップS1に戻る。一方、判定の結果、レリーズであった場合には、撮像動作を行う(S3)。撮影動作は、撮影部2において、被写体像の静止画の画像データを取得し、この画像データを画像記録部3に記録する。また画像データの記録にあたって、時計部7で取得した撮影日時情報、および位置判定部6で取得した撮影位置情報も併せて記録する(S4)。撮影動作が終わるとリターンし、ステップS1から実行する。
【0062】
ステップS1における判定の結果、撮影モードが選択されていなかった場合には、手動分類を行うか否かの判定を行う(S31)。後述するように、ステップS35において、画像の分類制御を自動で行うが、本実施形態においては、自動で行う以外にもユーザーが自らの判断で画像の手動分類を行うことができるようにしている。このステップでは、カメラ10の図示しない操作部材の操作状態に基づいて判定する。
【0063】
ステップS31における判定の結果、手動分類を行う場合には、画像分類操作を行う(S32)。このステップでは、表示部5に撮影画像を再生させ、それぞれの撮影画像に対して、ユーザーがプライベート画像、ノン・プライベート画像、家族写真等、種々の分類操作を行う。続いて、画像に分類情報を付加する(S33)。すなわち、ステップS32における分類操作に応じた分類情報を付加し、この情報を画像に付随して記録する。分類情報の付加を行うと、リターンし、ステップS1から再び実行する。
【0064】
ステップS31における判定の結果、手動分類でなかった場合には、再生モードが選択され再生開始を行うか否かの判定を行う(S11)。この判定の結果、再生開始でなかった場合には、次に、図5に示した分類制御のサブルーチンを実行する(S35)。この分類制御のサブルーチンでは、前述したように、写真が顔画像を含むか否かを判定し、ノン・プライベート人物の顔があればノン・プライベート画像、なければプライベート画像と判定する。分類制御のサブルーチンが終わると、ステップS1に戻る。なお、分類制御のサブルーチンでは、ステップS56、S54においてステップS51に戻り、繰り返し実行するような場合でも、所定時間間隔でメインフローにリターンする。
【0065】
ステップS11における判定の結果、再生開始であった場合には、仮想空間表示を行う(S12)。すなわち、通信部9a、インターネット20を通じて仮想空間コミュニティサーバー21にアクセスし、仮想空間のデータを取り込み、これを表示部5に表示する。
ここで、背景画像や次のステップで表示するアバターの画像データについては、仮想空間データ部9に一時記憶し、ここから、アバターが移動して背景画像が変化しない限り、仮想空間データ部9から画像データを読み出すことにより、通信に時間がかからないようにしている。なお、分類情報の添付された撮影画像は、仮想空間コミュニティサーバー21の画像記録部に記録されており、ここでは記録のステップを省略して説明する。
【0066】
続いて、アバターの表示を行う(S13)。アバターは自分の分身となるキャラクターであり、ユーザーやユーザー以外のキャラクターである。その他、仮想空間内でのサービスを行うキャラクターもいる。このステップでは、仮想空間内に訪問者のアバター51(図8参照)を表示させる。
【0067】
続いて、額縁41に最新風景写真の表示を行う(S14)。このステップでは、仮想空間内におけるユーザーの展示スペースに、ステップS73で判定した風景画像の中から最新の風景写真を選択し額縁41に嵌め込み展示する(図8参照)。ここでは、一般の方にも見られてもよく、プライバシーや仕事上の機密のない風景画像を、大きな額縁41に入れて展示する。これによって、仮想空間の雰囲気を豊かにし、風景画像を見るものが癒される。
【0068】
次に、写真立て42に最新の家族写真を表示する(S15)。このステップでは、ステップS65において判定された家族写真を選択し展示する。家族写真はプライベートなので、直ぐには見えない大きさで展示する。続いて、仮想空間内のファイル43にノン・プライベート画像を格納する(S16)。すなわち、ノン・プライベート画像は直接見えるところに表示せず、ファイルの中に入れて見えないようにする。このファイルの置き場としては、最初に仮想空間に入った状態(図8(a)参照)では、目につきにくい場所に位置に配置する(図8(b)のファイル43の位置)。
【0069】
この状態で、次に、アバター操作がなされてか否かの判定を行う(S17)。このステップでは、カメラ10の背面等に配置された十字キー(不図示)が操作されたかを判定する。判定がなされるのを待つ待機状態であり、アバター操作がなされると、障害がないか否かの判定を行う(S18)。仮想空間内でアバターを十字キーによる操作方向に移動させる場合、壁やドア等の障害物があるか無いかの判定である。
【0070】
ステップS18における判定の結果、障害物がある場合には、アバター51(図8参照)を移動させることができないので、ステップS17に戻る。一方、この判定の結果、障害物がない場合には、十字キーの操作に従ってアバター51を移動させる(S19)。ここでは、アバター51が移動しているかのように、背景が変化する。
【0071】
続いて、アバター51がファイル43に近づいているか否かの判定を行う(S20)。
この判定の結果、ファイル43に近づいていた場合には、ファイル43内に格納されているファイル画像が再生表示される(S21)。ファイル画像を開くと、またはステップS20において、ファイル43に近づいていないと判定された場合には、アバター51がファイル43に格納されたファイル画像に近づいているか否かの判定を行う(S22)。
【0072】
ステップ22における判定の結果、アバター51がファイル画像に近づいていた場合には、そのファイル画像を拡大表示する(S23)。この拡大表示としては、拡大対象は異なるが、図10(b)のように拡大する。続いて、アバター51がファイル画像にさらに近づいたかを判定し、その距離が限界距離以上に近づいていた場合には、画像の切替表示を行う(S25)。このステップにおける画像の切替は、次の候補の画像に切り替え、表示する。これによって、仕事に関連する画像も整理でき、大きくして見ることができる。
【0073】
画像の切替を行うと、またはステップS24における判定の結果、限界以上、近づいていなかった場合、またはステップS22においてアバター51がファイル画像に近づいていなかった場合には、アバター51がファイルやファイル画像から遠ざかっているか否かの判定を行う(S26)。すなわち、ステップS21、ステップS23、ステップS25において、開いた画像・ファイルから遠ざかっているか否かの判定を行う。
【0074】
ステップS26における判定の結果、アバター51がファイルやファイル画像から遠ざかっていた場合には、元の状態に戻す(S27)。このステップでは、ステップS21で開いたファイル画像、ステップS23において拡大表示したファイル画像、ステップS25において切り替えた画像について、元の状態に戻す。
【0075】
ステップS27において元に戻すと、またはステップS26における判定の結果、遠ざかっていなかった場合には、終了か否かの判定を行う(S28)。すなわち、ステップS11で開始した再生を終了するか否かについて、カメラ10の操作部材の操作状態を判定する。判定の結果、終了でなかった場合には、ステップS17に戻り、前述のステップを実行し、判定の結果、終了であった場合には、リターンし、ステップS1から再び実行する。
【0076】
次に、カメラ10の再生開始によって表示される仮想空間での配置について、図8ないし図10を用いて説明する。本実施形態において、カメラ10のユーザーが撮影画像を展示する仮想空間は、図8のような配置となっている。図8(a)は訪問者が撮影画像の展示スペースの入り口54(図9参照)に最初に立った際に目にする情景であり、図8(b)は、入り口54から展示スペースの中に入って見たときの情景である。ユーザーの展示スペースには、図8に示すように、額41、写真立て42、ファイル43が配架された書架44、テーブル45等が配置されている。アバター51が矢印53に沿って移動することにより、額縁41や写真立て42の写真を鑑賞することができる。
【0077】
最初に、入り口54から仮想空間に入ったアバター51は、図9に示す視野52の範囲を眺めることができるだけであり、このとき額縁41の写真は良く見える。この写真自体、大きいので、アバター51が額縁41に近づかなくても、これだけで写真鑑賞は可能である。これに近づいてみようとすると、アバター51の動きに合わせて仮想空間内の風景が順次切り替えて表示される。そして、額縁41に近づくと、図10(b)に示すように、拡大表示される。撮影者以外の多くの鑑賞者には、額縁41の写真をみて満足してもらう。
【0078】
写真立て42の家族写真を、近づいて見ようとすると、図10(a)に示すように、アバター51の陰に隠れてしまい、見えにくくなる。このため、家族写真は一定の大きさ以上には表示されず、鑑賞者は雰囲気しか見ることができない。ユーザー自身は、家族の顔は見慣れているし、心の中にある思い出が想起されれば良いことから、それほど大きく表示する必要もない。この空間に家族写真があれば、雰囲気を癒され、飾っているだけで大写しすることは重要ではない。
【0079】
また、どうしても家族写真を大きく表示したい場合には、ステップS31において手動分類を選択し、画像分類操作において大きく表示することを許可するようにしても良い。
この場合には、アバター51が近づいて鑑賞することもできるし、また、距離に応じて大きく表示される。また、ユーザーだけで知っている操作を行うことにより、拡大表示するようにしても良い。
【0080】
次に、外部から携帯電話やパーソナルコンピュータによって仮想空間にアクセスし、この展示室に入室する場合における、サーバー21によって行われる画像の表示制御について、図11に示すフローチャートを用いて説明する。
【0081】
前述した図6のステップS12仮想空間の展示室の背景の画像は、図9に示すようなレイアウトとなっており、アバター51の動きに合わせて、この展示室に入った様子は、図10に示すように、3D表示される。展示室においては、アバター51の大きさと、額縁41や写真立て42の大きさの大小関係は考慮した仮想空間の画像となるように配慮されている。図11に示すサーバー仮想空間表示のフローでは、このような表示を行う。
【0082】
このフローに入ると、ユーザーがマウスや十字キーを操作して部屋(展示室)に入る操作を行っているか否かの判定を行う(S101)。この判定の結果、部屋に入る操作を行っていなかった場合には、ステップS109にジャンプする。一方、この判定の結果、部屋に入る操作を行っていた場合には、前方に額縁41を表示し、手前にアバター51を表示する(S102)。この表示によって、部屋の中に入ったような感じを醸し出すことができる。
【0083】
続いて、アバター51の向きを変える操作を行ったか否かの判定を行う(S103)。
この判定の結果、向きを変える操作を行っていた場合には、向いた方向の部屋の画像を表示する(S104)。すなわち、前方に見える室内の画像に表示を切り替える。この表示の切り替えを行うと、または、ステップS103において向きを変える操作を行っていなかった場合には、アバター51が額縁41、写真立て42、およびファイル43等のアイテムに近づいているか否かの判定を行う(S105)。
【0084】
ステップS105における判定の結果、アイテムに近づいていた場合には、次に、そのアイテムが写真立て42であるか否かの判定を行う(S110)。この判定の結果、写真立て42であった場合には、アバター51を写真立て42に重ねて表示する(S111)。すなわち、図10(a)に示すように、アバター51によって写真立て42に表示されている家族写真等の画像を殆ど見えないように隠す。
【0085】
ステップS110における判定の結果、アイテムが写真立て42でなかった場合には、次に、アイテムがアルバム(ファイル43)であるか否かの判定を行う(S112)。この判定の結果、アイテムがアルバムであった場合には、そのアルバムを開いて表示する(S113)。このアルバムを開くことにより、ファイル内の画像が表示される。
【0086】
ステップS112における判定の結果、アイテムがアルバムでなかった場合には、次に、アイテムが額縁41であるか否かの判定を行う(S114)。この判定の結果、アイテムが額縁41であった場合には、額縁41をアバター51で隠さないように、拡大表示する(S115)。すなわち、図10(b)に示すように、風景写真等の画像を大きく表示し、鑑賞し易くする。
【0087】
ステップS111、S113、S115における各処理を行うと、またはステップS114における判定の結果、アイテムが額縁41でなかった場合、またはステップS105において、アバター51がアイテムに近づいていなかった場合には、アバター51が前進しているか否かの判定を行う(S106)。
【0088】
ステップS106における判定の結果、アバター51が前進していた場合には、前進が可能であるか否かの判定を行う(S107)。このステップでは、アバター51が前進した場合に、部屋の中の壁等にぶつかったりせず、前進が可能であるか否かを判定する。この判定の結果、前進が可能である場合には、前方画面を拡大表示する(S108)。これによって、アバター51が前進している様子を醸し出す。
【0089】
ステップS108において前方画面を拡大し、またはステップS107における判定の結果、前進できないと判定され、またはステップS101における判定の結果、部屋に入る操作を行っていなかった場合には、終了か否かの判定を行う(S109)。すなわち、仮想空間にアクセスしてきたユーザーが終了操作を行ったか否かの判定を行う。この判定の結果、終了でなかった場合には、ステップS101に戻る。一方、判定の結果、終了であった場合には、このサーバー仮想空間表示のフローを終了する。
【0090】
図11に示したサーバー仮想空間表示のフローにおいては、家族写真のようなプライベートな画像は表示されるがよくは見えないように自然かつセキュリティの高い表示を行っている。また、風景写真のように、ノン・プライベートな画像は表示され、かつ近づいていくと更に拡大表示され、鑑賞し易い表示を行っている。
【0091】
このように、本実施形態においては、画像の内容に従って(例えば、プライベート画像か、ノン・プライベートか、風景写真か、家族写真か)、展示場所を変えているので、訪問者は、画像を探しやすく、しかも撮影した画像を有効に配置し、鑑賞画面の豊かさを増しつつ、またプライバシーや機密を考慮して、カメラ内、またはサーバー内に画像を記録させることができる。
【0092】
また、本実施形態においては、画像の内容にしたがって、展示のサイズを変えているので、訪問者は画像を探しやすく、また展示者のプライバシーに配慮した展示とすることができる。さらに、本実施形態においては、画像の内容によって、その画像に近づいた際に拡大表示するようにしているので、画像を間近で見るように鑑賞することができる。
【0093】
さらに、本実施形態においては、撮影画像をプライベート画像とノン・プライベート画像に分類し、これを画像に関連付けて記録している。このため、仮想空間等に展示する際に、この分類に応じた展示が可能となる。従来の仮想空間における撮影画像の展示にあたっては、このような配慮に欠けており、展示者のプライバシーが充分保護されていなかったが、本実施形態においては、この問題も解消することができる。
【0094】
さらに、本実施形態においては、仮想空間中において、アバター51と撮影画像の相対的距離に応じて表示態様を変えている。すなわち、写真立て42に嵌め込まれた家族写真のような鑑賞画像の場合には、アバターが近づいても、サイズは小さいままでアバター51の影に隠れる第1表示モードと、額縁41に嵌め込まれた風景写真のような鑑賞画像の場合には、アバター51が近づくと、アバター51よりも大きく表示される第2表示モードのいずれかで表示される。このように、家族写真のような鑑賞画像と、風景写真のような鑑賞画像とで、それぞれ表示形態を変えることにより、訪問者に不自然さを感じさせることなく、プライバシーを保護することができる。
【0095】
さらに、本実施形態においては、仮想空間中において、アバター51と鑑賞画像との相対的距離が近くなると、前記鑑賞画像が画像再生される第1の表示モードと、アバター51との相対距離がさらに近づくと、家族写真のような鑑賞画像が小さいままでアバター51に隠れる第2の表示モードと、風景写真のような鑑賞画像が拡大され、アバター51よりも大きく表示される第3の表示モードのうちの少なくとも2つの表示モードが切り替えられる。ここで、第2または第3の表示モードに切り替えられるか否かは、鑑賞画像が仮想空間の室内の位置に応じて、例えば、額縁41のように直ぐに見える位置にあるか、写真立て42のように直ぐ見えない位置にあるかに応じて、切り替えられる。このような構成のため、訪問者に不自然さを感じさせることなく、プライバシーを保護することができる。
【0096】
なお、本実施形態においては、カメラ10で仮想空間コミュニティサーバー21にアクセスし、仮想空間を散策し、図8に示すような展示空間を楽しむ例を示したが、仮想空間へのアクセスは、カメラ10に限らず、パーソナルコンピュータや携帯電話等から行っても良く、その場合にも同様に仮想空間を楽しむことができる。この場合には、ステップS11以下を実行するプログラムを格納すれば良い。
【0097】
また、本実施形態においては、カメラ10の再生表示としては、ステップS11以下で、仮想空間にアクセスした状態での表示のみであったが、これに限らず、通常の1コマ再生表示や、スライドショー形式の再生表示も行えるようにしても良い。また、再生表示として、仮想空間コミュニティサーバー21にアクセスし、仮想空間における展示を表示していたが、仮想空間コミュニティサーバー21内におけるカメラ10のユーザーの展示空間に関するデータを仮想空間データ部9に記憶し、このデータを用いて仮想空間の展示と同様の再生表示を行うようにしても良い。
【0098】
さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。
【0099】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【0100】
【図1】本発明の第1実施形態に係わるカメラとサーバーからなるシステムの構成を示すブロック図である。
【図2】本発明の一実施形態において、ユーザーの自宅と職場との位置関係を示す図である。
【図3】本発明の一実施形態において、ユーザーの生活リズムとして、時刻と自宅25からの移動距離の関係を示すグラフである。
【図4】本発明の第1実施形態において、撮影画像の日時と画像数から画像を分類することを説明する図である。
【図5】本発明の一実施形態に係わる分類制御の動作を示すフローチャートである。
【図6】本発明の一実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図7】本発明の一実施形態に係わるカメラ制御の動作を示すフローチャートである。
【図8】本発明の一実施形態において、ユーザーが撮影画像を展示する仮想空間の配置を示す図であり、(a)は、訪問者が展示スペースの入り口に最初に立った際に目にする情景であり、(b)は、展示スペースの中に入ったときの情景である。
【図9】本発明の一実施形態において、仮想空間内の展示スペースの平面図である。
【図10】本発明の一実施形態において、訪問者が展示されている画像を鑑賞している様子を示している図であり、(a)は家族写真を見ている様子、(b)は風景写真を見ている様子を示す。
【図11】本発明の一実施形態に係わるサーバー仮想空間表示の動作を示すフローチャートである。
【符号の説明】
【0101】
1・・・制御部、1a・・・行動記録部、2・・・撮影部、3・・・画像記録部、4・・・顔検出部、4a・・・年齢推定部、5・・・表示部、6・・・位置判定部、7・・・時計部、8・・・画像分類部、9・・・仮想空間データ部、9a・・・通信部、10・・・カメラ、20・・・インターネット、21・・・仮想空間コミュニティサーバー、25・・・自宅、26・・・職場、31・・・実線、31a・・・実線部、31b・・・実線部、32・・・破線、33・・・破線、41・・・額縁、42・・・写真立て、43・・・ファイル、44・・・書架、51・・・アバター、52・・・視野、53・・・矢印、54・・・入り口

【特許請求の範囲】
【請求項1】
画像を所定のカテゴリーに分類する画像分類部と、
前記所定のカテゴリーに応じて、当該仮想空間への入り口部を有する仮想空間内の所定位置に、前記画像を配置する機能を有する表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項2】
前記仮想空間内で画像の鑑賞者を表すアバターを、上記入り口部から移動させるためのアバター制御部を有し、
上記表示部は、前記アバターの向いた方向の前記仮想空間内画像を表示することを特徴とする請求項1に記載の画像表示装置。
【請求項3】
上記仮想空間内の所定位置は、上記入り口部から見える位置かどうかであることを特徴とする請求項1に記載の画像表示装置。
【請求項4】
前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類するものであることを特徴とする請求項1に記載の画像表示装置。
【請求項5】
前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示する機能を有するものであることを特徴とする請求項1に記載の画像表示装置。
【請求項6】
画像を所定のカテゴリーに分類し、
前記所定のカテゴリーに応じて、当該仮想空間への入り口部を有する仮想空間内の所定位置に前記画像を配置し、
上記画像の鑑賞者を表すアバターを上記仮想空間内に合成し、
上記アバターの向いた方向の前記仮想空間内画像を表示することを特徴とする画像表示方法。
【請求項7】
上記仮想空間内の上記画像配置用の所定位置は、上記入り口部から上記配置画像が見える位置かどうかによって決まる位置であることを特徴とする請求項6に記載の画像表示方法。
【請求項8】
前記画像分類のカテゴリーは、少なくとも前記画像をプライベートな画像とそれ以外の画像であることを特徴とする請求項6に記載の画像表示方法。
【請求項9】
前記表示方法は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示するステップを有するものであることを特徴とする請求項6に記載の画像表示方法。
【請求項10】
画像を所定のカテゴリーに分類する画像分類ステップと、
前記所定のカテゴリーに応じて、当該仮想空間への入り口部を有する仮想空間内の所定位置に、前記画像を配置する機能を有する表示制御ステップと、
を備えたことを特徴とする画像表示プログラム。
【請求項11】
前記仮想空間内で画像の鑑賞者を表すアバターを、上記入り口部から移動させるためのアバター制御部を有し、
上記表示部は、前記アバターの向いた方向の前記仮想空間内画像を表示することを特徴とする請求項1に記載の画像表示装置。
【請求項12】
上記仮想空間内の所定位置は、上記入り口部から見える位置かどうかであることを特徴とする請求項1に記載の画像表示装置。
【請求項13】
前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類するものであることを特徴とする請求項1に記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−84273(P2013−84273A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2012−227873(P2012−227873)
【出願日】平成24年10月15日(2012.10.15)
【分割の表示】特願2008−119537(P2008−119537)の分割
【原出願日】平成20年5月1日(2008.5.1)
【出願人】(000000376)オリンパス株式会社 (11,466)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】