説明

情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法

【課題】画像共有に係るユーザの利便性を向上させ得る情報処理システム等を提供。
【解決手段】平面視用画像ファイル形式の画像ファイルを管理するサーバと、当該サーバを介して画像ファイルを送受信可能な複数の第1情報処理装置を含む情報処理システムであって、上記第1情報処理装置のうちの少なくとも1つは、多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して上記サーバに送信する第1送信手段を備え、上記第1情報処理装置のうちの少なくとも1つは、上記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御手段を備える、情報処理システム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法に関する。より具体的には、画像の共有に係る、情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法に関する。
【背景技術】
【0002】
従来、情報端末の撮影手段で撮影されることにより得られる画像はサーバに送信し得る。そして、そのサーバが、情報端末から送信された画像を一元管理することにより、複数の情報端末で画像を共有することが可能であった(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−249821号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載される例では、画像を取り扱うサーバが既存の特定形式で記憶される画像ファイルにしか対応できない場合、その既存の特定形式で記憶される画像ファイルのみを複数の情報端末で共有することしかできなかった。例えば、サーバが一般的な平面視用画像の形式にしか対応できず、立体視用画像の形式に対応できない場合には、当該サーバを介して平面視用画像のみを情報端末で共有することしかできないため、画像の共有においてユーザの利便性を向上させることができなかった。
【0005】
また、仮に、そのサーバが立体視用画像データを記憶したファイルを情報端末から受信し、サーバ側に保存できたとしても、別の情報端末が当該ファイルを不完全な状態で取得することしかできなかった。そして、サーバの多くが、このような立体視用画像データを記憶したファイルに対応していないサーバであるため、ユーザは非常に不便な状況にあった。
【0006】
よって、このような状況におけるユーザの利便性を向上させ得る情報処理システム等を提供することが求められる。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明は、その一例として、以下のような態様で提供され得る。以下で示した具体的な記載のいずれもが、本発明の外延を理解するために示した例示的な記載であって、本発明がこの例に限定されることを意図するものではない。すなわち、当業者は、その具体的な記載から、本発明に関する記載および技術常識に基づいて均等な範囲を実施することができることを理解し得る。
【0008】
一態様において、本発明は、平面視用画像ファイル形式の画像ファイルを管理するサーバと、当該サーバを介して画像ファイルを送受信可能な複数の第1情報処理装置を含む情報処理システムを提供する。この情報処理システムにおいて、上記第1情報処理装置のうちの少なくとも1つは、多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して上記サーバに送信する第1送信手段を備える。そして、同情報処理システムにおいて、上記第1情報処理装置のうちの少なくとも1つは、上記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御手段を備える。
【0009】
一実施形態において、上記第1送信手段は、上記多視点画像ファイル形式の画像ファイルのメタデータのうち当該画像ファイルの拡張子を上記平面視用画像ファイル形式の拡張子を変更して当該画像ファイルを上記サーバに送信してもよい。
【0010】
種々の実施形態において、上記多視点画像ファイル形式は、当該多視点画像ファイル形式の画像ファイルのメタデータを上記平面視用画像ファイル形式のメタデータに変更した場合に、上記多視点の画像のうちの1つの画像を平面視用画像として読み出すことが可能な形式であってもよい。
【0011】
種々の実施形態において、上記多視点画像ファイル形式は、マルチピクチャーフォーマットであり、上記平面視用画像ファイル形式は、JPEGフォーマットであってもよい。
【0012】
種々の実施形態において、上記情報処理システムは、上記サーバを介して上記第1情報処理装置と画像ファイルを送受信可能な第2情報処理装置をさらに含んでもよい。この第2情報処理装置は、上記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合であっても、当該多視点の画像のうちの1つの画像を用いて第2表示装置に平面視表示させる第2表示制御手段を備える。
【0013】
種々の実施形態において、上記第2情報処理装置は、平面視用画像ファイル形式の画像ファイルを上記サーバに送信する第2送信手段をさらに備えてもよい。さらに、このサーバは、上記第1情報処理装置の第1送信手段により送信された平面視用画像ファイル形式の画像ファイルと上記第2情報処理装置の第2送信手段により送信された平面視用画像ファイル形式の画像ファイルとを蓄積的に記憶する記憶手段と、この記憶手段に記憶されている画像ファイルを上記第1情報処理装置および上記第2情報処理装置に対して送信する第3送信手段とを備えてもよい。
【0014】
種々の実施形態において、上記第1情報処理装置は、上記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該画像ファイルのメタデータを上記多視点画像ファイル形式のメタデータに変更して保存する保存手段をさらに備えてよい。
【0015】
種々の実施形態において、上記サーバは、上記平面視用画像ファイル形式の画像ファイルにより示される画像に対して画像処理を行う画像処理手段をさらに有してもよい。
【0016】
種々の実施形態において、上記第1情報処理装置は、複数の視点で撮影を行うことにより立体視用画像を取得可能な撮像手段をさらに有してもよい。
【0017】
上記撮像手段は、単一の視点で撮影を行うことにより平面視用画像をも取得可能であってもよい。そして、上記第1送信手段は、上記撮像手段により取得された平面視用画像を示す平面視用画像ファイル形式の画像ファイルを上記サーバに送信してもよい。
【0018】
上述の情報処理システムが行う情報処理過程自体は、情報処理方法として本発明の一態様である。他方、上述の情報処理システムで行われる情報処理過程を実行するためのプログラムも、本発明の別の態様の1つである。
【0019】
上述の情報処理システムが含む第1の情報処理装置自体は、複数の装置が接続した態様の下位の情報処理システムとして実装されてもよい。また、この第1の情報処理装置が行う情報処理過程自体は、情報処理方法として本発明の一態様である。他方、この第1の情報処理装置で行われる情報処理過程を実行するためのプログラムも、本発明の別の態様の1つである。
【0020】
(本明細書で特に使用される用語)
本明細書で使用される場合、「コンピュータ読み取り可能な記憶媒体」との用語は、プログラム、コードおよび/またはデータをコンピュータシステムによって使用するために記憶することが可能な、任意の装置または媒体をいう。コンピュータ読み取り可能な記憶媒体は、コンピュータシステムによって読み取りが可能である限りにおいて、揮発性であっても、不揮発性であってもよい。コンピュータ読み取り可能な記憶媒体としては、例えば、磁気テープ、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、ブルーレイディスク(BD)、半導体メモリなどが挙げられるが、これらに限られない。
【0021】
また、本明細書において使用される場合、「システム」(例えば、ゲームシステム、情報処理システム)との用語は、1つの装置で構成されてもよく、また、複数の装置であって、その各々の装置が他の装置のいずれかと通信可能であるものであってもよい。
【0022】
本明細書において使用される場合、装置またはシステムが、別の装置またはシステムに「接続する」状態は、有線で接続される状態に限らず、無線で接続される状態も包含し得る。
【0023】
本明細書において使用される場合、用語「多視点の画像」(または「多視点画像」)は、複数の異なる視点から撮影された画像(または画像群)をいう。また、「多視点画像ファイル形式」(の画像)ファイルとは、多視点の画像を1つのファイルとして記録されている形式(保存形式)にある(画像)ファイルをいう。このような多視点画像ファイル形式としては、例えば、後述の「マルチピクチャーフォーマット」に準拠したファイルが挙げられるがこれに限定されない。
【0024】
本明細書において使用される場合、用語「個別画像」は、画像データにおいて、所定の領域に定義付けられた静止画像データをいう。より具体的には、例えば、その所定領域が、Exifが規定するJPEG圧縮データの1組の、SOIマーカとEOIマーカとの間に挟まれた領域である場合、「個別画像」は、その領域に存在する静止画像データであって、APPn内部のデータを除く静止画像データをいう。
【0025】
本明細書において使用される場合、用語「APPn」は、Exifが引用する、JPEG(Joint Photographic Experts Group)アプリケーションマーカセグメントをいう。
【0026】
本明細書において使用される場合、「(コンピュータ)ファイル」は任意のデータを記憶するための論理的単位である。
【0027】
本明細書において使用される場合、「ファイル形式」は、コンピュータファイルで記憶するために情報が符号化されている特定の方式である。このコンピュータファイルは、コンピュータプログラムにより利用可能である、任意の情報の一群であるか、または情報を記憶したリソースをいう。
【0028】
本明細書において使用される場合、「ファイル名」は、コンピュータのファイルシステムに保存されたファイルを特定するための名称(識別記号)である。また、本明細書において使用される場合、「拡張子」とは、ファイル名の一部(代表的には、末尾)に付されたファイルの種類を識別するための文字列をいう。
【0029】
本明細書において使用される場合、用語「メタデータ」は、対象としているデータが付随して有するそのデータ自体に関する付加的なデータをいう。画像ファイルが有する画像データに関して「メタデータ」との用語が使用される場合、そのメタデータは、その画像データを保持する当該画像ファイル自体のファイル名も含み得る。
【0030】
本明細書において使用される場合、用語「改変多視点画像ファイル形式ファイル」は、多視点画像ファイル形式ファイルを、当該画像ファイルのメタデータを改変することによって、多視点画像ファイル形式としての記録方式を持ちながら平面視用画像ファイル形式であると特定のコンピュータシステムにより認識され得るファイルをいう。また、改変多視点画像ファイル形式ファイルは、多視点の画像を記録している状態を変えずに平面視用画像ファイル形式であると特定のコンピュータシステムにより認識され得るファイルといえる。代表的には、「改変多視点画像ファイル形式ファイル」の一例としては、マルチピクチャーフォーマットファイルの記録方式を維持しつつも、当該ファイル形式を示す拡張子(例えば.MPO)を変更して、別のファイル形式を示す拡張子(例えば.JPG)を代りに付したファイル名を有する画像ファイル(改変マルチピクチャーフォーマットファイル)が挙げられる。また、多視点の画像の1種である後述の「立体視用画像」を記憶する改変多視点画像ファイル形式ファイル(立体視用画像ファイル)から、改変多視点画像ファイル形式ファイルが生成された場合、当該改変多視点画像ファイル形式ファイルを、特に、「改変立体視用画像ファイル」と称する。
【0031】
本明細書で使用される場合、「立体視」とは、ヒトの両眼視の一機能である。具体的には、立体視とは、両眼の網膜像の差から奥行感を得る機能をいう。
【0032】
本明細書において使用される場合、「立体視用画像」とは、その画像が視認可能に提供される状態において、その観察者に奥行感を伴った立体視可能な画像として知覚される特性を備えている(例えば、両眼視差を反映する特徴を有する)画像または画像群をいう。この「立体用視画像」は、例えば、観察者が特定方向から見た場合にその観察者に奥行感を与える画像をいう。例示すると、この「立体視用画像」は、2つの自由空間座標軸と特定方向の1空間軸とからなる3座標軸で定義される空間上の各点に与えられた濃度値の集合として表現され得る。
【0033】
具体的には、立体視用画像は、その画像の観察者の右眼に知覚されるための部分(右眼用画像)と、その画像の観察者の左眼に知覚されるための部分(左眼用画像)との組を、少なくとも1つずつ含む。代表的には、立体視用画像は、複数の異なる視点から撮像された画像を含む所定の形式で提供され得る。立体視用画像を提供する形式としては、左眼用画像と右眼用画像とを、そのまま並置された状態で収められた画像(1ファイル)として保存されよい。また、それらの個別画像に対応する情報に、必要に応じた付加情報を与えた所定の形式で、立体視用画像が提供されてもよい。例えば、立体視用画像が提供されるフォーマットとしては、上述のマルチピクチャーフォーマットが挙げられるが、それに限られない。
【0034】
なお、立体視用画像は、左眼用画像として機能する部分、右眼用画像として機能する部分を、予定する表示装置の特性に応じて適宜、分割、再配置した構成を有する画像または画像群として構成されもよい。例えば、一度それぞれ単一の画像として生成された左眼用画像と右眼用画像が、それぞれ、その画素を縦に1ライン毎に並んだ短冊状画像に分割された態様で立体視用画像が提供されてもよい。
【0035】
このように、立体視用画像は、その観察者に奥行感を伴った立体視可能な画像として知覚される特性を提供する機能を担保する限りにおいて、任意の形態を取り得る。
【0036】
立体視用画像を構成する個別画像が、静止画データとしての提供される場合、その静止画データは、任意のデジタル画像形式で提供され得る。主な静止画像の取扱いが可能なファイル形式としては、JPEG(Joint Photographic Experts Group)などが挙げられるが、これに限られない。
【0037】
本明細書で使用される場合、「立体視表示装置(stereoscopic display)」とは、観察者から立体的に見える映像、または観察者が奥行感を得る映像(image)を表示する装置をいう。より具体的には、立体視表示装置は、裸眼立体表示装置(autostereoscopic display)、眼鏡式立体表示装置などが挙げられる。この裸眼立体表示装置としては、パララックスバリア方式立体表示装置、レンチキュラーレンズ方式立体表示装置が挙げられるが、これらに限定されない。
【0038】
本明細書において使用される場合、画像表示装置に「マルチビュー表示する」とは、多視点の画像に対応可能なフォーマットの画像ファイルを、そのファイルの仕様に従って、当該多視点の画像がその表示装置のユーザに所定の効果を伴って視認可能に提供することをいう。例えば、多視点の画像が、立体視用画像である場合、画像表示装置がその画像をマルチビュー表示するとは、その多視点の画像を立体視可能な態様でユーザに対して表示することをいう。
【0039】
本明細書で使用される場合、「平面視」とは、立体視によらない視覚の機能である。また、「平面視用画像」とは、立体視用画像または他の多視点画像ではない画像であり、代表的には、静止画データの形態で提供され得る画像である。さらに、「平面視用画像ファイル形式」とは、平面視用画像を記録するのに対応した画像データの記録方式であり、例えば、JPEG形式のファイルが挙げられるがこれらに限定されない。
【0040】
本明細書で使用される場合、「平面視用」の「表示装置」とは、立体視表示機能を有さない表示装置、または立体視表示機能が選択的にオフにされた状態にある表示装置をいう。
【発明の効果】
【0041】
本発明は、例えば、コンピュータネットワークを介して立体視用画像を取り扱うユーザの利便性を向上させ得る。
【図面の簡単な説明】
【0042】
【図1】本発明の例示的な実施形態に関する情報処理システムを模式的に示した図
【図2】ゲーム装置3の外観を示す平面図
【図3】ゲーム装置3の内部構成を示すブロック図
【図4】ゲーム装置3のメインメモリ32のメモリマップを示す図
【図5A】本発明の例示的実施形態であるゲーム装置3において、その情報処理プログラムに基づいて行われるメイン処理の一例を示すフローチャート
【図5B】例示的な画像共有用準備処理を示すフローチャート
【図5C】ゲーム装置3が画像ファイルをウェブサーバ4から取得する際の処理の一例を示すフローチャート
【発明を実施するための形態】
【0043】
(発明の概要)
例示的な実施形態において、本発明は、平面視用画像を管理し得るウェブサーバと通信可能な情報処理装置(例えば、情報処理端末、携帯ゲーム装置など。以下、便宜的に、第1情報処理装置とする)を含む情報処理システムを提供する。また、このウェブサーバは、別の情報処理装置(例えば、汎用コンピュータ、情報処理端末など。以下、便宜的に、第2情報処理装置とする。)と通信可能である。ここで、これらの情報処理装置は、少なくとも、それぞれ、コンピュータネットワークを介してウェブサーバに接続可能である。このコンピュータネットワークは、代表的には、インターネット・プロトコル技術を利用して相互接続されたコンピュータネットワークを指す。
【0044】
この情報処理システムは、分散コンピューティング技術を利用したシステムの一形態となり得る。すなわち、この情報処理システムで実行されるプログラム群の個々の部分は、同時並行的に複数のコンピュータ(例えば、上述の第1情報処理装置、第2情報処理装置、ウェブサーバが有するコンピュータ)で実行され、必要に応じて、それらがコンピュータネットワークを介して互いに通信し合う。
【0045】
より具体的には、この情報処理システムは、図1に示されるような例示的な情報処理システムで提供される。図1は、本発明の例示的な実施形態に関する情報処理システムを模式的に示した図である。
【0046】
図1は、例示的な第1情報処理装置、ウェブサーバ、第2情報処理装置として、ゲーム装置3、平面視用画像を管理するウェブサーバ4、汎用コンピュータ5を示している。この例では、便宜的に、ゲーム装置3、ウェブサーバ4および汎用コンピュータ5は、それぞれ、1つのゲーム装置3a、ウェブサーバ4aおよび汎用コンピュータ5aとして記載されている。しかしながら、この例示的に情報処理システムは、ゲーム装置3a、ウェブサーバ4aおよび汎用コンピュータ5aに加え、これらと実質的に同等のゲーム装置、ウェブサーバおよび汎用コンピュータ(例えば、ゲーム装置3b、ウェブサーバ4bおよび汎用コンピュータ5b)のいずれかもしくはそれらの組合せを1以上含んでいてもよい。
【0047】
(ゲーム装置3−立体視用画像の表示機能を有する情報処理装置)
ゲーム装置3は、立体視用画像の表示機能を有する情報処理装置の一例である。
【0048】
(ゲーム装置3の例示的な構成)
以下、本発明の一例示的な実施形態に係るゲーム装置3について説明する。図2は、ゲーム装置3の外観を示す平面図である。ゲーム装置3は携帯型のゲーム装置であり、このゲーム装置3は、折り畳み可能に構成されている。図2(および図1に左下に示された図)は、開いた状態(開状態)におけるゲーム装置3を示している。より具体的には、図2は、開状態におけるゲーム装置3の正面図である。側面図は省略する。
【0049】
ゲーム装置3は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置3は、着脱可能な記憶媒体(例えば、後述の外部メモリ44)に記憶された、または、サーバや他のゲーム装置から受信した、あるいは内蔵する記憶領域(例えば、後述のデータ保存用内部メモリ35)に記憶された、ゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
【0050】
(ゲーム装置3の外部構成)
図2を参照して、より詳細に、ゲーム装置3の外観構成について説明する。図2に示されるように、ゲーム装置3は、下側ハウジング11および上側ハウジング21を有する。下側ハウジング11と上側ハウジング21とは、開閉可能(折り畳み可能)に接続されている。
【0051】
(下側ハウジングの説明)
まず、下側ハウジング11の構成について説明する。図2に示すように、下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L、アナログスティック15、LED16A〜16B、挿入口17、および、マイクロフォン用孔18が設けられる。
【0052】
図2に示すように、下側LCD12は下側ハウジング11に収納される。下側LCD12の画素数は、例えば、320dot×240dot(横×縦)であってもよい。下側LCD12は、後述する上側LCD22とは異なり、画像を(立体視可能ではなく)平面的に表示する表示装置である。なお、本実施形態では表示装置としてLCDを用いているが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側LCD12として、任意の解像度の表示装置を利用することができる。
【0053】
図2に示されるように、ゲーム装置3は、入力装置として、タッチパネル13を備えている。タッチパネル13は、下側LCD12の画面上に装着されている。なお、本実施形態では、タッチパネル13は抵抗膜方式のタッチパネルである。
【0054】
各操作ボタン14A〜14Lは、所定の入力を行うための入力装置である。
【0055】
アナログスティック15は、方向を指示するデバイスである。アナログスティック15は、そのキートップが、下側ハウジング11の内側面に平行にスライドするように構成されている。アナログスティック15は、ゲーム装置3が実行するプログラムに応じて機能する。
【0056】
ゲーム装置3は、例えば、IEEE802.11.b/gの規格に準拠した方式により、無線LANに接続する機能を有する。
【0057】
(上側ハウジングの説明)
次に、上側ハウジング21の構成について説明する。図2に示すように、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22、外側撮像部23(外側撮像部(左)23aおよび外側撮像部(右)23b)、内側撮像部24、3D調整スイッチ25、および、3Dインジケータ26が設けられる。
【0058】
図2に示すように、上側LCD22は上側ハウジング21に収納される。上側LCD22の画素数は、例えば、800dot×240dot(横×縦)であってもよい。なお、本実施形態では上側LCD22は液晶表示装置であるとしたが、例えばEL(Electro Luminescence:電界発光)を利用した表示装置などが利用されてもよい。また、上側LCD22として、任意の解像度の表示装置を利用することができる。
【0059】
上側LCD22は、立体視可能な画像を表示することが可能な表示装置である。また、本実施例では、実質的に同一の表示領域を用いて左眼用画像と右眼用画像が表示される。具体的には、左眼用画像と右眼用画像が所定単位で(例えば、1列ずつ)横方向に交互に表示される方式の表示装置である。また、本実施例では、裸眼立体視可能な表示装置である。そして、横方向に交互に表示される左眼用画像と右眼用画像とを左眼および右眼のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式(視差バリア方式)のものが用いられる。
【0060】
本実施形態では、上側LCD22はパララックスバリア方式のものとする。上側LCD22は、右眼用画像と左眼用画像とを用いて、裸眼で立体視可能な画像(立体視用画像)を表示する。すなわち、上側LCD22は、視差バリアを用いてユーザの左眼に左眼用画像をユーザの右眼に右眼用画像を視認させることにより、ユーザにとって立体感のある立体視用画像(立体視可能な画像)を表示することができる。また、上側LCD22は、上記視差バリアを無効にすることが可能であり、視差バリアを無効にした場合は、画像を平面的に表示することができる(上述した立体視とは反対の意味で平面視の画像を表示することができる。すなわち、表示された同一の画像が右眼にも左眼にも見えるような表示モードである)。このように、上側LCD22は、立体視可能な画像を表示する立体表示モードと、画像を平面的に表示する(平面視用画像を表示する)平面表示モードとを切り替えることが可能な表示装置である。この表示モードの切替えは、後述する3D調整スイッチ25によって行われる。
【0061】
外側撮像部23は、上側ハウジング21の外側面(上側LCD22が設けられた主面と反対側の背面)21Dに設けられた2つの撮像部(23aおよび23b)の総称である。外側撮像部(左)23aと外側撮像部(右)23bの撮像方向は、いずれも当該外側面21Dの外向きの法線方向である。外側撮像部(左)23aと外側撮像部(右)23bとは、ゲーム装置3が実行するプログラムによって、ステレオカメラとして使用することが可能である。外側撮像部(左)23aおよび外側撮像部(右)23bは、それぞれ所定の共通の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。
【0062】
内側撮像部24は、上側ハウジング21の内側面(主面)21Bに設けられ、当該内側面の内向きの法線方向を撮像方向とする撮像部である。内側撮像部24は、所定の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。
【0063】
3D調整スイッチ25は、スライドスイッチであり、上述のように上側LCD22の表示モードを切り替えるために用いられるスイッチである。また、3D調整スイッチ25は、上側LCD22に表示された立体視可能な画像(立体視用画像)の立体感を調整するために用いられる。3D調整スイッチ25のスライダ25aは、所定方向(上下方向)の任意の位置にスライド可能であり、当該スライダ25aの位置に応じて上側LCD22の表示モードが設定される。また、スライダ25aの位置に応じて、立体視用画像の見え方が調整される。具体的には、スライダ25aの位置に応じて、右眼用画像および左眼用画像における横方向の位置のずれ量が調整される。
【0064】
3Dインジケータ26は、上側LCD22が立体表示モードか否かを示す。3Dインジケータ26は、LEDであり、上側LCD22の立体表示モードが有効の場合に点灯する。なお、3Dインジケータ26は、上側LCD22が立体表示モードになっており、かつ、立体視用画像を表示するプログラム処理が実行されているときに限り、点灯するようにしてもよい。
【0065】
また、上側ハウジング21の内側面には、スピーカ孔21Eが設けられる。後述するスピーカ43からの音声がこのスピーカ孔21Eから出力される。
【0066】
(ゲーム装置3の内部構成)
次に、図3を参照して、ゲーム装置3の内部の電気的構成について説明する。図3は、ゲーム装置3の内部構成を示すブロック図である。図3に示すように、ゲーム装置3は、上述した各部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、電源回路40、およびインターフェイス回路(I/F回路)41等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(または上側ハウジング21でもよい)内に収納される。
【0067】
情報処理部31は、所定のプログラムを実行するためのCPU(Central Processing Unit)311、画像処理を行うGPU(Graphics Processing Unit)312等を含む情報処理手段である。情報処理部31のCPU311は、ゲーム装置3内のメモリ(例えば外部メモリI/F33に接続された外部メモリ44やデータ保存用内部メモリ35)に記憶されているプログラムを実行することによって、当該プログラムに応じた処理(例えば、撮影処理や、後述するゲーム処理)を実行する。なお、情報処理部31のCPU311によって実行されるプログラムは、他の機器との通信によって他の機器から取得されてもよい。また、情報処理部31は、VRAM(Video RAM)313を含む。情報処理部31のGPU312は、CPU311からの命令に応じて画像を生成し、VRAM313に描画する。そして、GPU312は、VRAM313に描画された画像を上側LCD22および/または下側LCD12に出力し、上側LCD22および/または下側LCD12に当該画像が表示される。
【0068】
情報処理部31には、メインメモリ32、外部メモリI/F33、データ保存用外部メモリI/F34、および、データ保存用内部メモリ35が接続される。外部メモリI/F33は、外部メモリ44を着脱自在に接続するためのインターフェイスである。また、データ保存用外部メモリI/F34は、データ保存用外部メモリ45を着脱自在に接続するためのインターフェイスである。
【0069】
メインメモリ32は、情報処理部31(のCPU311)のワーク領域やバッファ領域として用いられる揮発性の記憶手段である。すなわち、メインメモリ32は、上記プログラムに基づく処理に用いられる各種データを一時的に記憶したり、外部(外部メモリ44や他の機器等)から取得されるプログラムを一時的に記憶したりする。本実施形態では、メインメモリ32として例えばPSRAM(Pseudo−SRAM)を用いる。
【0070】
外部メモリ44は、情報処理部31によって実行されるプログラムを記憶するための不揮発性の記憶手段である。外部メモリ44は、例えば読み取り専用の半導体メモリで構成される。外部メモリ44が外部メモリI/F33に接続されると、情報処理部31は外部メモリ44に記憶されたプログラムを読み込むことができる。情報処理部31が読み込んだプログラムを実行することにより、所定の処理が行われる。データ保存用外部メモリ45は、不揮発性の読み書き可能なメモリ(例えば、NAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。例えば、データ保存用外部メモリ45には、外側撮像部23で撮像された画像や他の機器で撮像された画像が記憶される。データ保存用外部メモリ45がデータ保存用外部メモリI/F34に接続されると、情報処理部31はデータ保存用外部メモリ45に記憶された画像を読み込み、上側LCD22および/または下側LCD12に当該画像を表示することができる。
【0071】
データ保存用内部メモリ35は、読み書き可能な不揮発性メモリ(例えば、NAND型フラッシュメモリ)で構成され、所定のデータを格納するために用いられる。例えば、データ保存用内部メモリ35には、無線通信モジュール36を介した無線通信によってダウンロードされたデータやプログラムが格納される。
【0072】
無線通信モジュール36は、例えばIEEE802.11.b/gの規格に準拠した方式により、無線LANに接続する機能を有する。また、ローカル通信モジュール37は、所定の通信方式(例えば、赤外線通信)により同種のゲーム装置との間で無線通信を行う機能を有する。無線通信モジュール36およびローカル通信モジュール37は情報処理部31に接続される。情報処理部31は、無線通信モジュール36を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール37を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。
【0073】
また、情報処理部31には、加速度センサ39が接続される。さらに、情報処理部31には、RTC38および電源回路40が接続される。RTC38は、時間をカウントして情報処理部31に出力する。情報処理部31は、RTC38によって計時された時間に基づき現在時刻(日付)を計算する。電源回路40は、ゲーム装置3が有する電源(下側ハウジング11に収納される上記充電式電池)からの電力を制御し、ゲーム装置3の各部品に電力を供給する。
【0074】
また、情報処理部31には、I/F回路41が接続される。I/F回路41には、マイク42およびスピーカ43が接続される。
【0075】
操作ボタン14は、上記各操作ボタン14A〜14Lからなり、情報処理部31に接続される。操作ボタン14から情報処理部31へは、各操作ボタン14A〜14Iに対する入力状況(押下されたか否か)を示す操作データが出力される。情報処理部31は、操作ボタン14から操作データを取得することによって、操作ボタン14に対する入力に従った処理を実行する。
【0076】
下側LCD12および上側LCD22は情報処理部31に接続される。下側LCD12および上側LCD22は、情報処理部31(のGPU312)の指示に従って画像を表示する。本実施形態では、情報処理部31は、上側LCD22に立体視用画像(立体視可能な画像)を表示させる。
【0077】
具体的には、情報処理部31は、上側LCD22のLCDコントローラ(図示せず)と接続され、当該LCDコントローラに対して視差バリアのON/OFFを制御する。上側LCD22の視差バリアがONになっている場合、情報処理部31のVRAM313に格納された右眼用画像と左眼用画像とが、上側LCD22に出力される。より具体的には、LCDコントローラは、右眼用画像について縦方向に1ライン分の画素データを読み出す処理と、左眼用画像について縦方向に1ライン分の画素データを読み出す処理とを交互に繰り返すことによって、VRAM313から右眼用画像と左眼用画像とを読み出す。これにより、右眼用画像および左眼用画像が、画素を縦に1ライン毎に並んだ短冊状画像に分割され、分割された右眼用画像の短冊状画像と左眼用画像の短冊状画像とが交互に配置された画像が、上側LCD22の画面に表示される。そして、上側LCD22の視差バリアを介して当該画像がユーザに視認されることによって、ユーザの右眼に右眼用画像が、ユーザの左眼に左眼用画像が視認される。以上により、上側LCD22の画面には立体視可能な画像が表示される。
【0078】
外側撮像部23および内側撮像部24は、情報処理部31に接続される。外側撮像部23および内側撮像部24は、情報処理部31の指示に従って実空間を撮像し、撮像した実空間の画像データを情報処理部31に出力する。
【0079】
3D調整スイッチ25は、情報処理部31に接続される。3D調整スイッチ25は、スライダ25aの位置に応じた電気信号を情報処理部31に送信する。
【0080】
また、3Dインジケータ26は、情報処理部31に接続される。情報処理部31は、3Dインジケータ26の点灯を制御する。
【0081】
(ゲーム装置3が有するウェブブラウザ・アプリケーションの一例)
ゲーム装置3は、ウェブブラウザ・アプリケーション71(以下、ウェブブラウザ71)を有している。このウェブブラウザ71は、基本的な機能として、例えば、HTTPユーザエージェント、パーサおよびレンダラの各機能を備える。このHTTPユーザエージェントは、URI・HTTPなどに基づきWebサーバと通信してリソースを取得するプログラムである。パーサは、取得したリソース(テキスト、画像、HTML、XHTML、XMLなど)に応じて構文解析を行うプログラムである。レンダラは、パーサの解析結果に基づき、ユーザに対して適切なかたちでリソースを提示するプログラムである。例えば、このレンダラは、所定の配置に基づいて画像とテキストとが表示画面上に配置される態様でユーザに提示する。
【0082】
より具体的には、このウェブブラウザ71は、例えば、サポートする標準規格として、例えば、OMA Browsing 2.3仕様に準拠するものであり得る。また、このウェブブラウザ71が実装し得るプロトコルとしては、HTTP 1.0/1.1、WAP、IPv4/IPv6、Dual TCP/IPなどが挙げられるが、これに限定されない。
【0083】
さらに、このウェブブラウザ71が実装し得るスクリプトしては、例えば、ECMAScript 262 3rd Edition、ECMAScript Mobile Profile、WMLScript、DOM Level 1,Level 2、Dynamic HTML、Ajax(XMLHttpRequest)などが挙げられるが、これに限定されない。
【0084】
このウェブブラウザ71が実装し得るマークアップとしては、例えば、cHTML、HTML5、HTML 4.01、XHTML1.1、XHTML Mobile Profile 1.2、WML 1.3、SMIL 2.1、(RSS 0.9/0.91/0.92/1.0/2.0、Atom 0.3/1.0)が挙げられるが、これに限定されない。
【0085】
このウェブブラウザ71が実装し得るスタイルシートとしては、例えば、CSS1、CSS2.1、CSS3、CSS MP1.1が挙げられるが、これに限定されない。
【0086】
(改変多視点画像ファイル形式ファイルを生成するプログラム)
ゲーム装置3は、多視点画像ファイル形式ファイル(例えば、マルチピクチャーフォーマットファイル)を、それに特有のファイル形式の実体的なデータ構造(記録方式)を保持しつつも、平面視用画像を管理するウェブサーバ4により平面視用画像ファイル形式(例えば、JPEG形式)として取り扱われる改変多視点画像ファイル形式ファイルを提供するプログラムを有する。具体的には、改変多視点画像ファイル形式ファイルを生成するプログラムは、独立したプログラム(例えば、情報処理プログラム70(図4参照))またはその一部として、上述のウェブブラウザ71または別のゲーム装置3のプログラムの要求に従い実行されてもよい。また、改変多視点画像ファイル形式ファイルを生成するプログラムは、上述のウェブブラウザ71の一部として組み込まれてもよい。
【0087】
(ゲーム装置3とウェブサーバ4との間の画像ファイルの送受信[1])
ゲーム装置3は、例えば上述のウェブブラウザ71の機能によって、改変多視点画像ファイル形式ファイルを上記ウェブサーバ4にアップロードし得る(図1の記号UP1)。
【0088】
ここで、ウェブサーバ4は、別のゲーム装置3(例えば、ゲーム装置3b)が送信した改変多視点画像ファイル形式ファイルだけでなく、汎用コンピュータ5などが送信した平面視用画像ファイルを記憶している。ゲーム装置3は、ウェブサーバ4に要求を送信し、当該ウェブサーバ4から受信した画像ファイルが上記改変多視点画像ファイル形式ファイルであるか否かを判定する手段を有している。この判定基準についての詳細は後述するが、ゲーム装置3は、その判定結果が肯定である場合に、多視点画像ファイル形式ファイルの機能を利用した態様(例えば、立体視可能な状態で)再生し得る第1表示装置に、受信した画像ファイルを表示し得る。
【0089】
(ゲーム装置3が有するカメラアプリケーション等の一例)
ゲーム装置3は、ステレオカメラを備えている。具体的には、ゲーム装置3は、ステレオカメラとして機能し得る光学系、例えば、左眼用の外側撮像部23aおよび右眼用の外側撮像部23bを備えている。ゲーム装置3は、このステレオカメラによって撮像された立体視用画像(両眼視差を反映した画像群)を生成し得る。ゲーム装置3は、この生成した立体視用画像を、多視点の画像に対応する所定形式(例えば、マルチピクチャーフォーマット)のファイルとしてゲーム装置3の記憶領域に保存し得る。
【0090】
ゲーム装置3は、このステレオカメラにより撮像された多視点の画像を記録する多視点画像形式(例えば、立体視用画像形式)ファイルを、改変多視点画像ファイル形式ファイル(改変立体視用画像ファイル)に改変する。具体的には、ゲーム装置3は、この多視点画像ファイル形式ファイルに対して上述の改変多視点画像ファイル形式ファイルを生成するプログラムによる処理を実行する。より具体的には、ゲーム装置3は、例えば、マルチピクチャーフォーマット形式に従った記録実体を保持しつつ、そのファイル名において、当該形式のファイルの拡張子(すなわち、MPO)からJPEG形式ファイルの拡張子に変更する。なお、ゲーム装置3は、この拡張子の変更を行う際に、記憶領域に存在する処理対象ファイル(拡張子がMPOであるファイル)自体の拡張子を変更してもよいが、当該処理対象ファイルを複製し、複製したファイルに対して変更処理をおこなってもよい。
【0091】
なお、ゲーム装置3は、外側撮像部23を単眼カメラとして機能されることによって立体視用画像ではなく、平面視用画像ファイル(例えば、JPEG形式ファイル)を生成することもできる。
【0092】
また、ゲーム装置3は、外側撮像部23をステレオカメラとして機能させて立体視用画像を生成するだけなく、例えば、上側LCD22に表示されている立体視可能なゲーム画像を立体視可能なスクリーンショットとして保存することで立体視用画像を生成してもよい。スクリーンショットの生成は、例えば、仮想ステレオカメラを仮想空間に設定して、表示画面に表示させようとする部分空間(仮想オブジェクトを含み得る部分仮想空間)の立体視用画像(右眼用画像、左眼用画像)を生成することによって得られる。
【0093】
(ウェブサーバ4の構成例)
ウェブサーバ4は、複数のユーザ間で画像を共有するためのウェブサイトを提供し得る。このウェブサイトは、従来から汎用的に使われているファイル形式の静止画像ファイル(例えば、JPEG形式画像ファイル)を取扱い対象としていているが、多視点の画像(例えば、立体視用画像)に対応したファイル形式のファイル(例えば、マルチピクチャフォーマットファイル)を取扱い対象としていない。
【0094】
ウェブサーバ4は、平面視用画像ファイル形式の画像ファイルを管理するサーバであるので、平面視用画像ファイル形式の画像ファイルに対応したウェブサイト(例えば、平面視用画像を共有するためのサムネイルを含む画像一覧を与えるウェブサイト)を提供し得る。従来、このようなウェブサーバは、マルチピクチャーフォーマットファイルのような多視点画像ファイル形式ファイルを受信した際、画像の共有という面では様々な問題を抱えていた。例えば、サーバによっては、マルチピクチャフォーマットファイルに含まれる複数の個別画像の一部(例えば、先頭画像以外の個別画像の全て)が当該サーバにより切り捨てられるといった事態も生じていた。
【0095】
(ゲーム装置3とウェブサーバ4との間の画像ファイルの送受信[2])
このような場合であっても、本発明の例示的な実施形態に係るゲーム装置3(例えば、ゲーム装置3a)は、改変多視点画像ファイル形式ファイル(例えば、マルチピクチャーフォーマットとしての実体的構成を保持しつつ、JPEGの拡張子が付された改変マルチピクチャーフォーマットファイル)をウェブサーバ4にアップロードして、別のゲーム装置3(例えば、ゲーム装置3b)または後述の汎用コンピュータ5とその改変多視点画像ファイル形式ファイルを共有し得る。
【0096】
上述の例において、ゲーム装置3bは、改変多視点画像ファイル形式ファイルをウェブサーバ4からダウンロードしたとき、その改変多視点画像ファイル形式ファイルを拡張子のみで判定せずにその他の情報から多視点画像ファイル形式ファイルに対応するデータコンテンツを有していると判定する。
【0097】
例えば、ゲーム装置3bは、ウェブサーバ4からダウンロードした画像ファイルをマルチピクチャーフォーマットファイルとみなして解析をはじめる。一例において、ゲーム装置3bが、その画像ファイルにおいて、マルチピクチャーフォーマットにおける先頭画像以外に個別画像が含まれているか否かを判定し得る。これにより、ゲーム装置3bは、ダウンロードした画像が実体としてマルチピクチャーフォーマットファイルであるか否かを判定し得る。また、別例において、ゲーム装置3bは、そのダウンロードした画像において、マルチピクチャーフォーマットの付加的情報(例えば、ファイルヘッダや個別画像種別管理情報など)に対応する位置を読む。そして、例えば、ゲーム装置3bが、その位置の情報から当該画像ファイルに多視点の画像(例えば立体視用画像)の情報が含まれている判定した場合に、ゲーム装置3bはその画像を改変多視点画像ファイル形式ファイル(改変立体視用画像ファイル)であると判定し得る。これによって、ゲーム装置3bは、例えば、ゲーム装置3aにおいて立体視用画像ファイルとして取り扱われていた画像ファイルを、ウェブサーバ4を介して取得した後でも、同様に立体視用画像ファイルとして取り扱うことが可能である。すなわち、ウェブサーバ4などは、この、改変多視点画像ファイル形式ファイルを、平面視用画像ファイル(上述の例の場合、JPEGファイル)としてみなすが、ゲーム装置3(ゲーム装置3aおよびゲーム装置3b)は、多視点画像ファイル形式ファイルが有する機能が保持されたファイルとして取り扱う。
【0098】
コンピュータネットワークを介してウェブサーバ4に接続したゲーム装置3または汎用コンピュータ5(後述)がウェブサイトを構成するデータにアクセスすると、ゲーム装置3または汎用コンピュータ5は、ウェブサーバ4が保持している画像の一覧を表示するための一群データ(例えば、当該ウェブサイトを構成するためのデータ)を取得し得る。
【0099】
具体的には、汎用コンピュータ5は、取得した画像を含む一群のデータからサムネイルを作成し、そのサムネイルにより画像一覧として表示装置に表示する。この表示されているサムネイルがユーザに選択されると、選択したサムネイルに対応するオリジナル画像をその表示装置に表示させることが可能である。
【0100】
(汎用コンピュータ5の構成例)
汎用コンピュータ5は、コンピュータネットワークを介してウェブサーバ4に接続状態を確立し得る汎用コンピュータである。汎用コンピュータ5は、代表的には、立体視を提供することが可能な表示装置を備えていない。汎用コンピュータ5は、平面視用画像ファイルをコンピュータネットワークを介してウェブサーバ4にアップロードし得る(図1の記号UP2)。また、汎用コンピュータ5は、平面視用画像ファイルまたは改変多視点画像ファイル形式ファイルをコンピュータネットワークを介してウェブサーバ4にアップロードし得る(図1の記号UP2)。
【0101】
汎用コンピュータ5は、上述のウェブサーバ4から受信した画像ファイル(図1の記号DW2参照)が上記改変多視点画像ファイル形式ファイルか上記平面視用画像ファイルかに拘わらず、当該改変多視点画像ファイル形式ファイルまたは当該平面視用画像ファイルの画像を第2表示装置に平面視表示させる第2表示制御手段をさらに有する。
【0102】
例示的な実施形態において、例えば、改変マルチピクチャーフォーマットファイルおよび平面視用画像ファイルのいずれも、JPEG形式ファイルに対応する拡張子を有するファイル名で存在する。改変マルチピクチャーフォーマットファイルが保持している記録方式は、多視点画像ファイル形式ファイルと同等のフォーマットを有している。しかし、汎用コンピュータ5は、ファイル名がJPEGの拡張子(.JPG等)を有する改変マルチピクチャーフォーマットファイルが含む個別画像のうち、先頭画像を平面視用画像として扱うことができる。これによって、汎用コンピュータ5は、取り扱う画像ファイルが改変マルチピクチャーフォーマットファイルであるか、または平面視用画像ファイルであるかに拘わらず、平面視用の表示装置にそれらの画像を表示し得る。
【0103】
(例示的な実施形態に奏される効果の一例)
上述のように、本発明の例示的な実施形態に従うと、ゲーム装置3(例えば、ゲーム装置3a)は、それと同種のゲーム装置(例えば、ゲーム装置3b)との間で、多視点の画像(例えば、立体視用画像)の取扱いに対応しないウェブサーバ4を介して受け渡しされた後であっても、当該多視点の画像のコンテンツを適切に共有することが可能となる。すなわち、ゲーム装置3aは、立体視用画像の取扱いに対応していないウェブサーバ4および/または汎用コンピュータ5を介して、多視点の画像(例えば、立体視用画像)を実質的に別のゲーム装置3bと共有することが可能である。ウェブサーバ4は、改変多視点画像ファイル形式ファイルを通常の平面視用画像ファイルと同様に取り扱うことが可能であり、そのような改変多視点画像ファイル形式ファイルは、ゲーム装置3では、多視点画像(例えば、立体視用画像)を記憶しているファイルとして、ユーザに立体視を提供することができる。このように、ゲーム装置3aのユーザは、ウェブサーバ4の立体視用画像の取扱い対応の有無に依存することなく、ウェブサーバ4を介して、別のゲーム装置3(ゲーム装置3b)のユーザと多視点画像を含むファイル(例えば、立体視用画像ファイル)を共有し得る。
【0104】
(より具体的な処理の流れ)
(例示的な処理)
以下、添付の図のフローチャートなどを参照して、本発明の例示的実施形態の情報処理プログラムに基づいて実行される処理の流れを説明する。なお、添付の図面において、「ステップ」を、「S」と略記する。なお、添付の図面のフローチャートは、処理過程の単なる一例にすぎない。したがって、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。
【0105】
以下、添付の図を参照して、本発明の例示的実施形態に係る情報処理プログラムが、行う具体的な処理の一例について説明する。図1に示されたように、この例示的実施形態では、ゲーム装置3、ウェブサーバ4および汎用コンピュータ5を含むシステムを含む。
【0106】
(メモリマップ)
まず、本実施形態に係る情報処理プログラムの実行中にメインメモリ32に記憶される主なデータについて説明する。図4は、ゲーム装置3のメインメモリ32のメモリマップを示す図である。図4に示されるように、メインメモリ32には、情報処理プログラム70、ウェブブラウザアプリケーション71、立体用画像72、改変立体用画像73、各種変数74等が記憶される。本明細書において特に明示しなければ、いずれにパラメータも、ゲーム装置3の当該メインメモリ32において記憶され、また再利用されることが可能である。代替的に、これらのパラメータ等を示すデータは、ゲーム装置3の別の記憶領域に保存され、さらにそこから読み出されることで再利用されてもよい。
【0107】
(ゲーム装置3側の処理)
(ゲーム装置3からウェブサーバ4へのアップロード)
図1に示された情報処理システムで行われる情報処理のうち、主に、ゲーム装置3で行われる情報処理の詳細について、以下に説明する。
【0108】
図5Aは、本発明の例示的実施形態であるゲーム装置3において、その情報処理プログラム70に基づいて行われるメイン処理の一例を示すフローチャートである。
【0109】
ステップ201において、CPU311は、立体視用画像の生成・出力・記憶を行う。具体的には、CPU311は、ゲーム装置3において実行されているアプリケーションの要求・ユーザの操作に従って、立体視用画像を生成する。上述のように、ゲーム装置3は、ステレオカメラとして機能し得る、左眼用の外側撮像部23aおよび右眼用の外側撮像部23bを備えている。ゲーム装置3は、このステレオカメラによって撮像された立体視用画像(両眼視差を反映した画像群)を生成するプログラムを実行し得る。ゲーム装置3は、この生成した立体視用画像を、所定の形式(例えば、マルチピクチャーフォーマット)のファイルとして保存し得る。他方、CPU311は、上側LCD22に表示されている立体視可能なゲーム画像を立体視可能なスクリーンショットとして保存することで立体視用画像を生成してもよい。
【0110】
ステップ202において、CPU311は、ウェブサーバ4に多視点画像ファイル形式ファイル(例えば、立体視用画像ファイル)をアップロードするための準備処理を行う。具体的には、CPU311は、図5Bに示される一連の処理を行う。図5Bは、例示的な画像共有用準備処理を示すフローチャートである。
【0111】
図5Bにおける、ステップ211において、CPU311は、ウェブサーバ4にアップロードして共有する対象となり得る多視点の画像(本例では、立体視用画像)を選択し、取得する。この画像の選択は、予め与えられた設定またはユーザの入力または別のプログラムによる要求に応じて適宜行われる。CPU311は、処理対象として選択された画像に対応する画像ファイルを、ゲーム装置3の記憶領域(例えば、メインメモリ32)から取得する。例えば、ここに選択された立体視用画像ファイル(例えば、図4における、立体視用画像1〜n)のファイル形式は、例えば、マルチピクチャーフォーマットである。
【0112】
ステップ212において、CPU311は、その多視点画像ファイル形式(この例において、マルチピクチャーフォーマット)のファイル名の拡張子のみを、JPEGに対応する拡張子(.JPG)に変更したファイルを生成する。この際、CPU311は、オリジナルのマルチピクチャーフォーマットファイルのファイル名を変更してもよいが、当該マルチピクチャーフォーマットファイルを複製し、その複製されたマルチピクチャーフォーマットファイルのファイル名を変更して、改変立体視用画像ファイルとして(例えば、改変立体視用画像1〜n(図4)に)保存する。その後、CPU311は、この画像共有用準備処理を終了し、図5Aのステップ203の処理に進む。
【0113】
ステップ203において、CPU311は、サーバ4への画像送信要求の有無を判定する。具体的には、CPU311は、ウェブサーバ4に送信すべき画像ファイルを指定する、ユーザ入力による要求またはゲーム装置3で実行されている所定のプログラムによる要求の有無を判定する。画像送信要求がある場合(ステップ203、YES)、CPU311はその指定された画像ファイルについてステップ204の処理を行う。他方、画像送信要求がない場合(ステップ203、NO)、CPU311は、ステップ204の処理をスキップし、ステップ205の処理に進む。
【0114】
ステップ204において、CPU311は、画像送信処理を行う。具体的には、CPU311は、改変立体視用画像ファイルをウェブサーバ4にアップロードする。このとき、CPU311は、この改変立体視用画像ファイルを、通常の静止画データに対応したJPEGファイルを送信するのと同様のプロトコルに基づき、ウェブサーバ4にアップロードし得る。
【0115】
ステップ205において、CPU311は、立体視用画像の生成を終了するか否かを判定する。終了しない場合は、CPU311は、ステップ201の処理に戻る。
【0116】
(ウェブサーバ4からゲーム装置3へのダウンロード)
図1において、CPU311が、記号DW1で示されたウェブサーバ4からダウンロードした画像について処理する過程を、図5Cを参照しつつ説明する。図5Cは、ゲーム装置3(例えば、ゲーム装置3aまたはゲーム装置3b)が画像ファイルをウェブサーバ4から取得する際の処理の一例を示すフローチャートである。
【0117】
ステップ301において、CPU311は、画像ファイルをサーバ4から受信する。具体的には、CPU311は、例えば、ゲーム装置3側からの要求に応じてウェブサーバ4が提供した画像ファイルをダウンロードし得る。より具体的には、ゲーム装置3のウェブブラウザ71が、例えば、ウェブサーバ4が提供するウェブサイトにアクセスし、そのサイトにおいて提供されるサムネイルを含む画像一覧からユーザ所望の画像を選択し、選択した画像の画像ファイルをダウンロードする。
【0118】
ステップ302において、CPU311は、ダウンロードした画像ファイルの画像ファイル種別解析処理を行う。具体的には、CPU311がダウンロードした画像ファイルが、改変多視点画像ファイル形式ファイル(例えば、改変立体視用画像ファイル)であるか、または平面視用画像ファイルであるかを判定する。
【0119】
具体的には、CPU311は、例えば、その改変多視点画像ファイル形式ファイルを拡張子で判定しなくとも、ダウンロードした画像が有するその他の情報から改変立体視用画像ファイル(例えば、ファイル名以外の実体としてマルチピクチャーフォーマットである画像ファイル)であるか否を判定する。
【0120】
より具体的には、ゲーム装置3が、画像をダウンロードする場合を例について説明する。ゲーム装置3は、ウェブサーバ4からダウンロードした画像ファイルをマルチピクチャーフォーマットファイルとみなして解析をはじめる。そして、一例において、ゲーム装置3が、その画像ファイルにおいて、マルチピクチャーフォーマットにおける先頭画像以外に個別画像が含まれているか否かを判定し得る。これにより、ゲーム装置3bは、ダウンロードした画像が実体としてマルチピクチャーフォーマットファイルであるか否かを判定し得る。また、別例において、ゲーム装置3bは、そのダウンロードした画像ファイルにおいて、マルチピクチャーフォーマットの付属情報の領域(例えば、個別画像種別管理情報など)にある情報を読みだし、それらの情報から当該画像ファイルが多視点の画像を有しているか否かを判定し得る。ゲーム装置3bは、そこで取得した情報から多視点の画像(例えば、立体視用画像)の情報が処理対象のファイルに含まれていると判定した場合、ゲーム装置3bはその処理対象である画像ファイルは改変多視点画像ファイル形式ファイル(本例では、改変立体視用画像ファイル)であると判定し得る。
【0121】
ステップ303において、CPU311は、画像の実体が多視点の画像(この場合、立体視用画像)であり、かつ立体視表示の要求があるか否かを判定する。具体的には、ダウンロードされた画像ファイルが(ステップ302の判定において)改変多視点画像ファイル形式ファイルであり、かつ立体視表示の要求(例えば、ユーザ入力)がある場合(ステップ303、YES)、CPU311は、ステップ304の処理に進む。他方、これらの条件が満たさない場合(ステップ303、NO)は、CPU311は、ステップ304の処理を行わずに、ステップ305の処理に進む。なお、ダウンロードされた画像ファイルが平面視用画像ファイル(JPEG形式の画像ファイル)であり、かつ、立体視表示の要求があった場合には、CPU311は、ステップ305に進む前に、当該平面視用画像ファイルの画像をゲーム装置3の表示装置に表示する処理をおこなってもよい。
【0122】
ステップ304において、CPU311は、立体視用画像を立体視用表示装置に出力する処理を行う。具体的には、CPU311は、上側LCD22に、処理対象である立体視用画像ファイルの画像を表示する。上側LCD22は、実質的に同一の表示領域を用いて左眼用画像と右眼用画像が表示される。上述のように、上側LCD22は、パララックスバリア方式のディスプレイである。
【0123】
ステップ305において、CPU311は、連続的な立体視用画像表示の要否を判定する。具体的には、CPU311が、連続的に画像ファイルのダウンロードが行われること、その画像の表示されることに係る要求の有無に従い、本フローチャートの処理の終了を判定し得る。すなわち、連続的に本処理の継続が必要である場合(ステップ305、NO)は、CPU311は、ステップ301の処理に戻り、ユーザ入力などによる要求に応じて、新たな画像ファイルの受信処理を行う。他方、処理の継続が不要である場合(ステップ305、YES)は、CPU311は、本フローチャートで示された処理を終了する。
【0124】
なお、CPU311が改変立体視用画像ファイルをダウンロードした場合、CPU311は、代表的には、改変立体視用画像ファイルについて次のような保存処理が実行され得る。CPU311は、改変立体視用画像ファイルの拡張子を、平面視用画像形式ファイルの拡張子(すなわち、JPG)から多視点用画像形式ファイルの拡張子(すなわち、MPO)に変更する処理が行われる。これにより、ダウンロードした改変立体視用画像ファイルとしてサーバを経由して取得された画像も、その後に通常の立体視用画像ファイルとしての取扱いが担保される。そして、例えば、そのような通常の立体視用画像ファイルが、着脱可能な記憶媒体に記憶させる場合には、立体視を扱うことが可能な他の装置にその記憶媒体を介して立体視用画像を当該他の装置に移行し得る。
【0125】
(その他の事項)
上述の実施形態において、両眼視差を再現する手法として一般的なパララックスバリア方式を採用したディスプレイで再生可能な立体視用画像を生成する態様を説明した。しかし、立体視表示する手法としては、このパララックスバリア方式に限定されない。例えば、立体視表示する手法として、いわゆるインテグラル方式を作用してもよい。すなわち、両眼視差を再現する手法として、視差を反映した画像の表示を、物体が反射する光を表示装置で再現するという原理を利用してもよい。通常の表示装置の液晶では、RGBのサブピクセル3つで1つのピクセル(画素)を構成しているが、このインテグラル方式は別の構成を採用している。例えば、映像表示での1画素分を、27個のサブピクセルで構成する。そして、その表示装置は、視差情報を反映した9通りの映像を、特殊形状のレンズにより複数方向(上述の例の場合9方向)の光として放射する。これによって、上述のレンズ越しに見える画素群が左右の眼にわずかに異なる映像を投影することで両眼視差が生じ得る。
【0126】
そして、この例では、9通りの映像を用いているが、この9通りの映像が多視点の画像に対応した多視点画像ファイル形式で取り扱われる場合、上述のインテグラル方式に対応する画像ファイルも、立体視用画像に係る本発明の上述の例示的な実施形態と同様に、本発明の要旨を逸脱せずにその変形例において利用され得る。
【0127】
上記実施形態では、ゲーム装置3を用いて情報処理プログラム70について説明しているが、他の実施形態では、任意の情報処理装置または情報処理システム(例えば、PDA(Personal Digital Assistant)、携帯電話、パーソナルコンピュータ、カメラ等)において、本発明の情報処理プログラムを使用してもよい。
【0128】
また、上記実施形態では、一台の装置(ゲーム装置3)のみによってゲーム処理に伴う情報処理プログラムを実行しているが、他の実施形態では、互いに通信可能な複数の情報処理装置を有する画像表示システムにおいて、当該複数の情報処理装置が画像表示処理を分担して実行するようにしてもよい。
【0129】
なお、汎用的なプラットフォームにおいて本発明の画像制御プログラム等が使用される場合には、当該表示制御プログラムが、当該プラットフォームにおいて標準的に提供されるプログラムモジュールを用いることを前提として提供されてもよい。上述のようなモジュールによって機能が補完されることを前提に、上記情報処理プログラムから上述のようなモジュールに対応する機能を除いたものは、実質的にこの情報処理プログラムに相当すると理解されるべきである。
【0130】
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。ここで、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて均等な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書(定義を含めて)が優先する。
【符号の説明】
【0131】
3 ゲーム装置
4 ウェブサーバ
5 汎用コンピュータ
11 下側ハウジング
12 下側LCD
13 タッチパネル
14 操作ボタン
15 アナログスティック
16 LED
21 上側ハウジング
22 上側LCD
23 外側撮像部
23a 外側撮像部(左)
23b 外側撮像部(右)
24 内側撮像部
25 3D調整スイッチ
26 3Dインジケータ
28 タッチペン
31 情報処理部
311 CPU
312 GPU
32 メインメモリ

【特許請求の範囲】
【請求項1】
平面視用画像ファイル形式の画像ファイルを管理するサーバと、当該サーバを介して画像ファイルを送受信可能な複数の第1情報処理装置を含む情報処理システムであって、
前記第1情報処理装置のうちの少なくとも1つは、
多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信手段を備え、
前記第1情報処理装置のうちの少なくとも1つは、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御手段を備える、情報処理システム。
【請求項2】
前記第1送信手段は、前記多視点画像ファイル形式の画像ファイルのメタデータのうち当該画像ファイルの拡張子を前記平面視用画像ファイル形式の拡張子を変更して当該画像ファイルを前記サーバに送信する、請求項1に記載の情報処理システム。
【請求項3】
前記多視点画像ファイル形式は、当該多視点画像ファイル形式の画像ファイルのメタデータを前記平面視用画像ファイル形式のメタデータに変更した場合に、前記多視点の画像のうちの1つの画像を平面視用画像として読み出すことが可能な形式である、請求項1または請求項2に記載の情報処理システム。
【請求項4】
前記多視点画像ファイル形式は、マルチピクチャーフォーマットであり、
前記平面視用画像ファイル形式は、JPEGフォーマットである、請求項1から請求項3のいずれか1項に記載の情報処理システム。
【請求項5】
前記情報処理システムは、前記サーバを介して前記第1情報処理装置と画像ファイルを送受信可能な第2情報処理装置をさらに含み、
前記第2情報処理装置は、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合であっても、当該多視点の画像のうちの1つの画像を用いて第2表示装置に平面視表示させる第2表示制御手段を備える、請求項1から請求項4のいずれか1項に記載の情報処理システム。
【請求項6】
前記第2情報処理装置は、
平面視用画像ファイル形式の画像ファイルを前記サーバに送信する第2送信手段をさらに備え、
前記サーバは、
前記第1情報処理装置の第1送信手段により送信された平面視用画像ファイル形式の画像ファイルと前記第2情報処理装置の第2送信手段により送信された平面視用画像ファイル形式の画像ファイルとを蓄積的に記憶する記憶手段と、
前記記憶手段に記憶されている画像ファイルを前記第1情報処理装置および前記第2情報処理装置に対して送信する第3送信手段とを備える、請求項1から請求項5のいずれか1項に記載の情報処理システム。
【請求項7】
前記第1情報処理装置は、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該画像ファイルのメタデータを前記多視点画像ファイル形式のメタデータに変更して保存する保存手段をさらに備える、請求項1から請求項6のいずれか1項に記載の情報処理システム。
【請求項8】
前記サーバは、
前記平面視用画像ファイル形式の画像ファイルにより示される画像に対して画像処理を行う画像処理手段をさらに有する、請求項1から請求項7までのいずれか1項に記載の情報処理システム。
【請求項9】
前記第1情報処理装置は、
複数の視点で撮影を行うことにより立体視用画像を取得可能な撮像手段をさらに有する、請求項1から請求項8までのいずれか1項に記載の情報処理システム。
【請求項10】
前記撮像手段は、
単一の視点で撮影を行うことにより平面視用画像をも取得可能であり、
前記第1送信手段は、
前記撮像手段により取得された平面視画像を示す平面視用画像ファイル形式の画像ファイルを前記サーバに送信する、請求項9に記載の情報処理システム。
【請求項11】
平面視用画像ファイル形式の画像ファイルを管理するサーバおよび当該サーバを介して画像ファイルを送受信可能な複数の第1情報処理装置の間で行われる情報処理方法であって、
前記第1情報処理装置のうちの少なくとも1つが、多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信ステップ、および
前記第1情報処理装置のうちの少なくとも1つが、前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御ステップを含む、情報処理方法。
【請求項12】
平面視用画像ファイル形式の画像ファイルを管理するサーバと、当該サーバを介して画像ファイルを送受信可能な複数の第1情報処理装置を含む情報処理システムに含まれるコンピュータで実行される情報処理プログラムであって、
前記プログラムは、
前記第1情報処理装置のコンピュータのうちの少なくとも1つを、
多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信手段として機能させ、
前記第1情報処理装置のコンピュータのうちの少なくとも1つを、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御手段として機能させる、情報処理プログラム。
【請求項13】
平面視用画像ファイル形式の画像ファイルを管理するサーバを介して他の情報処理装置と画像ファイルを送受信可能な情報処理装置であって、
多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信手段、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御手段を備える、情報処理装置。
【請求項14】
平面視用画像ファイル形式の画像ファイルを管理するサーバを介して他の情報処理装置と画像ファイルを送受信可能な情報処理装置で実行される情報処理方法あって、
多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信ステップ、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御ステップを含む、情報処理方法。
【請求項15】
平面視用画像ファイル形式の画像ファイルを管理するサーバを介して他の情報処理システムと画像ファイルを送受信可能な情報処理システムであって、
多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信手段、
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示システムにマルチビュー表示させる第1表示制御手段を備える、情報処理システム。
【請求項16】
平面視用画像ファイル形式の画像ファイルを管理するサーバを介して他の情報処理装置と画像ファイルを送受信可能な情報処理装置のコンピュータで実行される情報処理プログラムであって、
前記情報処理プログラムは、前記コンピュータを
多視点の画像を記録した多視点画像ファイル形式の画像ファイルのメタデータを平面視用画像ファイル形式の画像ファイルのメタデータに変更して前記サーバに送信する第1送信手段、および
前記サーバから受信した平面視用画像ファイル形式の画像ファイルに多視点の画像が記録されている場合、当該多視点の画像を用いて第1表示装置にマルチビュー表示させる第1表示制御手段として機能させる、情報処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate