説明

電子機器、表示制御方法、およびプログラム

【課題】動画像を構成するフレームに異常があっても、再生時において動画像の乱れを低減可能にする電子機器を提供する。
【解決手段】電子機器は、複数の3次元画像フレームの各々をディスプレイに表示する前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断する。電子機器は、複数の3次元画像フレームを前記予め定められた順序および時間間隔でディスプレイに表示するに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断すると、当該3次元画像フレームをディスプレイに表示する代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像をディスプレイに表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、表示制御方法、およびプログラムに関する。特に、本発明は、立体画像データを生成する電子機器、当該電子機器における表示制御方法、および当該電子機器を制御するためのプログラムに関する。
【背景技術】
【0002】
従来、デジタル撮像を行なうデジタル方式の撮像装置が知られている。特許文献1には、上記撮像装置として、光電変換を用いて被写体の画像を取得する画像取得手段と、当該画像取得手段により時系列的に取得される複数の画像に基づいて、撮影者の手指が撮影対象領域内に含まれているか否かを判定する判定手段とを備える装置が開示されている。また、当該撮像装置は、指が写っていると判定した場合、撮像画像から指が写っている領域を削除する。さらに、撮像装置は、当該削除により得られた画像を記録媒体に記録する。
【0003】
また、従来、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置が知られている。
【0004】
特許文献2には、上記複眼式の撮像装置として、複眼カメラが開示されている。複眼カメラは、2つの撮影部が取得した視点画像の画角に障害物が含まれているか否かを判定する。具体的には、複眼カメラは、視点画像の周囲の所定範囲の領域に障害物が含まれるか否かを判定する。複眼カメラは、障害物が含まれていると判定された場合、障害物が含まれる障害物領域を立体視可能なように、2つの撮影部が取得した視点画像を修正する。さらに、複眼カメラは、修正された視点画像を用いて3次元処理を行い、立体表示用画像を生成する。
【0005】
特許文献3には、上記複眼式の撮像装置として、複眼デジタルカメラが開示されている。当該複眼デジタルカメラは、複数の撮像手段と、縦撮りか否かを検出する検出手段と、複数の撮像手段のうちの一部又は全部の撮像手段から得られる画像を記録媒体に記録する記録手段と、撮影を指示するシャッタボタンと、検出手段により縦撮りが検出され、かつシャッタボタンにより撮影が指示された場合に、複数の撮像手段のうちの一部の撮像手段から得られる画像を記録媒体に記録するように記録手段を制御する制御手段とを備える。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−40712号公報
【特許文献2】特開2010−288253号公報
【特許文献3】特開2008−141514号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の撮像装置は、上述したように、指写り領域の判定に加えて、撮像画像から指写り領域を削除するためのデータ処理を行なう必要があるため、データ処理に時間を要する。また、特許文献1には、指写り領域の判定については開示しているが、立体画像データを得るための構成については、なんら言及されていない。
【0008】
また、特許文献2の複眼カメラは、立体画像を得るために、2つの撮影部が取得した視点画像を修正する構成である。しかしながら、当該複眼カメラは、障害物が含まれるか否かを判断するためのデータ処理と、2つの撮像部が取得した視点画像の少なくとも一方を修正するためのデータ処理とが必要であるため、データ処理に時間を要する。
【0009】
また、特許文献3の複眼式のデジタルカメラは、縦撮りの場合、複数の撮像手段のうち予め定められた撮像手段からの得られる画像のみを記録媒体に記録する。このため、当該予め定められた撮像手段のレンズにユーザの指や当該複眼式デジタルカメラのストラップ等の物体がかかった場合、ユーザは、物体が写った画像しか得られない。
【0010】
さらに、特許文献1〜3の各装置は、静止画像を対象としており、動画像の一部のフレームに指等の物体(障害物)が含まれるときのデータ処理については、なんら言及されていない。
【0011】
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、動画像を構成するフレームに異常があっても、再生時において動画像の乱れを低減可能にする電子機器、表示制御方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明のある局面に従うと、電子機器は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる。電子機器は、プロセッサと、複数の左目用フレームを含む左目用画像データと、複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備える。プロセッサは、複数の3次元画像フレームの各々をディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断する。プロセッサは、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとの両方に物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイに表示させ、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断された場合には、当該3次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像をディスプレイに表示させる。
【0013】
本発明の他の局面に従うと、電子機器は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる。電子機器は、プロセッサと、複数の左目用フレームを含む左目用画像データと、複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備える。プロセッサは、複数の3次元画像フレームの各々をディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとが、デコード可能であるか否かを判断する。プロセッサは、複数の3次元画像フレームを予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイに表示させ、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該3次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく2次元画像をディスプレイに表示させる。
【0014】
好ましくは、メモリは、フレーム数に関する閾値を予め格納している。プロセッサは、複数の3次元画像フレームの各々をディスプレイに表示させる前に、ディスプレイに2次元画像フレームを閾値以上連続して表示させることになるか否かを判断する。プロセッサは、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、2次元画像フレームを閾値以上連続して2次元表示させることになると判断された場合、複数の他方のフレームに基づく2次元画像をディスプレイに動画像表示させ、2次元画像フレームを閾値以上連続して2次元表示させることにならないと判断された場合、複数の一方のフレームと他方のフレームとに基づく3次元画像フレームをディスプレイに表示させる。
【0015】
好ましくは、メモリは、時間に関する閾値を予め格納している。プロセッサは、複数の3次元画像フレームの各々をディスプレイに表示させる前に、ディスプレイに2次元画像フレームを閾値以上連続して表示させることになるか否かを判断する。プロセッサは、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、2次元画像を閾値以上連続して2次元表示させることになると判断された場合に、複数の他方のフレームに基づく2次元画像をディスプレイに動画像表示させ、2次元画像を閾値以上連続して2次元表示させることにならないと判断された場合、複数の一方のフレームと他方のフレームとに基づく3次元画像フレームをディスプレイに表示させる。
【0016】
好ましくは、プロセッサは、他方のフレームをメモリから消去する。
好ましくは、プロセッサは、左目用画像データと右目用画像データとから構成されるコンテンツを最初に再生する場合に、複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに物体の画像が含まれているか否かを判断する。プロセッサは、コンテンツを再度再生する場合には、最初の再生時における判断の結果を利用する。
【0017】
好ましくは、プロセッサは、左目用画像データと右目用画像データとから構成されるコンテンツを最初に再生する場合に、複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとがデコード可能であるか否かを判断する。プロセッサは、コンテンツを再度再生する場合には、最初の再生時における判断の結果を利用する。
【0018】
本発明のさらに他の局面に従うと、表示制御方法は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器に用いられる。表示制御方法は、電子機器のプロセッサが、複数の3次元画像フレームの各々をディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、プロセッサが、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとの両方に物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイに表示させるステップと、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断された場合には、当該3次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像をディスプレイに表示させるステップとを備える。
【0019】
本発明のさらに他の局面に従うと、表示制御方法は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器に用いられる。表示制御方法は、電子機器のプロセッサが、複数の3次元画像フレームの各々をディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとが、デコード可能であるか否かを判断するステップと、プロセッサが、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイに表示させるステップと、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該3次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく2次元画像をディスプレイに表示させるステップとを備える。
【0020】
本発明のさらに他の局面に従うと、プログラムは、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御する。プログラムは、複数の3次元画像フレームの各々をディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとの両方に物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイに表示させるステップと、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に物体の画像が含まれていると判断された場合には、当該3次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像をディスプレイに表示させるステップとを、電子機器のプロセッサに実行させる。
【0021】
本発明のさらに他の局面に従うと、プログラムは、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御する。プログラムは、複数の3次元画像フレームの各々をディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとが、デコード可能であるか否かを判断するステップと、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、3次元画像フレームを構成する左目用フレームと右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイに表示させるステップと、3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該3次元画像フレームをディスプレイに表示させる代わりに、左目用フレームと右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく2次元画像をディスプレイに表示させるステップとを、電子機器のプロセッサに実行させる。
【発明の効果】
【0022】
本発明によれば、動画像を構成するフレームに異常があっても、再生時において動画像の乱れを低減可能となる。
【図面の簡単な説明】
【0023】
【図1】電子機器の外観を示した図である。
【図2】電子機器とは異なる撮像装置を用いて被写体を撮像したときに得られる画像を説明するための図である。
【図3】電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理を説明するための図である。
【図4】図3(d)に示した3次元画像データに基づく動画をディスプレイに表示した場合における、画面遷移を説明するための図である。
【図5】電子機器のハードウェア構成を示した図である。
【図6】左目用フレームと対応する右目用フレームとで構成されるフレーム対のデコード処理のタイミングと、3次元画像フレームに基づく3次元画像の表示処理のタイミングとの関係を説明するための図である。
【図7】電子機器における処理の流れを示したフローチャートである。
【図8】電子機器における図7の処理とは異なる処理の流れを示したフローチャートである。
【図9】電子機器がフレームを消去する処理を説明するための図である。
【図10】電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理の他の例を説明するための図である。
【図11】図10に基づいて説明した処理の流れを示したフローチャートである。
【図12】電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理のさらに他の例を説明するための図である。
【図13】実施の形態2の電子機器が撮像装置から動画像データを取得した場合における、電子機器のデータ処理を説明するための図である。
【図14】実施の形態2における電子機器における処理の流れを示したフローチャートである。
【図15】実施の形態1の処理と実施の形態2の処理とを組み合わせたときのデータ処理を説明するための図である。
【発明を実施するための形態】
【0024】
以下、図面を参照しつつ、本発明の実施の形態に係る電子機器について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0025】
本発明の実施の形態に係る電子機器は、動画像を再生可能な機器である。当該電子機器としては、スマートフォンを含む携帯型電話機、PDA(Personal Digital Assistant)、タブレット型のコンピュータ、ラップトップ型のコンピュータ、デスクトップ型のコンピュータ、デジタルフォトアルバム(デジタルフォトフレーム)、電子辞書、電子ブックリーダ、デジタルカメラ等が挙げられる。また、電子機器は、ディスプレイを備えておらず、他の装置のディスプレイに画像を出力する装置であってもよい。以下では、電子機器として、ディスプレイを備える機器を例に挙げて説明する。
【0026】
[実施の形態1]
<A.外観>
図1は、本実施の形態に係る電子機器1の外観を示した図である。図1を参照して、電子機器1は、ディスプレイ105と、操作キー107とを備える。電子機器1は、2次元表示と3次元表示とが可能に構成されている。電子機器1は、3次元表示の方法として視差バリア方式を用いている。電子機器1は、ディスプレイ105に、右目用画像と左目用画像とを、xまたはy方向において交互に表示する。なお、3次元表示の方法は、視差バリア方式に限定されるものではなく、たとえば、レンチキュラ方式、偏光板方式、液晶アクティブシャッターメガネ方式等の各種の方式を用いることもできる。
【0027】
詳細については後述するが、電子機器1は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成する。電子機器1は、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイ105に表示させる。なお、図面においては、説明の便宜上、3次元を「3D」と表記し、2次元を「2D」として表記する。
【0028】
<B.データ処理の概要>
(b1.データ処理の対象物)
図2は、電子機器1とは異なる撮像装置700を用いて被写体を撮像したときに得られる画像を説明するための図である。詳しくは、図2は、撮像装置700の2つのカメラ711,712を用いて被写体の動画を撮像したときに得られる左目用画像データと右目用画像データとを説明するための図である。より詳しくは、図2は、一方の視点画像データである左目用画像データを構成する一つの画像フレーム(以下、「左目用フレーム」と称する)と、他方の視点画像データである右目用画像データを構成する一つの画像フレーム(以下、「右目用フレーム」と称する)とを説明するための図である。
【0029】
図2(a)は、撮像装置700のユーザが、被写体の撮像のために、両手で撮像装置700を把持した状態であって、右手の指901がカメラ711のレンズの一部にかかっている状態を示した図である。図2(b)は、図2(a)の状態での撮像によって、右目用フレーム812に指901が写り込んだ状態を表した図である。
【0030】
図2(c)は、撮像装置700のユーザが、被写体の撮像のために、両手で撮像装置700を把持した状態であって、左手の指902がカメラ712のレンズの一部にかかっている状態を示した図である。図2(d)は、図2(c)の状態での撮像によって、左目用フレーム821に指902が写り込んだ状態を表した図である。
【0031】
以下では、主として、動画像データである左目用画像データおよび右目用画像データを構成する一部のフレームに指等の障害物が写り込んでしまった場合を説明する。具体的には、電子機器1が、撮像装置700が撮像した上記動画像データを取得して、当該動画像データを表示(再生)する場合におけるデータ処理について説明する。なお、電子機器1が撮像装置700から動画像データを取得する方法としては、たとえば、有線もしくは無線による直接的な通信による取得、記録媒体を介した取得、またはネットワークを介した取得等が挙げられる。
【0032】
「障害物」とは、撮像装置700における撮像素子への外光の入射を遮った物体を意味する。障害物としては、指以外にも、撮像装置700のストッラップ等が挙げられる。以下では、説明の便宜上、障害物として、手の指を例に挙げて説明する。
【0033】
(b2.データ処理)
図3は、電子機器1が撮像装置700から動画像データを取得した場合における、電子機器1のデータ処理を説明するための図である。
【0034】
図3(a)は、左目用画像データ801と右目用画像データ802との各々に、指が写りこんだフレームが存在していない場合を表した図である。図3(a)を参照して、L(1)〜L(10)は左目用フレームを表しており、R(1)〜R(10)は右目用フレームを表している。なお、括弧「()」内の数字は、再生順序を表している。
【0035】
図3(b)は、電子機器1が、図3(a)の左目用画像データ801と右目用画像データ802とを用いて3次元画像データ803を生成し、当該生成された3次元画像データ803に基づく3次元画像をディスプレイ105に表示する場合における、電子機器1のデータ処理を説明するための図である。図3(b)を参照して、電子機器1は、左目用フレームL(1)と右目用フレームR(1)とから、3次元画像フレームを生成する。また、電子機器1は、他の左目用フレームL(2)〜L(10)と右目用フレームR(2)〜R(10)とについても、各々対応するフレーム同士から3次元画像フレームを生成する。
【0036】
電子機器1は、当該生成された複数の3次元画像フレームに基づく複数の3次元画像を、図3(b)に示す順序(予め定められた順序)および時間間隔で、ディスプレイ105に表示する。これにより、電子機器1のユーザは、左目用画像データ801と右目用画像データ802とに基づく3次元の動画像を視認することができる。
【0037】
図3(c)は、左目用画像データ801と右目用画像データ802との各々に、指が写りこんだフレームが存在している場合を表した図である。図3(c)を参照して、左目用画像データ801における7番目の左目用フレームL(7)に指が写りこんでいる。つまり、左目用フレーム821に指の画像が含まれている。また、右目用画像データ802における3番目の右目用フレームR(3)に指が写りこんでいる。つまり、右目用フレーム812に指の画像が含まれている。なお、左目用フレームL(7)は、図2(d)の左目用フレーム821に対応し、右目用フレームR(3)は、図2(b)の右目用フレーム812に対応する。
【0038】
図3(d)は、電子機器1が、図3(c)の左目用画像データ801と右目用画像データ802とを用いて3次元画像データ803を生成し、当該生成された3次元画像データ803に基づく3次元画像をディスプレイ105に表示する場合における、電子機器1のデータ処理を説明するための図である。図3(d)を参照して、電子機器1は、左目用フレームL(1)と右目用フレームR(1)とから、3次元画像フレームを生成する。次に、電子機器1は、左目用フレームL(2)と右目用フレームR(2)とから、3次元画像フレームを生成する。
【0039】
次に、電子機器1は、右目用フレームR(3)には指が写っているため、左目用フレームL(3)と右目用フレームR(3)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、右目用フレームR(3)を用いた表示は行なわない。電子機器1は、左目用フレームL(3)のみを表示対象とする。また、電子機器1は、左目用フレームL(4)〜L(6)と右目用フレームR(4)〜R(6)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0040】
次に、電子機器1は、左目用フレームL(7)には指が写っているため、左目用フレームL(7)と右目用フレームR(7)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、左目用フレームL(7)を用いた表示は行なわない。電子機器1は、右目用フレームR(7)のみを表示対象とする。また、電子機器1は、左目用フレームL(8)〜L(10)と右目用フレームR(8)〜R(10)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0041】
電子機器1は、当該生成された複数の3次元画像フレームに基づく複数の3次元画像と左目用フレームL(3)と、右目用フレームR(7)とを、図3(d)に示す順序(予め定められた順序)および時間間隔でディスプレイ105に表示する。これにより、電子機器1のユーザは、指が含まれた3次元画像フレームに基づく3次元画像を視認しなくてもよくなる。つまり、電子機器1は、動画像の一部のフレームに指の画像が含まれている場合(フレームに異常がある場合)に、指による動画像の乱れを低減できる。その結果、指が含まれた3次元画像を視認する場合に比べて、電子機器1のユーザへ負担を軽減することができる。また、フレーム飛びが生じないため、フレーム飛びが生じる構成よりも、高品質な映像(動画像)を電子機器1のユーザに提供することができる。
【0042】
図4は、図3(d)に示した3次元画像データ803に基づく動画をディスプレイ105に表示した場合における、画面遷移を説明するための図である。図4(a)を参照して、1番目のフレームは3次元画像フレームであるため、電子機器1は、当該3次元画像フレームに基づく3次元画像をディスプレイ105に表示する。次に、図4(b)を参照して、2番目のフレームは3次元画像フレームであるため、電子機器1は、当該3次元画像フレームに基づく3次元画像をディスプレイ105に表示する。次に、図4(c)を参照して、3番目のフレームは2次元画像フレームであるため、電子機器1は、当該2次元画像フレームに基づく2次元画像をディスプレイ105に表示する。つまり、電子機器1は、3次元画像データ803における表示態様を3次元表示から2次元表示に切り替える。
【0043】
次に、図4(d)を参照して、4番目のフレームは3次元画像フレームであるため、電子機器1は、当該3次元画像フレームに基づく3次元画像をディスプレイ105に表示する。つまり、電子機器1は、3次元画像データ803における表示態様を2次元表示から3次元表示に切り替える。
【0044】
以下同様に、図4(e),(f)を参照して、電子機器1は、5番目および6番目の3次元画像フレームに基づく3次元画像の各々をディスプレイ105に順番に表示する。次に、図4(g)を参照して、7番目のフレームは2次元画像フレームであるため、電子機器1は、当該2次元画像フレームに基づく2次元画像をディスプレイ105に表示する。さらに、図4(h)〜(j)を参照して、電子機器1は、8番目〜10番目の3次元画像フレームに基づく3次元画像の各々をディスプレイ105に順番に表示する。
【0045】
<C.ハードウェア構成>
図5は、電子機器1のハードウェア構成を示した図である。図5を参照して、電子機器1は、プログラムを実行するCPU(Central Processing Unit)101と、データを不揮発的に格納するROM(Read Only Memory)102と、データを揮発的に格納するRAM(Random Access Memory)103と、フラッシュメモリ104と、ディスプレイ105と、スピーカ106と、電子機器1のユーザによる指示の入力を受ける操作キー107と、通信IF(Interface)108と、IC(Integrated Circuit)カードリーダライタ109と、電源ユニット110とを備える。
【0046】
フラッシュメモリ104は、不揮発性の半導体メモリである。フラッシュメモリ104は、CPU101が実行するプログラム、後述する各種データを格納している。また、フラッシュメモリ104は、電子機器1が生成したデータ、電子機器1の外部装置から取得したデータ等の各種データを揮発的に格納する。
【0047】
スピーカ106は、プロセッサ101からの指令に応じて音を発生させる。通信IF108は、他の装置と通信を行なうための用いられるインターフェースである。通信IF108は、無線および/または有線にてデータを送信するための処理を行なう。
【0048】
各構成要素101〜110は、相互にデータバスによって接続されている。ICカードリーダライタ109には、メモリカード1091が装着される。
【0049】
電子機器1における処理は、各ハードウェアおよびCPU101により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ104に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1091その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、ICカードリーダライタ109その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信IFを介してダウンロードされた後、フラッシュメモリ104に一旦格納される。そのソフトウェアは、CPU101によってフラッシュメモリ104から読み出され、さらにフラッシュメモリ104に実行可能なプログラムの形式で格納される。CPU101は、そのプログラムを実行する。
【0050】
同図に示される電子機器1を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュメモリ104、メモリカード1091その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器1の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0051】
なお、記録媒体としては、DVD-ROM、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
【0052】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0053】
<D.デコードと表示とのタイミング>
図6は、左目用フレームと対応する右目用フレームとで構成されるフレーム対のデコード処理のタイミングと、3次元画像フレームに基づく3次元画像の表示処理のタイミングとの関係を説明するための図である。なお、上述した図3においては、たとえば、左目用フレームL(1)と右目用フレームR(1)とで、1つのフレーム対が構成される。
【0054】
図6(a)は、デコードと表示とのタイミングについての第1の例を示した図である。図6(a)を参照して、電子機器1は、デコード処理が完了したフレーム対から順に3次元画像フレームを生成し、当該生成された3次元画像フレームに基づく3次元画像および指が含まれていない方のフレームに基づく2次元画像をディスプレイ105に表示させる。つまり、電子機器1は、デコード処理と表示処理とを並列で処理する。
【0055】
図6(b)は、デコードと表示とのタイミングについての第2の例を示した図である。図6(b)を参照して、電子機器1は、全てのフレーム対についてのデコードが完了した後に、3次元画像フレームを生成し、当該生成された3次元画像フレームに基づく3次元画像および指が含まれていない方のフレームに基づく2次元画像をディスプレイ105に表示させる。つまり、電子機器1は、デコード処理を行なった後に表示処理を行なう。
【0056】
なお、図6(a)に示したタイミングで処理を行なうか、図6(b)に示したタイミングで処理を行なうかは、電子機器1において予め定められている。
【0057】
<E.制御構造>
図7は、電子機器1における処理の流れを示したフローチャートである。具体的には、図7は、デコード処理と、2次元画像を表示させるか3次元画像を表示させるかの判定処理とを説明するための図である。
【0058】
図7を参照して、ステップS2において、電子機器1は、変数iの値を1とする。ステップS4において、電子機器1は、i番目のフレーム対に含まれる左目用フレームL(i)と右目用フレームR(i)とをデコードする。
【0059】
ステップS6において、電子機器1は、デコードされた両フレームの一方に指の画像が含まれているか否かを判断する。当該判断は、たとえば、背景技術として記載した技術を用いることができる。あるいは、CPU101は、左目用画像データに基づく左目用画像において、予め定められた広さにわたり輝度が閾値以下となる領域が存在する場合に、左目用画像データに障害物の画像が含まれていると判断してもよい。あるいは、CPU101は、左目用画像データに基づく左目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在し、かつ、右目用画像データに基づく右目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在しない場合に、左目用画像データに障害物の画像が含まれていると判断してもよい。障害物の画像が含まれているか否かの手法は、特に限定されるものではない。
【0060】
両フレームの一方に指の画像が含まれていると判断された場合には(ステップS6においてYES)、ステップS8において、i番目のフレーム対を、指が含まれていないフレームを用いて2次元表示するフレーム対であると特定する。一方、両フレームの一方に指の画像が含まれていない(正確には、いずれかのフレームにも指の画像が含まれていない)と判断された場合には(ステップS6においてNO)、ステップS12において、i番目のフレーム対を、両フレームを用いて3次元表示するフレーム対であると決定する。
【0061】
ステップS10において、電子機器1は、全てのフレーム対をデコードしたか否かを判断する。全てのフレーム対がデコードされていないと判断された場合(ステップS10においてNO)、電子機器1は、ステップS14において、iの値をインクリメントする。つまり、変数iの値を1増加させる。一方、全てのフレーム対がデコードされたと判断された場合(ステップS10においてYES)、一連の処理を終了する。
【0062】
図8は、電子機器1における図7の処理とは異なる処理の流れを示したフローチャートである。具体的には、図8は、図7の判定処理に基づく表示処理を説明するための図である。
【0063】
図8を参照して、ステップS102において、電子機器1は、変数iの値を1とする。ステップS104において、電子機器1は、i番目のフレーム対が3次元表示するフレーム対であるか否かを判断する。
【0064】
電子機器1は、3次元表示するフレーム対であると判断した場合(ステップS104においてYES)、ステップS106において、i番目のフレーム対に含まれる左目用フレームと右目用フレームとを用いて3次元表示を行なう。電子機器1は、3次元表示するフレーム対でないと判断した場合(ステップS104においてNO)、ステップS110において、i番目のフレーム対に含まれる指の含まれていないフレームを用いて2次元表示する。
【0065】
ステップS108において、電子機器1は、全てのフレーム対を表示したか否かを判断する。電子機器1は、全てのフレーム対を表示していないと判断した場合(ステップS108においてNO)、ステップS112においてiの値をインクリメントする。電子機器1は、全てのフレーム対を表示したと判断した場合(ステップS108においてYES)、一連の処理を終了する。
【0066】
以上のように、電子機器1は、複数の左目用フレームと、各々が互いに異なる左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイ105に表示させる。電子機器1は、CPU101と、複数の左目用フレームを含む左目用画像データ801と、複数の右目用フレームを含む右目用画像データ802とを格納するためのフラッシュメモリ104とを備える。
【0067】
CPU101は、複数の3次元画像フレームの各々をディスプレイ105に表示させる前に、当該複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに、撮像装置700の撮像素子への外光の入射を遮った指(物体,障害物)の画像が含まれているか否かを判断する。CPU101は、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイ105に表示させるに際し、(i)3次元画像フレームを構成する左目用フレームと右目用フレームとの両方に指の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームをディスプレイ105に表示させ、(ii)3次元画像フレームを構成する左目用フレームと右目用フレームとのいずれか一方に指の画像が含まれていると判断された場合には、当該3次元画像フレームをディスプレイ105に表示させる代わりに、左目用フレームと右目用フレームとのうち、指の画像が含まれていないと判断された他方のフレームに基づく2次元画像をディスプレイ105に表示させる。
【0068】
したがって、電子機器1は、指が含まれたフレームを用いた3次元画像データに基づく3次元画像をディスプレイ105に表示しない。また、指が含まれているフレームと対をなすフレームを用いた2次元画像を、3次元画像の代わりにディスプレイ105に表示する。それゆえ、電子機器1は、上述したように、動画像の一部のフレームに指の画像が含まれている場合(フレームに異常がある場合)に、当該指による動画像の乱れを低減可能となる。
【0069】
また、動画像の乱れを低減できるため、電子機器1のユーザへ負担を軽減することができる。また、電子機器1では、フレームについての指の削除や修正等に関する画像処理が不要となり、データ処理量を低減できる。さらに、電子機器1は、フレーム飛びが生じないため、フレーム飛びが生じる構成よりも、高品質な映像(動画像)をユーザに提供できる。
【0070】
<F.変形例>
(f1.第1の変形例)
図9は、電子機器1がフレームを消去する処理を説明するための図である。図9(a)は、図3(c)と同様、右目用画像データ802を構成する3番目の右目用フレームR(3)と、左目用画像データ801を構成する7番目の左目用フレームL(7)とに、指の画像が含まれている場合を示している。図9(b)は、電子機器1が、左目用フレームL(1)〜L(10)と、右目用フレームR(1)〜(10)とをデコードした後の処理を説明するための図である。
【0071】
図9(b)を参照して、電子機器1は、指が含まれている左目用フレームL(7)を左目用画像データ801から消去する。また、電子機器1は、指が含まれている右目用フレームR(3)を右目用画像データ802から消去する。このように指が含まれている画像データを消去することにより、電子機器1におけるメモリ使用量を減少させることができる。
【0072】
(f2.第2の変形例)
電子機器1は、3次元画像データ803に基づく3次元表示をディスプレイ105に表示させた後は、3次元画像データ803をフラッシュメモリ104に格納し続けてもよいし、フラッシュメモリ104から消去してもよい。
【0073】
フラッシュメモリ104から3次元画像データを生成する場合には、どのフレームに指の画像が含まれていたかをデータとしてフラッシュメモリ104に記憶しておき、2回目の再生時には当該データを利用することにより指が含まれているか否かの判断を行なわなくても済むように、電子機器1を構成してもよい。つまり、電子機器1は、左目用画像データ801と右目用画像データ802とから構成されるコンテンツ(3次元画像データ803)を最初に再生する場合に、複数の3次元画像フレームの各々を構成する左目用フレームと右目用フレームとに指の画像が含まれているか否かを判断する。電子機器1は、上記コンテンツを再度再生する場合には、最初の再生時における上記判断の結果を利用する。当該構成により、2回目以降の3次元画像の再生時において電子機器1の処理負担を低減できる。
【0074】
(f3.第3の変形例)
上記においては、たとえば図3(c),(d)に示したように、左目用画像データ801および右目用画像データ802の各々において、指が含まれているフレームが1つあれば2次元表示を行なう構成を例に挙げて説明した。しかしながら、これに限定されるものではない。以下では、指の画像を含むフレームを含むフレーム対が閾値Th以上連続した場合に、2次元表示を行なう構成を説明する。以下では、閾値Thの一例として、“3”を挙げて説明する。なお、閾値Thは、フラッシュメモリ104に格納されている。
【0075】
図10は、電子機器1が撮像装置700から動画像データを取得した場合における、電子機器1のデータ処理の他の例を説明するための図である。図10(a)は、左目用画像データ801と右目用画像データ802との各々に、指が写りこんだフレームが存在している場合を表した図である。図10(a)を参照して、左目用画像データ801における6番目,7番目,および9番目の3つの左目用フレームL(6),L(7),L(9)に指の画像が含まれている。また、右目用画像データ802における2番目,3番目,および8番目の右目用フレームR(2),R(3),R(8)に指の画像が含まれている。
【0076】
図10(b)は、電子機器1が、図10(a)の左目用画像データ801と右目用画像データ802とを用いて3次元画像データ803を生成し、当該生成された3次元画像データ803に基づく3次元画像をディスプレイ105に表示する場合における、電子機器1のデータ処理を説明するための図である。図10(b)を参照して、電子機器1は、左目用フレームL(1)と右目用フレームR(1)とから、3次元画像フレームを生成する。
【0077】
次に、電子機器1は、右目用フレームR(2)と右目用フレームR(3)とが指の画像を含むフレームであって、かつ左目用フレームL(4)と右目用フレームR(4)とが指の画像を含まないフレームであるため、ディスプレイ105に2次元画像フレームが閾値Th以上連続して表示されることはないと判断する。したがって、電子機器1は、左目用フレームL(2)と右目用フレームR(2)とから3次元画像フレームを生成し、左目用フレームL(3)と右目用フレームR(3)とから、3次元画像フレームを生成する。
【0078】
また、電子機器1は、左目用フレームL(4),L(5)と右目用フレームR(4),R(5)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0079】
さらに、電子機器1は、左目用フレームL(6),L(7),L(9)と右目用フレームR(8)とが指の画像を含むフレームであって、かつ左目用フレームL(10)と右目用フレームR(10)とが指の画像を含まないフレームであるため、ディスプレイ105に2次元画像フレームが閾値Th以上連続して表示されてしまうと判断する。したがって、電子機器1は、左目用フレームL(6)〜L(9)と右目用フレームR(6)〜R(9)とについては、各々対応するフレーム同士から3次元画像フレームを生成しない。つまり、電子機器1は、各々指の画像が含まれていない、右目用フレームR(6)、右目用フレームR(7)、左目用フレームL(8)、および右目用フレームR(9)を、この順でディスプレイ105に表示させる。
【0080】
また、電子機器1は、左目用フレームL(10)と右目用フレームR(10)とについては、当該両フレームを用いて3次元画像フレームを生成する。
【0081】
図11は、図10に基づいて説明した処理の流れを示したフローチャートである。図11を参照して、ステップS202において、電子機器1は、変数iの値を1とする。ステップS204において、電子機器1は、変数kの値を1とする。ステップS206において、電子機器1は、変数jの値を0とする。
【0082】
ステップS208において、電子機器1は、i番目のフレーム対に含まれる左目用フレームと右目用フレームとをデコードする。ステップS210において、電子機器1は、i番目のフレーム対に関し、デコードされた両フレームの一方のフレームに指の画像が含まれているか否かを判断する。電子機器1は、一方のフレームに指の画像が含まれていると判断した場合(ステップS210においてYES)、ステップS226において、変数jの値をインクリメントする。ステップS228において、変数iの値をインクリメントする。
【0083】
電子機器1は、一方のフレームに指の画像が含まれていないと判断(正確には、両方のフレームに指の画像が含まれていない)した場合(ステップS210においてNO)、ステップS212において、変数jの値が閾値Th以上であるか否かを判断する。電子機器1は、変数jの値が閾値Th以上であると判断した場合(ステップS212においてYES)、ステップS214において、k番目からi−1番目のフレーム対を、指の含まれていないフレームを用いて2次元表示するフレームと決定する。ステップS216において、電子機器1は、i番目のフレーム対を、両フレームを用いて3次元表示するフレーム対と決定する。一方、電子機器1は、変数jの値が閾値Th未満であると判断した場合(ステップS212においてNO)、ステップS230において、k番目からi番目のフレーム対を、各フレーム対に含まれる両フレームを用いて3次元表示するフレーム対であると決定する。
【0084】
ステップS218において、電子機器1は、変数kにi+1の値を代入する。ステップS220において、電子機器1は、変数jの値を0に設定する。ステップS222において、電子機器1は、全てのフレーム対をデコードしたか否かを判断する。電子機器1は、全てのフレーム対をデコードしていないと判断した場合(ステップS224においてNO)、ステップS232において、変数iの値をインクリメントする。電子機器1は、全てのフレーム対をデコードしたと判断した場合(ステップS224においてYES)、一連の処理を終了する。
【0085】
以上のように、フラッシュメモリ104は、フレーム数に関する閾値を予め格納している。CPU101は、複数の3次元画像フレームの各々をディスプレイ105に表示させる前に、ディスプレイ105に2次元画像フレームを閾値Th以上連続して表示させることになるか否かを判断する。CPU101は、複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させるに際し、(i)2次元画像フレームを閾値Th以上連続して2次元表示させることになると判断された場合、指の画像が含まれていないと判断された複数のフレーム(他方のフレーム)に基づく2次元画像をディスプレイ105に動画像表示させ、(ii)2次元画像フレームを閾値Th以上連続して2次元表示させることにならないと判断された場合、複数のフレーム対(一方のフレームと他方のフレーム)に基づく3次元画像フレームをディスプレイ105に表示させる。
【0086】
短い時間であれば、指の画像を含んだ3次元画像がディスプレイ105に表示されても、ユーザは気にならない場合もある。したがって、ユーザへの負担を抑えつつも、指が含まれているフレームが1つでもあれば2次元表示を行なう構成に比べて電子機器1の処理負担を軽減することができる。
【0087】
(f4.第4の変形例)
上記の第3の変形例においては、ディスプレイ105に2次元画像フレームを予め定められたフレーム数(閾値Th)以上連続して表示させることになるか否かに応じて処理を切り替える構成について説明した。以下では、ディスプレイ105に2次元画像フレームを予め定められた時間以上連続して表示させることになるか否かに応じて処理を切り替える構成について説明する。
【0088】
図12は、電子機器1が撮像装置700から動画像データを取得した場合における、電子機器1のデータ処理のさらに他の例を説明するための図である。図12は、図10と同様に、左目用画像データ801と右目用画像データ802との各々に、指が写りこんだフレームが存在している場合を表した図である。
【0089】
図12を参照して、電子機器1は、複数の3次元画像フレームの各々をディスプレイ105に表示させる前に、ディスプレイ105に2次元画像フレームを予め定められた時間(閾値)以上連続して表示させることになるか否かを判断する。なお、CPU101は、図示しないタイマにより時間をカウントすることにより上記判断を行なう。たとえば、図12の場合には、電子機器1は、2次元画像を時間t1(<Th)だけ表示させ、次に、2次元画像をt2(≧Th)表示させることになると判断する。
【0090】
電子機器1は、2次元画像を予め定められた時間(閾値Th)以上連続して2次元表示させることになると判断した場合には、複数の指が含まれていないと判断されたフレームに基づく2次元画像をディスプレイ105に動画像表示させる。一方、電子機器1は、2次元画像を閾値以上連続して2次元表示させることにならないと判断された場合、複数のフレーム対(一方のフレームと他方のフレーム)とに基づく3次元画像フレームをディスプレイ105に表示させる。
【0091】
このような構成によっても、上記第3の変形例で述べた効果と同様の効果を得ることができる。
【0092】
(f5.第5の変形例)
上記においては、電子機器1が撮像装置700から動画像データを取得する構成を例に挙げて説明したが、これに限定されるものではない。3次元画像を撮像するための機能を電子機器1自身が備えていてもよい。
【0093】
(f6.第6の変形例)
上記においては、電子機器1は、自身のディスプレイ105に画像を出力する構成を例に挙げて説明したが、これに限定されるものではない。電子機器1は外部の出力装置に画像を出力する構成であってもよい。電子機器1は、必ずしもディスプレイ105を備えていなくてもよい。
【0094】
[実施の形態2]
実施の形態1では、左目用フレームと右目用フレームとに指の画像が含まれているか否かに応じて電子機器1が処理を切り替える構成を説明した。本実施の形態では、左目用フレームと右目用フレームとがデコードできるか否かに応じて電子機器1が処理を切り替える構成を説明する。
【0095】
<G.データ処理の概要>
図13は、電子機器1が撮像装置700から動画像データを取得した場合における、電子機器1のデータ処理を説明するための図である。図13(a)は、左目用画像データ801と右目用画像データ802との各々に、デコードができないフレームが存在している場合を表した図である。図13(a)を参照して、左目用画像データ801における4番目の左目用フレームL(4)がデコードできないフレームである。また、右目用画像データ802における8番目の右目用フレームR(8)がデコードできないフレームである。
【0096】
図13(b)は、電子機器1が、図13(a)の左目用画像データ801と右目用画像データ802とを用いて3次元画像データ803を生成し、当該生成された3次元画像データ803に基づく3次元画像をディスプレイ105に表示する場合における、電子機器1のデータ処理を説明するための図である。図13(b)を参照して、電子機器1は、左目用フレームL(1)と右目用フレームR(1)とから、3次元画像フレームを生成する。次に、電子機器1は、左目用フレームL(2)と右目用フレームR(2)とから、3次元画像フレームを生成する。次に、電子機器1は、左目用フレームL(3)と右目用フレームR(3)とから、3次元画像フレームを生成する。
【0097】
次に、電子機器1は、左目用フレームL(4)はデコードできなかったフレームであるため、左目用フレームL(4)と右目用フレームR(4)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、左目用フレームL(4)を用いた表示は行なわない。電子機器1は、右目用フレームR(4)のみを表示対象とする。また、電子機器1は、左目用フレームL(5)〜L(7)と右目用フレームR(5)〜R(7)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0098】
次に、電子機器1は、右目用フレームR(8)はデコードできなかったフレームであるため、左目用フレームL(8)と右目用フレームR(8)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、右目用フレームR(8)を用いた表示は行なわない。電子機器1は、左目用フレームL(8)のみを表示対象とする。また、電子機器1は、左目用フレームL(9),L(10)と右目用フレームR(9),R(10)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0099】
電子機器1は、当該生成された複数の3次元画像フレームに基づく複数の3次元画像と右目用フレームR(4)と、左目用フレームL(8)とを、図13(b)に示す順序(予め定められた順序)および時間間隔でディスプレイ105に表示する。これにより、電子機器1のユーザは、デコードできた一方のフレームのみを用いた3次元画像を視認しなくてもよくなる。つまり、ユーザは、図1に示したx方向またはy方向にスジ模様の入った画像を視認しなくてもよくなる。それゆえ、電子機器1は、フレーム対を構成する一方のフレームがデコードできない場合(フレームが異常)において、一方のフレームのみが視差バリア方式により表示されてしまう構成に比べて、動画像の乱れを低減可能となる。
【0100】
また、動画像の乱れを低減できるため、電子機器1のユーザへ負担を軽減することができる。また、フレーム飛びが生じないため、フレーム飛びが生じる構成よりも、高品質な映像(動画像)を電子機器1のユーザに提供することができる。
【0101】
図14は、本実施の形態における電子機器1における処理の流れを示したフローチャートである。具体的には、図14は、図7と同様、デコード処理と、2次元画像を表示させるか3次元画像を表示させるかの判定処理とを説明するための図である。
【0102】
図14を参照して、ステップS302において、電子機器1は、変数iの値を1とする。ステップS304において、電子機器1は、i番目のフレーム対に含まれる左目用フレームL(i)と右目用フレームR(i)とをデコードする。
【0103】
ステップS306において、電子機器1は、i番目のフレーム対に含まれる両フレーム関し、いずれか一方のフレームをデコードできなかったか否かを判断する。いずれか一方のフレームがデコードできなかったと判断された場合には(ステップS306においてYES)、ステップS308において、i番目のフレーム対を、デコードできたフレームを用いて2次元表示するフレーム対であると特定する。一方、いずれか一方のフレームがデコードできた(正確には、いずれのフレームもデコードできた)と判断された場合には(ステップS306においてNO)、ステップS312において、i番目のフレーム対を、両フレームを用いて3次元表示するフレーム対であると決定する。
【0104】
ステップS310において、電子機器1は、全てのフレーム対にデコードを試みたか否かを判断する。全てのフレーム対にデコードを試みていないと判断された場合(ステップS310においてNO)、電子機器1は、ステップS14において、iの値をインクリメントする。つまり、変数iの値を1増加させる。一方、全てのフレーム対にデコードが試みられたと判断された場合(ステップS310においてYES)、一連の処理を終了する。
【0105】
<H.変形例>
(1)本実施の形態においても、実施の形態1で述べた変形例「つまり、<F.変形例>の(第1の変形例)〜(第6の変形例)の記載」を適用可能である。
【0106】
(2)実施の形態1に本実施の形態を組み合わせることも可能である。つまり、左目用フレームと右目用フレームとに指の画像が含まれているか否かに応じて電子機器1が処理を切り替える構成と、左目用フレームと右目用フレームとがデコードできるか否かに応じて電子機器1が処理を切り替える構成とを組み合わせることも可能である。
【0107】
図15は、実施の形態1の処理と実施の形態2の処理とを組み合わせたときのデータ処理を説明するための図である。図15(a)は、左目用画像データ801と右目用画像データ802との各々に、指が写りこんだフレームと、デコードできないフレームとが存在している場合を表した図である。図15(a)を参照して、左目用画像データ801における4番目の左目用フレームL(4)はデコードできないフレームである。左目用画像データ801における7番目の左目用フレームL(7)に指の画像が含まれている。また、右目用画像データ802における3番目の右目用フレームR(3)に指の画像が含まれている。右目用画像データ802における8番目の右目用フレームR(8)はデコードできないフレームである。
【0108】
図15(b)は、電子機器1が、図15(a)の左目用画像データ801と右目用画像データ802とを用いて3次元画像データ803を生成し、当該生成された3次元画像データ803に基づく3次元画像をディスプレイ105に表示する場合における、電子機器1のデータ処理を説明するための図である。図15(b)を参照して、電子機器1は、左目用フレームL(1)と右目用フレームR(1)とから、3次元画像フレームを生成する。次に、電子機器1は、左目用フレームL(2)と右目用フレームR(2)とから、3次元画像フレームを生成する。
【0109】
次に、電子機器1は、右目用フレームR(3)は指が写っているフレームであるため、左目用フレームL(3)と右目用フレームR(3)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、右目用フレームR(2)を用いた表示は行なわない。電子機器1は、左目用フレームL(3)のみを表示対象とする。
【0110】
次に、電子機器1は、左目用フレームL(4)はデコードできなかったフレームであるため、左目用フレームL(4)と右目用フレームR(4)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、左目用フレームL(4)を用いた表示は行なわない。電子機器1は、右目用フレームR(4)のみを表示対象とする。
【0111】
また、電子機器1は、左目用フレームL(5),L(6)と右目用フレームR(5),R(6)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0112】
次に、電子機器1は、左目用フレームL(7)は指が写っているフレームであるため、左目用フレームL(7)と右目用フレームR(7)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、左目用フレームL(7)を用いた表示は行なわない。電子機器1は、右目用フレームR(7)のみを表示対象とする。
【0113】
次に、電子機器1は、右目用フレームR(8)はデコードできなかったフレームであるため、左目用フレームL(8)と右目用フレームR(8)とに基づく3次元画像フレームを生成しない。つまり、電子機器1は、右目用フレームR(8)を用いた表示は行なわない。電子機器1は、左目用フレームL(8)のみを表示対象とする。
【0114】
また、電子機器1は、左目用フレームL(9),L(10)と右目用フレームR(9),R(10)とについては、各々対応するフレーム同士から3次元画像フレームを生成する。
【0115】
電子機器1は、当該生成された複数の3次元画像フレームに基づく複数の3次元画像と、左目用フレームL(3)と、右目用フレームR(4)と、右目用フレームR(7)と、左目用フレームL(8)とを、図15(b)に示す順序(予め定められた順序)および時間間隔でディスプレイ105に表示する。これにより、実施の形態1,2で述べた効果と本実施の形態とで述べた効果とを得ることができる。また、このような構成の電子機器1に、実施の形態1で述べた変形例「つまり、<F.変形例>の(第1の変形例)〜(第6の変形例)の記載」を適用してもよい。
【0116】
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0117】
1 電子機器、101 プロセッサ、104 フラッシュメモリ、105 ディスプレイ、109 カードリーダライタ、700 撮像装置、711,712 カメラ、801 左目用画像データ、802 右目用画像データ、803 次元画像データ、811,812,L 左目用フレーム、821,R 右目用フレーム、901,902 指、1091 メモリカード。

【特許請求の範囲】
【請求項1】
複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器であって、
プロセッサと、
前記複数の左目用フレームを含む左目用画像データと、前記複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備え、
前記プロセッサは、
前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断し、
前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記3次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方に前記物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームを前記ディスプレイに表示させ、
前記3次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方に前記物体の画像が含まれていると判断された場合には、当該3次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、前記物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像を前記ディスプレイに表示させる、電子機器。
【請求項2】
複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器であって、
プロセッサと、
前記複数の左目用フレームを含む左目用画像データと、前記複数の右目用フレームを含む右目用画像データとを格納するためのメモリとを備え、
前記プロセッサは、
前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとが、デコード可能であるか否かを判断し、
前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記3次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームを前記ディスプレイに表示させ、
前記3次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該3次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく2次元画像を前記ディスプレイに表示させる、電子機器。
【請求項3】
前記メモリは、フレーム数に関する閾値を予め格納しており、
前記プロセッサは、
前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、前記ディスプレイに前記2次元画像フレームを前記閾値以上連続して表示させることになるか否かを判断し、
前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記2次元画像フレームを前記閾値以上連続して2次元表示させることになると判断された場合、前記複数の他方のフレームに基づく2次元画像を前記ディスプレイに動画像表示させ、
前記2次元画像フレームを前記閾値以上連続して2次元表示させることにならないと判断された場合、複数の前記一方のフレームと前記他方のフレームとに基づく3次元画像フレームを前記ディスプレイに表示させる、請求項1または2に記載の電子機器。
【請求項4】
前記メモリは、時間に関する閾値を予め格納しており、
前記プロセッサは、
前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、前記ディスプレイに前記2次元画像フレームを前記閾値以上連続して表示させることになるか否かを判断し、
前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記2次元画像を前記閾値以上連続して2次元表示させることになると判断された場合に、前記複数の他方のフレームに基づく2次元画像を前記ディスプレイに動画像表示させ、
前記2次元画像を前記閾値以上連続して2次元表示させることにならないと判断された場合、複数の前記一方のフレームと前記他方のフレームとに基づく3次元画像フレームを前記ディスプレイに表示させる、請求項1または2に記載の電子機器。
【請求項5】
前記プロセッサは、前記他方のフレームを前記メモリから消去する、請求項1〜4のいずれか1項に記載の電子機器。
【請求項6】
前記プロセッサは、
前記左目用画像データと前記右目用画像データとから構成されるコンテンツを最初に再生する場合に、前記複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに前記物体の画像が含まれているか否かを判断し、
前記コンテンツを再度再生する場合には、前記最初の再生時における前記判断の結果を利用する、請求項1に記載の電子機器。
【請求項7】
前記プロセッサは、
前記左目用画像データと前記右目用画像データとから構成されるコンテンツを最初に再生する場合に、前記複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとがデコード可能であるか否かを判断し、
前記コンテンツを再度再生する場合には、前記最初の再生時における前記判断の結果を利用する、請求項2に記載の電子機器。
【請求項8】
複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器における表示制御方法であって、
前記電子機器のプロセッサが、前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、
前記プロセッサが、前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記3次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方に前記物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームを前記ディスプレイに表示させるステップと、
前記3次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方に前記物体の画像が含まれていると判断された場合には、当該3次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、前記物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像を前記ディスプレイに表示させるステップとを備える、表示制御方法。
【請求項9】
複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器における表示制御方法であって、
前記電子機器のプロセッサが、前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとが、デコード可能であるか否かを判断するステップと、
前記プロセッサが、前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記3次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームを前記ディスプレイに表示させるステップと、
前記3次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該3次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく2次元画像を前記ディスプレイに表示させるステップとを備える、表示制御方法。
【請求項10】
複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御するためのプログラムであって、
前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとに、撮像素子への外光の入射を遮った物体の画像が含まれているか否かを判断するステップと、
前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記3次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方に前記物体の画像が含まれていないと判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームを前記ディスプレイに表示させるステップと、
前記3次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方に前記物体の画像が含まれていると判断された場合には、当該3次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、前記物体の画像が含まれていないと判断された他方のフレームに基づく2次元画像を前記ディスプレイに表示させるステップとを、前記電子機器のプロセッサに実行させる、プログラム。
【請求項11】
複数の左目用フレームと、各々が互いに異なる前記左目用フレームに対応付けられた複数の右目用フレームとを用いて複数の3次元画像フレームを生成し、当該生成された複数の3次元画像フレームを予め定められた順序および時間間隔でディスプレイに表示させる電子機器を制御するためのプログラムであって、
前記複数の3次元画像フレームの各々を前記ディスプレイに表示させる前に、当該複数の3次元画像フレームの各々を構成する前記左目用フレームと前記右目用フレームとが、デコード可能であるか否かを判断するステップと、
前記複数の3次元画像フレームを前記予め定められた順序および時間間隔で前記ディスプレイに表示させるに際し、
前記3次元画像フレームを構成する前記左目用フレームと前記右目用フレームとの両方がデコード可能であると判断された場合には、当該左目用フレームと当該右目用フレームとに基づく3次元画像フレームを前記ディスプレイに表示させるステップと、
前記3次元画像フレームを構成する左目用フレームと前記右目用フレームとのいずれか一方がデコード可能でないと判断された場合には、当該3次元画像フレームを前記ディスプレイに表示させる代わりに、前記左目用フレームと前記右目用フレームとのうち、デコードが可能であると判断された他方のフレームに基づく2次元画像を前記ディスプレイに表示させるステップとを、前記電子機器のプロセッサに実行させる、プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−106288(P2013−106288A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−250317(P2011−250317)
【出願日】平成23年11月16日(2011.11.16)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】