説明

撮影プログラム、撮影装置、撮影システム及び画像表示方法

【課題】保存されている動画の内容をユーザに把握させて、次の動画を撮影及び保存することができる撮影プログラム等を提供する。
【解決手段】上記課題を解決するために、撮影装置は、カメラ、カメラの撮影対象(背景及び被写体)をユーザが視認するための上側ディスプレイ装置、保存用データメモリを備える。そして、撮影装置は、カメラによって連続撮影された撮影画像を用いて動画データを生成し、保存用データメモリに記憶させる。撮影装置は、撮影対象をユーザが視認可能に、保存用データメモリに記憶されている動画データを構成するフレームデータのうちの所定のフレームデータに基づいて、所定の静止画を上側ディスプレイ装置に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影された動画を記憶するための撮影プログラム、撮影装置、撮影システム及び画像表示方法に関する。
【背景技術】
【0002】
従来、動画を撮影してこの動画を保存(記憶)する撮影装置は広く知られている。例えば、特許文献1には、撮影開始の指示をユーザから受け付けてから撮影終了の指示を受け付けるまでを1シーンとして、ファインダー(映像表示装置)に映る被写体や背景等の撮影対象の動画を撮影して保存する撮影装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−223524号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザが、動画の撮影及び保存を撮影装置に一旦終了(一時停止又は停止等)させた後、次の動画の撮影及び保存のために、保存されている動画の内容を把握したい場合がある。例えば、保存されている動画の内容に連続する内容で次の動画を撮影及び保存する場合、ユーザは、保存されている動画の内容を把握したい。しかしながら、上述した従来の撮影装置では、動画の撮影及び保存を一旦終了した後、ファインダーには、上記撮影対象が表示されるに過ぎなかった。
【0005】
本発明は、保存(記憶)されている動画の内容をユーザに把握させて、次の動画を撮影及び保存することができる撮影プログラム、撮影装置、撮影システム及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
(1)本発明の典型的な実施例は、撮影部、この撮影部の撮影対象をユーザが視認するためのファインダー、及び記憶部を備えた撮影装置のコンピュータを、動画記憶手段、及び表示制御手段として機能させる撮影プログラムである。動画記憶手段は、撮影部によって撮影された動画を記憶部に記憶させる。表示制御手段は、撮影対象をユーザが視認可能に、記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、ファインダーに表示する。
【0007】
上記構成によれば、撮影対象をユーザが視認可能なように、記憶されている動画を構成する静止画のうちの所定の静止画がファインダーに表示される。これによって、記憶されている動画の内容をユーザに把握させることができる。このため、ユーザは、記憶されている動画の内容を踏まえて、ファインダーにおける撮影対象の位置及び/又は姿勢等を調整することができる。なお、撮影対象とは、ユーザが撮影したいと思う対象や範囲であり、撮影部による撮影領域内に位置する背景や被写体等である。
【0008】
(2)上述した撮影プログラムにおいて、上記表示制御手段が、記憶部に記憶されている動画を構成する静止画のうち、最後に撮影された静止画及びユーザに任意で選択された静止画の少なくともいずれか一方を、所定の静止画として、ファインダーに表示してもよい。
【0009】
上記構成によれば、最後に撮影された静止画及びユーザに任意で選択された静止画のうち少なくともいずれか一方が、撮影対象をユーザが視認可能なようにファインダーに表示される。これによって、最後に撮影された静止画又は選択された静止画の内容をユーザに把握させることができる。これによって、上記最後に撮影された静止画の内容又は選択された静止画の内容に基づいて、撮影対象の位置及び/又は姿勢等を調整することができる。このため、例えば、最後に撮影された静止画の内容に連続する内容で又は選択された静止画の内容に連続する内容で、次の動画を撮影装置に撮影させて記憶させたいときに、ユーザは、この次の動画のために、撮影対象の位置及び姿勢を容易に調整することができる。
【0010】
(3)上述した撮影プログラムにおいて、上記表示制御手段は、ユーザが所定の静止画と撮影対象とを重ねて視認可能なように、所定の静止画をファインダーに表示してもよい。この構成によれば、ユーザは、所定の静止画の内容(例えば、被写体の位置及び姿勢)に基づいて、撮影対象の位置及び姿勢等(例えば、被写体の位置及び姿勢)を容易に調整することができる。例えば、ユーザは、撮影対象における被写体が所定の静止画における被写体に重なるように、撮影対象における被写体の位置及び/又は姿勢を調整することが容易になる。
【0011】
(4)上述した撮影プログラムにおいて、上記表示制御手段は、所定の静止画を半透明にして前記ファインダーに表示してもよい。この構成によれば、所定の静止画が半透明にされているため、ユーザが所定の静止画を撮影対象に重ねて視認しても、ユーザは半透明にされた所定の静止画を通して撮影対象の全体を視認することができる。これによって、ユーザは、所定の静止画の内容(例えば、被写体の位置及び姿勢)に基づいて、撮影対象の位置及び姿勢等(例えば、被写体の位置及び姿勢)を調整することを更に容易行うことができる。
【0012】
(5)上述した撮影プログラムにおいて、上記撮影装置は、操作部を備えてもよい。そして、上記表示制御手段は、操作部でユーザから所定の操作を受け付けたときに、撮影対象をユーザが視認可能に、所定の静止画をファインダーに表示してもよい。この所定の操作は、例えば、撮影された動画を記憶する処理の実行の一時停止操作、撮影された動画を記憶する処理の停止操作、ユーザが所定の静止画の表示を指示するための表示指示操作等がある。この構成によれば、所定の操作に応じて所定の静止画が表示されるため、所定の静止画の表示が必要である特定のタイミング(表示指示操作を操作部で受け付けたタイミング等)や、所定の静止画の表示が効果的である特定のタイミング(一時停止操作や停止操作を操作部で受け付けたタイミング等)で、所定の静止画を表示することができる。
【0013】
(6)上述した撮影プログラムにおいて、上記所定の操作は、一時停止操作又は停止操作であってもよい。そして、上記動画記憶手段は、撮影部によって撮影された動画を記憶部に記憶させる記憶処理を繰り返し実行し、一時停止操作を操作部で受け付けたときに、記憶処理の実行を一時停止してもよい。また、上記動画記憶手段は、停止操作を操作部で受け付けたときに、記憶処理の実行を停止してもよい。また、上記表示制御手段は、一時停止の直前又は停止の直前に撮影された静止画を、所定の静止画として前記ファインダーに表示してもよい。
【0014】
上記構成によれば、上記記憶処理が一時停止又は停止されたとき、この一時停止又は停止の直前に撮影された静止画が撮影対象とともにファインダーに表示される。これによって、上記一時停止又は停止の直前に撮影された静止画の内容をユーザに把握させることができる。このため、例えば、上記一時停止又は停止の後に続けて次の動画を撮影装置に撮影させたい場合に、ユーザが、この次の動画の撮影のために、上記一時停止又は停止の直前に撮影された静止画の内容(例えば、被写体の位置及び/又は姿勢)に基づいて、撮影対象の位置及び姿勢等(例えば、被写体の位置及び/又は姿勢)を調整することができる。
【0015】
(7)上述した撮影プログラムにおいて、上記表示制御手段は、記憶部に記憶されている動画のうち所定の静止画を含む動画をファインダーに表示させた後、撮影対象をユーザが視認可能に、所定の静止画をファインダーに表示させてもよい。この構成によれば、記憶部に記憶されている動画の内容をユーザに更に十分に把握させることができる。また、所定の静止画が、ユーザに任意で選択された静止画であるときには、表示された動画に基づいてユーザが所定の静止画を選択することができる。これによって、ユーザが任意の静止画を選択し易くすることができる。
【0016】
(8)本発明の他の典型的な実施例は、撮影部、この撮影部の撮影対象をユーザが視認するためのファインダー、記憶部、動画記憶手段、及び表示制御手段を備えた撮影装置である。動画記憶手段は、撮影部によって撮影された動画を記憶部に記憶させる記憶処理を行う。表示制御手段は、撮影対象をユーザが視認可能に、記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、ファインダーに表示する。
【0017】
(9)本発明の他の典型的な実施例は、撮影部、この撮影部の撮影対象をユーザが視認するためのファインダー、記憶部、動画記憶手段、及び表示制御手段を備えた撮影システムである。動画記憶手段は、撮影部によって撮影された動画を記憶部に記憶させる記憶処理を行う。表示制御手段は、撮影対象をユーザが視認可能に、記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、ファインダーに表示する。この撮影システムは、複数の装置(例えば、複数の情報処理装置、1つの情報処理装置とその周辺機器等)で構成されている。
【0018】
(10)本発明の他の典型的な実施例は、撮影部、この撮影部の撮影対象をユーザが視認するためのファインダー、及び記憶部を備えた撮影装置を用いた画像表示方法である。この画像表示方法は、動画記憶ステップ、及び表示制御ステップを含む。動画記憶ステップにおいて、撮影部によって撮影された動画を記憶部に記憶させる。表示制御ステップにおいて、撮影対象をユーザが視認可能に、記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、ファインダーに表示する。
【0019】
上記(8)〜(10)の撮影装置、撮影システム及び画像表示方法の構成によれば、上記(1)の撮影プログラムと同様の作用効果を奏する。
【発明の効果】
【0020】
本発明によれば、記憶されている動画の内容をユーザに把握させることができる。これによって、ユーザは記憶されている動画の内容を踏まえて、ファインダーにおける撮影対象の位置及び/又は姿勢等(例えば、被写体の位置及び/又は姿勢)を調整することができる。
【図面の簡単な説明】
【0021】
【図1】第一実施形態にかかる撮影装置の内部構成を示すブロック
【図2A】動画データの生成に使用された保存画像の一例を示す図
【図2B】動画データの生成に使用された保存画像の一例を示す図
【図2C】動画データの生成に使用された保存画像の一例を示す図
【図3A】動画保存処理の実行の一時停止の直前に撮影された保存画像が合成されていない、リアルタイム撮影画像の一例を示す図である。
【図3B】動画保存処理の実行の一時停止の直前に撮影された保存画像が合成されたリアルタイム撮影画像の一例を示す図
【図3C】動画保存処理の実行の一時停止の直前に撮影された保存画像が合成されたリアルタイム撮影画像の一例を示す図
【図4A】保存用データメモリのメモリマップの一例を示す図
【図4B】メインメモリのメモリマップの一例を示す図
【図5】撮影処理におけるメイン処理の一例を示す図
【図6】動画保存処理の一例を示す図
【図7】画像合成処理の一例を示す図
【図8】第二実施形態にかかるメイン処理の一例示す図
【発明を実施するための形態】
【0022】
(第一実施形態)
以下、図面を参照して、本発明を適用した第一実施形態を説明する。
〔撮影装置1の構成〕
図1は、第一実施形態にかかる撮影装置の内部構成を示すブロック図である。撮影装置1は、CPU11、メインメモリ12、保存用データメモリ13、プリセットデータ用メモリ14、メモリカードインターフェース(メモリカードI/F)15、通信モジュール16、カメラ17、上側ディスプレイ装置18、下側ディスプレイ装置19、操作部20、及びインターフェース回路(I/F回路)21等を有する。
【0023】
CPU11には、メインメモリ12、保存用データメモリ13、プリセットデータ用メモリ14、メモリカードI/F15、通信モジュール16、カメラ17、上側ディスプレイ装置18、下側ディスプレイ装置19、操作部20及びI/F回路21等が図略のバスを介して接続されている。
【0024】
CPU11は、所定のプログラムを実行することで所定の情報処理を行う。例えば、CPU11は、本発明の動画記憶手段及び表示制御手段として機能し、後述の撮影プログラムを実行することで、カメラ17を用いて撮影された動画を動画データとして保存用データメモリ13に保存(記憶)させる撮影処理を行う。この撮影処理についての詳細は後述する。また、CPU11は、再生プログラムを実行することで、撮影処理によって保存用データメモリ13に記憶されている動画データを再生する再生処理を実行する。メインメモリ12は、CPU11の作業領域として機能する。すなわち、メインメモリ12には、CPU11によってメモリカードI/F15や通信モジュール16等を介して外部から取得された所定のプログラムが記憶されたり、上記所定の情報処理に用いられる各種データ等が記憶される。メインメモリ12には、例えば、PSRAM(Pseudo−SRAM)が用いられる。
【0025】
保存用データメモリ13は、本発明の記憶部として機能し、書き換え可能な不揮発性のメモリである。保存用データメモリ13には、例えばNAND型フラッシュメモリが用いられる。プリセットデータ用メモリ14は、不揮発性のメモリであり、撮影装置1の起動用プログラム及び予め設定された各種パラメータ等を記憶するためのメモリである。プリセットデータ用メモリ14には、例えばフラッシュメモリが用いられる。
【0026】
メモリカードI/F15には、メモリカード2が着脱自在に接続される。メモリカードI/F15は、CPU11の指示に従って、メモリカード2へのデータの書き込み及びメモリカード2からのデータの読み出しを行う。なお、撮影装置1には、メモリカード2に代えて、又はメモリカード2に加えて、他の記憶媒体が接続可能であってもよい。例えば、撮影装置1には、他の半導体メモリ型の記憶媒体、光記録方式の記憶媒体(CD−ROM、DVD等)、磁気記録方式の記憶媒体(磁気テープ、フロッピー(登録商標)ディスク、ハードディスク、磁気カード等)等が接続可能であってもよい。
【0027】
通信モジュール16は、例えばIEEE802.11b/gの通信規格に準拠した方式によって他の情報処理装置と無線通信を行う機能を有する。なお、撮影装置1が、無線に代えて、又は無線に加えて、有線によって他の情報処理装置(サーバ又は同種の撮影装置等)と通信を行ってもよい。
【0028】
カメラ17は、本発明の撮影部として機能し、例えば、カラーフィルター、CCD(Charge Coupled Device)、撮影レンズ及び絞り等を備え、CPU11の指示に従って画像の撮影を行う機能を有する。また、カメラ17は、動画を撮影するデジタルビデオカメラとして機能し、所定のシャッタースピード(例えば、1/60sec)で連続撮影を行う。第一実施形態では、連続撮影を行うことを、「動画を撮影する」と記載する。また、カメラ17に撮影された静止画を「撮影画像」と記載する。そして、連続撮影によって取得された複数の撮影画像と、連続撮影の初回に撮影された一つの撮影画像を「撮影された動画」と記載する。カメラ17は、撮影画像を示すアナログ信号(CCDからの出力信号)をデジタルデータ(撮影データ)に変換してCPU11に対して出力する。
【0029】
上側ディスプレイ装置18及び下側ディスプレイ装置19は、例えば液晶ディスプレイを備えた液晶ディスプレイ装置であり、上側ディスプレイ装置18が下側ディスプレイ装置19の上に位置するように並んで配置されている。第一実施形態では、上側ディスプレイ装置18は、カメラ17の撮像素子で撮影した被写体及び背景等の撮影対象をリアルタイムで表示する電子ファインダーとして機能する。なお、第一実施形態では、「ファインダー」とは、カメラ17の撮影対象をリアルタイムに表示する手段である。ファインダーを見ることで、ユーザは、カメラ17の撮影対象を捉え、撮影対象の構図(例えば、被写体の位置及び姿勢等)を調整することができる。
【0030】
以下に、上側ディスプレイ装置18を、電子ファインダーのうちの液晶ファインダーとして機能させる方法を説明する。CPU11は、上記撮影処理において、カメラ17から取得した上記撮影データを用いて所定の周期毎に(例えば、1/60secの経過毎の描画周期毎に)フレームデータを生成する。このフレームデータは、例えば各ピクセル毎の色情報(R、G、B)を示すビットマップデータである。そして、CPU11は、生成したフレームデータに基づいて、上側ディスプレイ装置18にリアルタイムで撮影画像を表示させる。このリアルタイムでの撮影画像の表示によって、ユーザに撮影対象をリアルタイムで表示することができる。このため、ユーザは、上側ディスプレイ装置18をファインダーとして視認しながら、撮影対象の構図(例えば、被写体の位置及び姿勢等)を調整することができる。
【0031】
なお、上側ディスプレイ装置18に代えて下側ディスプレイ装置19をファインダーとして機能させてもよい。また、第一実施形態では、ファインダーとして、電子式ファインダーのうち液晶ファインダーを使用しているが、液晶ビューファインダー(EVF)を使用してもよい。また、ファインダーとして、電子式ファインダーではなく、ファインダーレンズ又は撮影レンズを通過した画像を、接眼レンズを介してユーザに直接視認させる光学式ファインダー(実像タイプ、一眼レフタイプ)を使用してもよい。
【0032】
また、上記生成されたフレームデータを用いて、CPU11が動画データを生成する。CPU11は、撮影処理において動画データの生成を常に行うのではなく、ユーザからの指示に応じて行う。CPU11は、ユーザからの指示に応じて、動画データを生成し、この動画データを保存用データメモリ13に記憶させる。上述したように、フレームデータは所定の周期毎に(例えば、1/60secの経過毎に)生成される。従って、CPU11は、フレームデータを生成する度に、このフレームデータを含めるように保存用データメモリ13に記憶されている動画データを更新する。なお、本発明の「撮影された動画を記憶部に記憶させる記憶処理」は、第一実施形態においては「動画データを生成し、この生成された動画データを保存用データメモリ13に記憶させる処理、及びこの生成された動画データで保存用データメモリ13の動画データを更新する処理」に対応する。以下、この処理を「動画保存処理」と記載する。
【0033】
操作部20は、ユーザの操作を受け付けるための一つ又は複数の操作子を備える。このユーザの操作には、例えば、「撮影モード開始操作」、「録画指示操作」、「一時停止操作」、「停止操作」及び「撮影モード終了操作」がある。「撮影モード開始操作」は、CPU11に上記撮影処理の実行を開始(撮影モードを開始)させるための操作である。「録画指示操作」は、上記撮影処理(撮影モード)において受け付けられる操作であり、上記動画保存処理を実行開始させることで、動画データの生成及び保存をCPU11に開始させるための操作である。「一時停止操作」は、CPU11に上記動画保存処理の実行を一時停止させるための操作である。なお、この「一時停止」とは、同じ動画データについての上記動画保存処理の実行を再開可能に一旦中止することである。「停止操作」は、CPU11に上記動画保存処理の実行を停止させることで、動画データの生成及び保存をCPU11に停止させるための操作である。なお、この「停止」とは、同じ動画データについての上記動画保存処理の実行を再開不可能に終了させることである。「撮影モード終了操作」は、CPU11に上記撮影処理の実行を終了(撮影モードを終了)させるための操作である。
【0034】
なお、第一実施形態において、一時停止操作を受け付けてから録画指示操作又は停止操作を受け付けるまでの期間を「一時停止中」と記載する。また、録画指示操作を受け付けてから停止操作を受け付けるまでの期間であって、上記「一時停止中」を除く期間を「録画中」と記載する。
【0035】
また、撮影装置1は、タッチパネル22、マイク23、アンプ24及びスピーカ25を有し、タッチパネル22、マイク23、アンプ24はI/F回路21に接続されている。
【0036】
I/F回路21は、タッチパネル22の制御を行うためのタッチパネル制御回路と、マイク23及びアンプ24の制御を行うための音声制御回路とを含む。タッチパネル制御回路は、所定周期毎に、タッチパネル22からの信号に基づいて、タッチパネル22におけるユーザのタッチ位置の座標を示す位置情報を生成する。そして、タッチパネル制御回路はこの位置情報をCPU11に出力する。音声制御回路は、CPU11の指示に従って、マイク23で集音した音声の信号をA/D変換してCPU11に出力する。また、音声制御回路は、CPU11の指示に従って、CPU11から入力された音声データに対して所定の音声信号処理を行った後、この音声データをD/A変換してアンプ24に対して出力する。
【0037】
タッチパネル22は、ユーザからのタッチ操作に応じて、信号をI/F回路21に出力する。マイク23は、音声を集音し、この集音した音声の信号をI/F回路21に出力する。アンプ24は、スピーカ25を接続し、I/F回路21から入力した音声の信号を増幅してスピーカ25に出力する。スピーカ25はアンプ24から入力された音声を出力する。
【0038】
〔撮影処理の概要〕
以下、図2A〜図3Bを用いて撮影装置1が実行する撮影処理の概要を説明する。撮影処理においては、撮影画像が上記所定のシャッタースピードでカメラ17によって連続撮影されることで、動画が撮影される。そして、ファインダーである上側ディスプレイ装置18に、撮影された撮影画像がリアルタイムにかつ連続的に順次表示される。以下、このリアルタイムに表示される撮影画像を「リアルタイム撮影画像」と記載する場合がある。
【0039】
そして、操作部20で録画指示操作を受け付けたときから、上記動画保存処理が繰り返し実行される。具体的には、まず、このリアルタイム撮影画像を含めた動画データ(リアルタイム撮影画像のフレームデータを含めた動画データ)が生成されて保存用データメモリ13に記憶される。なお、以下、動画データに含まれる撮影画像を、「保存画像」と記載する。以後、上記所定の周期毎に、新たに生成されたフレームデータを含むように、新たな動画データが生成されて、この新たな動画データで保存用データメモリ13の動画データが更新される。
【0040】
そして、操作部20で上記一時停止操作を受け付けたときに、上記動画保存処理の実行が一時停止される。この一時停止中において、操作部20で上記録画指示操作を再度受け付けたときに、上記動画保存処理が再開される。また、一時停止中又は録画中において、操作部20で上記停止操作を受け付けたときに、上記動画保存処理の実行が終了される。
【0041】
なお、最初に録画指示操作を受け付けてから停止操作を受け付けるまでに生成された動画データは一シーンの動画データとして保存用データメモリ13に記憶される。すなわち、最初に録画指示操作を受け付けてから停止操作を受け付けるまでの期間に、一時停止操作を受け付けた場合であっても、一時停止操作の前に生成されたフレームデータと一時停止の後に録画を再開して生成されたフレームデータとで、一シーンの動画データが構成される。従って、ユーザは、一時停止操作を行った後に録画指示操作を再度行うことで、保存用データメモリ13に記憶されている動画データを撮影装置1に続けて更新させることができる。
【0042】
以下、一シーンの動画データについて具体例を挙げて説明する。図2A〜図2Cは、動画データの生成に使用された保存画像の一例を示す図である。図2Aで示す保存画像、図2Bで示す保存画像、図2Cで示す保存画像は、この順番で撮影されている。具体例で示す一シーンの動画データは、握った状態の右手(被写体)が徐々に開いて行き、開いた右手上に突然として飴が出現するシーンを示す。この動画データの生成の際に、右手が完全に開いた状態(図2B)で、撮影装置1は上記動画保存処理の実行の一時停止を行っている。そして、ユーザから録画指示操作を再度受け付けて、撮影装置1は上記動画保存処理を再開している。
【0043】
図2Bで示す保存画像は、上記動画保存処理の実行の一時停止の直前に撮影された画像である。図2Cで示す保存画像は、上記動画保存処理の実行が再開された後に、最初に撮影された画像である。この具体例では、一時停止中に、ユーザが、一時停止操作を行ったときの位置及び姿勢で右手を配置し、かつ手の平に飴を載せた後に録画指示操作を行っている。上述したように、上記動画保存処理の実行の一時停止前に生成されたフレームデータと、この一時停止後に生成されたフレームデータとで、一シーンの動画データが生成される。すなわち、図2Bで示す保存画像と図2Cで示す保存画像とは、動画データの再生時には連続して再生される。従って、この具体例の一シーンの動画データは、平いた手の平の上に突如として飴が出現する手品のようなシーンを表す。
【0044】
〔本発明の特徴〕
次に、図3A〜図3Cを用いて、第一実施形態の特徴を説明する。第一実施形態では一時停止中に、上記動画保存処理の実行を一時停止する直前に撮影装置1に撮影された保存画像(例えば、図2Bで示す保存画像)が、リアルタイム撮影画像とともに上側ディスプレイ装置18に表示される。これによって、ユーザは保存用データメモリ13に記憶されている動画データの内容を把握することができる。そして、第一実施形態では、上記一時停止の直前に撮影された保存画像が、リアルタイム撮影画像に合成されて(重ねて)、上側ディスプレイ装置18に表示される。
【0045】
図3Aは、上記一時停止の直前に撮影された保存画像が合成されていない、リアルタイム撮影画像の一例を示す図である。図3B、図3Cは、上記一時停止の直前に撮影された保存画像が合成された、リアルタイム撮影画像の一例を示す図である。なお、図3B、図3Cのリアルタイム撮影画像は、「合成画像」として図示されている。図3Bの合成画像は、図2Bで示す保存画像が図3Aで示すリアルタイム撮影画像に合成された画像である。なお、図3Cの合成画像では、図3Aのリアルタイム撮影画像とは別のリアルタイム撮影画像に図2Bで示す保存画像が合成されている。
【0046】
図3B、図3Cで示す画像は、図2A〜図2Cを用いて説明した上記具体例における、一時停止中に表示される。図3B、図3Cで示すように、上記一時停止の直前に撮影された保存画像は、半透明にされてリアルタイム撮影画像に合成されている。このため、ユーザは、上記一時停止の直前に撮影された保存画像を通して、リアルタイム撮影画像を視認することができる。これによって、ユーザは、動画保存処理の実行を一時停止する直前の被写体(「特定保存画像の被写体」として図示)の位置や姿勢と、リアルタイムの被写体(リアルタイム撮影画像の被写体)の位置や姿勢とが異なるか否か、どの程度異なるかを把握することができる。
【0047】
そして、ユーザは、上記把握した事項に基づいて、被写体の位置及び姿勢を調整することができる。なお、上記動画保存処理の実行を一時停止する直前に撮影された保存画像と、上記動画保存処理を再開した後に最初に撮影された保存画像とは連続して再生される。このため、上記動画保存処理を一時停止する直前に撮影された保存画像における被写体の位置及び姿勢と、上記動画保存処理を再開した後に最初に撮影された保存画像における被写体の位置及び姿勢とが、関連(例えば一致)していることが好ましい。第一実施形態においては、ユーザが、一時停止の直前に撮影された保存画像を通してリアルタイム撮影画像を視認しながら、リアルタイム撮影画像における被写体の位置及び姿勢を調整することができる。このため、このリアルタイム撮影画像における被写体の位置及び姿勢を、上記動画保存処理の実行を一時停止する直前に撮影された保存画像における被写体の位置及び姿勢に関連するように、ユーザが容易に調整することができる。この調整によって、上記動画保存処理の実行を一時停止した場合であっても、この一時停止の前の動画とこの一時停止の後の動画とを関連(連続)した内容の動画とすることができる。
【0048】
例えば、上記動画保存処理の実行を一時停止する直前に撮影された保存画像とリアルタイム撮影画像とで、右手の位置(被写体の位置)がずれている場合には、図3Bで示すような合成画像が表示される。ユーザは、この画像を視認することで、リアルタイムの右手の位置が上記動画保存処理の実行を一時停止する直前に撮影された保存画像における右手の位置と異なること、及びどの程度異なるかを把握することができる。そして、上記動画保存処理の実行を一時停止する直前に撮影された保存画像とリアルタイム撮影画像とで、右手の位置と形(被写体の姿勢)がほぼ同じ場合には、図3Cで示すような合成画像が表示される。この具体例では、図3Bで示すような合成画像が表示されたため、ユーザが、図3Cで示すような合成画像が表示されるまで右手の位置及び姿勢を調整している。この後、ユーザが録画指示操作を再度行うことで、この具体例の一シーンの動画データは、開いた手の平の上に突如として飴が出現する手品のようなシーンを表すように生成されている。
【0049】
〔撮影装置1に記憶されるプログラム及びデータ〕
以下、CPU11が上記撮影処理を実行するときに、保存用データメモリ13に記憶されるデータと、メインメモリ12に記憶されるプログラム及び各種データを説明する。
【0050】
図4Aは、保存用データメモリ13のメモリマップの一例を示す図である。保存用データメモリ13には、CPU11によって生成された動画データD10等が記憶される。動画データD10には、動画データD10に固有の識別情報としてシーン番号が付加されている。動画データは録画期間に生成されたフレームデータD2(図4B)を含み、各フレームデータD2には、生成された順番に連続する番号のフレーム番号が付加されている。動画データD10の再生時には、このフレーム番号の順番にフレームデータD2が順次読み出され、読み出されたフレームデータD2に基づいて保存画像が表示され、これによって動画が表示(再生)される。
【0051】
図4Bは、メインメモリ12のメモリマップの一例を示す図である。メインメモリ12は、上側ディスプレイ装置18に表示するための画像を描画するための上側ディスプレイ描画領域と、下側ディスプレイ装置19に表示するための画像を描画するための下側ディスプレイ描画領域とからなるフレームバッファ121を有する。
【0052】
また、メインメモリ12は、撮影プログラムD1を記憶するとともに、撮影プログラムD1の実行によってフレームデータD2、シーン番号情報D3、動画保存フラグD4、特定保存画像データD5、画像合成フラグD6及び画像合成比率情報D7を記憶する。
【0053】
撮影プログラムD1は、CPU11に上記撮影処理を実行させるためのプログラムである。この撮影処理についての詳細は、図5〜図7を用いて後述する。フレームデータD2は、上述したように、カメラ17から入力された撮影データに基づいてCPU11に生成されたビットマップデータである。このフレームデータD2に基づくリアルタイム撮影画像が、フレームバッファ121の上側ディスプレイ描画領域に描画される。また、録画中には、フレームデータD2に基づいて動画データD10が生成され、この動画データD10が保存用データメモリ13に記憶される。なお、既に対応する動画データD10が記憶されている場合には、生成された動画データD10で保存用データメモリ13の動画データD10が更新される。
【0054】
シーン番号情報D3は、新たに生成される動画データD10又は現在更新中である動画データD10のシーン番号を示す。録画中には、保存用データメモリ13に記憶される動画データD10のうち、シーン番号情報D3の示すシーン番号が付加された動画データD10が更新される。動画保存フラグD4は、上記動画保存処理を行うか否かを示すフラグである。動画保存フラグD4は例えば「1」か「0」の数字を示し、動画保存フラグD4が「1」を示すときは動画保存フラグD4がオンのときであり、動画保存フラグD4が「0」を示すときは動画保存フラグD4がオフのときとなる。動画保存フラグD4がオンのときに、上記動画保存処理が実行される。
【0055】
特定保存画像データD5は、一時停止中に、リアルタイム撮影画像に合成して表示される保存画像のフレームデータである。リアルタイム撮影画像に合成して表示される保存画像を以下「特定保存画像」と記載する。第一実施形態では、特定保存画像は、上記動画保存処理の実行を一時停止する直前に撮影された保存画像である。画像合成フラグD6は、特定保存画像の表示を行なうか否かを示すフラグである。画像合成フラグD6は例えば「1」か「0」の数字を示し、画像合成フラグD6のオンオフについては、上記動画保存フラグD4のオンオフと同じである。画像合成フラグD6がオンのときに、特定保存画像がリアルタイム撮影画像に合成して表示される。
【0056】
特定保存画像をリアルタイム撮影画像に合成するために、CPU11によって半透明処理(例えばアルファブレンディング)が実行される。半透明処理は、例えば、特定保存画像データD5の示す各ピクセルの色情報(R、G、B)と、フレームバッファ121の上側ディスプレイ描画領域に描画されたリアルタイム撮影画像の各ピクセルの色情報(R、G、B)とを、所定の割合で混色((1−α):α)することで新たに各ピクセルの色情報を生成し、この生成された色情報をフレームバッファ121の上側ディスプレイ描画領域に描画する処理である。画像合成比率情報D7は、上記半透明処理において、2つの色情報(R、G、B)を混色する上記所定の割合((1−α):α)を示す情報である。
【0057】
上述した撮影プログラムD1は、メモリカード2等の記憶媒体や通信モジュール16を介して外部から取得されて、又は出荷時から予め保存用データメモリ13に記憶され、撮影処理の実行のためにCPU11によって読み出されて、メインメモリ12に記憶される。もっとも、撮影プログラムD1は、メモリカード2等の記憶媒体や通信モジュール16を介して外部から取得してメインメモリ12に記憶されてもよい。また、上述した動画データD10は、保存用データメモリ13に代えて、他の書き換え可能な不揮発性メモリに記憶されてもよい。動画データD10は、例えば、メモリカード2等の記憶媒体に記憶されてもよい。
【0058】
〔撮影処理の詳細な説明:メイン処理〕
以下に、図4A、図4B、図5〜図7を用いて、CPU11が実行する撮影処理(撮影モード)を詳細に説明する。図5は、撮影処理におけるメイン処理の一例を示す図である。撮影処理は、操作部20で撮影モード開始操作を受け付けたときに、CPU11によって実行される。なお、この撮影処理においては、後述のステップS2以降のステップの処理は、後述のステップS13、S16で撮影モード終了操作を受け付けたと判断するか、後述のステップS15、S17で停止操作を受け付けたと判断するまで、所定の描画周期毎に(1/60secの経過毎に)繰り返し実行される。
【0059】
まず、CPU11は、所定の初期化処理を実行する(S1)。この初期化処理において、CPU11は、保存用データメモリ13の動画データD10に付加されているシーン番号を参照し、参照したシーン番号で未使用のシーン番号を示すシーン番号情報D3を生成してメインメモリ12に記憶させる。また、CPU11は、動画保存フラグD4及び画像合成フラグD6をオフにしてメインメモリ12に記憶させる。
【0060】
この後、CPU11は、カメラ17から撮影データを取得して、この撮影データを用いてフレームデータD2を生成してメインメモリ12に記憶させる(S2)。そして、CPU11は、この生成したフレームデータD2に基づくリアルタイム撮影画像をフレームバッファ121の上側ディスプレイ描画領域に描画する(S3)。これによって、リアルタイム撮影画像が上側ディスプレイ装置18に表示される。
【0061】
そして、CPU11は、動画保存フラグD4がオンであるか否かを判断する(S4)。動画保存フラグD4がオフであると判断したときには(S4でNO)、CPU11は操作部20で録画指示操作を受け付けたか否かを判断する(S5)。なお、ステップS4でNOと判断されるときとは、現在の状態が録画中でないときである。初回処理時には、ステップS4においてNOと判断される。
【0062】
録画指示操作を受け付けたと判断したときには(S5でYES)、CPU11は動画保存フラグD4をオンにする(S6)。これによって、録画が開始される。なお、ステップS5でYESと判断されるときとは、直前の状態が録画中でないときに(例えば、ステップS1の初期処理の実行から一度も録画指示操作がないとき、または録画指示操作はあったが一時停止中のときに)、録画指示操作を操作部20で受け付けたときである。
【0063】
次に、CPU11は、画像合成フラグD6がオンであるか否かを判断する(S7)。画像合成フラグD6がオフであると判断したときには(S7でNO)、CPU11は後述のステップS9に処理を進める。なお、ステップS7でNOと判断されるときとは、直前の状態が録画中でも一時停止中でもなく(例えば、ステップS1の初期処理の実行から一度も録画指示操作がなく)、かつ録画指示操作を操作部20で受け付けたときである。一方、画像合成フラグD6がオンであると判断したときには(S7でYES)、CPU11は、画像合成フラグD6をオフにして(S8)、続くステップS9に処理を進める。なお、ステップS7でYESと判断されるときとは、直前の状態が一時停止中であり、かつ録画指示操作を操作部20で受け付けたときである。
【0064】
ステップS9において、CPU11は、動画保存フラグD4がオンであるか否かを判断する。そして、動画保存フラグD4がオンであると判断したときに(S9でYES)、CPU11は、動画保存処理を実行する(S10)。CPU11は、この動画保存処理において、ステップS2で生成されたフレームデータD2を用いて動画データD10を生成する。この後、CPU11は後述のステップS11に処理を進める。一方、動画保存フラグD4がオフであると判断したときに(S9でNO)、CPU11は、ステップS10の動画保存処理を実行せずに、後述のステップS11に処理を進める。
【0065】
なお、ステップS5、S6、S7が実行されたとき(ステップS7でNOのとき)、すなわち、直前の状態が録画中でも一時停止中でもなく(ステップS1の初期処理の実行から一度も録画指示操作がなく)、かつ録画指示操作を操作部20で受け付けたときには、動画保存フラグD4が必ずオンである。また、ステップS5、S6、S7、S8が実行されたとき、すなわち、直前の状態が一時停止中であり、かつ録画指示操作を操作部20で受け付けたときも、動画保存フラグD4が必ずオンである。従って、これらのときには、録画中が開始されている。従って、これらのときには、動画保存処理が実行されて、動画データD10が生成される。
【0066】
ステップS11において、CPU11は、画像合成フラグD6がオンであるか否かを判断する。そして、画像合成フラグD6がオンであると判断したときに(S11でYES)、CPU11は、画像合成処理を実行する(S12)。画像合成処理において、CPU11は特定保存画像をリアルタイム撮影画像に合成して表示する処理を行う。この後、CPU11は後述のステップS13に処理を進める。一方、画像合成フラグD6がオフであると判断したときに(S11でNO)、CPU11は、ステップS12の画像合成処理を実行せずに、後述のステップS13に処理を進める。
【0067】
なお、ステップS5、S6、S7が実行されたとき(ステップS7でNOのとき)、すなわち、直前の状態が録画中でも一時停止中でもなく(ステップS1の初期処理の実行から一度も録画指示操作がなく)、かつ録画指示操作を操作部20で受け付けたときには、画像合成フラグD6が必ずオフである。また、ステップS5、S6、S7、S8が実行されたとき、すなわち、直前の状態が一時停止中であり、かつ録画指示操作を操作部20で受け付けたときも、画像合成フラグD6が必ずオフである。従って、これらのときには、画像合成処理が実行されず、特定保存画像がリアルタイム撮影画像に合成されない。
【0068】
そして、ステップS13において、CPU11は、撮影モード終了操作を操作部20で受け付けたか否かを判断する。撮影モード終了操作を受け付けていないと判断したときには(S13でNO)、CPU11は処理をステップS2に戻す。一方、撮影モード終了操作を受け付けたと判断したときには(S13でYES)、CPU11は撮影処理(撮影モード)を終了する。
【0069】
以下、ステップS5でNOと判断したときの、CPU11の処理を説明する。ステップS5でNOと判断したときとは、直前の状態が、録画中ではなく、かつ録画指示操作を受け付けていないときである。録画指示操作を受け付けていないと判断したときには(S5でNO)、CPU11は画像合成フラグD6がオンであるか否かを判断する(S14)。
【0070】
画像合成フラグD6がオフであると判断したときには(S14でNO)、CPU11は、上記ステップS9を実行する。すなわち、CPU11は、動画保存フラグD4がオンであるか否かを判断する(S9)。そして、動画保存フラグD4がオンであると判断したときに(S9でYES)、CPU11は、動画保存処理を実行する(S10)。この後、CPU11は後述のステップS11に処理を進める。一方、動画保存フラグD4がオフであると判断したときに(S9でNO)、CPU11は、ステップS10の動画保存処理を実行せずに、後述のステップS11に処理を進める。なお、ステップS14でNOのときとは、直前の状態が録画中でも一時停止中でもなく、かつ録画指示操作もないときである。このときには、動画保存フラグD4が必ずオフに設定されている。従って、このときには、動画保存処理が実行されず、動画データD10が生成されない。
【0071】
ステップS11において、CPU11は、画像合成フラグD6がオンであるか否かを判断する。そして、画像合成フラグD6がオンであると判断したときに(S11でYES)、CPU11は、画像合成処理を実行する(S12)。この後、CPU11は後述のステップS13に処理を進める。一方、画像合成フラグD6がオフであると判断したときに(S11でNO)、CPU11は、ステップS12の画像合成処理を実行せずに、後述のステップS13に処理を進める。なお、ステップS14でNOのときとは、上述したように、直前の状態が録画中でも一時停止中でもなく、かつ録画指示操作もないときである。このときには、画像合成フラグD6がオフに設定されている。従って、このときには、画像合成処理が実行されず、特定保存画像がリアルタイム撮影画像に合成されない。
【0072】
ステップS13において、CPU11は、撮影モード終了操作を受け付けたか否かを判断する。そして、CPU11は、撮影モード終了操作を受け付けたと判断したときには(S13でYES)、撮影処理(撮影モード)を終了し、撮影モード終了操作を受け付けていないと判断したときには(S13でNO)、処理をステップS2に戻す。
【0073】
以下、ステップS14でYESと判断したときの、CPU11の処理を説明する。画像合成フラグD6がオンであるときは、直前の状態が一時停止中であるときである。画像合成フラグD6がオンであると判断したときには(S14でYES)、CPU11は、停止操作を操作部20で受け付けたか否かを判断する(S15)。
【0074】
そして、停止操作を受け付けていないと判断したときには(S15でNO)、CPU11は、上記ステップS9を実行する。すなわち、CPU11は、動画保存フラグD4がオンであるか否かを判断する(S9)。そして、動画保存フラグD4がオンであると判断したときに(S9でYES)、CPU11は、動画保存処理を実行する(S10)。この後、CPU11は後述のステップS11に処理を進める。一方、動画保存フラグD4がオフであると判断したときに(S9でNO)、CPU11は、ステップS10の動画保存処理を実行せずに、後述のステップS11に処理を進める。なお、ステップS15でNOと判断されるときとは、直前の状態が一時停止中であり、かつ録画指示操作も停止操作もないときである。このときには、一時停止中を継続させるため、動画保存フラグD4が必ずオフに設定されている。従って、このときには、動画保存処理が実行されず、動画データD10が生成されない。
【0075】
ステップS11において、CPU11は、画像合成フラグD6がオンであるか否かを判断する。そして、画像合成フラグD6がオンであると判断したときに(S11でYES)、CPU11は、画像合成処理を実行する(S12)。この後、CPU11は後述のステップS13に処理を進める。一方、画像合成フラグD6がオフであると判断したときに(S11でNO)、CPU11は、ステップS12の画像合成処理を実行せずに、後述のステップS13に処理を進める。なお、ステップS15でNOと判断されるときときとは、上述したように、直前の状態が一時停止中であり、かつ録画指示操作も停止操作もないときである。このときには、画像合成フラグD6が必ずオンに設定されている。従って、このときには、画像合成処理が実行されて、特定保存画像がリアルタイム画像に合成される。
【0076】
ステップS13において、CPU11は、撮影モード終了操作を受け付けたか否かを判断する。そして、CPU11は、撮影モード終了操作を受け付けたと判断したときには(S13でYES)、撮影処理を終了し、撮影モード終了操作を受け付けていないと判断したときには(S13でNO)、処理をステップS2に戻す。
【0077】
以下、ステップS15でYESと判断したときの、CPU11の処理を説明する。停止操作を受け付けたと判断したときには(S15でYES)、CPU11は、録画を停止するための処理を実行する。そして、CPU11は、撮影モード終了操作を操作部20で受け付けたか否かを判断する(S16)。なお、ステップS15でYESと判断されたときとは、直前の状態が一時停止中で、かつ停止操作がされたときである。撮影モード終了操作を受け付けていないと判断したときには(S16でNO)、CPU11は、処理をステップS1に戻す。ステップS1に戻されることで、シーン番号情報D3等が新たに生成され、新たな一シーンの動画データD10を生成可能な状態になる。また、CPU11は、動画保存フラグD4と画像合成フラグD6がオフに設定されて、上記動画保存処理及び上記画像合成処理も実行しない初期状態に戻す。この様に、初期状態に戻し、かつ新たな一シーンの動画データD10を生成可能な状態にすることで、録画が停止される。一方、撮影モード終了操作を受け付けたと判断したときには(S16でYES)、CPU11は、撮影処理(撮影モード)を終了する。
【0078】
以下、ステップS4でYESと判断したときのCPU11の処理を説明する。ステップS4でYESと判断したときとは、直前の状態が録画中であるときである。動画保存フラグD4がオンであると判断したときには(S4でYES)、CPU11は、操作部20で停止操作を受け付けたか否かを判断する(S17)。ここで、停止操作を受け付けたと判断したときには(S17でYES)、CPU11は、録画を停止するための処理を実行する。そして、上記ステップS16を実行する。なお、ステップS17でYESと判断されたときとは、直前の状態が録画中であり、かつ停止操作がされたときである。上記ステップS16において、CPU11は、撮影モード終了操作を受け付けたか否かを判断する。そして、CPU11は、撮影モード終了操作を受け付けたと判断したときには(S16でYES)、撮影処理を終了し、撮影モード終了操作を受け付けていないと判断したときには(S16でNO)、処理をステップS1に戻す。これによって、上述したように、初期状態に戻し、かつ新たな一シーンの動画データD10を生成可能な状態にすることで、録画が停止される。
【0079】
一方、停止操作を受け付けていないと判断したときには(S17でNO)、一時停止操作を操作部20で受け付けたか否かを判断する(S18)。ここで、一時停止操作を受け付けていないと判断したときには(S18でNO)、CPU11は、上記ステップS9を実行する。すなわち、動画保存フラグD4がオンであるか否かを判断する(S9)。そして、動画保存フラグD4がオンであると判断したときに(S9でYES)、CPU11は、動画保存処理を実行する(S10)。この後、CPU11は後述のステップS11に処理を進める。一方、動画保存フラグD4がオフであると判断したときに(S9でNO)、CPU11は、ステップS10の動画保存処理を実行せずに、後述のステップS11に処理を進める。なお、ステップS18でNOと判断されるときとは、直前の状態が録画中であり、かつ一時停止操作も停止操作もなされていないときである。このときには、録画中が継続されるため、動画保存フラグD4が必ずオンに設定されている。従って、このときには、動画保存処理が実行されて、動画データD10が生成される。
【0080】
ステップS11において、CPU11は、画像合成フラグD6がオンであるか否かを判断する。そして、画像合成フラグD6がオンであると判断したときに(S11でYES)、CPU11は、画像合成処理を実行する(S12)。この後、CPU11は後述のステップS13に処理を進める。一方、画像合成フラグD6がオフであると判断したときに(S11でNO)、CPU11は、ステップS12の画像合成処理を実行せずに、後述のステップS13に処理を進める。なお、ステップS18でNOと判断されるときとは、上述したように、直前の状態が録画中であり、かつ一時停止操作も停止操作もなされていないときである。このときには、録画中が継続されるため、画像合成フラグD6が必ずオフに設定されている。従って、このときには、画像合成処理が実行されず、特定保存画像がリアルタイム画像に合成されない。
【0081】
ステップS13において、CPU11は、撮影モード終了操作を受け付けたか否かを判断する。そして、CPU11は、撮影モード終了操作を受け付けたと判断したときには(S13でYES)、撮影処理を終了し、撮影モード終了操作を受け付けていないと判断したときには(S13でNO)、処理をステップS2に戻す。
【0082】
以下、ステップS18でYESと判断したときのCPU11の処理を説明する。一時停止操作を受け付けたと判断したときには(S18でYES)、CPU11は、動画保存フラグD4をオフに設定した後(S19)、画像合成フラグD6をオンに設定する(S20)。これによって、録画中が一時中断され、一時停止中になる。そして、CPU11は、動画データD10を構成するフレームデータD2のうち最後に生成されたフレームデータD2を特定保存画像データD5としてメインメモリ12に記憶させる(S21)。すなわち、特定保存画像データD5となるフレームデータD2は、今回の描画処理ではなく前回(直前)の描画処理でステップS2において生成されたフレームデータD2である。
【0083】
この後、CPU11は、上記ステップS9を実行する。すなわち、動画保存フラグD4がオンであるか否かを判断する(S9)。そして、動画保存フラグD4がオンであると判断したときに(S9でYES)、CPU11は、動画保存処理を実行する(S10)。この後、CPU11は後述のステップS11に処理を進める。一方、動画保存フラグD4がオフであると判断したときに(S9でNO)、CPU11は、ステップS10の動画保存処理を実行せずに、後述のステップS11に処理を進める。なお、ステップS18でYESと判断されてステップS19、S20、S21が実行されているときは、直前の状態が録画中であり、かつ一時停止操作がされたときである。このときには、録画中が一時中断され、一時停止中になるため、上記ステップS19において動画保存フラグD4が必ずオフに設定されている。従って、このときには、動画保存処理が実行されず(実行が一時停止され)、動画データD10が生成されない。
【0084】
ステップS11において、CPU11は、画像合成フラグD6がオンであるか否かを判断する。そして、画像合成フラグD6がオンであると判断したときに(S11でYES)、CPU11は、画像合成処理を実行する(S12)。この後、CPU11は後述のステップS13に処理を進める。一方、画像合成フラグD6がオフであると判断したときに(S11でNO)、CPU11は、ステップS12の画像合成処理を実行せずに、後述のステップS13に処理を進める。なお、ステップS18でYESと判断されてステップS19、S20、S21が実行されているときは、上述したように、直前の状態が録画中であり、かつ一時停止操作がされたときである。このときには、録画中が終了され、一時停止中が開始されており、上記ステップS20において画像合成フラグD6が必ずオンに設定されている。従って、このときには、画像合成処理が実行されて、メインメモリ12に記憶された特定保存画像データD5に基づく特定保存画像がリアルタイム画像に合成される。
【0085】
ステップS13において、CPU11は、CPU11は、撮影モード終了操作を受け付けたか否かを判断する(S13)。そして、CPU11は、撮影モード終了操作を受け付けたと判断したときには(S13でYES)、撮影処理を終了し、撮影モード終了操作を受け付けていないと判断したときには(S13でNO)、処理をステップS2に戻す。
【0086】
〔撮影処理の詳細な説明:動画保存処理〕
次に、図4A、図4B、及び図6を用いて上記ステップS10における動画保存処理を説明する。図6は、動画保存処理の一例を示すフローチャートである。まず、CPU11は、図5のステップS2において生成されてメインメモリ12に記憶されているフレームデータD2を読み出す(S101)。
【0087】
この後、CPU11は、読み出されたフレームデータD2に基づいて新たな動画データD10を生成する(S102)。このステップS102の処理の具体例を説明する。まず、CPU11は、メインメモリ12に記憶されているシーン番号情報D3を参照し、このシーン番号情報D3の示すシーン番号を取得する。そして、CPU11は、取得されたシーン番号を付加された動画データD10が保存用データメモリ13に記憶されているかどうかを判断する。取得されたシーン番号を付加された動画データD10が保存用データメモリ13に記憶されていないと判断したときには、CPU11は、読み出したフレームデータD2にフレーム番号を付加して、このフレームデータD2で新たな動画データD10を生成する。
【0088】
一方、取得されたシーン番号を付加された動画データD10が保存用データメモリ13に記憶されていると判断したときには、CPU11は、この動画データD10を読み出す。そして、CPU11は、読み出されたフレームデータD2を読み出された動画データD10に含めて、新たな動画データD10を生成する。このときに、CPU11は、読み出されたフレームデータD2に対してフレーム番号を付加する。この付加されるフレーム番号は、動画データD10を構成する各フレームデータD2のうち、最後に生成されたフレームデータD2に付加されているフレーム番号に連続する番号である。
【0089】
この後、CPU11は、生成された新たな動画データD10を保存用データメモリ13に記憶させる(S103)。なお、取得されたシーン番号を付加された動画データD10が保存用データメモリ13に記憶されていないときには、CPU11は、ステップS102において生成された動画データD10を保存用データメモリ13に記憶させる。なお、この動画データD10は、取得されたシーン番号を付加した上で記憶される。また、取得されたシーン番号を付加された動画データD10が保存用データメモリ13に記憶されているときには、CPU11は、この動画データD10をステップS102において生成された動画データD10で更新する。これによって、カメラ17に撮影された動画が動画データD10として保存用データメモリ13に記憶(保存)される。
【0090】
この後、CPU11は、動画保存処理を終了させて、図5で示すメイン処理に処理を戻す。すなわち、CPU11は、メイン処理におけるステップS11に処理を進める。
【0091】
上述した動画保存処理は、動画保存フラグD4がオンされているときにのみ実行される。この動画保存処理では、新たな動画データD10が生成されて保存用データメモリ13に記憶される。そして、動画保存フラグD4は録画中にのみオンされているため、録画中にのみ、新たな動画データD10を生成して保存用データメモリ13に記憶することができる。
【0092】
〔撮影処理の詳細な説明:画像合成処理〕
次に、図4B及び図7を用いて、上記ステップS12における画像合成処理を説明する。図7は、画像合成処理の一例を示すフローチャートである。まず、CPU11は、フレームバッファ121における上側ディスプレイ描画領域に記憶されている各ピクセルの色情報(R、G、B)を読み出す(S121)。この後、CPU11は、メインメモリ12に記憶されている特定保存画像データD5を読み出す(S122)。
【0093】
そして、CPU11は、上述したような半透明処理を実行する(S123)。この半透明処理においては、例えば、メインメモリ12から画像合成比率情報D7を読み出し、この画像合成比率情報D7の示す所定の比率(例えばアルファ値)で、ステップS122で読み出した各ピクセルの色情報(R、G、B)と、特定保存画像データD5の示す各ピクセルの色情報(R、G、B)とを混色する。更に、半透明処理において、CPU11は、この混色によって生成された新たな色情報をフレームバッファ121の上側ディスプレイ描画領域に描画する。これによって、特定保存画像がリアルタイム撮影画像に合成されて上側ディスプレイ装置18に表示される。
【0094】
この後、CPU11は、画像合成処理を終了させて、図5で示すメイン処理に処理を戻す。すなわち、CPU11は、メイン処理におけるステップS13に処理を進める。
【0095】
上述したように、画像合成フラグD6がオンされているときにのみ、画像合成処理が実行されて、特定保存画像をリアルタイム撮影画像に合成して上側ディスプレイ装置18に表示することができる。そして、画像合成フラグD6は一時停止中のみオンされているため、一時停止中にのみ、特定保存画像をリアルタイム撮影画像に合成して上側ディスプレイ装置18に表示することができる。
【0096】
上記第一実施形態によれば、一時停止中に、動画データD10の生成の一時停止の直前に撮影された保存画像を特定保存画像として、リアルタイム撮影画像に合成して上側ディスプレイ装置18に表示することができる。これによって、ユーザに動画データD10の生成に用いられた保存画像のうち最後に撮影された保存画像をユーザに把握させることができる。ユーザは、この最後に撮影された保存画像を把握して、撮影装置1に次の動画を撮影させて保存させることができる。
【0097】
更に、第一実施形態によれば、上記最後に撮影された保存画像が半透明でリアルタイム撮影画像に合成して表示されるため、ユーザは、上記最後に撮影された保存画像における被写体の位置及び姿勢に基づいて、リアルタイム撮影画像における被写体の位置及び姿勢を調整することができる。これによって、次に生成される動画データD10のフレームデータD2内容を、上記最後に撮影された保存画像のフレームデータD2の内容に連続させることが容易になる。
【0098】
(第二実施形態)
次に、本発明の第二実施形態にかかる撮影処理を説明する。第一実施形態にかかる撮影処理においては、一時停止中において、動画保存処理の実行を一時停止する直前に撮影された保存画像が特定保存画像として表示されていた。第二実施形態においては、動画データD10の生成に用いられた保存画像のうち、ユーザに任意で選択された保存画像が、特定保存画像としてリアルタイム撮影画像に合成されて表示される場合がある。
【0099】
また、ユーザに特定保存画像を選択させるために、CPU11が動画データD10を読み出して再生することで、上側ディスプレイ装置18に動画を表示させる。変形例にかかる撮影装置1は、この動画の表示中に、ユーザから特定保存画像の選択操作を受け付け、動画データD10の再生後に、ユーザに選択された保存画像を特定保存画像として表示する。
【0100】
以下、図4A、図4B、図5及び図8を用いて、第二実施形態にかかる撮影処理を説明する。図8は、第二実施形態にかかる撮影処理のメイン処理の一例を示すフローチャートである。第二実施形態では、メイン処理において、図5で示すステップS21の処理に代えて図8で示すステップS31〜S35の処理が実行される点のみが、第一実施形態と異なっている。従って、この異なる点についてのみ説明する。
【0101】
第二実施形態にかかるメイン処理では、CPU11は、ステップS20の実行後、メインメモリ12に記憶されているシーン番号情報D3を参照し、このシーン番号情報D3の示すシーン番号が付加された動画データD10を読み出す(S31)。そして、CPU11は、この読み出した動画データD10を再生する(S32)。具体的には、CPU11は、この動画データD10を構成するフレームデータD2を順次読み出して、読み出されたフレームデータD2に基づいて、フレームバッファ121の上側ディスプレイ描画領域に保存画像を描画する。フレームデータD2の読み出しは、このフレームデータD2に付加されているフレーム番号順に行う。これによって、上側ディスプレイ装置18に動画が表示される。
【0102】
この後、CPU11は、特定保存画像の選択操作を操作部20で受け付けたかどうかを判断する(S33)。そして、特定保存画像の選択操作を受け付けたと判断したときには(S33でYES)、CPU11は、特定保存画像の選択操作によって選択された保存画像のフレームデータD2を、特定保存画像データD5としてメインメモリ12に記憶させる(S34)。なお、第二実施形態では、特定保存画像の選択操作は動画データD10の再生中に受け付けられ、この選択操作がされたときに、上側ディスプレイ装置18に表示されている保存画像が特定保存画像とされる。
【0103】
ステップS32において、動画データD10の再生を終えた後、CPU11は、処理をステップS9に進める。これによって、ステップS9の後に実行される画像合成処理(S12)において、ユーザに選択された保存画像が、特定保存画像としてリアルタイム撮影画像に合成されて、上側ディスプレイ装置18に表示される。
【0104】
一方、特定保存画像の選択操作を受け付けていないと判断したときには(S33でNO)、CPU11は、図5のステップS21と同様に、動画データD10を構成するフレームデータD2のうち最後に生成されたフレームデータD2を特定保存画像データD5としてメインメモリ12に記憶させる(S35)。
【0105】
上記第二実施形態では、ユーザが特定保存画像の選択操作を行った場合には、ユーザに選択された保存画像が特定保存画像としてリアルタイム撮影画像に合成して表示される。これによって、ユーザが、自己の選択した特定保存画像の内容を把握することができる。また、特定保存画像の表示の前に、動画データD10が再生される。このため、ユーザが、保存用データメモリ13に記憶されている動画データD10の内容を、更に十分に把握することができる。
【0106】
なお、上記第二実施形態では、一時停止中において録画指示操作がされたとき、図6で示すステップS102において、次のように動画データD10を生成してもよい。すなわち、ユーザによる特定保存画像の選択があったときには、録画中の再開の後に最初に生成されたフレームデータD2に付加するフレーム番号を、特定保存画像データD5のフレーム番号に連続する番号とする。これによって、特定保存画像の後に、一時停止中の後の録画中に撮影された保存画像が挿入される。この様な構成である場合には、ユーザは、動画データD10におけるこの挿入位置を、特定保存画像の選択操作を行うことで決めることができる。更に、選択された保存画像が特定保存画像として表示されるため、ユーザが、上記挿入位置の直前の特定保存画像を把握することができる。
【0107】
(変形例)
(1)第一実施形態及び第二実施形態においては、一時停止中において特定保存画像をリアルタイム撮影画像に合成して表示するが、これに加えて、またこれに代えて、動画保存処理の実行停止を行った後に、この動画保存処理の実行停止の直前に撮影された保存画像を特定保存画像としてリアルタイム撮影画像に合成して表示してもよい。また、その他の所定の操作がされたときに、この所定の操作の直前に撮影された保存画像をリアルタイム撮影画像に合成して表示してもよい。例えば、その他の所定の操作は、ユーザから特定保存画像の表示を指示する表示指示操作である。
【0108】
(2)第一実施形態及び第二実施形態においては、電子式ファインダーをしているが、光学式ファインダーを使用してもよいことは上述している。光学式ファインダーを用いる場合には、例えば、光学式ファインダーを、接眼レンズと、この接眼レンズに重ねて透明液晶パネル等の表示手段を配置したものとし、この表示手段に特定保存画像を表示してもよい。そして、ユーザが、透明液晶パネルと表示手段とを通して、撮影対象と特定保存画像を視認可能になるように、撮影装置1を構成すればよい。
【0109】
(3)第二実施形態では、動画保存処理の実行を一時停止する直前に撮影された保存画像を特定保存画像としてリアルタイム撮影画像に合成して表示するが、ユーザから任意に選択された保存画像だけを特定保存画像としてリアルタイム撮影画像に合成して表示することが可能であってもよい。また、ユーザに選択された保存画像を表示する構成に代えて、又はこの構成に加えて、CPU11によって自動的に(例えばランダムに)選択された保存画像が特定保存画像とされてもよい。
【0110】
(4)第一実施形態及び第二実施形態では、半透明処理によって、特定保存画像がリアルタイム撮影画像に合成して表示されているが、合成の方法は半透明処理に限定されない。特定保存画像に重ねてリアルタイム撮影画像を表示することが可能であればどの様な画像処理を用いてもよい。例えば、特定保存画像における輪郭を公知の輪郭抽出処理を用いて抽出して線画の画像データを生成し、この線画をリアルタイム撮影画像に合成して表示してもよい。また、特定保存画像の全てを表示する必要はなく、特定保存画像の一部(例えば、被写体だけ、背景だけ)を所定の画像処理によって抽出して、抽出された一部のみを表示してもよい。
【0111】
(5)第一実施形態及び第二実施形態では、特定保存画像がリアルタイム撮影画像に合成して表示されているが、必ずしも合成して表示する必要はない。特定保存画像がリアルタイム撮影画像とともに上側ディスプレイ装置18(ファインダー)に表示される構成であればよい。例えば、特定保存画像とリアルタイム撮影画像とを合成せずに、これらの画像を並べて表示する構成であってもよい。
【0112】
(6)第一実施形態及び第二実施形態では、撮影装置1は動画保存処理の実行の一時停止を行うが、撮影装置1が動画保存処理の実行の一時停止を行うことができず停止のみを行うことが可能であってもよい。
【0113】
(7)第一実施形態及び第二実施形態の撮影処理では、動画データD10の生成とともに、マイク23で集音した音声の音声データを生成しないが、動画データD10の生成とともに音声データを生成し、生成した音声データを動画データD10と対応付けて保存用データメモリ13に記憶させてもよい。
【0114】
(8)第一実施形態及び第二実施形態の撮影処理では、「撮影モード開始操作」、「録画指示操作」、「一時停止操作」、「停止操作」及び「撮影モード終了操作」を操作部20で受け付けているが、タッチパネル22で受け付けてもよい。
【0115】
(9)第一実施形態及び第二実施形態のフローチャートにおける処理の順番はあくまで一例であり、同じ作用効果を奏するように、処理の順番を適宜入れ替えてもよい。また、このフローチャートにおける全ての処理が実行される必要はない。
【0116】
(10)第一実施形態及び第二実施形態の撮影装置1の構成は適宜変更することができる。例えば、撮影装置1は、撮影部を内蔵しているが、外付けでもよい。撮影装置1は、動画の撮影の専用機でなくてもよい。例えば、携帯型ゲーム装置、PDA(Personal Digital Assistant)、携帯電話(スマートフォンを含む)であってもよい。例えば、カメラと、パーソナルコンピュータ等とで構成されてもよい。撮影装置1の撮影処理の一部をサーバ等の他の情報処理装置で負担してもよく、撮影装置1と他の情報処理装置とを含む複数の装置で撮影システムを構成してもよい。
【符号の説明】
【0117】
1 撮影装置
2 メモリカード(本発明の記憶部の一例)
11 CPU(本発明の動画記憶手段及び表示制御手段の一例)
13 保存用データメモリ(本発明の記憶部の一例)
17 カメラ(本発明の撮影部の一例)
18 上側ディスプレイ装置(本発明のファインダーの一例)
20 操作部(本発明の操作部の一例)
22 タッチパネル(本発明の操作部の一例)
D1 撮影プログラム
D2 フレームデータ
D5 特定保存画像データ
D10 動画データ

【特許請求の範囲】
【請求項1】
撮影部、この撮影部の撮影対象をユーザが視認するためのファインダー、及び記憶部を備えた撮影装置のコンピュータを、
前記撮影部によって撮影された動画を前記記憶部に記憶させる動画記憶手段、及び
前記撮影対象を前記ユーザが視認可能に、前記記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、前記ファインダーに表示する表示制御手段、
として機能させる撮影プログラム。
【請求項2】
前記表示制御手段は、前記記憶部に記憶されている動画を構成する静止画のうち、最後に撮影された前記静止画及びユーザに任意で選択された前記静止画の少なくともいずれか一方を、前記所定の静止画として、前記ファインダーに表示する、
請求項1に記載の撮影プログラム。
【請求項3】
前記表示制御手段は、前記ユーザが前記所定の静止画と前記撮影対象とを重ねて視認可能に、前記所定の静止画を前記ファインダーに表示する、
請求項1又は2に記載の撮影プログラム。
【請求項4】
前記表示制御手段は、前記所定の静止画を半透明にして前記ファインダーに表示する、
請求項3に記載の撮影プログラム。
【請求項5】
前記撮影装置は、操作部を備え、
前記表示制御手段は、前記操作部でユーザから所定の操作を受け付けたときに、前記撮影対象を前記ユーザが視認可能に、前記所定の静止画を前記ファインダーに表示する、
請求項1〜4の何れかに記載の撮影プログラム。
【請求項6】
前記所定の操作は、一時停止操作又は停止操作であり、
前記動画記憶手段は、前記撮影部によって撮影された動画を前記記憶部に記憶させる記憶処理を繰り返し実行し、前記一時停止操作を前記操作部で受け付けたときに、前記記憶処理の実行を一時停止し、前記停止操作を前記操作部で受け付けたときに、前記記憶処理の実行を停止し、
前記表示制御手段は、前記一時停止の直前又は前記停止の直前に撮影された静止画を、前記所定の静止画として前記ファインダーに表示する、
請求項5に記載の撮影プログラム。
【請求項7】
前記表示制御手段は、前記記憶部に記憶されている動画のうち前記所定の静止画を含む動画を前記ファインダーに表示させた後、前記撮影対象を前記ユーザが視認可能に、前記所定の静止画を、前記ファインダーに表示する、請求項1〜6の何れかに記載の撮影プログラム。
【請求項8】
撮影部、
前記撮影部の撮影対象をユーザが視認するためのファインダー、
記憶部、
前記撮影部によって撮影された動画を前記記憶部に記憶させる記憶処理を行う動画記憶手段、及び
前記撮影対象を前記ユーザが視認可能に、前記記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、前記ファインダーに表示する表示制御手段、
を備えた撮影装置。
【請求項9】
撮影部、
前記撮影部の撮影対象をユーザが視認するためのファインダー、
記憶部、
前記撮影部によって撮影された動画を前記記憶部に記憶させる記憶処理を行う動画記憶手段、及び
前記撮影対象を前記ユーザが視認可能に、前記記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、前記ファインダーに表示する表示制御手段、
を備えた撮影システム。
【請求項10】
撮影部、この撮影部の撮影対象をユーザが視認するためのファインダー、及び記憶部を備えた撮影装置を用いた画像表示方法であって、
前記撮影部によって撮影された動画を前記記憶部に記憶させる動画記憶ステップ、及び
前記撮影対象を前記ユーザが視認可能に、前記記憶部に記憶されている動画を構成する静止画のうちの所定の静止画を、前記ファインダーに表示する表示制御ステップ、
を含む画像表示方法。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図2C】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図3C】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−106239(P2013−106239A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249396(P2011−249396)
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000233778)任天堂株式会社 (1,115)
【Fターム(参考)】