カメラ内蔵型デジタル玩具
【課題】撮像した画像に対するエフェクトの付加を簡単に行う。
【解決手段】圧縮処理部７ａは、時系列的な撮像画像にフレーム内符号化処理を施すことによって、時系列的な圧縮画像を生成する。フォーマット変換部７ｂは、圧縮画像に対して、シーケンスデータ（初期値）を付加する。シーケンスデータ編集部７ｃは、テンプレートの内容に基づいて、シーケンスデータ中のビットを変更することによって、シーケンスデータを編集する。伸張処理部７ｄは、編集後のシーケンスデータに基づいて、圧縮画像を順次読み出し、フレーム内復号化処理を施すことによって、伸張画像を生成する。エフェクト実行部７ｅは、編集五のシーケンスデータに基づいて、伸張画像にエフェクトを付加したグラフィックデータと、サウンドデータとを生成する。これにより、動画および音声が同期再生される。
【解決手段】圧縮処理部７ａは、時系列的な撮像画像にフレーム内符号化処理を施すことによって、時系列的な圧縮画像を生成する。フォーマット変換部７ｂは、圧縮画像に対して、シーケンスデータ（初期値）を付加する。シーケンスデータ編集部７ｃは、テンプレートの内容に基づいて、シーケンスデータ中のビットを変更することによって、シーケンスデータを編集する。伸張処理部７ｄは、編集後のシーケンスデータに基づいて、圧縮画像を順次読み出し、フレーム内復号化処理を施すことによって、伸張画像を生成する。エフェクト実行部７ｅは、編集五のシーケンスデータに基づいて、伸張画像にエフェクトを付加したグラフィックデータと、サウンドデータとを生成する。これにより、動画および音声が同期再生される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィックおよびサウンドを同期再生するカメラ内蔵型デジタル玩具に関する。
【背景技術】
【０００２】
特許文献１には、例えばビデオクリップのように、楽曲の進行に沿った画像進行のシーケンス情報を作成するための編集装置が開示されている。具体的には、表示画面上のシーケンス情報領域には、ソング領域と、ピクチャ領域と、テキスト領域とが設けられている。ソング領域には、演奏すべき楽曲が表示される。ピクチャ領域には、楽曲の演奏の進行に沿って表示されるピクチャ、エフェクトおよび改シーン情報がアイコンで表示される。テキスト領域には、楽曲の演奏に応じて表示すべきテキストが表示される。ユーザは、イベント領域から各シーンに表示させたいピクチャを選択し、ソング選択メニューから演奏する楽曲を選択する。そして、予めエフェクトや改シーンが設定されているシナリオをシナリオ選択メニューボタンで選択することにより、画像進行のシーケンス情報を容易に生成することができる。
【０００３】
【特許文献１】特開平１１−３４１３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の編集装置（パーソナルコンピュータ）では、比較的年齢層が低いユーザにとって編集作業が容易ではなく、気軽に遊び感覚で作業を容易に行えるとは言い難い。特に、このような編集機能を有する玩具を低コストで実現するためには、かなりの改善の余地が残されている。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、カメラ内蔵型デジタル玩具において、撮像した画像に対するエフェクトの付加を簡単に行うことである。
【０００６】
また、本発明の別の目的は、高いハードウェアスペックを要求することなく、カメラ内蔵型デジタル玩具を安価に実現することである。
【０００７】
さらに、本発明の別の目的は、エフェクトの付加に伴う記憶データ量の変動を抑制し、記憶部の省容量化を図ることである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するために、本発明は、グラフィックおよびサウンドを同期再生するカメラ内蔵型デジタル玩具を提供する。このデジタル玩具は、撮像素子と、圧縮処理部と、フォーマット変換部と、記憶部と、シーケンスデータ編集部と、伸張処理部と、エフェクト実行部と、表示部と、スピーカとを有する。撮像素子は、時系列的に並んだ複数の撮像画像を出力する。圧縮処理部は、複数の撮像画像のそれぞれに対して、フレーム内符号化処理を施すことによって、時系列的に並んだ複数の圧縮画像を生成する。フォーマット変換部は、複数の圧縮画像のそれぞれに対して、シーケンスデータを付加することによって、複数の圧縮画像を所定のフォーマットに変換する。このシーケンスデータは、グラフィックおよびサウンドに関するエフェクトを指定するためのもので、所定のビット長を有する。また、フォーマット変換部は、シーケンスデータを初期値に設定する。記憶部は、フォーマット変換部によって変換されたシーケンスデータ付の圧縮画像と、時系列的に実行される一連のエフェクトが規定された複数のテンプレートとを記憶する。シーケンスデータ編集部は、ユーザの選択に応じて、記憶部に記憶された複数のテンプレートのうちのいずれかを特定するとともに、特定されたテンプレートによって規定された内容に基づいて、記憶部に記憶されたシーケンスデータ中のビットを変更することによって、シーケンスデータを編集する。伸張処理部は、編集されたシーケンスデータの指定内容に基づいて、記憶部から圧縮画像を順次読み出し、読み出された圧縮画像にフレーム内復号化処理を施すことによって、時系列的に並んだ複数の伸張画像を生成する。エフェクト実行部は、編集されたシーケンスデータの指定内容に基づいて、伸張画像にエフェクトを付加したグラフィックデータと、このグラフィックデータと同期再生すべきサウンドデータとを生成する。表示部は、エフェクト実行部によって生成されたグラフィックデータに応じた動画を表示する。スピーカは、エフェクト実行部によって生成されたサウンドデータに応じた音声を出力する。
【０００９】
ここで、本発明において、シーケンスデータは、画像の表示順序を指定する表示画像番号を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応する表示画像番号の内容を、テンプレートによって指定された表示画像番号に変更することが好ましい。
【００１０】
本発明において、シーケンスデータは、画像の表示時間を指定する表示時間を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応する表示時間の内容を、テンプレートによって指定された表示時間に変更することが好ましい。
【００１１】
本発明において、シーケンスデータは、画像上に重ね合わせるレイヤに関するグラフィックのエフェクトを指定するグラフィック番号を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応するグラフィック番号の内容を、テンプレートによって指定されたグラフィック番号に変更することが好ましい。
【００１２】
本発明において、シーケンスデータは、グラフィックと同期再生するサウンドのエフェクトを指定するサウンド番号を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応するサウンド番号の内容を、テンプレートによって指定されたサウンド番号に変更することが好ましい。
【００１３】
また、本発明において、記憶部はランダムアクセス可能なＮＯＲ型フラッシュメモリであることが好ましく、この場合、バッファをさらに設けることが望ましい。このバッファは、フォーマット変換部によって変換されたシーケンスデータ付の圧縮画像を記憶部に記憶するのに先立ち、シーケンスデータ付の圧縮画像を一時的に記憶する。
【発明の効果】
【００１４】
本発明によれば、ユーザがテンプレートを選択するだけで、カメラで撮像した動画にエフェクトが自動的に付加されるので、例えばビデオクリップといったエフェクト付の動画を気軽に遊び感覚で容易に作成することができる。
【００１５】
また、動画のコーデックは、前後の画像を参照する必要があるフレーム間予測符号化を用いずに、単一の画像内で処理が完結するフレーム内符号化にて行われる。したがって、本来の時系列的な順序とは異なる順序での伸張再生を行うエフェクト再生時であっても、高いハードウェアスペックを必要とすることなく、リアルタイムでの処理が可能になる。また、動画に対するエフェクトの付加は、個々の圧縮画像に対応付けられたシーケンスデータの編集にて行うことができ、個々の圧縮画像のデータ自体、或いは、圧縮画像の時系列的に並び自体を変更する必要はない。したがって、高いハードウェアスペックを必要とすることなく、比較的少ない演算量でエフェクトの設定が可能になる。その結果、本発明によれば、処理能力の高い処理装置（ＣＰＵ等）を用いる必要がないので、カメラ内蔵型デジタル玩具を安価に実現することができる。
【００１６】
さらに、フォーマット変換によって動画に付加されるシーケンスデータは、所定のビット長を有するとともに、動画に対するエフェクトの付加は、シーケンスデータ中のビットを変更することによって行われる。したがって、エフェクトを付加しても記憶部中のデータ量は変わらず、容量オーバになることもない。その結果、本発明によれば、データ量の増大を見越して容量マージンを設定する必要がないので、記憶部の省容量化を図ることができる。
【発明を実施するための最良の形態】
【００１７】
図１は、本実施形態に係るカメラ内蔵型デジタル玩具の外観図である。このカメラ内蔵型デジタル玩具１は、内蔵電池によって駆動し、撮像素子としてのＣＭＯＳセンサ２と、操作部３と、ＬＣＤ等の表示部４と、スピーカ５と、マイクロフォン６とを有する。ＣＭＯＳセンサ２は、前方、上方および後方の間で１８０度可動する。操作部３は、比較的年齢層が低いユーザでも簡単に操作できるようにシンプルな構成になっており、中心に位置するＥＮＴＥＲボタンと、その上下に配置された２つのセレクトボタンと、外周に配置された回転式スイッチダイアルとを有する。また、同図には示していないが、デジタル玩具１の側面には、電源スイッチ、モードセレクタ、ボリューム、および、外部記憶媒体（ＳＤカード）への出力に対応すべくカードスロットが設けられている。モードセレクタによって選択可能なモードとしては、録画、写真撮影、編集および再生の４つのモードがある。録画モードは、映像１本あたり約３０秒の動画（ムービ）を録画するモードである。写真撮影モードは、静止画を撮影するモードである。編集モードは、撮影した動画／静止画をプリセットされたエフェクトや音声等で編集するモードである。再生モードは、撮影した動画／静止画、編集した動画／静止画を鑑賞するモードである。このデジタル玩具１によれば、撮影した映像から愉快な映像を、誰にでも、簡単に、すばやく、かつ、かっこよく作成できる。
【００１８】
図２は、カメラ内蔵型デジタル玩具１のシステム構成図である。システムバスには、後述するエフェクト処理を含む画像処理の中心的な機能を担う処理装置７（ＣＰＵ）が接続されている他、上述したユニット２〜６と、各種の記憶部８〜１１とが接続されている。以下に、デジタル玩具１の特徴的な機能を列記し、それぞれのデータの流れについて概略的に説明する。
【００１９】
（１）動画撮影
まず、ＣＭＯＳセンサ２から、時系列的に並んだ複数の撮像画像（原動画データ）が出力される。撮像画像は、処理装置７によるフレーム内符号化処理およびフォーマット変換処理を経て、バッファとして機能するＳＲＡＭ８に一時的に記憶された後、ＮＯＲ型フラッシュメモリ９に記憶される。バッファとしてのＳＲＡＭ８を設けた理由は、ＮＯＲ型フラッシュメモリ９はランダムアクセスが可能であるがアクセス速度が遅いので、動画撮影時における処理のリアルタイム性を確保するためである。なお、後述するエフェクト再生時には、動画本来の時系列的な並びと異なる順序で伸張再生が行われることがある関係上、動画の格納先として、ランダムアクセス可能なＮＯＲ型フラッシュメモリ９を用いる。
【００２０】
（２）エフェクト設定
スタンプ、カラーフィルタ、モーション等のエフェクトおよびプリセットエフェクト（テンプレート）は、動画の格納先とは異なるＮＯＲ型フラッシュメモリ１０に予め記憶されている。ユーザは、操作部３を操作することによって、予め用意されたエフェクト群、または、予め用意されたプリセットエフェクト群の中から、任意のものを選択することができる。プリセットエフェクトを使用せずにユーザ自身がエフェクトを個別に設定する場合、ユーザは、表示部４に表示された動画を見ながら、エフェクトの開始ポイントで操作部３を操作するとともに、エフェクトの終了ポイントで操作部３を再度操作する。これにより、開始ポイントから終了ポイントまでの間に再生された動画部分に対して、ユーザによって選択されたエフェクトが施される。一方、予め用意されたプリセットエフェクトを適用して一連のエフェクトを一括設定する場合、ユーザは、複数のプリセットエフェクトのいずれかを選択するだけで足りる。これにより、システムの自動処理によって、プリセットエフェクトが設定される。プリセットエフェクトの実行後に、エフェクトの修正を行えるようにしてもよい。なお、動画に対するエフェクトの付加は、ＮＯＲ型フラッシュメモリ９に記憶された画像自体を変更したり、画像の時系列的な並び自体を変更するのではなく、個々の画像（圧縮画像）に対応付けられたシーケンスデータ（詳細については後述）を編集することによって行われる。したがって、エフェクトの設定に際しては、動画自体へのアクセスは必要なく、ＮＯＲ型フラッシュメモリ９内のシーケンスデータへのアクセスのみで足りる。
【００２１】
（３）エフェクト再生
ＮＯＲ型フラッシュメモリ９から読み出されたシーケンスデータに基づいて、動画がエフェクト付で伸張再生される。なお、エフェクト付の動画は、表示部４に表示するのみならず、ユーザの指定によって、外部記憶装置１１を介してＳＤカード等に出力することも可能である。
【００２２】
図３は、処理装置７のブロック構成図である。この処理装置７は、圧縮処理部７ａと、フォーマット変換部７ｂと、シーケンスデータ編集部７ｃと、伸張処理部７ｄと、エフェクト実行部７ｅとを主体に構成されている。
【００２３】
上記（１）の動画撮影時には、圧縮処理部７ａとフォーマット変換部７ｂとの連係によって、撮像画像に基づいてシーケンスデータ付の圧縮画像が生成される。具体的には、まず、圧縮処理部７ａは、時系列的に並んだ複数の撮像画像のそれぞれに対して、フレーム内符号化処理を施すことによって、時系列的に並んだ複数の圧縮画像を生成する。フレーム間予測符号化を用いず、フレーム内符号化のみで圧縮画像を生成する理由は、第１に、動画本来の時系列的な並びとは異なる順序でエフェクト再生が行われ得る関係上、伸張処理の高速化を図るためである。第２に、処理能力があまり高くない処理装置７（ＣＰＵ）でも伸張再生をリアルタイムで行えるようにするためである。なお、フレーム内符号化のみを用いた動画圧縮手法としては、例えば、モーションＪＰＥＧ（Joint Photographic Experts Group）を用いることができる。
【００２４】
フォーマット変換部７ｂは、例えば図４に示すように、圧縮処理部７ａから順次出力された一連の圧縮画像１〜１３を所定のフォーマットに変換する。具体的には、圧縮画像１〜１３に対してシーケンスデータＥ１〜Ｅ１３が付加され、圧縮画像ｉ（ｉは１〜１３の任意の数）とシーケンスデータＥｉとは１対１の関係になる。それぞれのシーケンスデータＥiは、グラフィックおよびサウンドに関するエフェクトを指定するためのものであり、具体的には、表示画像番号Ｈと、表示時間Ｆと、ｍ個のグラフィック番号Ｇｍ（同図のケースではｍ＝１，２）と、ｎ個のサウンド番号Ｓn（同図のケースではｎ＝１，２）とを含む。フォーマット変換時において、これらはいずれも初期値に設定される。
【００２５】
ここで、表示画像番号Ｈは、画像の表示順序を指定するデータであり、初期的には、動画本来の時系列的な順序通り、すなわち、画像番号と同じ番号に設定される。この表示画像番号Ｈを変更することで、例えば、動画再生を正逆交互に繰り返すスクラッチや、シーンを突然変更するスキップといったエフェクトが実現される。
【００２６】
表示時間Ｆは、画像の表示時間を指定するデータであり、初期的には「１」、すなわち、通常の再生期間（１フレーム期間）に設定される。この表示時間Ｆを変更することで、例えば、再生の一時停止や、本来の再生速度より遅く再生するスローといったエフェクトが実現される。
【００２７】
グラフィック番号Ｇｍは、再生すべき動画（ベースレイヤ）上に重ね合わせるレイヤに関するグラフィックエフェクトの種別を指定するデータであり、初期的には「０」、すなわち、エフェクトなしに設定される。グラフィック番号Ｇｍの添字ｍはレイヤ番号に相当し、レイヤ毎に独立してエフェクトが設定できるようになっている。このグラフィック番号Ｇｍを変更することで、例えば図５に示すように、モーションレイヤ上のモーション（別の動画）の設定、カラーフィルタレイヤ上のカラーフィルタ（半透明色）の設定、フレームレイヤ上のフレーム（外縁枠）の設定、レターレイヤ上のレター（テキスト）の設定、スタンプレイヤ上のスタンプ（小図形）の設定が可能になり、画像や文字の重ね合わせ表示が実現される。
【００２８】
サウンド番号Ｓｎは、動画と同期して音声出力するサウンド（楽曲、効果音等）に関するサウンドエフェクトの種別を指定するデータであり、初期的には「０」、すなわち、エフェクトなしに設定される。サウンド番号Ｓｎの添字ｎはチャネルに相当し、チャネル毎に独立してエフェクトが設定できるようになっている。このグラフィック番号Ｓｎを変更することで、例えば、ビデオクリップ（動画と楽曲との同期再生）や、動画に応じた効果音の発生といったエフェクトが実現される。
【００２９】
シーケンスデータＥｉは、予め設定されたビット長を有する。例えば、表示動画番号Ｈのビット数をｂ１、表示時間Ｆのビット数をｂ２、グラフィック番号Ｇ１，Ｇ２のビット数をそれぞれｂ３，ｂ４、サウンド番号Ｓ１，Ｓ２のビット数をそれぞれｂ５，ｂ６とすると、一枚の圧縮画像ｉに付加されるシーケンスデータＥｉのビット長Ｂｉは（ｂ１＋ｂ２＋ｂ３＋ｂ４＋ｂ５＋ｂ６）となり、シーケンスデータＥ１〜Ｅ１３の全体のビット数ＢはＢｉ×１３（圧縮画像の枚数分）となる。なお、同図において、シーケンスデータは十進数で表記されている点に注意されたい。動画撮影時の段階において、シーケンスデータＥiは、フォーマット変換部７ｂによって、上述した初期値に設定される。フォーマット変換部７ｂから出力されたシーケンスデータＥ１〜Ｅ１３付の圧縮画像１〜１３は、
ＮＯＲ型フラッシュメモリ９に記憶される。
【００３０】
上記（２）のエフェクト設定時（プリセットエフェクト使用）には、シーケンスデータ編集部７ｃによって、適用されるテンプレートに規定された内容に基づいて、ＮＯＲ型フラッシュメモリ９に記憶されたシーケンスデータＥ１〜Ｅ１３が編集される。テンプレートは、時系列的に実行される一連のエフェクトを規定しており、一例として、図６のようなデータ構造を有する（同図は十進表記）。例えば、［Ｅ４］［Ｈ］←１に関して、［Ｅ４］は指定時間、すなわち、時間軸上における４番目の画像を示し、［Ｈ］←１は変更内容、具体的には、この指定時間における表示画像番号Ｈの内容を「４」（初期値）から「１」に変更すべきことを示している（再生順序の変更（前の画像に戻る）を意味する）。また、［Ｅ７］［Ｆ］←３に関しては、７番目の画像の表示時間Ｆの内容を「１」（初期値）から「３」に変更すべきことを示している（画像の表示時間の変更（長くする）を意味する）。グラフィック番号およびサウンド番号についても同様であり、テンプレートによって指定時間で、テンプレートによって指定された内容に変更される。ここで留意すべきは、テンプレートに基づくシーケンスデータＥ１〜Ｅ１３の編集は、新たなデータの追加は行われず、ビットの変更のみによって行われる点である。これにより、プリセットエフェクトの設定の前後で、ＮＯＲ型フラッシュメモリ９に記憶されるシーケンスデータＥ１〜Ｅ１３のデータ量は不変であることが保証される。同図に示したテンプレートに基づき、ビットが変更された編集後のシーケンスデータを図７に示す。
【００３１】
上記（３）のエフェクト再生時には、伸張処理部７ｄとエフェクト実行部７ｅとの連係によって、編集後のシーケンスデータＥ１〜Ｅ１３の指定内容に基づいたエフェクト再生が行われる。具体的には、伸張処理部７ｄは、表示画像番号Ｈのシーケンスにしたがって、ＮＯＲ型フラッシュメモリ９から圧縮画像ｉを順次読み出す。そして、これらにフレーム内復号化処理を施すことによって、時系列的に並んだ複数の伸張画像が生成される。そして、エフェクト実行部７ｅは、表示時間Ｆ、グラフィック番号Ｇｍおよびサウンド番号Ｓｎのシーケンスにしたがって、伸張画像にエフェクトを付加したグラフィックデータと、これと同期再生すべきサウンドデータとを生成する。エフェクト実行部７ｅによって生成されたグラフィックデータは、表示部４に出力され、サウンドデータはスピーカ５に出力される。これにより、表示部４は、グラフィックデータに応じた動画を表示するとともに、スピーカ５は、サウンドデータに応じた音声を出力する。
【００３２】
図８は、図７に示したシーケンスデータＥ１〜Ｅ１３によるエフェクト再生のタイミングチャートであり、図９は、再生される動画の推移を示す図である。図９からわかるように、期間Ｔ１〜Ｔ３で１〜３番目の画像が順方向再生され、続く期間Ｔ３〜Ｔ６で１，３番目の画像のスクラッチが２回繰り返される。そして、期間Ｔ７〜Ｔ９で３番目の画像を３フレーム期間表示（一時停止）した後、期間Ｔ１０〜Ｔ１５で４〜９番目の画像が順方向再生される。一時停止が２フレーム期間加わるので、実際の再生時間は本来の１３フレーム期間よりも長くなり、１５フレーム期間となる。その他のグラフィックエフェクトに関しては、タイミングＴ１０，Ｔ１２，Ｔ１４で、３種類のカラーフィルタの重ね合わせが実行される。また、タイミングＴ１２，Ｔ１４で、２種類のスタンプの重ね合わせが実行される。一方、動画の再生が開始されるタイミングＴ１において、サウンド番号Ｓ１のチャネルからＢＧＭの同期再生も開始される。このＢＧＭは、動画の再生が終了するタイミングＴ１５まで継続する。タイミングＴ３，Ｔ５，Ｔ７で、サウンド番号Ｓ２のチャネルから効果音の発声が３回実行される。
【００３３】
このように、本実施形態によれば、ユーザがテンプレートを選択するだけで、撮像した動画にエフェクトが自動的に付加されるので、例えばビデオクリップといったエフェクト付の動画を気軽に遊び感覚で容易に作成することができる。
【００３４】
また、動画のコーデックは、前後の画像を参照する必要があるフレーム間予測符号化を用いずに、単一の画像内で処理が完結するフレーム内符号化にて行われる。したがって、本来の時系列的な順序とは異なる順序での伸張再生を行うエフェクト再生時であっても、高いハードウェアスペックを必要とすることなく、リアルタイムでの処理が可能になる。また、エフェクトの付加は、個々の圧縮画像１〜１３に対応付けられたシーケンスデータＥ１〜Ｅ１３の編集にて行うことができ、個々の圧縮画像１〜１３自体、或いは、圧縮画像１〜１３の時系列的に並び自体を変更する必要はない。したがって、処理装置７に対して高いハードウェアスペックを必要とすることなく、比較的少ない演算量でエフェクトの設定が可能になる。その結果、処理能力の高い処理装置７を用いる必要がないので、カメラ内蔵型デジタル玩具１を安価に実現することができる。
【００３５】
さらに、フォーマット変換によって圧縮動画１〜１３に付加されるシーケンスデータＥ１〜Ｅ１３は、所定のビット長を有するとともに、エフェクトの付加は、シーケンスデータＥ１〜Ｅ１３中のビットを変更することによって行われる。したがって、エフェクトを付加してもＮＯＲ型フラッシュメモリ９中のデータ量は不変なので、容量不足の問題が事後的に生じることがない。その結果、データ量の増大を見越して容量マージンを設定する必要がないので、ＮＯＲ型フラッシュメモリ９の省容量化を図ることができる。
【図面の簡単な説明】
【００３６】
【図１】カメラ内蔵型デジタル玩具の外観図
【図２】カメラ内蔵型デジタル玩具のシステム構成図
【図３】処理装置のブロック構成図
【図４】シーケンスデータ付圧縮画像の説明図
【図５】レイヤの説明図
【図６】テンプレートの説明図
【図７】編集後のシーケンスデータを示す図
【図８】シーケンスデータによるエフェクト再生のタイミングチャート
【図９】エフェクト再生される動画の推移を示す図
【符号の説明】
【００３７】
１ カメラ内蔵型デジタル玩具
２ ＣＯＭＳセンサ
３ 操作部
４ 表示部
５ スピーカ
６ マイクロフォン
７ 処理装置
７ａ 圧縮処理部
７ｂ フォーマット変換部
７ｃ シーケンスデータ編集部
７ｄ 伸張処理部
７ｅ エフェクト実行部
８ ＳＲＡＭ
９，１０ ＮＯＲ型フラッシュメモリ
１１ 外部記憶装置
【技術分野】
【０００１】
本発明は、グラフィックおよびサウンドを同期再生するカメラ内蔵型デジタル玩具に関する。
【背景技術】
【０００２】
特許文献１には、例えばビデオクリップのように、楽曲の進行に沿った画像進行のシーケンス情報を作成するための編集装置が開示されている。具体的には、表示画面上のシーケンス情報領域には、ソング領域と、ピクチャ領域と、テキスト領域とが設けられている。ソング領域には、演奏すべき楽曲が表示される。ピクチャ領域には、楽曲の演奏の進行に沿って表示されるピクチャ、エフェクトおよび改シーン情報がアイコンで表示される。テキスト領域には、楽曲の演奏に応じて表示すべきテキストが表示される。ユーザは、イベント領域から各シーンに表示させたいピクチャを選択し、ソング選択メニューから演奏する楽曲を選択する。そして、予めエフェクトや改シーンが設定されているシナリオをシナリオ選択メニューボタンで選択することにより、画像進行のシーケンス情報を容易に生成することができる。
【０００３】
【特許文献１】特開平１１−３４１３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の編集装置（パーソナルコンピュータ）では、比較的年齢層が低いユーザにとって編集作業が容易ではなく、気軽に遊び感覚で作業を容易に行えるとは言い難い。特に、このような編集機能を有する玩具を低コストで実現するためには、かなりの改善の余地が残されている。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、カメラ内蔵型デジタル玩具において、撮像した画像に対するエフェクトの付加を簡単に行うことである。
【０００６】
また、本発明の別の目的は、高いハードウェアスペックを要求することなく、カメラ内蔵型デジタル玩具を安価に実現することである。
【０００７】
さらに、本発明の別の目的は、エフェクトの付加に伴う記憶データ量の変動を抑制し、記憶部の省容量化を図ることである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するために、本発明は、グラフィックおよびサウンドを同期再生するカメラ内蔵型デジタル玩具を提供する。このデジタル玩具は、撮像素子と、圧縮処理部と、フォーマット変換部と、記憶部と、シーケンスデータ編集部と、伸張処理部と、エフェクト実行部と、表示部と、スピーカとを有する。撮像素子は、時系列的に並んだ複数の撮像画像を出力する。圧縮処理部は、複数の撮像画像のそれぞれに対して、フレーム内符号化処理を施すことによって、時系列的に並んだ複数の圧縮画像を生成する。フォーマット変換部は、複数の圧縮画像のそれぞれに対して、シーケンスデータを付加することによって、複数の圧縮画像を所定のフォーマットに変換する。このシーケンスデータは、グラフィックおよびサウンドに関するエフェクトを指定するためのもので、所定のビット長を有する。また、フォーマット変換部は、シーケンスデータを初期値に設定する。記憶部は、フォーマット変換部によって変換されたシーケンスデータ付の圧縮画像と、時系列的に実行される一連のエフェクトが規定された複数のテンプレートとを記憶する。シーケンスデータ編集部は、ユーザの選択に応じて、記憶部に記憶された複数のテンプレートのうちのいずれかを特定するとともに、特定されたテンプレートによって規定された内容に基づいて、記憶部に記憶されたシーケンスデータ中のビットを変更することによって、シーケンスデータを編集する。伸張処理部は、編集されたシーケンスデータの指定内容に基づいて、記憶部から圧縮画像を順次読み出し、読み出された圧縮画像にフレーム内復号化処理を施すことによって、時系列的に並んだ複数の伸張画像を生成する。エフェクト実行部は、編集されたシーケンスデータの指定内容に基づいて、伸張画像にエフェクトを付加したグラフィックデータと、このグラフィックデータと同期再生すべきサウンドデータとを生成する。表示部は、エフェクト実行部によって生成されたグラフィックデータに応じた動画を表示する。スピーカは、エフェクト実行部によって生成されたサウンドデータに応じた音声を出力する。
【０００９】
ここで、本発明において、シーケンスデータは、画像の表示順序を指定する表示画像番号を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応する表示画像番号の内容を、テンプレートによって指定された表示画像番号に変更することが好ましい。
【００１０】
本発明において、シーケンスデータは、画像の表示時間を指定する表示時間を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応する表示時間の内容を、テンプレートによって指定された表示時間に変更することが好ましい。
【００１１】
本発明において、シーケンスデータは、画像上に重ね合わせるレイヤに関するグラフィックのエフェクトを指定するグラフィック番号を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応するグラフィック番号の内容を、テンプレートによって指定されたグラフィック番号に変更することが好ましい。
【００１２】
本発明において、シーケンスデータは、グラフィックと同期再生するサウンドのエフェクトを指定するサウンド番号を含んでいてもよい。この場合、シーケンスデータ編集部は、テンプレートによる指定時間に時間軸上で対応するサウンド番号の内容を、テンプレートによって指定されたサウンド番号に変更することが好ましい。
【００１３】
また、本発明において、記憶部はランダムアクセス可能なＮＯＲ型フラッシュメモリであることが好ましく、この場合、バッファをさらに設けることが望ましい。このバッファは、フォーマット変換部によって変換されたシーケンスデータ付の圧縮画像を記憶部に記憶するのに先立ち、シーケンスデータ付の圧縮画像を一時的に記憶する。
【発明の効果】
【００１４】
本発明によれば、ユーザがテンプレートを選択するだけで、カメラで撮像した動画にエフェクトが自動的に付加されるので、例えばビデオクリップといったエフェクト付の動画を気軽に遊び感覚で容易に作成することができる。
【００１５】
また、動画のコーデックは、前後の画像を参照する必要があるフレーム間予測符号化を用いずに、単一の画像内で処理が完結するフレーム内符号化にて行われる。したがって、本来の時系列的な順序とは異なる順序での伸張再生を行うエフェクト再生時であっても、高いハードウェアスペックを必要とすることなく、リアルタイムでの処理が可能になる。また、動画に対するエフェクトの付加は、個々の圧縮画像に対応付けられたシーケンスデータの編集にて行うことができ、個々の圧縮画像のデータ自体、或いは、圧縮画像の時系列的に並び自体を変更する必要はない。したがって、高いハードウェアスペックを必要とすることなく、比較的少ない演算量でエフェクトの設定が可能になる。その結果、本発明によれば、処理能力の高い処理装置（ＣＰＵ等）を用いる必要がないので、カメラ内蔵型デジタル玩具を安価に実現することができる。
【００１６】
さらに、フォーマット変換によって動画に付加されるシーケンスデータは、所定のビット長を有するとともに、動画に対するエフェクトの付加は、シーケンスデータ中のビットを変更することによって行われる。したがって、エフェクトを付加しても記憶部中のデータ量は変わらず、容量オーバになることもない。その結果、本発明によれば、データ量の増大を見越して容量マージンを設定する必要がないので、記憶部の省容量化を図ることができる。
【発明を実施するための最良の形態】
【００１７】
図１は、本実施形態に係るカメラ内蔵型デジタル玩具の外観図である。このカメラ内蔵型デジタル玩具１は、内蔵電池によって駆動し、撮像素子としてのＣＭＯＳセンサ２と、操作部３と、ＬＣＤ等の表示部４と、スピーカ５と、マイクロフォン６とを有する。ＣＭＯＳセンサ２は、前方、上方および後方の間で１８０度可動する。操作部３は、比較的年齢層が低いユーザでも簡単に操作できるようにシンプルな構成になっており、中心に位置するＥＮＴＥＲボタンと、その上下に配置された２つのセレクトボタンと、外周に配置された回転式スイッチダイアルとを有する。また、同図には示していないが、デジタル玩具１の側面には、電源スイッチ、モードセレクタ、ボリューム、および、外部記憶媒体（ＳＤカード）への出力に対応すべくカードスロットが設けられている。モードセレクタによって選択可能なモードとしては、録画、写真撮影、編集および再生の４つのモードがある。録画モードは、映像１本あたり約３０秒の動画（ムービ）を録画するモードである。写真撮影モードは、静止画を撮影するモードである。編集モードは、撮影した動画／静止画をプリセットされたエフェクトや音声等で編集するモードである。再生モードは、撮影した動画／静止画、編集した動画／静止画を鑑賞するモードである。このデジタル玩具１によれば、撮影した映像から愉快な映像を、誰にでも、簡単に、すばやく、かつ、かっこよく作成できる。
【００１８】
図２は、カメラ内蔵型デジタル玩具１のシステム構成図である。システムバスには、後述するエフェクト処理を含む画像処理の中心的な機能を担う処理装置７（ＣＰＵ）が接続されている他、上述したユニット２〜６と、各種の記憶部８〜１１とが接続されている。以下に、デジタル玩具１の特徴的な機能を列記し、それぞれのデータの流れについて概略的に説明する。
【００１９】
（１）動画撮影
まず、ＣＭＯＳセンサ２から、時系列的に並んだ複数の撮像画像（原動画データ）が出力される。撮像画像は、処理装置７によるフレーム内符号化処理およびフォーマット変換処理を経て、バッファとして機能するＳＲＡＭ８に一時的に記憶された後、ＮＯＲ型フラッシュメモリ９に記憶される。バッファとしてのＳＲＡＭ８を設けた理由は、ＮＯＲ型フラッシュメモリ９はランダムアクセスが可能であるがアクセス速度が遅いので、動画撮影時における処理のリアルタイム性を確保するためである。なお、後述するエフェクト再生時には、動画本来の時系列的な並びと異なる順序で伸張再生が行われることがある関係上、動画の格納先として、ランダムアクセス可能なＮＯＲ型フラッシュメモリ９を用いる。
【００２０】
（２）エフェクト設定
スタンプ、カラーフィルタ、モーション等のエフェクトおよびプリセットエフェクト（テンプレート）は、動画の格納先とは異なるＮＯＲ型フラッシュメモリ１０に予め記憶されている。ユーザは、操作部３を操作することによって、予め用意されたエフェクト群、または、予め用意されたプリセットエフェクト群の中から、任意のものを選択することができる。プリセットエフェクトを使用せずにユーザ自身がエフェクトを個別に設定する場合、ユーザは、表示部４に表示された動画を見ながら、エフェクトの開始ポイントで操作部３を操作するとともに、エフェクトの終了ポイントで操作部３を再度操作する。これにより、開始ポイントから終了ポイントまでの間に再生された動画部分に対して、ユーザによって選択されたエフェクトが施される。一方、予め用意されたプリセットエフェクトを適用して一連のエフェクトを一括設定する場合、ユーザは、複数のプリセットエフェクトのいずれかを選択するだけで足りる。これにより、システムの自動処理によって、プリセットエフェクトが設定される。プリセットエフェクトの実行後に、エフェクトの修正を行えるようにしてもよい。なお、動画に対するエフェクトの付加は、ＮＯＲ型フラッシュメモリ９に記憶された画像自体を変更したり、画像の時系列的な並び自体を変更するのではなく、個々の画像（圧縮画像）に対応付けられたシーケンスデータ（詳細については後述）を編集することによって行われる。したがって、エフェクトの設定に際しては、動画自体へのアクセスは必要なく、ＮＯＲ型フラッシュメモリ９内のシーケンスデータへのアクセスのみで足りる。
【００２１】
（３）エフェクト再生
ＮＯＲ型フラッシュメモリ９から読み出されたシーケンスデータに基づいて、動画がエフェクト付で伸張再生される。なお、エフェクト付の動画は、表示部４に表示するのみならず、ユーザの指定によって、外部記憶装置１１を介してＳＤカード等に出力することも可能である。
【００２２】
図３は、処理装置７のブロック構成図である。この処理装置７は、圧縮処理部７ａと、フォーマット変換部７ｂと、シーケンスデータ編集部７ｃと、伸張処理部７ｄと、エフェクト実行部７ｅとを主体に構成されている。
【００２３】
上記（１）の動画撮影時には、圧縮処理部７ａとフォーマット変換部７ｂとの連係によって、撮像画像に基づいてシーケンスデータ付の圧縮画像が生成される。具体的には、まず、圧縮処理部７ａは、時系列的に並んだ複数の撮像画像のそれぞれに対して、フレーム内符号化処理を施すことによって、時系列的に並んだ複数の圧縮画像を生成する。フレーム間予測符号化を用いず、フレーム内符号化のみで圧縮画像を生成する理由は、第１に、動画本来の時系列的な並びとは異なる順序でエフェクト再生が行われ得る関係上、伸張処理の高速化を図るためである。第２に、処理能力があまり高くない処理装置７（ＣＰＵ）でも伸張再生をリアルタイムで行えるようにするためである。なお、フレーム内符号化のみを用いた動画圧縮手法としては、例えば、モーションＪＰＥＧ（Joint Photographic Experts Group）を用いることができる。
【００２４】
フォーマット変換部７ｂは、例えば図４に示すように、圧縮処理部７ａから順次出力された一連の圧縮画像１〜１３を所定のフォーマットに変換する。具体的には、圧縮画像１〜１３に対してシーケンスデータＥ１〜Ｅ１３が付加され、圧縮画像ｉ（ｉは１〜１３の任意の数）とシーケンスデータＥｉとは１対１の関係になる。それぞれのシーケンスデータＥiは、グラフィックおよびサウンドに関するエフェクトを指定するためのものであり、具体的には、表示画像番号Ｈと、表示時間Ｆと、ｍ個のグラフィック番号Ｇｍ（同図のケースではｍ＝１，２）と、ｎ個のサウンド番号Ｓn（同図のケースではｎ＝１，２）とを含む。フォーマット変換時において、これらはいずれも初期値に設定される。
【００２５】
ここで、表示画像番号Ｈは、画像の表示順序を指定するデータであり、初期的には、動画本来の時系列的な順序通り、すなわち、画像番号と同じ番号に設定される。この表示画像番号Ｈを変更することで、例えば、動画再生を正逆交互に繰り返すスクラッチや、シーンを突然変更するスキップといったエフェクトが実現される。
【００２６】
表示時間Ｆは、画像の表示時間を指定するデータであり、初期的には「１」、すなわち、通常の再生期間（１フレーム期間）に設定される。この表示時間Ｆを変更することで、例えば、再生の一時停止や、本来の再生速度より遅く再生するスローといったエフェクトが実現される。
【００２７】
グラフィック番号Ｇｍは、再生すべき動画（ベースレイヤ）上に重ね合わせるレイヤに関するグラフィックエフェクトの種別を指定するデータであり、初期的には「０」、すなわち、エフェクトなしに設定される。グラフィック番号Ｇｍの添字ｍはレイヤ番号に相当し、レイヤ毎に独立してエフェクトが設定できるようになっている。このグラフィック番号Ｇｍを変更することで、例えば図５に示すように、モーションレイヤ上のモーション（別の動画）の設定、カラーフィルタレイヤ上のカラーフィルタ（半透明色）の設定、フレームレイヤ上のフレーム（外縁枠）の設定、レターレイヤ上のレター（テキスト）の設定、スタンプレイヤ上のスタンプ（小図形）の設定が可能になり、画像や文字の重ね合わせ表示が実現される。
【００２８】
サウンド番号Ｓｎは、動画と同期して音声出力するサウンド（楽曲、効果音等）に関するサウンドエフェクトの種別を指定するデータであり、初期的には「０」、すなわち、エフェクトなしに設定される。サウンド番号Ｓｎの添字ｎはチャネルに相当し、チャネル毎に独立してエフェクトが設定できるようになっている。このグラフィック番号Ｓｎを変更することで、例えば、ビデオクリップ（動画と楽曲との同期再生）や、動画に応じた効果音の発生といったエフェクトが実現される。
【００２９】
シーケンスデータＥｉは、予め設定されたビット長を有する。例えば、表示動画番号Ｈのビット数をｂ１、表示時間Ｆのビット数をｂ２、グラフィック番号Ｇ１，Ｇ２のビット数をそれぞれｂ３，ｂ４、サウンド番号Ｓ１，Ｓ２のビット数をそれぞれｂ５，ｂ６とすると、一枚の圧縮画像ｉに付加されるシーケンスデータＥｉのビット長Ｂｉは（ｂ１＋ｂ２＋ｂ３＋ｂ４＋ｂ５＋ｂ６）となり、シーケンスデータＥ１〜Ｅ１３の全体のビット数ＢはＢｉ×１３（圧縮画像の枚数分）となる。なお、同図において、シーケンスデータは十進数で表記されている点に注意されたい。動画撮影時の段階において、シーケンスデータＥiは、フォーマット変換部７ｂによって、上述した初期値に設定される。フォーマット変換部７ｂから出力されたシーケンスデータＥ１〜Ｅ１３付の圧縮画像１〜１３は、
ＮＯＲ型フラッシュメモリ９に記憶される。
【００３０】
上記（２）のエフェクト設定時（プリセットエフェクト使用）には、シーケンスデータ編集部７ｃによって、適用されるテンプレートに規定された内容に基づいて、ＮＯＲ型フラッシュメモリ９に記憶されたシーケンスデータＥ１〜Ｅ１３が編集される。テンプレートは、時系列的に実行される一連のエフェクトを規定しており、一例として、図６のようなデータ構造を有する（同図は十進表記）。例えば、［Ｅ４］［Ｈ］←１に関して、［Ｅ４］は指定時間、すなわち、時間軸上における４番目の画像を示し、［Ｈ］←１は変更内容、具体的には、この指定時間における表示画像番号Ｈの内容を「４」（初期値）から「１」に変更すべきことを示している（再生順序の変更（前の画像に戻る）を意味する）。また、［Ｅ７］［Ｆ］←３に関しては、７番目の画像の表示時間Ｆの内容を「１」（初期値）から「３」に変更すべきことを示している（画像の表示時間の変更（長くする）を意味する）。グラフィック番号およびサウンド番号についても同様であり、テンプレートによって指定時間で、テンプレートによって指定された内容に変更される。ここで留意すべきは、テンプレートに基づくシーケンスデータＥ１〜Ｅ１３の編集は、新たなデータの追加は行われず、ビットの変更のみによって行われる点である。これにより、プリセットエフェクトの設定の前後で、ＮＯＲ型フラッシュメモリ９に記憶されるシーケンスデータＥ１〜Ｅ１３のデータ量は不変であることが保証される。同図に示したテンプレートに基づき、ビットが変更された編集後のシーケンスデータを図７に示す。
【００３１】
上記（３）のエフェクト再生時には、伸張処理部７ｄとエフェクト実行部７ｅとの連係によって、編集後のシーケンスデータＥ１〜Ｅ１３の指定内容に基づいたエフェクト再生が行われる。具体的には、伸張処理部７ｄは、表示画像番号Ｈのシーケンスにしたがって、ＮＯＲ型フラッシュメモリ９から圧縮画像ｉを順次読み出す。そして、これらにフレーム内復号化処理を施すことによって、時系列的に並んだ複数の伸張画像が生成される。そして、エフェクト実行部７ｅは、表示時間Ｆ、グラフィック番号Ｇｍおよびサウンド番号Ｓｎのシーケンスにしたがって、伸張画像にエフェクトを付加したグラフィックデータと、これと同期再生すべきサウンドデータとを生成する。エフェクト実行部７ｅによって生成されたグラフィックデータは、表示部４に出力され、サウンドデータはスピーカ５に出力される。これにより、表示部４は、グラフィックデータに応じた動画を表示するとともに、スピーカ５は、サウンドデータに応じた音声を出力する。
【００３２】
図８は、図７に示したシーケンスデータＥ１〜Ｅ１３によるエフェクト再生のタイミングチャートであり、図９は、再生される動画の推移を示す図である。図９からわかるように、期間Ｔ１〜Ｔ３で１〜３番目の画像が順方向再生され、続く期間Ｔ３〜Ｔ６で１，３番目の画像のスクラッチが２回繰り返される。そして、期間Ｔ７〜Ｔ９で３番目の画像を３フレーム期間表示（一時停止）した後、期間Ｔ１０〜Ｔ１５で４〜９番目の画像が順方向再生される。一時停止が２フレーム期間加わるので、実際の再生時間は本来の１３フレーム期間よりも長くなり、１５フレーム期間となる。その他のグラフィックエフェクトに関しては、タイミングＴ１０，Ｔ１２，Ｔ１４で、３種類のカラーフィルタの重ね合わせが実行される。また、タイミングＴ１２，Ｔ１４で、２種類のスタンプの重ね合わせが実行される。一方、動画の再生が開始されるタイミングＴ１において、サウンド番号Ｓ１のチャネルからＢＧＭの同期再生も開始される。このＢＧＭは、動画の再生が終了するタイミングＴ１５まで継続する。タイミングＴ３，Ｔ５，Ｔ７で、サウンド番号Ｓ２のチャネルから効果音の発声が３回実行される。
【００３３】
このように、本実施形態によれば、ユーザがテンプレートを選択するだけで、撮像した動画にエフェクトが自動的に付加されるので、例えばビデオクリップといったエフェクト付の動画を気軽に遊び感覚で容易に作成することができる。
【００３４】
また、動画のコーデックは、前後の画像を参照する必要があるフレーム間予測符号化を用いずに、単一の画像内で処理が完結するフレーム内符号化にて行われる。したがって、本来の時系列的な順序とは異なる順序での伸張再生を行うエフェクト再生時であっても、高いハードウェアスペックを必要とすることなく、リアルタイムでの処理が可能になる。また、エフェクトの付加は、個々の圧縮画像１〜１３に対応付けられたシーケンスデータＥ１〜Ｅ１３の編集にて行うことができ、個々の圧縮画像１〜１３自体、或いは、圧縮画像１〜１３の時系列的に並び自体を変更する必要はない。したがって、処理装置７に対して高いハードウェアスペックを必要とすることなく、比較的少ない演算量でエフェクトの設定が可能になる。その結果、処理能力の高い処理装置７を用いる必要がないので、カメラ内蔵型デジタル玩具１を安価に実現することができる。
【００３５】
さらに、フォーマット変換によって圧縮動画１〜１３に付加されるシーケンスデータＥ１〜Ｅ１３は、所定のビット長を有するとともに、エフェクトの付加は、シーケンスデータＥ１〜Ｅ１３中のビットを変更することによって行われる。したがって、エフェクトを付加してもＮＯＲ型フラッシュメモリ９中のデータ量は不変なので、容量不足の問題が事後的に生じることがない。その結果、データ量の増大を見越して容量マージンを設定する必要がないので、ＮＯＲ型フラッシュメモリ９の省容量化を図ることができる。
【図面の簡単な説明】
【００３６】
【図１】カメラ内蔵型デジタル玩具の外観図
【図２】カメラ内蔵型デジタル玩具のシステム構成図
【図３】処理装置のブロック構成図
【図４】シーケンスデータ付圧縮画像の説明図
【図５】レイヤの説明図
【図６】テンプレートの説明図
【図７】編集後のシーケンスデータを示す図
【図８】シーケンスデータによるエフェクト再生のタイミングチャート
【図９】エフェクト再生される動画の推移を示す図
【符号の説明】
【００３７】
１ カメラ内蔵型デジタル玩具
２ ＣＯＭＳセンサ
３ 操作部
４ 表示部
５ スピーカ
６ マイクロフォン
７ 処理装置
７ａ 圧縮処理部
７ｂ フォーマット変換部
７ｃ シーケンスデータ編集部
７ｄ 伸張処理部
７ｅ エフェクト実行部
８ ＳＲＡＭ
９，１０ ＮＯＲ型フラッシュメモリ
１１ 外部記憶装置
【特許請求の範囲】
【請求項１】
グラフィックおよびサウンドを同期再生するカメラ内蔵型デジタル玩具において、
時系列的に並んだ複数の撮像画像を出力する撮像素子と、
前記複数の撮像画像のそれぞれに対して、フレーム内符号化処理を施すことによって、時系列的に並んだ複数の圧縮画像を生成する圧縮処理部と、
前記複数の圧縮画像のそれぞれに対して、グラフィックおよびサウンドに関するエフェクトを指定する所定ビット長のシーケンスデータを付加することによって、前記複数の圧縮画像を所定のフォーマットに変換するとともに、前記シーケンスデータを初期値に設定するフォーマット変換部と、
前記フォーマット変換部によって変換された前記シーケンスデータ付の圧縮画像と、時系列的に実行される一連の前記エフェクトが規定された複数のテンプレートとを記憶する記憶部と、
ユーザの選択に応じて、前記記憶部に記憶された前記複数のテンプレートのうちのいずれかを特定するとともに、当該特定されたテンプレートによって規定された内容に基づいて、前記記憶部に記憶された前記シーケンスデータ中のビットを変更することによって、前記シーケンスデータを編集するシーケンスデータ編集部と、
前記編集されたシーケンスデータの指定内容に基づいて、前記記憶部から前記圧縮画像を順次読み出し、当該読み出された圧縮画像にフレーム内復号化処理を施すことによって、時系列的に並んだ複数の伸張画像を生成する伸張処理部と、
前記編集されたシーケンスデータの指定内容に基づいて、前記伸張画像にエフェクトを付加したグラフィックデータと、当該グラフィックデータと同期再生すべきサウンドデータとを生成するエフェクト実行部と、
前記グラフィックデータに応じた動画を表示する表示部と、
前記サウンドデータに応じた音声を出力するスピーカと
を有することを特徴とするカメラ内蔵型デジタル玩具。
【請求項２】
前記シーケンスデータは、画像の表示順序を指定する表示画像番号を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記表示画像番号の内容を、前記テンプレートによって指定された前記表示画像番号に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項３】
前記シーケンスデータは、画像の表示時間を指定する表示時間を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記表示時間の内容を、前記テンプレートによって指定された前記表示時間に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項４】
前記シーケンスデータは、画像上に重ね合わせるレイヤに関するグラフィックのエフェクトを指定するグラフィック番号を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記グラフィック番号の内容を、前記テンプレートによって指定された前記グラフィック番号に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項５】
前記シーケンスデータは、グラフィックと同期再生するサウンドのエフェクトを指定するサウンド番号を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記サウンド番号の内容を、前記テンプレートによって指定された前記サウンド番号に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項６】
前記記憶部は、ランダムアクセス可能なＮＯＲ型フラッシュメモリであって、
前記フォーマット変換部によって変換された前記シーケンスデータ付の圧縮画像を前記記憶部に記憶するのに先立ち、前記シーケンスデータ付の圧縮画像を一時的に記憶するバッファをさらに有することを特徴とする請求項１から５のいずれかに記載されたカメラ内蔵型デジタル玩具。
【請求項１】
グラフィックおよびサウンドを同期再生するカメラ内蔵型デジタル玩具において、
時系列的に並んだ複数の撮像画像を出力する撮像素子と、
前記複数の撮像画像のそれぞれに対して、フレーム内符号化処理を施すことによって、時系列的に並んだ複数の圧縮画像を生成する圧縮処理部と、
前記複数の圧縮画像のそれぞれに対して、グラフィックおよびサウンドに関するエフェクトを指定する所定ビット長のシーケンスデータを付加することによって、前記複数の圧縮画像を所定のフォーマットに変換するとともに、前記シーケンスデータを初期値に設定するフォーマット変換部と、
前記フォーマット変換部によって変換された前記シーケンスデータ付の圧縮画像と、時系列的に実行される一連の前記エフェクトが規定された複数のテンプレートとを記憶する記憶部と、
ユーザの選択に応じて、前記記憶部に記憶された前記複数のテンプレートのうちのいずれかを特定するとともに、当該特定されたテンプレートによって規定された内容に基づいて、前記記憶部に記憶された前記シーケンスデータ中のビットを変更することによって、前記シーケンスデータを編集するシーケンスデータ編集部と、
前記編集されたシーケンスデータの指定内容に基づいて、前記記憶部から前記圧縮画像を順次読み出し、当該読み出された圧縮画像にフレーム内復号化処理を施すことによって、時系列的に並んだ複数の伸張画像を生成する伸張処理部と、
前記編集されたシーケンスデータの指定内容に基づいて、前記伸張画像にエフェクトを付加したグラフィックデータと、当該グラフィックデータと同期再生すべきサウンドデータとを生成するエフェクト実行部と、
前記グラフィックデータに応じた動画を表示する表示部と、
前記サウンドデータに応じた音声を出力するスピーカと
を有することを特徴とするカメラ内蔵型デジタル玩具。
【請求項２】
前記シーケンスデータは、画像の表示順序を指定する表示画像番号を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記表示画像番号の内容を、前記テンプレートによって指定された前記表示画像番号に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項３】
前記シーケンスデータは、画像の表示時間を指定する表示時間を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記表示時間の内容を、前記テンプレートによって指定された前記表示時間に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項４】
前記シーケンスデータは、画像上に重ね合わせるレイヤに関するグラフィックのエフェクトを指定するグラフィック番号を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記グラフィック番号の内容を、前記テンプレートによって指定された前記グラフィック番号に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項５】
前記シーケンスデータは、グラフィックと同期再生するサウンドのエフェクトを指定するサウンド番号を含み、
前記シーケンスデータ編集部は、前記テンプレートによる指定時間に時間軸上で対応する前記サウンド番号の内容を、前記テンプレートによって指定された前記サウンド番号に変更することを特徴とする請求項１に記載されたカメラ内蔵型デジタル玩具。
【請求項６】
前記記憶部は、ランダムアクセス可能なＮＯＲ型フラッシュメモリであって、
前記フォーマット変換部によって変換された前記シーケンスデータ付の圧縮画像を前記記憶部に記憶するのに先立ち、前記シーケンスデータ付の圧縮画像を一時的に記憶するバッファをさらに有することを特徴とする請求項１から５のいずれかに記載されたカメラ内蔵型デジタル玩具。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１７７９９６（Ｐ２００８−１７７９９６Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−１１４００（Ｐ２００７−１１４００）
【出願日】平成１９年１月２２日（２００７．１．２２）
【出願人】（０００００３５８４）株式会社タカラトミー (248)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１月２２日（２００７．１．２２）
【出願人】（０００００３５８４）株式会社タカラトミー (248)
【Ｆターム（参考）】
[ Back to top ]