携帯端末、及びフレーム生成方法
【課題】 動画データ容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を向上する。
【解決手段】 携帯端末１は、静止画像（以下Ｉフレーム）を先頭のフレームとし、後続のフレームを差分画像（以下Ｐフレーム）とする動画データを格納している。携帯端末１は、この動画データを再生する際に、静止画像生成部８により、再生されたＰフレームの内の幾つかからＩフレームを生成する。何れの位置にあるＰフレームからＩフレームを生成するかは、静止画像配置ロジック処理部８１が所定のアルゴリズムを用いて決定する。静止画像配置ロジック処理部８１は、動画データ中のＩフレームが、所定容量を超えず、かつ、等間隔に配置されるように、その位置を決定する。Ｉフレームが配置された動画データは、表示画像生成部６により再生される。
【解決手段】 携帯端末１は、静止画像（以下Ｉフレーム）を先頭のフレームとし、後続のフレームを差分画像（以下Ｐフレーム）とする動画データを格納している。携帯端末１は、この動画データを再生する際に、静止画像生成部８により、再生されたＰフレームの内の幾つかからＩフレームを生成する。何れの位置にあるＰフレームからＩフレームを生成するかは、静止画像配置ロジック処理部８１が所定のアルゴリズムを用いて決定する。静止画像配置ロジック処理部８１は、動画データ中のＩフレームが、所定容量を超えず、かつ、等間隔に配置されるように、その位置を決定する。Ｉフレームが配置された動画データは、表示画像生成部６により再生される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末、及びフレーム生成方法に関する。
【背景技術】
【０００２】
従来、デジタル画像技術の進展に伴い、静止画フレームとその差分フレームとから構成されるＭＰＥＧ（Moving Picture Expert Group）等の動画像が使用されている。静止画フレームは、動画データを巻き戻す際に、巻き戻しの先頭位置のフレームとして参照されることから、Ｉ（Index）フレームと呼ばれる。一方、差分フレームは、直前のフレームとの差分に相当するフレームであり、Ｐ（Picture）フレームと呼ばれる。
【０００３】
通常、動画像の巻き戻し処理は、Ｉフレームを辿ることにより行われるが、動画像に含まれるＩフレームの数が少ない場合には、以下の様な問題点があった。すなわち、動画像を構成するフレーム中に存在するＩフレームが少ないため、ユーザは、所望の時点まで動画データを巻き戻して再生することができない場合がある。また、動画像を構成するフレームの先頭部分にしかＩフレームが存在しない場合には、そのフレームから動画像が頭出しされることになり、巻き戻しに要する時間が増大する。
【０００４】
かかる難点を解決するためには、Ｉフレームを作成することにより、動画像を構成するＩフレームを増やすことが有効であり、これを動画像の再生時に行う装置が提案されている（例えば、特許文献１）。当該文献に記載の動画像再生装置は、動画像符号化データが再生されるときに、インデックスフレーム情報（Ｉフレームに相当）を生成し、その後、これをＰフレームに置き換えて記録する。
【特許文献１】特開平７−２０３３５８号公報 第１５、１６頁
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、動画像巻戻し処理をスムーズに行うことを可能とするが、携帯電話やＰＤＡ（Personal Digital Assistance）を始めとする携帯端末に、かかる技術を適用する際に、以下に説明する様な問題点が懸念される。すなわち、携帯端末は、一般的に、データの格納領域が少ないため、保持可能な動画像の容量にも制限がある。したがって、限られた格納領域を有効に活用するために、Ｐフレームと比較して容量の大きいＩフレームの作成を必要最小限度に留めることが望ましい。一方で、ユーザが所望する時点からの巻戻し再生を可能とする位置にＩフレームを配置していくことが望ましい。
【０００６】
そこで、本発明の課題は、動画データの容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を高めることである。
【課題を解決するための手段】
【０００７】
本発明に係る携帯端末は、静止画像（Ｉフレームに相当）と、その差分画像（Ｐフレームに相当）とを含む動画データの再生時に、前記静止画像とは異なる静止画像を生成する携帯端末において、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像（フレーム）の中に静止画像が等間隔に配置される様に、静止画像を生成する生成手段を備える。
【０００８】
本発明に係るフレーム生成方法は、静止画像と、その差分画像とを含む動画データを再生するステップと、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する生成ステップとを含む。
【０００９】
これらの発明によれば、携帯端末は、動画データを再生する際に、格納すべき静止画像の容量を監視し、当該容量が所定の容量を超えない範囲で静止画像を生成する。動画データは、Ｉフレームに相当する静止画像と、静止画像との差分に相当するＰフレームとから構成されるので、静止画像容量の増大の抑制により、動画データ全体の容量の増大も抑制される。また、再生された動画データに含まれる静止画像は、所定のアルゴリズムに従って等間隔に配置される。これにより、携帯端末のユーザは、ユーザが所望する位置に近いフレームまで、動画データを巻き戻すことができる。その結果、データ容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を向上することが可能となる。
【００１０】
本発明に係る携帯端末において好ましくは、前記生成手段は、前記格納手段に格納される静止画像の容量が所定の容量を超える場合には、生成する静止画像の間隔を倍にすると共に、既に生成された奇数番目の静止画像を削除することにより、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する。
【００１１】
格納手段に格納され得る静止画像の枚数は、格納手段の容量と静止画像の容量とに応じた制限を受ける。そこで、本発明のように、生成される静止画像の枚数がその上限を超えて格納手段に格納しきれなくなった場合には、携帯端末は、以降に生成される静止画像の間隔を倍にして、既に生成された静止画像（先頭の静止画像を除く）の内、先頭側から奇数番目に位置する静止画像を削除する。これにより、動画データを構成する再生済みの画像の中に、所定枚数の静止画像が等間隔に配置されることになる。その結果、動画データにおける静止画像の枚数の増加を抑制しつつ、スムーズな巻戻し再生を実現可能となる。
【００１２】
本発明は、静止画像と差分画像とから成る動画データを再生可能なあらゆる端末装置に適用可能であり、その機能や大きさによって適用対象が制限されるものではない。しかしながら、携帯電話、ＰＤＡ等は、一般的に格納可能なデータ容量が小さく、生成する静止画像の容量に一定の制限を加える必要性が高いことから、このような携帯型端末に本発明を適用することが特に効果的である。
【発明の効果】
【００１３】
本発明によれば、動画データ容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を高めることができる。
【発明を実施するための最良の形態】
【００１４】
以下、例示のために添付された図面を参照しながら、本発明の一実施形態について説明する。まず、本実施の形態における携帯端末１の構成について説明する。図１は、携帯端末１の機能的構成を示すブロック図である。図１に示す様に、携帯端末１は、動画データ格納部２と、再生情報解析部３と、静止画像位置情報保持テーブル格納部４と、再生動作制御部５と、表示画像生成部６と、表示部７と、静止画像生成部８（生成手段に対応）とを備える。
【００１５】
以下、携帯端末１の各構成要素について詳細に説明する。
【００１６】
動画データ格納部２には、再生の対象となる動画データが格納されている。動画データは、例えば、図２に示す様に８つのフレームから構成される。各フレームには、先頭のフレームから順に通番で、０〜７のフレームナンバーが付されている。図２において、フレームナンバーとして“０”の付されたフレームは、Ｉフレームすなわち静止画像であり、“１〜７”の付されたフレームは、Ｐフレームすなわち差分画像である。動画データ格納部２は、静止画像格納部２１（格納手段に対応）を内部に有し、静止画像格納部２１には、生成された静止画像が順次格納されていく。
【００１７】
再生情報解析部３は、動画データ格納部２から動画データを取得し、当該動画データ中における静止画像の有無、及び静止画像のフレーム位置を判別する。また、再生情報解析部３は、動画データ中に存在する静止画フレームの位置、各フレームを表示するタイミングといった、再生情報を解析し、当該動画中に含まれる静止画像のフレーム位置、動画像に含まれる静止画像のフレーム格納アドレス、およびフレームサイズを記述した初期静止画像位置情報保持テーブルを初期静止画像位置情報保持テーブル格納部９に生成する。同時に、当該動画のビットレートや表示画面のサイズ等の再生情報を基に、静止画像１枚当たりに要するデータ領域の容量を算出し、算出結果が反映された静止画像位置情報保持テーブルを生成する。
【００１８】
初期静止画像位置情報保持テーブル格納部９には、再生情報解析部３により生成された初期静止画像位置情報保持テーブルが格納される。初期静止画像位置情報保持テーブルのデータ格納例を図１０に示す。図１０に示す様に、初期静止画像位置情報保持テーブル格納部９は、通番領域９１、静止画像のフレーム位置が記述されるフレームナンバー領域９２、動画に含まれる静止画像の格納アドレスが記述される格納アドレス領域９３、フレームサイズが記述されるフレームサイズ領域９４とを備える。格納アドレス領域９３は、動画データ格納部２における静止画像の格納位置を示す。なお、この初期静止画像位置情報保持テーブル格納部９は、必須なものではなく、先頭にのみ静止画像がある動画を扱う場合には、不要である。
【００１９】
静止画像位置情報保持テーブル格納部４には、再生情報解析部３により生成された静止画像位置情報保持テーブルが格納される。本実施の形態では、静止画像格納部２１が１５ＫＢ分のデータ格納容量を有し、１フレームにつき１．５ＫＢ分の格納領域が割り当てられている場合を想定する。この想定下における静止画像位置情報保持テーブルのデータ格納例を図３に示す。図３に示す様に、静止画像位置情報保持テーブル格納部４は、通番領域４１とフレームナンバー領域４２と格納アドレス領域４３とフレームサイズ領域４４とを備える。格納アドレス領域４３は、静止画像格納部２１における静止画像の格納位置を示す。
【００２０】
通番領域４１には、静止画像格納部２１に格納可能な静止画像の上限枚数分の通番（例えば、“１”，“２”，“３”，…，“１０”）が保持される。通番領域４１の枚数は再生情報解析部３により、当該動画のビットレートや表示画面のサイズ等の再生情報および、静止画像格納部２１の容量から算出される。これにより、静止画像のフレーム位置の管理を容易にする。
【００２１】
フレームナンバー領域４２には、静止画像（Ｉフレーム）として生成されたフレームのフレームナンバー（例えば、“５”，“１０”，“１５”，…，“５０”）が更新可能に保持される。ここで、フレームナンバーは、当該動画再生する際に表示画像生成部６が生成する画像に対して、再生開始から通番で割り当てられるものである。
【００２２】
格納アドレス領域４３には、対応する静止画像が格納される領域の先頭位置を示すアドレスが更新可能に保持される。本実施の形態においては、１枚の静止画像に割り当てられた格納領域の容量は１．５ＫＢであるので、１枚目の静止画像が格納される領域のアドレスは、例えば“０〜１４９９”であり、２枚目の静止画像が格納される領域のアドレスは、“１５００〜２９９９”となる。同様に、１０枚目の静止画像が格納される領域のアドレスは、“１３５００〜１４９９９”となる。したがって、１０フレームの静止画像が格納される領域の先頭アドレスとしては、それぞれ“０，１５００，３０００，…，１２０００，１３５００”の数値データが保持される。これらの数値は、再生情報解析部３により算出される。
【００２３】
フレームサイズ領域４４には、対応する静止画像の実データ容量を示す数値が保持される。単位はバイトである。図３は、フレームナンバー５に該当する静止画像の容量が“１３５０バイト”であり、フレームナンバー２５に該当する静止画像の容量が“１２４０バイト”、フレームナンバー４５に該当する静止画像の容量が“１３８０バイト”である場合を例示する。
【００２４】
説明を簡略化するため、静止画像（Ｉフレーム）が動画の先頭にのみ存在する場合について記載する。この場合、初期静止画像位置情報保持テーブルには有効な値が格納されず、初期静止画像位置情報保持テーブルは利用されない。静止画像が動画の先頭以外に存在する場合については、後述する。
【００２５】
再生動作制御部５は、携帯端末１のユーザからの指示に従って、動画データの再生開始、停止、巻戻し、早送りを実行する。再生動作制御部５は、再生情報解析部３による再生情報の解析結果に従って、後段に位置する表示画像生成部６に対して、動画データの再生を指示する。再生動作制御部５は、動画データの巻戻しがユーザから指示されると、静止画像位置情報保持テーブル格納部４を参照して再生画像の先頭フレームを特定し、静止画像格納部２１から当該フレームを取得する。また、取得された静止画像の次のフレームを差分画像として動画データ格納部２から取得することで、再生を継続させる。
【００２６】
なお、再生動作制御部５は、静止画像が動画の先頭以外に存在する場合には、静止画像位置情報保持テーブル格納部４および初期静止画像位置情報保持テーブル格納部９を参照して、再生再開時点にいずれか近い方のテーブルを選択し、再生画像の先頭フレームを特定することが好ましい。
【００２７】
表示画像生成部６には、静止画像を含む動画データが再生動作制御部５から入力される。表示画像生成部６は、上記再生情報の解析結果に基づく再生動作制御部５からの指示に従って、上記動画データを基に、表示可能な連続画像を生成する。生成された画像は、表示部７及び静止画像生成部８に出力される。
【００２８】
表示部７は、表示画像生成部６により生成及び入力された連続画像を表示する。その結果、動画データが再生される。
【００２９】
静止画像生成部８は、表示画像生成部６から連続画像を取得し、その表示中に静止画像を生成する。静止画像生成部８は、生成した静止画像を静止画像格納部２１に格納する。静止画像を生成するフレーム位置は、静止画像配置ロジック処理部８１が所定のアルゴリズムに従って決定する。静止画像配置ロジック処理部８１は、静止画像が生成されたフレームのナンバー、静止画像格納部２１における格納位置（アドレス）、及び静止画像の容量（フレームサイズ）を、静止画像位置情報保持テーブル格納部４に記録する。
【００３０】
その後、静止画像配置ロジック処理部８１が、再生情報解析部３より通知された最大容量分の静止画像が静止画像格納部２１に格納されたことを検知すると、静止画像生成部８は、上記アルゴリズムに従って新たな静止画像を生成する。静止画像生成部８は、生成された静止画像を静止画像格納部２１に上書きで格納すると共に、静止画像位置情報保持テーブル格納部４内の該当するフレームナンバー、アドレス、及びフレームサイズを更新する。当該更新処理は、静止画像格納部２１に格納されようとする静止画像のデータ容量が所定値を超える度に実行される。
【００３１】
次に、図４〜図９を参照して、携帯端末１の動作を説明し、併せて、本発明に係るフレーム生成方法を構成する各ステップについて説明する。なお、図４および図６では、静止画像が動画の先頭に存在する場合の処理を示している。静止画像が動画の先頭以外に存在する場合の処理については後述する。
【００３２】
図４は、携帯端末１により実行される動画像再生処理を説明するためのフローチャートである。まず、再生情報解析部３は、動画データ格納部２から動画データを読み込み（Ｓ１）、この動画データに含まれる静止画像の位置をフレームナンバーにより判別する（Ｓ２）。なお、ここでは、静止画像が先頭にある場合の説明であることから、この処理は必ずしも必要ではない。続いて、再生情報解析部３は、Ｓ２で位置を判別した静止画像１枚当たりのデータ容量を算出する。静止画像１枚当たりのデータ容量は、ビットレートや画面サイズによって異なるが、本実施の形態では、その最大値を１．５ＫＢとする。再生情報解析部３は、この値と、静止画像格納部２１のデータ容量とを使用して、静止画像位置情報保持テーブルを生成する（Ｓ３）。
【００３３】
このとき生成される静止画像位置情報保持テーブルの一例を図５（ａ）に示す。図５（ａ）に示す様に、初期状態においては、通番及び格納アドレスの初期値が、対応するデータ領域に格納されている。本実施の形態では、静止画像格納部２１は、合計で１５ＫＢ分のデータを格納可能であり、１枚の静止画像の最大容量は１．５ＫＢである。したがって、静止画像位置情報保持テーブルには、１０枚分の静止画像に対応する１０の格納アドレスが１５００間隔で格納される。Ｓ４では、再生情報解析部３は、静止画像格納部２１に格納し得る静止画像の最大枚数として“１０”を静止画像配置ロジック処理部８１に通知する。
【００３４】
ユーザが動画データの再生開始を指示すると、再生動作制御部５は、再生情報解析部３による再生情報の解析結果に従って、表示画像生成部６に対して、動画データの再生を指示する（Ｓ５）。当該指示を受けた表示画像生成部６は、静止画像を含む動画データから、表示部７に表示可能な連続画像を再生成する（Ｓ６）。生成された画像は、表示部７に表示され（Ｓ７）、携帯端末１のユーザに可視的な状態となる。
【００３５】
図６に移り、Ｓ８では、静止画像生成部８は、動画データの再生中に、Ｓ６で生成された連続画像を入力する。静止画像生成部８は、再生された動画データ中の静止画像が等間隔になる様なフレーム位置に、所定数の静止画像を生成して配置する。静止画像生成部８は、生成した静止画像を静止画像格納部２１に随時格納していく。
【００３６】
静止画像が配置される位置は、静止画像配置ロジック処理部８１が所定のアルゴリズムを実行することにより算定される。以下、図７を参照して、この算出手法を具体的に説明する。本説明では簡単の為、静止画像格納部２１に格納可能な静止画像の枚数は、先頭の静止画像を除き４枚とする。図７においては、横軸に時間軸ｔを規定すると共に、“Ｆ０”，“Ｆ５”，“Ｆ１０”，“Ｆ１５”，…の参照符号を静止画像に付す。まず、静止画像生成部８は、図７（ａ）に示す様に、先頭のフレームＦ０の位置を基準として“Ａ”の時間間隔を有する位置にフレームＦ５を配置する。更に、フレームＦ５と“Ａ”の時間間隔を有する位置にフレームＦ１０を配置する。
【００３７】
同様に、生成可能な最大枚数である４枚の静止画像が、Ｆ５，Ｆ１０，Ｆ１５，Ｆ２０の位置に等間隔Ａで配置される（図７（ｂ）参照）。その後、時間の経過に伴って再生が進行し、Ｆ２１以降のフレームが再生されると、静止画像生成部８は、静止画像の間隔を２Ａに変更した上で、先頭から奇数番目に位置する静止画像を削除する。その結果、４枚の静止画像は、それぞれ２Ａの間隔で再配置される。
【００３８】
すなわち、フレームＦ２０と間隔２Ａを有するフレームＦ３０が再生されると、静止画像生成部８は、図７（ｃ）に示す様に、フレームＦ３０を静止画像として保持する。但し、このとき、保持される静止画像の枚数が５枚となり、上限である４枚を超える。このため、超過分である１枚の静止画像を、先頭から１番目の静止画像であるフレームＦ５を削除することにより吸収する。同様に、フレームＦ３０と間隔２Ａを有するフレームＦ４０が再生されると、静止画像生成部８は、図７（ｄ）に示す様に、フレームＦ４０を静止画像として保持し、先頭から３番目に位置していた静止画像（フレームＦ１５）を削除する。これにより、保持される静止画像の枚数は、上限である４枚に維持される。
【００３９】
その後、更に再生が進行し、Ｆ４１以降のフレームが再生されると、静止画像生成部８は、静止画像の間隔を“４Ａ”に変更した上で、先頭から奇数番目に位置する静止画像を削除する。その結果、４枚の静止画像は、等間隔４Ａで再配置される。ここで、フレームＦ４０から４Ａだけ離れた位置にフレームＦ６０が配置されると共に、先頭から１番目のフレームＦ１０が削除された様子を図７（ｅ）に示す。また、フレームＦ６０から４Ａ離れた位置にフレームＦ８０が配置されると共に、先頭から３番目にあったフレームＦ３０が削除された様子を図７（ｆ）に示す。以下、動画像再生の進行に伴って、静止画像生成部８が同様の処理を繰り返し実行することで、所定枚数の静止画像が常に等間隔で配置される。
【００４０】
図６に戻りＳ９では、静止画像生成部８は、生成した静止画像を静止画像格納部２１に格納していくと同時に、静止画像を生成したタイミングとして、対応するフレームナンバーを保持していく。フレームナンバーは、対応する静止画像のフレームサイズと共に、静止画像位置情報保持テーブルに保持される。４枚分の静止画像に関する情報が保持された時点における静止画像位置情報保持テーブル格納部４の状態を図５（ｂ）に示す。図５（ｂ）に示す様に、フレームナンバーは、フレームサイズと対応付けられて、通番の昇順に記録される。
【００４１】
Ｓ１０では、静止画像生成部８は、生成された静止画像の総データ容量が、静止画像格納部２１に格納可能なデータ容量の最大値を超えるか否かの判定を行う。この判定は、静止画像生成部８が、フレームナンバーを保持しようとする静止画像位置情報保持テーブル内に１０枚分の静止画像に関する情報が既に保持されているか否かを参照することで可能である。図８（ａ）に示す様に、静止画像位置情報保持テーブルに１０枚分の情報が保持されている場合には、静止画像生成部８は、静止画像の総データ容量が最大格納容量を超えるものと判定し（Ｓ１０；ＹＥＳ）、Ｓ８以降の処理が再び実行される。
【００４２】
携帯端末１がＳ８〜Ｓ１０の処理を二巡目以降に実行する際には、上述したアルゴリズムの手順に従って、保持されるフレームナンバーの間隔を２倍とする。新たに保持されるフレームナンバーは、通番で奇数番目のフレームナンバーを代替する。フレームサイズに関しても同様である。例えば、静止画像生成部８が、静止画像位置情報保持テーブルにフレームナンバー“６０”を保持する際には、通番１のフレームナンバー“５”にこれを上書きする。同時に、フレームサイズ“１３５０”を“１１２０”に更新する。同様に、静止画像生成部８が、静止画像位置情報保持テーブルにフレームナンバー“７０”を保持する際には、通番３のフレームナンバー“１５”にこれを上書きすると同時に、フレームサイズを“１３４０”から“１２５０”に更新する。その結果、静止画像位置情報保持テーブル格納部４は、図８（ｂ）に示す状態となる。太線枠Ｒ１は、領域内のデータが更新されたデータであることを示す。
【００４３】
更に、Ｓ８〜Ｓ１０の処理実行の結果、５の間隔で保持されていたフレームナンバー（図８（ａ）参照）の内、通番が奇数のフレームナンバーが更新される。すなわち、通番１，３，５，７，９に対応するフレームナンバー５，１５，２５，３５，４５が、フレームナンバー６０，７０，８０，９０，１００にそれぞれ更新される。これに伴い、フレームサイズも、各フレームナンバーに該当する静止画像のデータ容量に更新される。その結果、静止画像位置情報保持テーブル格納部４は、図８（ｃ）に示す様に、フレームナンバーが１０間隔で保持された状態に更新される。太線枠Ｒ２は、領域内のデータが更新されたデータであることを示す。
【００４４】
フレームナンバーを１０間隔として静止画像を格納してもなお、静止画像の総データ容量が最大格納容量を超える場合には、静止画像生成部８は、フレームナンバーを２０間隔に延長する。この処理は、フレームナンバーを５間隔から１０間隔に変更する場合の処理と同様に実行される。但し、フレームナンバーの更新に先立って、静止画像位置情報保持テーブルを構成するレコードをフレームナンバーの昇順にソートする処理が必要となる。ソート直後の静止画像位置情報保持テーブルの様子を図９（ａ）に示す。静止画像生成部８は、ソートされた静止画像位置情報保持テーブルに関して、通番が奇数のフレームナンバーを更新していく。１番目のフレームナンバー１０と３番目のフレームナンバー３０とが、ソート後に更新された静止画像位置情報保持テーブルの様子を図９（ｂ）に示す。太線枠Ｒ３は、領域内のデータが更新されたデータであることを示す。
【００４５】
図６のＳ１０に示した処理を実行した結果、静止画像の総データ容量が最大格納容量を超えない場合には（Ｓ１０；ＮＯ）、Ｓ１１以降の処理に移行する。Ｓ１１では、再生動作制御部５は、再生された動画データの巻戻し指示を待機している。この時点で、静止画像位置情報保持テーブルは、図９（ｃ）に示す様に、再び、フレームナンバーの昇順にソートされる。巻戻しの指示があると（Ｓ１１；ＹＥＳ）、再生動作制御部５は、ソート後の静止画像位置情報保持テーブルを参照して、静止画像格納部２１から読み込んだ静止画像の表示を表示画像生成部６に指示する。表示画像生成部６は、表示部７にこれを表示させる（Ｓ１２）。そして、再生動作制御部５は、Ｓ１２で読み込まれた静止画像を参照画像として、次の差分画像を動画データ格納部２から読み込む。これにより、表示画像生成部６は、再生を継続する（Ｓ１３）。
【００４６】
以上説明した様に、携帯端末１によれば、静止画像格納部２１に格納可能な静止画像（Ｉフレーム）の上限枚数を算出し、この枚数を超えない数の静止画像を差分画像（Ｐフレーム）から生成する。また、携帯端末１は、動画データ中の静止画像が等間隔に配置されるように、静止画像の生成対象となるフレームの位置を決定する。決定された静止画像のフレーム位置は、再生の継続に連れて可変的である。すなわち、携帯端末１は、一旦配置された静止画像を間引きして再配置することで、動画データの再生時間によらず静止画像が常に等間隔に配置された動画データを生成する。これにより、携帯端末１の限られたデータ格納領域に、必要性の高い静止画像だけを効率的に保持させることができる。また、携帯端末１のユーザは、先頭の静止画像からの巻戻し再生に限らず、適切な位置にある静止画像からの巻戻し再生を行うことが可能となる。
【００４７】
つぎに、静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の処理について説明する。図１１および図１２は、静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の携帯端末における動画像再生処理を示すフローチャートである。
【００４８】
再生情報解析部３は、動画データ格納部２から動画データを読み込み（Ｓ１）、この動画データに含まれる静止画像の位置をフレームナンバーにより判別する（Ｓ２）。ここで、再生情報解析部３は、動画データを読み込む際、動画の先頭以外にも静止画が存在していると判断した場合には（Ｓ２ａ）、再生情報を解析し、静止画像の格納アドレス、データ容量を判別し、この値を用いて初期静止画像位置情報保持テーブルを生成し、初期静止画像位置情報保持テーブル格納部９に記憶させる（Ｓ２ｂ）。
【００４９】
その後、上述図４と同等の処理が行われる。すなわち、再生情報解析部３は、この値と、静止画像格納部２１のデータ容量とを使用して、静止画像位置情報保持テーブルを生成する（Ｓ３）。再生情報解析部３は、静止画像格納部２１に格納し得る静止画像の最大枚数として“１０”を静止画像配置ロジック処理部８１に通知する（Ｓ４）。ユーザが動画データの再生開始を指示すると、再生動作制御部５は、再生情報解析部３による再生情報の解析結果に従って、表示画像生成部６に対して、動画データの再生を指示する（Ｓ５）。当該指示を受けた表示画像生成部６は、静止画像を含む動画データから、表示部７に表示可能な連続画像を再生成する（Ｓ６）。生成された画像は、表示部７に表示され（Ｓ７）、携帯端末１のユーザに可視的な状態となる。
【００５０】
つぎに、図１２に基づいて、後半の処理を説明する。静止画像生成部８は、動画データの再生中に、Ｓ６で生成された連続画像を入力する（Ｓ８）。静止画像生成部８は、再生された動画データ中の静止画像が等間隔になる様なフレーム位置に、所定数の静止画像を生成して配置する。静止画像生成部８は、生成した静止画像を静止画像格納部２１に随時格納していく。
【００５１】
静止画像生成部８は、生成した静止画像を静止画像格納部２１に格納していくと同時に、静止画像を生成したタイミングとして、対応するフレームナンバーを保持していく（Ｓ９）。静止画像位置情報保持テーブルに所定枚数以上（例えば、１０枚分）の情報が保持されている場合には、静止画像生成部８は、静止画像の総データ容量が最大格納容量を超えるものと判定し（Ｓ１０；ＹＥＳ）、Ｓ８以降の処理が再び実行される。
【００５２】
Ｓ１０に示した処理を実行した結果、静止画像の総データ容量が最大格納容量を超えない場合には（Ｓ１０；ＮＯ）、Ｓ１１以降の処理に移行する。そして、再生動作制御部５は、再生された動画データの巻戻し指示を待機している（Ｓ１１）。
【００５３】
つぎに、再生動画制御部５は、動画データの巻き戻しがユーザから指示されると、初期静止画像位置情報保持テーブルを生成したかどうかを判別する（Ｓ１４）。
【００５４】
、初期静止画像位置情報保持テーブルが生成していないと判断されると（Ｓ１４：ＮＯ）、再生動作制御部５は、ソート後の静止画像位置情報保持テーブルを参照して、静止画像格納部２１から読み込んだ静止画像の表示を表示画像生成部６に指示する。表示画像生成部６は、表示部７にこれを表示させる（Ｓ１２）。そして、再生動作制御部５は、Ｓ１２で読み込まれた静止画像を参照画像として、次の差分画像を動画データ格納部２から読み込む。これにより、表示画像生成部６は、再生を継続する（Ｓ１３）。
【００５５】
また、初期静止画像位置情報保持テーブルが生成されていた場合（Ｓ１４：ＹＥＳ）、静止画像情報保持テーブル４および、初期静止画像位置情報保持テーブル９を参照する（Ｓ１５）。次に、再生動画制御部５は、ユーザから指示された再生再開時点に近いフレームナンバーを持つテーブルを選択する。ここで、再生再開時点に近いフレームナンバーが静止画像位置情報保持テーブル４に存在する場合は、再生動作制御部５は、静止画像位置情報保持テーブル格納部４を参照して、静止画像格納部２１から当該フレームを取得し、表示画像生成部６は、再生を継続する（Ｓ１３）。
【００５６】
また、再生再開時点に近いフレームナンバーが初期静止画像位置情報保持テーブル９に存在する場合は、再生動作制御部５は、初期静止画像位置情報保持テーブル格納部９を参照して再生画像の先頭フレームを特定し、動画データ格納部２から当該フレームを取得する。また、取得された静止画像の次のフレームを差分画像として動画データ格納部２から取得することで、再生を継続させる（Ｓ１３）。
【００５７】
以上説明したとおり、静止画像が動画の先頭にない場合、また複数の静止画像が動画に含まれている場合においては、初期静止画像位置情報保持テーブルを用いて、初期静止画像まで巻き戻すことができるようにしたため、よりきめ細かな巻き戻し処理を可能にする。
【図面の簡単な説明】
【００５８】
【図１】携帯端末の機能的構成を示すブロック図である。
【図２】動画像再生処理の実行前における動画データの一例を示す図である。
【図３】静止画像位置情報保持テーブルのデータ格納例を示す図である。
【図４】携帯端末の実行する動画像再生処理の前半部分を説明するためのフローチャートである。
【図５】図５（ａ）は初期状態、図５（ｂ）は４枚分の静止画像格納時におけるデータ格納例をそれぞれ示す図である。
【図６】携帯端末の実行する動画像再生処理の後半部分を説明するためのフローチャートである。
【図７】静止画像が配置されるフレーム位置の遷移を説明するための図である。
【図８】図８（ａ）は１０枚分の静止画像格納時、図８（ｂ）は１、３番目の静止画像更新時、図８（ｃ）は５、７、９番目の静止画像更新時におけるデータ格納例をそれぞれ示す図である。
【図９】図９（ａ）は、ソート後に１、３番目の静止画像を更新した時、図９（ｂ）は、１、３番目の静止画像の更新後にソートを実行した時におけるデータ格納例をそれぞれ示す図である。
【図１０】初期静止画像位置情報保持テーブルのデータ格納例を示す図である。
【図１１】静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の前半部分における携帯端末における動画像再生処理を示すフローチャートである。
【図１２】静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の後半部分における携帯端末における動画像再生処理を示すフローチャートである。
【符号の説明】
【００５９】
１…携帯端末、２…動画データ格納部、３…再生情報解析部、４…静止画像位置情報保持テーブル格納部、４１…通番領域、４２…フレームナンバー領域、４３…格納アドレス領域、４４…フレームサイズ領域、５…再生動作制御部、６…表示画像生成部、７…表示部、８…静止画像生成部、２１…静止画像格納部、８１…静止画像配置ロジック処理部 ９…初期静止画像情報保持テーブル格納部、９１…通番領域、９２…フレームナンバー領域、９３…格納アドレス領域、９４…フレームサイズ領域。
【技術分野】
【０００１】
本発明は、携帯端末、及びフレーム生成方法に関する。
【背景技術】
【０００２】
従来、デジタル画像技術の進展に伴い、静止画フレームとその差分フレームとから構成されるＭＰＥＧ（Moving Picture Expert Group）等の動画像が使用されている。静止画フレームは、動画データを巻き戻す際に、巻き戻しの先頭位置のフレームとして参照されることから、Ｉ（Index）フレームと呼ばれる。一方、差分フレームは、直前のフレームとの差分に相当するフレームであり、Ｐ（Picture）フレームと呼ばれる。
【０００３】
通常、動画像の巻き戻し処理は、Ｉフレームを辿ることにより行われるが、動画像に含まれるＩフレームの数が少ない場合には、以下の様な問題点があった。すなわち、動画像を構成するフレーム中に存在するＩフレームが少ないため、ユーザは、所望の時点まで動画データを巻き戻して再生することができない場合がある。また、動画像を構成するフレームの先頭部分にしかＩフレームが存在しない場合には、そのフレームから動画像が頭出しされることになり、巻き戻しに要する時間が増大する。
【０００４】
かかる難点を解決するためには、Ｉフレームを作成することにより、動画像を構成するＩフレームを増やすことが有効であり、これを動画像の再生時に行う装置が提案されている（例えば、特許文献１）。当該文献に記載の動画像再生装置は、動画像符号化データが再生されるときに、インデックスフレーム情報（Ｉフレームに相当）を生成し、その後、これをＰフレームに置き換えて記録する。
【特許文献１】特開平７−２０３３５８号公報 第１５、１６頁
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、動画像巻戻し処理をスムーズに行うことを可能とするが、携帯電話やＰＤＡ（Personal Digital Assistance）を始めとする携帯端末に、かかる技術を適用する際に、以下に説明する様な問題点が懸念される。すなわち、携帯端末は、一般的に、データの格納領域が少ないため、保持可能な動画像の容量にも制限がある。したがって、限られた格納領域を有効に活用するために、Ｐフレームと比較して容量の大きいＩフレームの作成を必要最小限度に留めることが望ましい。一方で、ユーザが所望する時点からの巻戻し再生を可能とする位置にＩフレームを配置していくことが望ましい。
【０００６】
そこで、本発明の課題は、動画データの容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を高めることである。
【課題を解決するための手段】
【０００７】
本発明に係る携帯端末は、静止画像（Ｉフレームに相当）と、その差分画像（Ｐフレームに相当）とを含む動画データの再生時に、前記静止画像とは異なる静止画像を生成する携帯端末において、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像（フレーム）の中に静止画像が等間隔に配置される様に、静止画像を生成する生成手段を備える。
【０００８】
本発明に係るフレーム生成方法は、静止画像と、その差分画像とを含む動画データを再生するステップと、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する生成ステップとを含む。
【０００９】
これらの発明によれば、携帯端末は、動画データを再生する際に、格納すべき静止画像の容量を監視し、当該容量が所定の容量を超えない範囲で静止画像を生成する。動画データは、Ｉフレームに相当する静止画像と、静止画像との差分に相当するＰフレームとから構成されるので、静止画像容量の増大の抑制により、動画データ全体の容量の増大も抑制される。また、再生された動画データに含まれる静止画像は、所定のアルゴリズムに従って等間隔に配置される。これにより、携帯端末のユーザは、ユーザが所望する位置に近いフレームまで、動画データを巻き戻すことができる。その結果、データ容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を向上することが可能となる。
【００１０】
本発明に係る携帯端末において好ましくは、前記生成手段は、前記格納手段に格納される静止画像の容量が所定の容量を超える場合には、生成する静止画像の間隔を倍にすると共に、既に生成された奇数番目の静止画像を削除することにより、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する。
【００１１】
格納手段に格納され得る静止画像の枚数は、格納手段の容量と静止画像の容量とに応じた制限を受ける。そこで、本発明のように、生成される静止画像の枚数がその上限を超えて格納手段に格納しきれなくなった場合には、携帯端末は、以降に生成される静止画像の間隔を倍にして、既に生成された静止画像（先頭の静止画像を除く）の内、先頭側から奇数番目に位置する静止画像を削除する。これにより、動画データを構成する再生済みの画像の中に、所定枚数の静止画像が等間隔に配置されることになる。その結果、動画データにおける静止画像の枚数の増加を抑制しつつ、スムーズな巻戻し再生を実現可能となる。
【００１２】
本発明は、静止画像と差分画像とから成る動画データを再生可能なあらゆる端末装置に適用可能であり、その機能や大きさによって適用対象が制限されるものではない。しかしながら、携帯電話、ＰＤＡ等は、一般的に格納可能なデータ容量が小さく、生成する静止画像の容量に一定の制限を加える必要性が高いことから、このような携帯型端末に本発明を適用することが特に効果的である。
【発明の効果】
【００１３】
本発明によれば、動画データ容量の増大を抑えつつ、動画データを巻き戻しする際の利便性を高めることができる。
【発明を実施するための最良の形態】
【００１４】
以下、例示のために添付された図面を参照しながら、本発明の一実施形態について説明する。まず、本実施の形態における携帯端末１の構成について説明する。図１は、携帯端末１の機能的構成を示すブロック図である。図１に示す様に、携帯端末１は、動画データ格納部２と、再生情報解析部３と、静止画像位置情報保持テーブル格納部４と、再生動作制御部５と、表示画像生成部６と、表示部７と、静止画像生成部８（生成手段に対応）とを備える。
【００１５】
以下、携帯端末１の各構成要素について詳細に説明する。
【００１６】
動画データ格納部２には、再生の対象となる動画データが格納されている。動画データは、例えば、図２に示す様に８つのフレームから構成される。各フレームには、先頭のフレームから順に通番で、０〜７のフレームナンバーが付されている。図２において、フレームナンバーとして“０”の付されたフレームは、Ｉフレームすなわち静止画像であり、“１〜７”の付されたフレームは、Ｐフレームすなわち差分画像である。動画データ格納部２は、静止画像格納部２１（格納手段に対応）を内部に有し、静止画像格納部２１には、生成された静止画像が順次格納されていく。
【００１７】
再生情報解析部３は、動画データ格納部２から動画データを取得し、当該動画データ中における静止画像の有無、及び静止画像のフレーム位置を判別する。また、再生情報解析部３は、動画データ中に存在する静止画フレームの位置、各フレームを表示するタイミングといった、再生情報を解析し、当該動画中に含まれる静止画像のフレーム位置、動画像に含まれる静止画像のフレーム格納アドレス、およびフレームサイズを記述した初期静止画像位置情報保持テーブルを初期静止画像位置情報保持テーブル格納部９に生成する。同時に、当該動画のビットレートや表示画面のサイズ等の再生情報を基に、静止画像１枚当たりに要するデータ領域の容量を算出し、算出結果が反映された静止画像位置情報保持テーブルを生成する。
【００１８】
初期静止画像位置情報保持テーブル格納部９には、再生情報解析部３により生成された初期静止画像位置情報保持テーブルが格納される。初期静止画像位置情報保持テーブルのデータ格納例を図１０に示す。図１０に示す様に、初期静止画像位置情報保持テーブル格納部９は、通番領域９１、静止画像のフレーム位置が記述されるフレームナンバー領域９２、動画に含まれる静止画像の格納アドレスが記述される格納アドレス領域９３、フレームサイズが記述されるフレームサイズ領域９４とを備える。格納アドレス領域９３は、動画データ格納部２における静止画像の格納位置を示す。なお、この初期静止画像位置情報保持テーブル格納部９は、必須なものではなく、先頭にのみ静止画像がある動画を扱う場合には、不要である。
【００１９】
静止画像位置情報保持テーブル格納部４には、再生情報解析部３により生成された静止画像位置情報保持テーブルが格納される。本実施の形態では、静止画像格納部２１が１５ＫＢ分のデータ格納容量を有し、１フレームにつき１．５ＫＢ分の格納領域が割り当てられている場合を想定する。この想定下における静止画像位置情報保持テーブルのデータ格納例を図３に示す。図３に示す様に、静止画像位置情報保持テーブル格納部４は、通番領域４１とフレームナンバー領域４２と格納アドレス領域４３とフレームサイズ領域４４とを備える。格納アドレス領域４３は、静止画像格納部２１における静止画像の格納位置を示す。
【００２０】
通番領域４１には、静止画像格納部２１に格納可能な静止画像の上限枚数分の通番（例えば、“１”，“２”，“３”，…，“１０”）が保持される。通番領域４１の枚数は再生情報解析部３により、当該動画のビットレートや表示画面のサイズ等の再生情報および、静止画像格納部２１の容量から算出される。これにより、静止画像のフレーム位置の管理を容易にする。
【００２１】
フレームナンバー領域４２には、静止画像（Ｉフレーム）として生成されたフレームのフレームナンバー（例えば、“５”，“１０”，“１５”，…，“５０”）が更新可能に保持される。ここで、フレームナンバーは、当該動画再生する際に表示画像生成部６が生成する画像に対して、再生開始から通番で割り当てられるものである。
【００２２】
格納アドレス領域４３には、対応する静止画像が格納される領域の先頭位置を示すアドレスが更新可能に保持される。本実施の形態においては、１枚の静止画像に割り当てられた格納領域の容量は１．５ＫＢであるので、１枚目の静止画像が格納される領域のアドレスは、例えば“０〜１４９９”であり、２枚目の静止画像が格納される領域のアドレスは、“１５００〜２９９９”となる。同様に、１０枚目の静止画像が格納される領域のアドレスは、“１３５００〜１４９９９”となる。したがって、１０フレームの静止画像が格納される領域の先頭アドレスとしては、それぞれ“０，１５００，３０００，…，１２０００，１３５００”の数値データが保持される。これらの数値は、再生情報解析部３により算出される。
【００２３】
フレームサイズ領域４４には、対応する静止画像の実データ容量を示す数値が保持される。単位はバイトである。図３は、フレームナンバー５に該当する静止画像の容量が“１３５０バイト”であり、フレームナンバー２５に該当する静止画像の容量が“１２４０バイト”、フレームナンバー４５に該当する静止画像の容量が“１３８０バイト”である場合を例示する。
【００２４】
説明を簡略化するため、静止画像（Ｉフレーム）が動画の先頭にのみ存在する場合について記載する。この場合、初期静止画像位置情報保持テーブルには有効な値が格納されず、初期静止画像位置情報保持テーブルは利用されない。静止画像が動画の先頭以外に存在する場合については、後述する。
【００２５】
再生動作制御部５は、携帯端末１のユーザからの指示に従って、動画データの再生開始、停止、巻戻し、早送りを実行する。再生動作制御部５は、再生情報解析部３による再生情報の解析結果に従って、後段に位置する表示画像生成部６に対して、動画データの再生を指示する。再生動作制御部５は、動画データの巻戻しがユーザから指示されると、静止画像位置情報保持テーブル格納部４を参照して再生画像の先頭フレームを特定し、静止画像格納部２１から当該フレームを取得する。また、取得された静止画像の次のフレームを差分画像として動画データ格納部２から取得することで、再生を継続させる。
【００２６】
なお、再生動作制御部５は、静止画像が動画の先頭以外に存在する場合には、静止画像位置情報保持テーブル格納部４および初期静止画像位置情報保持テーブル格納部９を参照して、再生再開時点にいずれか近い方のテーブルを選択し、再生画像の先頭フレームを特定することが好ましい。
【００２７】
表示画像生成部６には、静止画像を含む動画データが再生動作制御部５から入力される。表示画像生成部６は、上記再生情報の解析結果に基づく再生動作制御部５からの指示に従って、上記動画データを基に、表示可能な連続画像を生成する。生成された画像は、表示部７及び静止画像生成部８に出力される。
【００２８】
表示部７は、表示画像生成部６により生成及び入力された連続画像を表示する。その結果、動画データが再生される。
【００２９】
静止画像生成部８は、表示画像生成部６から連続画像を取得し、その表示中に静止画像を生成する。静止画像生成部８は、生成した静止画像を静止画像格納部２１に格納する。静止画像を生成するフレーム位置は、静止画像配置ロジック処理部８１が所定のアルゴリズムに従って決定する。静止画像配置ロジック処理部８１は、静止画像が生成されたフレームのナンバー、静止画像格納部２１における格納位置（アドレス）、及び静止画像の容量（フレームサイズ）を、静止画像位置情報保持テーブル格納部４に記録する。
【００３０】
その後、静止画像配置ロジック処理部８１が、再生情報解析部３より通知された最大容量分の静止画像が静止画像格納部２１に格納されたことを検知すると、静止画像生成部８は、上記アルゴリズムに従って新たな静止画像を生成する。静止画像生成部８は、生成された静止画像を静止画像格納部２１に上書きで格納すると共に、静止画像位置情報保持テーブル格納部４内の該当するフレームナンバー、アドレス、及びフレームサイズを更新する。当該更新処理は、静止画像格納部２１に格納されようとする静止画像のデータ容量が所定値を超える度に実行される。
【００３１】
次に、図４〜図９を参照して、携帯端末１の動作を説明し、併せて、本発明に係るフレーム生成方法を構成する各ステップについて説明する。なお、図４および図６では、静止画像が動画の先頭に存在する場合の処理を示している。静止画像が動画の先頭以外に存在する場合の処理については後述する。
【００３２】
図４は、携帯端末１により実行される動画像再生処理を説明するためのフローチャートである。まず、再生情報解析部３は、動画データ格納部２から動画データを読み込み（Ｓ１）、この動画データに含まれる静止画像の位置をフレームナンバーにより判別する（Ｓ２）。なお、ここでは、静止画像が先頭にある場合の説明であることから、この処理は必ずしも必要ではない。続いて、再生情報解析部３は、Ｓ２で位置を判別した静止画像１枚当たりのデータ容量を算出する。静止画像１枚当たりのデータ容量は、ビットレートや画面サイズによって異なるが、本実施の形態では、その最大値を１．５ＫＢとする。再生情報解析部３は、この値と、静止画像格納部２１のデータ容量とを使用して、静止画像位置情報保持テーブルを生成する（Ｓ３）。
【００３３】
このとき生成される静止画像位置情報保持テーブルの一例を図５（ａ）に示す。図５（ａ）に示す様に、初期状態においては、通番及び格納アドレスの初期値が、対応するデータ領域に格納されている。本実施の形態では、静止画像格納部２１は、合計で１５ＫＢ分のデータを格納可能であり、１枚の静止画像の最大容量は１．５ＫＢである。したがって、静止画像位置情報保持テーブルには、１０枚分の静止画像に対応する１０の格納アドレスが１５００間隔で格納される。Ｓ４では、再生情報解析部３は、静止画像格納部２１に格納し得る静止画像の最大枚数として“１０”を静止画像配置ロジック処理部８１に通知する。
【００３４】
ユーザが動画データの再生開始を指示すると、再生動作制御部５は、再生情報解析部３による再生情報の解析結果に従って、表示画像生成部６に対して、動画データの再生を指示する（Ｓ５）。当該指示を受けた表示画像生成部６は、静止画像を含む動画データから、表示部７に表示可能な連続画像を再生成する（Ｓ６）。生成された画像は、表示部７に表示され（Ｓ７）、携帯端末１のユーザに可視的な状態となる。
【００３５】
図６に移り、Ｓ８では、静止画像生成部８は、動画データの再生中に、Ｓ６で生成された連続画像を入力する。静止画像生成部８は、再生された動画データ中の静止画像が等間隔になる様なフレーム位置に、所定数の静止画像を生成して配置する。静止画像生成部８は、生成した静止画像を静止画像格納部２１に随時格納していく。
【００３６】
静止画像が配置される位置は、静止画像配置ロジック処理部８１が所定のアルゴリズムを実行することにより算定される。以下、図７を参照して、この算出手法を具体的に説明する。本説明では簡単の為、静止画像格納部２１に格納可能な静止画像の枚数は、先頭の静止画像を除き４枚とする。図７においては、横軸に時間軸ｔを規定すると共に、“Ｆ０”，“Ｆ５”，“Ｆ１０”，“Ｆ１５”，…の参照符号を静止画像に付す。まず、静止画像生成部８は、図７（ａ）に示す様に、先頭のフレームＦ０の位置を基準として“Ａ”の時間間隔を有する位置にフレームＦ５を配置する。更に、フレームＦ５と“Ａ”の時間間隔を有する位置にフレームＦ１０を配置する。
【００３７】
同様に、生成可能な最大枚数である４枚の静止画像が、Ｆ５，Ｆ１０，Ｆ１５，Ｆ２０の位置に等間隔Ａで配置される（図７（ｂ）参照）。その後、時間の経過に伴って再生が進行し、Ｆ２１以降のフレームが再生されると、静止画像生成部８は、静止画像の間隔を２Ａに変更した上で、先頭から奇数番目に位置する静止画像を削除する。その結果、４枚の静止画像は、それぞれ２Ａの間隔で再配置される。
【００３８】
すなわち、フレームＦ２０と間隔２Ａを有するフレームＦ３０が再生されると、静止画像生成部８は、図７（ｃ）に示す様に、フレームＦ３０を静止画像として保持する。但し、このとき、保持される静止画像の枚数が５枚となり、上限である４枚を超える。このため、超過分である１枚の静止画像を、先頭から１番目の静止画像であるフレームＦ５を削除することにより吸収する。同様に、フレームＦ３０と間隔２Ａを有するフレームＦ４０が再生されると、静止画像生成部８は、図７（ｄ）に示す様に、フレームＦ４０を静止画像として保持し、先頭から３番目に位置していた静止画像（フレームＦ１５）を削除する。これにより、保持される静止画像の枚数は、上限である４枚に維持される。
【００３９】
その後、更に再生が進行し、Ｆ４１以降のフレームが再生されると、静止画像生成部８は、静止画像の間隔を“４Ａ”に変更した上で、先頭から奇数番目に位置する静止画像を削除する。その結果、４枚の静止画像は、等間隔４Ａで再配置される。ここで、フレームＦ４０から４Ａだけ離れた位置にフレームＦ６０が配置されると共に、先頭から１番目のフレームＦ１０が削除された様子を図７（ｅ）に示す。また、フレームＦ６０から４Ａ離れた位置にフレームＦ８０が配置されると共に、先頭から３番目にあったフレームＦ３０が削除された様子を図７（ｆ）に示す。以下、動画像再生の進行に伴って、静止画像生成部８が同様の処理を繰り返し実行することで、所定枚数の静止画像が常に等間隔で配置される。
【００４０】
図６に戻りＳ９では、静止画像生成部８は、生成した静止画像を静止画像格納部２１に格納していくと同時に、静止画像を生成したタイミングとして、対応するフレームナンバーを保持していく。フレームナンバーは、対応する静止画像のフレームサイズと共に、静止画像位置情報保持テーブルに保持される。４枚分の静止画像に関する情報が保持された時点における静止画像位置情報保持テーブル格納部４の状態を図５（ｂ）に示す。図５（ｂ）に示す様に、フレームナンバーは、フレームサイズと対応付けられて、通番の昇順に記録される。
【００４１】
Ｓ１０では、静止画像生成部８は、生成された静止画像の総データ容量が、静止画像格納部２１に格納可能なデータ容量の最大値を超えるか否かの判定を行う。この判定は、静止画像生成部８が、フレームナンバーを保持しようとする静止画像位置情報保持テーブル内に１０枚分の静止画像に関する情報が既に保持されているか否かを参照することで可能である。図８（ａ）に示す様に、静止画像位置情報保持テーブルに１０枚分の情報が保持されている場合には、静止画像生成部８は、静止画像の総データ容量が最大格納容量を超えるものと判定し（Ｓ１０；ＹＥＳ）、Ｓ８以降の処理が再び実行される。
【００４２】
携帯端末１がＳ８〜Ｓ１０の処理を二巡目以降に実行する際には、上述したアルゴリズムの手順に従って、保持されるフレームナンバーの間隔を２倍とする。新たに保持されるフレームナンバーは、通番で奇数番目のフレームナンバーを代替する。フレームサイズに関しても同様である。例えば、静止画像生成部８が、静止画像位置情報保持テーブルにフレームナンバー“６０”を保持する際には、通番１のフレームナンバー“５”にこれを上書きする。同時に、フレームサイズ“１３５０”を“１１２０”に更新する。同様に、静止画像生成部８が、静止画像位置情報保持テーブルにフレームナンバー“７０”を保持する際には、通番３のフレームナンバー“１５”にこれを上書きすると同時に、フレームサイズを“１３４０”から“１２５０”に更新する。その結果、静止画像位置情報保持テーブル格納部４は、図８（ｂ）に示す状態となる。太線枠Ｒ１は、領域内のデータが更新されたデータであることを示す。
【００４３】
更に、Ｓ８〜Ｓ１０の処理実行の結果、５の間隔で保持されていたフレームナンバー（図８（ａ）参照）の内、通番が奇数のフレームナンバーが更新される。すなわち、通番１，３，５，７，９に対応するフレームナンバー５，１５，２５，３５，４５が、フレームナンバー６０，７０，８０，９０，１００にそれぞれ更新される。これに伴い、フレームサイズも、各フレームナンバーに該当する静止画像のデータ容量に更新される。その結果、静止画像位置情報保持テーブル格納部４は、図８（ｃ）に示す様に、フレームナンバーが１０間隔で保持された状態に更新される。太線枠Ｒ２は、領域内のデータが更新されたデータであることを示す。
【００４４】
フレームナンバーを１０間隔として静止画像を格納してもなお、静止画像の総データ容量が最大格納容量を超える場合には、静止画像生成部８は、フレームナンバーを２０間隔に延長する。この処理は、フレームナンバーを５間隔から１０間隔に変更する場合の処理と同様に実行される。但し、フレームナンバーの更新に先立って、静止画像位置情報保持テーブルを構成するレコードをフレームナンバーの昇順にソートする処理が必要となる。ソート直後の静止画像位置情報保持テーブルの様子を図９（ａ）に示す。静止画像生成部８は、ソートされた静止画像位置情報保持テーブルに関して、通番が奇数のフレームナンバーを更新していく。１番目のフレームナンバー１０と３番目のフレームナンバー３０とが、ソート後に更新された静止画像位置情報保持テーブルの様子を図９（ｂ）に示す。太線枠Ｒ３は、領域内のデータが更新されたデータであることを示す。
【００４５】
図６のＳ１０に示した処理を実行した結果、静止画像の総データ容量が最大格納容量を超えない場合には（Ｓ１０；ＮＯ）、Ｓ１１以降の処理に移行する。Ｓ１１では、再生動作制御部５は、再生された動画データの巻戻し指示を待機している。この時点で、静止画像位置情報保持テーブルは、図９（ｃ）に示す様に、再び、フレームナンバーの昇順にソートされる。巻戻しの指示があると（Ｓ１１；ＹＥＳ）、再生動作制御部５は、ソート後の静止画像位置情報保持テーブルを参照して、静止画像格納部２１から読み込んだ静止画像の表示を表示画像生成部６に指示する。表示画像生成部６は、表示部７にこれを表示させる（Ｓ１２）。そして、再生動作制御部５は、Ｓ１２で読み込まれた静止画像を参照画像として、次の差分画像を動画データ格納部２から読み込む。これにより、表示画像生成部６は、再生を継続する（Ｓ１３）。
【００４６】
以上説明した様に、携帯端末１によれば、静止画像格納部２１に格納可能な静止画像（Ｉフレーム）の上限枚数を算出し、この枚数を超えない数の静止画像を差分画像（Ｐフレーム）から生成する。また、携帯端末１は、動画データ中の静止画像が等間隔に配置されるように、静止画像の生成対象となるフレームの位置を決定する。決定された静止画像のフレーム位置は、再生の継続に連れて可変的である。すなわち、携帯端末１は、一旦配置された静止画像を間引きして再配置することで、動画データの再生時間によらず静止画像が常に等間隔に配置された動画データを生成する。これにより、携帯端末１の限られたデータ格納領域に、必要性の高い静止画像だけを効率的に保持させることができる。また、携帯端末１のユーザは、先頭の静止画像からの巻戻し再生に限らず、適切な位置にある静止画像からの巻戻し再生を行うことが可能となる。
【００４７】
つぎに、静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の処理について説明する。図１１および図１２は、静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の携帯端末における動画像再生処理を示すフローチャートである。
【００４８】
再生情報解析部３は、動画データ格納部２から動画データを読み込み（Ｓ１）、この動画データに含まれる静止画像の位置をフレームナンバーにより判別する（Ｓ２）。ここで、再生情報解析部３は、動画データを読み込む際、動画の先頭以外にも静止画が存在していると判断した場合には（Ｓ２ａ）、再生情報を解析し、静止画像の格納アドレス、データ容量を判別し、この値を用いて初期静止画像位置情報保持テーブルを生成し、初期静止画像位置情報保持テーブル格納部９に記憶させる（Ｓ２ｂ）。
【００４９】
その後、上述図４と同等の処理が行われる。すなわち、再生情報解析部３は、この値と、静止画像格納部２１のデータ容量とを使用して、静止画像位置情報保持テーブルを生成する（Ｓ３）。再生情報解析部３は、静止画像格納部２１に格納し得る静止画像の最大枚数として“１０”を静止画像配置ロジック処理部８１に通知する（Ｓ４）。ユーザが動画データの再生開始を指示すると、再生動作制御部５は、再生情報解析部３による再生情報の解析結果に従って、表示画像生成部６に対して、動画データの再生を指示する（Ｓ５）。当該指示を受けた表示画像生成部６は、静止画像を含む動画データから、表示部７に表示可能な連続画像を再生成する（Ｓ６）。生成された画像は、表示部７に表示され（Ｓ７）、携帯端末１のユーザに可視的な状態となる。
【００５０】
つぎに、図１２に基づいて、後半の処理を説明する。静止画像生成部８は、動画データの再生中に、Ｓ６で生成された連続画像を入力する（Ｓ８）。静止画像生成部８は、再生された動画データ中の静止画像が等間隔になる様なフレーム位置に、所定数の静止画像を生成して配置する。静止画像生成部８は、生成した静止画像を静止画像格納部２１に随時格納していく。
【００５１】
静止画像生成部８は、生成した静止画像を静止画像格納部２１に格納していくと同時に、静止画像を生成したタイミングとして、対応するフレームナンバーを保持していく（Ｓ９）。静止画像位置情報保持テーブルに所定枚数以上（例えば、１０枚分）の情報が保持されている場合には、静止画像生成部８は、静止画像の総データ容量が最大格納容量を超えるものと判定し（Ｓ１０；ＹＥＳ）、Ｓ８以降の処理が再び実行される。
【００５２】
Ｓ１０に示した処理を実行した結果、静止画像の総データ容量が最大格納容量を超えない場合には（Ｓ１０；ＮＯ）、Ｓ１１以降の処理に移行する。そして、再生動作制御部５は、再生された動画データの巻戻し指示を待機している（Ｓ１１）。
【００５３】
つぎに、再生動画制御部５は、動画データの巻き戻しがユーザから指示されると、初期静止画像位置情報保持テーブルを生成したかどうかを判別する（Ｓ１４）。
【００５４】
、初期静止画像位置情報保持テーブルが生成していないと判断されると（Ｓ１４：ＮＯ）、再生動作制御部５は、ソート後の静止画像位置情報保持テーブルを参照して、静止画像格納部２１から読み込んだ静止画像の表示を表示画像生成部６に指示する。表示画像生成部６は、表示部７にこれを表示させる（Ｓ１２）。そして、再生動作制御部５は、Ｓ１２で読み込まれた静止画像を参照画像として、次の差分画像を動画データ格納部２から読み込む。これにより、表示画像生成部６は、再生を継続する（Ｓ１３）。
【００５５】
また、初期静止画像位置情報保持テーブルが生成されていた場合（Ｓ１４：ＹＥＳ）、静止画像情報保持テーブル４および、初期静止画像位置情報保持テーブル９を参照する（Ｓ１５）。次に、再生動画制御部５は、ユーザから指示された再生再開時点に近いフレームナンバーを持つテーブルを選択する。ここで、再生再開時点に近いフレームナンバーが静止画像位置情報保持テーブル４に存在する場合は、再生動作制御部５は、静止画像位置情報保持テーブル格納部４を参照して、静止画像格納部２１から当該フレームを取得し、表示画像生成部６は、再生を継続する（Ｓ１３）。
【００５６】
また、再生再開時点に近いフレームナンバーが初期静止画像位置情報保持テーブル９に存在する場合は、再生動作制御部５は、初期静止画像位置情報保持テーブル格納部９を参照して再生画像の先頭フレームを特定し、動画データ格納部２から当該フレームを取得する。また、取得された静止画像の次のフレームを差分画像として動画データ格納部２から取得することで、再生を継続させる（Ｓ１３）。
【００５７】
以上説明したとおり、静止画像が動画の先頭にない場合、また複数の静止画像が動画に含まれている場合においては、初期静止画像位置情報保持テーブルを用いて、初期静止画像まで巻き戻すことができるようにしたため、よりきめ細かな巻き戻し処理を可能にする。
【図面の簡単な説明】
【００５８】
【図１】携帯端末の機能的構成を示すブロック図である。
【図２】動画像再生処理の実行前における動画データの一例を示す図である。
【図３】静止画像位置情報保持テーブルのデータ格納例を示す図である。
【図４】携帯端末の実行する動画像再生処理の前半部分を説明するためのフローチャートである。
【図５】図５（ａ）は初期状態、図５（ｂ）は４枚分の静止画像格納時におけるデータ格納例をそれぞれ示す図である。
【図６】携帯端末の実行する動画像再生処理の後半部分を説明するためのフローチャートである。
【図７】静止画像が配置されるフレーム位置の遷移を説明するための図である。
【図８】図８（ａ）は１０枚分の静止画像格納時、図８（ｂ）は１、３番目の静止画像更新時、図８（ｃ）は５、７、９番目の静止画像更新時におけるデータ格納例をそれぞれ示す図である。
【図９】図９（ａ）は、ソート後に１、３番目の静止画像を更新した時、図９（ｂ）は、１、３番目の静止画像の更新後にソートを実行した時におけるデータ格納例をそれぞれ示す図である。
【図１０】初期静止画像位置情報保持テーブルのデータ格納例を示す図である。
【図１１】静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の前半部分における携帯端末における動画像再生処理を示すフローチャートである。
【図１２】静止画像（Ｉフレーム）が動画の先頭以外に存在する場合の後半部分における携帯端末における動画像再生処理を示すフローチャートである。
【符号の説明】
【００５９】
１…携帯端末、２…動画データ格納部、３…再生情報解析部、４…静止画像位置情報保持テーブル格納部、４１…通番領域、４２…フレームナンバー領域、４３…格納アドレス領域、４４…フレームサイズ領域、５…再生動作制御部、６…表示画像生成部、７…表示部、８…静止画像生成部、２１…静止画像格納部、８１…静止画像配置ロジック処理部 ９…初期静止画像情報保持テーブル格納部、９１…通番領域、９２…フレームナンバー領域、９３…格納アドレス領域、９４…フレームサイズ領域。
【特許請求の範囲】
【請求項１】
静止画像と、その差分画像とを含む動画データの再生時に、前記静止画像とは異なる静止画像を生成する携帯端末において、
格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する生成手段を備えることを特徴とする携帯端末。
【請求項２】
前記生成手段は、前記格納手段に格納される静止画像の容量が所定の容量を超える場合には、生成する静止画像の間隔を倍にすると共に、既に生成された奇数番目の静止画像を削除することにより、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成することを特徴とする請求項１に記載の携帯端末。
【請求項３】
静止画像と、その差分画像とを含む動画データを再生するステップと、
格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する生成ステップと
を含むことを特徴とするフレーム生成方法。
【請求項１】
静止画像と、その差分画像とを含む動画データの再生時に、前記静止画像とは異なる静止画像を生成する携帯端末において、
格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する生成手段を備えることを特徴とする携帯端末。
【請求項２】
前記生成手段は、前記格納手段に格納される静止画像の容量が所定の容量を超える場合には、生成する静止画像の間隔を倍にすると共に、既に生成された奇数番目の静止画像を削除することにより、格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成することを特徴とする請求項１に記載の携帯端末。
【請求項３】
静止画像と、その差分画像とを含む動画データを再生するステップと、
格納手段に格納される静止画像の容量が所定の容量を超えず、かつ、再生が終了した画像中の静止画像が等間隔に配置される様に、静止画像を生成する生成ステップと
を含むことを特徴とするフレーム生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−１２５００７（Ｐ２００８−１２５００７Ａ）
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願番号】特願２００６−３０９５３１（Ｐ２００６−３０９５３１）
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２０年５月２９日（２００８．５．２９）
【国際特許分類】
【出願日】平成１８年１１月１５日（２００６．１１．１５）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]