映像処理装置、方法及びプログラム
【課題】
ズームの利用状況に応じて適切なアスペクト比変換を実現する。
【解決手段】
記録媒体(26)には、撮影時のズーム情報付きで映像信号が記録されている。再生時、記録再生装置(24)は、記録媒体(26)から映像情報を読み出してフォーマット制御装置(18)に供給し、フレーム毎のズーム情報を含むユーザ管理情報をユーザ管理情報検出装置(28)に供給する。ユーザ管理情報検出装置(28)は、フレーム毎のズーム情報を引伸し制御装置(30)に供給する。フォーマット制御装置(18)は、再生された映像情報の映像信号を画像処理装置(14)に供給する。画像処理装置(14)は、を引伸し制御装置(30)からの制御信号に従う引伸し特性で、フォーマット制御装置(18)からの映像信号のアスペクト比を変換する。
ズームの利用状況に応じて適切なアスペクト比変換を実現する。
【解決手段】
記録媒体(26)には、撮影時のズーム情報付きで映像信号が記録されている。再生時、記録再生装置(24)は、記録媒体(26)から映像情報を読み出してフォーマット制御装置(18)に供給し、フレーム毎のズーム情報を含むユーザ管理情報をユーザ管理情報検出装置(28)に供給する。ユーザ管理情報検出装置(28)は、フレーム毎のズーム情報を引伸し制御装置(30)に供給する。フォーマット制御装置(18)は、再生された映像情報の映像信号を画像処理装置(14)に供給する。画像処理装置(14)は、を引伸し制御装置(30)からの制御信号に従う引伸し特性で、フォーマット制御装置(18)からの映像信号のアスペクト比を変換する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置、方法及びプログラムに関し、より具体的には映像信号のアスペクト比を変換する映像処理装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年のテレビジョン信号には、従来の標準映像信号とより高精細な高精細映像信号が混在している。標準映像信号SDTV(Standard Definition TeleVision)信号のアスペクト比(画面の縦横比)は原則、4:3である。これに対し、高精細映像信号HDTV(High Definition TeleVision)信号のアスペクト比は、16:9である。
【0003】
SDTV信号の画像(以下,SD画像という)をHDTV対応の映像モニタで表示する場合は、SDTV信号をアップコンバートする。他方、HDTV信号の映像(以下,HD画像という)をSDTV対応の映像モニタで表示する場合には、HDTV信号をSDTV信号にダウンコンバートする。その際、アスペクト比も変換する必要がある。
【0004】
アスペクト比変換には、いくつかの方法がある。例えば、SDTV信号からHDTV信号へのアップコンバートの場合、アナモフィクスというアスペクト比変換方法が知られている。図10(a)はSDTV信号のアスペクト比4:3の画像例を示し、図10(b)は、HDTV信号のアスペクト比16:9の画像例を示す。アナモフィクスは、単純に、アスペクト比16:9の画面にちょうど収まるように、画像を横方向に伸ばす方法である。この方法では、アスペクト比16:9の画面全体に、アスペクト比変換前のSD画像を欠落なく全て表示できる。
【0005】
この方法では画面を左右に引き伸ばすことから、画像が横長に表示されることになり、見栄えが悪くなってしまう。これに対し、画面中央部分の引伸しを抑制し,周辺部分を大きく引き伸ばす方法が、提案されている(特許文献1参照)。
【特許文献1】特開2001−157139号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
図11は、アスペクト比変換の際の引伸し率制御のフローチャートを示す。再生モードが選択されると(S31)、予め設定された引伸し率が検出され、アップコンバート時における引伸し率が決定される(S32)。再生ボタン等が押されて再生オンとなると(S33)、ステップS32で取得した引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される(S34)。再生がオフになるまで(S35)、ステップS34を続ける。
【0007】
図12は、SDTV画像を均等に水平方向に引き伸ばした場合と、周辺部を水平方向に引き伸ばした場合の画面例を示す。図12(a)はオリジナルのアスペクト比4:3の画像を示す。図12(b)は、図12(a)に示す画像を水平方法に均等に引き伸ばした場合の画面例を示す。図12(c)は、図12(a)に示す画像の水平方向の周辺部を水平方法に引き伸ばした場合の画面例を示す。撮影時における主たる被写体は、図12(a)に示すように撮影領域の中心に存在することが多い。図12(a)に示す画像を均等に水平方向に引き伸ばした場合、図12(b)に示すように、被写体が潰れて、太って見えてしまう。これに対し、水平方向の周辺部分を主に引き伸ばすようにすれば、図12(c)に示すように、画面中央に位置する被写体は、潰れ感が少ない。
【0008】
他方、学芸会やコンサート等では、アスペクト比4:3の画像をアスペクト比16:9の画面に表示する場合に、水平方向に均等に引き伸ばしたいときがある。図13は、学芸会等の集団演技の場面の撮影画像例を示す。図13(a)はオリジナルのアスペクト比4:3の画像を示す。図13(b)は、図13(a)に示す画像を水平方法に均等に引き伸ばした場合の画面例を示す。図13(c)は、図13(a)に示す画像の水平方向の周辺部を水平方法に引き伸ばした場合の画面例を示す。具体的には、ズームを広角側に設定し、広い撮影視野内で、注目する被写体が周辺部にも位置する場合である。このような場合、図13(c)に示すような表示よりも、図13(b)に示すような表示が好ましい。
【0009】
同一シーン(一回の記録ボタンを押すことによる撮影)中に、均等引伸しから周辺引伸しに、又はその逆に切り替えると,画面周辺部分で画像の有り様が急変することになり、見栄えが悪い。
【0010】
本発明は、このような不都合無しに、より適切に引伸し画像を表示するようにした映像処理装置、方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【0011】
本発明に係る映像処理装置は、撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理装置であって、前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定手段と、前記引伸し特性決定手段で決定された引伸し特性に従い、前記映像信号を引き伸ばす手段とを具備し、前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くすることを特徴とする。
【0012】
本発明に係る映像処理方法は、撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理方法であって、前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定ステップと、前記引伸し特性決定ステップで決定された引伸し特性に従い、前記映像信号を引き伸ばすステップとを具備し、前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くすることを特徴とする。
【0013】
本発明に係る映像処理プログラムは、撮影時のズーム情報を付加された映像信号のアスペクト比をコンピュータに引き伸ばさせる映像処理プログラムであって、前記コンピュータに、前記ズーム情報に応じた引伸し特性を決定させる引伸し特性決定機能と、前記コンピュータに、前記引伸し特性決定機能で決定された引伸し特性に従い、前記映像信号を引き伸ばさせる機能とを具備し、前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くすることを特徴とする。
【発明の効果】
【0014】
本発明によれば、撮影時のズーム情報を参照して、水平方向引伸しの方法を制御することで、被写体に適したアスペクト比の自動変換を実現できる。これにより、一連の記録映像上で、ズームを望遠に設定して撮影した場合に表示画像が潰れることによる見栄えを改善し、ズームを広角に設定して撮影した場合に画像全体をフラットに表示することが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【0016】
図1は、本発明に係る映像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。但し、撮影画像をSDTV信号で記録媒体に記録し、再生出力時にはHDTV信号に変換してモニタ出力する場合を想定する。
【0017】
画像入力装置10は、撮影レンズと、撮影レンズによる撮影画像を画像信号に変換する撮像部からなる。撮影レンズはズーム機能を具備し,現在のズーム値を制御装置12に出力する。本実施例では、最大ズーム率を×4倍とする。撮像部の出力画像信号、即ち、画像入力装置10から出力される画像信号は、画像処理装置14に入力する。
【0018】
画像処理装置14は、画像入力装置10からの画像信号に所定の画像処理を施し,モニタ用の画像信号を画像表示装置16に、記録用の画像信号をフォーマット制御装置18に供給する。
【0019】
他方、音声入力装置20は、周囲の音声を取り込み、周囲音声を示す音声信号を音声処理装置22に供給する。音声処理装置22は、音声入力装置20からの音声信号に所定の処理を施し,記録用にフォーマット制御装置18に供給する。
【0020】
制御装置12は、画像入力装置10の撮影レンズのズーム値を継続的にフォーマット制御装置18に供給する。
【0021】
フォーマット制御装置18は、画像処理装置14からの画像信号及び音声処理装置22からの音声信号、及び制御装置12からのズーム値情報を記録用に処理及び多重して、記録用フォーマットに変換する。記録再生装置24は、フォーマット制御装置18からの信号を記録媒体26の記録に適した形態に変調して,記録媒体26に記録する。記録媒体26は、例えば,光ディスク,光磁気ディスク、磁気ディスク又は半導体不揮発メモリからなる。
【0022】
このようにして、撮影時のズーム情報を付加されたSDTV映像信号が記録媒体26に記録される。
【0023】
図2は、記録媒体26のファイル配置と画像ファイルの構成を示す。音声情報は音声フォルダに配置され,画像情報は画像フォルダに配置される。画像フォルダ内には、再生制御ファイルと、画像データファイルと、バックアップファイルとユーザ情報(User.info)ファイルが格納される、再生制御ファイルは、再生制御に関する情報を格納する。画像データファイルは、画像データそのもの(又は,圧縮符号化されている場合には,圧縮画像データ)を格納する。バックアップファイルは、バックアップされたデータが格納される。本実施例では、ユーザ情報ファイルに撮影時のフレーム毎のズーム値を示す情報(ズーム情報)が格納される。
【0024】
次に、再生モードで、記録媒体26にこのように記録されたSDTV信号をアップコンバートして,HDTV信号として映像表示する場合を説明する。ここでは、画像表示装置16が、HDTV信号にも対応しているとして説明する。もちろん、外部出力端子にHDTVモニタを接続し,再生映像を当該HDTVモニタの画面上に表示してもよいことは明らかである。
【0025】
制御装置12は、ユーザにより指定された映像に関する情報の読み出しを記録再生装置24に指示する。記録再生装置24は、指定された映像の音声ファイル、再生制御ファイル及び画像データファイルを読み出して、フォーマット制御装置18に供給する。記録再生装置24はまた、指定された映像のユーザ情報ファイルを記録媒体26から読み出し、ユーザ管理情報検出装置28に供給する。ユーザ管理情報検出装置28は、ユーザ情報ファイルからフレーム毎のズーム情報を検出し、引伸し率制御装置30にズーム情報を供給する。
【0026】
フォーマット制御装置18は、記録再生装置24からの画像情報を表示用フォーマットに変換し、画像処理装置14に供給する。画像処理装置14は、引伸し率制御装置に従った引伸し率で、フォーマット制御装置18からの再生映像信号のアスペクト比を変換し、HDTV信号に変換する。アスペクト比変換の詳細は後述する。画像処理装置14は、HDTV信号形式の再生映像信号を画像表示装置16に供給する。
【0027】
他方、音声処理装置22は、フォーマット制御装置18からの再生音声信号を出力用に処理して音声出力装置32に供給する。音声出力装置32は、例えば,複数チャネルのスピーカからなる。
【0028】
図3は、ズーム倍率に応じた,本実施例の引伸し率特性を示す。横軸は,画面の水平方向位置を示し、縦軸は,引伸し率を示す。特性40は、ズーム率が1倍での引伸し特性を示し、本実施例では,水平のどの位置でも同じ引伸し率としている。即ち、特性40は、均等引伸しに相当する。特性42、44、46は周辺引伸しの引伸し特性に相当する。特性42は、ズーム率が2倍の場合の引伸し特性を示す。特性44は、ズーム率が3倍の場合の引伸し特性を示す。特性46は、ズーム率が4倍の場合の引伸し特性を示す。
【0029】
このように、引伸ばし特性は、ズーム率が大きいほど、周辺部の引伸し率を大きくして、無引伸し(又は低引伸し)の中央部分を狭くし、ズーム率が小さいほど、中央部分を広くするように決定される。引伸し率制御装置30は、このように引伸し特性を決定する引伸し特性決定手段、引伸し特性決定ステップまたは引伸し特性決定機能として機能する。そして、画像処理装置14が、決定された引伸し特性に従う引伸しでアスペクト比を変換する。
【0030】
図4は、画像処理装置14の、SD画像をHDTV画像に変換する部分の概略構成ブロック図を示す。フォーマット制御装置18からのSD画像を少なくとも1フレーム分、記憶する内蔵メモリ34と、アップコンバータ36と、アップコンバータ36により生成されたHD画像を記憶するフレームメモリ38を具備する。内蔵メモリ34は、フォーマット制御装置18からの再生映像信号のフレーム画像(SD画像)を記憶する。引伸し率制御装置30は、ユーザ管理情報検出装置28からのズーム情報に従って、適用すべき引伸し率特性を決定し、アップコンバータ36にセットする。アップコンバータ36は、引伸し率制御装置30によりセッットされた引伸し率特性に従って、内蔵メモリ34に記憶されるSD画像を水平方向に引き伸ばす。アップコンバータ36は、このように水平方向に引き伸ばした画像を更に垂直方向にも補間して、HD解像度のHD画像に変換し、フレームメモリ38に格納する。フレームメモリ38に格納されるHD画像は、所定の周期で読み出され,HDTV信号として画像表示装置16に供給される。
【0031】
図5は、SD/HD変換の際のアスペクト比変換制御のフローチャートを示す。ユーザは、図示しない操作手段により、本実施例のズーム率対応引伸しを有効にするかどうかを制御装置12に指示できる。
【0032】
ズーム率対応引伸しを有効に設定すると(S11)、ステップS12〜S17が実行される。すなわち、再生モードが選択され(S12)、再生開始が指示されると(S13)、フレーム毎のズーム情報が検出され(S14)、そのズーム情報に応じた引伸し率が設定される(S15)。そして、設定された引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される(S16)。再生がオフになるまで(S17)、ステップS14〜S16が実行される。
【0033】
他方、ズーム率対応引伸しを有効に設定しない場合(S11)、ステップS18〜S22が実行される。すなわち、再生モードが選択されると(S18)、予め設定された引伸し率が検出され、アップコンバート時における引伸し率が決定される(S19)。再生ボタン等が押されて再生オンとなると(S20)、ステップS19で取得した引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される(S21)。再生がオフになるまで(S22)、ステップS21を続ける。
【0034】
図6乃至図9に示す画像例を参照して、本実施例の特徴的な作用を説明する。図6(a)は1倍ズームの場合の撮影画像を示す。図6(b)は2倍ズームの場合の撮影画像を示す。図6(c)は、3倍ズームの場合の撮影画像を示す。図6(d)は、4倍ズームの場合の撮影画像を示す。図7(a)〜(d)はそれぞれ、図6(a)〜(d)に示す撮影画像を水平方向に均等に引き伸ばした場合の再生画像例を示す。図8(a)〜(d)はそれぞれ、ズーム値に係らない固定の引伸し特性、例えば、特性46で、図6(a)〜(d)に示す撮影画像の周辺部を水平方向に引き伸ばした場合の再生画像例を示す。図9(a)〜(d)はそれぞれ、ズーム値に応じた引伸し特性40〜46で図6(a)〜(d)に示す撮影画像を水平方向に引き伸ばした場合の再生画像例を示す。
【0035】
均等引伸しのアスペクト比変換では、ズーム率が低倍の場合、図7(a)に示すように、全体が潰れてしまっていても、フラット感が得られる。他方、ズーム率が高倍の場合には、図7(d)に示すように、潰れているのが目立ってしまう。
【0036】
ズーム値によらない固定の引伸し特性による周辺引伸しでは、ズーム率が高倍の場合に、図8(d)に示すように、画像中心の被写体が潰れることなく表示される。しかし、ズーム率が低倍の場合には、図8(a)に示すように、フラットに表示することが出来ない。
【0037】
本実施例の特徴である、ズーム値に応じて周辺引伸しの引伸し特性を変更するアスペクト比変換では、以上の不都合を解消できる。すなわち、ズーム率が低倍の場合には、均等引伸しに近くなり、図9(a)に示すように全体がフラット又はフラットに近く表示される。他方、ズーム率が高倍の場合、図9(d)に示すように、中央の被写体をほぼ、潰れ無しに表示できる。
【0038】
ズーム率に対応する引伸し率特性は、ユーザが任意に設定可能である。本実施例では、図3で示すように4段階に分けて設定していたが、より多く、また関数的に変化させてもよい。
【0039】
撮像装置における実施例を説明したが、本発明のアスペクト比変換自体は、コンピュータ上のコンピュータプログラム、すなわち、映像処理プログラムとしても実装可能である。撮像装置からズーム情報付きの映像信号をコンピュータに入力し、コンピュータ上で、上述の実施例と同様に、アスペクト比を変換する。そして、必要により、SDTV信号をHDTV信号に変換する。
【図面の簡単な説明】
【0040】
【図1】本発明に係る映像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。
【図2】記録媒体のファイル構造例である。
【図3】ズーム率と引伸し率特性の対応例である。
【図4】画像処理装置14の概略構成ブロック図である。
【図5】本実施例の引伸し率制御のフローチャートである。
【図6】1倍〜4倍ズームの撮影画像例である。
【図7】従来例の、均等引伸しによるアスペクト比変換の画像例である。
【図8】従来例の、周辺引伸しによるアスペクト比変換の画像例である。
【図9】本実施例によるアスペクト比変換の画像例である。
【図10】アスペクト比変換方法の一例としてのアナモフィクス方法の説明図である。
【図11】従来のアスペクト比変換における引伸し率制御のフローチャートである。
【図12】アスペクト比変換の画像例である。
【図13】アスペクト比変換の別の画像例である。
【符号の説明】
【0041】
10:画像入力装置
12:制御装置
14:画像処理装置
16:画像表示装置
20:音声入力装置
22:音声処理装置
24:記録再生装置
26:記録媒体
28:ユーザ管理情報検出装置
30:引伸し率制御装置
32:音声出力装置
34:内蔵メモリ
36:アップコンバータ
38:フレームメモリ
【技術分野】
【0001】
本発明は、映像処理装置、方法及びプログラムに関し、より具体的には映像信号のアスペクト比を変換する映像処理装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年のテレビジョン信号には、従来の標準映像信号とより高精細な高精細映像信号が混在している。標準映像信号SDTV(Standard Definition TeleVision)信号のアスペクト比(画面の縦横比)は原則、4:3である。これに対し、高精細映像信号HDTV(High Definition TeleVision)信号のアスペクト比は、16:9である。
【0003】
SDTV信号の画像(以下,SD画像という)をHDTV対応の映像モニタで表示する場合は、SDTV信号をアップコンバートする。他方、HDTV信号の映像(以下,HD画像という)をSDTV対応の映像モニタで表示する場合には、HDTV信号をSDTV信号にダウンコンバートする。その際、アスペクト比も変換する必要がある。
【0004】
アスペクト比変換には、いくつかの方法がある。例えば、SDTV信号からHDTV信号へのアップコンバートの場合、アナモフィクスというアスペクト比変換方法が知られている。図10(a)はSDTV信号のアスペクト比4:3の画像例を示し、図10(b)は、HDTV信号のアスペクト比16:9の画像例を示す。アナモフィクスは、単純に、アスペクト比16:9の画面にちょうど収まるように、画像を横方向に伸ばす方法である。この方法では、アスペクト比16:9の画面全体に、アスペクト比変換前のSD画像を欠落なく全て表示できる。
【0005】
この方法では画面を左右に引き伸ばすことから、画像が横長に表示されることになり、見栄えが悪くなってしまう。これに対し、画面中央部分の引伸しを抑制し,周辺部分を大きく引き伸ばす方法が、提案されている(特許文献1参照)。
【特許文献1】特開2001−157139号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
図11は、アスペクト比変換の際の引伸し率制御のフローチャートを示す。再生モードが選択されると(S31)、予め設定された引伸し率が検出され、アップコンバート時における引伸し率が決定される(S32)。再生ボタン等が押されて再生オンとなると(S33)、ステップS32で取得した引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される(S34)。再生がオフになるまで(S35)、ステップS34を続ける。
【0007】
図12は、SDTV画像を均等に水平方向に引き伸ばした場合と、周辺部を水平方向に引き伸ばした場合の画面例を示す。図12(a)はオリジナルのアスペクト比4:3の画像を示す。図12(b)は、図12(a)に示す画像を水平方法に均等に引き伸ばした場合の画面例を示す。図12(c)は、図12(a)に示す画像の水平方向の周辺部を水平方法に引き伸ばした場合の画面例を示す。撮影時における主たる被写体は、図12(a)に示すように撮影領域の中心に存在することが多い。図12(a)に示す画像を均等に水平方向に引き伸ばした場合、図12(b)に示すように、被写体が潰れて、太って見えてしまう。これに対し、水平方向の周辺部分を主に引き伸ばすようにすれば、図12(c)に示すように、画面中央に位置する被写体は、潰れ感が少ない。
【0008】
他方、学芸会やコンサート等では、アスペクト比4:3の画像をアスペクト比16:9の画面に表示する場合に、水平方向に均等に引き伸ばしたいときがある。図13は、学芸会等の集団演技の場面の撮影画像例を示す。図13(a)はオリジナルのアスペクト比4:3の画像を示す。図13(b)は、図13(a)に示す画像を水平方法に均等に引き伸ばした場合の画面例を示す。図13(c)は、図13(a)に示す画像の水平方向の周辺部を水平方法に引き伸ばした場合の画面例を示す。具体的には、ズームを広角側に設定し、広い撮影視野内で、注目する被写体が周辺部にも位置する場合である。このような場合、図13(c)に示すような表示よりも、図13(b)に示すような表示が好ましい。
【0009】
同一シーン(一回の記録ボタンを押すことによる撮影)中に、均等引伸しから周辺引伸しに、又はその逆に切り替えると,画面周辺部分で画像の有り様が急変することになり、見栄えが悪い。
【0010】
本発明は、このような不都合無しに、より適切に引伸し画像を表示するようにした映像処理装置、方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【0011】
本発明に係る映像処理装置は、撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理装置であって、前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定手段と、前記引伸し特性決定手段で決定された引伸し特性に従い、前記映像信号を引き伸ばす手段とを具備し、前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くすることを特徴とする。
【0012】
本発明に係る映像処理方法は、撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理方法であって、前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定ステップと、前記引伸し特性決定ステップで決定された引伸し特性に従い、前記映像信号を引き伸ばすステップとを具備し、前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くすることを特徴とする。
【0013】
本発明に係る映像処理プログラムは、撮影時のズーム情報を付加された映像信号のアスペクト比をコンピュータに引き伸ばさせる映像処理プログラムであって、前記コンピュータに、前記ズーム情報に応じた引伸し特性を決定させる引伸し特性決定機能と、前記コンピュータに、前記引伸し特性決定機能で決定された引伸し特性に従い、前記映像信号を引き伸ばさせる機能とを具備し、前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くすることを特徴とする。
【発明の効果】
【0014】
本発明によれば、撮影時のズーム情報を参照して、水平方向引伸しの方法を制御することで、被写体に適したアスペクト比の自動変換を実現できる。これにより、一連の記録映像上で、ズームを望遠に設定して撮影した場合に表示画像が潰れることによる見栄えを改善し、ズームを広角に設定して撮影した場合に画像全体をフラットに表示することが可能となる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【0016】
図1は、本発明に係る映像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。但し、撮影画像をSDTV信号で記録媒体に記録し、再生出力時にはHDTV信号に変換してモニタ出力する場合を想定する。
【0017】
画像入力装置10は、撮影レンズと、撮影レンズによる撮影画像を画像信号に変換する撮像部からなる。撮影レンズはズーム機能を具備し,現在のズーム値を制御装置12に出力する。本実施例では、最大ズーム率を×4倍とする。撮像部の出力画像信号、即ち、画像入力装置10から出力される画像信号は、画像処理装置14に入力する。
【0018】
画像処理装置14は、画像入力装置10からの画像信号に所定の画像処理を施し,モニタ用の画像信号を画像表示装置16に、記録用の画像信号をフォーマット制御装置18に供給する。
【0019】
他方、音声入力装置20は、周囲の音声を取り込み、周囲音声を示す音声信号を音声処理装置22に供給する。音声処理装置22は、音声入力装置20からの音声信号に所定の処理を施し,記録用にフォーマット制御装置18に供給する。
【0020】
制御装置12は、画像入力装置10の撮影レンズのズーム値を継続的にフォーマット制御装置18に供給する。
【0021】
フォーマット制御装置18は、画像処理装置14からの画像信号及び音声処理装置22からの音声信号、及び制御装置12からのズーム値情報を記録用に処理及び多重して、記録用フォーマットに変換する。記録再生装置24は、フォーマット制御装置18からの信号を記録媒体26の記録に適した形態に変調して,記録媒体26に記録する。記録媒体26は、例えば,光ディスク,光磁気ディスク、磁気ディスク又は半導体不揮発メモリからなる。
【0022】
このようにして、撮影時のズーム情報を付加されたSDTV映像信号が記録媒体26に記録される。
【0023】
図2は、記録媒体26のファイル配置と画像ファイルの構成を示す。音声情報は音声フォルダに配置され,画像情報は画像フォルダに配置される。画像フォルダ内には、再生制御ファイルと、画像データファイルと、バックアップファイルとユーザ情報(User.info)ファイルが格納される、再生制御ファイルは、再生制御に関する情報を格納する。画像データファイルは、画像データそのもの(又は,圧縮符号化されている場合には,圧縮画像データ)を格納する。バックアップファイルは、バックアップされたデータが格納される。本実施例では、ユーザ情報ファイルに撮影時のフレーム毎のズーム値を示す情報(ズーム情報)が格納される。
【0024】
次に、再生モードで、記録媒体26にこのように記録されたSDTV信号をアップコンバートして,HDTV信号として映像表示する場合を説明する。ここでは、画像表示装置16が、HDTV信号にも対応しているとして説明する。もちろん、外部出力端子にHDTVモニタを接続し,再生映像を当該HDTVモニタの画面上に表示してもよいことは明らかである。
【0025】
制御装置12は、ユーザにより指定された映像に関する情報の読み出しを記録再生装置24に指示する。記録再生装置24は、指定された映像の音声ファイル、再生制御ファイル及び画像データファイルを読み出して、フォーマット制御装置18に供給する。記録再生装置24はまた、指定された映像のユーザ情報ファイルを記録媒体26から読み出し、ユーザ管理情報検出装置28に供給する。ユーザ管理情報検出装置28は、ユーザ情報ファイルからフレーム毎のズーム情報を検出し、引伸し率制御装置30にズーム情報を供給する。
【0026】
フォーマット制御装置18は、記録再生装置24からの画像情報を表示用フォーマットに変換し、画像処理装置14に供給する。画像処理装置14は、引伸し率制御装置に従った引伸し率で、フォーマット制御装置18からの再生映像信号のアスペクト比を変換し、HDTV信号に変換する。アスペクト比変換の詳細は後述する。画像処理装置14は、HDTV信号形式の再生映像信号を画像表示装置16に供給する。
【0027】
他方、音声処理装置22は、フォーマット制御装置18からの再生音声信号を出力用に処理して音声出力装置32に供給する。音声出力装置32は、例えば,複数チャネルのスピーカからなる。
【0028】
図3は、ズーム倍率に応じた,本実施例の引伸し率特性を示す。横軸は,画面の水平方向位置を示し、縦軸は,引伸し率を示す。特性40は、ズーム率が1倍での引伸し特性を示し、本実施例では,水平のどの位置でも同じ引伸し率としている。即ち、特性40は、均等引伸しに相当する。特性42、44、46は周辺引伸しの引伸し特性に相当する。特性42は、ズーム率が2倍の場合の引伸し特性を示す。特性44は、ズーム率が3倍の場合の引伸し特性を示す。特性46は、ズーム率が4倍の場合の引伸し特性を示す。
【0029】
このように、引伸ばし特性は、ズーム率が大きいほど、周辺部の引伸し率を大きくして、無引伸し(又は低引伸し)の中央部分を狭くし、ズーム率が小さいほど、中央部分を広くするように決定される。引伸し率制御装置30は、このように引伸し特性を決定する引伸し特性決定手段、引伸し特性決定ステップまたは引伸し特性決定機能として機能する。そして、画像処理装置14が、決定された引伸し特性に従う引伸しでアスペクト比を変換する。
【0030】
図4は、画像処理装置14の、SD画像をHDTV画像に変換する部分の概略構成ブロック図を示す。フォーマット制御装置18からのSD画像を少なくとも1フレーム分、記憶する内蔵メモリ34と、アップコンバータ36と、アップコンバータ36により生成されたHD画像を記憶するフレームメモリ38を具備する。内蔵メモリ34は、フォーマット制御装置18からの再生映像信号のフレーム画像(SD画像)を記憶する。引伸し率制御装置30は、ユーザ管理情報検出装置28からのズーム情報に従って、適用すべき引伸し率特性を決定し、アップコンバータ36にセットする。アップコンバータ36は、引伸し率制御装置30によりセッットされた引伸し率特性に従って、内蔵メモリ34に記憶されるSD画像を水平方向に引き伸ばす。アップコンバータ36は、このように水平方向に引き伸ばした画像を更に垂直方向にも補間して、HD解像度のHD画像に変換し、フレームメモリ38に格納する。フレームメモリ38に格納されるHD画像は、所定の周期で読み出され,HDTV信号として画像表示装置16に供給される。
【0031】
図5は、SD/HD変換の際のアスペクト比変換制御のフローチャートを示す。ユーザは、図示しない操作手段により、本実施例のズーム率対応引伸しを有効にするかどうかを制御装置12に指示できる。
【0032】
ズーム率対応引伸しを有効に設定すると(S11)、ステップS12〜S17が実行される。すなわち、再生モードが選択され(S12)、再生開始が指示されると(S13)、フレーム毎のズーム情報が検出され(S14)、そのズーム情報に応じた引伸し率が設定される(S15)。そして、設定された引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される(S16)。再生がオフになるまで(S17)、ステップS14〜S16が実行される。
【0033】
他方、ズーム率対応引伸しを有効に設定しない場合(S11)、ステップS18〜S22が実行される。すなわち、再生モードが選択されると(S18)、予め設定された引伸し率が検出され、アップコンバート時における引伸し率が決定される(S19)。再生ボタン等が押されて再生オンとなると(S20)、ステップS19で取得した引伸し率に従って画像が水平方向に引き伸ばされ、アスペクト比が変換される(S21)。再生がオフになるまで(S22)、ステップS21を続ける。
【0034】
図6乃至図9に示す画像例を参照して、本実施例の特徴的な作用を説明する。図6(a)は1倍ズームの場合の撮影画像を示す。図6(b)は2倍ズームの場合の撮影画像を示す。図6(c)は、3倍ズームの場合の撮影画像を示す。図6(d)は、4倍ズームの場合の撮影画像を示す。図7(a)〜(d)はそれぞれ、図6(a)〜(d)に示す撮影画像を水平方向に均等に引き伸ばした場合の再生画像例を示す。図8(a)〜(d)はそれぞれ、ズーム値に係らない固定の引伸し特性、例えば、特性46で、図6(a)〜(d)に示す撮影画像の周辺部を水平方向に引き伸ばした場合の再生画像例を示す。図9(a)〜(d)はそれぞれ、ズーム値に応じた引伸し特性40〜46で図6(a)〜(d)に示す撮影画像を水平方向に引き伸ばした場合の再生画像例を示す。
【0035】
均等引伸しのアスペクト比変換では、ズーム率が低倍の場合、図7(a)に示すように、全体が潰れてしまっていても、フラット感が得られる。他方、ズーム率が高倍の場合には、図7(d)に示すように、潰れているのが目立ってしまう。
【0036】
ズーム値によらない固定の引伸し特性による周辺引伸しでは、ズーム率が高倍の場合に、図8(d)に示すように、画像中心の被写体が潰れることなく表示される。しかし、ズーム率が低倍の場合には、図8(a)に示すように、フラットに表示することが出来ない。
【0037】
本実施例の特徴である、ズーム値に応じて周辺引伸しの引伸し特性を変更するアスペクト比変換では、以上の不都合を解消できる。すなわち、ズーム率が低倍の場合には、均等引伸しに近くなり、図9(a)に示すように全体がフラット又はフラットに近く表示される。他方、ズーム率が高倍の場合、図9(d)に示すように、中央の被写体をほぼ、潰れ無しに表示できる。
【0038】
ズーム率に対応する引伸し率特性は、ユーザが任意に設定可能である。本実施例では、図3で示すように4段階に分けて設定していたが、より多く、また関数的に変化させてもよい。
【0039】
撮像装置における実施例を説明したが、本発明のアスペクト比変換自体は、コンピュータ上のコンピュータプログラム、すなわち、映像処理プログラムとしても実装可能である。撮像装置からズーム情報付きの映像信号をコンピュータに入力し、コンピュータ上で、上述の実施例と同様に、アスペクト比を変換する。そして、必要により、SDTV信号をHDTV信号に変換する。
【図面の簡単な説明】
【0040】
【図1】本発明に係る映像処理装置の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。
【図2】記録媒体のファイル構造例である。
【図3】ズーム率と引伸し率特性の対応例である。
【図4】画像処理装置14の概略構成ブロック図である。
【図5】本実施例の引伸し率制御のフローチャートである。
【図6】1倍〜4倍ズームの撮影画像例である。
【図7】従来例の、均等引伸しによるアスペクト比変換の画像例である。
【図8】従来例の、周辺引伸しによるアスペクト比変換の画像例である。
【図9】本実施例によるアスペクト比変換の画像例である。
【図10】アスペクト比変換方法の一例としてのアナモフィクス方法の説明図である。
【図11】従来のアスペクト比変換における引伸し率制御のフローチャートである。
【図12】アスペクト比変換の画像例である。
【図13】アスペクト比変換の別の画像例である。
【符号の説明】
【0041】
10:画像入力装置
12:制御装置
14:画像処理装置
16:画像表示装置
20:音声入力装置
22:音声処理装置
24:記録再生装置
26:記録媒体
28:ユーザ管理情報検出装置
30:引伸し率制御装置
32:音声出力装置
34:内蔵メモリ
36:アップコンバータ
38:フレームメモリ
【特許請求の範囲】
【請求項1】
撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理装置であって、
前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定手段と、
前記引伸し特性決定手段で決定された引伸し特性に従い、前記映像信号を引き伸ばす手段
とを具備し、
前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くする
ことを特徴とする映像処理装置。
【請求項2】
更に、
前記映像信号を記録する記録媒体と、
前記記録媒体から、前記映像信号及び前記ズーム情報を読み出す手段
とを具備することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
更に、
ズーム率を変更できる撮像手段と、
前記撮像手段により撮影された映像信号を、前記撮像手段のズーム率を示すズーム情報とともに前記記録媒体に記録する記録手段
とを具備することを特徴とする請求項2に記載の映像処理装置。
【請求項4】
撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理方法であって、
前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定ステップと、
前記引伸し特性決定ステップで決定された引伸し特性に従い、前記映像信号を引き伸ばすステップ
とを具備し、
前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くする
ことを特徴とする映像処理方法。
【請求項5】
撮影時のズーム情報を付加された映像信号のアスペクト比をコンピュータに引き伸ばさせる映像処理プログラムであって、
前記コンピュータに、前記ズーム情報に応じた引伸し特性を決定させる引伸し特性決定機能と、
前記コンピュータに、前記引伸し特性決定機能で決定された引伸し特性に従い、前記映像信号を引き伸ばさせる機能
とを具備し、
前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くする
ことを特徴とする映像処理プログラム。
【請求項1】
撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理装置であって、
前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定手段と、
前記引伸し特性決定手段で決定された引伸し特性に従い、前記映像信号を引き伸ばす手段
とを具備し、
前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くする
ことを特徴とする映像処理装置。
【請求項2】
更に、
前記映像信号を記録する記録媒体と、
前記記録媒体から、前記映像信号及び前記ズーム情報を読み出す手段
とを具備することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
更に、
ズーム率を変更できる撮像手段と、
前記撮像手段により撮影された映像信号を、前記撮像手段のズーム率を示すズーム情報とともに前記記録媒体に記録する記録手段
とを具備することを特徴とする請求項2に記載の映像処理装置。
【請求項4】
撮影時のズーム情報を付加された映像信号のアスペクト比を引き伸ばす映像処理方法であって、
前記ズーム情報に応じた引伸し特性を決定する引伸し特性決定ステップと、
前記引伸し特性決定ステップで決定された引伸し特性に従い、前記映像信号を引き伸ばすステップ
とを具備し、
前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くする
ことを特徴とする映像処理方法。
【請求項5】
撮影時のズーム情報を付加された映像信号のアスペクト比をコンピュータに引き伸ばさせる映像処理プログラムであって、
前記コンピュータに、前記ズーム情報に応じた引伸し特性を決定させる引伸し特性決定機能と、
前記コンピュータに、前記引伸し特性決定機能で決定された引伸し特性に従い、前記映像信号を引き伸ばさせる機能
とを具備し、
前記引伸し特性が、前記ズーム情報のズーム率が大きいほど、引伸し方向での周辺部の引伸し率を大きくして、無引伸し又は低引伸しの中央部分を狭くし、ズーム率が小さいほど、前記中央部分を広くする
ことを特徴とする映像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−103794(P2010−103794A)
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2008−273891(P2008−273891)
【出願日】平成20年10月24日(2008.10.24)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願日】平成20年10月24日(2008.10.24)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]