説明

画像処理装置

【課題】
回路規模と消費電力を抑えながら、プログレッシブ動画像データとインターレース動画像データの両方を扱えるようにする。
【解決手段】
PI変換部(201)は、入力プログレッシブ動画像データを2系統のインターレース動画像データに変換する。II変換部(202)は、PI変換部(201)から出力される2系統のインターレースの動画像データから1系統のインターレース動画像データを生成する。IP変換部(204)は、PI変換部(201)から出力される2系統のインターレース動画像データからプログレッシブ動画像データを生成する。切替え部(205,207)は、II変換部(202)又はIP変換部(204)の出力データを選択する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置に関し、特に動画像を処理する画像処理装置に関する。
【背景技術】
【0002】
従来、デジタル放送を受信するデジタルテレビが知られている。デジタル放送では、横1920画素×縦1080画素、59.94フィールド/秒(Hz)のインターレース規格(1080/59.94i)の動画像を放送する。デジタルテレビは、このような高精細な動画像を受信し、表示する。
【0003】
また、近年、横1920画素×縦1080画素、59.94フレーム/秒(Hz)のプログレッシブ規格(1080/59.94p)の動画像も表示可能なテレビが普及し始めている。このように、高精細な動画像を扱う機器が、民生機器として普及しつつある。
【0004】
一方、ビデオカメラにおいても、このような高精細な動画像を撮影し、記録するものが登場している(特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−119081号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
1080/59.94pの動画像のデータ量は、1080/59.94iの動画像の2倍となる。そのため、1080/59.94pの動画像を処理するための回路規模や消費電力は、1080/59.94iの動画像を処理する場合に比べて大きくなる。
【0007】
一方、ビデオカメラのような民生機器においては、小型且つ安価な製品が求められており、1080/59.94pの様な高精細な動画像をビデオカメラで扱うことが難しかった。
【0008】
本発明はこのような問題を解決し、回路規模と消費電力を抑えながら、高精細な動画像を扱える画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る画像処理装置は、入力プログレッシブ動画像データを2系統のインターレース動画像データに変換するPI変換手段と、前記PI変換手段から出力される前記2系統のインターレースの動画像データから1系統のインターレース動画像データを生成するII変換手段と、前記II変換手段からの前記1系統のインターレース動画像データを画像表示する表示手段と、前記PI変換手段から出力される前記2系統のインターレース動画像データからプログレッシブ動画像データを生成するIP変換手段と、前記II変換手段から出力される前記1系統のインターレース動画像データと、前記IP変換手段から出力される前記プログレッシブ動画像データの一方を選択し、外部の表示装置に出力する出力手段とを備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、回路規模と消費電力を抑えながら、高精細な動画像を扱うことが可能となる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施例を組み込んだビデオカメラの概略構成ブロック図である。
【図2】画像処理部の概略構成ブロック図である。
【図3】PI変換部とIP変換部の動作を説明するタイミングチャートである。
【図4】プログレッシブ動画像データの再生中に再生ポーズの指示があったときの動作タイミング例を示す。
【図5】プログレッシブ動画像データのスロー再生中に再生ポーズの指示があったときの動作タイミング例を示す。
【図6】プログレッシブ動画像データの再生中に再生ポーズの指示があったときの別の動作タイミング例を示す。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例1】
【0013】
図1は、本発明に係る画像処理装置の一実施例を組み込んだビデオカメラ100の概略構成ブロック図である。ビデオカメラ100は、インターレース規格(1080/59.94i)の動画像と、プログレッシブ規格(1080/59.94p)の動画像を撮影し、記録できる。ユーザは、どちらの動画像を撮影記録するかをビデオカメラ100に指示できる。
【0014】
撮像部101は被写体を撮影し、1080/59.94iの動画像データと1080/59.94pの動画像データの一方を出力する。画像処理部102は、撮影時には、撮像部101からの動画像データをメモリ103に記憶し、表示部104、表示装置111及び記録媒体108への出力に適した形式に変換する。画像処理部102は、再生時には、圧縮伸長部106からの動画像データをメモリ103に記憶し、表示部104及び表示装置111への出力に適した形式に変換する。
【0015】
表示部104は決められた画素数の液晶パネル等の表示装置を有する。表示部104は、撮影時には、撮像部101からの撮影された被写体の画像を表示し、再生時には、記録媒体108から再生された画像を表示する。外部IF105は、接続された外部の表示装置111に、撮影された動画像又は再生された動画像を出力する。また、外部IF105は、HDMI規格に従い、外部の表示装置111から表示装置111の画素数の情報を取得する。
【0016】
圧縮伸長部106は、撮影時には、画像処理部102からの動画像データをMPEG等の公知の符号化処理で圧縮する。また、圧縮伸長部106は、再生時には記録再生部107により再生された圧縮動画像データを伸長し、画像処理部102に出力する。
【0017】
記録再生部107は、撮影時には、圧縮伸長部106により圧縮された動画像データを記録媒体108に記録し、再生時には記録媒体108に記録される圧縮動画像データを読み出して圧縮伸長部106に出力する。
【0018】
CPU109は、不図示の不揮発メモリに記憶されたプログラムに従ってビデオカメラ100の各部を制御する。また、CPU109は、操作部110からの指示に従い、ビデオカメラ100の動作を制御する。操作部110は、電源スイッチ、撮影開始のトリガスイッチ、再生モードへの切り替えスイッチ、並びに、再生ボタン、スロー再生及びポーズを指示するためのボタン等を有する。
【0019】
ビデオカメラ100の基本的な撮影動作を説明する。操作部110により電源が投入されると、CPU109は各部を制御してビデオカメラ100を撮影モードに設定し、撮影待機状態となる。本実施例では、ユーザは、操作部110により、1080/59.94iと1080/59.94pの何れの種類の動画を記録するかを事前に選択する。
【0020】
撮影待機状態では、撮像部101は被写体の画像を撮影し、動画像データを画像処理部102に出力する。画像処理部102は、撮像部101からの動画像データを処理し、表示部104に送る。表示部104は、画像処理部102からの動画像データによる被写体の画像を表示する。撮影待機状態で表示される動画像は、被写体と構図の確認用であるから、記録時の解像度と同じか、これよりも低い解像度でもよい。本実施例では、例えば、記録用に選択された動画の種類(解像度)に関わらず、1080/59.94iである。
【0021】
外部IF105に表示装置111が接続されている場合、外部IF105は、表示装置111から、表示装置111の表示画素数の情報を取得し、CPU109に送る。CPU109は、画像処理部102に外部IFへの動画像出力とその画素数を指示する。画像処理部102は、外部IF105に動画像データを出力し、外部IF105は、画像処理部102からの動画像データを表示装置111に出力する。
【0022】
このような撮影待機状態において、操作部110により撮影開始の指示があると、CPU109は、予め記録用に選択された動画像データの出力を撮像部101に指示する。撮像部101は、CPU109により指示された動画像データを出力する。
【0023】
画像処理部102は、撮像部101からの動画像データを後述の様に処理し、表示部104、外部IF105及び圧縮伸長部106に出力する。圧縮伸長部106は、画像処理部102からの動画像データを圧縮処理し、圧縮動画像データを記録再生部107に送る。記録再生部107は、CPU109からの指示に従い、圧縮伸長部106からの圧縮動画像データを記録媒体108に記録する。
【0024】
このように動画の記録を継続する間に、操作部110から撮影停止の指示があると、CPU109は記録再生部107に記録の停止を指示する。記録再生部107は、CPU109からの記録停止の指示に従い、記録媒体108への動画像の記録を停止する。なお、本実施例では、記録媒体108は、フラッシュメモリカード等のランダムアクセスの記録媒体からなる。記録媒体108には、撮影開始の指示から撮影停止の指示までの一連の動画像データ(圧縮動画像データ)が一つのファイルとして記録される。また、記録再生部107は、記録中の動画像データが1080/59.94iと1080/59.94pの何れであるかを示す付加情報を動画像データファイルに付加する。
【0025】
再生動作を説明する。ユーザが操作部110を操作し、再生モードへの切り替えを指示すると、CPU109はビデオカメラ100を再生モードに設定する。CPU109はまた、記録媒体108に記録された動画像データのうち、ユーザが指定した動画像データを再生するように記録再生部107に指示する。記録再生部107は、記録媒体108から指定された動画像データ(圧縮データ)を再生し、圧縮伸長部106に送る。圧縮伸長部106は、再生された動画像データ(圧縮データ)を伸長し、画像処理部102に送る。画像処理部102は、圧縮伸長部106から出力された、再生動画像データを後述の様に処理し、表示部104と外部IF105に出力する。表示部104は、画像処理部102からの再生動画像データの画像を表示する。また、外部IF105は、画像処理部102からの再生動画像データを表示装置111に出力する。
【0026】
動画像データの再生中に、操作部110より再生一時停止(ポーズ)の指示があると、CPU109は、記録媒体108からの動画像データの再生の一時停止を記録再生部107に指示する。このとき、CPU109は、記録再生部107から再生停止位置の情報を取得し、記憶する。また、CPU109は、一時指示があった時に再生されていたフレームをそのまま表示するように画像処理部102に指示する。画像処理部102は、CPU109からのこのポーズ指示に応じて、再生中の動画像データの1フレームをメモリ103に一時記憶する。画像処理部102は、メモリ103に一時記憶するその1フレームの画像データをメモリ103から繰り返し読み出して、表示部104及び外部IF105に出力する。
【0027】
操作部110から再度、通常再生の指示があると、CPU109は、記録再生部107を制御し、再生を一時停止した位置から続けて動画像データを再生する。また、CPU109は、画像処理部102に記録再生部107からの再生動画像データを表示部104及び外部IF105に出力するように指示する。
【0028】
動画像データの再生中に、操作部110よりスロー再生の指示があると、CPU109は、記録再生部107に、例えば通常再生時の1/2倍速でのスロー再生を指示する。記録再生部107は、指示されるスロー再生速度に応じたタイミングで記録媒体108から動画像データ(圧縮動画像データ)を読み出し、圧縮伸長部106に送る。圧縮伸長部106は、記録再生部107からの圧縮動画像データを伸長し、再生動画像データを画像処理部102に送る。画像処理部102は、圧縮伸長部106からの再生動画像データをメモリ103に記憶しつつ、スロー再生に対応したタイミングでメモリ103から動画像データを読み出し、表示部104と外部IF105に出力する。これにより、表示部104及び表示装置111は、スロー再生の動画像を表示する。
【0029】
操作部110から再度、通常再生の指示があると、CPU109は、記録再生部107、圧縮伸長部106及び画像処理部102に、通常再生速度での再生処理を指示する。この指示に従い、記録再生部107は、通常の再生速度に応じたタイミングで動画像データを記録媒体108から読み出し、圧縮伸長部106は、記録再生部107からの圧縮動画像データを伸長する。画像処理部102は、圧縮伸長部106からの再生動画像データを表示部104と外部IF105に出力する。これにより、表示部104及び表示装置111は、通常再生速度の再生動画像を画像表示する。
【0030】
また、通常再生中、スロー再生中又は再生ポーズ中に、ユーザが操作部110で再生停止の指示を入力すると、CPU109は、記録再生部107による動画の再生を停止する。
【0031】
図2は、画像処理部102の概略構成ブロック図を示す。図2を参照して,画像処理部102の構成と機能を説明する。画像処理部102の各部は、CPU109により制御される。
【0032】
撮影モードでは、撮像部101からの動画像データがメモリ103に記憶される。再生モードでは、圧縮伸長部106からの動画像データがメモリ103に記憶される。画像処理部102は、撮像部101からの動画像データをメモリ103に格納する。
【0033】
PI変換部201は、メモリ103に記憶された動画像データがプログレッシブ形式の場合、CPU109からの指示に従い、そのプログレッシブ動画像データをインターレース方式に変換する。具体的には、PI変換部201は、入力プログレッシブ信号の各フレームを、奇数番目(又は偶数番目)の水平ラインからなるマスタインターレース信号と、偶数番目(又は奇数番目)の水平ラインからなるスレーブインターレース信号に分離する。マスタインターレース信号として選択する水平ラインと、スレーブインターレース信号として選択する水平ラインを、1フレーム期間(1/59.94秒)毎に切り替えるスイッチにより実現できる。これにより、マスタインターレース信号とスレーブインターレース信号は共に、入力プログレッシブ動画像データの水平ラインをインターレースしたインターレース動画像データになる。PI変換部201は、入力プログレッシブ信号の同じフレームに含まれるマスタインターレース信号とスレーブインターレース信号を同時に出力する。PI変換部201の出力するマスタインターレース信号とスレーブインターレース信号のフィールド周波数は、入力するプログレッシブ信号のフレーム周波数に等しくなる。
【0034】
メモリ103に記憶された動画像データがインターレース形式の場合、PI変換部201は、メモリ103に記憶された動画像データをそのまま、マスタインターレース信号として出力する。すなわち、メモリ103に記憶された動画像データが1080/59.94iである場合、PI変換部201は、その1080/59.94iの動画像データをマスタインターレース信号として出力する。この場合、PI変換部201は、スレーブインターレース信号を出力しない。
【0035】
II変換部202は、PI変換部201からのマスタインターレース信号とスレーブインターレース信号から1系統のインターレースの動画像データを生成する。リサイズ部203は、II変換部202からのインターレース動画像データの各フレームの画素数を、表示部104の画素数にあわせて変更して、表示部104に出力する。一般的な携帯可能な撮像装置に装備される場合、表示部104の画素数は例えばQVGA(横320×縦240)程度であり、リサイズ部203によるリサイズ、例えば画素間引きによっても十分な画質が得られる。
【0036】
IP変換部204は、CPU109の指示に従い、PI変換部201からのマスタインターレース信号とスレーブインターレース信号から1系統のプログレッシブ形式(1080/59.94p)の動画像データを生成し出力する。切替え部205は、CPU109の指示に従い、II変換部202からのインターレース動画像データとIP変換部204からのプログレッシブ動画像データの一方を選択して、リサイズ部206に出力する。
【0037】
外部IF105は、接続された表示装置111の動画表示形式(プログレッシブ形式かインタレース形式)の情報を取得してCPU109に通知している。CPU109は、表示装置111の表示形式に応じて切替え部205を制御する。すなわち、表示装置111がインターレース表示に対応する場合、CPU109は、切替え部205にII変換部202からのインターレース信号を選択させる。他方、表示装置111がプログレッシブ表示に対応する場合、CPU109は、切替え部205にIP変換部204からのプログレッシブ信号を選択させる。表示装置111がインターレース表示とプログレッシブ表示の両方に対応する場合、IP変換部204からのプログレッシブ信号を選択させる。切替え部205は、選択した信号をリサイズ部206に出力する。リサイズ部206は、CPU109の指示に従い、切替え部205からの動画像データの各フレームの画素数を表示装置111の表示画素数に適合するように変更し、外部IF105に出力する。
【0038】
切替え部207は、CPU109からの指示に従い、II変換部202からのインターレース動画像データとIP変換部204からのプログレッシブ動画像データの一方を選択してリサイズ部206に出力する。ユーザは、前述の様に、撮影時の記録形式として、インターレースの動画像データとプログレッシブの動画像データの一方を選択する。CPU109は、インターレース記録が選択されている場合、II変換部202からのインターレース動画像データを選択する様に切替え部207に指示する。CPU109は、プログレッシブ記録が選択されている場合、IP変換部204からのプログレッシブ動画像データを選択する様に切替え部207に指示する。リサイズ部208は、切替え部207からの動画像データの各フレームの画素数を、記録媒体108に記録するために規定された画素数に変更し、圧縮伸長部106に出力する。
【0039】
図3は、撮影時と通常再生時におけるPI変換部201とIP変換部204の動作を説明するタイミングチャートである。
【0040】
図3(a)は、PI変換部201のタイミングチャート例を示す。1080pv、1080if及び1080ivはそれぞれ、CPU109から出力される信号である。1080pvは、1080/59.94pのプログレッシブ信号の垂直同期タイミングを示す信号である。1080pは、撮像部101又は圧縮伸長部106からメモリ103に順次記憶されたプログレッシブ動画像データを示し、FRAM0、FRAM1及びFRAM2はそれぞれ、1フレームの動画像データを示す。1080ifと1080ivはそれぞれ、マスタインターレース信号とスレーブインターレース信号の、フィールド周期と垂直同期タイミングの信号である。
【0041】
1080iマスタと1080iスレーブはそれぞれ、プログレッシブ動画像データから生成されたマスタインターレース信号とスレーブインターレース信号の動画像データを示す。1080iマスタと1080iスレーブにおいて、TOPで示す部分の動画像データは、1080pにおける各フレームの偶数ラインから構成されている。1080iマスタと1080iスレーブにおいて、BOTTOMで示す部分の動画像データは、1080pにおける各フレームの奇数ラインから構成されている。従って、TOP1とBOTTOM1の動画像は、互いにインターレースの関係となる。1080iマスタと1080iスレーブはそれぞれ、1フィールド期間毎にTOPとBOTTOMが交互に含まれ、インターレースの動画像となっている。マスタインターレース信号が、正規の1920×1080/59.94Hzのインターレース信号になるように、フィールド周期、垂直同期タイミング及び水平同期タイミングが規定されている。
【0042】
図3(b)は、IP変換部204のタイミングチャート例を示す。1080iマスタと1080iスレーブはそれぞれ、マスタインターレース信号の動画像データとスレーブインターレース信号の動画像データを示す。同じフィールド期間の1080iマスタと1080iスレーブの動画像データから、1フレームの1080pの動画像データが生成される。
【0043】
次に、再生ポーズ時における画像処理部102の動作を説明する。図4は、プログレッシブ動画像データの再生中に再生ポーズの指示があったときの画像処理部102の動作タイミング例を示す。図4に示す各信号の名称は、図3に示したものと同じである。
【0044】
動画の通常再生中にポーズの指示があると、CPU109は、メモリ103への新たな動画像データの書き込みを停止すると共に、PI変換部201に、ポーズの指示があった時点のフレームを繰り返し読み出すように指示する。
【0045】
例えば、図4では、フレーム0の再生中にポーズの指示があり、PI変換部201は、このフレーム0のデータをメモリ103から繰り返し読み出す。そして、前記の様に、読み出した1フレームの1080pのデータから1080iマスタと1080iスレーブを生成する。II変換部202は、CPU109からのポーズ指示に従い、1080iマスタのインターレース信号を表示部104と外部IF105に出力する。これにより、図4に示す例では、フレーム0の画像がポーズ画面として表示される。この際、フィールド期間毎に交互に表示されるTOP0とBOTTOM0の画像は、元の1080pにおける同じフレームの画像なので、フィールド間の動きが無い高精細な静止画が表示される。
【0046】
スロー再生時における画像処理部102の動作を説明する。図5は、プログレッシブ動画像データのスロー再生中に再生ポーズの指示があったときの、画像処理部102の動作タイミング例を示す。図5に示す各信号の名称は、図3に示したものと同じである。図5は、1080ifの立ち下がりのタイミングでTOPの画像を出力するタイミング例を示す。
【0047】
動画の通常再生中にスロー再生の指示があると、CPU109は、メモリ103に記憶された各フレームの再生動画像データを、1フレームについて二回ずつ読み出すように指示する。PI変換部201は、1080ifの立ち下がりのタイミングで、メモリ103から読み出すフレームを切り替える。II変換部202は、マスタインターレース信号を選択して表示部104と外部IF105に出力する。この結果、1080ifの立ち下がりのタイミングで、表示画面が更新される。
【0048】
図6は、プログレッシブ動画像データの再生中に再生ポーズの指示があったときの、画像処理部102の他の動作タイミング例を示す。図6に示す各信号の名称は、図3に示したものと同じである。図6に示す例は、1080ifの立ち上がりのタイミングで表示画面を更新する場合を示す。
【0049】
例えば、1/3倍速のスロー再生の場合、同じフレームの画面を三回ずつ表示する必要があるが、その場合、本来は、1080ifの立ち上がりのタイミングで表示画面を更新しなければならない。しかし、1080ifの立ち上がりのタイミングで表示画面を変更すると、元の1080p信号において別のフレームの画像がTOPフィールドとBOTTOMフィールドとして表示されてしまう。
【0050】
このような場合、II変換部202は、図6に示す様に、マスタインターレース信号のTOP0と同じフィールド期間に入力されるスレーブインターレース信号のBOTTOM0信号をメモリ103に記憶する。そして、1080ifの立ち上がりのタイミングでは、II変換部202は、メモリ103に記憶しておいたBOTTOM0の信号を選択して、表示部104と外部IF105に出力する。更に、次のフィールド期間からは、再度、マスタインターレース信号を選択して出力する。
【0051】
このように、本実施例では、プログレッシブ動画像データを2系統のインターレース動画像データに変換し、出力先の表示形態に応じて、インターレース動画像データとプログレッシブの動画像データを切り替えて出力する。これにより、回路規模と消費電力を抑えながら、高精細な動画像を扱うことが可能となる。

【特許請求の範囲】
【請求項1】
入力プログレッシブ動画像データを2系統のインターレース動画像データに変換するPI変換手段と、
前記PI変換手段から出力される前記2系統のインターレースの動画像データから1系統のインターレース動画像データを生成するII変換手段と、
前記II変換手段からの前記1系統のインターレース動画像データを画像表示する表示手段と、
前記PI変換手段から出力される前記2系統のインターレース動画像データからプログレッシブ動画像データを生成するIP変換手段と、
前記II変換手段から出力される前記1系統のインターレース動画像データと、前記IP変換手段から出力される前記プログレッシブ動画像データの一方を選択し、外部の表示装置に出力する出力手段
とを備えることを特徴とする画像処理装置。
【請求項2】
前記出力手段は、前記外部の表示装置の表示形式がインターレース形式の場合に前記II変換手段から出力される前記1系統のインターレース動画像データを選択し、前記外部の表示装置の表示形式がプログレッシブ形式の場合に前記IP変換手段から出力される前記プログレッシブ動画像データを選択することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記PI変換手段の出力する前記2系統のインターレース動画像データのフィールド周波数が、前記入力プログレッシブ動画像データのフレーム周波数と等しいことを特徴とする請求項1又は2に記載の画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−105057(P2012−105057A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−251732(P2010−251732)
【出願日】平成22年11月10日(2010.11.10)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FRAM
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】