画像処理装置及び画像処理方法
【課題】露出の異なる複数の画像を所定の順序で表示させることで階調性を高めるＨＤＲ画像の再生時に一時停止指示が行われた場合に、ＨＤＲ表現による画像を破綻無く表示すること。
【解決手段】画像処理装置１０２は、対象画像がＨＤＲ画像であるか否かを判定するＨＤＲ検出部１０４と、フレームメモリ部１０８へ書き込むデータを選択する書き込み選択部１０６と、フレームメモリ部１０８から読み出すデータを選択する読み出し選択部１０７を備える。操作部１１０によって一時停止の指示が行われた場合、ＣＰＵ１０５は、ＨＤＲ検出部１１０によって検出された動画データにて１つの画像を構成している複数のフレームの画像データを、フレームメモリ部１０８から繰り返し読み出して表示部１０９に出力させるように読み出し選択部１０６を制御する。
【解決手段】画像処理装置１０２は、対象画像がＨＤＲ画像であるか否かを判定するＨＤＲ検出部１０４と、フレームメモリ部１０８へ書き込むデータを選択する書き込み選択部１０６と、フレームメモリ部１０８から読み出すデータを選択する読み出し選択部１０７を備える。操作部１１０によって一時停止の指示が行われた場合、ＣＰＵ１０５は、ＨＤＲ検出部１１０によって検出された動画データにて１つの画像を構成している複数のフレームの画像データを、フレームメモリ部１０８から繰り返し読み出して表示部１０９に出力させるように読み出し選択部１０６を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば広ダイナミックレンジ技術を利用した画像処理装置及び画像処理方法に関し、複数のフレームの画像データで１枚の画像が構成される動画データを処理する技術に関する。
【背景技術】
【０００２】
撮影条件を変えて露出を行った異なる複数の画像について、各画像の露出状態を考慮して合成することにより、合成後の画像の階調表現を豊かにする、ＨＤＲ(Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ)と称する技術が注目されている。
現在、ＨＤＲ画像は主に映画、特殊効果、３Ｄ（三次元）映像作品、一部のハイエンド写真などで使用されている。一般的にＨＤＲ画像の合成はコンピュータなどの情報処理装置を用いて行われる。これに対して、露出の異なる複数の画像を所定の順序で表示することで、ＨＤＲ表現を実現する手段も提案されている。この場合、複雑な演算処理を対象画像に施こさずに画像合成ができるので、簡単でリアルタイム性の高いＨＤＲ表示を行える。例えば図６は、露出の異なる複数（本例では３）フレームの画像データで１つの画像が構成される動画（以下、ＨＤＲ動画という）を示す。図中のＶＳＹＮＣは垂直同期信号を示し、ＦＲＡＭＥに示すＨ、Ｍ、Ｌは露出の異なる画像データ列を表す。つまりＨは露出の高いフレーム、Ｍは露出が中間のフレーム、Ｌは露出の低いフレームをそれぞれ表している。またＨ，Ｍ，Ｌに続く数字は時間経過の順序を示しており、本例では１から順に３セット分のフレームがＶＳＹＮＣに同期して表示される様子を示す。
【０００３】
このような表示方法によるＨＤＲ動画の再生において、ユーザが特定のシーンで一時停止を装置に指示した場合、露出の偏った１つのフレームが表示されてしまう。つまり一時停止指示のタイミングによっては、白とびや黒つぶれした画像が表示される可能性があり、ユーザに不快感を与えてしまうという課題がある。そこで、動画再生中の一時停止において、破綻した見づらい静止画が表示されないように回避する方法が、例えば特許文献１に開示されており、プルダウン変換されたインタレース映像の再生中に一時停止する場合について述べられている。この例ではプログレッシブ映像への再変換を行わない構成において、フィールド間でブレを生じたポーズ画が表示されないように防いでいる。同一のフレームに属するトップフィールドとボトムフィールドが読み出されるようにメモリ制御を行い、それらを交互に読み出すことにより、ブレを生じたポーズ画が表示されないようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１９４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術は、露出の異なる複数の画像を用いる場合に対応できないという課題がある。上述した技術では、同一フレームに属するトップフィールドとボトムフィールドを検出し、それらを交互に出力するのみであるため、ＨＤＲ動画のように、露出の異なる複数の画像の合成には適用できない。また、映像ソースによって露出の異なる画像が何枚で１つの画像を構成しているかが異なる。このため、１画像の構成枚数を検出する手段が設けられていない場合、露出の異なる複数の画像を合成した静止画を破綻無く表示することが困難である。
そこで、本発明の目的は、ＨＤＲ動画の画像処理装置において、画像再生の一時停止指示が行われた場合に、ＨＤＲ表現による画像を破綻無く表示することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明に係る装置は、複数のフレームの画像データで１つの画像が構成される動画データを処理する画像処理装置であって、前記動画データの再生の一時停止を指示する操作手段と、前記複数のフレームの画像データを記憶するメモリ手段と、前記操作手段によって一時停止の指示が行われた場合、前記複数のフレームの画像データを前記メモリ手段からに順次に読み出して繰り返し出力するように制御する制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、ユーザが画像再生の一時停止を指示しても、ＨＤＲ表現による画像を破綻無く表示できる。
【図面の簡単な説明】
【０００８】
【図１】図２及び３と併せて本発明の第１実施形態を説明するために、装置の構成例を概略的に示したブロック図である。
【図２】ＨＤＲ動画の一時停止処理を説明するフローチャートである。
【図３】ＨＤＲ動画の一時停止処理を説明するタイミングチャートである。
【図４】図５と併せて本発明の第２実施形態を説明するために、装置の構成例を概略的に示したブロック図である。
【図５】ＨＤＲ動画の印刷処理を説明するフローチャートである。
【図６】ＨＤＲ動画の入力例を説明するタイミングチャートである。
【発明を実施するための形態】
【０００９】
[第１実施形態]
以下、本発明の第１実施形態に係る画像処理装置について、添付図面を用いて説明する。図１は本実施形態を適用したシステム構成の一例として、画像送信装置及び画像処理装置を概略的に示したブロック図である。
本システム例では画像送信装置１０１としてビデオカメラが使用され、画像処理装置として、テレビジョン放送受信装置が使用される。画像送信装置１０１はＨＤＲ動画のデータや通常の動画データを画像処理装置１０２に送信する。本例では送信時に垂直同期信号ＶＳＹＮＣ及び映像データ１１１とＨＤＲＳＹＮＣ信号１１２を画像送信装置１０１が画像処理装置１０２に送信する。このＨＤＲ ＳＹＮＣ信号１１２は、ＨＤＲ動画が何枚で１つの画像（静止画）を構成しているかを示すとともに送信タイミングを示す信号であり、垂直同期信号ＶＳＹＮＣに同期して画像処理装置１０２に出力される。画像処理装置１０２はＨＤＲ ＳＹＮＣ信号１１２を受信して、該信号に応じた処理を行う。
【００１０】
画像処理装置１０２は入力部１０３、ＨＤＲ検出部１０４、ＣＰＵ(中央演算処理装置)１０５、書き込み選択部１０６、読み出し選択部１０７、フレームメモリ部１０８、表示部１０９、操作部１１０を備える。入力部１０３は垂直同期信号ＶＳＹＮＣ及び映像データ１１１、ＨＤＲ ＳＹＮＣ信号１１２を受信する入力インタフェース部である。垂直同期信号ＶＳＹＮＣ及び映像データ１１１は書き込み選択部１０６に送られ、ＨＤＲ ＳＹＮＣ信号１１２はＨＤＲ検出部１０４に送られる。
ＨＤＲ検出部１０４はＨＤＲ ＳＹＮＣ信号１１２を受け取り、対象の動画データがＨＤＲ動画のデータであるか否かを検出するとともに、ＨＤＲ動画の場合に何枚のフレームで１つの画像を構成しているかを検出する。そしてＨＤＲ検出部１０４は検出結果をＣＰＵ１０５に通知する。
【００１１】
ＣＰＵ１０５はＨＤＲ検出部１０４からの検出結果、つまりＨＤＲ動画の場合に何枚で１つの画像を構成しているかを示す情報に従って、フレームメモリ部１０８に何枚分のフレームのメモリ領域を確保してデータを蓄積すべきかを決定する。例えば３フレームで１つの画像を構成しているＨＤＲ動画の場合、入出力のフレーム遅延が１フレーム分の時間であるとすると、合計で４フレーム分のフレームメモリ領域を確保する必要がある。ＣＰＵ１０５は上述の決定に従い、書き込み選択部１０６及び読み出し選択部１０７に指令を出し、フレームメモリ部１０８の書き込み領域及び読み出し領域の選択を制御する。
書き込み選択部１０６はＣＰＵ１０５からの指令を受けて、入力部１０３からの映像データをフレームメモリ部１０８に書き込む。また読み出し選択部１０７はＣＰＵ１０５からの指令を受けて、フレームメモリ部１０８から映像データを読み出し、これを後段の表示部１０９に送信する。
【００１２】
フレームメモリ部１０８は、上述したフレーム分（本例では４フレーム）だけメモリ領域を確保する。メモリ領域はフレーム毎に分割されており、図１の例では、フレームメモリ部１０８内に４フレーム分のデータを蓄積できるように０乃至３の数字を付したメモリ領域が使用される。例えば、ある時点においてフレームメモリ部１０８の「０」で示す領域が書き込み領域となり、「１」で示す領域が読み出し領域になる。次フレームのデータが入力された場合、「１」で示す領域が書き込み領域となり、「２」で示す領域が読み出し領域となる。このように、４フレーム分のメモリ領域を確保し、書き込み領域と読み出し領域を順次にずらしながら使用していくことにより、常に３フレーム分のデータを蓄積することができる。ここでは説明を簡単にするため、フレームメモリ部１０８にて４フレーム分のメモリ領域を確保する例を述べたが、ブランキング期間を考慮して「３フレーム＋数ライン」分のメモリ領域を確保してもよい。
表示部１０９は、読み出し選択部１０７から読み出された映像データを処理して表示画面上に画像表示する。
【００１３】
操作部１１０はユーザの操作指示を受け付けるインタフェース部である。例えば、画像再生の一時停止についてＯＮ／ＯＦＦの指示が操作部１１０からＣＰＵ１０５に通知されると、ＣＰＵ１０５はデータの書き込み及び読み出しを制御する。再生の一時停止が指示された場合、書き込み領域が固定され、読み出し領域に対するデータの読み出し動作が３フレームを１組にして繰り返されるように制御が行われる。その詳細は後で説明する。なお図示は省略するが、画像処理装置１０２にはＣＰＵ１０５によって解釈及び実行されるプログラムや制御パラメータ等の記憶部が設けられている。
【００１４】
次に、ＨＤＲ動画の再生時における一時停止処理について、図２のフローチャートを用いて説明する。なお本処理はＣＰＵ１０５によって解釈及び実行されるプログラムに従って実現される。
Ｓ２０１にて処理が開始し、Ｓ２０２でＨＤＲ動画のデータが再生され、画像表示が行われる。次のＳ２０３にてユーザからの一時停止指示があったか否かが判定される。その結果、一時停止指示があった場合、Ｓ２０５へ進むが、当該指示がない場合にはＳ２０４に進み、処理が終了する。
【００１５】
Ｓ２０５にて、ＨＤＲ ＳＹＮＣ信号の１周期内で複数フレームの画像が繰り返し表示される。図３はその様子を示すタイミングチャートであり、図中、ＶＳＹＮＣ ＩＮは入力されたＶＳＹＮＣを示し、ＦＲＡＭＥ ＩＮは入力されたフレームのデータを示し、ＨＤＲ ＳＹＮＣ ＩＮは入力されたＨＤＲ ＳＹＮＣを示している。本例のＨＤＲ動画では、３フレームで１つの画像を構成しており、Ｈ，Ｍ，Ｌの意味は図６にて説明した通りである。Ｈ，Ｍ，Ｌに続く数字は、３フレームを１組として時系列に沿って付与した番号である。また、ＳＴＯＰ ＳＩＧＮＡＬは操作部１１０による再生の一時停止信号であり、本例ではフレームＭ２の期間中に一時停止が指示され（ＯＮ指示）、フレームＬ４の期間中に一時停止の解除が指示される（ＯＦＦ指示）。ＶＳＹＮＣ ＯＵＴ、ＦＲＡＭＥ ＯＵＴは表示部１０９への出力信号を示す。ＶＳＹＮＣ ＯＵＴは出力されるＶＳＹＮＣを示し、ＦＲＡＭＥ ＯＵＴは出力されるフレームのデータを示しており、ＶＳＹＮＣ ＩＮやＦＲＡＭＥ ＩＮに対して１フレーム分の遅延時間をもって出力される。
【００１６】
ＳＴＯＰ ＳＩＧＮＡＬに示すように、フレームＭ２の入力中に一時停止指示があった場合、出力フレームはＨ２、Ｍ２、Ｌ２の順に出力される。その後、ＨＤＲ ＳＹＮＣによる切り替わり時点でＨ３に移行せずに、再びＨ２、Ｍ２、Ｌ２のフレームが繰り返し出力される。すなわち、入力されたフレームＬ４がＨＤＲ ＳＹＮＣによって切り替わる時点までの期間中、フレームＨ２、Ｍ２、Ｌ２がこの順序で繰り返し出力される。
【００１７】
図２の２０６では、一時停止の解除指示があったか否かが判定される。その結果、解除指示がない場合、Ｓ２０５に戻って上述のように３フレームで１組の画像が繰り返し表示される。一方、一時停止の解除指示があった場合には、Ｓ２０７に進み、次のＨＤＲ ＳＹＮＣから順次に画像表示が続行され、Ｓ２０２へ戻る。図３に示すように、フレームＬ４の入力時に一時停止の解除指示があると、フレームＬ４後のＨＤＲ ＳＹＮＣに続くＶＳＹＮＣ ＯＵＴのタイミングで、フレームＨ５、Ｍ５、Ｌ５が出力される。
第１実施形態によれば、ユーザ操作により一時停止指示があったとしても、１つの画像を構成する複数のフレームの画像を繰り返し表示させることで、ＨＤＲ表現による画像を破綻無く表示できる。
[第２実施形態]
【００１８】
次に本発明の第２実施形態について図４及び５を用いて説明する。第１実施形態ではＨＤＲ動画の一時停止時の表示形態について述べたが、第２実施形態では、一時停止時に画像を印刷する場合を説明する。印刷の場合には、フレーム画像を所定の順序で表示する方法でＨＤＲ効果を得ることができないので、演算によってＨＤＲ画像を生成する必要がある。この時、印刷実行前のプレビュー表示では演算によって生成したＨＤＲ画像が表示される。
図４は第２実施形態を適用した場合の構成例を示した概略ブロック図である。以下では、図１に示した構成要素と同様の機能をもつ構成要素については第１実施形態の場合と同じ符号を用いることでそれらの説明を省略し、相違点を中心に説明する。
【００１９】
画像処理装置４０１の合成選択部４０２はＣＰＵ１０５の指令を受けて、前記した一時停止処理によって繰り返し表示している３フレームの画像データを選択する。選択した３フレームの画像データは、ＨＤＲ合成部４０３に転送される。ＨＤＲ合成部４０３は３フレームの画像データを合成する演算を行い、１枚のＨＤＲ画像のデータを生成する。生成されたＨＤＲ画像のデータは表示選択部４０４及び印刷装置４０５に送られる。印刷装置４０５はデータを受信してＨＤＲ画像を印刷する。表示選択部４０４はＣＰＵ１０５からの指令を受けて、前記一時停止処理による画像表示時には、読み出し選択部１０７が読み出したフレームの画像データを選択して表示部１０９に出力し、画像を繰り返し表示させる。また表示選択部４０４は、印刷プレビュー表示時にはＨＤＲ合成部４０３からのＨＤＲ画像のデータを選択して表示部１０９に出力する。
【００２０】
次に、ＨＤＲ画像の再生時における印刷処理例について、図５のフローチャートを用いて説明する。なおＳ２０１乃至２０４の処理は第１実施形態の場合と同様であるため、それらの説明を省略する。
ユーザ操作による一時停止指示を受けた場合、Ｓ２０５に進む。ここでＨＤＲ ＳＹＮＣ内で３枚１組のフレームの画像が繰り返し表示される状態となる。この状態において次のＳ５０１では、ユーザ操作により印刷要求があったか否かが判定される。その結果、印刷要求がない場合はＳ５０６へ進むが、印刷要求があった場合、Ｓ５０２に進む。
【００２１】
Ｓ５０２にてＨＤＲ合成部４０３は、合成選択部４０２が選択した３フレームの画像データを受け取り、ＨＤＲ合成処理を行うことで印刷プレビュー画像のデータを生成する。プレビュー画像のデータが生成されると、Ｓ５０３にて表示部１０９がプレビュー画像を表示する。次のＳ５０４は、ユーザ操作により印刷の実行指示が行われたか否かの判定処理であり、印刷実行指示があった場合(Ｓ５０４でＹｅｓ)、Ｓ５０５に進み、ＨＤＲ合成部４０３が印刷装置４０５にデータを送り、印刷処理が行われる。また、印刷実行指示がない場合(Ｓ５０４でＮｏ)、Ｓ５０６に進む。
【００２２】
Ｓ５０６は、ユーザ操作により一時停止の解除指示が行われたか否かの判定処理である。一時停止の解除指示があった場合、Ｓ２０７に進み、次のＨＤＲ ＳＹＮＣから順次に画像表示が続行され、Ｓ２０２へ戻る。また一時停止の解除指示がない場合、Ｓ２０５に戻ってＨＤＲ画像を構成する各フレームの画像が繰り返し表示される。
第２実施形態によれば、ＨＤＲ合成処理を行った画像の印刷プレビュー表示を行うことにより、ユーザはその画像を確認しながら実際に印刷を行うかどうかを判断できる。
【符号の説明】
【００２３】
１０２ 画像処理装置
１０４ ＨＤＲ検出部
１０５ ＣＰＵ
１０６ 書き込み選択部
１０７ 読み出し選択部
１０８ フレームメモリ部
１０９ 表示部
１１０ 操作部
４０１ 画像処理装置
【技術分野】
【０００１】
本発明は、例えば広ダイナミックレンジ技術を利用した画像処理装置及び画像処理方法に関し、複数のフレームの画像データで１枚の画像が構成される動画データを処理する技術に関する。
【背景技術】
【０００２】
撮影条件を変えて露出を行った異なる複数の画像について、各画像の露出状態を考慮して合成することにより、合成後の画像の階調表現を豊かにする、ＨＤＲ(Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ)と称する技術が注目されている。
現在、ＨＤＲ画像は主に映画、特殊効果、３Ｄ（三次元）映像作品、一部のハイエンド写真などで使用されている。一般的にＨＤＲ画像の合成はコンピュータなどの情報処理装置を用いて行われる。これに対して、露出の異なる複数の画像を所定の順序で表示することで、ＨＤＲ表現を実現する手段も提案されている。この場合、複雑な演算処理を対象画像に施こさずに画像合成ができるので、簡単でリアルタイム性の高いＨＤＲ表示を行える。例えば図６は、露出の異なる複数（本例では３）フレームの画像データで１つの画像が構成される動画（以下、ＨＤＲ動画という）を示す。図中のＶＳＹＮＣは垂直同期信号を示し、ＦＲＡＭＥに示すＨ、Ｍ、Ｌは露出の異なる画像データ列を表す。つまりＨは露出の高いフレーム、Ｍは露出が中間のフレーム、Ｌは露出の低いフレームをそれぞれ表している。またＨ，Ｍ，Ｌに続く数字は時間経過の順序を示しており、本例では１から順に３セット分のフレームがＶＳＹＮＣに同期して表示される様子を示す。
【０００３】
このような表示方法によるＨＤＲ動画の再生において、ユーザが特定のシーンで一時停止を装置に指示した場合、露出の偏った１つのフレームが表示されてしまう。つまり一時停止指示のタイミングによっては、白とびや黒つぶれした画像が表示される可能性があり、ユーザに不快感を与えてしまうという課題がある。そこで、動画再生中の一時停止において、破綻した見づらい静止画が表示されないように回避する方法が、例えば特許文献１に開示されており、プルダウン変換されたインタレース映像の再生中に一時停止する場合について述べられている。この例ではプログレッシブ映像への再変換を行わない構成において、フィールド間でブレを生じたポーズ画が表示されないように防いでいる。同一のフレームに属するトップフィールドとボトムフィールドが読み出されるようにメモリ制御を行い、それらを交互に読み出すことにより、ブレを生じたポーズ画が表示されないようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１９４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術は、露出の異なる複数の画像を用いる場合に対応できないという課題がある。上述した技術では、同一フレームに属するトップフィールドとボトムフィールドを検出し、それらを交互に出力するのみであるため、ＨＤＲ動画のように、露出の異なる複数の画像の合成には適用できない。また、映像ソースによって露出の異なる画像が何枚で１つの画像を構成しているかが異なる。このため、１画像の構成枚数を検出する手段が設けられていない場合、露出の異なる複数の画像を合成した静止画を破綻無く表示することが困難である。
そこで、本発明の目的は、ＨＤＲ動画の画像処理装置において、画像再生の一時停止指示が行われた場合に、ＨＤＲ表現による画像を破綻無く表示することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明に係る装置は、複数のフレームの画像データで１つの画像が構成される動画データを処理する画像処理装置であって、前記動画データの再生の一時停止を指示する操作手段と、前記複数のフレームの画像データを記憶するメモリ手段と、前記操作手段によって一時停止の指示が行われた場合、前記複数のフレームの画像データを前記メモリ手段からに順次に読み出して繰り返し出力するように制御する制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、ユーザが画像再生の一時停止を指示しても、ＨＤＲ表現による画像を破綻無く表示できる。
【図面の簡単な説明】
【０００８】
【図１】図２及び３と併せて本発明の第１実施形態を説明するために、装置の構成例を概略的に示したブロック図である。
【図２】ＨＤＲ動画の一時停止処理を説明するフローチャートである。
【図３】ＨＤＲ動画の一時停止処理を説明するタイミングチャートである。
【図４】図５と併せて本発明の第２実施形態を説明するために、装置の構成例を概略的に示したブロック図である。
【図５】ＨＤＲ動画の印刷処理を説明するフローチャートである。
【図６】ＨＤＲ動画の入力例を説明するタイミングチャートである。
【発明を実施するための形態】
【０００９】
[第１実施形態]
以下、本発明の第１実施形態に係る画像処理装置について、添付図面を用いて説明する。図１は本実施形態を適用したシステム構成の一例として、画像送信装置及び画像処理装置を概略的に示したブロック図である。
本システム例では画像送信装置１０１としてビデオカメラが使用され、画像処理装置として、テレビジョン放送受信装置が使用される。画像送信装置１０１はＨＤＲ動画のデータや通常の動画データを画像処理装置１０２に送信する。本例では送信時に垂直同期信号ＶＳＹＮＣ及び映像データ１１１とＨＤＲＳＹＮＣ信号１１２を画像送信装置１０１が画像処理装置１０２に送信する。このＨＤＲ ＳＹＮＣ信号１１２は、ＨＤＲ動画が何枚で１つの画像（静止画）を構成しているかを示すとともに送信タイミングを示す信号であり、垂直同期信号ＶＳＹＮＣに同期して画像処理装置１０２に出力される。画像処理装置１０２はＨＤＲ ＳＹＮＣ信号１１２を受信して、該信号に応じた処理を行う。
【００１０】
画像処理装置１０２は入力部１０３、ＨＤＲ検出部１０４、ＣＰＵ(中央演算処理装置)１０５、書き込み選択部１０６、読み出し選択部１０７、フレームメモリ部１０８、表示部１０９、操作部１１０を備える。入力部１０３は垂直同期信号ＶＳＹＮＣ及び映像データ１１１、ＨＤＲ ＳＹＮＣ信号１１２を受信する入力インタフェース部である。垂直同期信号ＶＳＹＮＣ及び映像データ１１１は書き込み選択部１０６に送られ、ＨＤＲ ＳＹＮＣ信号１１２はＨＤＲ検出部１０４に送られる。
ＨＤＲ検出部１０４はＨＤＲ ＳＹＮＣ信号１１２を受け取り、対象の動画データがＨＤＲ動画のデータであるか否かを検出するとともに、ＨＤＲ動画の場合に何枚のフレームで１つの画像を構成しているかを検出する。そしてＨＤＲ検出部１０４は検出結果をＣＰＵ１０５に通知する。
【００１１】
ＣＰＵ１０５はＨＤＲ検出部１０４からの検出結果、つまりＨＤＲ動画の場合に何枚で１つの画像を構成しているかを示す情報に従って、フレームメモリ部１０８に何枚分のフレームのメモリ領域を確保してデータを蓄積すべきかを決定する。例えば３フレームで１つの画像を構成しているＨＤＲ動画の場合、入出力のフレーム遅延が１フレーム分の時間であるとすると、合計で４フレーム分のフレームメモリ領域を確保する必要がある。ＣＰＵ１０５は上述の決定に従い、書き込み選択部１０６及び読み出し選択部１０７に指令を出し、フレームメモリ部１０８の書き込み領域及び読み出し領域の選択を制御する。
書き込み選択部１０６はＣＰＵ１０５からの指令を受けて、入力部１０３からの映像データをフレームメモリ部１０８に書き込む。また読み出し選択部１０７はＣＰＵ１０５からの指令を受けて、フレームメモリ部１０８から映像データを読み出し、これを後段の表示部１０９に送信する。
【００１２】
フレームメモリ部１０８は、上述したフレーム分（本例では４フレーム）だけメモリ領域を確保する。メモリ領域はフレーム毎に分割されており、図１の例では、フレームメモリ部１０８内に４フレーム分のデータを蓄積できるように０乃至３の数字を付したメモリ領域が使用される。例えば、ある時点においてフレームメモリ部１０８の「０」で示す領域が書き込み領域となり、「１」で示す領域が読み出し領域になる。次フレームのデータが入力された場合、「１」で示す領域が書き込み領域となり、「２」で示す領域が読み出し領域となる。このように、４フレーム分のメモリ領域を確保し、書き込み領域と読み出し領域を順次にずらしながら使用していくことにより、常に３フレーム分のデータを蓄積することができる。ここでは説明を簡単にするため、フレームメモリ部１０８にて４フレーム分のメモリ領域を確保する例を述べたが、ブランキング期間を考慮して「３フレーム＋数ライン」分のメモリ領域を確保してもよい。
表示部１０９は、読み出し選択部１０７から読み出された映像データを処理して表示画面上に画像表示する。
【００１３】
操作部１１０はユーザの操作指示を受け付けるインタフェース部である。例えば、画像再生の一時停止についてＯＮ／ＯＦＦの指示が操作部１１０からＣＰＵ１０５に通知されると、ＣＰＵ１０５はデータの書き込み及び読み出しを制御する。再生の一時停止が指示された場合、書き込み領域が固定され、読み出し領域に対するデータの読み出し動作が３フレームを１組にして繰り返されるように制御が行われる。その詳細は後で説明する。なお図示は省略するが、画像処理装置１０２にはＣＰＵ１０５によって解釈及び実行されるプログラムや制御パラメータ等の記憶部が設けられている。
【００１４】
次に、ＨＤＲ動画の再生時における一時停止処理について、図２のフローチャートを用いて説明する。なお本処理はＣＰＵ１０５によって解釈及び実行されるプログラムに従って実現される。
Ｓ２０１にて処理が開始し、Ｓ２０２でＨＤＲ動画のデータが再生され、画像表示が行われる。次のＳ２０３にてユーザからの一時停止指示があったか否かが判定される。その結果、一時停止指示があった場合、Ｓ２０５へ進むが、当該指示がない場合にはＳ２０４に進み、処理が終了する。
【００１５】
Ｓ２０５にて、ＨＤＲ ＳＹＮＣ信号の１周期内で複数フレームの画像が繰り返し表示される。図３はその様子を示すタイミングチャートであり、図中、ＶＳＹＮＣ ＩＮは入力されたＶＳＹＮＣを示し、ＦＲＡＭＥ ＩＮは入力されたフレームのデータを示し、ＨＤＲ ＳＹＮＣ ＩＮは入力されたＨＤＲ ＳＹＮＣを示している。本例のＨＤＲ動画では、３フレームで１つの画像を構成しており、Ｈ，Ｍ，Ｌの意味は図６にて説明した通りである。Ｈ，Ｍ，Ｌに続く数字は、３フレームを１組として時系列に沿って付与した番号である。また、ＳＴＯＰ ＳＩＧＮＡＬは操作部１１０による再生の一時停止信号であり、本例ではフレームＭ２の期間中に一時停止が指示され（ＯＮ指示）、フレームＬ４の期間中に一時停止の解除が指示される（ＯＦＦ指示）。ＶＳＹＮＣ ＯＵＴ、ＦＲＡＭＥ ＯＵＴは表示部１０９への出力信号を示す。ＶＳＹＮＣ ＯＵＴは出力されるＶＳＹＮＣを示し、ＦＲＡＭＥ ＯＵＴは出力されるフレームのデータを示しており、ＶＳＹＮＣ ＩＮやＦＲＡＭＥ ＩＮに対して１フレーム分の遅延時間をもって出力される。
【００１６】
ＳＴＯＰ ＳＩＧＮＡＬに示すように、フレームＭ２の入力中に一時停止指示があった場合、出力フレームはＨ２、Ｍ２、Ｌ２の順に出力される。その後、ＨＤＲ ＳＹＮＣによる切り替わり時点でＨ３に移行せずに、再びＨ２、Ｍ２、Ｌ２のフレームが繰り返し出力される。すなわち、入力されたフレームＬ４がＨＤＲ ＳＹＮＣによって切り替わる時点までの期間中、フレームＨ２、Ｍ２、Ｌ２がこの順序で繰り返し出力される。
【００１７】
図２の２０６では、一時停止の解除指示があったか否かが判定される。その結果、解除指示がない場合、Ｓ２０５に戻って上述のように３フレームで１組の画像が繰り返し表示される。一方、一時停止の解除指示があった場合には、Ｓ２０７に進み、次のＨＤＲ ＳＹＮＣから順次に画像表示が続行され、Ｓ２０２へ戻る。図３に示すように、フレームＬ４の入力時に一時停止の解除指示があると、フレームＬ４後のＨＤＲ ＳＹＮＣに続くＶＳＹＮＣ ＯＵＴのタイミングで、フレームＨ５、Ｍ５、Ｌ５が出力される。
第１実施形態によれば、ユーザ操作により一時停止指示があったとしても、１つの画像を構成する複数のフレームの画像を繰り返し表示させることで、ＨＤＲ表現による画像を破綻無く表示できる。
[第２実施形態]
【００１８】
次に本発明の第２実施形態について図４及び５を用いて説明する。第１実施形態ではＨＤＲ動画の一時停止時の表示形態について述べたが、第２実施形態では、一時停止時に画像を印刷する場合を説明する。印刷の場合には、フレーム画像を所定の順序で表示する方法でＨＤＲ効果を得ることができないので、演算によってＨＤＲ画像を生成する必要がある。この時、印刷実行前のプレビュー表示では演算によって生成したＨＤＲ画像が表示される。
図４は第２実施形態を適用した場合の構成例を示した概略ブロック図である。以下では、図１に示した構成要素と同様の機能をもつ構成要素については第１実施形態の場合と同じ符号を用いることでそれらの説明を省略し、相違点を中心に説明する。
【００１９】
画像処理装置４０１の合成選択部４０２はＣＰＵ１０５の指令を受けて、前記した一時停止処理によって繰り返し表示している３フレームの画像データを選択する。選択した３フレームの画像データは、ＨＤＲ合成部４０３に転送される。ＨＤＲ合成部４０３は３フレームの画像データを合成する演算を行い、１枚のＨＤＲ画像のデータを生成する。生成されたＨＤＲ画像のデータは表示選択部４０４及び印刷装置４０５に送られる。印刷装置４０５はデータを受信してＨＤＲ画像を印刷する。表示選択部４０４はＣＰＵ１０５からの指令を受けて、前記一時停止処理による画像表示時には、読み出し選択部１０７が読み出したフレームの画像データを選択して表示部１０９に出力し、画像を繰り返し表示させる。また表示選択部４０４は、印刷プレビュー表示時にはＨＤＲ合成部４０３からのＨＤＲ画像のデータを選択して表示部１０９に出力する。
【００２０】
次に、ＨＤＲ画像の再生時における印刷処理例について、図５のフローチャートを用いて説明する。なおＳ２０１乃至２０４の処理は第１実施形態の場合と同様であるため、それらの説明を省略する。
ユーザ操作による一時停止指示を受けた場合、Ｓ２０５に進む。ここでＨＤＲ ＳＹＮＣ内で３枚１組のフレームの画像が繰り返し表示される状態となる。この状態において次のＳ５０１では、ユーザ操作により印刷要求があったか否かが判定される。その結果、印刷要求がない場合はＳ５０６へ進むが、印刷要求があった場合、Ｓ５０２に進む。
【００２１】
Ｓ５０２にてＨＤＲ合成部４０３は、合成選択部４０２が選択した３フレームの画像データを受け取り、ＨＤＲ合成処理を行うことで印刷プレビュー画像のデータを生成する。プレビュー画像のデータが生成されると、Ｓ５０３にて表示部１０９がプレビュー画像を表示する。次のＳ５０４は、ユーザ操作により印刷の実行指示が行われたか否かの判定処理であり、印刷実行指示があった場合(Ｓ５０４でＹｅｓ)、Ｓ５０５に進み、ＨＤＲ合成部４０３が印刷装置４０５にデータを送り、印刷処理が行われる。また、印刷実行指示がない場合(Ｓ５０４でＮｏ)、Ｓ５０６に進む。
【００２２】
Ｓ５０６は、ユーザ操作により一時停止の解除指示が行われたか否かの判定処理である。一時停止の解除指示があった場合、Ｓ２０７に進み、次のＨＤＲ ＳＹＮＣから順次に画像表示が続行され、Ｓ２０２へ戻る。また一時停止の解除指示がない場合、Ｓ２０５に戻ってＨＤＲ画像を構成する各フレームの画像が繰り返し表示される。
第２実施形態によれば、ＨＤＲ合成処理を行った画像の印刷プレビュー表示を行うことにより、ユーザはその画像を確認しながら実際に印刷を行うかどうかを判断できる。
【符号の説明】
【００２３】
１０２ 画像処理装置
１０４ ＨＤＲ検出部
１０５ ＣＰＵ
１０６ 書き込み選択部
１０７ 読み出し選択部
１０８ フレームメモリ部
１０９ 表示部
１１０ 操作部
４０１ 画像処理装置
【特許請求の範囲】
【請求項１】
複数のフレームの画像データで１つの画像が構成される動画データを処理する画像処理装置であって、
前記動画データの再生の一時停止を指示する操作手段と、
前記複数のフレームの画像データを記憶するメモリ手段と、
前記操作手段によって一時停止の指示が行われた場合、前記複数のフレームの画像データを前記メモリ手段からに順次に読み出して繰り返し出力するように制御する制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
複数のフレームの画像データで１つの画像が構成される動画データの入力を検出するとともに１つの画像を構成しているフレームの数を検出する検出手段と、
前記メモリ手段に書き込むフレームの画像データを選択する書き込み選択手段と、
前記メモリ手段から読み出すフレームの画像データを選択する読み出し選択手段と、を備え、
前記操作手段によって一時停止の指示が行われた場合、前記制御手段は前記書き込み選択手段及び読み出し選択手段を制御して、前記検出手段によって検出された動画データにて１つの画像を構成している複数のフレームの画像データを繰り返し出力させることを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記検出手段によって前記動画データが検出された場合、前記制御手段は前記書き込み手段を制御し、前記動画データにて１つの画像を構成する複数のフレームの画像データを、フレーム毎に前記メモリ手段のメモリ領域に記憶させることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記操作手段によって一時停止の指示が行われた後で印刷が指示された場合、前記検出手段によって検出された前記動画データにて１つの画像を構成している複数のフレームの画像データを選択する選択手段と、
前記選択手段によって選択された前記画像データを合成して出力する合成手段を備えることを特徴とする、請求項２又は３記載の画像処理装置。
【請求項５】
複数のフレームの画像データで１つの画像が構成される動画データを処理する画像処理方法であって、
前記動画データの再生を一時停止させる指示を受け付けるステップと、
前記複数のフレームの画像データをメモリに記憶するステップと、
前記一時停止の指示があった場合、前記複数のフレームの画像データを前記メモリから順次に読み出して繰り返し出力するステップと、を有することを特徴とする画像処理方法。
【請求項１】
複数のフレームの画像データで１つの画像が構成される動画データを処理する画像処理装置であって、
前記動画データの再生の一時停止を指示する操作手段と、
前記複数のフレームの画像データを記憶するメモリ手段と、
前記操作手段によって一時停止の指示が行われた場合、前記複数のフレームの画像データを前記メモリ手段からに順次に読み出して繰り返し出力するように制御する制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
複数のフレームの画像データで１つの画像が構成される動画データの入力を検出するとともに１つの画像を構成しているフレームの数を検出する検出手段と、
前記メモリ手段に書き込むフレームの画像データを選択する書き込み選択手段と、
前記メモリ手段から読み出すフレームの画像データを選択する読み出し選択手段と、を備え、
前記操作手段によって一時停止の指示が行われた場合、前記制御手段は前記書き込み選択手段及び読み出し選択手段を制御して、前記検出手段によって検出された動画データにて１つの画像を構成している複数のフレームの画像データを繰り返し出力させることを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記検出手段によって前記動画データが検出された場合、前記制御手段は前記書き込み手段を制御し、前記動画データにて１つの画像を構成する複数のフレームの画像データを、フレーム毎に前記メモリ手段のメモリ領域に記憶させることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記操作手段によって一時停止の指示が行われた後で印刷が指示された場合、前記検出手段によって検出された前記動画データにて１つの画像を構成している複数のフレームの画像データを選択する選択手段と、
前記選択手段によって選択された前記画像データを合成して出力する合成手段を備えることを特徴とする、請求項２又は３記載の画像処理装置。
【請求項５】
複数のフレームの画像データで１つの画像が構成される動画データを処理する画像処理方法であって、
前記動画データの再生を一時停止させる指示を受け付けるステップと、
前記複数のフレームの画像データをメモリに記憶するステップと、
前記一時停止の指示があった場合、前記複数のフレームの画像データを前記メモリから順次に読み出して繰り返し出力するステップと、を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−９７３６６（Ｐ２０１１−９７３６６Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４９３９３（Ｐ２００９−２４９３９３）
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]