説明

画像表示システム及びその制御方法

【課題】ユーザが表示された動画像の中から注目領域を容易に確認することを可能とする技術を提供する。
【解決手段】本発明の画像処理装置は、元の画像データの解像度を低減することにより第1画像データを生成する低減手段と、元の画像データから一部の領域の画像データを抽出することにより第2画像データを生成する抽出手段と、フレーム毎に第1又は第2画像データを出力する出力手段と、を有する。本発明の表示装置は、入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの一部の領域に、該第2画像データを合成する合成手段と、入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、合成手段で合成された画像データに基づく画像を表示する表示手段と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示システム及びその制御方法に関するものである。
【背景技術】
【0002】
従来、デジタルカメラで撮影を行う際、被写体は、光学ファインダーまたはデジタルカメラに内蔵されている液晶パネルなどの表示部を用いて確認されていた。デジタル一眼レフカメラにおいて、内蔵の表示部で被写体を確認する機能は、“ライブビュー”と呼ばれる。
【0003】
デジタルカメラに関する技術は、例えば、特許文献1,2に開示されている。
具体的には、特許文献1には、2つの撮像素子(記録用の画像データを出力する撮像素子とライブビュー用の画像データを出力する撮像素子)から出力される画像データを1つの画像処理部で処理する方法が開示されている。
また、特許文献2には、1つの撮像素子のみを用いて、高解像度の静止画像と低解像度の動画像を撮影する方法が開示されている。具体的には、特許文献2の技術では、高解像度の静止画像を撮影する場合には撮像素子全体が用いられ、低解像度の動画像を撮影する場合には撮像素子の一部が用いられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−260916号公報
【特許文献2】特開2003−158684号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、画像データの表示部(表示装置)への伝送帯域には制限があるため、従来は、被写体を確認するための画像(動画像)として、低解像度や低フレームレートの動画像が伝送、表示されていた。そのため、焦点位置(ユーザが注目する領域;注目領域)が確認しにくいなどの問題があった。
【0006】
そこで、本発明は、ユーザが表示された動画像の中から注目領域を容易に確認することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像表示システムは、
画像データを出力する画像処理装置と、入力された画像データに基づく画像を表示する表示装置と、からなる画像表示システムであって、
前記画像処理装置は、
元の画像データの解像度を低減することにより、前記表示装置に伝送可能な画素数の第1画像データを生成する低減手段と、
元の画像データから一部の領域の画像データを抽出することにより、前記表示装置に伝送可能な画素数の第2画像データを生成する抽出手段と、
前記表示装置に伝送する動画像データの1フレームの画素数が前記表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかを出力する出力手段と、
を有し、
前記表示装置は、
入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの前記一部の領域に、前記第2画像データを合成する合成手段と、
入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、前記合成手段で合成された画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする。
【0008】
本発明の画像処理装置は、
元の画像データの解像度を低減することにより、表示装置に伝送可能な画素数の第1画像データを生成する低減手段と、
元の画像データから一部の領域の画像データを抽出することにより、前記表示装置に伝送可能な画素数の第2画像データを生成する抽出手段と、
前記表示装置に伝送する動画像データの1フレームの画素数が前記表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかを出力する出力手段と、
を有することを特徴とする。
【0009】
本発明の表示装置は、
入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの一部の領域に、前記第2画像データを合成する合成手段と、
入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、前記合成手段で合成された画像データに基づく画像を表示する表示手段と、
を有し、
前記第1画像データは、元の画像データの解像度を低減することにより生成された画像データであり、
前記第2画像データは、元の画像データから前記一部の領域の画像データを抽出することにより生成された画像データである
ことを特徴とする。
【0010】
本発明の画像表示システムの制御方法は、
画像データを出力する画像処理装置と、入力された画像データに基づく画像を表示する表示装置と、からなる画像表示システムの制御方法であって、
前記画像処理装置が、元の画像データの解像度を低減することにより、前記表示装置に伝送可能な画素数の第1画像データを生成する低減ステップと、
前記画像処理装置が、元の画像データから一部の領域の画像データを抽出することにより、前記表示装置に伝送可能な画素数の第2画像データを生成する抽出ステップと、
前記画像処理装置が、前記表示装置に伝送する動画像データの1フレームの画素数が前記表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかを出力する出力ステップと、
前記表示装置が、入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの前記一部の領域に、前記第2画像データを合成する合成ステップと、
前記表示装置が、入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、前記合成ステップで合成された画像データに基づく画像を表示する表示ステップと、
を有することを特徴とする。
【発明の効果】
【0011】
本発明によれば、ユーザが表示された動画像の中から注目領域を容易に確認することが可能となる。
【図面の簡単な説明】
【0012】
【図1】実施例1,2に係る画像表示システムの構成の一例を示すブロック図
【図2】実施例1,2に係る表示装置の表示例を示す図
【図3】実施例1,2に係る撮像装置の処理の一例を表すタイミングチャート
【図4】実施例1に係る撮像装置と表示装置の処理の一例を表すタイミングチャート
【図5】実施例1,2に係る撮像装置の動作の一例を示すフローチャート
【図6】実施例1に係る表示装置の動作の一例を示すフローチャート
【図7】実施例2に係る撮像装置と表示装置の処理の一例を表すタイミングチャート
【図8】実施例2に係る表示装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【0013】
<実施例1>
本発明の実施例1に係る画像表示システム及びその制御方法について説明する。本実施例に係る画像表示システムは、画像データを出力する画像処理装置と、入力された画像データに基づく画像を表示する表示装置とからなる。以下では、画像処理装置の機能を有する撮像装置が、撮像素子からリアルタイムに出力される動画像データ(被写体(撮影範囲)確認用の動画像データ)を画像処理し、撮像装置とは別体の表示装置に出力する例について説明する。なお、画像処理装置は、撮像装置に限らない。画像処理装置は、画像データを出力する装置であればよく、例えば、ハードディスクレコーダやブルーレイディスクレコーダなどの再生装置であってもよい。また、表示装置は画像処理装置の機能を有する装置と同じ装置に設けられていてもよい。例えば、表示装置は、上記画像処理装置の機能を有する撮像装置内に設けられていてもよい。
【0014】
図1は、本実施例に係る画像表示システムの構成の一例を示すブロック図である。本実施例に係る画像表示システムは、撮像装置100、表示装置200、ケーブル300などを有する。
【0015】
撮像装置100は、所定の画素数または設定された画素数の画像データ(本実施例では水平方向3840画素、垂直方向2160画素(4k2k)の撮像データ)を生成(撮像)する。撮像データはリアルタイムで生成される。そして、撮像装置100は、生成された撮像データから、所定のフレームレートまたは設定されたフレームレート(本実施例では60Hz)の動画像データを生成して、HDMI(High−Definition Multimedia Interface)出力端子から出力する。
例えば、撮像装置100は、撮像データに必要に応じて画像処理を施してプログレッシブ画像データ(動画像データの1フレーム)を生成する。具体的には、撮像装置100は、表示装置200に伝送する動画像データの1フレームの画素数が表示装置200に伝送可能な画素数よりも多い場合に、画像データに、画素数を表示装置200に伝送可能な画素数に低減する画像処理を施す。換言すれば、撮像データをそのまま1フレームとして表示装置200に伝送できない場合に、撮像データに、画素数を表示装置200に伝送可能な画素数に低減する画像処理を施す。
本実施例では、後述するケーブル300を介して伝送可能なフレームレート60Hzの動画像データの1フレームの画素数が、最大で水平方向1920画素、垂直方向1080画素であるものとする。撮像装置100は、撮像データの画素数が、水平方向1920画素、垂直方向1080画素より多い場合に、撮像データに、画素数を水平方向1920画素以下、垂直方向1080画素以下に低減する画像処理を施す。即ち、4k2kの撮像データからFHDの画像データが生成される。
【0016】
表示装置200は、最大で水平方向3840画素、垂直方向2160画素の画像を表示できる表示部を有する。表示装置200には、HDMI入力端子から、1フレームの画素数が水平方向1920画素以下、垂直方向1080画素以下、フレームレートが60Hzの動画像データが入力される。
ケーブル300は、HDMI規格のケーブルである。ケーブル300を用いて撮像装置100と表示装置200を接続することにより、撮像装置100と表示装置200の間で、データの送受信が可能となる。
【0017】
なお、撮像装置100で撮像される画像データ、及び、撮像装置100から出力される画像データの画素数、フレームレートは上記値に限らない。また、表示装置200に入力される画像データの画素数、及び、表示装置200の表示画素数(表示装置200で表示できる画像の画素数の最大値)は上記値に限らない。また、ケーブル300はHDMI規格のケーブルに限らない。撮像装置100と表示装置200は無線で接続されてもよい。
【0018】
(撮像装置)
以下、撮像装置100の構成について説明する。
制御部101は、撮像装置100の動作を制御する。
撮像部102は、不図示のシャッター、レンズ、CMOSやCCDなどの撮像素子などを有する。撮像部102は、制御部101の指示に従い、アナログ信号の画像データ(アナログ画像データ)を撮像し、出力する。具体的には、シャッターにより露光量が調整され、レンズに入射した光線が撮像素子に光学像を結像する。そして、撮像素子の各画素に蓄積された電荷量がアナログ画像データとして出力される。
【0019】
信号処理部103は、制御部101の指示に従い、撮像部102が出力するアナログ画像データをA/D変換することにより、デジタル信号の画像データ(デジタル画像データ;撮像データ)を生成する。そして、信号処理部103は、メモリ104を用いて、撮像データに所定の画像処理(画素補完処理、色変換処理、ノイズ除去処理)を施す。また、信号処理部は、制御部101の指示に従い、撮像データを、必要に応じてフォーマットを変換し、外部メモリ105へ記録する。
【0020】
メモリ104は、信号処理部103が処理を行うために使用するバッファである。
外部メモリ105は、撮像データを記録する記録媒体である。外部メモリ105は、撮像装置100から取り外し可能であってもよいし、撮像装置100から取り外し不可能であってもよい。外部メモリ105としては、磁気ディスク、光ディスク、不揮発性メモリなどが適用できる。本実施例では、外部メモリ105に、JPEG等の方式で圧縮された圧縮データ、RAWデータ等の非圧縮データまたはロスレス圧縮データ、などの画像データが記録される。
【0021】
解像度変換部106は、制御部101の指示に従い、信号処理部103から画素数3840×2160画素の画像データ(撮像データ)を取得する。そして、解像度変換部106は、撮像データから、解像度変換処理により、撮像装置100が有する表示部107の表示画素数の画像データを生成し、該生成した画像データを表示用画像データとして表示部107へ出力する。なお、ユーザから表示部107に表示する画像の拡大または縮小の指示があった場合には、解像度変換部106は、該指示に従って、上記解像度変換処理された画像データを拡大または縮小することにより、表示用画像データを生成する。
【0022】
さらに、解像度変換部106は、表示用画像データの生成及び出力と同時に、全体領域画像データの生成及び出力を行う。全体領域画像データは、撮像データの全領域を表す画像データである。具体的には、解像度変換部106は、解像度変換により、ケーブル300の規格に合致する解像度の全体領域画像データを生成する。即ち、解像度変換部106
は、撮像データ(元の画像データ)の解像度を低減することにより(撮像データを縮小することにより)、表示装置200に伝送可能な画素数の全体領域画像データ(第1画像データ)を生成する。そして、解像度変換部106は、該生成した全体領域画像データを信号切替部109へ出力する。本実施例では、解像度変換部106は、画素数3840×2160画素の撮像データの解像度を低減し、画素数1920×1080画素の全体領域画像データを生成する。そして、解像度変換部106は、該生成した全体領域画像データを、全体領域画像データであることを示す識別情報を付加して(識別情報付加)、出力する。具体的には、解像度変換部106は、全体領域画像データを、該データのブランキング期間の所定の位置に、全体領域画像データであることを示すビットを挿入して出力する。
【0023】
表示部107は、解像度変換部106から入力された表示用画像データに基づく画像を表示する。本実施例では、表示部107は、最大で画素数960×540画素の画像を表示することができる。表示部107としては、液晶パネル、有機ELパネルなどが適用できる。
また、本実施例では、表示部107は、ユーザ操作用の不図示のタッチパネルを有しており、ユーザ操作に応じて制御部101に情報を伝達する。例えば、ユーザによって指示された位置や領域を表す情報が伝達される。
【0024】
注目領域処理部108は、制御部101の指示に従い、信号処理部103から撮像データを取得する。注目領域処理部108は、撮像データ(元の画像データ)から一部の領域(注目領域)の画像データを抽出することにより、表示装置200に伝送可能な画素数の注目領域画像データ(第2画像データ)を生成する。そして、注目領域処理部108は、該生成した注目領域画像データを信号切替部109へ出力する。本実施例では、注目領域処理部108は、画素数3840×2160画素の撮像データから、画素数1920×1080画素の領域の画像データを、注目領域画像データとして抽出する(切り出す)。そして、注目領域処理部108は、該抽出した注目領域画像データを、注目領域画像データであることを示す識別情報と撮像データの領域内での注目領域の位置を表す座標情報(領域情報)を付加して出力する。具体的には、注目領域処理部108は、注目領域画像データを、該データのブランキング期間の所定の位置に、注目領域画像データであることを示すビットと、撮像データの領域内での注目領域の位置を示す座標(X,Y)を挿入して出力する。
【0025】
注目領域は、例えば、撮像データの領域の、ユーザによって指定された位置、該位置に写っている人物などのオブジェクトの位置、焦点が合っている位置などを基準位置(例えば始点や中心)とする領域である。ユーザは、例えば、表示部107のタッチパネルや、タッチパネルとは別に設けられた操作ボタンなどを用いて撮像データの領域内の任意の位置を指定することができる。本実施例では、上記基準位置を始点とする、画素数1920×1080画素の領域が注目領域とされる。即ち、本実施例では注目領域のサイズは固定である。
なお、注目領域はこれに限らない。注目領域のサイズは固定でなくてもよい。例えば、ユーザが注目領域のサイズ(例えば、注目領域の始点と終点、注目領域のサイズそのもの)を指定可能であってもよい。注目領域の画素数は、表示装置200に伝送可能な画素数(1920×1080画素)より少なくても多くてもよい。注目領域の画素数が1920×1080画素よりも少ない場合に、抽出した画像データをそのまま注目領域画像データとすればよい。注目領域の画素数が1920×1080画素よりも多い場合には、抽出した画像データを、画素数1920×1080画素以下の画像データに解像度変換し、該解像度変換された画像データを注目領域画像データとすればよい。
また、上述した領域情報は、注目領域の始点と終点の座標、注目領域の位置を示す座標と注目領域のサイズなど、注目領域の位置とサイズを表す情報であってもよい。
【0026】
信号切替部109は、表示装置200に伝送する動画像データの1フレームの画素数が表示装置200に伝送可能な画素数よりも多い場合に、フレーム毎に全体領域画像データと注目領域画像データのいずれかを出力する。具体的には、信号切替部109は、制御部101の指示に従い、フレーム毎に全体領域画像データと注目領域画像データとを切り替えて、伝送用画像データとして伝送部110に出力する。本実施例では、リフレッシュレート(フレームレート)を60Hz、領域全体の更新回数を1秒間に5回とする。この場合、12フレームに1フレームの割合で全体領域画像データが出力され、残りの11フレームは注目領域画像データが出力される。
【0027】
伝送部110は、制御部101の指示に従い、伝送フォーマットを決定し、伝送用画像データを、決定した伝送フォーマットに対応した符号化方式で伝送する。本実施例では、伝送フォーマットは、画素数1920×1080画素、フレームレート60Hzのプログレッシブスキャンに対応したフォーマットとする。
【0028】
なお、表示装置200に伝送する動画像データの1フレームの画素数が表示装置200に伝送可能な画素数以下である場合には、撮像データをそのまま表示装置200に伝送することができる。そのため、そのような場合には、全体領域画像データと注目領域画像データの生成処理や、信号切替部109による切り替え処理などは行わなくてもよい。信号処理部103で生成された撮像データが、所定の符号化方式で伝送部110から出力されればよい。
【0029】
以下、表示装置200の構成について説明する。
制御部201は、表示装置200の動作を制御する。
受信部202は、制御部201の指示に従い、画像データを受信する。そして、受信部202は、受信した画像データの伝送フォーマットを判断し、画像データを復号し、信号分別部203へ出力する。受信部202は、画像データを復号する際に、その伝送フォーマットを制御部201に伝える。
【0030】
信号分別部203は、制御部201の指示に従い、受信部202で受信した画像データの伝送フォーマットに対応した画素数、フレームレートで動作する。信号分別部203は、入力された画像データに付加されている識別情報から、該入力された画像データが全体領域画像データか注目領域画像データかを判断する。具体的には、信号分別部203は、受信部202から入力された画像データのブランキング期間の所定の位置を確認し、該入力された画像データが全体領域画像データか注目領域画像データかを判断する。受信部202から入力された画像データが全体領域画像データである場合は解像度変換部204へ、注目領域画像データである場合は座標演算部205へ、入力された画像データを出力する。
【0031】
解像度変換部204は、制御部201の指示に従い、受信部202で受信した画像データの伝送フォーマットに対応した画素数、フレームレートで動作する。解像度変換部204は、信号分別部203から入力された全体領域画像データの画素数を、表示部208の表示画素数に変換し、該変換された全体領域画像データを画像合成部206へ出力する。本実施例では、画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンの全体領域画像データが、画素数3840×2160画素の画像データに変換(拡大)される。但し、変換前の画像データの画素数は1920×1080画素であるため、変換後の画素数3840×2160画素の画像データは、粗い画像のデータとなる。
【0032】
座標演算部205は、制御部201の指示に従い、受信部202で受信した画像データの伝送フォーマットに対応した画素数、フレームレートで動作する。座標演算部205は、信号分別部203から入力された注目領域画像データを座標情報が付加された状態で画
像合成部206へ出力する。本実施例では、画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンの注目領域画像データが、座標情報が付加された状態で画像合成部206に出力される。
【0033】
画像合成部206は、制御部201の指示に従い、受信部202で受信した画像データの伝送フォーマットに対応した画素数、フレームレートで動作する。
画像合成部206は、解像度変換部204から入力された全体領域画像データを、表示用画像データとしてメモリ207に記録する。
画像合成部206は、座標演算部205から入力された注目領域画像データを、該注目領域画像データより前に入力された全体領域画像データに合成する。具体的には、画像合成部206は、座標演算部205から入力された注目領域画像データを、メモリ207に記録されている表示用画像データに合成する。より具体的には、画像合成部206は、注目領域画像データに付加されている座標情報から、全体領域画像データの領域内での注目領域の位置を判断する。そして、画像合成部206は、メモリ207に記録されている表示用画像データの上記判断した領域に、注目領域画像データを合成し、表示用画像データとしてメモリ207に記録する(メモリ207に記録されている表示用画像データを更新する)。
即ち、表示装置200に入力された画像データが全体領域画像データである場合には、該全体領域画像データ(具体的には、解像度変換部204で解像度変換された全体領域画像データ)が表示用画像データとしてメモリ207に記録される。表示装置200に入力された画像データが注目領域画像データである場合には、上記合成処理により生成された画像データが表示用画像データとしてメモリ207に記録される。
【0034】
また、画像合成部206は、メモリ207に記録した表示用画像データを表示部208に画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンのフォーマットで出力する。
即ち、表示装置200に入力された画像データが全体領域画像データである場合には、該全体領域画像データ(具体的には、解像度変換部204で解像度変換された全体領域画像データ)が出力される。表示装置200に入力された画像データが注目領域画像データである場合には、上記合成処理により生成された画像データが出力される。
なお、本実施例では、画像データの入力がある度に、表示用画像データのメモリ207への記録を行う構成としているが、この構成に限らない。全体領域画像データのみがメモリ207に記録される構成であってもよい。例えば、全体領域画像データが入力される度に、該全体領域画像データがメモリ207に記録されてもよい(メモリ207に記録されている全体領域画像データが更新されてもよい)。そして、注目領域画像データが入力された場合に、メモリ207に記録されている全体領域画像データを用いて合成処理が行われ、該合成処理により生成された画像データが、メモリ207に記録せれずに表示部208に出力されてもよい。
【0035】
メモリ207は、画像合成部206が処理を行うためのフレームメモリである。
表示部208は、制御部201の指示に従い、画像合成部206から出力される表示用画像データに基づく画像を表示する。それにより、表示装置200に入力された画像データが全体領域画像データである場合には、該全体領域画像データに基づく画像が表示される。表示装置200に入力された画像データが注目領域画像データである場合には、上記合成処理により生成された画像データに基づく画像が表示される。本実施例では、画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンのフォーマットの画像が表示される。表示部208としては、液晶パネル、有機ELディスプレイパネル、プラズマディスプレイパネルなどが適用できる。
【0036】
図2に表示部208の表示例を示す。
全体領域画像データに基づく画像(全体領域画像301)は、解像度変換部204により水平方向の画素数、垂直方向の画素数がそれぞれ2倍となるように解像度変換(拡大)された画像である。即ち、全体領域画像301は、画素数が1920×1080画素(FHD)から3840×2160画素(4k2k)となるように解像度変換された画像である。本実施例では、全体領域画像301は、12フレームに1フレームの割合で更新される。
注目領域画像データに基づく画像(注目領域画像302)は、座標演算部205で指定された始点(X,Y)から始まる画素数1920×1080画素の画像である。本実施例では、注目領域画像302は、12フレームに11フレームの割合で更新される。
【0037】
図3のタイミングチャートは、撮像装置100(信号切替部109)の処理を表す。
伝送V同期信号401は、伝送部110によるフレームの出力に同期した同期信号で、60Hzのパルス信号である。即ち、伝送V同期信号401は、フレームレート60Hzで動画像データが出力(伝送)されることを示す。
フレーム番号(FN)402は、伝送V同期信号401を元にカウントされた信号である。フレーム番号402は、信号切替部109によって全体領域伝送用画像データと注目領域伝送用画像データを切り替えるためにカウントされた番号である。本実施例ではフレームレートを60Hzとしているので、カウント値を0〜59としている。
伝送用画像データ403は、フレーム番号(FN)402に対応する画像データであり、信号切替部109から出力される画像データである。図中「全」は全体領域画像データを示し、「注」は注目領域画像データを示す。本実施例では、全体領域画像データを1秒間に5回する構成としているため、12フレームのうち1フレームに全体領域画像データ、残りの11フレームに注目領域画像データが割り当てられている。
【0038】
図4のタイミングチャートは、撮像装置100と表示装置200の処理を表す。
図4には、図3の伝送V同期信号401、フレーム番号402、伝送用画像データ403の一部を拡大して示している。また、図4には、それらの信号(データ)に対応した表示装置200の処理を示している。
表示V同期信号404は、表示部208によるフレームの表示に同期した同期信号で、60Hzのパルス信号である。即ち、表示V同期信号404は、フレームレート60Hzで動画像データに基づく動画像が表示されることを示す。なお、伝送V同期信号401と表示V同期信号404のタイミングのずれは、表示装置200内の処理などによるものであり、特に意味はない。
メタデータ405は、伝送V同期信号401の期間に入力(伝送)された伝送用画像データに書き込まれているデータである。メタデータ405は、上述した識別情報と座標情報を含む。図4の例で、メタデータ(A,B,C)のAは識別情報であり、A=0は全体領域画像データであることを示し、A=1は注目領域画像データであることを示す。B,Cは座標情報を示し、Bは注目領域の位置のX(水平方向)座標を示し、Cは注目領域のY(垂直方向)座標を示す。伝送用画像データが全体領域画像データである場合には、B,Cの値は0とされる。
表示データ406は、表示部208で表示される表示用画像データの概念図である。
図4に示すように、本実施例では、全体領域画像データが入力された場合には、該全体領域画像データに基づく画像が表示される。注目領域画像データが入力された場合には、前(1つ前)に入力された全体領域画像データの注目領域に注目領域画像データが合成されたデータに基づく画像が表示される。
【0039】
次に、図5,6を用いて撮像装置100と表示装置200の動作について詳しく説明する。図5は、撮像装置100の動作の一例を示すフローチャート、図6は、表示装置200の動作の一例を示すフローチャートである。以下では、図5のフレーム番号402が12の画像データが伝送されて表示される場合、フレーム番号402が13の画像データが
伝送されて表示される場合の例を説明する。
【0040】
まず、フレーム番号402が12の画像データが伝送されて表示される場合について説明する。
図5のステップS501において、信号処理部103は、撮像部102からの画像データをA/D変換する。また、信号処理部103は、メモリ104を用いて、A/D変換した画像データに所定の画像処理(画素補完処理、色変換処理、ノイズ除去処理)を施す。それにより、画素数3840×2160画素の撮像データが生成され、生成された撮像データは解像度変換部106へ出力される(注目領域処理部108へも出力される)。
ステップS502において、解像度変換部106は、信号処理部103から入力された撮像データに、画素数を水平方向、垂直方向それぞれ1/2倍にする解像度変換処理を施す。それにより、画素数1920×1080画素の全体領域画像データが生成される。
ステップS503において、解像度変換部106は、ステップS502で生成した全体領域画像データに、そのデータが全体領域画像データであることを示すメタデータを付加する。具体的には、画像データのブランキング期間の所定の位置に、メタデータ(0,0,0)を挿入する。メタデータが付加された全体領域画像データは、信号切替部109へ出力される。
ステップS504において、信号切替部109は、カウントしているフレーム番号を確認し、全体領域画像データを出力するタイミングか否かを判断する。本実施例では、12フレームに1フレームの割合で全体領域画像データが伝送される。具体的には、フレーム番号402が、0、12、24、36、48、、、のタイミングで全体領域画像データが伝送される。ここで、フレーム番号は12であるため、信号切替部109は、全体領域画像データを出力するタイミングであると判断し、入力された全体領域画像データを伝送用画像データとして伝送部110へ出力する。そして、ステップS508へ処理が進められる。
ステップS508において、伝送部110は、入力された伝送用画像データ(全体領域画像データ)を、HDMI規格の画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンに対応したフォーマットで符号化し出力する。
伝送部110から出力されたデータはケーブル300を経由して表示装置200の受信部202に伝送される。
なお、ステップS502〜S504の処理と並列にステップS505〜S507の処理も行われる。ステップS505〜S507の処理については後述する。
【0041】
図6のステップS601において、受信部202は、受信した画像データの伝送フォーマットを判断し、画像データを復号化する。ここで、伝送フォーマットは画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンである。復号された画像データは、信号分別部203へ出力される。
ステップS602において、信号分別部203は、受信部202から入力された画像データのブランキング期間の所定の位置(メタデータ)を確認し、入力された画像データが全体領域画像データか注目領域画像データかを判断する。ここでは、メタデータが(0,0,0)であるため、信号分別部203は、入力された画像データが全体領域画像データであると判断し、該全体画像データを解像度変換部204へ出力する。そして、処理がステップS603へ進められる。
ステップS603において、解像度変換部204は、信号分別部203から入力された画像データに、画素数を水平方向、垂直方向それぞれ2倍にする解像度変換処理を施す。それにより、画素数1920×1080画素の全体領域画像データから、表示部208の表示画素数である画素数3840×2160画素の画像データが生成される。生成された画像データ(解像度変換された全体領域画像データ)は画像合成部206へ出力される。
ステップS604において、画像合成部206は、入力された全体領域画像データ(解像度変換された画像データ)をメモリ207に表示用画像データとして記録する。また、
画像合成部206は、該表示用画像データ(メモリ207に記録した表示用画像データ)を表示部208に画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンのフォーマットで出力する。
ステップS607において、表示部208は、入力された表示用画像データに基づいて各表示素子を駆動する。それにより、画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンのフォーマットの全体領域画像データに基づく画像が表示される。
【0042】
次に、フレーム番号402が13の画像データが伝送されて表示される場合について説明する。
図5のステップS501において、フレーム番号402が12のときと同様に、信号処理部103は、撮像部102からの画像データにA/D変換処理、所定の画像処理を施す。それにより、画素数3840×2160画素の撮像データを生成され、生成された撮像データが注目領域処理部108へ出力される(解像度変換部106へも出力される)。
ステップS505において、注目領域処理部108は、信号処理部103から撮像データから注目領域のデータを抽出する。それにより、画素数1920×1080画素の領域の画像データが注目領域画像データとして生成(抽出)される。
ステップS506において、注目領域処理部108は、ステップS505で生成した注目領域画像データに、そのデータが注目領域画像データであることを示す識別情報と、撮像データの領域内での注目領域の位置を表す位置情報とを含むメタデータを付加する。具体的には、画像データのブランキング期間の所定の位置に、メタデータ(1,800,400)を挿入する。メタデータが付加された注目領域画像データは、信号切替部109へ出力される。
ステップS507において、信号切替部109は、カウントしているフレーム番号を確認し、全体領域画像データを出力するタイミングか否かを判断をする。本実施例では、12フレームに1フレームの割合で全体領域画像データが伝送される。即ち、12フレームに11フレーム(1秒間に55回)の割合で注目領域画像データが伝送される。具体的には、フレーム番号402が、1〜11、13〜23、25〜35、37〜47、49〜59、、、のタイミングで注目領域画像データが伝送される。ここで、フレーム番号は13であるため、信号切替部109は、全体領域画像データを出力するタイミングでない(注目領域画像データを出力するタイミングである)と判断し、入力された注目領域画像データを伝送用画像データとして伝送部110へ出力する。そして、ステップS508へ処理が進められる。なお、全体領域画像データを出力するタイミングの場合(例えばフレーム番号が12の場合)には、ステップS502へ処理が戻される。
ステップS508において、伝送部110は、入力された伝送用画像データ(注目領域画像データ)を、HDMI規格の画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンに対応したフォーマットで符号化し伝送する。
伝送部110から出力されたデータはケーブル300を経由して表示装置200の受信部202に伝送される。
なお、上述したように、ステップS505〜S507の処理と並列にステップS502〜S504の処理も行われる。ここでは、フレーム番号が13であるため、ステップS504で、全体領域画像データを出力するタイミングでないと判断され、処理がステップS502へ戻される。
【0043】
図6のステップS601において、フレーム番号402が12のときと同様に、受信部202は、受信した画像データの伝送フォーマットを判断し、画像データを復号化する。ここで、伝送フォーマットは画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンである。復号された画像データは、信号分別部203へ出力される。
ステップS602において、信号分別部203は、受信部202から入力された画像デ
ータのブランキング期間の所定の位置(メタデータ)を確認し、入力された画像データが全体領域画像データか注目領域画像データかを判断する。ここでは、メタデータが(1,800,400)であるため、信号分別部203は、入力された画像データが注目領域画像データであると判断し、該注目領域画像データを座標演算部205へ出力する。そして、処理がステップS605へ進められる。
ステップS605において、座標演算部205は、信号分別部203から入力された画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンの注目領域画像データを座標情報(800,400)と共に画像合成部206に出力する。
ステップS606において、画像合成部206は、入力された注目領域画像データをメモリ207に記録された前フレームの表示用画像データに上書きする。具体的には、前フレームの表示用画像データの注目領域(座標情報で示される座標(800,400)を始点とする、画素数1920×1080画素の領域)に注目領域画像データを上書き(合成)する。それにより、該合成により生成された画像データが表示用画像データとしてメモリ207に記録される。また、画像合成部206は、該表示用画像データ(上記合成により生成した画像データ)を表示部208に画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンのフォーマットで出力する。
ステップS607において、表示部208は、入力された表示用画像データに基づいて各表示素子を駆動する。それにより、画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンの合成画像データ(全体領域画像データと注目領域画像データとが合成された画像データ)に基づく画像が表示される。
【0044】
以上述べたように、本実施例によれば、撮像装置(画像処理装置)で、元の画像データの解像度を低減することにより、表示装置に伝送可能な画素数の第1画像データ(全体領域画像データ)が生成される。また、元の画像データから一部の領域(注目領域)の画像データを抽出することにより、表示装置に伝送可能な画素数の注目領域画像データ(第2画像データ)が生成される。そして、表示装置に伝送する動画像データの1フレームの画素数が表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかが出力される。
表示装置では、入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの注目領域に、第2画像データが合成される。そして、入力された画像データが第1画像データである場合に、該第1画像データに基づく画像が表示され、入力された画像データが第2画像データである場合に、上記合成された画像データに基づく画像が表示される。
このような構成にすることにより、ユーザが表示された動画像の中から注目領域を容易に確認することが可能となる。具体的には、第1画像データは、粗いが全領域を表す画像データである。そして、第2画像データは、細かい(元の解像度の)画像データである。本実施例では、第1画像データと第2画像データが伝送され、それらを合成した画像が表示されるため、ユーザは、画像の全領域を確認することができ、且つ、注目領域を高い解像度で確認することができる。その結果、ユーザは表示された動画像の中から注目領域を容易に確認することができる。
【0045】
なお、本実施例では、画像処理装置が1つの第1画像データを出力した後に複数の第2画像データを出力する構成としたが、このような構成でなくてもよい。例えば、第1画像データと第2画像データは交互に出力されてもよい。また、複数の第1画像データが出力された後に複数の第2画像データが出力されてもよい。そのような構成であっても、上記効果に順じた効果を得ることができる。但し、第2画像データの出力頻度が第1画像データの出力頻度よりも多ければ、注目領域が高画質(高解像度)で表示される頻度が増すため、ユーザは表示された動画像の中から注目領域をより容易に確認することができる。
【0046】
なお、本実施例では、識別情報や位置情報(領域情報)などのメタデータが画像データ
に付加される構成としたが、このような構成でなくてもよい。例えば、表示装置が、第1画像データの出力タイミング、第2画像データの出力タイミング、注目領域の位置やサイズなどを把握している場合には、上記メタデータが画像データに付加されていなくてもよい。
【0047】
なお、本実施例では、第1画像データと第2画像データの両方に、その画像データが第1画像データか第2画像データかを示す識別情報を付加する構成としたが、第1画像データと第2画像データのいずれか一方にのみ識別情報が付加される構成であってもよい。例えば、第1画像データにのみ識別情報が付加されていてもよい。その場合には、入力された画像データに識別情報が付加されているか否かを確認することにより、その画像データが第1画像データなのか第2画像データなのかを判断することができる。
【0048】
なお、本実施例では、撮像装置(画像処理装置)が、撮像データから第1画像データと第2画像データの両方を生成し、それらのいずれかを選択して出力する構成としたが、このような構成でなくてもよい。画像処理装置が出力する画像データのみを生成してもよい。即ち、画像処理装置は、第1画像データを出力する場合に第1画像データのみを生成し、第2画像データを出力する場合に第2画像データのみを生成してもよい。
【0049】
<実施例2>
本発明の実施例2に係る画像表示システム及びその制御方法について説明する。なお、本実施例に係る画像表示システムのブロック図は図1と同様のため、全体的な説明は省略する。本実施例では、画像合成部206の処理が実施例1と異なる。
本実施例では、画像合成部206は、(表示装置200に)入力された画像データが第1画像データ(全体領域画像データ)である場合に、該第1画像データの一部の領域(注目領域)に第2画像データ(注目領域画像データ)を合成する処理を行う。具体的には、画像合成部206は、入力された第1画像データよりも前に第2画像データが入力されていた場合に、該第1画像データの一部の領域に、第1画像データよりも前に入力された第2画像データを合成する。その他の処理は、実施例1と同様のため、その説明は省略する。
上記構成により、表示部208において、入力された画像データが第1画像データであり、且つ、該第1画像データよりも前に第2画像データが入力されていた場合に、上記合成された画像データに基づく画像が表示される。
【0050】
図7,8を用いて本実施例に係る表示装置200の動作について詳しく説明する。図7は、撮像装置100と表示装置200の処理を表すタイミングチャートである。図7の符号401〜406は、図4の符号401〜406と同じ信号(データ)を示す。図8は、表示装置200の動作の一例を示すフローチャートである。以下では、図7のフレーム番号402が12の画像データが伝送されて表示される場合の例を説明する。なお、撮像装置100の動作は、実施例1と同様のため、その説明は省略する。
【0051】
図8に示すように、本実施例では、実施例1(図6)のステップS604の代わりにステップS901の処理を行う。
ステップS601において、受信部202は、受信した画像データの伝送フォーマットを判断し、画像データを復号化する。ここで、伝送フォーマットは画素数1920×1080画素、フレームレート60Hz、プログレッシブスキャンである。復号された画像データは、信号分別部203へ出力される。
ステップS602において、信号分別部203は、受信部202から入力された画像データのブランキング期間の所定の位置(メタデータ)を確認し、入力された画像データが全体領域画像データか注目領域画像データかを判断する。ここでは、メタデータが(0,0,0)であるため、信号分別部203は、入力された画像データが全体領域画像データ
であると判断し、該全体画像データを解像度変換部204へ出力する。そして、処理がステップS603へ進められる。
ステップS603において、解像度変換部204は、信号分別部203から入力された画像データに、画素数を水平方向、垂直方向それぞれ2倍にする解像度変換処理を施す。それにより、画素数1920×1080画素の全体領域画像データから、表示部208の表示画素数である画素数3840×2160画素の画像データが生成される。生成された画像データ(解像度変換された全体領域画像データ)は画像合成部206へ出力される。
ステップS901において、画像合成部206は、入力された全体領域画像データ(解像度変換された画像データ)をメモリ207に表示用画像データとして記録する。そして、画像合成部206は、入力された全体領域画像データよりも前に入力された注目領域画像データを、該全体領域画像データ(メモリ207に記録された表示用画像データ)の注目領域に合成する。具体的には、画像合成部206は、入力された全体領域画像データの1つ前に入力された注目領域画像データを、合成用画像データとしてメモリ207に記録する。そして、画像合成部206は、入力された全体領域画像データの注目領域(座標情報で示される座標(800,400)を始点とする、画素数1920×1080画素の領域)に、合成用画像データを上書き(合成)する。それにより、該合成により生成された画像データが表示用画像データとしてメモリ207に記録される。また、画像合成部206は、該表示用画像データ(上記合成により生成した画像データ)を表示部208に画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンのフォーマットで出力する。なお、合成用画像データの記録は、どのようなタイミングで行われてもよい。例えば、注目領域画像データが入力される度に(注目領域画像データが入力されたタイミングで)、該画像データが合成用画像データとして記録、更新されてもよい。全体領域画像データが入力されたタイミングで、その1つ前に入力された分割領域画像データが合成用画像データとして記録されてもよい。
ステップS607において、表示部208は、入力された表示用画像データに基づいて各表示素子を駆動する。それにより、画素数3840×2160画素、フレームレート60Hz、プログレッシブスキャンの合成画像データ(全体領域画像データと注目領域画像データとが合成された画像データ)に基づく画像が表示される。
【0052】
以上述べたように、本実施例によれば、入力された画像データが全体画像データ(第1画像データ)である場合にも、全体領域画像データの注目領域へ注目領域画像データ(第2画像データ)が合成される。そして、該合成により生成された画像データに基づく画像が表示される。即ち、本実施例によれば、注目領域は常に高画質(高解像度)で表示される。その結果、実施例1の構成に比べ、ユーザは表示された動画像の中から注目領域をより容易に確認することができる。
【符号の説明】
【0053】
100 撮像装置
106 解像度変換部
108 注目領域処理部
109 信号切替部
200 表示装置
206 画像合成部
208 表示部

【特許請求の範囲】
【請求項1】
画像データを出力する画像処理装置と、入力された画像データに基づく画像を表示する表示装置と、からなる画像表示システムであって、
前記画像処理装置は、
元の画像データの解像度を低減することにより、前記表示装置に伝送可能な画素数の第1画像データを生成する低減手段と、
元の画像データから一部の領域の画像データを抽出することにより、前記表示装置に伝送可能な画素数の第2画像データを生成する抽出手段と、
前記表示装置に伝送する動画像データの1フレームの画素数が前記表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかを出力する出力手段と、
を有し、
前記表示装置は、
入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの前記一部の領域に、前記第2画像データを合成する合成手段と、
入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、前記合成手段で合成された画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする画像表示システム。
【請求項2】
前記出力手段は、1つの第1画像データを出力した後に、複数の第2画像データを出力する
ことを特徴とする請求項1に記載の画像表示システム。
【請求項3】
前記画像処理装置は、
第1画像データ、第2画像データ、または、その両方に、その画像データが第1画像データか第2画像データかを示す識別情報を付加する識別情報付加手段
を更に有し、
前記表示装置は、
入力された画像データに付加されている識別情報から、前記入力された画像データが第1画像データか第2画像データかを判断する判断手段
を更に有する
ことを特徴とする請求項1または2に記載の画像表示システム。
【請求項4】
前記画像処理装置は、
第2画像データに、元の画像データの領域内での前記一部の領域の位置を表す領域情報を付加する領域情報付加手段
を更に有し、
前記合成手段は、入力された第2画像データに付加されている領域情報から、前記一部の領域の位置を判断する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像表示システム。
【請求項5】
前記合成手段は、入力された画像データが第1画像データであり、且つ、該第1画像データよりも前に第2画像データが入力されていた場合に、前記第1画像データの前記一部の領域に、前記第1画像データよりも前に入力された第2画像データを合成し、
前記表示手段は、入力された画像データが第1画像データであり、且つ、該第1画像データよりも前に第2画像データが入力されていた場合に、前記合成手段で合成された画像データに基づく画像を表示する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像表示システム。
【請求項6】
元の画像データの解像度を低減することにより、表示装置に伝送可能な画素数の第1画像データを生成する低減手段と、
元の画像データから一部の領域の画像データを抽出することにより、前記表示装置に伝送可能な画素数の第2画像データを生成する抽出手段と、
前記表示装置に伝送する動画像データの1フレームの画素数が前記表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかを出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項7】
入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの一部の領域に、前記第2画像データを合成する合成手段と、
入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、前記合成手段で合成された画像データに基づく画像を表示する表示手段と、
を有し、
前記第1画像データは、元の画像データの解像度を低減することにより生成された画像データであり、
前記第2画像データは、元の画像データから前記一部の領域の画像データを抽出することにより生成された画像データである
ことを特徴とする表示装置。
【請求項8】
画像データを出力する画像処理装置と、入力された画像データに基づく画像を表示する表示装置と、からなる画像表示システムの制御方法であって、
前記画像処理装置が、元の画像データの解像度を低減することにより、前記表示装置に伝送可能な画素数の第1画像データを生成する低減ステップと、
前記画像処理装置が、元の画像データから一部の領域の画像データを抽出することにより、前記表示装置に伝送可能な画素数の第2画像データを生成する抽出ステップと、
前記画像処理装置が、前記表示装置に伝送する動画像データの1フレームの画素数が前記表示装置に伝送可能な画素数よりも多い場合に、フレーム毎に第1画像データと第2画像データのいずれかを出力する出力ステップと、
前記表示装置が、入力された画像データが第2画像データである場合に、該第2画像データより前に入力された第1画像データの前記一部の領域に、前記第2画像データを合成する合成ステップと、
前記表示装置が、入力された画像データが第1画像データである場合に、該第1画像データに基づく画像を表示し、入力された画像データが第2画像データである場合に、前記合成ステップで合成された画像データに基づく画像を表示する表示ステップと、
を有することを特徴とする画像表示システムの制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−3339(P2013−3339A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−134175(P2011−134175)
【出願日】平成23年6月16日(2011.6.16)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】