説明

画像処理装置及びその方法

【課題】 複数の動画像出力要求に対しては一定時間内に出力画像を作成することが出来ない場合があった。又、縮小のみの処理では、フィルタ処理の関係で最適な画質とならない場合があった。
【解決手段】 固定倍率で解像度変換を行う複数の第1の解像度変換手段と、任意倍率で拡大もしくは縮小の解像度変換を行う第2の解像度変換手段と、第2の変換手段において拡大処理を行うか縮小処理を行うかの判断をする手段を備え、該第2の変換手段は、該複数の第1の変換手段のうち隣接した変換手段間の倍率差をカバーする範囲で拡大及び縮小が可能とする構成とした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像に対して画像処理を行い出力する画像処理装置及びその方法に関するものである。
【背景技術】
【0002】
入力画像に対して1/Pnの変換手段により変倍した後、1〜1/Pの変動倍率の変換手段で変倍することにより、所望の解像度の画像を得る画像処理装置及び方法が提案されている(例えば、特許文献1参照)。
【特許文献1】特開平6−197266号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら上記特許文献1に係る技術では、複数の動画像出力要求に対しては一定時間内に出力画像を作成することが出来ない場合があった。
【0004】
又、縮小のみの処理では、フィルタ処理の関係で最適な画質とならない場合があった。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明では固定倍率で解像度変換を行う複数の第1の解像度変換手段と、任意倍率で拡大もしくは縮小の解像度変換を行う第2の解像度変換手段と、第2の変換手段において拡大処理を行うか縮小処理を行うかの判断をする手段を備え、該第2の変換手段は、該複数の第1の変換手段のうち隣接した変換手段間の倍率差をカバーする範囲で拡大及び縮小が可能とする構成とした。
【発明の効果】
【0006】
動画像において複数の出力要求があった場合でも、処理すべき量に応じて最適な処理方法を選択することで、複数ユーザーへのサービスと画質を両立させることが出来る。
【0007】
又、要求に対して最適な画質の出力画像を得ることが可能となる。
【発明を実施するための最良の形態】
【0008】
(第1の実施形態)
以下、図面を用いて本発明の一実施例について詳細に説明する。図1には本実施例におけるハード構成ブロック図を示す。101は画像データを入力する手段、102〜104は各々決められた固定倍率で解像度変換が可能な手段、ここで倍率は102が1/α、103が1/β、104が1/γとする。105は一つ或いは複数の解像度の画像出力を指示可能な出力指示手段、106は解像度変換手段108における変換方法を判断する手段、107は該判断手段106の判断結果に従い装置を制御する手段、108は1/Δ〜Δ(Δ=Max(α、β、γ))の範囲の任意倍率で解像度変換が可能な手段、109は変換された一つ或いは複数の解像度の画像を出力する手段である。110は中間データなどを転送するバスである。
【0009】
解像度変換手段に関しては、公知の技術が知られている為、ここでは詳述しない。
【0010】
図1及び図2に示した本実施形態における動作フローチャートを使用して本実施形態の動作について説明する。
【0011】
ステップS201にて出力指示手段により一つ或いは複数の解像度の画像出力指示がなされると、該指示は判断手段106に送られる。
【0012】
判断手段106では該指示に基づいてバス110を転送されるデータ量を算出する(ステップS202)。次にステップS203にて該算出結果から解像度変換手段108での処理を拡大とするか縮小とするかの判断を行う。ステップS202及びS203における算出並びに判断動作の詳細は後述する。
【0013】
ステップS204では判断結果に従って、1フレーム分の入力画像に対して解像度変換処理を行い、得られた出力画像を順次出力手段109に出力する。
【0014】
ステップS205では出力指示に変更があったが否かを判断し、変更が無ければステップS204へ戻り次の1フレーム分の入力画像に対して解像度変換処理及び出力を行う。
【0015】
変更があった場合は、ステップS206へすすみ、該変更が出力終了の指示であったか否かを判断する。出力終了であった場合は、処理並びに出力を終了する。そうでない場合は、ステップS202へ戻り、指示に基づいてデータ量を再算出する。
【0016】
(データ量算出及び判断動作説明)
説明の為、入力画像として解像度1920×1080ピクセル(YCbCr 4:2:2フォーマット、1ピクセル当りY:8bit/C:8bit)の画像データが30フレーム/秒で入力されると想定する。このときデータ量は、1920×1080×8×2×30=995.328Mbit/sとなる。また、102〜104、108における変倍率は各々1/2、1/3、1/4及び1/4〜4とする。
【0017】
出力指示手段105にて所望の出力画像解像度として、入力画像解像度の1/2(以下1/2サイズ)、1/6(以下1/6サイズ)、1/20(以下1/20サイズ)を指示したとする。指示があると、判断手段106は、予め決められている入力画像のサイズから指示に従い、固定倍率の解像度変換手段102〜104及び任意倍率の解像度変換手段108をどのように組み合わせれば所望の出力画像解像度が得られるか候補をリストアップする。本実施形態の例では、図5のようになる。その際、任意倍率の解像度変換手段108については拡大とした場合、縮小とした場合の両方についてリストアップする。Case番号1は1/2サイズの場合で、固定倍率1/2の解像度変換手段102の処理のみを行うことを示し、Case番号2では固定倍率1/2の解像度変換手段102と固定倍率1/3の解像度変換手段103の処理のみを行うことを示している。また、Case番号3/4は、ともに1/20サイズの場合である。Case番号3は固定倍率1/2の解像度変換手段102、固定倍率1/3の解像度変換手段103並びに解像度変換手段108にて3/10の縮小処理を行うことを示している。Case番号4は固定倍率1/2の解像度変換手段102、固定倍率1/3の解像度変換手段103、固定倍率1/4の解像度変換手段104並びに解像度変換手段108にて6/5の拡大処理を行うことを示している。
【0018】
図3は各Case番号に対するデータの流れを示した図である。図6には各Case番号に対するバス110を転送される単位時間当りのデータ量を示す。図6から解像度変換手段108において縮小処理或いは拡大処理を選択した場合の総データ量は以下のようになる。
(1)縮小処理の場合(Case1.+Case.2+Case.3)
97.664+165.888+215.654 = 879.206 Mbit/s
(2)拡大処理の場合(Case1.+Case.2+Case.4)
97.664+165.888+91.238 = 754.79 Mbit/s
いま、バス110の転送可能なデータ帯域を1.6Gbit/sとする。このとき、画像データ転送に使用する帯域は制御データなど他のデータ転送及びWaitが入ることなどを考慮して、閾値を0.5倍の800Mbit/sとする。
【0019】
上述した通り、Case番号1、2、3の組み合わせでは画像データのデータ帯域は879.206Mbit/s、Case番号1、2、4の組み合わせでは754.79Mbit/sとなるため、縮小処理時には800Mbit/sを超える。よって、この場合ではCase番号1、2、4の組み合わせが選択される。
【0020】
以上のように構成すれば、複数の解像度の画像に対する出力要求が指示された場合に於いても、処理すべき量に応じて最適な処理方法を選択することで、複数ユーザーへのサービスと画質を両立させることが出来る。
【0021】
本実施形態では固定倍率を1/2、1/3、1/4としたが、もちろんこれに限定されるものではない。任意倍率に関しても固定倍率が1/α、1/β、1/γとした場合、1/Δ〜Δ(Δ=Max(α、β、γ))の範囲であるとしたが、実際には該範囲をカバーすると、拡大処理と縮小処理とで重複する範囲が生ずるので重複範囲を削減或いは削除することで構成をより簡素にすることも可能である。
【0022】
また、本実施形態では複数の固定倍率の解像度変換手段をカスケード状に接続する構成としたが、これに限定されるものではない。例えばこれを並列に接続し選択的に適用する構成などが考えられる。
【0023】
(第2の実施形態)
第1の実施形態では、任意倍率の解像度変換手段における拡大もしくは縮小の判断を、固定倍率の解像度変換手段と任意倍率の解像度変換手段間を転送されるデータ量に応じて行ったが、これを他のパラメータによることも可能である。本実施形態では、拡大もしくは縮小時の任意倍率の解像度変換手段における変倍率を比較することで判断を行う例について説明する。
【0024】
一般に解像度変換処理を行う場合は変倍率に適応させたフィルタ処理を施すが、フィルタ特性として理想的なものは実現不可能であるので、現実にはフィルタ処理を施すことで画質は劣化を免れない。また、任意倍率を実現する解像度変換手段におけるフィルタは、予め決められた固定倍率の解像度変換手段であれば該固定倍率に対してフィルタ係数などを最適化出来るのに比べて、全ての倍率範囲に対して最適化を図ることは容易ではない。しかも倍率が大きく(拡大率が大きく)、或いは小さく(縮小率が大きく)なるに従って、画質を維持する困難性が高くなる。但し、拡大と縮小とでは拡大の方がより困難である。従って、任意倍率の解像度変換手段においては、以下の点に留意することが画質劣化を最小限にするために重要となる。
【0025】
・倍率をなるべく小さくする
・同程度の倍率では拡大よりも縮小を選択する
本実施形態では上記に着目して判断を行うものである。
【0026】
尚、説明は前述実施形態と異なる点についてのみ記載する。
【0027】
図4に本実施形態における動作フローチャートを示す。
【0028】
ステップS201にて出力指示手段により一つ或いは複数の解像度の画像出力指示がなされると、該指示は判断手段106に送られる。
【0029】
判断手段106では該指示に基づいて任意倍率の解像度変換手段108における変倍率を算出する(ステップS401)。次にステップS402にて該算出結果から解像度変換手段108での処理を拡大とするか縮小とするかの判断を行う。ステップS401及びS402における算出並びに判断動作の詳細は後述する。
【0030】
ステップS204以降は前述実施形態と同様である。
【0031】
(変倍率算出及び判断動作説明)
入力画像のフォーマット及び出力指示は前述実施形態と同様であると想定する。
【0032】
このとき、任意倍率の解像度変換手段108における変倍率は図5から以下の通りである。
(3)縮小処理の場合
3/10 = 1/(10/3)
(4)拡大処理の場合
6/5
従って、両者の比率はRatio = (10/3)/(6/5) = 2.778となる。該Ratioが予め決められた閾値S以下であれば縮小処理を選択し、閾値Sより大きければ拡大処理を選択する。例えば閾値S=2.0とすれば、上記の場合では拡大処理を選択する。
【0033】
以上のように構成すれば任意倍率の解像度変換手段により処理を行った場合に、従来に比して高画質な出力画像を得ることが可能となる効果がある。
【0034】
また、第1の実施形態におけるデータ量算出結果による処理と本実施形態における変倍率算出による処理を組み合わせた形態ももちろん考えられる。
【図面の簡単な説明】
【0035】
【図1】本発明の第1実施形態におけるハード構成ブロック図。
【図2】本発明の第1実施形態における動作のタイミングチャート。
【図3】本発明の第1実施形態におけるデータフローを示した図。
【図4】本発明の第2実施形態における動作のタイミングチャート。
【図5】本発明の第1実施形態における解像度変換手段の組み合わせを示した表。
【図6】本発明の第1実施形態におけるデータ転送量を示した表。
【符号の説明】
【0036】
101 入力手段
102 第1の解像度変換手段
103 第1の解像度変換手段
104 第1の解像度変換手段
105 出力指示手段
106 判断手段
107 制御手段
108 第2の解像度変換手段
109 出力手段
110 バス

【特許請求の範囲】
【請求項1】
固定倍率で解像度変換を行う複数の第1の解像度変換手段と、任意倍率で拡大もしくは縮小の解像度変換を行う第2の解像度変換手段と、第2の変換手段において拡大処理を行うか縮小処理を行うかの判断をする手段を備え、該第2の変換手段は、該複数の第1の変換手段のうち隣接した変換手段間の倍率差をカバーする範囲で拡大及び縮小が可能である画像処理装置。
【請求項2】
上記判断手段は、第1の変換手段と第2の変換手段間を転送するデータ量が閾値以下の場合は縮小、それより大きい場合は拡大とすることを特徴とする第1項記載の画像処理装置。
【請求項3】
上記判断手段は、第2の変換手段を縮小とした場合の縮小率1/aと、拡大とした場合の拡大率bの比率a/bが閾値以下の場合は縮小、それより大きいの場合は拡大とすることを特徴とする第1項記載の画像処理装置。
【請求項4】
固定倍率で解像度変換を行う複数の第1の解像度変換ステップと、任意倍率で拡大もしくは縮小の解像度変換を行う第2の解像度変換ステップと、第2の変換ステップにおいて拡大処理を行うか縮小処理を行うかの判断をするステップを備え、該第2の変換ステップは、該複数の第1の変換ステップのうち隣接した変換ステップ間の倍率差をカバーする範囲で拡大及び縮小が可能である画像処理方法。
【請求項5】
上記判断ステップは、第1の変換ステップと第2の変換ステップ間に生成されるデータ量が閾値以下の場合は縮小、それより大きいの場合は拡大とすることを特徴とする第4項記載の画像処理方法。
【請求項6】
上記判断ステップは、第2の変換ステップを縮小とした場合の縮小率1/aと、拡大とした場合の拡大率bの比率a/bが閾値以下の場合は縮小、それより大きいの場合は拡大とすることを特徴とする第4項記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−269154(P2008−269154A)
【公開日】平成20年11月6日(2008.11.6)
【国際特許分類】
【出願番号】特願2007−109519(P2007−109519)
【出願日】平成19年4月18日(2007.4.18)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】