説明

画像表示装置および画像表示方法

【課題】グラフィック処理が増加した場合でも、DRAM帯域の圧迫を抑えることができる画像表示装置および画像表示方法を提供する。
【解決手段】共通バスに接続された画像記憶部に記憶された入力画像をグラフィック処理後に表示する画像表示装置であって、第1のグラフィック処理機能および第2のグラフィック処理機能を有し、入力画像に第1のグラフィック処理を行った画像または続いて第2のグラフィック処理を行った画像のいずれかの画像を、処理画像として画像記憶部に記憶させるグラフィック処理部と、第2のグラフィック処理機能と同等の処理機能を有し、処理画像または該処理画像に第2のグラフィック処理を行った画像のいずれかの画像を、表示画像として出力する表示処理部と、予め定められた条件に基づいて、第2のグラフィック処理を実行する処理部をグラフィック処理部または表示処理部のいずれの処理部に切り替える切り替え制御部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置および画像表示方法に関する。
【背景技術】
【0002】
近年、デジタルカメラやテレビなどのデジタル機器では、アニメーションなどを駆使したグラフィカルユーザインタフェース(GUI:Graphical User Interface)を表示している。特に、スマートフォンと呼ばれる携帯端末などでは、専用のグラフィックプロセッサを搭載することによって、凝った表示を実現している。
【0003】
グラフィックプロセッサの備えられている主な機能としては、以下のような機能が挙げられる。
(1)ポリゴン処理
(2)重畳処理
(3)陰面処理
(4)シェーディング処理
【0004】
ポリゴン処理は、立体の形状を複数の多角形(主に、三角形)に細分化し、多角形の頂点の座標を3次元空間の座標として表現し、座標を変更することによって多角形の形状を変形させ、立体形状の動きを表現した2次元空間の画像を生成する処理である。また、重畳処理は、複数枚の画像を合成した1枚の画像を生成する処理であり、完全な透明や半透明の画像を処理する、いわゆるアルファブレンディング処理を含んだ処理である。また、陰面処理は、陰となって見えない部分の画像を処理することによって奥行きを表現した画像にする処理である。また、シェーディング処理は、物体に影や光沢をつけることによって立体の効果を得る処理である。
【0005】
特許文献1では、このような機能を搭載した画像処理装置の技術が開示されている。また、上記に示したような機能を持ったグラフィックプロセッサを搭載することによって、より訴求力のある表示を実現したシステムや機器を提供することができる。例えば、デジタルカメラにグラフィックプロセッサを搭載することによって、撮影された画像をより魅力的に表示するスライドショーの機能を実現することができる。
【0006】
デジタルカメラなどの画像表示装置が、メディア(記録媒体)に記録されている複数の画像を読み出して、TFT(薄膜トランジスター:Thin Film Transistor)液晶などの表示デバイスに画像を表示するスライドショーの機能では、以下のような処理が行われる。なお、デジタルカメラにおける一連の処理では、各処理ブロックが共有するDRAM(Dynamic Random Access Memory)などのメモリが利用される。そして、デジタルカメラに備えた各処理ブロックは、処理過程のデータをDRAMに一時的に記憶し、次の処理に必要なデータをDRAMから読み出して、それぞれの処理を行う。このとき、各処理ブロックは、DMA(Direct Memory Access)によってDRAMへのアクセスを行う。
【0007】
(処理1):メディアから複数の圧縮された撮影画像を読み出し、読み出した複数の圧縮された撮影画像をDRAMに書き込む。
(処理2):DRAMに記憶された複数の圧縮された撮影画像を読み出して、伸張処理や画像処理を行った後、処理後の撮影画像を再びDRAMに書き込む。
(処理3):デジタルカメラに搭載されたグラフィックプロセッサが、DRAMに記憶された画像処理後の撮影画像や背景画像(バックグランド画像)などを読み出し、所望の処理を行った表示用の画像(表示画像)を生成し、再びDRAMに書き込む。
(処理4):デジタルカメラに搭載された表示処理部が、DRAMに記憶された表示画像を読み出し、表示デバイスに表示させる。
【0008】
このように、デジタルカメラなどの画像表示装置では、一連の処理において、各処理ブロックからのDRAMへのアクセスが頻繁に行われる。また、各処理ブロックからのDRAMへのアクセスは、処理ブロック毎に順次行われるのではく、複数の処理ブロックから同時にアクセスされることもある。このため、DRAMと各処理ブロックとで受け渡しを行うデータ量を表す帯域(DRAM帯域)は、それぞれの処理ブロックが処理に必要とする量のデータの受け渡しが行える十分な帯域が確保されていることが望ましい。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2002−352267号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上述したポリゴン処理や重畳処理などによって、表示画像にさらに複雑なアニメーション表示の処理を行う場合には、グラフィックプロセッサによるさらなる処理が必要となる。このため、グラフィックプロセッサからのDRAMへのアクセスが増加することになる。このとき、DRAM帯域が圧迫されてしまうと、グラフィックプロセッサが処理に必要なデータを必要なタイミングで得ることができなくなり、例えば、アニメーション表示におけるそれぞれの表示画像の生成に長い時間を要してしまう。これにより、表示画像のフレームレートが低下し、結果的に動きが緩慢なアニメーション表示になってしまう。
【0011】
ここで、グラフィックプロセッサが表示画像を生成する際の処理の一例を示す。図9は、従来の画像表示装置における表示処理の一例を模式的に示した図である。図9では、6枚の撮影画像を台形処理して2枚の背景画像に重畳した表示画像を生成する場合の、各処理の過程を示している。グラフィックプロセッサは、以下のような処理を行う。
【0012】
(処理1):DRAMに記憶された6枚の画像処理後の撮影画像(図9(a)参照)をそれぞれ読み出し、それぞれ台形処理した6枚の台形画像(図9(b)参照)を生成し、再びDRAMに書き込む。
(処理2):DRAMに記憶された2枚の背景画像(図9(c)参照)をそれぞれ読み出し、背景画像1に背景画像2を重畳した1枚の新背景画像(図9(d)参照)を生成し、再びDRAMに書き込む。
(処理3):DRAMに記憶された6枚の台形画像と、1枚の新背景画像とをそれぞれ読み出し、新背景画像に6枚の台形画像を1枚ずつ重畳した表示画像(図9(e)参照)を生成し、再びDRAMに書き込む。
【0013】
その後、表示処理部が、DRAMに記憶された表示画像を読み出し、表示デバイスに表示させる。このように、グラフィックプロセッサがそれぞれの処理を行う過程でも、DRAMへのアクセスが行われる。これにより、DRAM帯域が圧迫され、表示画像の所望のフレームレートが確保できなくなる、という問題がある。
【0014】
さらに、例えば、背景画像2と6枚の画像処理後の撮影画像とを半透明にして、台形処理した6枚の台形画像と背景画像2との下に、背景画像1が見えるようにした表示画像を生成する場合には、上述したグラフィックプロセッサの処理に加えて、アルファブレンディング処理による重畳処理が必要となる。これにより、グラフィックプロセッサの処理時間がさらに長くなり、表示画像の所望のフレームレートを確保することが、より困難になってしまうこともある。
【0015】
本発明は、上記の課題認識に基づいてなされたものであり、グラフィックプロセッサが行うグラフィック処理が増加した場合でも、DRAM帯域の圧迫を抑えることができる画像表示装置および画像表示方法を提供することを目的としている。
【課題を解決するための手段】
【0016】
上記の課題を解決するため、本発明の画像表示装置は、共通バスに接続された画像記憶部に記憶された入力画像に対してグラフィック処理した後の表示画像を表示する画像表示装置であって、前記入力画像を処理する第1のグラフィック処理の機能および第2のグラフィック処理の機能を有し、前記画像記憶部から取得した前記入力画像に対して前記第1のグラフィック処理を行った画像、または前記第1のグラフィック処理に続いて前記第2のグラフィック処理を行った画像のいずれかの画像を、処理画像として前記画像記憶部に出力して記憶させるグラフィック処理部と、前記第2のグラフィック処理の機能と同等の処理機能を有し、前記画像記憶部から取得した前記処理画像、または該処理画像に対して前記第2のグラフィック処理と同等の処理を行った画像のいずれかの画像を、前記表示画像として出力する表示処理部と、予め定められた条件に基づいて、前記第2のグラフィック処理を実行する処理部を、前記グラフィック処理部または前記表示処理部のいずれの処理部に切り替える切り替え制御部と、を備えることを特徴とする。
【0017】
また、本発明の前記第2のグラフィック処理は、アルファブレンディング処理を含み、前記第1のグラフィック処理を行った画像と、前記画像記憶部から取得した前記入力画像とを重畳する重畳処理である、ことを特徴とする。
【0018】
また、本発明の前記予め定められた条件は、前記表示画像を表示する際の表示速度、前記表示画像の画素数、および前記重畳処理を行う画像の数のいずれか1つ、または複数の閾値であり、前記切り替え制御部は、前記閾値が予め定めた値よりも小さい場合には、前記重畳処理を前記グラフィック処理部で実行し、前記閾値が予め定めた値よりも大きい場合には、前記重畳処理を前記表示処理部で実行するように切り替える、ことを特徴とする。
【0019】
また、本発明の画像表示装置において、前記重畳処理を前記表示処理部で実行する場合、前記グラフィック処理部は、前記第1のグラフィック処理を行った画像に、該第1のグラフィック処理を行った画像内の各画素の透明度を表す透明度データを付加し、該透明度データを付加した画像を、前記処理画像として前記画像記憶部に記憶させ、前記前記表示処理部は、前記画像記憶部から取得した前記処理画像に付加された前記透明度データに基づいて、該処理画像と、前記画像記憶部から取得した前記入力画像とを重畳した画像を、前記表示画像として出力する、ことを特徴とする。
【0020】
また、本発明の画像表示装置において、前記重畳処理を前記グラフィック処理部で実行する場合、前記グラフィック処理部は、前記第1のグラフィック処理に続いて、該第1のグラフィック処理を行った画像と、前記画像記憶部から取得した前記入力画像とを重畳した画像を、前記処理画像として前記画像記憶部に記憶させ、前記前記表示処理部は、前記画像記憶部から取得した前記処理画像を、前記表示画像として出力する、ことを特徴とする。
【0021】
また、本発明の画像表示装置において、前記予め定められた条件が、前記表示画像を表示する際の表示速度の閾値であるとき、前記切り替え制御部は、前記表示画像を表示する際の表示速度が、予め定めた前記表示速度の閾値よりも遅い場合には、前記重畳処理を前記グラフィック処理部で実行し、予め定めた前記表示速度の閾値よりも速い場合には、前記重畳処理を前記表示処理部で実行するように切り替える、ことを特徴とする。
【0022】
また、本発明の画像表示装置において、前記予め定められた条件が、前記表示画像の画素数の閾値であるとき、前記切り替え制御部は、前記表示画像の画素数が、予め定めた前記画素数の閾値よりも少ない場合には、前記重畳処理を前記グラフィック処理部で実行し、予め定めた前記画素数の閾値よりも多い場合には、前記重畳処理を前記表示処理部で実行するように切り替える、ことを特徴とする。
【0023】
また、本発明の画像表示装置において、前記予め定められた条件が、前記重畳処理を行う画像の数の閾値であるとき、前記切り替え制御部は、前記重畳処理を行う画像の数が、予め定めた前記重畳処理を行う画像の数の閾値よりも少ない場合には、前記重畳処理を前記グラフィック処理部で実行し、予め定めた前記重畳処理を行う画像の数の閾値よりも多い場合には、前記重畳処理を前記表示処理部で実行するように切り替える、ことを特徴とする。
【0024】
また、本発明の画像表示方法は、共通バスに接続された画像記憶部に記憶された入力画像に対してグラフィック処理した後の表示画像を表示する画像表示装置の画像表示方法であって、前記入力画像を処理する第1のグラフィック処理の機能および第2のグラフィック処理の機能を有し、前記画像記憶部から取得した前記入力画像に対して前記第1のグラフィック処理を行った画像、または前記第1のグラフィック処理に続いて前記第2のグラフィック処理を行った画像のいずれかの画像を、処理画像として前記画像記憶部に出力して記憶させるグラフィック処理ステップと、前記第2のグラフィック処理の機能と同等の処理機能を有し、前記画像記憶部から取得した前記処理画像、または該処理画像に対して前記第2のグラフィック処理と同等の処理を行った画像のいずれかの画像を、前記表示画像として出力する表示処理ステップと、予め定められた条件に基づいて、前記第2のグラフィック処理を実行する処理ステップを、前記グラフィック処理ステップまたは前記表示処理ステップのいずれの処理ステップに切り替える切り替え制御ステップと、を含むことを特徴とする。
【発明の効果】
【0025】
本発明によれば、グラフィックプロセッサが行うグラフィック処理が増加した場合でも、DRAM帯域の圧迫を抑えることができるという効果が得られる。
【図面の簡単な説明】
【0026】
【図1】本発明の実施形態における画像表示装置の概略構成を示したブロック図である。
【図2】本実施形態の画像表示装置における表示処理部の概略構成を示したブロック図である。
【図3】本実施形態の画像表示装置において重畳処理を行う処理ブロックの切り替えをまとめて示した図である。
【図4】本実施形態の画像表示装置において第1の表示を行う際のグラフィックプロセッサの処理の一例を模式的に示した図である。
【図5】本実施形態の画像表示装置において第1の表示を行う際の表示処理部の処理の一例を模式的に示した図である。
【図6】本実施形態の画像表示装置において第2の表示を行う際のグラフィックプロセッサの処理の一例を模式的に示した図である。
【図7】本実施形態の画像表示装置において第2の表示を行う際の表示処理部の処理の一例を模式的に示した図である。
【図8】本実施形態の画像表示装置において第3の表示を行う際の表示処理の一例を模式的に示した図である。
【図9】従来の画像表示装置における表示処理の一例を模式的に示した図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における画像表示装置の概略構成を示したブロック図である。図1では、本実施形態の画像表示装置がデジタルカメラである場合を示している。図1において、デジタルカメラ10は、CCD(Charge Copled Device:電荷結合素子)101と、撮像処理部100と、画像処理部200と、グラフィックプロセッサ300と、表示処理部400と、TFT401と、メディア制御部500と、メディア501と、メモリ制御部600と、DRAM601と、CPU700とを備えている。
【0028】
デジタルカメラ10内の撮像処理部100、画像処理部200、グラフィックプロセッサ300、表示処理部400、メディア制御部500、メモリ制御部600、およびCPU700は、データバス800にそれぞれ接続され、データバス800を介してメモリ制御部600に接続されたDRAM601からのデータの読み出し、およびDRAM601へのデータの書き込みを行う。このとき、データバス800に接続された各処理ブロックは、DMAによってDRAM601へのアクセスを行う。
【0029】
CCD101は、図示しないレンズによって結像された被写体の光学像を光電変換するイメージセンサである。CCD101は、被写体光に応じた画像信号(以下、「入力画像」という)を撮像処理部100に出力する。なお、デジタルカメラ10は、CCD101に代わって、CMOS(Complementary Metal−Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサを備えた構成とすることもできる。
【0030】
撮像処理部100は、CCD101から入力された入力画像に、キズ補正やシェーディング補正などの撮像処理を行い、撮像処理した結果の画像(以下、「撮像処理画像」という)を、DRAM601に書き込む処理ブロックである。
【0031】
画像処理部200は、DRAM601に記憶している撮像処理画像を読み出し、ノイズ除去、YC変換処理、リサイズ処理、JPEG圧縮処理などの各種の画像処理を行い、記録用の画像(以下、「撮影画像」という)を生成する処理ブロックである。画像処理部200は、生成した撮影画像を、再びDRAM601に書き込む。
【0032】
グラフィックプロセッサ300は、DRAM601に記憶している撮影画像を読み出し、ポリゴン処理、重畳処理、陰面処理、シェーディング処理などの各種のグラフィック処理を行い、表示用の画像(以下、「表示画像」という)を生成する処理ブロックである。グラフィックプロセッサ300は、生成した表示画像を、再びDRAM601に書き込む。
【0033】
表示処理部400は、DRAM601に記憶している表示画像を読み出し、読み出した表示画像をTFT401に出力する処理ブロックである。また、表示処理部400は、DRAM601に記憶している画像を読み出し、グラフィックプロセッサ300に備えた重畳処理と同様の重畳処理を行い、重畳処理した後の画像を表示画像としてTFT401に出力することもできる。
【0034】
TFT401は、表示処理部400から入力された表示画像に応じた画像を表示する表示デバイス(TFT液晶ディスプレイ)である。なお、デジタルカメラ10は、TFT401に代わって、有機EL(Electro Luminescence)ディスプレイなどの表示デバイスを備えた構成とすることもできる。
【0035】
メディア制御部500は、DRAM601に記憶している撮影画像を読み出し、メディア501に記録させる処理ブロックである。また、メディア制御部500は、メディア501に記録している撮影画像を読み出し、読み出した撮影画像を、DRAM601に書き込む処理ブロックでもある。
【0036】
メディア501は、メモリカードなどの記録媒体であり、メディア制御部500から出力された撮影画像を記録する。また、メディア制御部500によって記録している撮影画像が読み出される。なお、図1においては、メディア501もデジタルカメラ10の構成要素としているが、メディア501は、デジタルカメラ10に着脱可能な構成である。
【0037】
メモリ制御部600は、データバス800に接続されているデジタルカメラ10内の複数の処理ブロックからのDRAM601へのアクセス要求を調停しながら、接続されているDRAM601へのデータ書き込み、およびDRAM601からのデータの読み出しの制御を行う。
DRAM601は、メモリ制御部600によってアクセスが制御され、デジタルカメラ10内のそれぞれの処理ブロックの処理過程における様々なデータを記憶する。
【0038】
CPU700は、デジタルカメラ10の構成要素、すなわち、デジタルカメラ10全体を制御する。また、CPU700は、重畳処理を実行させる処理ブロックを切り替える。より具体的には、重畳処理をグラフィックプロセッサ300で行うか、表示処理部400で行うかを切り替える。なお、CPU700による重畳処理を実行させる処理ブロックの切り替え方法に関する詳細な説明は、後述する。
【0039】
次に、本実施形態のデジタルカメラ10のスライドショーの機能などにおいて、ユーザー(撮影者)に画像を提示する表示処理部400の構成について説明する。図2は、本実施形態の画像表示装置であるデジタルカメラ10における表示処理部400の概略構成を示したブロック図である。図2では、デジタルカメラ10に搭載された表示デバイスであるTFT401も併せて示している。
【0040】
図2において、表示処理部400は、DMA処理部410と、複数の拡大/縮小部420a〜420cと、重畳処理部430と、出力制御部440と、同期信号生成部450とを備えている。表示処理部400は、複数枚の画像をDRAM601から読み出し、読み出した画像に対して重畳処理を行った後、表示画像としてTFT401に出力する。図2では、3枚の画像を処理する表示処理部400の構成を示している。このため、表示処理部400は、3つの拡大/縮小部420a〜420cを備えている。なお、以下の説明においては、3つの拡大/縮小部420a〜420cの内、いずれか1つを示す場合には、「拡大/縮小部420」という。
【0041】
なお、表示処理部400における重畳処理は、上述したように、グラフィックプロセッサ300におけるアルファブレンディング処理を含んだ重畳処理と同様の処理である。ただし、重畳処理することができる画像の枚数は、グラフィックプロセッサ300と異なる枚数であってもよい。この場合、表示処理部400は、重畳処理することができる画像の枚数と同数の拡大/縮小部420を備えることが望ましい。
【0042】
DMA処理部410は、DMAアクセスによって、DRAM601から表示画像や背景画像など、TFT401に表示するための元の画像(以下、「入力画像」という)を取得する(読み出す)ブロックである。入力画像には、RGBやYCrCbのような色データの他に、画像内の各画素の透明度を表す透明度データが含まれている場合もある。従って、表示処理部400は、「透明度データ付RGB」、「透明度データ付YCbCr」、「透明度データなしRGB」、「透明度データなしYCbCr」など、様々形式の入力画像を処理する。
【0043】
DMA処理部410は、入力画像をDRAM601から取得する際に、DRAM601へのDMAアクセス要求をメモリ制御部600に出力する。そして、DMA処理部410は、DMAアクセス要求がメモリ制御部600に受け付けられた後に、メモリ制御部600を介してDRAM601から入力画像を読み出す。そして、DMA処理部410は、読み出した入力画像を、拡大/縮小部420に出力する。
【0044】
拡大/縮小部420a〜420cは、それぞれ、DMA処理部410から入力された入力された入力画像に対して、拡大処理や縮小処理を行うブロックである。拡大/縮小部420a〜420cのそれぞれには、入力画像の縦横の画素数などの画像サイズが指定される。そして、拡大/縮小部420a〜420cは、それぞれ、指定された入力画像の画像サイズに応じて拡大/縮小処理した後の画像を、重畳処理部430に出力する。
【0045】
重畳処理部430は、グラフィックプロセッサ300と同様のアルファブレンディング処理を含んだ重畳処理によって、それぞれの入力画像を重畳し、1枚の表示画像を生成するブロックである。重畳処理部430が表示画像を生成する際には、それぞれの入力画像に含まれる透明度データに基づいて、それぞれの入力画像の色データを重畳した表示データを生成する。なお、重畳処理部430には、入力画像を表示する表示領域が指定される。そして、重畳処理部430は、指定された表示領域に応じて、それぞれの入力画像の重畳処理を行う。重畳処理部430は、重畳処理した後の表示画像(表示データ)を、出力制御部440に出力する。
【0046】
同期信号生成部450は、表示画像をTFT401に表示させる際の同期信号を生成するブロックである。同期信号生成部450は、生成したTFT401の同期信号を、出力制御部440に出力する。
【0047】
出力制御部440は、同期信号生成部450から入力された同期信号のタイミングで、重畳処理部430から入力された表示画像(表示データ)を、TFT401に出力する。これにより、TFT401は、表示処理部400内の出力制御部440から入力された表示画像(表示データ)に応じた画像を表示する。
【0048】
このように、本実施形態のデジタルカメラ10では、表示処理部400にも、グラフィックプロセッサ300と同様のアルファブレンディング処理を含んだ重畳処理を行う機能を備えている。
【0049】
なお、表示処理部400は、DMA処理部410がDRAM601から取得した入力画像が表示画像である場合には、入力画像に対して拡大/縮小処理や重畳処理などの各種処理を行わずに、取得した表示画像をTFT401に出力することもできる。この場合、DMA処理部410がDRAM601から取得した入力画像に対して、表示処理部400内で各種処理を行うか否か、拡大/縮小処理と重畳処理との内いずれか1つの処理または両方の処理を行うか否かの制御(切り替え)は、CPU700によって行われる。また、CPU700は、グラフィックプロセッサ300によって重畳処理を行うか否かの制御(切り替え)も行う。
【0050】
ここで、CPU700が、グラフィックプロセッサ300による重畳処理、および表示処理部400による拡大/縮小処理や重畳処理などの各種処理(以下の説明においては、併せて「重畳処理」という)の切り替え方法について説明する。CPU700は、DRAM帯域やグラフィックプロセッサ300におけるグラフィック処理の処理時間などを考慮して、重畳処理をグラフィックプロセッサ300で行うか、表示処理部400で行うかを切り替える。より具体的には、TFT401に表示する表示画像のフレームレート、TFT401の表示画素数、重畳処理する画像の数が、予め定めた閾値よりも小さい場合には、重畳処理をグラフィックプロセッサ300で行うように切り替え、予め定めた閾値よりも大きい場合には、重畳処理を表示処理部400で行うように切り替える。
【0051】
図3は、本実施形態の画像表示装置であるデジタルカメラ10において重畳処理を行う処理ブロックの切り替えをまとめて示した図である。CPU700は、TFT401に表示する表示画像のフレームレートが、予め定めたフレームレートよりも低い場合には、重畳処理をグラフィックプロセッサ300で行うように切り替え、予め定めたフレームレートよりも高い場合には、重畳処理を表示処理部400で行うように切り替える。例えば、フレームレートが15フレームよりも低い(表示速度が遅い)場合には、重畳処理をグラフィックプロセッサ300で行い、15フレームよりも高い(表示速度が速い)場合には、重畳処理を表示処理部400で行うように切り替える。
【0052】
また、CPU700は、TFT401の表示画素数が、予め定めた表示画素数よりも少ない場合には、重畳処理をグラフィックプロセッサ300で行うように切り替え、予め定めた表示画素数よりも多い場合には、重畳処理を表示処理部400で行うように切り替える。例えば、表示画素数が10万画素よりも少ない場合には、重畳処理をグラフィックプロセッサ300で行い、10万画素よりも多い場合には、重畳処理を表示処理部400で行うように切り替える。
【0053】
また、CPU700は、重畳処理する画像の数が、予め定めた数よりも少ない場合には、重畳処理をグラフィックプロセッサ300で行うように切り替え、予め定めた数よりも多い場合には、重畳処理を表示処理部400で行うように切り替える。例えば、重畳処理する画像の数が5枚よりも少ない場合には、重畳処理をグラフィックプロセッサ300で行い、5枚よりも多い場合には、重畳処理を表示処理部400で行うように切り替える。
【0054】
このように、本実施形態のデジタルカメラ10では、DRAM帯域が圧迫されると予想される場合や、グラフィックプロセッサ300のグラフィック処理に要する処理時間が、例えば、TFT401の同期信号の周期を超えてしまうことが予想される場合に、グラフィックプロセッサ300のグラフィック処理の一部の処理である重畳処理を表示処理部400に分担させる。これにより、DRAM帯域の圧迫や、グラフィックプロセッサ300の処理時間が長くなることを回避する。
【0055】
<第1の表示処理>
次に、本実施形態のデジタルカメラ10によって、グラフィックプロセッサ300のグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担する場合の処理の一例について説明する。本第1の表示処理では、図9に示した従来の画像表示装置における表示処理の一例と同様の表示画像を生成する場合について説明する。すなわち、6枚の撮影画像を台形処理して2枚の背景画像に重畳した表示画像を生成するグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担する場合について説明する。なお、デジタルカメラ10においては、グラフィックプロセッサ300および表示処理部400における表示処理以外の、DRAM601へのアクセスや画像処理などは、従来の画像表示装置における処理と同様であるため、詳細な説明は省略する。
【0056】
まず、グラフィックプロセッサ300による表示処理について説明する。図4は、本実施形態の画像表示装置であるデジタルカメラ10において第1の表示を行う際のグラフィックプロセッサ300の処理の一例を模式的に示した図である。本第1の表示処理において、グラフィックプロセッサ300は、以下のような処理を行う。
【0057】
(処理1):DRAM601に記憶された6枚の画像処理後の撮影画像(図4(a)参照)をそれぞれ読み出し、それぞれ台形処理した6枚の台形画像を生成する。
(処理2):生成した6枚の台形画像に、さらに透明度データを付加した1枚の入力画像(図4(b)参照)を生成し、再びDRAM601に書き込む。
【0058】
その後、表示処理部400が、DRAM601に記憶された入力画像を読み出し、TFT401に表示させる。このように、グラフィックプロセッサ300は、表示処理部400が処理することができる透明度データが付加された形式の矩形の入力画像を生成する処理のみを行う。これにより、グラフィックプロセッサ300からのDRAM601へのアクセスが減少し、DRAM帯域の圧迫を回避することができる。
【0059】
続いて、表示処理部400による表示処理について説明する。図5は、本実施形態の画像表示装置であるデジタルカメラ10において第1の表示を行う際の表示処理部400の処理の一例を模式的に示した図である。本第1の表示処理において、表示処理部400は、グラフィックプロセッサ300による表示処理に続いて、以下のような処理を行う。なお、以下の処理においては、拡大/縮小部420による拡大/縮小処理を行わないものとして説明する。
【0060】
(処理1):DMA処理部410が、DRAM601に記憶された2枚の背景画像と、グラフィックプロセッサ300が生成した入力画像とをそれぞれ読み出し(図5(a)参照)、拡大/縮小部420にそれぞれ出力する。そして、拡大/縮小部420のそれぞれは、入力された2枚の背景画像と入力画像とを、そのまま重畳処理部430に出力する。
(処理2):重畳処理部430は、入力された背景画像1に背景画像2を重畳し、さらに入力画像を重畳した1枚の表示画像(図5(b)参照)を生成し、出力制御部440に出力する。
(処理3):出力制御部440は、同期信号生成部450から入力された同期信号のタイミングで、重畳処理部430から入力された表示画像を、TFT401に出力する。
【0061】
このように、表示処理部400が、DRAM601に記憶された2枚の背景画像と、グラフィックプロセッサ300が生成した入力画像とを重畳処理し、重畳処理した後の表示画像を、TFT401に出力する。つまり、従来の画像表示装置に備えたグラフィックプロセッサが行っていた、「背景画像1に背景画像2を重畳した1枚の新背景画像を生成する処理」と、「新背景画像に6枚の台形画像を1枚ずつ重畳した表示画像を生成する処理」とに相当する処理を、表示処理部400が行う。これにより、グラフィックプロセッサ300が行うグラフィック処理の処理負荷を軽減(緩和)することができる。
【0062】
上記に述べたように、デジタルカメラ10では、表示処理に係る一連の処理を、グラフィックプロセッサ300と表示処理部400とに分担させる。これにより、DRAM帯域の圧迫や、グラフィックプロセッサ300の処理時間が長くなることを回避することができる。このことにより、所望のフレームレートを確保した表示画像の表示を実現することができる。
【0063】
<第2の表示処理>
デジタルカメラ10が、CCD101から連続的に得られた入力画像をユーザー(撮影者)に連続的に提示する、いわゆるライブビュー機能を搭載することもある。この場合、画像処理部200は、DRAM601に記憶している撮像処理画像を読み出して表示用の画像処理を行い、表示用の画像(以下、「スルー画像」という)を生成し、再びDRAM601に書き込む。なお、通常、スルー画像には、透明度データは含まれていない。そして、グラフィックプロセッサ300が、デジタルカメラ10のメニュー画像をグラフィック処理する。本実施形態のデジタルカメラ10においては、このような場合においても、グラフィックプロセッサ300のグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担することができる。
【0064】
次に、本実地形態のデジタルカメラ10によって、グラフィックプロセッサ300のグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担する場合の別の処理の一例について説明する。本第2の表示処理では、3枚のメニュー画像を台形処理してスルー画像に重畳した表示画像を生成するグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担する場合について説明する。なお、本第2の表示処理においても、デジタルカメラ10のグラフィックプロセッサ300および表示処理部400における表示処理以外の、DRAM601へのアクセスや画像処理などは、従来の画像表示装置における処理と同様であるため、詳細な説明は省略する。
【0065】
まず、グラフィックプロセッサ300による表示処理について説明する。図6は、本実施形態の画像表示装置であるデジタルカメラ10において第2の表示を行う際のグラフィックプロセッサ300の処理の一例を模式的に示した図である。本第2の表示処理において、グラフィックプロセッサ300は、以下のような処理を行う。
【0066】
(処理1):DRAM601に記憶された3枚のメニュー画像(図6(a)参照)をそれぞれ読み出し、それぞれ台形処理した3枚の台形メニュー画像を生成する。
(処理2):生成した3枚の台形メニュー画像に、さらに透明度データを付加した1枚の入力画像(図6(b)参照)を生成し、再びDRAM601に書き込む。
【0067】
その後、表示処理部400が、DRAM601に記憶された入力画像を読み出し、TFT401に表示させる。このように、グラフィックプロセッサ300は、メニュー画像においても、表示処理部400が処理することができる透明度データが付加された形式の矩形の入力画像を生成する処理のみを行う。これにより、グラフィックプロセッサ300からのDRAM601へのアクセスが減少し、DRAM帯域の圧迫を回避することができる。
【0068】
続いて、表示処理部400による表示処理について説明する。図7は、本実施形態の画像表示装置であるデジタルカメラ10において第2の表示を行う際の表示処理部400の処理の一例を模式的に示した図である。本第2の表示処理においては、第1の表示処理と同様に、表示処理部400は、グラフィックプロセッサ300による表示処理に続いて、以下のような処理を行う。なお、以下の処理においては、表示処理部400に、メニュー画像を含む入力画像の画像サイズと表示領域とが指定され、指定された画像サイズと表示領域とに応じて表示処理を行う場合について説明する。
【0069】
(処理1):DMA処理部410が、DRAM601に記憶された1枚のスルー画像と、グラフィックプロセッサ300が生成した入力画像とをそれぞれ読み出し(図7(a)参照)、拡大/縮小部420にそれぞれ出力する。なお、ここでは、DMA処理部410が、DRAM601から読み出したスルー画像を拡大/縮小部420aに出力し、入力画像を拡大/縮小部420bに出力するものとする。
(処理2):拡大/縮小部420aは、入力された1枚のスルー画像を、そのまま重畳処理部430に出力する。また、拡大/縮小部420bは、入力された入力画像に対して指定された画像サイズに応じた拡大/縮小処理を行い、拡大/縮小処理した後の入力画像を、重畳処理部430に出力する。
(処理3):重畳処理部430は、拡大/縮小部420aから入力されたスルー画像の指定された表示領域に、拡大/縮小部420bから入力された拡大/縮小処理した後の入力画像を重畳した1枚の表示画像(図7(b)参照)を生成し、出力制御部440に出力する。
(処理4):出力制御部440は、同期信号生成部450から入力された同期信号のタイミングで、重畳処理部430から入力された表示画像を、TFT401に出力する。
【0070】
このように、表示処理部400が、DRAM601に記憶された1枚のスルー画像と、グラフィックプロセッサ300が生成した入力画像とを重畳処理し、重畳処理した後の表示画像を、TFT401に出力する。これにより、グラフィックプロセッサ300が行うグラフィック処理の処理負荷を軽減(緩和)することができる。
【0071】
上記に述べたように、デジタルカメラ10では、スルー画像が関連する表示処理において、表示処理に係る一連の処理を、グラフィックプロセッサ300と表示処理部400とに分担させる。これにより、DRAM帯域の圧迫や、グラフィックプロセッサ300の処理負荷を軽減(緩和)し、所望のフレームレートを確保した表示画像(スルー画像)の表示を実現することができる。
【0072】
<第3の表示処理>
デジタルカメラ10において、スルー画像に対してメニュー画像を重畳する場合、グラフィックプロセッサ300は、スルー画像に重畳するメニュー画像の全ての領域を、それぞれのフレーム毎にグラフィック処理必要はない。すなわち、グラフィックプロセッサ300がメニュー画像の一部をグラフィック処理するのみで、メニュー画像を変更することができる。これにより、グラフィックプロセッサ300によるメニュー画像のグラフィック処理の処理負荷をさらに軽減(緩和)することができる。
【0073】
次に、本実地形態のデジタルカメラ10によって、グラフィックプロセッサ300のグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担した上で、さらにグラフィックプロセッサ300のグラフィック処理を軽減(緩和)する場合の処理の一例について説明する。本第3の表示処理では、第2の表示処理と同様に、3枚のメニュー画像を台形処理してスルー画像に重畳した表示画像を生成するグラフィック処理を、グラフィックプロセッサ300と表示処理部400とで分担する場合において、次のフレームで1枚のメニュー画像が変更される場合について説明する。なお、本第3の表示処理においても、デジタルカメラ10のグラフィックプロセッサ300および表示処理部400における表示処理以外の、DRAM601へのアクセスや画像処理などは、従来の画像表示装置における処理と同様であるため、詳細な説明は省略する。
【0074】
図8は、本実施形態の画像表示装置であるデジタルカメラ10において第3の表示を行う際の表示処理の一例を模式的に示した図である。図8では、1フレーム目の表示処理に続いて、2フレーム目の表示処理を行う場合の、グラフィックプロセッサ300と表示処理部400との処理を、それぞれ示している。なお、1フレーム目の表示処理におけるグラフィックプロセッサ300および表示処理部400のそれぞれの表示処理は、第2の表示処理と同様であるため、詳細な説明は省略する。
【0075】
2フレーム目の表示処理におけるグラフィックプロセッサ300および表示処理部400のそれぞれの表示処理について説明する。2フレーム目では、1フレーム目の「MENU1」のメニュー画像を、2フレーム目で「MENU4」に変更するものとする。本第3の表示処理の2フレーム目の表示処理において、グラフィックプロセッサ300は、以下のような処理を行う。
【0076】
(処理1):DRAM601に記憶された更新する1枚のメニュー画像(図8においては、「MENU4」)を読み出し、MENU4の台形メニュー画像を生成する。
(処理2):1フレーム目でDRAM601に書き込んだ入力画像の内、MENU1の領域の部分のデータ(図8に示した領域Aの部分)を、MENU4の台形メニュー画像のデータに書き換える(上書きする)。
【0077】
このように、すでに生成した入力画像の一部を書き換える(上書きする)のみで、入力画像を新たな入力画像に更新することができる。これにより、グラフィックプロセッサ300からのDRAM601へのアクセスが減少し、DRAM帯域の圧迫をさらに回避することができる。
【0078】
その後、表示処理部400が、DRAM601に記憶された新たな入力画像を読み出し、TFT401に表示させる。なお、表示処理部400における表示処理は、1フレーム目の表示処理部400における表示処理、すなわち、第2の表示処理と同様であるため、詳細な説明は省略する。なお、2フレーム目の表示処理部400における表示処理では、DMA処理部410が、DRAM601に記憶された1枚のスルー画像と、グラフィックプロセッサ300によって更新された入力画像とをそれぞれ読み出すが、表示処理部400(特に、DMA処理部410)は、入力画像が更新されていることを特に意識する必要はない。
【0079】
このように、グラフィックプロセッサ300が生成した入力画像の一部を更新する場合には、グラフィックプロセッサ300が更新する一部の領域の画像のみをグラフィック処理するのみで、表示処理部400が、DRAM601に記憶された1枚のスルー画像と、グラフィックプロセッサ300が更新した入力画像とを重畳処理し、重畳処理した後の表示画像を、TFT401に出力することができる。
【0080】
上記に述べたように、デジタルカメラ10では、スルー画像が関連する表示処理において、グラフィックプロセッサ300が行う入力画像の更新に係る一連の処理の負荷を、さらに軽減(緩和)し、グラフィックプロセッサ300における1枚の入力画像生成における処理速度を向上することができる。これにより、DRAM帯域の圧迫や、グラフィックプロセッサ300の処理負荷を軽減(緩和)し、所望のフレームレートを確保した表示画像(スルー画像)の表示を実現することができる。
【0081】
上記に述べたとおり、本発明を実施するための形態によれば、グラフィックプロセッサに備えたグラフィック処理の一部の機能(本発明を実施するための形態においては、アルファブレンディングを含む重畳処理の機能)を、表示処理部にも備える。そして、DRAM帯域やグラフィックプロセッサにおけるグラフィック処理の処理時間などを考慮して、2つの処理ブロックに備えた同様の機能を、いずれの処理ブロックで実行するかを切り替える。これにより、表示処理に係る一連の処理を、グラフィックプロセッサと表示処理部とに分担させることができる。このことにより、DRAM帯域の圧迫や、グラフィックプロセッサの処理負荷の増大を抑えることができ、所望のフレームレートを確保した表示画像の表示を容易に実現することができる。
【0082】
なお、本実施形態においては、表示処理部400に備えるグラフィックプロセッサ300と同様の機能が、アルファブレンディングを含む重畳処理の機能である場合について説明したが、表示処理部400に備えるグラフィックプロセッサ300と同様の機能は、本発明を実施するための形態に限定されるものではない。すなわち、グラフィックプロセッサに特化したグラフィック処理の機能ではなく、他の処理ブロックで処理しても問題がなく、DRAM帯域の圧迫を抑えることができる機能であれば、どのようなグラフィック処理の機能であっても、グラフィックプロセッサと表示処理部とに処理を分担させる構成を実現することができる。
【0083】
また、本実施形態においては、撮影画像、背景画像、スルー画像、およびメニュー画像などの画像データに対して表示処理を行う場合について説明したが、表示処理を行う画像データは、本発明を実施するための形態に限定されるものではなく、テクスチャなどのデータの場合でも、同様に表示処理を分担して行うことができる。
【0084】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【0085】
10・・・デジタルカメラ(画像表示装置)
101・・・CCD
100・・・撮像処理部
200・・・画像処理部
300・・・グラフィックプロセッサ(グラフィック処理部)
400・・・表示処理部(表示処理部)
410・・・DMA処理部
420,420a,420b,420c・・・拡大/縮小部
430・・・重畳処理部
440・・・出力制御部
450・・・同期信号生成部
401・・・TFT(画像表示装置)
500・・・メディア制御部
501・・・メディア
600・・・メモリ制御部(画像記憶部)
601・・・DRAM(画像記憶部)
700・・・CPU(切り替え制御部)
800・・・データバス(共通バス)

【特許請求の範囲】
【請求項1】
共通バスに接続された画像記憶部に記憶された入力画像に対してグラフィック処理した後の表示画像を表示する画像表示装置であって、
前記入力画像を処理する第1のグラフィック処理の機能および第2のグラフィック処理の機能を有し、前記画像記憶部から取得した前記入力画像に対して前記第1のグラフィック処理を行った画像、または前記第1のグラフィック処理に続いて前記第2のグラフィック処理を行った画像のいずれかの画像を、処理画像として前記画像記憶部に出力して記憶させるグラフィック処理部と、
前記第2のグラフィック処理の機能と同等の処理機能を有し、前記画像記憶部から取得した前記処理画像、または該処理画像に対して前記第2のグラフィック処理と同等の処理を行った画像のいずれかの画像を、前記表示画像として出力する表示処理部と、
予め定められた条件に基づいて、前記第2のグラフィック処理を実行する処理部を、前記グラフィック処理部または前記表示処理部のいずれの処理部に切り替える切り替え制御部と、
を備えることを特徴とする画像表示装置。
【請求項2】
前記第2のグラフィック処理は、
アルファブレンディング処理を含み、
前記第1のグラフィック処理を行った画像と、前記画像記憶部から取得した前記入力画像とを重畳する重畳処理である、
ことを特徴とする請求項1に記載の画像表示装置。
【請求項3】
前記予め定められた条件は、
前記表示画像を表示する際の表示速度、前記表示画像の画素数、および前記重畳処理を行う画像の数のいずれか1つ、または複数の閾値であり、
前記切り替え制御部は、
前記閾値が予め定めた値よりも小さい場合には、前記重畳処理を前記グラフィック処理部で実行し、前記閾値が予め定めた値よりも大きい場合には、前記重畳処理を前記表示処理部で実行するように切り替える、
ことを特徴とする請求項2に記載の画像表示装置。
【請求項4】
前記重畳処理を前記表示処理部で実行する場合、
前記グラフィック処理部は、
前記第1のグラフィック処理を行った画像に、該第1のグラフィック処理を行った画像内の各画素の透明度を表す透明度データを付加し、該透明度データを付加した画像を、前記処理画像として前記画像記憶部に記憶させ、
前記前記表示処理部は、
前記画像記憶部から取得した前記処理画像に付加された前記透明度データに基づいて、該処理画像と、前記画像記憶部から取得した前記入力画像とを重畳した画像を、前記表示画像として出力する、
ことを特徴とする請求項3に記載の画像表示装置。
【請求項5】
前記重畳処理を前記グラフィック処理部で実行する場合、
前記グラフィック処理部は、
前記第1のグラフィック処理に続いて、該第1のグラフィック処理を行った画像と、前記画像記憶部から取得した前記入力画像とを重畳した画像を、前記処理画像として前記画像記憶部に記憶させ、
前記前記表示処理部は、
前記画像記憶部から取得した前記処理画像を、前記表示画像として出力する、
ことを特徴とする請求項3または請求項4に記載の画像表示装置。
【請求項6】
前記予め定められた条件が、前記表示画像を表示する際の表示速度の閾値であるとき、
前記切り替え制御部は、
前記表示画像を表示する際の表示速度が、予め定めた前記表示速度の閾値よりも遅い場合には、前記重畳処理を前記グラフィック処理部で実行し、予め定めた前記表示速度の閾値よりも速い場合には、前記重畳処理を前記表示処理部で実行するように切り替える、
ことを特徴とする請求項3から請求項5のいずれか1の項に記載の画像表示装置。
【請求項7】
前記予め定められた条件が、前記表示画像の画素数の閾値であるとき、
前記切り替え制御部は、
前記表示画像の画素数が、予め定めた前記画素数の閾値よりも少ない場合には、前記重畳処理を前記グラフィック処理部で実行し、予め定めた前記画素数の閾値よりも多い場合には、前記重畳処理を前記表示処理部で実行するように切り替える、
ことを特徴とする請求項3から請求項5のいずれか1の項に記載の画像表示装置。
【請求項8】
前記予め定められた条件が、前記重畳処理を行う画像の数の閾値であるとき、
前記切り替え制御部は、
前記重畳処理を行う画像の数が、予め定めた前記重畳処理を行う画像の数の閾値よりも少ない場合には、前記重畳処理を前記グラフィック処理部で実行し、予め定めた前記重畳処理を行う画像の数の閾値よりも多い場合には、前記重畳処理を前記表示処理部で実行するように切り替える、
ことを特徴とする請求項3から請求項5のいずれか1の項に記載の画像表示装置。
【請求項9】
共通バスに接続された画像記憶部に記憶された入力画像に対してグラフィック処理した後の表示画像を表示する画像表示装置の画像表示方法であって、
前記入力画像を処理する第1のグラフィック処理の機能および第2のグラフィック処理の機能を有し、前記画像記憶部から取得した前記入力画像に対して前記第1のグラフィック処理を行った画像、または前記第1のグラフィック処理に続いて前記第2のグラフィック処理を行った画像のいずれかの画像を、処理画像として前記画像記憶部に出力して記憶させるグラフィック処理ステップと、
前記第2のグラフィック処理の機能と同等の処理機能を有し、前記画像記憶部から取得した前記処理画像、または該処理画像に対して前記第2のグラフィック処理と同等の処理を行った画像のいずれかの画像を、前記表示画像として出力する表示処理ステップと、
予め定められた条件に基づいて、前記第2のグラフィック処理を実行する処理ステップを、前記グラフィック処理ステップまたは前記表示処理ステップのいずれの処理ステップに切り替える切り替え制御ステップと、
を含むことを特徴とする画像表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−25619(P2013−25619A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−160899(P2011−160899)
【出願日】平成23年7月22日(2011.7.22)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】