撮像装置、情報合成装置及びプログラム
【課題】画像処理を行なうメモリの使用領域をむやみに広げてしまうことなく、画像データ中への情報の合成を高品質に実行できる。
【解決手段】ベイヤーデータを入力するＣＣＤ制御部13と、ベイヤーデータを記憶するＲＡＭと、ＲＡＭからの領域分割単位分のベイヤーデータをYUVデータに変換する画像処理部14と、変換したYUVデータを保持するＲＡＭ内のリングバッファと、リングバッファのYUVデータをJPEGデータに変換してＲＡＭに記憶させるJPEG変換部16と、記憶したJPEGデータを出力するメモリ制御部12と、リングバッファが保持するYUVデータ中に情報画像データを合成する画像合成部18と、画像合成部18によりリングバッファが保持するYUVデータへの画像合成中、リングバッファからJPEG変換部16に至るYUVデータの転送動作を調整(遅延)する画像データ転送部17とを備える。
【解決手段】ベイヤーデータを入力するＣＣＤ制御部13と、ベイヤーデータを記憶するＲＡＭと、ＲＡＭからの領域分割単位分のベイヤーデータをYUVデータに変換する画像処理部14と、変換したYUVデータを保持するＲＡＭ内のリングバッファと、リングバッファのYUVデータをJPEGデータに変換してＲＡＭに記憶させるJPEG変換部16と、記憶したJPEGデータを出力するメモリ制御部12と、リングバッファが保持するYUVデータ中に情報画像データを合成する画像合成部18と、画像合成部18によりリングバッファが保持するYUVデータへの画像合成中、リングバッファからJPEG変換部16に至るYUVデータの転送動作を調整(遅延)する画像データ転送部17とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像上に情報を合成する撮像装置、情報合成装置及びプログラムに関する。
【背景技術】
【０００２】
はじめに、以下文中ではベイヤー配列の画像データをベイヤーデータ、ＹＵＶフォーマットの画像データをＹＵＶデータ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットの画像データをＪＰＥＧデータと称するものとする。
【０００３】
従来、メモリの一部をリングバッファとして使用し、例えばベイヤーデータをＹＵＶデータに変換する際に合わせて拡大／縮小を行なう画像処理の技術が存在する。（例えば、特許文献１）
一般にデジタルカメラに搭載された画像処理システムでは、撮影により撮像素子から得られたベイヤーデータをＹＵＶデータに変換した後、さらに記録に適したＪＰＥＧデータに変換してデータ量を圧縮してから記録媒体となるメモリカードに記録するものとしていた。
【０００４】
記録する画像中に例えば日付情報等の文字画像を重畳して記録させたい場合、従来はベイヤーデータの段階で文字画像を合成した上でリングバッファへデータを転送するものとしていた。
【０００５】
しかしながら、ベイヤーデータの段階で文字画像を重畳すると、ＹＵＶデータへの変換時に、データを縮小する場合には細線が消失し、あるいはデータを拡大する場合には一部の線が太くなってしまうなど、文字画像部分が縮小／拡大に伴って変形し、正しい文字画像が得られなくなるという不具合がある。
【特許文献１】特開２００３−０１８６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のような不具合を避けるため、文字画像の合成を行なう際にはメモリをリングバッファとして使用するのを一時的に取り止め、１フレーム分の縮小／拡大後のＹＵＶデータをメモリ上に展開した状態でソフトウェア的に文字画像を重畳（部分的に上書き）した後、そのＹＵＶデータをＪＰＥＧデータに変換するという手法を採ることも考えられる。
【０００７】
しかしながら、そうした場合、上記の画像劣化はないものの、メモリの使用領域が大幅に増えると共に、画像データの変換により多くの時間を要するという他の不具合が発生し、現実的ではない。
【０００８】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、画像処理を行なうメモリの使用領域をむやみに広げることなく、画像データ中への情報の合成を高品質に実行することが可能な撮像装置、情報合成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、被写体を撮影して全体画像データを取得する撮影手段と、記全体画像データを記憶する第１の記憶手段と、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得る第１の画像処理手段と、上記第１の画像処理手段で得た部分画像データを保持する第２の記憶手段と、上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段とを備えることを特徴とする。
【００１０】
請求項２記載の発明は、上記請求項１記載の発明において、上記第２の画像処理手段で得た部分画像データを保持する第３の記憶手段を備え、上記転送制御手段は、上記第１の記憶手段から上記第３の記憶手段に至る部分画像データの転送動作を制御することを特徴とする。
【００１１】
請求項３記載の発明は、上記請求項１記載の発明において、上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して拡大又は縮小の処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする。
【００１２】
請求項４記載の発明は、上記請求項１記載の発明において、上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して画像の色変換処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする。
【００１３】
請求項５記載の発明は、上記請求項１記載の発明において、上記第２の画像処理手段は、上記第２の記憶手段から転送されてくる上記部分画像データに対して圧縮処理を含む第２の画像処理を施すことを特徴とする。
【００１４】
請求項６記載の発明は、上記請求項１記載の発明において、上記領域分割単位は、上記全体画像データを所定ライン数単位で分割したものであることを特徴とする。
【００１５】
請求項７記載の発明は、上記請求項１記載の発明において、上記転送制御手段は、上記領域分割単位で転送動作を調整することを特徴とする。
【００１６】
請求項８記載の発明は、上記請求項１記載の発明において、上記合成手段は、上記合成を、部分画像データ毎に行うことを特徴とする。
【００１７】
請求項９記載の発明は、上記請求項１記載の発明において、上記合成手段で合成する画像データ中に合成する情報データの位置と大きさとを判別する判別手段をさらに具備し、上記停止制御手段は、上記判別手段での判別結果に応じて上記部分画像データの転送動作を停止制御することを特徴とする。
【００１８】
請求項１０記載の発明は、上記請求項１記載の発明において、上記合成手段は、上記合成を、所定数の部分画像データ分まとめて行うことを特徴とする。
【００１９】
請求項１１記載の発明は、上記請求項１記載の発明において、上記停止制御手段は、上記第１の画像処理手段が第１の画像処理を施して部分画像データを得る前に、上記部分画像データの転送動作を停止制御するタイミングを決定しておくことを特徴とする。
【００２０】
請求項１２記載の発明は、上記請求項１記載の発明において、上記部分画像データは、前記情報データを合成すべき部分画像データであるか否かを判断する判断手段をさらに具備し、上記停止制御手段は、上記判断手段での判断結果に応じて上記部分画像データの転送動作を停止制御することを特徴とする。
【００２１】
請求項１３記載の発明は、全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段とを備えることを特徴とする。
【００２２】
請求項１４記載の発明は、全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段とを備えることを特徴とする情報合成装置に、上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段とを実現させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、画像処理を行なうメモリの使用領域をむやみに広げることなく、画像データ中への情報の合成を高品質に実行することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
（構成）
図１は本実施形態全体の主要な回路構成を示すものである。１はカメラ全体の動作制御を司るシステムコントローラとしてのＣＰＵである。このＣＰＵ１に対して、コントロールバスＣＢ及びデータバスＤＢを介して画像処理ＩＣ２が接続される。
【００２５】
この画像処理ＩＣ２は、後述する画像の撮影から記録に至る画像データに関する処理全般を行なう。この画像処理ＩＣ２は、メインメモリであるＲＡＭ３、及びプログラムデータや固定データを記憶したＲＯＭ５と上記データバスＤＢを介して接続される。
【００２６】
さらに画像処理ＩＣ２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）４、上記ＲＯＭ５、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）６、及びキー入力部７、メモリカードインターフェイス８と直接接続される。
【００２７】
ＣＣＤ４はこのカメラの撮像素子であり、原色系ベイヤー配列のカラーフィルタを有するものとする。ＬＣＤ６は、カメラの背面側に設けられた、バックライト付きのカラー液晶表示パネルであり、モニタ画像や再生画像等を表示する。
【００２８】
キー入力部７は、電源キーやシャッタキー、モードキー、カーソルキー、セットキー等からなり、ユーザの操作に応じたキー操作信号を画像処理ＩＣ２へ出力する。
【００２９】
メモリカードインターフェイス８は、このカメラの記録媒体であり、撮影時にはこのカメラに着脱自在に装着されるメモリカード（図示せず）への画像データ等の書込み、再生時には同メモリカードからの画像データに読出しを行なう。
上記各回路に対して電源部９から必要な電力が供給される。
【００３０】
図２は、上記画像処理ＩＣ２内のより詳細な機能回路構成を示すブロック図である。
同図中、１１はＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ（図では「ＤＭＡＣ」と称す）である。
【００３１】
このＤＭＡコントローラ１１は、ＣＣＤ４からＣＣＤ制御部１３を介して画像データを取込んで上記ＲＡＭ３に書込み、あるいは上記ＲＡＭ３に書込まれた画像データを読出して、各種の処理後に再度ＲＡＭ３に書込むなどの際のデータの入出力制御を行なう。
メモリ制御部１２は、このＤＭＡコントローラ１１の制御の下に上記ＲＡＭ３、ＲＯＭ５、及びメモリカードインターフェイス８との間でのデータの送受を行なう。
【００３２】
さらにこのＤＭＡコントローラ１１に対して、画像データ転送部１７、ＪＰＥＧ変換部１６、画像合成部１８、及びＬＣＤ制御部１９が接続される。
画像データ転送部１７は、画像処理部１４と画素数変換部１５、上記ＪＰＥＧ変換部１６、及び画像データ転送部１７でのデータの転送制御を行なう。
【００３３】
画像処理部１４は、ベイヤーデータをＹＵＶデータに変換して画素数変換部１５へ出力する。画素数変換部１５は、ＹＵＶデータの拡大処理または縮小処理を行ない、処理後のデータを画像データ転送部１７へ出力する。
【００３４】
ＪＰＥＧ変換部１６は、ＹＵＶデータを所定のデータ圧縮処理によりＪＰＥＧデータに変換し、ＤＭＡコントローラ１１へ出力する。画像合成部１８は、画像データ中に文字画像等を合成し、合成結果をＤＭＡコントローラ１１へ出力する。
【００３５】
ＬＣＤ制御部１９は、上記ＬＣＤ６を制御して撮影時のモニタ画像他、画像の表示制御を行なう。キー入力制御部２０は、上記キー入力部７から入力されたキー操作信号を受け付け、対応するキーコード情報を上記ＣＰＵ１へ出力する。
【００３６】
以下、指定された画像データの記録サイズが小さく、ＲＡＭ３の容量に余裕がある場合の撮影時の大まかな画像処理の流れについて説明する。
撮影が指示されてＣＣＤ制御部１３がＣＣＤ４から画像データ（ベイヤーデータ）を取込み、ＲＡＭ３に記憶させる。このＲＡＭ３に記憶されたベイヤーデータをＤＭＡコントローラ１１が読出し、画像データ転送部１７を介して画像処理部１４でＹＵＶデータに変換して画素数変換部１５へ出力する。
【００３７】
画素数変換部１５は、画像処理部１４からのＹＵＶデータを所望の画素数サイズに変換して画像データ転送部１７へ出力するもので、画像データ転送部１７がこのＹＵＶデータをＲＡＭ３へ記憶させる。
【００３８】
次に、ＪＰＥＧ変換部１６がＲＡＭ３からＹＵＶデータを読出してＪＰＥＧデータに変換し、再度ＲＡＭ３に記憶させる。
【００３９】
文字画像等の画像合成が必要な際には、ＹＵＶデータの段階で画像合成部１８が必要な画像構成処理を行なった後に、ＪＰＥＧ変換部１６がそれをＪＰＥＧデータに変換する。
【００４０】
（第１の動作例）
以下、ＣＣＤ４を用いた撮影により、図３（Ａ）に示す横６４ピクセル×縦４８ピクセル（ライン）のベイヤーデータを得、これを図３（Ｂ）に示すように縦横共に２倍して横１２８ピクセル×縦９６ピクセル（ライン）のＹＵＶデータに変換及び拡大した後に、同サイズのＪＰＥＧデータに変換してメモリカードインターフェイス８より図示しないメモリカードに記録させる場合の第１の動作について説明する。
【００４１】
この場合、必要により図３（Ｂ）に示す画像中、ピクセルによる左上端点を原点座標（０，０）として座標（８０，７２）の位置を基準とし、任意の矩形領域、例えば横４８ピクセル×縦１６ピクセル（ライン）の大きさの文字画像データＣＩを合成するものとし、合成後のＹＵＶデータをＪＰＥＧデータに変換する。
【００４２】
上記文字画像データＣＩとしては、図示するような「２００７．４．１」のようなデート（日付）情報でもよいし、さらには時刻、シャッタ速度や絞り（Ｆ）値などの撮影データ、その他の文字画像データでもよく、さらには記号やシンボル等の文字以外の各種画像情報を考えることもできる。
【００４３】
後述するリングバッファ動作においては、ＪＰＥＧ変換処理が基本的に１６ライン単位でデータ処理を行なうため、これを１領域分割単位として「１ベルト」と称するものとする。
【００４４】
したがって、縦横共に２倍に拡大する前のベイヤーデータでは、対応するように８ラインを１ベルトとして読出し、リングバッファに転送するものとする。
【００４５】
図４は、画像撮影時に画像データ転送部１７が後述する画像処理を実行するのに先立って実行しておく、各パラメータの事前設定処理を行なうためのフローチャートであり、その制御動作はＣＰＵ１の制御の下に画像処理ＩＣ２内で主としてＤＭＡＣ１１が行なう。
【００４６】
その当初には、ＣＣＤ制御部１３がＤＭＡＣ１１化に取込んだ、画像サイズ（(横)６４(ピクセル)，(縦)４８(ピクセル)）（以下座標データ形式で（６４，４８）のように表記）のベイヤーデータをＲＡＭ３のアドレス「０ｘ０００００００００」に保存する（ステップＳ１０１）。
【００４７】
次いで、ＤＭＡＣ１１が画像処理部１４にベイヤーデータからＹＵＶデータへの変換処理設定を行なう（ステップＳ１０２）。加えて、ＤＭＡＣ１１が画素数変換部１５に「２」倍での拡大処理を行なうよう設定する（ステップＳ１０３）。
【００４８】
さらに、入力画像サイズ（６４，４８）と出力画像サイズ（１２８，９６）から、ベルト数「６」、ベルトライン数「１６」を決定する（ステップＳ１０４）。
【００４９】
以上決定した内容を含め、画像データ転送部１７に
入力画像アドレス「０ｘ０００００００００」、
入力画像サイズ（６４，４８）、
出力画像アドレス「０ｘ１００００００００」、
出力画像サイズ（１２８，９６）、
ベルト数「６」、
入力ベルトライン数「８」、及び
出力ベルトライン数「１６」
を設定する（ステップＳ１０５）。
【００５０】
併せてＪＰＥＧ変換部１６にも、
入力画像アドレス「０ｘ１００００００００」、
出力画像アドレス「０ｘ２００００００００」、
画像サイズ（１２８，９６）、
ベルト数「６」、及び
ベルトライン数「１６」
を設定する（ステップＳ１０６）。
【００５１】
さらに、合成する文字画像データの基準座標（８０，７２）と合成サイズ（４８，１６）から、合成位置に対応する停止ベルトの位置「５，６」を決定する（ステップＳ１０７）。
【００５２】
この決定結果に従い、画像合成部１８に合成データの設定として
文字画像の合成位置の座標（８０，７２）、
合成サイズ（４８，１６）、及び
停止ベルト数「２」
を設定する（ステップＳ１０８）。
次いで、画像データ転送部１７にも停止ベルトの位置「５，６」を設定する（ステップＳ１０９）。
【００５３】
以上で、画像処理部１４、画素数変換部１５、画像合成部１８、ＪＰＥＧ変換部１６、及び画像データ転送部１７への必要な事前設定が完了したものとして、上記各回路の動作を開始する設定を行ない（ステップＳ１１０）、以上でこの図４の処理を終了すると共に、撮影に伴う画像の記録までの本動作に移行する。
【００５４】
図５は、画像データ転送部１７、ＪＰＥＧ変換部１６、及び画像合成部１８で並列して実行される処理内容を示すものである。まず、ベルト位置「１」の１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させて、ＲＡＭ３のリングバッファ領域へ転送するように制御する（ステップＳ２０１）。
【００５５】
この後、画像データ転送部１７では現在画像処理部１４、画素数変換部１５で処理させた画像データが予め設定した停止ベルトのものであるか否かを判断する（ステップＳ２０２）。
【００５６】
ここでベルト位置「１」が設定した停止ベルトではないと判断すると、そのままＪＰＥＧ変換部１６に転送終了ライン位置「１」と処理終了信号とを発行した後（ステップＳ２０５）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトではないことを確認した上で（ステップＳ２０６）、上記ステップＳ２０１からの処理に戻る。
【００５７】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号とを受信するのを待機している（ステップＳ３０１）。
しかして、画像データ転送部１７から処理終了信号を受信すると上記ステップＳ３０１でこれを判断し、リングバッファに保持されるベルト位置「１」の１６ライン分のＹＵＶデータをより細かいデータ単位でＪＰＥＧ変換部１６へ転送してＪＰＥＧデータに変換し、変換後のＪＰＥＧデータをＲＡＭ３のＪＰＥＧデータ領域内の該当領域に書込む（ステップＳ３０２）。
【００５８】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトではないことを確認した上で（ステップＳ３０３）、上記ステップＳ３０１からの処理に戻り、画像データ転送部１７から処理終了信号を受信して次のベルト分のデータの処理を行なうのを待機する。
【００５９】
こうして画像データ転送部１７、画像処理部１４、画素数変換部１５、及びＪＰＥＧ変換部１６での処理を繰返し実行することにより、合成すべき文字画像データがないベルト位置ではＲＡＭ３のリングバッファを用いて１ベルト分ずつ処理が実行されていく。
【００６０】
図７は、ＲＡＭ３内部のデータ領域区分例（リングバッファを使用する場合と使用しない場合）を示すものである。
【００６１】
図７（Ａ）では、ベイヤーデータ格納領域、ＹＵＶデータ格納領域、ＪＰＥＧデータ格納領域、表示データ格納領域を設けている。ベイヤーデータ→ＹＵＶデータ→ＪＰＥＧデータへの変換は、上記した１領域分割単位である「１ベルト」毎に順次行い、３つの領域を同時に利用していた。つまり、上述したすべての領域は、１画像分のデータを格納する領域としていた。
【００６２】
これに対して、図７（Ｂ）では、ＹＵＶデータ格納領域の代わりに、リングバッファ領域を設けている。上記と同様にして１領域分割単位である「１ベルト」毎に順次データ変換を行なうとした場合に、ＹＵＶ領域は、通常概略的には前記領域分割単位毎にデータが通り過ぎるだけなのでＹＵＶデータ領域を用意しても、使用していない領域が多かった。つまりこれをリングバッファ領域に代替することで、同様の処理を、より少ない領域で処理することが可能となり、全体として、ＲＡＭ３の容量をより効果的に利用することができていることを示している。
【００６３】
上記では、ＹＵＶデータ→ＪＰＥＧデータへの変換の処理を開示したが、この処理の流れは、ＹＵＶデータ→表示データへの変換においても同様である。
【００６４】
ここで言う表示データとは、サムネイル画像のことである。
【００６５】
因みに、ベイヤーデータ領域に画像データを入力する際と、ＪＰＥＧデータ領域から画像を出力する際と、表示データ領域から画像を出力する際は、１領域分割単位である「１ベルト」毎に処理するのではなく、１画像毎にデータ処理を行なっている。
【００６６】
下記により詳細に説明する。
【００６７】
図６は、合成すべき文字画像データがない場合のベイヤーデータからＹＵＶデータ、ＪＰＥＧデータに拡大される撮影画像を例示するものである。なお、同図中では、理解を容易にするために画像データに実線の矩形フレームを付加して説明しているが、実際のデータ変換においてはそのような実線の矩形フレームは存在しない。
【００６８】
図６（Ａ）は、参考までにＲＡＭ３でリングバッファを使用せずに画像全体をベイヤーデータからＹＵＶデータに変換し、さらにＹＵＶデータからＪＰＥＧデータに変換した場合の変換後の画像を例示するものである。
【００６９】
このようにＲＡＭ３にリングバッファを設けないで処理する場合、図７（Ａ）に示すようにＲＡＭ３では画像に撮影に際して、撮影により得たベイヤーデータ、ＹＵＶデータ、ＪＰＥＧデータ、及びＬＣＤ６で表示するための表示データの領域が必要となり、ＲＡＭ３の記憶容量としてより大きなものが必要となる。
【００７０】
一方で、図６（Ｂ）は図７（Ｂ）に示す如くＲＡＭ３に２ベルト分の容量のリングバッファを設けた場合のリングバッファでの画像データの処理順序を例示するものである。同リングバッファでは、拡大後のＹＵＶデータを同図（Ｂ−１）〜（Ｂ−５）に示すように１ベルト分ずつ処理してＪＰＥＧデータに変換していくため、全６ベルト分の処理を終えた時点で１フレーム分のＪＰＥＧデータを取得することができる。
【００７１】
したがって、図７（Ｂ）に示した如く１フレーム分のＹＵＶデータと２ベルト分のリングバッファの容量の差分だけＲＡＭ３をより記憶容量の小さなもので構成可能となる。
【００７２】
次に、文字画像の合成を行なう場合の上記図５での処理について説明する。
図９（Ａ）に示すベイヤーデータからリングバッファ上でＹＵＶデータに変換し、さらに上記図３（Ｂ）で示した５，６ベルトの位置に日付の文字画像データを合成することで図９（Ｂ）に示すような画像を得、これをＪＰＥＧデータに変換するものとする。
【００７３】
図１０（１）〜（３）に示すように４ベルト目までをＹＵＶデータに変換し、さらにＪＰＥＧデータに変換するまでの処理については上記図６の場合と同様である。
【００７４】
その後、画像データ転送部１７でステップＳ３０１により５ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ３０２でこのベルトのベイヤーデータが停止ベルトとして設定されていることを判断する。
【００７５】
これを判断した画像データ転送部１７は、画像合成部１８に対して処理停止信号を発行した後（ステップＳ２０３）、その画像合成部１８から画像合成処理の終了信号が送られてきたか否かを繰返し判断することで（ステップＳ２０４）、当該信号が送られてくるのを待機する。
【００７６】
しかるに画像合成部１８では、その当初に画像データ転送部１７から処理停止信号が送られてきたか否かを繰返し判断することで（ステップＳ４０１）、当該信号が送られてくるのを待機しており、送られてきたと判断した時点で、上記ＲＡＭ３のリングバッファ領域より１ベルト分（ここでは５ベルト目）のＹＵＶデータをより細かいデータ単位でこの画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を実行して合成画像（ＹＵＶデータ）を生成して、再度ＲＡＭ３のリングバッファ領域へ合成画像データを転送する（ステップＳ４０２）。
【００７７】
なお、ここでリングバッファ領域から画像合成部１８へ転送するデータは、合成処理を行なう部分のみのデータであってよい。これにより、処理速度をさらに向上することが可能となる。
【００７８】
合成処理終了後、画像合成部１８は画像データ転送部１７に対して画像合成処理の終了信号を発行し（ステップＳ４０３）、その後に当該ベルト位置が最終ベルトではないことを確認すると（ステップＳ４０４）、再び上記ステップＳ４０１からの処理に戻って、次に画像合成処理を待機する。
【００７９】
画像合成部１８から画像合成処理の終了信号の発行を受けた画像データ転送部１７では、ステップＳ２０４でこれを判断すると、あらためてＪＰＥＧ変換部１６に転送終了ライン位置「５」と処理終了信号とを発行した後（ステップＳ２０５）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトではないことを確認した上で（ステップＳ２０６）、上記ステップＳ２０１からの処理に戻る。
【００８０】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号を受信すると上記ステップＳ３０１でこれを判断し、リングバッファに保持される画像合成後のベルト位置「５」の１６ライン分のＹＵＶデータをＪＰＥＧデータに変換してデータ圧縮し、変換後のＪＰＥＧデータをＲＡＭ３の該当領域に書込む（ステップＳ３０２）。
【００８１】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトではないことを確認した上で（ステップＳ３０３）、上記ステップＳ３０１からの処理に戻り、画像データ転送部１７から処理終了信号を受信して次のベルト分のデータの処理を行なうのを待機する。
【００８２】
上記工程においてリングバッファでは、図１０（４）に示すように５ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれた後、このベルトが停止ベルトであることが画像データ転送部１７により判断されて画像合成部１８により文字画像の画像合成処理が実行されることで図１０（５）に示すような保持内容となる。
【００８３】
この画像合成後のＹＵＶデータからＪＰＥＧ変換部１６によりＪＰＥＧデータが生成されてＲＡＭ３内に上記図７（Ｂ）で示したＪＰＥＧデータの一部として保持される。
【００８４】
その後、画像データ転送部１７でステップＳ３０１により６ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ３０２でこのベルトのベイヤーデータが停止ベルトとして設定されていることを判断する。
【００８５】
これを判断した画像データ転送部１７は、画像合成部１８に対して処理停止信号を発行した後（ステップＳ２０３）、その画像合成部１８から画像合成処理の終了信号が送られてきたか否かを繰返し判断することで（ステップＳ２０４）、当該信号が送られてくるのを待機する。
【００８６】
画像合成部１８では、画像データ転送部１７から処理停止信号が送られてくるのを待機しており（ステップＳ４０１）、送られてきたと判断した時点で、１ベルト分（ここでは６ベルト目）のＹＵＶデータに対して対応する文字画像データの合成処理を実行する（ステップＳ４０２）。
【００８７】
合成処理終了後、画像合成部１８は画像データ転送部１７に対して画像合成処理の終了信号を発行し（ステップＳ４０３）、その後に当該ベルト位置が最終ベルトであると判断すると（ステップＳ４０４）、以上で当該撮影画像に対する画像合成処理を終えたものとして処理を終了する。
【００８８】
画像合成部１８から画像合成処理の終了信号の発行を受けた画像データ転送部１７では、ステップＳ２０４でこれを判断すると、あらためてＪＰＥＧ変換部１６に転送終了ライン位置「６」と処理終了信号とを発行した後（ステップＳ２０５）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトであることを判断し（ステップＳ２０６）、これも以上で当該撮影画像に対する画像の転送に関する処理を終えたものとして処理を終了する。
【００８９】
図８はこのときの画像データ転送部１７での処理を説明するものである。６ベルト目のＹＵＶデータが停止ベルトでなければ、本来図８（２）に示すようにＪＰＥＧ変換部１６への処理終了信号が発行されるタイミングで、実際には６ベルト目のＹＵＶデータが停止ベルトであるために処理終了信号が発行されずに一時的に停止し、その後画像合成部１８からの終了信号を受けるのを待って処理終了信号を発行するものとなる。
【００９０】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号を受信すると上記ステップＳ３０１でこれを判断し、リングバッファに保持される画像合成後のベルト位置「６」の１６ライン分のＹＵＶデータをＪＰＥＧデータに変換してデータ圧縮し、変換後のＪＰＥＧデータをＲＡＭ３の該当領域に書込む（ステップＳ３０２）。
【００９１】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトであることを判断し（ステップＳ３０３）、以上で当該撮影画像に対するＪＰＥＧデータへの変換処理を終えたものとして処理を終了する。
【００９２】
上記工程中にリングバッファでは、図１０（６）に示すように６ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれた後、このベルトが停止ベルトであることが画像データ転送部１７により判断されて画像合成部１８により文字画像の画像合成処理が実行されることで図１０（７）に示すような保持内容となる。
【００９３】
この画像合成後のＹＵＶデータからＪＰＥＧ変換部１６によりＪＰＥＧデータが生成されてＲＡＭ３内に上記図７（Ｂ）で示したＪＰＥＧデータの一部として保持される。
【００９４】
その後、最終ベルトのＪＰＥＧ変換を終えたことが画像データ転送部１７、画像合成部１８、及びＪＰＥＧ変換部１６でそれぞれ認識され、図５における処理はすべて完了したものとなり、あらためてＲＡＭ３に保持される１フレーム分のＪＰＥＧデータがメモリカードインターフェイス８を介して記録媒体であるメモリカードに記録される。
【００９５】
このように本動作例では、ＲＡＭ３の使用領域をむやみに広げてしまうことなく、画像データ中への文字画像データの合成を高品質且つ高速に実行することが可能となる。
【００９６】
また、上記実施形態において画像処理部１４及び画素数変換部１５では、ベイヤーデータをＹＵＶデータに変換する際に画像サイズの拡大を行なうものとしたが、必要に応じた拡大ではなく縮小を行なう場合でも、上記図４に示した事前設定の処理でその内容を設定することで同様の本処理を行なうことが可能となる。
【００９７】
この場合、ベイヤーデータからＹＵＶデータに変換する過程では画像サイズの拡大または縮小を併せて行ない、その後にＹＵＶデータに対して文字画像の合成処理を施すものとしたことにより、文字画像が変形するなどの不具合を確実に回避することができる。
【００９８】
この点は、上記画像サイズの拡大または縮小に止まらず、カラー画像データに対する各種の色処理を施す場合も同様であり、文字画像の一部が他の部分と異なった色となってしまうような不具合を確実に回避することができる。
【００９９】
また、上記動作例では、ＪＰＥＧ変換部１６で取扱う基本画素ブロックに併せて所定のライン数、例えば８ラインあるいは１６ライン単位で画像データ転送部１７での転送動作を調整するものとした。
【０１００】
これにより、文字画像合成後に即時ＪＰＥＧ変換部１６の処理を実行することができ、合成する文字画像の大きさに影響されることなく、画像処理ＩＣ２内の画像転送に係る制御動作を単純化することができる。
【０１０１】
（第２の動作例）
以下、ＣＣＤ４を用いた撮影により、図３（Ａ）に示す横６４ピクセル×縦４８ピクセル（ライン）のベイヤーデータを得、これを図３（Ｂ）に示すように縦横共に２倍して横１２８ピクセル×縦９６ピクセル（ライン）のＹＵＶデータに変換及び拡大した後に、同サイズのＪＰＥＧデータに変換してメモリカードインターフェイス８より図示しないメモリカードに記録させる場合の第２の動作について説明する。
【０１０２】
この場合、必要により図３（Ｂ）に示す画像中、ピクセルによる左上端点を原点座標（０，０）として座標（８０，７２）の位置を基準とし、任意の矩形領域、例えば横４８ピクセル×縦１６ピクセル（ライン）の大きさの文字画像データＣＩを合成するものとし、合成後のＹＵＶデータをＪＰＥＧデータに変換する。
【０１０３】
上記文字画像データＣＩとしては、図示するような「２００７．４．１」のようなデート（日付）情報でもよいし、さらには時刻、シャッタ速度や絞り（Ｆ）値などの撮影データ、その他の文字画像データでもよく、さらには記号やシンボル等の文字以外の各種画像情報を考えることもできる。
【０１０４】
後述するリングバッファ動作においては、ＪＰＥＧ変換処理が基本的に１６ライン単位でデータ処理を行なうため、これを１領域分割単位として「１ベルト」と称するものとする。
【０１０５】
したがって、縦横共に２倍に拡大する前のベイヤーデータでは、対応するように半分の８ラインを１ベルトとして読出し、リングバッファに転送するものとする。
【０１０６】
なお、画像撮影時に画像データ転送部１７が後述する画像処理を実行するのに先立って実行しておく、各パラメータの事前設定処理については、上記第１の動作例で図３により実行した内容と基本的に同様であるものとし、その図示と説明は省略するものとする。
【０１０７】
しかして、画像処理部１４、画素数変換部１５、画像合成部１８、ＪＰＥＧ変換部１６、及び画像データ転送部１７への必要な事前設定が完了したものとして、撮影に伴う画像の記録までの本動作に移行する。
【０１０８】
図１１は、画像データ転送部１７、ＪＰＥＧ変換部１６、及び画像合成部１８で並列して実行される処理内容を示すものである。まず、ベルト位置「１」の１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させて、ＲＡＭ３のリングバッファ領域へ転送するように制御する（ステップＳ５０１）。
【０１０９】
この後、画像データ転送部１７では現在画像処理部１４、画素数変換部１５で処理させた画像データが予め設定した停止ベルトの範囲内であるか否かを判断する（ステップＳ５０２）。
【０１１０】
ここでベルト位置「１」が設定した停止ベルトの範囲内ではないと判断すると、そのままＪＰＥＧ変換部１６に転送終了ライン位置「１」と処理終了信号とを発行した後（ステップＳ５０６）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトではないことを確認した上で（ステップＳ５０７）、上記ステップＳ５０１からの処理に戻る。
【０１１１】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号とを受信するのを待機している（ステップＳ６０１）。
しかして、画像データ転送部１７から処理終了信号を受信すると上記ステップＳ６０１でこれを判断し、リングバッファに保持されるベルト位置「１」の１６ライン分のＹＵＶデータをより細かいデータ単位でＪＰＥＧ変換部１６へ転送してＪＰＥＧデータに変換し、変換後のＪＰＥＧデータをＲＡＭ３のＪＰＥＧデータ領域内の該当領域に書込む（ステップＳ６０２）。
【０１１２】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトではないことを確認した上で（ステップＳ６０３）、上記ステップＳ６０１からの処理に戻り、画像データ転送部１７から処理終了信号を受信して次のベルト分のデータの処理を行なうのを待機する。
【０１１３】
こうして画像データ転送部１７、画像処理部１４、画素数変換部１５、及びＪＰＥＧ変換部１６での処理を繰返し実行することにより、合成すべき文字画像データがないベルト位置ではＲＡＭ３のリングバッファを用いて１ベルト分ずつ処理が実行されていく。
【０１１４】
以下同様の処理を繰返し実行し、図１３（１）〜（３）に示すように４ベルト目までをＹＵＶデータに変換し、さらにＪＰＥＧデータに変換する。
【０１１５】
その後、画像データ転送部１７でステップＳ５０１により５ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ５０２でこのベルトのベイヤーデータが停止ベルトの範囲内として設定されていることを判断する。
【０１１６】
これを判断した画像データ転送部１７は、次いでそのベルトが停止ベルトの範囲内中の最終ベルトであるか否かを判断する（ステップＳ５０３）。
【０１１７】
ここで５ベルト目は停止ベルトの範囲内であるが、その範囲内での最終ベルトは６ベルトであるため、停止最終ベルトではないものと判断して、再び上記ステップＳ５０１からの処理に戻る。
【０１１８】
しかして、画像データ転送部１７でステップＳ６０１により６ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ６０２でこのベルトのベイヤーデータが停止ベルトの範囲として設定されていることを判断する。
【０１１９】
これを判断した画像データ転送部１７が、続くステップＳ５０３でそのベルトが停止ベルトの範囲内中の最終ベルトであると判断すると、画像合成部１８に対して処理停止信号を発行した後（ステップＳ５０４）、その画像合成部１８から画像合成処理の終了信号が送られてきたか否かを繰返し判断することで（ステップＳ５０５）、当該信号が送られてくるのを待機する。
【０１２０】
画像合成部１８では、画像データ転送部１７から処理停止信号が送られてくるのを待機しており（ステップＳ７０１）、送られてきたと判断した時点で、上記ＲＡＭ３のリングバッファ領域より停止範囲ベルト分（ここでは５，６ベルトの２ベルト分）のＹＵＶデータをより細かいデータ単位でこの画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を一括して実行して合成画像（ＹＵＶデータ）を生成して、再度ＲＡＭ３のリングバッファ領域へ合成画像データを転送する（ステップＳ７０２）。
【０１２１】
なお、ここでリングバッファ領域から画像合成部１８へ転送するデータは、合成処理を行なう部分のみのデータであってよい。
これにより、処理速度をさらに向上することが可能となる。
【０１２２】
合成処理終了後、画像合成部１８は画像データ転送部１７に対して画像合成処理の終了信号を発行し（ステップＳ７０３）、以上で当該撮影画像に対する画像合成処理を終えたものとして処理を終了する。
【０１２３】
画像合成部１８から画像合成処理の終了信号の発行を受けた画像データ転送部１７では、ステップＳ５０５でこれを判断すると、あらためてＪＰＥＧ変換部１６に転送終了ライン位置「６」と処理終了信号とを発行した後（ステップＳ５０６）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトであることを判断し（ステップＳ５０７）、これも以上で当該撮影画像に対する画像の転送に関する処理を終えたものとして処理を終了する。
【０１２４】
図１２はこのときの画像データ転送部１７での処理を説明するものである。５ベルト目、及び６ベルト目のＹＵＶデータが共に停止ベルトでなければ、本来図１２（２）に示すようにＪＰＥＧ変換部１６への処理終了信号が発行されるタイミングで、実際には５ベルト目及び６ベルト目の２ベルト分の終了信号を一時的に出力せずにＪＰＥＧ変換部１６での変換処理を停止させ、その後画像合成部１８からの複数ベルト分の合成処理に関する終了信号を受けるのを待って処理終了信号を発行するものとなる。
【０１２５】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号を受信すると上記ステップＳ６０１でこれを判断し、リングバッファに保持される画像合成後のベルト位置「５」及び「６」の２ベルト分のＹＵＶデータをＪＰＥＧデータに変換してデータ圧縮し、変換後のＪＰＥＧデータをＲＡＭ３の該当領域に書込む（ステップＳ６０２）。
【０１２６】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトであることを判断し（ステップＳ６０３）、以上で当該撮影画像に対するＪＰＥＧデータへの変換処理を終えたものとして処理を終了する。
【０１２７】
上記工程中にリングバッファでは、図１３（４）に示すように５ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれ、さらに図１３（５）に示すように６ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれた後、このベルトが停止ベルト範囲内の最終ベルトであることが画像データ転送部１７により判断されて画像合成部１８により複数ベルト分の文字画像の一括画像合成処理が実行されることで図１０（６）に示すような保持内容となる。
【０１２８】
この画像合成後のＹＵＶデータからＪＰＥＧ変換部１６によりＪＰＥＧデータが生成されてＲＡＭ３内にＪＰＥＧデータの一部として保持される。
【０１２９】
その後、最終ベルトのＪＰＥＧ変換を終えたことが画像データ転送部１７、画像合成部１８、及びＪＰＥＧ変換部１６でそれぞれ認識され、図１１における処理はすべて完了したものとなり、あらためてＲＡＭ３に保持される１フレーム分のＪＰＥＧデータがメモリカードインターフェイス８を介して記録媒体であるメモリカードに記録される。
【０１３０】
このように本動作例では、合成する文字画像側のサイズに合わせてＪＰＥＧ変換部１６での変換処理を一時的に遅延させるものとした。
【０１３１】
このように、複数ベルトに渡った画像合成を一括して処理し、その間、後段での変換処理を一時的に遅延させるものとしたので、複数のベルトに跨った文字画像の合成に際して合成後の文字画像の整合が取り易く、効率的に処理を実行することができる。
【０１３２】
なお、上記実施形態では、上述した如く合成する文字画像に関してその位置や大きさ等を任意に設定できるものとした。
【０１３３】
これにより、本実施形態の如く単に日付情報を合成するのみならず、ユーザが任意に設定したメッセージやメモの情報等を任意に設定しておくことで、単なる画像の撮影に止まらず、ユーザに必要な情報を容易に記録しておくことができる。
【０１３４】
また、上記図３に示した如く、画像合成に関する各種設定は事前に設定しておくことで、実際に画像を撮影してからその画像データに必要な文字画像を合成して記録するまでの処理を大幅に簡略化することができ、画像処理ＩＣ２内での制御動作を司るＤＭＡＣ１１、及びカメラ内で全体の制御動作を司るＣＰＵ１の負担を軽減できると共に、次の撮影に移行するまでの時間を短縮して、連射性能を向上することができる。
【０１３５】
なお、上記実施形態では、１枚の撮影画像中に文字画像を１箇所だけ合成する場合について説明したが、本発明はこれに限ることなく、複数箇所に合成することも同様に可能である。
【０１３６】
なお、画像データに情報画像データを合成するに際し、情報画像データのライン数に基づいて画像データの領域分割単位のライン数を決定しても良い。
【０１３７】
さらにその場合、情報画像データのライン数と、領域分割単位のライン数を同じにして、領域分割を行った際に、情報画像の合成位置を領域分割された領域に収まるように合成位置を設定して合成するようにしても良い。
これにより、画像合成をより効率的に行なうことが可能となる。
【０１３８】
なお、上記実施形態では、ベイヤーデータを取り込んでＹＵＶデータに変換して出力することと、画像を合成することを画像合成部で行い、ＹＵＶデータを取り込んでＪＰＥＧデータに変換して出力することをＪＰＥＧ変換部で行なっていた。つまり、コンピュータのソフトウェアではなくハードウェア回路で画像変換を行なっていた。
【０１３９】
しかしこれに限る必要はなく、データはＲＡＭ３上に置いたままで、ハードウェアではなくソフトウェアで、ベイヤーデータ→ＹＵＶデータ→ＪＰＥＧデータへと変換するように構成しても良い。
【０１４０】
なお、上記実施形態では、ステップＳ２０１及びＳ５０１において、画像合成するベルトの１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させて、ＲＡＭ３のリングバッファ領域へ転送するように制御していると共に、ステップＳ４０２及びＳ７０２において、上記ＲＡＭ３のリングバッファ領域より所定ベルト分のＹＵＶデータをより細かいデータ単位でこの画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を実行して合成画像（ＹＵＶデータ）を生成して、再度ＲＡＭ３のリングバッファ領域へ合成画像データを転送するように構成しているが、このようではなくとも構わない。
【０１４１】
例えば、画像合成するベルトの１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させた後、リングバッファ領域へ画像を転送せずに、画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を実行して合成画像（ＹＵＶデータ）を生成して、ＲＡＭ３のリングバッファ領域へ合成画像データを転送するように構成しても構わない。
これにより、処理速度を向上することが可能となる。
【０１４２】
なお、上記実施形態ではベイヤーデータからＪＰＥＧデータを生成する過程について詳細に説明しているが、ベイヤーデータから表示データを生成する過程については詳細に記載していないが、表示データとは、ここではいわゆるサムネイル画像のことを言っているので、基本的な処理の流れはベイヤーデータからＪＰＥＧデータを生成する流れと同様であるので詳細の記載を省略する。
【０１４３】
ＪＰＥＧデータと表示データとの生成過程で違う点は、ベイヤデータよりＹＵＶデータを生成する時に、画素数変換部１５で拡大処理を行なうのか、縮小処理を行なうかの違いがある。また、ＪＰＥＧ変換部１６でＪＰＥＧデータに変換したデータを、ＪＰＥＧデータ領域に保存するのか、表示データ領域に保存するか、の違いがある。しかしその他の点に関しては同一であって良い。
【０１４４】
なお、本実施形態においては、リングバッファを用いることで、ベイヤーデータからＹＵＶデータへの変換処理を３２ビットで実行し、ＹＵＶデータからＪＰＥＧデータへの変換処理を１６ビットで実行することが出来る。ＹＵＶデータからＪＰＥＧデータへの変換処理は、１６ビット又は８ビットに限定されているため、リングバッファを有することで、その前後工程の処理速度を変更できるので、リングバッファを用いない場合と比較して高速で処理できるというメリットがある。
【０１４５】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１４６】
【図１】本発明の一実施形態に係るデジタルカメラの電子回路の主要構成を示すブロック図。
【図２】同実施形態に係る図１の画像処理ＩＣ内の回路構成を示すブロック図。
【図３】同実施形態に係る画像記録に先立つ事前設定時に画像処理チップ内で実行される処理内容を示すフローチャート。
【図４】同実施形態に係るベイヤーデータとＹＵＶデータの画像データサイズを説明する図。
【図５】同実施形態に係る第１の動作例で画像記録時に画像処理チップ内で実行される処理内容を示すフローチャート。
【図６】同実施形態に係る第１の動作例で文字画像データを合成しない場合の画像処理の順序を例示する図。
【図７】同実施形態に係るＲＡＭの使用領域をリングバッファを使用しない場合と比較して示す図。
【図８】同実施形態に係る第１の動作例で文字画像データを合成する場合の画像処理の制御内容を示すタイミングチャート。
【図９】同実施形態に係る第１の動作例で文字画像データを合成する場合の合成前後の画像を例示する図。
【図１０】同実施形態に係る第１の動作例で文字画像データを合成する場合の画像処理の順序を例示する図。
【図１１】同実施形態に係る第２の動作例で画像記録時に画像処理チップ内で実行される処理内容を示すフローチャート。
【図１２】同実施形態に係る第２の動作例で文字画像データを合成する場合の画像処理の制御内容を示すタイミングチャート。
【図１３】同実施形態に係る第２の動作例で文字画像データを合成する場合の画像処理の順序を例示する図。
【符号の説明】
【０１４７】
１…ＣＰＵ、２…画像処理ＩＣ、３…ＲＡＭ、４…ＣＣＤ、５…ＲＯＭ、６…ＬＣＤ、７…キー入力部、８…メモリカードインターフェイス（Ｉ／Ｆ）、９…電源部、１１…ＤＭＡコントローラ（ＤＭＡＣ）、１２…メモリ制御部、１３…ＣＣＤ制御部、１４…画像処理部、１５…画素数変換部、１６…ＪＰＥＧ変換部、１７…画像データ転送部、１８…画像合成部、１９…ＬＣＤ制御部、２０…キー入力制御部、ＣＢ…コントロールバス、ＤＢ…データバス。
【技術分野】
【０００１】
本発明は、画像上に情報を合成する撮像装置、情報合成装置及びプログラムに関する。
【背景技術】
【０００２】
はじめに、以下文中ではベイヤー配列の画像データをベイヤーデータ、ＹＵＶフォーマットの画像データをＹＵＶデータ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットの画像データをＪＰＥＧデータと称するものとする。
【０００３】
従来、メモリの一部をリングバッファとして使用し、例えばベイヤーデータをＹＵＶデータに変換する際に合わせて拡大／縮小を行なう画像処理の技術が存在する。（例えば、特許文献１）
一般にデジタルカメラに搭載された画像処理システムでは、撮影により撮像素子から得られたベイヤーデータをＹＵＶデータに変換した後、さらに記録に適したＪＰＥＧデータに変換してデータ量を圧縮してから記録媒体となるメモリカードに記録するものとしていた。
【０００４】
記録する画像中に例えば日付情報等の文字画像を重畳して記録させたい場合、従来はベイヤーデータの段階で文字画像を合成した上でリングバッファへデータを転送するものとしていた。
【０００５】
しかしながら、ベイヤーデータの段階で文字画像を重畳すると、ＹＵＶデータへの変換時に、データを縮小する場合には細線が消失し、あるいはデータを拡大する場合には一部の線が太くなってしまうなど、文字画像部分が縮小／拡大に伴って変形し、正しい文字画像が得られなくなるという不具合がある。
【特許文献１】特開２００３−０１８６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のような不具合を避けるため、文字画像の合成を行なう際にはメモリをリングバッファとして使用するのを一時的に取り止め、１フレーム分の縮小／拡大後のＹＵＶデータをメモリ上に展開した状態でソフトウェア的に文字画像を重畳（部分的に上書き）した後、そのＹＵＶデータをＪＰＥＧデータに変換するという手法を採ることも考えられる。
【０００７】
しかしながら、そうした場合、上記の画像劣化はないものの、メモリの使用領域が大幅に増えると共に、画像データの変換により多くの時間を要するという他の不具合が発生し、現実的ではない。
【０００８】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、画像処理を行なうメモリの使用領域をむやみに広げることなく、画像データ中への情報の合成を高品質に実行することが可能な撮像装置、情報合成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、被写体を撮影して全体画像データを取得する撮影手段と、記全体画像データを記憶する第１の記憶手段と、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得る第１の画像処理手段と、上記第１の画像処理手段で得た部分画像データを保持する第２の記憶手段と、上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段とを備えることを特徴とする。
【００１０】
請求項２記載の発明は、上記請求項１記載の発明において、上記第２の画像処理手段で得た部分画像データを保持する第３の記憶手段を備え、上記転送制御手段は、上記第１の記憶手段から上記第３の記憶手段に至る部分画像データの転送動作を制御することを特徴とする。
【００１１】
請求項３記載の発明は、上記請求項１記載の発明において、上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して拡大又は縮小の処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする。
【００１２】
請求項４記載の発明は、上記請求項１記載の発明において、上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して画像の色変換処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする。
【００１３】
請求項５記載の発明は、上記請求項１記載の発明において、上記第２の画像処理手段は、上記第２の記憶手段から転送されてくる上記部分画像データに対して圧縮処理を含む第２の画像処理を施すことを特徴とする。
【００１４】
請求項６記載の発明は、上記請求項１記載の発明において、上記領域分割単位は、上記全体画像データを所定ライン数単位で分割したものであることを特徴とする。
【００１５】
請求項７記載の発明は、上記請求項１記載の発明において、上記転送制御手段は、上記領域分割単位で転送動作を調整することを特徴とする。
【００１６】
請求項８記載の発明は、上記請求項１記載の発明において、上記合成手段は、上記合成を、部分画像データ毎に行うことを特徴とする。
【００１７】
請求項９記載の発明は、上記請求項１記載の発明において、上記合成手段で合成する画像データ中に合成する情報データの位置と大きさとを判別する判別手段をさらに具備し、上記停止制御手段は、上記判別手段での判別結果に応じて上記部分画像データの転送動作を停止制御することを特徴とする。
【００１８】
請求項１０記載の発明は、上記請求項１記載の発明において、上記合成手段は、上記合成を、所定数の部分画像データ分まとめて行うことを特徴とする。
【００１９】
請求項１１記載の発明は、上記請求項１記載の発明において、上記停止制御手段は、上記第１の画像処理手段が第１の画像処理を施して部分画像データを得る前に、上記部分画像データの転送動作を停止制御するタイミングを決定しておくことを特徴とする。
【００２０】
請求項１２記載の発明は、上記請求項１記載の発明において、上記部分画像データは、前記情報データを合成すべき部分画像データであるか否かを判断する判断手段をさらに具備し、上記停止制御手段は、上記判断手段での判断結果に応じて上記部分画像データの転送動作を停止制御することを特徴とする。
【００２１】
請求項１３記載の発明は、全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段とを備えることを特徴とする。
【００２２】
請求項１４記載の発明は、全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段とを備えることを特徴とする情報合成装置に、上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段とを実現させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、画像処理を行なうメモリの使用領域をむやみに広げることなく、画像データ中への情報の合成を高品質に実行することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
（構成）
図１は本実施形態全体の主要な回路構成を示すものである。１はカメラ全体の動作制御を司るシステムコントローラとしてのＣＰＵである。このＣＰＵ１に対して、コントロールバスＣＢ及びデータバスＤＢを介して画像処理ＩＣ２が接続される。
【００２５】
この画像処理ＩＣ２は、後述する画像の撮影から記録に至る画像データに関する処理全般を行なう。この画像処理ＩＣ２は、メインメモリであるＲＡＭ３、及びプログラムデータや固定データを記憶したＲＯＭ５と上記データバスＤＢを介して接続される。
【００２６】
さらに画像処理ＩＣ２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）４、上記ＲＯＭ５、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）６、及びキー入力部７、メモリカードインターフェイス８と直接接続される。
【００２７】
ＣＣＤ４はこのカメラの撮像素子であり、原色系ベイヤー配列のカラーフィルタを有するものとする。ＬＣＤ６は、カメラの背面側に設けられた、バックライト付きのカラー液晶表示パネルであり、モニタ画像や再生画像等を表示する。
【００２８】
キー入力部７は、電源キーやシャッタキー、モードキー、カーソルキー、セットキー等からなり、ユーザの操作に応じたキー操作信号を画像処理ＩＣ２へ出力する。
【００２９】
メモリカードインターフェイス８は、このカメラの記録媒体であり、撮影時にはこのカメラに着脱自在に装着されるメモリカード（図示せず）への画像データ等の書込み、再生時には同メモリカードからの画像データに読出しを行なう。
上記各回路に対して電源部９から必要な電力が供給される。
【００３０】
図２は、上記画像処理ＩＣ２内のより詳細な機能回路構成を示すブロック図である。
同図中、１１はＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ（図では「ＤＭＡＣ」と称す）である。
【００３１】
このＤＭＡコントローラ１１は、ＣＣＤ４からＣＣＤ制御部１３を介して画像データを取込んで上記ＲＡＭ３に書込み、あるいは上記ＲＡＭ３に書込まれた画像データを読出して、各種の処理後に再度ＲＡＭ３に書込むなどの際のデータの入出力制御を行なう。
メモリ制御部１２は、このＤＭＡコントローラ１１の制御の下に上記ＲＡＭ３、ＲＯＭ５、及びメモリカードインターフェイス８との間でのデータの送受を行なう。
【００３２】
さらにこのＤＭＡコントローラ１１に対して、画像データ転送部１７、ＪＰＥＧ変換部１６、画像合成部１８、及びＬＣＤ制御部１９が接続される。
画像データ転送部１７は、画像処理部１４と画素数変換部１５、上記ＪＰＥＧ変換部１６、及び画像データ転送部１７でのデータの転送制御を行なう。
【００３３】
画像処理部１４は、ベイヤーデータをＹＵＶデータに変換して画素数変換部１５へ出力する。画素数変換部１５は、ＹＵＶデータの拡大処理または縮小処理を行ない、処理後のデータを画像データ転送部１７へ出力する。
【００３４】
ＪＰＥＧ変換部１６は、ＹＵＶデータを所定のデータ圧縮処理によりＪＰＥＧデータに変換し、ＤＭＡコントローラ１１へ出力する。画像合成部１８は、画像データ中に文字画像等を合成し、合成結果をＤＭＡコントローラ１１へ出力する。
【００３５】
ＬＣＤ制御部１９は、上記ＬＣＤ６を制御して撮影時のモニタ画像他、画像の表示制御を行なう。キー入力制御部２０は、上記キー入力部７から入力されたキー操作信号を受け付け、対応するキーコード情報を上記ＣＰＵ１へ出力する。
【００３６】
以下、指定された画像データの記録サイズが小さく、ＲＡＭ３の容量に余裕がある場合の撮影時の大まかな画像処理の流れについて説明する。
撮影が指示されてＣＣＤ制御部１３がＣＣＤ４から画像データ（ベイヤーデータ）を取込み、ＲＡＭ３に記憶させる。このＲＡＭ３に記憶されたベイヤーデータをＤＭＡコントローラ１１が読出し、画像データ転送部１７を介して画像処理部１４でＹＵＶデータに変換して画素数変換部１５へ出力する。
【００３７】
画素数変換部１５は、画像処理部１４からのＹＵＶデータを所望の画素数サイズに変換して画像データ転送部１７へ出力するもので、画像データ転送部１７がこのＹＵＶデータをＲＡＭ３へ記憶させる。
【００３８】
次に、ＪＰＥＧ変換部１６がＲＡＭ３からＹＵＶデータを読出してＪＰＥＧデータに変換し、再度ＲＡＭ３に記憶させる。
【００３９】
文字画像等の画像合成が必要な際には、ＹＵＶデータの段階で画像合成部１８が必要な画像構成処理を行なった後に、ＪＰＥＧ変換部１６がそれをＪＰＥＧデータに変換する。
【００４０】
（第１の動作例）
以下、ＣＣＤ４を用いた撮影により、図３（Ａ）に示す横６４ピクセル×縦４８ピクセル（ライン）のベイヤーデータを得、これを図３（Ｂ）に示すように縦横共に２倍して横１２８ピクセル×縦９６ピクセル（ライン）のＹＵＶデータに変換及び拡大した後に、同サイズのＪＰＥＧデータに変換してメモリカードインターフェイス８より図示しないメモリカードに記録させる場合の第１の動作について説明する。
【００４１】
この場合、必要により図３（Ｂ）に示す画像中、ピクセルによる左上端点を原点座標（０，０）として座標（８０，７２）の位置を基準とし、任意の矩形領域、例えば横４８ピクセル×縦１６ピクセル（ライン）の大きさの文字画像データＣＩを合成するものとし、合成後のＹＵＶデータをＪＰＥＧデータに変換する。
【００４２】
上記文字画像データＣＩとしては、図示するような「２００７．４．１」のようなデート（日付）情報でもよいし、さらには時刻、シャッタ速度や絞り（Ｆ）値などの撮影データ、その他の文字画像データでもよく、さらには記号やシンボル等の文字以外の各種画像情報を考えることもできる。
【００４３】
後述するリングバッファ動作においては、ＪＰＥＧ変換処理が基本的に１６ライン単位でデータ処理を行なうため、これを１領域分割単位として「１ベルト」と称するものとする。
【００４４】
したがって、縦横共に２倍に拡大する前のベイヤーデータでは、対応するように８ラインを１ベルトとして読出し、リングバッファに転送するものとする。
【００４５】
図４は、画像撮影時に画像データ転送部１７が後述する画像処理を実行するのに先立って実行しておく、各パラメータの事前設定処理を行なうためのフローチャートであり、その制御動作はＣＰＵ１の制御の下に画像処理ＩＣ２内で主としてＤＭＡＣ１１が行なう。
【００４６】
その当初には、ＣＣＤ制御部１３がＤＭＡＣ１１化に取込んだ、画像サイズ（(横)６４(ピクセル)，(縦)４８(ピクセル)）（以下座標データ形式で（６４，４８）のように表記）のベイヤーデータをＲＡＭ３のアドレス「０ｘ０００００００００」に保存する（ステップＳ１０１）。
【００４７】
次いで、ＤＭＡＣ１１が画像処理部１４にベイヤーデータからＹＵＶデータへの変換処理設定を行なう（ステップＳ１０２）。加えて、ＤＭＡＣ１１が画素数変換部１５に「２」倍での拡大処理を行なうよう設定する（ステップＳ１０３）。
【００４８】
さらに、入力画像サイズ（６４，４８）と出力画像サイズ（１２８，９６）から、ベルト数「６」、ベルトライン数「１６」を決定する（ステップＳ１０４）。
【００４９】
以上決定した内容を含め、画像データ転送部１７に
入力画像アドレス「０ｘ０００００００００」、
入力画像サイズ（６４，４８）、
出力画像アドレス「０ｘ１００００００００」、
出力画像サイズ（１２８，９６）、
ベルト数「６」、
入力ベルトライン数「８」、及び
出力ベルトライン数「１６」
を設定する（ステップＳ１０５）。
【００５０】
併せてＪＰＥＧ変換部１６にも、
入力画像アドレス「０ｘ１００００００００」、
出力画像アドレス「０ｘ２００００００００」、
画像サイズ（１２８，９６）、
ベルト数「６」、及び
ベルトライン数「１６」
を設定する（ステップＳ１０６）。
【００５１】
さらに、合成する文字画像データの基準座標（８０，７２）と合成サイズ（４８，１６）から、合成位置に対応する停止ベルトの位置「５，６」を決定する（ステップＳ１０７）。
【００５２】
この決定結果に従い、画像合成部１８に合成データの設定として
文字画像の合成位置の座標（８０，７２）、
合成サイズ（４８，１６）、及び
停止ベルト数「２」
を設定する（ステップＳ１０８）。
次いで、画像データ転送部１７にも停止ベルトの位置「５，６」を設定する（ステップＳ１０９）。
【００５３】
以上で、画像処理部１４、画素数変換部１５、画像合成部１８、ＪＰＥＧ変換部１６、及び画像データ転送部１７への必要な事前設定が完了したものとして、上記各回路の動作を開始する設定を行ない（ステップＳ１１０）、以上でこの図４の処理を終了すると共に、撮影に伴う画像の記録までの本動作に移行する。
【００５４】
図５は、画像データ転送部１７、ＪＰＥＧ変換部１６、及び画像合成部１８で並列して実行される処理内容を示すものである。まず、ベルト位置「１」の１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させて、ＲＡＭ３のリングバッファ領域へ転送するように制御する（ステップＳ２０１）。
【００５５】
この後、画像データ転送部１７では現在画像処理部１４、画素数変換部１５で処理させた画像データが予め設定した停止ベルトのものであるか否かを判断する（ステップＳ２０２）。
【００５６】
ここでベルト位置「１」が設定した停止ベルトではないと判断すると、そのままＪＰＥＧ変換部１６に転送終了ライン位置「１」と処理終了信号とを発行した後（ステップＳ２０５）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトではないことを確認した上で（ステップＳ２０６）、上記ステップＳ２０１からの処理に戻る。
【００５７】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号とを受信するのを待機している（ステップＳ３０１）。
しかして、画像データ転送部１７から処理終了信号を受信すると上記ステップＳ３０１でこれを判断し、リングバッファに保持されるベルト位置「１」の１６ライン分のＹＵＶデータをより細かいデータ単位でＪＰＥＧ変換部１６へ転送してＪＰＥＧデータに変換し、変換後のＪＰＥＧデータをＲＡＭ３のＪＰＥＧデータ領域内の該当領域に書込む（ステップＳ３０２）。
【００５８】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトではないことを確認した上で（ステップＳ３０３）、上記ステップＳ３０１からの処理に戻り、画像データ転送部１７から処理終了信号を受信して次のベルト分のデータの処理を行なうのを待機する。
【００５９】
こうして画像データ転送部１７、画像処理部１４、画素数変換部１５、及びＪＰＥＧ変換部１６での処理を繰返し実行することにより、合成すべき文字画像データがないベルト位置ではＲＡＭ３のリングバッファを用いて１ベルト分ずつ処理が実行されていく。
【００６０】
図７は、ＲＡＭ３内部のデータ領域区分例（リングバッファを使用する場合と使用しない場合）を示すものである。
【００６１】
図７（Ａ）では、ベイヤーデータ格納領域、ＹＵＶデータ格納領域、ＪＰＥＧデータ格納領域、表示データ格納領域を設けている。ベイヤーデータ→ＹＵＶデータ→ＪＰＥＧデータへの変換は、上記した１領域分割単位である「１ベルト」毎に順次行い、３つの領域を同時に利用していた。つまり、上述したすべての領域は、１画像分のデータを格納する領域としていた。
【００６２】
これに対して、図７（Ｂ）では、ＹＵＶデータ格納領域の代わりに、リングバッファ領域を設けている。上記と同様にして１領域分割単位である「１ベルト」毎に順次データ変換を行なうとした場合に、ＹＵＶ領域は、通常概略的には前記領域分割単位毎にデータが通り過ぎるだけなのでＹＵＶデータ領域を用意しても、使用していない領域が多かった。つまりこれをリングバッファ領域に代替することで、同様の処理を、より少ない領域で処理することが可能となり、全体として、ＲＡＭ３の容量をより効果的に利用することができていることを示している。
【００６３】
上記では、ＹＵＶデータ→ＪＰＥＧデータへの変換の処理を開示したが、この処理の流れは、ＹＵＶデータ→表示データへの変換においても同様である。
【００６４】
ここで言う表示データとは、サムネイル画像のことである。
【００６５】
因みに、ベイヤーデータ領域に画像データを入力する際と、ＪＰＥＧデータ領域から画像を出力する際と、表示データ領域から画像を出力する際は、１領域分割単位である「１ベルト」毎に処理するのではなく、１画像毎にデータ処理を行なっている。
【００６６】
下記により詳細に説明する。
【００６７】
図６は、合成すべき文字画像データがない場合のベイヤーデータからＹＵＶデータ、ＪＰＥＧデータに拡大される撮影画像を例示するものである。なお、同図中では、理解を容易にするために画像データに実線の矩形フレームを付加して説明しているが、実際のデータ変換においてはそのような実線の矩形フレームは存在しない。
【００６８】
図６（Ａ）は、参考までにＲＡＭ３でリングバッファを使用せずに画像全体をベイヤーデータからＹＵＶデータに変換し、さらにＹＵＶデータからＪＰＥＧデータに変換した場合の変換後の画像を例示するものである。
【００６９】
このようにＲＡＭ３にリングバッファを設けないで処理する場合、図７（Ａ）に示すようにＲＡＭ３では画像に撮影に際して、撮影により得たベイヤーデータ、ＹＵＶデータ、ＪＰＥＧデータ、及びＬＣＤ６で表示するための表示データの領域が必要となり、ＲＡＭ３の記憶容量としてより大きなものが必要となる。
【００７０】
一方で、図６（Ｂ）は図７（Ｂ）に示す如くＲＡＭ３に２ベルト分の容量のリングバッファを設けた場合のリングバッファでの画像データの処理順序を例示するものである。同リングバッファでは、拡大後のＹＵＶデータを同図（Ｂ−１）〜（Ｂ−５）に示すように１ベルト分ずつ処理してＪＰＥＧデータに変換していくため、全６ベルト分の処理を終えた時点で１フレーム分のＪＰＥＧデータを取得することができる。
【００７１】
したがって、図７（Ｂ）に示した如く１フレーム分のＹＵＶデータと２ベルト分のリングバッファの容量の差分だけＲＡＭ３をより記憶容量の小さなもので構成可能となる。
【００７２】
次に、文字画像の合成を行なう場合の上記図５での処理について説明する。
図９（Ａ）に示すベイヤーデータからリングバッファ上でＹＵＶデータに変換し、さらに上記図３（Ｂ）で示した５，６ベルトの位置に日付の文字画像データを合成することで図９（Ｂ）に示すような画像を得、これをＪＰＥＧデータに変換するものとする。
【００７３】
図１０（１）〜（３）に示すように４ベルト目までをＹＵＶデータに変換し、さらにＪＰＥＧデータに変換するまでの処理については上記図６の場合と同様である。
【００７４】
その後、画像データ転送部１７でステップＳ３０１により５ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ３０２でこのベルトのベイヤーデータが停止ベルトとして設定されていることを判断する。
【００７５】
これを判断した画像データ転送部１７は、画像合成部１８に対して処理停止信号を発行した後（ステップＳ２０３）、その画像合成部１８から画像合成処理の終了信号が送られてきたか否かを繰返し判断することで（ステップＳ２０４）、当該信号が送られてくるのを待機する。
【００７６】
しかるに画像合成部１８では、その当初に画像データ転送部１７から処理停止信号が送られてきたか否かを繰返し判断することで（ステップＳ４０１）、当該信号が送られてくるのを待機しており、送られてきたと判断した時点で、上記ＲＡＭ３のリングバッファ領域より１ベルト分（ここでは５ベルト目）のＹＵＶデータをより細かいデータ単位でこの画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を実行して合成画像（ＹＵＶデータ）を生成して、再度ＲＡＭ３のリングバッファ領域へ合成画像データを転送する（ステップＳ４０２）。
【００７７】
なお、ここでリングバッファ領域から画像合成部１８へ転送するデータは、合成処理を行なう部分のみのデータであってよい。これにより、処理速度をさらに向上することが可能となる。
【００７８】
合成処理終了後、画像合成部１８は画像データ転送部１７に対して画像合成処理の終了信号を発行し（ステップＳ４０３）、その後に当該ベルト位置が最終ベルトではないことを確認すると（ステップＳ４０４）、再び上記ステップＳ４０１からの処理に戻って、次に画像合成処理を待機する。
【００７９】
画像合成部１８から画像合成処理の終了信号の発行を受けた画像データ転送部１７では、ステップＳ２０４でこれを判断すると、あらためてＪＰＥＧ変換部１６に転送終了ライン位置「５」と処理終了信号とを発行した後（ステップＳ２０５）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトではないことを確認した上で（ステップＳ２０６）、上記ステップＳ２０１からの処理に戻る。
【００８０】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号を受信すると上記ステップＳ３０１でこれを判断し、リングバッファに保持される画像合成後のベルト位置「５」の１６ライン分のＹＵＶデータをＪＰＥＧデータに変換してデータ圧縮し、変換後のＪＰＥＧデータをＲＡＭ３の該当領域に書込む（ステップＳ３０２）。
【００８１】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトではないことを確認した上で（ステップＳ３０３）、上記ステップＳ３０１からの処理に戻り、画像データ転送部１７から処理終了信号を受信して次のベルト分のデータの処理を行なうのを待機する。
【００８２】
上記工程においてリングバッファでは、図１０（４）に示すように５ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれた後、このベルトが停止ベルトであることが画像データ転送部１７により判断されて画像合成部１８により文字画像の画像合成処理が実行されることで図１０（５）に示すような保持内容となる。
【００８３】
この画像合成後のＹＵＶデータからＪＰＥＧ変換部１６によりＪＰＥＧデータが生成されてＲＡＭ３内に上記図７（Ｂ）で示したＪＰＥＧデータの一部として保持される。
【００８４】
その後、画像データ転送部１７でステップＳ３０１により６ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ３０２でこのベルトのベイヤーデータが停止ベルトとして設定されていることを判断する。
【００８５】
これを判断した画像データ転送部１７は、画像合成部１８に対して処理停止信号を発行した後（ステップＳ２０３）、その画像合成部１８から画像合成処理の終了信号が送られてきたか否かを繰返し判断することで（ステップＳ２０４）、当該信号が送られてくるのを待機する。
【００８６】
画像合成部１８では、画像データ転送部１７から処理停止信号が送られてくるのを待機しており（ステップＳ４０１）、送られてきたと判断した時点で、１ベルト分（ここでは６ベルト目）のＹＵＶデータに対して対応する文字画像データの合成処理を実行する（ステップＳ４０２）。
【００８７】
合成処理終了後、画像合成部１８は画像データ転送部１７に対して画像合成処理の終了信号を発行し（ステップＳ４０３）、その後に当該ベルト位置が最終ベルトであると判断すると（ステップＳ４０４）、以上で当該撮影画像に対する画像合成処理を終えたものとして処理を終了する。
【００８８】
画像合成部１８から画像合成処理の終了信号の発行を受けた画像データ転送部１７では、ステップＳ２０４でこれを判断すると、あらためてＪＰＥＧ変換部１６に転送終了ライン位置「６」と処理終了信号とを発行した後（ステップＳ２０５）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトであることを判断し（ステップＳ２０６）、これも以上で当該撮影画像に対する画像の転送に関する処理を終えたものとして処理を終了する。
【００８９】
図８はこのときの画像データ転送部１７での処理を説明するものである。６ベルト目のＹＵＶデータが停止ベルトでなければ、本来図８（２）に示すようにＪＰＥＧ変換部１６への処理終了信号が発行されるタイミングで、実際には６ベルト目のＹＵＶデータが停止ベルトであるために処理終了信号が発行されずに一時的に停止し、その後画像合成部１８からの終了信号を受けるのを待って処理終了信号を発行するものとなる。
【００９０】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号を受信すると上記ステップＳ３０１でこれを判断し、リングバッファに保持される画像合成後のベルト位置「６」の１６ライン分のＹＵＶデータをＪＰＥＧデータに変換してデータ圧縮し、変換後のＪＰＥＧデータをＲＡＭ３の該当領域に書込む（ステップＳ３０２）。
【００９１】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトであることを判断し（ステップＳ３０３）、以上で当該撮影画像に対するＪＰＥＧデータへの変換処理を終えたものとして処理を終了する。
【００９２】
上記工程中にリングバッファでは、図１０（６）に示すように６ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれた後、このベルトが停止ベルトであることが画像データ転送部１７により判断されて画像合成部１８により文字画像の画像合成処理が実行されることで図１０（７）に示すような保持内容となる。
【００９３】
この画像合成後のＹＵＶデータからＪＰＥＧ変換部１６によりＪＰＥＧデータが生成されてＲＡＭ３内に上記図７（Ｂ）で示したＪＰＥＧデータの一部として保持される。
【００９４】
その後、最終ベルトのＪＰＥＧ変換を終えたことが画像データ転送部１７、画像合成部１８、及びＪＰＥＧ変換部１６でそれぞれ認識され、図５における処理はすべて完了したものとなり、あらためてＲＡＭ３に保持される１フレーム分のＪＰＥＧデータがメモリカードインターフェイス８を介して記録媒体であるメモリカードに記録される。
【００９５】
このように本動作例では、ＲＡＭ３の使用領域をむやみに広げてしまうことなく、画像データ中への文字画像データの合成を高品質且つ高速に実行することが可能となる。
【００９６】
また、上記実施形態において画像処理部１４及び画素数変換部１５では、ベイヤーデータをＹＵＶデータに変換する際に画像サイズの拡大を行なうものとしたが、必要に応じた拡大ではなく縮小を行なう場合でも、上記図４に示した事前設定の処理でその内容を設定することで同様の本処理を行なうことが可能となる。
【００９７】
この場合、ベイヤーデータからＹＵＶデータに変換する過程では画像サイズの拡大または縮小を併せて行ない、その後にＹＵＶデータに対して文字画像の合成処理を施すものとしたことにより、文字画像が変形するなどの不具合を確実に回避することができる。
【００９８】
この点は、上記画像サイズの拡大または縮小に止まらず、カラー画像データに対する各種の色処理を施す場合も同様であり、文字画像の一部が他の部分と異なった色となってしまうような不具合を確実に回避することができる。
【００９９】
また、上記動作例では、ＪＰＥＧ変換部１６で取扱う基本画素ブロックに併せて所定のライン数、例えば８ラインあるいは１６ライン単位で画像データ転送部１７での転送動作を調整するものとした。
【０１００】
これにより、文字画像合成後に即時ＪＰＥＧ変換部１６の処理を実行することができ、合成する文字画像の大きさに影響されることなく、画像処理ＩＣ２内の画像転送に係る制御動作を単純化することができる。
【０１０１】
（第２の動作例）
以下、ＣＣＤ４を用いた撮影により、図３（Ａ）に示す横６４ピクセル×縦４８ピクセル（ライン）のベイヤーデータを得、これを図３（Ｂ）に示すように縦横共に２倍して横１２８ピクセル×縦９６ピクセル（ライン）のＹＵＶデータに変換及び拡大した後に、同サイズのＪＰＥＧデータに変換してメモリカードインターフェイス８より図示しないメモリカードに記録させる場合の第２の動作について説明する。
【０１０２】
この場合、必要により図３（Ｂ）に示す画像中、ピクセルによる左上端点を原点座標（０，０）として座標（８０，７２）の位置を基準とし、任意の矩形領域、例えば横４８ピクセル×縦１６ピクセル（ライン）の大きさの文字画像データＣＩを合成するものとし、合成後のＹＵＶデータをＪＰＥＧデータに変換する。
【０１０３】
上記文字画像データＣＩとしては、図示するような「２００７．４．１」のようなデート（日付）情報でもよいし、さらには時刻、シャッタ速度や絞り（Ｆ）値などの撮影データ、その他の文字画像データでもよく、さらには記号やシンボル等の文字以外の各種画像情報を考えることもできる。
【０１０４】
後述するリングバッファ動作においては、ＪＰＥＧ変換処理が基本的に１６ライン単位でデータ処理を行なうため、これを１領域分割単位として「１ベルト」と称するものとする。
【０１０５】
したがって、縦横共に２倍に拡大する前のベイヤーデータでは、対応するように半分の８ラインを１ベルトとして読出し、リングバッファに転送するものとする。
【０１０６】
なお、画像撮影時に画像データ転送部１７が後述する画像処理を実行するのに先立って実行しておく、各パラメータの事前設定処理については、上記第１の動作例で図３により実行した内容と基本的に同様であるものとし、その図示と説明は省略するものとする。
【０１０７】
しかして、画像処理部１４、画素数変換部１５、画像合成部１８、ＪＰＥＧ変換部１６、及び画像データ転送部１７への必要な事前設定が完了したものとして、撮影に伴う画像の記録までの本動作に移行する。
【０１０８】
図１１は、画像データ転送部１７、ＪＰＥＧ変換部１６、及び画像合成部１８で並列して実行される処理内容を示すものである。まず、ベルト位置「１」の１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させて、ＲＡＭ３のリングバッファ領域へ転送するように制御する（ステップＳ５０１）。
【０１０９】
この後、画像データ転送部１７では現在画像処理部１４、画素数変換部１５で処理させた画像データが予め設定した停止ベルトの範囲内であるか否かを判断する（ステップＳ５０２）。
【０１１０】
ここでベルト位置「１」が設定した停止ベルトの範囲内ではないと判断すると、そのままＪＰＥＧ変換部１６に転送終了ライン位置「１」と処理終了信号とを発行した後（ステップＳ５０６）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトではないことを確認した上で（ステップＳ５０７）、上記ステップＳ５０１からの処理に戻る。
【０１１１】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号とを受信するのを待機している（ステップＳ６０１）。
しかして、画像データ転送部１７から処理終了信号を受信すると上記ステップＳ６０１でこれを判断し、リングバッファに保持されるベルト位置「１」の１６ライン分のＹＵＶデータをより細かいデータ単位でＪＰＥＧ変換部１６へ転送してＪＰＥＧデータに変換し、変換後のＪＰＥＧデータをＲＡＭ３のＪＰＥＧデータ領域内の該当領域に書込む（ステップＳ６０２）。
【０１１２】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトではないことを確認した上で（ステップＳ６０３）、上記ステップＳ６０１からの処理に戻り、画像データ転送部１７から処理終了信号を受信して次のベルト分のデータの処理を行なうのを待機する。
【０１１３】
こうして画像データ転送部１７、画像処理部１４、画素数変換部１５、及びＪＰＥＧ変換部１６での処理を繰返し実行することにより、合成すべき文字画像データがないベルト位置ではＲＡＭ３のリングバッファを用いて１ベルト分ずつ処理が実行されていく。
【０１１４】
以下同様の処理を繰返し実行し、図１３（１）〜（３）に示すように４ベルト目までをＹＵＶデータに変換し、さらにＪＰＥＧデータに変換する。
【０１１５】
その後、画像データ転送部１７でステップＳ５０１により５ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ５０２でこのベルトのベイヤーデータが停止ベルトの範囲内として設定されていることを判断する。
【０１１６】
これを判断した画像データ転送部１７は、次いでそのベルトが停止ベルトの範囲内中の最終ベルトであるか否かを判断する（ステップＳ５０３）。
【０１１７】
ここで５ベルト目は停止ベルトの範囲内であるが、その範囲内での最終ベルトは６ベルトであるため、停止最終ベルトではないものと判断して、再び上記ステップＳ５０１からの処理に戻る。
【０１１８】
しかして、画像データ転送部１７でステップＳ６０１により６ベルト目のベイヤーデータをリングバッファに転送すると、続くステップＳ６０２でこのベルトのベイヤーデータが停止ベルトの範囲として設定されていることを判断する。
【０１１９】
これを判断した画像データ転送部１７が、続くステップＳ５０３でそのベルトが停止ベルトの範囲内中の最終ベルトであると判断すると、画像合成部１８に対して処理停止信号を発行した後（ステップＳ５０４）、その画像合成部１８から画像合成処理の終了信号が送られてきたか否かを繰返し判断することで（ステップＳ５０５）、当該信号が送られてくるのを待機する。
【０１２０】
画像合成部１８では、画像データ転送部１７から処理停止信号が送られてくるのを待機しており（ステップＳ７０１）、送られてきたと判断した時点で、上記ＲＡＭ３のリングバッファ領域より停止範囲ベルト分（ここでは５，６ベルトの２ベルト分）のＹＵＶデータをより細かいデータ単位でこの画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を一括して実行して合成画像（ＹＵＶデータ）を生成して、再度ＲＡＭ３のリングバッファ領域へ合成画像データを転送する（ステップＳ７０２）。
【０１２１】
なお、ここでリングバッファ領域から画像合成部１８へ転送するデータは、合成処理を行なう部分のみのデータであってよい。
これにより、処理速度をさらに向上することが可能となる。
【０１２２】
合成処理終了後、画像合成部１８は画像データ転送部１７に対して画像合成処理の終了信号を発行し（ステップＳ７０３）、以上で当該撮影画像に対する画像合成処理を終えたものとして処理を終了する。
【０１２３】
画像合成部１８から画像合成処理の終了信号の発行を受けた画像データ転送部１７では、ステップＳ５０５でこれを判断すると、あらためてＪＰＥＧ変換部１６に転送終了ライン位置「６」と処理終了信号とを発行した後（ステップＳ５０６）、現在転送した画像データのベルト位置がベイヤーデータの最終ベルトであることを判断し（ステップＳ５０７）、これも以上で当該撮影画像に対する画像の転送に関する処理を終えたものとして処理を終了する。
【０１２４】
図１２はこのときの画像データ転送部１７での処理を説明するものである。５ベルト目、及び６ベルト目のＹＵＶデータが共に停止ベルトでなければ、本来図１２（２）に示すようにＪＰＥＧ変換部１６への処理終了信号が発行されるタイミングで、実際には５ベルト目及び６ベルト目の２ベルト分の終了信号を一時的に出力せずにＪＰＥＧ変換部１６での変換処理を停止させ、その後画像合成部１８からの複数ベルト分の合成処理に関する終了信号を受けるのを待って処理終了信号を発行するものとなる。
【０１２５】
ＪＰＥＧ変換部１６では、画像データ転送部１７から転送終了ライン位置と処理終了信号を受信すると上記ステップＳ６０１でこれを判断し、リングバッファに保持される画像合成後のベルト位置「５」及び「６」の２ベルト分のＹＵＶデータをＪＰＥＧデータに変換してデータ圧縮し、変換後のＪＰＥＧデータをＲＡＭ３の該当領域に書込む（ステップＳ６０２）。
【０１２６】
その後、ＪＰＥＧ変換部１６は変換を終えたデータが最終ベルトであることを判断し（ステップＳ６０３）、以上で当該撮影画像に対するＪＰＥＧデータへの変換処理を終えたものとして処理を終了する。
【０１２７】
上記工程中にリングバッファでは、図１３（４）に示すように５ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれ、さらに図１３（５）に示すように６ベルト目の拡大したＹＵＶデータが画素数変換部１５により書込まれた後、このベルトが停止ベルト範囲内の最終ベルトであることが画像データ転送部１７により判断されて画像合成部１８により複数ベルト分の文字画像の一括画像合成処理が実行されることで図１０（６）に示すような保持内容となる。
【０１２８】
この画像合成後のＹＵＶデータからＪＰＥＧ変換部１６によりＪＰＥＧデータが生成されてＲＡＭ３内にＪＰＥＧデータの一部として保持される。
【０１２９】
その後、最終ベルトのＪＰＥＧ変換を終えたことが画像データ転送部１７、画像合成部１８、及びＪＰＥＧ変換部１６でそれぞれ認識され、図１１における処理はすべて完了したものとなり、あらためてＲＡＭ３に保持される１フレーム分のＪＰＥＧデータがメモリカードインターフェイス８を介して記録媒体であるメモリカードに記録される。
【０１３０】
このように本動作例では、合成する文字画像側のサイズに合わせてＪＰＥＧ変換部１６での変換処理を一時的に遅延させるものとした。
【０１３１】
このように、複数ベルトに渡った画像合成を一括して処理し、その間、後段での変換処理を一時的に遅延させるものとしたので、複数のベルトに跨った文字画像の合成に際して合成後の文字画像の整合が取り易く、効率的に処理を実行することができる。
【０１３２】
なお、上記実施形態では、上述した如く合成する文字画像に関してその位置や大きさ等を任意に設定できるものとした。
【０１３３】
これにより、本実施形態の如く単に日付情報を合成するのみならず、ユーザが任意に設定したメッセージやメモの情報等を任意に設定しておくことで、単なる画像の撮影に止まらず、ユーザに必要な情報を容易に記録しておくことができる。
【０１３４】
また、上記図３に示した如く、画像合成に関する各種設定は事前に設定しておくことで、実際に画像を撮影してからその画像データに必要な文字画像を合成して記録するまでの処理を大幅に簡略化することができ、画像処理ＩＣ２内での制御動作を司るＤＭＡＣ１１、及びカメラ内で全体の制御動作を司るＣＰＵ１の負担を軽減できると共に、次の撮影に移行するまでの時間を短縮して、連射性能を向上することができる。
【０１３５】
なお、上記実施形態では、１枚の撮影画像中に文字画像を１箇所だけ合成する場合について説明したが、本発明はこれに限ることなく、複数箇所に合成することも同様に可能である。
【０１３６】
なお、画像データに情報画像データを合成するに際し、情報画像データのライン数に基づいて画像データの領域分割単位のライン数を決定しても良い。
【０１３７】
さらにその場合、情報画像データのライン数と、領域分割単位のライン数を同じにして、領域分割を行った際に、情報画像の合成位置を領域分割された領域に収まるように合成位置を設定して合成するようにしても良い。
これにより、画像合成をより効率的に行なうことが可能となる。
【０１３８】
なお、上記実施形態では、ベイヤーデータを取り込んでＹＵＶデータに変換して出力することと、画像を合成することを画像合成部で行い、ＹＵＶデータを取り込んでＪＰＥＧデータに変換して出力することをＪＰＥＧ変換部で行なっていた。つまり、コンピュータのソフトウェアではなくハードウェア回路で画像変換を行なっていた。
【０１３９】
しかしこれに限る必要はなく、データはＲＡＭ３上に置いたままで、ハードウェアではなくソフトウェアで、ベイヤーデータ→ＹＵＶデータ→ＪＰＥＧデータへと変換するように構成しても良い。
【０１４０】
なお、上記実施形態では、ステップＳ２０１及びＳ５０１において、画像合成するベルトの１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させて、ＲＡＭ３のリングバッファ領域へ転送するように制御していると共に、ステップＳ４０２及びＳ７０２において、上記ＲＡＭ３のリングバッファ領域より所定ベルト分のＹＵＶデータをより細かいデータ単位でこの画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を実行して合成画像（ＹＵＶデータ）を生成して、再度ＲＡＭ３のリングバッファ領域へ合成画像データを転送するように構成しているが、このようではなくとも構わない。
【０１４１】
例えば、画像合成するベルトの１ベルト（８ライン）分のベイヤーデータを、より細かいデータ単位でＲＡＭ３のベイヤーデータ領域から、画像処理部１４に転送して上記設定した通り１６ラインのＹＵＶデータに変換させた後に、画素数変換部１５に転送して上記設定した通り「２」倍の倍率で画素数を拡大する処理を実行させた後、リングバッファ領域へ画像を転送せずに、画像合成部１８へデータ転送して，このＹＵＶデータに対して対応する文字画像データの合成処理を実行して合成画像（ＹＵＶデータ）を生成して、ＲＡＭ３のリングバッファ領域へ合成画像データを転送するように構成しても構わない。
これにより、処理速度を向上することが可能となる。
【０１４２】
なお、上記実施形態ではベイヤーデータからＪＰＥＧデータを生成する過程について詳細に説明しているが、ベイヤーデータから表示データを生成する過程については詳細に記載していないが、表示データとは、ここではいわゆるサムネイル画像のことを言っているので、基本的な処理の流れはベイヤーデータからＪＰＥＧデータを生成する流れと同様であるので詳細の記載を省略する。
【０１４３】
ＪＰＥＧデータと表示データとの生成過程で違う点は、ベイヤデータよりＹＵＶデータを生成する時に、画素数変換部１５で拡大処理を行なうのか、縮小処理を行なうかの違いがある。また、ＪＰＥＧ変換部１６でＪＰＥＧデータに変換したデータを、ＪＰＥＧデータ領域に保存するのか、表示データ領域に保存するか、の違いがある。しかしその他の点に関しては同一であって良い。
【０１４４】
なお、本実施形態においては、リングバッファを用いることで、ベイヤーデータからＹＵＶデータへの変換処理を３２ビットで実行し、ＹＵＶデータからＪＰＥＧデータへの変換処理を１６ビットで実行することが出来る。ＹＵＶデータからＪＰＥＧデータへの変換処理は、１６ビット又は８ビットに限定されているため、リングバッファを有することで、その前後工程の処理速度を変更できるので、リングバッファを用いない場合と比較して高速で処理できるというメリットがある。
【０１４５】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１４６】
【図１】本発明の一実施形態に係るデジタルカメラの電子回路の主要構成を示すブロック図。
【図２】同実施形態に係る図１の画像処理ＩＣ内の回路構成を示すブロック図。
【図３】同実施形態に係る画像記録に先立つ事前設定時に画像処理チップ内で実行される処理内容を示すフローチャート。
【図４】同実施形態に係るベイヤーデータとＹＵＶデータの画像データサイズを説明する図。
【図５】同実施形態に係る第１の動作例で画像記録時に画像処理チップ内で実行される処理内容を示すフローチャート。
【図６】同実施形態に係る第１の動作例で文字画像データを合成しない場合の画像処理の順序を例示する図。
【図７】同実施形態に係るＲＡＭの使用領域をリングバッファを使用しない場合と比較して示す図。
【図８】同実施形態に係る第１の動作例で文字画像データを合成する場合の画像処理の制御内容を示すタイミングチャート。
【図９】同実施形態に係る第１の動作例で文字画像データを合成する場合の合成前後の画像を例示する図。
【図１０】同実施形態に係る第１の動作例で文字画像データを合成する場合の画像処理の順序を例示する図。
【図１１】同実施形態に係る第２の動作例で画像記録時に画像処理チップ内で実行される処理内容を示すフローチャート。
【図１２】同実施形態に係る第２の動作例で文字画像データを合成する場合の画像処理の制御内容を示すタイミングチャート。
【図１３】同実施形態に係る第２の動作例で文字画像データを合成する場合の画像処理の順序を例示する図。
【符号の説明】
【０１４７】
１…ＣＰＵ、２…画像処理ＩＣ、３…ＲＡＭ、４…ＣＣＤ、５…ＲＯＭ、６…ＬＣＤ、７…キー入力部、８…メモリカードインターフェイス（Ｉ／Ｆ）、９…電源部、１１…ＤＭＡコントローラ（ＤＭＡＣ）、１２…メモリ制御部、１３…ＣＣＤ制御部、１４…画像処理部、１５…画素数変換部、１６…ＪＰＥＧ変換部、１７…画像データ転送部、１８…画像合成部、１９…ＬＣＤ制御部、２０…キー入力制御部、ＣＢ…コントロールバス、ＤＢ…データバス。
【特許請求の範囲】
【請求項１】
被写体を撮影して全体画像データを取得する撮影手段と、
上記全体画像データを記憶する第１の記憶手段と、
上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得る第１の画像処理手段と、
上記第１の画像処理手段で得た部分画像データを保持する第２の記憶手段と、
上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、
上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、
上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、
上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
上記第２の画像処理手段で得た部分画像データを保持する第３の記憶手段を備え、
上記転送制御手段は、上記第１の記憶手段から上記第３の記憶手段に至る部分画像データの転送動作を制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して拡大又は縮小の処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする請求項１記載の撮像装置。
【請求項４】
上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して画像の色変換処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする請求項１記載の撮像装置。
【請求項５】
上記第２の画像処理手段は、上記第２の記憶手段から転送されてくる上記部分画像データに対して圧縮処理を含む第２の画像処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項６】
上記領域分割単位は、上記全体画像データを所定ライン数単位で分割したものであることを特徴とする請求項１記載の撮像装置。
【請求項７】
上記転送制御手段は、上記領域分割単位で転送動作を調整することを特徴とする請求項１記載の撮像装置。
【請求項８】
上記合成手段は、上記合成を、部分画像データ毎に行うことを特徴とする請求項１記載の撮像装置。
【請求項９】
上記合成手段で合成する画像データ中に合成する情報データの位置と大きさとを判別する判別手段をさらに具備し、
上記停止制御手段は、上記判別手段での判別結果に応じて上記部分画像データの転送動作を停止制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項１０】
上記合成手段は、上記合成を、所定数の部分画像データ分まとめて行うことを特徴とする請求項１記載の撮像装置。
【請求項１１】
上記停止制御手段は、上記第１の画像処理手段が第１の画像処理を施して部分画像データを得る前に、上記部分画像データの転送動作を停止制御するタイミングを決定しておくことを特徴とする請求項１記載の撮像装置。
【請求項１２】
上記部分画像データは、前記情報データを合成すべき部分画像データであるか否かを判断する判断手段をさらに具備し、
上記停止制御手段は、上記判断手段での判断結果に応じて上記部分画像データの転送動作を停止制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項１３】
全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、
上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、
上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、
上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、
上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、
上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段と
を備えることを特徴とする情報合成装置。
【請求項１４】
全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、
上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、
上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、
上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と
を備えることを特徴とする情報合成装置に、
上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、
上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段と
を実現させることを特徴とするプログラム。
【請求項１】
被写体を撮影して全体画像データを取得する撮影手段と、
上記全体画像データを記憶する第１の記憶手段と、
上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得る第１の画像処理手段と、
上記第１の画像処理手段で得た部分画像データを保持する第２の記憶手段と、
上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、
上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、
上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、
上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
上記第２の画像処理手段で得た部分画像データを保持する第３の記憶手段を備え、
上記転送制御手段は、上記第１の記憶手段から上記第３の記憶手段に至る部分画像データの転送動作を制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して拡大又は縮小の処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする請求項１記載の撮像装置。
【請求項４】
上記第１の画像処理手段は、上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して画像の色変換処理を含む第１の画像処理を施して部分画像データを得ることを特徴とする請求項１記載の撮像装置。
【請求項５】
上記第２の画像処理手段は、上記第２の記憶手段から転送されてくる上記部分画像データに対して圧縮処理を含む第２の画像処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項６】
上記領域分割単位は、上記全体画像データを所定ライン数単位で分割したものであることを特徴とする請求項１記載の撮像装置。
【請求項７】
上記転送制御手段は、上記領域分割単位で転送動作を調整することを特徴とする請求項１記載の撮像装置。
【請求項８】
上記合成手段は、上記合成を、部分画像データ毎に行うことを特徴とする請求項１記載の撮像装置。
【請求項９】
上記合成手段で合成する画像データ中に合成する情報データの位置と大きさとを判別する判別手段をさらに具備し、
上記停止制御手段は、上記判別手段での判別結果に応じて上記部分画像データの転送動作を停止制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項１０】
上記合成手段は、上記合成を、所定数の部分画像データ分まとめて行うことを特徴とする請求項１記載の撮像装置。
【請求項１１】
上記停止制御手段は、上記第１の画像処理手段が第１の画像処理を施して部分画像データを得る前に、上記部分画像データの転送動作を停止制御するタイミングを決定しておくことを特徴とする請求項１記載の撮像装置。
【請求項１２】
上記部分画像データは、前記情報データを合成すべき部分画像データであるか否かを判断する判断手段をさらに具備し、
上記停止制御手段は、上記判断手段での判断結果に応じて上記部分画像データの転送動作を停止制御する
ことを特徴とする請求項１記載の撮像装置。
【請求項１３】
全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、
上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、
上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、
上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と、
上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、
上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段と
を備えることを特徴とする情報合成装置。
【請求項１４】
全体画像データを記憶する第１の記憶手段と、第２の記憶手段とを備える画像処理装置に搭載される情報合成装置であって、
上記第１の記憶手段から所定の領域分割単位で転送されてくる画像データに対して第１の画像処理を施して部分画像データを得て、この部分画像データは上記第２の記憶手段への転送されるように構成される第１の画像処理手段と、
上記第２の記憶手段が保持する部分画像データ中の所定箇所に情報データを合成する合成手段と、
上記第２の記憶手段から転送されてくる上記部分画像データに対して第２の画像処理を施す第２の画像処理手段と
を備えることを特徴とする情報合成装置に、
上記第１の記憶手段から上記第２の画像処理手段に至る部分画像データの転送動作を制御する転送制御手段と、
上記合成手段が上記情報データの合成を行う際に、上記転送制御手段による部分画像データの転送動作を一時停止する停止制御手段と
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１０００２９（Ｐ２００９−１０００２９Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２６６７２７（Ｐ２００７−２６６７２７）
【出願日】平成１９年１０月１２日（２００７．１０．１２）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１２日（２００７．１０．１２）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]