画像処理装置、撮像装置、撮像システム、及びデータ処理方法
【課題】点滅駆動される被写体を好適に撮影すること。
【解決手段】撮像部22は、1映像記録周期に複数(例えば3つ)のフレームFa,Fb,Fcを出力する。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。抽出部25は、フレームFa,Fbの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ26に格納する。合成部27は、抽出部25がメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。そして、合成部27は、デモザイク部24から出力される合成フレームFcと、発光部領域とを合成して出力フレームFdを生成する。
【解決手段】撮像部22は、1映像記録周期に複数(例えば3つ)のフレームFa,Fb,Fcを出力する。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。抽出部25は、フレームFa,Fbの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ26に格納する。合成部27は、抽出部25がメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。そして、合成部27は、デモザイク部24から出力される合成フレームFcと、発光部領域とを合成して出力フレームFdを生成する。
【発明の詳細な説明】
【技術分野】
【0001】
画像処理装置、撮像装置、撮像システム、及びデータ処理方法に関する。
【背景技術】
【0002】
従来、車両に設置されたカメラによって車両の周辺を撮像し、撮像された画像情報を記録する記録装置、所謂ドライブレコーダが提案されている。ドライブレコーダにより記録された映像は、例えば事故が発生した場合の事後原因の究明や、乗務員の安全運転教育等に利用される。
【0003】
ところで、車両の周辺には、道路等に設置された交通信号機が含まれる。近年の交通信号機の発光部には、発光ダイオード(LED:Light Emitting Diode)が用いられている。LEDを用いた交通信号機は、消費電力や交通信号機の長寿命化に有利である。LEDは、例えば商用電源によって駆動され、交流電源周波数の周期に従って点灯と滅灯とを繰り返している(点滅している)。一方、ドライブレコーダは、例えば30フレーム/1秒などの一定の周期で撮影画像を記録している。このため、撮影装置の条件によっては、全ての発光部が消灯した交通信号機が記録される。
【0004】
このため、点灯状態の交通信号機を撮影する装置が各種提案されている。例えば、電源の周期に対してずらしたタイミングで撮影する装置がある(例えば、特許文献1参照)。また、LEDの点滅周期よりも長いシャッター速度で撮影する装置がある(例えば、特許文献2参照)。また、LEDの点滅周期と非同期となる周期にて撮影する装置がある(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−278496号公報
【特許文献2】特開2008−288743号公報
【特許文献3】特開2005−301518号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、電源の周期に対してタイミングをずらす場合、電源の周期を取得しなければならず、またタイミング制御が難しい。LEDの点灯周期よりも長い周期にて撮影する装置では、シャッター等の制御が複雑になる。また、LEDの点滅周期と非同期な周期にて撮影された画像は、一般的な撮影装置の撮影周期と異なるため、再生時に違和感を覚えたり、特別な表示装置や変換装置が必要としたりする。
【0007】
この撮影装置で、点滅駆動される被写体を好適に撮影することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一観点によれば、撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、を有し、前記抽出部は、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、前記合成部は、前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する。
【発明の効果】
【0009】
本発明の一観点によれば、点滅駆動される被写体を好適に撮影することができる。
【図面の簡単な説明】
【0010】
【図1】システムの概略図である。
【図2】第一実施形態の撮像装置のブロック回路図である。
【図3】抽出フレーム及び合成フレームの説明図である。
【図4】抽出部のブロック回路図である。
【図5】(a)(b)は画像データの説明図である。
【図6】抽出部の動作説明図である。
【図7】交通信号機の説明図である。
【図8】発光部の画像の説明図である。
【図9】発光部領域の推定処理の説明図である。
【図10】発光部領域の説明図である。
【図11】フレームに対する抽出処理と合成処理の説明図である。
【図12】第二実施形態の撮像装置のブロック回路図である。
【図13】抽出部のブロック回路図である。
【図14】領域判定後の画素列を示す説明図である。
【図15】(a)〜(f)は、アドレス制御の説明図である。
【図16】第三実施形態の撮像装置のブロック回路図である。
【図17】抽出部のブロック回路図である。
【図18】第四実施形態の撮像装置のブロック回路図である。
【図19】抽出部のブロック回路図である。
【図20】ベイヤ結合部のブロック回路図である。
【図21】画像データの説明図である。
【図22】別の撮像装置のブロック図である。
【図23】信号色判定設定値の説明図である。
【図24】(a)(b)は、抽出部における領域設定の説明図である。
【発明を実施するための形態】
【0011】
以下、実施形態を添付図面に従って説明する。
図1に示すように、このシステムは、撮像装置11と記録装置12を有している。このシステムは、例えば車両に搭載され、撮像装置11は、車両前方を撮像するように車両に搭載されている。撮像装置11は、撮像した画像データGDを出力する。記録装置12は、撮像装置11から出力される画像データGDを記録する。
【0012】
撮像装置11は、所定の規格(例えばNTSC(National Television System Committee)規格)に応じた所定の周期で画像データの各フレームを出力する。つまり、撮像装置11は、所定の規格に対応するフレーム数の画像データを出力する。例えば、撮像装置11は、所定の規格に対応する周波数(例えば、30Hz)にて各フィールドの画像データを出力する。従って、記録装置12は、撮像装置11に対応する規格にて画像データを記録する。この画像データの形式(フレーム数)は、一般的な動画記録フォーマットに対応する。従って、記録装置12に記録された画像データは、この記録装置12の記録形式に対応する表示装置(例えば、NTSC方式の表示装置)に表示することができる。例えば、表示装置は、対応する数のフレーム(上記の例では1秒間に30フレーム(fps:frame per second))を表示する。また、記録装置12に記録された画像データは、一定の周期でフレームを含む。従って、各フレーム間の時間間隔が一定であるため、違和感の無い映像が得られる。
【0013】
撮像装置の実施形態を順次説明する。
(第一実施形態)
図2に示すように、撮像装置11のレンズ21は、被写体を撮影するための被写体像を撮像部22の受光面に結像する。撮像部22は、所定配列(例えばベイヤ配列)のカラーフィルタと、光電変換部を含む複数の画素を備えた撮像素子を備える。撮像素子としては、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどが用いられる。
【0014】
撮像部22は、タイミング制御部23から供給される制御信号に応じて動作する。制御信号は、クロック信号と同期信号(垂直同期信号、水平同期信号、等)を含む。タイミング制御部23は、上記の規格に応じた周波数のクロック信号を生成する。例えば、タイミング制御部23は、上記のフレーム数に対応し、フレーム数の整数倍(例えば、3倍)の周波数(例えば90Hz)のクロック信号を生成する。
【0015】
撮像部22は、クロック信号に応答して、被写体像を光電変換して撮像データを生成する。そして、撮像部22は、クロック信号に同期して、撮像した各フレームの撮像データSFを出力する。上記例の場合、撮像部22は、1秒間に90フレーム(fps)の撮像データSFを出力する。
【0016】
デモザイク部24は、撮像部22から出力される撮像データSFを、所定形式の画像データに変換し、変換後の画像データを出力する。
図5(a)に示すように、1つのフレームの撮像データSFは、複数の画素データSGを含む。図5(a)において、左右方向に配列された画素データSGは、撮像素子の第1の方向(例えば水平方向)に配列された複数の受光部に対応し、図5(a)において上下方向に配列された画素データSGは、撮像素子の第1の方向と直交する第2の方向(例えば垂直方向)に配列された複数の受光部に対応する。各画素データSGは、対応する受光部がそれぞれ受ける光の量に応じた値(画素値)を含む。撮像素子の受光部は、所定配列(例えばベイヤ配列)のカラーフィルタを透過した光を受光する。従って、各画素データSGに含まれる画素値は、対応するカラーフィルタの配列及び色に応じた色情報を含む。
【0017】
例えば、各画素データを区別する場合、受光部の配列に応じて、SG(x,y)と表す。xは第1の方向の配列順序であり、yは第2の方向の配列順序である。例えば、図5(a)において、左上の画素データをSG(1,1)と表す。その画素データSG(1,1)の右隣の画素データをSG(2,1)と表し、画素データSG(1,1)の下側の画素データをSG(1,2)と表す。撮像部において第1の方向に配列された受光部の数をm、第2の方向に配列された受光部の数nとすると、図5(a)において右下の画素データをSG(m,n)と表す。
【0018】
各画素データSGは、対応するカラーフィルタの色に応じた色情報を含む。例えば、ベイヤ配列のカラーフィルタは、赤色(R)のフィルタと、緑色(G)のフィルタと、青色(B)のフィルタを含む。従って、撮像データSGは、複数の画素データSGを含み、各画素データSGは、それぞれ対応する1つの色の色情報を含む。
【0019】
図5(b)に示すように、画素データSG(1,1)は赤色(R)の色情報を含み、画素データSG(2,1)は緑色(Gr)の色情報を含む。また、画素データSG(1,2)は緑色(Gb)の色情報を含み、画素データSG(2,2)は青色(B)の色情報を含む。なお、第1の方向(水平方向)に赤色(R)のフィルタが隣接する緑色のフィルタにより得られる色情報をGr、第1の方向に青色(B)のフィルタが隣接する緑色のフィルタにより得られる色情報をGbとして示す。
【0020】
図2に示すデモザイク部24は、各画素データSGにおいて、不足する色情報を、周囲の画素データSGにより補間にて生成する。例えば、デモザイク部24は、図5(b)に示す画素データSG(1,1)の色情報(赤色)と、画素データSG(1,3)の色情報(赤色)に基づいて、例えば直線補間(内挿)により、画素データSG(1,2)に対応する赤色の色情報を生成する。このように、各画素データSGについて、対応するカラーフィルタ以外の色の色情報を生成する。そして、デモザイク部24は、3つの色の情報を含む画素データ、つまりRGB形式の画素データを生成する。さらに、デモザイク部24は、RGB形式の画素データを、例えばYCbCr(Y(輝度)、Cb,Cr(色差))形式のデータに変換する。変換後の画像データは複数の画素データを含み、各画素データは、輝度情報と色差情報を含む。
【0021】
なお、デモザイク部24において、色変換処理、画像の輪郭(エッジ)を強調するエッジ強調処理、明るさやコントラストを調整するガンマ補正処理、を行うようにしてもよい。なお、デモザイク部24は、各処理を、必要とするデータ形式に応じて、適宜のタイミングで実施する。
【0022】
抽出部25と合成部27は、デモザイク部24から出力されるフレームの画像データのうち、所定位置のフレームの画像データをそれぞれ処理するように設定されている。例えば、合成部27は、図1に示す記録装置の映像記録周期毎にデモザイク部24から出力される画像データを処理するように設定されている。そして、抽出部25は、合成部27が処理するフレームの間のフレームを処理するように設定されている。
【0023】
図3に示すように、時間の経過に従って、フレームの画像データが図2に示すデモザイク部24から順次出力される。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。抽出部25が処理するフレームを抽出フレーム、合成部27が処理するフレームを合成フレームと呼ぶ。
【0024】
抽出部25は、フレームFaの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ26に格納する。メモリ26は記憶部の一例である。
【0025】
車両に搭載されたシステム(ドライブレコーダ)の場合、設定色は、交通信号機の発光部に対応する。つまり、設定色は、交通信号機の赤色発光部,黄色発光部,青色発光部に対応する。従って、抽出部25は、設定色に従って各発光部に対応する領域を推定し、推定した領域に含まれる画素の情報、推定した領域の情報をメモリ26に格納する。推定した領域を発光部領域という。発光部領域に含まれる画素の情報(画素情報)は、画素値(画素の色)と、画素の座標値を含む。発光部領域の情報(領域情報)は、発光部領域の先頭座標、発光部領域に含まれる画素の数、を含む。
【0026】
デモザイク部24は、各フレームの画像データを、フレームのライン毎に順次出力する。例えば、図5(a)に示す1フレームの画像データSFの場合、デモザイク部24は、最上段のラインに含まれる画素データを、左側から右側に向って順次出力する。なお、実際には、上記変換後の形式(YCbCr形式)の画像データを出力する。そのラインに含まれるすべての画素データを出力すると、1段目のラインと同様に、2段目のラインに含まれる画素データを順次出力する。そして、最終段のラインに含まれるすべての画素データの出力が終了すると、1つのフレームの画像データの出力が終了する。
【0027】
抽出部25は、デモザイク部24から出力される画像データ、つまり各画素データを判定し、発光部領域を推定する。つまり、抽出部25は、フレームFaに含まれるライン毎に、発光部領域を推定する。そして、抽出部25は、推定した発光部領域に含まれる画素データのうち、最初に判定した画素データの座標値を先頭座標として出力する。更に、抽出部25は、推定した発光部領域に含まれる画素の数を出力する。
【0028】
同様に、抽出部25は、設定色に対応する画素が含まれる領域(発光部領域)をフレームFbから抽出する。そして、抽出部25は、抽出した発光部領域に含まれる画素の情報と、発光部領域の情報(領域情報)をメモリ26に格納する。
【0029】
合成部27は、抽出部25がメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。そして、合成部27は、デモザイク部24から出力される合成フレームFcと、発光部領域とを合成して出力フレームFdを生成する。そして、合成部27は、生成した出力フレームFdを出力する。
【0030】
詳述すると、メモリ26に格納された発光部領域のデータは、発光部領域に含まれる画素の画素値及び座標値を含む。画素値は、YCbCr形式のデータである。デモザイク部24は、合成フレームFcに含まれる画素のデータ(画素値)を順次出力する。合成部27は、入力画素の数をカウントする。このカウント値は、入力画素が含まれるラインの位置、各ラインにおける入力画素の位置に対応する。つまり、合成部27は、入力画素をカウントすることで、各入力画素の座標値を得る。
【0031】
合成部27は、発光部領域に含まれる画素のうち、入力画素の座標値と等しい座標値の画素の画素値と、入力画素の画素値とを合成して出力画素の画素値を生成する。合成部27は、例えばαブレンド演算により、複数の画素値を合成して出力画素の画素値を生成する。この出力画素の画素値は、出力フレームFdに含まれる。そして、合成部27は、生成した出力画素の画素値を出力する。
【0032】
出力部28は、合成部27から順次出力される出力データに基づく信号を、撮像装置11の外部に出力する。なお、撮像装置11に含まれる各処理部のうちの少なくとも1つは、撮像装置11の全体を制御する制御装置(例えばCPU:Central Processing Unit)が形成されたチップ(SoC:System on Chip)に搭載される。このチップには、例えば、デモザイク部24,抽出部25,合成部27,出力部28が搭載される。なお、このチップに、撮像部22,タイミング制御部23,メモリ26のうちの少なくとも1つが搭載されていてもよい。
【0033】
次に、抽出部25の詳細を説明する。
図4に示すように、抽出部25は、信号色設定部31、信号色判定部32、無彩色・飽和判定部33、判定出力部34を含む。
【0034】
信号色設定部31には信号色領域情報が記憶されている。信号色領域情報は、交通信号機の発光部に対応する設定色と、発光部を判定するためのしきい値を含む。設定色は、交通信号機の各発光部の色に対して、色差Cb,Crに対応する一対の色値が設定されている。信号色領域情報は、例えば制御装置(CPU)により設定される。
【0035】
図7に示すように、交通信号機100は、信号色の青色,黄色,赤色にそれぞれ対応する3つの発光部101,102,103を有している。発光部101は、間隔を開けて配列された複数の発光ダイオード(LED)111を有している。各発光ダイオード111は、例えば商用電源に応じて間欠的に駆動され、青色の光を放射する。発光部102は、間隔を開けて配列された複数の発光ダイオード(LED)112を有している。各発光ダイオード112は、例えば商用電源に応じて間欠的に駆動され、黄色の光を放射する。発光部101は、間隔を開けて配列された複数の発光ダイオード(LED)111を有している。各発光ダイオード113は、例えば商用電源に応じて間欠的に駆動され、赤色の光を放射する。
【0036】
交通信号機100の発光部(例えば発光部103)を撮影した画像120は、図8に示すように、対応する発光ダイオード113から放射された光を撮像した素子領域121を含む。図4に示す信号色設定部31に設定される信号色領域情報は、赤色,黄色,青色の各発光部の素子領域121のそれぞれに対応する設定色及びしきい値を含む。
【0037】
発光ダイオード113は、中心の輝度が高いため、図8に示すように、素子領域121の中心付近の画素は、1つ又は複数の色の値が飽和する場合がある。このように、飽和した複数の画素の領域を飽和領域122とし、破線の丸で示す。また、各発光ダイオードの間の領域、つまり素子領域121の外側の画素は、無彩色(灰色又は黒)である。このように、無彩色の画素の領域を無彩色領域123とする。これら、信号色、飽和色、無彩色を総称して発光部色と呼ぶ。そして、交通信号機100の各発光部101〜103に対応しない色を非発光部色と呼ぶ。非発光部色の領域を非発光部領域(非対象領域)という。
【0038】
図2に示すデモザイク部24から出力されるフレームFa,Fbの画素データは、図4に示す信号色判定部32、無彩色・飽和判定部33、判定出力部34に順次供給される。
信号色判定部32(第1の判定部)は、信号色設定部31に格納された信号色領域情報を読み出す。信号色判定部32は、入力画素データに含まれる色情報のうち、色差Cb,Crの値(色差値)と、各発光部101〜103の色値との差分の絶対値を算出する。そして、信号色判定部32は、算出した絶対値としきい値とを比較し、絶対値がしきい値以下であれば、入力画素が対応する領域に含まれると判定する。そして、信号色判定部32は、判定結果に基づいて、入力画素が含まれる色領域を示すコード[信号色コード]を出力する。また、信号色判定部32は、入力画素が上記の素子領域121の何れにも含まれない場合、これを示すコード[非色コード]を出力する。
【0039】
無彩色・飽和判定部33(第2の判定部)は、画素データに含まれる色情報に基づいて、各画素データの状態を判定し、判定結果に応じたコードを出力する。無彩色・飽和判定部33は、入力された画素データに含まれる色情報のうち、色差情報CbCrに基づいて、画素データの画素が無彩色か否かを判定する。無彩色は、3つの原色が同程度まじりあった色であり、色差情報Cb=Cr=0となる。例えば、無彩色・飽和判定部33は、画素データの色情報に含まれる色差情報Cb,Crの値(絶対値)がそれぞれしきい値(ゼロに近い値)以下の場合に、その画素データの画素を無彩色と判定し、しきい値より大きい場合に無彩色ではないと判定する。
【0040】
また、無彩色・飽和判定部33は、入力された画素データに含まれる色情報のうち、輝度情報Yに基づいて、画素データの画素値が飽和しているか否かを判定する。例えば、中心の領域122に含まれる画素の色情報は、輝度Yが最大値となる。従って、無彩色・飽和判定部33は、画素データの色情報に含まれる輝度値に基づいて、その画素値が飽和しているか否かを判定する。そして、無彩色・飽和判定部33は、判定結果に応じて、飽和を示すコード[飽和色コード]、無彩色を示すコード[無彩色コード]、いずれにも当てはまらないことを示すコード[非対象コード]、の何れかを出力する。
【0041】
判定出力部34は、信号色判定部32から出力されるコードと、無彩色・飽和判定部33から出力されるコードに基づいて、交通信号機100の発光部101〜103に対応する領域(発光部領域(抽出対象領域))を推定する。そして、判定出力部34は、推定した発光部領域に含まれる画素の画素データを出力する。また、判定出力部34は2つのカウンタ41,42を有し、これらカウンタ41,42のカウント値に基づいて、推定した発光部領域の妥当性を判定し、判定結果に応じて発光部領域の領域情報を出力する。
【0042】
判定出力部34における判定と出力データについて説明する。
判定出力部34は、信号色判定部32と無彩色・飽和判定部33から出力されるコードと、1つ前の画素に対する判定結果に基づいて、画素が交通信号機100の各発光部101〜103に対応する領域[発光部領域]に含まれるか否かを判定する。発光部領域は、発光部色の画素を含む領域、つまり図8に示すように、素子領域121、飽和領域122、無彩色領域123を含む。そして、発光部領域の外側は、非発光部色の画素を含む。
【0043】
[1つ前の画素が非発光部領域に属する場合]
信号色判定部32から信号色コードが出力されるとき、判定出力部34は入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。また、判定出力部34は、入力画素に対応する信号色コードと入力画素の座標値をレジスタ43に格納する。そして、判定出力部34は、カウンタ41,42を初期化する。この初期化において、判定出力部34は、各カウンタ41,42のカウント値を「1」にセットする。
【0044】
信号色判定部32から信号色コード以外のコードが出力されるとき、判定出力部34は入力画素を発光部領域に含まれない画素、つまり非発光部領域に含まれる画素と判定する。
【0045】
[1つ前の画素が発光部領域に属する場合]
信号色判定部32から信号色コードが出力されるか、又は無彩色・飽和判定部33から飽和色コード又は無彩色コードが出力されるとき、判定出力部34は、入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。そして、判定出力部34は、画素数カウンタ41のカウント値をカウントアップする。また、判定出力部34は、信号色判定部32から信号色コードが出力されるとき、信号色カウンタ42のカウント値をカウントアップする。
【0046】
信号色判定部32から非色コードが出力され、且つ無彩色・飽和判定部33から非対象コードが出力されるとき、判定出力部34は入力画素を非発光部領域に含まれる画素と判定し、出力画素の妥当性を判定する。
【0047】
判定出力部34は、画素数カウンタ41のカウント値が所定のしきい値以上であり、信号色カウンタ42のカウント値が画素数カウンタ41のカウント値に対して所定値以上の割合であるとき、出力画素に対する推定が妥当であると判定する。画素数カウンタ41のカウント値は、入力画素を発光部領域に含まれると判定した数、即ち発光部領域に含まれると判定した入力画素の連続数である。信号色カウンタ42のカウント値は、信号色である入力画素の数である。
【0048】
このシステムを搭載した車両が交差点等に近づいたとき、交通信号機100の発光部101〜103は、所定以上の大きさで撮影される。従って、各発光部101〜103に対して、発光部領域は所定の長さを有し、かつ信号色の画素が発光部領域を占める割合が所定値以上となる。判定出力部34は、出力画素に対する推定を妥当と判定した場合、領域情報を出力する。領域情報は、レジスタ43に格納した座標値、画素数カウンタ41のカウント値を含む。レジスタ43に格納した座標値は、1つ前の画素が非発光部領域に属し、発光部領域に含まれると判定した入力画素の座標値である。つまり、この座標値は、発光部領域の先頭の座標値を示す。
【0049】
判定出力部34の状態は、図6に示すように遷移する(ステート遷移)。
即ち、ステートST1において、入力画素を非発光部領域に含まれると判定している。条件T1(1つ前の画素が非発光部領域であり、次の入力画素の色が信号色)を満足する場合、ステートST2に遷移する。このとき、入力画素の色を発光部信号色としてレジスタ43に格納する。また、カウンタ41,42を初期化する。次に、ステートST2において、条件T2(入力画素の色が、レジスタ43に格納した発光部信号色と無彩色と飽和色の何れか)を満足する場合、画素数カウンタ41のカウント値を更新する。更に、入力画素の色が発光部信号色の場合、信号色カウンタ42のカウント値を更新する。ステートST2において、条件T3(入力画素の色が、レジスタ43に格納した発光部信号色と無彩色と飽和色の何れでもない)を満足する場合、妥当性判定を行い、ステートST1に遷移する。次に、ステートST1において、条件T4(入力画素の色が信号色以外)を満足する場合、ステートST1に遷移する。
【0050】
上記の判定出力部34の処理を、図9に従って説明する。
今、図9に示すように、画素G1〜G12が順次入力される。例えば、画素G3,G6,G7,G9は信号色、画素G4,G5は無彩色、画素G8は飽和色、画素G1,G2,G10〜G12は、それら以外の色である。
【0051】
画素G2が入力されるとき、1つ前の画素G1は信号色以外であり、画素G2は信号色以外であるため、判定出力部34は、画素G2の画素データを出力しない。次いで、画素G3が入力されるとき、1つ前の画素G2は信号色以外であり、画素G3は信号色である。従って、判定出力部34は、画素G3の画素データを出力し、画素G3の色情報を発光部信号色としてレジスタ43に格納し、各カウンタ41,42を初期化する。次いで、画素G4が入力されるとき、1つ前の画素G3は信号色であり、画素G4は無彩色である。従って、判定出力部34は、画素G4の画素データを出力し、画素数カウンタ41を更新する。次いで、画素G5が入力されるとき、1つ前の画素G4は無彩色であり、画素G5は無彩色である。従って、判定出力部34は、画素G5の画素データを出力し、画素数カウンタ41を更新する。
【0052】
次いで、画素G6が入力されるとき、1つ前の画素G5は無彩色であり、画素G6の色情報はレジスタ43に格納した発光部信号色と等しい。従って、判定出力部34は、画素G6の画素データを出力し、画素数カウンタ41及び信号色カウンタ42を更新する。次いで、画素G7が入力されるとき、1つ前の画素G6は発光部信号色であり、画素G7の色情報は発光部信号色と等しい。従って、判定出力部34は、画素G7の画素データを出力し、画素数カウンタ41及び信号色カウンタ42を更新する。次いで、画素G8が入力されるとき、1つ前の画素G7は発光部信号色であり、画素G8は飽和色である。従って、判定出力部34は、画素G8の画素データを出力し、画素数カウンタ41を更新する。次いで、画素G9が入力されるとき、1つ前の画素G8は飽和色であり、画素G9は発光部信号色である。従って、判定出力部34は、画素G9の画素データを出力し、画素数カウンタ41及び信号色カウンタ42を更新する。次いで、画素G10が入力されるとき、1つ前の画素G9は発光部信号色であり、画素G10は発光部信号色と無彩色と飽和色の何れでもない。従って、判定出力部34は、妥当性判定を行う。
【0053】
つまり、判定出力部34は、画素G3〜G9を発光部領域と推定する。このとき、画素数カウンタ41のカウント値は「7」であり、信号色カウンタ42のカウント値は「4」である。例えば、領域判定のためのしきい値を「4」とすると、画素数カウンタ41のカウント値はしきい値以上であるため、判定出力部34は、これら画素G3〜G9により推定した発光部領域を妥当と判定し、発光部領域の先頭座標、つまり画素G3の座標値と、画素数カウンタ41のカウント値(=7)を出力する。
【0054】
上記の処理により、交通信号機100の発光部領域、例えば、図10に示す発光部103に対して、複数の発光部領域130が推定される。各発光部領域130は、図9に示す画素G3〜G9、つまり、信号色と飽和色と無彩色のうちの何れか1つの色の画素を含む。そして、これら複数の発光部領域130に含まれる画素の画素データが、部分画像データとして図2に示すメモリ26に格納される。
【0055】
次に、上記の撮像装置11の処理を説明する。
例えば、図11に示すように、1映像記録周期において、3つのフレームFa,Fb,Fcがデモザイク部24から出力される。
【0056】
第1のフレームFaに含まれる交通信号機100は、第3の発光部103が点灯している。従って、抽出部25は、フレームFaから第3の発光部103に対応する発光部領域130を抽出し、メモリ26に格納する。このように、メモリ26に格納された発光部領域130は、フレームFa全体の画像データに対する部分画像データである。
【0057】
次に、第2のフレームFbに含まれる交通信号機100は、何れの発光部101〜103が点灯していない。従って、抽出部25は、第2のフレームFbに対応する部分画像データをメモリ26に格納しない。
【0058】
次に、第3のフレームFcに含まれる交通信号機100は、何れの発光部101〜103が点灯していない。合成部27は、この第3のフレームFcに対し、メモリ26に格納された部分画像データ(発光部領域130)を合成して出力フレームFdを生成する。このように生成された出力フレームFdは、図1に示す記録装置12に記録される。即ち、第3の発光部103が点灯した出力フレームFdが、記録される。
【0059】
次の映像記録周期においても、同様に、2つのフレームから、点灯した発光部に対応する部分画像データがメモリ26に格納され、その部分画像データは次の1つのフレームに合成されて出力フレームが生成される。
【0060】
このように、図1に示す記録装置12には、映像記録周期毎に1つの出力フレームFdが記録される。従って、記録装置12に記録された複数の出力フレームFdの記録間隔は一定である。従って、複数の出力フレームFdを動画として再生した場合、違和感の無い映像が得られる。また、映像記録周期毎に撮影されたフレームFcに含まれる交通信号機100の発光部101〜103が点灯していなくても、映像記録周期内の他の複数のフレームFa,Fbから抽出された部分画像データがフレームFcに合成されて出力フレームFdが生成される。このため、すべての発光部101〜103が点灯していない交通信号機100が含まれる出力フレームの数が低減する。従って、再生された映像において、交通信号機100の発光部101〜103の何れが点灯しているかを確認することができる。
【0061】
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)撮像部22は、記録装置12の1映像記録周期に複数(例えば3つ)のフレームFa,Fb,Fcを出力する。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。
【0062】
抽出部25は、フレームFa,Fbの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ26に格納する。合成部27は、抽出部25がメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。そして、合成部27は、デモザイク部24から出力される合成フレームFcと、発光部領域とを合成して出力フレームFdを生成する。
【0063】
従って、撮像装置11は、合成部27が出力する出力フレームFdに従って画像データGDを出力する。つまり、撮像装置11は、記録装置12の映像記録周期毎に出力フレームFdを出力する。従って、記録装置12に記録された複数の出力フレームFdの記録間隔は一定である。従って、複数の出力フレームFdを動画として再生した場合、違和感の無い映像が得られる。
【0064】
(2)映像記録周期毎に撮影されたフレームFcに含まれる交通信号機100の発光部101〜103が点灯していなくても、映像記録周期内の他の複数のフレームFa,Fbから抽出された部分画像データがフレームFcに合成されて出力フレームFdが生成される。このため、すべての発光部101〜103が点灯していない交通信号機100が含まれる出力フレームの数が低減する。従って、再生された映像において、交通信号機100の発光部101〜103の何れが点灯しているかを確認することができる。
【0065】
(3)抽出部25は、信号色設定部31に格納された信号色領域情報に基づいて、入力画素が発光部領域か否かを推定する。そして、抽出部25は、発光部領域と推定した画素の画素値をメモリ26に格納する。従って、発光部101〜103の形状が円以外でも、発光部領域を推定する。従って、円形状の発光部101〜103を持つ交通信号機100以外に、例えば矢印式信号機や歩行者用信号機など、また文字が表示される信号機など、の発光部を抽出することができる。
【0066】
(4)抽出部25は、信号色設定部31に格納された信号色領域情報に基づいて、入力画素が発光部領域か否かを推定する。そして、抽出部25は、発光部領域と推定した画素の画素値をメモリ26に格納する。従って、フレーム全体をメモリに格納する場合と比べ、メモリ26の容量が小さくてよい。このことは、抽出部25やメモリ26を搭載した半導体装置(チップ)の面積の増大の抑制に寄与する。
【0067】
(5)判定出力部34は、発光部領域と推定した画素をカウントするカウンタ41と、信号色と判定した画素をカウントするカウンタ42を有し、カウンタ41,42のカウント値に基づいて発光部領域の妥当性を判定するようにした。従って、発光部101〜103に対応する領域を抽出し、対応しない領域を除外することで、精度の高い抽出を行うことができる。
【0068】
(6)抽出部25は、信号色を判定する信号色判定部32と、無彩色・飽和色を判定する無彩色・飽和判定部33を含む。無彩色は、発光部101〜103のうち、発光ダイオード111〜113が搭載されていない部分であり、飽和色は、各発光ダイオード111〜113の中心部分の輝度が高い部分に対応する。従って、LED方式の交通信号機100の発光部101〜103に対応する領域を確実に抽出することができる。発光ダイオード111〜113を用いたLED方式の交通信号機100の発光部101〜103を確実に抽出することができる。
【0069】
(第二実施形態)
次に、撮像装置の第二実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して図面と説明の一部またはすべてを省略する。
【0070】
図12に示すように、撮像装置11aは、レンズ21、撮像部22、タイミング制御部23、デモザイク部24、抽出部25a、メモリ26a、合成部27、出力部28を有している。
【0071】
抽出部25aは、第1のフレームFaと第2のフレームFbそれぞれの画素に基づいて、発光部領域を推定し、推定した発光部領域に含まれる画素の画像データと、その画像データを格納する書き込みアドレス(ライトアドレス)を出力する。メモリ26aは、ライトアドレスに画像データを記憶する。そして、抽出部25aは、発光部領域の推定に対する妥当性を判定し、その判定結果に応じて、メモリ26aに対するライトアドレスを制御する。
【0072】
図13に示すように、抽出部25aは、信号色設定部31、信号色判定部32、無彩色・飽和判定部33、判定出力部34aを有している。この判定出力部34aは、妥当性の判定結果に応じてメモリ26aに対する書き込みアドレスを制御する。
【0073】
判定出力部34aは、画素数カウンタ41、信号色カウンタ42、レジスタ43、レジスタ44を有している。
判定出力部34aは、画素のデータを出力する毎に、書き込みアドレス(ライトアドレス)WAをメモリ26aに出力し、ライトアドレスWAをインクリメントする。メモリ26aは、ライトアドレスWAに対応する領域に、画素データを記憶する。ライトアドレスWAのインクリメントは、次の画素の画素データを格納するアドレスを設定するものである。従って、判定出力部34aは、インクリメントは、ライトアドレスWAに対してメモリ26aに格納する画素データのデータ量に応じた値を加算し、次の画素データを格納するライトアドレスWAを設定する。
【0074】
判定出力部34aは、レジスタ44に領域開始アドレスを格納する。領域開始アドレスは、発光部領域と判定した最初の画素のデータを格納したメモリ26aのアドレスである。判定出力部34aは、発光部領域と判定した最初の画素、つまり、前の画素が非発光部領域であり、入力画素を発光部領域と判定した場合に、ライトアドレスWAをレジスタ44に格納する。このレジスタ44に格納されたライトアドレスWAが領域開始アドレスである。
【0075】
そして、判定出力部34aは、発光部領域に対する妥当性の判定結果に基づいて、その発光部領域が妥当と判定した場合、ライトアドレスWA及びレジスタ44の内容を変更することなく、状態ST1へと遷移する。一方、判定出力部34aは、発光部領域が妥当ではないと判定した場合、レジスタ44から読み出した領域開始アドレスをライトアドレスWAにセットする。これにより、判定出力部34aは、次に、発光部領域と判定した画素のデータを、ライトアドレスWAに格納する、つまり、妥当ではないと判定した画素のデータに上書きする。この結果、メモリ26aには、妥当ではないと判定した画素のデータは保存されない。
【0076】
次に、上記の抽出部25a(判定出力部34a)の処理を説明する。
判定出力部34aは、図14に示す連続する複数の画素について、発光部領域か否かを判定する。図14において、ハッチングを付した丸は発光部領域と推定した画素を示し、ハッチングを付していない丸は発光部領域ではないと判定した画素を示す。
【0077】
判定出力部34aは、入力画素を非発光部領域と判定した場合に、各カウンタ41,42のカウント値に基づいて、入力画素に基づいて推定した発光部領域の妥当性を判定する。なお、以下の説明において、発光部領域における信号色画素の割合は判定条件を満足するものとする。
【0078】
判定出力部34aは、図14に示す画素G1を発光部領域の先頭画素と推定し、ライトアドレスWAを領域開始アドレスSAとしてレジスタ44に格納する。そして、判定出力部34aは、ライトアドレスWAと、画素G1の画素データ(色情報、座標値)をメモリ26aに出力し、ライトアドレスWAをインクリメントする。メモリ26aは、判定出力部34aから出力されるライトアドレスWAに対応する領域に、判定出力部34aから出力される画素データを記憶する。
【0079】
同様に、判定出力部34aは、図14に示す画素G2〜G4を発光部領域に含まれる画素と推定し、各画素G2〜G4の画素データと、対応するライトアドレスWAをメモリ26aに出力し、各画素G2〜G4毎にライトアドレスWAをインクリメントする。メモリ26aは、各画素G2〜G4を、ライトアドレスWAに対応する領域に記憶する。
【0080】
これにより、図15(a)に示すように、メモリ26aには、画素G1〜G4の画素データが格納される。このとき、領域先頭アドレスASは画素G1が記憶された領域を示し、ライトアドレスWAは次の画素の画素データを格納する領域を示す。
【0081】
次に、判定出力部34aは、図14に示す画素N1を非発光部領域と判定することで、画素G1〜G4に対する妥当性を判定する。例えば、連続する画素数のしきい値を「3」とする。画素N1の判定時において、画素数カウンタ41のカウント値は「4」である。従って、判定出力部34aは、ライトアドレスWAを変更しない。
【0082】
次に、判定出力部34aは、上記の画素G1〜G4と同様に、画素G5,G6を発光部領域の画素と推定し、ライトアドレスWAと各画素G5,G6の画素データをメモリ26aに出力する。その結果、メモリ26aには、図15(b)に示すように、画素G5,G6の画素データが格納される。このとき、領域先頭アドレスASは画素G5が記憶された領域を示し、ライトアドレスWAは次の画素の画素データを格納する領域を示す。
【0083】
次に、判定出力部34aは、図14に示す画素N2を非発光部領域と判定することで、画素G5,G6に対する妥当性を判定する。例えば、連続する画素数のしきい値を「3」とする。画素N2の判定時において、画素数カウンタ41のカウント値は「2」であり、連続する画素数のしきい値(=3)より小さい。従って、判定出力部34aは、レジスタ44に格納した領域開始アドレスSAを読み出し、ライトアドレスWAに領域開始アドレスSAを設定する。これにより、図15(c)に示すように、領域先頭アドレスSAとライトアドレスWAは、共に画素G5が記憶された領域を示す。
【0084】
次に、判定出力部34aは、図14に示す画素G7を発光部領域の先頭画素と推定し、ライトアドレスWAを領域開始アドレスSAとしてレジスタ44に格納する。そして、判定出力部34aは、ライトアドレスWAと、画素G7の画素データ(色情報、座標値)をメモリ26aに出力し、ライトアドレスWAをインクリメントする。従って、メモリ26aには、図15(d)に示すように、画素G5の画素データに画素G7の画素データが上書きされる。
【0085】
同様に、判定出力部34aは、図14に示す画素G8を発光部領域に含まれる画素と推定し、画素G8の画素データと、対応するライトアドレスWAをメモリ26aに出力し、ライトアドレスWAをインクリメントする。従って、メモリ26aには、図15(d)に示すように、画素G6の画素データに画素G8の画素データが上書きされる。そして、ライトアドレスWAは、次の画素の画素データを格納する領域を示す。
【0086】
次に、判定出力部34aは、図14に示す画素N3を非発光部領域と判定することで、画素G7,G8に対する妥当性を判定する。この場合、判定出力部34aは、図15(b)に示す画素G5,G6と同様に、画素G7,G8を判定する。そして、判定出力部34aは、レジスタ44に格納した領域開始アドレスSAを読み出し、ライトアドレスWAに領域開始アドレスSAを設定する。これにより、図15(e)に示すように、領域先頭アドレスSAとライトアドレスWAは、共に画素G7が記憶された領域を示す。
【0087】
次に、判定出力部34aは、図14に示す画素G9〜G11を判定し、図15(f)に示すように、各画素G9〜G11の画素データをメモリ26aに格納する。そして、判定出力部34aは、図14に示す画素N4を非発光部領域と判定することで、画素G9〜G11に対する妥当性を判定する。この場合、判定出力部34aは、図15(a)に示す画素G1〜G4と同様に、画素G9〜G11を判定する。従って、判定出力部34aは、ライトアドレスWAを変更しない。これにより、図15(f)に示すように、領域先頭アドレスSAは、共に画素G9が記憶された領域を示し、ライトアドレスWAは次の画素の画像データを格納する領域を示す。
【0088】
このように、メモリ26aには、推定が妥当と判定した発光部領域に含まれる画素のデータのみが格納される。従って、容量の小さなメモリ26aを用いることができる。このように、容量の小さなメモリ26aは、メモリ26aが搭載されるチップの面積の増加を抑制する。
【0089】
以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
(1)抽出部25aは、発光部領域に対する推定が妥当であると判定した場合、ライトアドレスを、次の発光部領域の先頭アドレスとして記憶する。これにより、抽出部25aは、次に推定した発光部領域に含まれる画素のデータを、メモリ26aに格納する準備を行う。
【0090】
一方、抽出部25aは、発光部領域に対する推定が妥当ではないと判定した場合、その発光部領域として記憶した画素列の先頭アドレスに、ライトアドレスを一致させる。従って、次に推定された発光部領域に含まれる画素のデータは、1つ前に推定した発光部領域の画素のデータを格納した領域に格納される。つまり、抽出部25aは、推定した発光部領域に含まれる画素のデータを、発光部領域では無いと判定した画素のデータに対して上書きする。この結果、メモリ26aには、推定した発光部領域に対し、妥当性処理において発光部領域として判定した画素のデータが保持され、発光部領域ではないと判定されたデータは保存されない。つまり、メモリ26aには、妥当性判定により妥当と判定された発光部領域に含まれる各画素のデータが保存される。従って、抽出部25aは、メモリ26aに、不必要なデータを保存しないため、例えばスタティックメモリ(SRAM:Static Random Access Memory)のように、小さな容量のメモリ26aを用いることができる。
【0091】
(第三実施形態)
次に、撮像装置の第三実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
【0092】
図16に示すように、撮像装置11bの撮像部22は、レンズ21により結像された被写体からの光を光電変換して光量と色情報を含む1フレームの撮像データを生成する。撮像部22は、映像記録周波数のフレーム数の整数倍(例えば、3倍)のフレームの撮像データを生成し、各フレームの撮像データを出力する。この撮像データは、撮像部22が有するカラーフィルタに対応する形式、例えばRGB形式のデータである。また、撮像データにおける各画素は、カラーフィルタに対応し、例えばベイヤ配列に対応する1つの色の色情報を含む(図5(b)参照)。
【0093】
デモザイク部24bは、各画素データにおいて、不足する色情報を、周囲の画素データにより補間にて生成する。例えば、デモザイク部24は、図5(b)に示す画素データSG(1,1)の色情報(赤色)と、画素データSG(1,3)の色情報(赤色)に基づいて、例えば直線補間(内挿)により、画素データSG(1,2)に対応する赤色の色情報を生成する。このように、各画素データについて、対応するカラーフィルタ以外の色の色情報を生成する。このように生成される画素データは、3つの色の色情報を含むRGB形式のデータである。そして、デモザイク部24bは、生成した各画素の画素データを出力する。つまり、デモザイク部24bは、RGB形式の画像データを出力する。
【0094】
なお、デモザイク部24bにおいて、色変換処理、画像の輪郭(エッジ)を強調するエッジ強調処理、明るさやコントラストを調整するガンマ補正処理、を行うようにしてもよい。なお、デモザイク部24bは、各処理を、必要とするデータ形式に応じて、適宜のタイミングで実施する。
【0095】
抽出部25bと合成部27bは、デモザイク部24bから出力されるRGB形式の画像データを処理する。抽出部25bと合成部27bは、デモザイク部24bから出力されるフレームの画像データのうち、所定位置のフレームの画像データをそれぞれ処理するように設定されている。例えば、合成部27bは、図1に示す記録装置の映像記録周期毎にデモザイク部24bから出力される画像データを処理するように設定されている。そして、抽出部25bは、合成部27bが処理するフレームの間のフレームを処理するように設定されている。
【0096】
図17に示すように、抽出部25bの信号色設定部31bには、図7に示す交通信号機100の各発光部101〜103の色に対応する信号色が設定されている。各発光部101〜103に対応する信号色は、それぞれ発光部101〜103に対応する割合で三原色(RGB)の値がセットされている。つまり、各発光部101〜103に対応する信号色は、それぞれRGBの値を含む。
【0097】
信号色判定部32bは、信号色設定部31bに格納された信号色領域情報を読み出す。信号色判定部32bは、入力画素データに含まれるRGBの値と、信号色領域情報とを比較して、発光部領域を推定する。そして、信号色判定部32bは、推定した領域に対応するコード([信号色コード],[非色コード])を出力する。
【0098】
無彩色・飽和判定部33bは、入力画素データに含まれる各色(RGB)の画素値のうち、少なくとも1つの色の画素値が飽和(最大値又は最大値から所定値小さい値)している場合、飽和を示すコード[飽和色コード]を出力する。また、無彩色・飽和判定部33bは、各色(RGB)の画素値を互いに比較して差分値を算出し、算出した差分値に基づいて、画素が無彩色か否かを判定し、判定結果に応じて無彩色を示すコード[無彩色コード]を出力する。また、無彩色・飽和判定部33は、上記の何れでもない場合、その旨を示すコード[非対象コード]を出力する。
【0099】
判定出力部34は、信号色判定部32bから出力されるコードと、無彩色・飽和判定部33bから出力されるコードに基づいて、発光部領域を推定する。そして、判定出力部34は、推定した発光部領域の妥当性を判定し、妥当と判定した発光部領域の領域情報を出力する。領域情報は、推定した発光部領域の先頭の座標値(発光部領域に含まれる画素の座標値)と、発光部領域に含まれる画素の数(画素数)を含む。
【0100】
図16に示す合成部27bは、抽出部25bがメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。このデータは、発光部領域に含まれる画素の画素値及び座標値を含み、画素値は、RGB形式のデータである。合成部27bは、デモザイク部24bから出力される合成フレームFcと、メモリ26から読み出したデータとを、RGBの各成分毎に例えばαブレンドにより合成して出力画素の画素値を生成する。そして、合成部27bは、生成した出力画素の画素値を出力する。
【0101】
以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
(1)デモザイク部24bはRGB形式の画像データを出力する。抽出部25bは、RGB形式のフレームFa,Fbから発光部領域を抽出し、合成部27bはRGB形式のフレームFcに、メモリ26から読み出した画素を合成する。このように、RGB形式のデータのフレームを処理することができる。RGB形式は、YCbCr形式のデータと比べ、色の解像度の低下が少ない。また、信号色領域の判定においてYCbCr形式のデータよりも正確な判定が期待される。
【0102】
(第四実施形態)
次に、撮像装置の第四実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
【0103】
図18に示すように、撮像装置11cの撮像部22は、レンズ21により結像された被写体からの光を光電変換して光量と色情報を含む1フレームの撮像データを生成する。撮像部22は、映像記録周波数のフレーム数の整数倍(例えば、3倍)のフレームの撮像データを生成し、各フレームの撮像データを出力する。この撮像データは、撮像部22が有するカラーフィルタに対応する形式、例えばRGB形式のデータである。
【0104】
抽出部25cと合成部27cは、撮像部22から順次出力されるフレームのうち、所定位置のフレームの撮像データをそれぞれ処理するように設定されている。例えば、撮像部22は、撮像したフレームの撮像データを所定の周期(映像記録周期の1/3)で連続的に出力する。抽出部25cは、撮像部22から連続的に出力されるフレームのうち、抽出フレームFa,Fbを処理し、合成部27cは合成フレームFcを処理する。
【0105】
撮像部22から出力される各フレームは、撮像部22に含まれるカラーフィルタに対応する色情報を含む。つまり、各フレームはベイヤ配列に対応する画像データ(ベイヤデータ)であり、各フレームに含まれる画素は、カラーフィルタに対応する1つの色の色情報を含む(図5(b)参照)。
【0106】
従って、抽出部25cは、互いに異なる色情報を含む複数の画素を合成して合成画素を生成する。例えば、抽出部25cは、図21に示すように、赤色(R)の色情報を含む画素SG(1,1)と、緑色(Gr、Gb)の色情報を含む画素SG(2,1),SG(1,2)と、青色(B)の色情報を含む画素SG(2,2)とを結合して1つの合成画素CGを生成する。この合成画素CGは、RBGの各成分の値を含む。つまり、この合成画素CGのデータは、RGB形式の色情報を含む。
【0107】
抽出部25cは、上記の抽出部25bと同様に、生成した合成画素の色情報に基づいて発光部領域を推定し、推定した発光部領域の妥当性を判定して合成画素のデータをメモリ26に格納する。
【0108】
図19に示すように、抽出部25cは、ベイヤ結合部35、信号色設定部31b、信号色判定部32b、無彩色・飽和判定部33b、判定出力部34を有している。
図20に示すように、ベイヤ結合部35は、ライン分の画素のデータを記憶するラインメモリ51と、入力画素と、ラインメモリ51から出力される画素とを結合して合成画素CGを生成する結合部52を有している。例えば、ラインメモリ51は、1つのフレームにおける奇数番目のラインの画素のデータを記憶する。結合部52は、偶数番目のラインにおける2つの入力画素と、ラインメモリ51から出力される2つの画素とを結合して1つの合成画素CGを生成する。そして、結合部52は、生成した合成画素CGを出力する。
【0109】
合成部27cは、合成フレームFcに、メモリ26から読み出した発光部領域の画像データを合成して出力フレームFdを生成する。メモリ26に格納された合成画素は、RGB形式の色情報を含む。合成部27cに供給される合成フレームFcの画素は、ベイヤ配列に応じた1つの色情報を含む。従って、合成部27cは、合成画素に含まれる色情報(R成分、G成分、B成分)のうち、入力画素に対応する色成分と、入力画素の色情報とを例えばαブレンド演算して合成した色情報を生成し、その色情報を含む画素データを出力する。即ち、合成部27cは、4つの入力画素に対し、1つの合成画素の各成分を合成し、4つの入力画素に対応する4つの出力画素を生成する。
【0110】
図18に示すデモザイク部24cは、合成部27cから順次出力される画素データにおいて、不足する色情報を、周囲の画素データの色情報から補間により生成する。そして、デモザイク部24cは、生成したRGB形式の画素データを出力する。
【0111】
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)抽出部25cは、4つの画素を結合した合成画素に基づいて、発光部領域を推定する。従って、抽出部25cが推定する画素数は、例えば第一実施形態と比べ、1/4となる。従って、発光部領域の判定回数が少なくなるため、高速処理に適している。また、処理に必要なメモリ26のメモリ量を小さくできる。
【0112】
(他の実施形態)
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記各実施形態において、YCbCr形式の画像データに替えてRGB形式の画像データを出力するようにしてもよい。また、RGB形式の画像データに替えてYCbCr形式の画像データを出力するようにしてもよい。また、YUV形式等の他の形式の画像データを出力するようにしてもよい。
【0113】
・各合成部において、入力画素とメモリから読み出した画素のうち、明るい画素を選択し、選択した画素を含む出力フレームを生成するようにしてもよい。例えば、YCbCr形式の画素データの場合、入力画素の輝度成分Yをメモリから読み出した画素の輝度成分Yと比較し、大きい方の輝度成分Yの値を含む出力フレームを生成する。
【0114】
・各実施形態において、前画素が非発光部領域であって、入力画素の色が信号色に対応する場合に、入力画素を発光部領域の先頭画素と推定したが、条件を変更してもよい。例えば、信号色又は無彩色の場合に入力画素を発光部領域と推定する。また、信号色又は飽和色の場合に入力画素を発光部領域と推定する。また、信号色と無彩色と飽和色の何れか1つの場合に入力画素を発光部領域と推定する。
【0115】
・各実施形態において、メモリ26,26aに格納された部分画像データについて、更に判定を行うようにしてもよい。
例えば、図22に示す撮像装置11dはCPU29を含む。このCPU29は、メモリ26から読み出した部分画像データについて、各画素の座標値と画素データに基づいて、抽出された画素が、交通信号機に対応するものか否かを判定する。例えば、交通信号機の発光部に対応する部分画像データの場合、垂直方向(画像の上下方向であって、入力画素の配列方向(ライン方向)と直交する方向)に隣接する発光部領域が推定される。従って、CPU29は、隣接する複数の発光部領域を妥当と判定し、例えば1ラインのように孤立した発光部領域を妥当ではないと判定する。そして、CPU29は、判定結果に応じた選択信号SLを出力する。合成部27dは、CPU29から出力される選択信号SLに応答して、個々の抽出された画素データについて、合成するか否かを選択する。なお、CPU29は、メモリ26に格納された画素データの妥当性を判定する判定手段の一例である。このようにCPU29(判定手段)を有することで、さらに精度の高い判定を行うことができる。なお、この図22に示すCPU29と合成部27dを、上記の各実施形態に応じて適用してもよい。
【0116】
・各実施形態において、信号色の判定を適宜変更してもよい。例えば、入力画素の色情報に含まれる色差値Cb’,Cr’と、設定値の色差値Cb,Crとの差の二乗和、すなわち、
Z=(Cb−Cb’)2+(Cr−Cr’)2
を演算し、演算結果Zに基づいて画素の色が信号色か否かを判定するようにしてもよい。
【0117】
また、信号色か否かを判定するしきい値を信号色設定部31に記憶させ、しきい値を変更可能としてもよい。
また、信号色か否かを判定するしきい値を、発光部毎に設定するようにしてもよい。
【0118】
また、しきい値に替えて、各発光部の色に対応する色差CbCrの最大値と最小値を設定し、入力画素の色差値Cb,Crが最大値と最小値の間の値であるときにその入力画素を発光部領域と推定するようにしてもよい。
【0119】
また、図23に示すように、色差値のCbCr平面において、原点を通過する2つの線分に挟まれた領域に、入力画素の色差値Cb,Crが含まれるか否かにより、その入力画素が発光部領域か非発光部領域かを推定するようにしてもよい。
【0120】
・各実施形態において、抽出部が処理する画素を制限するようにしてもよい。
例えば、車両に搭載された撮像装置、いわゆるドライブレコーダの場合、交通信号機は撮影されたフレーム画像の上部に交通信号機100が含まれている。従って、図24(a)に示すように、フレームの上部に対して抽出対象領域61を設定し、その抽出対象領域61内の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。また、図24(b)に示すように、抽出除外領域62を設定し、その抽出除外領域62外の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。各領域61,62は、例えば、制御装置(CPU)により設定される。このように領域61,62を設定することで、例えば、入力画素の座標値に従って、信号色判定部等の処理をキャンセルする。これにより、抽出部に含まれる信号色判定部等が動作する回数を、領域を設定しない場合と比べて少なくすることで、撮像装置の消費電力を低減することができる。また、抽出対象領域61外の画素や、抽出除外領域62内の画素を発光部領域として誤って抽出することがなくなるため、メモリ26の容量を少なくすることができる。
【0121】
・上記各実施形態では、撮像装置は所定の規格(NTSC規格)の画像データを出力することとしたが、他の規格(例えば、PAL(Phase Alternating Line))に応じた画像データを出力するようにしてもよい。
【0122】
・フレーム数を適宜変更する。各撮像装置は、記録するフレーム数に応じて、そのフレーム数の整数倍のフレーム数で撮像して画像データを生成するようにしてもよい。
・上記実施形態では、3つのフレームから1つの合成フレームを生成するようにしたが、2つのフレームから1つの合成フレームを生成する、又は4つ以上のフレームから1つの合成フレームを生成するようにしてもよい。
【0123】
・1秒間に記録するフレーム数を、例えば、5,6,10,12,15,20,25フレームのように、適宜変更してもよい。
・上記各実施形態は、車両に搭載されるシステム(所謂ドライブレコーダ)としたが、街路等に設置される監視カメラ、等に具体化してもよい。
【0124】
・第五実施形態において、合成部27cは、抽出部25cと同様に、複数の画素を結合して合成画素を生成し、その生成した合成画素と、メモリ26から読み出した画素(合成画素)とを合成して出力フレームを生成するようにしてもよい。
【0125】
上記各実施形態に関し、以下の付記を開示する。
(付記1)
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
(付記2)
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第1の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第2の判定部と、
前記第1の判定部から出力されるコードと前記第2の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする付記1に記載の画像処理装置。
(付記3)
前記判定出力部は、
m(mは2以上の整数)番目の画素の色が前記設定色に対応し、(m−1)番目の画素の色が前記設定色以外の色の場合に前記m番目の画素を抽出対象領域の先頭と推定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を前記抽出対象領域に含むと判定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする付記2に記載の画像処理装置。
(付記4)
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第1のカウンタと、
前記設定色と等しい色の画素をカウントする第2のカウンタと、
を有し、
前記第1のカウンタのカウント値と前記第2のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする付記2又は3に記載の画像処理装置。
(付記5)
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする付記1,2,3又は4に記載の画像処理装置。
(付記6)
前記判定出力部は、
前記m番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記(m−1)番目の画素が前記非対象領域の場合に、前記m番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする付記3,4又は5に記載の画像処理装置。
(付記7)
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記m番目の画素の画素値を前記記憶部に格納し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記m番目の画素を非対象領域と判定する、
ことを特徴とする付記3,4,5又は6に記載の画像処理装置。
(付記8)
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する1つの色情報を含み、
各画素について、不足する色方法を、周辺の画素の色情報に基づいて生成して複数の色情報を含む画素値を生成するデモザイク部を有し、
前記抽出部と前記合成部は、前記デモザイク部から出力される画素の画素値に基づいてそれぞれ対応する処理を実行する、
ことを特徴とする付記3,4,5,6又は7に記載の画像処理装置。
(付記9)
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する1つの色情報を含み、
前記抽出部は、
異なる色情報を含む複数の画素を結合して1つの合成画素を生成する結合部を含み、
前記合成画素の色に基づいて推定した前記抽出対象領域の合成画素の画素値を前記記憶部に格納し、
前記合成部は、1つの色情報を含む前記画素に対し、前記記憶部から読み出した前記合成画素に含まれ前記画素の色に対応する色成分と、前記画素の色情報を合成する、
ことを特著とする付記3,4,5,6,7又は8に記載の画像処理装置。
(付記10)
前記判定出力部は、
前記画素値とともに前記画素値を書き込むライトアドレスを前記記憶部に出力し、
前記m番目の画素を前記抽出対象領域の先頭と推定した場合に、前記記憶部に前記画素値を書き込むライトアドレス領域先頭アドレスとしてレジスタに記憶し、
前記抽出対象領域が妥当ではないと判定した場合に前記レジスタから読み出した前記領域先頭アドレスを前記ライトアドレスに設定する、
ことを特著とする付記3,4,5,6,7,8又は9に記載の画像処理装置。
(付記11)
1映像記録周期内に第1〜第N(Nは2以上の整数)フレームの撮像データを出力する撮像部と、
前記第1〜第(N−1)フレームの撮像データから設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像装置。
(付記12)
映像記録周期毎に1つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像システム。
(付記13)
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームの撮像データから1つの出力フレームを生成するデータ処理方法であって、
撮像部から1映像記録周期内に出力される第1〜第Nフレームのうち、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
【符号の説明】
【0126】
22 撮像部
25 抽出部
26 メモリ
27 合成部
Fa〜Fc フレーム
Fd 出力フレーム
【技術分野】
【0001】
画像処理装置、撮像装置、撮像システム、及びデータ処理方法に関する。
【背景技術】
【0002】
従来、車両に設置されたカメラによって車両の周辺を撮像し、撮像された画像情報を記録する記録装置、所謂ドライブレコーダが提案されている。ドライブレコーダにより記録された映像は、例えば事故が発生した場合の事後原因の究明や、乗務員の安全運転教育等に利用される。
【0003】
ところで、車両の周辺には、道路等に設置された交通信号機が含まれる。近年の交通信号機の発光部には、発光ダイオード(LED:Light Emitting Diode)が用いられている。LEDを用いた交通信号機は、消費電力や交通信号機の長寿命化に有利である。LEDは、例えば商用電源によって駆動され、交流電源周波数の周期に従って点灯と滅灯とを繰り返している(点滅している)。一方、ドライブレコーダは、例えば30フレーム/1秒などの一定の周期で撮影画像を記録している。このため、撮影装置の条件によっては、全ての発光部が消灯した交通信号機が記録される。
【0004】
このため、点灯状態の交通信号機を撮影する装置が各種提案されている。例えば、電源の周期に対してずらしたタイミングで撮影する装置がある(例えば、特許文献1参照)。また、LEDの点滅周期よりも長いシャッター速度で撮影する装置がある(例えば、特許文献2参照)。また、LEDの点滅周期と非同期となる周期にて撮影する装置がある(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−278496号公報
【特許文献2】特開2008−288743号公報
【特許文献3】特開2005−301518号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、電源の周期に対してタイミングをずらす場合、電源の周期を取得しなければならず、またタイミング制御が難しい。LEDの点灯周期よりも長い周期にて撮影する装置では、シャッター等の制御が複雑になる。また、LEDの点滅周期と非同期な周期にて撮影された画像は、一般的な撮影装置の撮影周期と異なるため、再生時に違和感を覚えたり、特別な表示装置や変換装置が必要としたりする。
【0007】
この撮影装置で、点滅駆動される被写体を好適に撮影することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一観点によれば、撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、を有し、前記抽出部は、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、前記合成部は、前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する。
【発明の効果】
【0009】
本発明の一観点によれば、点滅駆動される被写体を好適に撮影することができる。
【図面の簡単な説明】
【0010】
【図1】システムの概略図である。
【図2】第一実施形態の撮像装置のブロック回路図である。
【図3】抽出フレーム及び合成フレームの説明図である。
【図4】抽出部のブロック回路図である。
【図5】(a)(b)は画像データの説明図である。
【図6】抽出部の動作説明図である。
【図7】交通信号機の説明図である。
【図8】発光部の画像の説明図である。
【図9】発光部領域の推定処理の説明図である。
【図10】発光部領域の説明図である。
【図11】フレームに対する抽出処理と合成処理の説明図である。
【図12】第二実施形態の撮像装置のブロック回路図である。
【図13】抽出部のブロック回路図である。
【図14】領域判定後の画素列を示す説明図である。
【図15】(a)〜(f)は、アドレス制御の説明図である。
【図16】第三実施形態の撮像装置のブロック回路図である。
【図17】抽出部のブロック回路図である。
【図18】第四実施形態の撮像装置のブロック回路図である。
【図19】抽出部のブロック回路図である。
【図20】ベイヤ結合部のブロック回路図である。
【図21】画像データの説明図である。
【図22】別の撮像装置のブロック図である。
【図23】信号色判定設定値の説明図である。
【図24】(a)(b)は、抽出部における領域設定の説明図である。
【発明を実施するための形態】
【0011】
以下、実施形態を添付図面に従って説明する。
図1に示すように、このシステムは、撮像装置11と記録装置12を有している。このシステムは、例えば車両に搭載され、撮像装置11は、車両前方を撮像するように車両に搭載されている。撮像装置11は、撮像した画像データGDを出力する。記録装置12は、撮像装置11から出力される画像データGDを記録する。
【0012】
撮像装置11は、所定の規格(例えばNTSC(National Television System Committee)規格)に応じた所定の周期で画像データの各フレームを出力する。つまり、撮像装置11は、所定の規格に対応するフレーム数の画像データを出力する。例えば、撮像装置11は、所定の規格に対応する周波数(例えば、30Hz)にて各フィールドの画像データを出力する。従って、記録装置12は、撮像装置11に対応する規格にて画像データを記録する。この画像データの形式(フレーム数)は、一般的な動画記録フォーマットに対応する。従って、記録装置12に記録された画像データは、この記録装置12の記録形式に対応する表示装置(例えば、NTSC方式の表示装置)に表示することができる。例えば、表示装置は、対応する数のフレーム(上記の例では1秒間に30フレーム(fps:frame per second))を表示する。また、記録装置12に記録された画像データは、一定の周期でフレームを含む。従って、各フレーム間の時間間隔が一定であるため、違和感の無い映像が得られる。
【0013】
撮像装置の実施形態を順次説明する。
(第一実施形態)
図2に示すように、撮像装置11のレンズ21は、被写体を撮影するための被写体像を撮像部22の受光面に結像する。撮像部22は、所定配列(例えばベイヤ配列)のカラーフィルタと、光電変換部を含む複数の画素を備えた撮像素子を備える。撮像素子としては、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどが用いられる。
【0014】
撮像部22は、タイミング制御部23から供給される制御信号に応じて動作する。制御信号は、クロック信号と同期信号(垂直同期信号、水平同期信号、等)を含む。タイミング制御部23は、上記の規格に応じた周波数のクロック信号を生成する。例えば、タイミング制御部23は、上記のフレーム数に対応し、フレーム数の整数倍(例えば、3倍)の周波数(例えば90Hz)のクロック信号を生成する。
【0015】
撮像部22は、クロック信号に応答して、被写体像を光電変換して撮像データを生成する。そして、撮像部22は、クロック信号に同期して、撮像した各フレームの撮像データSFを出力する。上記例の場合、撮像部22は、1秒間に90フレーム(fps)の撮像データSFを出力する。
【0016】
デモザイク部24は、撮像部22から出力される撮像データSFを、所定形式の画像データに変換し、変換後の画像データを出力する。
図5(a)に示すように、1つのフレームの撮像データSFは、複数の画素データSGを含む。図5(a)において、左右方向に配列された画素データSGは、撮像素子の第1の方向(例えば水平方向)に配列された複数の受光部に対応し、図5(a)において上下方向に配列された画素データSGは、撮像素子の第1の方向と直交する第2の方向(例えば垂直方向)に配列された複数の受光部に対応する。各画素データSGは、対応する受光部がそれぞれ受ける光の量に応じた値(画素値)を含む。撮像素子の受光部は、所定配列(例えばベイヤ配列)のカラーフィルタを透過した光を受光する。従って、各画素データSGに含まれる画素値は、対応するカラーフィルタの配列及び色に応じた色情報を含む。
【0017】
例えば、各画素データを区別する場合、受光部の配列に応じて、SG(x,y)と表す。xは第1の方向の配列順序であり、yは第2の方向の配列順序である。例えば、図5(a)において、左上の画素データをSG(1,1)と表す。その画素データSG(1,1)の右隣の画素データをSG(2,1)と表し、画素データSG(1,1)の下側の画素データをSG(1,2)と表す。撮像部において第1の方向に配列された受光部の数をm、第2の方向に配列された受光部の数nとすると、図5(a)において右下の画素データをSG(m,n)と表す。
【0018】
各画素データSGは、対応するカラーフィルタの色に応じた色情報を含む。例えば、ベイヤ配列のカラーフィルタは、赤色(R)のフィルタと、緑色(G)のフィルタと、青色(B)のフィルタを含む。従って、撮像データSGは、複数の画素データSGを含み、各画素データSGは、それぞれ対応する1つの色の色情報を含む。
【0019】
図5(b)に示すように、画素データSG(1,1)は赤色(R)の色情報を含み、画素データSG(2,1)は緑色(Gr)の色情報を含む。また、画素データSG(1,2)は緑色(Gb)の色情報を含み、画素データSG(2,2)は青色(B)の色情報を含む。なお、第1の方向(水平方向)に赤色(R)のフィルタが隣接する緑色のフィルタにより得られる色情報をGr、第1の方向に青色(B)のフィルタが隣接する緑色のフィルタにより得られる色情報をGbとして示す。
【0020】
図2に示すデモザイク部24は、各画素データSGにおいて、不足する色情報を、周囲の画素データSGにより補間にて生成する。例えば、デモザイク部24は、図5(b)に示す画素データSG(1,1)の色情報(赤色)と、画素データSG(1,3)の色情報(赤色)に基づいて、例えば直線補間(内挿)により、画素データSG(1,2)に対応する赤色の色情報を生成する。このように、各画素データSGについて、対応するカラーフィルタ以外の色の色情報を生成する。そして、デモザイク部24は、3つの色の情報を含む画素データ、つまりRGB形式の画素データを生成する。さらに、デモザイク部24は、RGB形式の画素データを、例えばYCbCr(Y(輝度)、Cb,Cr(色差))形式のデータに変換する。変換後の画像データは複数の画素データを含み、各画素データは、輝度情報と色差情報を含む。
【0021】
なお、デモザイク部24において、色変換処理、画像の輪郭(エッジ)を強調するエッジ強調処理、明るさやコントラストを調整するガンマ補正処理、を行うようにしてもよい。なお、デモザイク部24は、各処理を、必要とするデータ形式に応じて、適宜のタイミングで実施する。
【0022】
抽出部25と合成部27は、デモザイク部24から出力されるフレームの画像データのうち、所定位置のフレームの画像データをそれぞれ処理するように設定されている。例えば、合成部27は、図1に示す記録装置の映像記録周期毎にデモザイク部24から出力される画像データを処理するように設定されている。そして、抽出部25は、合成部27が処理するフレームの間のフレームを処理するように設定されている。
【0023】
図3に示すように、時間の経過に従って、フレームの画像データが図2に示すデモザイク部24から順次出力される。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。抽出部25が処理するフレームを抽出フレーム、合成部27が処理するフレームを合成フレームと呼ぶ。
【0024】
抽出部25は、フレームFaの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ26に格納する。メモリ26は記憶部の一例である。
【0025】
車両に搭載されたシステム(ドライブレコーダ)の場合、設定色は、交通信号機の発光部に対応する。つまり、設定色は、交通信号機の赤色発光部,黄色発光部,青色発光部に対応する。従って、抽出部25は、設定色に従って各発光部に対応する領域を推定し、推定した領域に含まれる画素の情報、推定した領域の情報をメモリ26に格納する。推定した領域を発光部領域という。発光部領域に含まれる画素の情報(画素情報)は、画素値(画素の色)と、画素の座標値を含む。発光部領域の情報(領域情報)は、発光部領域の先頭座標、発光部領域に含まれる画素の数、を含む。
【0026】
デモザイク部24は、各フレームの画像データを、フレームのライン毎に順次出力する。例えば、図5(a)に示す1フレームの画像データSFの場合、デモザイク部24は、最上段のラインに含まれる画素データを、左側から右側に向って順次出力する。なお、実際には、上記変換後の形式(YCbCr形式)の画像データを出力する。そのラインに含まれるすべての画素データを出力すると、1段目のラインと同様に、2段目のラインに含まれる画素データを順次出力する。そして、最終段のラインに含まれるすべての画素データの出力が終了すると、1つのフレームの画像データの出力が終了する。
【0027】
抽出部25は、デモザイク部24から出力される画像データ、つまり各画素データを判定し、発光部領域を推定する。つまり、抽出部25は、フレームFaに含まれるライン毎に、発光部領域を推定する。そして、抽出部25は、推定した発光部領域に含まれる画素データのうち、最初に判定した画素データの座標値を先頭座標として出力する。更に、抽出部25は、推定した発光部領域に含まれる画素の数を出力する。
【0028】
同様に、抽出部25は、設定色に対応する画素が含まれる領域(発光部領域)をフレームFbから抽出する。そして、抽出部25は、抽出した発光部領域に含まれる画素の情報と、発光部領域の情報(領域情報)をメモリ26に格納する。
【0029】
合成部27は、抽出部25がメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。そして、合成部27は、デモザイク部24から出力される合成フレームFcと、発光部領域とを合成して出力フレームFdを生成する。そして、合成部27は、生成した出力フレームFdを出力する。
【0030】
詳述すると、メモリ26に格納された発光部領域のデータは、発光部領域に含まれる画素の画素値及び座標値を含む。画素値は、YCbCr形式のデータである。デモザイク部24は、合成フレームFcに含まれる画素のデータ(画素値)を順次出力する。合成部27は、入力画素の数をカウントする。このカウント値は、入力画素が含まれるラインの位置、各ラインにおける入力画素の位置に対応する。つまり、合成部27は、入力画素をカウントすることで、各入力画素の座標値を得る。
【0031】
合成部27は、発光部領域に含まれる画素のうち、入力画素の座標値と等しい座標値の画素の画素値と、入力画素の画素値とを合成して出力画素の画素値を生成する。合成部27は、例えばαブレンド演算により、複数の画素値を合成して出力画素の画素値を生成する。この出力画素の画素値は、出力フレームFdに含まれる。そして、合成部27は、生成した出力画素の画素値を出力する。
【0032】
出力部28は、合成部27から順次出力される出力データに基づく信号を、撮像装置11の外部に出力する。なお、撮像装置11に含まれる各処理部のうちの少なくとも1つは、撮像装置11の全体を制御する制御装置(例えばCPU:Central Processing Unit)が形成されたチップ(SoC:System on Chip)に搭載される。このチップには、例えば、デモザイク部24,抽出部25,合成部27,出力部28が搭載される。なお、このチップに、撮像部22,タイミング制御部23,メモリ26のうちの少なくとも1つが搭載されていてもよい。
【0033】
次に、抽出部25の詳細を説明する。
図4に示すように、抽出部25は、信号色設定部31、信号色判定部32、無彩色・飽和判定部33、判定出力部34を含む。
【0034】
信号色設定部31には信号色領域情報が記憶されている。信号色領域情報は、交通信号機の発光部に対応する設定色と、発光部を判定するためのしきい値を含む。設定色は、交通信号機の各発光部の色に対して、色差Cb,Crに対応する一対の色値が設定されている。信号色領域情報は、例えば制御装置(CPU)により設定される。
【0035】
図7に示すように、交通信号機100は、信号色の青色,黄色,赤色にそれぞれ対応する3つの発光部101,102,103を有している。発光部101は、間隔を開けて配列された複数の発光ダイオード(LED)111を有している。各発光ダイオード111は、例えば商用電源に応じて間欠的に駆動され、青色の光を放射する。発光部102は、間隔を開けて配列された複数の発光ダイオード(LED)112を有している。各発光ダイオード112は、例えば商用電源に応じて間欠的に駆動され、黄色の光を放射する。発光部101は、間隔を開けて配列された複数の発光ダイオード(LED)111を有している。各発光ダイオード113は、例えば商用電源に応じて間欠的に駆動され、赤色の光を放射する。
【0036】
交通信号機100の発光部(例えば発光部103)を撮影した画像120は、図8に示すように、対応する発光ダイオード113から放射された光を撮像した素子領域121を含む。図4に示す信号色設定部31に設定される信号色領域情報は、赤色,黄色,青色の各発光部の素子領域121のそれぞれに対応する設定色及びしきい値を含む。
【0037】
発光ダイオード113は、中心の輝度が高いため、図8に示すように、素子領域121の中心付近の画素は、1つ又は複数の色の値が飽和する場合がある。このように、飽和した複数の画素の領域を飽和領域122とし、破線の丸で示す。また、各発光ダイオードの間の領域、つまり素子領域121の外側の画素は、無彩色(灰色又は黒)である。このように、無彩色の画素の領域を無彩色領域123とする。これら、信号色、飽和色、無彩色を総称して発光部色と呼ぶ。そして、交通信号機100の各発光部101〜103に対応しない色を非発光部色と呼ぶ。非発光部色の領域を非発光部領域(非対象領域)という。
【0038】
図2に示すデモザイク部24から出力されるフレームFa,Fbの画素データは、図4に示す信号色判定部32、無彩色・飽和判定部33、判定出力部34に順次供給される。
信号色判定部32(第1の判定部)は、信号色設定部31に格納された信号色領域情報を読み出す。信号色判定部32は、入力画素データに含まれる色情報のうち、色差Cb,Crの値(色差値)と、各発光部101〜103の色値との差分の絶対値を算出する。そして、信号色判定部32は、算出した絶対値としきい値とを比較し、絶対値がしきい値以下であれば、入力画素が対応する領域に含まれると判定する。そして、信号色判定部32は、判定結果に基づいて、入力画素が含まれる色領域を示すコード[信号色コード]を出力する。また、信号色判定部32は、入力画素が上記の素子領域121の何れにも含まれない場合、これを示すコード[非色コード]を出力する。
【0039】
無彩色・飽和判定部33(第2の判定部)は、画素データに含まれる色情報に基づいて、各画素データの状態を判定し、判定結果に応じたコードを出力する。無彩色・飽和判定部33は、入力された画素データに含まれる色情報のうち、色差情報CbCrに基づいて、画素データの画素が無彩色か否かを判定する。無彩色は、3つの原色が同程度まじりあった色であり、色差情報Cb=Cr=0となる。例えば、無彩色・飽和判定部33は、画素データの色情報に含まれる色差情報Cb,Crの値(絶対値)がそれぞれしきい値(ゼロに近い値)以下の場合に、その画素データの画素を無彩色と判定し、しきい値より大きい場合に無彩色ではないと判定する。
【0040】
また、無彩色・飽和判定部33は、入力された画素データに含まれる色情報のうち、輝度情報Yに基づいて、画素データの画素値が飽和しているか否かを判定する。例えば、中心の領域122に含まれる画素の色情報は、輝度Yが最大値となる。従って、無彩色・飽和判定部33は、画素データの色情報に含まれる輝度値に基づいて、その画素値が飽和しているか否かを判定する。そして、無彩色・飽和判定部33は、判定結果に応じて、飽和を示すコード[飽和色コード]、無彩色を示すコード[無彩色コード]、いずれにも当てはまらないことを示すコード[非対象コード]、の何れかを出力する。
【0041】
判定出力部34は、信号色判定部32から出力されるコードと、無彩色・飽和判定部33から出力されるコードに基づいて、交通信号機100の発光部101〜103に対応する領域(発光部領域(抽出対象領域))を推定する。そして、判定出力部34は、推定した発光部領域に含まれる画素の画素データを出力する。また、判定出力部34は2つのカウンタ41,42を有し、これらカウンタ41,42のカウント値に基づいて、推定した発光部領域の妥当性を判定し、判定結果に応じて発光部領域の領域情報を出力する。
【0042】
判定出力部34における判定と出力データについて説明する。
判定出力部34は、信号色判定部32と無彩色・飽和判定部33から出力されるコードと、1つ前の画素に対する判定結果に基づいて、画素が交通信号機100の各発光部101〜103に対応する領域[発光部領域]に含まれるか否かを判定する。発光部領域は、発光部色の画素を含む領域、つまり図8に示すように、素子領域121、飽和領域122、無彩色領域123を含む。そして、発光部領域の外側は、非発光部色の画素を含む。
【0043】
[1つ前の画素が非発光部領域に属する場合]
信号色判定部32から信号色コードが出力されるとき、判定出力部34は入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。また、判定出力部34は、入力画素に対応する信号色コードと入力画素の座標値をレジスタ43に格納する。そして、判定出力部34は、カウンタ41,42を初期化する。この初期化において、判定出力部34は、各カウンタ41,42のカウント値を「1」にセットする。
【0044】
信号色判定部32から信号色コード以外のコードが出力されるとき、判定出力部34は入力画素を発光部領域に含まれない画素、つまり非発光部領域に含まれる画素と判定する。
【0045】
[1つ前の画素が発光部領域に属する場合]
信号色判定部32から信号色コードが出力されるか、又は無彩色・飽和判定部33から飽和色コード又は無彩色コードが出力されるとき、判定出力部34は、入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。そして、判定出力部34は、画素数カウンタ41のカウント値をカウントアップする。また、判定出力部34は、信号色判定部32から信号色コードが出力されるとき、信号色カウンタ42のカウント値をカウントアップする。
【0046】
信号色判定部32から非色コードが出力され、且つ無彩色・飽和判定部33から非対象コードが出力されるとき、判定出力部34は入力画素を非発光部領域に含まれる画素と判定し、出力画素の妥当性を判定する。
【0047】
判定出力部34は、画素数カウンタ41のカウント値が所定のしきい値以上であり、信号色カウンタ42のカウント値が画素数カウンタ41のカウント値に対して所定値以上の割合であるとき、出力画素に対する推定が妥当であると判定する。画素数カウンタ41のカウント値は、入力画素を発光部領域に含まれると判定した数、即ち発光部領域に含まれると判定した入力画素の連続数である。信号色カウンタ42のカウント値は、信号色である入力画素の数である。
【0048】
このシステムを搭載した車両が交差点等に近づいたとき、交通信号機100の発光部101〜103は、所定以上の大きさで撮影される。従って、各発光部101〜103に対して、発光部領域は所定の長さを有し、かつ信号色の画素が発光部領域を占める割合が所定値以上となる。判定出力部34は、出力画素に対する推定を妥当と判定した場合、領域情報を出力する。領域情報は、レジスタ43に格納した座標値、画素数カウンタ41のカウント値を含む。レジスタ43に格納した座標値は、1つ前の画素が非発光部領域に属し、発光部領域に含まれると判定した入力画素の座標値である。つまり、この座標値は、発光部領域の先頭の座標値を示す。
【0049】
判定出力部34の状態は、図6に示すように遷移する(ステート遷移)。
即ち、ステートST1において、入力画素を非発光部領域に含まれると判定している。条件T1(1つ前の画素が非発光部領域であり、次の入力画素の色が信号色)を満足する場合、ステートST2に遷移する。このとき、入力画素の色を発光部信号色としてレジスタ43に格納する。また、カウンタ41,42を初期化する。次に、ステートST2において、条件T2(入力画素の色が、レジスタ43に格納した発光部信号色と無彩色と飽和色の何れか)を満足する場合、画素数カウンタ41のカウント値を更新する。更に、入力画素の色が発光部信号色の場合、信号色カウンタ42のカウント値を更新する。ステートST2において、条件T3(入力画素の色が、レジスタ43に格納した発光部信号色と無彩色と飽和色の何れでもない)を満足する場合、妥当性判定を行い、ステートST1に遷移する。次に、ステートST1において、条件T4(入力画素の色が信号色以外)を満足する場合、ステートST1に遷移する。
【0050】
上記の判定出力部34の処理を、図9に従って説明する。
今、図9に示すように、画素G1〜G12が順次入力される。例えば、画素G3,G6,G7,G9は信号色、画素G4,G5は無彩色、画素G8は飽和色、画素G1,G2,G10〜G12は、それら以外の色である。
【0051】
画素G2が入力されるとき、1つ前の画素G1は信号色以外であり、画素G2は信号色以外であるため、判定出力部34は、画素G2の画素データを出力しない。次いで、画素G3が入力されるとき、1つ前の画素G2は信号色以外であり、画素G3は信号色である。従って、判定出力部34は、画素G3の画素データを出力し、画素G3の色情報を発光部信号色としてレジスタ43に格納し、各カウンタ41,42を初期化する。次いで、画素G4が入力されるとき、1つ前の画素G3は信号色であり、画素G4は無彩色である。従って、判定出力部34は、画素G4の画素データを出力し、画素数カウンタ41を更新する。次いで、画素G5が入力されるとき、1つ前の画素G4は無彩色であり、画素G5は無彩色である。従って、判定出力部34は、画素G5の画素データを出力し、画素数カウンタ41を更新する。
【0052】
次いで、画素G6が入力されるとき、1つ前の画素G5は無彩色であり、画素G6の色情報はレジスタ43に格納した発光部信号色と等しい。従って、判定出力部34は、画素G6の画素データを出力し、画素数カウンタ41及び信号色カウンタ42を更新する。次いで、画素G7が入力されるとき、1つ前の画素G6は発光部信号色であり、画素G7の色情報は発光部信号色と等しい。従って、判定出力部34は、画素G7の画素データを出力し、画素数カウンタ41及び信号色カウンタ42を更新する。次いで、画素G8が入力されるとき、1つ前の画素G7は発光部信号色であり、画素G8は飽和色である。従って、判定出力部34は、画素G8の画素データを出力し、画素数カウンタ41を更新する。次いで、画素G9が入力されるとき、1つ前の画素G8は飽和色であり、画素G9は発光部信号色である。従って、判定出力部34は、画素G9の画素データを出力し、画素数カウンタ41及び信号色カウンタ42を更新する。次いで、画素G10が入力されるとき、1つ前の画素G9は発光部信号色であり、画素G10は発光部信号色と無彩色と飽和色の何れでもない。従って、判定出力部34は、妥当性判定を行う。
【0053】
つまり、判定出力部34は、画素G3〜G9を発光部領域と推定する。このとき、画素数カウンタ41のカウント値は「7」であり、信号色カウンタ42のカウント値は「4」である。例えば、領域判定のためのしきい値を「4」とすると、画素数カウンタ41のカウント値はしきい値以上であるため、判定出力部34は、これら画素G3〜G9により推定した発光部領域を妥当と判定し、発光部領域の先頭座標、つまり画素G3の座標値と、画素数カウンタ41のカウント値(=7)を出力する。
【0054】
上記の処理により、交通信号機100の発光部領域、例えば、図10に示す発光部103に対して、複数の発光部領域130が推定される。各発光部領域130は、図9に示す画素G3〜G9、つまり、信号色と飽和色と無彩色のうちの何れか1つの色の画素を含む。そして、これら複数の発光部領域130に含まれる画素の画素データが、部分画像データとして図2に示すメモリ26に格納される。
【0055】
次に、上記の撮像装置11の処理を説明する。
例えば、図11に示すように、1映像記録周期において、3つのフレームFa,Fb,Fcがデモザイク部24から出力される。
【0056】
第1のフレームFaに含まれる交通信号機100は、第3の発光部103が点灯している。従って、抽出部25は、フレームFaから第3の発光部103に対応する発光部領域130を抽出し、メモリ26に格納する。このように、メモリ26に格納された発光部領域130は、フレームFa全体の画像データに対する部分画像データである。
【0057】
次に、第2のフレームFbに含まれる交通信号機100は、何れの発光部101〜103が点灯していない。従って、抽出部25は、第2のフレームFbに対応する部分画像データをメモリ26に格納しない。
【0058】
次に、第3のフレームFcに含まれる交通信号機100は、何れの発光部101〜103が点灯していない。合成部27は、この第3のフレームFcに対し、メモリ26に格納された部分画像データ(発光部領域130)を合成して出力フレームFdを生成する。このように生成された出力フレームFdは、図1に示す記録装置12に記録される。即ち、第3の発光部103が点灯した出力フレームFdが、記録される。
【0059】
次の映像記録周期においても、同様に、2つのフレームから、点灯した発光部に対応する部分画像データがメモリ26に格納され、その部分画像データは次の1つのフレームに合成されて出力フレームが生成される。
【0060】
このように、図1に示す記録装置12には、映像記録周期毎に1つの出力フレームFdが記録される。従って、記録装置12に記録された複数の出力フレームFdの記録間隔は一定である。従って、複数の出力フレームFdを動画として再生した場合、違和感の無い映像が得られる。また、映像記録周期毎に撮影されたフレームFcに含まれる交通信号機100の発光部101〜103が点灯していなくても、映像記録周期内の他の複数のフレームFa,Fbから抽出された部分画像データがフレームFcに合成されて出力フレームFdが生成される。このため、すべての発光部101〜103が点灯していない交通信号機100が含まれる出力フレームの数が低減する。従って、再生された映像において、交通信号機100の発光部101〜103の何れが点灯しているかを確認することができる。
【0061】
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)撮像部22は、記録装置12の1映像記録周期に複数(例えば3つ)のフレームFa,Fb,Fcを出力する。抽出部25は、デモザイク部24から連続的に出力されるフレームのうち、[3n−2]番目(n=1,2,・・・)のフレームFaと、[3n−1]番目のフレームFbとを処理する。合成部27は、デモザイク部24から連続的に出力されるフレームのうち、[3n]番目のフレームFcを処理する。
【0062】
抽出部25は、フレームFa,Fbの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ26に格納する。合成部27は、抽出部25がメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。そして、合成部27は、デモザイク部24から出力される合成フレームFcと、発光部領域とを合成して出力フレームFdを生成する。
【0063】
従って、撮像装置11は、合成部27が出力する出力フレームFdに従って画像データGDを出力する。つまり、撮像装置11は、記録装置12の映像記録周期毎に出力フレームFdを出力する。従って、記録装置12に記録された複数の出力フレームFdの記録間隔は一定である。従って、複数の出力フレームFdを動画として再生した場合、違和感の無い映像が得られる。
【0064】
(2)映像記録周期毎に撮影されたフレームFcに含まれる交通信号機100の発光部101〜103が点灯していなくても、映像記録周期内の他の複数のフレームFa,Fbから抽出された部分画像データがフレームFcに合成されて出力フレームFdが生成される。このため、すべての発光部101〜103が点灯していない交通信号機100が含まれる出力フレームの数が低減する。従って、再生された映像において、交通信号機100の発光部101〜103の何れが点灯しているかを確認することができる。
【0065】
(3)抽出部25は、信号色設定部31に格納された信号色領域情報に基づいて、入力画素が発光部領域か否かを推定する。そして、抽出部25は、発光部領域と推定した画素の画素値をメモリ26に格納する。従って、発光部101〜103の形状が円以外でも、発光部領域を推定する。従って、円形状の発光部101〜103を持つ交通信号機100以外に、例えば矢印式信号機や歩行者用信号機など、また文字が表示される信号機など、の発光部を抽出することができる。
【0066】
(4)抽出部25は、信号色設定部31に格納された信号色領域情報に基づいて、入力画素が発光部領域か否かを推定する。そして、抽出部25は、発光部領域と推定した画素の画素値をメモリ26に格納する。従って、フレーム全体をメモリに格納する場合と比べ、メモリ26の容量が小さくてよい。このことは、抽出部25やメモリ26を搭載した半導体装置(チップ)の面積の増大の抑制に寄与する。
【0067】
(5)判定出力部34は、発光部領域と推定した画素をカウントするカウンタ41と、信号色と判定した画素をカウントするカウンタ42を有し、カウンタ41,42のカウント値に基づいて発光部領域の妥当性を判定するようにした。従って、発光部101〜103に対応する領域を抽出し、対応しない領域を除外することで、精度の高い抽出を行うことができる。
【0068】
(6)抽出部25は、信号色を判定する信号色判定部32と、無彩色・飽和色を判定する無彩色・飽和判定部33を含む。無彩色は、発光部101〜103のうち、発光ダイオード111〜113が搭載されていない部分であり、飽和色は、各発光ダイオード111〜113の中心部分の輝度が高い部分に対応する。従って、LED方式の交通信号機100の発光部101〜103に対応する領域を確実に抽出することができる。発光ダイオード111〜113を用いたLED方式の交通信号機100の発光部101〜103を確実に抽出することができる。
【0069】
(第二実施形態)
次に、撮像装置の第二実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して図面と説明の一部またはすべてを省略する。
【0070】
図12に示すように、撮像装置11aは、レンズ21、撮像部22、タイミング制御部23、デモザイク部24、抽出部25a、メモリ26a、合成部27、出力部28を有している。
【0071】
抽出部25aは、第1のフレームFaと第2のフレームFbそれぞれの画素に基づいて、発光部領域を推定し、推定した発光部領域に含まれる画素の画像データと、その画像データを格納する書き込みアドレス(ライトアドレス)を出力する。メモリ26aは、ライトアドレスに画像データを記憶する。そして、抽出部25aは、発光部領域の推定に対する妥当性を判定し、その判定結果に応じて、メモリ26aに対するライトアドレスを制御する。
【0072】
図13に示すように、抽出部25aは、信号色設定部31、信号色判定部32、無彩色・飽和判定部33、判定出力部34aを有している。この判定出力部34aは、妥当性の判定結果に応じてメモリ26aに対する書き込みアドレスを制御する。
【0073】
判定出力部34aは、画素数カウンタ41、信号色カウンタ42、レジスタ43、レジスタ44を有している。
判定出力部34aは、画素のデータを出力する毎に、書き込みアドレス(ライトアドレス)WAをメモリ26aに出力し、ライトアドレスWAをインクリメントする。メモリ26aは、ライトアドレスWAに対応する領域に、画素データを記憶する。ライトアドレスWAのインクリメントは、次の画素の画素データを格納するアドレスを設定するものである。従って、判定出力部34aは、インクリメントは、ライトアドレスWAに対してメモリ26aに格納する画素データのデータ量に応じた値を加算し、次の画素データを格納するライトアドレスWAを設定する。
【0074】
判定出力部34aは、レジスタ44に領域開始アドレスを格納する。領域開始アドレスは、発光部領域と判定した最初の画素のデータを格納したメモリ26aのアドレスである。判定出力部34aは、発光部領域と判定した最初の画素、つまり、前の画素が非発光部領域であり、入力画素を発光部領域と判定した場合に、ライトアドレスWAをレジスタ44に格納する。このレジスタ44に格納されたライトアドレスWAが領域開始アドレスである。
【0075】
そして、判定出力部34aは、発光部領域に対する妥当性の判定結果に基づいて、その発光部領域が妥当と判定した場合、ライトアドレスWA及びレジスタ44の内容を変更することなく、状態ST1へと遷移する。一方、判定出力部34aは、発光部領域が妥当ではないと判定した場合、レジスタ44から読み出した領域開始アドレスをライトアドレスWAにセットする。これにより、判定出力部34aは、次に、発光部領域と判定した画素のデータを、ライトアドレスWAに格納する、つまり、妥当ではないと判定した画素のデータに上書きする。この結果、メモリ26aには、妥当ではないと判定した画素のデータは保存されない。
【0076】
次に、上記の抽出部25a(判定出力部34a)の処理を説明する。
判定出力部34aは、図14に示す連続する複数の画素について、発光部領域か否かを判定する。図14において、ハッチングを付した丸は発光部領域と推定した画素を示し、ハッチングを付していない丸は発光部領域ではないと判定した画素を示す。
【0077】
判定出力部34aは、入力画素を非発光部領域と判定した場合に、各カウンタ41,42のカウント値に基づいて、入力画素に基づいて推定した発光部領域の妥当性を判定する。なお、以下の説明において、発光部領域における信号色画素の割合は判定条件を満足するものとする。
【0078】
判定出力部34aは、図14に示す画素G1を発光部領域の先頭画素と推定し、ライトアドレスWAを領域開始アドレスSAとしてレジスタ44に格納する。そして、判定出力部34aは、ライトアドレスWAと、画素G1の画素データ(色情報、座標値)をメモリ26aに出力し、ライトアドレスWAをインクリメントする。メモリ26aは、判定出力部34aから出力されるライトアドレスWAに対応する領域に、判定出力部34aから出力される画素データを記憶する。
【0079】
同様に、判定出力部34aは、図14に示す画素G2〜G4を発光部領域に含まれる画素と推定し、各画素G2〜G4の画素データと、対応するライトアドレスWAをメモリ26aに出力し、各画素G2〜G4毎にライトアドレスWAをインクリメントする。メモリ26aは、各画素G2〜G4を、ライトアドレスWAに対応する領域に記憶する。
【0080】
これにより、図15(a)に示すように、メモリ26aには、画素G1〜G4の画素データが格納される。このとき、領域先頭アドレスASは画素G1が記憶された領域を示し、ライトアドレスWAは次の画素の画素データを格納する領域を示す。
【0081】
次に、判定出力部34aは、図14に示す画素N1を非発光部領域と判定することで、画素G1〜G4に対する妥当性を判定する。例えば、連続する画素数のしきい値を「3」とする。画素N1の判定時において、画素数カウンタ41のカウント値は「4」である。従って、判定出力部34aは、ライトアドレスWAを変更しない。
【0082】
次に、判定出力部34aは、上記の画素G1〜G4と同様に、画素G5,G6を発光部領域の画素と推定し、ライトアドレスWAと各画素G5,G6の画素データをメモリ26aに出力する。その結果、メモリ26aには、図15(b)に示すように、画素G5,G6の画素データが格納される。このとき、領域先頭アドレスASは画素G5が記憶された領域を示し、ライトアドレスWAは次の画素の画素データを格納する領域を示す。
【0083】
次に、判定出力部34aは、図14に示す画素N2を非発光部領域と判定することで、画素G5,G6に対する妥当性を判定する。例えば、連続する画素数のしきい値を「3」とする。画素N2の判定時において、画素数カウンタ41のカウント値は「2」であり、連続する画素数のしきい値(=3)より小さい。従って、判定出力部34aは、レジスタ44に格納した領域開始アドレスSAを読み出し、ライトアドレスWAに領域開始アドレスSAを設定する。これにより、図15(c)に示すように、領域先頭アドレスSAとライトアドレスWAは、共に画素G5が記憶された領域を示す。
【0084】
次に、判定出力部34aは、図14に示す画素G7を発光部領域の先頭画素と推定し、ライトアドレスWAを領域開始アドレスSAとしてレジスタ44に格納する。そして、判定出力部34aは、ライトアドレスWAと、画素G7の画素データ(色情報、座標値)をメモリ26aに出力し、ライトアドレスWAをインクリメントする。従って、メモリ26aには、図15(d)に示すように、画素G5の画素データに画素G7の画素データが上書きされる。
【0085】
同様に、判定出力部34aは、図14に示す画素G8を発光部領域に含まれる画素と推定し、画素G8の画素データと、対応するライトアドレスWAをメモリ26aに出力し、ライトアドレスWAをインクリメントする。従って、メモリ26aには、図15(d)に示すように、画素G6の画素データに画素G8の画素データが上書きされる。そして、ライトアドレスWAは、次の画素の画素データを格納する領域を示す。
【0086】
次に、判定出力部34aは、図14に示す画素N3を非発光部領域と判定することで、画素G7,G8に対する妥当性を判定する。この場合、判定出力部34aは、図15(b)に示す画素G5,G6と同様に、画素G7,G8を判定する。そして、判定出力部34aは、レジスタ44に格納した領域開始アドレスSAを読み出し、ライトアドレスWAに領域開始アドレスSAを設定する。これにより、図15(e)に示すように、領域先頭アドレスSAとライトアドレスWAは、共に画素G7が記憶された領域を示す。
【0087】
次に、判定出力部34aは、図14に示す画素G9〜G11を判定し、図15(f)に示すように、各画素G9〜G11の画素データをメモリ26aに格納する。そして、判定出力部34aは、図14に示す画素N4を非発光部領域と判定することで、画素G9〜G11に対する妥当性を判定する。この場合、判定出力部34aは、図15(a)に示す画素G1〜G4と同様に、画素G9〜G11を判定する。従って、判定出力部34aは、ライトアドレスWAを変更しない。これにより、図15(f)に示すように、領域先頭アドレスSAは、共に画素G9が記憶された領域を示し、ライトアドレスWAは次の画素の画像データを格納する領域を示す。
【0088】
このように、メモリ26aには、推定が妥当と判定した発光部領域に含まれる画素のデータのみが格納される。従って、容量の小さなメモリ26aを用いることができる。このように、容量の小さなメモリ26aは、メモリ26aが搭載されるチップの面積の増加を抑制する。
【0089】
以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
(1)抽出部25aは、発光部領域に対する推定が妥当であると判定した場合、ライトアドレスを、次の発光部領域の先頭アドレスとして記憶する。これにより、抽出部25aは、次に推定した発光部領域に含まれる画素のデータを、メモリ26aに格納する準備を行う。
【0090】
一方、抽出部25aは、発光部領域に対する推定が妥当ではないと判定した場合、その発光部領域として記憶した画素列の先頭アドレスに、ライトアドレスを一致させる。従って、次に推定された発光部領域に含まれる画素のデータは、1つ前に推定した発光部領域の画素のデータを格納した領域に格納される。つまり、抽出部25aは、推定した発光部領域に含まれる画素のデータを、発光部領域では無いと判定した画素のデータに対して上書きする。この結果、メモリ26aには、推定した発光部領域に対し、妥当性処理において発光部領域として判定した画素のデータが保持され、発光部領域ではないと判定されたデータは保存されない。つまり、メモリ26aには、妥当性判定により妥当と判定された発光部領域に含まれる各画素のデータが保存される。従って、抽出部25aは、メモリ26aに、不必要なデータを保存しないため、例えばスタティックメモリ(SRAM:Static Random Access Memory)のように、小さな容量のメモリ26aを用いることができる。
【0091】
(第三実施形態)
次に、撮像装置の第三実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
【0092】
図16に示すように、撮像装置11bの撮像部22は、レンズ21により結像された被写体からの光を光電変換して光量と色情報を含む1フレームの撮像データを生成する。撮像部22は、映像記録周波数のフレーム数の整数倍(例えば、3倍)のフレームの撮像データを生成し、各フレームの撮像データを出力する。この撮像データは、撮像部22が有するカラーフィルタに対応する形式、例えばRGB形式のデータである。また、撮像データにおける各画素は、カラーフィルタに対応し、例えばベイヤ配列に対応する1つの色の色情報を含む(図5(b)参照)。
【0093】
デモザイク部24bは、各画素データにおいて、不足する色情報を、周囲の画素データにより補間にて生成する。例えば、デモザイク部24は、図5(b)に示す画素データSG(1,1)の色情報(赤色)と、画素データSG(1,3)の色情報(赤色)に基づいて、例えば直線補間(内挿)により、画素データSG(1,2)に対応する赤色の色情報を生成する。このように、各画素データについて、対応するカラーフィルタ以外の色の色情報を生成する。このように生成される画素データは、3つの色の色情報を含むRGB形式のデータである。そして、デモザイク部24bは、生成した各画素の画素データを出力する。つまり、デモザイク部24bは、RGB形式の画像データを出力する。
【0094】
なお、デモザイク部24bにおいて、色変換処理、画像の輪郭(エッジ)を強調するエッジ強調処理、明るさやコントラストを調整するガンマ補正処理、を行うようにしてもよい。なお、デモザイク部24bは、各処理を、必要とするデータ形式に応じて、適宜のタイミングで実施する。
【0095】
抽出部25bと合成部27bは、デモザイク部24bから出力されるRGB形式の画像データを処理する。抽出部25bと合成部27bは、デモザイク部24bから出力されるフレームの画像データのうち、所定位置のフレームの画像データをそれぞれ処理するように設定されている。例えば、合成部27bは、図1に示す記録装置の映像記録周期毎にデモザイク部24bから出力される画像データを処理するように設定されている。そして、抽出部25bは、合成部27bが処理するフレームの間のフレームを処理するように設定されている。
【0096】
図17に示すように、抽出部25bの信号色設定部31bには、図7に示す交通信号機100の各発光部101〜103の色に対応する信号色が設定されている。各発光部101〜103に対応する信号色は、それぞれ発光部101〜103に対応する割合で三原色(RGB)の値がセットされている。つまり、各発光部101〜103に対応する信号色は、それぞれRGBの値を含む。
【0097】
信号色判定部32bは、信号色設定部31bに格納された信号色領域情報を読み出す。信号色判定部32bは、入力画素データに含まれるRGBの値と、信号色領域情報とを比較して、発光部領域を推定する。そして、信号色判定部32bは、推定した領域に対応するコード([信号色コード],[非色コード])を出力する。
【0098】
無彩色・飽和判定部33bは、入力画素データに含まれる各色(RGB)の画素値のうち、少なくとも1つの色の画素値が飽和(最大値又は最大値から所定値小さい値)している場合、飽和を示すコード[飽和色コード]を出力する。また、無彩色・飽和判定部33bは、各色(RGB)の画素値を互いに比較して差分値を算出し、算出した差分値に基づいて、画素が無彩色か否かを判定し、判定結果に応じて無彩色を示すコード[無彩色コード]を出力する。また、無彩色・飽和判定部33は、上記の何れでもない場合、その旨を示すコード[非対象コード]を出力する。
【0099】
判定出力部34は、信号色判定部32bから出力されるコードと、無彩色・飽和判定部33bから出力されるコードに基づいて、発光部領域を推定する。そして、判定出力部34は、推定した発光部領域の妥当性を判定し、妥当と判定した発光部領域の領域情報を出力する。領域情報は、推定した発光部領域の先頭の座標値(発光部領域に含まれる画素の座標値)と、発光部領域に含まれる画素の数(画素数)を含む。
【0100】
図16に示す合成部27bは、抽出部25bがメモリ26に格納した発光部領域のデータを、メモリ26から読み出す。このデータは、発光部領域に含まれる画素の画素値及び座標値を含み、画素値は、RGB形式のデータである。合成部27bは、デモザイク部24bから出力される合成フレームFcと、メモリ26から読み出したデータとを、RGBの各成分毎に例えばαブレンドにより合成して出力画素の画素値を生成する。そして、合成部27bは、生成した出力画素の画素値を出力する。
【0101】
以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
(1)デモザイク部24bはRGB形式の画像データを出力する。抽出部25bは、RGB形式のフレームFa,Fbから発光部領域を抽出し、合成部27bはRGB形式のフレームFcに、メモリ26から読み出した画素を合成する。このように、RGB形式のデータのフレームを処理することができる。RGB形式は、YCbCr形式のデータと比べ、色の解像度の低下が少ない。また、信号色領域の判定においてYCbCr形式のデータよりも正確な判定が期待される。
【0102】
(第四実施形態)
次に、撮像装置の第四実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
【0103】
図18に示すように、撮像装置11cの撮像部22は、レンズ21により結像された被写体からの光を光電変換して光量と色情報を含む1フレームの撮像データを生成する。撮像部22は、映像記録周波数のフレーム数の整数倍(例えば、3倍)のフレームの撮像データを生成し、各フレームの撮像データを出力する。この撮像データは、撮像部22が有するカラーフィルタに対応する形式、例えばRGB形式のデータである。
【0104】
抽出部25cと合成部27cは、撮像部22から順次出力されるフレームのうち、所定位置のフレームの撮像データをそれぞれ処理するように設定されている。例えば、撮像部22は、撮像したフレームの撮像データを所定の周期(映像記録周期の1/3)で連続的に出力する。抽出部25cは、撮像部22から連続的に出力されるフレームのうち、抽出フレームFa,Fbを処理し、合成部27cは合成フレームFcを処理する。
【0105】
撮像部22から出力される各フレームは、撮像部22に含まれるカラーフィルタに対応する色情報を含む。つまり、各フレームはベイヤ配列に対応する画像データ(ベイヤデータ)であり、各フレームに含まれる画素は、カラーフィルタに対応する1つの色の色情報を含む(図5(b)参照)。
【0106】
従って、抽出部25cは、互いに異なる色情報を含む複数の画素を合成して合成画素を生成する。例えば、抽出部25cは、図21に示すように、赤色(R)の色情報を含む画素SG(1,1)と、緑色(Gr、Gb)の色情報を含む画素SG(2,1),SG(1,2)と、青色(B)の色情報を含む画素SG(2,2)とを結合して1つの合成画素CGを生成する。この合成画素CGは、RBGの各成分の値を含む。つまり、この合成画素CGのデータは、RGB形式の色情報を含む。
【0107】
抽出部25cは、上記の抽出部25bと同様に、生成した合成画素の色情報に基づいて発光部領域を推定し、推定した発光部領域の妥当性を判定して合成画素のデータをメモリ26に格納する。
【0108】
図19に示すように、抽出部25cは、ベイヤ結合部35、信号色設定部31b、信号色判定部32b、無彩色・飽和判定部33b、判定出力部34を有している。
図20に示すように、ベイヤ結合部35は、ライン分の画素のデータを記憶するラインメモリ51と、入力画素と、ラインメモリ51から出力される画素とを結合して合成画素CGを生成する結合部52を有している。例えば、ラインメモリ51は、1つのフレームにおける奇数番目のラインの画素のデータを記憶する。結合部52は、偶数番目のラインにおける2つの入力画素と、ラインメモリ51から出力される2つの画素とを結合して1つの合成画素CGを生成する。そして、結合部52は、生成した合成画素CGを出力する。
【0109】
合成部27cは、合成フレームFcに、メモリ26から読み出した発光部領域の画像データを合成して出力フレームFdを生成する。メモリ26に格納された合成画素は、RGB形式の色情報を含む。合成部27cに供給される合成フレームFcの画素は、ベイヤ配列に応じた1つの色情報を含む。従って、合成部27cは、合成画素に含まれる色情報(R成分、G成分、B成分)のうち、入力画素に対応する色成分と、入力画素の色情報とを例えばαブレンド演算して合成した色情報を生成し、その色情報を含む画素データを出力する。即ち、合成部27cは、4つの入力画素に対し、1つの合成画素の各成分を合成し、4つの入力画素に対応する4つの出力画素を生成する。
【0110】
図18に示すデモザイク部24cは、合成部27cから順次出力される画素データにおいて、不足する色情報を、周囲の画素データの色情報から補間により生成する。そして、デモザイク部24cは、生成したRGB形式の画素データを出力する。
【0111】
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)抽出部25cは、4つの画素を結合した合成画素に基づいて、発光部領域を推定する。従って、抽出部25cが推定する画素数は、例えば第一実施形態と比べ、1/4となる。従って、発光部領域の判定回数が少なくなるため、高速処理に適している。また、処理に必要なメモリ26のメモリ量を小さくできる。
【0112】
(他の実施形態)
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記各実施形態において、YCbCr形式の画像データに替えてRGB形式の画像データを出力するようにしてもよい。また、RGB形式の画像データに替えてYCbCr形式の画像データを出力するようにしてもよい。また、YUV形式等の他の形式の画像データを出力するようにしてもよい。
【0113】
・各合成部において、入力画素とメモリから読み出した画素のうち、明るい画素を選択し、選択した画素を含む出力フレームを生成するようにしてもよい。例えば、YCbCr形式の画素データの場合、入力画素の輝度成分Yをメモリから読み出した画素の輝度成分Yと比較し、大きい方の輝度成分Yの値を含む出力フレームを生成する。
【0114】
・各実施形態において、前画素が非発光部領域であって、入力画素の色が信号色に対応する場合に、入力画素を発光部領域の先頭画素と推定したが、条件を変更してもよい。例えば、信号色又は無彩色の場合に入力画素を発光部領域と推定する。また、信号色又は飽和色の場合に入力画素を発光部領域と推定する。また、信号色と無彩色と飽和色の何れか1つの場合に入力画素を発光部領域と推定する。
【0115】
・各実施形態において、メモリ26,26aに格納された部分画像データについて、更に判定を行うようにしてもよい。
例えば、図22に示す撮像装置11dはCPU29を含む。このCPU29は、メモリ26から読み出した部分画像データについて、各画素の座標値と画素データに基づいて、抽出された画素が、交通信号機に対応するものか否かを判定する。例えば、交通信号機の発光部に対応する部分画像データの場合、垂直方向(画像の上下方向であって、入力画素の配列方向(ライン方向)と直交する方向)に隣接する発光部領域が推定される。従って、CPU29は、隣接する複数の発光部領域を妥当と判定し、例えば1ラインのように孤立した発光部領域を妥当ではないと判定する。そして、CPU29は、判定結果に応じた選択信号SLを出力する。合成部27dは、CPU29から出力される選択信号SLに応答して、個々の抽出された画素データについて、合成するか否かを選択する。なお、CPU29は、メモリ26に格納された画素データの妥当性を判定する判定手段の一例である。このようにCPU29(判定手段)を有することで、さらに精度の高い判定を行うことができる。なお、この図22に示すCPU29と合成部27dを、上記の各実施形態に応じて適用してもよい。
【0116】
・各実施形態において、信号色の判定を適宜変更してもよい。例えば、入力画素の色情報に含まれる色差値Cb’,Cr’と、設定値の色差値Cb,Crとの差の二乗和、すなわち、
Z=(Cb−Cb’)2+(Cr−Cr’)2
を演算し、演算結果Zに基づいて画素の色が信号色か否かを判定するようにしてもよい。
【0117】
また、信号色か否かを判定するしきい値を信号色設定部31に記憶させ、しきい値を変更可能としてもよい。
また、信号色か否かを判定するしきい値を、発光部毎に設定するようにしてもよい。
【0118】
また、しきい値に替えて、各発光部の色に対応する色差CbCrの最大値と最小値を設定し、入力画素の色差値Cb,Crが最大値と最小値の間の値であるときにその入力画素を発光部領域と推定するようにしてもよい。
【0119】
また、図23に示すように、色差値のCbCr平面において、原点を通過する2つの線分に挟まれた領域に、入力画素の色差値Cb,Crが含まれるか否かにより、その入力画素が発光部領域か非発光部領域かを推定するようにしてもよい。
【0120】
・各実施形態において、抽出部が処理する画素を制限するようにしてもよい。
例えば、車両に搭載された撮像装置、いわゆるドライブレコーダの場合、交通信号機は撮影されたフレーム画像の上部に交通信号機100が含まれている。従って、図24(a)に示すように、フレームの上部に対して抽出対象領域61を設定し、その抽出対象領域61内の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。また、図24(b)に示すように、抽出除外領域62を設定し、その抽出除外領域62外の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。各領域61,62は、例えば、制御装置(CPU)により設定される。このように領域61,62を設定することで、例えば、入力画素の座標値に従って、信号色判定部等の処理をキャンセルする。これにより、抽出部に含まれる信号色判定部等が動作する回数を、領域を設定しない場合と比べて少なくすることで、撮像装置の消費電力を低減することができる。また、抽出対象領域61外の画素や、抽出除外領域62内の画素を発光部領域として誤って抽出することがなくなるため、メモリ26の容量を少なくすることができる。
【0121】
・上記各実施形態では、撮像装置は所定の規格(NTSC規格)の画像データを出力することとしたが、他の規格(例えば、PAL(Phase Alternating Line))に応じた画像データを出力するようにしてもよい。
【0122】
・フレーム数を適宜変更する。各撮像装置は、記録するフレーム数に応じて、そのフレーム数の整数倍のフレーム数で撮像して画像データを生成するようにしてもよい。
・上記実施形態では、3つのフレームから1つの合成フレームを生成するようにしたが、2つのフレームから1つの合成フレームを生成する、又は4つ以上のフレームから1つの合成フレームを生成するようにしてもよい。
【0123】
・1秒間に記録するフレーム数を、例えば、5,6,10,12,15,20,25フレームのように、適宜変更してもよい。
・上記各実施形態は、車両に搭載されるシステム(所謂ドライブレコーダ)としたが、街路等に設置される監視カメラ、等に具体化してもよい。
【0124】
・第五実施形態において、合成部27cは、抽出部25cと同様に、複数の画素を結合して合成画素を生成し、その生成した合成画素と、メモリ26から読み出した画素(合成画素)とを合成して出力フレームを生成するようにしてもよい。
【0125】
上記各実施形態に関し、以下の付記を開示する。
(付記1)
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
(付記2)
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第1の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第2の判定部と、
前記第1の判定部から出力されるコードと前記第2の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする付記1に記載の画像処理装置。
(付記3)
前記判定出力部は、
m(mは2以上の整数)番目の画素の色が前記設定色に対応し、(m−1)番目の画素の色が前記設定色以外の色の場合に前記m番目の画素を抽出対象領域の先頭と推定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を前記抽出対象領域に含むと判定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする付記2に記載の画像処理装置。
(付記4)
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第1のカウンタと、
前記設定色と等しい色の画素をカウントする第2のカウンタと、
を有し、
前記第1のカウンタのカウント値と前記第2のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする付記2又は3に記載の画像処理装置。
(付記5)
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする付記1,2,3又は4に記載の画像処理装置。
(付記6)
前記判定出力部は、
前記m番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記(m−1)番目の画素が前記非対象領域の場合に、前記m番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする付記3,4又は5に記載の画像処理装置。
(付記7)
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記m番目の画素の画素値を前記記憶部に格納し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記m番目の画素を非対象領域と判定する、
ことを特徴とする付記3,4,5又は6に記載の画像処理装置。
(付記8)
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する1つの色情報を含み、
各画素について、不足する色方法を、周辺の画素の色情報に基づいて生成して複数の色情報を含む画素値を生成するデモザイク部を有し、
前記抽出部と前記合成部は、前記デモザイク部から出力される画素の画素値に基づいてそれぞれ対応する処理を実行する、
ことを特徴とする付記3,4,5,6又は7に記載の画像処理装置。
(付記9)
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する1つの色情報を含み、
前記抽出部は、
異なる色情報を含む複数の画素を結合して1つの合成画素を生成する結合部を含み、
前記合成画素の色に基づいて推定した前記抽出対象領域の合成画素の画素値を前記記憶部に格納し、
前記合成部は、1つの色情報を含む前記画素に対し、前記記憶部から読み出した前記合成画素に含まれ前記画素の色に対応する色成分と、前記画素の色情報を合成する、
ことを特著とする付記3,4,5,6,7又は8に記載の画像処理装置。
(付記10)
前記判定出力部は、
前記画素値とともに前記画素値を書き込むライトアドレスを前記記憶部に出力し、
前記m番目の画素を前記抽出対象領域の先頭と推定した場合に、前記記憶部に前記画素値を書き込むライトアドレス領域先頭アドレスとしてレジスタに記憶し、
前記抽出対象領域が妥当ではないと判定した場合に前記レジスタから読み出した前記領域先頭アドレスを前記ライトアドレスに設定する、
ことを特著とする付記3,4,5,6,7,8又は9に記載の画像処理装置。
(付記11)
1映像記録周期内に第1〜第N(Nは2以上の整数)フレームの撮像データを出力する撮像部と、
前記第1〜第(N−1)フレームの撮像データから設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像装置。
(付記12)
映像記録周期毎に1つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像システム。
(付記13)
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームの撮像データから1つの出力フレームを生成するデータ処理方法であって、
撮像部から1映像記録周期内に出力される第1〜第Nフレームのうち、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
【符号の説明】
【0126】
22 撮像部
25 抽出部
26 メモリ
27 合成部
Fa〜Fc フレーム
Fd 出力フレーム
【特許請求の範囲】
【請求項1】
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
【請求項2】
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第1の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第2の判定部と、
前記第1の判定部から出力されるコードと前記第2の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記判定出力部は、
m(mは2以上の整数)番目の画素の色が前記設定色に対応し、(m−1)番目の画素の色が前記設定色以外の色の場合に前記m番目の画素を抽出対象領域の先頭と推定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を前記抽出対象領域に含むと判定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第1のカウンタと、
前記設定色と等しい色の画素をカウントする第2のカウンタと、
を有し、
前記第1のカウンタのカウント値と前記第2のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする請求項1,2,3又は4に記載の画像処理装置。
【請求項6】
前記判定出力部は、
前記m番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記(m−1)番目の画素が前記非対象領域の場合に、前記m番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする請求項3,4又は5に記載の画像処理装置。
【請求項7】
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記m番目の画素の画素値を前記記憶部に格納し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記m番目の画素を非対象領域と判定する、
ことを特徴とする請求項3,4,5又は6に記載の画像処理装置。
【請求項8】
1映像記録周期内に第1〜第N(Nは2以上の整数)フレームの撮像データを出力する撮像部と、
前記第1〜第(N−1)フレームの撮像データから設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像装置。
【請求項9】
映像記録周期毎に1つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像システム。
【請求項10】
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームの撮像データから1つの出力フレームを生成するデータ処理方法であって、
撮像部から1映像記録周期内に出力される第1〜第Nフレームのうち、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
【請求項1】
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
【請求項2】
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第1の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第2の判定部と、
前記第1の判定部から出力されるコードと前記第2の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記判定出力部は、
m(mは2以上の整数)番目の画素の色が前記設定色に対応し、(m−1)番目の画素の色が前記設定色以外の色の場合に前記m番目の画素を抽出対象領域の先頭と推定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を前記抽出対象領域に含むと判定し、前記m番目の画素の画素値を前記記憶部に格納し、
m番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、(m−1)番目の画素が前記抽出対象領域に含まれる場合に、前記m番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第1のカウンタと、
前記設定色と等しい色の画素をカウントする第2のカウンタと、
を有し、
前記第1のカウンタのカウント値と前記第2のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする請求項1,2,3又は4に記載の画像処理装置。
【請求項6】
前記判定出力部は、
前記m番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記(m−1)番目の画素が前記非対象領域の場合に、前記m番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする請求項3,4又は5に記載の画像処理装置。
【請求項7】
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記m番目の画素の画素値を前記記憶部に格納し、
前記m番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記m番目の画素を非対象領域と判定する、
ことを特徴とする請求項3,4,5又は6に記載の画像処理装置。
【請求項8】
1映像記録周期内に第1〜第N(Nは2以上の整数)フレームの撮像データを出力する撮像部と、
前記第1〜第(N−1)フレームの撮像データから設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像装置。
【請求項9】
映像記録周期毎に1つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームのうち、前記第1〜第(N−1)フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Nフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とする撮像システム。
【請求項10】
撮像部から1映像記録周期内に出力される第1〜第N(Nは2以上の整数)フレームの撮像データから1つの出力フレームを生成するデータ処理方法であって、
撮像部から1映像記録周期内に出力される第1〜第Nフレームのうち、前記第1〜第(N−1)フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Nフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【公開番号】特開2013−38600(P2013−38600A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−173232(P2011−173232)
【出願日】平成23年8月8日(2011.8.8)
【出願人】(308014341)富士通セミコンダクター株式会社 (2,507)
【Fターム(参考)】
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願日】平成23年8月8日(2011.8.8)
【出願人】(308014341)富士通セミコンダクター株式会社 (2,507)
【Fターム(参考)】
[ Back to top ]