画像処理装置
【課題】従来とほぼ同等の回路および回路規模で高速なパン動画のフレーム補間を行うことができる画像処理装置を提供する。
【解決手段】画像処理装置は、現在フレームの画素データをラインの順番に受信してラインメモリに記憶し、過去フレームの画素データをラインの順番にフレームメモリから読み出してラインメモリに記憶するメモリ制御回路と、パン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ、縦方向成分を削減した縦方向成分削減済み動きベクトルを受け取り、動きベクトルによって対応づけられる、現在フレーム画素データと過去フレーム画素データとに基づいて、補間フレームの画素データを生成する補間フレーム生成回路とを備える。メモリ制御回路は、ラインメモリに過去フレーム画素データを記憶するタイミングを、第１の移動量Ｍ１がゼロである場合の標準タイミングから、第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動する。
【解決手段】画像処理装置は、現在フレームの画素データをラインの順番に受信してラインメモリに記憶し、過去フレームの画素データをラインの順番にフレームメモリから読み出してラインメモリに記憶するメモリ制御回路と、パン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ、縦方向成分を削減した縦方向成分削減済み動きベクトルを受け取り、動きベクトルによって対応づけられる、現在フレーム画素データと過去フレーム画素データとに基づいて、補間フレームの画素データを生成する補間フレーム生成回路とを備える。メモリ制御回路は、ラインメモリに過去フレーム画素データを記憶するタイミングを、第１の移動量Ｍ１がゼロである場合の標準タイミングから、第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像のフレーム間に補間フレームを挿入して、フレームレートを倍増した出力画像を生成する画像処理装置に関するものである。
【背景技術】
【０００２】
入力画像のフレームレートを倍増して映像を滑らかにするフレームレートコンバージョン（ＦＲＣ：Frame Rate Conversion）と呼ばれる技術がある。この技術により、例えば、毎秒６０フレームの入力画像が毎秒１２０フレームの画像に変換される。これは、画像の動きベクトルに基づいて、入力画像（原画）の隣接するフレーム間に補間フレームを挿入することで実現されている。
【０００３】
動きベクトルの検出および補間フレームの生成には、少なくとも２枚の原画（例えば、現在フレームと過去フレーム）が必要であり、これらは、例えば、フレームメモリ（例えば、外部ＤＲＡＭ）に蓄えられている。一般に、フレームメモリは低速であるため、処理するピクセルを中心とした一定範囲の画像情報をあらかじめ高速なラインメモリ（例えば、ＳＲＡＭ）に読み出しておき、これを処理対象としている。
【０００４】
以下、ＦＲＣを行う従来の画像処理装置について一例を挙げて説明する。
【０００５】
図１９は、従来の画像処理装置の構成を表す一例のブロック図である。同図に示す画像処理装置４０は、フレームメモリ４２と、メモリコントローラ４４と、ラインメモリ４６と、動きベクトル検出回路４８と、補間フレーム生成回路５０とによって構成されている。ラインメモリ４６は、現在フレーム画素データを記憶する現在フレーム用ラインメモリと、過去フレーム画素データを記憶する過去フレーム用ラインメモリとを含む。
【０００６】
フレームメモリ４２には、メモリコントローラ４４の制御により、現在フレーム（入力画像）の直前の過去フレーム（現在フレームの１つ前のフレーム）の過去フレーム画素データが記憶されている。
【０００７】
現在フレーム画素データは、メモリコントローラ４４の制御により、ラインの順番に受信され、フレームメモリ４２に記憶されるとともに、現在フレーム用ラインメモリに記憶される。また、フレームメモリ４２に記憶されていた過去フレーム画素データが、ラインの順番にフレームメモリ４２から読み出され、現在フレーム用ラインメモリに記憶された現在フレームのラインに対応する過去フレーム画素データが過去フレーム用ラインメモリに記憶される。
【０００８】
図１６に示すように、現在フレームのラインの入力タイミングと、現在フレームのラインに対応する過去フレームのラインがフレームメモリ４２から読み出されるタイミングは同じである。つまり、現在フレーム用ラインメモリに記憶された現在フレームのラインの範囲と、過去フレーム用ラインメモリに記憶された過去フレームのラインの範囲（フレームメモリ４２から読み出される過去フレームのラインの範囲）は同じである。
【０００９】
現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに所定の記憶ライン数の画素データが記憶されると、動きベクトル検出回路４８により、画像情報である、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された参照用の過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の動きベクトルＶが検出される。
【００１０】
さらに、動きベクトル検出回路４８では、図１６に示すように、検出した動きベクトルＶを補間フレームの画素に割り付ける割付処理や、動きベクトルを割り付けることができなかった補間フレームの画素の動きベクトルを補う補間処理等のベクトル補正処理が行われて補正済みベクトルＶｃが生成される。そして、この補正ベクトルが動きベクトルとして動きベクトル検出回路４８から出力される。
【００１１】
最後に、補間フレーム生成回路５０により、動きベクトル生成回路４８によってベクトル補正処理が行われた動きベクトルＶｃと、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の補間フレームの補間フレーム画素データが生成される。
【００１２】
図１８は、従来の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。同図の縦軸は補間フレームに生成される画素の位置（空間的な補間位置、つまり、ラインの位置）、横軸は補間フレームの位相（時間的な補間位置）である。同図に示すように、従来の画像処理装置では、過去フレームの画素と現在フレームの対応する画素との間の動きベクトルをＶ、補間フレームの過去フレームからの位相をα、補間フレームの現在フレームからの位相を１−αとすると、補間フレームの画素は、過去フレームの画素の位置を基準としてαＶの位置に生成される。
【００１３】
ここで、本発明の先行技術文献として、特許文献１，２がある。
【００１４】
特許文献１は、画像処理装置に関するものである。この画像処理装置は、同文献の図４に示されたように、入力画像（フレームｔ＋１）と、フレームメモリ５１から読み出したフレームｔの画像とを用いて、ベクトル検出部が、フレームｔの着目ブロックとフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出ベクトルメモリ５３に記憶する。ベクトル割付部５４は、入力された２４Ｐ（毎秒２４フレームのプログレッシブ）の元画像のフレームにおいて求められた動きベクトルを、補間する６０Ｐ（毎秒６０フレームのプログレッシブ）の補間フレームの画素に割り付け、割り付けられなかった画素の動きベクトルを割付補償部５７で補い、割付ベクトルメモリ５５に記憶する（００３６〜００３９段落参照）。画像補間部５８は、割付ベクトルメモリ５５の動きベクトルと、フレームｔ、ｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する（００４０段落参照）。
【００１５】
特許文献２は、動きベクトル検出装置に関するものである。同文献には、１フレーム分の動きベクトルのヒストグラムから、次のフレームでの動きベクトル探索範囲のシフト量を決定することが記載されている（要約参照）。同文献では、探索範囲をシフトすることにより、同文献の図１の動きベクトル検出部１０３がフレームメモリから参照画素データを読み出す範囲がシフトされる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００６−１０１２６７号公報
【特許文献２】特開平１１−２０５７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上記従来の画像処理装置４０では、ラインメモリ４６の大きさ（記憶ライン数）により参照できる過去フレームの画像の範囲、すなわち、動きベクトルの検出可能範囲（どのくらい速い動きまで検出できるか）および補間可能範囲（どのくらい速い動きの物体まで補間できるか）が決まってしまう。よって、例えば、全体が上下方向に高速に移動する（「パン」する）画像の処理を可能にするために動きベクトルの検出可能範囲および補間可能範囲を拡大しようとすると、ラインメモリ４６を大きくする必要があり、回路規模が増大するという問題があった。
【００１８】
本発明の目的は、従来とほぼ同等の回路および回路規模で高速なパン動画のフレーム補間を行うことができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明は、それぞれが複数の画素を含む横方向の複数のラインで構成される複数のフレームの間に、補間フレームを生成する画像処理装置であって、
現在フレームを構成する複数のラインの画素の画素値を表す現在フレーム画素データを、該ラインの順番に受信し、第１の所定の記憶ライン数を有する現在フレーム用ラインメモリに記憶するとともに、フレームメモリに記憶された、前記現在フレームの直前の過去フレームを構成する複数のラインの画素の画素値を表す過去フレーム画素データを、該ラインの順番に前記フレームメモリから読み出し、第２の所定の記憶ライン数を有する過去フレーム用ラインメモリに記憶するメモリ制御回路と、
前記補間フレームの画素の動きを示す動きベクトルを受け取り、該動きベクトルによって対応づけられる、前記現在フレーム用ラインメモリに記憶された現在フレーム画素データと前記過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、前記補間フレームのそれぞれのラインの画素の画素値を表す補間フレーム画素データを生成する補間フレーム生成回路とを備え、
前記補間フレーム生成回路は、前記動きベクトルとして、前記補間フレームの全体的な動きの速度であるパン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ、縦方向成分を削減した縦方向成分削減済み動きベクトルを前記動きベクトルとして受け取り、
前記メモリ制御回路は、前記現在フレーム用ラインメモリに前記現在フレームを構成するそれぞれのラインの現在フレーム画素データを記憶するタイミングに対して相対的に定められる、前記過去フレーム用ラインメモリに前記過去フレームを構成する対応するラインの過去フレーム画素データを記憶するタイミングを、前記第１の移動量Ｍ１がゼロである場合の標準タイミングから、該第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動することを特徴とする画像処理装置を提供するものである。
【００２０】
ここで、前記メモリ制御回路は、
前記現在フレームを構成する複数のラインの現在フレーム画素データを、第１の開始タイミングから、ラインごとに所定の時間を要して前記現在フレーム用ラインメモリに記憶し、前記過去フレームを構成する複数のラインの過去フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第２の開始タイミングから、ラインごとに前記所定の時間を要して前記過去フレーム用ラインメモリに記憶するものであり、かつ、
前記第２の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２だけ移動することが好ましい。
【００２１】
また、前記補間フレーム生成回路が、前記補間フレームを構成する複数のラインの補間フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第３の開始タイミングから、ラインごとに前記所定の時間を要して生成するものであり、かつ、
前記第３の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２に応じて定めた移動量Ｍ３だけ移動する、補間フレーム生成回路制御部を備えることが好ましい。
【００２２】
また、前記補間フレームが、前記過去フレームからα（０＜α＜１）、前記現在フレームから１−αだけ相対的に離れた時間位置の補間フレームであり、前記補間フレーム生成回路制御部が、前記移動量Ｍ３をＭ３＝（１−α）Ｍ２となるように移動することが好ましい。
【００２３】
また、前記パン速度を、前記過去フレームの直前のフレームの画素と該過去フレームの画素との間の動きベクトルの分布に基づいて求めた、該過去フレームのパン速度を利用して算出する、パン速度算出回路をさらに備えることが好ましい。
【００２４】
また、前記現在フレーム用ラインメモリに記憶した現在フレーム画素データと、前記過去フレーム用ラインメモリに記憶した過去フレーム画素データとを利用して、前記第１の移動量Ｍ１だけ縦方向の成分を削減した、前記過去フレームの画素と前記現在フレームの画素との間の動きベクトルを検出し、前記縦方向成分削減済み動きベクトルとして前記補間フレーム生成回路に供給する、動きベクトル検出回路をさらに備えることが好ましい。
【発明の効果】
【００２５】
本発明によれば、従来の画像処理装置と比べて、回路を大きく変更することなく、しかも回路規模を大幅に増大させることもなく、高速なパン動画に対してもフレーム補間を行うことが可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の画像処理装置の構成を表す一実施形態のブロック図である。
【図２】（Ａ）は過去フレームの画像、（Ｂ）は現在フレームの画像、（Ｃ）は現在フレームと過去フレームとを重ね合わせた画像、（Ｄ）は、現在フレームの画像に対して過去フレームの画像を下方向へ移動した画像である。
【図３】パン速度と見かけ上の動きとの関係を表す一例のグラフである。
【図４】パン速度と参照範囲移動量との関係を表す一例のグラフである。
【図５】現在フレームのラインの入力タイミング、および、過去フレームのフレームメモリからの読み出しタイミングを表す一例のタイミングチャートである。
【図６】図５に示すタイミングチャートにおいて、現在および過去フレーム用ラインメモリの記憶状態を表す一例のタイミングチャートである。
【図７】（Ａ）および（Ｂ）は、従来の画像処理装置における補間フレームの生成手順を示す概念図である。
【図８】（Ａ）〜（Ｄ）は、本実施形態の画像処理装置における補間フレームの生成手順を示す概念図である。
【図９】過去フレームのラインの読み出しタイミングを遅くした場合の、動きベクトル検出および補間フレーム生成の処理タイミングを表す一例のタイミングチャートである。
【図１０】過去フレームのラインの読み出しタイミングを早くした場合の、動きベクトル検出および補間フレーム生成の処理タイミングを表す一例のタイミングチャートである。
【図１１】現在フレーム用ラインメモリに記憶された現在フレームのラインに対して、過去フレーム用ラインメモリに記憶された過去フレームのラインが２ライン分だけ下方向へ移動されている状態を表す概念図である。
【図１２】図１１に示す状態において、動きベクトルを検出する場合の、現在フレームのラインと過去フレームのラインとの関係を表す概念図である。
【図１３】図１１に示す状態において、補間フレームを生成する場合の、現在フレームのラインと過去フレームのラインとの関係を表す概念図である。
【図１４】過去フレームと現在フレームとの間で下方向の動きがある場合の、補間フレームの生成工程を表す概念図である。
【図１５】過去フレームと現在フレームとの間で上方向の動きがある場合の、補間フレームの生成工程を表す概念図である。
【図１６】従来の画像処理装置における補間フレームの生成工程を表す概念図である。
【図１７】本発明の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。
【図１８】従来の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。
【図１９】従来の画像処理装置の構成を表す一例のブロック図である。
【発明を実施するための形態】
【００２７】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置を詳細に説明する。
【００２８】
まず、本発明の画像処理装置の概略について説明する。
【００２９】
例えば、図２（Ａ）に示す過去フレームの画像、および、同図（Ｂ）に示す現在フレームの画像の、２枚の画像を使って動きベクトル検出および補間フレーム生成をする場合を考える。
【００３０】
同図（Ｃ）に示すように、これら２枚の画像を重ねてみると（両者の区別を容易にするために、過去フレームの画像を点線で示す）、過去フレームから現在フレームまでの間に、車（物体）が下方向へ移動していることが分かる。従来の画像処理装置４０では、車の縦方向の動き（速度）が非常に大きい場合、その分のラインメモリ４６を備えていなければ動きベクトルＶを検出できない。つまり、縦方向の動きの場合、ラインメモリ４６の容量（記憶ライン数）により補間性能が制限される。
【００３１】
本発明の画像処理装置では、入力画像が下方向へ移動するパン動画であることを検出した場合、同図（Ｄ）に示すように、例えば、現在フレームの画像に対して、過去フレームの画像を相対的に下方向へ第１の移動量Ｍ１だけ移動することにより、見かけ上の動きベクトルＶ’を小さくする。この例では、車が下方向へ移動しているため、過去フレームの画像を下方向へ移動させることで２枚の画像を比較したときに動きが小さく見えるようにしている。
【００３２】
上記のように、本発明の画像処理装置は、対象物の縦方向の動きが大きい場合に、現在フレームの画像と過去フレームの画像とを近づけるように相対的に移動させて見かけ上の動きベクトルを小さくすることにより、高速にパンする動画の場合であっても、従来と同等の回路、同等の回路規模（同等のラインメモリ容量）で動きベクトルを検出し、補間フレームの画像を生成することができる。
【００３３】
以下、本発明の画像処理装置の実施形態を挙げて説明する。
【００３４】
図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、それぞれが複数の画素を含む横方向（ライン方向）の複数のラインで構成される複数のフレームの間に、補間フレームを生成するものである。画像処理装置１０は、フレームメモリ１２と、メモリコントローラ１４と、ラインメモリ１６と、動きベクトル検出回路１８と、補間フレーム生成回路２０と、参照範囲決定回路２２と、タイミングコントローラ２４と、補正回路２６と、パン検出回路２８と、画面端処理回路３０とによって構成されている。
【００３５】
フレームメモリ１２は、メモリコントローラ１４の制御により、後述する過去フレームを構成する複数のラインの画素の画素値（輝度値、明度値、彩度値、等）を表す過去フレーム画素データを記憶する。
【００３６】
ラインメモリ１６は、メモリコントローラ１４の制御により、例えば、受け取った順番の最も古いラインのデータを削除し、新たに受け取ったラインのデータを記憶することにより、一定の記憶ライン数の画素データの記憶を維持する。ラインメモリ１６は、第１の所定の記憶ライン数の現在フレーム画素データを記憶するための現在フレーム用ラインメモリと、第２の所定の記憶ライン数の過去フレーム画素データを記憶するための過去フレーム用ラインメモリとを含む。
【００３７】
通常は、現在フレーム用ラインメモリの第１の記憶ライン数と、過去フレーム用ラインメモリの第２の記憶ライン数とは同一とする。しかし、両者の記憶ライン数を同一とすることは必須ではなく、両者の記憶ライン数が異なっていてもよい。
【００３８】
メモリコントローラ１４は、フレームごとに、現在フレーム（入力画像）を構成する複数のラインの画素の画素値を表す現在フレーム画素データをフレームメモリ１２に記憶する。各フレームでフレームメモリ１２に記憶された現在フレーム画素データは、その直後の未来フレーム（現在フレームの１つ後のフレーム）で、現在フレームの直前の過去フレーム（現在フレームの１つ前のフレーム）を構成する複数のラインの画素の画素値を表す過去フレーム画素データとしてフレームメモリ１２から読み出される。
【００３９】
また、メモリコントローラ１４は、現在フレーム画素データをラインの順番に受信し、最新の、第１の記憶ライン数の現在フレーム画素データを現在フレーム用ラインメモリに記憶するとともに、フレームメモリ１２に記憶された過去フレーム画素データを、ラインの順番にフレームメモリ１２から読み出し、現在フレーム用ラインメモリに記憶されたラインの現在フレーム画素データに対応する、第２の記憶ライン数の過去フレーム画素データを過去フレーム用ラインメモリに記憶する。
【００４０】
また、メモリコントローラ１４は、現在フレーム用ラインメモリにそれぞれのラインの画素データを記憶するタイミング（言い換えると、現在フレームのラインの入力タイミング）に対して相対的に定められる、過去フレーム用ラインメモリに現在フレームのラインに対応する過去フレームのラインの画素データを記憶するタイミング（言い換えると、過去フレームのラインの画素データのフレームメモリ１２からの読み出しタイミング）を、第１の移動量Ｍ１がゼロである場合の標準タイミングから、第１の移動量Ｍ１に対応する、第２の移動量Ｍ２だけ移動するように、ラインメモリ１６の動作を制御する。第１の移動量Ｍ１は、図２（Ｄ）に示すように、過去フレームと現在フレームとの間の相対的な移動量である。第２の移動量Ｍ２は、過去フレームのラインの画素データをフレームメモリ１２から読み出して過去フレーム用ラインメモリ記憶するタイミング（時間）の移動量であり、フレームメモリ１２から読み出す過去フレームのラインを第１の移動量Ｍ１だけ移動させるタイミングの移動量に相当する。
【００４１】
例えば、メモリコントローラ１４は、現在フレーム画素データを、前述の標準タイミングである第１の開始タイミングから、ラインごとに所定の時間を要して現在フレーム用ラインメモリに記憶する。また、過去フレーム画素データを、第１の開始タイミングに対して相対的に定められる、標準タイミングから第２の移動量Ｍ２だけ移動されたタイミングである第２の開始タイミングから、ラインごとに所定の時間を要して過去フレーム用ラインメモリに記憶する。
【００４２】
ここで、「相対的に定められる」と記載したが、メモリコントローラ１４は、通常、現在フレーム画素データを記憶するタイミングを一定として、過去フレーム画素データを記憶するタイミングを遅く（早く）する。しかし、例えば、現在フレーム画素データも、一旦、フレームメモリ１２に記憶した後、読み出してラインメモリ１６に記憶する場合であれば、過去フレーム画素データを記憶するタイミングを一定として、現在フレーム画素データを記憶するタイミングを早く（遅く）することも可能である。
【００４３】
また、「第１の移動量Ｍ１がゼロである場合の標準タイミングから、第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動する」と記載したが、通常、前述の移動が行われないときには、現在フレーム画素データの記憶と過去フレーム画素データの記憶とが同じタイミングで行われる。しかし、これも必須ではなく、例えば、第１の所定の記憶ライン数と第２の所定の記憶ライン数とが異なる場合には、移動が行われないときであっても、現在フレーム画素データの記憶と過去フレーム画素データの記憶とを異なるタイミングで行う構成とすることも可能である。
【００４４】
また、「所定の時間を要して」と記載したが、各ラインの読み出し、書き込みには、各ラインの画素数、および、ライン間のブランキング期間に応じた時間を要する。この時間は、開始タイミングが移動しても一定である。
【００４５】
続いて、動きベクトル検出回路１８は、現在フレーム用ラインメモリに記憶した現在フレーム画素データと、過去フレーム用ラインメモリに記憶した過去フレーム画素データとを利用して、補間フレームの全体的な動きの速度であるパン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ縦方向（ライン方向に直交する方向）の成分を削減した、縦方向成分削減済み動きベクトルを検出する。動きベクトル検出回路１８が動きベクトルの検出を行うためには、現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに、対応するラインの画素の画素データが記憶されている必要がある。従って、過去フレームの画素データを過去フレーム用フレームメモリに記憶するタイミングを第２の移動量Ｍ２だけ移動させたときには、Ｍ２の正負および大きさに応じて、動きベクトル検出回路１８が動きベクトル検出を行うタイミングを移動する。
【００４６】
ここで、「補間フレームの全体的な動きの速度であるパン速度」と記載したが、後述するパン検出回路２８は、実際には、現在フレーム画素データと過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間のパン速度を直接求めることはできない。そのため、パン検出回路２８は、例えば、過去フレームの直前のフレームと過去フレームとの間の動きベクトル等を利用して、過去フレームと現在フレームとの間のパン速度を近似的に求める。
【００４７】
なお、動きベクトル検出回路１８は必須の構成要素ではない。例えば、動きベクトル検出回路１８を備えることなく、画像処理装置１０の外部から動きベクトルを受け取る構成としてもよい。
【００４８】
前述のように、動きベクトル検出回路１８が動きベクトルの検出を行うためには、現在フレームの画素の画素データと、動きベクトルによってその画素と対応づけられている過去フレームの画素の画素データとが、それぞれ、現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに記憶されている必要がある。過去フレーム画素データを第２の移動量Ｍ２だけ移動されたタイミングで過去フレーム用ラインメモリに記憶した場合、画面の上端部および下端部では、対応する現在フレームもしくは過去フレームのラインの画素データがラインメモリに記憶されておらず、動きベクトル検出回路１８が動きベクトルを検出できない可能性が高い。そこで、画像処理回路１０では、第２の移動量Ｍ２に基づいて、動きベクトル検出回路１８が動きベクトルの検出を行う期間、もしくは、動きベクトル検出の対象とするラインの範囲を制限する。
【００４９】
このように、画面の上下端において動きベクトル検出が行えないのは、上下方向にパンする画面では現在フレームもしくは過去フレームに対応するラインが存在しない領域があるためであり、ラインメモリへの記憶タイミングを移動することが原因ではない。むしろ、パン速度の縦方向成分に応じて定めた第１の移動量Ｍ１に対応する第２の移動量Ｍ２を利用して、動きベクトル検出回路１８が動きベクトルを検出する範囲を制限することにより、誤った動きベクトルの検出を防止することが可能である。
【００５０】
そして、動きベクトル検出回路１８が動きベクトル検出の対象としないラインの画素については、画面端処理回路３０が、例えば、時間的、もしくは空間的に近くの領域の動きベクトルを参照するか、検出したパン速度を割り当てる等の補正処理を行って動きベクトルを生成する。画面端処理回路は、このようにして生成した動きベクトルを動きベクトル検出回路１８が検出した動きベクトルに追加する。画面端処理回路は、さらに、動きベクトルを補間フレームの画素に割り付ける割り付け処理や、動きベクトルを割り付けることができなかった補間フレームの画素の動きベクトルを補う補正処理を行って、補正済みベクトルを生成するものであってもよい。
【００５１】
補間フレーム生成回路２０は、画面端処理回路３０から補正済みのベクトルを受け取り、この動きベクトルによって対応づけられる、現在フレーム用ラインメモリに記憶された現在フレーム画素データと過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、補間フレームのそれぞれのラインの画素の画素値を表す補間フレーム画素データを生成する。
【００５２】
補間フレーム生成回路２０は、補間フレーム画素データの生成を行うタイミングを、標準のタイミングから、第２の移動量Ｍ２に応じて定めた第３の移動量Ｍ３だけ移動する。例えば、補間フレームを構成する複数のラインの補間フレーム画素データを、標準タイミングである第１の開始タイミングに対して相対的に定められる第３の開始タイミングから、ラインごとに所定の時間を要して生成する。
【００５３】
例えば、補間フレームが、過去フレームからα（０＜α＜１）、つまり、現在フレームから１−αだけ相対的に離れた時間位置（位相）の補間フレームであるとすると、第３の移動量Ｍ３が、Ｍ３＝（１−α）Ｍ２となるように移動する。
【００５４】
これにより、過去フレームのラインの画素データをラインメモリに記憶するタイミングを移動したことによって、このラインメモリに記憶された画素データに基づいて生成された補間フレームの位置が移動されているのを、参照範囲を移動していない本来の正しい位置に戻すことができる。
【００５５】
ここで、「補間フレームの画素の動きを示す動きベクトル」と記載したが、動きベクトル検出回路１８が生成する動きベクトル、もしくは、外部から受け取る動きベクトルは、補間フレームの画素の動きを、少なくとも近似的に示すベクトルであればよく、過去フレームと現在フレームとの間で求めた動きベクトルそのものでもよいし、あるいは、特許文献１のように、過去フレームと現在フレームとの間で求めた動きベクトルを、補間フレームの画素に割り付け直した（さらに、補償を行った）ものでもよい。また、それぞれの画素ごとに動きベクトルを検出することは必須ではなく、複数の画素からなるブロックごとに動きベクトルを検出するのでもよい。
【００５６】
続いて、補正回路２６は、第２の移動量Ｍ２に基づいて、動きベクトル検出回路１８により検出された、第１の移動量Ｍ１だけ縦方向の成分を削減した縦方向成分削減済み動きベクトルから、第１の移動量Ｍ１だけ縦方向の移動量を削減していない、過去フレームの画素と現在フレームの画素との間の動きベクトル、つまり、従来の動きベクトル検出回路４８により検出される動きベクトルと同じ、過去フレームと現在フレームとの間の、本来の動きベクトルを算出する。
【００５７】
パン検出回路（パン速度算出回路）２８は、補正回路２６により算出された本来の動きベクトルから、過去フレームと現在フレームとの間のパン速度を検出する。本発明のいうパンとは、撮影装置を一方向に移動させながら動画の撮影を行うことにより、撮影された動画の画面全体が一方向に移動する場合の他、撮影中の動画の画面内において、大部分の撮影対象物、例えば、画面の半分以上の撮影対象物が一方向に移動する場合等を含む。
【００５８】
ここで、パン検出回路２８により検出された、過去フレームと現在フレームとの間のパン速度は、例えば、現在フレームと現在フレームの直後のフレーム（未来フレーム）との間の動きベクトルを検出するために利用することができる。
【００５９】
動きベクトル検出回路１８は、過去フレームと現在フレームとの間のパン速度を利用して、過去フレームと現在フレームとの間の動きベクトルを検出することはできない。つまり、パン速度は、画面全体の動きベクトルの分布から求めるため、動きベクトル検出回路１８が検出を行いつつある過去フレームと現在フレームとの間の動きベクトルから求めたパン速度を、同じ過去フレームと現在フレームとの間の動きベクトル検出に利用することはできない。そこで、パン検出回路２８は、動きベクトル検出回路１８が過去フレームと現在フレームとの間の動きベクトルを検出するときに利用するパン速度を、例えば、過去フレームの直前のフレームの画素と過去フレームの画素との間の動きベクトルの分布に基づいて求めた、過去フレームのパン速度を利用して算出（予測）する。
【００６０】
続いて、参照範囲決定回路２２は、パン検出回路２８により検出されたパン速度に基づいて、動きベクトル検出および補間フレーム生成において参照する過去フレームのラインの範囲、すなわち、参照範囲を決める第１の移動量Ｍ１を決定し、参照範囲情報として出力する。参照範囲決定回路２２は、例えば、過去フレームの物体が現在フレームの物体と概略重なり、ラインメモリ１６の第１および第２の記憶ライン数によって決まる動きベクトルの検出可能範囲または補間可能範囲に入るように、第１の移動量Ｍ１を決定する。最も単純には、第１の移動量Ｍ１は、過去フレームと現在フレームとの間のパン速度の縦方向成分と等しい。
【００６１】
最後に、タイミングコントローラ（補間フレーム生成回路制御部）２４は、参照範囲決定回路２２により決定された参照範囲情報としての第１の移動量Ｍ１に基づいて、第１の移動量Ｍ１に対応する第２の移動量Ｍ２および第２の移動量Ｍ２に対応する第３の移動量Ｍ３を算出する。これらの移動量Ｍ２，Ｍ３は、メモリコントローラ１４，動きベクトル検出回路１８，画面端処理回路３０，補間フレーム生成回路２０に送られ、これらの回路の動作タイミングの制御に利用される。
【００６２】
ここで、参照範囲決定回路２２、メモリコントローラ１４およびタイミングコントローラ２４は、本発明のメモリ制御回路を構成する。
【００６３】
次に、各部位における具体的な作用を説明する。
まず、パン動画の判定方法およびパン速度の検出方法について説明する。
【００６４】
パン検出回路２８では、まず、前述の本来の動きベクトルを用いて、入力画像がパン動画であるかどうかの判定が行われる。例えば、動きベクトルの頻度をカウントしてヒストグラムを作成することにより、画面全体の動きベクトルの傾向を知ることができる。例えば、少数の似通った動きベクトルに頻度が偏っているとき、または、動きベクトルの分布が、ある特定方向に偏っているときにパン動画であると判定できる。
【００６５】
そして、パン検出回路２８では、入力画像がパン動画であると判定した場合に、パン速度の検出が行われる。例えば、パン速度は、ヒストグラムのピーク値を持つ動きベクトルから求めることができる。
【００６６】
なお、加速度を伴うパン動画の場合には、次のフレームのパン速度を正確に予測する目的で、過去数フレームのパン速度の変化を調べて未来フレームのパン速度を算出することが望ましい。未来フレームのパン速度ｓ２は、例えば、過去フレームのパン速度をｓ０、現在フレームのパン速度をｓ１、加速度をａ１とすると、下記計算式（１）で求めることができる。
ｓ２＝ｓ１＋ａ１＝ｓ１＋（ｓ１−ｓ０） … （１）
【００６７】
続いて、過去フレームのラインの参照範囲の移動量決定方法について説明する。
【００６８】
参照範囲決定回路２２は、パン検出回路２８によりパン動画であると判定された場合に、パン速度の縦方向成分と動きベクトルの検出可能範囲（または補間可能範囲）との関係から、パン速度が検出可能範囲内に十分収まるように第１の移動量Ｍ１を決定する。パン速度は、方向と大きさを持つベクトル値である。移動量Ｍ１は、縦方向（下方向、もしくは、上方向）のスカラー量であり、ライン数で表される。従って、第１の移動量Ｍ１の決定においては、パン速度の縦方向成分のみが考慮される。
【００６９】
タイミングコントローラ２４は、第１の移動量Ｍ１に対応する第２の移動量Ｍ２、および、第２の移動量Ｍ２に対応する第３の移動量Ｍ３を算出する。
【００７０】
ただし、急なシーンチェンジが起きたときに対処できるように、参照範囲の移動量を制限することが望ましい。また、パン速度が検出可能範囲に対して十分小さい場合には参照範囲を移動しないことが望ましい。
【００７１】
図３は、パン速度と参照範囲移動量との関係を表す一例のグラフである。前述のように、パン速度は方向と大きさとを持つベクトル値であるが、移動量決定においてはその縦方向成分のみを考慮する。以下では単純のため、パン速度が縦方向成分のみを有すると仮定し、下方向が正、上方向が正のスカラー値として扱う。同図の横軸はパン速度ｖ［line/frame］、縦軸は参照範囲移動量ｍ［line］である。速度Ａ［line/frame］は、パン速度に応じて参照範囲の移動を行うかどうかを判断する閾値であり、参照範囲移動量Ｂ［line］は移動量の制限値、速度Ｃ［line/frame］は、移動量に制限がかかるときのパン速度を意味する。回路的には、これらのＡ，Ｂ，Ｃの値は可変とする。
【００７２】
タイミングコントローラ２４は、同図に示す関係を用いて、パン検出回路２８により検出されたパン速度、すなわち、参照範囲決定回路２２により決定された第１の移動量Ｍ１から、第２の移動量Ｍ２および第３の移動量Ｍ３を一意に算出する。図３に示すパン速度（もしくは、第１の移動量Ｍ１）と参照範囲移動量との関係は、例えば、算出式やルックアップテーブル（ＬＵＴ）の形式で実現することができる。
【００７３】
図３のグラフで示すように参照範囲を移動するときの見かけ上の動きｖ’は図４のグラフのようになる。従来の画像処理装置４０では、点線で示すように、パン速度ｖと見かけ上の動きｖ’は等しい。本実施形態の画像処理装置１０では、実線で示すように、パン速度ｖの増加に対して見かけ上の動きｖ’が緩やかに増加する。例えば、パン速度がＣのとき、参照範囲移動量が１フレーム当たりＢであることから、見かけ上の動きｖ’はＣ−Ｂとなる。
【００７４】
続いて、過去フレームのラインの参照範囲の移動方法について説明する。
【００７５】
メモリコントローラ１４は、タイミングコントローラ２４により算出された第２の移動量Ｍ２に基づいて、過去フレームをフレームメモリ１２から読み出して過去フレーム用ラインメモリに記憶するタイミングを、現在フレームを現在フレーム用ラインメモリに記憶するタイミングに対して遅くする、または、早くすることにより、過去フレームの参照範囲を移動する。
【００７６】
例えば、下方向にパンしていることが検出され、図３のグラフから過去フレームのラインの参照範囲を下方向に２ラインだけ移動させればよいことが分かった場合には、図５に示すように、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分遅くする。これにより、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，Ｌｉｎｅ’＃３，…は、現在フレームのラインＬｉｎｅ＃３の入力タイミングの位置から読み出しが開始される。
【００７７】
つまり、タイミングコントローラ２４およびメモリコントとローラ１４の制御により、画像における縦方向への空間的な位置の移動を、フレームメモリ１２の読み出しにおける時間的なタイミングの移動だけで実現している。
【００７８】
過去フレームのラインの読み出しタイミングを下方向へ２ライン分移動させると、ラインメモリ１６上に展開される画素データの範囲は図６のようになる（ラインメモリ１６の記憶ライン数が１０ラインの場合）。同図の例では、現在フレーム用ラインメモリに現在フレームのラインＬｉｎｅ＃３，Ｌｉｎｅ＃４，…，Ｌｉｎｅ＃１２が記憶され、これに対応して２ライン分ずれて、過去ライン用ラインメモリに過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃１０が記憶された状態を表している。
【００７９】
このように、現在フレームのラインに対して、過去フレームのラインが２ライン分移動された状態でラインメモリ１６上に展開された画素データを用いて動きベクトル検出を行うと、検出されたゼロベクトルは、実際には、下方向に２の大きさを持つベクトルであることを意味する。これは、検出可能な動きベクトルの下方向成分の範囲が２ライン分だけ拡大された状態であると考えることができる。
【００８０】
続いて、過去フレームのラインの参照範囲を移動した場合の動きベクトルの検出について説明する。
【００８１】
動きベクトル検出回路１８による動きベクトルの検出は、参照範囲を移動したかしていないかに関係なく、従来の画像処理装置４０の動きベクトル検出回路４８と同様に、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとを利用して実施される。
【００８２】
ただし、前述のように、参照範囲を移動した場合には、画面端部（画面の上端部および下端部）では動きベクトル検出回路１８は動きベクトルを算出しない。この領域については、画面端処理回路３０が、例えば、近くの領域の動きベクトルを参照するか、検出したパン速度を割り当てることにより、動きベクトルを追加する。
【００８３】
続いて、過去フレームのラインの参照範囲を移動した場合の補間フレームの生成について説明する。
【００８４】
参照範囲を移動した場合、画面端部において、動きベクトルによって対応づけられる過去フレームまたは現在フレームの画素データが、ラインメモリ内に存在しない領域が発生する。この領域については、補間フレーム生成回路２０により、例えば、過去フレームの画素データが存在しない領域が現在フレームの画素データで補間され、現在フレームの画素データが存在しない領域が過去フレームの画素データで補間される。
【００８５】
ただし、参照範囲を移動した場合、補間フレームに生成された画素の空間的な位置も移動される。従って、補間フレーム生成回路２０は、参照範囲を移動した分の補間フレームの画素の位置の移動分を補正する必要がある。以下、単純のため、動きベクトルも縦方向成分のみを有するとして説明する。
【００８６】
図７（Ａ）および（Ｂ）は、従来の画像処理装置における補間フレームの生成手順を示す概念図である。同図は、現在フレームと過去フレームとの中間位置（両者の中央位置）に補間フレームを生成する場合の例である。この場合、補間フレーム生成回路５０は、動きベクトルＶを検出した後（同図（Ａ））、動きベクトルＶによって対応づけられた過去フレームの画素と現在フレームの画素と（同図（Ａ））の中間位置に、すなわち、過去フレームの画素を基準としてＶ／２の位置に補間フレームの画素を生成する（同図（Ｂ））。
【００８７】
図８（Ａ）〜（Ｄ）は、本実施形態の画像処理装置における補間フレームの生成手順を示す概念図である。過去フレームのラインの参照範囲が移動量Ｍだけ移動されると（同図（Ａ））、動きベクトル検出回路１８により、本来の動きベクトルＶから移動量Ｍを引いた動きベクトルＶ−Ｍが検出される（同図（Ｂ））。補間フレーム生成回路２０により、この動きベクトルＶ−Ｍを用いて補間フレームを生成すると、動きベクトルＶ−Ｍによって対応づけられる過去フレームの画素の位置を基準として、Ｍ＋（Ｖ−Ｍ）／２＝（Ｖ／２＋Ｍ／２）の位置に補間フレームの画素が生成される（同図（Ｃ）、図７と同様に中間位置に補間フレームを生成する場合）。図８（Ａ）で参照範囲が移動された分、補間フレームの画素の空間的位置が移動されているため、最後に、補間フレームの画素を−Ｍ／２だけ移動させる（参照範囲の移動に対して逆方向へＭ／２だけ移動させる）ことによりＶ／２の位置に補正する（同図（Ｄ））。
【００８８】
同図（Ｄ）に示す補正では、一般的には、同図（Ａ）に示す移動量Ｍと、補間フレームの位相α（過去フレームからの時間的な補間位置）から補正量を計算して補間フレームの画像全体を移動する。生成する補間フレームの位相がα（０≦α≦１、中間位置に補間フレームを生成する場合にはα＝０．５）の場合には、補間フレームに生成した画素からなる−（１−α）Ｍだけ移動させればよい。
【００８９】
補間フレームの画像全体を移動させる処理は、補間フレーム生成回路２０により補間処理が開始されるタイミング、すなわち、ラインメモリ１６からの画素データの読み出しタイミングを移動することで実現することができる。つまり、動きベクトルの検出の場合と同様に、画像の縦方向への空間的な位置の移動を、ラインメモリ１６の読み出しの時間的なタイミングの移動だけで実現することができる。
【００９０】
図９は、過去フレームのラインの読み出しタイミングを遅くした場合の、図１０は、過去フレームのラインの読み出しタイミングを早くした場合の、動きベクトル検出および補間フレーム生成の処理タイミングを表すタイミングチャートである。これらのタイミングチャートにおいて、Ｌｉｎｅ＃ｉ、Ｌｉｎｅ’＃ｉ（１≦ｉ≦Ｎ）は現在フレームおよび過去フレームのｉ番目のライン、Ｖ＃ｉは補間フレームのｉ番目のラインの動きベクトル、Ｃ＃ｉは補間フレームのｉ番目のラインを示す。
【００９１】
なお、実際には、過去フレーム用ラインメモリに所定の記憶ライン数の画素データが記憶されてから動きベクトルの検出および補間フレームの生成が開始される。このため、動きベクトルＶおよび補正済み動きベクトルＶｃの生成のタイミングや、補間フレーム生成のタイミングは、現在フレームのラインの入力および過去フレームのラインの読み出しのタイミングに比較して遅れる。図９，１０では、このタイミングの遅れは示されていない。また、動きベクトルの検出と補間フレームの生成はピクセル単位で行われる。もしくは、動きベクトルの生成を複数の画素からなるブロックごとに行うことも可能である。
【００９２】
図９のタイミングチャートに示すように、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分遅くした場合、画面の上端では、現在フレームの最初の２ラインＬｉｎｅ＃１，Ｌｉｎｅ＃２に対応する過去フレームのラインが存在せず、下端では、過去フレームの最後の２ラインＬｉｎｅ’＃Ｎ−１，Ｌｉｎｅ’＃Ｎに対応する現在フレームのラインが存在しない。
【００９３】
実際の動きベクトルの検出は、同じタイミングで入力される現在フレームのラインの画素データと過去フレームのラインの画素データとのみを利用して行うのではなく、ラインメモリに記憶した複数のラインの画素データを利用して行う。このため、画面の上端および下端の、対応する現在フレームもしくは過去フレームのラインが存在しない領域でも、第１の移動量Ｍ１による縦方向成分の削減後に残留した動きベクトルの縦方向成分によっては、動きベクトル検出が可能な場合もある。これを考慮しても、動きベクトル検出ができない可能性は高い。そこで、このような上端および下端の領域では、前述のように、画面端処理回路３０が、時間的、もしくは、空間的に近くの領域の動きベクトルを参照するか、検出したパン速度を割り当てることにより、この領域の動きベクトルを追加する補正を行う。
【００９４】
補間フレーム生成回路２０は、補正された動きベクトルに基づいて、補間フレームを生成する。このとき、補間処理開始タイミング、すなわち、ラインメモリ１６から画素データを読み出すタイミングを１ライン分遅くすることにより、現在フレームのラインの入力タイミングに対して過去フレームのラインの読み出しタイミングを２ライン分遅くした分の補間フレームの位置の移動分を補正する。
【００９５】
これを分かりやすく、図１１〜図１３を用いて説明する。これらの図は、ラインメモリ１６の記憶ライン数がＮの場合である。
【００９６】
図１１に示すように、現在フレームのラインＬｉｎｅ＃１，Ｌｉｎｅ＃２，…，Ｌｉｎｅ＃Ｎに対して、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃Ｎが下方向に２ライン分移動しているとする。そして、動きベクトルの縦方向成分は移動量Ｍに等しい、すなわち、縦方向成分削減後の動きベクトルの縦方向成分は０であると仮定する。
【００９７】
この場合、図１２に示すように、現在フレームのラインＬｉｎｅ＃３，Ｌｉｎｅ＃４，…，Ｌｉｎｅ＃Ｎ−１，Ｌｉｎｅ＃Ｎと、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃Ｎ−３，Ｌｉｎｅ’＃Ｎ−２とがそれぞれ対応し、現在フレームのラインＬｉｎｅ＃１，Ｌｉｎｅ＃２に対応する過去フレームのライン、および、過去フレームのラインＬｉｎｅ’＃Ｎ−１，Ｌｉｎｅ’＃Ｎに対応する現在フレームのラインは存在しない。
【００９８】
従って、縦方向成分削減後の動きベクトルの縦方向成分が０である場合、動きベクトル検出回路１８は、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃Ｎ−３，Ｌｉｎｅ’＃Ｎ−２と現在フレームのラインＬｉｎｅ＃３，Ｌｉｎｅ＃４，…，Ｌｉｎｅ＃Ｎ−１，Ｌｉｎｅ＃Ｎとの間の動きベクトルＶ＃２，Ｖ＃３，…，Ｖ＃Ｎ−２，Ｖ＃Ｎ−１を検出することができる。しかし、補間フレームのラインＣ＃１，Ｃ＃Ｎを生成するために必要な動きベクトルＶ＃１，Ｖ＃Ｎを直接検出することができない。
【００９９】
このため、画面端処理回路３０は、例えば、周囲の動きベクトルまたは予測したパン速度を参照して、動きベクトルＶ＃１，Ｖ＃Ｎを追加する補正を行う。そして、補間フレーム生成回路２０は、補正された動きベクトルを用いて補間フレームを生成する。図１３に示すように、補間フレームのラインＣ＃１，Ｃ＃Ｎは、それぞれ、現在フレームのＬｉｎｅ＃２、過去フレームのＬｉｎｅ’＃Ｎ−１を参照して生成される。生成された補間フレームが期待する結果となっていることが分かる。
【０１００】
これに対し、図１０のタイミングチャートに示すように、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分早くした場合、画面の上端では、過去フレームの最初の２ラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２に対応する現在フレームのラインが存在せず、下端では、現在フレームの最後の２ラインＬｉｎｅ＃Ｎ−１，Ｌｉｎｅ＃Ｎに対応する過去フレームのラインが存在しない。
【０１０１】
同様に、動きベクトル検出回路１８は、この領域の動きベクトルを検出することができないため、画面端処理回路３０が、この領域の動きベクトルを追加する補正を行う。
【０１０２】
補間フレーム生成回路２０は、補正された動きベクトルに基づいて、補間フレームを生成する。このとき、補間処理開始タイミング、すなわち、ラインメモリ１６から画素データを読み出すタイミングを１ライン分早くすることにより、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分早くした分の補間フレームの位置の移動分を補正する。
【０１０３】
次に、画像処理装置１０の動作を説明する。
【０１０４】
動きベクトル検出回路１８では、動きベクトルＶ−Ｍ２が検出される。しかし、パン検出回路２８では、この動きベクトルＶ−Ｍ２を用いてパン速度を検出すると、本来の正しいパン速度を検出することができない。
【０１０５】
そこでまず、補正回路２６により、動きベクトル検出回路１８によって検出された動きベクトルＶ−Ｍ２が、本来の正しい動きベクトルＶに補正される。
【０１０６】
続いて、パン検出回路２８により、補正回路２６によって補正された動きベクトルＶに基づいて、パン動画なのかどうかの検出が行われ、パン動画である場合にはさらにパン速度が検出される。ここで求めるパン速度は、過去フレームと現在フレームとの間のパン速度の予測値である。
【０１０７】
そして、参照範囲決定回路２２により、パン検出回路２８によって検出されたパン速度から第１の移動量Ｍ１が決定され、タイミングコントローラ２４により、第１の移動量Ｍ１に対応する第２の移動量Ｍ２および第２の移動量Ｍ２に対応する第３の移動量Ｍ３が算出される。
【０１０８】
フレームメモリ１２には、メモリコントローラ１４の制御により、現在フレーム（入力画像）の直前の過去フレームの過去フレーム画素データが記憶される。
【０１０９】
現在フレーム画素データは、メモリコントローラ１４の制御により、ラインの順番に受信され、現在フレーム画素データが現在フレーム用ラインメモリに記憶される。また、フレームメモリ１２に記憶された過去フレーム画素データが、ラインの順番にフレームメモリ１２から読み出され、現在フレーム用ラインメモリに記憶された現在フレームのラインに対応する過去フレーム画素データが過去フレーム用ラインメモリに記憶される。
【０１１０】
図１４は、過去フレームと現在フレームとの間で下方向の動きがある場合の、補間フレームの生成工程を表す概念図である。同図には、現在フレームの各ラインの現在フレーム画素データの入力タイミングを基準タイミングとして、過去フレームの対応するラインの過去フレーム画素データの読み出しタイミング、動きベクトル検出回路１８による動きベクトルの検出タイミング、画面端処理回路が動きベクトルを追加するタイミング、補間フレームの対応するラインの補間フレーム画素データの生成タイミングが示されている。図１４に示すように、過去フレームのラインは、現在フレームのラインの入力タイミングに対して、第２の移動量Ｍ２だけ遅くしたタイミングでフレームメモリ１２から読み出される。つまり、過去フレーム用ラインメモリには、現在フレーム用ラインメモリに記憶された現在フレームのラインの範囲に対して、第２の移動量Ｍ２だけ後ろ（下）へ移動された範囲のラインの過去フレーム画素データが記憶される。
【０１１１】
現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに所定の記憶ライン数の画素データが記憶されると、動きベクトル検出回路１８により、画像情報である、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の動きベクトルが検出される。
【０１１２】
動きベクトル検出回路１８により検出された動きベクトルは、過去フレームのラインのフレームメモリ１２からの読み出しタイミングが、現在フレームのラインの入力タイミングに対して第２の移動量Ｍ２だけ移動されているため、第２の移動量Ｍ２だけ縦方向成分が削減される。図１６の場合と同様に、実際には、動きベクトルＶおよび補正済み動きベクトルＶｃの生成のタイミングや、補間フレーム生成のタイミングは、現在フレームのラインの入力および過去フレームのラインの読み出しのタイミングに比較して遅れる。図１４では、この遅れは示されていない。
【０１１３】
また、画面端処理回路３０により、第３の移動量Ｍ３に基づいて、動きベクトル検出回路１８により検出された動きベクトルＶ−Ｍ２に対して、画面上下端部のラインの動きベクトルを追加する処理が行われ、補正済み動きベクトルＶｃ−Ｍ２が生成される。さらに、検出した動きベクトルを補間フレームの画素に割り付ける割付処理や、動きベクトルを割り付けることができなかった補間フレームの画素の動きベクトルを補う補間処理等の処理を行うことも可能である。
【０１１４】
最後に、補間フレーム生成回路２０により、補正済みベクトルＶｃ−Ｍ２と、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の補間フレームの補間フレーム画素データが生成される。画面端処理回路３０による画面上下端部の動きベクトルの追加は、動きベクトル検出回路１８による動きベクトル検出と同一のフレーム期間内、すなわち、現在フレームの画素データが入力されている期間内に実施することも可能である。もしくは、次のフレーム期間内、すなわち、現在フレームの次のフレームの画素データが入力されている期間内に実施することも可能である。後者の場合、補間フレーム生成回路２０による補間フレームの生成も、次のフレーム期間に行う必要がある。前者の場合には、動きベクトル検出と同一のフレーム期間内に補間フレームの生成を行うことも、次のフレーム期間に行うことも可能である。
【０１１５】
補間フレームの生成を次のフレーム期間内に行う場合には、動きベクトル検出回路１８が動きベクトル検出に利用するための現在フレームおよび過去フレームの画素データを記憶するラインメモリとは別に、補間フレーム生成回路２０が補間フレーム生成において利用するための現在フレームおよび過去フレームの画素データを記憶するラインメモリを設けることが好ましい。この場合、前述のように、動きベクトルの検出をそれぞれの画素について行うのではなく複数の画素からなるブロックごとに行うことにすれば、動きベクトル検出に利用するラインメモリには一部の画素の画素データのみを記憶すればよい。これにより、動きベクトル検出に利用するラインメモリは、補間フレーム検出に利用するためにそれぞれの画素の画素データを記憶するラインメモリと比較して、容量を小さくすることができる。
【０１１６】
図１７は、本発明の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。図１８に示すように、過去フレームの画素と現在フレームの画素との間の動きベクトルをＶ、補間フレームの位相をαとすると、従来の画像処理装置では、補間フレームの画素は、動きベクトルＶによって対応付けられる過去フレームの画素の位置を基準としてαＶの位置に生成される。これに対して、画像処理装置１０では、図１７に示すように、フレームメモリ１２からの過去フレーム画素データの読み出しタイミングを第２の移動量Ｍ２だけ移動したことにより、補間フレームの画像は、移動後の過去フレームの画素の位置を基準として、α（Ｖ−Ｍ２）の位置に生成される。そのため、図１８の場合と比較して、補間フレームの画素は、α（Ｖ−Ｍ２）＋Ｍ２−αＶ＝（１−α）Ｍ２だけ移動する。
【０１１７】
これに応じて、補間フレーム生成回路２０では、補間処理の開始タイミング（補間処理に利用する画素データのラインメモリ１６からの読み出しを開始するタイミング）が第３の移動量Ｍ３＝（１−α）Ｍ２だけ遅くされる。これにより、過去フレームのラインの参照範囲を第２の移動量Ｍ２だけ移動させたことによって移動した補間フレームの画素の位置を、本来の正しい位置に戻すことができる。
【０１１８】
一方、図１５は、過去フレームと現在フレームとの間で上方向の動きがある場合の、補間フレームの生成工程を表す概念図である。
【０１１９】
上方向の動きがある場合の動作は、過去フレームのラインが、現在フレームのラインの入力タイミングに対して、第２の移動量Ｍ２だけ早くしたタイミングでフレームメモリ１２から読み出される点と、補間処理の開始タイミング、つまり、補間処理に利用する画素データのラインメモリ１６からの読み出しを開始するタイミングが（１−α）Ｍ２だけ早くされる点を除いて、下方向の動きがある場合と同様である。
【０１２０】
画像処理装置１０では、従来の画像処理装置４０と比べて、回路を大きく変更することなく、しかも回路規模を大幅に増大させることもなく、高速なパン動画に対してもフレーム補間を行うことが可能になる。
【０１２１】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１２２】
１０、４０ 画像処理装置
１２、４２ フレームメモリ
１４、４４ メモリコントローラ
１６、４６ ラインメモリ
１８、４８ 動きベクトル検出回路
２０、５０ 補間フレーム生成回路
２２ 参照範囲決定回路
２４ タイミングコントローラ
２６ 補正回路
２８ パン検出回路
３０ 画面端処理回路
【技術分野】
【０００１】
本発明は、入力画像のフレーム間に補間フレームを挿入して、フレームレートを倍増した出力画像を生成する画像処理装置に関するものである。
【背景技術】
【０００２】
入力画像のフレームレートを倍増して映像を滑らかにするフレームレートコンバージョン（ＦＲＣ：Frame Rate Conversion）と呼ばれる技術がある。この技術により、例えば、毎秒６０フレームの入力画像が毎秒１２０フレームの画像に変換される。これは、画像の動きベクトルに基づいて、入力画像（原画）の隣接するフレーム間に補間フレームを挿入することで実現されている。
【０００３】
動きベクトルの検出および補間フレームの生成には、少なくとも２枚の原画（例えば、現在フレームと過去フレーム）が必要であり、これらは、例えば、フレームメモリ（例えば、外部ＤＲＡＭ）に蓄えられている。一般に、フレームメモリは低速であるため、処理するピクセルを中心とした一定範囲の画像情報をあらかじめ高速なラインメモリ（例えば、ＳＲＡＭ）に読み出しておき、これを処理対象としている。
【０００４】
以下、ＦＲＣを行う従来の画像処理装置について一例を挙げて説明する。
【０００５】
図１９は、従来の画像処理装置の構成を表す一例のブロック図である。同図に示す画像処理装置４０は、フレームメモリ４２と、メモリコントローラ４４と、ラインメモリ４６と、動きベクトル検出回路４８と、補間フレーム生成回路５０とによって構成されている。ラインメモリ４６は、現在フレーム画素データを記憶する現在フレーム用ラインメモリと、過去フレーム画素データを記憶する過去フレーム用ラインメモリとを含む。
【０００６】
フレームメモリ４２には、メモリコントローラ４４の制御により、現在フレーム（入力画像）の直前の過去フレーム（現在フレームの１つ前のフレーム）の過去フレーム画素データが記憶されている。
【０００７】
現在フレーム画素データは、メモリコントローラ４４の制御により、ラインの順番に受信され、フレームメモリ４２に記憶されるとともに、現在フレーム用ラインメモリに記憶される。また、フレームメモリ４２に記憶されていた過去フレーム画素データが、ラインの順番にフレームメモリ４２から読み出され、現在フレーム用ラインメモリに記憶された現在フレームのラインに対応する過去フレーム画素データが過去フレーム用ラインメモリに記憶される。
【０００８】
図１６に示すように、現在フレームのラインの入力タイミングと、現在フレームのラインに対応する過去フレームのラインがフレームメモリ４２から読み出されるタイミングは同じである。つまり、現在フレーム用ラインメモリに記憶された現在フレームのラインの範囲と、過去フレーム用ラインメモリに記憶された過去フレームのラインの範囲（フレームメモリ４２から読み出される過去フレームのラインの範囲）は同じである。
【０００９】
現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに所定の記憶ライン数の画素データが記憶されると、動きベクトル検出回路４８により、画像情報である、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された参照用の過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の動きベクトルＶが検出される。
【００１０】
さらに、動きベクトル検出回路４８では、図１６に示すように、検出した動きベクトルＶを補間フレームの画素に割り付ける割付処理や、動きベクトルを割り付けることができなかった補間フレームの画素の動きベクトルを補う補間処理等のベクトル補正処理が行われて補正済みベクトルＶｃが生成される。そして、この補正ベクトルが動きベクトルとして動きベクトル検出回路４８から出力される。
【００１１】
最後に、補間フレーム生成回路５０により、動きベクトル生成回路４８によってベクトル補正処理が行われた動きベクトルＶｃと、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の補間フレームの補間フレーム画素データが生成される。
【００１２】
図１８は、従来の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。同図の縦軸は補間フレームに生成される画素の位置（空間的な補間位置、つまり、ラインの位置）、横軸は補間フレームの位相（時間的な補間位置）である。同図に示すように、従来の画像処理装置では、過去フレームの画素と現在フレームの対応する画素との間の動きベクトルをＶ、補間フレームの過去フレームからの位相をα、補間フレームの現在フレームからの位相を１−αとすると、補間フレームの画素は、過去フレームの画素の位置を基準としてαＶの位置に生成される。
【００１３】
ここで、本発明の先行技術文献として、特許文献１，２がある。
【００１４】
特許文献１は、画像処理装置に関するものである。この画像処理装置は、同文献の図４に示されたように、入力画像（フレームｔ＋１）と、フレームメモリ５１から読み出したフレームｔの画像とを用いて、ベクトル検出部が、フレームｔの着目ブロックとフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出ベクトルメモリ５３に記憶する。ベクトル割付部５４は、入力された２４Ｐ（毎秒２４フレームのプログレッシブ）の元画像のフレームにおいて求められた動きベクトルを、補間する６０Ｐ（毎秒６０フレームのプログレッシブ）の補間フレームの画素に割り付け、割り付けられなかった画素の動きベクトルを割付補償部５７で補い、割付ベクトルメモリ５５に記憶する（００３６〜００３９段落参照）。画像補間部５８は、割付ベクトルメモリ５５の動きベクトルと、フレームｔ、ｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する（００４０段落参照）。
【００１５】
特許文献２は、動きベクトル検出装置に関するものである。同文献には、１フレーム分の動きベクトルのヒストグラムから、次のフレームでの動きベクトル探索範囲のシフト量を決定することが記載されている（要約参照）。同文献では、探索範囲をシフトすることにより、同文献の図１の動きベクトル検出部１０３がフレームメモリから参照画素データを読み出す範囲がシフトされる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００６−１０１２６７号公報
【特許文献２】特開平１１−２０５７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上記従来の画像処理装置４０では、ラインメモリ４６の大きさ（記憶ライン数）により参照できる過去フレームの画像の範囲、すなわち、動きベクトルの検出可能範囲（どのくらい速い動きまで検出できるか）および補間可能範囲（どのくらい速い動きの物体まで補間できるか）が決まってしまう。よって、例えば、全体が上下方向に高速に移動する（「パン」する）画像の処理を可能にするために動きベクトルの検出可能範囲および補間可能範囲を拡大しようとすると、ラインメモリ４６を大きくする必要があり、回路規模が増大するという問題があった。
【００１８】
本発明の目的は、従来とほぼ同等の回路および回路規模で高速なパン動画のフレーム補間を行うことができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明は、それぞれが複数の画素を含む横方向の複数のラインで構成される複数のフレームの間に、補間フレームを生成する画像処理装置であって、
現在フレームを構成する複数のラインの画素の画素値を表す現在フレーム画素データを、該ラインの順番に受信し、第１の所定の記憶ライン数を有する現在フレーム用ラインメモリに記憶するとともに、フレームメモリに記憶された、前記現在フレームの直前の過去フレームを構成する複数のラインの画素の画素値を表す過去フレーム画素データを、該ラインの順番に前記フレームメモリから読み出し、第２の所定の記憶ライン数を有する過去フレーム用ラインメモリに記憶するメモリ制御回路と、
前記補間フレームの画素の動きを示す動きベクトルを受け取り、該動きベクトルによって対応づけられる、前記現在フレーム用ラインメモリに記憶された現在フレーム画素データと前記過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、前記補間フレームのそれぞれのラインの画素の画素値を表す補間フレーム画素データを生成する補間フレーム生成回路とを備え、
前記補間フレーム生成回路は、前記動きベクトルとして、前記補間フレームの全体的な動きの速度であるパン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ、縦方向成分を削減した縦方向成分削減済み動きベクトルを前記動きベクトルとして受け取り、
前記メモリ制御回路は、前記現在フレーム用ラインメモリに前記現在フレームを構成するそれぞれのラインの現在フレーム画素データを記憶するタイミングに対して相対的に定められる、前記過去フレーム用ラインメモリに前記過去フレームを構成する対応するラインの過去フレーム画素データを記憶するタイミングを、前記第１の移動量Ｍ１がゼロである場合の標準タイミングから、該第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動することを特徴とする画像処理装置を提供するものである。
【００２０】
ここで、前記メモリ制御回路は、
前記現在フレームを構成する複数のラインの現在フレーム画素データを、第１の開始タイミングから、ラインごとに所定の時間を要して前記現在フレーム用ラインメモリに記憶し、前記過去フレームを構成する複数のラインの過去フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第２の開始タイミングから、ラインごとに前記所定の時間を要して前記過去フレーム用ラインメモリに記憶するものであり、かつ、
前記第２の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２だけ移動することが好ましい。
【００２１】
また、前記補間フレーム生成回路が、前記補間フレームを構成する複数のラインの補間フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第３の開始タイミングから、ラインごとに前記所定の時間を要して生成するものであり、かつ、
前記第３の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２に応じて定めた移動量Ｍ３だけ移動する、補間フレーム生成回路制御部を備えることが好ましい。
【００２２】
また、前記補間フレームが、前記過去フレームからα（０＜α＜１）、前記現在フレームから１−αだけ相対的に離れた時間位置の補間フレームであり、前記補間フレーム生成回路制御部が、前記移動量Ｍ３をＭ３＝（１−α）Ｍ２となるように移動することが好ましい。
【００２３】
また、前記パン速度を、前記過去フレームの直前のフレームの画素と該過去フレームの画素との間の動きベクトルの分布に基づいて求めた、該過去フレームのパン速度を利用して算出する、パン速度算出回路をさらに備えることが好ましい。
【００２４】
また、前記現在フレーム用ラインメモリに記憶した現在フレーム画素データと、前記過去フレーム用ラインメモリに記憶した過去フレーム画素データとを利用して、前記第１の移動量Ｍ１だけ縦方向の成分を削減した、前記過去フレームの画素と前記現在フレームの画素との間の動きベクトルを検出し、前記縦方向成分削減済み動きベクトルとして前記補間フレーム生成回路に供給する、動きベクトル検出回路をさらに備えることが好ましい。
【発明の効果】
【００２５】
本発明によれば、従来の画像処理装置と比べて、回路を大きく変更することなく、しかも回路規模を大幅に増大させることもなく、高速なパン動画に対してもフレーム補間を行うことが可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の画像処理装置の構成を表す一実施形態のブロック図である。
【図２】（Ａ）は過去フレームの画像、（Ｂ）は現在フレームの画像、（Ｃ）は現在フレームと過去フレームとを重ね合わせた画像、（Ｄ）は、現在フレームの画像に対して過去フレームの画像を下方向へ移動した画像である。
【図３】パン速度と見かけ上の動きとの関係を表す一例のグラフである。
【図４】パン速度と参照範囲移動量との関係を表す一例のグラフである。
【図５】現在フレームのラインの入力タイミング、および、過去フレームのフレームメモリからの読み出しタイミングを表す一例のタイミングチャートである。
【図６】図５に示すタイミングチャートにおいて、現在および過去フレーム用ラインメモリの記憶状態を表す一例のタイミングチャートである。
【図７】（Ａ）および（Ｂ）は、従来の画像処理装置における補間フレームの生成手順を示す概念図である。
【図８】（Ａ）〜（Ｄ）は、本実施形態の画像処理装置における補間フレームの生成手順を示す概念図である。
【図９】過去フレームのラインの読み出しタイミングを遅くした場合の、動きベクトル検出および補間フレーム生成の処理タイミングを表す一例のタイミングチャートである。
【図１０】過去フレームのラインの読み出しタイミングを早くした場合の、動きベクトル検出および補間フレーム生成の処理タイミングを表す一例のタイミングチャートである。
【図１１】現在フレーム用ラインメモリに記憶された現在フレームのラインに対して、過去フレーム用ラインメモリに記憶された過去フレームのラインが２ライン分だけ下方向へ移動されている状態を表す概念図である。
【図１２】図１１に示す状態において、動きベクトルを検出する場合の、現在フレームのラインと過去フレームのラインとの関係を表す概念図である。
【図１３】図１１に示す状態において、補間フレームを生成する場合の、現在フレームのラインと過去フレームのラインとの関係を表す概念図である。
【図１４】過去フレームと現在フレームとの間で下方向の動きがある場合の、補間フレームの生成工程を表す概念図である。
【図１５】過去フレームと現在フレームとの間で上方向の動きがある場合の、補間フレームの生成工程を表す概念図である。
【図１６】従来の画像処理装置における補間フレームの生成工程を表す概念図である。
【図１７】本発明の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。
【図１８】従来の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。
【図１９】従来の画像処理装置の構成を表す一例のブロック図である。
【発明を実施するための形態】
【００２７】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置を詳細に説明する。
【００２８】
まず、本発明の画像処理装置の概略について説明する。
【００２９】
例えば、図２（Ａ）に示す過去フレームの画像、および、同図（Ｂ）に示す現在フレームの画像の、２枚の画像を使って動きベクトル検出および補間フレーム生成をする場合を考える。
【００３０】
同図（Ｃ）に示すように、これら２枚の画像を重ねてみると（両者の区別を容易にするために、過去フレームの画像を点線で示す）、過去フレームから現在フレームまでの間に、車（物体）が下方向へ移動していることが分かる。従来の画像処理装置４０では、車の縦方向の動き（速度）が非常に大きい場合、その分のラインメモリ４６を備えていなければ動きベクトルＶを検出できない。つまり、縦方向の動きの場合、ラインメモリ４６の容量（記憶ライン数）により補間性能が制限される。
【００３１】
本発明の画像処理装置では、入力画像が下方向へ移動するパン動画であることを検出した場合、同図（Ｄ）に示すように、例えば、現在フレームの画像に対して、過去フレームの画像を相対的に下方向へ第１の移動量Ｍ１だけ移動することにより、見かけ上の動きベクトルＶ’を小さくする。この例では、車が下方向へ移動しているため、過去フレームの画像を下方向へ移動させることで２枚の画像を比較したときに動きが小さく見えるようにしている。
【００３２】
上記のように、本発明の画像処理装置は、対象物の縦方向の動きが大きい場合に、現在フレームの画像と過去フレームの画像とを近づけるように相対的に移動させて見かけ上の動きベクトルを小さくすることにより、高速にパンする動画の場合であっても、従来と同等の回路、同等の回路規模（同等のラインメモリ容量）で動きベクトルを検出し、補間フレームの画像を生成することができる。
【００３３】
以下、本発明の画像処理装置の実施形態を挙げて説明する。
【００３４】
図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置１０は、それぞれが複数の画素を含む横方向（ライン方向）の複数のラインで構成される複数のフレームの間に、補間フレームを生成するものである。画像処理装置１０は、フレームメモリ１２と、メモリコントローラ１４と、ラインメモリ１６と、動きベクトル検出回路１８と、補間フレーム生成回路２０と、参照範囲決定回路２２と、タイミングコントローラ２４と、補正回路２６と、パン検出回路２８と、画面端処理回路３０とによって構成されている。
【００３５】
フレームメモリ１２は、メモリコントローラ１４の制御により、後述する過去フレームを構成する複数のラインの画素の画素値（輝度値、明度値、彩度値、等）を表す過去フレーム画素データを記憶する。
【００３６】
ラインメモリ１６は、メモリコントローラ１４の制御により、例えば、受け取った順番の最も古いラインのデータを削除し、新たに受け取ったラインのデータを記憶することにより、一定の記憶ライン数の画素データの記憶を維持する。ラインメモリ１６は、第１の所定の記憶ライン数の現在フレーム画素データを記憶するための現在フレーム用ラインメモリと、第２の所定の記憶ライン数の過去フレーム画素データを記憶するための過去フレーム用ラインメモリとを含む。
【００３７】
通常は、現在フレーム用ラインメモリの第１の記憶ライン数と、過去フレーム用ラインメモリの第２の記憶ライン数とは同一とする。しかし、両者の記憶ライン数を同一とすることは必須ではなく、両者の記憶ライン数が異なっていてもよい。
【００３８】
メモリコントローラ１４は、フレームごとに、現在フレーム（入力画像）を構成する複数のラインの画素の画素値を表す現在フレーム画素データをフレームメモリ１２に記憶する。各フレームでフレームメモリ１２に記憶された現在フレーム画素データは、その直後の未来フレーム（現在フレームの１つ後のフレーム）で、現在フレームの直前の過去フレーム（現在フレームの１つ前のフレーム）を構成する複数のラインの画素の画素値を表す過去フレーム画素データとしてフレームメモリ１２から読み出される。
【００３９】
また、メモリコントローラ１４は、現在フレーム画素データをラインの順番に受信し、最新の、第１の記憶ライン数の現在フレーム画素データを現在フレーム用ラインメモリに記憶するとともに、フレームメモリ１２に記憶された過去フレーム画素データを、ラインの順番にフレームメモリ１２から読み出し、現在フレーム用ラインメモリに記憶されたラインの現在フレーム画素データに対応する、第２の記憶ライン数の過去フレーム画素データを過去フレーム用ラインメモリに記憶する。
【００４０】
また、メモリコントローラ１４は、現在フレーム用ラインメモリにそれぞれのラインの画素データを記憶するタイミング（言い換えると、現在フレームのラインの入力タイミング）に対して相対的に定められる、過去フレーム用ラインメモリに現在フレームのラインに対応する過去フレームのラインの画素データを記憶するタイミング（言い換えると、過去フレームのラインの画素データのフレームメモリ１２からの読み出しタイミング）を、第１の移動量Ｍ１がゼロである場合の標準タイミングから、第１の移動量Ｍ１に対応する、第２の移動量Ｍ２だけ移動するように、ラインメモリ１６の動作を制御する。第１の移動量Ｍ１は、図２（Ｄ）に示すように、過去フレームと現在フレームとの間の相対的な移動量である。第２の移動量Ｍ２は、過去フレームのラインの画素データをフレームメモリ１２から読み出して過去フレーム用ラインメモリ記憶するタイミング（時間）の移動量であり、フレームメモリ１２から読み出す過去フレームのラインを第１の移動量Ｍ１だけ移動させるタイミングの移動量に相当する。
【００４１】
例えば、メモリコントローラ１４は、現在フレーム画素データを、前述の標準タイミングである第１の開始タイミングから、ラインごとに所定の時間を要して現在フレーム用ラインメモリに記憶する。また、過去フレーム画素データを、第１の開始タイミングに対して相対的に定められる、標準タイミングから第２の移動量Ｍ２だけ移動されたタイミングである第２の開始タイミングから、ラインごとに所定の時間を要して過去フレーム用ラインメモリに記憶する。
【００４２】
ここで、「相対的に定められる」と記載したが、メモリコントローラ１４は、通常、現在フレーム画素データを記憶するタイミングを一定として、過去フレーム画素データを記憶するタイミングを遅く（早く）する。しかし、例えば、現在フレーム画素データも、一旦、フレームメモリ１２に記憶した後、読み出してラインメモリ１６に記憶する場合であれば、過去フレーム画素データを記憶するタイミングを一定として、現在フレーム画素データを記憶するタイミングを早く（遅く）することも可能である。
【００４３】
また、「第１の移動量Ｍ１がゼロである場合の標準タイミングから、第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動する」と記載したが、通常、前述の移動が行われないときには、現在フレーム画素データの記憶と過去フレーム画素データの記憶とが同じタイミングで行われる。しかし、これも必須ではなく、例えば、第１の所定の記憶ライン数と第２の所定の記憶ライン数とが異なる場合には、移動が行われないときであっても、現在フレーム画素データの記憶と過去フレーム画素データの記憶とを異なるタイミングで行う構成とすることも可能である。
【００４４】
また、「所定の時間を要して」と記載したが、各ラインの読み出し、書き込みには、各ラインの画素数、および、ライン間のブランキング期間に応じた時間を要する。この時間は、開始タイミングが移動しても一定である。
【００４５】
続いて、動きベクトル検出回路１８は、現在フレーム用ラインメモリに記憶した現在フレーム画素データと、過去フレーム用ラインメモリに記憶した過去フレーム画素データとを利用して、補間フレームの全体的な動きの速度であるパン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ縦方向（ライン方向に直交する方向）の成分を削減した、縦方向成分削減済み動きベクトルを検出する。動きベクトル検出回路１８が動きベクトルの検出を行うためには、現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに、対応するラインの画素の画素データが記憶されている必要がある。従って、過去フレームの画素データを過去フレーム用フレームメモリに記憶するタイミングを第２の移動量Ｍ２だけ移動させたときには、Ｍ２の正負および大きさに応じて、動きベクトル検出回路１８が動きベクトル検出を行うタイミングを移動する。
【００４６】
ここで、「補間フレームの全体的な動きの速度であるパン速度」と記載したが、後述するパン検出回路２８は、実際には、現在フレーム画素データと過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間のパン速度を直接求めることはできない。そのため、パン検出回路２８は、例えば、過去フレームの直前のフレームと過去フレームとの間の動きベクトル等を利用して、過去フレームと現在フレームとの間のパン速度を近似的に求める。
【００４７】
なお、動きベクトル検出回路１８は必須の構成要素ではない。例えば、動きベクトル検出回路１８を備えることなく、画像処理装置１０の外部から動きベクトルを受け取る構成としてもよい。
【００４８】
前述のように、動きベクトル検出回路１８が動きベクトルの検出を行うためには、現在フレームの画素の画素データと、動きベクトルによってその画素と対応づけられている過去フレームの画素の画素データとが、それぞれ、現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに記憶されている必要がある。過去フレーム画素データを第２の移動量Ｍ２だけ移動されたタイミングで過去フレーム用ラインメモリに記憶した場合、画面の上端部および下端部では、対応する現在フレームもしくは過去フレームのラインの画素データがラインメモリに記憶されておらず、動きベクトル検出回路１８が動きベクトルを検出できない可能性が高い。そこで、画像処理回路１０では、第２の移動量Ｍ２に基づいて、動きベクトル検出回路１８が動きベクトルの検出を行う期間、もしくは、動きベクトル検出の対象とするラインの範囲を制限する。
【００４９】
このように、画面の上下端において動きベクトル検出が行えないのは、上下方向にパンする画面では現在フレームもしくは過去フレームに対応するラインが存在しない領域があるためであり、ラインメモリへの記憶タイミングを移動することが原因ではない。むしろ、パン速度の縦方向成分に応じて定めた第１の移動量Ｍ１に対応する第２の移動量Ｍ２を利用して、動きベクトル検出回路１８が動きベクトルを検出する範囲を制限することにより、誤った動きベクトルの検出を防止することが可能である。
【００５０】
そして、動きベクトル検出回路１８が動きベクトル検出の対象としないラインの画素については、画面端処理回路３０が、例えば、時間的、もしくは空間的に近くの領域の動きベクトルを参照するか、検出したパン速度を割り当てる等の補正処理を行って動きベクトルを生成する。画面端処理回路は、このようにして生成した動きベクトルを動きベクトル検出回路１８が検出した動きベクトルに追加する。画面端処理回路は、さらに、動きベクトルを補間フレームの画素に割り付ける割り付け処理や、動きベクトルを割り付けることができなかった補間フレームの画素の動きベクトルを補う補正処理を行って、補正済みベクトルを生成するものであってもよい。
【００５１】
補間フレーム生成回路２０は、画面端処理回路３０から補正済みのベクトルを受け取り、この動きベクトルによって対応づけられる、現在フレーム用ラインメモリに記憶された現在フレーム画素データと過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、補間フレームのそれぞれのラインの画素の画素値を表す補間フレーム画素データを生成する。
【００５２】
補間フレーム生成回路２０は、補間フレーム画素データの生成を行うタイミングを、標準のタイミングから、第２の移動量Ｍ２に応じて定めた第３の移動量Ｍ３だけ移動する。例えば、補間フレームを構成する複数のラインの補間フレーム画素データを、標準タイミングである第１の開始タイミングに対して相対的に定められる第３の開始タイミングから、ラインごとに所定の時間を要して生成する。
【００５３】
例えば、補間フレームが、過去フレームからα（０＜α＜１）、つまり、現在フレームから１−αだけ相対的に離れた時間位置（位相）の補間フレームであるとすると、第３の移動量Ｍ３が、Ｍ３＝（１−α）Ｍ２となるように移動する。
【００５４】
これにより、過去フレームのラインの画素データをラインメモリに記憶するタイミングを移動したことによって、このラインメモリに記憶された画素データに基づいて生成された補間フレームの位置が移動されているのを、参照範囲を移動していない本来の正しい位置に戻すことができる。
【００５５】
ここで、「補間フレームの画素の動きを示す動きベクトル」と記載したが、動きベクトル検出回路１８が生成する動きベクトル、もしくは、外部から受け取る動きベクトルは、補間フレームの画素の動きを、少なくとも近似的に示すベクトルであればよく、過去フレームと現在フレームとの間で求めた動きベクトルそのものでもよいし、あるいは、特許文献１のように、過去フレームと現在フレームとの間で求めた動きベクトルを、補間フレームの画素に割り付け直した（さらに、補償を行った）ものでもよい。また、それぞれの画素ごとに動きベクトルを検出することは必須ではなく、複数の画素からなるブロックごとに動きベクトルを検出するのでもよい。
【００５６】
続いて、補正回路２６は、第２の移動量Ｍ２に基づいて、動きベクトル検出回路１８により検出された、第１の移動量Ｍ１だけ縦方向の成分を削減した縦方向成分削減済み動きベクトルから、第１の移動量Ｍ１だけ縦方向の移動量を削減していない、過去フレームの画素と現在フレームの画素との間の動きベクトル、つまり、従来の動きベクトル検出回路４８により検出される動きベクトルと同じ、過去フレームと現在フレームとの間の、本来の動きベクトルを算出する。
【００５７】
パン検出回路（パン速度算出回路）２８は、補正回路２６により算出された本来の動きベクトルから、過去フレームと現在フレームとの間のパン速度を検出する。本発明のいうパンとは、撮影装置を一方向に移動させながら動画の撮影を行うことにより、撮影された動画の画面全体が一方向に移動する場合の他、撮影中の動画の画面内において、大部分の撮影対象物、例えば、画面の半分以上の撮影対象物が一方向に移動する場合等を含む。
【００５８】
ここで、パン検出回路２８により検出された、過去フレームと現在フレームとの間のパン速度は、例えば、現在フレームと現在フレームの直後のフレーム（未来フレーム）との間の動きベクトルを検出するために利用することができる。
【００５９】
動きベクトル検出回路１８は、過去フレームと現在フレームとの間のパン速度を利用して、過去フレームと現在フレームとの間の動きベクトルを検出することはできない。つまり、パン速度は、画面全体の動きベクトルの分布から求めるため、動きベクトル検出回路１８が検出を行いつつある過去フレームと現在フレームとの間の動きベクトルから求めたパン速度を、同じ過去フレームと現在フレームとの間の動きベクトル検出に利用することはできない。そこで、パン検出回路２８は、動きベクトル検出回路１８が過去フレームと現在フレームとの間の動きベクトルを検出するときに利用するパン速度を、例えば、過去フレームの直前のフレームの画素と過去フレームの画素との間の動きベクトルの分布に基づいて求めた、過去フレームのパン速度を利用して算出（予測）する。
【００６０】
続いて、参照範囲決定回路２２は、パン検出回路２８により検出されたパン速度に基づいて、動きベクトル検出および補間フレーム生成において参照する過去フレームのラインの範囲、すなわち、参照範囲を決める第１の移動量Ｍ１を決定し、参照範囲情報として出力する。参照範囲決定回路２２は、例えば、過去フレームの物体が現在フレームの物体と概略重なり、ラインメモリ１６の第１および第２の記憶ライン数によって決まる動きベクトルの検出可能範囲または補間可能範囲に入るように、第１の移動量Ｍ１を決定する。最も単純には、第１の移動量Ｍ１は、過去フレームと現在フレームとの間のパン速度の縦方向成分と等しい。
【００６１】
最後に、タイミングコントローラ（補間フレーム生成回路制御部）２４は、参照範囲決定回路２２により決定された参照範囲情報としての第１の移動量Ｍ１に基づいて、第１の移動量Ｍ１に対応する第２の移動量Ｍ２および第２の移動量Ｍ２に対応する第３の移動量Ｍ３を算出する。これらの移動量Ｍ２，Ｍ３は、メモリコントローラ１４，動きベクトル検出回路１８，画面端処理回路３０，補間フレーム生成回路２０に送られ、これらの回路の動作タイミングの制御に利用される。
【００６２】
ここで、参照範囲決定回路２２、メモリコントローラ１４およびタイミングコントローラ２４は、本発明のメモリ制御回路を構成する。
【００６３】
次に、各部位における具体的な作用を説明する。
まず、パン動画の判定方法およびパン速度の検出方法について説明する。
【００６４】
パン検出回路２８では、まず、前述の本来の動きベクトルを用いて、入力画像がパン動画であるかどうかの判定が行われる。例えば、動きベクトルの頻度をカウントしてヒストグラムを作成することにより、画面全体の動きベクトルの傾向を知ることができる。例えば、少数の似通った動きベクトルに頻度が偏っているとき、または、動きベクトルの分布が、ある特定方向に偏っているときにパン動画であると判定できる。
【００６５】
そして、パン検出回路２８では、入力画像がパン動画であると判定した場合に、パン速度の検出が行われる。例えば、パン速度は、ヒストグラムのピーク値を持つ動きベクトルから求めることができる。
【００６６】
なお、加速度を伴うパン動画の場合には、次のフレームのパン速度を正確に予測する目的で、過去数フレームのパン速度の変化を調べて未来フレームのパン速度を算出することが望ましい。未来フレームのパン速度ｓ２は、例えば、過去フレームのパン速度をｓ０、現在フレームのパン速度をｓ１、加速度をａ１とすると、下記計算式（１）で求めることができる。
ｓ２＝ｓ１＋ａ１＝ｓ１＋（ｓ１−ｓ０） … （１）
【００６７】
続いて、過去フレームのラインの参照範囲の移動量決定方法について説明する。
【００６８】
参照範囲決定回路２２は、パン検出回路２８によりパン動画であると判定された場合に、パン速度の縦方向成分と動きベクトルの検出可能範囲（または補間可能範囲）との関係から、パン速度が検出可能範囲内に十分収まるように第１の移動量Ｍ１を決定する。パン速度は、方向と大きさを持つベクトル値である。移動量Ｍ１は、縦方向（下方向、もしくは、上方向）のスカラー量であり、ライン数で表される。従って、第１の移動量Ｍ１の決定においては、パン速度の縦方向成分のみが考慮される。
【００６９】
タイミングコントローラ２４は、第１の移動量Ｍ１に対応する第２の移動量Ｍ２、および、第２の移動量Ｍ２に対応する第３の移動量Ｍ３を算出する。
【００７０】
ただし、急なシーンチェンジが起きたときに対処できるように、参照範囲の移動量を制限することが望ましい。また、パン速度が検出可能範囲に対して十分小さい場合には参照範囲を移動しないことが望ましい。
【００７１】
図３は、パン速度と参照範囲移動量との関係を表す一例のグラフである。前述のように、パン速度は方向と大きさとを持つベクトル値であるが、移動量決定においてはその縦方向成分のみを考慮する。以下では単純のため、パン速度が縦方向成分のみを有すると仮定し、下方向が正、上方向が正のスカラー値として扱う。同図の横軸はパン速度ｖ［line/frame］、縦軸は参照範囲移動量ｍ［line］である。速度Ａ［line/frame］は、パン速度に応じて参照範囲の移動を行うかどうかを判断する閾値であり、参照範囲移動量Ｂ［line］は移動量の制限値、速度Ｃ［line/frame］は、移動量に制限がかかるときのパン速度を意味する。回路的には、これらのＡ，Ｂ，Ｃの値は可変とする。
【００７２】
タイミングコントローラ２４は、同図に示す関係を用いて、パン検出回路２８により検出されたパン速度、すなわち、参照範囲決定回路２２により決定された第１の移動量Ｍ１から、第２の移動量Ｍ２および第３の移動量Ｍ３を一意に算出する。図３に示すパン速度（もしくは、第１の移動量Ｍ１）と参照範囲移動量との関係は、例えば、算出式やルックアップテーブル（ＬＵＴ）の形式で実現することができる。
【００７３】
図３のグラフで示すように参照範囲を移動するときの見かけ上の動きｖ’は図４のグラフのようになる。従来の画像処理装置４０では、点線で示すように、パン速度ｖと見かけ上の動きｖ’は等しい。本実施形態の画像処理装置１０では、実線で示すように、パン速度ｖの増加に対して見かけ上の動きｖ’が緩やかに増加する。例えば、パン速度がＣのとき、参照範囲移動量が１フレーム当たりＢであることから、見かけ上の動きｖ’はＣ−Ｂとなる。
【００７４】
続いて、過去フレームのラインの参照範囲の移動方法について説明する。
【００７５】
メモリコントローラ１４は、タイミングコントローラ２４により算出された第２の移動量Ｍ２に基づいて、過去フレームをフレームメモリ１２から読み出して過去フレーム用ラインメモリに記憶するタイミングを、現在フレームを現在フレーム用ラインメモリに記憶するタイミングに対して遅くする、または、早くすることにより、過去フレームの参照範囲を移動する。
【００７６】
例えば、下方向にパンしていることが検出され、図３のグラフから過去フレームのラインの参照範囲を下方向に２ラインだけ移動させればよいことが分かった場合には、図５に示すように、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分遅くする。これにより、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，Ｌｉｎｅ’＃３，…は、現在フレームのラインＬｉｎｅ＃３の入力タイミングの位置から読み出しが開始される。
【００７７】
つまり、タイミングコントローラ２４およびメモリコントとローラ１４の制御により、画像における縦方向への空間的な位置の移動を、フレームメモリ１２の読み出しにおける時間的なタイミングの移動だけで実現している。
【００７８】
過去フレームのラインの読み出しタイミングを下方向へ２ライン分移動させると、ラインメモリ１６上に展開される画素データの範囲は図６のようになる（ラインメモリ１６の記憶ライン数が１０ラインの場合）。同図の例では、現在フレーム用ラインメモリに現在フレームのラインＬｉｎｅ＃３，Ｌｉｎｅ＃４，…，Ｌｉｎｅ＃１２が記憶され、これに対応して２ライン分ずれて、過去ライン用ラインメモリに過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃１０が記憶された状態を表している。
【００７９】
このように、現在フレームのラインに対して、過去フレームのラインが２ライン分移動された状態でラインメモリ１６上に展開された画素データを用いて動きベクトル検出を行うと、検出されたゼロベクトルは、実際には、下方向に２の大きさを持つベクトルであることを意味する。これは、検出可能な動きベクトルの下方向成分の範囲が２ライン分だけ拡大された状態であると考えることができる。
【００８０】
続いて、過去フレームのラインの参照範囲を移動した場合の動きベクトルの検出について説明する。
【００８１】
動きベクトル検出回路１８による動きベクトルの検出は、参照範囲を移動したかしていないかに関係なく、従来の画像処理装置４０の動きベクトル検出回路４８と同様に、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとを利用して実施される。
【００８２】
ただし、前述のように、参照範囲を移動した場合には、画面端部（画面の上端部および下端部）では動きベクトル検出回路１８は動きベクトルを算出しない。この領域については、画面端処理回路３０が、例えば、近くの領域の動きベクトルを参照するか、検出したパン速度を割り当てることにより、動きベクトルを追加する。
【００８３】
続いて、過去フレームのラインの参照範囲を移動した場合の補間フレームの生成について説明する。
【００８４】
参照範囲を移動した場合、画面端部において、動きベクトルによって対応づけられる過去フレームまたは現在フレームの画素データが、ラインメモリ内に存在しない領域が発生する。この領域については、補間フレーム生成回路２０により、例えば、過去フレームの画素データが存在しない領域が現在フレームの画素データで補間され、現在フレームの画素データが存在しない領域が過去フレームの画素データで補間される。
【００８５】
ただし、参照範囲を移動した場合、補間フレームに生成された画素の空間的な位置も移動される。従って、補間フレーム生成回路２０は、参照範囲を移動した分の補間フレームの画素の位置の移動分を補正する必要がある。以下、単純のため、動きベクトルも縦方向成分のみを有するとして説明する。
【００８６】
図７（Ａ）および（Ｂ）は、従来の画像処理装置における補間フレームの生成手順を示す概念図である。同図は、現在フレームと過去フレームとの中間位置（両者の中央位置）に補間フレームを生成する場合の例である。この場合、補間フレーム生成回路５０は、動きベクトルＶを検出した後（同図（Ａ））、動きベクトルＶによって対応づけられた過去フレームの画素と現在フレームの画素と（同図（Ａ））の中間位置に、すなわち、過去フレームの画素を基準としてＶ／２の位置に補間フレームの画素を生成する（同図（Ｂ））。
【００８７】
図８（Ａ）〜（Ｄ）は、本実施形態の画像処理装置における補間フレームの生成手順を示す概念図である。過去フレームのラインの参照範囲が移動量Ｍだけ移動されると（同図（Ａ））、動きベクトル検出回路１８により、本来の動きベクトルＶから移動量Ｍを引いた動きベクトルＶ−Ｍが検出される（同図（Ｂ））。補間フレーム生成回路２０により、この動きベクトルＶ−Ｍを用いて補間フレームを生成すると、動きベクトルＶ−Ｍによって対応づけられる過去フレームの画素の位置を基準として、Ｍ＋（Ｖ−Ｍ）／２＝（Ｖ／２＋Ｍ／２）の位置に補間フレームの画素が生成される（同図（Ｃ）、図７と同様に中間位置に補間フレームを生成する場合）。図８（Ａ）で参照範囲が移動された分、補間フレームの画素の空間的位置が移動されているため、最後に、補間フレームの画素を−Ｍ／２だけ移動させる（参照範囲の移動に対して逆方向へＭ／２だけ移動させる）ことによりＶ／２の位置に補正する（同図（Ｄ））。
【００８８】
同図（Ｄ）に示す補正では、一般的には、同図（Ａ）に示す移動量Ｍと、補間フレームの位相α（過去フレームからの時間的な補間位置）から補正量を計算して補間フレームの画像全体を移動する。生成する補間フレームの位相がα（０≦α≦１、中間位置に補間フレームを生成する場合にはα＝０．５）の場合には、補間フレームに生成した画素からなる−（１−α）Ｍだけ移動させればよい。
【００８９】
補間フレームの画像全体を移動させる処理は、補間フレーム生成回路２０により補間処理が開始されるタイミング、すなわち、ラインメモリ１６からの画素データの読み出しタイミングを移動することで実現することができる。つまり、動きベクトルの検出の場合と同様に、画像の縦方向への空間的な位置の移動を、ラインメモリ１６の読み出しの時間的なタイミングの移動だけで実現することができる。
【００９０】
図９は、過去フレームのラインの読み出しタイミングを遅くした場合の、図１０は、過去フレームのラインの読み出しタイミングを早くした場合の、動きベクトル検出および補間フレーム生成の処理タイミングを表すタイミングチャートである。これらのタイミングチャートにおいて、Ｌｉｎｅ＃ｉ、Ｌｉｎｅ’＃ｉ（１≦ｉ≦Ｎ）は現在フレームおよび過去フレームのｉ番目のライン、Ｖ＃ｉは補間フレームのｉ番目のラインの動きベクトル、Ｃ＃ｉは補間フレームのｉ番目のラインを示す。
【００９１】
なお、実際には、過去フレーム用ラインメモリに所定の記憶ライン数の画素データが記憶されてから動きベクトルの検出および補間フレームの生成が開始される。このため、動きベクトルＶおよび補正済み動きベクトルＶｃの生成のタイミングや、補間フレーム生成のタイミングは、現在フレームのラインの入力および過去フレームのラインの読み出しのタイミングに比較して遅れる。図９，１０では、このタイミングの遅れは示されていない。また、動きベクトルの検出と補間フレームの生成はピクセル単位で行われる。もしくは、動きベクトルの生成を複数の画素からなるブロックごとに行うことも可能である。
【００９２】
図９のタイミングチャートに示すように、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分遅くした場合、画面の上端では、現在フレームの最初の２ラインＬｉｎｅ＃１，Ｌｉｎｅ＃２に対応する過去フレームのラインが存在せず、下端では、過去フレームの最後の２ラインＬｉｎｅ’＃Ｎ−１，Ｌｉｎｅ’＃Ｎに対応する現在フレームのラインが存在しない。
【００９３】
実際の動きベクトルの検出は、同じタイミングで入力される現在フレームのラインの画素データと過去フレームのラインの画素データとのみを利用して行うのではなく、ラインメモリに記憶した複数のラインの画素データを利用して行う。このため、画面の上端および下端の、対応する現在フレームもしくは過去フレームのラインが存在しない領域でも、第１の移動量Ｍ１による縦方向成分の削減後に残留した動きベクトルの縦方向成分によっては、動きベクトル検出が可能な場合もある。これを考慮しても、動きベクトル検出ができない可能性は高い。そこで、このような上端および下端の領域では、前述のように、画面端処理回路３０が、時間的、もしくは、空間的に近くの領域の動きベクトルを参照するか、検出したパン速度を割り当てることにより、この領域の動きベクトルを追加する補正を行う。
【００９４】
補間フレーム生成回路２０は、補正された動きベクトルに基づいて、補間フレームを生成する。このとき、補間処理開始タイミング、すなわち、ラインメモリ１６から画素データを読み出すタイミングを１ライン分遅くすることにより、現在フレームのラインの入力タイミングに対して過去フレームのラインの読み出しタイミングを２ライン分遅くした分の補間フレームの位置の移動分を補正する。
【００９５】
これを分かりやすく、図１１〜図１３を用いて説明する。これらの図は、ラインメモリ１６の記憶ライン数がＮの場合である。
【００９６】
図１１に示すように、現在フレームのラインＬｉｎｅ＃１，Ｌｉｎｅ＃２，…，Ｌｉｎｅ＃Ｎに対して、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃Ｎが下方向に２ライン分移動しているとする。そして、動きベクトルの縦方向成分は移動量Ｍに等しい、すなわち、縦方向成分削減後の動きベクトルの縦方向成分は０であると仮定する。
【００９７】
この場合、図１２に示すように、現在フレームのラインＬｉｎｅ＃３，Ｌｉｎｅ＃４，…，Ｌｉｎｅ＃Ｎ−１，Ｌｉｎｅ＃Ｎと、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃Ｎ−３，Ｌｉｎｅ’＃Ｎ−２とがそれぞれ対応し、現在フレームのラインＬｉｎｅ＃１，Ｌｉｎｅ＃２に対応する過去フレームのライン、および、過去フレームのラインＬｉｎｅ’＃Ｎ−１，Ｌｉｎｅ’＃Ｎに対応する現在フレームのラインは存在しない。
【００９８】
従って、縦方向成分削減後の動きベクトルの縦方向成分が０である場合、動きベクトル検出回路１８は、過去フレームのラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２，…，Ｌｉｎｅ’＃Ｎ−３，Ｌｉｎｅ’＃Ｎ−２と現在フレームのラインＬｉｎｅ＃３，Ｌｉｎｅ＃４，…，Ｌｉｎｅ＃Ｎ−１，Ｌｉｎｅ＃Ｎとの間の動きベクトルＶ＃２，Ｖ＃３，…，Ｖ＃Ｎ−２，Ｖ＃Ｎ−１を検出することができる。しかし、補間フレームのラインＣ＃１，Ｃ＃Ｎを生成するために必要な動きベクトルＶ＃１，Ｖ＃Ｎを直接検出することができない。
【００９９】
このため、画面端処理回路３０は、例えば、周囲の動きベクトルまたは予測したパン速度を参照して、動きベクトルＶ＃１，Ｖ＃Ｎを追加する補正を行う。そして、補間フレーム生成回路２０は、補正された動きベクトルを用いて補間フレームを生成する。図１３に示すように、補間フレームのラインＣ＃１，Ｃ＃Ｎは、それぞれ、現在フレームのＬｉｎｅ＃２、過去フレームのＬｉｎｅ’＃Ｎ−１を参照して生成される。生成された補間フレームが期待する結果となっていることが分かる。
【０１００】
これに対し、図１０のタイミングチャートに示すように、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分早くした場合、画面の上端では、過去フレームの最初の２ラインＬｉｎｅ’＃１，Ｌｉｎｅ’＃２に対応する現在フレームのラインが存在せず、下端では、現在フレームの最後の２ラインＬｉｎｅ＃Ｎ−１，Ｌｉｎｅ＃Ｎに対応する過去フレームのラインが存在しない。
【０１０１】
同様に、動きベクトル検出回路１８は、この領域の動きベクトルを検出することができないため、画面端処理回路３０が、この領域の動きベクトルを追加する補正を行う。
【０１０２】
補間フレーム生成回路２０は、補正された動きベクトルに基づいて、補間フレームを生成する。このとき、補間処理開始タイミング、すなわち、ラインメモリ１６から画素データを読み出すタイミングを１ライン分早くすることにより、現在フレームのラインの入力タイミングに対して、過去フレームのラインの読み出しタイミングを２ライン分早くした分の補間フレームの位置の移動分を補正する。
【０１０３】
次に、画像処理装置１０の動作を説明する。
【０１０４】
動きベクトル検出回路１８では、動きベクトルＶ−Ｍ２が検出される。しかし、パン検出回路２８では、この動きベクトルＶ−Ｍ２を用いてパン速度を検出すると、本来の正しいパン速度を検出することができない。
【０１０５】
そこでまず、補正回路２６により、動きベクトル検出回路１８によって検出された動きベクトルＶ−Ｍ２が、本来の正しい動きベクトルＶに補正される。
【０１０６】
続いて、パン検出回路２８により、補正回路２６によって補正された動きベクトルＶに基づいて、パン動画なのかどうかの検出が行われ、パン動画である場合にはさらにパン速度が検出される。ここで求めるパン速度は、過去フレームと現在フレームとの間のパン速度の予測値である。
【０１０７】
そして、参照範囲決定回路２２により、パン検出回路２８によって検出されたパン速度から第１の移動量Ｍ１が決定され、タイミングコントローラ２４により、第１の移動量Ｍ１に対応する第２の移動量Ｍ２および第２の移動量Ｍ２に対応する第３の移動量Ｍ３が算出される。
【０１０８】
フレームメモリ１２には、メモリコントローラ１４の制御により、現在フレーム（入力画像）の直前の過去フレームの過去フレーム画素データが記憶される。
【０１０９】
現在フレーム画素データは、メモリコントローラ１４の制御により、ラインの順番に受信され、現在フレーム画素データが現在フレーム用ラインメモリに記憶される。また、フレームメモリ１２に記憶された過去フレーム画素データが、ラインの順番にフレームメモリ１２から読み出され、現在フレーム用ラインメモリに記憶された現在フレームのラインに対応する過去フレーム画素データが過去フレーム用ラインメモリに記憶される。
【０１１０】
図１４は、過去フレームと現在フレームとの間で下方向の動きがある場合の、補間フレームの生成工程を表す概念図である。同図には、現在フレームの各ラインの現在フレーム画素データの入力タイミングを基準タイミングとして、過去フレームの対応するラインの過去フレーム画素データの読み出しタイミング、動きベクトル検出回路１８による動きベクトルの検出タイミング、画面端処理回路が動きベクトルを追加するタイミング、補間フレームの対応するラインの補間フレーム画素データの生成タイミングが示されている。図１４に示すように、過去フレームのラインは、現在フレームのラインの入力タイミングに対して、第２の移動量Ｍ２だけ遅くしたタイミングでフレームメモリ１２から読み出される。つまり、過去フレーム用ラインメモリには、現在フレーム用ラインメモリに記憶された現在フレームのラインの範囲に対して、第２の移動量Ｍ２だけ後ろ（下）へ移動された範囲のラインの過去フレーム画素データが記憶される。
【０１１１】
現在フレーム用ラインメモリおよび過去フレーム用ラインメモリに所定の記憶ライン数の画素データが記憶されると、動きベクトル検出回路１８により、画像情報である、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の動きベクトルが検出される。
【０１１２】
動きベクトル検出回路１８により検出された動きベクトルは、過去フレームのラインのフレームメモリ１２からの読み出しタイミングが、現在フレームのラインの入力タイミングに対して第２の移動量Ｍ２だけ移動されているため、第２の移動量Ｍ２だけ縦方向成分が削減される。図１６の場合と同様に、実際には、動きベクトルＶおよび補正済み動きベクトルＶｃの生成のタイミングや、補間フレーム生成のタイミングは、現在フレームのラインの入力および過去フレームのラインの読み出しのタイミングに比較して遅れる。図１４では、この遅れは示されていない。
【０１１３】
また、画面端処理回路３０により、第３の移動量Ｍ３に基づいて、動きベクトル検出回路１８により検出された動きベクトルＶ−Ｍ２に対して、画面上下端部のラインの動きベクトルを追加する処理が行われ、補正済み動きベクトルＶｃ−Ｍ２が生成される。さらに、検出した動きベクトルを補間フレームの画素に割り付ける割付処理や、動きベクトルを割り付けることができなかった補間フレームの画素の動きベクトルを補う補間処理等の処理を行うことも可能である。
【０１１４】
最後に、補間フレーム生成回路２０により、補正済みベクトルＶｃ−Ｍ２と、現在フレーム用ラインメモリに記憶された現在フレーム画素データと、過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、過去フレームと現在フレームとの間の補間フレームの補間フレーム画素データが生成される。画面端処理回路３０による画面上下端部の動きベクトルの追加は、動きベクトル検出回路１８による動きベクトル検出と同一のフレーム期間内、すなわち、現在フレームの画素データが入力されている期間内に実施することも可能である。もしくは、次のフレーム期間内、すなわち、現在フレームの次のフレームの画素データが入力されている期間内に実施することも可能である。後者の場合、補間フレーム生成回路２０による補間フレームの生成も、次のフレーム期間に行う必要がある。前者の場合には、動きベクトル検出と同一のフレーム期間内に補間フレームの生成を行うことも、次のフレーム期間に行うことも可能である。
【０１１５】
補間フレームの生成を次のフレーム期間内に行う場合には、動きベクトル検出回路１８が動きベクトル検出に利用するための現在フレームおよび過去フレームの画素データを記憶するラインメモリとは別に、補間フレーム生成回路２０が補間フレーム生成において利用するための現在フレームおよび過去フレームの画素データを記憶するラインメモリを設けることが好ましい。この場合、前述のように、動きベクトルの検出をそれぞれの画素について行うのではなく複数の画素からなるブロックごとに行うことにすれば、動きベクトル検出に利用するラインメモリには一部の画素の画素データのみを記憶すればよい。これにより、動きベクトル検出に利用するラインメモリは、補間フレーム検出に利用するためにそれぞれの画素の画素データを記憶するラインメモリと比較して、容量を小さくすることができる。
【０１１６】
図１７は、本発明の画像処理装置で生成される補間フレームの位相および位置を表す概念図である。図１８に示すように、過去フレームの画素と現在フレームの画素との間の動きベクトルをＶ、補間フレームの位相をαとすると、従来の画像処理装置では、補間フレームの画素は、動きベクトルＶによって対応付けられる過去フレームの画素の位置を基準としてαＶの位置に生成される。これに対して、画像処理装置１０では、図１７に示すように、フレームメモリ１２からの過去フレーム画素データの読み出しタイミングを第２の移動量Ｍ２だけ移動したことにより、補間フレームの画像は、移動後の過去フレームの画素の位置を基準として、α（Ｖ−Ｍ２）の位置に生成される。そのため、図１８の場合と比較して、補間フレームの画素は、α（Ｖ−Ｍ２）＋Ｍ２−αＶ＝（１−α）Ｍ２だけ移動する。
【０１１７】
これに応じて、補間フレーム生成回路２０では、補間処理の開始タイミング（補間処理に利用する画素データのラインメモリ１６からの読み出しを開始するタイミング）が第３の移動量Ｍ３＝（１−α）Ｍ２だけ遅くされる。これにより、過去フレームのラインの参照範囲を第２の移動量Ｍ２だけ移動させたことによって移動した補間フレームの画素の位置を、本来の正しい位置に戻すことができる。
【０１１８】
一方、図１５は、過去フレームと現在フレームとの間で上方向の動きがある場合の、補間フレームの生成工程を表す概念図である。
【０１１９】
上方向の動きがある場合の動作は、過去フレームのラインが、現在フレームのラインの入力タイミングに対して、第２の移動量Ｍ２だけ早くしたタイミングでフレームメモリ１２から読み出される点と、補間処理の開始タイミング、つまり、補間処理に利用する画素データのラインメモリ１６からの読み出しを開始するタイミングが（１−α）Ｍ２だけ早くされる点を除いて、下方向の動きがある場合と同様である。
【０１２０】
画像処理装置１０では、従来の画像処理装置４０と比べて、回路を大きく変更することなく、しかも回路規模を大幅に増大させることもなく、高速なパン動画に対してもフレーム補間を行うことが可能になる。
【０１２１】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１２２】
１０、４０ 画像処理装置
１２、４２ フレームメモリ
１４、４４ メモリコントローラ
１６、４６ ラインメモリ
１８、４８ 動きベクトル検出回路
２０、５０ 補間フレーム生成回路
２２ 参照範囲決定回路
２４ タイミングコントローラ
２６ 補正回路
２８ パン検出回路
３０ 画面端処理回路
【特許請求の範囲】
【請求項１】
それぞれが複数の画素を含む横方向の複数のラインで構成される複数のフレームの間に、補間フレームを生成する画像処理装置であって、
現在フレームを構成する複数のラインの画素の画素値を表す現在フレーム画素データを、該ラインの順番に受信し、第１の所定の記憶ライン数を有する現在フレーム用ラインメモリに記憶するとともに、フレームメモリに記憶された、前記現在フレームの直前の過去フレームを構成する複数のラインの画素の画素値を表す過去フレーム画素データを、該ラインの順番に前記フレームメモリから読み出し、第２の所定の記憶ライン数を有する過去フレーム用ラインメモリに記憶するメモリ制御回路と、
前記補間フレームの画素の動きを示す動きベクトルを受け取り、該動きベクトルによって対応づけられる、前記現在フレーム用ラインメモリに記憶された現在フレーム画素データと前記過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、前記補間フレームのそれぞれのラインの画素の画素値を表す補間フレーム画素データを生成する補間フレーム生成回路とを備え、
前記補間フレーム生成回路は、前記動きベクトルとして、前記補間フレームの全体的な動きの速度であるパン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ、縦方向成分を削減した縦方向成分削減済み動きベクトルを前記動きベクトルとして受け取り、
前記メモリ制御回路は、前記現在フレーム用ラインメモリに前記現在フレームを構成するそれぞれのラインの現在フレーム画素データを記憶するタイミングに対して相対的に定められる、前記過去フレーム用ラインメモリに前記過去フレームを構成する対応するラインの過去フレーム画素データを記憶するタイミングを、前記第１の移動量Ｍ１がゼロである場合の標準タイミングから、該第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動することを特徴とする画像処理装置。
【請求項２】
前記メモリ制御回路は、
前記現在フレームを構成する複数のラインの現在フレーム画素データを、第１の開始タイミングから、ラインごとに所定の時間を要して前記現在フレーム用ラインメモリに記憶し、前記過去フレームを構成する複数のラインの過去フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第２の開始タイミングから、ラインごとに前記所定の時間を要して前記過去フレーム用ラインメモリに記憶するものであり、かつ、
前記第２の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２だけ移動することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補間フレーム生成回路が、前記補間フレームを構成する複数のラインの補間フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第３の開始タイミングから、ラインごとに前記所定の時間を要して生成するものであり、かつ、
前記第３の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２に応じて定めた移動量Ｍ３だけ移動する、補間フレーム生成回路制御部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記補間フレームが、前記過去フレームからα（０＜α＜１）、前記現在フレームから１−αだけ相対的に離れた時間位置の補間フレームであり、前記補間フレーム生成回路制御部が、前記移動量Ｍ３をＭ３＝（１−α）Ｍ２となるように移動することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記パン速度を、前記過去フレームの直前のフレームの画素と該過去フレームの画素との間の動きベクトルの分布に基づいて求めた、該過去フレームのパン速度を利用して算出する、パン速度算出回路をさらに備えることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記現在フレーム用ラインメモリに記憶した現在フレーム画素データと、前記過去フレーム用ラインメモリに記憶した過去フレーム画素データとを利用して、前記第１の移動量Ｍ１だけ縦方向の成分を削減した、前記過去フレームの画素と前記現在フレームの画素との間の動きベクトルを検出し、前記縦方向成分削減済み動きベクトルとして前記補間フレーム生成回路に供給する、動きベクトル検出回路をさらに備えることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。
【請求項１】
それぞれが複数の画素を含む横方向の複数のラインで構成される複数のフレームの間に、補間フレームを生成する画像処理装置であって、
現在フレームを構成する複数のラインの画素の画素値を表す現在フレーム画素データを、該ラインの順番に受信し、第１の所定の記憶ライン数を有する現在フレーム用ラインメモリに記憶するとともに、フレームメモリに記憶された、前記現在フレームの直前の過去フレームを構成する複数のラインの画素の画素値を表す過去フレーム画素データを、該ラインの順番に前記フレームメモリから読み出し、第２の所定の記憶ライン数を有する過去フレーム用ラインメモリに記憶するメモリ制御回路と、
前記補間フレームの画素の動きを示す動きベクトルを受け取り、該動きベクトルによって対応づけられる、前記現在フレーム用ラインメモリに記憶された現在フレーム画素データと前記過去フレーム用ラインメモリに記憶された過去フレーム画素データとに基づいて、前記補間フレームのそれぞれのラインの画素の画素値を表す補間フレーム画素データを生成する補間フレーム生成回路とを備え、
前記補間フレーム生成回路は、前記動きベクトルとして、前記補間フレームの全体的な動きの速度であるパン速度の縦方向成分に応じて定めた第１の移動量Ｍ１だけ、縦方向成分を削減した縦方向成分削減済み動きベクトルを前記動きベクトルとして受け取り、
前記メモリ制御回路は、前記現在フレーム用ラインメモリに前記現在フレームを構成するそれぞれのラインの現在フレーム画素データを記憶するタイミングに対して相対的に定められる、前記過去フレーム用ラインメモリに前記過去フレームを構成する対応するラインの過去フレーム画素データを記憶するタイミングを、前記第１の移動量Ｍ１がゼロである場合の標準タイミングから、該第１の移動量Ｍ１に対応する第２の移動量Ｍ２だけ移動することを特徴とする画像処理装置。
【請求項２】
前記メモリ制御回路は、
前記現在フレームを構成する複数のラインの現在フレーム画素データを、第１の開始タイミングから、ラインごとに所定の時間を要して前記現在フレーム用ラインメモリに記憶し、前記過去フレームを構成する複数のラインの過去フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第２の開始タイミングから、ラインごとに前記所定の時間を要して前記過去フレーム用ラインメモリに記憶するものであり、かつ、
前記第２の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２だけ移動することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補間フレーム生成回路が、前記補間フレームを構成する複数のラインの補間フレーム画素データを、前記第１の開始タイミングに対して相対的に定められる第３の開始タイミングから、ラインごとに前記所定の時間を要して生成するものであり、かつ、
前記第３の開始タイミングを、前記第１の移動量Ｍ１がゼロである場合の標準開始タイミングから、前記第２の移動量Ｍ２に応じて定めた移動量Ｍ３だけ移動する、補間フレーム生成回路制御部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記補間フレームが、前記過去フレームからα（０＜α＜１）、前記現在フレームから１−αだけ相対的に離れた時間位置の補間フレームであり、前記補間フレーム生成回路制御部が、前記移動量Ｍ３をＭ３＝（１−α）Ｍ２となるように移動することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記パン速度を、前記過去フレームの直前のフレームの画素と該過去フレームの画素との間の動きベクトルの分布に基づいて求めた、該過去フレームのパン速度を利用して算出する、パン速度算出回路をさらに備えることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記現在フレーム用ラインメモリに記憶した現在フレーム画素データと、前記過去フレーム用ラインメモリに記憶した過去フレーム画素データとを利用して、前記第１の移動量Ｍ１だけ縦方向の成分を削減した、前記過去フレームの画素と前記現在フレームの画素との間の動きベクトルを検出し、前記縦方向成分削減済み動きベクトルとして前記補間フレーム生成回路に供給する、動きベクトル検出回路をさらに備えることを特徴とする請求項１ないし５のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２３９０９３（Ｐ２０１２−２３９０９３Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０７８７３（Ｐ２０１１−１０７８７３）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（５０１２８５１３３）川崎マイクロエレクトロニクス株式会社 (449)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（５０１２８５１３３）川崎マイクロエレクトロニクス株式会社 (449)
【Ｆターム（参考）】
[ Back to top ]