画像処理装置および画像処理方法
【課題】異なる解像度の画像の記録再生を適切に行うことができる画像処理装置の提供を図る。
【解決手段】画像データ５０を第１のサンプリング点でサンプリングして縮小し第１縮小画像データ６１を生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データ６２を生成する分離回路２を含むように構成する。
【解決手段】画像データ５０を第１のサンプリング点でサンプリングして縮小し第１縮小画像データ６１を生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データ６２を生成する分離回路２を含むように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願で言及する実施例は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、静止画撮影機能などのために、高精細なイメージセンサを持つデジタルカメラやカムコーダなどの撮影および再生装置が提供されている。
【０００３】
すなわち、最近の撮影および再生装置において、静止画の記録画素は、広く普及したＴＶといった動画の視聴環境よりも高い解像度のセンサを用いることが一般的となっており、また、通常、静止画と動画を同時に撮影する機能も有している。
【０００４】
そのため、多くの撮影および再生装置において、少なくとも動画の記録に関しては、再生装置の解像度が一つの上限となり、記録画素からアップコンバートを行って高解像度を得なくてもセンサの解像度のまま記録すれば十分となっている。
【０００５】
ところで、近年、動画においても、４ｋ２ｋ（4000×2000 (3840×2160, 4098×2160) ピクセル）といった次世代の高解像度表示パネルへの切り替えが進んで行くものと考えられている。
【０００６】
そして、このような４ｋ２ｋといった高解像度表示パネルへの普及期においては、従来サイズとなるフルハイビジョン（フルＨＤ：1920×1080ピクセル：２ｋ１ｋ）程度のパネルでの視聴と４ｋ２ｋといった４倍の解像度の双方に対応する撮影装置が期待される。
【０００７】
すなわち、動画データのポータビリティのためには、撮影装置により広く普及している表示装置向けの解像度（例えば、フルＨＤ）にダウンコンバートを行って記録するのが好ましい。
【０００８】
そして、ダウンコンバートした動画データを再生装置により、高解像度化手段で記録解像度より高精細な解像度（例えば、４ｋ２ｋ）の画像を復元するアップコンバートを行って再生するのが好ましい。
【０００９】
なお、例えば、フルＨＤにダウンコンバートされたデータは、半導体メモリや光学および磁気ディスク等の記録媒体に記録されるのに限定されず、例えば、電波を利用した広域放送やインターネット等のネットワークを利用して配信されることもある。
【００１０】
ところで、従来、撮影位相を光学的または電子的にずらして撮影し、再生時に高品位に拡大を行う画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平０８−１７２５６８号公報
【特許文献２】特開２００８−０３３９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
前述したように、例えば、４ｋ２ｋといった高解像度表示パネルへの普及期においては、従来サイズとなるフルＨＤの解像度と、４ｋ２ｋといったフルＨＤの４倍の解像度の双方に対応する画像処理技術が期待される。
【００１３】
そのため、４ｋ２ｋおよびフルＨＤの２つの解像度の映像を同時に記録するか、或いは、記録時にダウンコンバートを行ってフルＨＤとして記録し、再生時に超解像技術などの高品位アップコンバート技術を利用して４ｋ２ｋ表示装置で再生することが考えられる。
【００１４】
しかしながら、４ｋ２ｋとフルＨＤの２つの解像度の映像を同時記録する場合、そのための記憶容量の増加、或いは、画像を処理するための回路規模や処理時間の増大を招くことになる。具体的に、例えば、記憶容量は、フルＨＤだけを記録する場合のほぼ５倍になってしまう。
【００１５】
一方、記録時にダウンコンバートし、再生時にアップコンバートする場合、前後の複数のフレームにわたり静止している領域については、高解像度化のための情報が少ないため画像の高解像度化が難しいといった課題がある。
【課題を解決するための手段】
【００１６】
一実施形態によれば、分離回路を含むことを特徴とする画像処理装置が提供される。前記分離回路は、画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成する。
【発明の効果】
【００１７】
開示の画像処理装置および画像処理方法は、異なる解像度の画像の記録再生を適切に行うことができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本実施例の画像処理装置が適用されるシステムの一例を示すブロック図である。
【図２】画像処理装置の第１実施例を示すブロック図である。
【図３】図２に示す画像処理装置の動作を説明するための図である。
【図４】図２に示す画像処理装置における処理の一例を説明するためのフローチャートである。
【図５】図２に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【図６】画像処理装置の第２実施例を示すブロック図である。
【図７】図６に示す画像処理装置の動作の一例を説明するための図である。
【図８】図６に示す画像処理装置の動作の他の例を説明するための図である。
【図９】図６に示す画像処理装置における処理の一例を説明するためのフローチャートである。
【図１０】図６に示す画像処理装置の動作のさらに他の例を説明するための図である。
【図１１】図６に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【図１２】図６に示す画像処理装置に適用される補間処理を説明するための図（その１）である。
【図１３】図６に示す画像処理装置に適用される補間処理を説明するための図（その２）である。
【発明を実施するための形態】
【００１９】
以下、画像処理装置および画像処理方法の実施例を、添付図面を参照して詳述する。図１は、本実施例の画像処理装置が適用されるシステムの一例を示すブロック図である。図１において、参照符号１は高解像度画像生成部、２は分離回路、３は記録部、そして、４は合成回路を示す。
【００２０】
高解像度画像生成部１は、例えば、イメージセンサであり、そのイメージセンサの高解像度を生かした４ｋ２ｋといった高解像度の画像データ（高解像度画像シーケンス５０）が分離回路（分離縮小手段）２に入力される。
【００２１】
分離回路２は、高解像度画像シーケンス５０を受け取って処理し、第１縮小画像データ（第１シーケンス６１）および第２縮小画像データ（第２シーケンス６２）を生成して記録部３に記録する。なお、分離回路２の詳細は、後に、図２〜図５を参照して詳述する。
【００２２】
合成回路４は、記録部３に記録された第１縮小画像データ（第１シーケンス７１）および第２縮小画像データ（第２シーケンス７２）を使用して、高解像度画像データ８２を合成する。また、低解像度画像データ８１は、記録部３からの第１シーケンス７１をそのまま使用する。なお、合成回路４の詳細は、後に、図６〜図１１を参照して詳述する。
【００２３】
ここで、記録部３からの第１シーケンス７１は、例えば、フルＨＤパネルに表示される低解像度画像データ８１として使用され、また、合成回路４の出力は、４ｋ２ｋパネルに表示される高解像度画像データ８２として使用される。
【００２４】
なお、分離回路２からの第１シーケンス６１および第２シーケンス６２を記録する記録部３は、例えば、半導体メモリや光学および磁気ディスク等の記録媒体に相当する。
【００２５】
さらに、分離回路２からの第１シーケンス６１および第２シーケンス６２は、記録部３に記録されるのに限定されず、例えば、電波を利用した広域放送やインターネット等のネットワークを利用して配信されることもある。
【００２６】
また、分離回路２および合成回路４は、例えば、動画の記録および再生を行う１つのカムコーダに設けられることもあるが、例えば、分離回路２を撮影カメラに設け、合成回路４を生成装置（例えば、広域放送の受信装置）に別々に設けられることもある。
【００２７】
図２は、画像処理装置の第１実施例を示すブロック図であり、分離回路２を示すものである。図２において、参照符号２０は制御プロセッサ、２１および２２は第１および第２ローパスフィルタおよびサンプラ（ＬＰＦ＋サンプラ）、そして、２３０はラインメモリを示す。
【００２８】
さらに、参照符号２４１は、第１シーケンスＳＯ１（６１）を格納して出力する第１縮小画像メモリを示し、また、２４２は、第２シーケンスＳＯ２（６２）を格納して出力する第２縮小画像メモリを示す。
【００２９】
図２に示されるように、分離回路２は、高解像度画像生成部１からの高解像度画像（例えば、４ｋ２ｋ）を受け取るラインメモリ２３０と、そのラインメモリ２３０の出力を受け取って処理する第１ＬＰＦ＋サンプラ２１および第１ＬＰＦ＋サンプラ２２を有する。
【００３０】
ここで、第１ＬＰＦ＋サンプラ２１および第１ＬＰＦ＋サンプラ２２は、ＬＰＦ＋間引きサンプリングを行うが、以下の記載では、これをリサンプリングと称する。
【００３１】
図３は、図２に示す画像処理装置の動作を説明するための図である。さらに、図４は、図２に示す画像処理装置における処理の一例を説明するためのフローチャートであり、また、図５は、図２に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【００３２】
ここで、本実施例は、高解像度画像（４ｋ２ｋ）と縮小画像（フルＨＤ）の解像度を４：１と仮定して説明する。また、図３は、例えば、４ｋ２ｋの各画素を注目点として、周辺の画素との演算（ＬＰＦ）によってリサンプリング画素を演算する際の位相を示し、４ｋ２ｋのうちの４×４画素を抜粋して図示したものである。
【００３３】
前述したように、高解像度画像シーケンス５０は、ラインメモリ２３０を介して第１ＬＰＦ＋サンプラ２１および第２ＬＰＦ＋サンプラ２２に供給される。ここで、ＬＰＦ（ＬＰＦフィルタ）は、中心画素に対して一定の大きさを持っており、例えば、３×３や５×５、或いは、偶数の場合もある。
【００３４】
そこで、図３に示す４×４画素領域における左上の画素Ｐ１１を考えると、Ｐ１１を中心としてその上下左右の周辺を含めた３×３や５×５の領域の画素データをＬＰＦに入力することになる。
【００３５】
また、４×４画素領域における各格子（Ｐ１１，Ｐ１２，…，Ｐ４４）は、縮小画像における画素と、高解像度シーケンスからのサンプリング（抽出）の画素重心の中心を表している。
【００３６】
なお、各格子は、ＬＰＦによる処理を行わない単純な間引きサンプリングであれば、縮小後の画素と対応する最近傍の画素に相当する。また、各格子は、例えば、サンプリングカーネルがｎ×ｍの画素領域を持つ場合には、縮小後の画素の中心と、対応する縮小前の領域の重心を模式的に表すことになる。
【００３７】
まず、図３に示されるように、高解像度画像シーケンス５０の高解像度画像から４×４画素領域Ｐ１１〜Ｐ４４を抜粋して、ＬＰＦカーネルの演算に必要な周辺の画素とともに第１ＬＰＦ＋サンプラ２１および第２ＬＰＦ＋サンプラ２２に供給する。
【００３８】
ここで、ＬＰＦにおいて、フレーム外の画素を参照する場合には、例えば、境界の有効画素を用いてパディングを行って足りない画素を仮想的に創出する。なお、このパディングは、単なる例であり、様々な手法を利用することができるのはいうまでもない。
【００３９】
第１ＬＰＦ＋サンプラ２１では、注目フレーム（カレントフレームＣＦ）の前のフレームＰＦにおいて、供給された４×４画素領域Ｐ１１〜Ｐ４４とその周辺画素から、例えば、斜めハッチングで示す４つの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３を中心（重心）としてＬＰＦを適用しリサンプリングする。
【００４０】
なお、第１ＬＰＦ＋サンプラ２１では、カレントフレームＣＦ，および，カレントフレームの次のフレームＮＦにおいても、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、斜めハッチングで示す４つの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３を重心としてＬＰＦを適用しリサンプリングする。ここで、画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３が第１サンプリング点に相当する。
【００４１】
ここで、フレームＰＦおよびＮＦは、フレームＣＦを中心として前後のフレームとして説明したが、例えば、前の２フレームおよび後ろの２フレームを含め、第２シーケンスの位相がすべて異なる条件のもと、任意の前後のフレームが対象となる。
【００４２】
さらに、４画素の重心としては、例えば、４つの画素の十字中心を第１シーケンスの重心とし、４つの画素の（左上，右上，左下および右下の画素）のそれぞれの中央を第２シーケンスの重心とすることもできる。
【００４３】
図４に示されるように、第１シーケンスフレーム処理が開始すると、まず、ステップＳＴ１１において、縮小画像の画素ループを初期化してステップＳＴ１２に進み、第１サンプリング点でのリサンプリング（ＬＰＦ＋間引きサンプリング）を行う。
【００４４】
ステップＳＴ１１およびステップＳＴ１２の処理は、図３の例では、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、斜めハッチングで示す４つの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３を重心としてリサンプリングするのに相当する。
【００４５】
さらに、ステップＳＴ１３に進んで、すべての画素の処理が終了したかどうかを判定し、すべての画素の処理は終了していないと判定すると、ステップＳＴ１４に進んで縮小画像ループを更新してステップＳＴ１２に戻る。そして、ステップＳＴ１３において、すべての画素の処理が終了したと判定すると、フレーム処理を終了する。
【００４６】
このようにして、第１ＬＰＦ＋サンプラ２１は、各フレームにおける固定された間引き位置の画素の画像データをリサンプリングし、そのリサンプリングされた画像データが第１縮小画像メモリ２４１を介して出力される。なお、第１縮小画像メモリ２４１から出力される画像データが、図１における第１シーケンス６１に対応する。
【００４７】
一方、第２ＬＰＦ＋サンプラ２２では、カレントフレームの前のフレームＰＦにおいて、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、ドット模様で示す４つの画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４を重心としてリサンプリングする。
【００４８】
また、第２ＬＰＦ＋サンプラ２２では、カレントフレームＣＦにおいて、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、縦ハッチングで示す４つの画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４を重心としてリサンプリングする。
【００４９】
そして、第２ＬＰＦ＋サンプラ２２では、カレントフレームの次のフレームＮＦにおいて、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、横ハッチングで示す４つの画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３を重心としてリサンプリングする。
【００５０】
なお、フレームＮＦのさらに次のフレームでは、フレームＰＦと同様に、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、ドット模様で示す４つの画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４を重心としてリサンプリングし、順次同様の処理を繰り返す。
【００５１】
ここで、画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４、画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４、および、画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３が第２サンプリング点に相当する。
【００５２】
図５に示されるように、第２シーケンスフレーム処理が開始すると、まず、ステップＳＴ２０において、位相を選択してステップＳＴ２１に進む。すなわち、図３における４×４画素領域Ｐ１１〜Ｐ４４から選択する４つの画素を、ドット模様，縦ハッチングおよび横ハッチングの３つの位相（パターン）におけるいずれのパターンで取り込むかを規定する。
【００５３】
そして、ステップＳＴ２１において、縮小画像の画素ループを初期化してステップＳＴ２２に進み、リサンプリングを行う。
【００５４】
ステップＳＴ２１およびステップＳＴ２２の処理は、図３の例では、４×４画素領域Ｐ１１〜Ｐ４４から、ステップＳＴ２０で規定されたドット模様，縦ハッチングまたは横ハッチングのいずれかのパターンによる４つの画素を重心としてリサンプリングするのに相当する。
【００５５】
さらに、ステップＳＴ２３に進んで、すべての画素の処理が終了したかどうかを判定し、すべての画素の処理は終了していないと判定すると、ステップＳＴ２４に進んで縮小画像ループを更新してステップＳＴ１２に戻る。そして、ステップＳＴ２３において、すべての画素の処理が終了したと判定すると、フレーム処理を終了する。
【００５６】
このようにして、第２ＬＰＦ＋サンプラ２２は、３つのフレームを１周期として、画像データをリサンプリングし、そのリサンプリングされた画像データが第２縮小画像メモリ２４２を介して出力される。なお、第２縮小画像メモリ２４２から出力される画像データが、図１における第２シーケンス６２に対応する。
【００５７】
以上において、全体的な処理流れとしては、１フレーム単位に行われるが、第１および第２シーケンスは、同時に１フレームずつ処理が行われる。なお、後述する合成処理に関しては、各時点の前後のフレームも利用する。
【００５８】
ここで、第２シーケンスは、次のフレームに移るとサンプリング位相を変化させ、例えば、３種類のサンプリング位置を巡回する。なお、上述した説明において、例えば、４：１の縮小では、４×４画素の図が最少の繰り返しパターンであるために採用しているだけであり、処理は１フレームにわたり順に処理され、４×４単位に処理を行うことに限定されるものではない。
【００５９】
さらに、分離回路２に供給される高解像度画像シーケンス５０は、例えば、４ｋ２ｋの高解像度画像であり、また、分離回路２から出力される第１および第２シーケンス６１，６２は、例えば、フルＨＤの低解像度画像であるが、これらに限定されるものではない。
【００６０】
図６は、画像処理装置の第２実施例を示すブロック図であり、合成回路４を示すものである。図６において、参照符号４０は制御プロセッサ、４１は動き検出回路、４２は合成処理回路、４３はメモリコントローラ、４４１は低解像度画像表示用出力ＩＦ回路、４４２は高解像度画像表示用出力ＩＦ回路、そして、４８は高解像度ブロックメモリを示す。
【００６１】
図６に示されるように、合成回路４は、制御プロセッサ４０、並びに、制御プロセッサ４０により制御される動き検出回路４１，合成処理回路４２，メモリコントローラ４３およびメモリを有する。ここで、動き検出回路４１，合成処理回路４２およびメモリコントローラ４３は、制御プロセッサ４０により制御される。
【００６２】
動き検出回路４１は、サーチ範囲バッファメモリ４７１を介した第１シーケンスの第１参照入力ＳＲ１１、および、サーチ範囲バッファメモリ４５１を介した第１シーケンスの第２参照入力ＳＲ１２を受け取る。さらに、動き検出回路４１は、カレントブロックメモリ４６１を介した第１シーケンス入力ＳＩ１０を受け取る。
【００６３】
合成処理回路４２は、参照ブロックメモリ４７２を介した第２シーケンスの第１参照入力ＳＲ２１、および、参照ブロックメモリ４５２を介した第２シーケンスの第２参照入力ＳＲ２２を受け取る。
【００６４】
さらに、合成処理回路４２は、カレントブロックメモリ４６２を介した第２シーケンスＳＩ２のカレント入力ＳＩ２０、および、カレントブロックメモリ４６１を介した第１シーケンスＳＩ１のカレント入力ＳＩ１０を受け取る。
【００６５】
ここで、カレントブロックメモリ４６１を介した第１シーケンス入力ＳＩ１０は、低解像度ラインメモリ４９１および低解像度表示用出力ＩＦ（インターフェース）回路４４１を介して、低解像度画像データ８１として出力される。
【００６６】
また、合成処理回路４２は、高解像度ブロックメモリ４８との間でデータの遣り取りを行い、合成処理回路４２の出力は、高解像度ラインメモリ４９２および高解像度表示用出力ＩＦ回路４４２を介して、高解像度画像データ８１として出力される。
【００６７】
以上において、第１シーケンスＳＩ１のカレント入力ＳＩ１０，第１シーケンスの第１参照入力ＳＲ１１および第１シーケンスの第２参照入力ＳＲ１２は、第１シーケンスＳＩ１（７１）に対応する。
【００６８】
ここで、入力ＳＩ１０は、第１シーケンスＳＩ１のカレント（注目）フレーム入力に相当し、入力ＳＲ１１はカレントフレームの１つ前のフレーム入力に相当し、そして、入力ＳＲ１２は、カレントフレームの１つ後のフレーム入力に相当する。
【００６９】
同様に、第２シーケンスのカレント入力ＳＩ２０，第２シーケンスの第１参照入力ＳＲ２１および第２シーケンスの第２参照入力ＳＲ２２は、第２シーケンスＳＩ２（７２）に対応する。
【００７０】
ここで、入力ＳＩ２０は、第２シーケンスＳＩ２のカレントフレーム入力に相当し、入力ＳＲ２１はカレントフレームの１つ前のフレーム入力に相当し、そして、入力ＳＲ２２は、カレントフレームの１つ後のフレーム入力に相当する。
【００７１】
図７は、図６に示す画像処理装置の動作の一例を説明するための図であり、また、図８は、図６に示す画像処理装置の動作の他の例を説明するための図であり、そして、図９は、図６に示す画像処理装置における処理の一例を説明するためのフローチャートである。
【００７２】
ここで、本実施例は、高解像度画像（４ｋ２ｋ）と縮小画像（フルＨＤ）の解像度を４：１と仮定して説明する。また、図７および図８は、例えば、縮小画像の第１シーケンス７１（ＳＩ１）および第２シーケンス７２（ＳＩ２）から高解像度画像データ８２を合成する様子を示している。
【００７３】
なお、図７は、注目フレーム（カレントフレームＣＦ）に対して、その前後のフレームＰＦおよびＮＦで両方とも静止判定の場合を示し、また、図８は、前のフレームＰＦで動判定、且つ、後のフレームＮＦで静止判定の場合を示す。さらに、図７および図８において、グリッド（格子）は縮小画像０．５画素小数精度とされ、これが高解像度ピクセルグリッドに対応する。
【００７４】
まず、フレームを格子状のブロックに分割し、同一ブロック位置（同一ブロック座標）について、第１シーケンスＳＩ１（７１）のカレントフレームＣＦおよびその前後のフレームＰＦ，ＮＦにより静止判定を行う。
【００７５】
具体的に、第１シーケンスＳＩ１のフレームＰＦおよびＣＦの格子（画素）Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３、並びに、第１シーケンスＳＩ１のフレームＣＦおよびＮＦの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３により静止判定を行う。
【００７６】
まず、図７は、第１シーケンスＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３が３つのフレームＰＦ，ＣＦおよびＮＦで静止していると判定された場合を示し、そのときは、位相情報を用いて合成する。
【００７７】
すなわち、図３および図５を参照して説明したドット模様，縦ハッチングおよび横ハッチングの３つのパターンを巡回する３フレーム巡回の場合には、第２シーケンスＳＩ２（７２）のフレームＰＦ，ＣＦおよびＮＦを参照画像として処理する。
【００７８】
具体的に、ＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３とともに、ＳＩ２のフレームＰＦの画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４、フレームＣＦの画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４、および、フレームＮＦの画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４４を参照する。
【００７９】
これにより、図７に示されるように、第２シーケンスＳＩ２の前後のフレームＰＦ，ＮＦを参照画像として動き補償（ＭＣ：Motion Compensation）を行って高解像度画像（例えば、４ｋ２ｋ）を合成する。
【００８０】
次に、図８は、第１シーケンスＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３がＰＦからＣＦで動いていると判定（動判定）され、ＣＦからＮＦで静止していると判定（静止判定）された場合を示す。
【００８１】
このとき、カレントフレームＣＦから後のフレームＮＦは静止判定なので、ＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３とともに、ＳＩ２のＣＦの画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４、および、ＮＦの画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４４を参照する。
【００８２】
一方、前のフレームＰＦからカレントフレームＣＦは動判定なので、画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３は、第２シーケンスＳＩ２のＰＦの画素を参照せずに、補間画素を生成して高解像度画像（例えば、４ｋ２ｋ）を合成する。すなわち、動判定された場合、カレントフレームＣＦと参照フレームに対応する第２シーケンスＳＩ２における前のフレームＰＦは使用せずに、補間を行う。
【００８３】
なお、補間画素は、カレントフレームＣＦに対して前後１フレーム（ＰＦ，ＮＦ）を参照画像として生成するものに限定されず、例えば、前または後ろ２フレームを参照画像として生成することもできる。さらに、補間画素の生成は、より多くの画像を参照してもよいが、その時の合成は、例えば、加重平均や最近傍の時刻のフレームを採用するといった処理を行うことになる。
【００８４】
図９に示されるように、合成処理が開始すると、まず、ステップＳＴ３１において、縮小画像を格子状に区切り、ブロックループを初期化してステップＳＴ３２に進む。
【００８５】
ステップＳＴ３２では、第１シーケンスのカレント画像と、同時刻の第２シーケンスのカレント画像から対応する高解像度画像を生成して、ステップＳＴ３３に進む。ステップＳＴ３３では、第１および第２シーケンスのカレントの位相以外の画素に対して補間候補とマークを生成する。
【００８６】
さらに、ステップＳＴ３４に進んで、参照画像に関する参照ループを初期化してステップＳＴ３５に進み、第１シーケンスのカレント画像と、参照フレームで静止判定を行うように、ステップＳＴ３６に進む。
【００８７】
ステップＳＴ３６では、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和（ＳＡＤ：Sum of Absolute Difference）が閾値よりも小さいかどうかを判定する。なお、ＳＡＤの値が小さいほど、似ている位置（静止に近い状態）になる。また、ＳＡＤ以外にも、輝度差の２乗和（ＳＳＤ：Sum of Squared Difference）等の他の手法を用いることもできる。
【００８８】
ステップＳＴ３６において、静止している、すなわち、ＳＡＤ＜閾値であると判定すると、ステップＳＴ３７を介してステップＳＴ３８に進み、逆に、静止していない、すなわち、ＳＡＤ＜閾値ではないと判定すると、直接ステップＳＴ３８に進む。
【００８９】
ステップＳＴ３７では、第１シーケンス参照画像と同時刻の第２シーケンス参照画像の位相情報からブロックを抽出して対応画素を生成し、補間候補のマークを外して、ステップＳＴ３８に進む。ステップＳＴ３８において、すべての参照画像の処理が終了したかどうかを判定し、すべての参照画像の処理が終了したと判定するとステップＳＴ３９に進む。
【００９０】
ステップＳＴ３９では、すべてのブロックの処理が終了したかどうかを判定し、すべてのブロックの処理が終了したと判定すると合成処理を終了し、また、すべてのブロックの処理が終了していないと判定するとステップＳＴ４１に進む。
【００９１】
一方、ステップＳＴ３８において、すべての参照画像の処理が終了していないと判定するとステップＳＴ４０に進み、参照フレームのループを更新してステップＳＴ３５に戻る。そして、ステップＳＴ３８ですべての参照画像の処理が終了したと判定するまで同様の処理を繰り返す。
【００９２】
ステップＳＴ４１では、補間候補にマークされた画素を補間し、ブロックループを更新してステップ３２に戻り、同様の処理を繰り返す。
【００９３】
このように、本実施例の画像処理装置によれば、例えば、イメージセンサの高解像度を生かした４ｋ２ｋといった高解像度の記録再生と、再生互換性を重視して広く普及したフルＨＤといった解像度の記録再生を両立させることができる。
【００９４】
すなわち、本実施例の画像処理装置によれば、高解像度の記録に際して少ないデータ量および処理量で記録再生を行うとともに、高解像の動画像と低解像度の動画像の記録再生を実現することが可能になる。
【００９５】
具体的に、例えば、４ｋ２ｋとフルＨＤの再生装置を対象とすれば、これらを同時に記録する場合に比べ２／５程度のデータ量と、２／５程度の処理量または回路規模で効果的な記録再生機能を実現することができる。さらに、フルＨＤの再生機器で広く再生できる映像を容易に分離することも可能になる。
【００９６】
また、４ｋ２ｋ専用装置を対象とすれば、高解像度単体の記録に対しては、１／２程度のデータ量と処理量または回路規模とすることができる。
【００９７】
図１０は、図６に示す画像処理装置の動作のさらに他の例を説明するための図であり、また、図１１は、図６に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【００９８】
ここで、図１０および図１１に示す実施例は、図７〜図９を参照して説明した実施例に対して、さらにブロックマッチングによる動き検出を行うようになっている。なお、図１０において、グリッド（格子）は縮小画像０．５画素小数精度とされ、これが高解像度ピクセルグリッドに対応する。
【００９９】
すなわち、前述した図７〜図９に示す実施例では、第１シーケンスＳＩ１における同一ブロック位置（同一ブロック座標）について、カレントフレームＣＦおよびその前後のフレームＰＦ，ＮＦによる静止判定を行っていた。
【０１００】
これに対して、図１０および図１１に示す実施例では、例えば、類似度としてＳＡＤを利用し、ベクトルの大きさ，フレーム間距離を基にした重みとＳＡＤを加えたものをコスト（ＣＯＳＴ）とする。そして、コストがある閾値よりも小さく、最終的に最も類似していた位置を動きベクトルとして規定する。
【０１０１】
ここで、類似していない場合、すなわち、コストがある閾値以上である場合には、動き補償対象とはしない。また、重みは、時間的に遠いフレームの動きを信用しない方向に制御するため、考慮しなくてもよい。なお、補間画素は、前述したのと同様にして生成することができる。
【０１０２】
具体的に、図１０は、カレントフレームＣＦが、前のフレームＰＦに対して右上方向に動いており、また、後のフレームＮＦが、カレントフレームＣＦに対して右上方向に動いている場合を示す。
【０１０３】
まず、フレームを格子状のブロックに分割し、第１シーケンスＳＩ１のカレントフレームＣＦおよびその前後のフレームＰＦ，ＮＦにおいて、ブロックマッチングにより動き検出を行う。
【０１０４】
具体的に、第１シーケンスＳＩ１の前のフレームＰＦおよびカレントフレームＣＦのブロック（画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）のマッチングから動き推定（ＭＥ：Motion Estimation）を行って、動きベクトルを検出する。
【０１０５】
同様に、第１シーケンスＳＩ１のカレントフレームＣＦおよび後のフレームＮＦのブロック（画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）のマッチングから動き推定（ＭＥ）を行って、動きベクトルを検出する。
【０１０６】
ここで、図１０は、上記検出された動きベクトルによる座標の補正が行われた後における、図７の場合（カレントフレームＣＦに対して、その前後のフレームＰＦおよびＮＦで両方とも静止判定の場合）に相当する。
【０１０７】
そして、第２シーケンスＳＩ２において、検出された動きベクトルによる座標の補正を行った後、前述した図７と同様に、例えば、３フレーム巡回の場合には、第２シーケンスＳＩ２のフレームＰＦ，ＣＦおよびＮＦを参照画像として処理する。
【０１０８】
すなわち、図１０に示されるように、第２シーケンスＳＩ２において、検出された動きベクトルによる座標補正を行った前後のフレームＰＦ，ＮＦを参照画像として動き補償（ＭＣ）を行って高解像度画像（例えば、４ｋ２ｋ）を合成する。
【０１０９】
なお、一致するブロックが検出できない場合、すなわち、上述のコストがある閾値よりも大きい場合には、動き補償対象とはせずに、補間画素を生成することになる。
【０１１０】
ここで、ブロックマッチングとしては、様々な手法を適用することができ、例えば、複数の参照画像を用いるとき、すでに補間済みの画素が存在し、同じ位相で新たに動き補償が可能となったブロックが存在した場合には、以下の何れかの処理を行うことができる。
【０１１１】
すなわち、時間的に近いフレームを優先する、平均を取る、フレームの時間的距離を加味した重みで合成する、或いは、上書きを行う（予め決めた参照フレームの処理順で優先順位を決定する）といった処理の何れかを実行する。
【０１１２】
さらに、参照画像による補償画素がなかった場合には、例えば、カレントの第１および第２フレームの画素から補間を行うことができる。
【０１１３】
以上の処理を、図１１を参照して説明する。なお、図１１に示す処理は、前述した図９の処理からステップＳＴ３５およびＳＴ３６の処理を変更したものに相当する。
【０１１４】
すなわち、図１１に示されるように、合成処理が開始すると、まず、ステップＳＴ３１において、縮小画像を格子状に区切り、ブロックループを初期化してステップＳＴ３２に進む。
【０１１５】
ステップＳＴ３２では、第１シーケンスのカレント画像と、同時刻の第２シーケンスのカレント画像から対応する高解像度画像を生成して、ステップＳＴ３３に進む。ステップＳＴ３３では、第１および第２シーケンスのカレントの位相以外の画素に対して補間候補とマークを生成する。
【０１１６】
さらに、ステップＳＴ３４に進んで、参照画像に関する参照ループを初期化してステップＳＴ３５’に進み、第１シーケンスのカレント画像と、参照フレームで動き検出を行うように、ステップＳＴ３６’に進む。
【０１１７】
ステップＳＴ３６’では、前述したＣＯＳＴが閾値よりも小さいかどうかを判定する。ここで、ＣＯＳＴは、例えば、類似度としてＳＡＤを利用し、ベクトルの大きさ，フレーム間距離を基にした重みとＳＡＤを加えたものである。なお、ＳＡＤ以外にもＳＳＤ等の他の手法を用いることもできる。
【０１１８】
ステップＳＴ３６’において、ＣＯＳＴが閾値よりも小さい（ＣＯＳＴ＜閾値）と判定すると、ステップＳＴ３７を介してステップＳＴ３８に進み、逆に、ＣＯＳＴ＜閾値ではないと判定すると、直接ステップＳＴ３８に進む。
【０１１９】
ここで、ＣＯＳＴ＜閾値で、最終的に最も類似していた位置が動きベクトルとなる。なお、前述したように、第２シーケンスの各フレームは、例えば、検出された動きベクトルによる座標の補正が行われることになる。
【０１２０】
ステップＳＴ３７では、第１シーケンス参照画像と同時刻の第２シーケンス参照画像の位相情報からブロックを抽出して対応画素を生成し、補間候補のマークを外して、ステップＳＴ３８に進む。ステップＳＴ３８において、すべての参照画像の処理が終了したかどうかを判定し、すべての参照画像の処理が終了したと判定するとステップＳＴ３９に進む。
【０１２１】
ステップＳＴ３９では、すべてのブロックの処理が終了したかどうかを判定し、すべてのブロックの処理が終了したと判定すると合成処理を終了し、また、すべてのブロックの処理が終了していないと判定するとステップＳＴ４１に進む。
【０１２２】
一方、ステップＳＴ３８において、すべての参照画像の処理が終了していないと判定するとステップＳＴ４０に進み、参照フレームのループを更新してステップＳＴ３５’に戻る。そして、ステップＳＴ３８ですべての参照画像の処理が終了したと判定するまで同様の処理を繰り返す。
【０１２３】
ステップＳＴ４１では、補間候補にマークされた画素を補間し、ブロックループを更新してステップ３２に戻り、同様の処理を繰り返す。
【０１２４】
図１０および図１１に示す実施例のように、ブロックマッチングによる動き検出を行うと、そのためのメモリや処理回路の増加を招くことになるが、前述した図７〜図９の実施例に比べて、より高画質な高解像度画像を得ることができる。
【０１２５】
以上において、動き検出や静止判定によっては、合成結果または高解像度画像にマッピングされなかった画素、すなわち、補償できなかった画素が存在する。このような補償できなかった画素による隙間を埋めるために、例えば、初期値として、第１シーケンスから１６ｔａｐバイキュービックやバイリニア或いは加重平均といった内挿により補間画素を生成しておく。
【０１２６】
そして、生成された補間画素に対して、補償された画素を上書きするか、加重平均を行うか、或いは、最終的にマッピングされなかった画素に対して内挿手段を用いて画素を埋めることになる。これらの手法として、知られている他の様々なものを適用することもできる。
【０１２７】
図１２および図１３は、図６に示す画像処理装置に適用される補間処理を説明するための図である。前述したように、本実施例において、補間画像を得るための補間処理としては、様々な手法を適用することが可能である。
【０１２８】
具体的に、図１２（ａ）は、補間対象にマークされた画素ＰＰの上下左右４つの画素から補間画像を求める手法を示し、また、図１２（ｂ）は、画素ＰＰの上下２つの画素から補間画像を求める手法を示す。
【０１２９】
さらに、図１２（ｃ）は、画素ＰＰの左右２つの画素から補間画像を求める手法を示し、そして、図１２（ｄ）は画素ＰＰに隣接する８つの画素から補間画像を求める手法を示す。なお、これら補間画像の生成は、もっとも簡単には平均値を用いる。
【０１３０】
また、図１３は、上述した手法に加えて、さらに外側の画素を用いて補間画像を生成するものであり、Ｎｔａｐの１次元内挿フィルタ、或いは、Ｎ×Ｎの２次元内挿フィルタを用いて補間画像を生成するものを示す。
【０１３１】
すなわち、図１３（ａ）は、図１２（ｂ）の画素ＰＰの上下２つの画素に加えてさらに一回り外側の２つの画素を用いて補間画像を求める手法を示す。また、図１３（ｂ）は、図１２（ｃ）の画素ＰＰの左右２つの画素に加えてさらに一回り外側の２つの画素を用いて補間画像を求める手法を示す。
【０１３２】
さらに、図１３（ｃ）は、図１２（ａ）の画素ＰＰの上下左右４つの画素に加えてさらに一回り外側の４つの画素を用いて補間画像を求める手法を示す。また、図１３（ｄ）は、図１２（ａ）の画素ＰＰの上下左右４つの画素に加えてさらに一回り外側の１２個の画素を用いて補間画像を求める手法を示す。
【０１３３】
ここで、図１３（ｄ）の例では、図示されるように、ｘ軸およびｙ軸は斜め方向に設定され、また、補間画像ＰＰからの距離に応じて重み付けがなされている。
【０１３４】
そして、図１３（ｅ）は、図１２（ｄ）の画素ＰＰに隣接する８つの画素に加えてさらに一回り外側の３２個の画素を用いて補間画像を求める手法を示す。なお、上述した補間画像の生成手法は、単なる例であり、知られている他の様々な手法を適用することができるのはいうまでもない。
【０１３５】
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成する分離回路を含むこと
を特徴とする画像処理装置。
【０１３６】
（付記２）
前記分離回路は、
前記画像データを前記第１のサンプリング点でサンプリングする第１フィルタと、
前記画像データを前記第２のサンプリング点でサンプリングする第２フィルタと、
を含むことを特徴とする付記１に記載の画像処理装置。
【０１３７】
（付記３）
前記第１のサンプリング点は固定され、
前記第２のサンプリング点は前記画像データのフレーム毎に異なること
を特徴とする付記１または付記２に記載の画像処理装置。
【０１３８】
（付記４）
前記第２のサンプリング点はフレーム毎に周期的に変化すること
を特徴とする付記３に記載の画像処理装置。
【０１３９】
（付記５）
第１のサンプリング点でサンプリングされた第１縮小画像データに含まれる第１フレーム画像内の第１ブロック画像と前記第１縮小画像データに含まれる第１参照フレーム画像内の第１参照ブロック画像とに基づいて動きを検出する動き検出回路と、
前記第１ブロック画像と前記第１参照ブロック画像とが動いていないと判定されるとき、前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングされた第２縮小画像データに含まれる第２フレーム画像内のブロック画像であって前記第１ブロック画像または前記第１参照ブロック画像と同時刻の第２ブロック画像を抽出し、前記第１ブロック画像と前記第２ブロック画像とに基づいて前記第１ブロック画像に対応する第１画像データを生成する合成処理回路と、
を含むことを特徴とする画像処理装置。
【０１４０】
（付記６）
前記第１フレーム画像および前記第２フレーム画像は低解像度画像データに対応し、前記第１画像データは高解像度画像データに対応すること
を特徴とする付記４に記載の画像処理装置。
【０１４１】
（付記７）
前記第１ブロック画像と前記第１参照ブロック画像とが動いていると判定されるとき、前記第２ブロック画像に対応する画像データを補間して、前記第１画像データを生成すること
を含むことを特徴とする付記５または付記６に記載の画像処理装置。
【０１４２】
（付記８）
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との輝度差の総和に基づいて前記動きを検出すること
を特徴とする付記５乃至付記７の何れか一に記載の画像処理装置。
【０１４３】
（付記９）
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との間の動きベクトルに基づいて前記動きを検出すること
を特徴とする付記５乃至付記８の何れか一に記載の画像処理装置。
【０１４４】
（付記１０）
前記動き検出回路は、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値よりも小さいときに、前記第１ブロック画像および前記第１参照ブロック画像が静止していると判定するとともに、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値以上のときに、前記第１ブロック画像および前記第１参照ブロック画像が動いていると判定すること
を特徴とする付記５乃至付記９の何れか一に記載の画像処理装置。
【０１４５】
（付記１１）
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成し、
前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成すること
を特徴とする画像処理方法。
【０１４６】
（付記１２）
前記第１のサンプリング点は固定され、
前記第２のサンプリング点は前記画像データのフレーム毎に異なること
を特徴とする付記１１に記載の画像処理方法。
【０１４７】
（付記１３）
前記第２のサンプリング点はフレーム毎に周期的に変化すること
を特徴とする付記１２に記載の画像処理方法。
【０１４８】
（付記１４）
さらに、
前記第１縮小画像データに含まれる第１フレーム画像内の第１ブロック画像と前記第１縮小画像データに含まれる第１参照フレーム画像内の第１参照ブロック画像とに基づいて動きを検出し、
前記第１ブロック画像と前記第１参照ブロック画像とが動いていないと判定されるとき、前記第２縮小画像データに含まれる第２フレーム画像内のブロック画像であって前記第１ブロック画像または前記第１参照ブロック画像と同時刻の第２ブロック画像を抽出し、前記第１ブロック画像と前記第２ブロック画像とに基づいて前記第１ブロック画像に対応する第１画像データを生成すること、
を含むことを特徴とする付記１１乃至付記１３の何れか一に記載の画像処理方法。
【０１４９】
（付記１５）
前記第１フレーム画像は低解像度画像データに対応し、前記第２フレーム画像は高解像度画像データに対応すること
を特徴とする付記１４に記載の画像処理方法。
【０１５０】
（付記１６）
前記第１ブロック画像と前記第１参照ブロック画像とが動いていると判定されるとき、前記第２ブロック画像に対応する画像データを補間して、前記第１画像データを生成すること
を含むことを特徴とする付記１４または付記１５に記載の画像処理方法。
【０１５１】
（付記１７）
前記動きの検出は、前記第１ブロック画像と前記第１参照ブロック画像との輝度差の総和に基づいて前記動きを検出すること
を特徴とする付記１４乃至付記１６の何れか一に記載の画像処理方法。
【０１５２】
（付記１８）
前記動きの検出は、前記第１ブロック画像と前記第１参照ブロック画像との間の動きベクトルに基づいて前記動きを検出すること
を特徴とする付記１４乃至付記１７の何れか一に記載の画像処理方法。
【符号の説明】
【０１５３】
１ 高解像度画像生成部
２ 分離回路
３ 記録部
４ 合成回路
２０ 制御プロセッサ
２１ 第１ローパスフィルタおよびサンプラ（ＬＰＦ＋サンプラ）
２２ 第２ローパスフィルタおよびサンプラ（ＬＰＦ＋サンプラ）
４０ 制御プロセッサ
４１ 動き検出回路
４２ 合成処理回路
４３ メモリコントローラ
４８ 高解像度ブロックメモリ
５０ 高解像度画像シーケンス
６１，７１ 第１縮小画像データ（第１シーケンス）
６２，７２ 第２縮小画像データ（第２シーケンス）
８１ 高解像度画像データ
８２ 高解像度画像データ
２３０ ラインメモリ
２４１ 第１縮小画像メモリ
２４２ 第２縮小画像メモリ
４４１ 低解像度画像表示用出力ＩＦ回路
４４２ 高解像度画像表示用出力ＩＦ回路
【技術分野】
【０００１】
この出願で言及する実施例は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、静止画撮影機能などのために、高精細なイメージセンサを持つデジタルカメラやカムコーダなどの撮影および再生装置が提供されている。
【０００３】
すなわち、最近の撮影および再生装置において、静止画の記録画素は、広く普及したＴＶといった動画の視聴環境よりも高い解像度のセンサを用いることが一般的となっており、また、通常、静止画と動画を同時に撮影する機能も有している。
【０００４】
そのため、多くの撮影および再生装置において、少なくとも動画の記録に関しては、再生装置の解像度が一つの上限となり、記録画素からアップコンバートを行って高解像度を得なくてもセンサの解像度のまま記録すれば十分となっている。
【０００５】
ところで、近年、動画においても、４ｋ２ｋ（4000×2000 (3840×2160, 4098×2160) ピクセル）といった次世代の高解像度表示パネルへの切り替えが進んで行くものと考えられている。
【０００６】
そして、このような４ｋ２ｋといった高解像度表示パネルへの普及期においては、従来サイズとなるフルハイビジョン（フルＨＤ：1920×1080ピクセル：２ｋ１ｋ）程度のパネルでの視聴と４ｋ２ｋといった４倍の解像度の双方に対応する撮影装置が期待される。
【０００７】
すなわち、動画データのポータビリティのためには、撮影装置により広く普及している表示装置向けの解像度（例えば、フルＨＤ）にダウンコンバートを行って記録するのが好ましい。
【０００８】
そして、ダウンコンバートした動画データを再生装置により、高解像度化手段で記録解像度より高精細な解像度（例えば、４ｋ２ｋ）の画像を復元するアップコンバートを行って再生するのが好ましい。
【０００９】
なお、例えば、フルＨＤにダウンコンバートされたデータは、半導体メモリや光学および磁気ディスク等の記録媒体に記録されるのに限定されず、例えば、電波を利用した広域放送やインターネット等のネットワークを利用して配信されることもある。
【００１０】
ところで、従来、撮影位相を光学的または電子的にずらして撮影し、再生時に高品位に拡大を行う画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平０８−１７２５６８号公報
【特許文献２】特開２００８−０３３９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
前述したように、例えば、４ｋ２ｋといった高解像度表示パネルへの普及期においては、従来サイズとなるフルＨＤの解像度と、４ｋ２ｋといったフルＨＤの４倍の解像度の双方に対応する画像処理技術が期待される。
【００１３】
そのため、４ｋ２ｋおよびフルＨＤの２つの解像度の映像を同時に記録するか、或いは、記録時にダウンコンバートを行ってフルＨＤとして記録し、再生時に超解像技術などの高品位アップコンバート技術を利用して４ｋ２ｋ表示装置で再生することが考えられる。
【００１４】
しかしながら、４ｋ２ｋとフルＨＤの２つの解像度の映像を同時記録する場合、そのための記憶容量の増加、或いは、画像を処理するための回路規模や処理時間の増大を招くことになる。具体的に、例えば、記憶容量は、フルＨＤだけを記録する場合のほぼ５倍になってしまう。
【００１５】
一方、記録時にダウンコンバートし、再生時にアップコンバートする場合、前後の複数のフレームにわたり静止している領域については、高解像度化のための情報が少ないため画像の高解像度化が難しいといった課題がある。
【課題を解決するための手段】
【００１６】
一実施形態によれば、分離回路を含むことを特徴とする画像処理装置が提供される。前記分離回路は、画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成する。
【発明の効果】
【００１７】
開示の画像処理装置および画像処理方法は、異なる解像度の画像の記録再生を適切に行うことができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本実施例の画像処理装置が適用されるシステムの一例を示すブロック図である。
【図２】画像処理装置の第１実施例を示すブロック図である。
【図３】図２に示す画像処理装置の動作を説明するための図である。
【図４】図２に示す画像処理装置における処理の一例を説明するためのフローチャートである。
【図５】図２に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【図６】画像処理装置の第２実施例を示すブロック図である。
【図７】図６に示す画像処理装置の動作の一例を説明するための図である。
【図８】図６に示す画像処理装置の動作の他の例を説明するための図である。
【図９】図６に示す画像処理装置における処理の一例を説明するためのフローチャートである。
【図１０】図６に示す画像処理装置の動作のさらに他の例を説明するための図である。
【図１１】図６に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【図１２】図６に示す画像処理装置に適用される補間処理を説明するための図（その１）である。
【図１３】図６に示す画像処理装置に適用される補間処理を説明するための図（その２）である。
【発明を実施するための形態】
【００１９】
以下、画像処理装置および画像処理方法の実施例を、添付図面を参照して詳述する。図１は、本実施例の画像処理装置が適用されるシステムの一例を示すブロック図である。図１において、参照符号１は高解像度画像生成部、２は分離回路、３は記録部、そして、４は合成回路を示す。
【００２０】
高解像度画像生成部１は、例えば、イメージセンサであり、そのイメージセンサの高解像度を生かした４ｋ２ｋといった高解像度の画像データ（高解像度画像シーケンス５０）が分離回路（分離縮小手段）２に入力される。
【００２１】
分離回路２は、高解像度画像シーケンス５０を受け取って処理し、第１縮小画像データ（第１シーケンス６１）および第２縮小画像データ（第２シーケンス６２）を生成して記録部３に記録する。なお、分離回路２の詳細は、後に、図２〜図５を参照して詳述する。
【００２２】
合成回路４は、記録部３に記録された第１縮小画像データ（第１シーケンス７１）および第２縮小画像データ（第２シーケンス７２）を使用して、高解像度画像データ８２を合成する。また、低解像度画像データ８１は、記録部３からの第１シーケンス７１をそのまま使用する。なお、合成回路４の詳細は、後に、図６〜図１１を参照して詳述する。
【００２３】
ここで、記録部３からの第１シーケンス７１は、例えば、フルＨＤパネルに表示される低解像度画像データ８１として使用され、また、合成回路４の出力は、４ｋ２ｋパネルに表示される高解像度画像データ８２として使用される。
【００２４】
なお、分離回路２からの第１シーケンス６１および第２シーケンス６２を記録する記録部３は、例えば、半導体メモリや光学および磁気ディスク等の記録媒体に相当する。
【００２５】
さらに、分離回路２からの第１シーケンス６１および第２シーケンス６２は、記録部３に記録されるのに限定されず、例えば、電波を利用した広域放送やインターネット等のネットワークを利用して配信されることもある。
【００２６】
また、分離回路２および合成回路４は、例えば、動画の記録および再生を行う１つのカムコーダに設けられることもあるが、例えば、分離回路２を撮影カメラに設け、合成回路４を生成装置（例えば、広域放送の受信装置）に別々に設けられることもある。
【００２７】
図２は、画像処理装置の第１実施例を示すブロック図であり、分離回路２を示すものである。図２において、参照符号２０は制御プロセッサ、２１および２２は第１および第２ローパスフィルタおよびサンプラ（ＬＰＦ＋サンプラ）、そして、２３０はラインメモリを示す。
【００２８】
さらに、参照符号２４１は、第１シーケンスＳＯ１（６１）を格納して出力する第１縮小画像メモリを示し、また、２４２は、第２シーケンスＳＯ２（６２）を格納して出力する第２縮小画像メモリを示す。
【００２９】
図２に示されるように、分離回路２は、高解像度画像生成部１からの高解像度画像（例えば、４ｋ２ｋ）を受け取るラインメモリ２３０と、そのラインメモリ２３０の出力を受け取って処理する第１ＬＰＦ＋サンプラ２１および第１ＬＰＦ＋サンプラ２２を有する。
【００３０】
ここで、第１ＬＰＦ＋サンプラ２１および第１ＬＰＦ＋サンプラ２２は、ＬＰＦ＋間引きサンプリングを行うが、以下の記載では、これをリサンプリングと称する。
【００３１】
図３は、図２に示す画像処理装置の動作を説明するための図である。さらに、図４は、図２に示す画像処理装置における処理の一例を説明するためのフローチャートであり、また、図５は、図２に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【００３２】
ここで、本実施例は、高解像度画像（４ｋ２ｋ）と縮小画像（フルＨＤ）の解像度を４：１と仮定して説明する。また、図３は、例えば、４ｋ２ｋの各画素を注目点として、周辺の画素との演算（ＬＰＦ）によってリサンプリング画素を演算する際の位相を示し、４ｋ２ｋのうちの４×４画素を抜粋して図示したものである。
【００３３】
前述したように、高解像度画像シーケンス５０は、ラインメモリ２３０を介して第１ＬＰＦ＋サンプラ２１および第２ＬＰＦ＋サンプラ２２に供給される。ここで、ＬＰＦ（ＬＰＦフィルタ）は、中心画素に対して一定の大きさを持っており、例えば、３×３や５×５、或いは、偶数の場合もある。
【００３４】
そこで、図３に示す４×４画素領域における左上の画素Ｐ１１を考えると、Ｐ１１を中心としてその上下左右の周辺を含めた３×３や５×５の領域の画素データをＬＰＦに入力することになる。
【００３５】
また、４×４画素領域における各格子（Ｐ１１，Ｐ１２，…，Ｐ４４）は、縮小画像における画素と、高解像度シーケンスからのサンプリング（抽出）の画素重心の中心を表している。
【００３６】
なお、各格子は、ＬＰＦによる処理を行わない単純な間引きサンプリングであれば、縮小後の画素と対応する最近傍の画素に相当する。また、各格子は、例えば、サンプリングカーネルがｎ×ｍの画素領域を持つ場合には、縮小後の画素の中心と、対応する縮小前の領域の重心を模式的に表すことになる。
【００３７】
まず、図３に示されるように、高解像度画像シーケンス５０の高解像度画像から４×４画素領域Ｐ１１〜Ｐ４４を抜粋して、ＬＰＦカーネルの演算に必要な周辺の画素とともに第１ＬＰＦ＋サンプラ２１および第２ＬＰＦ＋サンプラ２２に供給する。
【００３８】
ここで、ＬＰＦにおいて、フレーム外の画素を参照する場合には、例えば、境界の有効画素を用いてパディングを行って足りない画素を仮想的に創出する。なお、このパディングは、単なる例であり、様々な手法を利用することができるのはいうまでもない。
【００３９】
第１ＬＰＦ＋サンプラ２１では、注目フレーム（カレントフレームＣＦ）の前のフレームＰＦにおいて、供給された４×４画素領域Ｐ１１〜Ｐ４４とその周辺画素から、例えば、斜めハッチングで示す４つの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３を中心（重心）としてＬＰＦを適用しリサンプリングする。
【００４０】
なお、第１ＬＰＦ＋サンプラ２１では、カレントフレームＣＦ，および，カレントフレームの次のフレームＮＦにおいても、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、斜めハッチングで示す４つの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３を重心としてＬＰＦを適用しリサンプリングする。ここで、画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３が第１サンプリング点に相当する。
【００４１】
ここで、フレームＰＦおよびＮＦは、フレームＣＦを中心として前後のフレームとして説明したが、例えば、前の２フレームおよび後ろの２フレームを含め、第２シーケンスの位相がすべて異なる条件のもと、任意の前後のフレームが対象となる。
【００４２】
さらに、４画素の重心としては、例えば、４つの画素の十字中心を第１シーケンスの重心とし、４つの画素の（左上，右上，左下および右下の画素）のそれぞれの中央を第２シーケンスの重心とすることもできる。
【００４３】
図４に示されるように、第１シーケンスフレーム処理が開始すると、まず、ステップＳＴ１１において、縮小画像の画素ループを初期化してステップＳＴ１２に進み、第１サンプリング点でのリサンプリング（ＬＰＦ＋間引きサンプリング）を行う。
【００４４】
ステップＳＴ１１およびステップＳＴ１２の処理は、図３の例では、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、斜めハッチングで示す４つの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３を重心としてリサンプリングするのに相当する。
【００４５】
さらに、ステップＳＴ１３に進んで、すべての画素の処理が終了したかどうかを判定し、すべての画素の処理は終了していないと判定すると、ステップＳＴ１４に進んで縮小画像ループを更新してステップＳＴ１２に戻る。そして、ステップＳＴ１３において、すべての画素の処理が終了したと判定すると、フレーム処理を終了する。
【００４６】
このようにして、第１ＬＰＦ＋サンプラ２１は、各フレームにおける固定された間引き位置の画素の画像データをリサンプリングし、そのリサンプリングされた画像データが第１縮小画像メモリ２４１を介して出力される。なお、第１縮小画像メモリ２４１から出力される画像データが、図１における第１シーケンス６１に対応する。
【００４７】
一方、第２ＬＰＦ＋サンプラ２２では、カレントフレームの前のフレームＰＦにおいて、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、ドット模様で示す４つの画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４を重心としてリサンプリングする。
【００４８】
また、第２ＬＰＦ＋サンプラ２２では、カレントフレームＣＦにおいて、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、縦ハッチングで示す４つの画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４を重心としてリサンプリングする。
【００４９】
そして、第２ＬＰＦ＋サンプラ２２では、カレントフレームの次のフレームＮＦにおいて、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、横ハッチングで示す４つの画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３を重心としてリサンプリングする。
【００５０】
なお、フレームＮＦのさらに次のフレームでは、フレームＰＦと同様に、４×４画素領域Ｐ１１〜Ｐ４４から、例えば、ドット模様で示す４つの画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４を重心としてリサンプリングし、順次同様の処理を繰り返す。
【００５１】
ここで、画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４、画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４、および、画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３が第２サンプリング点に相当する。
【００５２】
図５に示されるように、第２シーケンスフレーム処理が開始すると、まず、ステップＳＴ２０において、位相を選択してステップＳＴ２１に進む。すなわち、図３における４×４画素領域Ｐ１１〜Ｐ４４から選択する４つの画素を、ドット模様，縦ハッチングおよび横ハッチングの３つの位相（パターン）におけるいずれのパターンで取り込むかを規定する。
【００５３】
そして、ステップＳＴ２１において、縮小画像の画素ループを初期化してステップＳＴ２２に進み、リサンプリングを行う。
【００５４】
ステップＳＴ２１およびステップＳＴ２２の処理は、図３の例では、４×４画素領域Ｐ１１〜Ｐ４４から、ステップＳＴ２０で規定されたドット模様，縦ハッチングまたは横ハッチングのいずれかのパターンによる４つの画素を重心としてリサンプリングするのに相当する。
【００５５】
さらに、ステップＳＴ２３に進んで、すべての画素の処理が終了したかどうかを判定し、すべての画素の処理は終了していないと判定すると、ステップＳＴ２４に進んで縮小画像ループを更新してステップＳＴ１２に戻る。そして、ステップＳＴ２３において、すべての画素の処理が終了したと判定すると、フレーム処理を終了する。
【００５６】
このようにして、第２ＬＰＦ＋サンプラ２２は、３つのフレームを１周期として、画像データをリサンプリングし、そのリサンプリングされた画像データが第２縮小画像メモリ２４２を介して出力される。なお、第２縮小画像メモリ２４２から出力される画像データが、図１における第２シーケンス６２に対応する。
【００５７】
以上において、全体的な処理流れとしては、１フレーム単位に行われるが、第１および第２シーケンスは、同時に１フレームずつ処理が行われる。なお、後述する合成処理に関しては、各時点の前後のフレームも利用する。
【００５８】
ここで、第２シーケンスは、次のフレームに移るとサンプリング位相を変化させ、例えば、３種類のサンプリング位置を巡回する。なお、上述した説明において、例えば、４：１の縮小では、４×４画素の図が最少の繰り返しパターンであるために採用しているだけであり、処理は１フレームにわたり順に処理され、４×４単位に処理を行うことに限定されるものではない。
【００５９】
さらに、分離回路２に供給される高解像度画像シーケンス５０は、例えば、４ｋ２ｋの高解像度画像であり、また、分離回路２から出力される第１および第２シーケンス６１，６２は、例えば、フルＨＤの低解像度画像であるが、これらに限定されるものではない。
【００６０】
図６は、画像処理装置の第２実施例を示すブロック図であり、合成回路４を示すものである。図６において、参照符号４０は制御プロセッサ、４１は動き検出回路、４２は合成処理回路、４３はメモリコントローラ、４４１は低解像度画像表示用出力ＩＦ回路、４４２は高解像度画像表示用出力ＩＦ回路、そして、４８は高解像度ブロックメモリを示す。
【００６１】
図６に示されるように、合成回路４は、制御プロセッサ４０、並びに、制御プロセッサ４０により制御される動き検出回路４１，合成処理回路４２，メモリコントローラ４３およびメモリを有する。ここで、動き検出回路４１，合成処理回路４２およびメモリコントローラ４３は、制御プロセッサ４０により制御される。
【００６２】
動き検出回路４１は、サーチ範囲バッファメモリ４７１を介した第１シーケンスの第１参照入力ＳＲ１１、および、サーチ範囲バッファメモリ４５１を介した第１シーケンスの第２参照入力ＳＲ１２を受け取る。さらに、動き検出回路４１は、カレントブロックメモリ４６１を介した第１シーケンス入力ＳＩ１０を受け取る。
【００６３】
合成処理回路４２は、参照ブロックメモリ４７２を介した第２シーケンスの第１参照入力ＳＲ２１、および、参照ブロックメモリ４５２を介した第２シーケンスの第２参照入力ＳＲ２２を受け取る。
【００６４】
さらに、合成処理回路４２は、カレントブロックメモリ４６２を介した第２シーケンスＳＩ２のカレント入力ＳＩ２０、および、カレントブロックメモリ４６１を介した第１シーケンスＳＩ１のカレント入力ＳＩ１０を受け取る。
【００６５】
ここで、カレントブロックメモリ４６１を介した第１シーケンス入力ＳＩ１０は、低解像度ラインメモリ４９１および低解像度表示用出力ＩＦ（インターフェース）回路４４１を介して、低解像度画像データ８１として出力される。
【００６６】
また、合成処理回路４２は、高解像度ブロックメモリ４８との間でデータの遣り取りを行い、合成処理回路４２の出力は、高解像度ラインメモリ４９２および高解像度表示用出力ＩＦ回路４４２を介して、高解像度画像データ８１として出力される。
【００６７】
以上において、第１シーケンスＳＩ１のカレント入力ＳＩ１０，第１シーケンスの第１参照入力ＳＲ１１および第１シーケンスの第２参照入力ＳＲ１２は、第１シーケンスＳＩ１（７１）に対応する。
【００６８】
ここで、入力ＳＩ１０は、第１シーケンスＳＩ１のカレント（注目）フレーム入力に相当し、入力ＳＲ１１はカレントフレームの１つ前のフレーム入力に相当し、そして、入力ＳＲ１２は、カレントフレームの１つ後のフレーム入力に相当する。
【００６９】
同様に、第２シーケンスのカレント入力ＳＩ２０，第２シーケンスの第１参照入力ＳＲ２１および第２シーケンスの第２参照入力ＳＲ２２は、第２シーケンスＳＩ２（７２）に対応する。
【００７０】
ここで、入力ＳＩ２０は、第２シーケンスＳＩ２のカレントフレーム入力に相当し、入力ＳＲ２１はカレントフレームの１つ前のフレーム入力に相当し、そして、入力ＳＲ２２は、カレントフレームの１つ後のフレーム入力に相当する。
【００７１】
図７は、図６に示す画像処理装置の動作の一例を説明するための図であり、また、図８は、図６に示す画像処理装置の動作の他の例を説明するための図であり、そして、図９は、図６に示す画像処理装置における処理の一例を説明するためのフローチャートである。
【００７２】
ここで、本実施例は、高解像度画像（４ｋ２ｋ）と縮小画像（フルＨＤ）の解像度を４：１と仮定して説明する。また、図７および図８は、例えば、縮小画像の第１シーケンス７１（ＳＩ１）および第２シーケンス７２（ＳＩ２）から高解像度画像データ８２を合成する様子を示している。
【００７３】
なお、図７は、注目フレーム（カレントフレームＣＦ）に対して、その前後のフレームＰＦおよびＮＦで両方とも静止判定の場合を示し、また、図８は、前のフレームＰＦで動判定、且つ、後のフレームＮＦで静止判定の場合を示す。さらに、図７および図８において、グリッド（格子）は縮小画像０．５画素小数精度とされ、これが高解像度ピクセルグリッドに対応する。
【００７４】
まず、フレームを格子状のブロックに分割し、同一ブロック位置（同一ブロック座標）について、第１シーケンスＳＩ１（７１）のカレントフレームＣＦおよびその前後のフレームＰＦ，ＮＦにより静止判定を行う。
【００７５】
具体的に、第１シーケンスＳＩ１のフレームＰＦおよびＣＦの格子（画素）Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３、並びに、第１シーケンスＳＩ１のフレームＣＦおよびＮＦの画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３により静止判定を行う。
【００７６】
まず、図７は、第１シーケンスＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３が３つのフレームＰＦ，ＣＦおよびＮＦで静止していると判定された場合を示し、そのときは、位相情報を用いて合成する。
【００７７】
すなわち、図３および図５を参照して説明したドット模様，縦ハッチングおよび横ハッチングの３つのパターンを巡回する３フレーム巡回の場合には、第２シーケンスＳＩ２（７２）のフレームＰＦ，ＣＦおよびＮＦを参照画像として処理する。
【００７８】
具体的に、ＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３とともに、ＳＩ２のフレームＰＦの画素Ｐ１２，Ｐ１４，Ｐ３２，Ｐ３４、フレームＣＦの画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４、および、フレームＮＦの画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４４を参照する。
【００７９】
これにより、図７に示されるように、第２シーケンスＳＩ２の前後のフレームＰＦ，ＮＦを参照画像として動き補償（ＭＣ：Motion Compensation）を行って高解像度画像（例えば、４ｋ２ｋ）を合成する。
【００８０】
次に、図８は、第１シーケンスＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３がＰＦからＣＦで動いていると判定（動判定）され、ＣＦからＮＦで静止していると判定（静止判定）された場合を示す。
【００８１】
このとき、カレントフレームＣＦから後のフレームＮＦは静止判定なので、ＳＩ１の画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３とともに、ＳＩ２のＣＦの画素Ｐ２２，Ｐ２４，Ｐ４２，Ｐ４４、および、ＮＦの画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４４を参照する。
【００８２】
一方、前のフレームＰＦからカレントフレームＣＦは動判定なので、画素Ｐ２１，Ｐ２３，Ｐ４１，Ｐ４３は、第２シーケンスＳＩ２のＰＦの画素を参照せずに、補間画素を生成して高解像度画像（例えば、４ｋ２ｋ）を合成する。すなわち、動判定された場合、カレントフレームＣＦと参照フレームに対応する第２シーケンスＳＩ２における前のフレームＰＦは使用せずに、補間を行う。
【００８３】
なお、補間画素は、カレントフレームＣＦに対して前後１フレーム（ＰＦ，ＮＦ）を参照画像として生成するものに限定されず、例えば、前または後ろ２フレームを参照画像として生成することもできる。さらに、補間画素の生成は、より多くの画像を参照してもよいが、その時の合成は、例えば、加重平均や最近傍の時刻のフレームを採用するといった処理を行うことになる。
【００８４】
図９に示されるように、合成処理が開始すると、まず、ステップＳＴ３１において、縮小画像を格子状に区切り、ブロックループを初期化してステップＳＴ３２に進む。
【００８５】
ステップＳＴ３２では、第１シーケンスのカレント画像と、同時刻の第２シーケンスのカレント画像から対応する高解像度画像を生成して、ステップＳＴ３３に進む。ステップＳＴ３３では、第１および第２シーケンスのカレントの位相以外の画素に対して補間候補とマークを生成する。
【００８６】
さらに、ステップＳＴ３４に進んで、参照画像に関する参照ループを初期化してステップＳＴ３５に進み、第１シーケンスのカレント画像と、参照フレームで静止判定を行うように、ステップＳＴ３６に進む。
【００８７】
ステップＳＴ３６では、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和（ＳＡＤ：Sum of Absolute Difference）が閾値よりも小さいかどうかを判定する。なお、ＳＡＤの値が小さいほど、似ている位置（静止に近い状態）になる。また、ＳＡＤ以外にも、輝度差の２乗和（ＳＳＤ：Sum of Squared Difference）等の他の手法を用いることもできる。
【００８８】
ステップＳＴ３６において、静止している、すなわち、ＳＡＤ＜閾値であると判定すると、ステップＳＴ３７を介してステップＳＴ３８に進み、逆に、静止していない、すなわち、ＳＡＤ＜閾値ではないと判定すると、直接ステップＳＴ３８に進む。
【００８９】
ステップＳＴ３７では、第１シーケンス参照画像と同時刻の第２シーケンス参照画像の位相情報からブロックを抽出して対応画素を生成し、補間候補のマークを外して、ステップＳＴ３８に進む。ステップＳＴ３８において、すべての参照画像の処理が終了したかどうかを判定し、すべての参照画像の処理が終了したと判定するとステップＳＴ３９に進む。
【００９０】
ステップＳＴ３９では、すべてのブロックの処理が終了したかどうかを判定し、すべてのブロックの処理が終了したと判定すると合成処理を終了し、また、すべてのブロックの処理が終了していないと判定するとステップＳＴ４１に進む。
【００９１】
一方、ステップＳＴ３８において、すべての参照画像の処理が終了していないと判定するとステップＳＴ４０に進み、参照フレームのループを更新してステップＳＴ３５に戻る。そして、ステップＳＴ３８ですべての参照画像の処理が終了したと判定するまで同様の処理を繰り返す。
【００９２】
ステップＳＴ４１では、補間候補にマークされた画素を補間し、ブロックループを更新してステップ３２に戻り、同様の処理を繰り返す。
【００９３】
このように、本実施例の画像処理装置によれば、例えば、イメージセンサの高解像度を生かした４ｋ２ｋといった高解像度の記録再生と、再生互換性を重視して広く普及したフルＨＤといった解像度の記録再生を両立させることができる。
【００９４】
すなわち、本実施例の画像処理装置によれば、高解像度の記録に際して少ないデータ量および処理量で記録再生を行うとともに、高解像の動画像と低解像度の動画像の記録再生を実現することが可能になる。
【００９５】
具体的に、例えば、４ｋ２ｋとフルＨＤの再生装置を対象とすれば、これらを同時に記録する場合に比べ２／５程度のデータ量と、２／５程度の処理量または回路規模で効果的な記録再生機能を実現することができる。さらに、フルＨＤの再生機器で広く再生できる映像を容易に分離することも可能になる。
【００９６】
また、４ｋ２ｋ専用装置を対象とすれば、高解像度単体の記録に対しては、１／２程度のデータ量と処理量または回路規模とすることができる。
【００９７】
図１０は、図６に示す画像処理装置の動作のさらに他の例を説明するための図であり、また、図１１は、図６に示す画像処理装置における処理の他の例を説明するためのフローチャートである。
【００９８】
ここで、図１０および図１１に示す実施例は、図７〜図９を参照して説明した実施例に対して、さらにブロックマッチングによる動き検出を行うようになっている。なお、図１０において、グリッド（格子）は縮小画像０．５画素小数精度とされ、これが高解像度ピクセルグリッドに対応する。
【００９９】
すなわち、前述した図７〜図９に示す実施例では、第１シーケンスＳＩ１における同一ブロック位置（同一ブロック座標）について、カレントフレームＣＦおよびその前後のフレームＰＦ，ＮＦによる静止判定を行っていた。
【０１００】
これに対して、図１０および図１１に示す実施例では、例えば、類似度としてＳＡＤを利用し、ベクトルの大きさ，フレーム間距離を基にした重みとＳＡＤを加えたものをコスト（ＣＯＳＴ）とする。そして、コストがある閾値よりも小さく、最終的に最も類似していた位置を動きベクトルとして規定する。
【０１０１】
ここで、類似していない場合、すなわち、コストがある閾値以上である場合には、動き補償対象とはしない。また、重みは、時間的に遠いフレームの動きを信用しない方向に制御するため、考慮しなくてもよい。なお、補間画素は、前述したのと同様にして生成することができる。
【０１０２】
具体的に、図１０は、カレントフレームＣＦが、前のフレームＰＦに対して右上方向に動いており、また、後のフレームＮＦが、カレントフレームＣＦに対して右上方向に動いている場合を示す。
【０１０３】
まず、フレームを格子状のブロックに分割し、第１シーケンスＳＩ１のカレントフレームＣＦおよびその前後のフレームＰＦ，ＮＦにおいて、ブロックマッチングにより動き検出を行う。
【０１０４】
具体的に、第１シーケンスＳＩ１の前のフレームＰＦおよびカレントフレームＣＦのブロック（画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）のマッチングから動き推定（ＭＥ：Motion Estimation）を行って、動きベクトルを検出する。
【０１０５】
同様に、第１シーケンスＳＩ１のカレントフレームＣＦおよび後のフレームＮＦのブロック（画素Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）のマッチングから動き推定（ＭＥ）を行って、動きベクトルを検出する。
【０１０６】
ここで、図１０は、上記検出された動きベクトルによる座標の補正が行われた後における、図７の場合（カレントフレームＣＦに対して、その前後のフレームＰＦおよびＮＦで両方とも静止判定の場合）に相当する。
【０１０７】
そして、第２シーケンスＳＩ２において、検出された動きベクトルによる座標の補正を行った後、前述した図７と同様に、例えば、３フレーム巡回の場合には、第２シーケンスＳＩ２のフレームＰＦ，ＣＦおよびＮＦを参照画像として処理する。
【０１０８】
すなわち、図１０に示されるように、第２シーケンスＳＩ２において、検出された動きベクトルによる座標補正を行った前後のフレームＰＦ，ＮＦを参照画像として動き補償（ＭＣ）を行って高解像度画像（例えば、４ｋ２ｋ）を合成する。
【０１０９】
なお、一致するブロックが検出できない場合、すなわち、上述のコストがある閾値よりも大きい場合には、動き補償対象とはせずに、補間画素を生成することになる。
【０１１０】
ここで、ブロックマッチングとしては、様々な手法を適用することができ、例えば、複数の参照画像を用いるとき、すでに補間済みの画素が存在し、同じ位相で新たに動き補償が可能となったブロックが存在した場合には、以下の何れかの処理を行うことができる。
【０１１１】
すなわち、時間的に近いフレームを優先する、平均を取る、フレームの時間的距離を加味した重みで合成する、或いは、上書きを行う（予め決めた参照フレームの処理順で優先順位を決定する）といった処理の何れかを実行する。
【０１１２】
さらに、参照画像による補償画素がなかった場合には、例えば、カレントの第１および第２フレームの画素から補間を行うことができる。
【０１１３】
以上の処理を、図１１を参照して説明する。なお、図１１に示す処理は、前述した図９の処理からステップＳＴ３５およびＳＴ３６の処理を変更したものに相当する。
【０１１４】
すなわち、図１１に示されるように、合成処理が開始すると、まず、ステップＳＴ３１において、縮小画像を格子状に区切り、ブロックループを初期化してステップＳＴ３２に進む。
【０１１５】
ステップＳＴ３２では、第１シーケンスのカレント画像と、同時刻の第２シーケンスのカレント画像から対応する高解像度画像を生成して、ステップＳＴ３３に進む。ステップＳＴ３３では、第１および第２シーケンスのカレントの位相以外の画素に対して補間候補とマークを生成する。
【０１１６】
さらに、ステップＳＴ３４に進んで、参照画像に関する参照ループを初期化してステップＳＴ３５’に進み、第１シーケンスのカレント画像と、参照フレームで動き検出を行うように、ステップＳＴ３６’に進む。
【０１１７】
ステップＳＴ３６’では、前述したＣＯＳＴが閾値よりも小さいかどうかを判定する。ここで、ＣＯＳＴは、例えば、類似度としてＳＡＤを利用し、ベクトルの大きさ，フレーム間距離を基にした重みとＳＡＤを加えたものである。なお、ＳＡＤ以外にもＳＳＤ等の他の手法を用いることもできる。
【０１１８】
ステップＳＴ３６’において、ＣＯＳＴが閾値よりも小さい（ＣＯＳＴ＜閾値）と判定すると、ステップＳＴ３７を介してステップＳＴ３８に進み、逆に、ＣＯＳＴ＜閾値ではないと判定すると、直接ステップＳＴ３８に進む。
【０１１９】
ここで、ＣＯＳＴ＜閾値で、最終的に最も類似していた位置が動きベクトルとなる。なお、前述したように、第２シーケンスの各フレームは、例えば、検出された動きベクトルによる座標の補正が行われることになる。
【０１２０】
ステップＳＴ３７では、第１シーケンス参照画像と同時刻の第２シーケンス参照画像の位相情報からブロックを抽出して対応画素を生成し、補間候補のマークを外して、ステップＳＴ３８に進む。ステップＳＴ３８において、すべての参照画像の処理が終了したかどうかを判定し、すべての参照画像の処理が終了したと判定するとステップＳＴ３９に進む。
【０１２１】
ステップＳＴ３９では、すべてのブロックの処理が終了したかどうかを判定し、すべてのブロックの処理が終了したと判定すると合成処理を終了し、また、すべてのブロックの処理が終了していないと判定するとステップＳＴ４１に進む。
【０１２２】
一方、ステップＳＴ３８において、すべての参照画像の処理が終了していないと判定するとステップＳＴ４０に進み、参照フレームのループを更新してステップＳＴ３５’に戻る。そして、ステップＳＴ３８ですべての参照画像の処理が終了したと判定するまで同様の処理を繰り返す。
【０１２３】
ステップＳＴ４１では、補間候補にマークされた画素を補間し、ブロックループを更新してステップ３２に戻り、同様の処理を繰り返す。
【０１２４】
図１０および図１１に示す実施例のように、ブロックマッチングによる動き検出を行うと、そのためのメモリや処理回路の増加を招くことになるが、前述した図７〜図９の実施例に比べて、より高画質な高解像度画像を得ることができる。
【０１２５】
以上において、動き検出や静止判定によっては、合成結果または高解像度画像にマッピングされなかった画素、すなわち、補償できなかった画素が存在する。このような補償できなかった画素による隙間を埋めるために、例えば、初期値として、第１シーケンスから１６ｔａｐバイキュービックやバイリニア或いは加重平均といった内挿により補間画素を生成しておく。
【０１２６】
そして、生成された補間画素に対して、補償された画素を上書きするか、加重平均を行うか、或いは、最終的にマッピングされなかった画素に対して内挿手段を用いて画素を埋めることになる。これらの手法として、知られている他の様々なものを適用することもできる。
【０１２７】
図１２および図１３は、図６に示す画像処理装置に適用される補間処理を説明するための図である。前述したように、本実施例において、補間画像を得るための補間処理としては、様々な手法を適用することが可能である。
【０１２８】
具体的に、図１２（ａ）は、補間対象にマークされた画素ＰＰの上下左右４つの画素から補間画像を求める手法を示し、また、図１２（ｂ）は、画素ＰＰの上下２つの画素から補間画像を求める手法を示す。
【０１２９】
さらに、図１２（ｃ）は、画素ＰＰの左右２つの画素から補間画像を求める手法を示し、そして、図１２（ｄ）は画素ＰＰに隣接する８つの画素から補間画像を求める手法を示す。なお、これら補間画像の生成は、もっとも簡単には平均値を用いる。
【０１３０】
また、図１３は、上述した手法に加えて、さらに外側の画素を用いて補間画像を生成するものであり、Ｎｔａｐの１次元内挿フィルタ、或いは、Ｎ×Ｎの２次元内挿フィルタを用いて補間画像を生成するものを示す。
【０１３１】
すなわち、図１３（ａ）は、図１２（ｂ）の画素ＰＰの上下２つの画素に加えてさらに一回り外側の２つの画素を用いて補間画像を求める手法を示す。また、図１３（ｂ）は、図１２（ｃ）の画素ＰＰの左右２つの画素に加えてさらに一回り外側の２つの画素を用いて補間画像を求める手法を示す。
【０１３２】
さらに、図１３（ｃ）は、図１２（ａ）の画素ＰＰの上下左右４つの画素に加えてさらに一回り外側の４つの画素を用いて補間画像を求める手法を示す。また、図１３（ｄ）は、図１２（ａ）の画素ＰＰの上下左右４つの画素に加えてさらに一回り外側の１２個の画素を用いて補間画像を求める手法を示す。
【０１３３】
ここで、図１３（ｄ）の例では、図示されるように、ｘ軸およびｙ軸は斜め方向に設定され、また、補間画像ＰＰからの距離に応じて重み付けがなされている。
【０１３４】
そして、図１３（ｅ）は、図１２（ｄ）の画素ＰＰに隣接する８つの画素に加えてさらに一回り外側の３２個の画素を用いて補間画像を求める手法を示す。なお、上述した補間画像の生成手法は、単なる例であり、知られている他の様々な手法を適用することができるのはいうまでもない。
【０１３５】
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成する分離回路を含むこと
を特徴とする画像処理装置。
【０１３６】
（付記２）
前記分離回路は、
前記画像データを前記第１のサンプリング点でサンプリングする第１フィルタと、
前記画像データを前記第２のサンプリング点でサンプリングする第２フィルタと、
を含むことを特徴とする付記１に記載の画像処理装置。
【０１３７】
（付記３）
前記第１のサンプリング点は固定され、
前記第２のサンプリング点は前記画像データのフレーム毎に異なること
を特徴とする付記１または付記２に記載の画像処理装置。
【０１３８】
（付記４）
前記第２のサンプリング点はフレーム毎に周期的に変化すること
を特徴とする付記３に記載の画像処理装置。
【０１３９】
（付記５）
第１のサンプリング点でサンプリングされた第１縮小画像データに含まれる第１フレーム画像内の第１ブロック画像と前記第１縮小画像データに含まれる第１参照フレーム画像内の第１参照ブロック画像とに基づいて動きを検出する動き検出回路と、
前記第１ブロック画像と前記第１参照ブロック画像とが動いていないと判定されるとき、前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングされた第２縮小画像データに含まれる第２フレーム画像内のブロック画像であって前記第１ブロック画像または前記第１参照ブロック画像と同時刻の第２ブロック画像を抽出し、前記第１ブロック画像と前記第２ブロック画像とに基づいて前記第１ブロック画像に対応する第１画像データを生成する合成処理回路と、
を含むことを特徴とする画像処理装置。
【０１４０】
（付記６）
前記第１フレーム画像および前記第２フレーム画像は低解像度画像データに対応し、前記第１画像データは高解像度画像データに対応すること
を特徴とする付記４に記載の画像処理装置。
【０１４１】
（付記７）
前記第１ブロック画像と前記第１参照ブロック画像とが動いていると判定されるとき、前記第２ブロック画像に対応する画像データを補間して、前記第１画像データを生成すること
を含むことを特徴とする付記５または付記６に記載の画像処理装置。
【０１４２】
（付記８）
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との輝度差の総和に基づいて前記動きを検出すること
を特徴とする付記５乃至付記７の何れか一に記載の画像処理装置。
【０１４３】
（付記９）
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との間の動きベクトルに基づいて前記動きを検出すること
を特徴とする付記５乃至付記８の何れか一に記載の画像処理装置。
【０１４４】
（付記１０）
前記動き検出回路は、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値よりも小さいときに、前記第１ブロック画像および前記第１参照ブロック画像が静止していると判定するとともに、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値以上のときに、前記第１ブロック画像および前記第１参照ブロック画像が動いていると判定すること
を特徴とする付記５乃至付記９の何れか一に記載の画像処理装置。
【０１４５】
（付記１１）
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成し、
前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成すること
を特徴とする画像処理方法。
【０１４６】
（付記１２）
前記第１のサンプリング点は固定され、
前記第２のサンプリング点は前記画像データのフレーム毎に異なること
を特徴とする付記１１に記載の画像処理方法。
【０１４７】
（付記１３）
前記第２のサンプリング点はフレーム毎に周期的に変化すること
を特徴とする付記１２に記載の画像処理方法。
【０１４８】
（付記１４）
さらに、
前記第１縮小画像データに含まれる第１フレーム画像内の第１ブロック画像と前記第１縮小画像データに含まれる第１参照フレーム画像内の第１参照ブロック画像とに基づいて動きを検出し、
前記第１ブロック画像と前記第１参照ブロック画像とが動いていないと判定されるとき、前記第２縮小画像データに含まれる第２フレーム画像内のブロック画像であって前記第１ブロック画像または前記第１参照ブロック画像と同時刻の第２ブロック画像を抽出し、前記第１ブロック画像と前記第２ブロック画像とに基づいて前記第１ブロック画像に対応する第１画像データを生成すること、
を含むことを特徴とする付記１１乃至付記１３の何れか一に記載の画像処理方法。
【０１４９】
（付記１５）
前記第１フレーム画像は低解像度画像データに対応し、前記第２フレーム画像は高解像度画像データに対応すること
を特徴とする付記１４に記載の画像処理方法。
【０１５０】
（付記１６）
前記第１ブロック画像と前記第１参照ブロック画像とが動いていると判定されるとき、前記第２ブロック画像に対応する画像データを補間して、前記第１画像データを生成すること
を含むことを特徴とする付記１４または付記１５に記載の画像処理方法。
【０１５１】
（付記１７）
前記動きの検出は、前記第１ブロック画像と前記第１参照ブロック画像との輝度差の総和に基づいて前記動きを検出すること
を特徴とする付記１４乃至付記１６の何れか一に記載の画像処理方法。
【０１５２】
（付記１８）
前記動きの検出は、前記第１ブロック画像と前記第１参照ブロック画像との間の動きベクトルに基づいて前記動きを検出すること
を特徴とする付記１４乃至付記１７の何れか一に記載の画像処理方法。
【符号の説明】
【０１５３】
１ 高解像度画像生成部
２ 分離回路
３ 記録部
４ 合成回路
２０ 制御プロセッサ
２１ 第１ローパスフィルタおよびサンプラ（ＬＰＦ＋サンプラ）
２２ 第２ローパスフィルタおよびサンプラ（ＬＰＦ＋サンプラ）
４０ 制御プロセッサ
４１ 動き検出回路
４２ 合成処理回路
４３ メモリコントローラ
４８ 高解像度ブロックメモリ
５０ 高解像度画像シーケンス
６１，７１ 第１縮小画像データ（第１シーケンス）
６２，７２ 第２縮小画像データ（第２シーケンス）
８１ 高解像度画像データ
８２ 高解像度画像データ
２３０ ラインメモリ
２４１ 第１縮小画像メモリ
２４２ 第２縮小画像メモリ
４４１ 低解像度画像表示用出力ＩＦ回路
４４２ 高解像度画像表示用出力ＩＦ回路
【特許請求の範囲】
【請求項１】
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成する分離回路を含むこと
を特徴とする画像処理装置。
【請求項２】
前記分離回路は、
前記画像データを前記第１のサンプリング点でサンプリングする第１フィルタと、
前記画像データを前記第２のサンプリング点でサンプリングする第２フィルタと、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２のサンプリング点はフレーム毎に周期的に変化すること
を特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
第１のサンプリング点でサンプリングされた第１縮小画像データに含まれる第１フレーム画像内の第１ブロック画像と前記第１縮小画像データに含まれる第１参照フレーム画像内の第１参照ブロック画像とに基づいて動きを検出する動き検出回路と、
前記第１ブロック画像と前記第１参照ブロック画像とが動いていないと判定されるとき、前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングされた第２縮小画像データに含まれる第２フレーム画像内のブロック画像であって前記第１ブロック画像または前記第１参照ブロック画像と同時刻の第２ブロック画像を抽出し、前記第１ブロック画像と前記第２ブロック画像とに基づいて前記第１ブロック画像に対応する第１画像データを生成する合成処理回路と、
を含むことを特徴とする画像処理装置。
【請求項５】
前記第１フレーム画像および前記第２フレーム画像は低解像度画像データに対応し、前記第１画像データは高解像度画像データに対応すること
を特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１ブロック画像と前記第１参照ブロック画像とが動いていると判定されるとき、前記第２ブロック画像に対応する画像データを補間して、前記第１画像データを生成すること
を含むことを特徴とする請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との輝度差の総和に基づいて前記動きを検出すること
を特徴とする請求項４乃至請求項６の何れか一に記載の画像処理装置。
【請求項８】
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との間の動きベクトルに基づいて前記動きを検出すること
を特徴とする請求項４乃至請求項７の何れか一に記載の画像処理装置。
【請求項９】
前記動き検出回路は、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値よりも小さいときに、前記第１ブロック画像および前記第１参照ブロック画像が静止していると判定するとともに、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値以上のときに、前記第１ブロック画像および前記第１参照ブロック画像が動いていると判定すること
を特徴とする請求項４乃至請求項８の何れか一に記載の画像処理装置。
【請求項１０】
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成し、
前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成すること
を特徴とする画像処理方法。
【請求項１】
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成するとともに、前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成する分離回路を含むこと
を特徴とする画像処理装置。
【請求項２】
前記分離回路は、
前記画像データを前記第１のサンプリング点でサンプリングする第１フィルタと、
前記画像データを前記第２のサンプリング点でサンプリングする第２フィルタと、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２のサンプリング点はフレーム毎に周期的に変化すること
を特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
第１のサンプリング点でサンプリングされた第１縮小画像データに含まれる第１フレーム画像内の第１ブロック画像と前記第１縮小画像データに含まれる第１参照フレーム画像内の第１参照ブロック画像とに基づいて動きを検出する動き検出回路と、
前記第１ブロック画像と前記第１参照ブロック画像とが動いていないと判定されるとき、前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングされた第２縮小画像データに含まれる第２フレーム画像内のブロック画像であって前記第１ブロック画像または前記第１参照ブロック画像と同時刻の第２ブロック画像を抽出し、前記第１ブロック画像と前記第２ブロック画像とに基づいて前記第１ブロック画像に対応する第１画像データを生成する合成処理回路と、
を含むことを特徴とする画像処理装置。
【請求項５】
前記第１フレーム画像および前記第２フレーム画像は低解像度画像データに対応し、前記第１画像データは高解像度画像データに対応すること
を特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１ブロック画像と前記第１参照ブロック画像とが動いていると判定されるとき、前記第２ブロック画像に対応する画像データを補間して、前記第１画像データを生成すること
を含むことを特徴とする請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との輝度差の総和に基づいて前記動きを検出すること
を特徴とする請求項４乃至請求項６の何れか一に記載の画像処理装置。
【請求項８】
前記動き検出回路は、前記第１ブロック画像と前記第１参照ブロック画像との間の動きベクトルに基づいて前記動きを検出すること
を特徴とする請求項４乃至請求項７の何れか一に記載の画像処理装置。
【請求項９】
前記動き検出回路は、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値よりも小さいときに、前記第１ブロック画像および前記第１参照ブロック画像が静止していると判定するとともに、
前記第１ブロック画像の位置と前記第１参照ブロック画像の位置とが所定の閾値以上のときに、前記第１ブロック画像および前記第１参照ブロック画像が動いていると判定すること
を特徴とする請求項４乃至請求項８の何れか一に記載の画像処理装置。
【請求項１０】
画像データを第１のサンプリング点でサンプリングして縮小し第１縮小画像データを生成し、
前記画像データを前記第１のサンプリング点とは異なる第２のサンプリング点でサンプリングして縮小し第２縮小画像データを生成すること
を特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１５６７９５（Ｐ２０１２−１５６７９５Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４１４１（Ｐ２０１１−１４１４１）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]