画像処理装置、画像処理方法、及びプログラム
【課題】画像の縦横比に応じて好適な縦横比の変換を実現することができる画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】ＣＰＵ１０１は、閾値α、βを設定する。次に、ハードディスクドライブ１０５に保存すべき動画の縦横比Ｘ１：Ｘ２を実数Ａに代入する。次に、編集対象となる素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する。次に、ＣにＡとＢの比を代入する。次に、Ｃの値が１より小さいときは、Ｃの値が閾値αより大きいか否かを判別する。Ｃの値が閾値α以下であるときは、素材動画が保存すべき動画より横に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して横方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値α以下であるときは、横方向のフィッティング処理を行わない。
【解決手段】ＣＰＵ１０１は、閾値α、βを設定する。次に、ハードディスクドライブ１０５に保存すべき動画の縦横比Ｘ１：Ｘ２を実数Ａに代入する。次に、編集対象となる素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する。次に、ＣにＡとＢの比を代入する。次に、Ｃの値が１より小さいときは、Ｃの値が閾値αより大きいか否かを判別する。Ｃの値が閾値α以下であるときは、素材動画が保存すべき動画より横に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して横方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値α以下であるときは、横方向のフィッティング処理を行わない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、画像の縦横比を所定の縦横比に変換する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ワイドテレビの普及により、縦横比１６：９のワイド動画が多くみられるようになってきている。これに伴い、縦横比１６：９のワイド動画、及び縦横比４：３の従来の動画の放送信号が混在すると共に、縦横比１６：９及び縦横比４：３の表示領域を有するテレビ受像機が混在している状況である。この様な状況において、放送信号として受信した素材動画の縦横比とテレビ受像機の表示領域の縦横比とが一致しない場合の表示方法として、以下の二つの方法が知られている。
【０００３】
第１の方法は、素材動画の内容が全部表示されるように素材動画及び表示領域の縦又は横の長さを合わせて、素材動画の上下又は左右に黒帯をつけて表示する方法である。この第１の方法は直感的にわかりやすく、また表示処理も単純に実現できる。
【０００４】
第２の方法は、素材動画を縦方向又は横方向に引き伸ばすことにより、素材動画の縦横比を表示領域の縦横比に変換して表示する方法である。この第２の方法では、黒帯をつけることにより表示領域を無駄に使うことがないので、第１の方法より、より好ましい場合が多い。さらに、第２の方法をベースにして、素材動画の縦横比の変換をリモコンで制御することや、縦横比の好ましい変換方法等が提案されている（例えば、特許文献１参照）。
【０００５】
一方、近年、コンピュータ上で動画を扱うことも多くなっている。
【特許文献１】特開平１０−２３３９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、テレビ受像機の互換性を保つためテレビで扱う動画の縦横比が４：３か１６：９のいずれかに規格化されているのに対し、コンピュータ上で扱う動画の縦横比は様々である。例えば、コンピュータ上で扱う動画には、縦横比３：４又は縦横比９：１６といった縦に長い動画も存在する。
【０００７】
上記特許文献１に記載の縦横比の変換方法において、例えば、縦横比３：４の縦に長い素材動画を縦横比１６：９の横に長い表示領域に表示する場合に、素材動画を横方向に引き伸ばして表示すると、非常に見難くなる。
【０００８】
本発明の目的は、画像の縦横比に応じて好適な縦横比の変換を実現することができる画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述の目的を達成するために、請求項１記載の画像処理装置は、縦横比を所定の縦横比に変換する変換手段と、所定の閾値を設定する設定手段と、前記画像の縦横比及び前記所定の縦横比の比を算出する算出手段と、前記算出された比及び前記閾値を比較する比較手段と、前記比較手段による比較の結果に基づいて前記変換手段によって前記画像の縦横比を変換するか否かを判別する判別手段とを備えることを特徴とする。
【００１０】
上述の目的を達成するために、請求項７記載の画像処理方法は、画像の縦横比を所定の縦横比に変換する変換ステップと、所定の閾値を設定する設定ステップと、前記画像の縦横比及び前記所定の縦横比の比を算出する算出ステップと、前記算出された比及び前記閾値を比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて前記変換ステップにおいて前記画像の縦横比を変換するか否かを判別する判別ステップとを備えることを特徴とする。
【００１１】
上述の目的を達成するために、請求項８記載のコンピュータ読み取り可能なプログラムは、画像の縦横比を所定の縦横比に変換する変換モジュールと、所定の閾値を設定する設定モジュールと、前記画像の縦横比及び前記所定の縦横比の比を算出する算出モジュールと、前記算出された比及び前記閾値を比較する比較モジュールと、前記比較手段による比較の結果に基づいて前記変換モジュールによって前記画像の縦横比を変換するか否かを判別する判別モジュールとを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、所定の閾値を設定し、画像の縦横比及び所定の縦横比の比を算出し、算出された比及び閾値を比較し、その比較の結果に基づいて画像の縦横比を変換するか否かを判別する。これにより、画像の縦横比に応じて好適な縦横比の変換を実現することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１４】
まず、第１の実施の形態について説明する。第１の実施の形態では、パーソナルコンピュータ上で動作する動画編集アプリケーションにおいて本発明に係る画像処理方法を実現している。
【００１５】
図１は、本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００１６】
図１において、画像処理装置としてのＰＣ（パーソナルコンピュータ）１００は、ＣＰＵ（中央演算装置）１０１、メインメモリ１０２、表示部１０４、ハードディスクドライブ１０５、キー入力部１０６、及びネットワークインターフェース１０７を備える。
【００１７】
ＣＰＵ１０１及びメインメモリ１０２は、メインバス１１１を介して互いに接続されている。ハードディスクドライブ１０５、キー入力部１０６、及びネットワークインターフェース１０７は、周辺バス１１２を介して互いに接続されている。メインバス１１１及び周辺バス１１２は、ブリッジ１０３を介して互いに接続されている。表示部１０４は、グラフィックポートによりブリッジ１０３に接続されている。
【００１８】
ハードディスクドライブ１０５は、周辺バス１１２に接続された大容量記憶手段である。キー入力部１０６は、キーボード及びマウスにより構成される。
【００１９】
本実施の形態では、このＰＣ１００上でＯＳ（オペレーティングシステム）が動作する。ＯＳのプログラムは、ハードディスクドライブ１０５に記憶されており、システムの電源投入後、メインメモリ１０２にロードされてＣＰＵ１０１で順次処理される。ＣＰＵ１０１が、ブリッジ１０３、表示部１０４、ハードディスクドライブ１０５、キー入力部１０６、及びネットワークインターフェース１０７を制御することにより、ユーザにサービスを提供する。本実施の形態における縦横比フィッティング処理は、このＰＣ１００上のＯＳの動作により実現される。
【００２０】
図２は、図１における表示部１０４に表示される動画編集アプリケーションのユーザインターフェースを示す図である。
【００２１】
図２において、ユーザインターフェース３００は、ファイルボタン３０１、効果ボタン３０２、プレビューボタン３０３、保存ボタン３０４、再生画面３０５、及びストーリーボード３０６を備える。
【００２２】
ストーリーボード３０６には、編集対象となる素材動画のサムネイル画像が並べて表示される。
【００２３】
ファイルボタン３０１をクリックすると、ファイル選択ダイアログ（不図示）が開き、編集対象となる素材動画を指定することができる。動画編集アプリケーションでは、ここで指定された動画が、ストーリーボード３０６上に登録され、編集対象となる素材動画として扱うことができる。
【００２４】
効果ボタン３０２をクリックすると、後述する図３の効果設定ダイアログが開き、ストーリーボード３０６上に登録されている素材動画に対する効果を指定することができる。
【００２５】
プレビューボタン３０３をクリックすると、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果を再生画面３０５に再生することができる。
【００２６】
保存ボタン３０４をクリックすると、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果をハードディスクドライブ１０５に保存することができる。
【００２７】
図３は、図１における表示部１０４に表示される効果指定ダイアログを示す図である。
【００２８】
図３において、効果設定ダイアログ４００は、効果タブ４０１、及びテキストタブ４０２を有する。効果タブ４０１では、素材動画に対してセピア、縦横比フィッティング、ＲＧＢ自動補正、モノクロ等のフィルタ効果を付加できる。また、テキストタブ４０２では、素材動画に対して挿入するテキストを指定することができる（不図示）。
【００２９】
図４は、図２の動画編集アプリケーションのユーザインターフェースのユーザワークフローのフローチャートである。
【００３０】
図４において、まず、ユーザが動画編集アプリケーションのプログラムを起動すると、表示部１０４にユーザインターフェース３００が表示される。ここで、ユーザは、ファイルボタン３０１をクリックしてファイル選択ダイアログを開き、編集対象となる素材動画を指定する（ステップＳ５０１）。ユーザに指定された編集対象となる素材動画のサムネイル画像は、ストーリーボード３０６上に並べて表示される。
【００３１】
ここでは、ユーザは、001.avi及び002.aviという二つの動画を素材動画として指定したとする。001.aviは縦横比が４：３の横に長い動画であり、002.aviは縦横比が３：４の縦に長い動画である。
【００３２】
また、ここでは、動画編集アプリケーションは、縦横比が１６：９の横に長い動画をハードディスクドライブ１０５に保存するように設定されているとする。そのため、素材動画001.avi及び002.aviはいずれも、保存すべき動画より横に短い。したがって、図２に示すように、ストーリーボード３０６に登録された二つの素材動画001.avi及び002.aviは、それぞれ左右に黒帯がついた状態となっている。
【００３３】
次に、ユーザは、効果ボタン３０２をクリックして効果設定ダイアログ４００を開き、ストーリーボード３０６上に登録されている素材動画に対する効果を指定する（ステップＳ５０２）。本実施の形態では、効果タブ４０１で「縦横比フィッティング」を指定し、素材動画に対して縦横比フィッティングの効果を付加するように動画編集アプリケーションに指示する。縦横比フィッティングの指示を受けた動画編集アプリケーションは、後述する図５の縦横比フィッティング処理を実行する。
【００３４】
次に、ユーザは、プレビューボタン３０３をクリックし、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果を再生画面３０５に再生する（ステップＳ５０３）。これにより、ユーザは素材動画に指定された効果を付加した編集結果を確認することができる。
【００３５】
次に、ユーザは、保存ボタン３０４をクリックして、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果をハードディスクドライブ１０５に保存し（ステップＳ５０４）、本処理を終了する。
【００３６】
図５は、図４のステップＳ５０２の操作により実行される縦横比フィッティング処理のフローチャートである。本処理は、図５のステップＳ５０２においてユーザにより効果タブ４０１で「縦横比フィッティング」が指定されると、ＰＣ１００のＣＰＵ１０１によって実行される。
【００３７】
図５において、まず、ＣＰＵ１０１は、閾値α、βを設定する（ステップＳ１０１）。ここでは、それぞれα＝０．７、β＝１．３とする。この閾値α、βは、後述するステップＳ１０６、Ｓ１０８において、縦方向又は横方向のフィッティング処理を行うか否かを判断するために用いられる。
【００３８】
次に、ハードディスクドライブ１０５に保存すべき動画の縦横比Ｘ１：Ｘ２を実数Ａに代入する（ステップＳ１０２）。ここでは、保存すべき動画の縦横比は１６：９であるのでＡ＝１６÷９＝１．７７７８となる。
【００３９】
次に、編集対象となる素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する（ステップＳ１０３）。ここでは、最初の素材動画001.aviの縦横比は４：３であるので、Ｂ＝４÷３＝１．３３３３となる。
【００４０】
次に、ＣにＡとＢの比を代入する（ステップＳ１０４）。即ち、保存すべき動画の縦横比Ａ及び素材動画の縦横比Ｂの比Ｃを算出する。ここでは、Ｃ＝Ｂ／Ａ＝０．７５となる。
【００４１】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ１０５）。この判別の結果、Ｃの値が１に等しいときは、素材動画及び保存すべき動画は、縦横比が等しいことを表しており、縦方向又は横方向のフィッティング処理を行う必要がない。そのため、Ｃが１に等しいときは、縦方向又は横方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００４２】
一方、ステップＳ１０５の判別の結果、Ｃの値が１より小さいときは、素材動画が保存すべき動画より横に短いことを表しており、ステップＳ１０６に進む。本実施の形態では、Ｃ＝０．７５であり、素材動画001.aviが保存すべき動画より横に短いので、ステップＳ１０６に進む。
【００４３】
ステップＳ１０６では、Ｃの値が閾値αより大きいか否かを判別する。ステップＳ１０６の判別の結果、Ｃの値が閾値αより大きいときは、Ｃの値が１に近いことを表しており、ステップＳ１０７に進む。即ち、素材動画が保存すべき動画より横に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝０．９５であれば、素材動画及び保存すべき動画の縦横比にほとんど差がないことを表す。本実施の形態では、Ｃ＝０．７５、α＝０．７であり、Ｃの値が閾値αより大きいので、ステップＳ１０７に進む。
【００４４】
ステップＳ１０７では、素材動画に対して横方向のフィッティング処理を行い、ステップＳ１１０に進む。ここで、本発明では、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に横方向に引き伸ばすものとする。
【００４５】
一方、ステップＳ１０６の判別の結果、Ｃの値が閾値α以下であるときは、素材動画が保存すべき動画より横に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して横方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値α以下であるときは、横方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００４６】
一方、ステップＳ１０５の判別の結果、Ｃの値が１より大きいときは、素材動画が保存すべき動画より縦に短いことを意味しており、ステップＳ１０８に進む。
【００４７】
ステップＳ１０８では、Ｃの値が閾値βより小さいか否かを判別する。ステップＳ１０８の判別の結果、Ｃの値が閾値βより小さいときは、Ｃの値が１に近いことを表しており、ステップＳ１０９に進む。即ち、素材動画が保存すべき動画より縦に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝１．０５であれば、素材動画及び保存すべき動画の縦横比にほとんど差がないことを表す。
【００４８】
ステップＳ１０９では、素材動画に対して縦方向のフィッティング処理を行い、ステップＳ１１０に進む。ここで、本発明では、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に縦方向に引き伸ばすものとする。
【００４９】
一方、ステップＳ１０８の判別の結果、Ｃの値が閾値β以上であるときは、素材動画が保存すべき動画より縦に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して縦方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値β以上であるときは、縦方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００５０】
ステップＳ１１０では、次に処理すべき未処理の素材動画があるか否かを判別する。この判別の結果、未処理の素材動画があるときは、ステップＳ１０３に戻る。一方、この判別の結果、未処理の素材動画がないときは、本処理を終了する。本実施の形態では、まだ２番目の素材動画002.aviが存在するので、ステップＳ１０３に戻る。
【００５１】
ステップＳ１０３では、素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する。ここでは、２番目の素材動画002.aviの縦横比は３：４であるので、Ｂ＝３÷４＝０．７５となる。
【００５２】
次に、ＣにＡとＢの比を代入する（ステップＳ１０４）。ここでは、Ｃ＝Ｂ／Ａ＝０．４２１８となる。
【００５３】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ１０５）。Ｃ＝０．４２１８であり、素材動画002.aviが保存すべき動画より横に短いので、ステップＳ１０６に進む。
【００５４】
ステップＳ１０６では、Ｃの値が閾値αより大きいか否かを判別する。Ｃ＝０．４２１８、α＝０．７であり、Ｃの値が閾値α以下であるので、素材動画002.aviに対しては縦方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００５５】
ステップＳ１１０では、次に処理すべき未処理の素材動画があるか否かを判別する。ここでは、未処理の素材動画がないので、本処理を終了する。
【００５６】
図６は、図５の縦横比フィッティング処理後のユーザインターフェース３００を示す図である。
【００５７】
図６において、ユーザインターフェース３００のストーリーボード３０６には、素材動画001.avi及び002.aviに対して縦横比フィッティング処理を実行した後の、編集結果のサムネイル画像が表示されている。動画001.aviに対しては横方向のフィッティング処理がなされているが、動画002.aviに対して横方向のフィッティング処理がなされていない。
【００５８】
第１の実施の形態によれば、素材動画の縦横比及び保存すべき動画の縦横比の比を所定の閾値と比較し、縦方向又は横方向のフィッティング処理を行うとかえって見難い動画となると判断される場合には、縦方向又は横方向のフィッティング処理を行わない。これにより、素材動画の縦横比に応じて好適な縦横比の変換を実現することができる。
【００５９】
次に、第２の実施の形態について説明する。第２の実施の形態では、動画を記録再生する撮像装置において本発明に係る画像処理方法を実現している。
【００６０】
図７は、本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００６１】
図７において、画像処理装置としての撮像装置２００は、撮像部２０１、符号化／復号化部２０２、記憶部２０３、表示部２０４、縦横比変換部２０５、出力部２０６、及び制御部２０７を備える。
【００６２】
撮像部２０１は、ＣＣＤ及び撮像信号処理部により構成される。符号化／復号化部２０２は、撮影した静止画／動画の符号化、復号化を行う。本実施の形態では、符号化／復号化部２０２は、静止画はＪＰＥＧに、動画はＭｏｔｉｏｎＪＰＥＧに符号化／復号化するものとする。
【００６３】
記憶部２０３は、画像の撮影時には符号化／復号化部２０２で符号化された画像信号を記憶する。また、記憶部２０３は、画像の再生時には記憶された画像信号を符号化／復号化部２０２に送出する。
【００６４】
表示部２０４は、本実施の形態では、撮像装置２００に付属する液晶パネル、及び表示装置により構成される。また、表示部２０４は、符号化／復号化部２０２で復号化された画像を表示する。
【００６５】
縦横比変換部２０５は、画像信号に対して出力形式に適した縦横比フィッティング処理を実行する。出力部２０６は、縦横比変換部２０５により縦横比フィッティング処理がなされた画像信号を不図示の外部機器に出力する。本実施の形態では、出力部２０６は、外部機器としてワイドテレビ（不図示）に接続されているものとする。制御部２０７は、撮像装置２００の全体を制御する。
【００６６】
図８は、図７における表示部２０４に表示される表示内容を示す図である。
【００６７】
本実施の形態では、001.avi及び002.aviという二つの動画が撮影され、記憶部２０３に記憶されているものとする。001.aviは縦横比が４：３の横に長い動画であり、002.aviは縦横比が３：４の縦に長い動画である。図８において、表示部２０４には、動画001.avi及び002.aviのサムネイル画像がそれぞれ表示されている。
【００６８】
本実施の形態では、これら二つの動画001.avi及び002.aviをワイドテレビに出力する。ワイドテレビの縦横比は１６：９であり、動画001.avi及び002.aviをそのまま出力すると001.avi及び002.avi共に左右に黒帯がついた状態で表示され、好ましくない。
【００６９】
そこで、縦横比変換部２０５において、編集対象となる素材動画001.avi及び002.aviに対して図９の縦横比フィッティング処理を実行して、好ましい縦横比の動画をワイドテレビに出力する。
【００７０】
図９は、図７における制御部２０７で実行される縦横比フィッティング処理のフローチャートである。
【００７１】
図９において、まず、制御部２０７は、閾値α、βを設定する（ステップＳ９０１）。ここでは、それぞれα＝０．７、β＝１．３とする。この閾値α、βは、後述するステップＳ９０６、Ｓ９０８において、縦方向又は横方向のフィッティング処理を行うか否かを判断するために用いられる。
【００７２】
次に、ワイドテレビに出力すべき動画の縦横比Ｘ１：Ｘ２を実数Ａに代入する（ステップＳ９０２）。ここでは、出力すべき動画の縦横比は１６：９であるのでＡ＝１６÷９＝１．７７７８となる。
【００７３】
次に、編集対象となる素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する（ステップＳ９０３）。ここでは、最初の素材動画001.aviの縦横比は４：３であるので、Ｂ＝４÷３＝１．３３３３となる。
【００７４】
次に、ＣにＡとＢの比を代入する（ステップＳ９０４）。即ち、出力すべき動画の縦横比Ａ及び素材動画の縦横比Ｂの比Ｃを算出する。ここでは、Ｃ＝Ｂ／Ａ＝０．７５となる。
【００７５】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ９０５）。この判別の結果、Ｃの値が１に等しいときは、素材動画及び出力すべき動画は、縦横比が等しいことを表しており、縦方向又は横方向のフィッティング処理を行う必要がない。そのため、Ｃが１に等しいときは、縦方向又は横方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００７６】
一方、ステップＳ９０５の判別の結果、Ｃの値が１より小さいときは、素材動画が出力すべき動画より横に短いことを表しており、ステップＳ９０６に進む。本実施の形態では、Ｃ＝０．７５であり、素材動画001.aviが出力すべき動画より横に短いので、ステップＳ９０６に進む。
【００７７】
ステップＳ９０６では、Ｃの値が閾値αより大きいか否かを判別する。ステップＳ９０６の判別の結果、Ｃの値が閾値αより大きいときは、Ｃの値が１に近いことを表しており、ステップＳ９０７に進む。即ち、素材動画が出力すべき動画より横に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝０．９５であれば、素材動画及び出力すべき動画の縦横比にほとんど差がないことを表す。本実施の形態では、Ｃ＝０．７５、α＝０．７であり、Ｃの値が閾値αより大きいので、ステップＳ９０７に進む。
【００７８】
ステップＳ９０７では、素材動画に対して横方向のフィッティング処理を行い、ステップＳ９１０に進む。ここで、本発明では、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に横方向に引き伸ばすものとする。
【００７９】
一方、ステップＳ９０６の判別の結果、Ｃの値が閾値α以下であるときは、素材動画が出力すべき動画より横に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して横方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値α以下であるときは、横方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００８０】
一方、ステップＳ９０５の判別の結果、Ｃの値が１より大きいときは、素材動画が出力すべき動画より縦に短いことを意味しており、ステップＳ９０８に進む。
【００８１】
ステップＳ９０８では、Ｃの値が閾値βより小さいか否かを判別する。ステップＳ９０８の判別の結果、Ｃの値が閾値βより小さいときは、Ｃの値が１に近いことを表しており、ステップＳ９０９に進む。即ち、素材動画が出力すべき動画より縦に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝１．０５であれば、素材動画及び出力すべき動画の縦横比にほとんど差がないことを表す。
【００８２】
ステップＳ９０９では、素材動画に対して縦方向のフィッティング処理を行い、ステップＳ９１０に進む。ここで、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に縦方向に引き伸ばすものとする。
【００８３】
一方、ステップＳ９０８の判別の結果、Ｃの値が閾値β以上であるときは、素材動画が出力すべき動画より縦に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して縦方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値β以上であるときは、縦方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００８４】
ステップＳ９１０では、縦横比変換部２０５は、出力部２０６に動画を出力し、ステップＳ９１１に進む。出力部２０６は、縦横比変換部２０５により出力された動画をワイドテレビに出力する。ここでは、縦横比変換部２０５は、ステップＳ９０７で横方向のフィッティング処理を実行した動画001.aviを出力部２０６に出力する。
【００８５】
ステップＳ９１１では、次に処理すべき未処理の素材動画があるか否かを判別する。この判別の結果、未処理の素材動画があるときは、ステップＳ９０３に戻る。一方、この判別の結果、未処理の素材動画がないときは、本処理を終了する。本実施の形態では、まだ２番目の素材動画002.aviが存在するので、ステップＳ９０３に戻る。
【００８６】
ステップＳ９０３では、素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する。ここでは、２番目の素材動画002.aviの縦横比は３：４であるので、Ｂ＝３÷４＝０．７５となる。
【００８７】
次に、ＣにＡとＢの比を代入する（ステップＳ９０４）。ここでは、Ｃ＝Ｂ／Ａ＝０．４２１８となる。
【００８８】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ９０５）。Ｃ＝０．４２１８であり、素材動画002.aviが出力すべき動画より横に短いので、ステップＳ９０６に進む。
【００８９】
ステップＳ９０６では、Ｃの値が閾値αより大きいか否かを判別する。Ｃ＝０．４２１８、α＝０．７であり、Ｃの値が閾値α以下であるので、素材動画002.aviに対しては縦方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００９０】
ステップＳ９１０では、縦横比変換部２０５は、出力部２０６に動画を出力し、ステップＳ９１１に進む。出力部２０６は、縦横比変換部２０５により出力された動画をワイドテレビに出力する。ここでは、縦方向のフィッティング処理を実行していない素材動画002.aviを出力部２０６に出力する。
【００９１】
ステップＳ９１１では、次に処理すべき未処理の素材動画があるか否かを判別する。ここでは、未処理の素材動画がないので、本処理を終了する。
【００９２】
図１０は、図９の縦横比フィッティング処理後にワイドテレビの画面に表示される表示内容を示す図である。
【００９３】
図１０において、画面１００１には動画001.aviが表示され、画面１００２には動画002.aviが表示されている。動画001.aviに対しては横方向のフィッティング処理がなされているが、動画002.aviに対して横方向のフィッティング処理がなされていない。
【００９４】
第２の実施の形態によれば、素材動画の縦横比及び出力すべき動画の縦横比の比を所定の閾値と比較し、縦方向又は横方向のフィッティング処理を行うとかえって見難い動画となると判断される場合には、縦方向又は横方向のフィッティング処理を行わない。これにより、素材の縦横比に応じて好適な縦横比の変換を実現することができる。
【００９５】
ここで本実施の形態においては、動画に対して縦横比フィッティング処理を実行する例について説明したが、動画に限定されるものではなく、静止画に対しても本発明を適用することができる。例えば、静止画をスライドショーの形態でワイドテレビに出力する場合においても、本発明における閾値を用いた縦横比フィッティング処理を適用することができる。さらに、動画及び静止画で異なる値を閾値に設定し、縦横比フィッティング処理の効果をより高めること等も可能である。
【００９６】
上記の実施の形態で説明した処理、機能等は、いずれもコンピュータ読み取り可能なプログラム等で実現することもできる。
【００９７】
この場合、上記の実施の形態で説明した処理、機能等は、システム又は装置に含まれるコンピュータ（ＣＰＵ、ＭＰＵ等でもよい）が上記のプログラム等を実行することによって実現されることになる。言い換えれば、上記のプログラム等が、システム又は装置に含まれるコンピュータに、上記の実施の形態で説明した処理、機能等を実行させることになる。また、この場合、上記のプログラム等は、コンピュータ読み取り可能な記憶媒体又はネットワークを介してシステム又は装置に含まれるコンピュータに提供されることになる。
【００９８】
システム又は装置に含まれるコンピュータに上記のプログラム等を提供する記憶媒体には、磁気ディスク、光ディスク、光磁気ディスク、ハードディスク、磁気テープ、不揮発性メモリ等を用いることができる。
【００９９】
また、上記のプログラム等は、その一部をコンピュータ上で稼動しているＯＳ（オペレーティングシステム）等を用いて構成してもよい。
【０１００】
さらに、上記のプログラム等は、その一部をコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットで実行するように構成してもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１における表示部１０４に表示される動画編集アプリケーションのユーザインターフェースを示す図である。
【図３】図１における表示部１０４に表示される効果指定ダイアログを示す図である。
【図４】図２の動画編集アプリケーションのユーザインターフェースのユーザワークフローのフローチャートである。
【図５】図４のステップＳ５０２の操作により実行される縦横比フィッティング処理のフローチャートである。
【図６】図５の縦横比フィッティング処理後のユーザインターフェース３００を示す図である。
【図７】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図８】図７における表示部２０４に表示される表示内容を示す図である。
【図９】図７における制御部２０７で実行される縦横比フィッティング処理のフローチャートである。
【図１０】図９の縦横比フィッティング処理後にワイドテレビの画面に表示される表示内容を示す図である。
【符号の説明】
【０１０２】
１００ ＰＣ（パーソナルコンピュータ）
１０１ ＣＰＵ（中央演算装置）
１０２ メインメモリ
１０４ 表示部
１０５ ハードディスクドライブ
１０６ キー入力部
１０７ ネットワークインターフェース
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、画像の縦横比を所定の縦横比に変換する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ワイドテレビの普及により、縦横比１６：９のワイド動画が多くみられるようになってきている。これに伴い、縦横比１６：９のワイド動画、及び縦横比４：３の従来の動画の放送信号が混在すると共に、縦横比１６：９及び縦横比４：３の表示領域を有するテレビ受像機が混在している状況である。この様な状況において、放送信号として受信した素材動画の縦横比とテレビ受像機の表示領域の縦横比とが一致しない場合の表示方法として、以下の二つの方法が知られている。
【０００３】
第１の方法は、素材動画の内容が全部表示されるように素材動画及び表示領域の縦又は横の長さを合わせて、素材動画の上下又は左右に黒帯をつけて表示する方法である。この第１の方法は直感的にわかりやすく、また表示処理も単純に実現できる。
【０００４】
第２の方法は、素材動画を縦方向又は横方向に引き伸ばすことにより、素材動画の縦横比を表示領域の縦横比に変換して表示する方法である。この第２の方法では、黒帯をつけることにより表示領域を無駄に使うことがないので、第１の方法より、より好ましい場合が多い。さらに、第２の方法をベースにして、素材動画の縦横比の変換をリモコンで制御することや、縦横比の好ましい変換方法等が提案されている（例えば、特許文献１参照）。
【０００５】
一方、近年、コンピュータ上で動画を扱うことも多くなっている。
【特許文献１】特開平１０−２３３９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、テレビ受像機の互換性を保つためテレビで扱う動画の縦横比が４：３か１６：９のいずれかに規格化されているのに対し、コンピュータ上で扱う動画の縦横比は様々である。例えば、コンピュータ上で扱う動画には、縦横比３：４又は縦横比９：１６といった縦に長い動画も存在する。
【０００７】
上記特許文献１に記載の縦横比の変換方法において、例えば、縦横比３：４の縦に長い素材動画を縦横比１６：９の横に長い表示領域に表示する場合に、素材動画を横方向に引き伸ばして表示すると、非常に見難くなる。
【０００８】
本発明の目的は、画像の縦横比に応じて好適な縦横比の変換を実現することができる画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述の目的を達成するために、請求項１記載の画像処理装置は、縦横比を所定の縦横比に変換する変換手段と、所定の閾値を設定する設定手段と、前記画像の縦横比及び前記所定の縦横比の比を算出する算出手段と、前記算出された比及び前記閾値を比較する比較手段と、前記比較手段による比較の結果に基づいて前記変換手段によって前記画像の縦横比を変換するか否かを判別する判別手段とを備えることを特徴とする。
【００１０】
上述の目的を達成するために、請求項７記載の画像処理方法は、画像の縦横比を所定の縦横比に変換する変換ステップと、所定の閾値を設定する設定ステップと、前記画像の縦横比及び前記所定の縦横比の比を算出する算出ステップと、前記算出された比及び前記閾値を比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて前記変換ステップにおいて前記画像の縦横比を変換するか否かを判別する判別ステップとを備えることを特徴とする。
【００１１】
上述の目的を達成するために、請求項８記載のコンピュータ読み取り可能なプログラムは、画像の縦横比を所定の縦横比に変換する変換モジュールと、所定の閾値を設定する設定モジュールと、前記画像の縦横比及び前記所定の縦横比の比を算出する算出モジュールと、前記算出された比及び前記閾値を比較する比較モジュールと、前記比較手段による比較の結果に基づいて前記変換モジュールによって前記画像の縦横比を変換するか否かを判別する判別モジュールとを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、所定の閾値を設定し、画像の縦横比及び所定の縦横比の比を算出し、算出された比及び閾値を比較し、その比較の結果に基づいて画像の縦横比を変換するか否かを判別する。これにより、画像の縦横比に応じて好適な縦横比の変換を実現することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１４】
まず、第１の実施の形態について説明する。第１の実施の形態では、パーソナルコンピュータ上で動作する動画編集アプリケーションにおいて本発明に係る画像処理方法を実現している。
【００１５】
図１は、本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００１６】
図１において、画像処理装置としてのＰＣ（パーソナルコンピュータ）１００は、ＣＰＵ（中央演算装置）１０１、メインメモリ１０２、表示部１０４、ハードディスクドライブ１０５、キー入力部１０６、及びネットワークインターフェース１０７を備える。
【００１７】
ＣＰＵ１０１及びメインメモリ１０２は、メインバス１１１を介して互いに接続されている。ハードディスクドライブ１０５、キー入力部１０６、及びネットワークインターフェース１０７は、周辺バス１１２を介して互いに接続されている。メインバス１１１及び周辺バス１１２は、ブリッジ１０３を介して互いに接続されている。表示部１０４は、グラフィックポートによりブリッジ１０３に接続されている。
【００１８】
ハードディスクドライブ１０５は、周辺バス１１２に接続された大容量記憶手段である。キー入力部１０６は、キーボード及びマウスにより構成される。
【００１９】
本実施の形態では、このＰＣ１００上でＯＳ（オペレーティングシステム）が動作する。ＯＳのプログラムは、ハードディスクドライブ１０５に記憶されており、システムの電源投入後、メインメモリ１０２にロードされてＣＰＵ１０１で順次処理される。ＣＰＵ１０１が、ブリッジ１０３、表示部１０４、ハードディスクドライブ１０５、キー入力部１０６、及びネットワークインターフェース１０７を制御することにより、ユーザにサービスを提供する。本実施の形態における縦横比フィッティング処理は、このＰＣ１００上のＯＳの動作により実現される。
【００２０】
図２は、図１における表示部１０４に表示される動画編集アプリケーションのユーザインターフェースを示す図である。
【００２１】
図２において、ユーザインターフェース３００は、ファイルボタン３０１、効果ボタン３０２、プレビューボタン３０３、保存ボタン３０４、再生画面３０５、及びストーリーボード３０６を備える。
【００２２】
ストーリーボード３０６には、編集対象となる素材動画のサムネイル画像が並べて表示される。
【００２３】
ファイルボタン３０１をクリックすると、ファイル選択ダイアログ（不図示）が開き、編集対象となる素材動画を指定することができる。動画編集アプリケーションでは、ここで指定された動画が、ストーリーボード３０６上に登録され、編集対象となる素材動画として扱うことができる。
【００２４】
効果ボタン３０２をクリックすると、後述する図３の効果設定ダイアログが開き、ストーリーボード３０６上に登録されている素材動画に対する効果を指定することができる。
【００２５】
プレビューボタン３０３をクリックすると、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果を再生画面３０５に再生することができる。
【００２６】
保存ボタン３０４をクリックすると、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果をハードディスクドライブ１０５に保存することができる。
【００２７】
図３は、図１における表示部１０４に表示される効果指定ダイアログを示す図である。
【００２８】
図３において、効果設定ダイアログ４００は、効果タブ４０１、及びテキストタブ４０２を有する。効果タブ４０１では、素材動画に対してセピア、縦横比フィッティング、ＲＧＢ自動補正、モノクロ等のフィルタ効果を付加できる。また、テキストタブ４０２では、素材動画に対して挿入するテキストを指定することができる（不図示）。
【００２９】
図４は、図２の動画編集アプリケーションのユーザインターフェースのユーザワークフローのフローチャートである。
【００３０】
図４において、まず、ユーザが動画編集アプリケーションのプログラムを起動すると、表示部１０４にユーザインターフェース３００が表示される。ここで、ユーザは、ファイルボタン３０１をクリックしてファイル選択ダイアログを開き、編集対象となる素材動画を指定する（ステップＳ５０１）。ユーザに指定された編集対象となる素材動画のサムネイル画像は、ストーリーボード３０６上に並べて表示される。
【００３１】
ここでは、ユーザは、001.avi及び002.aviという二つの動画を素材動画として指定したとする。001.aviは縦横比が４：３の横に長い動画であり、002.aviは縦横比が３：４の縦に長い動画である。
【００３２】
また、ここでは、動画編集アプリケーションは、縦横比が１６：９の横に長い動画をハードディスクドライブ１０５に保存するように設定されているとする。そのため、素材動画001.avi及び002.aviはいずれも、保存すべき動画より横に短い。したがって、図２に示すように、ストーリーボード３０６に登録された二つの素材動画001.avi及び002.aviは、それぞれ左右に黒帯がついた状態となっている。
【００３３】
次に、ユーザは、効果ボタン３０２をクリックして効果設定ダイアログ４００を開き、ストーリーボード３０６上に登録されている素材動画に対する効果を指定する（ステップＳ５０２）。本実施の形態では、効果タブ４０１で「縦横比フィッティング」を指定し、素材動画に対して縦横比フィッティングの効果を付加するように動画編集アプリケーションに指示する。縦横比フィッティングの指示を受けた動画編集アプリケーションは、後述する図５の縦横比フィッティング処理を実行する。
【００３４】
次に、ユーザは、プレビューボタン３０３をクリックし、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果を再生画面３０５に再生する（ステップＳ５０３）。これにより、ユーザは素材動画に指定された効果を付加した編集結果を確認することができる。
【００３５】
次に、ユーザは、保存ボタン３０４をクリックして、ストーリーボード３０６上に登録されている素材動画に指定された効果を付加した編集結果をハードディスクドライブ１０５に保存し（ステップＳ５０４）、本処理を終了する。
【００３６】
図５は、図４のステップＳ５０２の操作により実行される縦横比フィッティング処理のフローチャートである。本処理は、図５のステップＳ５０２においてユーザにより効果タブ４０１で「縦横比フィッティング」が指定されると、ＰＣ１００のＣＰＵ１０１によって実行される。
【００３７】
図５において、まず、ＣＰＵ１０１は、閾値α、βを設定する（ステップＳ１０１）。ここでは、それぞれα＝０．７、β＝１．３とする。この閾値α、βは、後述するステップＳ１０６、Ｓ１０８において、縦方向又は横方向のフィッティング処理を行うか否かを判断するために用いられる。
【００３８】
次に、ハードディスクドライブ１０５に保存すべき動画の縦横比Ｘ１：Ｘ２を実数Ａに代入する（ステップＳ１０２）。ここでは、保存すべき動画の縦横比は１６：９であるのでＡ＝１６÷９＝１．７７７８となる。
【００３９】
次に、編集対象となる素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する（ステップＳ１０３）。ここでは、最初の素材動画001.aviの縦横比は４：３であるので、Ｂ＝４÷３＝１．３３３３となる。
【００４０】
次に、ＣにＡとＢの比を代入する（ステップＳ１０４）。即ち、保存すべき動画の縦横比Ａ及び素材動画の縦横比Ｂの比Ｃを算出する。ここでは、Ｃ＝Ｂ／Ａ＝０．７５となる。
【００４１】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ１０５）。この判別の結果、Ｃの値が１に等しいときは、素材動画及び保存すべき動画は、縦横比が等しいことを表しており、縦方向又は横方向のフィッティング処理を行う必要がない。そのため、Ｃが１に等しいときは、縦方向又は横方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００４２】
一方、ステップＳ１０５の判別の結果、Ｃの値が１より小さいときは、素材動画が保存すべき動画より横に短いことを表しており、ステップＳ１０６に進む。本実施の形態では、Ｃ＝０．７５であり、素材動画001.aviが保存すべき動画より横に短いので、ステップＳ１０６に進む。
【００４３】
ステップＳ１０６では、Ｃの値が閾値αより大きいか否かを判別する。ステップＳ１０６の判別の結果、Ｃの値が閾値αより大きいときは、Ｃの値が１に近いことを表しており、ステップＳ１０７に進む。即ち、素材動画が保存すべき動画より横に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝０．９５であれば、素材動画及び保存すべき動画の縦横比にほとんど差がないことを表す。本実施の形態では、Ｃ＝０．７５、α＝０．７であり、Ｃの値が閾値αより大きいので、ステップＳ１０７に進む。
【００４４】
ステップＳ１０７では、素材動画に対して横方向のフィッティング処理を行い、ステップＳ１１０に進む。ここで、本発明では、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に横方向に引き伸ばすものとする。
【００４５】
一方、ステップＳ１０６の判別の結果、Ｃの値が閾値α以下であるときは、素材動画が保存すべき動画より横に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して横方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値α以下であるときは、横方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００４６】
一方、ステップＳ１０５の判別の結果、Ｃの値が１より大きいときは、素材動画が保存すべき動画より縦に短いことを意味しており、ステップＳ１０８に進む。
【００４７】
ステップＳ１０８では、Ｃの値が閾値βより小さいか否かを判別する。ステップＳ１０８の判別の結果、Ｃの値が閾値βより小さいときは、Ｃの値が１に近いことを表しており、ステップＳ１０９に進む。即ち、素材動画が保存すべき動画より縦に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝１．０５であれば、素材動画及び保存すべき動画の縦横比にほとんど差がないことを表す。
【００４８】
ステップＳ１０９では、素材動画に対して縦方向のフィッティング処理を行い、ステップＳ１１０に進む。ここで、本発明では、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に縦方向に引き伸ばすものとする。
【００４９】
一方、ステップＳ１０８の判別の結果、Ｃの値が閾値β以上であるときは、素材動画が保存すべき動画より縦に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して縦方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値β以上であるときは、縦方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００５０】
ステップＳ１１０では、次に処理すべき未処理の素材動画があるか否かを判別する。この判別の結果、未処理の素材動画があるときは、ステップＳ１０３に戻る。一方、この判別の結果、未処理の素材動画がないときは、本処理を終了する。本実施の形態では、まだ２番目の素材動画002.aviが存在するので、ステップＳ１０３に戻る。
【００５１】
ステップＳ１０３では、素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する。ここでは、２番目の素材動画002.aviの縦横比は３：４であるので、Ｂ＝３÷４＝０．７５となる。
【００５２】
次に、ＣにＡとＢの比を代入する（ステップＳ１０４）。ここでは、Ｃ＝Ｂ／Ａ＝０．４２１８となる。
【００５３】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ１０５）。Ｃ＝０．４２１８であり、素材動画002.aviが保存すべき動画より横に短いので、ステップＳ１０６に進む。
【００５４】
ステップＳ１０６では、Ｃの値が閾値αより大きいか否かを判別する。Ｃ＝０．４２１８、α＝０．７であり、Ｃの値が閾値α以下であるので、素材動画002.aviに対しては縦方向のフィッティング処理を行うことなくステップＳ１１０に進む。
【００５５】
ステップＳ１１０では、次に処理すべき未処理の素材動画があるか否かを判別する。ここでは、未処理の素材動画がないので、本処理を終了する。
【００５６】
図６は、図５の縦横比フィッティング処理後のユーザインターフェース３００を示す図である。
【００５７】
図６において、ユーザインターフェース３００のストーリーボード３０６には、素材動画001.avi及び002.aviに対して縦横比フィッティング処理を実行した後の、編集結果のサムネイル画像が表示されている。動画001.aviに対しては横方向のフィッティング処理がなされているが、動画002.aviに対して横方向のフィッティング処理がなされていない。
【００５８】
第１の実施の形態によれば、素材動画の縦横比及び保存すべき動画の縦横比の比を所定の閾値と比較し、縦方向又は横方向のフィッティング処理を行うとかえって見難い動画となると判断される場合には、縦方向又は横方向のフィッティング処理を行わない。これにより、素材動画の縦横比に応じて好適な縦横比の変換を実現することができる。
【００５９】
次に、第２の実施の形態について説明する。第２の実施の形態では、動画を記録再生する撮像装置において本発明に係る画像処理方法を実現している。
【００６０】
図７は、本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００６１】
図７において、画像処理装置としての撮像装置２００は、撮像部２０１、符号化／復号化部２０２、記憶部２０３、表示部２０４、縦横比変換部２０５、出力部２０６、及び制御部２０７を備える。
【００６２】
撮像部２０１は、ＣＣＤ及び撮像信号処理部により構成される。符号化／復号化部２０２は、撮影した静止画／動画の符号化、復号化を行う。本実施の形態では、符号化／復号化部２０２は、静止画はＪＰＥＧに、動画はＭｏｔｉｏｎＪＰＥＧに符号化／復号化するものとする。
【００６３】
記憶部２０３は、画像の撮影時には符号化／復号化部２０２で符号化された画像信号を記憶する。また、記憶部２０３は、画像の再生時には記憶された画像信号を符号化／復号化部２０２に送出する。
【００６４】
表示部２０４は、本実施の形態では、撮像装置２００に付属する液晶パネル、及び表示装置により構成される。また、表示部２０４は、符号化／復号化部２０２で復号化された画像を表示する。
【００６５】
縦横比変換部２０５は、画像信号に対して出力形式に適した縦横比フィッティング処理を実行する。出力部２０６は、縦横比変換部２０５により縦横比フィッティング処理がなされた画像信号を不図示の外部機器に出力する。本実施の形態では、出力部２０６は、外部機器としてワイドテレビ（不図示）に接続されているものとする。制御部２０７は、撮像装置２００の全体を制御する。
【００６６】
図８は、図７における表示部２０４に表示される表示内容を示す図である。
【００６７】
本実施の形態では、001.avi及び002.aviという二つの動画が撮影され、記憶部２０３に記憶されているものとする。001.aviは縦横比が４：３の横に長い動画であり、002.aviは縦横比が３：４の縦に長い動画である。図８において、表示部２０４には、動画001.avi及び002.aviのサムネイル画像がそれぞれ表示されている。
【００６８】
本実施の形態では、これら二つの動画001.avi及び002.aviをワイドテレビに出力する。ワイドテレビの縦横比は１６：９であり、動画001.avi及び002.aviをそのまま出力すると001.avi及び002.avi共に左右に黒帯がついた状態で表示され、好ましくない。
【００６９】
そこで、縦横比変換部２０５において、編集対象となる素材動画001.avi及び002.aviに対して図９の縦横比フィッティング処理を実行して、好ましい縦横比の動画をワイドテレビに出力する。
【００７０】
図９は、図７における制御部２０７で実行される縦横比フィッティング処理のフローチャートである。
【００７１】
図９において、まず、制御部２０７は、閾値α、βを設定する（ステップＳ９０１）。ここでは、それぞれα＝０．７、β＝１．３とする。この閾値α、βは、後述するステップＳ９０６、Ｓ９０８において、縦方向又は横方向のフィッティング処理を行うか否かを判断するために用いられる。
【００７２】
次に、ワイドテレビに出力すべき動画の縦横比Ｘ１：Ｘ２を実数Ａに代入する（ステップＳ９０２）。ここでは、出力すべき動画の縦横比は１６：９であるのでＡ＝１６÷９＝１．７７７８となる。
【００７３】
次に、編集対象となる素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する（ステップＳ９０３）。ここでは、最初の素材動画001.aviの縦横比は４：３であるので、Ｂ＝４÷３＝１．３３３３となる。
【００７４】
次に、ＣにＡとＢの比を代入する（ステップＳ９０４）。即ち、出力すべき動画の縦横比Ａ及び素材動画の縦横比Ｂの比Ｃを算出する。ここでは、Ｃ＝Ｂ／Ａ＝０．７５となる。
【００７５】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ９０５）。この判別の結果、Ｃの値が１に等しいときは、素材動画及び出力すべき動画は、縦横比が等しいことを表しており、縦方向又は横方向のフィッティング処理を行う必要がない。そのため、Ｃが１に等しいときは、縦方向又は横方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００７６】
一方、ステップＳ９０５の判別の結果、Ｃの値が１より小さいときは、素材動画が出力すべき動画より横に短いことを表しており、ステップＳ９０６に進む。本実施の形態では、Ｃ＝０．７５であり、素材動画001.aviが出力すべき動画より横に短いので、ステップＳ９０６に進む。
【００７７】
ステップＳ９０６では、Ｃの値が閾値αより大きいか否かを判別する。ステップＳ９０６の判別の結果、Ｃの値が閾値αより大きいときは、Ｃの値が１に近いことを表しており、ステップＳ９０７に進む。即ち、素材動画が出力すべき動画より横に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝０．９５であれば、素材動画及び出力すべき動画の縦横比にほとんど差がないことを表す。本実施の形態では、Ｃ＝０．７５、α＝０．７であり、Ｃの値が閾値αより大きいので、ステップＳ９０７に進む。
【００７８】
ステップＳ９０７では、素材動画に対して横方向のフィッティング処理を行い、ステップＳ９１０に進む。ここで、本発明では、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に横方向に引き伸ばすものとする。
【００７９】
一方、ステップＳ９０６の判別の結果、Ｃの値が閾値α以下であるときは、素材動画が出力すべき動画より横に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して横方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値α以下であるときは、横方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００８０】
一方、ステップＳ９０５の判別の結果、Ｃの値が１より大きいときは、素材動画が出力すべき動画より縦に短いことを意味しており、ステップＳ９０８に進む。
【００８１】
ステップＳ９０８では、Ｃの値が閾値βより小さいか否かを判別する。ステップＳ９０８の判別の結果、Ｃの値が閾値βより小さいときは、Ｃの値が１に近いことを表しており、ステップＳ９０９に進む。即ち、素材動画が出力すべき動画より縦に短いが、その短さの度合いが小さいことを表す。例えば、Ｃ＝１．０５であれば、素材動画及び出力すべき動画の縦横比にほとんど差がないことを表す。
【００８２】
ステップＳ９０９では、素材動画に対して縦方向のフィッティング処理を行い、ステップＳ９１０に進む。ここで、フィッティング処理自体はどのような処理であってもよい。本実施の形態では、フィッティング処理としては、素材動画を単純に縦方向に引き伸ばすものとする。
【００８３】
一方、ステップＳ９０８の判別の結果、Ｃの値が閾値β以上であるときは、素材動画が出力すべき動画より縦に短く、その短さの度合いが大きいことを表す。この場合、素材動画に対して縦方向のフィッティング処理を行うと、かえって見難い動画となる。そのため、Ｃの値が閾値β以上であるときは、縦方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００８４】
ステップＳ９１０では、縦横比変換部２０５は、出力部２０６に動画を出力し、ステップＳ９１１に進む。出力部２０６は、縦横比変換部２０５により出力された動画をワイドテレビに出力する。ここでは、縦横比変換部２０５は、ステップＳ９０７で横方向のフィッティング処理を実行した動画001.aviを出力部２０６に出力する。
【００８５】
ステップＳ９１１では、次に処理すべき未処理の素材動画があるか否かを判別する。この判別の結果、未処理の素材動画があるときは、ステップＳ９０３に戻る。一方、この判別の結果、未処理の素材動画がないときは、本処理を終了する。本実施の形態では、まだ２番目の素材動画002.aviが存在するので、ステップＳ９０３に戻る。
【００８６】
ステップＳ９０３では、素材動画の縦横比Ｙ１：Ｙ２を実数Ｂに代入する。ここでは、２番目の素材動画002.aviの縦横比は３：４であるので、Ｂ＝３÷４＝０．７５となる。
【００８７】
次に、ＣにＡとＢの比を代入する（ステップＳ９０４）。ここでは、Ｃ＝Ｂ／Ａ＝０．４２１８となる。
【００８８】
次に、Ｃの値が、１に等しいか、１より大きいか、１より小さいかを判別する（ステップＳ９０５）。Ｃ＝０．４２１８であり、素材動画002.aviが出力すべき動画より横に短いので、ステップＳ９０６に進む。
【００８９】
ステップＳ９０６では、Ｃの値が閾値αより大きいか否かを判別する。Ｃ＝０．４２１８、α＝０．７であり、Ｃの値が閾値α以下であるので、素材動画002.aviに対しては縦方向のフィッティング処理を行うことなくステップＳ９１０に進む。
【００９０】
ステップＳ９１０では、縦横比変換部２０５は、出力部２０６に動画を出力し、ステップＳ９１１に進む。出力部２０６は、縦横比変換部２０５により出力された動画をワイドテレビに出力する。ここでは、縦方向のフィッティング処理を実行していない素材動画002.aviを出力部２０６に出力する。
【００９１】
ステップＳ９１１では、次に処理すべき未処理の素材動画があるか否かを判別する。ここでは、未処理の素材動画がないので、本処理を終了する。
【００９２】
図１０は、図９の縦横比フィッティング処理後にワイドテレビの画面に表示される表示内容を示す図である。
【００９３】
図１０において、画面１００１には動画001.aviが表示され、画面１００２には動画002.aviが表示されている。動画001.aviに対しては横方向のフィッティング処理がなされているが、動画002.aviに対して横方向のフィッティング処理がなされていない。
【００９４】
第２の実施の形態によれば、素材動画の縦横比及び出力すべき動画の縦横比の比を所定の閾値と比較し、縦方向又は横方向のフィッティング処理を行うとかえって見難い動画となると判断される場合には、縦方向又は横方向のフィッティング処理を行わない。これにより、素材の縦横比に応じて好適な縦横比の変換を実現することができる。
【００９５】
ここで本実施の形態においては、動画に対して縦横比フィッティング処理を実行する例について説明したが、動画に限定されるものではなく、静止画に対しても本発明を適用することができる。例えば、静止画をスライドショーの形態でワイドテレビに出力する場合においても、本発明における閾値を用いた縦横比フィッティング処理を適用することができる。さらに、動画及び静止画で異なる値を閾値に設定し、縦横比フィッティング処理の効果をより高めること等も可能である。
【００９６】
上記の実施の形態で説明した処理、機能等は、いずれもコンピュータ読み取り可能なプログラム等で実現することもできる。
【００９７】
この場合、上記の実施の形態で説明した処理、機能等は、システム又は装置に含まれるコンピュータ（ＣＰＵ、ＭＰＵ等でもよい）が上記のプログラム等を実行することによって実現されることになる。言い換えれば、上記のプログラム等が、システム又は装置に含まれるコンピュータに、上記の実施の形態で説明した処理、機能等を実行させることになる。また、この場合、上記のプログラム等は、コンピュータ読み取り可能な記憶媒体又はネットワークを介してシステム又は装置に含まれるコンピュータに提供されることになる。
【００９８】
システム又は装置に含まれるコンピュータに上記のプログラム等を提供する記憶媒体には、磁気ディスク、光ディスク、光磁気ディスク、ハードディスク、磁気テープ、不揮発性メモリ等を用いることができる。
【００９９】
また、上記のプログラム等は、その一部をコンピュータ上で稼動しているＯＳ（オペレーティングシステム）等を用いて構成してもよい。
【０１００】
さらに、上記のプログラム等は、その一部をコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットで実行するように構成してもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１における表示部１０４に表示される動画編集アプリケーションのユーザインターフェースを示す図である。
【図３】図１における表示部１０４に表示される効果指定ダイアログを示す図である。
【図４】図２の動画編集アプリケーションのユーザインターフェースのユーザワークフローのフローチャートである。
【図５】図４のステップＳ５０２の操作により実行される縦横比フィッティング処理のフローチャートである。
【図６】図５の縦横比フィッティング処理後のユーザインターフェース３００を示す図である。
【図７】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図８】図７における表示部２０４に表示される表示内容を示す図である。
【図９】図７における制御部２０７で実行される縦横比フィッティング処理のフローチャートである。
【図１０】図９の縦横比フィッティング処理後にワイドテレビの画面に表示される表示内容を示す図である。
【符号の説明】
【０１０２】
１００ ＰＣ（パーソナルコンピュータ）
１０１ ＣＰＵ（中央演算装置）
１０２ メインメモリ
１０４ 表示部
１０５ ハードディスクドライブ
１０６ キー入力部
１０７ ネットワークインターフェース
【特許請求の範囲】
【請求項１】
画像の縦横比を所定の縦横比に変換する変換手段と、
所定の閾値を設定する設定手段と、
前記画像の縦横比及び前記所定の縦横比の比を算出する算出手段と、
前記算出された比及び前記閾値を比較する比較手段と、
前記比較手段による比較の結果に基づいて前記変換手段によって前記画像の縦横比を変換するか否かを判別する判別手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記画像を保存する保存手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像を表示する表示手段を備え、前記所定の縦横比は前記表示手段の縦横比であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像を画像信号として外部機器に出力する出力手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像は動画であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像は静止画であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
画像の縦横比を所定の縦横比に変換する変換ステップと、
所定の閾値を設定する設定ステップと、
前記画像の縦横比及び前記所定の縦横比の比を算出する算出ステップと、
前記算出された比及び前記閾値を比較する比較ステップと、
前記比較ステップにおける比較の結果に基づいて前記変換ステップにおいて前記画像の縦横比を変換するか否かを判別する判別ステップとを備えることを特徴とする画像処理方法。
【請求項８】
画像の縦横比を所定の縦横比に変換する変換モジュールと、
所定の閾値を設定する設定モジュールと、
前記画像の縦横比及び前記所定の縦横比の比を算出する算出モジュールと、
前記算出された比及び前記閾値を比較する比較モジュールと、
前記比較手段による比較の結果に基づいて前記変換モジュールによって前記画像の縦横比を変換するか否かを判別する判別モジュールとを備えることを特徴とするコンピュータ読み取り可能なプログラム。
【請求項１】
画像の縦横比を所定の縦横比に変換する変換手段と、
所定の閾値を設定する設定手段と、
前記画像の縦横比及び前記所定の縦横比の比を算出する算出手段と、
前記算出された比及び前記閾値を比較する比較手段と、
前記比較手段による比較の結果に基づいて前記変換手段によって前記画像の縦横比を変換するか否かを判別する判別手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記画像を保存する保存手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像を表示する表示手段を備え、前記所定の縦横比は前記表示手段の縦横比であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像を画像信号として外部機器に出力する出力手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像は動画であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像は静止画であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
画像の縦横比を所定の縦横比に変換する変換ステップと、
所定の閾値を設定する設定ステップと、
前記画像の縦横比及び前記所定の縦横比の比を算出する算出ステップと、
前記算出された比及び前記閾値を比較する比較ステップと、
前記比較ステップにおける比較の結果に基づいて前記変換ステップにおいて前記画像の縦横比を変換するか否かを判別する判別ステップとを備えることを特徴とする画像処理方法。
【請求項８】
画像の縦横比を所定の縦横比に変換する変換モジュールと、
所定の閾値を設定する設定モジュールと、
前記画像の縦横比及び前記所定の縦横比の比を算出する算出モジュールと、
前記算出された比及び前記閾値を比較する比較モジュールと、
前記比較手段による比較の結果に基づいて前記変換モジュールによって前記画像の縦横比を変換するか否かを判別する判別モジュールとを備えることを特徴とするコンピュータ読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２５８７６５（Ｐ２００８−２５８７６５Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９６５４６（Ｐ２００７−９６５４６）
【出願日】平成１９年４月２日（２００７．４．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月２日（２００７．４．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]