画像変換装置、カメラ、画像変換方法およびプログラム
【課題】画像を筒状に連結できる、あるいは、広範囲（最大３６０度まで）を同時に観察できるというパノラマ画像の特徴を維持したまま、パノラマ画像を部分的に拡大または縮小することのできる画像変換装置、カメラ、画像変換方法およびプログラムを提供すること。
【解決手段】パノラマ画像を入力する画像入力部（１２）と、パノラマ画像の連続する領域で拡大率が連続的に変化するように、パノラマ画像のうち所望の領域の拡大率を異ならせて前記パノラマ画像を伸縮する画像伸縮部（１３）とを具備する。
【解決手段】パノラマ画像を入力する画像入力部（１２）と、パノラマ画像の連続する領域で拡大率が連続的に変化するように、パノラマ画像のうち所望の領域の拡大率を異ならせて前記パノラマ画像を伸縮する画像伸縮部（１３）とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、パノラマ画像の画像変換を行う画像変換装置、カメラ、画像変換方法およびプログラムに関する。
【背景技術】
【０００２】
以前より、撮影方向を東西南北に３６０°回転させながら連続的な撮影を行わせるとともに、これらの撮影画像を合成することで、周囲一回り分の画像が連なったパノラマ画像を生成するデジタルスチルカメラがある。また、複数のレンズで周囲３６０°の範囲の撮影を行い、或いは、超広角レンズを用いて上方から周囲３６０°の範囲の撮影を行って、周囲一回り分の画像が連なったパノラマ画像を生成する技術も知られている。
【０００３】
また、本願発明に関連する従来技術として、特許文献１，２には、パノラマ画像中の任意の箇所を指定することで、パノラマ画像とは別に指定箇所の拡大画像を表示出力する装置が開示されている。また、特許文献３には、レンズの方向を水平方向と上下方向とに振りながら撮影して得られた複数の撮影画像を水平方向と上下方向につないでパノラマ画像を作成する技術が開示されている。特許文献４には、複数の撮影地点で撮影したパノラマ画像を地図画像の鳥瞰表示上に吹き出し表示として表示出力させるとともに、この鳥瞰表示のズームインおよびズームアウトの操作を可能とした装置が開示されている。また、特許文献５には、広角レンズを用いて撮影した横長の画像に対して、部分的に拡大率を変化させて画像を伸張させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０９２７５０号公報
【特許文献２】特開２００５−１４８２６５号公報
【特許文献３】特開２００７−１５９０４７号公報
【特許文献４】特開２００７−１１０６７５号公報
【特許文献５】特許第４２７９６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
周囲一回り分の画像を含んだパノラマ画像であっても、注目部分を拡大して表示したいという要求が、撮影者や観賞者に生じることがある。また、３６０°のパノラマ画像は、帯状の画像を筒状に連結して連続する画像を生成できるという特徴を有し、鑑賞者は平面的なパノラマ画像であっても頭の中で画像を筒状に連結してイメージすることがある。そのため、注目部分を拡大した場合でも、画像を筒状に連結できるという特徴は維持させたいという要求が一般に生じる。
【０００６】
また、広範囲（３６０°）を監視するような場合、全体を見ながら且つ同時に部分的に拡大して観察したい要望が生じる。
【０００７】
従来、このような要求を満たすようなパノラマ画像の拡大機能は存在しなかった。
【０００８】
この発明の目的は、パノラマ画像を筒状に連結できる、あるいは、広範囲（最大３６０°まで）を同時に観察できるというパノラマ画像の特徴を維持したまま、パノラマ画像を部分的に拡大または縮小することのできる画像変換装置、カメラ、画像変換方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る画像変換装置は、パノラマ画像を入力する画像入力部と、前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうちの所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮部とを具備する構成を採る。
【発明の効果】
【００１０】
本発明に従うと、画像伸縮部によりパノラマ画像を部分的に拡大または縮小することができる。さらに、画像伸縮部は、パノラマ画像の眺望方向が連続する範囲で拡大率が不連続にならないように画像を伸縮するので、画像を筒状に連結できる、あるいは、広範囲（最大３６０°まで）を同時に観察できるというパノラマ画像の特徴を維持することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態のカメラの構成を示すブロック図
【図２】標準投影処理の準備段階について説明する３次元マッピング空間の図
【図３】図２の筒状面に投影されたパノラマ画像を示す図
【図４】標準投影処理の第１例を説明する３次元マッピング空間の図
【図５】図４の標準投影処理後のパノラマ画像を示す図
【図６】標準投影処理の第２例を説明する３次元マッピング空間の図
【図７】図６の標準投影処理後のパノラマ画像を示す図
【図８】標準投影処理の第３例を説明する３次元マッピング空間の図
【図９】図８の標準投影処理後のパノラマ画像を示す図
【図１０】標準投影処理の第４例を説明する３次元マッピング空間の図
【図１１】図１０の標準投影処理後のパノラマ画像を示す図
【図１２】標準投影処理の第５例を説明する３次元マッピング空間の図
【図１３】図１１の標準投影処理後のパノラマ画像を示す図
【図１４】パノラマ画像のズーム投影処理を説明する３次元マッピング空間の図
【図１５】ズーム投影処理に使用する第１筒状面（原画像面）と第２筒状面（投影面）の相対距離を示す図
【図１６】図１６Ａはズーム投影処理前のパノラマ画像を示す図、図１６Ｂはズーム投影処理後のパノラマ画像を示す図
【図１７】ズーム投影処理後のパノラマ画像から表示データを生成する第１加工ステップ〜第３加工ステップの説明図
【図１８】パノラマ画像の第１〜第３の表示例を示す画像図
【図１９】ズーム投影処理の第１変形例を説明する３次元マッピング空間の図
【図２０】図１９のズーム投影処理後のパノラマ画像を示す図
【図２１】ズーム投影処理の第２変形例を説明する３次元マッピング空間の図
【図２２】図２１のズーム投影処理後のパノラマ画像を示す図
【図２３】ズーム投影処理の第３変形例を説明する３次元マッピング空間の図
【図２４】図２４Ａは図２３のズーム投影処理前のパノラマ画像を示す図、図２４Ｂは図２３のズーム投影処理後のパノラマ画像を示す図
【図２５】ズーム投影用の第１筒状面と第２筒状面との相対配置の変化例（ａ−１）〜（ａ−６）と、各相対配置に対応したズーム投影後のパノラマ画像（ｂ−１）〜（ｂ−６）を示す図
【図２６】拡大方向を指定する方法の第１例〜第３例を説明する図
【図２７】パノラマ画像に各眺望方向の拡大率を表わすスケール表示を付加した表示例を示す画像図
【図２８】パノラマ画像を複数段構成にした第１〜第３の表示例を示す概念図
【図２９】被写体追跡機能用に時系列的に取得された複数のパノラマ画像を示す図
【図３０】被写体追跡機能を併用したズーム投影処理後の時系列複数のパノラマ画像を示す図
【図３１】被写体追跡機能を併用させた場合の時系列複数のパノラマ画像の表示例を示す画像図
【図３２】パノラマ画像を伸縮する処理の変形例を説明するもので、図３２Ａは伸縮処理前のパノラマ画像を示す図、図３２Ｂは各眺望方向の拡大率を示すグラフ
【図３３】パノラマ画像の縦方向の伸縮処理を説明する概念図
【図３４】縦方向の伸縮処理後のパノラマ画像を示す図
【図３５】図３５Ａは横方向の伸縮処理前のパノラマ画像を示す図、図３５Ｂは各眺望方向の拡大率を示すグラフ
【図３６】パノラマ画像の横方向の伸縮処理を説明する概念図
【図３７】縦横方向の伸縮処理後のパノラマ画像を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
図１は、本発明の実施形態のカメラの構成を示すブロック図である。
【００１４】
本実施形態のカメラは、図１に示すように、撮影によりパノラマ画像を得る撮影部１１と、パノラマ画像に対して後述の標準投影処理を行う標準投影部１２と、画像伸縮部としてのズーム投影部１３と、操作ボタンを介して外部から操作入力を受け付ける入力受付部１４と、操作入力に基づきズーム投影処理の各種設定を行うズーム投影設定部１５と、表示データを生成して画像データを出力する画像出力部１６と、画像出力部１６から表示データを入力して表示出力を行うディスプレイ１７等を備えている。
【００１５】
撮影部１１は、例えば、魚眼レンズやミラーを用いた全周囲カメラを用いて得られた全周囲画像をパノラマ展開して原画像となるパノラマ画像を得る構成を採用してもよい。または、複数の方向を向いた複数のレンズと、これら複数のレンズにより結像された光学像を電気信号に変換する撮像素子とを有し、これら複数のレンズを用いて全周囲３６０°の範囲の撮影が可能なように構成されている。さらに、この撮影部１１は、複数のレンズを用いて撮影された複数の画像データを連結させて、３６０°全周囲の画像が連なったパノラマ画像の画像データを生成する。撮影部１１は、このようなパノラマ画像の画像データを標準投影部１２へ出力する。なお、撮影部１１として、方位センサまたはジャイロセンサを搭載し、ユーザに全周囲３６０°の各方向を向くように回転させながら連続撮影を行わせて、この連続撮影により得られた複数の画像データを連結させて上記のようなパノラマ画像を得る構成を採用してもよい。その他、３６０°のパノラマ画像を得る様々な公知の構成を採用してもよい。
【００１６】
ズーム投影設定部１５は、入力受付部１４を介して入力されたユーザからの操作指令に基づいて、パノラマ画像の各眺望方向のうち拡大する方向と、拡大率との設定を行う。そして、この拡大する方向と拡大率とを示すデータをズーム投影部１３へ供給する。
【００１７】
ズーム投影設定部１５は、例えば、次のような処理により、拡大する眺望方向の入力をユーザに行わせる。すなわち、先ず、ディスプレイ１７にズーム投影前のパノラマ画像と、拡大方向を指示させるポインタ画像とを重ねて表示出力させる。そして、入力受付部１４を介した操作入力に基づいてポインタ画像を移動させ、かつ、入力受付部１４を介した拡大方向の決定の操作入力に基づいて、この操作入力の時点でポインタ画像が指し示す眺望方向を拡大する方向として決定する。また、拡大率の入力は、例えば１倍、２倍、５倍など複数種類の拡大率の中から入力受付部１４を介してユーザに選択させて決定する。或いは、連続的な拡大率の中からユーザに選択させて決定するようにしてもよい。
【００１８】
標準投影部１２は、撮影部１１からパノラマ画像の画像データを入力し（画像入力部）、ズーム投影設定部１５からの入力内容に応じてこのパノラマ画像の視点の高さや視界の向きを変更する標準投影処理を行って、処理後のパノラマ画像の画像データをズーム投影部１３へ出力する。この標準投影処理については後に詳述する。
【００１９】
ズーム投影部１３は、パノラマ画像の全周囲の各方向（以下、眺望方向と呼ぶ）の画像が連続的に連結できるというパノラマ画像の特徴を維持しつつ、ズーム投影設定部１５からの入力内容に応じて一部の範囲を拡大または縮小するズーム投影処理を行って、処理後のパノラマ画像の画像データを画像出力部１６へ出力する。この投影処理については後に詳述する。
【００２０】
画像出力部１６は、ズーム投影部１３から円筒状につながるパノラマ画像の画像データを入力するとともに、このパノラマ画像を任意の位置で切断して平面状に配置する画像処理を行って表示データを生成する。そして、この表示データをディスプレイ１７へ出力して表示出力させる。
【００２１】
［標準投影処理］
図２には、標準投影部１２により実行される標準投影処理の準備段階について説明する３次元マッピング空間の図を、図３には、図２の筒状面に投影されたパノラマ画像を表わした図を示す。
【００２２】
標準投影処理は、撮影部１１により得られたパノラマ画像に対して、拡大率をほぼ変更せずに、視点の高さやパノラマ画像の水平面の傾きを変更するための処理である。ここで、水平面とは、重力方向に垂直な面のことではなく、パノラマ画像の周囲一回りの各眺望方向をベクトルで表わしたときに、このベクトルの軌跡により表わされる平面のことを示している。
【００２３】
標準投影部１２は、標準投影処理の開始時に、図２に示すように、仮想的な３次元マッピング空間に投影元の筒状面４０（円柱４０Ａの側面）を構築する。そして、この筒状面４０に撮影部１１から供給されるパノラマ画像７０を連続的にマッピングする。パノラマ画像７０は筒状面４０の面上でパノラマ画像７０の全周囲の画像がつながるようにマッピングされる。
【００２４】
ここで、パノラマ画像７０の中央の水平線Ｌ１は、筒状面４０の中心点Ｏの高さにマッピングされる。標準投影処理では、変更後の視点の高さとなる視点ＶＰが例えばユーザにより中心軸４５の任意の高さに指定される。パノラマ画像７０の帯状部分ＶＰａが視点ＶＰの高さに対応した画像部分となる。また、標準投影処理では、着目したい（表示の中央にしたい）点、すなわち、パノラマ画像７０上の任意の箇所に１つまたは複数の点Ｐ１〜Ｐ４が例えばユーザにより指定され、その着目点を画像の中央になるように変換する（結果的には水平面の傾きが変更されることになる）。
【００２５】
図４には、標準投影処理の第１例を説明する３次元マッピング空間の図を、図５には、図４の標準投影処理後のパノラマ画像を表わした図を示す。この第１例の標準投影処理は、パノラマ画像７０上の１つの点Ｐ１のみが指定された場合のものである。
【００２６】
この場合、標準投影部１２は、図４に示すように、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径（円柱４０Ａの径）で、中心点Ｏが互いに重なり、かつ、線分Ｏ−Ｐ１が中心軸５５ａに垂直になるように、投影先の筒状面５０ａ（円柱５０Ａａの側面）を構築する。このとき、視点が指定されている場合は、中心Ｏの位置は視点ＶＰの位置とする。
【００２７】
このような筒状面５０ａの構築を行ったら、標準投影部１２は、投影元の筒状面４０から投影先の筒状面５０ａへパノラマ画像７０を投影する処理を行う。この投影処理では、中心点Ｏを投影視点として、筒状面４０の各画素を筒状面５０ａへ投影することで行われる。或いは、中心軸５５ａを投影中心として各画素が縦方向に広がらないように投影させるようにしてもよい。
【００２８】
このような標準投影処理により、図５に示すように、元のパノラマ画像７０上で指定された点Ｐ１が中央の水平線Ｌ２に重なったパノラマ画像８０ａが生成される。また、点Ｐ１の方向とこの逆の方向とで視線が互い違いに昇降するように水平面が傾いたパノラマ画像８０ａが生成される。
【００２９】
なお、投影後のパノラマ画像８０ａは、全周囲の各眺望方向のうち何れかの方向の上端または下端の画像が欠けたものになるが、全眺望方向にわたって画像の上端部と下端部をトリミングすることで、帯状のパノラマ画像８０ａを生成してズーム投影部１３へ送ることができる。
【００３０】
図６には、標準投影処理の第２例を説明する３次元マッピング空間の図を、図７には、図６の標準投影処理後のパノラマ画像を表わした図を示す。この第２例の標準投影処理は、パノラマ画像７０上の２つの点Ｐ１，Ｐ２が指定された場合のものである。
【００３１】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、中心点Ｏが互いに重なり、かつ、三角形Ｏ−Ｐ１−Ｐ２が円柱５０Ａｂの底面と平行になるように、投影先の筒状面５０ｂ（円柱５０Ａｂの側面）を構築する。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｂへ投影する。視点ＶＰが指定されていない場合には中心点Ｏを視点ＶＰの位置とする。
【００３２】
このような標準投影処理によれば、図７に示すように、元のパノラマ画像７０上で指定された点Ｐ１，Ｐ２が中央の水平線Ｌ２ｂに重なったパノラマ画像８０ｂが生成される。また、点Ｐ１，Ｐ２の方向が画像８０ｂの中央になるため、これらの逆の方向では視線が互い違いに昇降し水平面が傾いたパノラマ画像８０ｂが生成される。
【００３３】
図８には、標準投影処理の第３例を説明する３次元マッピング空間の図を、図９には、図８の標準投影処理後のパノラマ画像を表わした図を示す。この第３例の標準投影処理は、パノラマ画像７０上の２つの点Ｐ１，Ｐ２と視点ＶＰとが指定された場合のものである。
【００３４】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、三角形Ｐ１−Ｐ２−ＶＰが円柱５０Ａｃの底面と平行になり、かつ、視点ＶＰが新たな中心点となるように、投影先の筒状面５０ｃ（円柱５０Ａｃの側面）を構築する。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｃへ投影する。
【００３５】
このような標準投影処理によれば、図９に示すように、元のパノラマ画像７０上で指定された点Ｐ１，Ｐ２が中央の水平線Ｌ２ｃに重なり、中央の水平線Ｌ２ｃの画像が視点ＶＰから見た画像としてパノラマ画像８０ｃが生成される。
【００３６】
図１０には、標準投影処理の第４例を説明する３次元マッピング空間の図を、図１１には、図１０の標準投影処理後のパノラマ画像を表わした図を示す。この第４例の標準投影処理は、パノラマ画像７０上の３つの点Ｐ１，Ｐ２，Ｐ３が指定された場合のものである。
【００３７】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、三角形Ｐ１−Ｐ２−Ｐ３が円柱５０Ａｄの底面と平行になり、かつ、新たな中心点が三角形Ｐ１−Ｐ２−Ｐ３と重なるように、投影先の筒状面５０ｄ（円柱５０Ａｄの側面）を構築する。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｄへ投影する。
【００３８】
このような標準投影処理によれば、図１１に示すように、元のパノラマ画像７０上で指定された点Ｐ１，Ｐ２，Ｐ３が中央の水平線Ｌ２ｄに重なったパノラマ画像８０ｄが生成される。
【００３９】
図１２には、標準投影処理の第５例を説明する３次元マッピング空間の図を、図１３には、図１２の標準投影処理後のパノラマ画像を表わした図を示す。この第５例の標準投影処理は、パノラマ画像７０上の３個より多い点Ｐ１〜Ｐ４が指定された場合のものである。
【００４０】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、指定された各点Ｐ１〜Ｐ４との距離が総合的に短くなる特定の平面（水平線Ｌ２ｅを含む面）が円柱５０Ａｅの底面と平行であり、かつ、新たな中心点が上記特定の平面と重なるように、投影先の筒状面５０ｅ（円柱５０Ａｅの側面）を構築する。上記の特定の平面は、例えば、最小二乗法により各指定点Ｐ１〜Ｐ４との距離の二乗和が最小になるように求めることができる。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｅへ投影する。
【００４１】
このような標準投影処理によれば、図１３に示すように、元のパノラマ画像７０上で指定された各点Ｐ１〜Ｐ４が中央の水平線Ｌ２ｅに総合的に近くなるパノラマ画像８０ｅが生成される。
【００４２】
そして、上述のように標準投影処理により生成されたパノラマ画像８０ａ〜８０ｅがズーム投影部１３へ送られて、次に説明するズーム投影処理が行われるようになっている。
【００４３】
［ズーム投影処理］
図１４には、パノラマ画像のズーム投影処理を説明する３次元マッピング空間の図を示す。図１５は、ズーム投影処理で使用される第１筒状面と第２筒状面の相対距離を表わす図である。第１筒状面には、標準投影部から出力された視点高さや傾きなどの位置合わせが行われた画像がマッピングされており、第２筒状面が投影面となる。図１６Ａには、標準投影部から得られたズーム投影処理前のパノラマ画像を表わす図を、図１６Ｂには、ズーム投影処理後のパノラマ画像を表わす図を示す。
【００４４】
ズーム投影処理は、次のようにズーム投影部１３によって実行される。すなわち、ズーム投影部１３は、先ず、図１４に示すように、３次元マッピング空間において、第１筒状面２０（円柱２０Ａの側面）と、第２筒状面３０（円柱３０Ａの側面）とを構築する。これらの第１筒状面２０と第２筒状面３０とは、互いの中心軸（円柱２０Ａ，３０Ａの中心軸）が平行であり、縦方向の長さが第１筒状面２０より第２筒状面３０が長くなるように構築される。また、縦方向に見て第２筒状面３０の上端と下端との間に第１筒状面２０の全てが含まれるように配置される。また、水平方向（円柱２０Ａ，３０Ａの上面または下面に沿った方向）に見て第１筒状面２０の中心軸２５が第２筒状面３０の中心から変位し且つ第２筒状面３０の円筒内に含まれるように配置される。
【００４５】
３次元マッピング空間は、メモリ上に構築される仮想的な３次元空間である。第１筒状面２０と第２筒状面３０との変位方向および変位量は、ズーム投影設定部１５から供給される拡大方向と拡大率のデータに基づいて決定される。
【００４６】
上記のように第１筒状面２０と第２筒状面３０とを構築したら、次に、ズーム投影部１３は、標準投影部１２から供給されるパノラマ画像８０（図１６Ａ参照）を第１筒状面２０へマッピングする。ここで、パノラマ画像８０は第１筒状面２０の面上でパノラマ画像８０の３６０°全周囲の画像がつながるようにマッピングされる。
【００４７】
次に、ズーム投影部１３は、第１筒状面２０の中心点Ｏ（円柱２０Ａの中心軸２５の中心点Ｏ）を投影視点として、第１筒状面２０の面上の各画素を第２筒状面３０へ投影マッピングする処理を行う。例えば、図１４の直線ａに重なる一列の画素２２を直線ｂに重なる一列の画素３２へ拡大して投影する。また、図１４の直線ｄに重なる一列の画素２１を直線ｃに重なる一列の画素３１に縮小して投影する。その他の範囲の画素も同様に連続的に投影する。そして、第２筒状面３０へ投影された画像を伸縮されたパノラマ画像９０（図１６Ｂ参照）として得る。
【００４８】
このようなズーム投影処理により、図１６Ｂに示すように、３６０°全周囲の各眺望方向の画像が含まれるとともに、一部の方向の画像が拡大され、この逆の方向の画像が縮小され、かつ、連続的な範囲で拡大率が非連続にならないように伸縮されたパノラマ画像９０が得られる。図１６Ｂにおいて、パノラマ画像９０の左端と右端とが切断された図となっているが、第２筒状面３０へ投影された段階では、この左端と右端とがつながった状態になっており、それゆえ、この切断された部分の一方と他方とで拡大率は同一になっている。
【００４９】
パノラマ画像９０の各部の拡大率は、第１筒状面２０と第２筒状面３０との変位方向および変位量によって決定される。例えば、図１４と図１５に示すように、直線ａ，ｂに重なる部分の画像は拡大率“距離Ｏｂ／距離Ｏａ”となり、直線ｃ，ｄに重なる部分の画像は拡大率“距離Ｏｃ／距離Ｏｄ”となる。ズーム投影部１３は、ズーム投影設定部１５から入力された拡大方向と拡大率のデータに応じて、第１筒状面２０と第２筒状面３０との変位方向および変位量を変更して、指定された拡大方向および拡大率で伸縮されたパノラマ画像９０を生成するように構成されている。拡大方向で指定された点と中心点Ｏが最も遠くなる方向に変位させ、変位量は上記拡大率で決定する。
【００５０】
なお、ズーム投影の方法は様々に変更可能である。例えば、第１筒状面２０と第２筒状面３０とを半径を異ならせて構築し、かつ、中心軸が重なるように配置するとともに、投影視点を中心から変位させてズーム投影処理を行うようにしてもよい。このようなズーム投影処理によっても、パノラマ画像を周囲一回りの各眺望方向ごとに連続的な拡大率で伸縮させることができる。
【００５１】
［表示データ生成処理］
図１７Ａ〜図１７Ｃには、ズーム投影処理後のパノラマ画像から表示データを生成する第１加工ステップ〜第３加工ステップの説明図を示す。
【００５２】
表示データ生成処理は、ズーム投影処理後のパノラマ画像９０のデータを用いて画像出力部１６により実行される。表示データ生成処理において画像出力部１６は、先ず、図１７Ａに示すように、パノラマ画像９０を長手方向に複数に等分する切断処理を行う。例えば、図中の一点鎖線の箇所でパノラマ画像９０を切断して、画像断片Ａ，Ｃと断片Ｂとに二等分する。次に、画像出力部１６は、図１７Ｂに示すように、上記の断片Ａ〜Ｃをディスプレイ１７の表示枠１７Ａに対応させて例えば複数段（例えば２段）に配置する処理を行う。続いて、表示枠１７Ａの上下に外れる部分、ならびに、上段に配置された断片Ｂと下段に配置された断片Ａ，Ｃとが重なった部分をトリミングして、図１７Ｃに示すように、パノラマ画像９０が二段構成にされて表示枠１７Ａに収まった画像の表示データを生成する。ここで、パノラマ画像９０の切断箇所９２の一方と他方とは拡大率が同一であり、画像をそのまま連続的につなぎ合わせることが可能になっている。もう一方の切断箇所９３についても同様である。なお、表示枠１７Ａから外れた部分をトリミングする際に、パノラマ画像９０の長手方向の一部の範囲がトリミングされた場合でも、無視できる程度に僅かな範囲であれば、頭の中でパノラマ画像を筒状に連結できるという作用を維持することができる。
【００５３】
図１８は、パノラマ画像の第１〜第３の表示例を示す画像図である。上記のように画像出力部１６により生成された表示データがディスプレイ１７に出力されることで、図１８Ａ〜図１８Ｃのような表示画像がディスプレイ１７に出力される。図１８Ａは、ズーム投影の倍率を１倍（ズームなし）としたときの表示画像の一例、図１８Ｂは対象物９５の方向を中心に倍率２倍としたときの表示画像の一例、図１８Ｃは対象物９５の方向を中心に倍率５倍としたときの表示画像の一例である。入力受付部１４から拡大方向または拡大率の選択を切り替えることで、図１８Ａ〜図１８Ｃの表示画像が切り替わるようになっている。
【００５４】
なお、図１７Ａで示すパノラマ画像は、実際にはズーム投影部１３の投影面（第２筒状面３０）上にマッピングされたデータの端同士が繋がっている。これを切り出す際に、３６０°分全てをパノラマ画像データとして使用する必要はなく、略３６０°分の領域を用いるようにしてもよい。
【００５５】
［ズーム投影処理の変形例］
図１９には、ズーム投影処理の第１変形例を説明する３次元マッピング空間の図を、図２０には、このズーム投影処理後のパノラマ画像の図を示す。
【００５６】
第１変形例のズーム投影処理においても、ズーム投影前のパノラマ画像がマッピングされる第１筒状面２０と、このパノラマ画像がズーム投影される第２筒状面３０とが、上述したズーム投影処理のものと同様に構築される（図１４参照）。第１変形例では、図１９に示すように、投影視点Ｏ１を第１筒状面２０の上端の高さに設定して投影処理を行うようにしている。
【００５７】
このようなズーム投影処理によれば、図２０に示すように、ズーム投影処理後のパノラマ画像９０ａは、３６０°の全眺望方向にわたって上端が直線状になり、拡大部分が下方に膨れ、縮小部分が上方に縮むような形状にすることができる。このようなズーム投影処理においても、連続的な範囲で拡大率が非連続にならないパノラマ画像９０ａを得ることができる。
【００５８】
図２１には、ズーム投影処理の第２変形例を説明する３次元マッピング空間の図を、図２２には、このズーム投影処理後のパノラマ画像の図を示す。
【００５９】
第２変形例のズーム投影処理においても、ズーム投影前のパノラマ画像がマッピングされる第１筒状面２０と、このパノラマ画像がズーム投影される第２筒状面３０とが、図１４のものと同様に構築される。第２変形例では、図２１に示すように、投影視点Ｏ２を第１筒状面２０の下端の高さに設定して投影処理を行うようにしている。
【００６０】
このようなズーム投影処理によれば、図２２に示すように、ズーム投影処理後のパノラマ画像９０ｂは、３６０°の全眺望方向にわたって下端が直線状になり、拡大部分が上方に膨れ、縮小部分が下方に縮むような形状にすることができる。このようなズーム投影処理においても、連続的な範囲で拡大率が非連続にならないパノラマ画像９０ｂを得ることができる。
【００６１】
図２３には、ズーム投影処理の第３変形例を説明する３次元マッピング空間の図を、図２４Ａと図２４Ｂには、このズーム投影処理の前と後のパノラマ画像の図を、それぞれ示す。
【００６２】
第３変形例のズーム投影処理においては、ズーム投影部１３は、次のように第１筒状面２０ａと、第２筒状面３０ａとを構築する。すなわち、ズーム投影前のパノラマ画像がマッピングされる第１筒状面２０ａを縦方向に長く、パノラマ画像がズーム投影される第２筒状面３０ａを縦方向に短くなるように構築する。また、特に制限はされないが、第１筒状面２０ａと第２筒状面３０ａとが同一径（円柱２０Ａａ，３０Ａａの径が同一）になるように構築する。さらに、縦方向にみて第２筒状面３０ａが第１筒状面２０ａの上端と下端の間に位置し、水平方向にみて第１筒状面２０ａの中心軸２５が第２筒状面３０ａの内側に位置するように、両者を配置する。
【００６３】
このような構築を行ったら、ズーム投影部１３は、３６０°全周囲の画像が連なったパノラマ画像８０ｈを第１筒状面２０ａの全周を埋めるようにマッピングする。このパノラマ画像８０ｈは、図２４Ａに示すように、縦方向に幅広（画素数が多い）の画像が適用される。次いで、ズーム投影部１３は、第１筒状面２０ａの中心点Ｏを投影視点として、第１筒状面２０ａのパノラマ画像８０ｈを第２筒状面３０ａへ投影する。ここで、投影前のパノラマ画像８０ｈが縦方向に幅広であることから、このパノラマ画像８０ｈの上側や下側の一部範囲が切り落とされて第１筒状面２０ａの全域に投影される。したがって、図２４Ｂに示すように、投影後のパノラマ画像９０ｈは、縦方向の幅が一定長であり、拡大した部分がズームインしたように視界が狭く絞られた画像となり、縮小した部分がズームアウトしたように広い範囲を見渡した画像となる。このようなマッピングを行うことにより、投影後のパノラマ画像９０ｈはズームの大小にかかわらず、同じ幅（上下方向）にすることができ、それにより、表示後の印象を変えることができる。
【００６４】
図２５には、第１筒状面２０ａと第２筒状面３０ａの相対配置とズーム投影後のパノラマ画像９０ｈとの関係を表わした図を示す。同図（ａ−１）〜（ａ−６）は上記相対配置の第１例〜第６例を示す平面図、（ｂ−１）〜（ｂ−６）は第１例〜第６例の相対配置に対応したパノラマ画像の図である。
【００６５】
第３変形例のズーム投影処理においても、図２５（ａ−１）〜（ａ−６）に示すように、第２筒状面３０を第１筒状面２０ａの中心から変位させる方向を様々に変化させることで、図２５（ｂ−１）〜（ｂ−６）に示すように、パノラマ画像の様々な方向を拡大したり縮小したりすることができる。
【００６６】
図２６Ａ〜図２６Ｃには、拡大方向を指定する方法の第１例〜第３例を説明する平面図を示す。第３変形例のズーム投影処理においても、入力受付部１４を介して拡大方向と拡大率とを入力することで、これらの入力に応じたズーム投影処理を行わせることができる。例えば、図２６Ａに示す例は、第１筒状面２０ａにマッピングされたパノラマ画像８０ｈの任意の点Ｐ１と、拡大率（図２６の矢印の長さにより表わす）とが入力受付部１４を介して入力された例である。この場合、同図に示すように、指定された点Ｐ１がある方向に拡大率に応じた量だけ第２筒状面３０ａが変位されてズーム投影処理が行われる。それにより、点Ｐ１の方向が拡大されたパノラマ画像９０ｈを得ることができる。
【００６７】
図２６Ｂに示す例は、第１筒状面２０ａにマッピングされたパノラマ画像８０ｈの任意の２つの点Ｐ１，Ｐ２と、各方向の拡大率とが入力受付部１４を介して入力された例である。この場合、同図に示すように、２方向の入力に基づく２つのベクトルｖ１，ｖ２が合成された方向および長さで、第２筒状面３０ａが変位されてズーム投影処理が行われる。それにより、指定された２方向がそれぞれ拡大されたパノラマ画像９０ｈを得ることができる。上記のベクトルｖ１，ｖ２は、指定された点Ｐ１，Ｐ２の方向および指定された各拡大率に応じた長さを表わすように定義される。
【００６８】
図２６Ｃに示す例は、図２６Ｂの場合と同様に、パノラマ画像８０ｈの任意の２つの点Ｐ１，Ｐ２と、各方向の拡大率とが入力受付部１４を介して入力された場合の別の例である。この例では、第２筒状面３０ａの横断面の形状を円形に制限せずに、第２筒状面３０ａが指定された拡大方向にのみ中心点Ｏから遠い方へ膨らむようにしたものである。但し、第２筒状面３０ａの全周の長さは変化しないように制限している。このように第２筒状面３０ａを構成してズーム投影処理が行われることで、指定された複数の拡大方向がそれぞれ局所的に拡大されたパノラマ画像９０ｈを得ることができる。ここでは、第２筒状面３０ａの全周の長さは変化しないように制限した例を示したが、全周の長さが変化する場合では、パノラマ画面の水平方向の長さがｎ倍（ｎ＝２，３，４・・）になるように規格化する一方、表示の際にパノラマ画像を１／ｎの長さずつ分割して画面上に並べて出力すればよい。（図２８参照）
【００６９】
［パノラマ画像表示の変形例］
図２７には、パノラマ画像に各眺望方向の拡大率を表わすスケール表示を付加した表示例を示す。
【００７０】
パノラマ画像９０ｈの複数の方向が局所的に拡大されている場合には、図２７に示すように、パノラマ画像９０ｈの各眺望方向の拡大率を表わすスケール表示（拡大率表示画像）９８を付加して表示出力するとよい。このスケール表示９８によりどの部分が拡大されどの部分が縮小されているのか閲覧者に直感的に理解させることができる。
【００７１】
このスケール表示９８は、目盛りの表示によって各眺望方向の拡大率を表わすようにしたものであり、目盛りの間隔をその箇所の拡大率に比例するようにしている。このスケール表示９８は、ズーム投影前のパノラマ画像に等間隔の目盛り画像を付加しておき、この目盛り画像ごとパノラマ画像をズーム投影することで作成することができる。なお、スケール表示は、例えば色のグラデーション（赤に近いほど拡大率が高く、青に近いほど拡大率が低いなど）や、色の濃さにより拡大率を表わすように構成してもよい。
【００７２】
図２８Ａ〜図２８Ｃには、パノラマ画像の第１〜第３の表示例を表わした概念図を示す。先に、図１７を参照して説明したように、パノラマ画像は横長の画像になる。そのため、横方向の長さがほぼ均等になるようにパノラマ画像を縦方向の切込み線で複数に切断して、これらを複数段に並べて表示するようにしてもよい。図２８Ａ〜図２８Ｃにおいて、３６０°全周囲の画像が連なったパノラマ画像が、２つの画像ブロック１０１，１０２、あるいは、３つ以上の画像ブロック１１１〜１１３に分割されて、複数段に表示されている。各段の画像ブロック１０１，１０２，１１１〜１１３において、その左端と右端は、図中の点線矢印で対応づけられた他の画像ブロック１０１，１０２，１１１〜１１３の左端または右端に画像が連続するようになっている。このような複数段の表示により、ディスプレイ１７の表示枠１７Ａを有効に使用することができる。
【００７３】
また、パノラマ画像の切断位置を少しずつ横方向にずらして連続表示を行うことで、図２８Ａ〜図２８Ｃに示すように、複数段構成のパノラマ画像の表示を横方向に周回移動（ローリングと呼ぶ）させることも可能である。図２８Ａの例は、２段の画像ブロック１０１，１０２を同一のローリング方向に周回移動させた表示例である。図２８Ｂの例は、２段目の画像ブロック１０２を左右反転或いは上下左右反転させることで、１段目と２段目とでローリング方向を逆転させて周回移動させた表示例である。このように左右反転した画像ブロック１０２を含めることで、各画像ブロック１０１，１０２の左端と右端の画像の連続先が互いに近い配置となる。このため、鑑賞者がパノラマ画像を筒状に連結するイメージを行いやすくなる。図２８Ｃの例は、２段目の画像ブロック１１２を左右反転または上下左右反転させることで、１段目と２段目、および、２段目と３段目とでローリング方向を逆転させて周回移動させた表示例である。このような３段構成の表示でも同様に周回移動させた表示が可能である。
【００７４】
この変形例において、画像出力部１６は、ズーム投影部１３から供給されるパノラマ画像に対して、上記のように画像を切断する処理と、切断した画像ブロック１０１，１０２，１１１〜１１３を複数段に配置して表示データを生成するように構成される。それにより、図２８のようなパノラマ画像の表示出力が可能となる。
【００７５】
［被写体追跡機能とパノラマ画像の伸縮機能との協働例］
図２９〜図３１には、被写体追跡機能とパノラマ画像の伸縮機能とを協働させた動作例を説明する図を示す。図２９Ａ，図２９Ｂは、この被写体追跡機能用に周期的（時刻ｔ１，ｔ２）に取得された複数のパノラマ画像１２０ａ，１２０ｂを示す図である。図３０Ａ，図３０Ｂは、上記被写体追跡機能を併用したズーム投影処理後の複数のパノラマ画像１２１ａ，１２１ｂを示す図、図３１Ａ，図３１Ｂは、上記被写体追跡機能を併用した場合における複数のパノラマ画像の表示例１２２ａ，１２２ｂを示す画像図である。
【００７６】
被写体追跡機能は、撮影画像に写っている特定の対象物（例えば人物など）を追跡対象物として指定することで、他の撮影画像の中から指定された追跡対象物を検索してその位置を検出する機能である。追跡対象物の検索は、演算処理装置に追跡対象物の色や形状をパターン認識させ、演算処理装置によって検索対象の撮影画像の各部分と追跡対象物のパターンとの比較を行わせることで実現可能である。そして、一致と判別された部分の画像位置が追跡対象物の位置として出力される。
【００７７】
この実施形態では、ズーム投影部１３に、上記の被写体追跡機能の構成が付加され、入力受付部１４を介して、１つの撮影画像に含まれる任意の対象物を追跡対象物として指定することが可能になっている。上記の被写体追跡機能は必ずしもズーム投影部１３にある必要はなく、撮影部１１の出力する撮像画像を受け取り、画像中の追跡対象物の位置を入力受付部１４に入力する方法でも実現できる。
【００７８】
ズーム投影部１３は、撮影部１１により周期的に得られた複数のパノラマ画像１２０ａ，１２０ｂを入力したら、指定された追跡対象物（この実施形態では人物像Ｇ）の検索を行って、その位置を検出する。そして、位置が検出されたら、その位置がほぼ中央になるようにパノラマ画像１２０ａ，１２０ｂを周回移動させる。そして、中央が拡大されるようにズーム投影の処理を行って、図３０Ａ，図３０Ｂのようにパノラマ画像１２１ａ，１２１ｂを生成する。そして、これらの画像データを画像出力部１６へ出力する。
【００７９】
画像出力部１６は、パノラマ画像１２１ａ，１２１ｂを分割して二段構成にした表示データを生成してディスプレイ１７へ出力する。それにより、図３１Ａ，図３１Ｂのように追跡対象の人物像Ｇが上段中央で拡大された二段構成のパノラマ画像の表示例１２２ａ，１２２ｂが得られる。
【００８０】
このような被写体追跡処理とパノラマ画像の拡大処理とを、連続的に撮影された多数のパノラマ画像に対して連続的に行っていくことで、移動する追跡対象物がほぼ一定の位置に表示され、背景が追跡対象物の移動に伴って移り動くような画像表示を行うことができる。
【００８１】
［パノラマ画像の伸縮処理の変形例］
上記の実施形態では、ズーム投影処理によって、パノラマ画像を３６０°全周囲で拡大率が不連続にならないように伸縮する例を示してきた。しかしながら、パノラマ画像をこのように伸縮する方法はズーム投影処理に限られるものではない。例えば、次のような演算処理装置による画像変換処理によっても実現することができる。
【００８２】
図３２〜図３７には、パノラマ画像の伸縮処理の変形例を説明する図を示す。図３２Ａは伸縮処理前のパノラマ画像を示す図、図３２Ｂは各眺望方向の拡大率を示すグラフ、図３３は、この変形例において縦方向の伸縮処理を説明する概念図、図３４は、この縦方向の伸縮処理後のパノラマ画像を示す図である。
【００８３】
この変形例では、先ず、図３２Ａ、図３２Ｂに示すように、撮影部１１により得られたパノラマ画像１３０に対して、眺望方向ごとの拡大率が指定される。拡大率は、眺望方向が連続する範囲で非連続にならないように設定される。パノラマ画像１３０の左端と右端は同一の眺望方向を示しているので、左端の拡大率と右端の拡大率は同一値になるように設定される。このような眺望方向ごとの拡大率のデータは、例えば、ズーム投影設定部１５に関数データ或いはテーブルデータとして記憶させておき、ユーザによる拡大方向および拡大率の指定に基づいてズーム投影設定部１５が適宜選択する。
【００８４】
上記のような拡大率の指定がなされたら、演算処理装置は、図３３に示すように、パノラマ画像１３０の１列の画素列１３１ａ〜１３１ｃごとに、指定された拡大率で縦方向に引き伸ばし、或いは、凝縮して新たな画素とする画像変換処理を行う。この引き伸ばし又は凝縮の処理により、縦方向の画素数が規定数を超えた場合には、超えた部分をトリミングし、規定数を下回った場合には、例えば所定色の画素を付加して補う。
【００８５】
このような縦方向の伸縮処理により、図３４に示すように、元のパノラマ画像１３０が指定された拡大率で縦方向に伸縮されたパノラマ画像１３２が得られる。
【００８６】
図３５Ａは横方向の伸縮処理前のパノラマ画像を示す図、図３５Ｂは各地要望方向の拡大率を示すグラフ、図３６は横方向の伸縮処理を説明する概念図、図３７は縦横方向の伸縮処理後のパノラマ画像を示す図である。
【００８７】
上記のように縦方向の伸縮処理を行ったら、続いて、演算処理装置は、このパノラマ画像１３２を横方向に伸縮する画像変換処理を実行する。この横方向の伸縮処理においても、図３５Ｂに示すように、縦方向の伸縮処理で用いられた眺望方向ごとの拡大率が使用される。
【００８８】
横方向の伸縮処理では、図３６に示すように、演算処理装置は、パノラマ画像１３２の全画素列１３３ａ〜１３３ａ，１３３ｂ〜１３３ｂに対して、指定された拡大率に応じて画素列１３３ａ〜１３３ａを横方向に凝縮して新たな画素列１３４ａ〜１３４ａにする画像変換処理、ならびに、指定された拡大率に応じて画素列１３３ｂ〜１３３ｂを広げて新たな画素列１３４ｂ〜１３４ｂにする画像変換処理を行う。なお、ここでは縦方向、横方向順番に拡大縮小したが、縦方向横方向同時に拡大縮小してもよい。
【００８９】
このような横方向の伸縮処理により、図３７に示すように、縦方向にのみ伸縮されていたパノラマ画像１３２に基づいて、指定された拡大率で横方向にも伸縮されたパノラマ画像１３５を得ることができる。このような伸縮処理においても、眺望方向が連続する範囲で連続的な拡大率で縦横に伸縮されたパノラマ画像１３５を得ることができる。また、パノラマ画像１３５が切断された左端と右端の伸縮率も同一となる。
【００９０】
以上のように、上述した実施形態のカメラ、ならびに、その画像変換装置（ズーム投影部１３、入力受付部１４、ズーム投影設定部１５、画像出力部１６）によれば、周囲一回りの各眺望方向の撮影画像が含まれるパノラマ画像に対して、眺望方向ごとに拡大率を異ならせてパノラマ画像の全体を連続的に伸縮させることができる。さらに、眺望方向が連続する範囲で、拡大率が非連続にされることがない。従って、このパノラマ画像を伸縮する機能により、パノラマ画像中の注目したい箇所を拡大して表示させることができる。また、鑑賞者は伸縮されたパノラマ画像を容易に頭の中で筒状に連結して全周囲の景観をイメージすることができる。
【００９１】
また、上記実施形態のカメラ、ならびに、その画像変換構成によれば、筒状面から別の筒状面へパノラマ画像を投影するズーム投影部１３の処理によって、自然で滑らかに伸縮させたパノラマ画像を容易に生成できるようになっている。
【００９２】
なお、上記実施形態では、撮影部１１とディスプレイ１７とを含んだカメラの構成を示したが、ズーム投影部１３、入力受付部１４、ズーム投影設定部１５および画像出力部１６を画像変換装置として別体に設けてもよい。
【００９３】
また、上記実施形態では、標準投影部で見たい領域が画面の中心付近に位置するようにしたうえでズーム投影部を用いて見たい領域を拡大処理するようにしているが、標準投影部による処理を行わずズーム投影部の処理のみで見たい領域を拡大処理するようにしてもよい。
【００９４】
また、上記実施形態では、標準投影部、ズーム投影部を用いて２段階で投影を行ったが、標準投影部とズーム投影部の両方を一度に実現可能な投影面を用いてもよい。具体的には、例えば、図１４中の円柱２０Ａを視線の高さに応じて上下させ、水平方向の傾きに応じて円柱２０Ａを傾けることで一度に位置合わせとズームの両方を実現することができる。
【００９５】
また、上記実施形態で示した、標準投影部１２、ズーム投影部１３、ズーム投影設定部１５、画像出力部１６の各構成は、ハードウェアにより構成しても良いし、コンピュータがプログラムを実行することで実現されるソフトウェアとして構成しても良い。
【産業上の利用可能性】
【００９６】
本発明は、スチルカメラおよびビデオカメラなど画像の入力装置や画像処理装置に好適に適用することができる。
【符号の説明】
【００９７】
１１ 撮影部
１３ ズーム投影部
１４ 入力受付部
１５ ズーム投影設定部
１６ 画像出力部
１７ ディスプレイ
２０，２０ａ 第１筒状面
３０，３０ａ 第２筒状面
７０，８０，８０ｈ，９０，９０ａ，９０ｂ，９０ｈ，１３０，１３２，１３５ パノラマ画像
９８ スケール表示（拡大率表示画像）
【技術分野】
【０００１】
この発明は、パノラマ画像の画像変換を行う画像変換装置、カメラ、画像変換方法およびプログラムに関する。
【背景技術】
【０００２】
以前より、撮影方向を東西南北に３６０°回転させながら連続的な撮影を行わせるとともに、これらの撮影画像を合成することで、周囲一回り分の画像が連なったパノラマ画像を生成するデジタルスチルカメラがある。また、複数のレンズで周囲３６０°の範囲の撮影を行い、或いは、超広角レンズを用いて上方から周囲３６０°の範囲の撮影を行って、周囲一回り分の画像が連なったパノラマ画像を生成する技術も知られている。
【０００３】
また、本願発明に関連する従来技術として、特許文献１，２には、パノラマ画像中の任意の箇所を指定することで、パノラマ画像とは別に指定箇所の拡大画像を表示出力する装置が開示されている。また、特許文献３には、レンズの方向を水平方向と上下方向とに振りながら撮影して得られた複数の撮影画像を水平方向と上下方向につないでパノラマ画像を作成する技術が開示されている。特許文献４には、複数の撮影地点で撮影したパノラマ画像を地図画像の鳥瞰表示上に吹き出し表示として表示出力させるとともに、この鳥瞰表示のズームインおよびズームアウトの操作を可能とした装置が開示されている。また、特許文献５には、広角レンズを用いて撮影した横長の画像に対して、部分的に拡大率を変化させて画像を伸張させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０９２７５０号公報
【特許文献２】特開２００５−１４８２６５号公報
【特許文献３】特開２００７−１５９０４７号公報
【特許文献４】特開２００７−１１０６７５号公報
【特許文献５】特許第４２７９６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
周囲一回り分の画像を含んだパノラマ画像であっても、注目部分を拡大して表示したいという要求が、撮影者や観賞者に生じることがある。また、３６０°のパノラマ画像は、帯状の画像を筒状に連結して連続する画像を生成できるという特徴を有し、鑑賞者は平面的なパノラマ画像であっても頭の中で画像を筒状に連結してイメージすることがある。そのため、注目部分を拡大した場合でも、画像を筒状に連結できるという特徴は維持させたいという要求が一般に生じる。
【０００６】
また、広範囲（３６０°）を監視するような場合、全体を見ながら且つ同時に部分的に拡大して観察したい要望が生じる。
【０００７】
従来、このような要求を満たすようなパノラマ画像の拡大機能は存在しなかった。
【０００８】
この発明の目的は、パノラマ画像を筒状に連結できる、あるいは、広範囲（最大３６０°まで）を同時に観察できるというパノラマ画像の特徴を維持したまま、パノラマ画像を部分的に拡大または縮小することのできる画像変換装置、カメラ、画像変換方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係る画像変換装置は、パノラマ画像を入力する画像入力部と、前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうちの所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮部とを具備する構成を採る。
【発明の効果】
【００１０】
本発明に従うと、画像伸縮部によりパノラマ画像を部分的に拡大または縮小することができる。さらに、画像伸縮部は、パノラマ画像の眺望方向が連続する範囲で拡大率が不連続にならないように画像を伸縮するので、画像を筒状に連結できる、あるいは、広範囲（最大３６０°まで）を同時に観察できるというパノラマ画像の特徴を維持することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態のカメラの構成を示すブロック図
【図２】標準投影処理の準備段階について説明する３次元マッピング空間の図
【図３】図２の筒状面に投影されたパノラマ画像を示す図
【図４】標準投影処理の第１例を説明する３次元マッピング空間の図
【図５】図４の標準投影処理後のパノラマ画像を示す図
【図６】標準投影処理の第２例を説明する３次元マッピング空間の図
【図７】図６の標準投影処理後のパノラマ画像を示す図
【図８】標準投影処理の第３例を説明する３次元マッピング空間の図
【図９】図８の標準投影処理後のパノラマ画像を示す図
【図１０】標準投影処理の第４例を説明する３次元マッピング空間の図
【図１１】図１０の標準投影処理後のパノラマ画像を示す図
【図１２】標準投影処理の第５例を説明する３次元マッピング空間の図
【図１３】図１１の標準投影処理後のパノラマ画像を示す図
【図１４】パノラマ画像のズーム投影処理を説明する３次元マッピング空間の図
【図１５】ズーム投影処理に使用する第１筒状面（原画像面）と第２筒状面（投影面）の相対距離を示す図
【図１６】図１６Ａはズーム投影処理前のパノラマ画像を示す図、図１６Ｂはズーム投影処理後のパノラマ画像を示す図
【図１７】ズーム投影処理後のパノラマ画像から表示データを生成する第１加工ステップ〜第３加工ステップの説明図
【図１８】パノラマ画像の第１〜第３の表示例を示す画像図
【図１９】ズーム投影処理の第１変形例を説明する３次元マッピング空間の図
【図２０】図１９のズーム投影処理後のパノラマ画像を示す図
【図２１】ズーム投影処理の第２変形例を説明する３次元マッピング空間の図
【図２２】図２１のズーム投影処理後のパノラマ画像を示す図
【図２３】ズーム投影処理の第３変形例を説明する３次元マッピング空間の図
【図２４】図２４Ａは図２３のズーム投影処理前のパノラマ画像を示す図、図２４Ｂは図２３のズーム投影処理後のパノラマ画像を示す図
【図２５】ズーム投影用の第１筒状面と第２筒状面との相対配置の変化例（ａ−１）〜（ａ−６）と、各相対配置に対応したズーム投影後のパノラマ画像（ｂ−１）〜（ｂ−６）を示す図
【図２６】拡大方向を指定する方法の第１例〜第３例を説明する図
【図２７】パノラマ画像に各眺望方向の拡大率を表わすスケール表示を付加した表示例を示す画像図
【図２８】パノラマ画像を複数段構成にした第１〜第３の表示例を示す概念図
【図２９】被写体追跡機能用に時系列的に取得された複数のパノラマ画像を示す図
【図３０】被写体追跡機能を併用したズーム投影処理後の時系列複数のパノラマ画像を示す図
【図３１】被写体追跡機能を併用させた場合の時系列複数のパノラマ画像の表示例を示す画像図
【図３２】パノラマ画像を伸縮する処理の変形例を説明するもので、図３２Ａは伸縮処理前のパノラマ画像を示す図、図３２Ｂは各眺望方向の拡大率を示すグラフ
【図３３】パノラマ画像の縦方向の伸縮処理を説明する概念図
【図３４】縦方向の伸縮処理後のパノラマ画像を示す図
【図３５】図３５Ａは横方向の伸縮処理前のパノラマ画像を示す図、図３５Ｂは各眺望方向の拡大率を示すグラフ
【図３６】パノラマ画像の横方向の伸縮処理を説明する概念図
【図３７】縦横方向の伸縮処理後のパノラマ画像を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
図１は、本発明の実施形態のカメラの構成を示すブロック図である。
【００１４】
本実施形態のカメラは、図１に示すように、撮影によりパノラマ画像を得る撮影部１１と、パノラマ画像に対して後述の標準投影処理を行う標準投影部１２と、画像伸縮部としてのズーム投影部１３と、操作ボタンを介して外部から操作入力を受け付ける入力受付部１４と、操作入力に基づきズーム投影処理の各種設定を行うズーム投影設定部１５と、表示データを生成して画像データを出力する画像出力部１６と、画像出力部１６から表示データを入力して表示出力を行うディスプレイ１７等を備えている。
【００１５】
撮影部１１は、例えば、魚眼レンズやミラーを用いた全周囲カメラを用いて得られた全周囲画像をパノラマ展開して原画像となるパノラマ画像を得る構成を採用してもよい。または、複数の方向を向いた複数のレンズと、これら複数のレンズにより結像された光学像を電気信号に変換する撮像素子とを有し、これら複数のレンズを用いて全周囲３６０°の範囲の撮影が可能なように構成されている。さらに、この撮影部１１は、複数のレンズを用いて撮影された複数の画像データを連結させて、３６０°全周囲の画像が連なったパノラマ画像の画像データを生成する。撮影部１１は、このようなパノラマ画像の画像データを標準投影部１２へ出力する。なお、撮影部１１として、方位センサまたはジャイロセンサを搭載し、ユーザに全周囲３６０°の各方向を向くように回転させながら連続撮影を行わせて、この連続撮影により得られた複数の画像データを連結させて上記のようなパノラマ画像を得る構成を採用してもよい。その他、３６０°のパノラマ画像を得る様々な公知の構成を採用してもよい。
【００１６】
ズーム投影設定部１５は、入力受付部１４を介して入力されたユーザからの操作指令に基づいて、パノラマ画像の各眺望方向のうち拡大する方向と、拡大率との設定を行う。そして、この拡大する方向と拡大率とを示すデータをズーム投影部１３へ供給する。
【００１７】
ズーム投影設定部１５は、例えば、次のような処理により、拡大する眺望方向の入力をユーザに行わせる。すなわち、先ず、ディスプレイ１７にズーム投影前のパノラマ画像と、拡大方向を指示させるポインタ画像とを重ねて表示出力させる。そして、入力受付部１４を介した操作入力に基づいてポインタ画像を移動させ、かつ、入力受付部１４を介した拡大方向の決定の操作入力に基づいて、この操作入力の時点でポインタ画像が指し示す眺望方向を拡大する方向として決定する。また、拡大率の入力は、例えば１倍、２倍、５倍など複数種類の拡大率の中から入力受付部１４を介してユーザに選択させて決定する。或いは、連続的な拡大率の中からユーザに選択させて決定するようにしてもよい。
【００１８】
標準投影部１２は、撮影部１１からパノラマ画像の画像データを入力し（画像入力部）、ズーム投影設定部１５からの入力内容に応じてこのパノラマ画像の視点の高さや視界の向きを変更する標準投影処理を行って、処理後のパノラマ画像の画像データをズーム投影部１３へ出力する。この標準投影処理については後に詳述する。
【００１９】
ズーム投影部１３は、パノラマ画像の全周囲の各方向（以下、眺望方向と呼ぶ）の画像が連続的に連結できるというパノラマ画像の特徴を維持しつつ、ズーム投影設定部１５からの入力内容に応じて一部の範囲を拡大または縮小するズーム投影処理を行って、処理後のパノラマ画像の画像データを画像出力部１６へ出力する。この投影処理については後に詳述する。
【００２０】
画像出力部１６は、ズーム投影部１３から円筒状につながるパノラマ画像の画像データを入力するとともに、このパノラマ画像を任意の位置で切断して平面状に配置する画像処理を行って表示データを生成する。そして、この表示データをディスプレイ１７へ出力して表示出力させる。
【００２１】
［標準投影処理］
図２には、標準投影部１２により実行される標準投影処理の準備段階について説明する３次元マッピング空間の図を、図３には、図２の筒状面に投影されたパノラマ画像を表わした図を示す。
【００２２】
標準投影処理は、撮影部１１により得られたパノラマ画像に対して、拡大率をほぼ変更せずに、視点の高さやパノラマ画像の水平面の傾きを変更するための処理である。ここで、水平面とは、重力方向に垂直な面のことではなく、パノラマ画像の周囲一回りの各眺望方向をベクトルで表わしたときに、このベクトルの軌跡により表わされる平面のことを示している。
【００２３】
標準投影部１２は、標準投影処理の開始時に、図２に示すように、仮想的な３次元マッピング空間に投影元の筒状面４０（円柱４０Ａの側面）を構築する。そして、この筒状面４０に撮影部１１から供給されるパノラマ画像７０を連続的にマッピングする。パノラマ画像７０は筒状面４０の面上でパノラマ画像７０の全周囲の画像がつながるようにマッピングされる。
【００２４】
ここで、パノラマ画像７０の中央の水平線Ｌ１は、筒状面４０の中心点Ｏの高さにマッピングされる。標準投影処理では、変更後の視点の高さとなる視点ＶＰが例えばユーザにより中心軸４５の任意の高さに指定される。パノラマ画像７０の帯状部分ＶＰａが視点ＶＰの高さに対応した画像部分となる。また、標準投影処理では、着目したい（表示の中央にしたい）点、すなわち、パノラマ画像７０上の任意の箇所に１つまたは複数の点Ｐ１〜Ｐ４が例えばユーザにより指定され、その着目点を画像の中央になるように変換する（結果的には水平面の傾きが変更されることになる）。
【００２５】
図４には、標準投影処理の第１例を説明する３次元マッピング空間の図を、図５には、図４の標準投影処理後のパノラマ画像を表わした図を示す。この第１例の標準投影処理は、パノラマ画像７０上の１つの点Ｐ１のみが指定された場合のものである。
【００２６】
この場合、標準投影部１２は、図４に示すように、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径（円柱４０Ａの径）で、中心点Ｏが互いに重なり、かつ、線分Ｏ−Ｐ１が中心軸５５ａに垂直になるように、投影先の筒状面５０ａ（円柱５０Ａａの側面）を構築する。このとき、視点が指定されている場合は、中心Ｏの位置は視点ＶＰの位置とする。
【００２７】
このような筒状面５０ａの構築を行ったら、標準投影部１２は、投影元の筒状面４０から投影先の筒状面５０ａへパノラマ画像７０を投影する処理を行う。この投影処理では、中心点Ｏを投影視点として、筒状面４０の各画素を筒状面５０ａへ投影することで行われる。或いは、中心軸５５ａを投影中心として各画素が縦方向に広がらないように投影させるようにしてもよい。
【００２８】
このような標準投影処理により、図５に示すように、元のパノラマ画像７０上で指定された点Ｐ１が中央の水平線Ｌ２に重なったパノラマ画像８０ａが生成される。また、点Ｐ１の方向とこの逆の方向とで視線が互い違いに昇降するように水平面が傾いたパノラマ画像８０ａが生成される。
【００２９】
なお、投影後のパノラマ画像８０ａは、全周囲の各眺望方向のうち何れかの方向の上端または下端の画像が欠けたものになるが、全眺望方向にわたって画像の上端部と下端部をトリミングすることで、帯状のパノラマ画像８０ａを生成してズーム投影部１３へ送ることができる。
【００３０】
図６には、標準投影処理の第２例を説明する３次元マッピング空間の図を、図７には、図６の標準投影処理後のパノラマ画像を表わした図を示す。この第２例の標準投影処理は、パノラマ画像７０上の２つの点Ｐ１，Ｐ２が指定された場合のものである。
【００３１】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、中心点Ｏが互いに重なり、かつ、三角形Ｏ−Ｐ１−Ｐ２が円柱５０Ａｂの底面と平行になるように、投影先の筒状面５０ｂ（円柱５０Ａｂの側面）を構築する。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｂへ投影する。視点ＶＰが指定されていない場合には中心点Ｏを視点ＶＰの位置とする。
【００３２】
このような標準投影処理によれば、図７に示すように、元のパノラマ画像７０上で指定された点Ｐ１，Ｐ２が中央の水平線Ｌ２ｂに重なったパノラマ画像８０ｂが生成される。また、点Ｐ１，Ｐ２の方向が画像８０ｂの中央になるため、これらの逆の方向では視線が互い違いに昇降し水平面が傾いたパノラマ画像８０ｂが生成される。
【００３３】
図８には、標準投影処理の第３例を説明する３次元マッピング空間の図を、図９には、図８の標準投影処理後のパノラマ画像を表わした図を示す。この第３例の標準投影処理は、パノラマ画像７０上の２つの点Ｐ１，Ｐ２と視点ＶＰとが指定された場合のものである。
【００３４】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、三角形Ｐ１−Ｐ２−ＶＰが円柱５０Ａｃの底面と平行になり、かつ、視点ＶＰが新たな中心点となるように、投影先の筒状面５０ｃ（円柱５０Ａｃの側面）を構築する。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｃへ投影する。
【００３５】
このような標準投影処理によれば、図９に示すように、元のパノラマ画像７０上で指定された点Ｐ１，Ｐ２が中央の水平線Ｌ２ｃに重なり、中央の水平線Ｌ２ｃの画像が視点ＶＰから見た画像としてパノラマ画像８０ｃが生成される。
【００３６】
図１０には、標準投影処理の第４例を説明する３次元マッピング空間の図を、図１１には、図１０の標準投影処理後のパノラマ画像を表わした図を示す。この第４例の標準投影処理は、パノラマ画像７０上の３つの点Ｐ１，Ｐ２，Ｐ３が指定された場合のものである。
【００３７】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、三角形Ｐ１−Ｐ２−Ｐ３が円柱５０Ａｄの底面と平行になり、かつ、新たな中心点が三角形Ｐ１−Ｐ２−Ｐ３と重なるように、投影先の筒状面５０ｄ（円柱５０Ａｄの側面）を構築する。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｄへ投影する。
【００３８】
このような標準投影処理によれば、図１１に示すように、元のパノラマ画像７０上で指定された点Ｐ１，Ｐ２，Ｐ３が中央の水平線Ｌ２ｄに重なったパノラマ画像８０ｄが生成される。
【００３９】
図１２には、標準投影処理の第５例を説明する３次元マッピング空間の図を、図１３には、図１２の標準投影処理後のパノラマ画像を表わした図を示す。この第５例の標準投影処理は、パノラマ画像７０上の３個より多い点Ｐ１〜Ｐ４が指定された場合のものである。
【００４０】
この場合、標準投影部１２は、仮想的な３次元マッピング空間の中に、投影元の筒状面４０と同一径で、指定された各点Ｐ１〜Ｐ４との距離が総合的に短くなる特定の平面（水平線Ｌ２ｅを含む面）が円柱５０Ａｅの底面と平行であり、かつ、新たな中心点が上記特定の平面と重なるように、投影先の筒状面５０ｅ（円柱５０Ａｅの側面）を構築する。上記の特定の平面は、例えば、最小二乗法により各指定点Ｐ１〜Ｐ４との距離の二乗和が最小になるように求めることができる。そして、上述のようにパノラマ画像７０を筒状面４０から筒状面５０ｅへ投影する。
【００４１】
このような標準投影処理によれば、図１３に示すように、元のパノラマ画像７０上で指定された各点Ｐ１〜Ｐ４が中央の水平線Ｌ２ｅに総合的に近くなるパノラマ画像８０ｅが生成される。
【００４２】
そして、上述のように標準投影処理により生成されたパノラマ画像８０ａ〜８０ｅがズーム投影部１３へ送られて、次に説明するズーム投影処理が行われるようになっている。
【００４３】
［ズーム投影処理］
図１４には、パノラマ画像のズーム投影処理を説明する３次元マッピング空間の図を示す。図１５は、ズーム投影処理で使用される第１筒状面と第２筒状面の相対距離を表わす図である。第１筒状面には、標準投影部から出力された視点高さや傾きなどの位置合わせが行われた画像がマッピングされており、第２筒状面が投影面となる。図１６Ａには、標準投影部から得られたズーム投影処理前のパノラマ画像を表わす図を、図１６Ｂには、ズーム投影処理後のパノラマ画像を表わす図を示す。
【００４４】
ズーム投影処理は、次のようにズーム投影部１３によって実行される。すなわち、ズーム投影部１３は、先ず、図１４に示すように、３次元マッピング空間において、第１筒状面２０（円柱２０Ａの側面）と、第２筒状面３０（円柱３０Ａの側面）とを構築する。これらの第１筒状面２０と第２筒状面３０とは、互いの中心軸（円柱２０Ａ，３０Ａの中心軸）が平行であり、縦方向の長さが第１筒状面２０より第２筒状面３０が長くなるように構築される。また、縦方向に見て第２筒状面３０の上端と下端との間に第１筒状面２０の全てが含まれるように配置される。また、水平方向（円柱２０Ａ，３０Ａの上面または下面に沿った方向）に見て第１筒状面２０の中心軸２５が第２筒状面３０の中心から変位し且つ第２筒状面３０の円筒内に含まれるように配置される。
【００４５】
３次元マッピング空間は、メモリ上に構築される仮想的な３次元空間である。第１筒状面２０と第２筒状面３０との変位方向および変位量は、ズーム投影設定部１５から供給される拡大方向と拡大率のデータに基づいて決定される。
【００４６】
上記のように第１筒状面２０と第２筒状面３０とを構築したら、次に、ズーム投影部１３は、標準投影部１２から供給されるパノラマ画像８０（図１６Ａ参照）を第１筒状面２０へマッピングする。ここで、パノラマ画像８０は第１筒状面２０の面上でパノラマ画像８０の３６０°全周囲の画像がつながるようにマッピングされる。
【００４７】
次に、ズーム投影部１３は、第１筒状面２０の中心点Ｏ（円柱２０Ａの中心軸２５の中心点Ｏ）を投影視点として、第１筒状面２０の面上の各画素を第２筒状面３０へ投影マッピングする処理を行う。例えば、図１４の直線ａに重なる一列の画素２２を直線ｂに重なる一列の画素３２へ拡大して投影する。また、図１４の直線ｄに重なる一列の画素２１を直線ｃに重なる一列の画素３１に縮小して投影する。その他の範囲の画素も同様に連続的に投影する。そして、第２筒状面３０へ投影された画像を伸縮されたパノラマ画像９０（図１６Ｂ参照）として得る。
【００４８】
このようなズーム投影処理により、図１６Ｂに示すように、３６０°全周囲の各眺望方向の画像が含まれるとともに、一部の方向の画像が拡大され、この逆の方向の画像が縮小され、かつ、連続的な範囲で拡大率が非連続にならないように伸縮されたパノラマ画像９０が得られる。図１６Ｂにおいて、パノラマ画像９０の左端と右端とが切断された図となっているが、第２筒状面３０へ投影された段階では、この左端と右端とがつながった状態になっており、それゆえ、この切断された部分の一方と他方とで拡大率は同一になっている。
【００４９】
パノラマ画像９０の各部の拡大率は、第１筒状面２０と第２筒状面３０との変位方向および変位量によって決定される。例えば、図１４と図１５に示すように、直線ａ，ｂに重なる部分の画像は拡大率“距離Ｏｂ／距離Ｏａ”となり、直線ｃ，ｄに重なる部分の画像は拡大率“距離Ｏｃ／距離Ｏｄ”となる。ズーム投影部１３は、ズーム投影設定部１５から入力された拡大方向と拡大率のデータに応じて、第１筒状面２０と第２筒状面３０との変位方向および変位量を変更して、指定された拡大方向および拡大率で伸縮されたパノラマ画像９０を生成するように構成されている。拡大方向で指定された点と中心点Ｏが最も遠くなる方向に変位させ、変位量は上記拡大率で決定する。
【００５０】
なお、ズーム投影の方法は様々に変更可能である。例えば、第１筒状面２０と第２筒状面３０とを半径を異ならせて構築し、かつ、中心軸が重なるように配置するとともに、投影視点を中心から変位させてズーム投影処理を行うようにしてもよい。このようなズーム投影処理によっても、パノラマ画像を周囲一回りの各眺望方向ごとに連続的な拡大率で伸縮させることができる。
【００５１】
［表示データ生成処理］
図１７Ａ〜図１７Ｃには、ズーム投影処理後のパノラマ画像から表示データを生成する第１加工ステップ〜第３加工ステップの説明図を示す。
【００５２】
表示データ生成処理は、ズーム投影処理後のパノラマ画像９０のデータを用いて画像出力部１６により実行される。表示データ生成処理において画像出力部１６は、先ず、図１７Ａに示すように、パノラマ画像９０を長手方向に複数に等分する切断処理を行う。例えば、図中の一点鎖線の箇所でパノラマ画像９０を切断して、画像断片Ａ，Ｃと断片Ｂとに二等分する。次に、画像出力部１６は、図１７Ｂに示すように、上記の断片Ａ〜Ｃをディスプレイ１７の表示枠１７Ａに対応させて例えば複数段（例えば２段）に配置する処理を行う。続いて、表示枠１７Ａの上下に外れる部分、ならびに、上段に配置された断片Ｂと下段に配置された断片Ａ，Ｃとが重なった部分をトリミングして、図１７Ｃに示すように、パノラマ画像９０が二段構成にされて表示枠１７Ａに収まった画像の表示データを生成する。ここで、パノラマ画像９０の切断箇所９２の一方と他方とは拡大率が同一であり、画像をそのまま連続的につなぎ合わせることが可能になっている。もう一方の切断箇所９３についても同様である。なお、表示枠１７Ａから外れた部分をトリミングする際に、パノラマ画像９０の長手方向の一部の範囲がトリミングされた場合でも、無視できる程度に僅かな範囲であれば、頭の中でパノラマ画像を筒状に連結できるという作用を維持することができる。
【００５３】
図１８は、パノラマ画像の第１〜第３の表示例を示す画像図である。上記のように画像出力部１６により生成された表示データがディスプレイ１７に出力されることで、図１８Ａ〜図１８Ｃのような表示画像がディスプレイ１７に出力される。図１８Ａは、ズーム投影の倍率を１倍（ズームなし）としたときの表示画像の一例、図１８Ｂは対象物９５の方向を中心に倍率２倍としたときの表示画像の一例、図１８Ｃは対象物９５の方向を中心に倍率５倍としたときの表示画像の一例である。入力受付部１４から拡大方向または拡大率の選択を切り替えることで、図１８Ａ〜図１８Ｃの表示画像が切り替わるようになっている。
【００５４】
なお、図１７Ａで示すパノラマ画像は、実際にはズーム投影部１３の投影面（第２筒状面３０）上にマッピングされたデータの端同士が繋がっている。これを切り出す際に、３６０°分全てをパノラマ画像データとして使用する必要はなく、略３６０°分の領域を用いるようにしてもよい。
【００５５】
［ズーム投影処理の変形例］
図１９には、ズーム投影処理の第１変形例を説明する３次元マッピング空間の図を、図２０には、このズーム投影処理後のパノラマ画像の図を示す。
【００５６】
第１変形例のズーム投影処理においても、ズーム投影前のパノラマ画像がマッピングされる第１筒状面２０と、このパノラマ画像がズーム投影される第２筒状面３０とが、上述したズーム投影処理のものと同様に構築される（図１４参照）。第１変形例では、図１９に示すように、投影視点Ｏ１を第１筒状面２０の上端の高さに設定して投影処理を行うようにしている。
【００５７】
このようなズーム投影処理によれば、図２０に示すように、ズーム投影処理後のパノラマ画像９０ａは、３６０°の全眺望方向にわたって上端が直線状になり、拡大部分が下方に膨れ、縮小部分が上方に縮むような形状にすることができる。このようなズーム投影処理においても、連続的な範囲で拡大率が非連続にならないパノラマ画像９０ａを得ることができる。
【００５８】
図２１には、ズーム投影処理の第２変形例を説明する３次元マッピング空間の図を、図２２には、このズーム投影処理後のパノラマ画像の図を示す。
【００５９】
第２変形例のズーム投影処理においても、ズーム投影前のパノラマ画像がマッピングされる第１筒状面２０と、このパノラマ画像がズーム投影される第２筒状面３０とが、図１４のものと同様に構築される。第２変形例では、図２１に示すように、投影視点Ｏ２を第１筒状面２０の下端の高さに設定して投影処理を行うようにしている。
【００６０】
このようなズーム投影処理によれば、図２２に示すように、ズーム投影処理後のパノラマ画像９０ｂは、３６０°の全眺望方向にわたって下端が直線状になり、拡大部分が上方に膨れ、縮小部分が下方に縮むような形状にすることができる。このようなズーム投影処理においても、連続的な範囲で拡大率が非連続にならないパノラマ画像９０ｂを得ることができる。
【００６１】
図２３には、ズーム投影処理の第３変形例を説明する３次元マッピング空間の図を、図２４Ａと図２４Ｂには、このズーム投影処理の前と後のパノラマ画像の図を、それぞれ示す。
【００６２】
第３変形例のズーム投影処理においては、ズーム投影部１３は、次のように第１筒状面２０ａと、第２筒状面３０ａとを構築する。すなわち、ズーム投影前のパノラマ画像がマッピングされる第１筒状面２０ａを縦方向に長く、パノラマ画像がズーム投影される第２筒状面３０ａを縦方向に短くなるように構築する。また、特に制限はされないが、第１筒状面２０ａと第２筒状面３０ａとが同一径（円柱２０Ａａ，３０Ａａの径が同一）になるように構築する。さらに、縦方向にみて第２筒状面３０ａが第１筒状面２０ａの上端と下端の間に位置し、水平方向にみて第１筒状面２０ａの中心軸２５が第２筒状面３０ａの内側に位置するように、両者を配置する。
【００６３】
このような構築を行ったら、ズーム投影部１３は、３６０°全周囲の画像が連なったパノラマ画像８０ｈを第１筒状面２０ａの全周を埋めるようにマッピングする。このパノラマ画像８０ｈは、図２４Ａに示すように、縦方向に幅広（画素数が多い）の画像が適用される。次いで、ズーム投影部１３は、第１筒状面２０ａの中心点Ｏを投影視点として、第１筒状面２０ａのパノラマ画像８０ｈを第２筒状面３０ａへ投影する。ここで、投影前のパノラマ画像８０ｈが縦方向に幅広であることから、このパノラマ画像８０ｈの上側や下側の一部範囲が切り落とされて第１筒状面２０ａの全域に投影される。したがって、図２４Ｂに示すように、投影後のパノラマ画像９０ｈは、縦方向の幅が一定長であり、拡大した部分がズームインしたように視界が狭く絞られた画像となり、縮小した部分がズームアウトしたように広い範囲を見渡した画像となる。このようなマッピングを行うことにより、投影後のパノラマ画像９０ｈはズームの大小にかかわらず、同じ幅（上下方向）にすることができ、それにより、表示後の印象を変えることができる。
【００６４】
図２５には、第１筒状面２０ａと第２筒状面３０ａの相対配置とズーム投影後のパノラマ画像９０ｈとの関係を表わした図を示す。同図（ａ−１）〜（ａ−６）は上記相対配置の第１例〜第６例を示す平面図、（ｂ−１）〜（ｂ−６）は第１例〜第６例の相対配置に対応したパノラマ画像の図である。
【００６５】
第３変形例のズーム投影処理においても、図２５（ａ−１）〜（ａ−６）に示すように、第２筒状面３０を第１筒状面２０ａの中心から変位させる方向を様々に変化させることで、図２５（ｂ−１）〜（ｂ−６）に示すように、パノラマ画像の様々な方向を拡大したり縮小したりすることができる。
【００６６】
図２６Ａ〜図２６Ｃには、拡大方向を指定する方法の第１例〜第３例を説明する平面図を示す。第３変形例のズーム投影処理においても、入力受付部１４を介して拡大方向と拡大率とを入力することで、これらの入力に応じたズーム投影処理を行わせることができる。例えば、図２６Ａに示す例は、第１筒状面２０ａにマッピングされたパノラマ画像８０ｈの任意の点Ｐ１と、拡大率（図２６の矢印の長さにより表わす）とが入力受付部１４を介して入力された例である。この場合、同図に示すように、指定された点Ｐ１がある方向に拡大率に応じた量だけ第２筒状面３０ａが変位されてズーム投影処理が行われる。それにより、点Ｐ１の方向が拡大されたパノラマ画像９０ｈを得ることができる。
【００６７】
図２６Ｂに示す例は、第１筒状面２０ａにマッピングされたパノラマ画像８０ｈの任意の２つの点Ｐ１，Ｐ２と、各方向の拡大率とが入力受付部１４を介して入力された例である。この場合、同図に示すように、２方向の入力に基づく２つのベクトルｖ１，ｖ２が合成された方向および長さで、第２筒状面３０ａが変位されてズーム投影処理が行われる。それにより、指定された２方向がそれぞれ拡大されたパノラマ画像９０ｈを得ることができる。上記のベクトルｖ１，ｖ２は、指定された点Ｐ１，Ｐ２の方向および指定された各拡大率に応じた長さを表わすように定義される。
【００６８】
図２６Ｃに示す例は、図２６Ｂの場合と同様に、パノラマ画像８０ｈの任意の２つの点Ｐ１，Ｐ２と、各方向の拡大率とが入力受付部１４を介して入力された場合の別の例である。この例では、第２筒状面３０ａの横断面の形状を円形に制限せずに、第２筒状面３０ａが指定された拡大方向にのみ中心点Ｏから遠い方へ膨らむようにしたものである。但し、第２筒状面３０ａの全周の長さは変化しないように制限している。このように第２筒状面３０ａを構成してズーム投影処理が行われることで、指定された複数の拡大方向がそれぞれ局所的に拡大されたパノラマ画像９０ｈを得ることができる。ここでは、第２筒状面３０ａの全周の長さは変化しないように制限した例を示したが、全周の長さが変化する場合では、パノラマ画面の水平方向の長さがｎ倍（ｎ＝２，３，４・・）になるように規格化する一方、表示の際にパノラマ画像を１／ｎの長さずつ分割して画面上に並べて出力すればよい。（図２８参照）
【００６９】
［パノラマ画像表示の変形例］
図２７には、パノラマ画像に各眺望方向の拡大率を表わすスケール表示を付加した表示例を示す。
【００７０】
パノラマ画像９０ｈの複数の方向が局所的に拡大されている場合には、図２７に示すように、パノラマ画像９０ｈの各眺望方向の拡大率を表わすスケール表示（拡大率表示画像）９８を付加して表示出力するとよい。このスケール表示９８によりどの部分が拡大されどの部分が縮小されているのか閲覧者に直感的に理解させることができる。
【００７１】
このスケール表示９８は、目盛りの表示によって各眺望方向の拡大率を表わすようにしたものであり、目盛りの間隔をその箇所の拡大率に比例するようにしている。このスケール表示９８は、ズーム投影前のパノラマ画像に等間隔の目盛り画像を付加しておき、この目盛り画像ごとパノラマ画像をズーム投影することで作成することができる。なお、スケール表示は、例えば色のグラデーション（赤に近いほど拡大率が高く、青に近いほど拡大率が低いなど）や、色の濃さにより拡大率を表わすように構成してもよい。
【００７２】
図２８Ａ〜図２８Ｃには、パノラマ画像の第１〜第３の表示例を表わした概念図を示す。先に、図１７を参照して説明したように、パノラマ画像は横長の画像になる。そのため、横方向の長さがほぼ均等になるようにパノラマ画像を縦方向の切込み線で複数に切断して、これらを複数段に並べて表示するようにしてもよい。図２８Ａ〜図２８Ｃにおいて、３６０°全周囲の画像が連なったパノラマ画像が、２つの画像ブロック１０１，１０２、あるいは、３つ以上の画像ブロック１１１〜１１３に分割されて、複数段に表示されている。各段の画像ブロック１０１，１０２，１１１〜１１３において、その左端と右端は、図中の点線矢印で対応づけられた他の画像ブロック１０１，１０２，１１１〜１１３の左端または右端に画像が連続するようになっている。このような複数段の表示により、ディスプレイ１７の表示枠１７Ａを有効に使用することができる。
【００７３】
また、パノラマ画像の切断位置を少しずつ横方向にずらして連続表示を行うことで、図２８Ａ〜図２８Ｃに示すように、複数段構成のパノラマ画像の表示を横方向に周回移動（ローリングと呼ぶ）させることも可能である。図２８Ａの例は、２段の画像ブロック１０１，１０２を同一のローリング方向に周回移動させた表示例である。図２８Ｂの例は、２段目の画像ブロック１０２を左右反転或いは上下左右反転させることで、１段目と２段目とでローリング方向を逆転させて周回移動させた表示例である。このように左右反転した画像ブロック１０２を含めることで、各画像ブロック１０１，１０２の左端と右端の画像の連続先が互いに近い配置となる。このため、鑑賞者がパノラマ画像を筒状に連結するイメージを行いやすくなる。図２８Ｃの例は、２段目の画像ブロック１１２を左右反転または上下左右反転させることで、１段目と２段目、および、２段目と３段目とでローリング方向を逆転させて周回移動させた表示例である。このような３段構成の表示でも同様に周回移動させた表示が可能である。
【００７４】
この変形例において、画像出力部１６は、ズーム投影部１３から供給されるパノラマ画像に対して、上記のように画像を切断する処理と、切断した画像ブロック１０１，１０２，１１１〜１１３を複数段に配置して表示データを生成するように構成される。それにより、図２８のようなパノラマ画像の表示出力が可能となる。
【００７５】
［被写体追跡機能とパノラマ画像の伸縮機能との協働例］
図２９〜図３１には、被写体追跡機能とパノラマ画像の伸縮機能とを協働させた動作例を説明する図を示す。図２９Ａ，図２９Ｂは、この被写体追跡機能用に周期的（時刻ｔ１，ｔ２）に取得された複数のパノラマ画像１２０ａ，１２０ｂを示す図である。図３０Ａ，図３０Ｂは、上記被写体追跡機能を併用したズーム投影処理後の複数のパノラマ画像１２１ａ，１２１ｂを示す図、図３１Ａ，図３１Ｂは、上記被写体追跡機能を併用した場合における複数のパノラマ画像の表示例１２２ａ，１２２ｂを示す画像図である。
【００７６】
被写体追跡機能は、撮影画像に写っている特定の対象物（例えば人物など）を追跡対象物として指定することで、他の撮影画像の中から指定された追跡対象物を検索してその位置を検出する機能である。追跡対象物の検索は、演算処理装置に追跡対象物の色や形状をパターン認識させ、演算処理装置によって検索対象の撮影画像の各部分と追跡対象物のパターンとの比較を行わせることで実現可能である。そして、一致と判別された部分の画像位置が追跡対象物の位置として出力される。
【００７７】
この実施形態では、ズーム投影部１３に、上記の被写体追跡機能の構成が付加され、入力受付部１４を介して、１つの撮影画像に含まれる任意の対象物を追跡対象物として指定することが可能になっている。上記の被写体追跡機能は必ずしもズーム投影部１３にある必要はなく、撮影部１１の出力する撮像画像を受け取り、画像中の追跡対象物の位置を入力受付部１４に入力する方法でも実現できる。
【００７８】
ズーム投影部１３は、撮影部１１により周期的に得られた複数のパノラマ画像１２０ａ，１２０ｂを入力したら、指定された追跡対象物（この実施形態では人物像Ｇ）の検索を行って、その位置を検出する。そして、位置が検出されたら、その位置がほぼ中央になるようにパノラマ画像１２０ａ，１２０ｂを周回移動させる。そして、中央が拡大されるようにズーム投影の処理を行って、図３０Ａ，図３０Ｂのようにパノラマ画像１２１ａ，１２１ｂを生成する。そして、これらの画像データを画像出力部１６へ出力する。
【００７９】
画像出力部１６は、パノラマ画像１２１ａ，１２１ｂを分割して二段構成にした表示データを生成してディスプレイ１７へ出力する。それにより、図３１Ａ，図３１Ｂのように追跡対象の人物像Ｇが上段中央で拡大された二段構成のパノラマ画像の表示例１２２ａ，１２２ｂが得られる。
【００８０】
このような被写体追跡処理とパノラマ画像の拡大処理とを、連続的に撮影された多数のパノラマ画像に対して連続的に行っていくことで、移動する追跡対象物がほぼ一定の位置に表示され、背景が追跡対象物の移動に伴って移り動くような画像表示を行うことができる。
【００８１】
［パノラマ画像の伸縮処理の変形例］
上記の実施形態では、ズーム投影処理によって、パノラマ画像を３６０°全周囲で拡大率が不連続にならないように伸縮する例を示してきた。しかしながら、パノラマ画像をこのように伸縮する方法はズーム投影処理に限られるものではない。例えば、次のような演算処理装置による画像変換処理によっても実現することができる。
【００８２】
図３２〜図３７には、パノラマ画像の伸縮処理の変形例を説明する図を示す。図３２Ａは伸縮処理前のパノラマ画像を示す図、図３２Ｂは各眺望方向の拡大率を示すグラフ、図３３は、この変形例において縦方向の伸縮処理を説明する概念図、図３４は、この縦方向の伸縮処理後のパノラマ画像を示す図である。
【００８３】
この変形例では、先ず、図３２Ａ、図３２Ｂに示すように、撮影部１１により得られたパノラマ画像１３０に対して、眺望方向ごとの拡大率が指定される。拡大率は、眺望方向が連続する範囲で非連続にならないように設定される。パノラマ画像１３０の左端と右端は同一の眺望方向を示しているので、左端の拡大率と右端の拡大率は同一値になるように設定される。このような眺望方向ごとの拡大率のデータは、例えば、ズーム投影設定部１５に関数データ或いはテーブルデータとして記憶させておき、ユーザによる拡大方向および拡大率の指定に基づいてズーム投影設定部１５が適宜選択する。
【００８４】
上記のような拡大率の指定がなされたら、演算処理装置は、図３３に示すように、パノラマ画像１３０の１列の画素列１３１ａ〜１３１ｃごとに、指定された拡大率で縦方向に引き伸ばし、或いは、凝縮して新たな画素とする画像変換処理を行う。この引き伸ばし又は凝縮の処理により、縦方向の画素数が規定数を超えた場合には、超えた部分をトリミングし、規定数を下回った場合には、例えば所定色の画素を付加して補う。
【００８５】
このような縦方向の伸縮処理により、図３４に示すように、元のパノラマ画像１３０が指定された拡大率で縦方向に伸縮されたパノラマ画像１３２が得られる。
【００８６】
図３５Ａは横方向の伸縮処理前のパノラマ画像を示す図、図３５Ｂは各地要望方向の拡大率を示すグラフ、図３６は横方向の伸縮処理を説明する概念図、図３７は縦横方向の伸縮処理後のパノラマ画像を示す図である。
【００８７】
上記のように縦方向の伸縮処理を行ったら、続いて、演算処理装置は、このパノラマ画像１３２を横方向に伸縮する画像変換処理を実行する。この横方向の伸縮処理においても、図３５Ｂに示すように、縦方向の伸縮処理で用いられた眺望方向ごとの拡大率が使用される。
【００８８】
横方向の伸縮処理では、図３６に示すように、演算処理装置は、パノラマ画像１３２の全画素列１３３ａ〜１３３ａ，１３３ｂ〜１３３ｂに対して、指定された拡大率に応じて画素列１３３ａ〜１３３ａを横方向に凝縮して新たな画素列１３４ａ〜１３４ａにする画像変換処理、ならびに、指定された拡大率に応じて画素列１３３ｂ〜１３３ｂを広げて新たな画素列１３４ｂ〜１３４ｂにする画像変換処理を行う。なお、ここでは縦方向、横方向順番に拡大縮小したが、縦方向横方向同時に拡大縮小してもよい。
【００８９】
このような横方向の伸縮処理により、図３７に示すように、縦方向にのみ伸縮されていたパノラマ画像１３２に基づいて、指定された拡大率で横方向にも伸縮されたパノラマ画像１３５を得ることができる。このような伸縮処理においても、眺望方向が連続する範囲で連続的な拡大率で縦横に伸縮されたパノラマ画像１３５を得ることができる。また、パノラマ画像１３５が切断された左端と右端の伸縮率も同一となる。
【００９０】
以上のように、上述した実施形態のカメラ、ならびに、その画像変換装置（ズーム投影部１３、入力受付部１４、ズーム投影設定部１５、画像出力部１６）によれば、周囲一回りの各眺望方向の撮影画像が含まれるパノラマ画像に対して、眺望方向ごとに拡大率を異ならせてパノラマ画像の全体を連続的に伸縮させることができる。さらに、眺望方向が連続する範囲で、拡大率が非連続にされることがない。従って、このパノラマ画像を伸縮する機能により、パノラマ画像中の注目したい箇所を拡大して表示させることができる。また、鑑賞者は伸縮されたパノラマ画像を容易に頭の中で筒状に連結して全周囲の景観をイメージすることができる。
【００９１】
また、上記実施形態のカメラ、ならびに、その画像変換構成によれば、筒状面から別の筒状面へパノラマ画像を投影するズーム投影部１３の処理によって、自然で滑らかに伸縮させたパノラマ画像を容易に生成できるようになっている。
【００９２】
なお、上記実施形態では、撮影部１１とディスプレイ１７とを含んだカメラの構成を示したが、ズーム投影部１３、入力受付部１４、ズーム投影設定部１５および画像出力部１６を画像変換装置として別体に設けてもよい。
【００９３】
また、上記実施形態では、標準投影部で見たい領域が画面の中心付近に位置するようにしたうえでズーム投影部を用いて見たい領域を拡大処理するようにしているが、標準投影部による処理を行わずズーム投影部の処理のみで見たい領域を拡大処理するようにしてもよい。
【００９４】
また、上記実施形態では、標準投影部、ズーム投影部を用いて２段階で投影を行ったが、標準投影部とズーム投影部の両方を一度に実現可能な投影面を用いてもよい。具体的には、例えば、図１４中の円柱２０Ａを視線の高さに応じて上下させ、水平方向の傾きに応じて円柱２０Ａを傾けることで一度に位置合わせとズームの両方を実現することができる。
【００９５】
また、上記実施形態で示した、標準投影部１２、ズーム投影部１３、ズーム投影設定部１５、画像出力部１６の各構成は、ハードウェアにより構成しても良いし、コンピュータがプログラムを実行することで実現されるソフトウェアとして構成しても良い。
【産業上の利用可能性】
【００９６】
本発明は、スチルカメラおよびビデオカメラなど画像の入力装置や画像処理装置に好適に適用することができる。
【符号の説明】
【００９７】
１１ 撮影部
１３ ズーム投影部
１４ 入力受付部
１５ ズーム投影設定部
１６ 画像出力部
１７ ディスプレイ
２０，２０ａ 第１筒状面
３０，３０ａ 第２筒状面
７０，８０，８０ｈ，９０，９０ａ，９０ｂ，９０ｈ，１３０，１３２，１３５ パノラマ画像
９８ スケール表示（拡大率表示画像）
【特許請求の範囲】
【請求項１】
パノラマ画像を入力する画像入力部と、
前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうち所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮部と、
を具備する画像変換装置。
【請求項２】
前記画像伸縮部により伸縮された前記パノラマ画像を表示出力するための表示データを生成する表示データ生成部、
をさらに具備し、
前記表示データ生成部は、前記パノラマ画像を任意の箇所で切断した画像の表示データを生成し、
前記パノラマ画像の前記切断された箇所の一方の側と他方の側とで拡大率が同一にされている、
請求項１記載の画像変換装置。
【請求項３】
前記画像伸縮部は、前記パノラマ画像を三次元マッピング空間内で第１の筒状面にマッピングした後、当該マッピングされたパノラマ画像を前記第１の筒状面と重なる第２の筒状面に投影させる処理を行って、前記パノラマ画像を拡大または縮小する、
請求項２記載の画像変換装置。
【請求項４】
前記表示データ生成部は、
前記パノラマ画像の眺望方向ごとの拡大率を表わす拡大率表示画像を付加した画像の前記表示データを生成する、
請求項２又は３に記載の画像変換装置。
【請求項５】
前記パノラマ画像の伸縮させる眺望方向を示す情報を入力する情報入力部を備え、
前記画像伸縮部は、前記情報入力部により入力された前記情報に基づいて前記第１の筒状面または前記第２の筒状面の形状または相対的な配置を変化させる、
請求項３記載の画像変換装置。
【請求項６】
被写体を結像するレンズおよび当該レンズにより結像された光学像を電気信号に変換する撮像素子を有し、パノラマ画像を得る撮影部と、
前記撮影部から前記パノラマ画像を入力して伸縮する処理を行う請求項１〜５の何れか一項に記載の画像変換装置と、
前記画像変換装置により伸縮された前記パノラマ画像の表示データを入力して画像表示を行う表示部と、
を具備するカメラ。
【請求項７】
パノラマ画像を入力する画像入力ステップと、
前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうち所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮ステップと、
を含む画像変換方法。
【請求項８】
コンピュータに、
パノラマ画像を入力する画像入力機能と、
前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうち所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮機能と、
を実現させるプログラム。
【請求項１】
パノラマ画像を入力する画像入力部と、
前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうち所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮部と、
を具備する画像変換装置。
【請求項２】
前記画像伸縮部により伸縮された前記パノラマ画像を表示出力するための表示データを生成する表示データ生成部、
をさらに具備し、
前記表示データ生成部は、前記パノラマ画像を任意の箇所で切断した画像の表示データを生成し、
前記パノラマ画像の前記切断された箇所の一方の側と他方の側とで拡大率が同一にされている、
請求項１記載の画像変換装置。
【請求項３】
前記画像伸縮部は、前記パノラマ画像を三次元マッピング空間内で第１の筒状面にマッピングした後、当該マッピングされたパノラマ画像を前記第１の筒状面と重なる第２の筒状面に投影させる処理を行って、前記パノラマ画像を拡大または縮小する、
請求項２記載の画像変換装置。
【請求項４】
前記表示データ生成部は、
前記パノラマ画像の眺望方向ごとの拡大率を表わす拡大率表示画像を付加した画像の前記表示データを生成する、
請求項２又は３に記載の画像変換装置。
【請求項５】
前記パノラマ画像の伸縮させる眺望方向を示す情報を入力する情報入力部を備え、
前記画像伸縮部は、前記情報入力部により入力された前記情報に基づいて前記第１の筒状面または前記第２の筒状面の形状または相対的な配置を変化させる、
請求項３記載の画像変換装置。
【請求項６】
被写体を結像するレンズおよび当該レンズにより結像された光学像を電気信号に変換する撮像素子を有し、パノラマ画像を得る撮影部と、
前記撮影部から前記パノラマ画像を入力して伸縮する処理を行う請求項１〜５の何れか一項に記載の画像変換装置と、
前記画像変換装置により伸縮された前記パノラマ画像の表示データを入力して画像表示を行う表示部と、
を具備するカメラ。
【請求項７】
パノラマ画像を入力する画像入力ステップと、
前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうち所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮ステップと、
を含む画像変換方法。
【請求項８】
コンピュータに、
パノラマ画像を入力する画像入力機能と、
前記パノラマ画像の連続する領域で拡大率が連続的に変化するように、前記パノラマ画像のうち所望の領域の拡大率を異ならせて当該パノラマ画像を伸縮する画像伸縮機能と、
を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２０１３−１２８９３（Ｐ２０１３−１２８９３Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４１１６（Ｐ２０１１−１４４１１６）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【特許番号】特許第５０２０３９８号（Ｐ５０２０３９８）
【特許公報発行日】平成２４年９月５日（２０１２．９．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【特許番号】特許第５０２０３９８号（Ｐ５０２０３９８）
【特許公報発行日】平成２４年９月５日（２０１２．９．５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]