監視システム
【課題】表示品質を向上させる監視システムを提供する。
【解決手段】サーバにより携帯端末に画像を配信する監視システムを提供する。この監視システムにおいては、サーバにて、複数の解像度の配信画像を選択する解像度選択手段を備え、生画像から画像処理、拡大縮小して作成して配信する。また、この複数の解像度の画像を受信した端末では、表示画面の解像度に合わせて、縦表示と横表示を切り換える際に画像を選択して表示する。これにより、縦表示と横表示に最適な解像度の画像を表示して、表示品質を向上させることができる。
【解決手段】サーバにより携帯端末に画像を配信する監視システムを提供する。この監視システムにおいては、サーバにて、複数の解像度の配信画像を選択する解像度選択手段を備え、生画像から画像処理、拡大縮小して作成して配信する。また、この複数の解像度の画像を受信した端末では、表示画面の解像度に合わせて、縦表示と横表示を切り換える際に画像を選択して表示する。これにより、縦表示と横表示に最適な解像度の画像を表示して、表示品質を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバにより携帯端末に画像を配信する監視システムに関し、特に端末で解像度を変更した際にも明瞭な画像を表示する監視システムに関する。
【背景技術】
【０００２】
近年、セキュリティ（安全）意識の高まりや警備の省力化の要求から、監視用のテレビジョンカメラ（監視カメラ）を用いた監視システムが注目されている。
監視システムは、様々な目的で監視をするための監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に、テレビジョンカメラを配置して、このカメラ等の撮像装置で撮影する。そして、その映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
このような監視システムは、従来からＣＣＴＶ（Ｃｌｏｓｅｄ−ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）とも呼ばれており、これは、システム内で配信と閲覧が完結するテレビジョンシステムであることからそう呼ばれている。
しかしながら、この監視カメラで撮像した映像を、管理室等の部屋の外部にいる監視者が閲覧したいという要求が存在する。たとえば、通常の家屋内に撮像装置を設定して幼児やペットの様子を、仕事の合間にチェックしたい場合等が考えられる。このために、完全に屋内だけで閲覧可能な「Ｃｌｏｓｅｄ（閉じた）」ではない監視システムが求められていた。
【０００３】
このため、従来の携帯端末に送信可能な画像配信方法を、監視システムに用いることが考えられる。
この際に、携帯端末の表示解像度、特に縦横の長さが異なっている点が問題となる。
現在、携帯電話等の携帯端末は、画面の表示解像度がＶＧＡ（ビデオ・グラフィックス・アレイ、６４０×４８０ｄｏｔ）、ＷＶＧＡ（ワイドＶＧＡ、ＷＧＡ、８００×４８０ｄｏｔ（点））程度であるのが一般的であり、ＷＶＧＡでは表示画面の短辺は４８０ｄｏｔ、長辺は８００ｄｏｔの解像度となる。
ここで、Ｗｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ等のＯＳをインストールした携帯端末では、縦表示（縦向き、例えば４８０×８００ｄｏｔ）、横表示（横向き、例えば８００×４８０ｄｏｔ）をユーザが選択して、どちらの向きでも使用可能である。
ここで、監視システムの画像は、表示画面上に収まるように表示する必要がある。
このため、携帯端末がＶＧＡの液晶表示装置を備えている場合、横表示では解像度を最大限に使用して画像を表示でき、例えば、６４０×４８０ｄｏｔといった画素数の画像を表示することができる。
しかしながら、縦表示では、表示画面の短辺の解像度を基準にして、例えば、４８０×３２０ｄｏｔや４８０×３６０ｄｏｔといった画素数の画像を表示する必要がある。
すなわち、携帯端末では、縦表示と横表示で、表示する解像度を変更する必要がある。
【０００４】
特許文献１を参照すると、画像回転機能を備えたサーバ装置が記載されている（以下、従来技術１とする。）。
従来技術１のサーバ装置は、コンテンツ画像の画像サイズ情報と、携帯電話画面サイズ情報とを取得する。そして、画像サイズが縦長であるか横長であるかの縦横関係と、画面サイズの縦横関係とが合致しているか否かを判断する。
合致していなければ、読み出したコンテンツ画像を９０度回転し、画像サイズが、画面サイズに収まらない場合には、縮小処理を施して、携帯電話に送信することができる。
【０００５】
また、特許文献２を参照すると、元画像の重要な領域を残しつつ切り出しを行う画像配信方法が記載されている（以下、従来技術２とする。）。
従来技術２の画像配信方法は、元画像の任意の領域に対して配信者が指定したキーエリアが含まれるように、携帯電話の画面の大きさに合わせて元画像を切り取る。そして、切り取った領域の画像を画像配信装置から携帯電話機に配信する。
これにより、元画像の縦横比と、携帯電話機の画面の縦横比とが異なる場合でも、元画像２００の重要な領域を残しつつ、携帯電話機の画面の大きさに合った適切な大きさの画像を配信することができる。
【０００６】
【特許文献１】特開２００２−１０８７５７号公報
【特許文献２】特開２００５−６１８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、通常のコンテンツ等の画像配信とは異なり、監視システムでは監視カメラの画像を明確なまま送信する必要があった。
このため、従来技術１のサーバ装置を用いると、縦画面等では元画像を縮小して送信するために、解像度が減少して、画像の明確さが損なわれるという問題があった。
これは、従来技術２においても、段落〔００８２〕等を参照すると、同様に拡大・縮小を行うために、画像の明確さが損なわれていた。
また、従来技術２では、予めキーエリアを設定して元画像を切り取って表示しているために、監視カメラの画像においてユーザが指示した位置を拡大表示することができなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の監視システムは、サーバにより携帯端末に画像を配信する監視システムであって、端末の表示画面の解像度に合わせて、複数の解像度の配信画像を選択する解像度選択手段を備えるサーバと、前記複数の解像度の配信画像を、縦表示と横表示を切り換える際に選択して表示する携帯端末とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の解像度の配信画像をサーバにより配信し、縦表示と横表示を切り替える際に最適な解像度の配信画像を携帯端末が選択して表示することで、携帯端末の表示品質を向上させることができる監視システムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
＜第１の実施の形態＞
〔システム構成〕
図１を参照して説明すると、本発明の実施の形態に係る監視システムＸは、端末１（携帯端末）と、撮像装置４−１〜４−ｎの画像を録画し配信するサーバ３とが、ネットワーク５で接続されている。
ここで、端末１は、携帯電話、ＰＤＡ（パーソナル・データ・アシスタント）、ネットブック、ノートブック、小型ＰＣ（パーソナル・コンピュータ）、携帯画像プレーヤー、ワンセグＴＶ（テレビジョン）装置等の主に携帯端末である。端末１は、ネットワーク接続機能と、ＪＰＥＧ、ＪＰＥＧ２０００、ＧＩＦ、ＰＮＧ（ポータプル・ネットワーク・グラフィックス）ｍｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、Ｈ．２６３等の各種静止画・動画等のコーデックを備えており、これらの画像形式で送信された画像データをデコードして表示することができる。以下で、端末１は、ＷｉＭＡＸでネットワーク５に接続されたＷｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ５．０を備えるＰＤＡである例について説明する。
サーバ３は、撮像装置４−１〜４−ｎの画像を録画して画像データとして記憶する機能を備えているＰＣ／ＡＴ互換機や専用機等であるサーバである。また、サーバ３は、録画した画像データから、端末１で表示可能な形式の画像データを作成することができる。
撮像装置４−１〜４−ｎは、通常のアナログカメラとキャプチャデバイス、ＩＰカメラ、ウェブカメラ、その他の監視カメラ等である撮像装置であり、サーバ３に画像を送信する機能を備えている。また、撮像装置４−１〜４−ｎは、人感センサやモーションセンサや人工網膜等を備えていてもよく、これらのセンサが検知した際に、サーバ３に画像を送信するようにしてもよい。この場合は、それらのセンサの値も同時にサーバ３が記憶してもよい。
ネットワーク５は、携帯電話網、ＰＨＳ網、ＷｉＭＡＸ、無線ＬＡＮ、有線ＬＡＮ、電話網、ｃＬｉｎｋ、電灯線ネットワーク、光ファイバーネットワーク、専用線、その他のネットワーク網であり、画像データや各種コマンドを送受信可能である。
なお、端末１、サーバ３とも、同様の構成の端末やサーバを複数備えることができる。
【００１２】
〔端末１の制御構成〕
次に、図２を参照して、本発明の実施の形態に係る端末１の制御構成について説明する。
制御部１００は、ＣＰＵ（中央処理装置）、ＭＰＵ（マイクロ・プロセッシング・ユニット）、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）等である。制御部１００は、記憶部１２０に記憶された監視プログラムを実行して、各種静止画・動画等のコーデックを用いて、画像データ描画する。また、入力部１４０から入力されたユーザの指示を各部に伝える。
記憶部１２０は、ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）、ＳＲＡＭ（スタティック・ランダム・アクセス・メモリ）、ＲＯＭ（リード・オンリー・メモリー）、フラッシュメモリ、ＨＤＤ等の記憶部である。記憶部１２０には、サーバ３で作成された高解像度画像３２１と低解像度画像３２３を記憶する。また、Ｗｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ５．０等のＯＳ（オペレーティング・システム）や、インストールされた各種プログラム、データ等も記憶しており、これらのプログラムを制御部１００が実行する。また、記憶部１２０は、表示部１６０に表示される表示画面の表示内容を記憶するフレームメモリーを備えている。
ネットワーク接続部１３０は、ネットワーク５に接続するためのネットワークカードやこの制御プログラム等である。ネットワーク接続部１３０は、サーバ３とネットワーク上のコネクションを確立して、画像データ等を要求（リクエスト）し、取得（フェッチ）する。このために、ＨＴＴＰ（ハイパーテキスト・トランスファー・プロトコル）、ＦＴＰ（ファイル・トランスファー・プロトコル）等のサービス（デーモン）を実行している。
入力部１４０は、キーボード、ポインティングデバイス、音声認識装置とマイク、加速度センサ、ＧＰＳ（グローバル・ポジショニング・システム）センサ、温度センサ等の、ユーザからの各種の指示を受けとり、さらに端末１の外部のデータを取得する部位である。ユーザは、ＯＳのＧＵＩを用いて、入力部１４０を用いて制御・入力することで、監視プログラム等に指示を与えることができる。
【００１３】
表示部１６０は、液晶ディスプレイ・パネル、ＦＥＤ（フィールド・エミッション・ディスプレイ）パネル、ＬＥＤ（ライト・エミッション・ダイオード）アレイやＨＭＤ（ヘッド・マウント・ディスプレイ）やビデオ・プロジェクター等である。また、表示部１６０は、例えば、ＶＧＡ、ＳＶＧＡ（８００×６００ｄｏｔ）、ＸＧＡ（１０２４×７６８ｄｏｔ）、ＵＸＧＡ（１６００×１２００ｄｏｔ）等の４：３の縦横比の他に、ＷＶＧＡ、ＷＳＶＧＡ（１０２４×６００ｄｏｔ）、ＷＸＧＡ（１２８０×７２０ｄｏｔ、又は１３６６×７６８ｄｏｔ）等のいわゆる「ワイド」縦横比を備えることもできる。すなわち、表示部１６０の解像度は、長辺と短辺で物理的な解像度（ｄｏｔ数）が異なるという特徴がある。この上で、横表示と縦表示を切り換えて表示可能である。なお、以下、縦横比は横と縦を（横：縦）の表記で行うこととする。また、解像度に関しても、（横×縦）で表記することとする。
また、表示部１６０は、物理的な解像度（ｄｏｔ数）と、記憶部１２０の表示画面用のフレームメモリーの解像度とが異なっていてもよい。その場合は、表示部１６０の物理的な解像度１ｄｏｔ（ピクセル）に合わせて、フレームメモリーの表示内容の拡大縮小や隙間の同一色でのフィル（塗りつぶし）等を行って表示する。なお、この際、縦横比を保ったまま拡大縮小することが正方ピクセルのように１ｄｏｔの縦横比を１：１とするためには好ましいが、縦横比を保たずに拡大縮小してもよい。
【００１４】
解像度検出部１７０は、表示部１６０の物理的な解像度や、フレームメモリーの解像度を検知する部位である。また、ユーザによる縦表示と横表示の変更の指示を検知する。
拡大選択部１８０は、ユーザが、画像中の特定の位置を拡大表示する指示を出している際に、高解像度画像から拡大する位置の座標を取得して、画像を切り取る部位である。
なお、解像度検出部１７０と、拡大選択部１８０とは、記憶部１２０に記憶されたプログラムや、監視プログラムのルーチン（サブルーチン）を制御部１００が実行することで実現してもよい。
【００１５】
〔サーバ３の制御構成〕
次に、図３を参照して、本発明の実施の形態に係るサーバ３の制御構成について説明する。サーバ３は、制御部や記憶部を備えたサーバであり、記憶部に記憶されたＯＳとプログラムやサービス（デーモン）を制御部が実行することで、以下に示すような機能を備えている。
ウェブサーバ３０は、ＨＴＴＰ（ハイパーテキスト・トランスファー・プロトコル）サーバ、ＦＴＰ（ファイル・トランスファー・プロトコル）サーバ等のサービス（デーモン）を実行しているサーバである。また、データベースにアクセスするためのＡＰＩ（アプリケーション・プログラミング・インターフェイス）を備えており、端末１がサーバ３に接続すると、配信画像記憶部３２から高解像度画像３２１と低解像度画像３２３とを取得して送信する。さらに、ウェブサーバ３０は、プロキシサーバやロードバランシング等の機能を備えることができる。
【００１６】
録画像記憶部３１は、監視カメラ等の撮像装置４−１〜４−ｎからの画像を画像データに変換して記憶するＭｙＳＱＬやＰｏｓｔｇｒｅＳＱＬ等のＳＱＬデータベース等を備えたストレージ用のサーバ等である。録画像記憶部３１は、この画像データであるＲＡＷ画像３１１と、図示しない圧縮画像データとを備えている。
ＲＡＷ画像３１１（生画像）は、ＲＡＷ（生）フォーマットの画像データ、ＪＰＥＧ２０００等の可逆圧縮フォーマットの画像データ、低圧縮の画像データ等、撮像装置４−１〜４−ｎが録画した際のデータが量子化変換された際に失われる情報が少ない状態の画像データである。すなわち、監視カメラが取得した「生」の画像に近い状態の画像データである。
なお、ＲＡＷ画像３１１は録画像記憶部３１の記憶容量を大量に消費する。このため、ＲＡＷ画像３１１は、高解像度画像３２１と低解像度画像３２３とが作成された後、画像機億部３３の制御部により、「アーカイブ」の圧縮画像データに変換することもできる。
【００１７】
配信画像記憶部３２は、端末１に配信する画像を記憶するデータベース等を備えたストレージ用のサーバ等である。配信画像記憶部３２は、このデータベースに、高解像度画像３２１と低解像度画像３２３とを備えている。
高解像度画像３２１は、ＲＡＷ画像３１１から、後述する複数画像作成部３６が作成した端末１用の高解像度の画像データである。高解像度画像３２１は、例えば、横表示用の画像データとして、６４０×４８０ｄｏｔの画像データを用いることができる。
低解像度画像３２３は、同様にＲＡＷ画像３１１から複数画像作成部３６が作成した端末１用の画像データである。低解像度画像３２３は、例えば、縦表示用の画像データとして、４８０×３２０ｄｏｔの画像データを用いることができる。
【００１８】
ユーザ認証部３４は、ユーザ認証を行い、端末１の表示画面の解像度を取得する部位である。この解像度を取得する際には、表示画面の長辺と短辺の解像度（ｄｏｔ数）やフレームメモリーの解像度等を取得する。ここで、従来技術１又は従来技術２と異なり、端末が現在縦表示なのか横表示なのかは検討しない。
解像度選択部３５（画像選択手段）は、ユーザ認証部３４が取得した端末１の表示画面の解像度を基に、高解像度画像３２１と低解像度画像３２３の解像度を決定するサーバである。
複数画像作成部３６は、解像度選択部３５により決定された解像度で、ＲＡＷ画像３１１から、高解像度画像３２１と低解像度画像３２３とを作成する部位である。この際に、後述する監視システム用の画像処理や拡大縮小／切り取り処理を行う。
なお、サーバ３の各部を、複数のサーバから構成することも可能である。また、解像度選択部３５と複数画像作成部３６とは、ウェブサーバ３０の記憶部に記憶されたプログラムを制御部が実行することができる。
【００１９】
〔監視システムＸの画像配信処理〕
次に、本発明の実施の形態に係る監視システムＸの画像配信処理について説明する。
本発明の実施の形態に係る監視システムＸの画像配信処理においては、サーバ３が、端末１に配信するための画像データを作成する。ここで、従来技術１や従来技術２とは異なり、高解像度画像３２１と低解像度画像３２３の両方の画像作成して、両方の画像を端末１に配信する。
端末１では、受信した両方の画像を、ユーザの縦表示か横表示かに従って表示する。そして、縦表示時には、高解像度画像３２１からユーザの指示する任意の位置の拡大画像を表示することができる。
【００２０】
まず、端末１の制御部１００は、ユーザがＯＳのＧＵＩを用いて入力部１４０から指示を行ったことをが検知して、記憶部１２０に記憶された監視ソフトウェアを起動して実行する。さらに、制御部１００は、同様にユーザが入力部１４０を用いてアカウント名とユーザ名、端末１の入力を行ったを検知する。制御部１００は、このアカウント名とユーザ名をネットワーク接続部１３０からネットワーク５を介して、サーバ３に送信する。
サーバ３のウェブサーバ３０は、ユーザ認証部３４を用いてアカウント名とユーザ名を認証し、認証に成功すると、端末１とサーバ３との接続を確立する。
この状態で、以下、図４のフローチャートと、図５〜図６の画面例を参照して、画像配信処理について、より詳しく説明する。
【００２１】
ステップＳ１０１において、サーバ３の録画像記憶部３１は、録画処理を行う。
この録画処理では、まず、録画像記憶部３１は、撮像装置撮像装置４−１〜４−ｎの各録画画像を取得し、ＲＡＷ画像３１１に変換する。
録画像記憶部３１は、この変換したＲＡＷ画像３１１を、時系列的にデータベースに保存する。
この、録画像記憶部３１は、この録画処理を継続的に行っている。
【００２２】
ステップＳ２０１において、端末１の制御部１００は、画像要求処理を行う。
このステップでは、まず、制御部１００は監視ソフトウェアを用いて、ユーザの指示を検知する。ここで、撮像装置４−１〜４−ｎのいずれかの画像を要求するように選択することもできる。
制御部１００は、ユーザの指示を検知すると、画像を要求するコマンド等をネットワーク接続部１３０からネットワーク５を介して、サーバ３に送信する。この際に、端末１の諸元に関する情報、特に端末１の表示画面の解像度に関する情報を送信する。
なお、制御部１００は、撮像装置４−１〜４−ｎの複数の画像の送信を要求することもできる。また、アーカイブされた圧縮画像データの送信を要求することもできる。
このように、本発明の実施の形態に係る監視システムＸにおいては、端末１よりサーバ３へ接続があり、さらに端末１からの要求があった場合にのみ、後述する画像変換処理を行って、配信画像を作成する。
【００２３】
ステップＳ１０２において、サーバ３のウェブサーバ３０は、画像変換処理を行う。
以下、ＲＡＷ画像３１１は、縦横比１６：９のＨＤ解像度（１９２０×１０８０ｄｏｔ）であった場合の例について説明する。また、端末１の表示部１６０は、表示画面の縦横比４：３のＶＧＡ（６４０×４８０ｄｏｔ）解像度で、長辺が６４０ｄｏｔ、短辺が４８０ｄｏｔとする。
【００２４】
図５を参照して説明すると、このステップでは、まず、ウェブサーバ３０は、端末１の表示画面の解像度に関する情報から、解像度選択部３５を用いて、配信する画像である高解像度画像３２１と低解像度画像３２３の解像度を計算する。具体的には、ＲＡＷ画像３１１の縦横比と、端末１の長辺と短辺の縦横比と、フレームメモリーとの関係より計算することができる。
この計算としては、例えば、以下のようなルールを用いることができる：
・高解像度画像３２１においては、解像度選択部３５は、端末１の表示画面の短辺が、ぴったりと収まるような縦横比と解像度を選択する。すなわち、この例では、高解像度画像３２１の縦横比は４：３となるので、解像度をＶＧＡとする。
・低解像度画像３２３においては、解像度選択部３５は、端末１の高解像度画像３２１の縦横比と同様な縦横比で、表示画面の短辺が、低解像度画像３２３の横の解像度で最大となるようにする。この際に、フレームメモリーへのアクセスのしやすさや、回転処理のバッファーを取るための処理等の関係で解像度を選択してもよい。
この例では、低解像度画像３２３は、縦横比４：３の４８０×３６０ｄｏｔではなく、上下を少し切った４８０×３２０ｄｏｔを用いると、１６ｂｉｔカラーのワーク用メモリがちょうど３００ＫＢで収まるために好適である。
【００２５】
ウェブサーバ３０は、解像度を決定すると、複数画像作成部３６を用いて、高解像度画像３２１と低解像度画像３２３とを実際に作成する。
この際に、従来技術１や従来技術２とは異なり、ＲＡＷ画像３１１を基にして、高解像度画像３２１に加えて、低解像度画像３２３も作成する。さらに、この画像の作成の際に、各種画像処理を行うことができる。
これらの画像の作成については、上述の例の場合は、例えば、以下のように行うことができる。
・高解像度画像３２１においては、複数画像作成部３６は、まず縦横比１６：９の画像を縦横比４：３にする。このため、画像の左右２４０ｄｏｔづつを切り取り、１４４０×１０８０ｄｏｔの中間画像を作成する。複数画像作成部３６は、この中間画像に各種画像処理を行い、縮小処理をして、６４０×４８０ｄｏｔの画像データを作成する。
・低解像度画像３２３においては、上述の１４４０×１０８０ｄｏｔの中間画像から、さらに上下６０ｄｏｔづつを切り取り、１４４０×９６０ドットの画像を作成する。この画像に各種画像処理を行い、縮小処理をして、４８０×３２０ｄｏｔの画像データを作成する。なお、中間画像から４８０×３６０ｄｏｔの画像データを作成して、上下２０ｄｏｔづつを切り取るような処理を行ってもよい。
【００２６】
この画像処理としては、例えば、携帯端末の表示部１６０は解像度に劣るために、輪郭強調処理を行うことができる。この輪郭強調処理は、特に低解像度画像３２３により強く処理することで、たとえユーザが縦画面で配信画像を閲覧していても、明確に画像を認識することができるという効果が得られる。また、輪郭を抽出して、その輪郭を直接半透明描画することもできる。
輪郭強調処理の他にも、携帯端末では標示部の色数が６５５３６色等であることが多く、千七百万色の「フルカラー」よりも色再現性に劣ることがあるために、色の「ディザリング」処理等を行うこともできる。これにより、監視時に重要な画像の変化をユーザが認識するために視認性を高めることができる。
また、画像の拡大又は縮小処理を行う際には、従来技術１のように単純に拡大縮小するのではなく、バイキュービック法のような高精度の縮小処理を行うことができる。さらに、各画素（ｄｏｔ）の明度をｌｏｇ明度に変換して、各画素の明度分布から統計的に縮小時の各画素の明度を推定するような手法も用いることができる。
これにより、高解像度なＲＡＷ画像３１１を縮小処理して、携帯端末で見やすい配信画像である、高解像度画像３２１と低解像度画像３２３とを得ることができる。この際に、同じＲＡＷ画像３１１から、高解像度画像３２１と低解像度画像３２３とを作成するために、縦表示と横表示を切り換えてそれぞれの画像を表示しても、ユーザは違和感を感じることが少ないという効果が得られる。また、一旦、縮小処理をして解像度が低下した画像をさらに回転処理等を行って低解像度画像を得るような処理に比べて、低解像度画像３２３の視認性が向上するという効果が得られる。
また、これらの高解像度画像３２１と低解像度画像３２３との作成における処理は、端末１よりも演算能力に優れたサーバ３で行うために、より高度で高精度の処理を行うことができ、映像を明確な状態で作成して配信できるという効果が得られる。
【００２７】
ウェブサーバ３０は、高解像度画像３２１と低解像度画像３２３とを作成すると、配信画像記憶部３２に記憶する。
この際に、端末１が再生可能なコーデックにて変換して記憶する。たとえば、ウェブサーバ３０は、高解像度画像３２１と低解像度画像３２３とをＪＰＥＧ画像として記憶する。
なお、高解像度画像３２１は、ＲＡＷ画像３１１の縦横比や解像度をそのまま用いて作成してもよい。また、処理を簡素化するために、高解像度画像３２１を基にして低解像度画像３２３を作成するようにしてもよい。さらに、高解像度画像３２１と低解像度画像３２３の２つの画像だけではなく、後述するズーム処理用に、さらに複数の画像データを用意することもできる。
【００２８】
ステップＳ１０３において、サーバ３のウェブサーバ３０は、画像送信処理を行う。
具体的には、ウェブサーバ３０は、高解像度画像３２１と低解像度画像３２３とを、ＦＴＰやＨＴＴＰ、又はセキュアなＳＦＴＰやＨＴＴＰｓ等のプロトコルを用いて、ネットワーク５を介して送信する。現代では、ネットワーク５の帯域は十分であり、複数の解像度の画像データのコネクションを同時に確立しても問題は少ない。
ここで、従来技術１や従来技術２と異なり、本発明の実施の形態に係る監視システムＸにおいては、高解像度画像３２１と低解像度画像３２３の２種類のサイズの画像データを、２種類とも端末１へ送信する。これにより、画像切り換え時にいちいちサーバに画像の変換を送信する必要がないために、タイムラグが少なくなるという効果が得られる。
【００２９】
ステップＳ２０２において、ネットワーク接続部１３０は、画像受信処理を行う。
ここでは、ネットワーク接続部１３０は、高解像度画像３２１と低解像度画像３２３とをウェブサーバ３０から受信して、記憶部１２０に記憶する。ここで、端末１は、高解像度画像３２１を横表示用の画像データとし、低解像度画像３２３を縦表示用の画像データとして記憶する。
【００３０】
ステップＳ２０３において、解像度検出部１７０は、解像度検知処理を行う。
ここで、解像度検出部１７０は、携帯端末のＯＳに対して定期的に縦横のサイズを問合せを行い、縦表示か横表示かについての縦横状態として検知し、この縦横状態を記憶部１２０に記憶する。
また、ユーザによる縦横の切り換え指示を取得して、縦横状態を変更するようにＯＳと監視ソフトウェアに指示を出すこともできる。
【００３１】
ステップＳ２０４において、解像度検出部１７０は、画像選択処理を行う。
具体的には、まず、解像度検出部１７０は、端末１の監視ソフトウェアを用いて、上述の縦横状態を記憶部１２０から読み出す。
この上で、解像度検出部１７０は、横表示の場合は高解像度画像３２１を、フレームメモリに書き込む描画用画像として選択する。逆に、縦表示の場合は、解像度検出部１７０は、低解像度画像３２３を、描画用画像として選択する。
すなわち、得られた縦横状態の情報により、横表示用の画像データと、縦表示用の画像データの切り換えを行う。
よって、端末１では、縦横表示が切換わってから改めてサーバに対して画像を要求するのではなく、端末１側で２種類のサイズの画像データを常に持つことで、画像の選択（切り換え）をスムーズに行うことができる。
【００３２】
ステップＳ２０５において、拡大選択部１８０は、ズーム処理を行う。
具体的に説明すると、ユーザがＧＵＩを用いて指示を出すと、拡大選択部１８０は、描画される画像の任意の位置を選択して拡大する機能である「ズーム」用の画像を、描画用画像として選択することができる。
図６を参照して説明すると、拡大選択部１８０は、このズーム処理を行う際に、高解像度画像３２１から、低解像度画像３２３と同様の解像度の画像を切り取って表示画像として選択する。この切り取られた画像を、図６のズーム画像４００として示す。
このように、端末１では、２種類の解像度の画像データを持つことで、解像度が低い縦表示等の場合、高解像度の画像からズームする画像を用いることができる。
すなわち、少ない画素数（４８０×３２０ｄｏｔ）の高解像度画像３２１ではなく、画素数（６４０×４８０ｄｏｔ）の高解像度画像３２１から選択範囲を拡大表示することで、解像度が比較的高い明瞭な画像を表示することができる。
【００３３】
なお、このズーム処理においては、ユーザは、図６の監視ソフトウェアのユーザインタフェイス４５０で、ズームする位置を上下左右斜めにスクロールさせたり、ズームのオン／オフを切り替えたり、ズーム倍率を指定したりすることができる。
ズーム倍率が高解像度画像３２１よりも低い、すなわち、より広角な画像を表示する場合には、高解像度画像３２１からより広い範囲の画像を切り出して、縮小表示を行うことができる。
同様に、ズーム倍率が高解像度画像３２１よりも高い場合には、より狭い範囲の画像を切り出して、拡大表示を行うことができる。この場合でも、解像度が比較的高い高解像度画像３２１を用いるために、より明瞭に表示できる。
この縮小又は拡大表示においては、端末１がストレッチＢＬＴＥＲ（矩形転送）のようなグラフィック・アクセレレーション機能を備えている場合には、リアルタイムで縮小表示することもできる。
【００３４】
ステップＳ２０６において、制御部１００は、画像描画処理を行う。
ここでは、制御部１００は、上述のステップで選択された描画用画像を、ＯＳのＡＰＩ（アプリケーション・プログラム・インターフェイス）であるマルチメディアタイマーとＧＤＩやＤｉｒｅｃｔＳｈｏｗ等を用いてフレームメモリーに書き込んで表示する。この際に、上述のように縦横情報、ズーム処理を行っているかにより、高解像度画像３２１と低解像度画像３２３とズーム用に切り取られた画像とを選択して表示する。
なお、端末１の表示画像がＷＶＧＡ（８００×４８０ｄｏｔ）の場合、画面いっぱいに映像を表示しようとした場合、横表示の場合は、表示する描画用画像の画面解像度を６４０×４８０とでき、映像表示エリアを大きく使うことができる。
【００３５】
その後、制御部１００は、監視ソフトウェアを用いて、ＯＳにより検知された各種メッセージに応答する。
また、ユーザがログアウトの指示を出すまで、制御部１００は常に最新の画像を表示するようにする。ここで、画像が静止画像であった場合には、制御部１００はステップＳ２０１〜の処理によりリロードを行う。画像が動画像の場合も、ストリーム配信のデータをデコードして表示する。
以上により、画像配信処理を終了する。
【００３６】
以上のように構成することで、以下のような効果を得ることができる。
現在、携帯端末ではＷＶＧＡ（８００×４８０）程度の解像度が一般的となっている。しかし、通常の縦表示では画像の幅が最大値４８０（４８０×３２０ｄｏｔ）になり、小さく見難いものとなるという問題があった。
すなわち、従来技術１と従来技術２では、単純に元の画像を回転／拡大・縮小させて配信用の画像をつくり出していた。
このため、画像の明瞭さが損なわれ、携帯電話等の携帯端末に表示された画像の判別がしづらくなるという問題があった。よって、特に対象物の認識を行う必要がある監視システムに用いるのは難しかった。
【００３７】
これに対して、本発明の実施の形態に係る監視システムＸにおいては、複数の解像度の画像をサーバにより作成して、端末はその複数の解像度の画像を受信して記憶する。
これにより、この複数の解像度の画像を切り換えることができ、横表示のときに画面サイズを大きくでき、表示品質を向上させることができる。これに加えて、縦表示のときにも、生画像から画像処理を行った縮小画像に切り換えて表示することができる。
これにより、携帯端末の小さい画面で可能な限りの見やすい画面を表示する監視システムを提供することができる。
さらに、複数の解像度の画像を切り換える際に、端末は複数の解像度の画像を備えているために、サーバにいちいち解像度の異なる画像を配信するようにリクエストする必要がないので、素早く画像を切り換えられる。すなわち、タイムラグを少なくすることができる。
また、回転して矩形転送させる表示機能をもたない携帯端末であっても、縦表示と横表示の回転に係る表示の負担を軽減することができる。
【００３８】
また、監視システムでは、配信された画像の位置を決めて拡大するズームに対応する必要がある。
しかしながら、従来技術２では、予めキーエリアを設定して元画像を切り取って表示しているために、監視カメラの画像においてユーザが指示した位置を拡大表示することができなかった。さらに、従来技術２の画像配信方法では、ズームへの対応については、まったく開示されていない。
【００３９】
これに対して、縦表示において選択範囲をズームした場合に、横表示用の画像データを使うことで解像度の高い拡大映像を表示することができる。
すなわち、縦表示において拡大表示を行う場合に、横表示用の画像データから選択された箇所を拡大して表示した方が、横表示と同等の解像度があり、見やすい映像を表示できる。また、拡大画像の圧縮率と横表示の画像の圧縮率が同等となるために、表示される画像に違和感が少なくなるという高価が得られる。
また、縦表示において一部分の拡大をした場合に、横表示用の高解像度画像の画像データを使うことで、量子化ノイズ等の粗さの目立たない拡大画面を表示することができる。
【００４０】
また、本発明の実施の形態に係る監視システムは、
前記複数の解像度は、長辺の解像度に対応した解像度と、短辺の解像度に対応した解像度であり、
前記配信画像は、生画像から、前記長辺の解像度に対応して作成する高解像度画像と、前記短辺の解像度に対応して作成する低解像度画像であり、
前記携帯端末は、横表示の際には前記高解像度画像を表示し、縦表示の際には前記低解像度画像を表示し、ズームの際には前記高解像度画像から選択範囲を切り出す
ことを特徴とする。
【００４１】
また、本発明の実施の形態に係る監視方法は、
サーバにより高解像度画像と前記低解像度画像とを作成し、
携帯端末により、前記高解像度画像と前記低解像度画像とを受信し、
前記高解像度画像と前記低解像度画像を縦表示と横表示に合わせて表示し、
前記高解像度画像からユーザの指示した位置を選択してズームして表示する
ことを特徴とする。
【００４２】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態に係る監視システムのシステム構成図である。
【図２】本発明の実施の形態に係る端末１の制御構成を示すブロック図である。
【図３】本発明の実施の形態に係るサーバ３の制御構成を示すブロック図である。
【図４】本発明の実施の形態に係る監視システムＸの画像配信処理のフローチャートである。
【図５】本発明の実施の形態に係る配信用画像の例を示す概念図である。
【図６】本発明の実施の形態に係るズーム処理の例を示す概念図である。
【符号の説明】
【００４４】
１ 端末
３ サーバ
４−１〜４−ｎ 撮像装置
５ ネットワーク
３０ ウェブサーバ
３１ 録画像記憶部
３２ 配信画像記憶部
３４ ユーザ認証部
３５ 解像度選択部
３６ 複数画像作成部
１００ 制御部
１２０ 記憶部
１３０ ネットワーク接続部
１４０ 入力部
１６０ 表示部
１７０ 解像度検出部
１８０ 拡大選択部
３２１ 高解像度画像
３２３ 低解像度画像
３１１ ＲＡＷ画像
４００ ズーム画像
４５０ ユーザインタフェイス
Ｘ 監視システム
【技術分野】
【０００１】
本発明は、サーバにより携帯端末に画像を配信する監視システムに関し、特に端末で解像度を変更した際にも明瞭な画像を表示する監視システムに関する。
【背景技術】
【０００２】
近年、セキュリティ（安全）意識の高まりや警備の省力化の要求から、監視用のテレビジョンカメラ（監視カメラ）を用いた監視システムが注目されている。
監視システムは、様々な目的で監視をするための監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に、テレビジョンカメラを配置して、このカメラ等の撮像装置で撮影する。そして、その映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
このような監視システムは、従来からＣＣＴＶ（Ｃｌｏｓｅｄ−ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）とも呼ばれており、これは、システム内で配信と閲覧が完結するテレビジョンシステムであることからそう呼ばれている。
しかしながら、この監視カメラで撮像した映像を、管理室等の部屋の外部にいる監視者が閲覧したいという要求が存在する。たとえば、通常の家屋内に撮像装置を設定して幼児やペットの様子を、仕事の合間にチェックしたい場合等が考えられる。このために、完全に屋内だけで閲覧可能な「Ｃｌｏｓｅｄ（閉じた）」ではない監視システムが求められていた。
【０００３】
このため、従来の携帯端末に送信可能な画像配信方法を、監視システムに用いることが考えられる。
この際に、携帯端末の表示解像度、特に縦横の長さが異なっている点が問題となる。
現在、携帯電話等の携帯端末は、画面の表示解像度がＶＧＡ（ビデオ・グラフィックス・アレイ、６４０×４８０ｄｏｔ）、ＷＶＧＡ（ワイドＶＧＡ、ＷＧＡ、８００×４８０ｄｏｔ（点））程度であるのが一般的であり、ＷＶＧＡでは表示画面の短辺は４８０ｄｏｔ、長辺は８００ｄｏｔの解像度となる。
ここで、Ｗｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ等のＯＳをインストールした携帯端末では、縦表示（縦向き、例えば４８０×８００ｄｏｔ）、横表示（横向き、例えば８００×４８０ｄｏｔ）をユーザが選択して、どちらの向きでも使用可能である。
ここで、監視システムの画像は、表示画面上に収まるように表示する必要がある。
このため、携帯端末がＶＧＡの液晶表示装置を備えている場合、横表示では解像度を最大限に使用して画像を表示でき、例えば、６４０×４８０ｄｏｔといった画素数の画像を表示することができる。
しかしながら、縦表示では、表示画面の短辺の解像度を基準にして、例えば、４８０×３２０ｄｏｔや４８０×３６０ｄｏｔといった画素数の画像を表示する必要がある。
すなわち、携帯端末では、縦表示と横表示で、表示する解像度を変更する必要がある。
【０００４】
特許文献１を参照すると、画像回転機能を備えたサーバ装置が記載されている（以下、従来技術１とする。）。
従来技術１のサーバ装置は、コンテンツ画像の画像サイズ情報と、携帯電話画面サイズ情報とを取得する。そして、画像サイズが縦長であるか横長であるかの縦横関係と、画面サイズの縦横関係とが合致しているか否かを判断する。
合致していなければ、読み出したコンテンツ画像を９０度回転し、画像サイズが、画面サイズに収まらない場合には、縮小処理を施して、携帯電話に送信することができる。
【０００５】
また、特許文献２を参照すると、元画像の重要な領域を残しつつ切り出しを行う画像配信方法が記載されている（以下、従来技術２とする。）。
従来技術２の画像配信方法は、元画像の任意の領域に対して配信者が指定したキーエリアが含まれるように、携帯電話の画面の大きさに合わせて元画像を切り取る。そして、切り取った領域の画像を画像配信装置から携帯電話機に配信する。
これにより、元画像の縦横比と、携帯電話機の画面の縦横比とが異なる場合でも、元画像２００の重要な領域を残しつつ、携帯電話機の画面の大きさに合った適切な大きさの画像を配信することができる。
【０００６】
【特許文献１】特開２００２−１０８７５７号公報
【特許文献２】特開２００５−６１８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、通常のコンテンツ等の画像配信とは異なり、監視システムでは監視カメラの画像を明確なまま送信する必要があった。
このため、従来技術１のサーバ装置を用いると、縦画面等では元画像を縮小して送信するために、解像度が減少して、画像の明確さが損なわれるという問題があった。
これは、従来技術２においても、段落〔００８２〕等を参照すると、同様に拡大・縮小を行うために、画像の明確さが損なわれていた。
また、従来技術２では、予めキーエリアを設定して元画像を切り取って表示しているために、監視カメラの画像においてユーザが指示した位置を拡大表示することができなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【０００９】
本発明の監視システムは、サーバにより携帯端末に画像を配信する監視システムであって、端末の表示画面の解像度に合わせて、複数の解像度の配信画像を選択する解像度選択手段を備えるサーバと、前記複数の解像度の配信画像を、縦表示と横表示を切り換える際に選択して表示する携帯端末とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の解像度の配信画像をサーバにより配信し、縦表示と横表示を切り替える際に最適な解像度の配信画像を携帯端末が選択して表示することで、携帯端末の表示品質を向上させることができる監視システムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
＜第１の実施の形態＞
〔システム構成〕
図１を参照して説明すると、本発明の実施の形態に係る監視システムＸは、端末１（携帯端末）と、撮像装置４−１〜４−ｎの画像を録画し配信するサーバ３とが、ネットワーク５で接続されている。
ここで、端末１は、携帯電話、ＰＤＡ（パーソナル・データ・アシスタント）、ネットブック、ノートブック、小型ＰＣ（パーソナル・コンピュータ）、携帯画像プレーヤー、ワンセグＴＶ（テレビジョン）装置等の主に携帯端末である。端末１は、ネットワーク接続機能と、ＪＰＥＧ、ＪＰＥＧ２０００、ＧＩＦ、ＰＮＧ（ポータプル・ネットワーク・グラフィックス）ｍｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、Ｈ．２６３等の各種静止画・動画等のコーデックを備えており、これらの画像形式で送信された画像データをデコードして表示することができる。以下で、端末１は、ＷｉＭＡＸでネットワーク５に接続されたＷｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ５．０を備えるＰＤＡである例について説明する。
サーバ３は、撮像装置４−１〜４−ｎの画像を録画して画像データとして記憶する機能を備えているＰＣ／ＡＴ互換機や専用機等であるサーバである。また、サーバ３は、録画した画像データから、端末１で表示可能な形式の画像データを作成することができる。
撮像装置４−１〜４−ｎは、通常のアナログカメラとキャプチャデバイス、ＩＰカメラ、ウェブカメラ、その他の監視カメラ等である撮像装置であり、サーバ３に画像を送信する機能を備えている。また、撮像装置４−１〜４−ｎは、人感センサやモーションセンサや人工網膜等を備えていてもよく、これらのセンサが検知した際に、サーバ３に画像を送信するようにしてもよい。この場合は、それらのセンサの値も同時にサーバ３が記憶してもよい。
ネットワーク５は、携帯電話網、ＰＨＳ網、ＷｉＭＡＸ、無線ＬＡＮ、有線ＬＡＮ、電話網、ｃＬｉｎｋ、電灯線ネットワーク、光ファイバーネットワーク、専用線、その他のネットワーク網であり、画像データや各種コマンドを送受信可能である。
なお、端末１、サーバ３とも、同様の構成の端末やサーバを複数備えることができる。
【００１２】
〔端末１の制御構成〕
次に、図２を参照して、本発明の実施の形態に係る端末１の制御構成について説明する。
制御部１００は、ＣＰＵ（中央処理装置）、ＭＰＵ（マイクロ・プロセッシング・ユニット）、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）等である。制御部１００は、記憶部１２０に記憶された監視プログラムを実行して、各種静止画・動画等のコーデックを用いて、画像データ描画する。また、入力部１４０から入力されたユーザの指示を各部に伝える。
記憶部１２０は、ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）、ＳＲＡＭ（スタティック・ランダム・アクセス・メモリ）、ＲＯＭ（リード・オンリー・メモリー）、フラッシュメモリ、ＨＤＤ等の記憶部である。記憶部１２０には、サーバ３で作成された高解像度画像３２１と低解像度画像３２３を記憶する。また、Ｗｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ５．０等のＯＳ（オペレーティング・システム）や、インストールされた各種プログラム、データ等も記憶しており、これらのプログラムを制御部１００が実行する。また、記憶部１２０は、表示部１６０に表示される表示画面の表示内容を記憶するフレームメモリーを備えている。
ネットワーク接続部１３０は、ネットワーク５に接続するためのネットワークカードやこの制御プログラム等である。ネットワーク接続部１３０は、サーバ３とネットワーク上のコネクションを確立して、画像データ等を要求（リクエスト）し、取得（フェッチ）する。このために、ＨＴＴＰ（ハイパーテキスト・トランスファー・プロトコル）、ＦＴＰ（ファイル・トランスファー・プロトコル）等のサービス（デーモン）を実行している。
入力部１４０は、キーボード、ポインティングデバイス、音声認識装置とマイク、加速度センサ、ＧＰＳ（グローバル・ポジショニング・システム）センサ、温度センサ等の、ユーザからの各種の指示を受けとり、さらに端末１の外部のデータを取得する部位である。ユーザは、ＯＳのＧＵＩを用いて、入力部１４０を用いて制御・入力することで、監視プログラム等に指示を与えることができる。
【００１３】
表示部１６０は、液晶ディスプレイ・パネル、ＦＥＤ（フィールド・エミッション・ディスプレイ）パネル、ＬＥＤ（ライト・エミッション・ダイオード）アレイやＨＭＤ（ヘッド・マウント・ディスプレイ）やビデオ・プロジェクター等である。また、表示部１６０は、例えば、ＶＧＡ、ＳＶＧＡ（８００×６００ｄｏｔ）、ＸＧＡ（１０２４×７６８ｄｏｔ）、ＵＸＧＡ（１６００×１２００ｄｏｔ）等の４：３の縦横比の他に、ＷＶＧＡ、ＷＳＶＧＡ（１０２４×６００ｄｏｔ）、ＷＸＧＡ（１２８０×７２０ｄｏｔ、又は１３６６×７６８ｄｏｔ）等のいわゆる「ワイド」縦横比を備えることもできる。すなわち、表示部１６０の解像度は、長辺と短辺で物理的な解像度（ｄｏｔ数）が異なるという特徴がある。この上で、横表示と縦表示を切り換えて表示可能である。なお、以下、縦横比は横と縦を（横：縦）の表記で行うこととする。また、解像度に関しても、（横×縦）で表記することとする。
また、表示部１６０は、物理的な解像度（ｄｏｔ数）と、記憶部１２０の表示画面用のフレームメモリーの解像度とが異なっていてもよい。その場合は、表示部１６０の物理的な解像度１ｄｏｔ（ピクセル）に合わせて、フレームメモリーの表示内容の拡大縮小や隙間の同一色でのフィル（塗りつぶし）等を行って表示する。なお、この際、縦横比を保ったまま拡大縮小することが正方ピクセルのように１ｄｏｔの縦横比を１：１とするためには好ましいが、縦横比を保たずに拡大縮小してもよい。
【００１４】
解像度検出部１７０は、表示部１６０の物理的な解像度や、フレームメモリーの解像度を検知する部位である。また、ユーザによる縦表示と横表示の変更の指示を検知する。
拡大選択部１８０は、ユーザが、画像中の特定の位置を拡大表示する指示を出している際に、高解像度画像から拡大する位置の座標を取得して、画像を切り取る部位である。
なお、解像度検出部１７０と、拡大選択部１８０とは、記憶部１２０に記憶されたプログラムや、監視プログラムのルーチン（サブルーチン）を制御部１００が実行することで実現してもよい。
【００１５】
〔サーバ３の制御構成〕
次に、図３を参照して、本発明の実施の形態に係るサーバ３の制御構成について説明する。サーバ３は、制御部や記憶部を備えたサーバであり、記憶部に記憶されたＯＳとプログラムやサービス（デーモン）を制御部が実行することで、以下に示すような機能を備えている。
ウェブサーバ３０は、ＨＴＴＰ（ハイパーテキスト・トランスファー・プロトコル）サーバ、ＦＴＰ（ファイル・トランスファー・プロトコル）サーバ等のサービス（デーモン）を実行しているサーバである。また、データベースにアクセスするためのＡＰＩ（アプリケーション・プログラミング・インターフェイス）を備えており、端末１がサーバ３に接続すると、配信画像記憶部３２から高解像度画像３２１と低解像度画像３２３とを取得して送信する。さらに、ウェブサーバ３０は、プロキシサーバやロードバランシング等の機能を備えることができる。
【００１６】
録画像記憶部３１は、監視カメラ等の撮像装置４−１〜４−ｎからの画像を画像データに変換して記憶するＭｙＳＱＬやＰｏｓｔｇｒｅＳＱＬ等のＳＱＬデータベース等を備えたストレージ用のサーバ等である。録画像記憶部３１は、この画像データであるＲＡＷ画像３１１と、図示しない圧縮画像データとを備えている。
ＲＡＷ画像３１１（生画像）は、ＲＡＷ（生）フォーマットの画像データ、ＪＰＥＧ２０００等の可逆圧縮フォーマットの画像データ、低圧縮の画像データ等、撮像装置４−１〜４−ｎが録画した際のデータが量子化変換された際に失われる情報が少ない状態の画像データである。すなわち、監視カメラが取得した「生」の画像に近い状態の画像データである。
なお、ＲＡＷ画像３１１は録画像記憶部３１の記憶容量を大量に消費する。このため、ＲＡＷ画像３１１は、高解像度画像３２１と低解像度画像３２３とが作成された後、画像機億部３３の制御部により、「アーカイブ」の圧縮画像データに変換することもできる。
【００１７】
配信画像記憶部３２は、端末１に配信する画像を記憶するデータベース等を備えたストレージ用のサーバ等である。配信画像記憶部３２は、このデータベースに、高解像度画像３２１と低解像度画像３２３とを備えている。
高解像度画像３２１は、ＲＡＷ画像３１１から、後述する複数画像作成部３６が作成した端末１用の高解像度の画像データである。高解像度画像３２１は、例えば、横表示用の画像データとして、６４０×４８０ｄｏｔの画像データを用いることができる。
低解像度画像３２３は、同様にＲＡＷ画像３１１から複数画像作成部３６が作成した端末１用の画像データである。低解像度画像３２３は、例えば、縦表示用の画像データとして、４８０×３２０ｄｏｔの画像データを用いることができる。
【００１８】
ユーザ認証部３４は、ユーザ認証を行い、端末１の表示画面の解像度を取得する部位である。この解像度を取得する際には、表示画面の長辺と短辺の解像度（ｄｏｔ数）やフレームメモリーの解像度等を取得する。ここで、従来技術１又は従来技術２と異なり、端末が現在縦表示なのか横表示なのかは検討しない。
解像度選択部３５（画像選択手段）は、ユーザ認証部３４が取得した端末１の表示画面の解像度を基に、高解像度画像３２１と低解像度画像３２３の解像度を決定するサーバである。
複数画像作成部３６は、解像度選択部３５により決定された解像度で、ＲＡＷ画像３１１から、高解像度画像３２１と低解像度画像３２３とを作成する部位である。この際に、後述する監視システム用の画像処理や拡大縮小／切り取り処理を行う。
なお、サーバ３の各部を、複数のサーバから構成することも可能である。また、解像度選択部３５と複数画像作成部３６とは、ウェブサーバ３０の記憶部に記憶されたプログラムを制御部が実行することができる。
【００１９】
〔監視システムＸの画像配信処理〕
次に、本発明の実施の形態に係る監視システムＸの画像配信処理について説明する。
本発明の実施の形態に係る監視システムＸの画像配信処理においては、サーバ３が、端末１に配信するための画像データを作成する。ここで、従来技術１や従来技術２とは異なり、高解像度画像３２１と低解像度画像３２３の両方の画像作成して、両方の画像を端末１に配信する。
端末１では、受信した両方の画像を、ユーザの縦表示か横表示かに従って表示する。そして、縦表示時には、高解像度画像３２１からユーザの指示する任意の位置の拡大画像を表示することができる。
【００２０】
まず、端末１の制御部１００は、ユーザがＯＳのＧＵＩを用いて入力部１４０から指示を行ったことをが検知して、記憶部１２０に記憶された監視ソフトウェアを起動して実行する。さらに、制御部１００は、同様にユーザが入力部１４０を用いてアカウント名とユーザ名、端末１の入力を行ったを検知する。制御部１００は、このアカウント名とユーザ名をネットワーク接続部１３０からネットワーク５を介して、サーバ３に送信する。
サーバ３のウェブサーバ３０は、ユーザ認証部３４を用いてアカウント名とユーザ名を認証し、認証に成功すると、端末１とサーバ３との接続を確立する。
この状態で、以下、図４のフローチャートと、図５〜図６の画面例を参照して、画像配信処理について、より詳しく説明する。
【００２１】
ステップＳ１０１において、サーバ３の録画像記憶部３１は、録画処理を行う。
この録画処理では、まず、録画像記憶部３１は、撮像装置撮像装置４−１〜４−ｎの各録画画像を取得し、ＲＡＷ画像３１１に変換する。
録画像記憶部３１は、この変換したＲＡＷ画像３１１を、時系列的にデータベースに保存する。
この、録画像記憶部３１は、この録画処理を継続的に行っている。
【００２２】
ステップＳ２０１において、端末１の制御部１００は、画像要求処理を行う。
このステップでは、まず、制御部１００は監視ソフトウェアを用いて、ユーザの指示を検知する。ここで、撮像装置４−１〜４−ｎのいずれかの画像を要求するように選択することもできる。
制御部１００は、ユーザの指示を検知すると、画像を要求するコマンド等をネットワーク接続部１３０からネットワーク５を介して、サーバ３に送信する。この際に、端末１の諸元に関する情報、特に端末１の表示画面の解像度に関する情報を送信する。
なお、制御部１００は、撮像装置４−１〜４−ｎの複数の画像の送信を要求することもできる。また、アーカイブされた圧縮画像データの送信を要求することもできる。
このように、本発明の実施の形態に係る監視システムＸにおいては、端末１よりサーバ３へ接続があり、さらに端末１からの要求があった場合にのみ、後述する画像変換処理を行って、配信画像を作成する。
【００２３】
ステップＳ１０２において、サーバ３のウェブサーバ３０は、画像変換処理を行う。
以下、ＲＡＷ画像３１１は、縦横比１６：９のＨＤ解像度（１９２０×１０８０ｄｏｔ）であった場合の例について説明する。また、端末１の表示部１６０は、表示画面の縦横比４：３のＶＧＡ（６４０×４８０ｄｏｔ）解像度で、長辺が６４０ｄｏｔ、短辺が４８０ｄｏｔとする。
【００２４】
図５を参照して説明すると、このステップでは、まず、ウェブサーバ３０は、端末１の表示画面の解像度に関する情報から、解像度選択部３５を用いて、配信する画像である高解像度画像３２１と低解像度画像３２３の解像度を計算する。具体的には、ＲＡＷ画像３１１の縦横比と、端末１の長辺と短辺の縦横比と、フレームメモリーとの関係より計算することができる。
この計算としては、例えば、以下のようなルールを用いることができる：
・高解像度画像３２１においては、解像度選択部３５は、端末１の表示画面の短辺が、ぴったりと収まるような縦横比と解像度を選択する。すなわち、この例では、高解像度画像３２１の縦横比は４：３となるので、解像度をＶＧＡとする。
・低解像度画像３２３においては、解像度選択部３５は、端末１の高解像度画像３２１の縦横比と同様な縦横比で、表示画面の短辺が、低解像度画像３２３の横の解像度で最大となるようにする。この際に、フレームメモリーへのアクセスのしやすさや、回転処理のバッファーを取るための処理等の関係で解像度を選択してもよい。
この例では、低解像度画像３２３は、縦横比４：３の４８０×３６０ｄｏｔではなく、上下を少し切った４８０×３２０ｄｏｔを用いると、１６ｂｉｔカラーのワーク用メモリがちょうど３００ＫＢで収まるために好適である。
【００２５】
ウェブサーバ３０は、解像度を決定すると、複数画像作成部３６を用いて、高解像度画像３２１と低解像度画像３２３とを実際に作成する。
この際に、従来技術１や従来技術２とは異なり、ＲＡＷ画像３１１を基にして、高解像度画像３２１に加えて、低解像度画像３２３も作成する。さらに、この画像の作成の際に、各種画像処理を行うことができる。
これらの画像の作成については、上述の例の場合は、例えば、以下のように行うことができる。
・高解像度画像３２１においては、複数画像作成部３６は、まず縦横比１６：９の画像を縦横比４：３にする。このため、画像の左右２４０ｄｏｔづつを切り取り、１４４０×１０８０ｄｏｔの中間画像を作成する。複数画像作成部３６は、この中間画像に各種画像処理を行い、縮小処理をして、６４０×４８０ｄｏｔの画像データを作成する。
・低解像度画像３２３においては、上述の１４４０×１０８０ｄｏｔの中間画像から、さらに上下６０ｄｏｔづつを切り取り、１４４０×９６０ドットの画像を作成する。この画像に各種画像処理を行い、縮小処理をして、４８０×３２０ｄｏｔの画像データを作成する。なお、中間画像から４８０×３６０ｄｏｔの画像データを作成して、上下２０ｄｏｔづつを切り取るような処理を行ってもよい。
【００２６】
この画像処理としては、例えば、携帯端末の表示部１６０は解像度に劣るために、輪郭強調処理を行うことができる。この輪郭強調処理は、特に低解像度画像３２３により強く処理することで、たとえユーザが縦画面で配信画像を閲覧していても、明確に画像を認識することができるという効果が得られる。また、輪郭を抽出して、その輪郭を直接半透明描画することもできる。
輪郭強調処理の他にも、携帯端末では標示部の色数が６５５３６色等であることが多く、千七百万色の「フルカラー」よりも色再現性に劣ることがあるために、色の「ディザリング」処理等を行うこともできる。これにより、監視時に重要な画像の変化をユーザが認識するために視認性を高めることができる。
また、画像の拡大又は縮小処理を行う際には、従来技術１のように単純に拡大縮小するのではなく、バイキュービック法のような高精度の縮小処理を行うことができる。さらに、各画素（ｄｏｔ）の明度をｌｏｇ明度に変換して、各画素の明度分布から統計的に縮小時の各画素の明度を推定するような手法も用いることができる。
これにより、高解像度なＲＡＷ画像３１１を縮小処理して、携帯端末で見やすい配信画像である、高解像度画像３２１と低解像度画像３２３とを得ることができる。この際に、同じＲＡＷ画像３１１から、高解像度画像３２１と低解像度画像３２３とを作成するために、縦表示と横表示を切り換えてそれぞれの画像を表示しても、ユーザは違和感を感じることが少ないという効果が得られる。また、一旦、縮小処理をして解像度が低下した画像をさらに回転処理等を行って低解像度画像を得るような処理に比べて、低解像度画像３２３の視認性が向上するという効果が得られる。
また、これらの高解像度画像３２１と低解像度画像３２３との作成における処理は、端末１よりも演算能力に優れたサーバ３で行うために、より高度で高精度の処理を行うことができ、映像を明確な状態で作成して配信できるという効果が得られる。
【００２７】
ウェブサーバ３０は、高解像度画像３２１と低解像度画像３２３とを作成すると、配信画像記憶部３２に記憶する。
この際に、端末１が再生可能なコーデックにて変換して記憶する。たとえば、ウェブサーバ３０は、高解像度画像３２１と低解像度画像３２３とをＪＰＥＧ画像として記憶する。
なお、高解像度画像３２１は、ＲＡＷ画像３１１の縦横比や解像度をそのまま用いて作成してもよい。また、処理を簡素化するために、高解像度画像３２１を基にして低解像度画像３２３を作成するようにしてもよい。さらに、高解像度画像３２１と低解像度画像３２３の２つの画像だけではなく、後述するズーム処理用に、さらに複数の画像データを用意することもできる。
【００２８】
ステップＳ１０３において、サーバ３のウェブサーバ３０は、画像送信処理を行う。
具体的には、ウェブサーバ３０は、高解像度画像３２１と低解像度画像３２３とを、ＦＴＰやＨＴＴＰ、又はセキュアなＳＦＴＰやＨＴＴＰｓ等のプロトコルを用いて、ネットワーク５を介して送信する。現代では、ネットワーク５の帯域は十分であり、複数の解像度の画像データのコネクションを同時に確立しても問題は少ない。
ここで、従来技術１や従来技術２と異なり、本発明の実施の形態に係る監視システムＸにおいては、高解像度画像３２１と低解像度画像３２３の２種類のサイズの画像データを、２種類とも端末１へ送信する。これにより、画像切り換え時にいちいちサーバに画像の変換を送信する必要がないために、タイムラグが少なくなるという効果が得られる。
【００２９】
ステップＳ２０２において、ネットワーク接続部１３０は、画像受信処理を行う。
ここでは、ネットワーク接続部１３０は、高解像度画像３２１と低解像度画像３２３とをウェブサーバ３０から受信して、記憶部１２０に記憶する。ここで、端末１は、高解像度画像３２１を横表示用の画像データとし、低解像度画像３２３を縦表示用の画像データとして記憶する。
【００３０】
ステップＳ２０３において、解像度検出部１７０は、解像度検知処理を行う。
ここで、解像度検出部１７０は、携帯端末のＯＳに対して定期的に縦横のサイズを問合せを行い、縦表示か横表示かについての縦横状態として検知し、この縦横状態を記憶部１２０に記憶する。
また、ユーザによる縦横の切り換え指示を取得して、縦横状態を変更するようにＯＳと監視ソフトウェアに指示を出すこともできる。
【００３１】
ステップＳ２０４において、解像度検出部１７０は、画像選択処理を行う。
具体的には、まず、解像度検出部１７０は、端末１の監視ソフトウェアを用いて、上述の縦横状態を記憶部１２０から読み出す。
この上で、解像度検出部１７０は、横表示の場合は高解像度画像３２１を、フレームメモリに書き込む描画用画像として選択する。逆に、縦表示の場合は、解像度検出部１７０は、低解像度画像３２３を、描画用画像として選択する。
すなわち、得られた縦横状態の情報により、横表示用の画像データと、縦表示用の画像データの切り換えを行う。
よって、端末１では、縦横表示が切換わってから改めてサーバに対して画像を要求するのではなく、端末１側で２種類のサイズの画像データを常に持つことで、画像の選択（切り換え）をスムーズに行うことができる。
【００３２】
ステップＳ２０５において、拡大選択部１８０は、ズーム処理を行う。
具体的に説明すると、ユーザがＧＵＩを用いて指示を出すと、拡大選択部１８０は、描画される画像の任意の位置を選択して拡大する機能である「ズーム」用の画像を、描画用画像として選択することができる。
図６を参照して説明すると、拡大選択部１８０は、このズーム処理を行う際に、高解像度画像３２１から、低解像度画像３２３と同様の解像度の画像を切り取って表示画像として選択する。この切り取られた画像を、図６のズーム画像４００として示す。
このように、端末１では、２種類の解像度の画像データを持つことで、解像度が低い縦表示等の場合、高解像度の画像からズームする画像を用いることができる。
すなわち、少ない画素数（４８０×３２０ｄｏｔ）の高解像度画像３２１ではなく、画素数（６４０×４８０ｄｏｔ）の高解像度画像３２１から選択範囲を拡大表示することで、解像度が比較的高い明瞭な画像を表示することができる。
【００３３】
なお、このズーム処理においては、ユーザは、図６の監視ソフトウェアのユーザインタフェイス４５０で、ズームする位置を上下左右斜めにスクロールさせたり、ズームのオン／オフを切り替えたり、ズーム倍率を指定したりすることができる。
ズーム倍率が高解像度画像３２１よりも低い、すなわち、より広角な画像を表示する場合には、高解像度画像３２１からより広い範囲の画像を切り出して、縮小表示を行うことができる。
同様に、ズーム倍率が高解像度画像３２１よりも高い場合には、より狭い範囲の画像を切り出して、拡大表示を行うことができる。この場合でも、解像度が比較的高い高解像度画像３２１を用いるために、より明瞭に表示できる。
この縮小又は拡大表示においては、端末１がストレッチＢＬＴＥＲ（矩形転送）のようなグラフィック・アクセレレーション機能を備えている場合には、リアルタイムで縮小表示することもできる。
【００３４】
ステップＳ２０６において、制御部１００は、画像描画処理を行う。
ここでは、制御部１００は、上述のステップで選択された描画用画像を、ＯＳのＡＰＩ（アプリケーション・プログラム・インターフェイス）であるマルチメディアタイマーとＧＤＩやＤｉｒｅｃｔＳｈｏｗ等を用いてフレームメモリーに書き込んで表示する。この際に、上述のように縦横情報、ズーム処理を行っているかにより、高解像度画像３２１と低解像度画像３２３とズーム用に切り取られた画像とを選択して表示する。
なお、端末１の表示画像がＷＶＧＡ（８００×４８０ｄｏｔ）の場合、画面いっぱいに映像を表示しようとした場合、横表示の場合は、表示する描画用画像の画面解像度を６４０×４８０とでき、映像表示エリアを大きく使うことができる。
【００３５】
その後、制御部１００は、監視ソフトウェアを用いて、ＯＳにより検知された各種メッセージに応答する。
また、ユーザがログアウトの指示を出すまで、制御部１００は常に最新の画像を表示するようにする。ここで、画像が静止画像であった場合には、制御部１００はステップＳ２０１〜の処理によりリロードを行う。画像が動画像の場合も、ストリーム配信のデータをデコードして表示する。
以上により、画像配信処理を終了する。
【００３６】
以上のように構成することで、以下のような効果を得ることができる。
現在、携帯端末ではＷＶＧＡ（８００×４８０）程度の解像度が一般的となっている。しかし、通常の縦表示では画像の幅が最大値４８０（４８０×３２０ｄｏｔ）になり、小さく見難いものとなるという問題があった。
すなわち、従来技術１と従来技術２では、単純に元の画像を回転／拡大・縮小させて配信用の画像をつくり出していた。
このため、画像の明瞭さが損なわれ、携帯電話等の携帯端末に表示された画像の判別がしづらくなるという問題があった。よって、特に対象物の認識を行う必要がある監視システムに用いるのは難しかった。
【００３７】
これに対して、本発明の実施の形態に係る監視システムＸにおいては、複数の解像度の画像をサーバにより作成して、端末はその複数の解像度の画像を受信して記憶する。
これにより、この複数の解像度の画像を切り換えることができ、横表示のときに画面サイズを大きくでき、表示品質を向上させることができる。これに加えて、縦表示のときにも、生画像から画像処理を行った縮小画像に切り換えて表示することができる。
これにより、携帯端末の小さい画面で可能な限りの見やすい画面を表示する監視システムを提供することができる。
さらに、複数の解像度の画像を切り換える際に、端末は複数の解像度の画像を備えているために、サーバにいちいち解像度の異なる画像を配信するようにリクエストする必要がないので、素早く画像を切り換えられる。すなわち、タイムラグを少なくすることができる。
また、回転して矩形転送させる表示機能をもたない携帯端末であっても、縦表示と横表示の回転に係る表示の負担を軽減することができる。
【００３８】
また、監視システムでは、配信された画像の位置を決めて拡大するズームに対応する必要がある。
しかしながら、従来技術２では、予めキーエリアを設定して元画像を切り取って表示しているために、監視カメラの画像においてユーザが指示した位置を拡大表示することができなかった。さらに、従来技術２の画像配信方法では、ズームへの対応については、まったく開示されていない。
【００３９】
これに対して、縦表示において選択範囲をズームした場合に、横表示用の画像データを使うことで解像度の高い拡大映像を表示することができる。
すなわち、縦表示において拡大表示を行う場合に、横表示用の画像データから選択された箇所を拡大して表示した方が、横表示と同等の解像度があり、見やすい映像を表示できる。また、拡大画像の圧縮率と横表示の画像の圧縮率が同等となるために、表示される画像に違和感が少なくなるという高価が得られる。
また、縦表示において一部分の拡大をした場合に、横表示用の高解像度画像の画像データを使うことで、量子化ノイズ等の粗さの目立たない拡大画面を表示することができる。
【００４０】
また、本発明の実施の形態に係る監視システムは、
前記複数の解像度は、長辺の解像度に対応した解像度と、短辺の解像度に対応した解像度であり、
前記配信画像は、生画像から、前記長辺の解像度に対応して作成する高解像度画像と、前記短辺の解像度に対応して作成する低解像度画像であり、
前記携帯端末は、横表示の際には前記高解像度画像を表示し、縦表示の際には前記低解像度画像を表示し、ズームの際には前記高解像度画像から選択範囲を切り出す
ことを特徴とする。
【００４１】
また、本発明の実施の形態に係る監視方法は、
サーバにより高解像度画像と前記低解像度画像とを作成し、
携帯端末により、前記高解像度画像と前記低解像度画像とを受信し、
前記高解像度画像と前記低解像度画像を縦表示と横表示に合わせて表示し、
前記高解像度画像からユーザの指示した位置を選択してズームして表示する
ことを特徴とする。
【００４２】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態に係る監視システムのシステム構成図である。
【図２】本発明の実施の形態に係る端末１の制御構成を示すブロック図である。
【図３】本発明の実施の形態に係るサーバ３の制御構成を示すブロック図である。
【図４】本発明の実施の形態に係る監視システムＸの画像配信処理のフローチャートである。
【図５】本発明の実施の形態に係る配信用画像の例を示す概念図である。
【図６】本発明の実施の形態に係るズーム処理の例を示す概念図である。
【符号の説明】
【００４４】
１ 端末
３ サーバ
４−１〜４−ｎ 撮像装置
５ ネットワーク
３０ ウェブサーバ
３１ 録画像記憶部
３２ 配信画像記憶部
３４ ユーザ認証部
３５ 解像度選択部
３６ 複数画像作成部
１００ 制御部
１２０ 記憶部
１３０ ネットワーク接続部
１４０ 入力部
１６０ 表示部
１７０ 解像度検出部
１８０ 拡大選択部
３２１ 高解像度画像
３２３ 低解像度画像
３１１ ＲＡＷ画像
４００ ズーム画像
４５０ ユーザインタフェイス
Ｘ 監視システム
【特許請求の範囲】
【請求項１】
サーバにより携帯端末に画像を配信する監視システムであって、
端末の表示画面の解像度に合わせて、複数の解像度の配信画像を選択する解像度選択手段を備えるサーバと、
前記複数の解像度の配信画像を、縦表示と横表示を切り換える際に選択して表示する携帯端末とを備える
ことを特徴とする監視システム。
【請求項１】
サーバにより携帯端末に画像を配信する監視システムであって、
端末の表示画面の解像度に合わせて、複数の解像度の配信画像を選択する解像度選択手段を備えるサーバと、
前記複数の解像度の配信画像を、縦表示と横表示を切り換える際に選択して表示する携帯端末とを備える
ことを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１２４３８１（Ｐ２０１０−１２４３８１Ａ）
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願番号】特願２００８−２９８０３４（Ｐ２００８−２９８０３４）
【出願日】平成２０年１１月２１日（２００８．１１．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願日】平成２０年１１月２１日（２００８．１１．２１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]