画像処理装置および方法
【課題】取得した画像データに、取得した所定情報を自動的に付加する。
【解決手段】画像処理装置は、画像データを取得する画像取得部４０５と、リモコン信号を取得するリモコン信号取得部と、取得したリモコン信号を、取得した画像データに付加する画像処理部４０１を備える。画像取得部４０５は、画像データを、当該画像データを取得したときを指す時刻と関連付けて取得する。リモコン信号取得部４０６は、リモコン信号を、それを取得したときを指す時刻と関連付けて取得する。画像処理部４０１は、画像取得時刻とリモコン信号取得時刻とを比較し、比較結果に基づき所定条件が成立すると判定した時刻に関連付けて取得された画像データに、リモコン信号情報を付加する。
【解決手段】画像処理装置は、画像データを取得する画像取得部４０５と、リモコン信号を取得するリモコン信号取得部と、取得したリモコン信号を、取得した画像データに付加する画像処理部４０１を備える。画像取得部４０５は、画像データを、当該画像データを取得したときを指す時刻と関連付けて取得する。リモコン信号取得部４０６は、リモコン信号を、それを取得したときを指す時刻と関連付けて取得する。画像処理部４０１は、画像取得時刻とリモコン信号取得時刻とを比較し、比較結果に基づき所定条件が成立すると判定した時刻に関連付けて取得された画像データに、リモコン信号情報を付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置および方法に関し、特に、画像と別途取得した情報とを関連付けて表示する画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラにより、静止画や動画を撮影するのが容易になった。また、撮影した画像や動画に文字などを挿入するといった編集も容易になった。このような技術に関連して、特許文献１には、ユーザが動画に対して、挿入すべきコメント情報とコメント情報を挿入する時刻とを付加することを可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テレビジョン（以下、テレビという）を大量生産する工程における製品テストに際しては、テレビを操作し、テレビが操作の指令通りに動作するかを、容易に確認できる装置の提供が望まれていた。つまり、指令の情報と、指令を与えたタイミングに同期してテレビが如何に動作したかを示す情報をエビデンスとして記録し、記録内容をオペレータが確認できる装置の提供が望まれていた。
【０００５】
特許文献１の構成では、動画中に挿入するべきコメント情報（文字列）およびコメント情報を挿入するべき時刻は手動にて指定する必要があった。したがって、大量生産されるテレビの製品テストに適用した場合には、オペレータは各テレビについて、操作したタイミングと、操作により与えた指令とを指定する必要があり、手間がかかる。
【０００６】
それゆえに、本発明の目的は、取得した画像データに、取得した所定情報を自動的に付加する画像処理装置および方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、画像処理装置は、画像データを取得する画像取得手段と、所定情報を取得する情報取得手段と、取得した所定情報を、取得した画像データに付加する画像処理手段と、を備える。
【０００８】
好ましくは、画像取得手段は、画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、情報取得手段は、所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、画像処理手段は、第１時刻と第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した第１時刻に関連付けて取得された画像データに、所定情報を付加する。
【０００９】
好ましくは、画像取得手段は、画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、情報取得手段は、所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、画像処理手段は、第１時刻と第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した第１時刻に関連付けて取得された画像データを表示する際に、所定情報を付加して（または関連付けて）表示する。
【００１０】
好ましくは、所定条件は、第２時刻と第１時刻とは等しいという条件である。
好ましくは、所定条件は、第２時刻は、第１時刻よりも前の時刻を指すという条件である。
【００１１】
好ましくは、画像取得手段は、複数個の画像データのそれぞれを、当該画像データを取得したときを指す第１時刻と関連付けて取得し、画像処理手段は、複数個の画像データそれぞれについて関連付けされた第１時刻と第２時刻とを比較し、比較結果に基づき、第２時刻に最も近い時刻を指す第１時刻が関連付けされた画像データに、所定情報を付加する。
【００１２】
好ましくは、画像処理手段は、複数個の画像データそれぞれについて関連付けされた第１時刻と第２時刻とを比較し、比較結果に基づき、第２時刻よりも後の時刻であって最も早い時刻を指す第１時刻が関連付けされた画像データに、所定情報を付加する。
【００１３】
好ましくは、情報取得手段は、取得した所定情報を格納する格納部を含み、新たな所定情報が取得される毎に、格納部の所定情報を、取得した新たな所定情報を格納することにより更新する。画像処理手段は、画像取得手段が画像データを取得したとき、格納部に格納されている所定情報を読出し、読出した所定情報を、取得した画像データに付加する。
【００１４】
好ましくは、情報取得手段は、取得する所定情報を格納する格納部を含み、新たな所定情報が取得される毎に、格納部の所定情報を、取得した新たな所定情報を格納することにより更新する。画像処理手段は、画像取得手段が取得する画像データの取得時刻が、格納部に格納されている所定情報の取得時刻と、次位に取得される所定情報の取得時刻との間を指す期間内の時刻を指示するときは、当該画像データに格納部に格納されている所定情報を読出し付加する。
【００１５】
好ましくは、画像処理手段は、画像取得手段が取得する画像データであって、当該画像データの取得時刻が、期間内の時刻を指示する画像データのうち、格納部に格納されている所定情報の取得時刻から一定時間内に取得された画像データには、格納部に格納されている所定情報を読出し、読出された所定情報を付加する。
【００１６】
好ましくは、画像処理手段は、画像取得手段が取得する画像データであって、当該画像データの取得時刻が、期間内の時刻を指示する画像データのうち、格納部に格納されている所定情報の取得時刻から一定時間内に取得された画像データには、格納部に格納されている所定情報を読出し、読出された所定情報を所定表示態様となるように付加する。
【００１７】
好ましくは、情報取得手段は、取得する所定情報を格納する格納部を含み、画像処理手段は、画像取得手段による取得時刻が、格納部に格納されている所定情報の取得時刻と、次位に取得される所定情報の取得時刻との間を指す期間内の時刻を指示する画像データのうち、格納部に格納されている所定情報の取得時刻から一定時間内に取得された画像データには、格納部に格納されている所定情報を読出し、読出された所定情報を所定表示態様となるように付加する。
【００１８】
好ましくは、所定表示態様は、所定情報が指示する文字の線幅、文字の傾きおよび文字の色のいずれかにより指示される、または、それらの組合わせによる指示される。
【００１９】
好ましくは、情報取得手段は、所定情報を外部操作により入力する。
好ましくは、所定情報は、リモコン信号に基づく情報を指し、画像データは、リモコン信号により操作される被操作対象を撮像した画像を指す。
【００２０】
好ましくは、所定情報は、リモコン信号に基づく情報を指し、リモコン信号により操作される被操作対象は画像表示装置であって、画像データは、画像表示装置が出力する画像を指す。
【００２１】
好ましくは、画像データは、フレーム単位の画像データを指す。
好ましくは、画像処理手段は、所定情報を、取得した画像データに基づく画像に拡張領域を設け、拡張領域において所定情報が表示されるように付加する。
【００２２】
好ましくは、所定情報が付加された複数の画像データを用いて動画を作成する。
好ましくは、画像データを表示する際に、所定情報を付加して（または関連付けて）表示するとは、当該画像データと当該所定情報とを同期して表示する、または当該画像データに当該所定情報を重ね合わせて表示する、または同一画面において当該画像データと当該所定情報とを異なる領域に表示することを指す。
【００２３】
この発明の他の局面に従うと、コンピュータを用いて実行する画像処理方法であって、コンピュータの画像取得手段が、画像データを取得するステップと、コンピュータの情報取得手段が、所定情報を取得するステップと、コンピュータの画像処理手段が、取得された所定情報を、取得された画像データに付加するように画像処理するステップとを、備える。
【００２４】
この発明のさらに他の局面に従うプログラムは、上述の画像処理方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２５】
発明によれば、取得した画像データに、取得した所定情報を自動的に付加することができる。
【図面の簡単な説明】
【００２６】
【図１】各実施の形態に係る画像処理システムの概略構成図である。
【図２】各実施の形態に係るテレビのハードウェア構成図である。
【図３】各実施の形態に係るコンピュータのハードウェア構成図である。
【図４】各実施の形態に係る画像処理装置の機能構成図である。
【図５】（Ａ）と（Ｂ）は、第１の実施の形態に係る合成画像の表示例を示す図である。
【図６】第１の実施の形態に係る画像処理のフローチャートである。
【図７】第１の実施の形態に係る画像処理の他のフローチャートである。
【図８】第１の実施の形態に係る画像再生処理のフローチャートである。
【図９】（Ａ）〜（Ｃ）は、第１の実施の形態に係る再生画像の表示例を示す図である。
【図１０】（Ａ）と（Ｂ）は、第１の実施の形態に係る画像処理で参照されるテーブルの１例を示す図である。
【図１１】（Ａ）〜（Ｃ）は、第２の実施の形態を説明するための画像の表示例を示す図である。
【図１２】（Ａ）〜（Ｃ）は、第２の実施の形態を説明するための画像の他の表示例を示す図である。
【図１３】第２の実施の形態に係る画像処理のフローチャートである。
【図１４】第２の実施の形態に係る他の画像処理のフローチャートである。
【図１５】第２の実施の形態の画像処理で参照されるテーブルの一例を示す図である。
【図１６】（Ａ）〜（Ｆ）は、第２の実施の形態に係る画像処理による動画像の生成の具体例を示す図である。
【図１７】第２の実施の形態に係る画像再生処理のフローチャートである。
【図１８】（Ａ）〜（Ｃ）は、第３の実施の形態を説明するための画像表示例を示す図である。
【図１９】（Ａ）〜（Ｃ）は、第３の実施の形態を説明するための他の画像表示例を示す図である。
【図２０】第３の実施の形態に係る画像処理のフローチャートである。
【図２１】第３の実施の形態に係る他の画像処理のフローチャートである。
【図２２】第３の実施の形態の画像処理で参照されるテーブルの一例を示す図である。
【図２３】（Ａ）〜（Ｆ）は、第３の実施の形態に係る画像処理による動画像の生成の具体例を示す図である。
【図２４】（Ａ）〜（Ｃ）は、第３の実施の形態に係る画像処理による表示態様の変更例を説明する図である。
【図２５】図２４（Ａ）〜（Ｃ）の表示態様とするための画像処理のフローチャートである。
【図２６】図２４（Ａ）〜（Ｃ）の表示態様とするための他の画像処理のフローチャートである。
【図２７】第３の実施の形態に係る画像再生処理のフローチャートである。
【図２８】第４の実施の形態を説明するための画像表示例の図である。
【図２９】第４の実施の形態を説明するための他の画像表示例の図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しつつ、本発明の各実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２８】
各実施の形態では、画像処理対象としてテレビの画像について記載するが、これは１例であり、テレビなどの表示装置に限らず、操作を行うと視覚的に状態変化が確認できる全てのものに適用可能である。
【００２９】
＜第１の実施形態＞
図１には、各実施の形態に係る画像処理システムの概略構成が示される。図１を参照して、画像処理システムは、画像処理装置に対応するコンピュータ１、コンピュータ１と通信する撮像部に対応したカメラ２、リモコン（リモートコントローラの略）３、リモコン３が送信するリモコン信号によって操作される被操作対象のテレビ４、およびリモコン３が送信するリモコン信号を受信可能な位置に設けられて、且つコンピュータ１と通信するリモコン信号受信装置５を備える。リモコン３は、オペレータによる操作を受付けて、操作に応じた指令信号を赤外線で変調してリモコン信号としてテレビ４に送信する。ここでは、カメラ２の撮像方向にテレビ４が位置すると想定する。
【００３０】
リモコン３は無線にてリモコン信号を送信するとしているが、リモコン３はテレビ４とリモコン信号受信装置５とにケーブルで接続されて、リモコン３から送信されたリモコン信号は、ケーブルを経由してテレビ４およびリモコン受信装置５により受信されるとしてもよい。
【００３１】
ここでは、テレビ４の動作を制御する指令（コマンド）のデータを与えるものはリモコン３としているが、リモコンに限定されない。たとえば、テレビ４の前面に設けられた図示のない操作部のスイッチを操作することにより出力される指令信号を、テレビ４とリモコン信号受信装置５に指令データを与えるようにしてもよい。また、テレビ４とリモコン信号受信装置５はモーションセンサが取り付けられて、モーションセンサによりオペレータの動きを検出し、検出結果に基づき当該動きが指示する指令データに変換するとしてもよい。
【００３２】
カメラ２はテレビ４を撮影し、撮影した画像データをコンピュータ１に送信する。リモコン信号受信装置５は受信したリモコン信号の情報をコンピュータ１に送信する。リモコン信号受信装置５は、テレビ４のリモコン信号を受信するリモコン受信部２６の近くに設置される。つまり、リモコン３から送信されたリモコン信号は、テレビ４のリモコン受信部２６に受信されると同時にリモコン信号受信装置５により受信される。
【００３３】
図２を参照してテレビ４は、アンテナ６３およびモニタ４０を接続するとともに、リモコン３からリモコン信号を受信する。アンテナ６３は、放送信号を受信し、受信した放送信号をチューナ１６に出力する。モニタ４０は、後述の信号処理部２３から出力された映像信号および音声信号を入力し、画面に画像を出力するとともに、図示のないスピーカから音声を出力する。
【００３４】
テレビ４は、制御部１０、チューナ１６、デジタル復調器１８、ＨＤ（High Definition）放送の符号化方式に対応するＭＰＥＧ（Moving Picture Experts Group）に従った復号機能を有するＭＰＥＧデコーダ２２、信号処理部２３、各部に電力を供給するための電源（図面ではＰＷＲと略す）部２９、およびリモコン信号を受信するリモコン受信部２６を含む。制御部１０は、プログラムを実行するＣＰＵ（Central Processing Unit）１０Ａ、各種のデータを記憶するメモリ１０Ｂ、および時間を計時するタイマ１０Ｃを含む。
【００３５】
アンテナ６３は高周波数信号ＲＦである放送信号を受信し、ＩＦ信号（中間周波数信号）に変換して出力する。チューナ１６は、アンテナ６３を介して受信した放送信号（ＩＦ信号）を入力し、入力した放送信号の中から、ＣＰＵ１０Ａからの指示（選局すべき物理チャンネルの情報を含む）に応じて選択した物理チャンネルに対応する放送信号を抽出して出力する。チューナ１６は、抽出した放送信号をデジタル復調器１８へ出力する。
【００３６】
デジタル復調器１８は、チューナ１６から放送信号を受けて、放送信号を映像および音声がデジタル符号化されたＴＳ（Transport Stream）信号に復調し、ＭＰＥＧデコーダ２２に出力する。
【００３７】
ＭＰＥＧデコーダ２２は、与えられるＴＳ信号を入力し、映像信号および音声信号に復号する。そして、復号した映像信号および音声信号を信号処理部２３に出力する。信号処理部２３は、制御部１０から与えられるデータ（リモコン３から受信するリモコン信号の指令データに基づいた視聴する局（チャンネル）を選択するデータ等）に基づいて、ＭＰＥＧデコーダ２２から入力した映像信号および音声信号をモニタ４０に出力可能なように信号を処理し、信号処理した映像信号および音声信号をモニタ４０に出力する。モニタ４０は、与えられる映像信号を画像として表示し、音声信号をスピーカ（図示せず）から出力する。
【００３８】
リモコン信号は０／１ビットのパターン列であって、所定のスタートビットで開始し、所定のエンドビットで終了する。テレビ４はリモコン受信部２６からリモコン信号を受信すると、受信したリモコン信号を解析して、解析結果に基づく指令データに従った動作を開始する。ここでは説明を間単にするために、スタートビットを受信してからエンドビットを受信終了するまでの間に、テレビ４は受信したリモコン信号の指令に応じた動作をすると想定する。
【００３９】
図３を参照してコンピュータ１は、ＣＲＴ（陰極線管）などからなるディスプレイ６１０、キーボード６５０およびマウス６６０を有する入力部７００、該コンピュータ１自体を集中的に制御するためのＣＰＵ６２２、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memoryの略）を含んで構成されるメモリ６２４、固定ディスク６２６、ＦＤ（フレキシブルディスク）６３２が着脱自在に装着されて、装着されたＦＤ６３２をアクセスするＦＤ駆動装置６３０、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）６４２が着脱自在に装着されて、装着されたＣＤ−ＲＯＭ６４２をアクセスするＣＤ−ＲＯＭ駆動装置６４０、通信回線３００と、該コンピュータ１とを通信接続するための通信インターフェィス６８０、プリンタ６９０および時間を計時するタイマ６９１を含む。これらの各部はバスを介して通信接続される。
【００４０】
各実施の形態に係る後述の画像処理フローチャートは、予めプログラムとしてメモリ６２４に格納される。フローチャートが示す画像処理の機能は、ＣＰＵ６２２がメモリ６２４からプログラムを読出し、読出したプログラムの命令コードを実行することにより実現される。
【００４１】
図４には、各実施の形態に係る画像処理装置の機能構成が示される。画像処理装置は、画像データについて各種の処理を施す画像処理部４０１、画像データを格納する画像格納部４０２、リモコン信号受信装置５から出力されるリモコン信号を入力し、入力したリモコン信号を解析し、解析結果に基づく指令データを生成して出力するリモコン信号取得部４０６、リモコン信号取得部４０６から出力される指令データが格納されるリモコン信号データ保持部４０３、カメラ２が撮影して出力する画像データを入力する画像取得部４０５、画像取得部４０５から出力される画像データが格納される画像保持部４０４、画像データに基づく画像をディスプレイ６１０に表示するための画像出力部４０７、および入力部７００からオペレータ操作による各種指示を入力するための指示入力部４０８を備える。
【００４２】
リモコン信号取得部４０６は上述のようにリモコン信号から指令データを生成する。たとえば、テレビ４では、指令データによりチャネル変更や音量の増減などの操作（テレビ４の動作）が制御される。指令データは、チャンネル番号などのデータそのものか、あるいは、チャネル変更や音量の増減などのコマンドを指す。リモコン３は赤外線を用いて０／１ビットの連続パターンであるリモコン信号を出力する。リモコン信号取得部４０６は、０と１の連続パターンの種類に基づき、リモコン信号が指す指令を検出する。メモリ６２４には、予め複数種類の０／１のパターン列と、パターン列のそれぞれに対応して指令データが登録されたテーブルが格納される。リモコン信号取得部４０６は、リモコン信号を解析して得られた０／１のパターン列に基づきテーブルを検索して、パターン列に対応付けされた指令データをテーブルから読出す。これにより、受信したリモコン信号が指示する指令データが検出される。ここでは、説明を簡単するために、リモコン信号が指す指令データは、チャンネルの切替を指令するものであると想定する。したがって、合成画像には、指令データが指す切替え先のチャンネル番号の数値（文字）が付加されると想定する。
【００４３】
画像格納部４０２、リモコン信号データ保持部４０３および画像保持部４０４は、メモリ６２４または固定ディスク６２６などの各種メモリに対応する。他の各部の機能は予めプログラムとしてメモリ６２４の所定領域に格納される。ＣＰＵ６２２がメモリ６２４からプログラムを読出し、読出したプログラムの各種命令を実行することにより、各部の機能が実現される。
【００４４】
画像格納部４０２には、画像データは後述する画像作成時刻と関連付けされて格納される。したがって、画像格納部４０２から画像データを読出す場合には、関連付けされた画像作成時刻に従うことで時系列順に読出すことができる。
【００４５】
画像処理部４０１は、取得した画像データに、取得したリモコン信号に基づく情報を付加するように所定プログラムに従って合成処理する。この合成処理は、周知の手順である。例えばmicrosoft（登録商標）社が提供するDrawStringという画像に文字列を描画する処理プログラムを用いることにより画像合成が可能である。合成処理後の画像データに基づく表示画面の一例が図５（Ａ）と（Ｂ）に示される。図５（Ａ）には、カメラ２がテレビ４のモニタ４０の画面を撮影して出力する画像データに、リモコン３からテレビ４に送信されたリモコン信号に基づく指令データが付加された合成画像がディスプレイ６１０に表示された状態が示される。図５（Ａ）の画面では、放送信号に基づく番組の画像に、リモコン信号の指令データが指すチャンネル番号「４ｃｈ」の文字列が合成されている。
【００４６】
図１の画像処理システムでは、コンピュータ１を用いて図５（Ａ）の画像を表示したが、テレビ４がその機能を備えるようにしてもよい。つまり、テレビ４がカメラ２、リモコン信号受信装置５、およびコンピュータ１の機能を兼ね備えてもよい。この場合には、テレビ４がモニタ４０に出力する映像を構成するフレーム単位の画像データをメモリ１０Ｂに格納するとともに、リモコン受信部２６で受信したリモコン信号に基づく指令データも格納する。表示に際しては、ＣＰＵ１０Ａは、メモリ１０Ｂから画像データを読出し、読出した画像データに、メモリ１０Ｂから読出した指令データの文字列を信号処理部２３のＯＳＤ（On Screen Display）機能により重畳し、文字列が重畳にされた合成画像データによる画像をモニタ４０に表示する。この場合のモニタ４０の表示画面の一例が図５（Ｂ）に示される。図５（Ｂ）では、図５（Ａ）と同じく、リモコン信号の指令データが指すチャンネル番号「４ｃｈ」の文字列が合成されている。図５（Ａ）では、図５（Ｂ）の画像とは異なり、カメラ２がモニタ４０の表示画像を撮像して出力した画像であるので、モニタ４０の外枠が表示されている。
【００４７】
図６には、本実施の形態に係る画像処理のフローチャートが示される。図６では、テレビ４は受信する放送信号に基づく映像をモニタ４０に表示している状態において、カメラ２によりモニタ４０の画面を撮影し、リモコン３からリモコン信号の送信の有無が検出されると想定する。
【００４８】
まず、指示入力部４０８からの入力指示に基づき処理が開始されると、画像取得部４０５はカメラ２が出力するテレビ４のモニタ４０を撮影した画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（ステップＳ（以下、単にＳと略す）３）。これにより画像保持部４０４には、フレーム単位で画像データが順次格納される。
【００４９】
リモコン信号取得部４０６は、リモコン信号受信装置５からリモコン信号を入力するか否かを判定する（Ｓ５）。具体的には、リモコン信号受信装置５からリモコン信号の所定のスタートビットが検出されるか否かにより判定する。ここでは、画像データを取得した直後にリモコン信号の受信があるかを判定しているが、連続する画像データの取得の間にリモコン信号の受信があれば、リモコン信号を受信していると判定してもよい。
【００５０】
リモコン信号取得部４０６は、リモコン信号を受信していないと判定すると（Ｓ５でＮＯ）、画像処理部４０１は、画像取得部４０５が取得した画像データを画像保持部４０４から読出し、読出した画像データを画像格納部４０２に格納する（Ｓ９）。
【００５１】
一方、リモコン信号取得部４０６はリモコン信号を受信していると判定すると（Ｓ５でＹＥＳ）、取得したリモコン信号に基づき指令データを検出して画像処理部４０１に出力する。画像処理部４０１は、画像取得部４０５が取得した画像データを画像保持部４０４から読出し、読出した画像データと、リモコン信号取得部４０６から入力した指令データとを合成して、合成後の画像データ（合成画像データという）を画像格納部４０２に格納する（Ｓ９）。
【００５２】
画像格納部４０２には、画像データは画像作成時刻（すなわち、カメラ２の撮像時刻）と関連付けて格納される。合成画像データについても、合成処理の元となった画像データの画像作成時刻が関連付けて格納される。
【００５３】
画像処理部４０１は、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ１１）。終了命令が入力されたと検出されない場合には（Ｓ１１でＮＯ）、処理はＳ３に戻り、以降の処理が終了命令の入力が検出される（Ｓ１１でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われる。
【００５４】
終了命令の入力が検出されると（Ｓ１１でＹＥＳ）、動画作成処理が行われる（Ｓ１３）。
【００５５】
動画作成処理について説明する。画像処理部４０１は画像格納部４０２から画像データ（合成画像データを含む）を画像作成時刻の時系列順に従って読出し、すなわち撮像された順番に従って読出し、時系列順に連続する動画データを作成する（Ｓ１３）。動画データの作成は、自動で開始するとしてもよく、または指示入力部４０８から動画作成命令が入力された場合に行うとしてもよい。作成された動画データは、画像格納部４０２に格納される。指示入力部４０８から再生指示が入力されたときに、画像処理部４０１が画像格納部４０２から読出し、画像出力部４０７に与える。画像出力部４０７は与えられる動画データをディスプレイ６１０に表示する。動画データの表示は、動画データが作成される（Ｓ１３）と自動的に表示されるとしてもよい。
【００５６】
ここでは、動画データの作成時には、予め画像データと指令データの合成画像データが準備されているとしているが、合成画像データは、動画データの作成時に生成されるようにしてもよい。つまり、画像格納部４０２には、合成すべき画像データと指令データを関連付けて格納しておき、動画データ作成時に、画像格納部４０２から読出した画像データと、画像データに関連付けされた指令データを用いて、画像データに指令データに基づく画像（文字、絵など）を付加するように画像合成しながら、動画データを作成するようにしてもよい。
【００５７】
表示される動画の一画面が、たとえば図５（Ａ）に示される。図５（Ａ）では、リモコン３によりテレビ４の受信チャンネルが４ＣＨに切替え操作されたときの表示画像であることが分かる。
【００５８】
図６の処理によれば、リモコン信号が送信されるタイミングにおいて、リモコン信号の指令データが付加された合成画像、あるいは、動画を自動的に作成することができる。
【００５９】
なお、カメラ４が撮影する画像は、静止画または動画である。動画は複数個のフレーム画像（静止画）が連続したものであるから、リモコン信号の指令データを、動画中の、リモコン信号が検出されたタイミングに対応のフレーム画像データに付加するように合成することは容易である。
【００６０】
テレビ４に図６の機能を備えるとした場合には、メモリ１０Ｂに、リモコン信号の０／１のパターン列と指令データを対応付けたテーブルが予め格納される。ＭＰＥＧに従ってエンコードされた動画データは、一旦ＭＰＥＧデコーダ２２によりデコードすることにより連続した静止画として検出される。リモコン受信部２６が受信したリモコン信号の指令データは、メモリ１０Ｂのテーブルを検索することにより取得される。信号処理部２３は検出された静止画（フレーム画像）を入力し、入力したフレーム画像と取得した指令データをＯＳＤにより合成する。これにより、リモコン信号の指令データが合成された動画を得て、モニタ４０に表示することが可能となる。
【００６１】
（他の処理）
図６の処理フローチャートによれば、画像データの取得と並行し、リモコン信号の指令データを用いた画像合成処理が行われるので、画像処理に係る負荷は大きい。そこで、図７の処理フローチャートに示すように画像データの取得の際は、リモコン信号の指令データを用いた画像合成処理は行なわないとしてもよい。つまり、リモコン信号の受信時刻と指令データを関連付けて格納しておき（図１０参照）、画像取得を終了した後に、格納されたリモコン信号の各指令データを、対応するフレームの画像と合成処理すれば、処理の負荷は小さくなる。
【００６２】
図１０（Ａ）と（Ｂ）には、カメラ２から取得されて画像保持部４０４に格納される画像データの情報を格納するテーブルＴＢ１と、受信するリモコン信号に関する情報を格納するテーブルＴＢ２の一例が示される。テーブルＴＢ１とＴＢ２は画像保持部４０４とリモコン信号データ保持部４０３それぞれに格納される。
【００６３】
図１０（Ａ）を参照してテーブルＴＢ１には、画像保持部４０４の所定領域にファイル形式で格納されるフレーム単位の画像データのそれぞれに関連付けて、当該画像データの画像ファイル名のデータＤ１と、画像データのファイルが格納された、すなわち作成された時刻を指すデータＤ２とが格納される。カメラ２から撮影画像を画像ファイルとして取得するとした場合、通常、画像ファイルは画像作成時刻＝撮影時刻の情報を有するので、画像ファイルからデータＤ２の情報を取得するとしてもよい。
【００６４】
図１０（Ｂ）を参照してテーブルＴＢ２には、受信したリモコン信号のそれぞれに関連付けて、０／１のパターン列のデータＤ３と、受信開始時刻および終了時刻のデータＤ４とＤ５が格納される。データＤ２、Ｄ４およびＤ５はタイマ６９１の計時データに基づき取得される。データＤ４は、リモコン信号の所定のスタートビットを検出した時刻を指し、データＤ５はリモコン信号の所定の終了ビットを検出した時刻を指す。
【００６５】
図７を参照して、画像取得部４０５は、カメラ２から出力される画像データを取得する（Ｓ２１）。画像取得部４０５は、取得した画像データを画像ファイルとして画像保持部４０４の所定領域に格納する。また、画像ファイルのファイル名のデータＤ１と、画像作成時刻のデータＤ２を関連付けてテーブルＴＢ１に格納する。
【００６６】
リモコン信号取得部４０６は、リモコン信号受信装置５から入力する信号に基づきリモコン信号を受信しているかを判定する（Ｓ２３）。受信していると判定すれば（Ｓ２３でＹＥＳ）、受信したリモコン信号の０／１のパターン列を検出して、検出したパターン列をデータＤ３としてテーブルＴＢ２に格納する（Ｓ２５）。このとき、タイマ６９１の計時データに基づき、データＤ４とＤ５も関連付けて格納される。
【００６７】
指示入力部４０８を介して処理の終了命令が入力されるか否かを判定する（Ｓ２７）。入力されたと判定されないとき（Ｓ２７でＮＯ）、処理はＳ２１に戻り、以降の処理が同様に繰返される。
【００６８】
終了命令が入力されたと判定されると（Ｓ２７でＹＥＳ）、自動的に引き続いて、あるいは、処理命令があった場合に、リモコン信号の指令データを用いた画像合成処理を行う。テーブルＴＢ２には、データＤ３は、受信した順番に従って格納されていると想定する。
【００６９】
まず、画像処理部４０１は、全ての画像ファイルを画像保持部４０４から読出したかを判定する（Ｓ２９）。読出していないと判定すると（Ｓ２９でＮＯ）、テーブルＴＢ１を検索して、データＤ２の時系列の順番に（取得した画像データの順に）関連付けされたデータＤ１を読出し、読出したデータＤ１の画像ファイル名に基づき画像保持部４０４の所定領域を検索して、関連付けされる画像データ（画像ファイル）を読出す。
【００７０】
次に、読出したデータＤ１に関連付けされたデータＤ２をテーブルＴＢ１から読出し、データＤ３それぞれに関連付けされたデータＤ４とＤ５をテーブルＴＢ２から読出す。そして、データＤ２の画像作成時刻と各データＤ３のデータＤ４とＤ５が指す受信開始〜終了までの期間を指す受信時刻とを比較する。比較結果に基づき、所定条件が成立するかを判定する。すなわち、当該作成時刻が受信時刻と等しい、すなわち作成時刻が受信開始〜終了までの期間内の時刻を指すの条件が成立すると判定すると（Ｓ３５でＹＥＳ）、関連付けされたデータＤ３が指すビット列に対応の指令データと、Ｓ３３で読出された画像データとは合成処理されて（Ｓ３７）、合成画像は画像格納部４０２に格納される（Ｓ３９）。
【００７１】
一方、画像データの作成時刻が受信開始〜終了までの期間内の時刻を指すとの条件が成立しないと判定すると（Ｓ３５でＮＯ）、Ｓ３３で読出された画像データは、そのまま画像格納部４０２に格納される（Ｓ３９）。
【００７２】
Ｓ３９の処理後は、Ｓ２９の処理に戻り、テーブルＴＢ１の次位のデータＤ１が指す画像ファイルについて以降の処理が同様に行われる。
【００７３】
画像合成に用いられたデータＤ３が指す指令データは、以降では使用されない。
テーブルＴＢ２のデータＤ１が指す画像ファイルの全てについて、図７の処理が終了すると（Ｓ２９でＹＥＳ）、自動的に、あるいは、指示入力部４０８から処理命令が入力された場合に、画像処理部４０１は画像格納部４０２から読出した画像データ（合成画像データを含む）を、関連付けされたデータＤ２の画像作成時刻の順番に従って動画作成処理が行われる（Ｓ３１）。作成された動画像データは画像格納部４０２に格納されるとともに、画像出力部４０７を介してディスプレイ６１０に表示される。
【００７４】
図７では、データＤ２が指す画像作成時刻がリモコン信号の受信時刻に該当した場合に（Ｓ３５でＹＥＳ）、画像合成処理を行うとしているが、画像作成時刻がリモコン信号の受信時刻に最も近い画像に当該リモコン信号の指令データを付加する合成処理を施すとしてもよい。この場合、リモコン信号の受信開直前に取得した画像データに、リモコン信号の指令データが付加されることもある。
【００７５】
（さらなる他の処理）
本実施の形態では、リモコン信号を受信したタイミングの画像、動画のフレームを再生する際に、指令データを表示する例が示される。
【００７６】
フレーム単位の画像または動画の取得時は、上述の実施の形態１の他の処理のように、図１０の態様に従って、画像データの情報とリモコン信号の情報とを関連付けて格納しておく。その後の画像再生表示モード時には、再生される画像に指令データを関連付けて表示する。これにより、合成画像を作成しないので、記憶装置への負荷が軽減できる。
【００７７】
図８のフローチャートを参照して、再生表示モード時には、画像あるいは動画の各フレームのデータを画像保持部４０４からフレーム単位で読出す（ステップＴ３）。読出された画像データを表示する際に、各画像あるいはフレームについて図７のステップＳ３５と同様の条件成立の判定処理を行い（ステップＴ４）、条件が成立すると判定した際には（ステップＴ４でＹＥＳ）、指令データを関連付けて画像、あるいはフレームを表示し（ステップＴ５）、成立しないと判定する際には（ステップＴ４でＮＯ）、読出した画像またはフレームのみを表示する（ステップＴ６）。図８の処理は、画像の読出しが終了するまで繰返される。
【００７８】
ステップＴ５の表示例が、図９に示される。図９（Ａ）と（Ｂ）では、ＯＳＤ表示により画像またはフレームにリモコン信号のデータが重畳表示される。また図９（Ｃ）のように画像または動画表示ビューワと、リモコン信号の文字表示ビューワとで別々に表示してもよい。
【００７９】
図９（Ａ）〜（Ｃ）では、画像データを表示する際に、リモコン信号による指令データが付加されて、または相互に関連付けて表示されるが、取分け、図９（Ａ）では、当該画像データと指令データとが同期するようにして、すなわち同じ時期に表示され、図９（Ｂ）では相互に重ね合わせて表示され、図９（Ｃ）では同一画面の異なる領域（ビューワ領域）において表示タイミングを同期させて、または表示タイミングをずらして表示される。
【００８０】
＜第２の実施形態＞
第１の実施の形態では、フレーム単位で画像を取得する際にリモコン信号を受信した場合に限り、リモコン信号の指令データを用いた合成画像を作成される。そのため、リモコン信号の指令データが付加された画像を連続的に切り替えて視聴する場合や、画像を用いて作成した動画を視聴した際、リモコン信号の指令データはたとえばフレーム単位という短時間しか表示されず、オペレータは合成画像および合成された指令データを確認するのが容易ではない。つまり、図１１では（Ａ）→（Ｂ）→（Ｃ）の順番に、フレーム単位で連続して画像が表示（動画表示）されるが、リモコン信号が受信された瞬間に取得した画像（図１１（Ｂ）参照）にのみ指令データ（“４ＣＨ”）が表示されるので、指令データを確認するのが容易ではない。
【００８１】
そこで、本実施の形態では、確認を容易ならしめるように、取得した画像とともにリモコン信号の指令データを連続的に表示する。つまり、図１１（Ａ）〜（Ｃ）の画像を、図１２（Ａ）〜（Ｃ）のように指令データが複数フレームにわたって連続表示されるようにする。
【００８２】
図１３には第２の実施の形態に係る画像処理フローチャートが示される。図１３では、テレビ４は受信する放送信号に基づく映像をモニタ４０に表示している状態において、カメラ２によりモニタ４０の画面を撮影し、リモコン３からリモコン信号が送信されると想定する。この状態において、処理が開始される。
【００８３】
ここでは、リモコン信号取得部４０６は、リモコン信号受信装置５から入力するリモコン信号の情報を一時的に格納する内部バッファを有する。
【００８４】
指示入力部４０８からの入力指示に基づき処理が開始されると、リモコン信号取得部４０６は、内部バッファを、たとえば空データを格納して初期化する（Ｓ４３）。
【００８５】
画像取得部４０５はカメラ２が出力するテレビ４のモニタ４０を撮影した画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（Ｓ４５）。これにより画像保持部４０４には、フレーム単位で画像データが順次格納される。
【００８６】
リモコン信号取得部４０６は、リモコン信号を受信するか否かを判定する（Ｓ４７）。リモコン信号を受信していないと判定すると（Ｓ４７でＮＯ）、処理はステップＳ５１の処理に移行する。リモコン信号取得部４０６は、リモコン信号を受信していると判定すると（Ｓ４７でＹＥＳ）、受信したリモコン信号の指令データを内部バッファに書込み、内部バッファのデータを更新する（Ｓ４９）。その後、処理はステップＳ５１に移行する。
【００８７】
ステップＳ５１では、画像処理部４０１は、画像取得部４０５が取得した画像データを画像保持部４０４から読出し、読出した画像データに、リモコン信号取得部４０６の内部バッファのデータ（空データ、またはＳ４７で受信したリモコン信号の指令データ）を付加する画像合成処理を行い、合成画像データを画像格納部４０２に格納する。
【００８８】
次に、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ５３）。終了命令が入力されたと検出されない場合には（Ｓ５３でＮＯ）、処理はＳ４５に戻り、以降の処理が終了命令の入力が検出される（Ｓ５３でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われながら、リモコン信号が受信される毎に、画像取得部４０５の内部バッファの値は、当該リモコン信号の指令データを指すように更新される。
【００８９】
終了命令の入力が検出されると（Ｓ５３でＹＥＳ）、画像処理部４０１は画像格納部４０２から画像データ（合成画像データを含む）を読出し、動画作成処理を行う（Ｓ５５）。
【００９０】
作成された動画の表示画面例が、図１２（Ａ）〜（Ｃ）に示される。図１２（Ａ）の画面は、リモコン信号取得部４０６の内部バッファが初期化された直後（リモコン信号未受信）であるので、画像には指令データは何も付加されていない。その後は、リモコン信号が受信されて内部バッファは更新されるので、内部バッファの指令データに基づき“４ＣＨ”を表示する合成画像が表示される（図１２（Ｂ），（Ｃ）参照）。
【００９１】
図１３の画像処理のフローチャートによれば、リモコン信号が受信される毎に、次のリモコン信号が受信されるまでの期間において取得された画像データそれぞれは、当該受信リモコン信号が指す同一の指令データが付加されるよう合成処理される。このため、取得した画像をスライドショーのように連続的に切り替えて表示して視聴する場合や、作成された動画データを再生して視聴する際に、リモコン信号の指令データは複数フレームにわたって連続して表示されるので、オペレータはリモコン信号による指令データを容易に確認できる。
【００９２】
（他の処理）
図１４の画像処理フローチャートを参照して、画像データおよびリモコン信号の取得と、画像データとリモコン信号の指令データの合成処理とを別々に行う場合の処理手順を説明する。
【００９３】
ここでは、カメラ２から取得されて画像保持部４０４に格納される画像データの情報を格納するテーブルＴＢ１（図１０（Ａ）参照）と、受信するリモコン信号に関する情報を格納する図１５のテーブルＴＢ３が参照される。テーブルＴＢ１は画像保持部４０４に格納され、テーブルＴＢ３はリモコン信号データ保持部４０３に格納される。
【００９４】
図１５を参照してテーブルＴＢ３には、受信したリモコン信号のそれぞれに関連付けて、指令データＤＤ３と、受信開始時刻および終了時刻のデータＤ４とＤ５が格納される。
【００９５】
図１４を参照して、まず、指示入力部４０８からの入力指示に基づき処理が開始されると、リモコン信号取得部４０６は、テーブルＴＢ３に空データを格納して初期化する（Ｓ６１）。
【００９６】
画像取得部４０５はカメラ２が出力する撮影画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（Ｓ６３）。これにより画像保持部４０４の所定領域にはフレーム単位で画像データが順次格納されるとともに、テーブルＴＢ１には対応する画像ファイル名のデータＤ１と画像作成時刻のデータＤ２が関連付けされて格納される。
【００９７】
リモコン信号取得部４０６は、リモコン信号を受信するか否かを判定する（Ｓ６５）。リモコン信号を受信していないと判定すると（Ｓ６５でＮＯ）、処理はステップＳ６９に移行する。リモコン信号取得部４０６は、リモコン信号を受信していると判定すると（Ｓ６５でＹＥＳ）、受信したリモコン信号の指令データをテーブルＴＢ３のデータＤＤ３として格納し、同時に、受信開始および終了の時刻のデータＤ４とＤ５を関連付けて格納する（Ｓ６７）。
【００９８】
次に、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ６９）。終了命令が入力されたと検出されない場合には（Ｓ６９でＮＯ）、処理はＳ６３に戻り、以降の処理が終了命令の入力が検出される（Ｓ６９でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われながら、リモコン信号が受信される毎に、受信したリモコン信号のデータＤＤ３、Ｄ４およびＤ５がテーブルＴＢ３に追加して格納される。
【００９９】
終了命令の入力が検出されると（Ｓ６９でＹＥＳ）、ステップＳ７１において、画像処理部４０１は、画像合成に用いるリモコン信号の指令データを一時的に格納するための内部バッファをたとえば空データを格納することにより初期化する。このとき、次に受信されたリモコン信号の受信開始時刻がセットされるべき変数（以下、次位時刻変数という）に、テーブルＴＢ３を検索して読出した、最初に受信したリモコン信号のデータＤＤ３の時刻を設定する。
【０１００】
画像処理部４０１は、テーブルＴＢ１から全ての画像ファイル名のデータＤ１が読出されたかを判定する（Ｓ７３）。全て読出されたと判定すると（Ｓ７３でＹＥＳ）、自動的に、あるいは、命令があった場合に、処理はＳ８３に移行するが、読出されていないと判定すると処理はステップＳ７５に移行する。
【０１０１】
ステップＳ７５では、テーブルＴＢ１から読出したデータＤ１が指す画像ファイル名に基づき、画像保持部４０４の所定領域を検索して、対応する画像データを読出す。また、テーブルＴＢ１からは、対応するデータＤ２を読出す。
【０１０２】
画像処理部４０１は、読出されたデータＤ２の画像作成時刻と、次位時刻変数が指すリモコン信号の受信開始時刻とを比較する。比較結果に基づき、所定条件が成立するかを判定する。つまり、画像作成時刻は次位の受信開始時刻よりも後の時刻であるとの条件が成立すると判定すると（Ｓ７７でＹＥＳ）、テーブルＴＢ３を検索して、次位時刻変数の受信開始時刻のデータＤ２に関連付けされたデータＤＤ３を読出し、内部バッファに格納する（Ｓ７９）。そして、内部バッファから読出したデータＤＤ３が指す指令データとＳ７５で読出した画像データとを合成処理し、生成された合成画像データを、画像格納部４０２に格納する（Ｓ８１）。
【０１０３】
一方、画像処理部４０１は、読出されたデータＤ２の画像作成時刻と、次位時刻変数が指すリモコン信号の受信開始時刻との比較結果に基づき、画像作成時刻は次位の受信開始時刻と同じか、または以前の時刻を指すと判定すると（Ｓ７７でＮＯ）、内部バッファの指令データは更新されないので（Ｓ７９をパス）、内部バッファに前回格納された指令データと、Ｓ７５で読出した画像データとが合成処理されて、合成画像データが画像格納部４０２に格納される（Ｓ８１）。
【０１０４】
ステップＳ８１の処理が終了後は、処理はＳ７３に戻り、テーブルＴＢ１の次位のデータＤ１が指す画像データについて以降の処理が同様に行われる。
【０１０５】
ステップＳ８３では、画像格納部４０２から画像データ（合成画像データを含む）を画像データ作成時刻の順番に読出し、動画作成処理が行われる。
【０１０６】
図１６（Ａ）〜（Ｆ）には、図１４の画像処理による動画像の生成の具体例が示される。テーブルＴＢ３に図１５のようにデータが格納されたと想定して場合において、図１６では、左側に画像取得部４０５が取得する画像データ１００と、当該画像データ１００の画像作成時刻のデータＤ２が対応付けて示される。右側には、図１５のテーブルＴＢ３に基づく画像データ１００の取得に並行して受信されるリモコン信号の指令データＤＤ３と受信開始時刻のデータＤ４が対応付けて示される。また右側にはＳ８１で生成される合成画像データ１０１が示される。
【０１０７】
図１６（Ａ）〜（Ｆ）に示されるように、今回リモコン信号が受信開始された時刻から、次のリモコン信号が受信開始される時刻までの期間において取得された画像データ１００の全ては、今回受信されたリモコン信号の指令データを付加する画像合成処理がされて合成画像データ１０１が生成される。
【０１０８】
図１６（Ｂ）〜図１６（Ｄ）までの期間に取得する画像データ１００については、図１６（Ｂ）の画像データ１００を取得する前に受信したリモコン信号による指令データＤＤ３（“ＣＨ４”）が合成された画像データ１０１が生成される。図１６（Ｄ）の画像取得後であって図１６（Ｅ）の画像取得前に次のリモコン信号が受信されたので、図１６（Ｅ）以降の期間に取得する画像データ１００については、次のリモコン信号の指令データＤＤ３（“ＣＨ８”）が合成された画像データ１０１が生成される。
【０１０９】
これにより、リモコン信号が受信される毎に、次位のリモコン信号が受信されるまでの期間では、今回受信したリモコン信号の指令データによる合成画像が表示される。したがって、オペレータはリモコン３から送信されている指令データを容易に確認することができる。
【０１１０】
（さらなる他の処理）
ここでは、フレーム単位の画像または動画の取得時は、画像データの情報とリモコン信号の情報とを関連付けて格納しておき、その後の画像再生表示モード時には、図１７のフローチャートに従って、再生される画像に指令データを関連付けて表示する。これにより、合成画像を作成しないので、記憶装置への負荷が軽減できる。
【０１１１】
図１７のフローチャートを参照して、画像あるいは動画の各フレームのデータを画像保持部４０４からフレーム単位で読出す（ステップＴ７）。読出された画像データを表示する際に、各画像あるいはフレームについて図１４のステップＳ７７と同様の条件成立の判定処理を行い（ステップＴ９）、条件が成立すると判定した際には（ステップＴ９でＹＥＳ）、リモコン信号のバッファを更新し（ステップＴ１１）、成立しないと判定する際には（ステップＴ９でＮＯ）、読出した画像またはフレームにリモコン信号を関連付けて表示する（ステップＴ１３）。図１７の処理は、画像の読出しが終了するまで繰返される。表示例は、図９（Ａ）〜（Ｃ）に示される。
【０１１２】
＜第３の実施の形態＞
第２の実施の形態では、リモコン信号が受信されると、それ以降に取得した画像データ全てに（図１８（Ａ）〜（Ｃ）を参照）、当該リモコン信号の指令データが付加されて表示されることになるため、指令データが長い期間表示され、わずらわしい場合もある。そこで、本実施の形態では、リモコン信号を受信すると、受信したタイミング以降の一定期間内に取得した画像データにのみリモコン信号の指令データを付加する。つまり、図１９（Ａ）と（Ｂ）の一定期間に取得した画像データにのみ指令データが表示されるようにし、一定期間終了後に取得された図１９（Ｃ）の画像データでは表示されないようにする。これにより、合成画像を用いた動画像の表示時には、指令データが必要以上に長い期間表示されることはなくなり、オペレータは、画像データとの関連付けによりリモコン３が操作されたタイミング（指令データの切替えタイミング）を容易に特定することができる。
【０１１３】
図２０には第３の実施の形態に係る画像処理フローチャートが示される。図２０では、テレビ４は受信する放送信号に基づく映像をモニタ４０に表示している状態において、カメラ２によりモニタ４０の画面を撮影し、リモコン３からリモコン信号が送信されると想定する。この状態において、処理が開始される。
【０１１４】
ここでは、リモコン信号取得部４０６は、リモコン信号受信装置５から入力するリモコン信号を一時的に格納する内部バッファを有する。
【０１１５】
指示入力部４０８からの入力指示に基づき処理が開始されると、リモコン信号取得部４０６は、内部バッファを、たとえば空データを格納して初期化する（Ｓ９１）。
【０１１６】
画像取得部４０５はカメラ２が出力するテレビ４のモニタ４０を撮影した画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（Ｓ９３）。これにより画像保持部４０４には、フレーム単位で画像データが順次格納される。
【０１１７】
リモコン信号取得部４０６は、リモコン信号を受信するか否かを判定する（Ｓ９５）。リモコン信号を受信していないと判定すると（Ｓ９５でＮＯ）、処理はステップＳ９９に移行する。リモコン信号取得部４０６は、リモコン信号を受信していると判定すると（Ｓ９５でＹＥＳ）、受信したリモコン信号の指令データと受信開始時刻を内部バッファに書込み、内部バッファのデータを更新する（Ｓ９７）。その後、処理はステップＳ９９に移行する。
【０１１８】
ステップＳ９９では、所定条件が成立するかを判定する。つまり、画像処理部４０１は、タイマ６９１の計時データに基づき、内部バッファから読出したリモコン信号の受信開始時刻から一定時間が経過したか否かを判定する（Ｓ９９）。経過していないと判定すると（Ｓ９９でＮＯ）、Ｓ９３で取得した画像データと内部バッファから読出した指令データとを合成処理し、合成画像データを画像格納部４０２に格納する（Ｓ１０３）。一方、経過していると判定すると（Ｓ９９でＹＥＳ）、Ｓ９３で取得した画像データを合成処理せずに、そのまま画像格納部４０２に格納する（Ｓ１０３）。
【０１１９】
画像が格納されると、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ１０５）。終了命令が入力されたと検出されない場合には（Ｓ１０５でＮＯ）、処理はＳ９３に戻り、以降の処理が終了命令の入力が検出される（Ｓ１０５でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われながら、リモコン信号が受信される毎に、リモコン信号の受信開始時刻から一定期間において取得される画像データには、当該リモコン信号の指令データが付加されるように画像合成処理が行われる。
【０１２０】
終了命令の入力が検出されると（Ｓ１０５でＹＥＳ）、画像処理部４０１は画像格納部４０２から画像データ（合成画像データを含む）を読出し、動画作成処理を行う（Ｓ１０７）。
【０１２１】
これにより、リモコン信号を受信開始したタイミング以降、一定期間内に取得した画像データのみにリモコン信号の指令データが付加されて表示されるので、オペレータは動画が表示された場合に、どのタイミングでリモコン３が操作されたかを画像データと関連付けて確認できる。
【０１２２】
（他の処理）
図２１の画像処理フローチャートを参照して、画像データおよびリモコン信号の取得と、画像データとリモコン信号の指令データの画像合成処理とを別々に行う場合を説明する。
【０１２３】
図２１のステップＳ１１１〜Ｓ１２１およびＳ１３５の処理は、図１４のステップＳ６３〜Ｓ７３およびＳ８３の処理と同様である。また、図２１のＳ１２３〜Ｓ１２７の処理は、図１４のＳ７５〜Ｓ７９の処理と同様である。
【０１２４】
図２１では、ステップＳ１２９において、ステップＳ１２３で読出した画像データの画像作成時刻が、内部バッファに格納されたリモコン信号の受信開始時刻から一定時間経過した時刻よりも後の時刻を指すか否かを判定する。
【０１２５】
一定時間よりも後の時刻を指さない、すなわちリモコン信号の受信開始時刻から一定時間内に取得された画像データであると判定されると（Ｓ１２９でＮＯ）、画像データとリモコン信号の指令データとで画像合成処理が行われて（Ｓ１３１）、合成画像データは画像格納部４０２に格納される（Ｓ１３３）。一方、一定時間よりも後の時刻を指す、すなわちリモコン信号の受信開始時刻から一定時間経過した後に取得された画像データであると判定されると（Ｓ１２９でＹＥＳ）、画像合成処理は行われずに、画像データはそのまま画像格納部４０２に格納される（Ｓ１３３）。
【０１２６】
図２３（Ａ）〜（Ｆ）には、本実施の形態の画像処理による動画像の生成の具体例が示される。テーブルＴＢ３に図２２のようにデータが格納されたと想定した場合において、図２３では、左側に画像取得部４０５が取得する画像データ１００と、当該画像データ１００の画像作成時刻のデータＤ２が対応付けて示される。右側には、図２２のテーブルＴＢ３に基づく画像データ１００の取得に並行して受信されるリモコン信号の指令データＤＤ３と受信開始時刻のデータＤ４が対応付けて示される。また右側には動画を構成する画像データ１０１が示される。図２３のデータＲＳＴは、受信したリモコン信号の指令データＤＤ３と受信開始時刻の組を指す。
【０１２７】
図２３（Ａ）〜（Ｆ）に示されるように、今回リモコン信号が受信開始された時刻から、次のリモコン信号が受信開始される時刻までの期間において取得された画像データ１００のうち、受信開始時刻から一定時間（ここでは、たとえば３秒間）において取得された画像データ１００には今回受信されたリモコン信号の指令データを付加する画像合成処理がされて画像データ１０１が生成される。
【０１２８】
図示されるように、“ＣＨ４”を指す指令データＤＤ３のリモコン信号の受信開始時刻から３秒間のうちに取得した画像データ１００については画像合成処理が行われることがわかる（図２３（Ｂ）〜図２３（Ｃ）を参照）。
【０１２９】
これにより、リモコン信号が受信される毎に、リモコン信号の受信開始時刻から一定期間内に取得した画像データについて、受信したリモコン信号の指令データによる合成画像を取得できる。
【０１３０】
（表示態様の変更）
上述の実施の形態では、リモコン信号の受信開始時刻から一定時間の間に取得された画像にのみリモコン信号の指令データを付加するとしたが、図２４（Ａ）〜（Ｃ）のようにしてもよい。つまり、今回のリモコン信号の受信開始時刻から次のリモコン信号の受信開始時刻までの期間内に取得された画像データのうち、今回のリモコン信号受信開始時刻から一定時間の間に取得された画像データに付加する指令データと、一定時間経過後に取得された画像データに付加する指令データとでは、表示態様を異ならせるよう画像合成処理をしてもよい。図２４（Ａ）と（Ｂ）の、一定時間の間に取得された画像データに付加される指令データの文字は、図２４（Ｃ）の一定時間経過後に取得される画像データに付加される指令データの文字よりも太字、斜体かつ下線付きの強調表示の態様としている。
【０１３１】
図２４のように表示態様を切替えるための画像処理フローチャートを図２５に示す。図２５のステップＳ１４３〜Ｓ１４９、Ｓ１５７およびＳ１５９の処理は、図２０のステップＳ９１〜Ｓ９７、Ｓ１０５およびＳ１０７の処理と同様である。
【０１３２】
図２５のステップＳ１５１では、所定条件が成立するかを判定する。つまり、画像処理部４０１は、タイマ６９１の計時データに基づき、内部バッファから読出したリモコン信号の受信開始時刻から一定時間が経過したか否かを判定する（Ｓ１５１）。経過していないと判定すると（Ｓ１５１でＮＯ）、Ｓ１４５で取得した画像データと内部バッファから読出した指令データとを図２４（Ａ）と（Ｂ）に示したように強調表示されるよう合成処理し、合成画像データを画像格納部４０２に格納する（Ｓ１５５）。一方、一定時間が経過していると判定すると（Ｓ１５１でＹＥＳ）、Ｓ１４５で取得した画像データと内部バッファから読出した指令データとを強調表示することなく合成処理し、合成画像データを画像格納部４０２に格納する（Ｓ１５３）。
【０１３３】
このような表示態様の変更処理は、取得した画像データの画像再生表示モード時においても適用することができる。
【０１３４】
（さらなる他の処理）
図２６の画像処理フローチャートを参照して、画像データおよびリモコン信号の取得と、画像データとリモコン信号の指令データの画像合成処理とを別々に行う場合を説明する。
【０１３５】
図２６のステップＳ１６１〜Ｓ１７１およびＳ１８５の処理は、図２１のステップＳ１１１〜Ｓ１２１およびＳ１３５の処理と同様である。また、図２５のＳ１７３〜Ｓ１７７の処理は、図２１のＳ１２３〜Ｓ１２７の処理と同様である。
【０１３６】
図２５では、ステップＳ１７９において、ステップＳ１７３で読出した画像データの画像作成時刻が、内部バッファに格納されたリモコン信号の受信開始時刻から一定時間経過した時刻よりも後の時刻を指すか否かを判定する。
【０１３７】
一定時間よりも後の時刻を指さない、すなわちリモコン信号の受信開始時刻から一定時間内に取得された画像データであると判定されると（Ｓ１７９でＮＯ）、画像データとリモコン信号の指令データとは強調表示がされるように画像合成処理が行われて、合成画像データは画像格納部４０２に格納される（Ｓ１８３）。一方、一定時間よりも後の時刻を指す、すなわちリモコン信号の受信開始時刻から一定時間経過した後に取得された画像データであると判定されると（Ｓ１７９でＹＥＳ）、強調表示は伴わない画像合成処理が行われて、合成画像データは画像格納部４０２に格納される（Ｓ１８１）。このように合成画像データが画像格納部４０２に格納されると、処理はステップＳ１７１に戻り、以降の処理が次の画像データについて同様に行われる。
【０１３８】
（さらなる他の処理）
ここでは、フレーム単位の画像または動画の取得時は、画像データの情報とリモコン信号の情報とを関連付けて格納しておき、その後の画像再生表示時には、図２７のフローチャートに従って、再生される画像に指令データを関連付けて表示する。これにより、合成画像を作成しないので、記憶装置への負荷が軽減できる。
【０１３９】
図２７のフローチャートを参照して、画像再生表示モード時には、画像あるいは動画の各フレームのデータを画像保持部４０４からフレーム単位で読出す（ステップＴ１５）。読出された画像データを表示する際に、各画像あるいはフレームについて図２１のステップＳ１２５〜Ｓ１２９と同様の条件成立の判定を含む処理を行い（ステップＴ１７〜Ｔ２１）、条件が成立するか否かの判定結果に従って、読出した画像またはフレームにリモコン信号を関連付けて表示するか（ステップＴ２５）、単に画像またはフレームのみを表示する（ステップＴ２３）。図２７の処理は、画像の読出しが終了するまで繰返される。
【０１４０】
または図２６の処理と同様に、画像時刻がリモコン信号受信後一定時間内の画像には指令データを関連付けて表示する際において、指令データを異なる態様で表示するようにしてもよい。
【０１４１】
（第４の実施の形態）
上述の各実施の形態では、画像データに付加するリモコン信号の指令データについて、付加する位置や、指令データの文字の色などについて特に言及していないが、カメラ２の位置や、撮影対象であるテレビ４の状態によっては、画像処理部４０１は画像合成処理において付加する位置や文字の色などを変更する必要がある。
【０１４２】
たとえば、カメラ２の撮像画像の左下に撮影対象の物体（テレビ４）が写っている場合、テレビ４の画像と指令データの文字が重なるのを回避するために、指令データは撮影画像中の別の位置に付加するのが望ましい。この場合、情報を付加する位置を調整するか、カメラ２の位置を調整して撮影する必要がある。
【０１４３】
また、付加する指令データの文字の色と、画像データ中の指令データが付加されるべき部分の色が同じ場合には、指令データの文字を判別し難い。この場合、情報を付加する位置を調整するか、文字の色を調整する必要がある。
【０１４４】
このような問題に対応するためには、画像合成処理により合成画像においては、撮影画像の表示領域である撮影部分ＥＡと指令データが付加されるように表示される領域である拡張部分ＥＢとに区分し、撮影部分ＥＡには、撮影された画像データを配置し、拡張部分ＥＢには指令データに基づく文字などを配置する。これにより、図２８の合成画像を図２９のような合成画像に変更することができる。
【０１４５】
また、以上の説明では、取得画像全てを対象として、リモコン信号の指令データを付加する画像合成処理や、動画作成を行うとしたが、全てを対象としなくてもよい。すなわち、指示入力部４０８を介して予め指定された時間期間を指す画像作成時刻のデータＤ２に関連付けされたデータＤ１の画像ファイル名で指示される画像データを対象として、指令データを付加する画像合成処理を行い、また、動画作成を行うとしてもよい。
【０１４６】
また、以上の説明では、画像データに付加されるべき所定情報は、リモコン信号の指令データとしているが、これに限定されない。たとえば、定型文字列や他の画像などの所定情報をメモリ６２４に予め格納しておき、指示入力部４０８から指示が入力されたときには、画像処理部４０１はメモリ６２４から所定情報を読出し、取得した画像データに付加する画像合成処理を行うとしてもよい。
【０１４７】
また、所定情報はメモリ６２４に予め格納されるものに限定されず、指示入力部４０８から入力されるとしてもよい。
【０１４８】
（第５の実施の形態）
以上説明した処理機能を有したシステムは、プログラムで実現される。このプログラムはコンピュータで読取可能な記録媒体に格納される。
【０１４９】
本実施の形態では、この記録媒体として、図３に示されているコンピュータ１で処理が行なわれるために必要なメモリ、たとえばメモリ６２４のようなそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭ駆動装置６４０などのプログラム読取装置が設けられ、そこに記録媒体であるＣＤ−ＲＯＭ６４２が挿入されることで読取可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはＣＰＵ６２２がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムが一旦読出されて、読出されたプログラムは、図３の所定のプログラム記憶エリアにロードされて、ＣＰＵ６２２により読出されて実行される方式であってもよい。
【０１５０】
ここで、上述したプログラムメディアはコンピュータ１本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、ＦＤ６３０や固定ディスク６２６などの磁気ディスクやＣＤ−ＲＯＭ６４２／ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable and Programmable ＲＯＭ）、ＥＥＰＲＯＭ(Electrically ＥＰＲＯＭ)、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１５１】
また、本実施の形態においては、コンピュータ１はインターネットを含む通信回線３００と通信インターフェィス６８０を介して接続可能な構成が採用されているから、これら通信回線３００からプログラムがダウンロードされることで流動的にプログラムを担持する媒体であってもよい。
【０１５２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１５３】
１ コンピュータ、２ カメラ、３ リモコン、４ テレビ、５ リモコン信号受信装置、４０１ 画像処理部、４０２ 画像格納部、４０３ リモコン信号データ保持部、４０４ 画像保持部、４０５ 画像取得部、４０６ リモコン信号取得部、４０７ 画像出力部、４０８ 指示入力部。
【技術分野】
【０００１】
この発明は画像処理装置および方法に関し、特に、画像と別途取得した情報とを関連付けて表示する画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラにより、静止画や動画を撮影するのが容易になった。また、撮影した画像や動画に文字などを挿入するといった編集も容易になった。このような技術に関連して、特許文献１には、ユーザが動画に対して、挿入すべきコメント情報とコメント情報を挿入する時刻とを付加することを可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テレビジョン（以下、テレビという）を大量生産する工程における製品テストに際しては、テレビを操作し、テレビが操作の指令通りに動作するかを、容易に確認できる装置の提供が望まれていた。つまり、指令の情報と、指令を与えたタイミングに同期してテレビが如何に動作したかを示す情報をエビデンスとして記録し、記録内容をオペレータが確認できる装置の提供が望まれていた。
【０００５】
特許文献１の構成では、動画中に挿入するべきコメント情報（文字列）およびコメント情報を挿入するべき時刻は手動にて指定する必要があった。したがって、大量生産されるテレビの製品テストに適用した場合には、オペレータは各テレビについて、操作したタイミングと、操作により与えた指令とを指定する必要があり、手間がかかる。
【０００６】
それゆえに、本発明の目的は、取得した画像データに、取得した所定情報を自動的に付加する画像処理装置および方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、画像処理装置は、画像データを取得する画像取得手段と、所定情報を取得する情報取得手段と、取得した所定情報を、取得した画像データに付加する画像処理手段と、を備える。
【０００８】
好ましくは、画像取得手段は、画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、情報取得手段は、所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、画像処理手段は、第１時刻と第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した第１時刻に関連付けて取得された画像データに、所定情報を付加する。
【０００９】
好ましくは、画像取得手段は、画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、情報取得手段は、所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、画像処理手段は、第１時刻と第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した第１時刻に関連付けて取得された画像データを表示する際に、所定情報を付加して（または関連付けて）表示する。
【００１０】
好ましくは、所定条件は、第２時刻と第１時刻とは等しいという条件である。
好ましくは、所定条件は、第２時刻は、第１時刻よりも前の時刻を指すという条件である。
【００１１】
好ましくは、画像取得手段は、複数個の画像データのそれぞれを、当該画像データを取得したときを指す第１時刻と関連付けて取得し、画像処理手段は、複数個の画像データそれぞれについて関連付けされた第１時刻と第２時刻とを比較し、比較結果に基づき、第２時刻に最も近い時刻を指す第１時刻が関連付けされた画像データに、所定情報を付加する。
【００１２】
好ましくは、画像処理手段は、複数個の画像データそれぞれについて関連付けされた第１時刻と第２時刻とを比較し、比較結果に基づき、第２時刻よりも後の時刻であって最も早い時刻を指す第１時刻が関連付けされた画像データに、所定情報を付加する。
【００１３】
好ましくは、情報取得手段は、取得した所定情報を格納する格納部を含み、新たな所定情報が取得される毎に、格納部の所定情報を、取得した新たな所定情報を格納することにより更新する。画像処理手段は、画像取得手段が画像データを取得したとき、格納部に格納されている所定情報を読出し、読出した所定情報を、取得した画像データに付加する。
【００１４】
好ましくは、情報取得手段は、取得する所定情報を格納する格納部を含み、新たな所定情報が取得される毎に、格納部の所定情報を、取得した新たな所定情報を格納することにより更新する。画像処理手段は、画像取得手段が取得する画像データの取得時刻が、格納部に格納されている所定情報の取得時刻と、次位に取得される所定情報の取得時刻との間を指す期間内の時刻を指示するときは、当該画像データに格納部に格納されている所定情報を読出し付加する。
【００１５】
好ましくは、画像処理手段は、画像取得手段が取得する画像データであって、当該画像データの取得時刻が、期間内の時刻を指示する画像データのうち、格納部に格納されている所定情報の取得時刻から一定時間内に取得された画像データには、格納部に格納されている所定情報を読出し、読出された所定情報を付加する。
【００１６】
好ましくは、画像処理手段は、画像取得手段が取得する画像データであって、当該画像データの取得時刻が、期間内の時刻を指示する画像データのうち、格納部に格納されている所定情報の取得時刻から一定時間内に取得された画像データには、格納部に格納されている所定情報を読出し、読出された所定情報を所定表示態様となるように付加する。
【００１７】
好ましくは、情報取得手段は、取得する所定情報を格納する格納部を含み、画像処理手段は、画像取得手段による取得時刻が、格納部に格納されている所定情報の取得時刻と、次位に取得される所定情報の取得時刻との間を指す期間内の時刻を指示する画像データのうち、格納部に格納されている所定情報の取得時刻から一定時間内に取得された画像データには、格納部に格納されている所定情報を読出し、読出された所定情報を所定表示態様となるように付加する。
【００１８】
好ましくは、所定表示態様は、所定情報が指示する文字の線幅、文字の傾きおよび文字の色のいずれかにより指示される、または、それらの組合わせによる指示される。
【００１９】
好ましくは、情報取得手段は、所定情報を外部操作により入力する。
好ましくは、所定情報は、リモコン信号に基づく情報を指し、画像データは、リモコン信号により操作される被操作対象を撮像した画像を指す。
【００２０】
好ましくは、所定情報は、リモコン信号に基づく情報を指し、リモコン信号により操作される被操作対象は画像表示装置であって、画像データは、画像表示装置が出力する画像を指す。
【００２１】
好ましくは、画像データは、フレーム単位の画像データを指す。
好ましくは、画像処理手段は、所定情報を、取得した画像データに基づく画像に拡張領域を設け、拡張領域において所定情報が表示されるように付加する。
【００２２】
好ましくは、所定情報が付加された複数の画像データを用いて動画を作成する。
好ましくは、画像データを表示する際に、所定情報を付加して（または関連付けて）表示するとは、当該画像データと当該所定情報とを同期して表示する、または当該画像データに当該所定情報を重ね合わせて表示する、または同一画面において当該画像データと当該所定情報とを異なる領域に表示することを指す。
【００２３】
この発明の他の局面に従うと、コンピュータを用いて実行する画像処理方法であって、コンピュータの画像取得手段が、画像データを取得するステップと、コンピュータの情報取得手段が、所定情報を取得するステップと、コンピュータの画像処理手段が、取得された所定情報を、取得された画像データに付加するように画像処理するステップとを、備える。
【００２４】
この発明のさらに他の局面に従うプログラムは、上述の画像処理方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２５】
発明によれば、取得した画像データに、取得した所定情報を自動的に付加することができる。
【図面の簡単な説明】
【００２６】
【図１】各実施の形態に係る画像処理システムの概略構成図である。
【図２】各実施の形態に係るテレビのハードウェア構成図である。
【図３】各実施の形態に係るコンピュータのハードウェア構成図である。
【図４】各実施の形態に係る画像処理装置の機能構成図である。
【図５】（Ａ）と（Ｂ）は、第１の実施の形態に係る合成画像の表示例を示す図である。
【図６】第１の実施の形態に係る画像処理のフローチャートである。
【図７】第１の実施の形態に係る画像処理の他のフローチャートである。
【図８】第１の実施の形態に係る画像再生処理のフローチャートである。
【図９】（Ａ）〜（Ｃ）は、第１の実施の形態に係る再生画像の表示例を示す図である。
【図１０】（Ａ）と（Ｂ）は、第１の実施の形態に係る画像処理で参照されるテーブルの１例を示す図である。
【図１１】（Ａ）〜（Ｃ）は、第２の実施の形態を説明するための画像の表示例を示す図である。
【図１２】（Ａ）〜（Ｃ）は、第２の実施の形態を説明するための画像の他の表示例を示す図である。
【図１３】第２の実施の形態に係る画像処理のフローチャートである。
【図１４】第２の実施の形態に係る他の画像処理のフローチャートである。
【図１５】第２の実施の形態の画像処理で参照されるテーブルの一例を示す図である。
【図１６】（Ａ）〜（Ｆ）は、第２の実施の形態に係る画像処理による動画像の生成の具体例を示す図である。
【図１７】第２の実施の形態に係る画像再生処理のフローチャートである。
【図１８】（Ａ）〜（Ｃ）は、第３の実施の形態を説明するための画像表示例を示す図である。
【図１９】（Ａ）〜（Ｃ）は、第３の実施の形態を説明するための他の画像表示例を示す図である。
【図２０】第３の実施の形態に係る画像処理のフローチャートである。
【図２１】第３の実施の形態に係る他の画像処理のフローチャートである。
【図２２】第３の実施の形態の画像処理で参照されるテーブルの一例を示す図である。
【図２３】（Ａ）〜（Ｆ）は、第３の実施の形態に係る画像処理による動画像の生成の具体例を示す図である。
【図２４】（Ａ）〜（Ｃ）は、第３の実施の形態に係る画像処理による表示態様の変更例を説明する図である。
【図２５】図２４（Ａ）〜（Ｃ）の表示態様とするための画像処理のフローチャートである。
【図２６】図２４（Ａ）〜（Ｃ）の表示態様とするための他の画像処理のフローチャートである。
【図２７】第３の実施の形態に係る画像再生処理のフローチャートである。
【図２８】第４の実施の形態を説明するための画像表示例の図である。
【図２９】第４の実施の形態を説明するための他の画像表示例の図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しつつ、本発明の各実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２８】
各実施の形態では、画像処理対象としてテレビの画像について記載するが、これは１例であり、テレビなどの表示装置に限らず、操作を行うと視覚的に状態変化が確認できる全てのものに適用可能である。
【００２９】
＜第１の実施形態＞
図１には、各実施の形態に係る画像処理システムの概略構成が示される。図１を参照して、画像処理システムは、画像処理装置に対応するコンピュータ１、コンピュータ１と通信する撮像部に対応したカメラ２、リモコン（リモートコントローラの略）３、リモコン３が送信するリモコン信号によって操作される被操作対象のテレビ４、およびリモコン３が送信するリモコン信号を受信可能な位置に設けられて、且つコンピュータ１と通信するリモコン信号受信装置５を備える。リモコン３は、オペレータによる操作を受付けて、操作に応じた指令信号を赤外線で変調してリモコン信号としてテレビ４に送信する。ここでは、カメラ２の撮像方向にテレビ４が位置すると想定する。
【００３０】
リモコン３は無線にてリモコン信号を送信するとしているが、リモコン３はテレビ４とリモコン信号受信装置５とにケーブルで接続されて、リモコン３から送信されたリモコン信号は、ケーブルを経由してテレビ４およびリモコン受信装置５により受信されるとしてもよい。
【００３１】
ここでは、テレビ４の動作を制御する指令（コマンド）のデータを与えるものはリモコン３としているが、リモコンに限定されない。たとえば、テレビ４の前面に設けられた図示のない操作部のスイッチを操作することにより出力される指令信号を、テレビ４とリモコン信号受信装置５に指令データを与えるようにしてもよい。また、テレビ４とリモコン信号受信装置５はモーションセンサが取り付けられて、モーションセンサによりオペレータの動きを検出し、検出結果に基づき当該動きが指示する指令データに変換するとしてもよい。
【００３２】
カメラ２はテレビ４を撮影し、撮影した画像データをコンピュータ１に送信する。リモコン信号受信装置５は受信したリモコン信号の情報をコンピュータ１に送信する。リモコン信号受信装置５は、テレビ４のリモコン信号を受信するリモコン受信部２６の近くに設置される。つまり、リモコン３から送信されたリモコン信号は、テレビ４のリモコン受信部２６に受信されると同時にリモコン信号受信装置５により受信される。
【００３３】
図２を参照してテレビ４は、アンテナ６３およびモニタ４０を接続するとともに、リモコン３からリモコン信号を受信する。アンテナ６３は、放送信号を受信し、受信した放送信号をチューナ１６に出力する。モニタ４０は、後述の信号処理部２３から出力された映像信号および音声信号を入力し、画面に画像を出力するとともに、図示のないスピーカから音声を出力する。
【００３４】
テレビ４は、制御部１０、チューナ１６、デジタル復調器１８、ＨＤ（High Definition）放送の符号化方式に対応するＭＰＥＧ（Moving Picture Experts Group）に従った復号機能を有するＭＰＥＧデコーダ２２、信号処理部２３、各部に電力を供給するための電源（図面ではＰＷＲと略す）部２９、およびリモコン信号を受信するリモコン受信部２６を含む。制御部１０は、プログラムを実行するＣＰＵ（Central Processing Unit）１０Ａ、各種のデータを記憶するメモリ１０Ｂ、および時間を計時するタイマ１０Ｃを含む。
【００３５】
アンテナ６３は高周波数信号ＲＦである放送信号を受信し、ＩＦ信号（中間周波数信号）に変換して出力する。チューナ１６は、アンテナ６３を介して受信した放送信号（ＩＦ信号）を入力し、入力した放送信号の中から、ＣＰＵ１０Ａからの指示（選局すべき物理チャンネルの情報を含む）に応じて選択した物理チャンネルに対応する放送信号を抽出して出力する。チューナ１６は、抽出した放送信号をデジタル復調器１８へ出力する。
【００３６】
デジタル復調器１８は、チューナ１６から放送信号を受けて、放送信号を映像および音声がデジタル符号化されたＴＳ（Transport Stream）信号に復調し、ＭＰＥＧデコーダ２２に出力する。
【００３７】
ＭＰＥＧデコーダ２２は、与えられるＴＳ信号を入力し、映像信号および音声信号に復号する。そして、復号した映像信号および音声信号を信号処理部２３に出力する。信号処理部２３は、制御部１０から与えられるデータ（リモコン３から受信するリモコン信号の指令データに基づいた視聴する局（チャンネル）を選択するデータ等）に基づいて、ＭＰＥＧデコーダ２２から入力した映像信号および音声信号をモニタ４０に出力可能なように信号を処理し、信号処理した映像信号および音声信号をモニタ４０に出力する。モニタ４０は、与えられる映像信号を画像として表示し、音声信号をスピーカ（図示せず）から出力する。
【００３８】
リモコン信号は０／１ビットのパターン列であって、所定のスタートビットで開始し、所定のエンドビットで終了する。テレビ４はリモコン受信部２６からリモコン信号を受信すると、受信したリモコン信号を解析して、解析結果に基づく指令データに従った動作を開始する。ここでは説明を間単にするために、スタートビットを受信してからエンドビットを受信終了するまでの間に、テレビ４は受信したリモコン信号の指令に応じた動作をすると想定する。
【００３９】
図３を参照してコンピュータ１は、ＣＲＴ（陰極線管）などからなるディスプレイ６１０、キーボード６５０およびマウス６６０を有する入力部７００、該コンピュータ１自体を集中的に制御するためのＣＰＵ６２２、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memoryの略）を含んで構成されるメモリ６２４、固定ディスク６２６、ＦＤ（フレキシブルディスク）６３２が着脱自在に装着されて、装着されたＦＤ６３２をアクセスするＦＤ駆動装置６３０、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）６４２が着脱自在に装着されて、装着されたＣＤ−ＲＯＭ６４２をアクセスするＣＤ−ＲＯＭ駆動装置６４０、通信回線３００と、該コンピュータ１とを通信接続するための通信インターフェィス６８０、プリンタ６９０および時間を計時するタイマ６９１を含む。これらの各部はバスを介して通信接続される。
【００４０】
各実施の形態に係る後述の画像処理フローチャートは、予めプログラムとしてメモリ６２４に格納される。フローチャートが示す画像処理の機能は、ＣＰＵ６２２がメモリ６２４からプログラムを読出し、読出したプログラムの命令コードを実行することにより実現される。
【００４１】
図４には、各実施の形態に係る画像処理装置の機能構成が示される。画像処理装置は、画像データについて各種の処理を施す画像処理部４０１、画像データを格納する画像格納部４０２、リモコン信号受信装置５から出力されるリモコン信号を入力し、入力したリモコン信号を解析し、解析結果に基づく指令データを生成して出力するリモコン信号取得部４０６、リモコン信号取得部４０６から出力される指令データが格納されるリモコン信号データ保持部４０３、カメラ２が撮影して出力する画像データを入力する画像取得部４０５、画像取得部４０５から出力される画像データが格納される画像保持部４０４、画像データに基づく画像をディスプレイ６１０に表示するための画像出力部４０７、および入力部７００からオペレータ操作による各種指示を入力するための指示入力部４０８を備える。
【００４２】
リモコン信号取得部４０６は上述のようにリモコン信号から指令データを生成する。たとえば、テレビ４では、指令データによりチャネル変更や音量の増減などの操作（テレビ４の動作）が制御される。指令データは、チャンネル番号などのデータそのものか、あるいは、チャネル変更や音量の増減などのコマンドを指す。リモコン３は赤外線を用いて０／１ビットの連続パターンであるリモコン信号を出力する。リモコン信号取得部４０６は、０と１の連続パターンの種類に基づき、リモコン信号が指す指令を検出する。メモリ６２４には、予め複数種類の０／１のパターン列と、パターン列のそれぞれに対応して指令データが登録されたテーブルが格納される。リモコン信号取得部４０６は、リモコン信号を解析して得られた０／１のパターン列に基づきテーブルを検索して、パターン列に対応付けされた指令データをテーブルから読出す。これにより、受信したリモコン信号が指示する指令データが検出される。ここでは、説明を簡単するために、リモコン信号が指す指令データは、チャンネルの切替を指令するものであると想定する。したがって、合成画像には、指令データが指す切替え先のチャンネル番号の数値（文字）が付加されると想定する。
【００４３】
画像格納部４０２、リモコン信号データ保持部４０３および画像保持部４０４は、メモリ６２４または固定ディスク６２６などの各種メモリに対応する。他の各部の機能は予めプログラムとしてメモリ６２４の所定領域に格納される。ＣＰＵ６２２がメモリ６２４からプログラムを読出し、読出したプログラムの各種命令を実行することにより、各部の機能が実現される。
【００４４】
画像格納部４０２には、画像データは後述する画像作成時刻と関連付けされて格納される。したがって、画像格納部４０２から画像データを読出す場合には、関連付けされた画像作成時刻に従うことで時系列順に読出すことができる。
【００４５】
画像処理部４０１は、取得した画像データに、取得したリモコン信号に基づく情報を付加するように所定プログラムに従って合成処理する。この合成処理は、周知の手順である。例えばmicrosoft（登録商標）社が提供するDrawStringという画像に文字列を描画する処理プログラムを用いることにより画像合成が可能である。合成処理後の画像データに基づく表示画面の一例が図５（Ａ）と（Ｂ）に示される。図５（Ａ）には、カメラ２がテレビ４のモニタ４０の画面を撮影して出力する画像データに、リモコン３からテレビ４に送信されたリモコン信号に基づく指令データが付加された合成画像がディスプレイ６１０に表示された状態が示される。図５（Ａ）の画面では、放送信号に基づく番組の画像に、リモコン信号の指令データが指すチャンネル番号「４ｃｈ」の文字列が合成されている。
【００４６】
図１の画像処理システムでは、コンピュータ１を用いて図５（Ａ）の画像を表示したが、テレビ４がその機能を備えるようにしてもよい。つまり、テレビ４がカメラ２、リモコン信号受信装置５、およびコンピュータ１の機能を兼ね備えてもよい。この場合には、テレビ４がモニタ４０に出力する映像を構成するフレーム単位の画像データをメモリ１０Ｂに格納するとともに、リモコン受信部２６で受信したリモコン信号に基づく指令データも格納する。表示に際しては、ＣＰＵ１０Ａは、メモリ１０Ｂから画像データを読出し、読出した画像データに、メモリ１０Ｂから読出した指令データの文字列を信号処理部２３のＯＳＤ（On Screen Display）機能により重畳し、文字列が重畳にされた合成画像データによる画像をモニタ４０に表示する。この場合のモニタ４０の表示画面の一例が図５（Ｂ）に示される。図５（Ｂ）では、図５（Ａ）と同じく、リモコン信号の指令データが指すチャンネル番号「４ｃｈ」の文字列が合成されている。図５（Ａ）では、図５（Ｂ）の画像とは異なり、カメラ２がモニタ４０の表示画像を撮像して出力した画像であるので、モニタ４０の外枠が表示されている。
【００４７】
図６には、本実施の形態に係る画像処理のフローチャートが示される。図６では、テレビ４は受信する放送信号に基づく映像をモニタ４０に表示している状態において、カメラ２によりモニタ４０の画面を撮影し、リモコン３からリモコン信号の送信の有無が検出されると想定する。
【００４８】
まず、指示入力部４０８からの入力指示に基づき処理が開始されると、画像取得部４０５はカメラ２が出力するテレビ４のモニタ４０を撮影した画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（ステップＳ（以下、単にＳと略す）３）。これにより画像保持部４０４には、フレーム単位で画像データが順次格納される。
【００４９】
リモコン信号取得部４０６は、リモコン信号受信装置５からリモコン信号を入力するか否かを判定する（Ｓ５）。具体的には、リモコン信号受信装置５からリモコン信号の所定のスタートビットが検出されるか否かにより判定する。ここでは、画像データを取得した直後にリモコン信号の受信があるかを判定しているが、連続する画像データの取得の間にリモコン信号の受信があれば、リモコン信号を受信していると判定してもよい。
【００５０】
リモコン信号取得部４０６は、リモコン信号を受信していないと判定すると（Ｓ５でＮＯ）、画像処理部４０１は、画像取得部４０５が取得した画像データを画像保持部４０４から読出し、読出した画像データを画像格納部４０２に格納する（Ｓ９）。
【００５１】
一方、リモコン信号取得部４０６はリモコン信号を受信していると判定すると（Ｓ５でＹＥＳ）、取得したリモコン信号に基づき指令データを検出して画像処理部４０１に出力する。画像処理部４０１は、画像取得部４０５が取得した画像データを画像保持部４０４から読出し、読出した画像データと、リモコン信号取得部４０６から入力した指令データとを合成して、合成後の画像データ（合成画像データという）を画像格納部４０２に格納する（Ｓ９）。
【００５２】
画像格納部４０２には、画像データは画像作成時刻（すなわち、カメラ２の撮像時刻）と関連付けて格納される。合成画像データについても、合成処理の元となった画像データの画像作成時刻が関連付けて格納される。
【００５３】
画像処理部４０１は、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ１１）。終了命令が入力されたと検出されない場合には（Ｓ１１でＮＯ）、処理はＳ３に戻り、以降の処理が終了命令の入力が検出される（Ｓ１１でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われる。
【００５４】
終了命令の入力が検出されると（Ｓ１１でＹＥＳ）、動画作成処理が行われる（Ｓ１３）。
【００５５】
動画作成処理について説明する。画像処理部４０１は画像格納部４０２から画像データ（合成画像データを含む）を画像作成時刻の時系列順に従って読出し、すなわち撮像された順番に従って読出し、時系列順に連続する動画データを作成する（Ｓ１３）。動画データの作成は、自動で開始するとしてもよく、または指示入力部４０８から動画作成命令が入力された場合に行うとしてもよい。作成された動画データは、画像格納部４０２に格納される。指示入力部４０８から再生指示が入力されたときに、画像処理部４０１が画像格納部４０２から読出し、画像出力部４０７に与える。画像出力部４０７は与えられる動画データをディスプレイ６１０に表示する。動画データの表示は、動画データが作成される（Ｓ１３）と自動的に表示されるとしてもよい。
【００５６】
ここでは、動画データの作成時には、予め画像データと指令データの合成画像データが準備されているとしているが、合成画像データは、動画データの作成時に生成されるようにしてもよい。つまり、画像格納部４０２には、合成すべき画像データと指令データを関連付けて格納しておき、動画データ作成時に、画像格納部４０２から読出した画像データと、画像データに関連付けされた指令データを用いて、画像データに指令データに基づく画像（文字、絵など）を付加するように画像合成しながら、動画データを作成するようにしてもよい。
【００５７】
表示される動画の一画面が、たとえば図５（Ａ）に示される。図５（Ａ）では、リモコン３によりテレビ４の受信チャンネルが４ＣＨに切替え操作されたときの表示画像であることが分かる。
【００５８】
図６の処理によれば、リモコン信号が送信されるタイミングにおいて、リモコン信号の指令データが付加された合成画像、あるいは、動画を自動的に作成することができる。
【００５９】
なお、カメラ４が撮影する画像は、静止画または動画である。動画は複数個のフレーム画像（静止画）が連続したものであるから、リモコン信号の指令データを、動画中の、リモコン信号が検出されたタイミングに対応のフレーム画像データに付加するように合成することは容易である。
【００６０】
テレビ４に図６の機能を備えるとした場合には、メモリ１０Ｂに、リモコン信号の０／１のパターン列と指令データを対応付けたテーブルが予め格納される。ＭＰＥＧに従ってエンコードされた動画データは、一旦ＭＰＥＧデコーダ２２によりデコードすることにより連続した静止画として検出される。リモコン受信部２６が受信したリモコン信号の指令データは、メモリ１０Ｂのテーブルを検索することにより取得される。信号処理部２３は検出された静止画（フレーム画像）を入力し、入力したフレーム画像と取得した指令データをＯＳＤにより合成する。これにより、リモコン信号の指令データが合成された動画を得て、モニタ４０に表示することが可能となる。
【００６１】
（他の処理）
図６の処理フローチャートによれば、画像データの取得と並行し、リモコン信号の指令データを用いた画像合成処理が行われるので、画像処理に係る負荷は大きい。そこで、図７の処理フローチャートに示すように画像データの取得の際は、リモコン信号の指令データを用いた画像合成処理は行なわないとしてもよい。つまり、リモコン信号の受信時刻と指令データを関連付けて格納しておき（図１０参照）、画像取得を終了した後に、格納されたリモコン信号の各指令データを、対応するフレームの画像と合成処理すれば、処理の負荷は小さくなる。
【００６２】
図１０（Ａ）と（Ｂ）には、カメラ２から取得されて画像保持部４０４に格納される画像データの情報を格納するテーブルＴＢ１と、受信するリモコン信号に関する情報を格納するテーブルＴＢ２の一例が示される。テーブルＴＢ１とＴＢ２は画像保持部４０４とリモコン信号データ保持部４０３それぞれに格納される。
【００６３】
図１０（Ａ）を参照してテーブルＴＢ１には、画像保持部４０４の所定領域にファイル形式で格納されるフレーム単位の画像データのそれぞれに関連付けて、当該画像データの画像ファイル名のデータＤ１と、画像データのファイルが格納された、すなわち作成された時刻を指すデータＤ２とが格納される。カメラ２から撮影画像を画像ファイルとして取得するとした場合、通常、画像ファイルは画像作成時刻＝撮影時刻の情報を有するので、画像ファイルからデータＤ２の情報を取得するとしてもよい。
【００６４】
図１０（Ｂ）を参照してテーブルＴＢ２には、受信したリモコン信号のそれぞれに関連付けて、０／１のパターン列のデータＤ３と、受信開始時刻および終了時刻のデータＤ４とＤ５が格納される。データＤ２、Ｄ４およびＤ５はタイマ６９１の計時データに基づき取得される。データＤ４は、リモコン信号の所定のスタートビットを検出した時刻を指し、データＤ５はリモコン信号の所定の終了ビットを検出した時刻を指す。
【００６５】
図７を参照して、画像取得部４０５は、カメラ２から出力される画像データを取得する（Ｓ２１）。画像取得部４０５は、取得した画像データを画像ファイルとして画像保持部４０４の所定領域に格納する。また、画像ファイルのファイル名のデータＤ１と、画像作成時刻のデータＤ２を関連付けてテーブルＴＢ１に格納する。
【００６６】
リモコン信号取得部４０６は、リモコン信号受信装置５から入力する信号に基づきリモコン信号を受信しているかを判定する（Ｓ２３）。受信していると判定すれば（Ｓ２３でＹＥＳ）、受信したリモコン信号の０／１のパターン列を検出して、検出したパターン列をデータＤ３としてテーブルＴＢ２に格納する（Ｓ２５）。このとき、タイマ６９１の計時データに基づき、データＤ４とＤ５も関連付けて格納される。
【００６７】
指示入力部４０８を介して処理の終了命令が入力されるか否かを判定する（Ｓ２７）。入力されたと判定されないとき（Ｓ２７でＮＯ）、処理はＳ２１に戻り、以降の処理が同様に繰返される。
【００６８】
終了命令が入力されたと判定されると（Ｓ２７でＹＥＳ）、自動的に引き続いて、あるいは、処理命令があった場合に、リモコン信号の指令データを用いた画像合成処理を行う。テーブルＴＢ２には、データＤ３は、受信した順番に従って格納されていると想定する。
【００６９】
まず、画像処理部４０１は、全ての画像ファイルを画像保持部４０４から読出したかを判定する（Ｓ２９）。読出していないと判定すると（Ｓ２９でＮＯ）、テーブルＴＢ１を検索して、データＤ２の時系列の順番に（取得した画像データの順に）関連付けされたデータＤ１を読出し、読出したデータＤ１の画像ファイル名に基づき画像保持部４０４の所定領域を検索して、関連付けされる画像データ（画像ファイル）を読出す。
【００７０】
次に、読出したデータＤ１に関連付けされたデータＤ２をテーブルＴＢ１から読出し、データＤ３それぞれに関連付けされたデータＤ４とＤ５をテーブルＴＢ２から読出す。そして、データＤ２の画像作成時刻と各データＤ３のデータＤ４とＤ５が指す受信開始〜終了までの期間を指す受信時刻とを比較する。比較結果に基づき、所定条件が成立するかを判定する。すなわち、当該作成時刻が受信時刻と等しい、すなわち作成時刻が受信開始〜終了までの期間内の時刻を指すの条件が成立すると判定すると（Ｓ３５でＹＥＳ）、関連付けされたデータＤ３が指すビット列に対応の指令データと、Ｓ３３で読出された画像データとは合成処理されて（Ｓ３７）、合成画像は画像格納部４０２に格納される（Ｓ３９）。
【００７１】
一方、画像データの作成時刻が受信開始〜終了までの期間内の時刻を指すとの条件が成立しないと判定すると（Ｓ３５でＮＯ）、Ｓ３３で読出された画像データは、そのまま画像格納部４０２に格納される（Ｓ３９）。
【００７２】
Ｓ３９の処理後は、Ｓ２９の処理に戻り、テーブルＴＢ１の次位のデータＤ１が指す画像ファイルについて以降の処理が同様に行われる。
【００７３】
画像合成に用いられたデータＤ３が指す指令データは、以降では使用されない。
テーブルＴＢ２のデータＤ１が指す画像ファイルの全てについて、図７の処理が終了すると（Ｓ２９でＹＥＳ）、自動的に、あるいは、指示入力部４０８から処理命令が入力された場合に、画像処理部４０１は画像格納部４０２から読出した画像データ（合成画像データを含む）を、関連付けされたデータＤ２の画像作成時刻の順番に従って動画作成処理が行われる（Ｓ３１）。作成された動画像データは画像格納部４０２に格納されるとともに、画像出力部４０７を介してディスプレイ６１０に表示される。
【００７４】
図７では、データＤ２が指す画像作成時刻がリモコン信号の受信時刻に該当した場合に（Ｓ３５でＹＥＳ）、画像合成処理を行うとしているが、画像作成時刻がリモコン信号の受信時刻に最も近い画像に当該リモコン信号の指令データを付加する合成処理を施すとしてもよい。この場合、リモコン信号の受信開直前に取得した画像データに、リモコン信号の指令データが付加されることもある。
【００７５】
（さらなる他の処理）
本実施の形態では、リモコン信号を受信したタイミングの画像、動画のフレームを再生する際に、指令データを表示する例が示される。
【００７６】
フレーム単位の画像または動画の取得時は、上述の実施の形態１の他の処理のように、図１０の態様に従って、画像データの情報とリモコン信号の情報とを関連付けて格納しておく。その後の画像再生表示モード時には、再生される画像に指令データを関連付けて表示する。これにより、合成画像を作成しないので、記憶装置への負荷が軽減できる。
【００７７】
図８のフローチャートを参照して、再生表示モード時には、画像あるいは動画の各フレームのデータを画像保持部４０４からフレーム単位で読出す（ステップＴ３）。読出された画像データを表示する際に、各画像あるいはフレームについて図７のステップＳ３５と同様の条件成立の判定処理を行い（ステップＴ４）、条件が成立すると判定した際には（ステップＴ４でＹＥＳ）、指令データを関連付けて画像、あるいはフレームを表示し（ステップＴ５）、成立しないと判定する際には（ステップＴ４でＮＯ）、読出した画像またはフレームのみを表示する（ステップＴ６）。図８の処理は、画像の読出しが終了するまで繰返される。
【００７８】
ステップＴ５の表示例が、図９に示される。図９（Ａ）と（Ｂ）では、ＯＳＤ表示により画像またはフレームにリモコン信号のデータが重畳表示される。また図９（Ｃ）のように画像または動画表示ビューワと、リモコン信号の文字表示ビューワとで別々に表示してもよい。
【００７９】
図９（Ａ）〜（Ｃ）では、画像データを表示する際に、リモコン信号による指令データが付加されて、または相互に関連付けて表示されるが、取分け、図９（Ａ）では、当該画像データと指令データとが同期するようにして、すなわち同じ時期に表示され、図９（Ｂ）では相互に重ね合わせて表示され、図９（Ｃ）では同一画面の異なる領域（ビューワ領域）において表示タイミングを同期させて、または表示タイミングをずらして表示される。
【００８０】
＜第２の実施形態＞
第１の実施の形態では、フレーム単位で画像を取得する際にリモコン信号を受信した場合に限り、リモコン信号の指令データを用いた合成画像を作成される。そのため、リモコン信号の指令データが付加された画像を連続的に切り替えて視聴する場合や、画像を用いて作成した動画を視聴した際、リモコン信号の指令データはたとえばフレーム単位という短時間しか表示されず、オペレータは合成画像および合成された指令データを確認するのが容易ではない。つまり、図１１では（Ａ）→（Ｂ）→（Ｃ）の順番に、フレーム単位で連続して画像が表示（動画表示）されるが、リモコン信号が受信された瞬間に取得した画像（図１１（Ｂ）参照）にのみ指令データ（“４ＣＨ”）が表示されるので、指令データを確認するのが容易ではない。
【００８１】
そこで、本実施の形態では、確認を容易ならしめるように、取得した画像とともにリモコン信号の指令データを連続的に表示する。つまり、図１１（Ａ）〜（Ｃ）の画像を、図１２（Ａ）〜（Ｃ）のように指令データが複数フレームにわたって連続表示されるようにする。
【００８２】
図１３には第２の実施の形態に係る画像処理フローチャートが示される。図１３では、テレビ４は受信する放送信号に基づく映像をモニタ４０に表示している状態において、カメラ２によりモニタ４０の画面を撮影し、リモコン３からリモコン信号が送信されると想定する。この状態において、処理が開始される。
【００８３】
ここでは、リモコン信号取得部４０６は、リモコン信号受信装置５から入力するリモコン信号の情報を一時的に格納する内部バッファを有する。
【００８４】
指示入力部４０８からの入力指示に基づき処理が開始されると、リモコン信号取得部４０６は、内部バッファを、たとえば空データを格納して初期化する（Ｓ４３）。
【００８５】
画像取得部４０５はカメラ２が出力するテレビ４のモニタ４０を撮影した画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（Ｓ４５）。これにより画像保持部４０４には、フレーム単位で画像データが順次格納される。
【００８６】
リモコン信号取得部４０６は、リモコン信号を受信するか否かを判定する（Ｓ４７）。リモコン信号を受信していないと判定すると（Ｓ４７でＮＯ）、処理はステップＳ５１の処理に移行する。リモコン信号取得部４０６は、リモコン信号を受信していると判定すると（Ｓ４７でＹＥＳ）、受信したリモコン信号の指令データを内部バッファに書込み、内部バッファのデータを更新する（Ｓ４９）。その後、処理はステップＳ５１に移行する。
【００８７】
ステップＳ５１では、画像処理部４０１は、画像取得部４０５が取得した画像データを画像保持部４０４から読出し、読出した画像データに、リモコン信号取得部４０６の内部バッファのデータ（空データ、またはＳ４７で受信したリモコン信号の指令データ）を付加する画像合成処理を行い、合成画像データを画像格納部４０２に格納する。
【００８８】
次に、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ５３）。終了命令が入力されたと検出されない場合には（Ｓ５３でＮＯ）、処理はＳ４５に戻り、以降の処理が終了命令の入力が検出される（Ｓ５３でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われながら、リモコン信号が受信される毎に、画像取得部４０５の内部バッファの値は、当該リモコン信号の指令データを指すように更新される。
【００８９】
終了命令の入力が検出されると（Ｓ５３でＹＥＳ）、画像処理部４０１は画像格納部４０２から画像データ（合成画像データを含む）を読出し、動画作成処理を行う（Ｓ５５）。
【００９０】
作成された動画の表示画面例が、図１２（Ａ）〜（Ｃ）に示される。図１２（Ａ）の画面は、リモコン信号取得部４０６の内部バッファが初期化された直後（リモコン信号未受信）であるので、画像には指令データは何も付加されていない。その後は、リモコン信号が受信されて内部バッファは更新されるので、内部バッファの指令データに基づき“４ＣＨ”を表示する合成画像が表示される（図１２（Ｂ），（Ｃ）参照）。
【００９１】
図１３の画像処理のフローチャートによれば、リモコン信号が受信される毎に、次のリモコン信号が受信されるまでの期間において取得された画像データそれぞれは、当該受信リモコン信号が指す同一の指令データが付加されるよう合成処理される。このため、取得した画像をスライドショーのように連続的に切り替えて表示して視聴する場合や、作成された動画データを再生して視聴する際に、リモコン信号の指令データは複数フレームにわたって連続して表示されるので、オペレータはリモコン信号による指令データを容易に確認できる。
【００９２】
（他の処理）
図１４の画像処理フローチャートを参照して、画像データおよびリモコン信号の取得と、画像データとリモコン信号の指令データの合成処理とを別々に行う場合の処理手順を説明する。
【００９３】
ここでは、カメラ２から取得されて画像保持部４０４に格納される画像データの情報を格納するテーブルＴＢ１（図１０（Ａ）参照）と、受信するリモコン信号に関する情報を格納する図１５のテーブルＴＢ３が参照される。テーブルＴＢ１は画像保持部４０４に格納され、テーブルＴＢ３はリモコン信号データ保持部４０３に格納される。
【００９４】
図１５を参照してテーブルＴＢ３には、受信したリモコン信号のそれぞれに関連付けて、指令データＤＤ３と、受信開始時刻および終了時刻のデータＤ４とＤ５が格納される。
【００９５】
図１４を参照して、まず、指示入力部４０８からの入力指示に基づき処理が開始されると、リモコン信号取得部４０６は、テーブルＴＢ３に空データを格納して初期化する（Ｓ６１）。
【００９６】
画像取得部４０５はカメラ２が出力する撮影画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（Ｓ６３）。これにより画像保持部４０４の所定領域にはフレーム単位で画像データが順次格納されるとともに、テーブルＴＢ１には対応する画像ファイル名のデータＤ１と画像作成時刻のデータＤ２が関連付けされて格納される。
【００９７】
リモコン信号取得部４０６は、リモコン信号を受信するか否かを判定する（Ｓ６５）。リモコン信号を受信していないと判定すると（Ｓ６５でＮＯ）、処理はステップＳ６９に移行する。リモコン信号取得部４０６は、リモコン信号を受信していると判定すると（Ｓ６５でＹＥＳ）、受信したリモコン信号の指令データをテーブルＴＢ３のデータＤＤ３として格納し、同時に、受信開始および終了の時刻のデータＤ４とＤ５を関連付けて格納する（Ｓ６７）。
【００９８】
次に、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ６９）。終了命令が入力されたと検出されない場合には（Ｓ６９でＮＯ）、処理はＳ６３に戻り、以降の処理が終了命令の入力が検出される（Ｓ６９でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われながら、リモコン信号が受信される毎に、受信したリモコン信号のデータＤＤ３、Ｄ４およびＤ５がテーブルＴＢ３に追加して格納される。
【００９９】
終了命令の入力が検出されると（Ｓ６９でＹＥＳ）、ステップＳ７１において、画像処理部４０１は、画像合成に用いるリモコン信号の指令データを一時的に格納するための内部バッファをたとえば空データを格納することにより初期化する。このとき、次に受信されたリモコン信号の受信開始時刻がセットされるべき変数（以下、次位時刻変数という）に、テーブルＴＢ３を検索して読出した、最初に受信したリモコン信号のデータＤＤ３の時刻を設定する。
【０１００】
画像処理部４０１は、テーブルＴＢ１から全ての画像ファイル名のデータＤ１が読出されたかを判定する（Ｓ７３）。全て読出されたと判定すると（Ｓ７３でＹＥＳ）、自動的に、あるいは、命令があった場合に、処理はＳ８３に移行するが、読出されていないと判定すると処理はステップＳ７５に移行する。
【０１０１】
ステップＳ７５では、テーブルＴＢ１から読出したデータＤ１が指す画像ファイル名に基づき、画像保持部４０４の所定領域を検索して、対応する画像データを読出す。また、テーブルＴＢ１からは、対応するデータＤ２を読出す。
【０１０２】
画像処理部４０１は、読出されたデータＤ２の画像作成時刻と、次位時刻変数が指すリモコン信号の受信開始時刻とを比較する。比較結果に基づき、所定条件が成立するかを判定する。つまり、画像作成時刻は次位の受信開始時刻よりも後の時刻であるとの条件が成立すると判定すると（Ｓ７７でＹＥＳ）、テーブルＴＢ３を検索して、次位時刻変数の受信開始時刻のデータＤ２に関連付けされたデータＤＤ３を読出し、内部バッファに格納する（Ｓ７９）。そして、内部バッファから読出したデータＤＤ３が指す指令データとＳ７５で読出した画像データとを合成処理し、生成された合成画像データを、画像格納部４０２に格納する（Ｓ８１）。
【０１０３】
一方、画像処理部４０１は、読出されたデータＤ２の画像作成時刻と、次位時刻変数が指すリモコン信号の受信開始時刻との比較結果に基づき、画像作成時刻は次位の受信開始時刻と同じか、または以前の時刻を指すと判定すると（Ｓ７７でＮＯ）、内部バッファの指令データは更新されないので（Ｓ７９をパス）、内部バッファに前回格納された指令データと、Ｓ７５で読出した画像データとが合成処理されて、合成画像データが画像格納部４０２に格納される（Ｓ８１）。
【０１０４】
ステップＳ８１の処理が終了後は、処理はＳ７３に戻り、テーブルＴＢ１の次位のデータＤ１が指す画像データについて以降の処理が同様に行われる。
【０１０５】
ステップＳ８３では、画像格納部４０２から画像データ（合成画像データを含む）を画像データ作成時刻の順番に読出し、動画作成処理が行われる。
【０１０６】
図１６（Ａ）〜（Ｆ）には、図１４の画像処理による動画像の生成の具体例が示される。テーブルＴＢ３に図１５のようにデータが格納されたと想定して場合において、図１６では、左側に画像取得部４０５が取得する画像データ１００と、当該画像データ１００の画像作成時刻のデータＤ２が対応付けて示される。右側には、図１５のテーブルＴＢ３に基づく画像データ１００の取得に並行して受信されるリモコン信号の指令データＤＤ３と受信開始時刻のデータＤ４が対応付けて示される。また右側にはＳ８１で生成される合成画像データ１０１が示される。
【０１０７】
図１６（Ａ）〜（Ｆ）に示されるように、今回リモコン信号が受信開始された時刻から、次のリモコン信号が受信開始される時刻までの期間において取得された画像データ１００の全ては、今回受信されたリモコン信号の指令データを付加する画像合成処理がされて合成画像データ１０１が生成される。
【０１０８】
図１６（Ｂ）〜図１６（Ｄ）までの期間に取得する画像データ１００については、図１６（Ｂ）の画像データ１００を取得する前に受信したリモコン信号による指令データＤＤ３（“ＣＨ４”）が合成された画像データ１０１が生成される。図１６（Ｄ）の画像取得後であって図１６（Ｅ）の画像取得前に次のリモコン信号が受信されたので、図１６（Ｅ）以降の期間に取得する画像データ１００については、次のリモコン信号の指令データＤＤ３（“ＣＨ８”）が合成された画像データ１０１が生成される。
【０１０９】
これにより、リモコン信号が受信される毎に、次位のリモコン信号が受信されるまでの期間では、今回受信したリモコン信号の指令データによる合成画像が表示される。したがって、オペレータはリモコン３から送信されている指令データを容易に確認することができる。
【０１１０】
（さらなる他の処理）
ここでは、フレーム単位の画像または動画の取得時は、画像データの情報とリモコン信号の情報とを関連付けて格納しておき、その後の画像再生表示モード時には、図１７のフローチャートに従って、再生される画像に指令データを関連付けて表示する。これにより、合成画像を作成しないので、記憶装置への負荷が軽減できる。
【０１１１】
図１７のフローチャートを参照して、画像あるいは動画の各フレームのデータを画像保持部４０４からフレーム単位で読出す（ステップＴ７）。読出された画像データを表示する際に、各画像あるいはフレームについて図１４のステップＳ７７と同様の条件成立の判定処理を行い（ステップＴ９）、条件が成立すると判定した際には（ステップＴ９でＹＥＳ）、リモコン信号のバッファを更新し（ステップＴ１１）、成立しないと判定する際には（ステップＴ９でＮＯ）、読出した画像またはフレームにリモコン信号を関連付けて表示する（ステップＴ１３）。図１７の処理は、画像の読出しが終了するまで繰返される。表示例は、図９（Ａ）〜（Ｃ）に示される。
【０１１２】
＜第３の実施の形態＞
第２の実施の形態では、リモコン信号が受信されると、それ以降に取得した画像データ全てに（図１８（Ａ）〜（Ｃ）を参照）、当該リモコン信号の指令データが付加されて表示されることになるため、指令データが長い期間表示され、わずらわしい場合もある。そこで、本実施の形態では、リモコン信号を受信すると、受信したタイミング以降の一定期間内に取得した画像データにのみリモコン信号の指令データを付加する。つまり、図１９（Ａ）と（Ｂ）の一定期間に取得した画像データにのみ指令データが表示されるようにし、一定期間終了後に取得された図１９（Ｃ）の画像データでは表示されないようにする。これにより、合成画像を用いた動画像の表示時には、指令データが必要以上に長い期間表示されることはなくなり、オペレータは、画像データとの関連付けによりリモコン３が操作されたタイミング（指令データの切替えタイミング）を容易に特定することができる。
【０１１３】
図２０には第３の実施の形態に係る画像処理フローチャートが示される。図２０では、テレビ４は受信する放送信号に基づく映像をモニタ４０に表示している状態において、カメラ２によりモニタ４０の画面を撮影し、リモコン３からリモコン信号が送信されると想定する。この状態において、処理が開始される。
【０１１４】
ここでは、リモコン信号取得部４０６は、リモコン信号受信装置５から入力するリモコン信号を一時的に格納する内部バッファを有する。
【０１１５】
指示入力部４０８からの入力指示に基づき処理が開始されると、リモコン信号取得部４０６は、内部バッファを、たとえば空データを格納して初期化する（Ｓ９１）。
【０１１６】
画像取得部４０５はカメラ２が出力するテレビ４のモニタ４０を撮影した画像データをフレーム単位の静止画で入力し、画像保持部４０４に出力する（Ｓ９３）。これにより画像保持部４０４には、フレーム単位で画像データが順次格納される。
【０１１７】
リモコン信号取得部４０６は、リモコン信号を受信するか否かを判定する（Ｓ９５）。リモコン信号を受信していないと判定すると（Ｓ９５でＮＯ）、処理はステップＳ９９に移行する。リモコン信号取得部４０６は、リモコン信号を受信していると判定すると（Ｓ９５でＹＥＳ）、受信したリモコン信号の指令データと受信開始時刻を内部バッファに書込み、内部バッファのデータを更新する（Ｓ９７）。その後、処理はステップＳ９９に移行する。
【０１１８】
ステップＳ９９では、所定条件が成立するかを判定する。つまり、画像処理部４０１は、タイマ６９１の計時データに基づき、内部バッファから読出したリモコン信号の受信開始時刻から一定時間が経過したか否かを判定する（Ｓ９９）。経過していないと判定すると（Ｓ９９でＮＯ）、Ｓ９３で取得した画像データと内部バッファから読出した指令データとを合成処理し、合成画像データを画像格納部４０２に格納する（Ｓ１０３）。一方、経過していると判定すると（Ｓ９９でＹＥＳ）、Ｓ９３で取得した画像データを合成処理せずに、そのまま画像格納部４０２に格納する（Ｓ１０３）。
【０１１９】
画像が格納されると、指示入力部４０８から処理の終了命令が入力されるかを検出する（Ｓ１０５）。終了命令が入力されたと検出されない場合には（Ｓ１０５でＮＯ）、処理はＳ９３に戻り、以降の処理が終了命令の入力が検出される（Ｓ１０５でＹＥＳ）まで繰り返される。つまり、連続的に画像データの取得が行われながら、リモコン信号が受信される毎に、リモコン信号の受信開始時刻から一定期間において取得される画像データには、当該リモコン信号の指令データが付加されるように画像合成処理が行われる。
【０１２０】
終了命令の入力が検出されると（Ｓ１０５でＹＥＳ）、画像処理部４０１は画像格納部４０２から画像データ（合成画像データを含む）を読出し、動画作成処理を行う（Ｓ１０７）。
【０１２１】
これにより、リモコン信号を受信開始したタイミング以降、一定期間内に取得した画像データのみにリモコン信号の指令データが付加されて表示されるので、オペレータは動画が表示された場合に、どのタイミングでリモコン３が操作されたかを画像データと関連付けて確認できる。
【０１２２】
（他の処理）
図２１の画像処理フローチャートを参照して、画像データおよびリモコン信号の取得と、画像データとリモコン信号の指令データの画像合成処理とを別々に行う場合を説明する。
【０１２３】
図２１のステップＳ１１１〜Ｓ１２１およびＳ１３５の処理は、図１４のステップＳ６３〜Ｓ７３およびＳ８３の処理と同様である。また、図２１のＳ１２３〜Ｓ１２７の処理は、図１４のＳ７５〜Ｓ７９の処理と同様である。
【０１２４】
図２１では、ステップＳ１２９において、ステップＳ１２３で読出した画像データの画像作成時刻が、内部バッファに格納されたリモコン信号の受信開始時刻から一定時間経過した時刻よりも後の時刻を指すか否かを判定する。
【０１２５】
一定時間よりも後の時刻を指さない、すなわちリモコン信号の受信開始時刻から一定時間内に取得された画像データであると判定されると（Ｓ１２９でＮＯ）、画像データとリモコン信号の指令データとで画像合成処理が行われて（Ｓ１３１）、合成画像データは画像格納部４０２に格納される（Ｓ１３３）。一方、一定時間よりも後の時刻を指す、すなわちリモコン信号の受信開始時刻から一定時間経過した後に取得された画像データであると判定されると（Ｓ１２９でＹＥＳ）、画像合成処理は行われずに、画像データはそのまま画像格納部４０２に格納される（Ｓ１３３）。
【０１２６】
図２３（Ａ）〜（Ｆ）には、本実施の形態の画像処理による動画像の生成の具体例が示される。テーブルＴＢ３に図２２のようにデータが格納されたと想定した場合において、図２３では、左側に画像取得部４０５が取得する画像データ１００と、当該画像データ１００の画像作成時刻のデータＤ２が対応付けて示される。右側には、図２２のテーブルＴＢ３に基づく画像データ１００の取得に並行して受信されるリモコン信号の指令データＤＤ３と受信開始時刻のデータＤ４が対応付けて示される。また右側には動画を構成する画像データ１０１が示される。図２３のデータＲＳＴは、受信したリモコン信号の指令データＤＤ３と受信開始時刻の組を指す。
【０１２７】
図２３（Ａ）〜（Ｆ）に示されるように、今回リモコン信号が受信開始された時刻から、次のリモコン信号が受信開始される時刻までの期間において取得された画像データ１００のうち、受信開始時刻から一定時間（ここでは、たとえば３秒間）において取得された画像データ１００には今回受信されたリモコン信号の指令データを付加する画像合成処理がされて画像データ１０１が生成される。
【０１２８】
図示されるように、“ＣＨ４”を指す指令データＤＤ３のリモコン信号の受信開始時刻から３秒間のうちに取得した画像データ１００については画像合成処理が行われることがわかる（図２３（Ｂ）〜図２３（Ｃ）を参照）。
【０１２９】
これにより、リモコン信号が受信される毎に、リモコン信号の受信開始時刻から一定期間内に取得した画像データについて、受信したリモコン信号の指令データによる合成画像を取得できる。
【０１３０】
（表示態様の変更）
上述の実施の形態では、リモコン信号の受信開始時刻から一定時間の間に取得された画像にのみリモコン信号の指令データを付加するとしたが、図２４（Ａ）〜（Ｃ）のようにしてもよい。つまり、今回のリモコン信号の受信開始時刻から次のリモコン信号の受信開始時刻までの期間内に取得された画像データのうち、今回のリモコン信号受信開始時刻から一定時間の間に取得された画像データに付加する指令データと、一定時間経過後に取得された画像データに付加する指令データとでは、表示態様を異ならせるよう画像合成処理をしてもよい。図２４（Ａ）と（Ｂ）の、一定時間の間に取得された画像データに付加される指令データの文字は、図２４（Ｃ）の一定時間経過後に取得される画像データに付加される指令データの文字よりも太字、斜体かつ下線付きの強調表示の態様としている。
【０１３１】
図２４のように表示態様を切替えるための画像処理フローチャートを図２５に示す。図２５のステップＳ１４３〜Ｓ１４９、Ｓ１５７およびＳ１５９の処理は、図２０のステップＳ９１〜Ｓ９７、Ｓ１０５およびＳ１０７の処理と同様である。
【０１３２】
図２５のステップＳ１５１では、所定条件が成立するかを判定する。つまり、画像処理部４０１は、タイマ６９１の計時データに基づき、内部バッファから読出したリモコン信号の受信開始時刻から一定時間が経過したか否かを判定する（Ｓ１５１）。経過していないと判定すると（Ｓ１５１でＮＯ）、Ｓ１４５で取得した画像データと内部バッファから読出した指令データとを図２４（Ａ）と（Ｂ）に示したように強調表示されるよう合成処理し、合成画像データを画像格納部４０２に格納する（Ｓ１５５）。一方、一定時間が経過していると判定すると（Ｓ１５１でＹＥＳ）、Ｓ１４５で取得した画像データと内部バッファから読出した指令データとを強調表示することなく合成処理し、合成画像データを画像格納部４０２に格納する（Ｓ１５３）。
【０１３３】
このような表示態様の変更処理は、取得した画像データの画像再生表示モード時においても適用することができる。
【０１３４】
（さらなる他の処理）
図２６の画像処理フローチャートを参照して、画像データおよびリモコン信号の取得と、画像データとリモコン信号の指令データの画像合成処理とを別々に行う場合を説明する。
【０１３５】
図２６のステップＳ１６１〜Ｓ１７１およびＳ１８５の処理は、図２１のステップＳ１１１〜Ｓ１２１およびＳ１３５の処理と同様である。また、図２５のＳ１７３〜Ｓ１７７の処理は、図２１のＳ１２３〜Ｓ１２７の処理と同様である。
【０１３６】
図２５では、ステップＳ１７９において、ステップＳ１７３で読出した画像データの画像作成時刻が、内部バッファに格納されたリモコン信号の受信開始時刻から一定時間経過した時刻よりも後の時刻を指すか否かを判定する。
【０１３７】
一定時間よりも後の時刻を指さない、すなわちリモコン信号の受信開始時刻から一定時間内に取得された画像データであると判定されると（Ｓ１７９でＮＯ）、画像データとリモコン信号の指令データとは強調表示がされるように画像合成処理が行われて、合成画像データは画像格納部４０２に格納される（Ｓ１８３）。一方、一定時間よりも後の時刻を指す、すなわちリモコン信号の受信開始時刻から一定時間経過した後に取得された画像データであると判定されると（Ｓ１７９でＹＥＳ）、強調表示は伴わない画像合成処理が行われて、合成画像データは画像格納部４０２に格納される（Ｓ１８１）。このように合成画像データが画像格納部４０２に格納されると、処理はステップＳ１７１に戻り、以降の処理が次の画像データについて同様に行われる。
【０１３８】
（さらなる他の処理）
ここでは、フレーム単位の画像または動画の取得時は、画像データの情報とリモコン信号の情報とを関連付けて格納しておき、その後の画像再生表示時には、図２７のフローチャートに従って、再生される画像に指令データを関連付けて表示する。これにより、合成画像を作成しないので、記憶装置への負荷が軽減できる。
【０１３９】
図２７のフローチャートを参照して、画像再生表示モード時には、画像あるいは動画の各フレームのデータを画像保持部４０４からフレーム単位で読出す（ステップＴ１５）。読出された画像データを表示する際に、各画像あるいはフレームについて図２１のステップＳ１２５〜Ｓ１２９と同様の条件成立の判定を含む処理を行い（ステップＴ１７〜Ｔ２１）、条件が成立するか否かの判定結果に従って、読出した画像またはフレームにリモコン信号を関連付けて表示するか（ステップＴ２５）、単に画像またはフレームのみを表示する（ステップＴ２３）。図２７の処理は、画像の読出しが終了するまで繰返される。
【０１４０】
または図２６の処理と同様に、画像時刻がリモコン信号受信後一定時間内の画像には指令データを関連付けて表示する際において、指令データを異なる態様で表示するようにしてもよい。
【０１４１】
（第４の実施の形態）
上述の各実施の形態では、画像データに付加するリモコン信号の指令データについて、付加する位置や、指令データの文字の色などについて特に言及していないが、カメラ２の位置や、撮影対象であるテレビ４の状態によっては、画像処理部４０１は画像合成処理において付加する位置や文字の色などを変更する必要がある。
【０１４２】
たとえば、カメラ２の撮像画像の左下に撮影対象の物体（テレビ４）が写っている場合、テレビ４の画像と指令データの文字が重なるのを回避するために、指令データは撮影画像中の別の位置に付加するのが望ましい。この場合、情報を付加する位置を調整するか、カメラ２の位置を調整して撮影する必要がある。
【０１４３】
また、付加する指令データの文字の色と、画像データ中の指令データが付加されるべき部分の色が同じ場合には、指令データの文字を判別し難い。この場合、情報を付加する位置を調整するか、文字の色を調整する必要がある。
【０１４４】
このような問題に対応するためには、画像合成処理により合成画像においては、撮影画像の表示領域である撮影部分ＥＡと指令データが付加されるように表示される領域である拡張部分ＥＢとに区分し、撮影部分ＥＡには、撮影された画像データを配置し、拡張部分ＥＢには指令データに基づく文字などを配置する。これにより、図２８の合成画像を図２９のような合成画像に変更することができる。
【０１４５】
また、以上の説明では、取得画像全てを対象として、リモコン信号の指令データを付加する画像合成処理や、動画作成を行うとしたが、全てを対象としなくてもよい。すなわち、指示入力部４０８を介して予め指定された時間期間を指す画像作成時刻のデータＤ２に関連付けされたデータＤ１の画像ファイル名で指示される画像データを対象として、指令データを付加する画像合成処理を行い、また、動画作成を行うとしてもよい。
【０１４６】
また、以上の説明では、画像データに付加されるべき所定情報は、リモコン信号の指令データとしているが、これに限定されない。たとえば、定型文字列や他の画像などの所定情報をメモリ６２４に予め格納しておき、指示入力部４０８から指示が入力されたときには、画像処理部４０１はメモリ６２４から所定情報を読出し、取得した画像データに付加する画像合成処理を行うとしてもよい。
【０１４７】
また、所定情報はメモリ６２４に予め格納されるものに限定されず、指示入力部４０８から入力されるとしてもよい。
【０１４８】
（第５の実施の形態）
以上説明した処理機能を有したシステムは、プログラムで実現される。このプログラムはコンピュータで読取可能な記録媒体に格納される。
【０１４９】
本実施の形態では、この記録媒体として、図３に示されているコンピュータ１で処理が行なわれるために必要なメモリ、たとえばメモリ６２４のようなそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭ駆動装置６４０などのプログラム読取装置が設けられ、そこに記録媒体であるＣＤ−ＲＯＭ６４２が挿入されることで読取可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはＣＰＵ６２２がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムが一旦読出されて、読出されたプログラムは、図３の所定のプログラム記憶エリアにロードされて、ＣＰＵ６２２により読出されて実行される方式であってもよい。
【０１５０】
ここで、上述したプログラムメディアはコンピュータ１本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、ＦＤ６３０や固定ディスク６２６などの磁気ディスクやＣＤ−ＲＯＭ６４２／ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable and Programmable ＲＯＭ）、ＥＥＰＲＯＭ(Electrically ＥＰＲＯＭ)、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１５１】
また、本実施の形態においては、コンピュータ１はインターネットを含む通信回線３００と通信インターフェィス６８０を介して接続可能な構成が採用されているから、これら通信回線３００からプログラムがダウンロードされることで流動的にプログラムを担持する媒体であってもよい。
【０１５２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１５３】
１ コンピュータ、２ カメラ、３ リモコン、４ テレビ、５ リモコン信号受信装置、４０１ 画像処理部、４０２ 画像格納部、４０３ リモコン信号データ保持部、４０４ 画像保持部、４０５ 画像取得部、４０６ リモコン信号取得部、４０７ 画像出力部、４０８ 指示入力部。
【特許請求の範囲】
【請求項１】
画像データを取得する画像取得手段と、
所定情報を取得する情報取得手段と、
取得した前記所定情報を、取得した前記画像データに付加する画像処理手段と、を備える画像処理装置。
【請求項２】
前記画像取得手段は、
前記画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、
前記情報取得手段は、
前記所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、
前記画像処理手段は、
前記第１時刻と前記第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した前記第１時刻に関連付けて取得された前記画像データに、前記所定情報を付加する、請求項１に記載の画像処理装置。
【請求項３】
前記所定条件は、
前記第２時刻と前記第１時刻とは等しいという条件である、請求項２に記載の画像処理装置。
【請求項４】
前記所定条件は、
前記第２時刻は、前記第１時刻よりも前の時刻を指すという条件である、請求項２に記載の画像処理装置。
【請求項５】
前記画像取得手段は、
複数個の前記画像データのそれぞれを、当該画像データを取得したときを指す前記第１時刻と関連付けて取得し、
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻に最も近い時刻を指す前記第１時刻が関連付けされた前記画像データに、前記所定情報を付加する、請求項２に記載の画像処理装置。
【請求項６】
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻よりも後の時刻であって最も早い時刻を指す前記第１時刻が関連付けされた前記画像データに、前記所定情報を付加する、請求項５に記載の画像処理装置。
【請求項７】
前記情報取得手段は、
取得した前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が前記画像データを取得したとき、前記格納部に格納されている前記所定情報を読出し、読出した前記所定情報を、取得した前記画像データに付加する、請求項１に記載の画像処理装置。
【請求項８】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が取得する前記画像データの取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示するときは、当該画像データに前記格納部に格納されている前記所定情報を読出し付加する、請求項１に記載の画像処理装置。
【請求項９】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データには、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を付加する、請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データには、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように付加する、請求項９に記載の画像処理装置。
【請求項１１】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
前記画像処理手段は、
前記画像取得手段による取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示する前記画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データには、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように付加する、請求項１に記載の画像処理装置。
【請求項１２】
前記所定表示態様は、
前記所定情報が指示する文字の線幅、文字の傾きおよび文字の色のいずれかにより指示される、または、それらの組合わせによる指示される、請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記情報取得手段は、
前記所定情報を外部操作により入力する、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１４】
前記所定情報は、リモコン信号に基づく情報を指し、
前記画像データは、前記リモコン信号により操作される被操作対象を撮像した画像を指す、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１５】
前記所定情報は、リモコン信号に基づく情報を指し、
前記リモコン信号により操作される被操作対象は画像表示装置であって、
前記画像データは、前記画像表示装置が出力する画像を指す、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１６】
前記画像データは、フレーム単位の画像データを指す、請求項１から１５のいずれかに記載の画像処理装置。
【請求項１７】
前記画像処理手段は、
前記所定情報を、取得した前記画像データに基づく画像に拡張領域を設け、前記拡張領域において前記所定情報が表示されるように付加する、請求項１から１６のいずれかに記載の画像処理装置。
【請求項１８】
前記所定情報が付加された複数の前記画像データを用いて動画を作成する、請求項１から１７のいずれかに記載の画像処理装置。
【請求項１９】
コンピュータを用いて実行する画像処理方法であって、
前記コンピュータの画像取得手段が、画像データを取得するステップと、
前記コンピュータの情報取得手段が、所定情報を取得するステップと、
前記コンピュータの画像処理手段が、取得された前記所定情報を、取得された前記画像データに付加するように画像処理するステップとを、備える画像処理方法。
【請求項２０】
請求項１９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項２１】
前記画像取得手段は、
前記画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、
前記情報取得手段は、
前記所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、
前記画像処理手段は、
前記第１時刻と前記第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した前記第１時刻に関連付けて取得された前記画像データを表示する際に、前記所定情報を関連付けて表示する、請求項１に記載の画像処理装置。
【請求項２２】
前記所定条件は、
前記第２時刻と前記第１時刻とは等しいという条件である、請求項２１に記載の画像処理装置。
【請求項２３】
前記所定条件は、
前記第２時刻は、前記第１時刻よりも前の時刻を指すという条件である、請求項２１に記載の画像処理装置。
【請求項２４】
前記画像取得手段は、
複数個の前記画像データのそれぞれを、当該画像データを取得したときを指す前記第１時刻と関連付けて取得し、
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻に最も近い時刻を指す前記第１時刻が関連付けされた前記画像データを表示する際に、前記所定情報を関連付けて表示する、請求項２１に記載の画像処理装置。
【請求項２５】
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻よりも後の時刻であって最も早い時刻を指す前記第１時刻が関連付けされた前記画像データを表示する際に、前記所定情報を関連付けて表示する、請求項２４に記載の画像処理装置。
【請求項２６】
前記情報取得手段は、
取得した前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が前記画像データを表示する際に、前記格納部に格納されている前記所定情報を読出し、読出した前記所定情報を、取得した前記画像データに関連付けて表示する、請求項１に記載の画像処理装置。
【請求項２７】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が取得する前記画像データの取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示するときは、当該画像データを表示する際に前記格納部に格納されている前記所定情報を読出し関連付けて表示する、請求項１に記載の画像処理装置。
【請求項２８】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データを表示する際には、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を関連付けて表示する、請求項２７に記載の画像処理装置。
【請求項２９】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データを表示する際には、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように関連付けて表示する、請求項２８に記載の画像処理装置。
【請求項３０】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
前記画像処理手段は、
前記画像取得手段による取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示する前記画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データを表示する際には、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように関連付けて表示する、請求項１に記載の画像処理装置。
【請求項３１】
前記所定表示態様は、
前記所定情報が指示する文字の線幅、文字の傾きおよび文字の色のいずれかにより指示される、または、それらの組合わせによる指示される、請求項２９または３０に記載の画像処理装置。
【請求項３２】
前記情報取得手段は、
前記所定情報を外部操作により入力する、請求項２１から３１のいずれかに記載の画像処理装置。
【請求項３３】
前記所定情報は、リモコン信号に基づく情報を指し、
前記画像データは、前記リモコン信号により操作される被操作対象を撮像した画像を指す、請求項２１から３１のいずれかに記載の画像処理装置。
【請求項３４】
前記所定情報は、リモコン信号に基づく情報を指し、
前記リモコン信号により操作される被操作対象は画像表示装置であって、
前記画像データは、前記画像表示装置が出力する画像を指す、請求項２１から３１のいずれかに記載の画像処理装置。
【請求項３５】
前記画像データは、フレーム単位の画像データを指す、請求項２１から３４のいずれかに記載の画像処理装置。
【請求項３６】
前記画像処理手段は、
前記所定情報を、取得した前記画像データに基づく画像に拡張領域を設け、前記拡張領域において前記所定情報が表示されるように付加する、請求項２１から３５のいずれかに記載の画像処理装置。
【請求項３７】
関連付けて表示する、とは、画像データと所定情報を同期して表示することを特徴とする、請求項２１から３６のいずれかに記載の画像処理装置。
【請求項３８】
関連付けて表示する、とは、画像データに所定情報を重ね合わせて表示することを特徴とする、請求項２１から３６のいずれかに記載の画像処理装置。
【請求項３９】
関連付けて表示するとは、同一画面において当該画像データと当該所定情報とを異なる領域に表示することを指す、請求項２１から３６のいずれかに記載の画像処理装置。
【請求項１】
画像データを取得する画像取得手段と、
所定情報を取得する情報取得手段と、
取得した前記所定情報を、取得した前記画像データに付加する画像処理手段と、を備える画像処理装置。
【請求項２】
前記画像取得手段は、
前記画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、
前記情報取得手段は、
前記所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、
前記画像処理手段は、
前記第１時刻と前記第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した前記第１時刻に関連付けて取得された前記画像データに、前記所定情報を付加する、請求項１に記載の画像処理装置。
【請求項３】
前記所定条件は、
前記第２時刻と前記第１時刻とは等しいという条件である、請求項２に記載の画像処理装置。
【請求項４】
前記所定条件は、
前記第２時刻は、前記第１時刻よりも前の時刻を指すという条件である、請求項２に記載の画像処理装置。
【請求項５】
前記画像取得手段は、
複数個の前記画像データのそれぞれを、当該画像データを取得したときを指す前記第１時刻と関連付けて取得し、
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻に最も近い時刻を指す前記第１時刻が関連付けされた前記画像データに、前記所定情報を付加する、請求項２に記載の画像処理装置。
【請求項６】
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻よりも後の時刻であって最も早い時刻を指す前記第１時刻が関連付けされた前記画像データに、前記所定情報を付加する、請求項５に記載の画像処理装置。
【請求項７】
前記情報取得手段は、
取得した前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が前記画像データを取得したとき、前記格納部に格納されている前記所定情報を読出し、読出した前記所定情報を、取得した前記画像データに付加する、請求項１に記載の画像処理装置。
【請求項８】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が取得する前記画像データの取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示するときは、当該画像データに前記格納部に格納されている前記所定情報を読出し付加する、請求項１に記載の画像処理装置。
【請求項９】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データには、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を付加する、請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データには、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように付加する、請求項９に記載の画像処理装置。
【請求項１１】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
前記画像処理手段は、
前記画像取得手段による取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示する前記画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データには、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように付加する、請求項１に記載の画像処理装置。
【請求項１２】
前記所定表示態様は、
前記所定情報が指示する文字の線幅、文字の傾きおよび文字の色のいずれかにより指示される、または、それらの組合わせによる指示される、請求項１０または１１に記載の画像処理装置。
【請求項１３】
前記情報取得手段は、
前記所定情報を外部操作により入力する、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１４】
前記所定情報は、リモコン信号に基づく情報を指し、
前記画像データは、前記リモコン信号により操作される被操作対象を撮像した画像を指す、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１５】
前記所定情報は、リモコン信号に基づく情報を指し、
前記リモコン信号により操作される被操作対象は画像表示装置であって、
前記画像データは、前記画像表示装置が出力する画像を指す、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１６】
前記画像データは、フレーム単位の画像データを指す、請求項１から１５のいずれかに記載の画像処理装置。
【請求項１７】
前記画像処理手段は、
前記所定情報を、取得した前記画像データに基づく画像に拡張領域を設け、前記拡張領域において前記所定情報が表示されるように付加する、請求項１から１６のいずれかに記載の画像処理装置。
【請求項１８】
前記所定情報が付加された複数の前記画像データを用いて動画を作成する、請求項１から１７のいずれかに記載の画像処理装置。
【請求項１９】
コンピュータを用いて実行する画像処理方法であって、
前記コンピュータの画像取得手段が、画像データを取得するステップと、
前記コンピュータの情報取得手段が、所定情報を取得するステップと、
前記コンピュータの画像処理手段が、取得された前記所定情報を、取得された前記画像データに付加するように画像処理するステップとを、備える画像処理方法。
【請求項２０】
請求項１９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項２１】
前記画像取得手段は、
前記画像データを、当該画像データを取得したときを指す第１時刻と関連付けて取得する手段を含み、
前記情報取得手段は、
前記所定情報を、当該所定情報を取得したときを指す第２時刻と関連付けて取得する手段を含み、
前記画像処理手段は、
前記第１時刻と前記第２時刻とを比較し、比較結果に基づき所定条件が成立すると判定した前記第１時刻に関連付けて取得された前記画像データを表示する際に、前記所定情報を関連付けて表示する、請求項１に記載の画像処理装置。
【請求項２２】
前記所定条件は、
前記第２時刻と前記第１時刻とは等しいという条件である、請求項２１に記載の画像処理装置。
【請求項２３】
前記所定条件は、
前記第２時刻は、前記第１時刻よりも前の時刻を指すという条件である、請求項２１に記載の画像処理装置。
【請求項２４】
前記画像取得手段は、
複数個の前記画像データのそれぞれを、当該画像データを取得したときを指す前記第１時刻と関連付けて取得し、
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻に最も近い時刻を指す前記第１時刻が関連付けされた前記画像データを表示する際に、前記所定情報を関連付けて表示する、請求項２１に記載の画像処理装置。
【請求項２５】
前記画像処理手段は、
前記複数個の画像データそれぞれについて関連付けされた前記第１時刻と前記第２時刻とを比較し、比較結果に基づき、前記第２時刻よりも後の時刻であって最も早い時刻を指す前記第１時刻が関連付けされた前記画像データを表示する際に、前記所定情報を関連付けて表示する、請求項２４に記載の画像処理装置。
【請求項２６】
前記情報取得手段は、
取得した前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が前記画像データを表示する際に、前記格納部に格納されている前記所定情報を読出し、読出した前記所定情報を、取得した前記画像データに関連付けて表示する、請求項１に記載の画像処理装置。
【請求項２７】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
新たな前記所定情報が取得される毎に、前記格納部の前記所定情報を、取得した新たな前記所定情報を格納することにより更新し、
前記画像処理手段は、
前記画像取得手段が取得する前記画像データの取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示するときは、当該画像データを表示する際に前記格納部に格納されている前記所定情報を読出し関連付けて表示する、請求項１に記載の画像処理装置。
【請求項２８】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データを表示する際には、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を関連付けて表示する、請求項２７に記載の画像処理装置。
【請求項２９】
前記画像処理手段は、
前記画像取得手段が取得する前記画像データであって、当該画像データの取得時刻が、前記期間内の時刻を指示する画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データを表示する際には、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように関連付けて表示する、請求項２８に記載の画像処理装置。
【請求項３０】
前記情報取得手段は、
取得する前記所定情報を格納する格納部を含み、
前記画像処理手段は、
前記画像取得手段による取得時刻が、前記格納部に格納されている前記所定情報の取得時刻と、次位に取得される前記所定情報の取得時刻との間を指す期間内の時刻を指示する前記画像データのうち、前記格納部に格納されている前記所定情報の取得時刻から一定時間内に取得された前記画像データを表示する際には、前記格納部に格納されている前記所定情報を読出し、読出された前記所定情報を所定表示態様となるように関連付けて表示する、請求項１に記載の画像処理装置。
【請求項３１】
前記所定表示態様は、
前記所定情報が指示する文字の線幅、文字の傾きおよび文字の色のいずれかにより指示される、または、それらの組合わせによる指示される、請求項２９または３０に記載の画像処理装置。
【請求項３２】
前記情報取得手段は、
前記所定情報を外部操作により入力する、請求項２１から３１のいずれかに記載の画像処理装置。
【請求項３３】
前記所定情報は、リモコン信号に基づく情報を指し、
前記画像データは、前記リモコン信号により操作される被操作対象を撮像した画像を指す、請求項２１から３１のいずれかに記載の画像処理装置。
【請求項３４】
前記所定情報は、リモコン信号に基づく情報を指し、
前記リモコン信号により操作される被操作対象は画像表示装置であって、
前記画像データは、前記画像表示装置が出力する画像を指す、請求項２１から３１のいずれかに記載の画像処理装置。
【請求項３５】
前記画像データは、フレーム単位の画像データを指す、請求項２１から３４のいずれかに記載の画像処理装置。
【請求項３６】
前記画像処理手段は、
前記所定情報を、取得した前記画像データに基づく画像に拡張領域を設け、前記拡張領域において前記所定情報が表示されるように付加する、請求項２１から３５のいずれかに記載の画像処理装置。
【請求項３７】
関連付けて表示する、とは、画像データと所定情報を同期して表示することを特徴とする、請求項２１から３６のいずれかに記載の画像処理装置。
【請求項３８】
関連付けて表示する、とは、画像データに所定情報を重ね合わせて表示することを特徴とする、請求項２１から３６のいずれかに記載の画像処理装置。
【請求項３９】
関連付けて表示するとは、同一画面において当該画像データと当該所定情報とを異なる領域に表示することを指す、請求項２１から３６のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１１−１２４７６１（Ｐ２０１１−１２４７６１Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２８０４４５（Ｐ２００９−２８０４４５）
【出願日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]