コマンドパイプラインによる マルチメディアストリーム処理 指導教官 岡部寿男 助教授 旧池田研究室 笠松健一 平成１４年２月１５日 研究の背景と目的 インターネットでマルチメディア伝送を個人でもできる 電話やビデオ放送のソフトウェアが急速に普及 デジタル家電やAV機器を対象とするネットワーク技術の 研究 独自方式→IPへ統合の方向 例えばIPスピーカ、IPマイクの登場 このようなネットワーク環境の変化に既存のソフトウェア では各ソフトウェア毎に逐一対応する必要 再利用性の高い部品を組み合わせることにより 処理を行うシステムを提案 提案するシステム コマンドパイプラインにより処理 ＵＮＩＸにはパイプでプログラムを連携し、 様々な処理を行う考え方が存在 →マルチメディアストリーム処理に適用 機能毎にプログラムを実装し、パイプで連携 パイプラインの例 $ audiorecord | udpsend 130.54.22.100 マイクで音声を取り込む データを130.54.22.100へ送信 マイクで取り込んだ音声を130.54.22.100へ送信 設計と実装 実装したプログラムと接続関係 audiocapt 音声を録音 jpegcapt 映像の取込み fecenc 前方誤り訂正 の符号を付加 audioplay 音声を再生 udpsend UDP/IPで送信 ntspcall 電話の発信 パイプによる接続 ソケットによる接続 jpegplay 映像を表示 rtpenc RTPヘッダを 付加 fecdec 前方誤り訂正 を行う IPネットワーク ntspwait 電話の着信 rtpdec RTPヘッダを 削除 udprecv UDP/IPで受信 実現したアプリケーションの例 ビデオオンデマンド jpegcapt 映像の取込み fecenc 前方誤り訂正 の符号を付加 rtpenc RTPヘッダを付加 udpsend UDP/IPで送信 HostA$ jpegcapt | fecenc | rtpenc >video.jpgs HostA$ udpsend 130.54.22.100< video.jpgs HostB$ udprecv | rtpdec | fecdec | jpegplay jpegplay 映像を表示 fecdec 前方誤り訂正 を行う rtpdec RTPヘッダを 削除 HostA video.jpgs IP ネットワーク HostB:130.54.22.100 udprecv UDP/IPで受信 実現したアプリケーションの例 電話 audioplay 音声を再生 rtpdec RTPヘッダを削除 発信側ホスト audiocapt 音声を録音 rtpenc RTPヘッダを付加 ntspcall 電話の発信 IPネットワーク audioplay 音声を再生 rtpdec RTPヘッダを削除 ntspwait 電話の着信 audiocapt 音声を録音 rtpenc RTPヘッダを付加 受信側ホスト まとめと今後の課題 まとめ 機能毎に実装したプログラムをパイプで連携し、さま ざまな処理を行うシステムを提案 提案するシステムの設計と実装 IPネットワークを利用した様々な処理を実現 今後の課題 機能の追加 音声ミキサー スーパーインポーズ オープンソースとして公開 実現したアプリケーションの例 電話 ホストBが着信待ちをする ntspwait 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc” ホストAがホストBへ発信する ntspcall 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc” 実現したアプリケーションの例 電話と音声放送の組み合わせ ホストBが着信待ちをする ntspwait 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc” ホストAがホストBへ発信する ntspcall 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc” 既存のプログラム(SSH)と連携 ホストAでマイクから取り込んだ音声ストリームを ホストBへ暗号化して伝送し、ホストBで再生する ホストＡで ssh 10.0.0.2 audiocapt | audioplay IPネットワークを利用した 無線マイク 無線LANを用いると、 無線区間を含むIP ネットワークを構築 できる 小型パソコンを用い てIPネットワークに よる無線マイクを実 現 関連研究 (マイクロソフト社製の インターネットを利用するアプリケーション) NetMeetingで伝送する音声をMediaEncoderで 放送することはできない 電話アプリケーションNetMeeting 放送アプリケーションMediaEncoder 実現にはプログラミング言語の知識が必要 提案するシステムが 想定するアプリケーション 提案するシステムが備える機能の選定 実際のアプリケーションを想定し、要求機能を考察 機能毎にプログラムを実装 ビデオオンデマンド 実時間放送 映像の取り込み、保存、読込み ユニキャスト伝送、映像の表示 映像とその映像に同期する音声の取り込み、実時間伝送 マルチキャスト伝送、映像と音声の同期再生 電話 電話セッションの確立、双方向に音声ストリームの伝送 研究の背景(1/2) 情報通信をIPを利用できる機会の増加 マルチメディアデータの圧縮技術が進歩 (MPEG) データ通信技術の進歩(IEEE802,GbE,無線 LAN) インターネットで文字や静止画に加えて音声や映 像を伝送 インターネットに家庭や街角で常時接続
© Copyright 2024 ExpyDoc
