ケーブルビッグデータ調査分析報告 - 日本ケーブルラボ

ケーブルビッグデータ調査分析報告
2014年6月23日
一般社団法人 日本ケーブルラボ
1
アジェンダ






背景・目的
ビッグデータとは
ビッグデータにおける技術
ケーブルにおけるビッグデータ活用例
ビッグデータ利用に関わる新しいアプローチ
ビッグデータ活用に向けての課題
2
1. 背景・目的

背景
– データが急激に増大する社会に関する研究プロジェクト
を実施
• 情報爆発プロジェクト
• 情報大航海プロジェクト
– データの収集・蓄積・分析の処理技術に課題あり
– 技術の進歩に伴い、本格的なビジネスフェーズへ突入

目的
– ケーブル事業者においても、加入者にケーブルサービス
を提供する中でさまざまなデータ取得が可能
– サービスの改善、収益の向上へつなげることも可能であ
ることから、ビッグデータへの取組みは必要不可欠
3
2.1 ビッグデータとは

ビッグデータ
– 既存の一般的な技術では管理するのが困難な大量のデータ群

ビッグデータの特性(3要素)
– Volume(量)
:データ量 (現状では数十TB~数PB)
– Variety(多様性) :多様なデータ (構造化データ+非構造化データ)
– Velocity(速度) :データの生成頻度、更新頻度 (1秒間に数十件以上)

広義のビッグデータ
広義の
ビックデータ
– 3Vの面で管理が困難なデータ
– 膨大なデータを収集・蓄積・分析する
– 分析結果を元に新たなサービスに展開
出来るのではと多くの企業で検討・サービス
がされようとしている。
人材育成
(データサイエンティストなど)
データ処理・蓄積・分析技
術
(Hadoop、NoSQL,機械学習、
統計解析など)
非構造化データ
(テキスト、動画、音声、
センサー、GPSなど)
ケーブルでもビッグデータの活用の検討が必須
構造化データ
(顧客データ、売
上データなど)
狭義の
ビックデータ
(3Vの特性を持つ)
4
2.2 ビッグデータの活用手段
「過去/現状の把握」→「将来予測」→「最適化」と一歩ずつ進める

過去/現状の把握
– ビッグデータの活用はデータ収集から始まる。データを蓄積して、事実の確認に努める
ことが最初のステップ

パターンの発見
– 大量にデータを蓄積した後は、データマイニングや機械学習などの技術を使い、膨大
なデータの海からビジネスに何かしら影響のある意味のあるパターン(成功パターン、
失敗パターンなど)を発見することが必要となる

予測
– 成功するパターン、失敗するパターンが発見できれば、後はインプットとなるデータをこ
のパターンに照らし合せて予測を行う。

最適化
– 予測をした結果をもとに「最適化」を行うことが必要。例えば、個人の属性と購買履歴、
さらには併売パターンから、適切にお奨めを行えば購入する確率が高い商品を予測で
きれば、レジで、その商品の割引クーポンを手渡すことが、最適化になる。
5
3. ビッグデータにおける技術
データ収集
・既存各種データ
・スマートデバイス
・M2M
データ蓄積・処理
・並列分散処理
・インメモリ分散キャッシュ
・複合イベント処理
データ分析
・データマイニング
・テキストマイニング
・機械学習
6
4. ケーブル事業におけるデータ活用
現状
7
4.1 ケーブル事業者が保有するデータ①
1. 課金管理システムデータ
–
契約顧客属性、契約内容、サービス内容、工事履歴、
課金履歴など
2. 顧客対応データ(CRM・SFA)
–
加入者および未加入者の対応履歴の管理
3. STB視聴履歴
–
STB単位での視聴情報(Network ID、Service ID)と視聴
情報取得日時、電源ON/OFF状態など
8
4.1 ケーブル事業者が保有するデータ②
4. 端末情報
–
加入者端末の情報(レベル、品質情報など)
5. 設備情報
伝送路上に設置してある設備の性能情報
(光送受信機、アンプなど)
– HE設備の情報
–
6. 線路情報
–
伝送路機器の設置場所や伝送路情報など
9
4.2 ケーブルビッグデータの活用に向けて①
ユースケース
番組供給会社
・解約防止
・設備保守品質向上
・レコメンドサービス・ターゲット広告
・ホームICT
・社会(地域)貢献
データ販売
分析
サーバ
新サービス提供
集めたデータを分析
予備機器
予防交換
蓄積
サーバ
蓄積
サーバ
ケーブルが所持する
データ(蓄積・処理)
ケーブルデータ
ケーブル事業者
収集
行政
情報
収集
CRM
情報
センサ
情報
収集
(加入者情報、視聴情報など)
収集
収集
伝送路
情報
視聴
情報
10
4.2 ケーブルビッグデータの活用に向けて②
ケーブル事業者におけるビッグデータ活用ロードマップ
データ取得
新
規
ホームICT(センサ情報利用)
社会(地域)貢献
レコメンド・ターゲット広告(視聴情報利用)
既
存
解約防止
保守品質向上
現状
今後
11
4.3 解約防止のためのビッグデータ活用例①
現状
ビッグデータ活用
 使用データ
 CRMデータ
 課金管理システムデータ
 使用データ
 CRMデータ
 課金管理システムデータ
 国勢調査情報
 STB視聴履歴
 インターネット使用履歴
など
 データによる分析
 解約数の推移
 解約理由による解約数の内訳
 年齢年代による解約数の内訳
の把握
など
 対策
 解約を受けてからの対応
 顧客接点強化による対応
 業務フロー改善
など
【課題】
 傾向把握が困難
 人員確保
 環境整備
 対策
 顧客のセグメンテーション
など
 利用例
 解約リスクを伴う顧客への対応
 優良顧客への対応
 アプローチや付加サービスを
棲み分けする施策
12
4.3 解約防止のためのビッグデータ活用例②
現状例
・加入者より問合せがあった際の電話
録音や問合せ記録は事業者または
コールセンタにて保存している
コールセンタ
電話
録音
クレーム等
情報記録
クレーム,
問合せ
13
4.3 解約防止のためのビッグデータ活用例③
ビッグデータ応用例
入力する毎に最適な情報をリアルタイムフィードバック
・名前を入力
過去の受電履歴を表示
・不具合を起こしていると申告している機器を入力
被疑製品の故障現象、頻度上位5つを表示
・症状を入力
推定故障原因、確率上位5つを表示
・詳細な症状入力
推定故障原因および対処法を表示
処理
サーバ
集約
サーバ
国勢調査
データなど
電話
録音
CRM
データなど
分析
サーバ
応用
対処法を
フィードバック
(FAQ)
・問合せ履歴から、後日の能
動的な加入者アプローチに応
用できないか。より適したサー
ビスや製品の案内、単なる点
検伺いなどのフォローに活用。
応用
解約防止
加入者へのフォロー
(解約防止)
ケーブル事業者 コールセンタ
14
4.4 設備保守品質向上のためのビッグデータ活用例①
現状
ビッグデータ活用
 使用データ
 端末情報
 伝送路機器情報
 ログ情報
 CRMデータ
 使用データ
 端末情報
 伝送路機器情報
 ログ情報
 CRMデータ
など
など
 対策
 各情報に対して閾値の設定
• 閾値超過による対応
 業務対応マニュアルの策定
など
【課題】
 個々の情報による監視
 サイレント障害の検知
 環境整備
 対策
 「いつもと違う挙動」がないかを
分析・監視
 リアルタイム分析と詳細分析の
活用
など
 利用例
 サイレント障害の検知
 障害の予兆検知
15
4.4 設備保守品質向上のためのビッグデータ活用例②
現状例
運用監視
サーバ
故障
伝送 デジ コール 顧客
STB CM
対応
機器 タル センタ 情報
情報 情報
記録
情報 放送 情報
情報
ケーブル事業者
16
4.4 設備保守品質向上のためのビッグデータ活用例③
ビッグデータ応用例
①収集
②蓄積・処理
・バラバラになっている情報を集約させて、それぞれの
相関関係を分析する
・分析した結果、異常かもしれない伝送機器を発見す
れば、障害発生前に予防交換が可能となる
・リアルタイムでの情報処理によって、サイレント障害
の検知が可能
処理
サーバ
③分析
②
③
運用監視
サーバ
①
分析
サーバ
予防交換
予備機器
集約
サーバ
センサ
情報
故障
伝送 デジ コール 顧客
STB CM
対応
機器 タル センタ 情報
情報 情報
記録
情報 放送 情報
情報
ケーブル事業者
17
4.5 視聴情報を利用したビッグデータ活用①
視聴ビッグデータの活用例
番組供給会社
広告会社
①収集
②蓄積・処理
③分析
視聴分布を抽出・販売
・ハイブリッドBoxから視聴情報収集
・取得した視聴情報と加入者情報と個人の行動
履歴をデータマイニング
⇒視聴分布を番組供給会社との交渉に使用
⇒分析結果から個人の趣向に合わせた番組レ
コメンドをSTB、携帯端末に配信
⇒分析結果と広告情報を合わせたターゲット広
告も可能となる。
広告挿入
③
分析
加入者情報
番組
レコメンド
(VOD,多ch)
番組レコメンド,
ターゲット広告
ターゲット広告
②
加入者DB
レコメンド
①
蓄積
タブレット
ケーブル事業者
収集サーバ
個人の行動履歴
視聴情報
(STB…世帯単位)
ハイブリッドBox
18
4.5 視聴情報を利用したビッグデータ活用②
視聴ビッグデータ
ハイブリッドBoxの普及
デジタルケーブルテレビ
双方向運用仕様
(JLabs SPEC-011)
• 拡張MIBの使用
• 定期収集による取得
【取得情報】
• チャンネル情報
• Network ID
• Service ID
次世代STB技術仕様書
視聴情報収集機能
(JLabs SPEC-023-01)
• TR-069の使用
• リアルタイムデータ取得も可
【取得情報】
• チャンネル情報
• Network ID
• Service ID
• チャンネル視聴履歴
• 録画に関する履歴
• 端末情報
etc
19
4.6 ホームICTにおけるビッグデータ活用
ホームICTにおけるビッグデータ活用例
収集
蓄積
分析
出力
(可視化)
Wi-SUNの活用
モニター
PCS
電力
消費
電力
スマートメータ値
Wi-SUN
表示
RGW
(各器電力収集)
データ
加入者宅
行政機関
20
4.7 社会(地域)貢献サービス
社会(地域)貢献サービス
へのビッグデータ活用例
観測データの蓄積
既存データとの照合
映像認識
観測履歴
自治体
クラウド
(国/県/市)
過去データ
加入者
WiFi網
気象センサ
HFC
防災監視
地域監視
事業者A
事業者B
事業者C
ケーブルNW上のセンサ/映像を自治体に提供し、
防犯・防災に役立てる
過去の観測データとの照合による異常検知と、
加入者への注意喚起、避難勧告など。
21
4.8 米国の状況①
 業務効率化とCS向上
 障害の早期発見、迅速な原因特定、効率的な予防
措置などの実現
 効率的な番組編成、広告挿入の実現
 最適な設備投資の実現
 マーケティング手法や解約防止策への応用
22
4.8 米国の状況②
障害の早期発見、迅速な原因特定、効率的な予防措
置などの実現
 米国ケーブルラボでプ
ロアクティブメンテナン
ス(障害発生前の予防
保全)の検討
 ビッグデータ活用事例
– 障害情報
– 端末故障傾向
23
5. ビッグデータ利用に関わる新しいアプローチ①
5.1 オープンデータの利用
【海外】
政府が収集した様々なデータの一部を無償で配布す
るウェブサイトがある。
【日本】
オープンデータを活用した新サービス・新ビジネスの
検討する機関を発足
データ:国勢調査、気象庁の観測データなど
オープンデータと自社で所持するデータを合わせて
利用することで、新たな発見、業務改善などが可能
24
5. ビッグデータ利用に関わる新しいアプローチ②
5.2 事業者間ID連携
 業界全体でID連携を実施することで、「属性情報」な
どを共有する。
 年代別、性別、地域別などでの視聴率分布などを把
握することが可能
 他業種間のID連携を視野に入れた検討が進められ
ている。
 将来、他業種との情報の連携も考えられる。
25
6. ビッグデータ活用に向けての課題
継続的なデータの収集と蓄積
個人情報取り扱いポリシーの明確化
データのモデリング手法の確立
ビッグデータに関わる人材育成
費用対効果の妥当性の検証
26
おわりに
【ビッグデータ活用の検討ステップ】
① 目的の明確化
② データ収集
③ データ分析
④ 業務改善および新サービス提供
【今後のステップ】
 ケーブル設備保守品質向上
– プロアクティブメンテナンス(障害予防・予知)におけるビッ
グデータ活用
 プロトタイプの構築
– HEMSにおけるWi-SUNを利用したビッグデータ活用
27