Watson Analytics

IBM i + Watson Analytics で広がる新次元のデータ分析
⽇本アイ・ビー・エム株式会社
IBM システムズ・ハードウェア事業本部
Power Systems Technical Sales
2017年4⽉
© 2017 IBM Corporation
Agenda
■ IBM i の最新動向
■ データ活⽤基盤としての IBM i
■ IBM i with Watson Analytics
• デモ・イメージのご紹介
■ Watson Analytics と連携して
IBM i のデータをビジネスに活⽤
2
© 2017 IBM Corporation
IBM i の最新動向
3
© 2017 IBM Corporation
名称の変遷は進化の歴史
IBM i はコグニティブ時代のプラットフォーム
IBM i
iSeries, System i
AS/400
S/34, S/36, S/38
4
© 2017 IBM Corporation
安定運⽤を⽀える堅牢なアーキテクチャーと最新テクノロジーのサポート
ビジネス・インサイトとセキュリティの強化(7.3)
オールインワン
DB2 for i
・テンポラル表
・OLAP(回帰分析, …)
・Authority Collection
RPG/COBOL
資産継承
オブジェクト指向
SLS
TIMI
堅牢な守りのシステム
SoR(System of Record)
5
攻めのテクノロジー
SoE(System of Engagement)
© 2017 IBM Corporation
IBM i で実現するコグニティブ時代のIT活⽤
IoT
Social
Web
API
補完・連携
堅牢かつオープンなIBM i
6
データ・セキュリティーと
オープン・テクノロジーが
オールインワン
クラウド・テクノロジー
加速するユーザーの要求に
タイムリーに対応
© 2017 IBM Corporation
データ活⽤基盤としての IBM i
7
© 2017 IBM Corporation
DB2 Web Query for i
DB2 Web Query for i は、データをすばやく、簡単に参照・分析できる
IBM i 上で稼働するBI(Business Intelligence)ツールです
簡単操作のGUIツール
いつでもどこでもデータ活⽤
多彩なデータ可視化機能
リアルタイムデータで
多次元分析
8
© 2017 IBM Corporation
DB2 Web Query for i 2.2を中⼼としたデータ活⽤
IBM i なら、オープンDBデータの集約から、
モバイルデバイスでのデータ活⽤やアナリティクスまで、オールインワンで実装可能
モバイル
クラウド上のRDB/ファイル
データ
集約
DB2 Web Query for i
with DataMigrator
活⽤
DB2 for i
周辺サーバーのRDB/ファイル
Source RDB
DB2 for i
DB2 for LUW
Oracle *1
SQL Server
JDE
9
MySQL
PostgreSQL
(*1:汎⽤JDBC接続)
Excelファイル、CSVファイルも取込可能
アナリティクス
(BI)
© 2017 IBM Corporation
Data Migrator 活⽤例(オンプレミスでの分析⽤データ加⼯)
航空会社の顧客満⾜度調査を分析(デモ⽤サンプル)
データ件数:129889件 (約20MB)
データ項⽬:34個(2つのテーブルとExcelファイルを結合)
フライト管理テーブル
DB2 for i
搭乗ID
顧客ID
搭乗⽇
搭乗年⽉⽇
クラス
航空会社コード
航空会社
出発地
⽬的地
予定出発時間
出発遅延(分)
到着遅延(分)
搭乗キャンセル
搭乗時間(分)
搭乗距離
5分以上到着遅延
顧客ID
顧客名
顧客住所
顧客電場番号
顧客メールアドレス
会員ステータス
年齢
年齢幅
性別
初搭乗年
年間搭乗回数
年間搭乗回数域
DB2 for i
.xlsx
搭乗ID
満⾜度
価格影響度
他航空会社利⽤率
旅⾏形態
その他会員⼊会数
空港購買量
空港飲⾷量
搭乗ID
顧客ID
搭乗⽇
搭乗年⽉⽇
クラス
航空会社コード
航空会社
出発地
⽬的地
予定出発時間
出発遅延(分)
到着遅延(分)
搭乗キャンセル
搭乗時間(分)
搭乗距離
5分以上到着遅延
・・・
DB2 for i
満⾜度調査結果(外部委託)
・・・
10
顧客管理テーブル
ターゲットテーブル
顧客名
顧客住所
顧客電場番号
顧客メールアドレス
会員ステータス
年齢
年齢幅
性別
初搭乗年
年間搭乗回数
年間搭乗回数域
満⾜度
価格影響度
他航空会社利⽤率
旅⾏形態
その他会員⼊会数
空港購買量
空港飲⾷量
© 2017 IBM Corporation
DataMigrator 活⽤例(フロー)
11
© 2017 IBM Corporation
DataMigrator 活⽤例(フロー)
DB2 for i フライト管理テーブル
ターゲットテーブル
DB2 for i
DB2 for i
顧客管理テーブル
12
.xlsx
満⾜度調査結果ファイル
(IFSにアップロード)
© 2017 IBM Corporation
データ活⽤の基盤は整備済!さて、どうやってデータ活⽤する?
ETL
DB2 for i
DB2 Web Query for i
with DataMigrator
13
?
DB2 Web Query for i
データ分析の
知識・スキルが重要
© 2017 IBM Corporation
IBM i with Watson Analytics
14
© 2017 IBM Corporation
IBM i with Watson Analytics
オンプレミスのデータ資源をデータ・サイエンティスト”Watson“が即座にビジュアライゼーション!
データの多⾓的分析から継続的なビジネス成⻑までの統合環境を”IBM i“で実現
IBM Watson Analytics
IBM i のデータを分析&可視化
データ・サイエンティストとして活⽤
Watson Analyticsから
データ活⽤の知⾒を得る
得られた知⾒をWeb Queryに実装
オンプレミスのリアルタイム分析で
データ活⽤効果を最⼤化
Web Query
for i with
DataMigrator
IBM i のデータをアップロード
DB2 for LUW
Oracle *1
他サーバーの
DBも集約
Power Systems(IBM i)
MS SQL
PosgreSQL
…
15
Watson Analytics ご紹介サイト
http://ibm.biz/watsonjirei
DB2
for i
DB2 for i
*1:汎用JDBCドライバーによる接続
© 2017 IBM Corporation
クラウド型データ分析ツール IBM Watson Analytics
⼿元のデータをアップロードすれば、ガイドに従って操作や質問するだけ!
統計の専⾨知識がなくても簡単にデータを分析できるクラウド型アナリティクス
Watsonの認知エンジンが、データ分析の新たな形を提供します
優れた洞察と優れた知⾒を
すぐに、誰でも、簡単に
プラス版:¥4,282/⽉・ユーザー
シングルユーザー、2GBストレージ(拡張可)
プロフェッショナル版:¥11,500/⽉・ユーザー
マルチユーザー、100GBストレージ(拡張可)
IBM IDでプロフェッショナル評価版を30⽇間無償トライアルできます!
16
Watson Analytics ご紹介サイト
http://ibm.biz/watsonjirei
© 2017 IBM Corporation
分析したいデータはDataMigrator for i で準備済み!
Watson Analyticsにアップロードして、新たな知⾒を得てビジネスに活⽤
DB2 Web Query for i
with DataMigrator
ETL
DB2 for i
DB2 for i にETLしたデータを
Wason Analyticsにアップロード
Watson Analytics
※Watson Analyticsで分析するデータ(アップロードするデータ)は事前に1つのテーブルに結合する必要があります
17
© 2017 IBM Corporation
Data Migrator 活⽤例(Watson Analytics分析⽤にデータを加⼯)
既出の航空会社の顧客満⾜度調査をWatson Analyticsで分析するために個⼈情報を削除
データ件数:129889件 (約20MB)
データ項⽬:30個(個⼈情報を削除)
ETL済のターゲットテーブル
DB2 for i
DB2 for i
搭乗ID
顧客ID
搭乗⽇
搭乗年⽉⽇
クラス
航空会社コード
航空会社
出発地
⽬的地
予定出発時間
出発遅延(分)
到着遅延(分)
搭乗キャンセル
搭乗時間(分)
搭乗距離
5分以上到着遅延
・・・
顧客名
顧客住所
顧客電場番号
顧客メールアドレス
会員ステータス
年齢
年齢幅
性別
初搭乗年
年間搭乗回数
年間搭乗回数域
満⾜度
価格影響度
他航空会社利⽤率
旅⾏形態
その他会員⼊会数
空港購買量
空港飲⾷量
DataMigratorで
顧客の個⼈情報を除いたフローを作成
(カラム選択機能で簡単加⼯)
・・・
18
・・・
・・・
搭乗ID
顧客ID
搭乗⽇
搭乗年⽉⽇
クラス
航空会社コード
航空会社
出発地
⽬的地
予定出発時間
出発遅延(分)
到着遅延(分)
搭乗キャンセル
搭乗時間(分)
搭乗距離
5分以上到着遅延
Watson Analytics⽤テーブル
会員ステータス
年齢
年齢幅
性別
初搭乗年
年間搭乗回数
年間搭乗回数域
満⾜度
価格影響度
他航空会社利⽤率
旅⾏形態
その他会員⼊会数
空港購買量
空港飲⾷量
© 2017 IBM Corporation
IBM i with Watson Analytics
(デモ・イメージのご紹介)
19
© 2017 IBM Corporation
Watson Analyticsにブラウザーからログイン
Watson Analytics
初期画⾯
「+New Data』
からスタート
20
Watson Analytics URL: https://watson.analytics.ibmcloud.com/
(事前に利⽤登録が必要です)
© 2017 IBM Corporation
Watson AnalyticsにIBM iのデータをアップロード
Watson Analytics のWeb画⾯からIBM iに接続、アップロードしたいデータをオンラインで簡単にアップロードできます
「Upload now」で
アップロード開始
「Connection」
を開いて
IBM iへのSSL接続定義
(事前に管理画⾯で定義します)
接続定義を選んで
21
ライブラリー
(Schema)を選んで
PF/LF
(Table/View)を
選んで
© 2017 IBM Corporation
アップロード完了&分析開始
クリックして分析へ
アップロードしたファイル
22
© 2017 IBM Corporation
Starting Points=Watson Analyticsのアドバイス
Watson AnalyticsがIBM iのデータを分析済!
23
© 2017 IBM Corporation
Starting Points=Watson Analyticsのアドバイス
「出発地ごとの価格影響度」を地図で表⽰
24
© 2017 IBM Corporation
Starting Points=Watson Analyticsのアドバイス
「(搭乗)クラスとの他のデータの相関」を鷹の⽬チャートで表⽰
25
© 2017 IBM Corporation
Watson Analyticsは10個のStarting Pointsを提⽰
3
Starting Points(1-6)
4
3
4
5
5
6
8
8
6
Starting Points(7-10)
7
7
9
9
10
10
26
© 2017 IBM Corporation
知りたいことはWatson Analyticsに問いかける(満⾜度を軸に分析)
カラム名、データ項⽬などのキーワードで問いかけてみる
英⽂でなくても単語でOK
(ここではカラム名「satisfaction」と⼊⼒)
27
© 2017 IBM Corporation
Watson Analyticsに問いかける(満⾜度を軸に分析)
SATISFACTION(満⾜度)には
TYPE_OF_TRAVEL(旅⾏形態)が
34%相関していると分析
深掘り
Watson Analyticsが質問に答えて、
新たなStarting Pointsが表⽰される
28
© 2017 IBM Corporation
分析を深掘りする(旅⾏形態と満⾜度の関係を分析)
Business Travel(出張)
Mileage Travel(マイレージ)
個⼈旅⾏の満⾜度が低い
Personal Travel(個⼈旅⾏)
満⾜度(低)
29
満⾜度(⾼)
© 2017 IBM Corporation
分析を深掘りする(個⼈旅⾏の満⾜度を年齢層別に分析)
30代と40代の満⾜度は⾼いが、
その前後の年齢層の満⾜度が低い
年齢層(低)
0-19
20-29
30-39
40-49
50-59
60-69
70-79
年齢層(⾼)
80+
満⾜度(低)
30
2.8
満⾜度(⾼)
© 2017 IBM Corporation
分析の切り⼝がわかれば、Web Queryに反映して業務でデータ活⽤
Watson Analytics
31
DB2 WebQuery for i
© 2017 IBM Corporation
Watson Analyticsは専属データ・サイエンティスト
Watson Analyticsは多彩な分析パターンを提案してくれる統計/分析の専⾨家!
業務に活かせる分析パターンは、DB2 Web Query for iに実装して⽇々のビジネスに活⽤
Watson Analytics
オンプレミスのIBM i だからセキュリティーも安⼼
DB2 for i
Watson Analyticsに
分析⼿法を学ぶ
DB2 Web Query for iに
分析⼿法を反映
32
DB2 Web Query for i
with DataMigrator
Power Systems
DB2
for i
DB2
for LUW
Oracle *1
MS SQL
*1:汎用JDBCドライバーによる接続
PosgreSQL
・・・
© 2017 IBM Corporation
参考:より簡単にIBM i のデータをWatson Analyticsにアップロードする⽅法
IBM i Access Client Solutions データ転送機能
データ転送機能で簡単に
Excelファイルを⽣成
IBM iからダウンロードしたExcelファイル
33
© 2017 IBM Corporation
参考:より簡単にIBM i のデータをWatson Analyticsにアップロードする⽅法
Excelファイルをドラッグ&ドロップ
「Local file」を
開いて
「Import」で
アップロード開始
34
© 2017 IBM Corporation
補⾜資料
35
© 2017 IBM Corporation
【補⾜-1】DB2 Web Queryでの可視化パターン
DB2 Web Query はWatson Analyticsの可視化パターンの⼤部分をサポートしています。
⽐較を表現
棒グラフ
棒線組合せ
ワードクラウド
ツリーマップ
円グラフ
詰込バブル
折れ線グラフ
⾯グラフ
棒線組合せ
バブル
ネットワーク
ヒートマップ
表
グリッド
集計
鷹の⽬グラフ
決定⽊
ダイヤル
ヒートマップ
占有度を表現
傾向と予想を表現
DB2 Web Queryのグラフの種類
関係を表現
表と集計
予測分析
地理情報
36
地図
© 2017 IBM Corporation
【補⾜-2】分析データの更新⽅法
IBM iの元データを更新したらWatson Analyticsから再取得!簡単操作で分析対象データを最新化!
Replaceを選択
リフレッシュアイコン
(前の選択を使う)を指定
Replaceで
再アップロード
(データを更新)
データセットアイコンの
オプション(…)を開く
37
© 2017 IBM Corporation
【補⾜-3】Watson Analytics - IBM i 間のSSL接続設定⽅法
当デモでは、Watson Analyticsで提供されているDB2 for i への接続アダプターを利⽤して、IBM iに接続しています。
【前提】
• インターネットからIBM iへの接続経路があること(補⾜-4も参照)
• SSLのDRDA接続が有効であること:
448番ポート(SSL接続)へ接続できること※non-SSLの446番ポートでの接続はセキュリティの観点で⾮推奨です。
DCM(デジタル証明書マネージャー)でDDM/DRDAのSSL証明書がセットアップ済みであること
SSL接続セットアップ⼿順参考情報:
Configuring the SSL Telnet and Host Servers for Server Authentication for the First Time
http://www-01.ibm.com/support/docview.wss?uid=nas8N1010449
【Watson Anayticsでの接続定義セットアップ⽅法】
Data connectionsを
選択
右上のメニューから
Accouts settingsを開く
38
© 2017 IBM Corporation
【補⾜-3】Watson Analytics - IBM i 間のSSL接続設定⽅法
+(プラス)アイコンを
クリックして
IBM DB2 for iSeriesを
選択
39
© 2017 IBM Corporation
【補⾜-3】Watson Analytics - IBM i 間のSSL接続設定⽅法
1)必須項⽬を埋める
【Connecton information】
・Connection Name:接続名称(任意の名前)
【Details】
・Hostname or IP Adress:接続先IBM i のIPアドレス
・Port:448(DRDA-SSL)
・Port is SSL-enabled:チェックオン
・Database:*LOCAL (もしくはRDBDIRE項⽬名を確認)
・Username/Password:接続先IBM i で適切な権限を有するUSRPRF
2)IBM i のDRDAをSSL接続に変更
・STRTCPSVR SERVER(*DDM) 起動済みであれば不要
・CHGDDMTCPA PWDRQD(*USRENCPWD)
※前提:DCMでのSSL証明書がセットアップ済であること
3)Createで接続定義を作成
接続チェックが実⾏されます。
正しく接続できない場合は定義が作成できません。設定を再確認。
40
© 2017 IBM Corporation
【補⾜-4】Watson Analytics へのデータアップロード⽅法のご紹介
IBM iのデータをWatson Analyticsにアップロードする⽅法は複数あります。
1)ブラウザーでファイルを直接アップロード
※参考で記載の⽅法
2)Watson Analyticsの
データベース接続機能でアップロード
DB2 Web Query for i
with DataMigrator
DB2 for i
DB2 Web Query for i
with DataMigrator
.xls
.xlsx
SSL接続
Watson Analytics
SSL接続
DB2 Web Query for i
with DataMigrator
Connections機能を操作
BluemixのData Connectサービス
を操作してアップロード
DB2 for i
41
Watson Analytics
Watson Analyticsの操作で取得
DB2 for i
当資料のデモ画⾯例の⽅法
3)Bluemix経由でアップロード
2)ファイルアップロード
(PCブラウザー)
1)データ転送
Watson Analytics
Data Connectを操作
© 2017 IBM Corporation
【補⾜-4】Watson Analytics へのデータアップロード⽅法のご紹介
IBM iのデータをWatson Analyticsにアップロードする⽅法の⽐較
1)ブラウザーでファイルを
直接アップロード
2)Watson Analyticsの
Connections機能で
アップロード
3) Bluemix経由で
アップロード
Watson Analytics
・データベース(DB2 for i)接続
不要
必要(Watson Analytics有償プラ
ンの標準機能)
不要
Bluemix
・Data Connectサービス
不要
不要
必要(有償サービス、要追加費⽤)
メリット
PCがあれば簡単スタート
IBM i を直接接続せずに利⽤可能
Watson Analyticsの操作でデータ
の取得、データ更新が可能
Data Connectのスケジュール機能
で定期的なアップロードが可能
デメリット
⼤容量データの転送には向かない
(PCに⼀時保存する必要あり)
IBM i 側も接続設定が必要
IBM i 側も接続設定が必要
Bluemixの費⽤が追加で必要
想定利⽤ケース
不特定のデータの分析
トライアルでの利⽤
⼤容量データの分析
スケジューラーでのアップロード
⼤容量データの分析
SSLを使⽤する場合は別途、証明書
を準備いただく必要があります。
SSLではなく、Secure Gatewayで
暗号化することも可能
(Watson Analyticsの標準機能)
SSLを使⽤する場合は別途、証明書
を準備いただく必要があります。
SSLではなく、Secure Gatewayで
暗号化することも可能
(追加サービス契約が必要)
接続イメージ
接続に
必要な
サービ
ス
備考
42
当資料のデモ画⾯例での⽅法
© 2017 IBM Corporation
【補⾜-5】Bluemix経由の場合の⽉額課⾦例
Secure Gateway Client
DB2 Web Query for i
with DataMigrator
DB2 for i
Bluemixの
Data Connectサービスを
操作してアップロード
Ubuntu on POWER、
Mac、Windows
などで稼働
Watson Analytics
Secure Gateway Data Connect
Secure Gateway(暗号化トンネル):オプショナル
プロフェッショナルプラン
⽉額基本料⾦:10,200円(転送量:50GB/⽉込み)
50GB以上の転送課⾦:102円/GB
ゲートウェイ数:5(宛先数:5/gw、クライアント数2/gw)
【⽉額課⾦の⾒積もり例】
想定ケース:夜間バッチ後に毎⽇分析データをアップロード
・対象データサイズ:3GB(レコード数1000以上)
・アップロード頻度:平⽇の毎朝4:00(5⽇/週=20⽇/⽉)
Data Connectを操作
Data Connect
スタータープラン
⽉額基本料⾦:なし
従量課⾦:210円/1転送
1転送の最⼤サイズ:10GB
※1000レコード未満の転送は課⾦対象外
43
⽉額課⾦試算
・Data Connect:
転送回数課⾦:210円 x 20回=4,200円
・Secure Gateway:(オプショナル)
基本料⾦課⾦:10,200円
データ転送量:3GB x 20⽇=60GB
課⾦対象:60GB(転送量)-50GB(基本範囲)=10GB
転送量課⾦:102円 x 10 = 1,020円
合計:15,420円/⽉
Bluemixサービスの詳細
Data Connect
https://console.ng.bluemix.net/catalog/services/data-connect
Secure Gateway https://console.ng.bluemix.net/catalog/services/secure-gateway
2017年3⽉時点の価格を元に特定の条件における費⽤を試算した例です。実際の課⾦⾦額と異なる場合があります。
Secure Gatewayを使⽤しない場合は、SSLの利⽤を強く推奨します。SSLの証明書は別途準備が必要です。
© 2017 IBM Corporation
参考情報
•
IBM i 技術情報ポータル
https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/W8214c473fef0_444f_886a_cd015ca3
4c89/page/IBM%20i%20%E6%8A%80%E8%A1%93%E6%83%85%E5%A0%B1
•
DB2 Web Query for i ポータルサイト
https://www.ibm.com/developerworks/community/wikis/home?lang=ja#!/wiki/W8214c473fef0_444f_886a_cd015ca34
c89/page/DB2%20Web%20Query%20for%20i
• Watson Analytics 無料トライアル
http://www-01.ibm.com/software/jp/cmp/watsonanalytics/
•
IBM Bluemix
https://console.ng.bluemix.net
44
© 2017 IBM Corporation
ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで提供されており、
いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むものでもありません。本講演資料に含まれている情報については、
完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用
によって、あるいはその他の関連によって、いかなる損害が生じた場合も、IBMは責任を負わないものとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやラ
イセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、
またそのような結果を生むものでもありません。
本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示するものではありません。本講
演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をもっていつでも変更できるものとし、いかなる方法においても将
来の製品または機能が使用可能になると確約することを意図したものではありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向
上、またはその他の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもありません。 パフォーマンスは、管理された環境において標
準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラ
ミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられて
いるものと同様の結果を得られると確約するものではありません。
記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コスト
およびパフォーマンス特性は、お客様ごとに異なる場合があります。
IBM、IBM ロゴ、ibm.com、DB2、Power Systems、POWER6、POWER6+、POWER7、POWER7+、POWER8は、世界の多くの国で登録されたInternational Business Machines
Corporationの商標です。
他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。
現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。
Linuxは、Linus Torvaldsの米国およびその他の国における登録商標です。
Microsoft, Windows, Windows NT および Windowsロゴは Microsoft Corporationの米国およびその他の国における商標です。
UNIXはThe Open Groupの米国およびその他の国における登録商標です。
JavaおよびすべてのJava関連の商標およびロゴは Oracleやその関連会社の米国およびその他の国における商標または登録商標です。
45
© 2017 IBM Corporation