データベース不要！ あ 大量データファイルから欲しいデータを即座に取り出す 高速CSV解析ツール ｄｄ ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 1 ※ 解析ブースター®は株式会社高速屋の商標です。 その山のようなデータ、 解析できていますか？ データベースによる大量データ解析は敷居が高い 前処理 (加工・変換) データベース ローディング 蓄積 解析/分析 抽出 欲しいデータを得るまでに、とにかく時間がかかる システムの構築や運用に手間やお金がかかる 導入した際の費用対効果が見えない状況にある 解析／分析環境を整えられず、利用を諦めることもしばしば。。 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 2 『解析ブースター』とは 欲しいデータを即座に抽出！ 大量のCSVファイルをデータベース化することなく、ダイレクトに 加工・集計できる高速なデータ解析支援ツールです。 大量CSVファイル 処理結果 CSVファイル API (ODBC/JDBC) スクリプト データ取り込み(ローディング) 加工 インデクシング 集計 省メモリ ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. SQL+プロシージャ 3 『解析ブースター』の特長 “SQL + プロシージャ” によるCSVファイルへのダイレクト処理 “SQL + プロシージャ” を処理系として、高度で柔軟な処理記述が可能 実行環境として、スクリプトと標準API(ODBC/JDBC)を装備 大量データの高速処理 独自の高速ツリーアルゴリズム（特許取得済み）と非同期I/Oによる、 ストレージの帯域幅をフル活用した高速データ処理 省メモリ 一時ファイル作成による分割・結合（マージ）方式により、省メモリで動作 入力ファイルサイズが実用上無制限※ テラバイト以上の入力データファイルを指定でき、実用上無制限に処理可能 入力データファイルのサイズは製品価格に影響しない ※ 入出力のためのストレージ容量など、本製品の動作要件を満たすことが前提です ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 4 データ解析の方法 導入・設定が容易、すぐに使える！ ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 5 処理時間の例 【対象データ】(CSVテキスト) 販売明細：3億件・40GB サプライヤマスタ：5万件・9MB 各所の 販売明細 【動作環境】 CPU：Intel Xeon x5670 2.93GHz(6コア) x 2 メモリ：96GB HDD：600GB(15KRPM) SAS x 16 OS：Windows Server 2008 R2 【サプライヤー向け発注データ編集処理】 指定出荷日のデータ抽出 （フィルタリング・ユニオン） サプライヤ別 出荷数集計 発注データ 発注データ 編集(結合) データベース化（ローディング） 他社DB 21 4分50秒 66分 速度比、14倍 !！ （使用メモリ8GB） データベース化不要！処理時間を大幅短縮 ※Windows Server 2008は米国および/または他の国のMicrosoft Corporationの登録商標または商標です。 IntelおよびXeonは、米国および/またはその他の国におけるIntel Corporationの商標です。なお、本文中には（TM）、（R）マークは明記しておりません。 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 6 処理能力の例（MB/秒） 【3億件・40GBのフィルタリング・ユニオン】 MB/秒※※ 800 600 400 200 0 1 2 4 8 並列数 並列処理でストレージ帯域幅をフル活用 ※※ 処理能力(MB/秒)の計測は、入力データファイルの読み込み開始から出力ファイルの書き込み完了までが対象です。 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 7 解析ブースター： 利用シーン “１人１台” ・ 現場担当者の業務能力が飛躍的に向上！ 解析・分析の前処理に 件数絞込み Excel/Access /解析ツール インポート 運用・保守時の検証作業に データ検証 データ出力 処理評価/テスト フィルタ/サマリ/結合 膨大な蓄積データの追跡に 追跡時間短縮、早期問題特定！ 設備データ 品質データ 生産情報 生産ライン/製造装置 NG→修復 検証済みデータ/処理の投入 PDCAを高速回転！ データ収集 OK 迅速なトライ＆エラーで精度UP！ システム間のデータ移行に 移行開発期間短縮、担当案件拡大！ ログトレース/解析 移行先データ作成 移行データ 出力 リコール対応 クレーム管理 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. クレンジング/ 名寄せ/マスタ作成 8 システム構成 ノートPC／ デスクトップPC上 での利用 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. IAサーバー上での利用 9 製品ラインナップ エントリー版 スタンダード版 ユーザー数 １ ５ (クライアントサーバー型) SQL・スクリプト(バッチ) 実行・簡易GUI ○ ○ プロシージャ × ○ ODBC/JDBC × ○ 最大並列処理数 2 16 OS 標準価格(税別)※2 Windows Server 2008 (64bit) R2 / Windows 7 Home Premium(64bit) 以降 24万円 90万円 ※Windows Server 2008、および Windows 7は米国および/または他の国のMicrosoft Corporationの登録商標または商標です。 なお、本文中には（TM）、（R）マークは明記しておりません。 ※2 別途、年間保守費用として製品価格の20％が必要です。 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 10 動作環境 スペック ＣＰＵ Intel Xeon / Core i3 以降 主メモリ ８GB 以上 ストレージ 入力データファイルサイズの３倍以上の空き容量 ＯＳ Windows Server 2008 (64bit) R2 / Windows 7 Home Premium(64bit) 以降 モニター (簡易GUI使用時) インターフェース WXGA（1280×800）以上 USB2.0 以降（ライセンスキー用） ※Windows Server 2008、および Windows 7は米国および/または他の国のMicrosoft Corporationの登録商標または商標です。 なお、本文中には（TM）、（R）マークは明記しておりません。 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 11 ｄｄ 適用シーン例 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 12 適用シーン①： エクセルや解析ツール向けのデータ抽出 情報システム部 業務システム デバイス/センサー ビジネス部門／研究部門 事前結合 ＣＳＶファイル エクセル サマリー BIツール フィルタリング 解析 ツール ポイント ・エクセルや解析ツールは大量データの取り込みが困難、内部処理に時間がかかる ・エクセルによる複数種CSV(マスタと明細等)の結合は手間がかかる 『解析ブースター』で対象データを事前に絞り込み／結合出力 ※エクセル（Excel®）はMicrosoft®の登録商標です ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 13 適用シーン②： システム間データ移行 リプレス対象システム ターゲットシステム ターゲットデータ作成 移行データ抽出 ポイント • 抽出・結合 • 名寄せ・重複排除 • マスタ作成 など ・データ編集プログラムの個別開発はコスト／期間が膨らんでしまう ・高機能なデータ編集ツールは高価、あるいは低速で使い勝手が悪い 『解析ブースター』でターゲットデータをスマートに高速作成 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 14 適用シーン③： バッチ処理／ＥＴＬアクセラレータ 抽出 加工・変換 Job1 Job2 ロード Job3 処理時間大！ 基幹システム データウェアハウス Job2 ポイント ボトルネック を解消 ・データ量増加に伴いバッチ処理が遅延し、サービスへの影響が懸念される ・次回リプレスの時期までは、ハードウェアを増強せずに運用を継続したい 『解析ブースター』(ソフトウェア)による処理時短で、ボトルネックを解消 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 15 適用シーン④： Ｗｅｂのアクセスログ解析 社内向け解析システム サービスシステム データベース 直近ログ データベース 過去ログ ポイント ・アクセスログの増加に伴い、DBへの取り込み時間やサーバー資源の圧迫が課題に ・膨大な過去ログも解析対象としたいが、全てをDB化するのは現実的でない 『解析ブースター』で生ログを直接解析。省資源で手軽な解析環境を併用 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 16 適用シーン⑤： ＣＳＶダウンロードサービス 企業間電子商取引の例 受発注システム(本部) フィルタ、サマリ 取引実績 データファイル 抽出 ダウンロード 社内 データベース 取引先／店舗 ポイント ・従来は、限られた形式でしかダウンロードできず、非効率 ・きめ細かな集計結果を配信したいが、データベースの負荷を上げたくない 『解析ブースター』でCSVファイルから高度抽出。DBや転送の負荷を抑制 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 17 適用シーン⑥： サーチャブルなエンコード・バックアップ 選択・抽出 ZIP & Password 圧縮・暗号化 ポイント 検索 復号 ・膨大なテキストファイルのバックアップに手間や時間がかかる。ストレージ容量も圧迫 ・必要データのみを取捨選択し、セキュリティにバックアップしたい 『解析ブースター』でサーチャブルなエンコードファイルを高速作成 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 18 適用シーン⑦： バッチ処理の試作設計・テストツール 稼働中バッチ処理 Job1 試 験 出 力 新SQL文 Job1･Test ポイント Job2 ← 十分に動作確認が取れた SQL文をシステムに投入 新しい処理の 評価・確認 ・稼働中のシステムを止めることなく、現行処理の修正・改良を検討したい ・出力システムと同等規模の開発システムを用意するための出費は避けたい 『解析ブースター』で新処理の確認サイクルを短縮し、テストを効率化 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 19 適用シーン⑧： ＩｏＴにおけるデータ整理 各種センサー／デバイス 一定時間／一定量毎 に処理を起動 RFID データセンター /クラウド Upload 不正/不要データフィルタリング 統計処理等 ポイント ・デバイス群などの出力データを少量・一次蓄積し、不正/不要データを削除 ・蓄積データをグループ化し、統計データ(サマリ)を作成してデータセンターに送出 『解析ブースター』でネットワーク・トラフィックとサーバー処理負荷を大幅軽減 ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 20 システム開発支援 解析ブースターは、高度処理系(SQL + プロシージャ)による 豊富な機能を備えたプロフェッショナル向け開発ツール 解析ブースターを活用した効果的なシステム開発を支援します お客様／パートナー様 システム開発 ご提供 ユーザー 一部受託 技術支援(スキル移転) ソリューション・ラボ・横浜株式会社 株式会社高速屋 Copyright (c) 2015 Kousokuya, Inc. All rights reserved. 21
© Copyright 2024 ExpyDoc
