Splunk を - Violin Memory

複雑化する IT インフラは、毎日ミリ秒単位で絶えず膨大な
マシンデータを生成しています。このマシンデータには、ト
ランザクションレコードに加え、顧客の行動、マシンの動作、
セキュリティ脅威などさまざま情報が含まれます。Splunk は、
このような大量なマシンデータから IT 運用に加えてビジネ
ス運用に欠かせないオペレーショナルインテリジェンスをリ
アルタイムに提供します。IT アナリストやビジネスアナリス
トは、Splunk のオペレーショナルインテリジェンスを使うこ
とで、日々発生するさまざまなイベントに対してリアルタイ
ムに対応し、サービスレベルを向上し、リスクを軽減する同
時に、コスト削減を実現することができます。
Splunk では、IT とビジネスのどちらにもメリットをもたらす
リアルタイムの洞察力を IT アナリストやビジネスアナリスト
に提供するために、Splunk クラスターが大量なデータを 継
続的に取り込み、インデックス化します。さらに、これと同
時に、Splunk クラスターはマシンデータの解析レポートツー
ルとしてエンドユーザーのアドホックなクエリーや複雑なレ
ポートを処理します。
今、大型データセットを取り扱う Splunk ユーザーのこのよう
なリアルタイムの要件は、ますます重要になってきています。
まさに、Splunk ユーザーにとって、フラッシュメモリーが理
想的なストレージソリューションとして注目されています。
5
Challenges
Splunk を
メモリーの
速度で活用
Violin Memory が
取り組む
Splunk
ユーザーのための
5 つの
チャレンジ
Challenge 1:
日次インデックス
処理能力の限界
Splunk クラスターにおける最も重要なコンポーネ
ントは Indexer ノードです。Indexer ノードは継続
的にデータを取り込み、リアルタイムにインデック
ス化し、データを処理し、不揮発性のストレージ
に書き込みます。このすべてを同時進行する中で、
Indexer ノードはエンドユーザーのクエリーを同時
処理します。Indexer ノードは、ストレージサブシ
ステム上で極めてランダムな Read / Write の混
成ワークロードと極めて高い I/O コンテンションを
生成します。このような I/O ワークロードは、結
果として、CPU を I/O 待ちにし、Splunk 内のク
エリーをブロックします。通常、ストレージがこの
デマンドに対応し続けることができなくなると、
Splunk クラスターが効果的にデータ量を調整しま
すが、タイムリーにデータは取り込まれず、また
クエリーの処理も完結できなくなります。
Splunk ユーザーは、インデックスを移動すること
に加えて、Violin Memory への Splunk のホットバ
ケットおよびウォームバケットによって、劇的に I/
O 応答時間は高速化し、同時に既存の Indexerノー
ドのインデックス化能力を劇的に向上させること
ができます。これによって、Splunk の Indexer ノー
ドは日々のデータ取り込み量を増加させることが
できます。Violin はマイクロ秒レベルの I/O 応答
時間を実現します。このマイクロ秒レベルの I/O
応答性は CPU の効率的な稼働を確保すると共に、
エンドユーザーのクエリーを処理する能力を大幅
に増加させます。
Violin Memoryが取り組むSplunkユーザーのための5つのチャレンジ
Challenge 2:
同時ユーザー数の限界
Challenge 4:
仮想マシンでの拡張限界
Splunk クラスター内での1つのアクティブなクエリーがこのクエリーを処
理する1つの Search Head ノードと各 Indexer ノード内で 1 つの CPU コ
アをフルに使い切ります。 そのために、Splunk クラスターが処理できる
同時クエリーの総数には物理的な限界が存在します。この同時処理性能を
向上させるベストプラクティスとして使われる方法は、Indexer ノードを増
設するか、または Indexer ノードあたりの DRAM を増やすかのいずれかで
す。システムメモリー内でキャッシュするデータの量を増加させ、各クエリー
の処理に要する時間を最小化し、ユーザーへの同時処理性能を向上させ
ることです。
エンタープライズクラスのデータセンターの数は増加の一途を辿っていま
すが、Windows や Linux オペレーティングシステムイメージに関するデー
タセンターのポリシーは「仮想化第一」または「すべて仮想化」のいず
れかです。仮想マシンクラスター上で Splunk を稼働することは可能です
が、各 Splunk 仮想マシンのための DRAM および IOPS 要件を満たすこと
は、従来の共有ストレージインフラでは困難であることは明らかです。
Splunk を効率良く機能させるために必要な応答時間および IOPS の要件
を従来の共有ストレージインフラでは実現することができないのです。
Violin を導入することで、Indexer ノードの CPU へのすべてのデータをマ
イクロ秒レベルでハンドリングすることができます。これによって、すべて
のクエリーをメモリーの速度で処理することが可能になります。しかも、
Indexer ノード内で高価な DRAM を大量に必要とすることもありません。
クエリーの処理が高速になることは、日々処理できるクエリーの量が増え
ると同時に、同時ユーザーの数も増加させることになります。
Challenge 3:
新規ユースケースを拡張するため
の性能限界
システム性能分析やログ分析のために使用される Splunk クラスターは、
一般的には数週間以上のデータを保存する必要はありません。しかし、
Splunk のユースケースには、基本的なトラブルシューティングから高度な
セキュリティコンプライアンス解析が含まれます。高度なセキュリティコン
プライアンス解析では、長期(例えば 90 日)にわたる傾向分析を求めら
れることがあります。このような場合、Indexer ノードにはより多くのホット
バケット、ウォームバケットやコールドバケットを保存することが必要になり
ます。 通常は、Indexer ノードは、拡張性に乏しい内臓ディスクの容量に
依存しています。そのため、スケールアウト Splunk クラスターのストレー
ジ容量を増加させることは、結果的に Indexer ノードを増設することになり
ます。このようなノードの増設はコスト増と運用の複雑性を発生させます。
共有 Violin Memory アレイ上で複数の Indexer ノードからインデックスファ
イルを統合することは、既存のクラスターのストレージ容量を拡張させる
ためのシンプルかつ効率的なソリューションです。3 ラックユニット構成で
最大容量 70TB と最大 100 万 IOPS の処理能力を実現する Violin Memory
アレイは、最適な Splunk 性能を確保するために必要な IOPS および低レ
イテンシーのすべての要件を満たす Splunk の Indexer ノードのための高
性能な共有ストレージを提供します。
Violin Memory は、仮想化された Splunk クラスターへの低レイテンシー
の高性能共有ストレージバックエンドとして理想的なソリューションです。3
ラックユニット構成で最大 100 万 IOPSを実現するViolin Memory アレイは、
仮想サーバー内で Splunk の Indexer ノードが必要とするすべての性能要
件を実現します。
Challenge 5:
エンタープライズレベルの
高可用性
Splunk はこれまでに増してビジネスクリティカルのユースケース(例えば、
インフラのセキュリティ監視)をサポートするようになってきています。こ
れに伴って、クラスターの基盤となる IT インフラコンポーネントの高可用
性は必須の要件になってきています。ノードダウンなどの完全障害に対応
するにはスケールアウトソフトウェアの機能にすべて依存したいと多くの
企業が考える一方で、このようなイベントは Splunk の運用に破壊的な影
響を間違いなく与えます。当然、Splunk への障害はできる限り回避すべ
きです。このような理由によって、多くの企業は一般的に Indexer ノード
に何らかの形態のハードウェア RAID を活用して、Indexer ノードの内部ス
トレージを保護しています。この形態は Indexer ノードクラスターの可用
性を確保することを支援しますが、これらの RAID コントローラーはパ
フォーマンスに悪影響を与えます。特に、IOPS を制約することになります。
そして、さらにレイテンシーを増加させることになります。
Violin Memory アレイは、最大限のパフォーマンスと高可用性を実現する
ように、基本設計から開発されています。Violin Memory アレイのすべて
のハードウェアコンポーネントは冗長構成になっており、自動フェイルオー
バー機能に加えて、ホットスワップ機能が内蔵されています。ホットスワッ
プ機能によって、システムを止めることなくハードウェアのメンテナンスを
行うことができます。 すべてのフラッシュメディアは Violin の特許を取得
したフラッシュに最適化された vRAID アルゴリズムによって守られ、すべ
てのデータはコンポーネント障害に対して継続的に保護されます。同時に、
Violin Memory を特徴付けるこれまでにないパフォーマンスレベルを実現
します。
お問い合わせは
Violin Memory 株式会社 〒105-0003 東京都港区西新橋 1-2-9 日比谷セントラルビル 14 階 電話:03-5532-8848 vmem.com/jp Email: [email protected]