「クラウド」と「ビッグデータ」での ＯＳＳ最新動向と活用について 「クラウド」時代におけるOSSの価値と課題、そして解決策はなにか 2015年1月27日 日本OSS推進フォーラムクラウド技術部会 高橋 千恵子 （日本電気株式会社） Copyright 2015 Japan OSS Promotion Forum 本日の内容 2012年5月、IT Leaders で 「OSS鳥瞰図」 が公開され ました。 クラウド技術部会では、今回 この「OSS鳥瞰図」をベースに、「クラ ウド」関連の最新の使えるOSSを追加しました。 また、「ビッグデータ」に関しては、「OSS鳥瞰図」への追加はできて いませんが、関連する多数のOSSを整理して、 「OSS俯瞰図」 とし てまとめました。 本日は、その内容をご紹介いたします。 本題に入る前に「OSSの変遷」を簡単にまとめてみました。 Copyright 2015 Japan OSS Promotion Forum 1 ＯＳＳによる新しいソフトウェア製品のデリバリ 商用ソフトで不可能な圧倒的な開発スピードや コストメリットを実現 ＜オープンソース＞ ＜商用ソフト＞ ここの 「規模」 がポイント ユーザコミュニティ ユーザ ユーザ ユーザ 改善要求, コードの寄贈 βリリース ユーザ セールス＆マーケ、サポート部門 ブラックボックス 開発コミュニティ 開発/発売元 製品リリース 短期間/低コストで製品の完成度が高まっていく。 利用者の声は、まずセールス＆マーケ、サポート部 門へ届き、そのあと開発/発売元へ。 Copyright 2015 Japan OSS Promotion Forum 2 ＯＳＳの変遷 インフラ領域のOSSは IaaSや運用管理など基本的なものがでそろった。 アプリケーション開発やいわゆるアプリケーションのOSSが伸びあり。 クラウドではPaaS、SaaS、XaaSが今後のターゲットか。 2005年から2012年までのOSS変遷をみてみると 2005年： Linux OSが主だが、システム監視、ミドル、アプリなどのOSSが登場 2007年： LAMP/LAPP、OSS増加、裾野拡大。買収/協業なども進行 アプリ系でコラボレーティブ領域にWiki/BlogなどEnterprise2.0関係OSS増加 2009年： 著名OSSの買収が進行 2010年： SaaS型のWeb型アプリケーションが増加/著名OSSの有償サポート(含非OSS 化)も進む 2012年： 仮想化やクラウド基盤関係のOSSが注目される/システム、ネット管理OSSの 伸びがある。ソフトウェア分類を越えた統合的な著名OSSの伸びがある Copyright 2015 Japan OSS Promotion Forum 3 2005年 2007年 2013年 Copyright 2015 Japan OSS Promotion Forum 4 ＯＳＳ情報の最新化 いわゆる「OSS」については様々なところで、情報発信がされている。 「OSS鳥瞰図」なるものが2012年にITLeaders殿で作成され、公開 されたが、このような情報の最新版、特に「クラウド」や「ビッグデー タ」のキーワードでのOSSの最新情報があるとよいのではないか。 対応方針 クラウド/ビッグデータについて、現状の「OSS鳥瞰図」で表 現されていない領域を重点的に調査 クラウドについては、「OSS鳥瞰図の最新化」実施 ビッグデータに関しては、データを扱うという観点で、データ フローがわかる「俯瞰図」を作成 Copyright 2015 Japan OSS Promotion Forum 5 Copyright 2014 Japan OSS Promotion Forum 6 ＯＳＳ鳥瞰図【2012年度ベースのITLeaders公開】 出典：IT Leaders 2012年05号「特集：企業ITに浸透するOSS」より Copyright 2015 Japan OSS Promotion Forum 7 ＯＳＳ鳥瞰図【仮想化】 仮想化カテゴリを詳細化 Copyright 2015 Japan OSS Promotion Forum 8 ＯＳＳ鳥瞰図【仮想化】 仮想化 サーバ仮想化 KVM Xen VirtualBox LXC Proxmox VE Jail (FreeBSD) ストレージ仮想化 GlusterFS Ceph OpenStack (Swift) Riak CS Copyright 2015 Japan OSS Promotion Forum ネットワーク仮想化 OpenDaylight OpenContrail Trema OpenStack(Neutron) 9 ＯＳＳ鳥瞰図【クラウド】 クラウドカテゴリを詳細化 Copyright 2015 Japan OSS Promotion Forum 10 ＯＳＳ鳥瞰図【クラウド】 クラウド Cloud service categories Infrastructure as a Service (IaaS) OpenStack(Nova) CloudStack Eucalyptus OpenQRM Wakame Proxmox VE Docker Vagrant Platform as a Service (PaaS) Compute as a Service (CompaaS) OpenStack(Trove) OpenStack(Sahara) Communications as a Service (CaaS) Desktop as a Service (DaaS) Email as a Service (EaaS) Data Storage as a Service (DSaaS) Cloud Foundry OpenShift Software as a Service (SaaS) Emerging cloud service categories Database as a Service (DBaaS) Network as a Service (NaaS) Liferay openMosix Beowulf cluster Identity as a Service (IDaaS) Management as a Service (MaaS) Security as a Service (SECaaS) 参考：ISO/IEC 17788:2014 Information technology — Cloud computing — Overview and vocabulary Copyright 2015 Japan OSS Promotion Forum 11 ＯＳＳ鳥瞰図【その他】 構成管理 Chef Puppet Ansible Salt Vargrant CMS・ポータル Apache Commons Apache PDFBox blueonyx Drupal Key Value Store Apache Cassandra Redis Monitering and reporting Authorization and Security policy Management Development Support 運用監視 ディレクトリサービス 開発補助 parallel ssh rsyslog simpleSAMLphp (SSO/認証系) Xymon (旧 hobbit) Nagios Himemos Zabbix Hobbit Cacti MRTG OpenLDAP OpenDJ ApacheDS 389ds nkf FreeType2 ImageMagick MyBatis OpenMQ Apache POI ID管理 OpenIDM 認証・アクセス管理 OpenAM OpenIG Shibboleth Samba4 NoSQL Riak MongoDB (ActiveDirectory) Webサーバ・プロキシ・ファイアウォール Nginx Copyright 2015 Japan OSS Promotion Forum 12 ＯＳＳ鳥瞰図 デスクトップ・業務アプリケーション デスクトップ Firefox GNOME KDE Thunderbird JasperSoft Pentaho SpagoBI Adempiere Apache OFBiz Compiere ERP5 FrontAccounting GnuCash Openbravo ERP CRM オフィススイート OpenPSA SugarCRM Tine LibreOffice OpenOffice.org 専門ソフトウェア(CADなど) Blender BRL-CAD graphviz Jgraph mxGraph white_dune Webサイト構築 ERP BI 人事・給与 グループウェア MosP TimeTrex TUTOS Aipo Enterprise CRM and Groupware System Open-Xchange Thetis Zimbra オペレーション、製造管理 Asterisk NOC OTRS CMS・ポータル Alfresco Drupal GateIn Joomla! Liferay Moodle Movable Type NetCommons OpenPNE Plone Wordpress XOOPS Apache Commons Apache PDFBox blueonyx EC-CUBE Interchange Apache HTTP Server Apache Tomcat Apache Tomcat Connector GlassFish JBoss Application Server Jetty JOnAS lighttpd Zend Platform EAI/ESB データベース Firebird MariaDB MUSCLE MySQL Oracle Berkeley DB Postgres Plus PostgreSQL SQLite DBクラスタリング MySQL Cluster pgpool-II Slony-I Apache Axis2 Talend ストレージ・バックアップ 分散処理 phpMyAdmin phpPgAdmin BPM Interleave JBoss jBPM ProcessMaker KVS Apache Cassandra Kyoto Cabinet Kyoto Tycoon memcached Redis Riak MongoDB HAクラスタ DRBD Heartbeat Pacemaker 負荷分散 BalanceNG Linux Virtual Server Pound UltraMonkey 運用監視 Chef Puppet Ansible Salt Apache Ant Apache Maven Autotools Eclipse GCC GDB NetBeans OS サーバー仮想化 Android CentOS Debian GNU/Linux Fedora FreeBSD openSUSE Red Hat Enterprise Linux Scientific Linux SUSE Linux Enterprise Server Ubuntu KVM Xen VirtualBox LXC Proxmox VE Jail (FreeBSD) バージョン管理 Apache Subversion Bazaar Git Mercurial ViewVC OpenStack(Nova) CloudStack Eucalyptus OpenQRM Wakame Docker Vagrant ネットワーク仮想化 OpenDaylight OpenContrail Trema OpenStack(Neutron ) *2 *1 Infrastructure as a Service (IaaS) ストレージ仮想化 GlusterFS Ceph OpenStack(Swift) Riak CS Compute as a Service (CompaaS) Database as a Service (DBaaS) OpenStack(Trove) OpenStack(Sahara) Communications as a Service (CaaS) Desktop as a Service (DaaS) Platform as a Service (PaaS) Data Storage as a Service (DSaaS) Apache SpamAssassin Clam AntiVirus MailScanner Nessus Rootkit Hunter Samhain IDS/IPS/SIEM Ettercap OSSIM prelude IDS Snort ID管理 OpenIDM Email as a Service (EaaS) Cloud Foundry OpenShift Software as a Service (SaaS) openMosix Beowulf cluster 開発言語 PHP Java OpenGL Shading Language Perl Python Ruby Scala プロジェクト管理 Achievo Atlassian JIRA BugZilla Mantis OpenProj Redmine TaskJuggler Trac セキュリティ アンチウィルス/ 脆弱性管理 ネットワーク・モニタリング AWStats Cacti GKrellM Kismet MRTG Munin Net-SNMP Nmap Pmacct RRDtool Vyatta Wireshark 開発フレームワーク Apache Logging Log4j Apache Struts Hibernate MyBatis (旧iBATIS) JBoss Seam Midgard PhoneGap Qt Ruby on Rails Seasar2 Spring Framework Struts Titanium_Mobile ZK nkf FreeType2 ImageMagick OpenMQ Apache POI DataVision iReport JasperReports OS、仮想化、クラウド DB管理 NoSQL Groundwork Monitor Hinemos Xymon (旧 hobbit) Nagios Pandora FMS Zabbix parallel ssh rsyslog simpleSAMLphp (SSO/認証系) 構成管理 Apache Lucene Ludia 開発支援 統合開発環境/ビルド支援 帳票ツール 運用管理 Amanda Bacula Clonezilla Disk ARchive G4L Mondo Rescue rdiff-backup 検索エンジン Apache Hadoop Condor FreeIPMI Ganglia GNU Parallel Web/AP サーバー、データベース Web/AP サーバー 検索、分散処理 eコマース SSL/VPN/SSH OpenSSH OpenSSL OpenVPN strongSwan stunnel プロキシ/ ファイアウォール FirewallBuilder IPCop Firewall iptables/ip6tables Nginx Squid ディレクトリサービス 389 Directory Server OpenLDAP OpenDJ ApacheDS 認証・アクセス管理 CAS FreeRADIUS GnuPG Kerberos LDAP Account Manager OpenAM OpenDS OpenSSO PacketFence pam TOMOYO Linux Webmin/usermin WiKID Strong Authentication System OpenIG Shibboleth Samba4 (Active Directory) ファイルサーバー、メールサーバーなど Network as a Service (NaaS) Identity as a Service (IDaaS) Management as a Service (MaaS) *1：Cloud service categories *2：Emerging cloud service categories 参考：ISO/IEC 17788:2014 Information technology — Cloud computing — Overview and vocabulary Security as a Service (SECaaS) DNS/DHCP BIND djbdns Dnsmasq ISC DHCP pdnsd FTPサーバー Filezilla ProFTPD vsFTPD ファイルサーバー S3QL FreeNAS NASLite OpenAFS POP/IMAP/MTA Courier-IMAP Cyrus IMAP Dovecot Exim fml Postfix qmail sendmail SquirrelMail 13 Copyright 2014 Japan OSS Promotion Forum 14 調査の背景 ここ数年、ビックデータ・Hadoopといったキーワード で盛り上がりをみせているが、Hadoopは分散処理 基盤であるためシステムとして単体で閉じるもので はない。 「Hadoopはビッグデータ処理のOSカーネル」(Doug Cutting氏講演 in Hadoop Conference Japan 2014) Hadoopの周辺にさまざまなOSS・商用製品が現れ たり、連携したりしている。 ビッグデータシステムとしてHadoop以外に何が必要なのか 全体像を俯瞰し、整理する必要性がある Copyright 2015 Japan OSS Promotion Forum 15 調査の位置づけと目的 利用用途においてどのようなOSSが必要かを洗 い出し、整理する ビッグデータサービス提供者やSEがシステムを構 築する際に必要な機能やそれを実現するための OSSを選択する判断材料を提供する 採用を検討している対象のOSSが 「本当に使え るか？」の判断材料を提供する ビッグデータシステム企画時のOSS使用の判断材料 Copyright 2015 Japan OSS Promotion Forum 16 ＯＳＳによるビッグデータシステム ビッグデータシステムをビッグデータ俯瞰図として整理 データの発生からそのデータがビジネス価値を生 み出すまでの流れを表示 データがビジネス価値を生み出すまでの流れの中 から必要な機能を洗い出す 各機能を実現するOSSを洗い出し、そのOSSの中 から主要なものを抽出し、ビッグデータ俯瞰図の機 能の中にマッピングを行う OSS抽出基準としては、ビッグデータ分野での知名 度、実績、注目度、システム構築上の要素となり 得るもの、サポートベンダーの有無などを総合的に 判断のうえ抽出 Copyright 2015 Japan OSS Promotion Forum 17 資料は日本OSS推進フォーラムクラウド技術部会の下記 URLにて公開中。 http://ossforum.jp/cloud_tech OSSによるビッグデータシステム ～動向調査と選定方針について～（発表スライド） こちらは2014年9月16日に実施しました「今使える “オ ープンソースソフトウェア” の 最新動向」セミナーでの発 表資料になります。 OSSによるビッグデータシステム ～動向調査と選定方針について～ こちらは今回の調査の詳細な情報がすべて入っている 資料になります。 Copyright 2015 Japan OSS Promotion Forum 18 ビッグデータ関連ＯＳＳシステム俯瞰図の全体像 ビッグデータからビジネス価値を生み出す流れ データソース データ収集・検知 Webデータ クローラ Webデータ収集 データ蓄積ファイルシステム データ蓄積部分への データのロード データ集合に対して統計 アドホッククエリ データ蓄積基盤 分析/可視化ツール BIツール データロード データ蓄積基盤への セキュリティ・認証 データ蓄積基盤から RDBへのデータロード センサデータ 分析結果を可視化 分析用データ CEP 非構造化 データ 統計解析 準リアルタイムクエリ セキュリティ/認証 ※ 収集 非構造化データの収集 解析ツール 知識、ルールなどを導出 並列分散処理基盤 データロード 発生したデータを リアルタイム処理 機械学習 並列分散処理 売上情報など 構造化データ (業務RDB) データ分析 ビッグデータ蓄積・貯蔵・その他 高速化キャッシュ/スケールアウト インメモリDG/分散KVS 定型業務RDB リレーショナル データベース インメモリDB メモリ上でのデータ管理 DWH・マートレスDB NoSQLと呼ばれる領域 分析のためのデータ倉庫 システムログ 音声 画像 運用管理・監視 稼働監視・性能監視・ジョブ管理 などの管理系機能 ※データ蓄積ファイルシステムに対するセキュリティ/認証であるため ビッグデータ蓄積・貯蔵・その他のカテゴリに分類 ビッグデータ関連OSSシステム俯瞰図は複数の機能コンポーネントが組み合わさっている Copyright 2015 Japan OSS Promotion Forum 19 ビッグデータ関連ＯＳＳのシステム俯瞰図 対応するOSSをマッピングしたシステム俯瞰図 データソース Webデータ 売上情報など 構造化データ (業務RDB) センサデータ 非構造化 データ システムログ 音声 画像 データ収集・検知 クローラ ManifoldCF Nutch データロード Sqoop Talend 収集 Fluentd Flume CEP Storm Apache S4 Jubatus Esper Drools Fusion データ分析 並列分散処理 Hadoop MR 解析ツール 機械学習 Hadoop YARN Mahout Spark 準リアルタイムクエリ 統計解析 データ蓄積ファイルシステム Drill R言語 Hive Hadoop HDFS GlusterFS Impala 分析/可視化ツール Ceph Lustre BIツール データロード Pentaho セキュリティ/認証 Sqoop JasperReports MIT Kerberos OpenLDAP 分析用データ インメモリDB 定型業務RDB 高速化キャッシュ/スケールアウト VoltDB インメモリDG/分散KVS MySQL PostgreSQL DWH・マートレスDB Redis Cassandra OSSで著名なものはない Riak MongoDB HBase Infinispan ビッグデータ蓄積・ 貯蔵・その他 運用管理・監視 Hinemos Zabbix 上記システム俯瞰図は商用OSSディストリビューションを除いて記載。 なお、上記記載のOSSはそのカテゴリの中で著名でかつ今回詳細情報を調査したもののみであり、上記以外の OSSもある。 Copyright 2015 Japan OSS Promotion Forum 20 ビッグデータ関連ＯＳＳシステム俯瞰図 商用ディストリビューションを追記したシステム俯瞰図 データソース データ収集・検知 Webデータ 売上情報など ビッグデータ蓄積・貯蔵・その他 並列分散処理 クローラ Hadoop MR(CDH，HDP) Hadoop YARN(CDH，HDP) Spark(CDH) ManifoldCF Nutch データ蓄積ファイルシステム データロード 構造化データ (業務RDB) Sqoop(CDH，HDP) Talend(Talend Open Studio for Big Data) 収集 センサデータ Fluentd Flume(CDH，HDP) Hadoop HDFS(CDH，HDP) Lustre(Intel Enterprise Edition for Lustre Software) GlusterFS(Red Hat Storage Server) Ceph(INKTANK CEPH ENTERPRISE) 準リアルタイムクエリ Drill Hive(CDH、HDP) Impala(CDH) データロード Sqoop(CDH、HDP) セキュリティ/認証 非構造化 データ システムログ 音声 画像 解析ツール 機械学習 Mahout(CDH, HDP) 統計解析 R言語 分析/可視化ツール BIツール Pentaho JasperReports MIT Kerberos OpenLDAP 分析用データ CEP Storm Apache S4 Jubatus Esper Drools Fusion(JBoss BRMS) データ分析 高速化キャッシュ/スケールアウト インメモリDG/分散KVS Cassandra (DataStax Enterprise) MongoDB (MongoDB Enterprise) Infinispan (JBoss Data Grid) Redis Riak(Riak Enterprise) HBase(CDH, HDP) 定型業務RDB MySQL PostgreSQL (PowerGres, EnterpriseDB) インメモリDB VoltDB DWH・マートレスDB OSSで著名なものはない 運用管理・監視 Hinemos Zabbix(MIRACLE ZBX) 企業にて利用を検討する場合に重要な、商用ディストリビューション/サポートサービスの有無もマッ ピングした。 また、ここには挙げないが各領域に商用製品も存在する。全てOSSでシステム構築するのが目的で はなく、また現実的ではないだろう。OSS/商用製品含め、全体を視野に入れながら自社業務に最 適な選択肢を検討することを推奨したい。 Copyright 2014 Japan OSS Promotion Forum 21 Copyright Japan OSS Promotion Forum Copyright2014 2015 Japan OSS Promotion Forum 2222 コミュニティ活発度と導入実績マップ 実績 多 Hinemos MySQL Hadoop Zabbix 導入実績多数 Esper PostgreSQL OpenLDAP Ceph HBase Jasper Reports MongoDB 導入実績あり Jubatus Cassandra R GlusterFS 100件 500件 ユーザコミュニティ活発度 (投稿件数/年) 1000件 検証多数 不活発 活発 検証実績あり Talend Redis Pentaho Infinispan S4 Lustre VoltDB ランク外 データ収集・検知 ビックデータ蓄積・貯蔵・その他 少 MIT Kerberos 掲載なし Drill Mahout Impala Spark Storm Fluentd Flume 高速化キャッシュ/分散KVS ManifoldCF データ分析 Drools Fusion 運用管理・監視 Copyright 2015 Japan OSS Promotion Forum Nutch Sqoop Hive Riak 23 コミュニティ活発度と導入実績マップ 実績 多 Hinemos MySQL Hadoop Zabbix 導入実績多数 Esper PostgreSQL OpenLDAP Ceph HBase Jasper Reports MongoDB 導入実績あり Jubatus Cassandra R GlusterFS 100件 500件 検証多数 不活発 ユーザコミュニティ活発度 (投稿件数/年) 1000件 活発 普及 検証実績あり Talend Redis Pentaho Infinispan S4 Lustre VoltDB ランク外 データ収集・検知 ビックデータ蓄積・貯蔵・その他 進化 少 MIT Kerberos 掲載なし Drill Mahout Impala Spark Storm Fluentd Flume 高速化キャッシュ/分散KVS ManifoldCF データ分析 Drools Fusion 運用管理・監視 Copyright 2015 Japan OSS Promotion Forum Nutch Sqoop Hive Riak 24 考察 新技術ウォッチ領域 •かつてGoogle発のMapReduce論文が、Hadoopとして実装され広まったよ うに、Web企業発の新技術がOSSとして出現する領域。(Drill, Giraphなど) •Apache Incubatorプロジェクトの動きをウォッチしておくのも一つの手段。 先行検討/アーリーアダプト領域 •新技術として生まれたOSSが進化し、現在はビッグデータ関連OSSの多く がこの領域に位置する。 •実績は少ないが、その分、他社に先んじて活用すれば、自社ビジネスの差 別化/競争力強化に繋がる可能性がある。 •開発は非常に活発で、新機能追加やアップデートも早い。しかし一方で、 その進化のメリットを享受するには、動きにキャッチアップしていく体制や技 術力も必要となる。 •商用ディストリビューションベンダーが存在するならば、 利用も選択肢のひ とつ。 エンタープライズ適用領域 •ほぼ安定して利用することが可能。 •ほとんどのOSSについて、商用ディストリビューション/商用サポートベンダー が存在するため、コストや信頼性を勘案の上活用する。 Copyright 2015 Japan OSS Promotion Forum 25 Copyright 2014 Japan OSS Promotion Forum 26 進化を続けるＯＳＳ 世界中の開発者の叡智を注ぎ込んだOSSの進化を、 自社ITシステムの適材適所に活用することで、クラ ウドおよびビッグデータから新たなビジネス価値を 生み出し、多くのメリットを得られるだろう。 最先端の技術とスピードで進むクラウド/ビッグ データ領域と手段としてのOSS活用を上手に組み合 わせ、便利な世の中にしていくべきであろう。 来年度は今年度の活動成果の一部は深堀、一部は最 新動向キャッチアップで推進予定。 Copyright 2015 Japan OSS Promotion Forum 27 Copyright 2015 Japan OSS Promotion Forum
© Copyright 2024 ExpyDoc
