Yahoo!ビッグデータインサイト ご利用ガイド サービスマニュアル Ver.1.20 2015 年 1 月 23 日 株式会社 IDC フロンティア Yahoo!ビッグデータインサイトご利用ガイド 目次 1. はじめに ........................................................................................................................... 1 2. エンドポイント .................................................................................................................... 1 3. 利用開始まで .................................................................................................................... 2 3.1. ユーザー登録.......................................................................................................................... 2 4. CLI ツールのインストール .................................................................................................. 3 4.1. CLI ツールのインストール ........................................................................................................ 3 4.1.1. RubyGems のインストール ......................................................................................... 3 4.1.2. CLI ツールのインストール ............................................................................................ 4 4.1.3. エンドポイント設定 ...................................................................................................... 4 5. クエリを実行してみる ......................................................................................................... 4 5.1. コンソール ............................................................................................................................... 4 5.2. CLI ......................................................................................................................................... 5 5.2.1. ログイン ...................................................................................................................... 5 5.2.2. クエリ実行................................................................................................................... 6 6. データアップロード ............................................................................................................. 6 6.1. 6.2. DB、TABLE 作成 .................................................................................................................... 6 6.1.1. コンソール .................................................................................................................. 6 6.1.2. CLI ............................................................................................................................ 8 データアップロード .................................................................................................................. 8 6.2.1. バルクインポート ......................................................................................................... 8 6.2.2. ストリーミングインポート .............................................................................................. 11 7. エンドポイント設定方法 .................................................................................................... 13 7.1. CLI ツール ............................................................................................................................ 14 7.2. Android SDK ........................................................................................................................ 14 7.3. iOS SDK .............................................................................................................................. 14 7.4. JavaScript SDK.................................................................................................................... 14 8. お問合わせ ..................................................................................................................... 15 Yahoo!ビッグデータインサイトご利用ガイド 1. はじめに この文書では Yahoo!ビッグデータインサイトをご利用し始めたばかりのお客様、これから利用しようとし ているお客様に Yahoo!ビッグデータインサイトの利用開始までの流れと、簡単な使い方を記載します。 本手順書では、Yahoo!ビッグデータインサイトを利用開始されたばかりの方、これから開始するお客 様を対象としております。より詳細な利用方法については、詳細ドキュメントサイト （http://ybi-docs.idcfcloud.com/）を参照してください。 Yahoo!ビッグデータインサイトでは、コマンドラインツール（以降、CLI）と Web コンソール（以降、コンソ ール）という二つの操作系のユーザーインターフェースを提供しております。またログ収集専用のエンド ポイントも提供しております。 本手順書では操作系ユーザインターフェースのそれぞれのインストール方法、データのアップロード 方法、クエリの実行方法、クエリの実行結果のエクスポート方法について概説します。 また Yahoo!ビッグデータインサイトは現在でも積極的に開発しているサービスであり、一部本手順と実 際の画面やコマンドシンタックスが異なる箇所があるかもしれません。 そのようなときはお気軽にお問合せください。 2. エンドポイント Yahoo!ビッグデータインサイトで利用可能なエンドポイントと用途を以下に記載します。 コンソールエンドポイント： console-ybi.idcfcloud.com ブラウザ経由で Yahoo!ビッグデータインサイトを操作する際に指定するエンドポイ ントとなります。 API エンドポイント： ybi.jp-east.idcfcloud.com CLI ツールで指定するエンドポイントとなります。サーバログの収集とクエリ実行、 そして REST API のエンドポイントとなります。 クライアント SDK エンドポイント： mobile-ybi.jp-east.idcfcloud.com Android SDK, iOS SDK, Unity SDK, JavaScript SDK などの SDK で指定するエ ンドポイントとなります。ログ収集専用のエンドポイントとなります。 1 Yahoo!ビッグデータインサイトご利用ガイド 利用開始まで 3. Yahoo!ビッグデータインサイトは Free プランがありますので、無料で利用開始することができます。 3.1. ユーザー登録 以下の操作手順は、インターネットに接続した状態で行ってください。 1. コンソールにアクセスします。 URL は以下になります。 https://console-ybi.idcfcloud.com/users/sig n_up 2. 以下の必要事項を記入し「Sign Up」ボタンを 押下します。 - 名前 - 会社名 - 電話番号 - メールアドレス - パスワード 2 Yahoo!ビッグデータインサイトご利用ガイド 3. しばらくすると、Sign Up 時に入力したメール アドレス宛てに Yahoo!ビッグデータインサイ トの招待メールが来ます。 「Accept Invitation」ボタンを押下することで 押下することでコンソールにログインすること ができます。 これでユーザー登録は完了し、利用する準備 が完了しました。 CLI ツールのインストール 4. 4.1. CLI ツールのインストール 以下の操作手順は、Linux サーバ上で実行してください。 Linux サーバには Ruby がインストールされていることを前提として手順を記載します。インストールされて いない場合は、インストール後本手順を参照してください。また Ruby のバージョンは 1.9 以降を推奨しておりま す。 4.1.1. RubyGems のインストール Ruby のパッケージ管理ツールである RubyGems をインストールします。 ※インストール済みである場合は本手順をスキップしてください。 3 Yahoo!ビッグデータインサイトご利用ガイド 4.1.2. CLI ツールのインストール RubyGems で CLI ツールをインストールします。 4.1.3. エンドポイント設定 ログイン後に毎回エンドポイントを設定する必要がないように、~/.bash_profile に環境変数として設定して おきます。Yahoo!ビッグデータインサイトの API エンドポイントは以下となります。 API エンドポイント：ybi.jp-east.idcfcloud.com 5. クエリを実行してみる Yahoo!ビッグデータインサイトでは、すぐにお客様に操作して頂けるようにサンプルデータが登録されて います。ここではサンプルデータに対してクエリを実行する手順について記載します。 5.1. コンソール コンソールには対話的なチュートリアル機能が実装されていて、チュートリアルに沿って操作すればクエ リの実行方法を理解できると思います。 ここでは対話的なチュートリアルの開始方法を記載します。 1. コンソールにログインします。 URL は以下になります。 https://console-ybi.idcfcloud.com/users/sign_ in 4 Yahoo!ビッグデータインサイトご利用ガイド 2. ヘッダメニュの Help > Tutorial タブをクリックし ます。 3. Interactive Tutorial というポップアップが表示さ れますので、そこで Start ボタンを押下します。 そうする対話的なチュートリアルが開始されま す。 あとはチュートリアルに沿って操作してくださ い。 5.2. CLI CLI ツールでのクエリの実行方法を記載します。 5.2.1. ログイン CLI ツールで Yahoo!ビッグデータインサイトにログインします。 5 Yahoo!ビッグデータインサイトご利用ガイド 5.2.2. クエリ実行 以下のコマンドでクエリを実行します。 以下オプションの意味です。 -w:クエリが実行完了するまで待つ。 -t: クエリのタイプを指定します。 -d: DB 名を指定します。 6. データアップロード ここでは Yahoo!ビッグデータインサイトへのデータのアップロード手順について記載します。 Yahoo!ビッグデータインサイトへのアップロードには大きく分けて以下の二つの方法があります。 バルクインポート： 既存のデータをアップロードするときに使用するアップロード方法です。サポートして いる形式としては、CSV, TSV, JSON, MySQL などとなります。 ストリーミングインポート： ほぼリアルタイムでデータをアップロードする方法となります。OSS である td-agent を利 用したアップロード方法となります。 6.1. DB、TABLE 作成 データのアップロード先となる DB と TABLE の作成手順を記載します。 6.1.1. コンソール 6 Yahoo!ビッグデータインサイトご利用ガイド 1. コンソールにログインします。 URL は以下になります。 https://console-ybi.idcfcloud.com/users/sign_ in 2. Databases タブをクリックし、Databases 画面を 表示させます。 3. DB 名を入力し、Create ボタンを押下することで DB を作成することができます。 4. 次に Table を作成します。ここでは started_db という DB に対してテーブルを作成します。 Create Table ボタンを押下し New Table 画面を 表示させます。 7 Yahoo!ビッグデータインサイトご利用ガイド 5. New Table 画 面 で テ ー ブ ル 名 を 指 定 し て 、 Create Table ボタンを押下することで TABLE を 作成することができます。 6.1.2. CLI 6.1.2.1. DB 作成 以下のコマンドで started_db という DB を作成します。 6.1.2.2. TABLE 作成 以下のコマンドで started_table というテーブルを作成します。 6.2. データアップロード 作成した DB、TABLE に対してデータをアップロードする方法を記載します。 アップロード方法毎の利用するインターフェースは以下となります。 バルクインポート：コンソール（CSV, TSV のみ）、CLI ツール ストリーミングインポート：td-agent 6.2.1. バルクインポート 6.2.1.1. コンソール コンソールで対応している形式は CSV, TSV のファイルのみとなります。（2014/09/25 現在） 8 Yahoo!ビッグデータインサイトご利用ガイド 1. CSV, TSV 形式のデータファイルを準備しま す。 2. コンソールにログインします。 URL は以下になります。 https://console-ybi.idcfcloud.com/users/s ign_in 3. Collect Data タ ブをクリックし て、 Collect Data 画面を表示させます。 4. File Upload パネルをクリックし、File Upload 画面を表示させます。 5. 事前に用意しておいたデータファイルを画 面上にドラッグアンドドロップします。 9 Yahoo!ビッグデータインサイトご利用ガイド 6. DB、TABLE を選択して Use Slected table ボタンを押下します。 7. データに問題なければ Submit ボタンを押 下します。 これでアップロードは完了となります。 6.2.1.2. CLI ツール CLI ツールでは CSV, TSV 形式の他に JSON 形式、Apache ログ形式などで Yahoo!ビッグデータインサ イトにバルクインポートすることが可能となります。 ここでは TSV 形式のファイルをアップロードする手順を記載します。 バルクインポート処理は高速化のため、Java で実装されています。 そのため CLI ツールでバルクインポートする際には Java の実行環境が必要になりますので、事前にイン ストールしておく必要があります。 6.2.1.2.1. バルクインポート JAR ファイルのアップデート 以下のコマンドで CLI ツールのバルクインポートの JAR ファイルを最新化します。 10 Yahoo!ビッグデータインサイトご利用ガイド 6.2.1.2.2. データ準備 アップロードしたいデータファイルを準備します。 6.2.1.2.3. アップロード started_db の started_table にデータファイルをアップロードする手順は以下となります。 上記で started_db の started_table に対して、/tmp/www_access.tsv のデータをアップロードしています。 --column-header 指定することで/tmp/www_access.tsv の一行目をカラム名としてアップロードしています。 /tmp/www_access.tsv ファイルの抜粋が以下となります。 6.2.2. ストリーミングインポート ここではストリーミングインポートに必要な td-agent のインストール方法、API-Key の取得方法、ストリ ーミングインポートの設定手順を記載します。 6.2.2.1. td-agent のインストール td-agent とは、Fluentd 安定版の配布パッケージであり、ログサーバの OSS となります。 まず td-agent をインストールしたい Linux サーバにログインします。 ログイン後、それぞれの OS 種別によって以下の手順で td-agent をインストールします。 11 Yahoo!ビッグデータインサイトご利用ガイド 6.2.2.2. API-Key の取得 td-agent では Yahoo!ビッグデータインサイトのアカウントに紐づいた API-Key が必要になります。 以下のコマンドで API-Key を取得することができます。 6.2.2.3. td-agent の設定 td-agent では TCP ソケット経由でのログの取得、既存のログファイルを Tail してログを取得することが 可能となります。 ここでは Apache ログを Tailing して、出力されたログを Yahoo!ビッグデータインサイトにアップロード する手順を記載します。 以下の例のように設定ファイルを編集します。 以下の例は Ubuntu12.04 環境での設定となります。その他の環境の場合は適宜読み替えて設定し てください。 12 Yahoo!ビッグデータインサイトご利用ガイド 6.2.2.4. インポート確認 正常にインポートされているかを確認します。 まずは Apache サーバを起動します。 次に以下のコマンドで td-agent を起動します。 このとき td-agent が監視している Apache ログにアクセス権限がないときに td-agent ログにエラーログ が出力されます。エラーログが出力されたときは、Apache ログのアクセス権限を確認してください。 Curl コマンドで Apache サーバにアクセスしてみます。 正常な場合先ほど flush_interval に指定した時間経過後、Yahoo!ビッグデータインサイトにデータが アップロードされているはずです。 7. エンドポイント設定方法 Yahoo!ビッグデータ イ ン サイ トで利用可能なツール（ CLI ツール、 Android SDK 、iOS SDK、 JavaScript SDK など）は明示的にエンドポイントを設定する必要があります。 ここではそれぞれの設定方法を記載します。 13 Yahoo!ビッグデータインサイトご利用ガイド 7.1. CLI ツール CLI ツールのエンドポイントの設定方法は「4.1.3 エンドポイント設定」を参照してください。 7.2. Android SDK 以下に Android SDK のエンドポイントの設定方法を記載します。 オブジェクト作成前にエンドポイントを指定します。 7.3. iOS SDK 以下に iOS SDK のエンドポイントの設定方法を記載します。 7.4. JavaScript SDK 以下に JavaScript SDK のエンドポイントの設定方法を記載します。 オブジェクト作成時に host としてエンドポイントを指定します。 その他のツールのエンドポイントの指定方法は、 詳細ドキュメントサイト（http://ybi-docs.idcfcloud.com/）を参照してください。 14 Yahoo!ビッグデータインサイトご利用ガイド 8. お問合わせ サービスに関するお問い合わせは、以下の窓口よりご連絡ください。 対応内容 本手順書のお問合せ、サービ ス仕様、その他のお問合せ 連絡先 Ticket 対応時間 コ ン ソ ー ル (https://console-ybi.idcfcloud.com) > Help > Email Support のメールシステム 15 24 時間×365 日 Yahoo!ビッグデータインサイトご利用ガイド 改版履歴 改訂日 改訂章 改訂内容 2014 年 9 月 25 日 全章 初版 2015 年 1 月 21 日 8章 Chat 窓口削除 2015 年 1 月 23 日 8章 「チケット管理システム」 から 「メールシステム」に変更。 16 Yahoo!ビッグデータインサイトご利用ガイド Yahoo!ビッグデータインサイト ご利用ガイド サービスマニュアル Ver.1.20 発行日：2015 年 1 月 23 日 株式会社 IDC フロンティア 〒160-0004 東京都新宿区四谷 4-29 http://www.idcf.jp/ 17
© Copyright 2024 ExpyDoc
