life x web Technology Design » イベント

[HCJ2011レポート] Hadoopと分析統計ソフトKNIMEを用いた効率的データ活用 #hcj2011

Hideya Kato — Wed, 23 Feb 2011 06:57:13 +0000

Hadoop Conference Japan 2011
日本Hadoopユーザ会

日時：2011/02/22 11:15〜
場所：NTTデータ

http://www.eventbrite.com/event/1278974447/efblike
——-

Hadoopと分析統計ソフトKNIMEを用いた効率的データ活用

リクルート
中野猛

Hadoop環境
余剰サーバで検証、最近

・Hiveは利用開始
・HBaseも利用準備中
半リアルタイムなデータ集計
カスタマの行動ログを格納
データ設計が肝

・これまでの活動から
主に8つの取組みを行い中
メルマガ用リコメンド計算バッチ処理時間短縮
相場表型のクロス分析　など、、、

分類
1．既存の処理（バチ）を高速化する
2．今不可能とされていんた処理を実現する
3．新しい取り組み

分析屋さんとシステム屋さんの間のやりとりの効率化
・ひとのはなし：視線を合わせる
分析屋さん＋システム屋さん（別G）
正義は微妙に異なる（目的は同じ・視座が異なる）
SQL的orR的

・もののはなし：道具を共通化する
→商用ツールをみんなで導入するわけには、、、
→でもつかってみないとね、、、
→KNIME

・KNIMEとは
処理ロジックは以下のようなノード（150以上の種類あり）をつなぐことで組み立てる
アニメーションでの状況確認
ノード間をデータが繊維
結果は随時ツール上で確認可能

主な利用者
製薬系の研究所→サービス企業へ
アクティブユーザは全世界で6000人ぐらい

類似にはSpoon（Pentaho)・Orangeなど
SpoonかKNIMEか？
統計／マイニングの統合／充実度からKNIME

・KNIMEの検討
良いところ
クラスタリング等マイニング系には妙に充実
処理をJavaでスクリプト的にも追加できる

悪いところ
SQL的な考えだと面倒なところがある
英語

・HadoopとKNIME
狙いたい分析設計
分析の前処理自体はサーバ環境で
一箇所に集まったデータを即座に利用
非力なPCでやることもしばしば
サーバ環境とのデータ転送は最小限に

Hiveとの連携

・その他
大規模での試行錯誤に同対応するか？
RESTを使ったシステム連携に使えるらしい
AWS使えるらしい

[HCJ2011レポート] マルチユーザーでHadoop環境を利用するためのポイント #hcj2011

Hideya Kato — Wed, 23 Feb 2011 06:44:44 +0000

Hadoop Conference Japan 2011
日本Hadoopユーザ会

日時：2011/02/22 11:15〜
場所：NTTデータ

http://www.eventbrite.com/event/1278974447/efblike
——-

マルチユーザーでHadoop環境を利用するためのポイント

NTTデータ
山下真一

Hadoopに関するエピソード
1．ヒープメモリ枯渇
空ファイルや小さなファイルを置かない
見積もりは大切
モニタリングする仕組みは重要

2．ライブラリ起因による処理の不整合
とあるライブラリが起因して出力ファイルの一部が消失
→Hadoopno 投機的実行による同じ処理の多重実行が起因
重複実行→不整合な状況になって発生

3．Hadoopクラスタ利用活用の拡大
・せっかくの計算資源だからもっといろいろな用途で利用したいね
・社内の複数の部門の人達でそれぞれのデータを利用して処理したいね
…
Hadoopクラスタを複数の目的やユーザで使う場合の注意点

・複数の利用者や目的で動作させるHadoopクラスタ
Hadoopクラスタにアクセスする環境を限定する
HDFSの構造を意識させない
Hadoopのコマンドを直接実行させない
Hadoopクライアントを介さないとHadoopクラスタにアクセス出来ない
…

・気をつけるべきポイント
HDFS
・パーミッションのユーザ／グループを明確に定義する
・その他の利用者はアクセス不可（750，640）
・クオータ
ファイル数やディレクトリ数を設定
格納できるサイズを設定
（最大レプリケーション数・最小ブロックサイズ）
・HDFSの内部通信に関するポリシー（クライアントで制限させる）
・認証・認可（Kerberos…）（HUEなどによりクラスタ前面で制限）

MapReduce
・スケジューラによる複数ユーザのジョブの制御
CapacityTaskSceduler キュー単位のリソース配分　FIFOのため大規模ジョブに占有される可能性あり
FireScheduler　プール単位のリソース配分　設定によっては公平に割り当て
→デフォルトのスケジューラよりスループットが劣っている、、、？
・MapReduceの内部通信に関するポリシー
・MapReduceに関するACL設定
→FairSchedulerには設定できない、、、。

・もっと上手に象に乗るために、、、
ChildプロセスのJVMオプション制御
想定しないオプションで起動させない
統一した設定値の提供
スケジューラ改良
ジョブ有せどの柔軟な制御（ユーザレベルの設定を制限）
専有資源と共有資源の制御
HDFSないでの共有領域
誰でも利用出来るタスク処理スロットの確保
物理ディスク対策
データの暗号化
ユーザとグループ
roleのようなもの？　or LDAPのようなもの？

→利用するひとのルールを決めるのも大事！

・まとめ
出来ること
ユーザ、グループの管理、
パーミッション
クオータ
クライアントークラスタ間の内部通信制御
ジョブスケジューリング
ジョブ単位のアクセスコントロール
クライアントークラスタ間の内部通信
認証／認可

今後に期待
スケジューラの改良
パーミッションの細かな制御
リミッタの追加／改良（HDFS/MapReduceともに）
専有資源と共有資源の考え方

[HCJ2011レポート] モバゲーの大規模データマイニング基盤におけるHadoop活用 #hcj2011

Hideya Kato — Wed, 23 Feb 2011 05:57:02 +0000

Hadoop Conference Japan 2011
日本Hadoopユーザ会

日時：2011/02/22 11:15〜
場所：NTTデータ

http://www.eventbrite.com/event/1278974447/efblike
——-

モバゲーの大規模データマイニング基盤におけるHadoop活用

株式会社ディー・エヌ・エー
濱田晃一

ソーシャルメディアのデータマイニング活用

モバゲー
有効会員数2300万人以上
1日20億以上の行動

facebook：リアルな人間関係の枠内でゲームを楽しむ傾向
モバゲー：ゲームの中で新しい友だちを拡大していく傾向

Data Mining Infrastructure
Hadoop：全行動ログを同じ形式でHadoopで突っ込んでいる

・Hadoopチューニング
・Pigチューニング
独自UDFの実装による1次実装の簡易化
汎用：日次処理、文字列処理
ソーシャル用：独自Map

・1日20億超の行動情報
統計的優位
多くのひとへの還元

・感情がわかる詳細行動情報
楽しさのマイニング

・データマイニング・機械学習活用
楽しさの行動パターン
夢中になるキッカケ
夢中になる体験をしてもらう
楽しんでサービス継続している行動特徴
楽しさのパターンを高頻度発生。よりたのしいサービス体験
楽しさのパターンをサービス初期で体験。楽しさを理解。

やめてしまう状況パターン
飽き始めるキッカケ・不快な状況
やめるキッカケを発生させないようにする
飽き始めたユーザーの予測・判別
新鮮／斬新な体験を提供する
他の楽しみ方の提供

興味のあるゲーム・ユーザーと出会えるプラットフォームへ
ゲームレコメンデーション
ユーザーレコメンデーション
ソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦

健全なプラットフォームへ
不正書き込み判別
年齢詐称の判別

ユーザーの声による
ソーシャルコミュニケーションのテキストマイニング

・迅速なサービス洗練
解析結果を反映した数時間〜数日スパンで迅速なサービス洗練

・統一行動記述
Logの形式を統一してHadoop等による解析がしやすいように。

大規模サービスでよく生じる課題
・サービスごとにログフォーマットが異なる
・ログの場所がバラバラ・分散されている
→データマイニング・機械学習よりもログ収集・基礎集計作業がメイン
データマイニング・機械学習活用までできない

統一行動記述での解決
・統一スキーマ
・Hadoopにすべてのログがある
→大規模データ処理技術
→データマイニング・機械学習それぞれの技術が活用できる

[HCJ2011レポート] MapReduceによる大規模データを利用した機械学習 #hcj2011

Hideya Kato — Wed, 23 Feb 2011 05:52:30 +0000

Hadoop Conference Japan 2011
日本Hadoopユーザ会

日時：2011/02/22 11:15〜
場所：NTTデータ

http://www.eventbrite.com/event/1278974447/efblike
——-

MapReduceによる大規模データを利用した機械学習

株式会社Preferred Infrastructure
フェロー、研究開発チームリーダー
岡野原　大輔

・専門分野
自然言語処理

■MapReduceと機械学習
データから有用な規則、ルール、知識表現、判断基準などを抽出する

・様々な分野の問題に利用可能
レコメンデーション、クラスタリング、分類、市場予測、評判分析、情報抽出、文字分析

・普及の要因
タスクと手法の分離
各タスク固有の問題を、抽象化し、学習手法とタスクを分離することができた

・解析対象データの急激な増加
解析アルゴリズムが追いつかないくらい急激にデータが増加している
→機械学習処理の分散並列化は必須

・MapReduce上で機械学習を行う
分散並列システムを1からつくり直すよりははるかに生産的

データ毎に求まる関数値の和を求める問題に帰着

・Apache Mahout
Hadoop上でうごく機械学習ライブラリ
スケーラブルであることを最優先
Apacheプロジェクトにおいて開発、盛んに新しい手法が取り込まれている

サポートする手法
クラスタリング
パターンマイニング
文字列データ処理
分類　ロジスティック回帰、単純ベイズ法、ランダムフォレスト、、、
行列演算　特異値分解、主成分分析、独立成分分析、、、

実行感想
数台から100台強での実験結果：パフォーマンスに大きな問題なし
EC2で実行
各挙動についてドキュメントは不足している

■大規模分散処理の最前線
Y!、Google、MSなどのを中心に大規模分散処理による機械学習がすすむ

グラフィカルモデルと分散最適化

グラフィカルモデル
確率変数を頂点、変数間の依存関係を枝としたグラフ構造
ベイジアンネットワーク、MRF、CRF、HMM
MAP推定（確率が最大になる変数割り当て）
言語処理、情報抽出、音声認識、画像解析、遺伝子解析、構造予測で利用

グラフィカルモデルの推論は一般に困難
様々な並列化アルゴリズムが提案されつつある

数値最適化
多くの機械学習は数値最適化問題に帰着
MapReduceを使えば簡単？
データを分割して求め、それらの結果の平均取るか
購買情報だけを分割して求まるか
どれも同じように見えるが実は精度に大きな違いがあり、
Interative Parameter Mixtureが一番良い

■今後注目の技術
Dremel
対話的な大規模データ解析基盤
1兆のデータに対するアドホッククエリのけっかが数秒で得られる
MRと比べて低レイテンシ、簡単なて凹形処理のみ
クエリ言語はSQL
top-k, joinなど従来の操作を容易に利用出来る

列指向のデータ格納
列指向DBの考えを木構造に応用
圧縮レコードの復元
クエリに関係するフィールドだけを復元する
クエリー処理アーキテクチャ

実験
各単語の出現回数を数える
850億レコード、87TB、270フィールド、3000ノード
MR行指向　約3000秒
MR列指向　約1000秒
Dremel　約10秒

[HCJ2011レポート] Hadoop on クラウド / Amazon Elastic MapReduceの真価 #hcj2011

Hideya Kato — Wed, 23 Feb 2011 05:37:06 +0000

Hadoop Conference Japan 2011
日本Hadoopユーザ会

日時：2011/02/22 11:15〜
場所：NTTデータ

http://www.eventbrite.com/event/1278974447/efblike
——-

■Hadoop on クラウド / Amazon Elastic MapReduceの真価
（Amazon Web Service, Jeff Barr）

Webサービスのエバンジェリスト
著作：「Host Your Web Site in the Cloud」（日本語版も発売中）

・BigDataとは？
単に大きなデータという意味ではない。
データのボリューム、データの構成、利用方法の「組み合わせ」を迅速に
BigDataはデータの本質を見極めた上で

・Elastic MapReduceについて
EC2などの上に乗っている仕組み。安全かつコスト効率の高い仕組みでデータを処理できる。

・用意されているツール
AWS Management Console
Command Line interface
REST API

・処理のフロー
1：S3にアップロード
2：EMRでJobFlowを作成
3：実行し、結果を取得

・なぜAmazonElasticMapReduceなのか？
MUCK（ぬかるんだ感じ）
・クラスターの管理
・Hadoopのチューニング
・JobFlow処理のモニタリング
などなど大変な部分を解決

・クライアントの課題解決のための手段
ターゲティング広告・クリック分析など
データウェアハウス
遺伝子工学
金融市場予測
ファイルデータの一括大量処理
webのインデックス
データマイニングとBI
などで利用されている

・利用方法によるハードウェアの選択
データまたはI/O中心の利用(m1/m2 instances)
– データウェアハウス
– データマイニング
クリックデータ、ログ、イベント

☆BestBuyの例
Razorfishの広告ターゲティング
3.5billion records 71 million unique cookies, 1.7 mil targeted ads required per day

AWS and elastic MapReduce
– 1000ノードクラスターをオンデマンドで利用出来る
– 処理時間が2日間以上かかっていたものが8時間に
– ROASは500%に

・MapReduceモデルについて
・Elastic MapReduceの使い方

現在独自にhbaseを利用しているが将来的にはAWSでhBaseをサポートするらしい

[event] DeskTopLive.xnaにいってきました！

Hideya Kato — Sun, 13 Sep 2009 11:35:10 +0000

昨日はちょっと技術よりのイベント「DeskTopLive.xna」に行ってきました。
会場であるsuperdeluxeのサイトを引用すると

「プログラミング環境 (言語)・デザイン環境をテーマにしつつも、プロ向けではなく、デザイン・プログラミングに興味のある方なら誰でも楽しめ「自分もやってみたい」と思っていただけるようなエンターテインメント性の高い場を提供することを目的としています。
難しいことはヌキにして”神”の生プログラミングにドキドキしながら、楽しくお酒でも飲みませんか。という会です。」

ということで普段のセミナーとかと違って、ライブスペースを貸し切ってプログラマーなどが集まり、プログラムに関連したコンテンツをお酒を楽しみながら、という一風変わったイベント。

コンテンツとしてはそんなに数は多くなくて、いくつかのプレゼンと、ライブプログラミング。

この「ライブプログラミング」というのがすごい。その道の「神」というひとが制限時間内（昨日は２時間半）でお題にそったプログラムをその場でつくっていき、その様子がひたすらプロジェクターで映されるというもの。（解説もあります。）

↑工芸大学の学生チーム

↑「神」ABAさん

今回はxnaというXboxのゲーム開発の統合環境についてで、マイクロソフトさんが協賛だったのでなんとXboxエリートが４台プレゼント！ということでお題は「当選者４人を当てるゲームをつくる」でした。

人がプログラミングをし続けているのを見るというのはあまり機会が無いのですごく刺激的。開発する時の裏話なんかもきけちゃってすごくおもしろかったです。

プログラミングってクリエイティブだと思っているので、たまにはこうやって勉強勉強していない「空気感で伝えるプログラミング」のイベントって必要だと思うんですよね。
僕もいつかは開発系のイベントとかしてみたいなーと思います。

おすすめの詳細レポート！
■「プログラミング」で「ライブ」するイベント、「DeskTopLive.xna」に行ってきたよ！（小太郎ぶろぐ）

□Ustreamによる録画
desktoplive.xna #1

desktoplive.xna #2

desktoplive.xna #3

desktoplive.xna #4

desktoplive.xna #5

desktoplive.xna #6

desktoplive.xna #7

desktoplive.xna #8

desktoplive.xna #9