Hadoop Conference 2011 Fall
日時：2011/09/26
場所：ベルサール汐留
イベントの詳細：
http://hadoop-conference-japan-2011-fall.eventbrite.com/
【重要】イベントのアーカイブ
http://mit.recruit.co.jp/hadoop/conference2011fall/info/archive.html
———————
（LTセッション）
『Lightweight wrapper for Hive on Amazon EMR』
はてな 田中 慎司
Lightweight wrapper for Hive on Amazon EMR
View more presentations from Shinji Tanaka
□EMR
どんどん増やせる
必要なとき必要な文だけ
△課題
1．データをS3にいれないといけない
2．バッチにするの大変
□解決案
1 → 1時間に1回S3に送るスクリプトを実装
ログフォーマット → 独自SerDe実装
Wrapper → Net::Amazon::EMR::Wrapper
(PerlにNet::Amazon::EMRがないためRubyのクラスをさらにWrap)
□良い点
・Perlで書ける
・アプリエンジニアにもらくらく
・cron
・HiveQLの恩恵
□大変なところ
・クラスタ管理が不完全
・S3にデータ展開が大変
・複雑な処理は大変
