Hadoop Conference 2011 Fall
日時：2011/09/26
場所：ベルサール汐留
イベントの詳細：
http://hadoop-conference-japan-2011-fall.eventbrite.com/
【重要】イベントのアーカイブ
http://mit.recruit.co.jp/hadoop/conference2011fall/info/archive.html
———————
（LTセッション）
『Hadoop and subsystems in livedoor』
ライブドア 田籠 聡 (tagomoris)
Hadoop and subsystems in livedoor #Hcj11f
View more presentations from tagomoris
□ライブドア
2800+ サーバ
3200+ ホスト
530+ ウェブサーバ
現在15Gbps (10Gbps + CDN 5Gbps)のサービス規模
□Hadoopについて
10ノード（1マスタ＋9）
36コア 32TB HDFS
・利用中
CDH3b2
Hive 0.6.0
☆主にレポート作成目的
→super large scale ‘sed | grep | wc’
・構成
WebServers → Scribe → Streaming (Perl) → load insert → Hive
Servers
↓↓↓ ログ
[deliver] : scribed
↓
[central] : scribed
↓
[backup] : scribed
→HDFS
→生ログバックアップ
☆scribeline
→ 簡単にscribedにログを転送するためのエージェント
→ http://d.hatena.ne.jp/tagomoris/20110428/1303981573
☆shib
→ Hive Client Webアプリケーション
→ http://d.hatena.ne.jp/tagomoris/20110927/1317103849
