life x web Technology Design » Google http://www.lifexweb.com/tech コミュニケーションとテクノロジーを考えるブログ Sat, 24 Jul 2010 17:35:28 +0000 ja hourly 1 http://wordpress.org/?v=3.0 Twitterのデータを取得するプログラムを作ってみる http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/ http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/#comments Tue, 02 Feb 2010 15:39:48 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=402 2010/02/09 段組をキレイにしました！詰まった状態で読んでいただいた方、本当にすみませんでした、、、。



smashmediaの河野さんが自身とブックオフオンラインのアカウントでtwitterにおけるフォロワーのデータをまとめられてたので、それならプログラムを書けば僕も一覧でもっと取得できたり、それをデータベースにためてみて統計を出したり、そのデータで色々議論が生まれればいいなぁなんて思ったりしてプログラムを書き始めてみました。（ちょうどTwitterAPIの勉強もしようかなと思っていたところでしたし。）



Twitterフォロアー実態調査/smashmedia



結論から言うとまだうまく取得できてません。正確にいうと取得できてるんですけどTwitterのAPI制限にひっかかって150件/1hしかとれないのでちょっと工夫が必要な感じ。



とりあえず生のJavaをちろっと書いただけなのでどこまで結局できるか（やるか）わからないんですがここまでの分をとりあえず整理します。



1.アカウントを指定するとフォロワーの統計情報を取得



今回取得してみようとしたデータは以下の項目

・ID

・スクリーンネーム

・名前

・twitterを始めた日付

・最後につぶやいた日付

・つぶやきの数

・フォローしてる数

・フォローされてる数

・URL

上記はアカウントごとにすぐに取得できるので、調べたいアカウントを指定するとまずはフォロワーのID一覧を取得し、そのひとつひとつに対して上記の情報を持ってこれれば一覧で生データリストが作成できます。



つぶやきの一日平均や最後につぶやいてからの時間、フォロー／フォロワーの差などなど色々な切り口であとは見てみるだけですね。



あとは投稿をすべてもってきたりしたら出せるもの

・URLがついているかどうか

・RTかどうか

・＠返信かどうか

・特定のワードが入っているかどうか


2.企業アカウントの定点調査


実はコチラのほうが数が少ない分現実的に簡単にできる気がします。



基本的には1番のアプリとデータ内容は変わらないんですが、cronで1日一回定点的にデータを取得して、データベースに保存。



あとから推移を表示したり企業ごとに比較してみたりできれば面白いかと。



日本の企業アカウントに関しては



http://twitter.com/jp_company



で結構まとまっていたりするのでそこを起点にすれば新しいアカウントなども取得していけますね。



個人的には海外のアカウントの情報とも比較してみたいです。絶対数が増えると何が違うのかとか、気になります。



—



技術面でいうと僕の個人的な勉強だったりするのでいろいろと組み合わせて試してみてます。



・開発言語：Java

・開発環境：Eclipse + Google SDK

・実行環境：GoogleAppEngine（クラウド！）

・APIラッパークラス：twitter4J

・DB：BigTable

・フレームワーク：Slim3

・グラフモジュール：amCharts

・proxy：birdnest



[追記]



こういったもので出したデータってもっと公開されてみんなが各々の見解を出せるようにするべきですよね。



[追記2]



まだ全然データ取得とかできてないので「いつか何かで」の話になりますが、twitterに限らず日本市場でのレポートが作れたらぜひ英訳して海外の人にも意見がききたい。日本のデータは結構ニーズありますよ。日本のモバイルのデータとか英訳したら海外で欲しい人たくさんいるとおもうんだけどな。

]]> http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/feed/ 1 Google日本語入力をいれてみた。 http://www.lifexweb.com/tech/2009/12/google%e6%97%a5%e6%9c%ac%e8%aa%9e%e5%85%a5%e5%8a%9b%e3%82%92%e3%81%84%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%82/ http://www.lifexweb.com/tech/2009/12/google%e6%97%a5%e6%9c%ac%e8%aa%9e%e5%85%a5%e5%8a%9b%e3%82%92%e3%81%84%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%82/#comments Sat, 05 Dec 2009 10:07:20 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=381 google-jp
もうすでに各所で話題になっていますがGoogleが独自のIME、「Google日本語入力（ベータ）」を発表したので使ってみています。

仕事のWindowsノートではATOKを入れているのですが、家のMacではデフォルトの「ことえり」をつかっていて結構ストレスに感じるところもあったので入れてみました。

使ってみた感想ですが、GoogleのWebデータから生成された辞書データなのでWeb系の変換にはやはり強い感じです。ただ、必要以上に補完してしまうところもあるのできちっと書きたい人にはやはりATOKがいいんじゃないでしょうか。

個人的にはGoogleの方が「ことえり」より変換速度が早い気がします。
ことえりは結構変換の一欄を出すのにモタモタすることがあったり、ときたま変換が一瞬フリーズすることがあったので（今のところは）Googleを使い続けようと思っています。

しかしGoogleはすごいですね。すぐには追いつかれないものの、無料でこれを出してしまうのですからJustSystemはなかなかびっくりしたでしょう、、、。

]]> http://www.lifexweb.com/tech/2009/12/google%e6%97%a5%e6%9c%ac%e8%aa%9e%e5%85%a5%e5%8a%9b%e3%82%92%e3%81%84%e3%82%8c%e3%81%a6%e3%81%bf%e3%81%9f%e3%80%82/feed/ 0 Google Analyticsがバージョンアップ モバイル対応、アラート機能など http://www.lifexweb.com/tech/2009/10/google-analytics%e3%81%8c%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97-%e3%83%a2%e3%83%90%e3%82%a4%e3%83%ab%e5%af%be%e5%bf%9c%e3%80%81%e3%82%a2%e3%83%a9%e3%83%bc%e3%83%88/ http://www.lifexweb.com/tech/2009/10/google-analytics%e3%81%8c%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97-%e3%83%a2%e3%83%90%e3%82%a4%e3%83%ab%e5%af%be%e5%bf%9c%e3%80%81%e3%82%a2%e3%83%a9%e3%83%bc%e3%83%88/#comments Wed, 21 Oct 2009 02:16:06 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=361 Googleが提供するWEB解析ツール「Google Analytics」にいろいろな新機能が搭載されました！

参考：Google Analytics Now More Powerful, Flexible And Intelligent (Google Analytics Blog)

今回は
・コンバージョン指標の拡充
・モバイルのスクリプト計測
・スマートフォン(iPhoneなど)のアプリ計測
・テーブルフィルタ機能の拡充
・ユニークユーザーの追加
・APIの拡充
・独自アルゴリズムによる自動アラート
・カスタムアラート機能
が追加されるようです。




■コンバージョン指標の拡充

新たに「滞在時間」と「訪問あたりのページ数」をコンバージョン指標にすることが可能に。
また、これまで4つまでだったコンバージョンの指標を20個まで登録できるようになります。






■モバイル対応
モバイル対応これまでJavaScriptにしか対応していなかったため、完全なモバイル対応は難しい状況でしたが、今回ついにサーバーサイド言語（PHP、Perl、JSP、ASPX）でのトラッキングに対応し、モバイルサイトのトラッキングも正式に可能になりました。

また、同時にiPhoneやAndroidのアプリでの計測も可能になりました。

＊今回のこの対応は非常に大きいんじゃないでしょうか？




■テーブルフィルタの拡充
すでに取得済みのデータに関するフィルタと掛け合わせ機能がさらに充実しました。多次元での掛け合わせや、「ピボット」の機能、詳細でのフィルタリングなどが搭載されています。







■ユニークユーザーの追加
ユニーククッキーベースでユニークユーザーを特定します。




■APIの拡充
・カスタム変数の定義
これによりサイトにひもづいている特殊な値（メンバーかどうか、ログインしてるかどうか、など）を定義し、データを取得することが可能になります。

・セグメントの共有とカスタムレポートテンプレート





■インテリジェンス
・自動アラート機能（ベータ）
独自のアルゴリズムによりデータのパターンから特異値を判断し、自動でアラートを表示、送信します。

＊使ってみないとわからないですけど、この機能、すごいですね。

・カスタムレポート機能任意の指標をトリガーにしてアラートを発生させることが可能になります。







これらの機能は今後数日で反映されていくようです。

]]> http://www.lifexweb.com/tech/2009/10/google-analytics%e3%81%8c%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97-%e3%83%a2%e3%83%90%e3%82%a4%e3%83%ab%e5%af%be%e5%bf%9c%e3%80%81%e3%82%a2%e3%83%a9%e3%83%bc%e3%83%88/feed/ 0 GooglePageCreator→GoogleSites http://www.lifexweb.com/tech/2009/06/googlepagecreator%e2%86%92googlesites/ http://www.lifexweb.com/tech/2009/06/googlepagecreator%e2%86%92googlesites/#comments Thu, 04 Jun 2009 05:50:46 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=286 googlesites
だいぶ前からアナウンスありましたが、GooglePageCreator
がなくなってGoogleSitesに統合されるらしいです。

たまには使ってみようかな、、、？

]]> http://www.lifexweb.com/tech/2009/06/googlepagecreator%e2%86%92googlesites/feed/ 0 新コミュニケーションツール「Google Wave」公開 http://www.lifexweb.com/tech/2009/06/%e6%96%b0%e3%82%b3%e3%83%9f%e3%83%a5%e3%83%8b%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8cgoogle-wave%e3%80%8d%e5%85%ac%e9%96%8b/ http://www.lifexweb.com/tech/2009/06/%e6%96%b0%e3%82%b3%e3%83%9f%e3%83%a5%e3%83%8b%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8cgoogle-wave%e3%80%8d%e5%85%ac%e9%96%8b/#comments Mon, 01 Jun 2009 04:44:14 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=280 googlewave
久々にGoogleから新しいコミュニケーションプラットフォーム

「Google Wave」

が公開されました。

Googleは米国時間5月28日午後、サンフランシスコで開催の同社開発者カンファレンス「Google I/O」に おいて、「Google Wave」の初の公式デモンストレーションを行った。「未来の電子メール」とも宣伝される、Google Waveは、電子メール、インスタントメッセージング、写真の共有、さらにおそらくは、開発者の協力を得ながら、ソーシャルネットワーキングの世界とのつ ながりまで統合し、電子メールの受信箱の再発明に挑む、同社の社内で複数年にわたって進められてきたプロジェクトの成果となる。

グーグル、「Google Wave」を発表–電子メールでリアルタイムコミュニケーション(CENT Japan)

すごいです。とにかくすごいのひとこと。

あまりにも概念として大きいのと、説明すると非常に長くなって
しまうため、説明できません、、、。

【詳報】Google Waveとは何なのか？(@IT)

で非常に細かく紹介されていますので興味がある方は是非。

後、長いですがカンファレンスのビデオがありますので
お時間ある方はチェックしてみてください。
（僕もこれからがんばります。）



コミュニケーションツールそのものについてはまた今度。

Google Wave
Google Waveスクリーンショット集
Went Walkabout. Brought back Google Wave. (Google Official Blog)

]]> http://www.lifexweb.com/tech/2009/06/%e6%96%b0%e3%82%b3%e3%83%9f%e3%83%a5%e3%83%8b%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8cgoogle-wave%e3%80%8d%e5%85%ac%e9%96%8b/feed/ 0 地味なデータをキレイに表現する – Google Visualization API http://www.lifexweb.com/tech/2009/04/google-visualization-api/ http://www.lifexweb.com/tech/2009/04/google-visualization-api/#comments Mon, 13 Apr 2009 05:13:38 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=196 googlevisual
Google Visualization API　- Google Code

いろいろなデータをビジュアルで表現するときのライブラリとして
使える様々なパターン集。

トップページの説明書は難しいですがギャラリーのサンプルは
すごくわかりやすいです。

Google Visualization API　ギャラリー

個人的にはmotion chart（バブルチャート＋時間みたいなチャート）
がお気に入りです。Webならではの表現ですしね。

motionchart
僕みたいな「えせテクニカルスタッフ」にはものづくりのスピードを
あげていけるのですごくうれしいですね。

これらを最適に組み合わせる力が必要だけど。

]]> http://www.lifexweb.com/tech/2009/04/google-visualization-api/feed/ 0