life x web Technology Design » クラウドサービス http://www.lifexweb.com/tech コミュニケーションとテクノロジーを考えるブログ Sat, 24 Jul 2010 17:35:28 +0000 ja hourly 1 http://wordpress.org/?v=3.0 Twitterのデータを取得するプログラムを作ってみる http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/ http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/#comments Tue, 02 Feb 2010 15:39:48 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=402 2010/02/09 段組をキレイにしました！詰まった状態で読んでいただいた方、本当にすみませんでした、、、。



smashmediaの河野さんが自身とブックオフオンラインのアカウントでtwitterにおけるフォロワーのデータをまとめられてたので、それならプログラムを書けば僕も一覧でもっと取得できたり、それをデータベースにためてみて統計を出したり、そのデータで色々議論が生まれればいいなぁなんて思ったりしてプログラムを書き始めてみました。（ちょうどTwitterAPIの勉強もしようかなと思っていたところでしたし。）



Twitterフォロアー実態調査/smashmedia



結論から言うとまだうまく取得できてません。正確にいうと取得できてるんですけどTwitterのAPI制限にひっかかって150件/1hしかとれないのでちょっと工夫が必要な感じ。



とりあえず生のJavaをちろっと書いただけなのでどこまで結局できるか（やるか）わからないんですがここまでの分をとりあえず整理します。



1.アカウントを指定するとフォロワーの統計情報を取得



今回取得してみようとしたデータは以下の項目

・ID

・スクリーンネーム

・名前

・twitterを始めた日付

・最後につぶやいた日付

・つぶやきの数

・フォローしてる数

・フォローされてる数

・URL

上記はアカウントごとにすぐに取得できるので、調べたいアカウントを指定するとまずはフォロワーのID一覧を取得し、そのひとつひとつに対して上記の情報を持ってこれれば一覧で生データリストが作成できます。



つぶやきの一日平均や最後につぶやいてからの時間、フォロー／フォロワーの差などなど色々な切り口であとは見てみるだけですね。



あとは投稿をすべてもってきたりしたら出せるもの

・URLがついているかどうか

・RTかどうか

・＠返信かどうか

・特定のワードが入っているかどうか


2.企業アカウントの定点調査


実はコチラのほうが数が少ない分現実的に簡単にできる気がします。



基本的には1番のアプリとデータ内容は変わらないんですが、cronで1日一回定点的にデータを取得して、データベースに保存。



あとから推移を表示したり企業ごとに比較してみたりできれば面白いかと。



日本の企業アカウントに関しては



http://twitter.com/jp_company



で結構まとまっていたりするのでそこを起点にすれば新しいアカウントなども取得していけますね。



個人的には海外のアカウントの情報とも比較してみたいです。絶対数が増えると何が違うのかとか、気になります。



—



技術面でいうと僕の個人的な勉強だったりするのでいろいろと組み合わせて試してみてます。



・開発言語：Java

・開発環境：Eclipse + Google SDK

・実行環境：GoogleAppEngine（クラウド！）

・APIラッパークラス：twitter4J

・DB：BigTable

・フレームワーク：Slim3

・グラフモジュール：amCharts

・proxy：birdnest



[追記]



こういったもので出したデータってもっと公開されてみんなが各々の見解を出せるようにするべきですよね。



[追記2]



まだ全然データ取得とかできてないので「いつか何かで」の話になりますが、twitterに限らず日本市場でのレポートが作れたらぜひ英訳して海外の人にも意見がききたい。日本のデータは結構ニーズありますよ。日本のモバイルのデータとか英訳したら海外で欲しい人たくさんいるとおもうんだけどな。

]]> http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/feed/ 1 Webアプリを単独動作させる「Prism」のβ版が公開 http://www.lifexweb.com/tech/2009/05/web%e3%82%a2%e3%83%97%e3%83%aa%e3%82%92%e5%8d%98%e7%8b%ac%e5%8b%95%e4%bd%9c%e3%81%95%e3%81%9b%e3%82%8b%e3%80%8cprism%e3%80%8d%e3%81%ae%ce%b2%e7%89%88%e3%81%8c%e5%85%ac%e9%96%8b/ http://www.lifexweb.com/tech/2009/05/web%e3%82%a2%e3%83%97%e3%83%aa%e3%82%92%e5%8d%98%e7%8b%ac%e5%8b%95%e4%bd%9c%e3%81%95%e3%81%9b%e3%82%8b%e3%80%8cprism%e3%80%8d%e3%81%ae%ce%b2%e7%89%88%e3%81%8c%e5%85%ac%e9%96%8b/#comments Tue, 12 May 2009 01:00:00 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=260 prism

Mozillaの研究開発部門Mozilla Labsは8日 (米国時間)、Webアプリの単独動作を可能にする「Prism」のWebサイトをオープン、あわせて初のβ版となる「Prism 1.0b1」およびFirefox用アドオン「Prism for Firefox 1.0b1」をリリースした。

（中略）
Prismは、Webアプリをブラウザから独立動作させるための実行環境。Firefoxと同じGeckoエンジンを採用しつつ、Firefoxとは異なるプロセスとしてWebアプリを動作させることが可能。起動と設定はFirefoxと完全に分離されるため、実質的にスタンドアローンのアプリケーションとしてWebアプリを利用できるほか、ブラウザのクラッシュにあわせWebアプリも終了する、といった事態が発生しないことが特徴。

（マイコミジャーナル）

クラウドの仕組みをドライブするものですね。GoogleGearsと
併せてWebサービス好きの必需品となるか？

]]> http://www.lifexweb.com/tech/2009/05/web%e3%82%a2%e3%83%97%e3%83%aa%e3%82%92%e5%8d%98%e7%8b%ac%e5%8b%95%e4%bd%9c%e3%81%95%e3%81%9b%e3%82%8b%e3%80%8cprism%e3%80%8d%e3%81%ae%ce%b2%e7%89%88%e3%81%8c%e5%85%ac%e9%96%8b/feed/ 0 地味なデータをキレイに表現する – Google Visualization API http://www.lifexweb.com/tech/2009/04/google-visualization-api/ http://www.lifexweb.com/tech/2009/04/google-visualization-api/#comments Mon, 13 Apr 2009 05:13:38 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=196 googlevisual
Google Visualization API　- Google Code

いろいろなデータをビジュアルで表現するときのライブラリとして
使える様々なパターン集。

トップページの説明書は難しいですがギャラリーのサンプルは
すごくわかりやすいです。

Google Visualization API　ギャラリー

個人的にはmotion chart（バブルチャート＋時間みたいなチャート）
がお気に入りです。Webならではの表現ですしね。

motionchart
僕みたいな「えせテクニカルスタッフ」にはものづくりのスピードを
あげていけるのですごくうれしいですね。

これらを最適に組み合わせる力が必要だけど。

]]> http://www.lifexweb.com/tech/2009/04/google-visualization-api/feed/ 0 誰もがクラウドを使いこなす日が来るか？ – BiND for WebLiFE* http://www.lifexweb.com/tech/2009/04/%e8%aa%b0%e3%82%82%e3%81%8c%e3%82%af%e3%83%a9%e3%82%a6%e3%83%89%e3%82%92%e4%bd%bf%e3%81%84%e3%81%93%e3%81%aa%e3%81%99%e6%97%a5%e3%81%8c%e6%9d%a5%e3%82%8b%e3%81%8b%ef%bc%9f-bind-for-weblife/ http://www.lifexweb.com/tech/2009/04/%e8%aa%b0%e3%82%82%e3%81%8c%e3%82%af%e3%83%a9%e3%82%a6%e3%83%89%e3%82%92%e4%bd%bf%e3%81%84%e3%81%93%e3%81%aa%e3%81%99%e6%97%a5%e3%81%8c%e6%9d%a5%e3%82%8b%e3%81%8b%ef%bc%9f-bind-for-weblife/#comments Mon, 06 Apr 2009 01:45:15 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=186 bind

普段はウェブサービスとかなんですが、今日は珍しくデスクトップアプリケーションについて。


その他の動画はこちらから。

株式会社デジタルステージというところから出ている「BiND for WebLiFE*」というソフトウェアがあるんですが、簡単に言うと誰でも簡単かつきれいに自分のウェブサイトが作れるソフトです。

誰でも簡単にウェブサイトが作れる、となると思い描くのがホームページビルダーですが、デザインも使い勝手も遙かに凌駕していて、ウェブの業界に勤めている自分としても「ちょっといいかも」と思ってしまうぐらい。

その「BiND for WebLiFE*」の次期バージョンにSYNCというクラウドサービスが登場します。

Google Appsを利用してbloggerやGoogle Docsと連携し、ブログを更新したりできる様になるんです。

Webで完結しちゃうとデザインの修正など結構大変だし、デスクトップアプリケーションで完結すると更新がインストールしたパソコンに依存しちゃう、というところでクラウドサービスをうまく使ってその連携をしたうまい例だと思います。

オンラインとオフラインのいいとこ取りだし、ユーザーには一切難しい側面を見せないところもすばらしいです。

「このソフトを使ってみたい！」ではなく、「誰かに情報を発信したい！」という気持ちがあふれてくるサービスの考え方がウェブの業界にも必要ですね。

（ここから余談）
そもそもウェブサイトを作ること自体が専門的である必要はないと思っています。

技術自体に時間をかける必要はなくて、もっとコミュニケーションに時間をとってもらいたい。
そのための「コミュニケーションを支える技術」とか「コミュニケーションをとりたくなるような技術」を僕ももっと創っていきたいと思います。

デジタルステージ。価値観がすごく合うのでいつか働いてみたいですね、、、。

]]> http://www.lifexweb.com/tech/2009/04/%e8%aa%b0%e3%82%82%e3%81%8c%e3%82%af%e3%83%a9%e3%82%a6%e3%83%89%e3%82%92%e4%bd%bf%e3%81%84%e3%81%93%e3%81%aa%e3%81%99%e6%97%a5%e3%81%8c%e6%9d%a5%e3%82%8b%e3%81%8b%ef%bc%9f-bind-for-weblife/feed/ 0