life x web Technology Design » テクノロジ http://www.lifexweb.com/tech コミュニケーションとテクノロジーを考えるブログ Sat, 24 Jul 2010 17:35:28 +0000 ja hourly 1 http://wordpress.org/?v=3.0 Twitterのデータを取得するプログラムを作ってみる http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/ http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/#comments Tue, 02 Feb 2010 15:39:48 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=402 2010/02/09 段組をキレイにしました！詰まった状態で読んでいただいた方、本当にすみませんでした、、、。



smashmediaの河野さんが自身とブックオフオンラインのアカウントでtwitterにおけるフォロワーのデータをまとめられてたので、それならプログラムを書けば僕も一覧でもっと取得できたり、それをデータベースにためてみて統計を出したり、そのデータで色々議論が生まれればいいなぁなんて思ったりしてプログラムを書き始めてみました。（ちょうどTwitterAPIの勉強もしようかなと思っていたところでしたし。）



Twitterフォロアー実態調査/smashmedia



結論から言うとまだうまく取得できてません。正確にいうと取得できてるんですけどTwitterのAPI制限にひっかかって150件/1hしかとれないのでちょっと工夫が必要な感じ。



とりあえず生のJavaをちろっと書いただけなのでどこまで結局できるか（やるか）わからないんですがここまでの分をとりあえず整理します。



1.アカウントを指定するとフォロワーの統計情報を取得



今回取得してみようとしたデータは以下の項目

・ID

・スクリーンネーム

・名前

・twitterを始めた日付

・最後につぶやいた日付

・つぶやきの数

・フォローしてる数

・フォローされてる数

・URL

上記はアカウントごとにすぐに取得できるので、調べたいアカウントを指定するとまずはフォロワーのID一覧を取得し、そのひとつひとつに対して上記の情報を持ってこれれば一覧で生データリストが作成できます。



つぶやきの一日平均や最後につぶやいてからの時間、フォロー／フォロワーの差などなど色々な切り口であとは見てみるだけですね。



あとは投稿をすべてもってきたりしたら出せるもの

・URLがついているかどうか

・RTかどうか

・＠返信かどうか

・特定のワードが入っているかどうか


2.企業アカウントの定点調査


実はコチラのほうが数が少ない分現実的に簡単にできる気がします。



基本的には1番のアプリとデータ内容は変わらないんですが、cronで1日一回定点的にデータを取得して、データベースに保存。



あとから推移を表示したり企業ごとに比較してみたりできれば面白いかと。



日本の企業アカウントに関しては



http://twitter.com/jp_company



で結構まとまっていたりするのでそこを起点にすれば新しいアカウントなども取得していけますね。



個人的には海外のアカウントの情報とも比較してみたいです。絶対数が増えると何が違うのかとか、気になります。



—



技術面でいうと僕の個人的な勉強だったりするのでいろいろと組み合わせて試してみてます。



・開発言語：Java

・開発環境：Eclipse + Google SDK

・実行環境：GoogleAppEngine（クラウド！）

・APIラッパークラス：twitter4J

・DB：BigTable

・フレームワーク：Slim3

・グラフモジュール：amCharts

・proxy：birdnest



[追記]



こういったもので出したデータってもっと公開されてみんなが各々の見解を出せるようにするべきですよね。



[追記2]



まだ全然データ取得とかできてないので「いつか何かで」の話になりますが、twitterに限らず日本市場でのレポートが作れたらぜひ英訳して海外の人にも意見がききたい。日本のデータは結構ニーズありますよ。日本のモバイルのデータとか英訳したら海外で欲しい人たくさんいるとおもうんだけどな。

]]> http://www.lifexweb.com/tech/2010/02/twitter%e3%81%ae%e3%83%87%e3%83%bc%e3%82%bf%e3%82%92%e5%8f%96%e5%be%97%e3%81%99%e3%82%8b%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0%e3%82%92%e4%bd%9c%e3%81%a3%e3%81%a6%e3%81%bf%e3%82%8b/feed/ 1 Google Analyticsがバージョンアップ モバイル対応、アラート機能など http://www.lifexweb.com/tech/2009/10/google-analytics%e3%81%8c%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97-%e3%83%a2%e3%83%90%e3%82%a4%e3%83%ab%e5%af%be%e5%bf%9c%e3%80%81%e3%82%a2%e3%83%a9%e3%83%bc%e3%83%88/ http://www.lifexweb.com/tech/2009/10/google-analytics%e3%81%8c%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97-%e3%83%a2%e3%83%90%e3%82%a4%e3%83%ab%e5%af%be%e5%bf%9c%e3%80%81%e3%82%a2%e3%83%a9%e3%83%bc%e3%83%88/#comments Wed, 21 Oct 2009 02:16:06 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=361 Googleが提供するWEB解析ツール「Google Analytics」にいろいろな新機能が搭載されました！

参考：Google Analytics Now More Powerful, Flexible And Intelligent (Google Analytics Blog)

今回は
・コンバージョン指標の拡充
・モバイルのスクリプト計測
・スマートフォン(iPhoneなど)のアプリ計測
・テーブルフィルタ機能の拡充
・ユニークユーザーの追加
・APIの拡充
・独自アルゴリズムによる自動アラート
・カスタムアラート機能
が追加されるようです。




■コンバージョン指標の拡充

新たに「滞在時間」と「訪問あたりのページ数」をコンバージョン指標にすることが可能に。
また、これまで4つまでだったコンバージョンの指標を20個まで登録できるようになります。






■モバイル対応
モバイル対応これまでJavaScriptにしか対応していなかったため、完全なモバイル対応は難しい状況でしたが、今回ついにサーバーサイド言語（PHP、Perl、JSP、ASPX）でのトラッキングに対応し、モバイルサイトのトラッキングも正式に可能になりました。

また、同時にiPhoneやAndroidのアプリでの計測も可能になりました。

＊今回のこの対応は非常に大きいんじゃないでしょうか？




■テーブルフィルタの拡充
すでに取得済みのデータに関するフィルタと掛け合わせ機能がさらに充実しました。多次元での掛け合わせや、「ピボット」の機能、詳細でのフィルタリングなどが搭載されています。







■ユニークユーザーの追加
ユニーククッキーベースでユニークユーザーを特定します。




■APIの拡充
・カスタム変数の定義
これによりサイトにひもづいている特殊な値（メンバーかどうか、ログインしてるかどうか、など）を定義し、データを取得することが可能になります。

・セグメントの共有とカスタムレポートテンプレート





■インテリジェンス
・自動アラート機能（ベータ）
独自のアルゴリズムによりデータのパターンから特異値を判断し、自動でアラートを表示、送信します。

＊使ってみないとわからないですけど、この機能、すごいですね。

・カスタムレポート機能任意の指標をトリガーにしてアラートを発生させることが可能になります。







これらの機能は今後数日で反映されていくようです。

]]> http://www.lifexweb.com/tech/2009/10/google-analytics%e3%81%8c%e3%83%90%e3%83%bc%e3%82%b8%e3%83%a7%e3%83%b3%e3%82%a2%e3%83%83%e3%83%97-%e3%83%a2%e3%83%90%e3%82%a4%e3%83%ab%e5%af%be%e5%bf%9c%e3%80%81%e3%82%a2%e3%83%a9%e3%83%bc%e3%83%88/feed/ 0 Javaの勉強開始しました http://www.lifexweb.com/tech/2009/10/java%e3%81%ae%e5%8b%89%e5%bc%b7%e9%96%8b%e5%a7%8b%e3%81%97%e3%81%be%e3%81%97%e3%81%9f/ http://www.lifexweb.com/tech/2009/10/java%e3%81%ae%e5%8b%89%e5%bc%b7%e9%96%8b%e5%a7%8b%e3%81%97%e3%81%be%e3%81%97%e3%81%9f/#comments Wed, 14 Oct 2009 16:19:11 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=353 本家のブログSEM-Analyticsでも書いたのですが、１０月から開発部門に異動することになり、えせホリデープログラマーから職業プログラマーになることになりました。

もちろん開発経験は無いので現在Javaの猛勉強中。
３ヶ月間の研修をみっちり受けてついに開発の世界に入ります。

これまで以上にこのブログも更新していかないとと思います。

]]> http://www.lifexweb.com/tech/2009/10/java%e3%81%ae%e5%8b%89%e5%bc%b7%e9%96%8b%e5%a7%8b%e3%81%97%e3%81%be%e3%81%97%e3%81%9f/feed/ 0 MacBook touchでるみたいですね！ http://www.lifexweb.com/tech/2009/09/macbook-touch%e3%81%a7%e3%82%8b%e3%81%bf%e3%81%9f%e3%81%84%e3%81%a7%e3%81%99%e3%81%ad%ef%bc%81/ http://www.lifexweb.com/tech/2009/09/macbook-touch%e3%81%a7%e3%82%8b%e3%81%bf%e3%81%9f%e3%81%84%e3%81%a7%e3%81%99%e3%81%ad%ef%bc%81/#comments Tue, 29 Sep 2009 13:52:32 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=337 お待たせしました！　噂の「MacBook touch」が年内に完成と判明（GIZMODO Japan）

iPhoneに次ぐ大発表となる予感も…

出るぞ出るぞとの前評判のみで、先にマイクロソフトのほうがタブレットスタイルの新デバイス「Courier」を正式発表しそうな勢いでしたけど、アップルファンの皆さま、誠にお待たせいたしました！　ついに噂の「MacBook touch」が、9.6インチのタッチスクリーン＆3.5Gの「HSDPA」高速無線通信を装備して、年内にもアップル本社へと完成品が届けられますよ。アップルが買収したP.A. Semi製の低消費電力プロセッサの採用により、長時間のバッテリー駆動も保証されてますね。

必要ないけど、ほしいなぁ。
しかし本当なのかな？

]]> http://www.lifexweb.com/tech/2009/09/macbook-touch%e3%81%a7%e3%82%8b%e3%81%bf%e3%81%9f%e3%81%84%e3%81%a7%e3%81%99%e3%81%ad%ef%bc%81/feed/ 0 クリエイターとクライアントをシームレスにつなぐテクノロジー http://www.lifexweb.com/tech/2009/09/%e3%82%af%e3%83%aa%e3%82%a8%e3%82%a4%e3%82%bf%e3%83%bc%e3%81%a8%e3%82%af%e3%83%a9%e3%82%a4%e3%82%a2%e3%83%b3%e3%83%88%e3%82%92%e3%82%b7%e3%83%bc%e3%83%a0%e3%83%ac%e3%82%b9%e3%81%ab%e3%81%a4%e3%81%aa/ http://www.lifexweb.com/tech/2009/09/%e3%82%af%e3%83%aa%e3%82%a8%e3%82%a4%e3%82%bf%e3%83%bc%e3%81%a8%e3%82%af%e3%83%a9%e3%82%a4%e3%82%a2%e3%83%b3%e3%83%88%e3%82%92%e3%82%b7%e3%83%bc%e3%83%a0%e3%83%ac%e3%82%b9%e3%81%ab%e3%81%a4%e3%81%aa/#comments Tue, 29 Sep 2009 08:04:11 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=327 どの時代になってもクリエイティブは人の手によって生み出されますが、商業クリエイターの場合、必ず依頼主がいて、コミュニケーションをとりながら作成していきます。

クリエイターとクライアントは通常であればメールなどでやりとりをすると思いますが、今年のTechCrunch50にノミネートされた「Clientshow」はそれをずっとリッチなインターフェイスで置き換えています。


サービスはいくつかのモジュールに分割されている。1つはすべての作品をアップロードするためのもので、もう1つはユーザーが作品を確認して、コメント や承認を含めメモを残すためのものだ。3つめのモジュールはプレゼンテーションモードで、クライアントにファイルをそのままデモして見せることができる。 （CNET Japan）

ウェブアプリケーションの開発進捗確認などのテクノロジーも今後出てくるとおもしろいですね。

]]> http://www.lifexweb.com/tech/2009/09/%e3%82%af%e3%83%aa%e3%82%a8%e3%82%a4%e3%82%bf%e3%83%bc%e3%81%a8%e3%82%af%e3%83%a9%e3%82%a4%e3%82%a2%e3%83%b3%e3%83%88%e3%82%92%e3%82%b7%e3%83%bc%e3%83%a0%e3%83%ac%e3%82%b9%e3%81%ab%e3%81%a4%e3%81%aa/feed/ 0 [event] DeskTopLive.xnaにいってきました！ http://www.lifexweb.com/tech/2009/09/eventdesktoplivexna%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%be%e3%81%97%e3%81%9f%ef%bc%81/ http://www.lifexweb.com/tech/2009/09/eventdesktoplivexna%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%be%e3%81%97%e3%81%9f%ef%bc%81/#comments Sun, 13 Sep 2009 11:35:10 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=309 090912_1912541
昨日はちょっと技術よりのイベント「DeskTopLive.xna」に行ってきました。
会場であるsuperdeluxeのサイトを引用すると

「プログラミング環境 (言語)・デザイン環境をテーマにしつつも、プロ向けではなく、デザイン・プログラミングに興味のある方なら誰でも楽しめ「自分もやってみたい」と思っていただけるようなエンターテインメント性の高い場を提供することを目的としています。
難しいことはヌキにして”神”の生プログラミングにドキドキしながら、楽しくお酒でも飲みませんか。という会です。 」

ということで普段のセミナーとかと違って、ライブスペースを貸し切ってプログラマーなどが集まり、プログラムに関連したコンテンツをお酒を楽しみながら、という一風変わったイベント。

コンテンツとしてはそんなに数は多くなくて、いくつかのプレゼンと、ライブプログラミング。

090912_212853
この「ライブプログラミング」というのがすごい。その道の「神」というひとが制限時間内（昨日は２時間半）でお題にそったプログラムをその場でつくっていき、その様子がひたすらプロジェクターで映されるというもの。（解説もあります。）

090912_212813
↑工芸大学の学生チーム

090912_202308
↑「神」ABAさん

今回はxnaというXboxのゲーム開発の統合環境についてで、マイクロソフトさんが協賛だったのでなんとXboxエリートが４台プレゼント！ということでお題は「当選者４人を当てるゲームをつくる」でした。

人がプログラミングをし続けているのを見るというのはあまり機会が無いのですごく刺激的。開発する時の裏話なんかもきけちゃってすごくおもしろかったです。

プログラミングってクリエイティブだと思っているので、たまにはこうやって勉強勉強していない「空気感で伝えるプログラミング」のイベントって必要だと思うんですよね。
僕もいつかは開発系のイベントとかしてみたいなーと思います。

おすすめの詳細レポート！
■「プログラミング」で「ライブ」するイベント、「DeskTopLive.xna」に行ってきたよ！（小太郎ぶろぐ）

□Ustreamによる録画
desktoplive.xna #1

desktoplive.xna #2

desktoplive.xna #3

desktoplive.xna #4

desktoplive.xna #5

desktoplive.xna #6

desktoplive.xna #7

desktoplive.xna #8

desktoplive.xna #9

]]> http://www.lifexweb.com/tech/2009/09/eventdesktoplivexna%e3%81%ab%e3%81%84%e3%81%a3%e3%81%a6%e3%81%8d%e3%81%be%e3%81%97%e3%81%9f%ef%bc%81/feed/ 1 統計データ検索：Google Internet Stats http://www.lifexweb.com/tech/2009/09/%e7%b5%b1%e8%a8%88%e3%83%87%e3%83%bc%e3%82%bf%e6%a4%9c%e7%b4%a2%ef%bc%9agoogle-internet-stats/ http://www.lifexweb.com/tech/2009/09/%e7%b5%b1%e8%a8%88%e3%83%87%e3%83%bc%e3%82%bf%e6%a4%9c%e7%b4%a2%ef%bc%9agoogle-internet-stats/#comments Fri, 11 Sep 2009 11:23:54 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=303 2009-09-11_2004
ネット上の統計データなどをまとめて検索できるサービスがGoogle（英国）からリリースされました。すごいレスポンスいいです。

企業のマーケティング担当者など参考に出来るデータもあるかも。
ちょっときになるワード入れるだけでも楽しいので、日本語版作りたいな。

調査会社とかリサーチを実施した企業はどんどんtwitterとかで公開していって、それをまとめたら検索できる、みたいなのとかあればいいのに。

もう調査会社・調査提供者に特化したtwitプラットフォームを提供してつくるバーティカルtwitterネットワークとか作りたい。

Google Internet Stats

]]> http://www.lifexweb.com/tech/2009/09/%e7%b5%b1%e8%a8%88%e3%83%87%e3%83%bc%e3%82%bf%e6%a4%9c%e7%b4%a2%ef%bc%9agoogle-internet-stats/feed/ 0 これでIE6がなくなるか？ http://www.lifexweb.com/tech/2009/07/%e3%81%93%e3%82%8c%e3%81%a7ie6%e3%81%8c%e3%81%aa%e3%81%8f%e3%81%aa%e3%82%8b%e3%81%8b%ef%bc%9f/ http://www.lifexweb.com/tech/2009/07/%e3%81%93%e3%82%8c%e3%81%a7ie6%e3%81%8c%e3%81%aa%e3%81%8f%e3%81%aa%e3%82%8b%e3%81%8b%ef%bc%9f/#comments Sat, 18 Jul 2009 05:28:02 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=290 IE6でYouTubeを開くと「お使いのブラウザのサポートは間もなく段階的に終了します。最新のブラウザにアップグレードをお願いします。」
と表示されるようになりました。

参考：YouTube Will Be Next To Kiss IE6 Support Goodbye (TechCrunch)

IE6の為にCSSやJavaScriptで日々格闘している自分としては大歓迎ですが、
いったいどのくらいインパクトがあるのでしょうか？

ちまたでは「これでIE6がなくなる!」なんて感じで盛り上がってたりしますが、
肌感覚としては自動的にアップグレードされない限り、IE6を使っている人は
パソコン変える以外の他の最新ブラウザに乗り換える方法を知らない気がします。

じゃあYouTubeが完全に観れなくなったらどうなるか？

たぶん、みんなYouTube観なくなるんだと思います。

]]> http://www.lifexweb.com/tech/2009/07/%e3%81%93%e3%82%8c%e3%81%a7ie6%e3%81%8c%e3%81%aa%e3%81%8f%e3%81%aa%e3%82%8b%e3%81%8b%ef%bc%9f/feed/ 0 GooglePageCreator→GoogleSites http://www.lifexweb.com/tech/2009/06/googlepagecreator%e2%86%92googlesites/ http://www.lifexweb.com/tech/2009/06/googlepagecreator%e2%86%92googlesites/#comments Thu, 04 Jun 2009 05:50:46 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=286 googlesites
だいぶ前からアナウンスありましたが、GooglePageCreator
がなくなってGoogleSitesに統合されるらしいです。

たまには使ってみようかな、、、？

]]> http://www.lifexweb.com/tech/2009/06/googlepagecreator%e2%86%92googlesites/feed/ 0 新コミュニケーションツール「Google Wave」公開 http://www.lifexweb.com/tech/2009/06/%e6%96%b0%e3%82%b3%e3%83%9f%e3%83%a5%e3%83%8b%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8cgoogle-wave%e3%80%8d%e5%85%ac%e9%96%8b/ http://www.lifexweb.com/tech/2009/06/%e6%96%b0%e3%82%b3%e3%83%9f%e3%83%a5%e3%83%8b%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8cgoogle-wave%e3%80%8d%e5%85%ac%e9%96%8b/#comments Mon, 01 Jun 2009 04:44:14 +0000 Hideya Kato http://www.lifexweb.com/tech/?p=280 googlewave
久々にGoogleから新しいコミュニケーションプラットフォーム

「Google Wave」

が公開されました。

Googleは米国時間5月28日午後、サンフランシスコで開催の同社開発者カンファレンス「Google I/O」に おいて、「Google Wave」の初の公式デモンストレーションを行った。「未来の電子メール」とも宣伝される、Google Waveは、電子メール、インスタントメッセージング、写真の共有、さらにおそらくは、開発者の協力を得ながら、ソーシャルネットワーキングの世界とのつ ながりまで統合し、電子メールの受信箱の再発明に挑む、同社の社内で複数年にわたって進められてきたプロジェクトの成果となる。

グーグル、「Google Wave」を発表–電子メールでリアルタイムコミュニケーション(CENT Japan)

すごいです。とにかくすごいのひとこと。

あまりにも概念として大きいのと、説明すると非常に長くなって
しまうため、説明できません、、、。

【詳報】Google Waveとは何なのか？(@IT)

で非常に細かく紹介されていますので興味がある方は是非。

後、長いですがカンファレンスのビデオがありますので
お時間ある方はチェックしてみてください。
（僕もこれからがんばります。）



コミュニケーションツールそのものについてはまた今度。

Google Wave
Google Waveスクリーンショット集
Went Walkabout. Brought back Google Wave. (Google Official Blog)

]]> http://www.lifexweb.com/tech/2009/06/%e6%96%b0%e3%82%b3%e3%83%9f%e3%83%a5%e3%83%8b%e3%82%b1%e3%83%bc%e3%82%b7%e3%83%a7%e3%83%b3%e3%83%84%e3%83%bc%e3%83%ab%e3%80%8cgoogle-wave%e3%80%8d%e5%85%ac%e9%96%8b/feed/ 0