Python メモ003

twitterAPIを使って、キーワード指定で結果数を1ページとして指定範囲ページ分取得する。
その後JSON形式で出力する。
取り出したデータを1つのリスト人まとめる
リストの単語数を求める
一意な単語数を求める
ツイートの中の文字の占める割合を求める
ツイートの中の平均語数を求める
データを保存する

twitter_search = twitter.Twitter(domain="search.twitter.com")
search_results = []
for page in range(1,6):
 search_results.append(twitter_search.search(q="KEYWORD",rpp=結果数,page=page))

ここで問題はいつものように文字コードとマルチバイト。


NLTK(テキスト分析ツール)のインストール
easy_install pip

twitterのリクエストは認証済/匿名で1時間に350回/150回との事

easy_install nltk

Python メモ002

メモ

>>> import sys
>>> import networkx
>>> g=networkx.Graph()
>>> g.add_edge(1,2)
>>> g.add_node("spam")
>>> print g.nodes()
[1, 2, 'spam']
>>> print g.edges()
[(1, 2)]

そして次でハマる

>>> import twitter
>>> twitter_api = twitter.Twitter(domain="api.twitter.com",api_version='1')
>>> trends = twitter_api.trends()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "build\bdist.win32\egg\twitter\api.py", line 173, in __call__
  File "build\bdist.win32\egg\twitter\api.py", line 198, in _handle_response
twitter.api.TwitterHTTPError: Twitter sent status 404 for URL: 1/trends.json usi
ng parameters: ()
details: ^_・

http://iyken.blogspot.jp/2011/11/python.html
http://d.hatena.ne.jp/kanonji/20120125/1327460682

等を読むに、以前はこれでいけてたけど今はURLが変わったってのが正解?
まあスルーして次へ

>>> twitter_search = twitter.Twitter(domain="search.twitter.com")
>>> search_results=[]
>>> for page in range (1,6):
・・・     search_results.append(twitter_search.search(q="SNL",rpp=100,page=page))
>>> import json
>>> print json.dumps(search_results, sort_keys=True ,indent=1)

で、ドバっと取得。
ファイルにダンプした方がいいね。

Python メモ001

easy_install でパッケージをインストール

easy_install "twitter<1.6"
easy_install "BeautifulSoup<3.999"
easy_install "numpy"
easy_install "networkx"

アンインストール

easy_install -m networkx


PATH 追加

PYTHONPATHに追加する

ここまででSygwinにPython(2.6)が入ってる事に気がつく。
せっかくなんでそっちを使用

wget -N http://pypi.python.org/packages/2.6/s/setuptools/setuptools-0.6c11-py2.6.egg#md5=bfa92100bd772d5a213eedd356d64086
sh setuptools-0.6c11-py2.6.egg

Pythonスタートメモ

はじめから。
初心者も大概にせいという感じ。

Python(2.7.3)インストール

http://d.hatena.ne.jp/torazuka/20120311/python
参考



http://www.python.org/ftp/python/2.7.3/python-2.7.3.amd64.msi
http://www.python.org/ftp/python/2.7.3/python-2.7.3.msi
からインストーラ入手(64bit版ではeasy_installerではねられる?のでおとなしく32bit版)
http://peak.telecommunity.com/dist/ez_setup.py
をDLして実行
{PYTHON_HOME}\Scripts
環境変数に追加

easy_installインストール

http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe#md5=57e1e64f6b7c7f1d2eddfc9746bbaf20
からインストーラ入手

終了

import sys
sys.exit()

またはCTRL-D