Changeset 14186 for lang/python

Timestamp:

06/17/08 23:07:51 (5 months ago)

Author:

ayu

Message:

• added README&sample.
  

Location:

lang/python/googlebayes

Files:

• README_ja.txt (added)
• googlebayes/learn.py (modified) (6 diffs)
• sample.txt (added)
• sample_ok.txt (added)
• sample_spam.txt (added)
• scripts (added)
• scripts/gbbayes.py (added)
• scripts/gblearn.py (added)
• setup.py (modified) (1 diff)

lang/python/googlebayes/googlebayes/learn.py

@@ -4 +4 @@
 
 import re
+import sys
 import cPickle as pickle
 from itertools import chain, groupby, imap
@@ -18 +19 @@
         yield buf[i:i+n]
 
-def addcount(dct, tpl):
+def _addcount(dct, tpl):
     u"""
     合計計算用辞書dct に、データ列tpl内の頻度を加算する。
@@ -25 +26 @@
         dct[k] = dct.get(k, 0) + len(list(g))
 
-def toprob(dct, docnum):
+def _toprob(dct, docnum):
     u"""
     頻度辞書を頻度確率辞書に変換する。
@@ -35 +36 @@
     return ans
 
-def countngramprob(stream):
+def _countngramprob(stream):
     u"""
     bi-gram と、 tri-gramの確率辞書を計算して返します。
@@ -51 +52 @@
         bbuf.extend(set(ngram(line, 2)))
         if linenum % BATCH == 0:
-            addcount(trigram, tbuf)
-            addcount(bigram, bbuf)
+            _addcount(trigram, tbuf)
+            _addcount(bigram, bbuf)
             tbuf = []
             bbuf = []
     else:
-        addcount(trigram, tbuf)
-        addcount(bigram, bbuf)
-    return toprob(bigram, linenum), toprob(trigram, linenum)
+        _addcount(trigram, tbuf)
+        _addcount(bigram, bbuf)
+    return _toprob(bigram, linenum), _toprob(trigram, linenum)
 
 RSSURL = "http://blogsearch.google.co.jp/blogsearch_feeds?hl=ja&client=firefox-a&um=1&q=%s&lr=lang_ja&ie=utf-8&num=50&output=rss"
 REMOVEHTML = re.compile(u"<[^>]+>")
-def create_data_stream(kw):
+def _create_data_stream(kw):
     u"""
     キーワードから、blog検索を行い、その結果の概要文の列を返す。
@@ -71 +72 @@
         yield REMOVEHTML.sub(u"", ent.get("summary", u""))
 
-def calcbayes(okkw, spamkw):
+def _calcbayes(okkw, spamkw):
     u"""
     OKキーワード、spamキーワードをもとに、blog検索を行い、それぞれの文たちから
     Bayes計算用の確率一覧を作成して返す。
     """
-    okprob = countngramprob(chain(*(imap(create_data_stream, okkw))))
-    spamprob = countngramprob(chain(*(imap(create_data_stream, spamkw))))
+    okprob = _countngramprob(chain(*(imap(_create_data_stream, okkw))))
+    spamprob = _countngramprob(chain(*(imap(_create_data_stream, spamkw))))
     return okprob, spamprob
 
-def test():
-    for line in create_data_stream(u"Python"):
-        print line["summary"].encode("utf-8")
+def learn(okwords, spamwords, fname):
+    u"""
+    学習を行います。学習結果はファイルに保存されます。
 
-def main(fname):
+    引数
+    okwords Unicodeで書かれた、OK語のリスト
+    spamwords Unicodeで書かれた、SPAM語のリスト
+    fname 学習結果を保存するファイル名
+    """
     fp = file(fname, "w")
-    okprob, spamprob = calcbayes(
-        [u"python", u"C++", u"ruby 開発", u"自然言語処理"],
-        [u"巨乳", u"熟女", u"ハメ撮り", u"オナニー", u"儲かる 情報商材"]
-        )
+    okprob, spamprob = _calcbayes(okwords, spamwords)
     pickle.dump(okprob, fp)
     pickle.dump(spamprob, fp)
     fp.close()
 
+def _test(fname):
+    learn(
+        [u"python", u"C++", u"ruby 開発", u"自然言語処理"],
+        [u"巨乳", u"熟女", u"ハメ撮り", u"オナニー", u"儲かる 情報商材"],
+        fname
+        )    
+
 if __name__ == "__main__":
-    import optparse
-   
-    parser = optparse.OptionParser(u"""
-    学習データを作成します。
-    """)
-    parser.add_option("-o", "--output", dest="output", help=u"出力ファイル名。", default=None)
-    (options, args) = parser.parse_args()
-    
-    #test()
-    main(options.output)
-    
-
+    _test("sample.dat")

lang/python/googlebayes/setup.py

@@ -10 +10 @@
     author="Hiroshi Ayukawa",
     author_email="ayukawa.hiroshi@gmail.com",
-    packages=["googlebayes"]
+    packages=["googlebayes"],
+    scripts=["scripts/gblearn.py", "scripts/gbbayes.py"]
 )