Changeset 10980 for lang/python

Timestamp:

05/03/08 01:41:47 (7 months ago)

Author:

ayu

Message:

• added commandline interface
  

Location:

lang/python/yoyaku

Files:

• readme-ja.txt (modified) (1 diff)
• yoyaku/engine/SentenceBoundaryEN.py (modified) (2 diffs)

lang/python/yoyaku/readme-ja.txt

@@ -32 +32 @@
 このコマンドでは各種文字エンコーディングを指定するオプションがありますので、詳しくは--helpオプションでヘルプをご覧ください。
 
-2. 英文のトピック分割
-------------------
+2. 英文の文分割
+--------------
+（注：この機能はまだ途中までしか実装が進んでいません。）
+英文を文単位に区切って出力します。
+英文は通常ピリオドで文末を表しますが、"Web2.0"とか"U.S."のように、文末以外でピリオドが使われる場合も多く、その判定は困難です。
+このプログラムでは標準入力からの入力を、文単位に区切ります。
+ファイルsample.txtに区切りたい英文が入っているとします。
+データベースcivoryに、インストール時に用意した辞書データMySQLが用意されているとします。
+$ python yoyaku/engine/SentenceBoundaryEN.py -dcivory  sample.txt
+と入力すると、英文を文単位に分割して出力します。
+
+3. 英文のトピック分割
+-------------------
 英文（わりと長い文）の内容をトピックごとに分割して出力します。
+入力は文単位に区切られている必要があります。
 ファイルsample.txtに分割したい英文の長文が入っているとします。
 $ python yoyaku/engine/TopicSegmentationEN.py < sample.txt

lang/python/yoyaku/yoyaku/engine/SentenceBoundaryEN.py

@@ -3 +3 @@
 
 import re
+import sys
 
 wordPAT = re.compile(u"([^ ]+)")
@@ -38 +39 @@
                     buf = []
                     continue
-            
+            #TODO: 昨年やめたここを思い出すこと。
                 
                 
     if len(buf) > 0:
         yield u" ".join(buf)
+
+if __name__ == "__main__":
+    import optparse
+    import MySQLdb
+
+    parser = optparse.OptionParser(u"""
+    標準入力から入力された英文を、文単位に区切ります。
+    このコマンドでは、本モジュールインストール時に作成した、辞書データベースmysqlへの接続情報が必要です。
+    """)
+    parser.add_option("-H", "--host", dest="host", help=u"mysqlのHOST", default="")
+    parser.add_option("-u", "--user", dest="user", help=u"mysqlのユーザー名", default="")
+    parser.add_option("-p", "--passwd", dest="passwd", help=u"mysqlのパスワード", default="")
+    parser.add_option("-d", "--db", dest="db", help=u"mysqlのDB名", default="")
+    parser.add_option("-s", "--silent", dest="silent", action="store_true", help=u"空行と出力ヘッダを出力しないようにします。（他のコマンドへの入力向け機能）", default=False)    
+    (options, args) = parser.parse_args()
+    con = MySQLdb.connect(host=options.host, user=options.user, passwd=options.passwd, db=options.db)
+    cur = con.cursor()
+    body = " ".join(sys.stdin.readlines())
+    if not options.silent:
+        print "="*20
+        print "     RESULT"
+        print "="*20
+
+    for line in splitSentenceBoundary(cur, body):
+        line = line.strip()
+        if line and options.silent:
+            print line
+   
+