Changeset 1574

Timestamp:

11/15/07 16:03:31 (11 months ago)

Author:

yappo

Message:

r12@haruna (orig r10): ko | 2006-06-21 23:16:40 +0900
add normalize rules
add city patterns

Location:

lang/perl/Geography-AddressExtract-Japan/trunk

Files:

• bin/make_maps.pl (modified) (3 diffs)
• lib/Geography/AddressExtract/Japan.pm (modified) (2 diffs)
• lib/Geography/AddressExtract/Japan/Map/City.pm (modified) (168 diffs)
• lib/Geography/AddressExtract/Japan/Regexp/City.pm (modified) (1 diff)
• lib/Geography/AddressExtract/Japan/Regexp/Dupe.pm (modified) (12 diffs)
• test.pl (modified) (1 diff)

lang/perl/Geography-AddressExtract-Japan/trunk/bin/make_maps.pl

@@ -20 +20 @@
 my $ban = '��?';
 
-if (0) {
+if (1) {
 my $csv = Text::CSV_PP->new({binary => 1});
 my $io = IO::File->new('./ken_all.csv', '<:encoding(shiftjis)') or die $!;
@@ -28 +28 @@
 while (! $io->eof and my $col = $csv->getline($io)) {
     my $data = $col->[6] . $col->[7];
+
+    my @kana;
+    if ($col->[6] ne '����' && $col->[8] !~ /^�ʲ��˷Ǥ�/ && ($col->[8] =~ /^[\p{Hiragana}\p{Katakana}]/ || $col->[8] =~ /��/)) {
+        $data = $col->[8];
+        $data =~ s/��/;
+        for my $str (split /��/, $data) {
+            if ($str =~ /^(\p{Hiragana}+)/ || $str =~ /^(\p{Katakana}+)/) {
+                my $kana = $1;
+                push @kana, $1;
+            }
+        }
+    }
+
     next if $cache{$data}++;
 
@@ -48 +61 @@
     $ra_city->add("$city");
     $ra_city->add($town) if $town;
+    for my $town2 (@kana) {
+        $ra_city->add("$pref$city$town$town2");
+        $ra_city->add("$pref$town$town2");
+        $ra_city->add("$city$town$town2");
+        $ra_city->add("$town$town2") if $town;
+    }
     add_map($map, $col->[6], $city, $town);
 }

lang/perl/Geography-AddressExtract-Japan/trunk/lib/Geography/AddressExtract/Japan.pm

@@ -75 +75 @@
     my($self, $right, $opt) = @_;
 
+    # address position normalize
     if ($opt->{number} && $opt->{number} =~ /^([���������岼])/) {
         my $prefix = $1;
@@ -84 +85 @@
             $opt->{match_text} .= $append;
         }
+    }
+
+    if ($opt->{aza} && $opt->{aza} =~ /^([\p{Hiragana}\p{Katakana}])/) {
+        my $prefix = $1;
+        $opt->{aza} = '';
+        $opt->{number} = '';
+        $opt->{match_text} =~ s/^($opt->{city})\s*$prefix.+$/$1/;
+    }
+
+    if ($opt->{city} =~ /([\p{Hiragana}\p{Katakana}]+)$/) {
+        my $kana = $1;
+        $opt->{city} =~ s/$kana//;
+        $opt->{aza} = $kana;
+    }
+
+    if ($opt->{city} =~ /([\p{Hiragana}\p{Katakana}]+)$/) {
+        my $kana = $1;
+        $opt->{city} =~ s/$kana//;
+        $opt->{aza} = $kana;
+    }
+
+    if ($opt->{aza} && $opt->{aza} =~ /^[\p{Hiragana}\p{Katakana}]/ && !$opt->{number}) {
+        if ($right =~ /^[-���ݤΥ�(
+            (?:(?:(?:[�����͸����Ȭ����)?[�����͸����Ȭ�塻]+|\d+)|[a-zA-Z����)
+            (?:(?:��?)?[-���ݤΥ�?(?:(?:(?:[�����͸����Ȭ����)?[�����͸����Ȭ�塻]+|\d+)|[a-zA-Z����)��?
+            )/x) {
+            $opt->{number} = $1;
+            $opt->{match_text} .= $&;
+        }
+    }
+
+    if ($opt->{aza} && $opt->{aza} =~ /\p{Han}+([�Ƥˤ�ؤΤˤ���].*)$/) {
+        my $prefix = $1;
+        $opt->{aza} =~ s/$prefix$//;
+        $opt->{number} = '';
+        $opt->{match_text} =~ s/($opt->{aza}).+$/$1/;
     }
 

lang/perl/Geography-AddressExtract-Japan/trunk/lib/Geography/AddressExtract/Japan/Map/City.pm

@@ -13 +13 @@
         'いちき串木野市' => '鹿児島県',
         'いなべ市' => '三重県',
-        'いの町' => '高知県吾川郡',
+        'いの町' => 'DUPE',
         'いわき市' => '福島県',
         'うきは市' => '福岡県',
         'うるま市' => '沖縄県',
         'えびの市' => '宮崎県',
-        'えりも町' => '北海道幌泉郡',
-        'おいらせ町' => '青森県上北郡',
+        'えりも町' => 'DUPE',
+        'おいらせ町' => 'DUPE',
         'おおい町' => '福井県大飯郡',
         'かすみがうら市' => '茨城県',
@@ -33 +33 @@
         'さいたま市浦和区' => '埼玉県',
         'さいたま市緑区' => '埼玉県',
-        'さいたま市西区' => '埼玉県',
+        'さいたま市西区' => 'DUPE',
         'さいたま市見沼区' => '埼玉県',
         'さくら市' => '栃木県',
@@ -44 +44 @@
         'つくばみらい市' => '茨城県',
         'つくば市' => '茨城県',
-        'つるぎ町' => '徳島県美馬郡',
+        'つるぎ町' => 'DUPE',
         'ときがわ町' => '埼玉県比企郡',
         'にかほ市' => '秋田県',
@@ -57 +57 @@
         'むかわ町' => '北海道勇払郡',
         'むつ市' => '青森県',
-        'ニセコ町' => '北海道虻田郡',
+        'ニセコ町' => 'DUPE',
         '一宮市' => '愛知県',
         '一宮町' => '千葉県長生郡',
-        '一戸町' => '岩手県二戸郡',
+        '一戸町' => 'DUPE',
         '一色町' => '愛知県幡豆郡',
         '一関市' => '岩手県',
@@ -68 +68 @@
         '七宝町' => '愛知県海部郡',
         '七尾市' => '石川県',
-        '七戸町' => '青森県上北郡',
+        '七戸町' => 'DUPE',
         '七飯町' => '北海道亀田郡',
         '三井郡' => '福岡県',
@@ -92 +92 @@
         '三戸郡' => '青森県',
         '三戸郡三戸町' => '青森県',
-        '三戸郡五戸町' => '青森県',
-        '三戸郡南部町' => '青森県',
+        '三戸郡五戸町' => 'DUPE',
+        '三戸郡南部町' => 'DUPE',
         '三戸郡新郷村' => '青森県',
         '三戸郡田子町' => '青森県',
@@ -119 +119 @@
         '三笠市' => '北海道',
         '三股町' => '宮崎県北諸県郡',
-        '三芳町' => '埼玉県入間郡',
+        '三芳町' => 'DUPE',
         '三豊市' => '香川県',
         '三郷市' => '埼玉県',
@@ -133 +133 @@
         '三鷹市' => '東京都',
         '上ノ国町' => '北海道檜山郡',
-        '上三川町' => '栃木県河内郡',
+        '上三川町' => 'DUPE',
         '上京区' => '京都府京都市',
         '上伊那郡' => '長野県',
@@ -145 +145 @@
         '上北山村' => '奈良県吉野郡',
         '上北郡' => '青森県',
-        '上北郡おいらせ町' => '青森県',
-        '上北郡七戸町' => '青森県',
+        '上北郡おいらせ町' => 'DUPE',
+        '上北郡七戸町' => 'DUPE',
         '上北郡六ケ所村' => '青森県',
-        '上北郡六戸町' => '青森県',
-        '上北郡東北町' => '青森県',
+        '上北郡六戸町' => 'DUPE',
+        '上北郡東北町' => 'DUPE',
         '上北郡横浜町' => '青森県',
-        '上北郡野辺地町' => '青森県',
+        '上北郡野辺地町' => 'DUPE',
         '上士幌町' => '北海道河東郡',
         '上天草市' => '熊本県',
@@ -171 +171 @@
         '上川郡愛別町' => '北海道',
         '上川郡新得町' => '北海道',
-        '上川郡東川町' => '北海道',
-        '上川郡東神楽町' => '北海道',
+        '上川郡東川町' => 'DUPE',
+        '上川郡東神楽町' => 'DUPE',
         '上川郡比布町' => '北海道',
         '上川郡清水町' => '北海道',
@@ -216 +216 @@
         '上高井郡' => '長野県',
         '上高井郡小布施町' => '長野県',
-        '上高井郡高山村' => '長野県',
+        '上高井郡高山村' => 'DUPE',
         '下京区' => '京都府京都市',
         '下仁田町' => '群馬県甘楽郡',
@@ -238 +238 @@
         '下北郡佐井村' => '青森県',
         '下北郡大間町' => '青森県',
-        '下北郡東通村' => '青森県',
+        '下北郡東通村' => 'DUPE',
         '下北郡風間浦村' => '青森県',
         '下呂市' => '岐阜県',
         '下妻市' => '茨城県',
         '下川町' => '北海道上川郡',
-        '下市町' => '奈良県吉野郡',
+        '下市町' => 'DUPE',
         '下新川郡' => '富山県',
         '下新川郡入善町' => '富山県',
@@ -259 +259 @@
         '下郷町' => '福島県南会津郡',
         '下都賀郡' => '栃木県',
-        '下都賀郡壬生町' => '栃木県',
+        '下都賀郡壬生町' => 'DUPE',
         '下都賀郡大平町' => '栃木県',
         '下都賀郡岩舟町' => '栃木県',
@@ -268 +268 @@
         '下閉伊郡' => '岩手県',
         '下閉伊郡山田町' => '岩手県',
-        '下閉伊郡岩泉町' => '岩手県',
+        '下閉伊郡岩泉町' => 'DUPE',
         '下閉伊郡川井村' => '岩手県',
         '下閉伊郡普代村' => '岩手県',
@@ -288 +288 @@
         '与那国町' => '沖縄県八重山郡',
         '世田谷区' => '東京都',
-        '世羅町' => '広島県世羅郡',
+        '世羅町' => 'DUPE',
         '世羅郡' => '広島県',
-        '世羅郡世羅町' => '広島県',
-        '中之条町' => '群馬県吾妻郡',
+        '世羅郡世羅町' => 'DUPE',
+        '中之条町' => 'DUPE',
         '中井町' => '神奈川県足柄上郡',
         '中京区' => '京都府京都市',
@@ -300 +300 @@
         '中央区' => 'DUPE',
         '中央市' => '山梨県',
-        '中富良野町' => '北海道空知郡',
-        '中山町' => '山形県東村山郡',
+        '中富良野町' => 'DUPE',
+        '中山町' => 'DUPE',
         '中島村' => '福島県西白河郡',
-        '中川区' => '愛知県名古屋市',
+        '中川区' => 'DUPE',
         '中川村' => '長野県上伊那郡',
         '中川町' => '北海道中川郡',
         '中川郡' => '北海道',
         '中川郡中川町' => '北海道',
-        '中川郡幕別町' => '北海道',
-        '中川郡本別町' => '北海道',
+        '中川郡幕別町' => 'DUPE',
+        '中川郡本別町' => 'DUPE',
         '中川郡池田町' => '北海道',
         '中川郡美深町' => '北海道',
@@ -318 +318 @@
         '中新川郡' => '富山県',
         '中新川郡上市町' => '富山県',
-        '中新川郡立山町' => '富山県',
+        '中新川郡立山町' => 'DUPE',
         '中新川郡舟橋村' => '富山県',
         '中札内村' => '北海道河西郡',
-        '中村区' => '愛知県名古屋市',
+        '中村区' => 'DUPE',
         '中条村' => '長野県上水内郡',
-        '中標津町' => '北海道標津郡',
+        '中標津町' => 'DUPE',
         '中泊町' => '青森県北津軽郡',
         '中津川市' => '岐阜県',
@@ -350 +350 @@
         '串間市' => '宮崎県',
         '丸亀市' => '香川県',
-        '丸森町' => '宮城県伊具郡',
+        '丸森町' => 'DUPE',
         '丹波山村' => '山梨県北都留郡',
         '丹波市' => '兵庫県',
@@ -384 +384 @@
         '九戸郡' => '岩手県',
         '九戸郡九戸村' => '岩手県',
-        '九戸郡洋野町' => '岩手県',
+        '九戸郡洋野町' => 'DUPE',
         '九戸郡軽米町' => '岩手県',
         '九戸郡野田村' => '岩手県',
@@ -396 +396 @@
         '二戸市' => '岩手県',
         '二戸郡' => '岩手県',
-        '二戸郡一戸町' => '岩手県',
+        '二戸郡一戸町' => 'DUPE',
         '二本松市' => '福島県',
         '二海郡' => '北海道',
-        '二海郡八雲町' => '北海道',
+        '二海郡八雲町' => 'DUPE',
         '五ケ瀬町' => '宮崎県西臼杵郡',
         '五城目町' => '秋田県南秋田郡',
         '五島市' => '長崎県',
-        '五戸町' => '青森県三戸郡',
+        '五戸町' => 'DUPE',
         '五所川原市' => '青森県',
         '五木村' => '熊本県球磨郡',
@@ -439 +439 @@
         '仁多郡' => '島根県',
         '仁多郡奥出雲町' => '島根県',
-        '仁木町' => '北海道余市郡',
-        '仁淀川町' => '高知県吾川郡',
+        '仁木町' => 'DUPE',
+        '仁淀川町' => 'DUPE',
         '今別町' => '青森県東津軽郡',
         '今帰仁村' => '沖縄県国頭郡',
@@ -451 +451 @@
         '仙北郡美郷町' => '秋田県',
         '仙台市' => '宮城県',
-        '仙台市太白区' => '宮城県',
+        '仙台市太白区' => 'DUPE',
         '仙台市宮城野区' => '宮城県',
-        '仙台市泉区' => '宮城県',
-        '仙台市若林区' => '宮城県',
-        '仙台市青葉区' => '宮城県',
+        '仙台市泉区' => 'DUPE',
+        '仙台市若林区' => 'DUPE',
+        '仙台市青葉区' => 'DUPE',
         '仲多度郡' => '香川県',
         '仲多度郡まんのう町' => '香川県',
         '仲多度郡多度津町' => '香川県',
-        '仲多度郡琴平町' => '香川県',
+        '仲多度郡琴平町' => 'DUPE',
         '伊万里市' => '佐賀県',
         '伊丹市' => '兵庫県',
@@ -470 +470 @@
         '伊佐郡菱刈町' => '鹿児島県',
         '伊具郡' => '宮城県',
-        '伊具郡丸森町' => '宮城県',
+        '伊具郡丸森町' => 'DUPE',
         '伊勢原市' => '神奈川県',
         '伊勢崎市' => '群馬県',
@@ -497 +497 @@
         '伊香郡' => '滋賀県',
         '伊香郡余呉町' => '滋賀県',
-        '伊香郡木之本町' => '滋賀県',
+        '伊香郡木之本町' => 'DUPE',
         '伊香郡西浅井町' => '滋賀県',
         '伊香郡高月町' => '滋賀県',
@@ -534 +534 @@
         '余市町' => '北海道余市郡',
         '余市郡' => '北海道',
-        '余市郡仁木町' => '北海道',
+        '余市郡仁木町' => 'DUPE',
         '余市郡余市町' => '北海道',
         '余市郡赤井川村' => '北海道',
@@ -559 +559 @@
         '入間市' => '埼玉県',
         '入間郡' => '埼玉県',
-        '入間郡三芳町' => '埼玉県',
+        '入間郡三芳町' => 'DUPE',
         '入間郡毛呂山町' => '埼玉県',
         '入間郡越生町' => '埼玉県',
@@ -592 +592 @@
         '八百津町' => '岐阜県加茂郡',
         '八街市' => '千葉県',
-        '八郎潟町' => '秋田県南秋田郡',
+        '八郎潟町' => 'DUPE',
         '八重山郡' => '沖縄県',
         '八重山郡与那国町' => '沖縄県',
         '八重山郡竹富町' => '沖縄県',
         '八重瀬町' => '沖縄県島尻郡',
-        '八雲町' => '北海道二海郡',
+        '八雲町' => 'DUPE',
         '八頭町' => '鳥取県八頭郡',
         '八頭郡' => '鳥取県',
         '八頭郡八頭町' => '鳥取県',
         '八頭郡智頭町' => '鳥取県',
-        '八頭郡若桜町' => '鳥取県',
+        '八頭郡若桜町' => 'DUPE',
         '六ケ所村' => '青森県上北郡',
         '六合村' => '群馬県吾妻郡',
-        '六戸町' => '青森県上北郡',
-        '共和町' => '北海道岩内郡',
+        '六戸町' => 'DUPE',
+        '共和町' => 'DUPE',
         '兵庫区' => '兵庫県神戸市',
-        '内子町' => '愛媛県喜多郡',
-        '内灘町' => '石川県河北郡',
+        '内子町' => 'DUPE',
+        '内灘町' => 'DUPE',
         '出水市' => '鹿児島県',
         '出水郡' => '鹿児島県',
@@ -619 +619 @@
         '刈田郡' => '宮城県',
         '刈田郡七ケ宿町' => '宮城県',
-        '刈田郡蔵王町' => '宮城県',
+        '刈田郡蔵王町' => 'DUPE',
         '刈羽村' => '新潟県刈羽郡',
         '刈羽郡' => '新潟県',
@@ -626 +626 @@
         '初山別村' => '北海道苫前郡',
         '別府市' => '大分県',
-        '別海町' => '北海道野付郡',
+        '別海町' => 'DUPE',
         '利尻富士町' => '北海道利尻郡',
         '利尻町' => '北海道利尻郡',
@@ -635 +635 @@
         '利島利島村' => '東京都',
         '利島村' => '東京都利島',
-        '利府町' => '宮城県宮城郡',
-        '利根町' => '茨城県北相馬郡',
+        '利府町' => 'DUPE',
+        '利根町' => 'DUPE',
         '利根郡' => '群馬県',
         '利根郡みなかみ町' => '群馬県',
@@ -672 +672 @@
         '勇払郡' => '北海道',
         '勇払郡むかわ町' => '北海道',
-        '勇払郡占冠村' => '北海道',
+        '勇払郡占冠村' => 'DUPE',
         '勇払郡厚真町' => '北海道',
         '勇払郡安平町' => '北海道',
@@ -695 +695 @@
         '北九州市小倉南区' => '福岡県',
         '北九州市戸畑区' => '福岡県',
-        '北九州市若松区' => '福岡県',
-        '北九州市門司区' => '福岡県',
+        '北九州市若松区' => 'DUPE',
+        '北九州市門司区' => 'DUPE',
         '北佐久郡' => '長野県',
         '北佐久郡御代田町' => '長野県',
-        '北佐久郡立科町' => '長野県',
+        '北佐久郡立科町' => 'DUPE',
         '北佐久郡軽井沢町' => '長野県',
         '北区' => 'DUPE',
@@ -707 +707 @@
         '北埼玉郡大利根町' => '埼玉県',
         '北埼玉郡騎西町' => '埼玉県',
-        '北塩原村' => '福島県耶麻郡',
+        '北塩原村' => 'DUPE',
         '北大東村' => '沖縄県島尻郡',
         '北宇和郡' => '愛媛県',
@@ -738 +738 @@
         '北津軽郡' => '青森県',
         '北津軽郡中泊町' => '青森県',
-        '北津軽郡板柳町' => '青森県',
+        '北津軽郡板柳町' => 'DUPE',
         '北津軽郡鶴田町' => '青森県',
         '北牟婁郡' => '三重県',
@@ -744 +744 @@
         '北相木村' => '長野県南佐久郡',
         '北相馬郡' => '茨城県',
-        '北相馬郡利根町' => '茨城県',
+        '北相馬郡利根町' => 'DUPE',
         '北秋田市' => '秋田県',
         '北秋田郡' => '秋田県',
@@ -755 +755 @@
         '北葛城郡' => '奈良県',
         '北葛城郡上牧町' => '奈良県',
-        '北葛城郡広陵町' => '奈良県',
+        '北葛城郡広陵町' => 'DUPE',
         '北葛城郡河合町' => '奈良県',
         '北葛城郡王寺町' => '奈良県',
         '北葛飾郡' => '埼玉県',
         '北葛飾郡杉戸町' => '埼玉県',
-        '北葛飾郡松伏町' => '埼玉県',
+        '北葛飾郡松伏町' => 'DUPE',
         '北葛飾郡栗橋町' => '埼玉県',
         '北葛飾郡鷲宮町' => '埼玉県',
@@ -783 +783 @@
         '匝瑳市' => '千葉県',
         '十勝郡' => '北海道',
-        '十勝郡浦幌町' => '北海道',
+        '十勝郡浦幌町' => 'DUPE',
         '十和田市' => '青森県',
         '十島村' => '鹿児島県鹿児島郡',
@@ -796 +796 @@
         '千葉市' => '千葉県',
         '千葉市中央区' => '千葉県',
-        '千葉市稲毛区' => '千葉県',
-        '千葉市緑区' => '千葉県',
-        '千葉市美浜区' => '千葉県',
-        '千葉市花見川区' => '千葉県',
-        '千葉市若葉区' => '千葉県',
+        '千葉市稲毛区' => 'DUPE',
+        '千葉市緑区' => 'DUPE',
+        '千葉市美浜区' => 'DUPE',
+        '千葉市花見川区' => 'DUPE',
+        '千葉市若葉区' => 'DUPE',
         '半田市' => '愛知県',
         '南あわじ市' => '兵庫県',
@@ -809 +809 @@
         '南伊勢町' => '三重県度会郡',
         '南伊豆町' => '静岡県賀茂郡',
-        '南会津町' => '福島県南会津郡',
+        '南会津町' => 'DUPE',
         '南会津郡' => '福島県',
         '南会津郡下郷町' => '福島県',
-        '南会津郡南会津町' => '福島県',
+        '南会津郡南会津町' => 'DUPE',
         '南会津郡只見町' => '福島県',
         '南会津郡檜枝岐村' => '福島県',
@@ -853 +853 @@
         '南河内郡千早赤阪村' => '大阪府',
         '南河内郡太子町' => '大阪府',
-        '南河内郡河南町' => '大阪府',
+        '南河内郡河南町' => 'DUPE',
         '南津軽郡' => '青森県',
         '南津軽郡大鰐町' => '青森県',
@@ -869 +869 @@
         '南秋田郡五城目町' => '秋田県',
         '南秋田郡井川町' => '秋田県',
-        '南秋田郡八郎潟町' => '秋田県',
+        '南秋田郡八郎潟町' => 'DUPE',