Changeset 38028

Show
Ignore:
Timestamp:
07/27/10 17:53:35 (3 years ago)
Author:
tasuku
Message:

fixed bugs on scraping html for softbank cidr html.

Location:
lang/python/cidr-mobilejp/trunk
Files:
2 modified

Legend:

Unmodified
Added
Removed

  • lang/python/cidr-mobilejp/trunk/ip2mobile.php

    r38027 r38028  
    11<?php 
     2/* 
     3This script is generated by scrape.py at 2010-07-27 17:53:08. 
     4http://svn.coderepos.org/share/lang/python/cidr-mobilejp/trunk/scrape.py 
     5*/ 
    26function ip2mobile($ip) { 
    37  $n = sprintf('%u', ip2long($ip)); 
    48 
    5   if ($n < 1913929984) { 
    6     if ($n < 1867944704) { 
     9  if ($n < 1914044160) { 
     10    if ($n < 1868151808) { 
    711      if ($n < 1036427264) { 
    812        if ($n < 1036419072) { 
    … …  
    4145        return 'airhphone'; 
    4246      } else { 
    43         if ($n < 1036780032) { 
     47        if ($n < 1036803072) { 
    4448          if ($n < 1036449792) { 
    4549            if ($n >= 1036429312 && $n <= 1036431359) { 
    … …  
    4953            return 'airhphone'; 
    5054          } else { 
    51             if ($n >= 1036779520 && $n <= 1036779775) { 
    52               return 'airhphone'; 
    53             } 
    54           } 
    55         } else if ($n <= 1036781439) { 
    56           return 'airhphone'; 
    57         } else { 
    58           if ($n < 1867943232) { 
    59             if ($n >= 1036803072 && $n <= 1036804095) { 
    60               return 'airhphone'; 
    61             } 
    62           } else if ($n <= 1867943487) { 
    63             return 'ezweb'; 
    64           } else { 
    65             if ($n < 1867943552) { 
    66             } else if ($n <= 1867943743) { 
    67               return 'ezweb'; 
    68             } else { 
    69               if ($n >= 1867943872 && $n <= 1867943935) { 
     55            if ($n < 1036779520) { 
     56            } else if ($n <= 1036779775) { 
     57              return 'airhphone'; 
     58            } else { 
     59              if ($n >= 1036780032 && $n <= 1036781439) { 
     60                return 'airhphone'; 
     61              } 
     62            } 
     63          } 
     64        } else if ($n <= 1036804095) { 
     65          return 'airhphone'; 
     66        } else { 
     67          if ($n < 1867943552) { 
     68            if ($n >= 1867943232 && $n <= 1867943487) { 
     69              return 'ezweb'; 
     70            } 
     71          } else if ($n <= 1867943743) { 
     72            return 'ezweb'; 
     73          } else { 
     74            if ($n < 1867943872) { 
     75            } else if ($n <= 1867943935) { 
     76              return 'ezweb'; 
     77            } else { 
     78              if ($n >= 1867944704 && $n <= 1867944735) { 
    7079                return 'ezweb'; 
    7180              } 
    … …  
    7483        } 
    7584      } 
    76     } else if ($n <= 1867944735) { 
    77       return 'ezweb'; 
     85    } else if ($n <= 1868152831) { 
     86      return 'docomo'; 
    7887    } else { 
    79       if ($n < 1913927680) { 
    80         if ($n < 1913926144) { 
     88      if ($n < 1913928192) { 
     89        if ($n < 1913926656) { 
    8190          if ($n < 1913925888) { 
    82             if ($n >= 1868151808 && $n <= 1868152831) { 
    83               return 'docomo'; 
    84             } 
    85           } else if ($n <= 1913926143) { 
    86             return 'airhphone'; 
    87           } else { 
    88             if ($n >= 1913925888 && $n <= 1913926399) { 
    89               return 'airhphone'; 
    90             } 
    91           } 
    92         } else if ($n <= 1913926655) { 
    93           return 'airhphone'; 
    94         } else { 
    95           if ($n < 1913926656) { 
    96             if ($n >= 1913926400 && $n <= 1913926911) { 
    97               return 'airhphone'; 
    98             } 
    99           } else if ($n <= 1913927423) { 
    100             return 'airhphone'; 
    101           } else { 
    102             if ($n < 1913927168) { 
    103             } else if ($n <= 1913927679) { 
    104               return 'airhphone'; 
    105             } else { 
    106               if ($n >= 1913927424 && $n <= 1913927935) { 
    107                 return 'airhphone'; 
    108               } 
    109             } 
    110           } 
    111         } 
    112       } else if ($n <= 1913928191) { 
     91            if ($n >= 1913925888 && $n <= 1913926143) { 
     92              return 'airhphone'; 
     93            } 
     94          } else if ($n <= 1913926399) { 
     95            return 'airhphone'; 
     96          } else { 
     97            if ($n < 1913926144) { 
     98            } else if ($n <= 1913926655) { 
     99              return 'airhphone'; 
     100            } else { 
     101              if ($n >= 1913926400 && $n <= 1913926911) { 
     102                return 'airhphone'; 
     103              } 
     104            } 
     105          } 
     106        } else if ($n <= 1913927423) { 
     107          return 'airhphone'; 
     108        } else { 
     109          if ($n < 1913927424) { 
     110            if ($n >= 1913927168 && $n <= 1913927679) { 
     111              return 'airhphone'; 
     112            } 
     113          } else if ($n <= 1913927935) { 
     114            return 'airhphone'; 
     115          } else { 
     116            if ($n < 1913927680) { 
     117            } else if ($n <= 1913928191) { 
     118              return 'airhphone'; 
     119            } else { 
     120              if ($n >= 1913927936 && $n <= 1913928447) { 
     121                return 'airhphone'; 
     122              } 
     123            } 
     124          } 
     125        } 
     126      } else if ($n <= 1913928703) { 
    113127        return 'airhphone'; 
    114128      } else { 
    115         if ($n < 1913928704) { 
    116           if ($n < 1913928192) { 
    117             if ($n >= 1913927936 && $n <= 1913928447) { 
    118               return 'airhphone'; 
    119             } 
    120           } else if ($n <= 1913928703) { 
    121             return 'airhphone'; 
    122           } else { 
     129        if ($n < 1913929472) { 
     130          if ($n < 1913928704) { 
    123131            if ($n >= 1913928448 && $n <= 1913928959) { 
    124132              return 'airhphone'; 
    125133            } 
    126           } 
    127         } else if ($n <= 1913929215) { 
    128           return 'airhphone'; 
    129         } else { 
    130           if ($n < 1913929216) { 
    131             if ($n >= 1913928960 && $n <= 1913929471) { 
    132               return 'airhphone'; 
    133             } 
    134           } else if ($n <= 1913929727) { 
    135             return 'airhphone'; 
    136           } else { 
    137             if ($n < 1913929472) { 
    138             } else if ($n <= 1913929983) { 
    139               return 'airhphone'; 
    140             } else { 
    141               if ($n >= 1913929728 && $n <= 1913930239) { 
     134          } else if ($n <= 1913929215) { 
     135            return 'airhphone'; 
     136          } else { 
     137            if ($n < 1913928960) { 
     138            } else if ($n <= 1913929471) { 
     139              return 'airhphone'; 
     140            } else { 
     141              if ($n >= 1913929216 && $n <= 1913929727) { 
     142                return 'airhphone'; 
     143              } 
     144            } 
     145          } 
     146        } else if ($n <= 1913929983) { 
     147          return 'airhphone'; 
     148        } else { 
     149          if ($n < 1913929984) { 
     150            if ($n >= 1913929728 && $n <= 1913930239) { 
     151              return 'airhphone'; 
     152            } 
     153          } else if ($n <= 1913930495) { 
     154            return 'airhphone'; 
     155          } else { 
     156            if ($n < 1913930240) { 
     157            } else if ($n <= 1913930751) { 
     158              return 'airhphone'; 
     159            } else { 
     160              if ($n >= 1913930496 && $n <= 1913930751) { 
    142161                return 'airhphone'; 
    143162              } 
    … …  
    147166      } 
    148167    } 
    149   } else if ($n <= 1913930495) { 
     168  } else if ($n <= 1914044191) { 
    150169    return 'airhphone'; 
    151170  } else { 
    152171    if ($n < 3414870784) { 
    153       if ($n < 1990165952) { 
    154         if ($n < 1914044160) { 
    155           if ($n < 1913930496) { 
    156             if ($n >= 1913930240 && $n <= 1913930751) { 
    157               return 'airhphone'; 
    158             } 
    159           } else if ($n <= 1913930751) { 
    160             return 'airhphone'; 
    161           } else { 
     172      if ($n < 2037376768) { 
     173        if ($n < 1990165664) { 
     174          if ($n < 1989727936) { 
    162175            if ($n >= 1914044160 && $n <= 1914044191) { 
    163176              return 'airhphone'; 
    164177            } 
    165           } 
    166         } else if ($n <= 1914044191) { 
    167           return 'airhphone'; 
    168         } else { 
    169           if ($n < 1990165248) { 
    170             if ($n >= 1989727936 && $n <= 1989727999) { 
    171               return 'ezweb'; 
    172             } 
    173           } else if ($n <= 1990165375) { 
    174             return 'ezweb'; 
    175           } else { 
    176             if ($n < 1990165664) { 
    177             } else if ($n <= 1990165695) { 
    178               return 'ezweb'; 
    179             } else { 
    180               if ($n >= 1990165760 && $n <= 1990165887) { 
     178          } else if ($n <= 1989727999) { 
     179            return 'ezweb'; 
     180          } else { 
     181            if ($n >= 1990165248 && $n <= 1990165375) { 
     182              return 'ezweb'; 
     183            } 
     184          } 
     185        } else if ($n <= 1990165695) { 
     186          return 'ezweb'; 
     187        } else { 
     188          if ($n < 1990165952) { 
     189            if ($n >= 1990165760 && $n <= 1990165887) { 
     190              return 'ezweb'; 
     191            } 
     192          } else if ($n <= 1990166015) { 
     193            return 'ezweb'; 
     194          } else { 
     195            if ($n < 2037375744) { 
     196            } else if ($n <= 2037375871) { 
     197              return 'ezweb'; 
     198            } else { 
     199              if ($n >= 2037375904 && $n <= 2037375935) { 
    181200                return 'ezweb'; 
    182201              } 
    … …  
    184203          } 
    185204        } 
    186       } else if ($n <= 1990166015) { 
     205      } else if ($n <= 2037376895) { 
    187206        return 'ezweb'; 
    188207      } else { 
    189         if ($n < 2089987584) { 
    190           if ($n < 2037375904) { 
    191             if ($n >= 2037375744 && $n <= 2037375871) { 
    192               return 'ezweb'; 
    193             } 
    194           } else if ($n <= 2037375935) { 
    195             return 'ezweb'; 
    196           } else { 
    197             if ($n >= 2037376768 && $n <= 2037376895) { 
    198               return 'ezweb'; 
    199             } 
    200           } 
    201         } else if ($n <= 2089988095) { 
    202           return 'docomo'; 
    203         } else { 
    204           if ($n < 2098989824) { 
    205             if ($n >= 2098987008 && $n <= 2098989311) { 
    206               return 'airhphone'; 
    207             } 
    208           } else if ($n <= 2098991615) { 
    209             return 'airhphone'; 
    210           } else { 
    211             if ($n < 3404050432) { 
    212             } else if ($n <= 3404051455) { 
     208        if ($n < 2098989824) { 
     209          if ($n < 2070736352) { 
     210            if ($n >= 2070736128 && $n <= 2070736159) { 
     211              return 'softbank'; 
     212            } 
     213          } else if ($n <= 2070736383) { 
     214            return 'softbank'; 
     215          } else { 
     216            if ($n < 2089987584) { 
     217            } else if ($n <= 2089988095) { 
    213218              return 'docomo'; 
     219            } else { 
     220              if ($n >= 2098987008 && $n <= 2098989311) { 
     221                return 'airhphone'; 
     222              } 
     223            } 
     224          } 
     225        } else if ($n <= 2098991615) { 
     226          return 'airhphone'; 
     227        } else { 
     228          if ($n < 3405602816) { 
     229            if ($n >= 3404050432 && $n <= 3404051455) { 
     230              return 'docomo'; 
     231            } 
     232          } else if ($n <= 3405602847) { 
     233            return 'softbank'; 
     234          } else { 
     235            if ($n < 3405603040) { 
     236            } else if ($n <= 3405603071) { 
     237              return 'softbank'; 
    214238            } else { 
    215239              if ($n >= 3414864896 && $n <= 3414865407) { 
    … …  
    223247      return 'docomo'; 
    224248    } else { 
    225       if ($n < 3681288704) { 
     249      if ($n < 3548299392) { 
    226250        if ($n < 3534288384) { 
    227           if ($n < 3533263872) { 
     251          if ($n < 3532785600) { 
    228252            if ($n >= 3532169472 && $n <= 3532169727) { 
    229253              return 'docomo'; 
    230254            } 
    231           } else if ($n <= 3533264127) { 
    232             return 'docomo'; 
    233           } else { 
    234             if ($n >= 3533264384 && $n <= 3533264895) { 
     255          } else if ($n <= 3532785663) { 
     256            return 'softbank'; 
     257          } else { 
     258            if ($n < 3533263872) { 
     259            } else if ($n <= 3533264127) { 
    235260              return 'docomo'; 
     261            } else { 
     262              if ($n >= 3533264384 && $n <= 3533264895) { 
     263                return 'docomo'; 
     264              } 
    236265            } 
    237266          } 
    … …  
    239268          return 'airhphone'; 
    240269        } else { 
    241           if ($n < 3538321632) { 
     270          if ($n < 3534684544) { 
    242271            if ($n >= 3534314496 && $n <= 3534316543) { 
    243272              return 'airhphone'; 
    244273            } 
    245           } else if ($n <= 3538321647) { 
    246             return 'ezweb'; 
    247           } else { 
    248             if ($n < 3541231616) { 
    249             } else if ($n <= 3541233663) { 
    250               return 'airhphone'; 
    251             } else { 
    252               if ($n >= 3548299392 && $n <= 3548299519) { 
    253                 return 'airhphone'; 
    254               } 
    255             } 
    256           } 
    257         } 
    258       } else if ($n <= 3681292287) { 
     274          } else if ($n <= 3534684671) { 
     275            return 'softbank'; 
     276          } else { 
     277            if ($n < 3538321632) { 
     278            } else if ($n <= 3538321647) { 
     279              return 'ezweb'; 
     280            } else { 
     281              if ($n >= 3541231616 && $n <= 3541233663) { 
     282                return 'airhphone'; 
     283              } 
     284            } 
     285          } 
     286        } 
     287      } else if ($n <= 3548299519) { 
    259288        return 'airhphone'; 
    260289      } else { 
    261290        if ($n < 3682439424) { 
    262           if ($n < 3681328640) { 
    263             if ($n >= 3681328384 && $n <= 3681328511) { 
    264               return 'ezweb'; 
    265             } 
    266           } else if ($n <= 3681328671) { 
    267             return 'ezweb'; 
    268           } else { 
    269             if ($n >= 3681328680 && $n <= 3681328687) { 
    270               return 'ezweb'; 
     291          if ($n < 3681328384) { 
     292            if ($n >= 3681288704 && $n <= 3681292287) { 
     293              return 'airhphone'; 
     294            } 
     295          } else if ($n <= 3681328511) { 
     296            return 'ezweb'; 
     297          } else { 
     298            if ($n < 3681328640) { 
     299            } else if ($n <= 3681328671) { 
     300              return 'ezweb'; 
     301            } else { 
     302              if ($n >= 3681328680 && $n <= 3681328687) { 
     303                return 'ezweb'; 
     304              } 
    271305            } 
    272306          } 

  • lang/python/cidr-mobilejp/trunk/scrape.py

    r38026 r38028  
    11#!/usr/bin/env python 
    2  
    32# -*- coding: utf-8 -*- 
    43 
     4import re 
    55import urllib 
    6 import re 
     6from datetime import datetime 
    77 
    88DEBUG = False 
    … …  
    4343    content = urllib.urlopen(self.url()).read() 
    4444    n = self.name() 
    45     pattern = '<td bgcolor="#eeeeee">&nbsp;&nbsp;(\d+\.\d+\.\d+\.\d+\./\d+)</td>' 
     45    pattern = r'<td bgcolor="#eeeeee">&nbsp;&nbsp;(\d+\.\d+\.\d+\.\d+/\d+)</td>' 
    4646    return [(ip, n) for ip in re.findall(pattern, content, re.M)] 
    4747 
    … …  
    6464  for carrier in classes: 
    6565    c = carrier() 
    66     sources += c.run() 
     66    r = c.run() 
    6767    if DEBUG: 
    6868      print '** %s **' % c.name() 
    69       for s in sources: 
    70         print s[0] 
     69      for s in r: 
     70        print '"%s"' % s[0] 
     71    sources += r 
    7172 
    7273  # convert cidr to ipaddress 
    … …  
    107108      break 
    108109 
     110  now = datetime.today() 
     111 
    109112  # output php source 
    110113  print """<?php 
     114/* 
     115This script is generated by scrape.py at %s. 
     116http://svn.coderepos.org/share/lang/python/cidr-mobilejp/trunk/scrape.py 
     117*/ 
    111118function ip2mobile($ip) { 
    112   $n = sprintf('%u', ip2long($ip)); 
    113 """ 
     119  $n = sprintf('%%u', ip2long($ip)); 
     120""" % now.strftime('%Y-%m-%d %H:%M:%S') 
    114121  output_php(mranges, 0, len(mranges) - 1, 2) 
    115122  print """  return 'pc';