合肥公交换乘模块开发实录 -- 获取/处理数据

(本文写给python初学者.)

在中午和晚上空闲的时候, 想写一个公交换乘的东西.

从头来吧.

取得数据

选择的数据来源,当然是合肥公交集团网站(http://hfbus.cn/). 这个网站访问很慢.

如何取得全部的公交路线? 很简单, 直接点击"线路查询", 所有的线路就出来了(相当的慢, 我觉得是数据库的原因).

本打算写个小爬虫,后来觉得划不来, 干脆手工copy页面内容吧,也就24页...

格式是这样:

【 线路名称 】	1
【 起 点 站 】	南门换乘中心	【 终 点 站 】	火车站
【 运营时间 】	查看详细>>
【 途经站名(上行) 】	南门换乘中心-薛河-张小郢-晨风苑-金东路口-江淮站-南七里站-中国科技大学-安医附院-稻香楼-廻龙桥-飞凤街-四牌楼-小东门-大东门-滁州路-蓝鲸大厦-元一时代广场-胜利广场-火车站
【 途经站名(下行) 】	火车站-胜利广场-元一时代广场-蓝鲸大厦-滁州路-大东门-小东门-四牌楼-飞凤街-廻龙桥-稻香楼-安医附院-中国科技大学-机研所-南七里站-江淮站-金东路口-晨风苑-张小郢-薛河-南门换乘中心
【 线路名称 】	2
【 起 点 站 】	博物馆	【 终 点 站 】	长江批发市场
【 运营时间 】	查看详细>>
【 途经站名(上行) 】	博物馆-市一院-百花井-逍遥津-大东门-金大塘-三里街-铜陵北路-五里井-汽车东站-东七里站-卫材总厂-纺机厂-长江批发市场
【 途经站名(下行) 】	长江批发市场-纺机厂-卫材总厂-东七里站-汽车东站-五里井-铜陵北路-三里街-金大塘-大东门-逍遥津-百花井-市一院-博物馆
【 线路名称 】	3
......

不怎么好看的数据, 处理文本是python的强项.

把文件保存为utf-8编码, 别用notepad, 用点高级货(edit plus, ultraedit...).

了解一下python读文件的方式

f = open('buses.txt', 'r')
lines = f.readlines()
lines_len = len(lines)
for i in range(0, lines_len, 5):
print i

仔细观察一下原始数据的格式, 5行可以为一个单位......

嘿嘿, range(0, lines_len, 5), 从头到尾, 每隔5行作为一个单位.

我的原则, 先写出来,逐渐oo. 本来python就是很不oo的oopl...

那就定义一个结构, 来表示这5行的内容...

class Bus:
def __init__(self, raw):
self.line_name = ''
self.up_stream = []
self.down_stream = []

self.raw = raw
def get_text(self):

return ''

差不多这样了.

下面就简单的分析了:

#!/usr/bin/env python
# -*- encoding: utf-8 -*-

class Bus:
def __init__(self, raw):
self.line_name = ''
self.start_station = ''
self.end_station = ''
self.up_stream = []
self.down_stream = []

self._process(raw)

def _process(self, raw_lines):
seperator = '	'
l = raw_lines[0].split(seperator)
self.line_name = l[1].strip()

l = raw_lines[1].split(seperator)
self.start_station = l[1].strip()
self.end_station = l[3].strip()

#skip line 3
l = raw_lines[3].split(seperator)
ups = l[1].strip()
self.up_stream = [s.strip() for s in ups.split('-')]

l = raw_lines[4].split(seperator)
dws = l[1].strip()
self.down_stream = [s.strip() for s in dws.split('-')]

print self.line_name, self.start_station, self.end_station
for s in self.up_stream:
print s
for s in self.down_stream:
print s
print '---------------------------------'

f = open('buses.txt', 'r')
lines = f.readlines()
lines_len = len(lines)
buses = []
for i in range(0, lines_len, 5):
raw = lines[i:i+5]

bus = Bus(raw)

buses.append(bus)

这些处理过的数据存在哪里? 随便了...反正我是存在文本里.

下一步就是分析数据了..