url基础知识

以网址http://movie.douban.com/top250为例

一个url网址由以下几个部分组成：

协议：http，https等

主机：host，movie.douban.com

也就是IP地址，只不过IP是由一串数字组成，比较难记，所以用规律的好记的域名来代替。可以在命令行中通过Ping movie.douban.com 获取对应的IP为211.147.4.32。

端口：port，同一个IP地址下有不同的应用，操作系统会分发不同的端口给不同的请求，完成与服务器端的通信。比如QQ与火狐都发送了请求，需要不同端口来实现数据传输。可参考同一栋楼的不同门牌号，邮递员通过门牌号正确派送。

路径：path, 同一个网站下不同的页面，需要通过路径来获取需要的html页面。

以下代码手写了一个简易浏览器，其中get函数实现了url的解析，通过host和port进行socket进行连接与通信。具体代码如下：

# coding: utf-8

import socket
import ssl

def get(url):
# '://' 定位 然后取第一个 / 的位置来切片
u = url.split('://')[1]
i = u.find('/')
host = u[:i]
path = u[i:]

port = 80

s = socket.socket()
# 因为下面的两个参数是默认值 所以可以不写
# s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# host port 都用变量表示 便于修改
s.connect((host, port))

request = 'GET {} HTTP/1.1\r\nhost:{}\r\n\r\n'.format(path, host)
# encoding 也是用变量装 原则就是尽量不要使用常量当参数 尤其是多次使用的相同值
encoding = 'utf-8'
s.send(request.encode(encoding))

response = b''
# 缓冲区大小要用两次 所以用变量装起来 便于修改编写
buffer_size = 1023
while True:
r = s.recv(buffer_size)
response += r
if len(r) < buffer_size:
break
return response.decode(encoding)

def main():
url = 'http://movie.douban.com/top250'
r = get(url)
print(r)

if __name__ == '__main__':
main()