【python2】正则表达式-中文标点

# -*- coding:utf-8 -*-

import re

#r代表原始符号，不需要进行转义，不然需要加\代表原始符号

#u代表utf8编码   u"[。，！？‘“]+" 和"[，。？]+".decode('utf8') 效果相同

regex = re.compile(ur"[。，！？‘“]")

line = "测试。，。去除标点。，是吗？"

reg = re.compile("[\u3002\uff1b\uff0c\uff1a\u201c\u201d\uff08\uff09\u3001\uff1f\u300a\u300b]")#此句在去除标点方面实验发现未起到作用。

word =[] 

string = re.sub("[，。？]+".decode('utf8'),''.decode('utf8'),line.decode('utf8'))#将line里面的标点用空格代替

print string

print 'regex:',(regex.sub(' ',line.decode('utf8'))) #将line里面的标点用空格代替

word.append(re.split(r"[。，？]+".decode('utf8'),line.decode('utf-8')))

#** 此句的word是一个二维数组，因此并不会以汉字形式显示，可以与下面的wc比较，wc是一维的，会以汉字形式显示

wc=re.split(r"[。，？]+".decode('utf8'),line.decode('utf-8'))

print 'wc:',wc

print len(wc)

for i in range(len(wc)):

        print wc[i]

punc = r"！？。＂＃＄％＆＇（）＊＋，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～｟｠｢｣､、〃》「」『』【】〔〕〖〗〘〙〚〛〜〝〞〟〰〾〿–—‘’‛“”„‟…‧﹏."

punc = punc.decode("utf-8")

print re.sub("[%s]+" %punc, ''.decode('utf8'),line.decode('utf8'))

print re.split("[%s]+"%punc,line.decode('utf8'))

# ** split之后变成一个列表形式，汉字在列表中只能以Unicode表示，单拿出来可以以汉字形式显示，可以参见wc

结果：

string: 测试去除标点是吗

regex: 测试   去除标点  是吗 

word: [[u'\u6d4b\u8bd5\u3002\uff0c\u3002\u53bb\u9664\u6807\u70b9\u3002\uff0c\u662f\u5417\uff1f']]

wc: [u'\u6d4b\u8bd5', u'\u53bb\u9664\u6807\u70b9', u'\u662f\u5417', u'']

len(wc): 4

wci: 测试

wci: 去除标点

wci: 是吗

wci: 

resub;: 测试去除标点是吗

[u'\u6d4b\u8bd5', u'\u53bb\u9664\u6807\u70b9', u'\u662f\u5417', u'']