正则去除字符串中的特殊字符

做文本处理时，当需要去除文本中当特殊字符（这里是除了中文、英文、数字以外当字符），可以使用正则表达式，快捷方便。因为文本中有中文，所以字符串要保证是‘utf-8‘格式。

str = u'活动规则：@ 3个好友转发并评论这条微博即可 。⚠️（评论获赞��最多的前三名为幸运粉丝[污]）截  '
str = re.sub(ur'[^\u4e00-\u9fa5a-zA-Z0-9]', ',', str)  # 这里用','替代文本中的特殊字符
str = re.sub(ur',{2,}', ',', str, re.S)#删除重复‘,‘
print str

结果

活动规则,3个好友转发并评论这条微博即可,评论获赞,最多的前三名为幸运粉丝,污,截,

可以看到所有的特殊字符都被替换成‘,‘,后续进行jieba分词就easy了