lua 处理utf8 字符集(计算长度和截取子串,其他语言类似)
2016-11-28 11:34
274 查看
按字面个数来截取
网上找了一些算法, 都不太正确; 要么就是乱码, 要么就是只考虑了4 byte 中文的情况, 不够全面
string.sub(s,1,截取长度*4)
网上很多直接使用"
如果截取4个字, 4*4=4+4+1+4+3, 那
就会出现乱码
if byte>128 then index = index + 4
utf8字符是变长字符
字符长度有规律
字符串的首个byte表示了该utf8字符的长度
函数(字符串, 开始位置, 截取长度) utf8sub("你好1世界哈哈",2,5) = 好1世界哈 utf8sub("1你好1世界哈哈",2,5) = 你好1世界 utf8sub("你好世界1哈哈",1,5) = 你好世界1 utf8sub("12345678",3,5) = 34567 utf8sub("øpø你好pix",2,5) = pø你好p
错误方法
网上找了一些算法, 都不太正确; 要么就是乱码, 要么就是只考虑了4 byte 中文的情况, 不够全面string.sub(s,1,截取长度*4)
网上很多直接使用"
""string.sub(s,1,截取长度*4)"是肯定不对的, 因为如果中英文混合的字符串, 例如
你好1世界的字符长度分别是
4,4,1,4,4,
如果截取4个字, 4*4=4+4+1+4+3, 那
世界的
界字将会被取前3个byte,
就会出现乱码
if byte>128 then index = index + 4
问题关键
utf8字符是变长字符字符长度有规律
UTF-8字符规律
字符串的首个byte表示了该utf8字符的长度0xxxxxxx - 1 byte 110yxxxx - 192, 2 byte 1110yyyy - 225, 3 byte 11110zzz - 240, 4 byte
各种正确算法
-- 判断utf8字符byte长度 -- 0xxxxxxx - 1 byte -- 110yxxxx - 192, 2 byte -- 1110yyyy - 225, 3 byte -- 11110zzz - 240, 4 byte local function chsize(char) if not char then print("not char") return 0 elseif char > 240 then return 4 elseif char > 225 then return 3 elseif char > 192 then return 2 else return 1 end end -- 计算utf8字符串字符数, 各种字符都按一个字符计算 -- 例如utf8len("1你好") => 3 function utf8len(str) local len = 0 local currentIndex = 1 while currentIndex <= #str do local char = string.byte(str, currentIndex) currentIndex = currentIndex + chsize(char) len = len +1 end return len end -- 截取utf8 字符串 -- str: 要截取的字符串 -- startChar: 开始字符下标,从1开始 -- numChars: 要截取的字符长度 function utf8sub(str, startChar, numChars) local startIndex = 1 while startChar > 1 do local char = string.byte(str, startIndex) startIndex = startIndex + chsize(char) startChar = startChar - 1 end local currentIndex = startIndex while numChars > 0 and currentIndex <= #str do local char = string.byte(str, currentIndex) currentIndex = currentIndex + chsize(char) numChars = numChars -1 end return str:sub(startIndex, currentIndex - 1) end -- 自测 function test() -- test utf8len assert(utf8len("你好1世界哈哈") == 7) assert(utf8len("你好世界1哈哈 ") == 8) assert(utf8len(" 你好世 界1哈哈") == 9) assert(utf8len("12345678") == 8) assert(utf8len("øpø你好pix") == 8) -- test utf8sub assert(utf8sub("你好1世界哈哈",2,5) == "好1世界哈") assert(utf8sub("1你好1世界哈哈",2,5) == "你好1世界") assert(utf8sub(" 你好1世界 哈哈",2,6) == "你好1世界 ") assert(utf8sub("你好世界1哈哈",1,5) == "你好世界1") assert(utf8sub("12345678",3,5) == "34567") assert(utf8sub("øpø你好pix",2,5) == "pø你好p") print("all test succ") end test()
相关文章推荐
- lua 含中文的字符串处理--分离字符、计算字符数、截取指定长度
- Lua实现 计算 UTF8 字符串的长度
- lua 计算utf8格式的字符串的长度
- 处理字符串的一些js/jq方法(去除HTML,去除空格,计算真实长度,截取中英文字符)
- lua中文字符串长度计算和截取
- Lua 计算 UTF8 字符串的长度,每一个中文算一个字符
- Lua获取utf8字符串长度和字符串截取并用...代替
- 处理字符串的一些js/jq方法(去除HTML,去除空格,计算真实长度,截取中英文字符)
- Lua实现计算 UTF8 字符串的长度,每一个中文算一个字符
- Lua语言实现:截取给定字符串的部分长度,超出部分用省略号“...”替换
- C#截取指定长度字符超出部分以"..."代替,用于处理过长的标题
- mb_strimwidth 截取字符串长度,并用其他字符替换
- UTF8转unicode的例子和NSString包含其他字符(控制字符和前后空格)的处理
- 【字符集UTF8】处理Toad显示乱码及Windows XP下无法插入“某些汉字”问题
- php中计算中文字符串长度、截取中文字符串的函数代码
- js计算字符串长度;并截取字符串
- php中计算中文字符串长度、截取中文字符串
- php中计算中文字符串长度、截取中文字符串
- SourceInsight添加Ruby语言支持,其他语言类似
- LUA通过C语言运行时的错误处理机制分析