ascii码 iso 8859-1 Unicode 字符编码 UTF8编码 区别 表格
2017-04-29 20:43
525 查看
第一：编码简单描述
一、ASCII码：美国佬最初把自己的语言用计算表示，发现 0--127 能把字母表+其它符号全能表示出来
二、 iso 8859-1：欧洲人，0---127 是ASCII码，128--255 加了一些特殊符号
三、Unicode :就是设计出全世界语言即对应编码，就像编了一本大汉语字典。
定义地址范围，两个字节（16个2进制位）
所以查汉字，首先查Unicode 表，得出 基本编码。
现在编出来，哪么计算机到底如何存储这些编码，用几个字节呢！
对Unicode 编码进行加工。
1、出现 UTF-16 little endian（有无BOM） ，Big
endian（有无BOM）。
对Unicode 两个字节的编码增加字节存放数或存放位置进行调整。
1>>然后根据两个字节有高低，存放的地址有高低，高低字节如何存---出现 little endian ，Big
endian
2>> Bom 区分UTF-8 EF BB BF,
UTF-16 FF
FE
little endian（车尾压力小）：重要的放在高地址,即低字节高地址，高字节低地址，低高高低。
Big endian（车尾压力大）： 重要的放在低地址 。即低字节低地址，高字节高地址 ，低低高高。
2、UTF-8:解决Unicode 存贮ASCII浪费空间的问题,
编码规则： UTF-8（目前常用是把2个字节按地址分成三个区间，然后按照规则编写编码），UTF-32。
如 ：1》对于ASCII码来说 1》一个旅馆一层楼就能住满客人，0---127 个小房间。
2》这下好，你增加一层楼，但是还是只住 同样数量的客人
**所以 Unicode 对于ASCII码在存贮到内存或硬盘，浪费一半的空间。
2》对汉字好像没影响，反正都是存贮 2个字节。
3》对于部分欧洲人来说，0---255 （一个字节）够了，也是浪费存贮空间。
所以出现 UTF-8
如果保存UTF-8文件内容：
第一：如果保存的字母在ASCII里，就直接存放ASCII的二进制，一个字节
第二：如果是汉字，哪么查找UNICODE表，看地址规定在UTF-8的那个地址范围内，就用几字节存。
**总结：ASCII存贮是省空间，但是其它中文，明明以前只要16位（2字节）现在有可能要三个字节表示。
四、GBK:用俩字节
第一字节：从129 开始往下编 0x81。
第二字节：从64---255 编码，即这8位是0100 0000----1111 1111
第二：例子
例如： 文本文件可保存的编码：
1、ASCII
2、UTF-16 little endian 有bom,UTF-16 little endian 无bom，
UTF-16 Big endian 有bom，UTF-16 Big
endian 无bom，
3、UTF-8 有bom,UTF-8 无bom
例如：
严1a :gbk 0xD1 CF 31 61
严1a :unicode 0x4E25 31 61
1>查找unicode 代码过程 严 ----在网页：http://www.sojson.com/unicode.html 查Unicode得 10进制 #20005;
20005(十进制) = 100 1110 0010 0101(二进制)0x4E25
1:#49 49(十进制) = 110001(二进制) 0x31
a:#97 97(十进制) = 1100001(二进制) 0x61
2》查找 gbk 1：ASCII 表 0x31 a：ASCII 表 0x61 3.
严 -- http://www.qqxiuzi.cn/zh/hanzi-gbk-bianma.php 对应的代码 D1 CF
网络传输（TCP/IP）：大尾（Big endian）即低字节低地址，高字节高地址 ，低低高高。
1.ASCII编码文件
D1 CF 31 61
保存： 1>对于0---127
的编码，就保存相应的ASCII码。
2>对于汉字编码就保存128 开始的两个字节里。
所以传给别人,非常方便区分。
****反正一个字节一个字节取，哪么当读到第一位是0，判断是ASCII码，读一个字节。
当读到第一位是1，判断是G BK码,因此连续读两个字节（从高地址往地址读）。
2、Unicode编码 ：4E 25 0031
0061
little
endian：每一个16位（2个字节），都是高字节低地址，低字节高地址。
例如 完整 一个16位：4E25(4E 高字节，25 低字节) 存放 反过来25
4E。每一个16位全部这样存放。
1>UTF-16 little endian 无bom
25 4E 31 00 61 00 (6个字节)
2> UTF-16 Big
endian 无bom 00 25 00 4E 00 31 00 00 00 61 00 00 (12个字节)
3>UTF-16 little endian
有bom FF FE 25 4E 31 00 61 00 (8个字节)
4>UTF-16 Big endian 有bom FF
FE 00 25 00 4E 00 31 00 00 00 61 00 00 (14个字节)
3、 UTF-8
1>UTF-8 (默认有Bom) EF BB BF E4 B8 A5 31 61 (8个字节)
2>UTF-8 无Bom E4 B8 A5 31 61 (5个字节）
ASCII码表
iso 8859-1
Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0x0000---0x007F
| 0xxxxxxx
0x0080---0x07ff | 110xxxxx 10xxxxxx
0x0800---0xffff | 1110xxxx 10xxxxxx 10xxxxxx
上表，解读UTF-8编码非常简单。如果一个字节的第一位是0，则这个字节单独就是一个字符；如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节。
下面，还是以汉字"严"为例，演示如何实现UTF-8编码。
已知"严"的unicode是4E25（0100 1110 0010 0101）
根据上表，可以发现4E25处在第三行的范围内（0000 1000 0000 0000-1111 1111 1111 1111），因此"严"的UTF-8编码需要三个字节，即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然后，从"严"的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，"严"的UTF-8编码是"11100100 10111000 10100101"，转换成十六进制就是E4B8A5。
参考文章：
ASCII码表
【1】http://www.fmddlmyy.cn/text16.html
Unicode 字符编码表
【2】http://www.cnblogs.com/chenwenbiao/archive/2011/08/17/2142718.html
【3】http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
utf-8和utf-16.
【4】http://www.cnblogs.com/kingcat/archive/2012/10/16/2726334.html
gbk编码
【5】 http://www.qqxiuzi.cn/zh/hanzi-gbk-bianma.php
UTF-8（目前常用是把2个字节按地址分成三个区间，然后按照规则编写编码），UTF-32。
一、ASCII码：美国佬最初把自己的语言用计算表示，发现 0--127 能把字母表+其它符号全能表示出来
二、 iso 8859-1：欧洲人，0---127 是ASCII码，128--255 加了一些特殊符号
三、Unicode :就是设计出全世界语言即对应编码，就像编了一本大汉语字典。
定义地址范围，两个字节（16个2进制位）
所以查汉字，首先查Unicode 表，得出 基本编码。
现在编出来，哪么计算机到底如何存储这些编码，用几个字节呢！
对Unicode 编码进行加工。
1、出现 UTF-16 little endian（有无BOM） ，Big
endian（有无BOM）。
对Unicode 两个字节的编码增加字节存放数或存放位置进行调整。
1>>然后根据两个字节有高低，存放的地址有高低，高低字节如何存---出现 little endian ，Big
endian
2>> Bom 区分UTF-8 EF BB BF,
UTF-16 FF
FE
little endian（车尾压力小）：重要的放在高地址,即低字节高地址，高字节低地址，低高高低。
Big endian（车尾压力大）： 重要的放在低地址 。即低字节低地址，高字节高地址 ，低低高高。
2、UTF-8:解决Unicode 存贮ASCII浪费空间的问题,
编码规则： UTF-8（目前常用是把2个字节按地址分成三个区间，然后按照规则编写编码），UTF-32。
如 ：1》对于ASCII码来说 1》一个旅馆一层楼就能住满客人，0---127 个小房间。
2》这下好，你增加一层楼，但是还是只住 同样数量的客人
**所以 Unicode 对于ASCII码在存贮到内存或硬盘，浪费一半的空间。
2》对汉字好像没影响，反正都是存贮 2个字节。
3》对于部分欧洲人来说，0---255 （一个字节）够了，也是浪费存贮空间。
所以出现 UTF-8
如果保存UTF-8文件内容：
第一：如果保存的字母在ASCII里，就直接存放ASCII的二进制，一个字节
第二：如果是汉字，哪么查找UNICODE表，看地址规定在UTF-8的那个地址范围内，就用几字节存。
**总结：ASCII存贮是省空间，但是其它中文，明明以前只要16位（2字节）现在有可能要三个字节表示。
四、GBK:用俩字节
第一字节：从129 开始往下编 0x81。
第二字节：从64---255 编码，即这8位是0100 0000----1111 1111
第二：例子
例如： 文本文件可保存的编码：
1、ASCII
2、UTF-16 little endian 有bom,UTF-16 little endian 无bom，
UTF-16 Big endian 有bom，UTF-16 Big
endian 无bom，
3、UTF-8 有bom,UTF-8 无bom
例如：
严1a :gbk 0xD1 CF 31 61
严1a :unicode 0x4E25 31 61
1>查找unicode 代码过程 严 ----在网页：http://www.sojson.com/unicode.html 查Unicode得 10进制 #20005;
20005(十进制) = 100 1110 0010 0101(二进制)0x4E25
1:#49 49(十进制) = 110001(二进制) 0x31
a:#97 97(十进制) = 1100001(二进制) 0x61
2》查找 gbk 1：ASCII 表 0x31 a：ASCII 表 0x61 3.
严 -- http://www.qqxiuzi.cn/zh/hanzi-gbk-bianma.php 对应的代码 D1 CF
网络传输（TCP/IP）：大尾（Big endian）即低字节低地址，高字节高地址 ，低低高高。
1.ASCII编码文件
D1 CF 31 61
保存： 1>对于0---127
的编码，就保存相应的ASCII码。
2>对于汉字编码就保存128 开始的两个字节里。
所以传给别人,非常方便区分。
****反正一个字节一个字节取，哪么当读到第一位是0，判断是ASCII码，读一个字节。
当读到第一位是1，判断是G BK码,因此连续读两个字节（从高地址往地址读）。
2、Unicode编码 ：4E 25 0031
0061
little
endian：每一个16位（2个字节），都是高字节低地址，低字节高地址。
例如 完整 一个16位：4E25(4E 高字节，25 低字节) 存放 反过来25
4E。每一个16位全部这样存放。
1>UTF-16 little endian 无bom
25 4E 31 00 61 00 (6个字节)
2> UTF-16 Big
endian 无bom 00 25 00 4E 00 31 00 00 00 61 00 00 (12个字节)
3>UTF-16 little endian
有bom FF FE 25 4E 31 00 61 00 (8个字节)
4>UTF-16 Big endian 有bom FF
FE 00 25 00 4E 00 31 00 00 00 61 00 00 (14个字节)
3、 UTF-8
1>UTF-8 (默认有Bom) EF BB BF E4 B8 A5 31 61 (8个字节)
2>UTF-8 无Bom E4 B8 A5 31 61 (5个字节）
ASCII码表
| Bin | Dec | Hex | 缩写/字符 | 解释 |
| 00000000 | 0 | 00 | NUL(null) | 空字符 |
| 00000001 | 1 | 01 | SOH(start of headling) | 标题开始 |
| 00000010 | 2 | 02 | STX (start of text) | 正文开始 |
| 00000011 | 3 | 03 | ETX (end of text) | 正文结束 |
| 00000100 | 4 | 04 | EOT (end of transmission) | 传输结束 |
| 00000101 | 5 | 05 | ENQ (enquiry) | 请求 |
| 00000110 | 6 | 06 | ACK (acknowledge) | 收到通知 |
| 00000111 | 7 | 07 | BEL (bell) | 响铃 |
| 00001000 | 8 | 08 | BS (backspace) | 退格 |
| 00001001 | 9 | 09 | HT (horizontal tab) | 水平制表符 |
| 00001010 | 10 | 0A | LF (NL line feed, new line) | 换行键 |
| 00001011 | 11 | 0B | VT (vertical tab) | 垂直制表符 |
| 00001100 | 12 | 0C | FF (NP form feed, new page) | 换页键 |
| 00001101 | 13 | 0D | CR (carriage return) | 回车键 |
| 00001110 | 14 | 0E | SO (shift out) | 不用切换 |
| 00001111 | 15 | 0F | SI (shift in) | 启用切换 |
| 00010000 | 16 | 10 | DLE (data link escape) | 数据链路转义 |
| 00010001 | 17 | 11 | DC1 (device control 1) | 设备控制1 |
| 00010010 | 18 | 12 | DC2 (device control 2) | 设备控制2 |
| 00010011 | 19 | 13 | DC3 (device control 3) | 设备控制3 |
| 00010100 | 20 | 14 | DC4 (device control 4) | 设备控制4 |
| 00010101 | 21 | 15 | NAK (negative acknowledge) | 拒绝接收 |
| 00010110 | 22 | 16 | SYN (synchronous idle) | 同步空闲 |
| 00010111 | 23 | 17 | ETB (end of trans. block) | 传输块结束 |
| 00011000 | 24 | 18 | CAN (cancel) | 取消 |
| 00011001 | 25 | 19 | EM (end of medium) | 介质中断 |
| 00011010 | 26 | 1A | SUB (substitute) | 替补 |
| 00011011 | 27 | 1B | ESC (escape) | 溢出 |
| 00011100 | 28 | 1C | FS (file separator) | 文件分割符 |
| 00011101 | 29 | 1D | GS (group separator) | 分组符 |
| 00011110 | 30 | 1E | RS (record separator) | 记录分离符 |
| 00011111 | 31 | 1F | US (unit separator) | 单元分隔符 |
| 00100000 | 32 | 20 | (space) | 空格 |
| 00100001 | 33 | 21 | ! | |
| 00100010 | 34 | 22 | " | |
| 00100011 | 35 | 23 | # | |
| 00100100 | 36 | 24 | $ | |
| 00100101 | 37 | 25 | % | |
| 00100110 | 38 | 26 | & | |
| 00100111 | 39 | 27 | ' | |
| 00101000 | 40 | 28 | ( | |
| 00101001 | 41 | 29 | ) | |
| 00101010 | 42 | 2A | * | |
| 00101011 | 43 | 2B | + | |
| 00101100 | 44 | 2C | , | |
| 00101101 | 45 | 2D | - | |
| 00101110 | 46 | 2E | . | |
| 00101111 | 47 | 2F | / | |
| 00110000 | 48 | 30 | 0 | |
| 00110001 | 49 | 31 | 1 | |
| 00110010 | 50 | 32 | 2 | |
| 00110011 | 51 | 33 | 3 | |
| 00110100 | 52 | 34 | 4 | |
| 00110101 | 53 | 35 | 5 | |
| 00110110 | 54 | 36 | 6 | |
| 00110111 | 55 | 37 | 7 | |
| 00111000 | 56 | 38 | 8 | |
| 00111001 | 57 | 39 | 9 | |
| 00111010 | 58 | 3A | : | |
| 00111011 | 59 | 3B | ; | |
| 00111100 | 60 | 3C | << td=""> | |
| 00111101 | 61 | 3D | = | |
| 00111110 | 62 | 3E | > | |
| 00111111 | 63 | 3F | ? | |
| 01000000 | 64 | 40 | @ | |
| 01000001 | 65 | 41 | A | |
| 01000010 | 66 | 42 | B | |
| 01000011 | 67 | 43 | C | |
| 01000100 | 68 | 44 | D | |
| 01000101 | 69 | 45 | E | |
| 01000110 | 70 | 46 | F | |
| 01000111 | 71 | 47 | G | |
| 01001000 | 72 | 48 | H | |
| 01001001 | 73 | 49 | I | |
| 01001010 | 74 | 4A | J | |
| 01001011 | 75 | 4B | K | |
| 01001100 | 76 | 4C | L | |
| 01001101 | 77 | 4D | M | |
| 01001110 | 78 | 4E | N | |
| 01001111 | 79 | 4F | O | |
| 01010000 | 80 | 50 | P | |
| 01010001 | 81 | 51 | Q | |
| 01010010 | 82 | 52 | R | |
| 01010011 | 83 | 53 | S | |
| 01010100 | 84 | 54 | T | |
| 01010101 | 85 | 55 | U | |
| 01010110 | 86 | 56 | V | |
| 01010111 | 87 | 57 | W | |
| 01011000 | 88 | 58 | X | |
| 01011001 | 89 | 59 | Y | |
| 01011010 | 90 | 5A | Z | |
| 01011011 | 91 | 5B | [ | |
| 01011100 | 92 | 5C | \ | |
| 01011101 | 93 | 5D | ] | |
| 01011110 | 94 | 5E | ^ | |
| 01011111 | 95 | 5F | _ | |
| 01100000 | 96 | 60 | ` | |
| 01100001 | 97 | 61 | a | |
| 01100010 | 98 | 62 | b | |
| 01100011 | 99 | 63 | c | |
| 01100100 | 100 | 64 | d | |
| 01100101 | 101 | 65 | e | |
| 01100110 | 102 | 66 | f | |
| 01100111 | 103 | 67 | g | |
| 01101000 | 104 | 68 | h | |
| 01101001 | 105 | 69 | i | |
| 01101010 | 106 | 6A | j | |
| 01101011 | 107 | 6B | k | |
| 01101100 | 108 | 6C | l | |
| 01101101 | 109 | 6D | m | |
| 01101110 | 110 | 6E | n | |
| 01101111 | 111 | 6F | o | |
| 01110000 | 112 | 70 | p | |
| 01110001 | 113 | 71 | q | |
| 01110010 | 114 | 72 | r | |
| 01110011 | 115 | 73 | s | |
| 01110100 | 116 | 74 | t | |
| 01110101 | 117 | 75 | u | |
| 01110110 | 118 | 76 | v | |
| 01110111 | 119 | 77 | w | |
| 01111000 | 120 | 78 | x | |
| 01111001 | 121 | 79 | y | |
| 01111010 | 122 | 7A | z | |
| 01111011 | 123 | 7B | { | |
| 01111100 | 124 | 7C | | | |
| 01111101 | 125 | 7D | } | |
| 01111110 | 126 | 7E | ~ | |
| 01111111 | 127 | 7F | DEL (delete) |
Unicode符号范围 | UTF-8编码方式
(十六进制) | （二进制）
--------------------+---------------------------------------------
0x0000---0x007F
| 0xxxxxxx
0x0080---0x07ff | 110xxxxx 10xxxxxx
0x0800---0xffff | 1110xxxx 10xxxxxx 10xxxxxx
上表，解读UTF-8编码非常简单。如果一个字节的第一位是0，则这个字节单独就是一个字符；如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节。
下面，还是以汉字"严"为例，演示如何实现UTF-8编码。
已知"严"的unicode是4E25（0100 1110 0010 0101）
根据上表，可以发现4E25处在第三行的范围内（0000 1000 0000 0000-1111 1111 1111 1111），因此"严"的UTF-8编码需要三个字节，即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然后，从"严"的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，"严"的UTF-8编码是"11100100 10111000 10100101"，转换成十六进制就是E4B8A5。
参考文章：
ASCII码表
【1】http://www.fmddlmyy.cn/text16.html
Unicode 字符编码表
【2】http://www.cnblogs.com/chenwenbiao/archive/2011/08/17/2142718.html
【3】http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
utf-8和utf-16.
【4】http://www.cnblogs.com/kingcat/archive/2012/10/16/2726334.html
gbk编码
【5】 http://www.qqxiuzi.cn/zh/hanzi-gbk-bianma.php
UTF-8（目前常用是把2个字节按地址分成三个区间，然后按照规则编写编码），UTF-32。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- ascii码 iso 8859-1 Unicode 字符编码 UTF8编码 区别 表格
- 彻底搞清楚字符编码: ASCII, ISO_8859, GB2312,UCS, Unicode, UTF8.(GBK, GB18030, BIG5, UTF-7,UTF-16,UTF-32)
- 彻底搞清楚字符编码: ASCII, ISO_8859, GB2312,UCS, Unicode, UTF8.(GBK, GB18030, BIG5, UTF-7,UTF-16,UTF-32)
- ascii,ISO-8859-1,unicode, utf8,gb2312,big5,gbk,gb18030等几种常区别
- 彻底搞清楚字符编码: ASCII, ISO_8859, GB2312,UCS, Unicode, UTF8.(GBK, GB18030, BIG5, UTF-7,UTF-16,UTF-32) .
- ASCII,unicode, utf8 ,big5 ,gb2312,gbk,gb18030等几种常用编码区别
- 第二篇：JAVA字符编码系列二：Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换
- 字符编码详解(ASCII ,utf-8,unicode,gbk,gb2312,iso 8859-1等)
- 转:对字符编码与Unicode,ISO 10646,UCS,UTF8,UTF16,GBK,GB2312的理解
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- 黑马程序员-Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换[引]
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- utf8和unicode编码究竟是什么关系？有何区别?
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- JAVA字符编码系列二：Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- 对字符编码与Unicode,ISO 10646,UCS,UTF8,UTF16,GBK,GB2312的理解
- 【转】对字符编码与Unicode,ISO 10646,UCS,UTF8,UTF16,GBK,GB2312的理解[holen@donews]