Sent to you by tony via Google Reader:
看完第一感觉:UTF8你生的有点晚了T.T
一、问题的由来
URL就是网址,只要上网,就一定会用到。
一般来说,URL只能使用英文字母、阿拉伯数字和某些标点符号,不能使用其他文字符号。因为网络标准RFC 1738做了硬性规定:
"...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*'()," [not including the quotes - ed], and reserved characters used for their reserved purposes may be used unencoded within a URL."
"只有字母和数字[0-9a-zA-Z]、一些特殊符号"$-_.+!*'(),"[不包括双引号]、以及某些保留字,才可以不经过编码直接用于URL。"
这意味着,如果URL中有汉字,就必须编码后使用。
但是麻烦的是,RFC 1738没有规定具体的编码方法,交给应用程序自己决定。这导致"URL编码"成为了一个混乱的领域。下面我们就来看看,它到底是怎么实现的。
二、编码方法:网址路径
让我们做几个试验,观察浏览器是怎么对URL编码的。
打开IE(我用的是8.0版),输入网址"http://zh.wikipedia.org/wiki/春节"。注意,"春节"这两个字此时是网页路径的一部分。(后面将看到,如果它出现在查询字符串的部分,将是另一种编码方式。)
查看HTTP Head,会发现IE实际查询的网址是"http://zh.wikipedia.org/wiki/%E6%98%A5%E8%8A%82"。也就是说,IE自动将"春节"编码成了"%E6%98%A5%E8%8A%82"。
我们知道,"春"和"节"的utf-8编码分别是"E6 98 A5"和"E8 8A 82",因此,"%E6%98%A5%E8%8A%82"就是按照顺序,在每个字节前加上%而得到的。(具体的转码方法,请参考我写的《字符编码笔记》。)
在Firefox中测试,也得到了同样的结果。因此,结论一就是,网址路径的编码,用的是utf-8编码。
三、编码方法:查询字符串
继续做试验。在IE中输入网址"http://www.baidu.com/s?wd=春节"。注意,"春节"这两个字此时属于查询字符串,不属于网址路径。
查看HTTP Head,会发现IE将"春节"转化成了一个乱码。
切换到十六进制方式,才能清楚地看到,"春节"被转成了"B4 BA BD DA"。
我们知道,"春"和"节"在GB2312编码(我的操作系统Windows XP 中文版的默认编码)中分别是"B4 BA"和"BD DA"。因此,IE实际上就是将查询字符串,以其GB2312编码的格式发送出去。
Firefox的处理方法,略有不同。它发送的HTTP Head是"wd=%B4%BA%BD%DA"。也就是说,同样采用GB2312编码,但是在每个字节前加上了%。
因此,结论二就是,查询字符串的编码,用的是操作系统的默认编码。
四、编码方法:Get和Post
前面说的是直接输入网址的情况,但是更常见的情况是,在已打开的网页上,直接用Get或Post方法发出HTTP请求。
根据台湾中兴大学吕瑞麟老师的试验,这时的编码方法由网页的编码决定,也就是由HTML源码中字符集的设定决定。
<meta http-equiv="Content-Type" content="text/html;charset=xxxx">
如果上面这一行最后的charset是UTF-8,则URL就以UTF-8编码;如果是GB2312,URL就以GB2312编码。
举例来说,百度是GB2312编码,Google是UTF-8编码。因此,从它们的搜索框中搜索同一个词"春节",生成的查询字符串是不一样的。
百度生成的是%B4%BA%BD%DA,这是GB2312编码。
Google生成的是%E6%98%A5%E8%8A%82,这是UTF-8编码。
因此,结论三就是,GET和POST方法的编码,用的是网页的编码。
五、Javascript函数:escape()
为了方便编码,Javascript语言从一开始就提供了escape()函数。
但是实际上,这个函数不能直接用于URL编码。因为它返回的不是UTF-8编码,而是Unicode编码,比如"春节"的返回结果是%u6625%u8282。
具体来说,它的规则是,除了ASCII字母、数字、标点符号"@ * _ + - . /"以外,其他所有字符都会被编码。在\u0000到\u00ff之间的符号——也就是前256个符号——被转成%xx的形式,其余符号被转成%uxxxx的形式,其中的xx为unicode编码值。它对应的解码函数是unescape()。
因此,"Hello World"的escape()编码就是"Hello%20World"。
这里有两个地方需要注意。
首先,Javascript内部的所有字符,都以unicode码储存。所以,无论网页的原始编码是什么,一旦被Javascript编码,就都变为unicode。
其次,escape()不对"+"编码。但是我们知道,在用户提交的表单字段中,如果有空格,则会被转化为+字符。服务器处理数据的时候,会把+号处理成空格。由于这个缺陷,escape方法并不能正确地处理表单数据。ECMAScript v3已经正式废除了escape(),建议使用其他函数取代。
六、Javascript函数:encodeURI()
encodeURI()是Javascript中真正用来对URL编码的函数。
它着眼于对URL进行整体编码,因此除了常见的标点符号以外,对其他一些在网址中有特殊含义的符号"; / ? : @ & = + $ , #",也不进行编码。
编码时,它返回utf-8编码,每个字节前加上%。
它对应的解码函数是decodeURI()。
需要注意的是,它不对单引号'编码。
七、Javascript函数:encodeURIComponent()
这个函数与encodeURI()的区别是,只对URL的某一部分单独编码,而不对整体编码。
因此,"; / ? : @ & = + $ , #",这些在encodeURI()中不被编码的符号,在encodeURIComponent()中统统会被编码。至于具体的编码方法,两者是一样。
它对应的解码函数是decodeURIComponent()。
(完)
Things you can do from here:
- Subscribe to 玩聚SR|最佳 using Google Reader
- Get started using Google Reader to easily keep up with all your favorite sites
No comments:
Post a Comment