1.参考
beautiful soup and unicode problems
详细解释
unicodedata.normalize('nfkd',string) 实际作用？？？
scrapy : select tag with non-breaking space with xpath
|
1
2
3
|
>>> selector.xpath(u'''... //p[normalize-space()]... [not(contains(normalize-space(), "\u00a0"))] |
normalize-space() 实际作用？？？
in [244]: sel.css('.content')
out[244]: [<selector xpath=u"descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' content ')]" data=u'<p class="content text-
beautifulsoup下unicode乱码解决
今天在用scrapy爬某个网站的数据，其中dom解析我用的是beautifulsoup，速度上没有xpath来得快，不过因为用了习惯了，所以一直用的bs，版本是bs4
不过在爬取过程中遇到了一些问题，其中一个是unicode转码问题，这也算是python中一个著名问题了。
我遇到的算是beautifulsoup中的一个奇葩bug吧，在网页中经常会有   这种标记，称为 non-breaking space character, 本来这个应该是忽略的，但在bs中会把这个符号
转义成为一个unicode编码 \xa0, 这就导致了后面如果要对内容处理的话会出现unicodeerror， 特别是如果使用的是console或者scrapy中写文件、写数据库的pipeline操作时，
出现无法转义的错误。
那么该如何解决呢，其实不难
s = u'\xa0'
s.replace(u'\xa0', u'')
之后就可以对s进行encode，比如：
s = u'\xa0'
s.replace(u'\xa0', u'').encode('utf-8')
特别是在我的项目中，如果需要把数据写到mongodb中，这个bug fix完后，写数据立刻搞定，爬取的内容全部写到mongodb中。
s.replace(u'\xa0', u'').encode('utf-8')
2.问题定位
https://en.wikipedia.org/wiki/comparison_of_text_editors
定位元素显示为 &npsp；
网页源代码表示为  
|
1
2
3
4
5
6
7
|
<tr><td style="background: #ffd; color: black; vertical-align: middle; text-align: center;" class="partial table-partial">memory</td><td>= limited by available memory   </td><td style="background:#f99;vertical-align:middle;text-align:center;" class="table-no">no (64 kb)</td><td>= some limit less than available memory (give max size if known)</td></tr></table> |
实际传输hex为：
不间断空格的unicode表示为 u\xa0'，保存的时候编码 utf-8 则是 '\xc2\xa0'
in [211]: for tr in response.xpath('//table[8]/tr[2]'):
...: print [u''.join(i.xpath('.//text()').extract()) for i in tr.xpath('./*')]
...:[u'memory', u'= limited by available memory \xa0\xa0', u'no (64\xa0kb)', u'= some limit less than available memory (give max size if known)']
in [212]: u'no (64\xa0kb)'.encode('utf-8')
out[212]: 'no (64\xc2\xa0kb)'in [213]: u'no (64\xa0kb)'.encode('utf-8').decode('utf-8')
out[213]: u'no (64\xa0kb)'
保存 csv 直接使用 excel 打开会有乱码（默认ansi gbk 打开？？？，u'\xa0' 超出 gbk 能够编码范围？？？），使用记事本或notepad++能够自动以 utf-8 正常打开。
使用记事本打开csv文件，另存为 ansi 编码，之后 excel 正常打开。超出 gbk 编码范围的替换为'?'
3.如何处理
.extract_first().replace(u'\xa0', u' ').strip().encode('utf-8','replace')
以上就是html转义字符&npsp；表示non-breaking space \xa0的详细内容，更多关于html转义字符\xa0的资料请关注服务器之家其它相关文章！
原文链接：https://www.cnblogs.com/my8100/p/7709371.html
