关于数据抓取之xpath提取text为空问题的原因和解决方案
本文共 1371 字，大约阅读时间需要 4 分钟。
今天在抓取淘宝网网页的时候，使用了： 对于xpath，当然好用，毕竟Firefox和Chrome可以自动生成，所以爬虫开发的速度会更快。然而，得到的结果很惊讶，全部为空。我突然之间陷入了迷惑，不可能是因为版本的问题吧，毕竟selenium已经这么成熟了。下午试了很多次，都是无功而返，我非常沮丧。 晚上继续，首先要找到问题出在什么地方。使用page_source查看，发现网页代码一应俱全。难道是非得把鼠标移动到特定位置，弹出菜单激活Js？于是使用： 弹出了隐含层，又如何呢，还是不行啊。~~~接着再尝试，试试其他 使用ID就可以了。然后，我就非常仔细地观察了ID这块的HTML结构特点，发现确实和之前要抓的结构不一样。接着我又试了一下这个Id的xpath，顺利提取。看来不是text方法的问题，也不是xpath的问题。而是结构的问题，对于xpath能提取什么样的结构我之前是没有弄清楚，现在举例说明一下： 
- #店名
- shopname = driver.find_element_by_xpath(".//*[@id='page']/div[2]/div/div[2]/ul/li[1]/a/span").text.strip()
- #掌柜名
- dealername = driver.find_element_by_xpath("./html/head/title").text.strip()
- dealername = dealername[dealername.find('-')+1:dealername.rfind('-')]
- driver.get('https://shop594784981.taobao.com')
- time.sleep(3)
- menu = driver.find_element_by_xpath("//*[@id='header-content']/div[2]/p/span[1]/span[1]/a")
- ActionChains(driver).move_to_element(menu).perform()
- time.sleep(2)
- print(driver.find_element_by_id("J_TEnterShop").text)
- span class="shop-name">
- 店铺：
- a href="//shop124836129.taobao.com?spm=a1z10.1-c.0.0.XEwkxh" target="_blank" class="J_TGoldlog" data-goldlog-id="/tbwmdd.1.044" data-spm-anchor-id="a1z10.1-c.0.0">锦文图书批发i id="J_TEnterShop">进入店铺/i>/a>
- /span>
我只想提取店铺名称，但店铺名称在 XX YY 结构中，目标是XX，使用xpath提取的XX路径使用text提取的结果是空。但YY的xpath提取则是“进入店铺”，使用整个a链接的xpath是“锦文图书批发进入店铺”。所以xpath看来要使用标签封闭结构才行。 那么问题来了，怎么提取“锦文图书批发”呢？ 有两种方法，一是换一个具有“锦文图书批发”的地方提取，二是使用XXYY - YY的方式。
转载地址：http://mhxna.baihongyu.com/
你可能感兴趣的文章
[转载][转帖]谈谈我对攻读计算机研究生的看法。。。大牛的文章，见解精深独到...
查看>>
使用Python进行AES加密和解密
查看>>
Unity_UIWidgets学习笔记03_组件_Image
查看>>
linux cat 命令详解
查看>>
转.给android设备安装busybox
查看>>
Docker swarm集群增加节点和删除节点
查看>>
将 年-月-日 封装成tree树状结构
查看>>
Maximum Depth of Binary Tree
查看>>
DFS
查看>>
UIImageView
查看>>
Dynamic CRM 2013学习笔记（二）插件基本用法及调试
查看>>
c# 报表练习笔记
查看>>
Spark学习之路 （七）Spark 运行流程
查看>>
POJ2667 Hotel（线段树区间合并）
查看>>
codeforces703D Mishka and Interesting sum（区间偶数异或）
查看>>
linphone-android 编译
查看>>
项目分布式
查看>>
股票数据调用示例代码php
查看>>
共享文件
查看>>
zabbix监控windows主机网卡流量
查看>>