• 欢迎来到我的博客
  • [email protected]

phpspider 踩坑记录 + 小本本

学习笔记 tianlan 1年前 (2020-08-19) 700次浏览 0个评论 扫描二维码
文章目录[隐藏]

讨厌的注释

这段注释确实很讨厌,如果你不添加的话,就会报错。

phpspider 踩坑记录 + 小本本

列表页重复入队列问题

phpspider 对重复列表页做了过滤处理,不会出现列表页重复入队列问题

选择器有问题

xpath 选择器,当 html 文本过长时,无法匹配到。 请注意是否有 js 渲染问题。

regex 选择器,有很大的问题,建议不用。

玄学,时好时坏,注意 UA

有些网站,对于不同 UA ,比如说 windows 和 macOs,会渲染不同结果。所以一定要注意自己的抓包  UA 和爬虫UA是否一致!


天蓝, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:phpspider 踩坑记录 + 小本本
喜欢 (1)
[[email protected]]
分享 (0)

您必须 登录 才能发表评论!