讨厌的注释
这段注释确实很讨厌,如果你不添加的话,就会报错。
列表页重复入队列问题
phpspider 对重复列表页做了过滤处理,不会出现列表页重复入队列问题
选择器有问题
xpath 选择器,当 html 文本过长时,无法匹配到。 请注意是否有 js 渲染问题。
regex 选择器,有很大的问题,建议不用。
玄学,时好时坏,注意 UA
有些网站,对于不同 UA ,比如说 windows 和 macOs,会渲染不同结果。所以一定要注意自己的抓包 UA 和爬虫UA是否一致!
这段注释确实很讨厌,如果你不添加的话,就会报错。
phpspider 对重复列表页做了过滤处理,不会出现列表页重复入队列问题
xpath 选择器,当 html 文本过长时,无法匹配到。 请注意是否有 js 渲染问题。
regex 选择器,有很大的问题,建议不用。
有些网站,对于不同 UA ,比如说 windows 和 macOs,会渲染不同结果。所以一定要注意自己的抓包 UA 和爬虫UA是否一致!