• 欢迎来到我的博客
  • B站@技术宅天蓝

phpspider 踩坑记录 + 小本本

phpspider 踩坑记录 + 小本本
讨厌的注释 这段注释确实很讨厌,如果你不添加的话,就会报错。 列表页重复入队列问题 phpspider 对重复列表页做了过滤处理,不会出现列表页重复入队列问题 选择器有问题 xpath 选择器,当 html 文本过长时,无法匹配到。 请注意是否有 js 渲染问题。 regex 选择器,有很大的问题,建议不用。 玄学,时好时坏,注意 UA 有些网站,对于不同……继续阅读 »

tianlan 3个月前 (08-19) 123浏览 0评论 0个赞

修复、更新 phpspider 框架

修复、更新 phpspider 框架
phpspider 是一个 php 爬虫框架,不得不说功能很 nice。 文档:https://doc.phpspider.org/ github:https://github.com/owner888/phpspider 过时函数 我的环境: linux nginx php7.2 宝塔 php redis 拓展 no-debug-non-zts-2017……继续阅读 »

tianlan 3个月前 (08-18) 181浏览 0评论 1个赞

正则小本本

正则小本本
非捕获元 ?:、?=、?<=、?!、?<! 这里主要记一下 ?: ,可以使被匹配到的字符串继续参与后面的匹配,但是无法被捕获。 转义符号 \ 这样无法匹配成功,因为在 PHP 解析过程中, \ 被当做转义符解析了 给子表达式命名 // 两种方式,第一种中的 P 有的语言可以不用加(如PHP) (?Ppattern) (?'nam……继续阅读 »

tianlan 3个月前 (08-15) 157浏览 0评论 0个赞

正则 (.*) 和 (.*?)

正则 (.*) 和 (.*?)
(.*) 具有贪婪性 对于 abcdgefg ,a(.*)g 匹配到的是 abcdgefg (.*?) 取消贪婪性 对于 abcdgefg ,a(.*?)g 匹配到的是 abcdg 原理 ? 表示被修饰字符匹配0次或1次,这样的话匹配到了1次(最短匹配),就会停止匹配 ……继续阅读 »

tianlan 3个月前 (08-14) 136浏览 0评论 0个赞

踩坑:dplayer mp4 的 type 不是 dash

踩坑:dplayer mp4 的 type 不是 dash
dplayer 初始化时,有一个 video.type 参数,你可以设置成 auto、hls、dash 等。 如果要播放的是 m3u8 文件,那么 type 对应 hls,有一次我播放 mp4 的时候, video.type 设置成了 dash,视频就死活播放不了,然后我就排查了很久很久…… 最后发现 mp4 的 video.type……继续阅读 »

tianlan 3个月前 (08-13) 194浏览 0评论 0个赞

referer 和 referrer

referer 和 referrer
周所周知,referer 是来源页的意思,但是 referrer 是什么?从字母组成上看只是多少一个 r 的区别。 referrer 也有来源页的意思,用于设置 referer 策略。 为什么要多一个 r 呢?神奇…… <meta name="referrer" content="never"> ……继续阅读 »

tianlan 4个月前 (08-10) 160浏览 0评论 0个赞

记一次傻傻地踩坑,接上几篇文章(MP4中转相关)

记一次傻傻地踩坑,接上几篇文章(MP4中转相关)
是这样的,我用 dplayer 播放某资源服务器的 MP4 文件,但是 MP4 文件返回 403,我盲猜是资源服务器做了 referer 判断,带有 referer 请求头禁止获取资源,因为直接打开 MP4 链接是可以正常下载的! 然后我就想:用PHP做中间件,由PHP代替浏览器去资源服务器获取MP4,于是就有了上几篇文章。 最后我突然意识到:既然资源服务器……继续阅读 »

tianlan 4个月前 (08-10) 173浏览 0评论 0个赞

provisional headers are shown

provisional headers are shown
在chrome的开发者工具的网络中: 可能导致的原因: 跨域,请求被浏览器拦截 请求被浏览器插件拦截 服务器出错或者超时,没有真正的返回 强缓存from disk cache或者from memory cache,此时也不会显示 dplayer请求MP4大文件,会分多次请求(这个应该是dplayer中某个js的功能,而非浏览器自带),如果整个没有请求完毕……继续阅读 »

tianlan 4个月前 (08-10) 172浏览 0评论 1个赞

PHP中转资源服务器文件(包括MP4)

PHP中转资源服务器文件(包括MP4)
业务说明 浏览器请求PHP,PHP再去请求资源服务器的文件 核心思路 PHP 与 资源服务器 之间 stream_socket 传输数据。 1.PHP 自己拼接 http 请求头,其中把 浏览器 请求 PHP 的 headers 也拼接上了 2.PHP 发送 【浏览器请求PHP的请求体】 给 资源服务器 3.PHP 从 资源服务器 中读取 响应头 并且返回给……继续阅读 »

tianlan 4个月前 (08-10) 160浏览 0评论 0个赞