使用代理合法吗?用代理,以及用代理做爬虫
使用代理合法吗?在大多数国家是合法的。哪些用法会违法或违反网站条款,爬虫合法吗、做之前要考虑什么,以及我们的底线在哪里。
使用代理合法吗?在大多数国家,是合法的。代理是一种网络工具,把你的请求经由另一个 IP 地址转发出去,企业、研究人员和普通用户每天都在用。可能违法的,是你通过它做的事。不管你的流量是走代理还是从你自己的网络出去,适用的规则都一样。
本文不构成法律意见。各国法律不同,也会变化;如果你的项目有实际的法律风险,该去问的是你所在地的律师。下面讲的是这个问题的大致轮廓,让你知道该去核实哪些部分。
使用代理合法吗?
在大多数地方,合法。公司用代理检查自己的网站在其他国家看起来什么样,确认广告出现在付了钱的地方,监控价格。学校和办公室在自己的网络上运行代理。开发者用它测试自己的应用。这些都不需要谁的许可。
代理改变的是网站看到的地址,不改变你被允许做什么。一件事从你家的网络做是合法的,走代理并不会让它变得违法;从你家的网络做是违法的,走代理也不会让它变得合法。
有些国家限制代理和 VPN
少数国家的政府限制代理和 VPN 的使用,或要求许可,或者直接屏蔽提供这类服务的网站,通常是更大范围的互联网管控的一部分。如果你住在或要前往一个互联网管控严格的国家,使用之前先弄清当地的规定。这里我们不逐个国家下结论,因为细节会变,说错了可能会害到别人。
哪些使用代理的方式是违法的?
问题很少出在工具本身。下面这些用法在很多国家都容易越过法律的界线,而且每一种在我们的网络上也都是禁止的:
- 未经授权的访问。 进入你无权使用的系统或账号。很多国家都有专门针对这种行为的计算机犯罪法律,比如美国的《计算机欺诈和滥用法》(CFAA)和英国的《计算机滥用法》。
- 撞库和盗号。 拿偷来的用户名和密码去试别人的登录,是大规模的未经授权访问。
- 欺诈。 测试被盗的银行卡号、批量养假账号、薅推荐奖励,以及其他交易欺诈。
- 攻击基础设施。 拒绝服务攻击、暴力破解、端口扫描,以及利用不属于你的系统的漏洞。
- 垃圾信息和骚扰。 批量发送未经请求的信息,以及针对某个人,包括通过抓取数据给一个普通人建立档案。
- 绕过付费墙再转载。 自己看是一回事;把别人的付费内容再发布出去,可能侵犯版权。
爬虫合法吗?
爬虫,也就是自动收集网页,很常见,而且往往是合法的,但它同时牵涉好几个法律领域。具体某个项目合不合法,取决于你收集什么、怎么收集,以及收集之后做什么。下面这几个问题最重要。
公开页面,还是登录后的数据?
收集任何人不用账号就能打开的页面,是风险最低的一种爬虫。一旦登录,你通常已经同意了网站的条款;而绕过你本不该越过的登录、付费墙或技术屏障,就会把你推向上面说的未经授权访问的问题。
个人数据
姓名、用户名、照片、联系方式,以及其他任何能识别出一个人的信息,在欧盟 GDPR 这类法律下都可能属于个人数据,公开与否都一样。如果数据里的人受这些法律保护,那么不管你身在哪里,这些法律都可能适用于你。如果你的项目会收集个人数据,只收集需要的部分,妥善保存,并想好以后怎么删除。学生研究项目怎么用代理针对学术工作把这些讲了一遍。
版权和数据库权利
事实本身,比如一个价格或一个库存数量,一般不受版权保护。围绕它们的文字、图片和评论往往受保护;包括欧盟在内的一些法域,还把整个数据库作为一个整体来保护。为了分析而收集,和把收集到的东西再发布出去,是两回事。
服务条款
网站的条款可能禁止自动访问。在很多国家,违反服务条款属于合同问题而不是犯罪,但仍可能让你被切断访问,或者被对方追究。有些网站提供 API 或数据导出,有的话就用它。
robots.txt 和访问频率
robots.txt 是网站自己声明哪些路径允许自动化客户端抓取、多久抓一次的文件。它不是法律,但如果有人追问,无视它很难辩护。频率同样重要:把一个小网站刷到宕机,既不礼貌,在某些地方还可能被当作攻击。把请求间隔开,收到 429 或 503 就退避;合适的时候,发送一个能说明你是谁的 User-Agent。
用代理做爬虫合法吗?
用不用代理,不改变一次抓取合不合法,只改变网站看到的 IP 地址。把礼貌的请求分散到几个 IP 上,免得一个地址被限流,是很普通的做法。用代理去继续访问一个已经明确叫你停下的网站,就是另一回事了:地址换了,网站的反对并不会消失。爬虫为什么开始被封讲了先从你自己这边能做的修正。
住宅 IP 从哪里来,同样重要
住宅代理会把你的请求经由某户人家的宽带发出去。只有那户人家同意了,这件事才站得住。这个市场里并不是每个 IP 池都能证明背后的人是知情同意的,所以这是一个可以向任何服务商提出的合理问题。
我们的住宅 IP 来自通过 SDK 主动加入、拿到报酬、随时可以退出的人。说不清 IP 来源的中间商,我们不从他们那里买池子。实话实说页写明了这一点,也写了我们怎么给每个 IP 打标签;你可以按这篇教程里的步骤自己核对。
ProxyPanda 允许什么,不允许什么
完整清单见我们的使用规范。简单说:
一律禁止:撞库和盗号、盗刷银行卡和支付欺诈、垃圾信息、儿童性虐待内容、骚扰和跟踪、攻击基础设施、恶意软件,以及绕过付费墙转载内容。
我们没意见:抓取公开数据、价格监控和排名追踪、广告验证和品牌保护、市场研究和学术研究,以及测试你自己的应用和基础设施。
你的责任:遵守你所在地和目标网站所在地的法律,以及你访问的网站的条款。我们不替你执行 robots.txt,也不看你的流量内容;但“ProxyPanda 允许我这么做”不是辩护理由,我们也不会替你这么说。
站点方举报流量时,我们拿举报去比对用量元数据:目标主机名、时间和出口 IP。属于禁止清单的,我们立即停用,并告诉你举报里说了什么。其他情况,我们先联系你,让你解释或者停手。细节见实话实说页的滥用部分。
快速问答
使用代理违法吗? 在大多数国家不违法。少数国家限制或屏蔽代理和 VPN,如果你在这样的国家,先查清当地规定。
爬虫合法吗? 以礼貌的方式收集公开数据,通常合法。登录、个人数据、受版权保护的内容和网站条款,是事情变复杂的地方。
用了代理,违法的事就变合法了吗? 不会。规则看的是你做了什么,不管它来自哪个 IP。
使用住宅代理合法吗? 在大多数地方合法,和其他代理一样。多出来的问题是 IP 从哪里来:背后的人应该同意共享自己的网络。
如果拿不准你的任务符不符合我们的规范,买之前先到 Discord 问一句。我们宁愿先回答问题,也不愿事后关掉一个账号。