Anubis (软件)
外观
页面正接受Anubis的挑战的截屏 | |
| 原作者 | Xe Iaso |
|---|---|
| 開發者 | Techaro[1] |
| 首次发布 | 2025年1月19日[1][2] |
| 当前版本 | 1.23.1[3] |
| 源代码库 | github |
| 编程语言 | Go、JavaScript[1] |
| 许可协议 | MIT License |
| 网站 | anubis |
Anubis(阿努比斯)是一款Web应用防火墙,用于用户访问网站之前,添加一个基于JavaScript的工作量證明(POW)挑战(根据信息,为SHA-256散列值计算[4]),以阻止網路爬蟲抓取网页数据,尤其是来自人工智能公司的网页抓取[5]。一些自由开源软件项目,例如Forge,已经使用这套程序来保护其网站。[6][7]
该应用的作者为Xe Iaso,他提到之所以创造这个程序,是因为亚马逊的網路爬蟲不遵守robots.txt文件并尝试绕过这些限制,导致他的Git服务器超载。[6][8][9][10]
作者撰文提到,之所以使用卡通化的阿努比斯角色,是因为为了确保其不是唯一一个支撑整个互联网大部分内容的无偿依赖者;尽管其不会阻止复刻这套程序并移除掉这个角色,但更希望有人愿意为此购买付费授权,令这个项目具有可持续性;同时,这个卡通形象也带有病毒性营销的特性,会因为这个卡通形象而了解这个项目。[11]在接受关于这些爬虫流量问题的采访中提到,这个软件通过提高攻击者的计算成本来帮助减轻许多恶意的访问行为,迫使这些攻击者调整他们的抓取行为——使用无头浏览器,而不是一股脑地盲目抓取;至少增加这些滥用网络流量的抓取工具的基础设施成本,使其这些不道德行为在财务上难以为继,而去投入更多硬件成本。[12][13]
尽管如此,白帽骇客塔维斯·奥曼迪批评了这个项目,认为这种基于计算哈希值的挑战,对于抓取网站数据的科技公司来说,财务成本太低了,不足以起到阻碍作用,而对于一些人类访问者来说太难了(例如其提到一些使用手机访问的,由于老旧手机性能限制而被阻拦;或者其不希望使用桌面浏览器来为此计算挑战,并且给出代码例子来绕过挑战)。[4]
已知使用的项目
[编辑]- GNOME計劃的GitLab服务[6]
- Linux内核的邮件列表存档服务[1]和Git服务器[15]
- sourceware.org[14]
- FFmpeg[1][8]
- FreeBSD
- FreeDesktop
- OpenWrt
- Wine[16]
- UNESCO[8]
- 科学奥林匹克学生中心(The Science Olympiad Student Center)[16]
- Enlightenment[16]
- FreeCAD[17]
- 泽兰图书馆网站
- ScummVM[18]
参考资料
[编辑]- ^ 1.0 1.1 1.2 1.3 1.4 Brockmeier, Joe. Anubis sends AI scraperbots to a well-deserved fate. LWN.net. 2025-07-10 [2025-09-13]. (原始内容存档于2025-09-14).
- ^ Iaso, Xe. Block AI scrapers with Anubis. xeiaso.net. 2025-01-19 [2025-05-02] (英语).
- ^ Release 1.23.1. 2025年11月8日 [2025年11月11日].
- ^ 4.0 4.1 Ormandy, Tavis. Anubis.. lock.cmpxchg8b.com. [2025-09-03]. (原始内容存档于2025-10-03).
- ^ Fed up with AI scraping your content? This open-source bot blocker can help - here's how. ZDNET. [2025-09-13]. (原始内容存档于2025-09-14) (英语).
- ^ 6.0 6.1 6.2 Edwards, Benj. Open source devs say AI crawlers dominate traffic, forcing blocks on entire countries. Ars Technica. 2025-03-25 [2025-05-02]. (原始内容存档于2025-10-13) (英语).
- ^ Bort, Julie. Open source devs are fighting AI crawlers with cleverness and vengeance. TechCrunch. 2025-03-27 [2025-05-02]. (原始内容存档于2025-08-15) (美国英语).
- ^ 8.0 8.1 8.2 Maiberg, Emanuel. The Open-Source Software Saving the Internet From AI Bot Scrapers
. 404 Media. 2025-07-07 [2025-07-14] (英语).
- ^ Oscar. 開源開發者妙計對抗 AI 爬蟲 報復式防禦成新趨勢 - unwire.hk 香港. unwire.hk. 2025-03-28 [2025-09-14]. (原始内容存档于2025-07-24) (中文(香港)).
- ^ 一分钟3.9万次请求,网站被AI爬虫“碾压”,Meta和OpenAI遭点名,开发者接连祭出神级反爬“武器”-36氪. 36kr.com. 2025-09-14 [2025-09-14]. (原始内容存档于2025-08-25).
- ^ Avoiding becoming the lone dependency peg with load-bearing anime. xeiaso.net. 2025-05-23 [2025-09-13]. (原始内容存档于2025-10-04) (英语).
- ^ AI crawlers and fetchers are blowing up websites, with Meta and OpenAI the worst offenders. 2025-08-21 [2025-09-13]. (原始内容存档于2025-09-29).
- ^ My responses to The Register. 2025-08-22.
- ^ 14.0 14.1 List of known websites using Anubis. anubis.techaro.lol. [2025-05-10]. (原始内容存档于2025-09-21) (英语).
- ^ Anubis. Techaro. [2025-07-28]. (原始内容存档于2025-09-24).
- ^ 16.0 16.1 16.2 Iaso, Xe. Anubis works. xeiaso.net. 2025-04-12 [2025-05-09]. (原始内容存档于2025-09-30) (英语).
- ^ Forum and Wiki Performance; Anubis Deployed. FreeCAD News. 2025-04-30 [2025-05-11]. (原始内容存档于2025-05-31) (美国英语).
- ^ The Day Anubis Saved Our Websites From a DDoS Attack. fabulous.systems. 2025-05-01 [2025-06-19]. (原始内容存档于2025-10-04) (美国英语).