Anubis (軟體)
外觀
頁面正接受Anubis的挑戰的螢幕擷取 | |
| 原作者 | Xe Iaso |
|---|---|
| 開發者 | Techaro[1] |
| 首次釋出 | 2025年1月19日[1][2] |
| 目前版本 | 1.23.1[3] |
| 原始碼庫 | github |
| 程式語言 | Go、JavaScript[1] |
| 授權條款 | MIT License |
| 網站 | anubis |
Anubis(阿努比斯)是一款Web應用防火牆,用於使用者造訪網站之前,添加一個基於JavaScript的工作量證明(POW)挑戰(根據資訊,為SHA-256雜湊值計算[4]),以阻止網路爬蟲抓取網頁資料,尤其是來自人工智慧公司的網頁抓取[5]。一些自由開源軟體專案,例如Forge,已經使用這套程式來保護其網站。[6][7]
該應用的作者為Xe Iaso,他提到之所以創造這個程式,是因為亞馬遜的網路爬蟲不遵守robots.txt檔案並嘗試繞過這些限制,導致他的Git伺服器超載。[6][8][9][10]
作者撰文提到,之所以使用卡通化的阿努比斯角色,是因為為了確保其不是唯一一個支撐整個網際網路大部分內容的無償依賴者;儘管其不會阻止復刻這套程式並移除掉這個角色,但更希望有人願意為此購買付費授權,令這個專案具有可持續性;同時,這個卡通形象也帶有病毒性行銷的特性,會因為這個卡通形象而了解這個專案。[11]在接受關於這些爬蟲流量問題的採訪中提到,這個軟體通過提高攻擊者的計算成本來幫助減輕許多惡意的訪問行為,迫使這些攻擊者調整他們的抓取行為——使用無頭瀏覽器,而不是一股腦地盲目抓取;至少增加這些濫用網路流量的抓取工具的基礎設施成本,使其這些不道德行為在財務上難以為繼,而去投入更多硬體成本。[12][13]
儘管如此,白帽駭客塔維斯·奧曼迪批評了這個專案,認為這種基於計算雜湊值的挑戰,對於抓取網站資料的科技公司來說,財務成本太低了,不足以起到阻礙作用,而對於一些人類訪問者來說太難了(例如其提到一些使用手機訪問的,由於老舊手機效能限制而被阻攔;或者其不希望使用桌面瀏覽器來為此計算挑戰,並且給出代碼例子來繞過挑戰)。[4]
已知使用的專案
[編輯]- GNOME計劃的GitLab服務[6]
- Linux核心的郵寄清單存檔服務[1]和Git伺服器[15]
- sourceware.org[14]
- FFmpeg[1][8]
- FreeBSD
- FreeDesktop
- OpenWrt
- Wine[16]
- UNESCO[8]
- 科學奧林匹克學生中心(The Science Olympiad Student Center)[16]
- Enlightenment[16]
- FreeCAD[17]
- 澤蘭圖書館網站
- ScummVM[18]
參考資料
[編輯]- ^ 1.0 1.1 1.2 1.3 1.4 Brockmeier, Joe. Anubis sends AI scraperbots to a well-deserved fate. LWN.net. 2025-07-10 [2025-09-13]. (原始內容存檔於2025-09-14).
- ^ Iaso, Xe. Block AI scrapers with Anubis. xeiaso.net. 2025-01-19 [2025-05-02] (英語).
- ^ Release 1.23.1. 2025年11月8日 [2025年11月11日].
- ^ 4.0 4.1 Ormandy, Tavis. Anubis.. lock.cmpxchg8b.com. [2025-09-03]. (原始內容存檔於2025-10-03).
- ^ Fed up with AI scraping your content? This open-source bot blocker can help - here's how. ZDNET. [2025-09-13]. (原始內容存檔於2025-09-14) (英語).
- ^ 6.0 6.1 6.2 Edwards, Benj. Open source devs say AI crawlers dominate traffic, forcing blocks on entire countries. Ars Technica. 2025-03-25 [2025-05-02]. (原始內容存檔於2025-10-13) (英語).
- ^ Bort, Julie. Open source devs are fighting AI crawlers with cleverness and vengeance. TechCrunch. 2025-03-27 [2025-05-02]. (原始內容存檔於2025-08-15) (美國英語).
- ^ 8.0 8.1 8.2 Maiberg, Emanuel. The Open-Source Software Saving the Internet From AI Bot Scrapers
. 404 Media. 2025-07-07 [2025-07-14] (英語).
- ^ Oscar. 開源開發者妙計對抗 AI 爬蟲 報復式防禦成新趨勢 - unwire.hk 香港. unwire.hk. 2025-03-28 [2025-09-14]. (原始內容存檔於2025-07-24) (中文(香港)).
- ^ 一分钟3.9万次请求,网站被AI爬虫“碾压”,Meta和OpenAI遭点名,开发者接连祭出神级反爬“武器”-36氪. 36kr.com. 2025-09-14 [2025-09-14]. (原始內容存檔於2025-08-25).
- ^ Avoiding becoming the lone dependency peg with load-bearing anime. xeiaso.net. 2025-05-23 [2025-09-13]. (原始內容存檔於2025-10-04) (英語).
- ^ AI crawlers and fetchers are blowing up websites, with Meta and OpenAI the worst offenders. 2025-08-21 [2025-09-13]. (原始內容存檔於2025-09-29).
- ^ My responses to The Register. 2025-08-22.
- ^ 14.0 14.1 List of known websites using Anubis. anubis.techaro.lol. [2025-05-10]. (原始內容存檔於2025-09-21) (英語).
- ^ Anubis. Techaro. [2025-07-28]. (原始內容存檔於2025-09-24).
- ^ 16.0 16.1 16.2 Iaso, Xe. Anubis works. xeiaso.net. 2025-04-12 [2025-05-09]. (原始內容存檔於2025-09-30) (英語).
- ^ Forum and Wiki Performance; Anubis Deployed. FreeCAD News. 2025-04-30 [2025-05-11]. (原始內容存檔於2025-05-31) (美國英語).
- ^ The Day Anubis Saved Our Websites From a DDoS Attack. fabulous.systems. 2025-05-01 [2025-06-19]. (原始內容存檔於2025-10-04) (美國英語).