IT之家 11 月 3 日消息，聖地亞哥一名創作者原本希望有更多人訪問自己的網站，結果她迎來的不是訪客，而是 Meta 爬蟲帶來的 55 萬餘次訪問，如今她只能手忙腳亂地維持網站正常運轉。
兒童繪本作家、插畫師切爾西 · 保盧斯（Chelsea Paulus）向 Business Insider 表示，這臺自動訪問程序耗盡了網站主機資源，她不得不和服務商一起排查故障。
“我從來沒有遇到過這種情況，”保盧斯說，“哪怕我懂一些技術，這周也過得心力交瘁。”
保盧斯經營這份事業已有十年，去年轉為全職創作者。此前她有科技和網頁設計從業背景，所以流量異常暴漲時，她很快察覺到不對勁。
“我不認為這是 Meta 蓄意發起的惡意攻擊，”保盧斯說，“但小微企業主需要知道這類風險，並且要有可用工具來阻擋爬蟲。”
艱難維持網站在線
10 月 24 日，她收到主機服務商 SiteGround 的郵件預警：分配給她的 CPU 資源已經用掉 80%。保盧斯的四個網站共用這家保加利亞服務商的一套主機方案。
保盧斯說，週一她查看網站安全面板，發現每秒有好幾次訪問請求湧入。
“我打開 WordFence，屏幕上每秒都在不斷刷新訪問記錄。”保盧斯說，“在 WordFence 裡點開詳情可以看到 IP 地址，查詢之後發現，這個 IP 歸屬 Meta 位於達拉斯的節點。”
訪問程序的標識名稱為“Meta External Agent”，主機服務商 SiteGround 的工作人員後來也確認了這一點。
根據 Meta 開發者頁面說明，Meta External Agent 會在全網抓取內容，用途包括基礎大模型訓練、直接收錄內容以優化產品。
保盧斯偶爾投放 Meta 廣告，之前也見過 Facebook 爬蟲訪問，但如此大的訪問量是第一次碰到。
“我修改了 robots.txt 文件，也配置了防火牆，但這些規則生效往往需要 24 小時，而我需要立刻攔住爬蟲。”保盧斯說，“所以我聯繫了主機商。”
“服務商給了我一段代碼，加到網站的隱藏配置文件裡。”她補充道，“普通建站者一般不會去碰這類文件，但這是當時唯一能擋住爬蟲的辦法。”
但這個辦法只是臨時生效。到本週中旬，另一款名為“Meta Web Indexer”的 Meta 爬蟲又來了，直接把主機資源佔用拉滿。
據IT之家瞭解，Meta 開發文檔將 Meta Web Indexer 定義為網頁爬蟲，作用是瀏覽網頁、優化 Meta AI 給用戶返回的搜索結果質量。
事情仍沒有妥善解決
Meta 發言人週一表示，網站運營方有權管控爬蟲行為，並引導大家查閱《Meta 網頁爬蟲開發者文檔》，瞭解各類爬蟲的用途。
“和很多企業一樣，Meta 出於多種目的使用網頁爬蟲。網站管理者可以通過 robots.txt 這類工具，設定我們爬蟲和站點的交互方式。”Meta 發言人說，“我們公開提供爬蟲對應的 robots.txt 配置指引，並且尊重站點所有者設置的規則。”
保盧斯和 SiteGround 的郵件截圖顯示，服務商稱其“服務器側防護”已經在限制爬蟲請求。
截至週一，保盧斯的網站依舊不穩定。她只能刪掉 Instagram 主頁裡的網站鏈接，避免真人訪客疊加爬蟲流量，導致網站徹底宕機。
保盧斯無力花錢升級流量配額 —— 爬蟲不是客戶，不會帶來任何收入。目前也沒有法律禁止 AI 爬蟲訪問公開可瀏覽的網站。
她還在嘗試 Cloudflare 的人機驗證工具攔截爬蟲，該工具目前免費。
“Meta 應當設置約束機制，避免這類事故重演。”保盧斯說，“試想如果不受約束的 AI 爬蟲持續這樣，Cloudflare 這類服務商還能一直免費提供防護嗎？”
她還說：“如果這類事情頻發，小微企業最終只能多花錢，要麼升級資源配額，要麼購買防護服務。”
來源：IT之家
