AI 讀不到的網頁,換它來讀
crawl4ai 把新聞網頁轉成 AI 看得懂的文字
- 費用
- 免費
- 步驟
- 3 步
- 適合
- 想做副業的人
- 費用說明
- crawl4ai 免費開源(Apache 2.0),在自己電腦跑;我是請 Claude Code 幫我裝
- 我的實測
- The Verge、Wired 讀得到了
- 查證日期
- 2026.10.09
這是什麼
叫 AI 讀一篇國外新聞,它常回「無法存取這個網頁」。crawl4ai 是免費開源的網頁讀取工具:它開一個真的瀏覽器把網頁打開,轉成整齊的文字,再交給 AI 讀。
誰需要
- 要追國外 AI 新聞、整理成自己內容的人
- 叫 AI 讀網址老是被拒絕的人
要不要錢
免費,Apache 2.0 開源授權。要先裝 Python;不熟的話可以請 Claude Code 幫你裝。
怎麼開始
- 把這段貼給 Claude Code:
請幫我安裝 crawl4ai(pip install -U crawl4ai,再執行 crawl4ai-setup),
裝好後把這個網址轉成 Markdown 文字給我:(貼網址)
如果還是讀不到,直接告訴我原因,不要自己猜內容。
- 之後自己用,打
crwl 網址 -o markdown就好。 - 把轉出來的文字交給 AI 摘要、翻譯。
我實際怎麼用
我做 AI 快報要讀很多國外新聞原文。裝了 crawl4ai 之後實測:The Verge、Wired、OpenAI 官網,Claude 自己讀會被擋,換 crawl4ai 就讀得到。
有些網站防護比較強,它還是會失敗,但會明確告訴我「被 Cloudflare 擋了」,不會假裝有讀到。這點很重要:AI 讀不到卻硬掰內容,比讀不到更危險,所以我在指令裡一定加「讀不到就說,不要猜」。
小提醒
- 只拿來讀公開的文章。 要登入、要付費、或明寫禁止抓取的網站不要用。
- 不要拿它大量抓同一個網站。 我用自動化瀏覽器碰過電商網站,很快就被判定成機器人。
- 新聞拿來參考、用自己的話改寫, 不要整篇翻譯照貼。