S2E58 OpenAI 創始成員加入 Anthropic：為什麼押注沒人看好的預訓練？

重點摘要

• Karpathy 是史丹佛博士（導師李飛飛）、OpenAI 11 位創始成員之一，曾主導特斯拉 Autopilot/FSD 自動駕駛五年，「Vibe Coding」與「Context Engineering」均出自其手
• 他加入的是 Anthropic 預訓練團隊，逆主流論述——業界普遍認為訓練資料已近天花板，應轉向強化學習，但他認為預訓練仍有優化空間
• 根據 Ramp AI Index，Anthropic 的美國企業採用率在 2026 年 4 月超越 OpenAI，且過去一年成長 4 倍，OpenAI 同期僅增 0.3%
• 主持人推測，Karpathy 計畫將 Auto Research（讓 AI 自主進行訓練實驗）帶入 Anthropic，結合最前沿內部模型，讓 AI 自主尋找人類研究員難以發現的預訓練優化空間
• AI 發展將沿「提升模型能力」與「Harness Engineering（使輸出更可控）」兩條主線並進，兩者非對立而是交替突破

詳細內容

Andrej Karpathy 是誰

Andrej Karpathy 是目前 AI 科技圈最具影響力的意見領袖之一。他在史丹佛取得博士學位，指導教授為電腦視覺先驅李飛飛（Fei-Fei Li），2015 年以創始成員身分加入 OpenAI（共 11 人），至 2017 年離開後轉赴特斯拉，主導 Autopilot 與 FSD 自動駕駛研究長達五年——是他迄今任期最長的職位。2022 年離開特斯拉後，他於 2023 年短暫回歸 OpenAI，但僅一年便在 2024 年再度離開，官方說法是「個人興趣方向轉變」，公開場合從未對 Sam Altman 或伊隆·馬斯克（Elon Musk）發表負面評論，被認為是行事低調且圓融的研究員。

「Vibe Coding」與「Context Engineering」等現已廣傳的詞彙均由他首創。他也在 YouTube 頻道系統性地講解預訓練（pre-training）、微調（fine-tuning）、強化學習（reinforcement learning）等 LLM 訓練概念，對大眾 AI 教育有重要貢獻。他個人的 AI 輔助程式碼比例在一年內從「自己寫八成」翻轉為「AI 寫八成」，到 2026（今）年初已完全不再手寫任何程式碼。

為何選擇 Anthropic

主持人以排除法分析：OpenAI 已待過、xAI 風格不合、Google Gemini 近期表現被認為雷聲大雨點小——2026 年（今年）Google I/O 發布的許多功能要等數月後才能使用，AI 模型成熟度仍落後 Anthropic 與 OpenAI——因此 Anthropic 成為唯一合理選項。

數據面也印證了這個選擇：根據 Ramp AI Index 在 2026 年（今年）4 月發布的報告，Anthropic 的美國企業採用率首次超越 OpenAI，且過去一年成長了 4 倍，而 OpenAI 同期僅成長 0.3%。另一個重要動機是：加入 Anthropic 才能接觸尚未公開的最前沿內部模型，作為外部個人根本無從體驗。

他在 Anthropic 負責什麼，以及為何加入預訓練

Karpathy 加入的是預訓練（pre-training）團隊——Anthropic 預訓練主管在社群媒體上公開歡迎他加入。這個選擇逆向市場主流論述：多數人認為優質訓練資料已趨近天花板，研究重心應轉向強化學習；而「駕馭工程」（Harness Engineering，為模型套上工具與限制使輸出更可控）也是另一個主流方向。

主持人推測 Karpathy 認為預訓練仍有優化空間，並計畫將他提出的 Auto Research 概念（讓 AI 每五分鐘自動調整超參數、自主進行訓練實驗）帶入 Anthropic，結合最先進的內部版 Claude，以「AI 自主研究 AI」的方式找出人類研究員難以察覺的優化點。Anthropic 宣稱在 Claude 的優化過程中已充分利用了 Claude 自身的能力，方向高度吻合。

歷史上也有佐證：GPT-3.5 到 GPT-4 之間，有 OpenAI 員工在訓練資料中加入了大量高品質西洋棋對局，結果模型棋力意外大幅提升。這說明在預訓練的資料組成上，仍存在許多人類研究員尚未發現的改進空間。

AI 發展路線展望

主持人認為 AI 將沿兩條主線並進，互不取代：

• 模型能力提升：無論透過預訓練的資料優化，或強化學習（RLHF 等），模型的整體智能持續上升
• Harness Engineering：為模型加裝工具、限制與框架，讓輸出更可控、用戶體驗更一致

兩者之間存在動態關係——若模型能力出現重大躍升，現有的 Harness Engineering 設計可能直接被淘汰，但工程師會針對更強的新模型重新建構，持續把整體邊界往前推進。

精選語錄

「他去年（2025 年）一開始的時候還是 80% 的程式碼是他自己手寫的、20% 是交給 AI 做的，然後到去年（2025 年）年底的時候，他也轉變了——80% 是 AI 寫的、20% 是自己手寫的。今年（2026 年）他已經不用自己手寫任何一行的程式碼了。」

「或許 Karpathy 想要做的事情是，利用 Auto Research 加上現在非常強的模型，讓 AI 自主研究 AI 這件事情的能力可以被放大。」

時間軸

逐字稿未提供具體時間點，無法列出段落時間軸。