Phi-3 Mini 模型發布不到兩周，微軟又傳出了自研千億參數級別模型的消息。
自向 OpenAI 投資超 100 億美元以換取重用其人工智能模型的權利以來，微軟首次開始在內部自研全新且足夠大的人工智能模型，或能與來自谷歌、Anthropic 和 OpenAI 的最先進模型相競爭。
這個新模型在內部被稱為 MAI-1，由前谷歌人工智能領導者、 AI 初創公司 Inflection 的 CEO 穆斯塔法·蘇萊曼 (Mustafa Suleyman) 負責監督。知情人士稱，MAI-1 的參數規模將遠遠大于 Phi-3 等任何微軟之前訓練過的較小的開源模型。但這意味著，它將需要更多的計算能力和訓練數據，因此成本會更高。
同時，微軟此舉表明，其現在正在人工智能領域追求“雙重軌道”，目標是開發既可以廉價地構建到應用程序中又可以在移動設備上運行的“小語言模型”，以及更大、最先進的人工智能模型。蘋果目前似乎也正在探索類似的路徑，此前同樣也發布了八款針對設備使用的小型 AI 語言模型。
5000 億參數級別
最早或于本月亮相
據介紹，MAI-1 將有大約 5000 億個參數或設置，可以調整這些參數或設置以確定模型在訓練期間學習的內容。相比之下，OpenAI 的 GPT-4 有超過 1 萬億個參數，而 Meta 和 Mistral 等公司發布的小型開源模型有 700 億個參數。
這表明，MAI-1 可以定位為 GPT-3 和 GPT-4 之間級別的一種模型，該模型將能夠提供遠遠高于 Llama 和 Mistral 等開源模型、但或低于 OpenAI 旗艦版 LLM 的響應精度。
為了訓練該模型，微軟一直在分配大量配備 Nvidia GPU 的服務器，并編譯各種來源的訓練數據，包括 OpenAI 的 GPT-4 生成的文本和公共互聯網數據，還可能會使用來自 Inflection 的訓練數據和某些其他資產來支持 MAI-1。
目前，MAI-1 的確切用途尚未確定（即使在微軟內部），其最理想的用途將取決于其性能。如果該模型確實具有 5000 億個參數，那么在消費類設備上運行就太復雜了。這意味著，微軟很可能會在其數據中心部署 MAI-1，在這里大語言模型可以集成到 Bing 和 Azure 等服務中。
微軟可能最早在本月晚些時候的 Build 開發者大會上，根據未來幾周取得的進展亮相 MAI-1。
MAI-1 的研發是基于 Inflection？
“盡管 MAI-1 是一種全新的、與 Inflection 之前發布的 Pi 分開的大型語言模型 ，但其可能建立在前 Inflection 員工帶來的技術之上。”據兩名了解情況的微軟員工稱。
從 OpenAI 官網的一份聲明來看，Inflection 曾是 OpenAI 的競爭對手，但它現在把業務重點從聊天機器人 Pi 轉向了向企業銷售人工智能軟件。曾擔任過各種技術職務的肖恩·懷特 (Sean White) 已加入該公司，擔任新任 CEO。
今年 3 月，微軟以 6.5 億美元收購了這家初創公司的大部分員工和知識產權，并聘請蘇萊曼來領導一個新的消費者人工智能部門。該部門將面向消費者的產品（包括微軟的 Copilot、Bing、Edge 和 GenAI）歸入一個名為 Microsoft AI 的團隊，而蘇萊曼直接向 Microsoft 首席執行官薩蒂亞·納德拉（Satya Nadella）匯報工作。
新部門標志著 Microsoft 的重大組織轉變，其網絡服務總裁 Mikhail Parakhin 將與他的整個團隊一起向蘇萊曼匯報工作。這也是微軟利用生成人工智能熱潮的最新舉措之一。
納德拉在一份聲明中說：“我認識穆斯塔法已經好幾年了，我非常欽佩他作為 DeepMind 和 Inflection 的創始人，以及一個有遠見的產品制造商和追求大膽使命的開拓團隊建設者。”
DeepMind 于 2010 年在英國成立，2014 年被谷歌以 5 億美元收購，蘇萊曼是該公司的三位創始人之一。在 DeepMind 就職時，蘇萊曼曾因員工抱怨其咄咄逼人又過于激進的管理風格引發爭議，于 2019 年被迫離開 DeepMind。之后談到當時的員工投訴時，蘇萊曼回應說：“我真的搞砸了。我要求很高，而且相當無情。我設定了一些相當不合理的期望，導致一些人的工作環境非常惡劣。我對此感到非常遺憾。”
幾個月后，他轉到谷歌總部，負責領導人工智能產品管理和政策。2022 年，他從谷歌離職，加入了硅谷風險投資公司 Greylock，并于當年晚些時候推出了 Inflection。
據悉，微軟還將聘用 Inflection 的大部分員工，Inflection 的聯合創始人兼首席科學家 Karén Simonyan 也將擔任其 AI 團隊的首席科學家。雖然微軟沒有明確調動的員工人數，但表示其中包括人工智能工程師、研究人員和大型語言模型構建者，他們設計并共同完成了“過去五年中為推動人工智能發展做出的許多最重要貢獻”。
Inflection 的第三位聯合創始人、LinkedIn 創始人兼執行主席 Reid Hoffman 將繼續留在 Inflection 的董事會。
去年 6 月，Inflection 還完成 13 億美元的一輪融資，由微軟、英偉達和三位億萬富翁（Reid Hoffman、Bill Gates 和 Eric Schmidt）牽頭投資。當時，微軟首席技術官 Kevin Scott 還表示，“像 Inflection 這樣雄心勃勃的人工智能公司，正在憑借易于使用并展示人工智能多種可能性的變革性產品引領行業發展。”