
大型语言模型除了规模越来越大,同时小规模的模型也是各科技企业争相开发的目标。 Microsoft 新推出的 AI 模型 Phi-3 Mini 就是其中之一。
今次 Microsoft 推出的 Phi-3 Mini 专为智能手机等运算能力有限的设备而开发,参数为 38 亿个,虽然规模细小,但其性能并不弱。 据 Microsoft 表示,其效能除了超越上代 Phi-2 模型,益可以与 Llama 2 等大规模的模型相媲美。 其训练数据集采用经过大量过滤的网络数据和合成数据,并由另一个 LLM 事先处理,提升了模型的学习效率。 这种方法可以用更简单的语言表达复杂的概念,改善模型理解和生成自然文字的能力。
Phi-3 Mini 可独立于云系统运作,无需互联网连接,就可以在移动设备上直接运作,支持从数学计算到编程等。 对于注重私隐和反应速度的应用,这样的轻型模型就有一定的需要。 虽然碍于规模,Phi-3 Mini 在需要大量知识的情况下表现不算理想,但仍然可以覆盖大部分日常应用。 Phi-3 Mini 目前可在 Azure、Hugging Face 和 Ollama 等平台上使用。 未来更会有较大规模的 Phi-3 Small 和 Phi-3 Medium 模型推出,提供更多不同的规模来配合需要。