微软推出可在智好手机上运行的轻量级AI模型Phi-3 Mini_模子_措辞
微软表示,Phi-3 Mini的性能轻松超越了之前的Phi-2小型模型,并且与Llama 2等大型模型不相上下。令人惊异的是,这款新模型的相应能力靠近于那些参数规模是其10倍的模型。
研究团队在论文中指出,这一创新的关键在于他们所利用的演习数据集。该数据集以Phi-2模型为根本,但融入了“经由严格过滤的网络数据和合成数据”。这种独特的数据集构建办法受到了儿童读物的启示,这些读物利用更大略的措辞来阐述繁芜的主题,从而有效地使较小的措辞模型能够发挥更高的效能。
只管Phi-3 Mini在某些方面可能还无法与云驱动的大型措辞模型相媲美,但它在从数学到编程再到学术测试的各项任务中,都展现出了超越Phi-2和其他小型措辞模型(如Mistral、Gemma、Llama-3-In)的实力。更主要的是,这款模型可以在像智好手机这样大略的设备上运行,而且无需互联网连接。
然而,Phi-3 Mini的紧张限定在于其“事实知识”的广度,这紧张是由于其演习数据集相对较小。因此,在“TriviaQA”测试中,它的表现并不出色。只管如此,对付那些只须要处理较小内部数据集的模型来说,这仍旧是一个不小的进步。微软希望,通过推出这样的模型,能够让那些无力承担云连接大型措辞模型用度的公司也能打仗到人工智能技能。
目前,Phi-3 Mini已经在Azure、Hugging Face和Ollama等平台上供应。微软接下来还操持发布功能更为强大的Phi-3 Small和Phi-3 Medium模型,它们分别拥有70亿和140亿个参数。
本文系作者个人观点,不代表本站立场,转载请注明出处!