手机就能跑!开源AI机器人MLC LLM发布:无需联网
快科技5月2日消息,近日,一个名为MLC LLM的项目在GitHub上线,该项目为一个能够在手机上运行的,无需联网的开源人工智能聊天机器人。
据悉,MLC LLM项目的本质是一种通用解决方案,它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。
同时,它还有着一个高效的框架,供每个人进一步优化自己用例的模型性能。
上述这一切,都在本地运行,无需服务器支持,并通过手机或笔记本电脑上的本地GPU加速。
技术上,MLC LLM使用了Vicuna-7B-V1.1,这是一种基于Meta开发的LLaMA模型的轻量级LLM,效果虽然不如GPT3.5或GPT4,但在大小方面比较占优势。
目前,该项目可用于Windows、Linux、macOS和iOS平台,但暂时还没有适用于Android的版本。
值得一提的是,MLC LLM项目的开发团队来自卡内基梅隆大学的Catalyst计划、SAMPL机器学习研究小组以及华盛顿大学、上海交通大学和OctoML等。
相关推荐
-
黄仁勋凭借AI投资热潮成为全球科技富豪
【Aigcmore.com】5月18日消息,人工智能(AI)行业的投资热潮已经使得芯片制造商英伟达成为今年标准普尔500指数中表现最佳的股票之一。与此同时,英伟达公司的CEO黄仁勋…
2023年 5月 19日 -
爆火论文“14行代码打败BERT”出现反转!改掉bug性能秒变最差
50年前的kNN算法,只用14行代码在文本分类上超越风头正盛的Transformer,包括BERT—— 这个来自ACL Finding的成果,一发布就火爆学术圈,让人重新思考还有多…
2023年 7月 31日 -
助推生成式AI发展,微软押宝自研“雅典娜”AI芯片
在早期押注 ChatGPT 的创建者 OpenAI 之后,微软在其武器库中拥有另一个秘密武器:自己的人工智能芯片,用于为负责理解和生成类人语言的大型语言模型提供动力。 据两位直接了…
2023年 4月 20日 -
如何用好 ChatGPT 聊天机器人:问对了问题,答案妙不可言
4 月 13 日消息,最近爆火的聊天机器人 ChatGPT 可以提供质量非常高的答案,但前提是你知道如何向它提出正确的问题。那么,我们该如何输入正确的提示(prompt)呢?美媒提…
2023年 4月 14日 -
避免落入AI虚假营销陷阱的九种方法
最近几个月,AI已经成为每个人最喜欢的流行语。随着AI的稳步发展,硅谷的初创公司和《财富》500强公司纷纷加入这场行业革命。但亢奋、进步和AIWashing等危险信号也在同等程度上…
2023年 5月 20日 -
百惠:由人工智能提供的投资组合 能够替代真人建议吗?
科技日新月异,发展步伐急速,年初AI聊天机器人ChatGPT的诞生便印证了这一点。由OpenAI开发的ChatGPT可以写作、绘图、作曲、甚至编写程序,如此先进的技术和反应能力,可…
2023年 5月 11日 -
人工智能、边缘计算、物联网和云如何重塑车队管理
利用优化数据交换和数据存储的分布式计算环境可以节省带宽,从而获得快速的数据体验。 随着企业希望对其车辆进行现代化改造,联网汽车的好处可能使之成为新标准,尤其是在车队管理方面的好处。…
2023年 5月 23日 -
学习机什么牌子好?讯飞学习平板AI同步精准学 掌握关键知识
在这个逐渐走向人工智能的时代,学生平板这种新型学习工具是辅导孩子的不错选择。但市面上学习机品牌众多,学习机什么牌子好?该怎么选择呢?今天小编以科大讯飞学习平板、希沃网课学习机、学而…
2023年 4月 26日 -
中科创达与北京智源人工智能研究院成立AI大模型实验室
站长之家(ChinaZ.com)7月13日 消息:今日,中科创达宣布与北京智源人工智能研究院共同成立”魔方未来联合实验室“。基于该实验室,双方将在大模型开发与应用创新等方面展开战略…
2023年 7月 14日 -
大语言模型综述全新出炉:51页论文带你盘点LLM领域专业化技术
大语言模型(LLMs)在自然语言处理(NLP)领域取得了显著的进步,为广泛的应用提供了一种非常有用的、与任务无关的基础。然而,直接应用 LLMs 去解决特定领域的复杂问题会遇到许多…
2023年 7月 27日