手机就能跑！开源AI机器人MLC LLM发布：无需联网
快科技5月2日消息，近日，一个名为MLC LLM的项目在GitHub上线，该项目为一个能够在手机上运行的，无需联网的开源人工智能聊天机器人。
据悉，MLC LLM项目的本质是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。
同时，它还有着一个高效的框架，供每个人进一步优化自己用例的模型性能。
上述这一切，都在本地运行，无需服务器支持，并通过手机或笔记本电脑上的本地GPU加速。
技术上，MLC LLM使用了Vicuna-7B-V1.1，这是一种基于Meta开发的LLaMA模型的轻量级LLM，效果虽然不如GPT3.5或GPT4，但在大小方面比较占优势。
目前，该项目可用于Windows、Linux、macOS和iOS平台，但暂时还没有适用于Android的版本。
值得一提的是，MLC LLM项目的开发团队来自卡内基梅隆大学的Catalyst计划、SAMPL机器学习研究小组以及华盛顿大学、上海交通大学和OctoML等。
相关推荐
-
谷歌发布最新大型语言模型PaLM 2，引领人工智能潮流
【Aigcmore.com】5月18日消息，谷歌正计划将最新的生成式人工智能技术应用于其广泛的产品范围中。内部文件显示，谷歌正在考虑将这一技术整合到其网络广告业务中。 谷歌计划在自…
-
重要声明发布：AI行业大佬共同关注人工智能风险
【Aigcmore.com】5月31日消息，全球人工智能安全中心(Center for AISafety)于本周二发表声明，将人工智能(AI)的灭绝风险列为全球优先事项，与流行病、…
-
应对微软和OpenAI威胁：谷歌将合并DeepMind和谷歌大脑两大AI研究部门
据报道，谷歌母公司Alphabet将合并旗下的DeepMind和谷歌大脑两个人工智能研究部门，从而结束伦敦和硅谷这两大人工智能研究基地之间的内部竞争，在生成式人工智能领域夺回被微软…
-
英伟达 H100 在 MLPerf AI 性能测试刷新纪录：11 分钟不到完成 GPT-3 大模型训练
站长之家(ChinaZ.com) 6月28日消息:MLPerf 基准测试是评估系统在一系列人工智能工作负载下的性能表现的重要指标。人工智能正在快速发展，生成式人工智能工作负载日益突…
-
自己动手使用AI技术实现数字内容生产
背景 今年以来以chatgpt为代表的大模型的惊艳表现彻底点燃了AICG这个领域的。各类gpt，各种AI作图产品如雨后春笋般出现。每个成功产品的背后都是一个个精妙的算法，本篇文章给…
-
企业采用生成式人工智能的进展缓慢，一些供应商开始提供帮助
毫无疑问，企业高管希望获得生成式人工智能的力量，因为ChatGPT等工具继续激发公众的想象力。根据毕马威公司日前公布的一项针对美国企业高管的研究报告，绝大多数(60%)的受访者表示…
-
自主AI代理：未来的生产力引擎
译者 | 崔皓 审校 | 重楼 摘要 文章介绍了自主AI代理的概念，AI代理由AI驱动，能够自我创建、优先处理和完成任务。自主AI代理可以执行任何数量的任务，包括内容创建、个人助手…
-
鸿海预计今年下半年AI服务器市场将迎来超过100%的增长
【Aigcmore.com】6月1日消息，鸿海(HonHai)董事长刘扬伟在周三的年度股东大会上宣布，该公司最新推出的AI服务器采用了英伟达的芯片。据刘扬伟透露，预计到2022年，…
-
挑战 ChatGPT，马斯克欲打造寻求真相的“TruthGPT”人工智能
4 月 18 日消息，美国亿万富翁、特斯拉和 Twitter 的首席执行官埃隆・马斯克（Elon Musk）近日在接受福克斯新闻的采访时，透露了他将创建一种新型人工智能（AI）的计…
-
未来展望：中国气象局引领世界人工智能气象应用进步
【Aigcmore.com】7月29日消息，中国气象局近日印发《人工智能气象应用工作方案(2023—2030年)》，旨在加快推进国产人工智能气象应用技术体系的建设，进一步提升我国气…
