手机就能跑！开源AI机器人MLC LLM发布：无需联网
快科技5月2日消息，近日，一个名为MLC LLM的项目在GitHub上线，该项目为一个能够在手机上运行的，无需联网的开源人工智能聊天机器人。
据悉，MLC LLM项目的本质是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。
同时，它还有着一个高效的框架，供每个人进一步优化自己用例的模型性能。
上述这一切，都在本地运行，无需服务器支持，并通过手机或笔记本电脑上的本地GPU加速。
技术上，MLC LLM使用了Vicuna-7B-V1.1，这是一种基于Meta开发的LLaMA模型的轻量级LLM，效果虽然不如GPT3.5或GPT4，但在大小方面比较占优势。
目前，该项目可用于Windows、Linux、macOS和iOS平台，但暂时还没有适用于Android的版本。
值得一提的是，MLC LLM项目的开发团队来自卡内基梅隆大学的Catalyst计划、SAMPL机器学习研究小组以及华盛顿大学、上海交通大学和OctoML等。
相关推荐
-
科大讯飞任工信部重点实验室大模型工作组副组长单位，科大讯飞AI学习机荣获大模型优秀应用案例
2023年5月30-31日，杭州通用人工智能论坛暨AIIA人工智能产业发展大会在杭州举行，产学研政各界一同探讨大模型应用机遇和挑战。 在大模型技术应用分论坛上，作为人工智能“国家队…
-
甲骨文创始人身价超过巴菲特和盖茨成为全球第四大富豪 受益于 AI 需求强势增长
站长之家(ChinaZ.com) 6月13日消息:甲骨文发布了超出华尔街预期的财报及季度营收指引，使得该公司的股价在周一盘后交易中股价上涨 5%。 根据一份声明，甲骨文上季度的营收…
-
Petey将 ChatGPT引入了iPhone 可通过AI助手快速获得音乐推荐
站长之家（ChinaZ.com）4月25日 消息:继将 ChatGPT引入Apple Watch之后，Petey又将其功能集带到了 iPhone，允许用户更快地访问其 AI 助手，…
-
Transformer八子全部叛逃谷歌！最后一位共同作者月底离职创业
Transformer八子全都叛逃了谷歌。 爆料称，当年参与谷歌Transformer惊世之作的最后一位共同作者Llion Jones，月底将离职谷歌自行创业。 图片 前谷歌大脑、…
-
数据科学家表示，企业需要控制自己的生成式AI 确保安全和差异化
站长之家（ChinaZ.com）6月28日 消息:在最新的调查数据中，企业MLOps平台Domino Data Lab发现，数据科学家们认为生成式人工智能（generative A…
-
闪回科技人工智能回收平台发布，“闪回有品”品牌焕新升级
5月18日，深圳闪回科技有限公司（以下简称“闪回科技”）旗下闪回收人工智能回收平台和闪回有品品牌升级发布会成功举办。闪回科技重点客户代表、合作伙伴、全国各区域渠道负责人以及员工代表…
-
聊天机器人的崛起遭遇版权风波 出版商组成联盟维权
【Aigcmore.com】3月25日消息，聊天机器人的兴起，离不开庞大的数据集支持，而这些数据集中很多来自各大出版商的版权内容。多家出版商已经联合起来，希望推动相关法律法规，维护…
-
阿里AI新品“通义听悟”正式上线 智能总结、实时语音转文字等
站长之家（ChinaZ.com）6月1日 消息:在阿里云峰会·粤港澳大湾区分会场，阿里云公布了通义大模型的进展，聚焦音视频内容的AI新品“通义听悟”正式上线，成为国内首个开放公测的…
-
用AI短视频「反哺」长视频理解，腾讯MovieLLM框架瞄准电影级连续帧生成
在视频理解这一领域，尽管多模态模型在短视频分析上取得了突破性进展，展现出了较强的理解能力，但当它们面对电影级别的长视频时，却显得力不从心。因而，长视频的分析与理解，特别是对于长达数…
-
AI歌手翻唱或涉多项侵权行为 生成式人工智能相关规范即将出台
站长之家（ChinaZ.com）5月15日 消息:据央视新闻报道，近期，由于人工智能（AI）的热潮，许多网友开始使用AI工具进行娱乐活动，例如最近非常受欢迎的“AI孙燕姿翻唱”。 …
