手机就能跑!开源AI机器人MLC LLM发布:无需联网
快科技5月2日消息,近日,一个名为MLC LLM的项目在GitHub上线,该项目为一个能够在手机上运行的,无需联网的开源人工智能聊天机器人。
据悉,MLC LLM项目的本质是一种通用解决方案,它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。
同时,它还有着一个高效的框架,供每个人进一步优化自己用例的模型性能。
上述这一切,都在本地运行,无需服务器支持,并通过手机或笔记本电脑上的本地GPU加速。
技术上,MLC LLM使用了Vicuna-7B-V1.1,这是一种基于Meta开发的LLaMA模型的轻量级LLM,效果虽然不如GPT3.5或GPT4,但在大小方面比较占优势。
目前,该项目可用于Windows、Linux、macOS和iOS平台,但暂时还没有适用于Android的版本。
值得一提的是,MLC LLM项目的开发团队来自卡内基梅隆大学的Catalyst计划、SAMPL机器学习研究小组以及华盛顿大学、上海交通大学和OctoML等。
相关推荐
-
Transformer后继有模!MSRA提出全新大模型基础架构:推理速度8倍提升,内存占用减少70%
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 微软大模型新架构,正式向Transformer发起挑战! 论文标题明晃晃地写道: Retentive …
2023年 7月 27日 -
生成式人工智能能够更精准地预测和识别 YouTube 等平台上的内容环境
站长之家(ChinaZ.com) 5月2日消息:越来越多的媒体都开始使用生成 AI 技术。最近,数字视频广告公司 Pixability 利用 ChatGPT 改进品牌适宜性标准并提…
2023年 5月 3日 -
「欧洲版 OpenAI」初创公司 Mistral 正在洽谈融资以参与人工智能竞争
站长之家(ChinaZ.com) 5月6日消息:据消息人士透露,被视为欧洲版 OpenAI 的初创企业 Mistral 正在讨论募集一轮实质性的融资。 这家法国创业公司是 Face…
2023年 5月 7日 -
LinkedIn推出生成式AI功能,助力用户快捷撰写帖文
【Aigcmore.com】6月26日消息,职场社交平台linkedIn近期宣布推出了一项新功能,旨在帮助用户更便捷地发表帖文。这项新功能使用了生成式人工智能技术,允许用户通过AI…
2023年 6月 26日 -
微软Project Florence公开预览版:打造全新计算机视觉模型
【Aigcmore.com】3月8日消息,今天,微软宣布向开发者开放其AI计算机视觉模型ProjectFlorence的公共预览版。该模型已通过数十亿个文本图像的训练,集成了Azu…
2023年 4月 22日 -
突破时间限制!Opera开放Aria AI,实时获取最新信息
【Aigcmore.com】6月23日消息,Opera公司近日宣布向安卓版和桌面版Opera浏览器用户正式开放Aria AI,这是一项集成到OperaOne桌面浏览器和其安卓浏览器…
2023年 6月 25日 -
开源模型PrivateGPT正式上线,助您本地搭建私密对话环境
【Aigcmore.com】6月25日消息,三星、摩根大通、苹果和亚马逊等公司近日发布了严厉规定,禁止员工使用ChatGPT,以防止公司的机密信息泄露。 为满足用户对个性化、安全和…
2023年 6月 26日 -
大数据时代的人工智能和神经网络
随着组织和行业努力利用信息的力量来改进决策、优化运营和增强客户体验,人工智能(AI)和神经网络在大数据时代变得越来越重要。随着各种来源,如社交媒体、物联网设备和在线交易,生成的数据…
2023年 5月 12日 -
国产AI掀起“百模大战”,突围ChatGPT还要多久?
声明:本文来自于微信公众号 微果酱(ID:wjam123456),作者:陈出木,授权站长之家转载发布。 我们目前没有训练 GPT-5,也不会在短期内进行训练。 近日,在麻省理工学院…
2023年 5月 9日 -
关于采用生成式人工智能,企业需要了解的事
生成式人工智能是如何工作的 生成式人工智能最常见和最强大的技术之一是大型语言模型,例如GPT-4或谷歌BARD。这些神经网络是根据书籍、网站、社交媒体和新闻文章等各种来源的大量文本…
2023年 5月 29日