AIGC动态
-
Anthropic、谷歌、微软和 OpenAI 宣布组建新的人工智能小组 领先政策制定者制定安全标准
站长之家(ChinaZ.com) 7月27日消息:谷歌、微软等四家领先的人工智能公司于周三宣布成立了一个新的行业组织,旨在确定最佳的安全实践,并推动该技术在应对重大社会挑战方面的应…
-
自动化一代:人工智能驱动的劳动力
生成式人工智能引发了一场人工智能“海啸”,这是一个人工智能驱动应用快速发展、广泛采用和商业化的时代。但当涉及到采用人工智能时,企业需要三思而后行。 特别是,组织必须评估人工智能和自…
-
自动驾驶汽车和机器学习:重塑交通的未来
自动驾驶汽车和机器学习已经成为彻底改变汽车行业的突破性技术。 随着人工智能(AI)和数据分析的显着进步,自动驾驶汽车取得了长足的进步,有望实现更安全、更高效的交通。本文探讨了自动驾…
-
650亿参数大模型预训练方案开源可商用!LLaMA训练加速38%,来自明星开源项目
650亿参数大模型的预训练方案,发布即开源。 训练速度较传统方案提升38%。 这就是由Colossal-AI最新发布的类LLaMA基础大模型预训练方案。 要知道,在“百模大战”背景…
-
人工智能是ICT专业人士的朋友还是敌人?
当前,人工智能 (AI) 及其子集机器学习 (ML) 是发展最快的技术之一;同时,其因围绕深度造假、欺骗、偏见和其他道德问题的世界末日场景而备受关注。今年 5 月,美国白宫科学技术…
-
能胜任统计学家?Transformers超强学习机制「自动算法选择」
ChatGPT 等基于 Transformer 的大语言模型具备极强的在上下文中学习(In-Context Learning,ICL)的能力:输入少量示例样本,即能够正确回答同类问…
-
ChatGPT代码解释器与Jupyter Notebook合体,编码能力更强了
毋庸置疑,在 AI 的帮助下,开发者的编码效率能够大大提升。 开发者们将从简单、重复的编码工作中解脱出来。但是随之而来的诸多问题,往往让使用 AI 的开发者们头秃不已。 Chapy…
-
比标准Attention提速5-9倍,大模型都在用的FlashAttention v2来了
近来,几种长上下文语言模型陆续问世,包括 GPT-4(上下文长度为 32k)、MosaicML 的 MPT(上下文长度为 65k)Anthropic 的 Claude(上下文长度为…
-
Transformer后继有模!MSRA提出全新大模型基础架构:推理速度8倍提升,内存占用减少70%
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 微软大模型新架构,正式向Transformer发起挑战! 论文标题明晃晃地写道: Retentive …
-
斯坦福博士一己之力让Attention提速9倍!FlashAttention燃爆显存,Transformer上下文长度史诗级提升
继超快且省内存的注意力算法FlashAttention爆火后,升级版的2代来了。 FlashAttention-2是一种从头编写的算法,可以加快注意力并减少其内存占用,且没有任何近…
-
极少数据就能微调大模型,一文详解LoRA等方法的运作原理
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 最近和大模型一起爆火的,还有大模型的微调方法。 这类方法只用很少的数据,就能让大模型在原本表现没那么好…
-
斯坦福博士独作!大模型训练速度再翻倍,还官宣加入明星创业公司当首席科学家
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 现有大语言模型的训练和推理速度,还能再快一点—— 快多少?2-4倍。 各种大模型都在用的FlashAt…