2023年ai十大展望：gpt-4领衔大模型变革，谷歌拉响警报，训练数据告急
新年伊始，大模型的话题热度不减。chatgpt展现的惊人能力将大模型研究和应用热度推向高潮，人们激烈讨论着这个高级“物种”的推出意味着什么。
本文作者rob toews发布了2023年ai发展的十大预测，整体来看，大部分预测都离不开“大模型”这个关键词，具体分析也有其道理。当然，其中的文生图、人形机器人等领域的发展也举足轻重。2023，让我们拭目以待。
链接：
https://mp.weixin.qq.com/s/e_v7k_vlbha8of8smlqikq
2. 机器之心的进化 / 理解ai驱动的软件2.0智能革命
本文将带你领略一次人工智能领域波澜壮阔的发展史，从关键人物推动的学术进展、算法和理念的涌现、公司和产品的进步、还有脑科学对神经网络的迭代影响，这四个维度来深刻理解“机器之心的进化”。先忘掉那些花里胡哨的图片生产应用，我们一起来学点接近ai本质的东西。
链接：
https://mp.weixin.qq.com/s/5s1hlaxnwvpsuelkgmhxxw
3. agi的孤勇者，传奇工程师john carmack：惊讶看不到如我这样的人
agi是人工智能的圣杯，这位达拉斯最著名的科技奇才对agi的追求就好比是百年难遇的登月行动。在这场针对agi的角逐当中，参与方还有来自科学家、学者和大型科技公司的“群体思维（groupthink）”的独立竞争，他们也在积极寻求凯发app官网的解决方案。
去年8月，carmack宣布，他的agi初创公司keen technologies在新一轮融资中从多个知名投资者手中筹集了2000万美元。2022年12月，卡马克辞去了meta虚拟现实部门的领导职务，全身心投入agi研发。
链接：
https://mp.weixin.qq.com/s/mmfwc6ss8w8qgnc_-cunwg
4. openai掌门人sam altman的成功学
如今，已成为openai ceo的sam altman是全球范围内当之无愧的科技领军人物。在离任yc总裁的那一年，曾与无数创业者和技术人才交流过的sam altman发表了一篇博客，总结了他眼中获得成功所要具备的13个特质，如果你渴求成功，或者至少希望自己变得优秀，这篇博客对你的个人成长将有所启发。如果你恰好在职业生涯早期就看过，无疑是幸运的。
链接：
https://mp.weixin.qq.com/s/ahebdpscuevrrdq9zn5ymq
5. chatgpt，和聪明地设计infra
作者主要有四个观点：chatgpt并不是黑科技，是持续开放科研的产物；chatgpt是工程、产品的胜利；chatgpt不会让人失业，反而会带来更多的机会；infrastructure 会是这一场仗当中的赢家，但是要聪明地设计infra。
链接：
https://mp.weixin.qq.com/s/om0v0mymmbanjddzabyddq
6. open assistant：laion发起开源chatgpt项目
chatgpt的效果惊人，但不开源。显然开源社区有人憋不住了。laion（代表作是赫赫有名的数据集laion-5b）的组织者christoph schuhmann与yannic kilcher（ai圈知名的youtube大v）一通视频电话，就启动了项目，很快项目的discord讨论组就进了很多人，无比活跃起来。最开始项目名称是open-chat-gpt，大约一周后改为open assistant。
链接：
https://hub.baai.ac.cn/view/22872
7. 国内开发者发起chatrwkv项目，做开源chatgpt
chatrwkv 类似于 chatgpt，但由rwkv（100% rnn）语言模型提供支持，这是目前唯一可以在质量和缩放方面与 transformer 相媲美的 rnn，同时速度更快并节省 vram。
链接：
https://zhuanlan.zhihu.com/p/603840957
8. 通向agi之路：大型语言模型（llm）技术精要
chatgpt出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（large language model）效果能好成这样；惊醒是顿悟到我们对llm的认知及发展理念，距离世界最先进的想法，差得有点远。作者称，作为既惊喜又惊醒的那一批，也是典型的中国人，中国人善于自我反思，于是开始反思，而这篇文章正是反思的结果。
链接：
https://mp.weixin.qq.com/s/emrv15yoo0oyq-o-wiusyw
9. jeff dean发推：谷歌年终总结「第三弹」，大力发展jax
随着算法和硬件越来越复杂，以及运行规模越来越大，执行日常任务所需的软件的复杂性也在不断增加。
在这篇文章中，研究人员概述了过去一年整个谷歌在ml系统方面取得的众多进展，这些进展使谷歌能够支持复杂模型的服务和训练，同时减轻了终端用户的实施复杂性。同时，这篇文章还提到了谷歌如何利用ml本身来改进和设计下一代系统堆栈的研究。
链接：
https://mp.weixin.qq.com/s/tvmyypk_ct_derozrbnzvg
10. 和tensorflow一样，英伟达cuda的垄断格局将被打破？
谷歌早期在机器学习模型架构、训练、模型优化方面都具有很大优势，但现在却难以充分发挥这些优势。而在硬件方面，其他 ai 硬件公司很难削弱英伟达的统治地位。直到 pytorch 2.0 和 openai triton 出现，机器学习模型的默认软件堆栈将不再是英伟达的闭源 cuda。
链接：
https://mp.weixin.qq.com/s/dgpf6doyaozmwpotp8vs-g
11. oneflow v0.9.0正式发布
本次更新包含 640 个 commit，完整更新列表请查看链接：https://github.com/oneflow-inc/oneflow/releases/tag/v0.9.0，欢迎下载体验新版本，期待你的反馈。oneflow v0.9.0 主要包括9大新增亮点功能和优化。
链接：
https://mp.weixin.qq.com/s/8vb9fiqs0vsim5_0m3sagg
12. glm国产大模型训练加速：性能最高提升3倍，显存节省1/3，低成本上手
oneflow近期将原始的 glm 项目移植到了使用 oneflow 后端进行训练的 one-glm 项目。得益于 oneflow 和 pytorch 无缝兼容性，我们快速且平滑地移植了 glm，并成功跑通了预训练任务（训练 glm-large）。
此外，由于 oneflow 原生支持 deepspeed 和 apex 的很多功能和优化技术，用户不再需要这些插件就可训练 glm 等大模型。更重要的是，针对当前 oneflow 移植的 glm 模型，在简单调优后就能在性能以及显存占用上有大幅提升。
链接：
https://mp.weixin.qq.com/s/dktgxujv38kulb4_lmm20q
13. a16z：生成式ai平台，谁主沉浮？
不像许多热门的技术趋势在市场跟上其步伐前就被过度炒作了，生成式ai的热潮却伴随着极高的市场欢迎度以及真实的市场收益。如stable diffusion和chatgpt的模型们正在创造用户增长的历史记录，一些应用在发布不到一年的时间里就实现了1亿美元的年营收。
对照表明，ai模型在某些任务上的表现优于人类好几个数量级。已有足够的早期数据表明范式转移正在发生。
链接：
https://mp.weixin.qq.com/s/bh5uw06iztco9jqba-rlfq
14. 35张图，直观理解stable diffusion
stable diffusion用途多样，是一款多功能模型。首先它可以根据文本生成图像(text2img)。上图是从文本输入到图像生成的示例。除此之外，我们还可以使用stable diffusion来替换、更改图像（这时我们需要同时输入文本和图像）。
本文介绍了stable diffusion的内部结构，了解内部结构可以让我们更好地理解stable diffusion的组成、各组成部分的交互方式、以及各种图像生成选项/参数的含义。
链接：
https://mp.weixin.qq.com/s/8c2rqyrhztpffzahibphrw
15. “零”代码改动，静态编译让太乙stable diffusion推理速度翻倍
近期，oneflow 团队为太乙 stable diffusion 适配了 oneflow 后端，大大提升了推理性能，也可以做到一秒出图。不少开发者好奇oneflow使用了哪些优化“秘笈”，后文将进行简要解读。
链接：
https://mp.weixin.qq.com/s/xar1w8ykpyxn5pr1rpmepa
16. “一键”模型迁移，性能翻倍，多语言altdiffusion推理速度超快
由于目前大部分团队主要是基于翻译 api 英文 stable diffusion 模型进行开发，所以在使用中文独特的叙事和表达时，英文版模型就很难给出正确匹配的图片内容，这对部分国内用户来说不太方便。
为此，智源研究院出品了首个支持 9 种语言的 altdiffusion。近期，oneflow 团队为其适配了 oneflow 后端，大大提升了推理性能，也可以做到一秒出图。
链接：
https://mp.weixin.qq.com/s/whjlfifyzccax5dqa7ha_a
17. runway发布视频生成器gen-1，结果比stable diffusion 1.5提升73.83%，比text2live提升88.24%
runway成立于2018年，是一家ai视频编辑软件提供商，主要为设计师、艺术家和开发人员提供一系列的工具和平台，产品是帮助专业人士生成各种内容。其发布的gen-1可通过将图像或文本提示符的组成和样式应用到源视频的结构上，实际地并始终如一地合成新视频，演示效果惊人。gen-1目前仍处于内测阶段。
链接：
https://hub.baai.ac.cn/view/23978
其他人都在看
chatgpt背后的经济账
oneflow v0.9.0正式发布
sam altman的成功学｜升维指南
比快更快，开源stable diffusion刷新作图速度
oneembedding:单卡训练tb级推荐模型不是梦
glm训练加速：性能最高提升3倍，显存节省1/3
“一键”模型迁移，性能翻倍，多语言altdiffusion推理速度超快
欢迎star、试用oneflow最新版本：https://github.com/oneflow-inc/oneflow/icon-default.png?t=n176https://github.com/oneflow-inc/oneflow/
————————————————
凯发app官网的版权声明：本文为csdn博主「oneflow深度学习框架」的原创文章，遵循cc 4.0 by-sa凯发app官网的版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/oneflow_official/article/details/128963116
