近日，一家叫etched的AI芯片公司宣布推出Transformer架构模型专用的ASIC芯片——Sohu，他们的模拟结果显示这款芯片每美元性能是传统GPU的140倍。 与新芯片同时宣布的是它获得Primary Venture ...

36氪获悉，大模型架构创新公司元始智能（RWKV）已于12月完成数千万人民币天使轮融资，投资方为天际资本。本轮融资后，公司估值较此前种子轮翻倍，而本轮融资将主要用于团队扩充、新架构迭代以及产品商业化落地。

基于NL的观点，谷歌团队使用反向传播和梯度下降训练深度神经网络，本质上是一个压缩与优化问题，其目标是训练一种联想记忆（associative memory），以将各层的输入映射到其预测中对应的局部误差。

更难得的是，PoPE不仅性能能打，落地成本还极低。团队用Triton定制了 Flash ...

Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。 针对经典统计问题训练 Transformer 的 ...

而在近期 LSTM 之父 Jürgen Schmidhuber 的 USI & SUPSI 瑞士 AI 实验室团队的一项新研究中，分析表明，当前流行的旋转位置嵌入（RoPE）方法中的 what 与 where 是纠缠在一起的。这种纠缠会损害模型性能，特别是当决策需要对这两个因素进行独立匹配时。

近日，腾讯混元正式发布并开源其全新文生3D 动作大模型 ——HY-Motion1.0。这一模型以其十亿参数量级和基于 Diffusion Transformer （DiT） 的架构，标志着3D 角色动画生成领域的重大突破。HY-Motion1.0旨在提供高质量、标准化的骨骼动画，助力游戏开发者、动画师以及科研人员提升创作效率，并降低3D 动画制作的门槛，让更多个人创作者能够实现其创意。

Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。 针对经典统计问题训练 Transformer 的 ...

近日，英伟达正式宣布其深度学习超级采样（DLSS）技术的下一步发展：DLSS 4.5。据悉，此次更新将专注于改进超级分辨率（Super ...

据悉，由于RTX 30和20系列显卡架构不支持FP8加速，其性能提升幅度将低于新一代显卡。测试显示，在《赛博朋克2077》RT Ultra预设下，RTX 3080 Ti使用DLSS 4.5后帧数下降24%，从42FPS降至32FPS。

据显卡评测媒体VideoCardz报道及官方公告内容，DLSS 4.5的核心亮点在于为超分辨率技术配备第二代Transformer模型。英伟达方面表示，该升级后的AI模型基于更大规模数据集训练，能够应对更多复杂的边缘场景。