神经网络Linear、FC、FFN、MLP、Dense Layer等区别是什么？
2023年6月21日 · 细分这几个模块叫法的本质区别2.FC（全连接）： "FC" 表示全连接层，与 "Linear" 的含义相同。在神经网络中，全连接层是指每个神经元都与上一层的所有神经元相连接。每个连接都有 …
线性到底是什么意思？ - 知乎
2019年4月24日 · （如果非要给个名字，f (x)=ax+b如果表示函数或映射的话，应该叫仿射，而不是线性映射）。 至于，线性映射和线性方程的联系。 可以参照 An equation written as f (x) = C is called …
Linear是什么意思？Softmax是什么意思？ - 知乎
2025年6月23日 · Linear 层就能帮你完成这个从 784 到 10 的维度压缩和映射。 通过学习到的权重 W，Linear 层能自动发现哪些输入特征是重要的，哪些是噪音。 它像一个高效的信息过滤器和整合 …
如何评价Kimi Linear？ - 知乎
2025年10月30日 · 模型整体架构设计如图所示，延续了 Moonlight 的设计思路，别的回答已经有不少优秀的解读了。这次最大的不同在于我们将MoE的稀疏度设置得更激进，从8到32。 而 Kimi Linear 的核 …
为什么attention要用linear layer去提取QKV矩阵？可以用卷积 ...
2025年4月24日 · 当然可以，且不说linear本质上就是1x1的卷积和unigram 只要信息不泄漏，还可以用更大的 卷积核 去提取 而且效果还会更好，因为卷积天然适合处理local信息 RWKV-4 和5的token shift …
如何看待Log-linear Attention? - 知乎
2025年6月7日 · 那Log-linear Attention是如何改变这个复杂度的，一个很直观的解释就是在softmax attention里面，每个token单独对应一个记忆 (KV Cache)，而在linear attention中，所有的信息被组 …
如何评价: 线性代数及其应用；和Introduction to Linear Algebra？
2020年9月22日 · 很惭愧，我只看过《线性代数及其应用》，《Introduction to Linear Algebra》我看过英文扫描版，因为英语水平实在太差只读了前面几章就没再读了。 《线性代数及其应用》这本书面向 …
如何评价线性代数教材《Introduction to Linear Algebra》？ - 知乎
2020年9月4日 · 如何评价线性代数教材《Introduction to Linear Algebra》？ Gilbert Strang 的《Introduction to Linear Algebra》是我们专业的线性代数课程的教材。 跟国内的任何一本教材或… 显示 …
DeepSeek-V3.2-Exp 和 Qwen3-Next 哪个才是未来？ - 知乎
2025年9月30日 · Linear attention的update rule决定了利用有限state的效率，像Lightning attention, Mamba2这样利用 （gated）Hebbian update rule的架构在利用state上面 存在一些本质的缺陷，虽 …
材料的热膨胀系数（Coefficient of Thermal Expansion，CTE ...
2025年1月31日 · CTE热膨胀系数是什么意思? 热膨胀系数（Coefficient of thermal expansion，简称CTE）是指物质在热胀冷缩效应作用之下，几何特性随着温度的变化而发生变化的规律性系数。 热 …