正在查看机器学习深度学习下的文章

2021

2021-10-16分析与拓展：Transformer中的MultiHeadAttention为什么使用scaled？
2021-10-09机器学习之分类问题的评估指标总结
2021-09-11天马行空：设计自己的激活函数
2021-08-24引入参数控制softmax的smooth程度
2021-08-23分析与拓展：多分类模型的输出为什么使用softmax？
2021-08-15GELU由来：从狄拉克函数到GELU激活函数
2021-06-08分析Mish激活函数的设计思路

2020

2019

2019-08-30从函数光滑近似的角度统一理解激活函数
2019-08-17磁盘故障预测思路和有关论文（更新）
2019-05-18softmax:建立hard-attention到soft-attention的桥梁
2019-05-05集成回归的有效性证明（更新）
2019-04-26Google的激活函数Swish是怎么设计出来的？
2019-03-20深入理解神经网络中的Padding和Masking
2019-03-09漫谈注意力机制（六）：Transformer与位置信息
2019-03-07漫谈注意力机制（五）：自注意力与Transformer
2019-03-06漫谈注意力机制（四）：注意力机制的退化之AttentionPooling
2019-03-05漫谈注意力机制（三）：全局注意力与局部注意力
2019-03-04漫谈注意力机制（二）：硬性注意力机制与软性注意力机制
2019-03-03漫谈注意力机制（一）：人类的注意力和注意力机制基础
2019-03-01漫谈序列编码：MLP、CNN、RNN
2019-01-31优化算法系列（5）：SGD改进之Adam一个综合方案和派生（更新）

2018