2021
- 2021-09-11天马行空:设计自己的激活函数
- 2021-09-07函数光滑近似(4):Heaviside step函数及其应用
- 2021-08-19一种基于光滑逼近的正态分布采样法
- 2021-08-15GELU由来:从狄拉克函数到GELU激活函数
- 2021-08-12Lp范数的上下界分析
- 2021-08-12logsumexp函数分析
- 2021-06-08分析Mish激活函数的设计思路
- 2021-03-20形形色色的Sigmoid(S型)函数
2020
- 2020-05-15max函数光滑逼近:一种与softmax相关的形式
2019
- 2019-08-30从函数光滑近似的角度统一理解激活函数
- 2019-05-18softmax:建立hard-attention到soft-attention的桥梁
- 2019-04-12函数光滑近似(3):abs函数
- 2019-04-10函数光滑近似(2):softmax与argmax
- 2019-04-08函数光滑近似(1):maximum函数