一个关于max函数光滑逼近，其特例居然和均值、tanh函数、Logistics函数相关！

使用脚本备份Linux系统，这里给出参看脚本。

Transformer模型所依赖的Attention本身不具备像RNN一样的天生的对序列位置编码能力，需要借助所谓的Position Embedding来解决位置信息问题。本文总结常见的Position Embedding方案。

我们常常需要计算某段代码或某个函数的执行时间来进行某种优化或评估，这里提供一些比较Pythonic的方案。

重写一下证明思路。

理解时间序列多步预测三种方法（多图）

把Python项目源码打包成一个文件

现在系统默认的gcc版本越来越高了，有时候我们编译某些项目需要版本更低的gcc，一种方案是使用Docker创建虚拟gcc环境，然后把编译的内容mount到container内。另外一种思路是使用Linux中的alternatives。本文介绍这种思路。

一文梳理文本匹配中经典的非机器学习方法，这些方法不用设计深度模型甚至不需要训练。

详细的时间序列特征工程。

纯numpy实现的非递归方法。

神经网络强大的表示能力应该归功于网络模型中的激活函数，深度学习中，很多数学形式其实都是光滑逼近的结果。比如激活函数，sigmoid、swish、gelu、softplus，这里从光滑近似的角度统一理解激活函数。

更新：Transformer使用的激活函数GELU。

磁盘故障预测思路和论文。把目前相关的磁盘故障预测论文翻了一遍，总结一下如下预测思路。

介绍一种简单的避免死锁的加锁机制，并用Python实现和演示。

快速统计词表、交替迭代两个迭代器、计算所有子集、可读字节单位、滑动窗口

本文提出字词混合的Embedding中，字词对齐的两种方案。

本文介绍重要性采样与接受拒绝采样，并给出使用Laplace分布作为参考分布，采样正态分布的例子。

计算机程序的运行是确定性的，即每一步都有一个明确的描述，如何在确定性下生成随机的内容？这似乎是个自相矛盾的问题。

计算机程序的运行是确定性的，即每一步都有一个明确的描述，如何在确定性下生成随机的内容？这似乎是个自相矛盾的问题。

贝叶斯学派是数理统计学中的一大学派，其理论在机器学习和深度学习中有大量的运用。