时间序列的特征工程详解

详细的时间序列特征工程。

时间序列中的机器学习任务如磁盘故障预测、时间序列预测、时间序列异常检测、时间序列分类等等都建立在特征工程上。本项目实现时序场景下常用的特征。

时间序列的特征工程：

基本的统计特征 (均值方差等等)
分位数特征
自相关与周期特征
度量时序变化情况的特征
度量时序分散情况的特征
与信息论和信号处理相关的特征(熵谱小波分析)
峰值特征
位置特征(某个特征在时间窗口中的位置)
光滑特征(使用平滑方法 MA EMA 或滤波器对原始时序进行处理的结果)
专用特征(某些 paper 上提到的特征, 用于解决某个或某类特定问题)

以上的特征分类方法在理论上并不表明特征是互相独立的，只是一种习惯分类方法。

项目地址见：time series features

概率分布是随机变量的完整刻画，一旦知道随机变量的概率分布表达式就可以完整地导出该随机变量的数学性质，然而现实情况是我们很难从采样数据中推断随机变量的分布，为此，我们可以通过构造一个采样样本的函数来刻画该分布的一些特征。

实现模板

不带参数的特征：

def time_series_xx(series):
    # 无参数的特征提取器实现模板
    # 返回类型为 float 或 list
    # 使用方法:
    # feature = time_series_xx(series)
    pass

带参数的特征：

class time_series_xx:

    # 有参数的特征提取器实现模板
    # 可以使用类继承方法实现
    # 返回类型为 float、int 或 list
    # 使用方法
    # feature = time_series_xx(params)(series)
    
    def __init__(self, param1, param2):
        self.param1 = param1
        self.param2 = param2

    def __call__(self, series):
        pass

使用

本项目依赖：numpy、scipy。

克隆项目到{your_path}，

1	git clone https://github.com/allenwind/time-series-features.git

打开.bashrc添加项目路径到PYTHONPATH环境变量中，

1	export PYTHONPATH={your_path}/time-series-features:$PYTHONPATH

然后，

1	source ~/.bashrc

例子，

import tsfeatures

series = np.random.uniform(size=100)
features = tsfeatures.extract_time_series_statistics_features(series)
print(features)

基本统计特征

Mean

$\mathrm{E}[X]=\sum_{i=1}^{k} x_{i} p_{i}=x_{1} p_{1}+x_{2} p_{2}+\cdots+x_{k} p_{k}$

Median

$\mathrm{P}(X \leq m) \geq \frac{1}{2} \text { and } \mathrm{P}(X \geq m) \geq \frac{1}{2}$

Mode

Geometric mean

$\left(\prod_{i=1}^{n} x_{i}\right)^{\frac{1}{n}}=\sqrt[n]{x_{1} x_{2} \cdots x_{n}}$

Harmonic mean

$H=\frac{n}{\frac{1}{x_{1}}+\frac{1}{x_{2}}+\cdots+\frac{1}{x_{n}}}=\frac{n}{\sum_{i=1}^{n} \frac{1}{x_{i}}}=\left(\frac{\sum_{i=1}^{n} x_{i}^{-1}}{n}\right)^{-1}$

Variance

$\begin{aligned} \operatorname{Var}(X) &=\mathrm{E}\left[(X-\mathrm{E}[X])^{2}\right] \\ &=\mathrm{E}\left[X^{2}-2 X \mathrm{E}[X]+\mathrm{E}[X]^{2}\right] \\ &=\mathrm{E}\left[X^{2}\right]-2 \mathrm{E}[X] \mathrm{E}[X]+\mathrm{E}[X]^{2} \\ &=\mathrm{E}\left[X^{2}\right]-\mathrm{E}[X]^{2} \end{aligned}$

standard deviation

$s=\sqrt{\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\overline{x}\right)^{2}}$

Skewness

$\gamma_{1}=\mathrm{E}\left[\left(\frac{X-\mu}{\sigma}\right)^{3}\right]=\frac{\mu_{3}}{\sigma^{3}}=\frac{\mathrm{E}\left[(X-\mu)^{3}\right]}{\left(\mathrm{E}\left[(X-\mu)^{2}\right]\right)^{3 / 2}}=\frac{\kappa_{3}}{\kappa_{2}^{3 / 2}}$

kurtosis

$\operatorname{Kurt}[X]=\mathrm{E}\left[\left(\frac{X-\mu}{\sigma}\right)^{4}\right]=\frac{\mu_{4}}{\sigma^{4}}=\frac{\mathrm{E}\left[(X-\mu)^{4}\right]}{\left(\mathrm{E}\left[(X-\mu)^{2}\right]\right)^{2}}$

Coefficient of variation

$c_{\mathrm{v}}=\frac{\sigma}{\mu}$

度量分散的特征

standard deviation

$s=\sqrt{\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\overline{x}\right)^{2}}Range$

Range

$r = \max(x) - \min(x)$

Mean absolute deviation around a central point

$\frac{1}{n} \sum_{i=1}^{n}\left|x_{i}-m(X)\right|$

m 包括 mean median mode 这三个统计量。

Median absolute deviation around a central point

$\operatorname{median}(\left|x_{i}-m(X)\right|)$

absolute sum of changes

$\sum_{i=1, \ldots, n-1}\left|x_{i+1}-x_{i}\right|$

mean abs change

$\frac{1}{n} \sum_{i=1, \ldots, n-1}\left|x_{i+1}-x_{i}\right|$

mean change

$\frac{1}{n} \sum_{i=1, \ldots, n-1} x_{i+1}-x_{i}$

mean second derivative central

$\frac{1}{n} \sum_{i=1, \ldots, n-1} \frac{1}{2}\left(x_{i+2}-2 \cdot x_{i+1}+x_{i}\right)$

度量变化的特征

mean second derivative central

$f^{\prime \prime}(x) \approx \frac{\delta_{h}^{2}[f](x)}{h^{2}}=\frac{\frac{f(x+h)-f(x)}{h}-\frac{f(x)-f(x-h)}{h}}{h}=\frac{f(x+h)-2 f(x)+f(x-h)}{h^{2}}$

可以作为change特征。

最大绝对变化，

$\max_{i}|x_i - x_{i+1}|$

偏离均值的最大绝对变化，

$\max_i |x_i - \bar{\mu}|$

平均绝对变化，

$\frac{1}{n}\sum_{i=1}^{n-1} |x_i - x_{i+1}|$

度量自相关和周期的特征

自相关和卷积在数学定义上很相似，需要区分。自相关（f1等于f2）如下：

$R(t)=\int_{-\infty}^{+\infty} f_{1}(\tau) f_{2}(t+\tau) d \tau$

而卷积定义如下：

$\int_{-\infty}^{+\infty} f_{1}(\tau) f_{2}(t-\tau) d \tau$

autocorrelation

$R(l)=\frac{1}{(n-l) \sigma^{2}} \sum_{t=1}^{n-l}\left(X_{t}-\mu\right)\left(X_{t+l}-\mu\right)$

l is lag

在编程实现上，我们通常使用如下高效的计算方式：

$R_{x x}(j)=\sum_{n} x_{n} \overline{x}_{n-j}$

自相关系数估计方法：

$\hat{R}(k)=\frac{1}{(n-k) \sigma^{2}} \sum_{t=1}^{n-k}\left(X_{t}-\mu\right)\left(X_{t+k}-\mu\right)$

计算所有 lag 的自相关系数，即自相关函数：

$R_{x x}(i)=\sum_{n} x_{n} \overline{x}_{n-i}$

partial autocorrelation

$\alpha_{k}=\frac{\operatorname{Cov}\left(x_{t}, x_{t-k} | x_{t-1}, \ldots, x_{t-k+1}\right)}{\sqrt{\operatorname{Var}\left(x_{t} | x_{t-1}, \ldots, x_{t-k+1}\right) \operatorname{Var}\left(x_{t-k} | x_{t-1}, \ldots, x_{t-k+1}\right)}}$

信息度量

abs energy

$E=\sum_{i=1, \ldots, n} x_{i}^{2}$

Approximate entropy

Sample entropy

binned entropy

$\sum_{k=0}^{\min (\max -b i n s, l e n(x))} - p_{k} \log \left(p_{k}\right) \cdot \mathbf{1}_{\left(p_{k}>0\right)}$

cumulative sum

$\begin{array}{l}{S_{0}=0} \\ {S_{n+1}=\max \left(0, S_{n}+x_{n}-\omega_{n}\right)}\end{array}$

信息论角度看时间序列 representation

熵的计算方法

$H(X)=-\sum_{i=1}^{n} p\left(x_{i}\right) \log p\left(x_{i}\right)$

但是时间序列没有具体给出序列的分布，无法直接计算。但可以估计，具体的估计方法有三种：

binned entropy
approximate entropy
sample entropy

分类特征

Discrimination power of measures for nonlinearity, c3

$\frac{1}{n-2 \operatorname{lag}} \sum_{i=0}^{n-2 l a g} x_{i+2 \cdot \operatorname{lag}}^{2} \cdot x_{i+\operatorname{lag}} \cdot x_{i}$

an estimate for a time series complexity, cid_ce

$\sqrt{\sum_{i=0}^{n-2 l a g}\left(x_{i}-x_{i+1}\right)^{2}}$

time reversal asymmetry statistic

$\frac{1}{n-2 l a g} \sum_{i=0}^{n-2 l a g} x_{i+2 \cdot l a g}^{2} \cdot x_{i+l a g}-x_{i+l a g} \cdot x_{i}^{2}$

Highly comparative feature-based time-series classification

时间序列的光滑处理

simple moving average

$\begin{aligned} \overline{p}_{\mathrm{SM}} &=\frac{p_{M}+p_{M-1}+\cdots+p_{M-(n-1)}}{n} \\ &=\frac{1}{n} \sum_{i=0}^{n-1} p_{M-i} \end{aligned}$

迭代处理

$\overline{p}_{\mathrm{SM}}=\overline{p}_{\mathrm{SM}, \mathrm{prev}}+\frac{1}{n}\left(p_{M}-p_{M-n}\right)$

Cumulative moving average

$C M A_{n}=\frac{x_{1}+\cdots+x_{n}}{n} \\ C M A_{n+1}=\frac{x_{n+1}+n \cdot C M A_{n}}{n+1}$ $\begin{aligned} C M A_{n+1} &=\frac{x_{n+1}+n \cdot C M A_{n}}{n+1} \\ &=\frac{x_{n+1}+(n+1-1) \cdot C M A_{n}}{n+1} \\ &=\frac{(n+1) \cdot C M A_{n}+x_{n+1}-C M A_{n}}{n+1} \\ &=C M A_{n}+\frac{x_{n+1}-C M A_{n}}{n+1} \end{aligned}$

Weighted moving average

$\mathrm{WMA}_{M}=\frac{n p_{M}+(n-1) p_{M-1}+\cdots+2 p_{(M-n+2)}+p_{(M-n+1)}}{n+(n-1)+\cdots+2+1}$

Exponential moving average

$S_{t}=\left\{\begin{array}{ll}{Y_{1},} & {t=1} \\ {\alpha \cdot Y_{t}+(1-\alpha) \cdot S_{t-1},} & {t>1}\end{array}\right.$

Double exponential smoothing

$\begin{array}{l}{s_{1}=x_{1}} \\ {b_{1}=x_{1}-x_{0}} \\ \begin{aligned} s_{t} &=\alpha x_{t}+(1-\alpha)\left(s_{t-1}+b_{t-1}\right) \\ b_{t} &=\beta\left(s_{t}-s_{t-1}\right)+(1-\beta) b_{t-1} \end{aligned} \end{array}$

for forecasting $F_{t+m}=s_{t}+m b_{t}$

类似的还有，Triple exponential smoothing。

实现

项目地址见：time series features

转载请包括本文地址：https://allenwind.github.io/blog/10951
更多文章请参考：https://allenwind.github.io/blog/archives/