算法001.机器学习004.应用场景
, ,

自编码在ECG场景异常检测

Catalogue
  1. 1. 问题背景介绍
  2. 2. 基于自编码器的异常检测
    1. 2.1 什么是异常检测
    2. 2.2 基于自编码器的异常检测
      1. 2.2.1 什么是自编码
      2. 2.2.2 自编码异常检测原理
  3. 3. 项目介绍(模型实践)
    1. 3.1 kaggle相关项目(医疗健康:ECG)
    2. 3.2 数据集介绍
      1. 3.2.1 Plot ECG
      2. 3.2.2 Preprocessing
    3. 3.3 模型训练
      1. 3.3.1 模型定义
      2. 3.3.2 模型训练
      3. 3.3.3 模型保存
      4. 3.3.4 plot model
      5. 3.3.5 Test model
      6. 3.3.6 模型加载和推理

本文总结了基于自编码模型的异常检测在医疗健康领域ECG应用方式。通过对ECG的序列数据分析和深度学习发现异常的ECG数据，
从而检测出可能存在的心脏疾病等健康问题。另外通过对本文的学习，可以了解异常检测、自编码的概念，自编码模型架构，以及
自编码的异常检测模型如何实现和在实时场景如何应用。首先介绍下一些核心的概念:

ECG 即心电图（Electrocardiogram）。ECG数据中的异常可能预示着心脏疾病等健康问题。
对ECG数据进行异常检测可以帮助医生及时发现潜在的健康风险。

异常检测（也称为离群值分析）是数据挖掘中的一个步骤，它可以识别偏离数据集正常行为的数据点、事件、观察结果。
异常检测也广泛应用于工业制造、信息安全、医疗健康等多个领域，而机器学习的方法正逐渐被用于实现异常检测的自动化，包括以下方式：
监督学习方法(分类、回归)；无监督学习(聚类、Isolation Forest、PCA)；半监督(One-Class SVM、自编码器)；深度学习方法(DNN、GAN)。

1. 问题背景介绍

实现方法：

  1. 构建Autoencoder 模型对正常的ECG数据进行训练，使得模型能够学习到正常 ECG信号的特征。
  2. 当输入新的ECG数据时， 如果重构后的信号与原始信号之间的差异较大， 则判断该数据为异常的ECG信号， 可能存在心脏疾病 等异常情况。

以下的项目 对ECG 数据进行预处理，例如 去除噪声、标准化等操作， 以提高模型的性能。

2. 基于自编码器的异常检测

Autoencoder-based anomaly detection

2.1 什么是异常检测

What is anomaly detection?

Anomaly detection (aka outlier analysis) is a step in data mining that identifies data points, events, and/or observations that deviate from a dataset’s normal behavior. Anomalous data can indicate critical incidents, such as a technical glitch, or potential opportunities, for instance a change in consumer behavior. Machine learning is progressively being used to automate anomaly detection.

异常检测（也称为离群值分析）是数据挖掘中的一个步骤，它可以识别偏离数据集正常行为的数据点、事件和 / 或观察结果。异常数据可以指示关键事件，例如技术故障，或者潜在的机会，例如消费者行为的变化。机器学习正逐渐被用于实现异常检测的自动化。

2.2 基于自编码器的异常检测

Autoencoder-based anomaly detection

自编码器是一种无监督学习的神经网络结构，在异常检测中，基于自编码器的方法通常利用自编码器学习正常数据的模式，然后通过比较新数据与自编码器重构数据的差异来检测异常。如果新数据的重构误差较大，则可能被判定为异常数据。

2.2.1 什么是自编码

What is Autoencoder?
自编码器尽可能地学习产生与输入相同的输出。通过这个学习过程，输入的表示可以在潜在空间中被有效地压缩。换句话说，它压缩了维度并将输入的表示存储在潜在空间中。

自编码器的目标是学习如何将输入数据编码为低维表示，然后再将这个低维表示解码回尽可能接近原始输入的数据。所以在训练自编码器时，输入数据既是期望的输出数据。(先encode,再decode)

2.2.2 自编码异常检测原理

自编码异常检测原理

3. 项目介绍(模型实践)

3.1 kaggle相关项目(医疗健康:ECG)

kaggle项目:Dectecting Anomaly using Autoencoder
编辑的:fork from Dectecting Anomaly using Autoencoder
模型文件见：kaggle的以上项目链接

废弃:kaggle项目:ECG Anomaly Detection

3.2 数据集介绍

此数据集包含患者的心电图读数。每一行对应一位患者的一次完整心电图。每一个心电图都由 140 个数据点（读数）组成。

  1. 第 0 至 139 列包含特定患者的心电图数据点。这些是浮点数。
  2. 标签显示心电图是正常还是异常。它是一个分类变量，值为 0 或 1。

3.2.1 Plot ECG

Plot the normal/abnormal ECG.

3.2.2 Preprocessing

数据预处理：归一化

1
2
3
4
5
6
7
8
9
const preProcessing = (data0) => {
    const data1 = data0.map(item => Number(item))
    // 归一化
    const min_val = -6.2808752; // _.min(data1);
    const max_val = 7.4021031;  //_.max(data1);
    data1.forEach((element, index) => {
        data0[index] = (element-min_val)/(max_val-min_val);
    });
}

关于数据归一化：归一化时， 取了原始数据集的最大值、最小值。 当然有多种取法： 整个数据集(单个特征单独取、所有特征一起取)

  • 如果特征尺度差异很大，特征分别归一化可能更合适；如果特征尺度相对接近，一起归一化可能更简单有效。
  • 训练时的归一化，在推理时怎么处理呢？ 记录训练时的统计信息(均值、标准差、最大最小值) ，用于推理时特征处理.

问题：
如果把 异常的模式数据 作为正常 加到训练集中，会有什么影响？ 自编码器 对不同模式的 学习能力强不强，还是说适合指针对 某个范围内的 模式序列？

3.3 模型训练

3.3.1 模型定义

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
class AnomalyDetector(Model):
  def __init__(self):
    super(AnomalyDetector, self).__init__()
    self.encoder = tf.keras.Sequential([
      # 表示创建一个全连接层，也称为密集层。 有32个神经元。
      layers.Dense(32, activation="relu"),
      layers.Dense(16, activation="relu"),
      layers.Dense(8, activation="relu")])
    
    self.decoder = tf.keras.Sequential([
      layers.Dense(16, activation="relu"),
      layers.Dense(32, activation="relu"),
      layers.Dense(140, activation="sigmoid")])
  # 定义了call方法，这是模型的前向传播方法。当调用模型实例时，这个方法会被自动调用。
  def call(self, x):
    encoded = self.encoder(x)
    decoded = self.decoder(encoded)
    return decoded

autoencoder = AnomalyDetector()
# 指定了优化器为Adam优化器；指定了损失函数为平均绝对误差（Mean Absolute Error，MAE）
autoencoder.compile(optimizer='adam', loss='mae')

encoder 是一个由三层全连接层组成的神经网络。每层的神经元数量分别为 32、16 和 8，激活函数均为relu。这个编码器将输入数据压缩成低维表示。
decoder 同样是一个由三层全连接层组成的神经网络。每层的神经元数量分别为 16、32 和 140，激活函数为relu和sigmoid。这个解码器将低维表示解码回原始数据的形状。

输入数据维度与神经元之间关系：
1.连接方式：如果是一个全连接层，输入数据的每个特征(维度)都会连接到该层的每个神经元. 输入数据维度n,m个神经元，则总共有n*m个连接
2.神经元数量对模型的影响：表达能力、过拟合风险

  1. 选择合适的神经元数量

关于模型输出：依据自编码器的工作原理，解码器处理后，最终的输出为一个向量，其维度与输入数据一致。以尽量接近地还原原始输入。
问题：那怎么用于实际场景 判断当前数据是否异常呢(怎么分类)? 计算2个张量之间的差异(使用 平均绝对误差MAE方法)，详见模型测试(Test model)

encoder,decoder架构在深度学习模型中的定位? 为什么是三层的网络.

3.3.2 模型训练

The autoencoder is trained using only regular ECGs, but evaluated using the full test set.

1
2
3
4
5
6
7
8
history = autoencoder.fit(normal_train_data, normal_train_data, 
          epochs=20, 
          batch_size=512,
          validation_data=(test_data, test_data),
          shuffle=True)
# 两个参数都是 normal_train_data 的原因? (先编码为低维表示,再解码回尽可能接近原始输入的数据,因此)输入数据既是期望的输出数据。
# - 第一个normal_train_data是输入到自编码器的原始数据.
# - 第二个normal_train_data是自编码器应该学习去重构的目标数据。由于自编码器的目的就是尽可能地重构输入数据.

3.3.3 模型保存

1
2
3
4
# 保存整个模型
autoencoder.save('/kaggle/working/my_autoencoder_model')
# 或者只保存模型的权重
autoencoder.save_weights('/kaggle/working/my_autoencoder_weights.h5')

3.3.4 plot model

loss
If the reconstruction error is greater than one standard deviation from the normal training example, classify the ECG as abnormal. First, let’s plot the normal ECG of the training set, the reconstruction after being encoded and decoded by the autoencoder, and the reconstruction error.

3.3.5 Test model

分别用 normal data 和 abnormal data 进行测试.

1
2
3
4
5
6
7
# 推理（single_data 为一个 tf.Tensor
single_data = normal_train_data[0]
reconstructed_data = autoencoder.predict(np.expand_dims(single_data, axis=0))
print(reconstructed_data)

# 将解码后的张量 计算残差,  然后设一个阈值。
# 阈值的获取 通过 测试 正常、异常数据集的分布。

3.3.6 模型加载和推理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import tensorflow as tf

model_path = '/home/tensor/quano/tensorflow_project/autoencoder_model'
# 加载保存的模型
loaded_autoencoder = tf.keras.models.load_model(model_path)

# 推理
import numpy as np

# 示例输入数据
input_data = np.array([0.5703046609377435,0.46561659035884023,0.29058116682096913,0.17791583430341332,0.09538919607875133,0.08467857469305494,0.2019510401474509,0.3163002239066622,0.337320325941027,0.414248838646481,0.4707059485726145,0.4691904978026605,0.4776775491926345,0.48004090308321257,0.47027246326919925,0.4729926787942067,0.4791714871023365,0.4802746855193069,0.46928869645287685,0.4610686345968992,0.46148039363623056,0.4465829036650596,0.45325327885669453,0.4561009344727237,0.44896180387861906,0.4432531994880092,0.43402174656668135,0.4430723455872177,0.4325052631268151,0.43014902464619126,0.4145465801111444,0.41206530598678215,0.4042027816414794,0.4105454307414929,0.4082913235344385,0.4034299396645247,0.39648476384706394,0.393320447639678,0.3915881544590333,0.39603877907195106,0.4074695404581618,0.4053117945820319,0.4173487887501802,0.4162455852173646,0.42334117857952025,0.4459063725914117,0.4455184110026689,0.44474098888251545,0.44404327967106405,0.4567321697060647,0.45217464629027443,0.45325041515267184,0.460829305634432,0.4669593432008878,0.46631943865612946,0.4743283178341371,0.46297092117729954,0.47388949889659626,0.4678889792582658,0.46734479729460654,0.48026674134241665,0.48439838203938396,0.48574668791223624,0.48985567856962836,0.4931734825597144,0.48830411577865324,0.49913936646380563,0.5057091963669927,0.5078240970388735,0.513230286274736,0.5211992662445427,0.5149918325895467,0.5199009290250793,0.5074853718068091,0.5113434097896654,0.5092939451639706,0.5073481524121105,0.5110537944798174,0.5096124087253724,0.49639560197212335,0.49456538201189726,0.5014910057995196,0.5063671130721592,0.5020293695854213,0.5007152441365781,0.4958237410929754,0.48436235333355754,0.4914246074628358,0.48253574954511186,0.4772388391495147,0.4755063515667492,0.47530029920459643,0.48763381361205554,0.47761297699346644,0.4745832345579325,0.47575447225550305,0.47009120521663034,0.45409669348083376,0.4687486393221862,0.4767007399258976,0.4795878650191238,0.47514804507144476,0.4761949406877303,0.4856189189454463,0.4876376366101524,0.49962776744299886,0.5284430101010977,0.5431970757419092,0.5495933513246893,0.5488369809078774,0.5231477513926921,0.4934438615604616,0.4988147587722185,0.5099680323252431,0.5161331652480952,0.4907889556471781,0.466802485537816,0.43299440444190435,0.41644001145569315,0.4182245147607959,0.43140410154710257,0.4321411603788044,0.42124117378743486,0.42373569210440104,0.42885276080573775,0.43089887674527705,0.43537636466177837,0.4391244324344211,0.43714183556075653,0.44534281180581864,0.45330930781348977,0.4882133636066645,0.5786804690028633,0.5858615883356332,0.5959517819304003,0.5952476516022831,0.5700759388034695,0.4850423339485966,0.4233501875830645,0.4759834370270104])

tensor = tf.convert_to_tensor(input_data)
print(tensor)
print(tf.shape(tensor))
# 进行推理
reconstructed_data = loaded_autoencoder.predict(np.expand_dims(tensor, axis=0))
print(reconstructed_data)
# 计算MAE：平均绝对误差.
train_loss_0 = tf.keras.losses.mae(reconstructed_data, tensor)
print(train_loss_0.numpy())

查看tensorflow模型结构

1
2
saved_model_cli show --dir /Users/-/Downloads/my_autoencoder_model --tag_set serve --signature_def serving_default