本研究的主要过程涉及生成ETR特征图并使用它们来训练CNN模型，从而实现对不同目标对象中多个动作的准确分类。如图1所示，首先，对每个EEG训练或评估时段的数据进行分析以获得事件的相应位置和持续时间，并记录每个事件的类别。之后根据事件，获得了代表连续数据的时间点试验集的epoch。然后选择时间段和频带以计算每个通道值以生成ETR。最后，基于CNN，输入ETR的空间功率关系以通过卷积层提取一些特定特征。

图1基于运动想象的多类、多目标对象EEG信号分类方法的流程图

上图为基于运动想象的多类、多目标对象EEG信号分类方法的流程图：

(1)从多通道脑电图信号中提取作为事件、epoch和脑电图时间序列值;

(2)将训练标签和测试标签按照事件、动作和时间域(这是分类的预测参数之一)进行标记后生成ETR map;

(3)将ETR map和分类标签输入循环卷积网络进行学习和分类;

(4)建立多种训练和分类方案，分析其优缺点;

(5)调整参数，包括特征值生成和机器学习，寻找最优分类器;

(6)找到最优分类并输出。

考虑到数据存储，操作速度以及不想改变的电极实际能量分布，研究人员将地形图绘制为生成的尺寸大小为200 x 200像素的图像。为了比较每个频段的地形图组，在生成图像之前，根据功率值统一功率条，如下表所示。

上表列出了由六种不同算法得到的功率条值。这些值生成不同类型的ETRs，如下图所示。

图2.使用六种不同的算法从相同频段的相同EEG数据生成的地形图

网络架构

研究人员在该项研究中设计了ETRCNN网络，其网络架构如下：

图3. ETRCNN架构概述

如上图所示，网络由四个部分组成。

第一部分为：一个输入层将ETR数据结构标准化；

第二部分为，三个CNN层包括整流线性单元(ReLU)和最大池化层；

第三部分为，Flatten层将多维数据”拍平”为一维；

第四部分，分类结构包括两个全连接层，具有一个sigmoid激活函数和一个softmax输出层，最终可以获得五类的判断权值。

网络由每一层中的一个或几个map(一般只feature map，叫特征图)组成。每个map代表经过卷积和池化的得到的层实体，它适合于从输入数据中学习特征。然后，作为下一层的输入，最大池化层最终将连接到全连接层，在此处通过softmax计算完成分类。层的关键参数详细描述如下:

• 输入归一化:为了安全起见，根据宽度和高度参数对输入进行检查和调整大小。考虑到图像的深度一般为3,CNN的输入是一个矩阵集，其中每个数据的张量形状为64×64×3。因此，训练ETRs包含了9个受试者的训练数据集和6个时间间隔。CNN学习了六种训练模型，然后找出最佳的模型。

• 模型架构：ETRCNN学习框架采用了一个输入层，三个ReLU和最大池化的CNN层，每个层中有两个完全连接的层，其后是一个dropout层，以及一个softmax输出层，用于分类(见图3)。

分类器选择：在ETRCNN框架中，根据运行数据结构经验选择算法1的内部参数和算法策略。当模型的训练精度和验证精度高于设置的参数，并且验证损失低于设置的参数时，会将当前模型复制到文件夹中。根据判断策略以及每个事件的epoch，生成了一组ETR图像然后利用训练好的模型进行预判断。然后，对五类中的预先确定量进行统计，以数量最大的先验作为最终决策值(见算法1)。

本文利用2008年BCI竞赛IV-2a脑电数据集对所提方法进行了验证。它由9个受试者的脑电图数据组成，这些受试者执行四项运动想象任务，即在提示睁眼、闭眼和动眼任务后对左手、右手、双脚和舌头运动的想象。如图4所示，在每个会话开始时，进行三次EOG试验，随后进行六次MI试验，图5 为2008 BCI竞赛IV-2a的22个电极对应于国际10-20系统。

图4

图5 10-20系统

每个受试者的训练集(如表3所示)和测试集(如表4所示).

对来自2008年BCI竞赛IV-2a数据集的每个受试者，在9 ~ 30Hz时每1.0 sETR与9 ~ 20Hz时每1.0 s ETR进行分类精度比较。两种形状的ETR的一些实例如图6所示。在相同条件下和不同条件之间存在一些实例的变体。很明显，单通道输入数据失去了电极之间的空间关系。然而，每个电极的时序信息被保留。

图6 在2008年BCI IV-2a数据集中，来自受试者3的9 ~ 30Hz和9 ~ 20HzETR的几个实例。

在1.0 s的窗口中，这三个情况分别从右、舌和脚的试验中产生两个形状

为了便于比较两个波段的ETR分类准确率，我们将这些ETRs输入到CNN中，在同一受试者的同一时间窗口对模型进行训练。图7显示了两种不同频段模型下的分类性能。由此可见，在9 ~20 Hz频段产生的模型性能要高于在9 ~30 Hz频段产生的模型性能。

图7.在9〜30 Hz和9〜20 Hz ETR中的分类性能评估。

x轴表示分类器的迭代次数，y轴表示分类精度。

研究人员还在ETRCNN的每个卷积层中提取中间特征，并进行了可视化，如下图所示，左边和右边的子图分别来自于2008年BCI竞赛IV-2a数据集中受试者9的左手和右手运动的MI;这些信号从9-20 Hz的频带过滤，并分割为1 s的时间窗口大小。

图11 ETRCNN在每个卷积层中提取中间特征可视化

通过分析输出层神经元的最大激活量，可以发现对应于某一类别的最具代表性的原型样本(图12)。激活最大化和生成模型的组合成功捕获了与每个类别相对应的中心特征表示。从图12中可以看到，与右手MI相比，左手MI的最明显的表示区域在感觉关联区域的右手侧。另外，脚和舌MIs集中在初级运动皮层，初级体感皮层和感觉关联区域的中间区域，并且舌MI的反射区域比足MI的反射区域宽。这些结果证明，将激活最大化与生成模型相结合的方法可以生成更现实和可解释的原型样本。这对于下一步构建高质量的模型库非常有帮助。

图12 通过ETRCNN模型在每个MI动作中生成具有激活最大化的判别原型。

蓝色线圈标记最重要的最大特征区域。

研究人员在本文中提出了一种新的ETR能量计算方法，用于使用卷积神经网络学习大脑活动的EEG模式。它能够在一个通用的学习模型中识别多个对象。具体而言，研究人员在实验中使用里来自2008年脑机接口(BCI)竞赛IV-2a的数据集进行五类分类，其中包含四个运动想象动作和一个放松动作。在该项研究中，提出的分类框架的平均准确率比最好的分类方法高10.11%。

参考信息

Learning EEG topographical representation for classification via convolutional neural network