(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210374248.9 (22)申请日 2022.04.11 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 朱杰友　周炳朋　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 禹小明 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双向循环卷积神经网络的可见光 定位跟踪方法 (57)摘要 本发明提出一种基于双向循环卷积神经网 络的可见光定位跟踪 方法， 涉及可见光定位跟踪 的技术领域， 利用多个光电二极管在连续时刻下 接收到的可见光信号， 得到连续时刻下的观测数 据并记录连续时刻下目标 终端的位置坐标标签， 对双向循环卷积神经网络模型进行训练， 向训练 好的双向循环卷积神经网络模型输入在线观测 数据信息即可获取对应的目标终端位置定位估 计， 双向循环卷积神经网络模型能够挖掘并融合 观测数据时间和空间特征信息， 在定位估计过程 中， 不仅考虑当前观测信息， 还根据连续时刻的 观测数据信息， 设计双向循环卷积神经网络提取 连续时刻的时空特 征信息， 使得定位精度更高。 权利要求书6页 说明书16页 附图11页 CN 114862906 A 2022.08.05 CN 114862906 A 1.一种基于双向循环卷积神经网络的可见光定位跟踪方法， 其特征在于， 所述方法包 括以下步骤： S1.为目标终端配备若干个光电二极管， 令目标终端在室内做随机运动， 利用光电二极 管在每一时刻接 收可见光信号， 得到连续时刻下 的观测数据， 并记录连续时刻下目标终端 的位置坐标 标签； S2.构建双 向循环卷积神经网络模型， 双向循环卷积神经网络模型包括正向循环记忆 模块与反向循环 记忆模块； S3.将观测数据与位置坐标标签分别进行预处理并记录预处理过程， 将预处理后的观 测数据与位置坐标标签作为训练集， 输入双向循环卷积神经网络， 并训练网络模型参数集 合， 得到训练好的双向循环卷积神经网络模型； S4.以S1所述的方式， 实时获取连续时刻 下的观测数据并进行预处理， 然后将预处理后 的观测数据输入至训练好的双向循环神经网络模型； S5.正向循环记忆模块与反向循环记忆模块分别提取连续时刻下观测数据中的时空纹 理特征信息并输出； S6.融合正向循环记忆模块与反向循环记忆模块提取的时空纹理特征信息， 作为当前 时刻双向循环神经网络模型输出的目标终端定位估计； S7.设置连续输入时刻次数最大值为T， 重复执行T次S5～S6， 得到T次连续时刻下的目 标终端定位估计， 对其进行与S3记录的预处理过程相反的操作， 得到目标终端对应的连续 时刻的位置估计。 2.根据权利要求1所述的基于双向循环卷积神经网络的可见光定位跟踪方法， 其特征 在于， 在步骤S1中， 设为目标终端配备了N个光电二极管PD， 以M个发光二极管LED作为信标 传输可见光， N个光电二极管PD感知可见光接收信号 强度RSS， 设目标终端在t时刻的三维位 置坐标参数为 表示实数空间 下的三维空间， 在t时刻接收到与第 m个LED发射 器和第n个光电二极管PD相关的可见光接收强度值为 t表示采样的时刻， 且观测数 据 是目标终端在位置 处获取的； 令 此时， M和N分别表示 可见光RSS矩阵的行和列， vec[]表示堆叠为向量形式， 设A(t)∈RM×N ＝mat[z(t)]表示t时刻接收到的可见光RSS数据z(t)的矩阵形式， mat[ ]表示堆叠为矩阵形 式； 令目标终端在室内做随机运动， 设连续时刻下的可见光RSS观测数据表征为集合 对应的位置坐标 标签集合表示为 为RSS观测数据的向量形式， 其中， t表示连续观测时 刻次序， T表示目标运动的最大 连续时间刻度。 3.根据权利要求2所述的基于双向循环卷积神经网络的可见光定位跟踪方法， 其特征 在于， 在步骤S2中， 正向循环记忆模块用于挖掘过去时空纹理特征， 反向循环记忆模块用于 挖掘未来时空纹理特征； 正向循环记忆模块与反向循环记忆模块的内部结构及网络参数均 相同， 二者均包括记忆细胞、 隐藏态细胞和三个门结构分支， 门结构分支分别为遗忘门分 支、 记忆门分支和 输出门分支， 其中， 遗忘门分支由全连接层组成； 记忆门分支由若干个3D权　利　要　求　书 1/6 页 2 CN 114862906 A 2卷积层和全连接层组成， 3D卷积层在前， 全连接层在后， 所有3D卷积层依次连接， 随后全连 接层再依次连接； 所述输出门分支由全连接层组成。 4.根据权利要求3所述的基于双向循环卷积神经网络的可见光定位跟踪方法， 其特征 在于， 步骤S3所述的将预处理后的观测数据 与位置坐标标签 作为训练集， 在 双向循环卷积神经网络模型的具体内部处 理流程如下； 1).初始化记忆细胞与隐藏态细胞， 并获取遗忘门分支、 记忆门分支及输出门分支的输 入信息； 根据连续时刻的可见光RSS观测数据的集合 向量形式为 t表示观测时刻次序， T表示目标运动的最大连续时间刻度； 设 表示正向 循环记忆模块与反向循环记忆模块的模块序次， 设第 个模块中第t时刻的记忆细 胞和隐藏态细 胞分别为 和 第 个模块中的记忆细胞和隐藏态细 胞 集合为 和 初始化正向循环记忆模块中的 和 为0， 反向循环 记忆模块的 和 为0； 正向与反向循环卷积记忆模 块具备相同的内部结构， 设在 t时刻下， 第 个模块中遗忘门 分支的输入信息为 记忆门分支输入为 输出门分支的输入为 具体为： 其中， mat[ ]表示所有元素堆叠的矩阵形式， vec[ ]表示所有元素堆叠的向量形式； 特 别说明的是， 在第 个模块的记忆门分支中， 首先将h(1， t‑1)或者h(2， t+1)和z(t)拼接成一个维度 为2MN的向量， 然后将该向量按照顺序堆叠为维度为 的矩阵， 进而得到记 忆门分支的输入数据 正向循环记忆模块中的所有分支的输入信息均来源于(t ‑1)时 刻隐藏态信息h(1， t‑1)和观测数据A(t)， 反向循环记忆模块当中的输入信息均 源于(t+1)时刻 的隐藏态细胞信息 h(1， t+1)和观测数据A(t)， 向量形式为z(t)； 2).遗忘门分支处 理数据 设第 个模块中的遗忘门权重参数为 遗忘门分支的偏置向量为 sigmoid函数表示非线性激活函数， 即 第 个模块中t时刻的遗 忘门输出为 具体处理公式如下： 其中， 设 表示第 个模块中遗忘门权重 参数的向量 形式， vectorize[]表示将矩阵中的元 素逐个堆叠为向量形式；权　利　要　求　书 2/6 页 3 CN 114862906 A 3