6163银河线路检测中心

1. 标题

· Identifying Human Daily Activity Types with Time-Aware Interactions

· 顾及交互特征的人类日常活动类型识别

2. 成果信息

· R. Chen, H. Yao, R. L, X. Kang, S. Li, L. Dong, J. Gong*, Identifying Human Daily Activity Types with Time-Aware Interactions, Appl. Sci. 2020, 10(24),8922

· https://doi.org/10.3390/app10248922

· HTML Version: https://www.mdpi.com/2076-3417/10/24/8922/htm

· This research was funded by the National Natural Science Foundation of China(grant number 41801378), Open Fund of Key Laboratory of Urban Land Resources Monitoring and Simulation, Ministry of Natural Resources (grant number:KF-2019-04-033)

3. 成果团队成员

· 陈仁谣（第一作者），硕士生，6163银河线路检测中心。

· 龚君芳（通信作者），博士，6163银河线路检测中心，研究方向：空间数据挖掘。Email: jfgong@cug.edu.cn。

4. 成果介绍

用户在社交媒体上发表的信息中，单词与帖子间存在固定的构成规律和语法规则，不同帖子间的单词也存在着关联关系和分布特征。除此之外，不同用户还影响活动信息的生成和传递。这些不同类别的信息通过社交网络进行组织和连接，存在丰富的结构特征。利用图神经网络将这些信息融合起来，建立合适的模型对融合后的信息进行处理，能极大促进用户活动的识别任务。在利用单一活动信息识别用户活动的问题中，多种类别的信息意味着更多的特征组合，在模型特征不足的情况下，通过其它知识的辅助和补充，能大大提高模型的性能和鲁棒性。这类外部知识不只包括额外补充的语义信息，同时包括活动信息自身固有的，未被挖掘的结构关系特征。

本研究在活动识别过程中，从特征挖掘和补全的角度出发，在保留活动信息完整语义的基础上，考虑不同活动信息之间潜在的交互特征，以及单词与活动信息之间的微观结构特征，通过融合用户类型的额外特征补充，构建活动信息图。最后，结合图神经网络模型，对信息图中的节点进行分类，提升了人类活动类型识别的准确率。

本研究的主要贡献在于:

1）为了有效地对隐藏在社交媒体信息中的交互信息进行建模，本研究从文本和时间两个角度进行考虑，不仅可以构建帖子文本内容和用户之间的关系，同时还可以利用日期编码方法来捕获用户在不同时间的活动模式。

2）为了在社交媒体中综合考虑时间感知交互和轨迹文本，开发了一个基于时间门控的人类活动图卷积网络模型（TG-HAGCN），以通过门控机制融合两个GCN组件的嵌入。它为如何融合多种类型的异构数据提供了参考解决方案。

3）所提出的方法显著提高了人类活动类型判别的性能，准确性高，速度快。结果表明，社交媒体之间的时间感知交互提升了机器学习在社交媒体数据挖掘和智能应用程序上的能力。

主要结果图和表如下：

Figure 1. Interactions among words, posts, dates and users.

Figure 2. TG-HAGCN model.

Table 1. Comparison with baseline models (where “Acc” means accuracy, “F1” means F1-score, “Mac” and “Mic” are the prefixes of “Acc” and “F1” to indicate macro/micro-average accuracy and F1-score). For each row, the best Acc and F1 are indicated in bold.

Figure 2. Curves of (a) accuracy (b) loss of different models.