《自然·机器智能》 | AI for Neuroscience-深圳先进院蔚鹏飞团队提出自由社交行为的人工智能精细化分析方法
by 韩亚宁 | 2024-01-08
社交行为是高等哺乳动物重要的本能行为，社交障碍是自闭症、抑郁症以及社交焦虑症等疾病的高度共有病征，社交行为的读取与解析是研究社交障碍神经环路机制关键技术之一。
2024年1月8日，中国科学院深圳先进技术研究院脑认知与脑疾病研究所（以下简称“深圳先进院脑所”）/深港脑科学创新研究院蔚鹏飞研究员团队（以下简称“蔚鹏飞团队”）在人工智能领域国际顶级期刊《自然·机器智能》(Nature Machine Intelligence) 期刊发表了题为” Multi-animal 3D social pose estimation, identification, andbehavior embedding with a few-shot learning framework”的论文，发布了神经环路研究领域一项突破性应用技术：针对社交行为研究的小样本学习计算框架模型Social Behavior Atlas （以下简称“SBeA”）。
该技术实现了自由社交动物模型的无标签、高精度三维姿态估计、零样本身份识别和精细化社交行为分类，真正解决了精确检测动物社交行为的多个重要难点，有望为社交行为神经环路机制的研究带来研究范式上的变革创新。该工作为科技创新2030-“脑科学与类脑研究”重大项目“社交障碍的神经环路机制与干预研究”的实施，提供了重要的精细行为数据分析支撑。
文章上线截图
点击文末“文章链接”查看全文
近年来，深度学习技术在传统行为学研究领域的广泛应用，促进了计算神经行为学（computational neuroethology）这一新兴学科的蓬勃发展，DeepLabCut、SLEAP、MoSeq等AI动物行为追踪技术正在成为神经科学家的重要研究工具。但是在多目标、自由社交行为的研究领域，尽管上述技术都相继推出了自己社交行为分析版本，但是在海量数据标注问题、连续追踪的身份准确性等问题上的技术不成熟，使得目前研究人员仍没有真正可用的有效工具，社交行为的研究大部分仍停留在传统三厢行为实验阶段。
上述现有欧美技术的性能首先受制于人工标注数据集的数据量。在社交行为实验中，无法避免地需要在多种行为实验范式中使用不同的模式动物，深度学习模型精准与否取决于实验人员标注的视频的数量，每一个数据集的准备都需要花费实验人员数周的时间，极大地降低了实验效率，限制了上述工具的应用场景。SBeA在自由社交动物的姿态估计、身份识别和行为分类的三个阶段，分别针对性地提出了小样本的数据生成算法、零样本双向迁移学习方法和自然结构启发的无监督社交行为分解聚类策略，有效降低了每个阶段的数据标注量。
SBeA的姿态估计小样本数据生成算法和身份识别零样本双向迁移学习方法的设计均受到大脑的工作机制的启发（图1）。人类在识别交互的动物时，能 “脑补”动物可能存在的遮挡关系，这一过程为大脑提供大量的新数据。据此所提出的连续遮挡复制粘贴数据算法可以有效合成大量新数据（图1a），能够训练精度更高的模型，获得更加准确的3D社交姿态估计结果。在非社交场景中，人类能够通过外表区分每一只动物的身份，也能“脑补”到多动物社交场景，识别每一只动物的身份。受到启发，SBeA的多动物社交身份识别通过共享不同网络的知识实现双向迁移学习（图1b），借助模型之间的“脑补”，消除了标注数据的过程，并实现了高精度的外表相似动物的身份识别。
图1 小样本连续遮挡复制粘贴数据生成算法
(a)和零样本双向迁移学习方法 (b)示意图
多动物社交行为分析最大的难点在于同时区分外观非常相似的动物。两只小鼠在自由社交时，区分它们的身份是研究特定疾病造模个体的基础，然而即使是专业的实验人员也很难区分每一只的身份。零样本双向迁移学习借助人工智能超越人类精度的图像特征分辨能力，实现了大于90%的自由社交动物身份识别准确率（图2），推动社交行为研究进入不需要约束动物的自然行为时代，革新社交实验范式。
图2 外观相似动物的身份识别准确率>90%
动物行为具有类比人类语言的“字母-单词-语句”结构，社交行为则包含动物与动物之间行为语言结构的交互。根据社交行为的自然结构，将社交行为类比语言进行并行、动态的分解，综合考量多种社交行为特征进行社交行为的自适应无监督聚类，获得百余种精细社交行为模块（图3）。SBeA不需要提前定义社交行为类别，有利于发现新的、未定义的社交行为差异。SBeA能够鉴定三箱社交、分区域社交等经典社交实验范式难以获得的自由社交行为表型。使用SBeA，鉴定得到孤独症小鼠模型和正常小鼠两两之间社交的精细行为差异（图4），孤独症小鼠模型缺少的相互理毛、同伴嗅探和增加的原地不动、刻板的同步行为显示出自然状态下孤独症小鼠模型亲社会样行为的缺失、社交新颖性和运动能力的降低。仅通过社交行为的差异即可分类孤独症小鼠社交组和正常小鼠社交组，证明了SBeA具有通过社交行为来识别异常小鼠的能力。
图3 自然行为结构启发的社交行为动态分解和聚类流程图
图4 SBeA鉴定孤独症小鼠多种异常的精细社交行为模块
除了小鼠外，SBeA也适用于计算鸟类和家犬的精准的3D社交姿态、身份和精细社交模块，具有跨物种应用的潜力（图5）。家犬部分的工作与中国科学院昆明动物研究所张亚平院士和王国栋研究员团队、公安部昆明警犬基地李静团队合作，在科技创新2030“脑科学与类脑研究”重大项目支持下共同完成。
图5 SBeA量化鸟类和家犬的精细社交行为
深圳先进院脑所蔚鹏飞研究员为论文的通讯作者。论文第一作者是深圳先进院脑所在读博士生韩亚宁，共同第一作者包括硕士生陈可（现就职芯动科技）和助理研究员王云珂（现就职微创医疗）。研究的开展要大力感谢深圳先进院脑所王立平研究员的关怀与指导，同时感谢已毕业博士黄康（现就职深圳一湾生命科技）的积极支持。感谢科技部科技创新2030“脑科学与类脑研究”重大项目、国家自然科学基金委员会、中国科学院青年创新促进会、国家重点研发计划、中国科学院脑联结解析与调控重点实验室和广东省脑连接图谱重点实验室的资助与支持。
团队合影，蔚鹏飞（通讯作者，前排左三），韩亚宁（第一作者，前排左二），王楠（共同作者，前排左四），王舟伟（共同作者，前排左五）
