新闻资讯

能力介绍| HUAWEI HiAI和分布式技术,高效解决科学研究中“多检测多设备”痛点

2020年9月23日

9月12日,历时三天的华为开发者大会2020(Together)在东莞松山湖圆满闭幕。大会上HarmonyOS 2.0、EMUI 11、HMS等接连亮相,为全球开发者与生态合作伙伴带来了最新进展。其中,南方科技大学利用HUAWEI HiAI技术研究小鼠步态的案例给与会者们留下了深刻印象。


步态不规则,听到这样的词,很多人的脑海里呈现的可能只是体态问题。但在医学上,步态不规则是常见的神经发育疾病和障碍,是脑瘫和帕金森病的表现之一,即使细微的步态差异,也有可能是自闭症谱系障碍的临床表现。

无论是脑瘫,帕金森病,还是自闭症,医学界从来没有停止过探索治愈的步伐。

在探索实验中,由于小鼠有着容易饲养,繁殖率高,遗传上有较高的纯和度,代谢类型、生理病理与人类相近等特点,研究员时常会将小鼠视为一种很好的实验动物。通过观测小鼠行为进行分析,来协助进行相关疾病的实验病理学和实验治疗学(包括新药筛选)研究,以求方便有效地认识人类疾病的发生发展规律,研究防治措施。

因此,如何准确观测、记录小鼠的行为并用于分析,成为研究员面临的首要难题。来自南方科技大学生医工系陈放怡导师组的(准)研究生和RA(研究助理)从自身研究出发,在遵循校方严格的动物伦理审查决议的前提下不断地观察研究,最终在华为HiAI的帮助下,开发出鼠步究疾应用,攻破这一生物医学实验设备难题。

 


年轻队伍攻克设备难题
极力追求高效低成本实验设备

这支年轻的6人队伍年纪最小的22岁,最大的只有27岁,主要从事小鼠步态行为分析和小鼠视觉功能行为分析。

由于实验室的一个主要方向是设计生物医学实验设备,最初他们通过运动相机、手机离线拍摄,将拍摄到的成品通过有线传输拷贝到PC上进行后续计算分析,如此搭建实验设备。然而这样会导致每次实验的流程都比较繁琐。这个实验设备的使用者主要为各个科研机构,单次部署这样一套设备需要的组成成分较高,每个机构的学习成本也比较高,成本高并且对使用者很不友好。


(原本复杂的小鼠步态观察设备)

因此,小组成员决定将流程重构,借助更先进的技术将摄像头和数据处理部分整合,达到高效低成本的效果。

 


借助华为分布式技术东风
科技与科研碰撞APP集成火花

有了这个改进的想法,小组成员也在积极寻求落地之道。在开发APP之前,他们已经在PC端完成了神经网络的训练和代码部署,但对于如何模型的小型化,转换成更方便高效APP,团队就遇到了极大的挑战。

由于小组成员一开始就是使用华为的手机作为实验的拍摄装置(因为其能支撑120fps的高清拍摄,满足高清拍摄的需求),所以他们理所应当地把求助的目光转向华为。


(华为手机作为支撑的拍摄装置)

导师与华为取得联系,希望获得华为在相机功能上的支持和定制,进一步改进设备。在团队与华为工程师的进一步沟通中,发现可以利用华为研发的分布式技术,通过手机跨设备访问周边设备,打破硬件边界,将实验设备的图像采集与数据处理集成到APP上;在视频流SDK上也得到了华为的技术指导和支持;同时,团队在华为HUAWEI HiAI的帮助下,扭转了原有的网络参数不适合手机便携化的局面。

 


(拍摄效果)

 


鼠步究疾APP成功开发
结合AI和分布式创新技术实现省力便捷

鼠步究疾是他们成功集成的其中一个APP,主要集中于小鼠步态行为分析。通过AI神经网络的方法,对实验中视频轨道中的小鼠四肢进行识别,用于运动神经创伤/帕金森等疾病的进一步的行为分析。

目前,产品结合华为HUAWEI HiAI的端侧AI能力 + DeviceVirtualization Kit分布式能力,通过分布式数据管理将散落在不同设备上的数据自动同步,快速在手机侧同步完成小鼠的端侧识别及跟踪,并用于后期的行为分析。这就相当于节省了当前拍摄视频后手动导入到PC上进行识别及跟踪的后处理的繁琐过程,让科研工作组更高效聚焦实验本身,提高科研试验的处理效率。

另一方面,科研题目往往需要在多个实验环境同时进行测试。之前实验时需要配备多个专用PC用于观测,专用设备大批量复制不仅耗费巨大还很困难;与HUAWEI HiAI合作后改用手机终端,可以有效解决这个问题,使用起来更加便捷。


(鼠步究疾APP界面)

 


除却病理治疗领域应用
鼠步究疾或将用于智能养殖的健康监控

鼠步究疾应用的适用范围可谓非常广泛,不仅仅应用于通过小鼠的行为分析来协助进行相关疾病的实验病理学和实验治疗学(包括新药筛选)研究,包括自闭症、前庭损伤、药物成瘾等疾病的小鼠行为学研究。通过小鼠的行为分析来协助进行相关疾病的实验病理学和实验治疗学(包括新药筛选)研究,有助于更方便、更有效地认识人类疾病的发生发展规律,研究防治措施。

此外,该应用未来可能可以用作智能养殖的健康监控领域。多路摄像头和传感器协同工作,各自分担一部分算力,主节点的负担减少很多。并且可以做到及时响应。

在很多开发者眼里,医学也许离我们很近,生物医学实验设备却好像离我们很远,因为生物医学实验设备的专业性无形中树立了极高的门槛。但这款借助华为HiAI和分布式技术,融合HUAWEI HiAI 迁移学习(实体跟踪识别) + HUAWEI HiAI Foundation + DeviceVirtualization Kit而诞生的现代生物医学实验设备,通过分布式技术,让我们看到了科研和医学应用问题不一样的解决途径。