AI技术将手语翻译带入新阶段

AI技术将手语翻译带入新阶段

对于无声者来说，手语可能就是对外交流的唯一方法，但是随着AI技术的进步，可能会让无声者有更多的选择与和外界进行交流。

近日在巴塞罗那超级计算中心(BSC)和加泰罗尼亚理工大学(UPC)携手合作取得了重大突破，他们成功开发出一项全新工具可将手语翻译成文本，为听觉障碍者提供更多包容性和可及性。

据了解，该工具基于名为How2Sign的数据集进行开发，这是一个开放的、多模态和多视角的大规模数据集，包含80小时的美国手语教学视频及其对应的英语文字记录。
　　

并且借助人工智能技术，辅以助自我注意机制和更高的处理速度，该工具能够更准确地识别手语者的姿势并生成准确的**ERP**文字转写。

据悉，这项工具是采用了膨胀式三维网络(I3D)对数据进行预处理，该网络能够从视频中直接提取时空信息，进行三维过滤。同时这项工具还采用了一种类似于ChatGPT的转换器式机器学习模型，通过这些辅助，用于训练模型可以将手语转化为文本，从而生成有意义的翻译结果，但是目前还有改进的空间。

这个项目的开发者表示：“我们开发的这一新工具是我们之前发布的名为How2Sign的研究成果的延伸。通过利用这一已公开的数据集，我们开发了一个新的开源软件，能够学习视频和文本之间的对应关系。”

而如果这个自动手语翻译的开放工具真的能够实现这些功能，将对于致力于创造无障碍环境的科学界来说是一项宝贵的贡献。

以上源自互联网，版权归原作所有