Hand Wave
Hand Wave 利用智能眼镜摄像头将手语实时转换为文字和语音,支持跨平台,为听障人士提供便捷沟通工具。
热门评论
我在用 Meta 眼镜(以及其他设备)上已有的摄像头做 Hand Wave,让手语对话更容易。欢迎告诉我你的想法!
设备端本地推理是让我眼前一亮的点。我给老年人做语音 AI,只要任何东西依赖实时连接,在真实家庭里的可靠性就会崩。Hand Wave 在手部部分可见或光线不足时表现如何?这通常是基于摄像头的模型开始掉链子的地方,对实际无障碍使用很重要。
在设备端本地跑模型确实是一步妙棋,延迟低,隐私也干净。很高兴看到开源手语项目真的落地到眼镜上,而不是停留在演示地狱里。
喜欢你用开源的本地优先模型来构建这个,因为这样的无障碍工具绝不应该依赖付费墙或联网才能用。
我记得 FSBoard 是手指拼写数据集,是单个字母而不是完整手势。所以这是在逐字母读取手指拼写的单词,还是也能处理真正的 ASL 手势和语法?这是两个完全不同的问题,而且“手语转语音”听起来像是在承诺后者。