When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference 中译

TL;DR 量化递归网络时，状态写回规则会压制小更新导致误差剧增；本文定位了 recurrent-state write-back 机制，并用 error feedback 等干预在 GRU/LSTM 上无重训恢复精度。

问题

问题背景

低精度推理已成为降低递归神经网络（RNN）计算与存储开销的主流手段，但量化对递归状态跨时间步传播的影响尚未被系统刻画。

现有方法局限

现有量化研究大多集中于权重与激活，对递归状态的存储接口缺乏关注。后训练量化常直接替换状态写回规则，未考虑状态值分布与量化阈值的匹配。本论文中，固定 GRU 模型改为 4-bit 确定性状态存储后，短寿命分量 τ1 与长寿命分量 τ2 估计误差分别增加约 70 倍与 300 倍。根本原因在于：小幅度状态更新 反复低于量化步长阈值，被写回规则丢弃，存储状态近乎冻结，而网络仍持续输出变化提议，误差随时间累积。

• 量化感知训练（QAT）虽可缓解，但需重新训练，成本高。
• 精度扫描显示提高状态位宽反而可能恶化固定解，说明问题不在分辨率本身，而在接口不兼容。
• 缺乏轻量级、无需重训练的事后修正手段。

为什么难/重要

递归网络的状态自反馈特性使写回误差沿时间链放大，不同于前馈网络的逐层误差。状态写回规则决定后续所有计算的初始条件，因此 状态存储接口 是低精度递归推理的核心设计变量。该问题在 GRU 和 LSTM 中均复现，且 LSTM 的 cell state 比 hidden state 更敏感，说明架构差异需要状态类型级分析。业界对低功耗时序推理（如可穿戴传感器、生物信号分析）有强烈需求，要求在不牺牲精度的前提下压缩状态内存。

行业类比

这类似在端侧语音唤醒或视频帧间预测中，量化帧间残差导致运动轨迹漂移；需要引入误差反馈或残差记忆来保持时序一致性。

核心洞察

• 循环网络量化中的状态写回规则是一个独立且常被忽略的失效维度，它不与权重量化或激活量化等价。相比于传统 PTQ 或 QAT 主要调整权重和激活的数值精度，状态写回决定了跨时间步存储的信息如何被离散化，微小更新会被阈值抑制，导致状态僵化与预测漂移的分裂；该工作首次在 GRU 和 LSTM 上系统分离此效应，并展示其非单调精度响应，为低精度时序推理提供了新的故障分析框架。
• 通过误差反馈、残差记忆等轻量写回干预，可以在不重新训练的情况下恢复量化循环网络的精度。这挑战了“量化后必须进行 QAT 或重训”的默认假设，因为它利用了网络原有的连续状态提议，仅修正存储写回策略，就可在 GRU 和 LSTM 上挽回近 100% 的性能损失；这一发现为部署阶段的后训练修复提供了低成本的工程抓手，并指出状态接口的设计比单纯提高位宽更关键。

方法

任务与输入：本研究针对 荧光寿命成像 (FLI) 中的参数估计问题，输入为高噪声时间分辨荧光衰减信号，目标是同时估计短寿命分量 τ1 和长寿命分量 τ2。

关键模块：采用紧凑的 GRU 编码器-解码器 架构。编码器逐步处理时序信号并更新循环状态，解码器从最终状态回归 τ1、τ2。核心操作是 recurrent-state write-back：在每个时间步，量化后的循环状态被写回存储，并在下一时间步作为输入的一部分。为了隔离状态存储接口的影响，作者在保持模型权重不变的前提下，将训练时使用的连续浮点状态传播替换为确定性 4 位状态存储，形成后训练干预。

干预与恢复：固定模型后，4 位状态写回导致 τ1 误差增加约 70 倍、τ2 误差增加约 300 倍。为恢复精度，作者提出三类无需重新训练的 temporal-memory write-back interventions：

• error feedback：将量化误差反馈到下一时间步的状态更新中；
• residual memory：保留残差状态以补偿信息丢失；
• direction memory：记忆状态更新方向，帮助跨越量化阈值。

此外，作者还进行了 state precision sweeps（扫描状态位宽）和 matched training（在训练时匹配量化接口），并在 LSTM 上重复实验，分别控制 cell state 和 hidden state 的写回精度，发现 cell state 对量化更敏感。

与同类方法差异：与常见关注权重/激活量化的研究不同，本文首次将循环状态自身的写回规则作为独立变量，证明通过修改状态存储接口而非重新训练即可有效缓解低精度循环推理的退化。

实验

实验设计

• 固定训练好的 GRU encoder–decoder，将连续状态传播替换为确定性 4-bit 状态存储，比较估计误差。
• 引入 error feedback、residual memory、direction memory 等时间记忆写回干预，观察精度恢复。
• 对独立训练的 LSTM 重复相同的训练后干预，验证跨架构一致性。

关键发现

• 4-bit 状态写回导致 τ1 估计误差增加约 70x，τ2 增加约 300x。
• 失败机制：当重复的小更新低于写回阈值时，存储状态几乎不变，而网络继续提议变化，造成误差累积。
• 误差反馈、残差记忆和方向记忆能够在无需重新训练的情况下恢复精度。
• 精度扫描显示，单纯提高状态精度可能恶化固定的循环解，但经过匹配训练后，可以学习到与状态接口的兼容性。
• LSTM 实验重现类似失败，且细胞状态比隐藏状态对写回更敏感。

与基线对比

• 相对于连续状态传播（基线），4-bit 写回造成严重精度损失，但时间记忆干预能有效恢复，表明问题出在状态存储接口而非模型容量。
• 这项工作将低精度推理的焦点从权重/激活扩展到循环状态写回，为部署低精度 RNN 提供了新的优化维度。

行业影响

落地场景

该研究针对循环神经网络量化部署 中的状态写回问题，适用于所有依赖时序模型的边缘推理场景。典型产品包括：

• 智能语音助手：GRU/RNN 语音识别与对话状态跟踪的移动端量化部署。
• 金融风控：LSTM 实时欺诈检测与异常交易序列分析在边缘设备上的运行。
• 医疗设备：便携式荧光寿命成像、心电/脑电监护等需要低功耗实时推理的设备。
• 自动驾驶：传感器时序信号处理中的轻量级循环模型部署。

商业价值

通过引入误差反馈、残差记忆 等无需重训的干预策略，企业可在保持模型精度的同时，将循环状态量化到 4-bit 甚至更低，从而显著降低内存占用与计算能耗。这直接转化为：

• 成本降低：减小模型体积，降低云端推理成本或允许在更便宜的硬件上运行。
• 体验提升：端侧低延迟响应，提升语音交互、实时风控等场景的用户体验。
• 产品差异化：在功耗敏感的可穿戴、IoT 设备上提供高精度时序智能，扩大市场覆盖。

与现有工作流接口

该方案可作为量化推理工具链 的插件集成，例如在 TensorRT、ONNX Runtime 或 TFLite 中添加循环状态写回策略。具体路径：

1. 训练好 float32 循环模型后，通过后训练量化获得量化权重。
2. 在推理引擎中实现 recurrent-state write-back 配置，支持误差反馈、残差记忆等模式。
3. 根据目标硬件（如 MCU、NPU）设置状态精度与写回阈值，无需重训即可恢复精度。

具体落地 use case：电商推荐系统中的会话 RNN 模型量化后部署在移动 App 端，利用误差反馈保持序列推荐精度，同时将内存占用降低 75%，实现个性化推荐的实时更新。另一个场景是金融交易终端上的 LSTM 欺诈检测模型，通过方向记忆干预在 4-bit 状态存储下保持检测召回率，满足边缘合规与低延迟要求。

局限

• 研究范围较窄，仅在荧光寿命成像这一特定任务上，使用小型 GRU 和 LSTM 编码器-解码器，模型规模小，未在更复杂的序列任务（如语言模型、语音识别）或大规模循环网络上验证；同时，未探索更低比特（2-bit、1-bit）或非均匀量化下的写回效应，且未与量化感知训练进行全面对比，后训练干预的恢复能力可能逊于重新训练。
• 误差反馈、残差记忆、方向记忆等干预是手工设计的，需要额外存储和计算，可能抵消量化带来的部分收益；且这些干预的超参数（如反馈增益、记忆长度）未进行系统调优，其在不同任务上的泛化性未知；此外，评估主要关注参数估计误差，对最终重建图像质量的定量影响仅部分涉及，缺乏全面的下游任务评估。
• 量化循环网络领域已有量化感知训练、混合精度、增量量化等方法，本文提出的写回分析更多是一种事后诊断和修补，而非端到端的优化方案；误差反馈等思想在信号处理（delta modulation）和模型压缩（error feedback quantization）中已有类似概念，论文未能充分区分其与现有技术的本质差异，因此在方法创新层面显得渐进。