GPTQ量化方法集成在Keras 3中。

GPTQ是一种训练后、仅权重的量化方法，逐层将模型压缩到int4。对于每一层，它使用二阶方法来更新权重，同时最小化在标定数据集上的误差。

它内置于Keras 3中（支持JAX、TF、torch）——指南见下一条推文。