本项目主要支持基于TencentPretrain的LLaMa模型量化推理以及简单的微服务部署。也可以扩展至其他模型，持续更新中。 特性 Int8推理 支持bitsandbytes库的int8推理，相比tencentpretrain中的LM推理脚本，加入了Batch推理。 优化推理逻辑 在Multi-head Attention中加入了key和value的 ...