研究技术
SonicBoom发布，称RTX 3050推理性能提升20%
HardenedLinux社区主导开发的AI运行时框架SonicBoom称，借助图编译优化，在复用llama.cpp内核的情况下，RTX 3050 8G上的性能提升约20%。
SonicBoom是一款采用GPLv3许可证的AI运行时框架，由HardenedLinux社区主导开发。它提供语言无关的C API，目前官方支持GNU Guile，并结合LLVM MLIR优化计算图、生成硬件适配的kernel。项目称，其在RTX 3050 8G上复用llama.cpp现有kernel，通过图编译优化使性能提升20%。
目前社区版支持单点推理，分布式推理计划由企业版提供。框架现支持CPI和CUDA，后续计划支持Vulkan。SonicBoom v0.0.3正在邀请社区贡献者参与不同Nvidia平台的评测；项目表示，RTX 3050以外的测试数据可能存在波动。