Entity

Q4_0

llama.cpp中的一种4位量化格式，每32个值一组共享一个fp16缩放因子，每个值用4位整数表示。