本地部署 GLM-5.2 的门槛太高了，根本玩不起！，业内人士怎么看？

智谱最近发布的 GLM-5.2 口碑很好，于是想在算力服务器上试一下，结果发现，门槛太高了，根本玩不起！

前后尝试了两个版本，分别是： 1.

unsloth 的UD-Q4_K_XL 量化版本 https://huggingface.co/unsloth/GLM-5.2-GGUF/tree/main/UD-Q4_K_XL 2.

智谱官方的FP8 量化版本 https://huggingface.co/zai-org/GLM-5.2-FP8 先说一下 UD-Q4_K_XL 量化版本，下载下来的 gguf 文件共 436G ，4 张 H20 （共 560G 显存），编译最新的 llama.cpp 来运行，结果发现只有 20 ～ 30tokens/秒，更别说并发访问了，基本没法用； 然后是 FP8 量化版本，权重文件共 704G ，8 张 H20 （共 1.1T 显存），下载最新的 vllm 来运行，结果如下： 1.

在上下文类型也是 fp8 的情况下，8 张 H20 ，1.1TB 显存，居然无法开启 1m 上下文； 2.

将上下文长度设置为 384k 之后，vllm 启动提示 1.3 个并发，将上下文长度设置为 256k ，vllm 启动提示 2.5 个并发； 3.

输出大概有 50tokens/秒，吐字速度算还可以； 4.

3 个 claude code 同时连接使用，就能感觉到明显卡顿；

🔗 原始来源

如果你要核对细节，可以再看原文： V2EX原文链接