赫茨纳推论:初看 Hetzner 正在尝试 LLM 推理。
这不是我想要写的一句话,但我认为它很有趣:) 在任何人将生产人工智能工作负载转移到 Hetzner 之前:这在很大程度上是一个实验。
没有计费,没有SLA,没有生产保证,目前只有一种型号。
Hetzner 表示,它想了解人们是否真的想要这个、系统如何扩展、哪些功能很重要,以及它可以处理什么样的负载。
所以这不是成品发布。
Hetzner 很早就把一些东西放在用户面前,看看会发生什么。
我真的很喜欢这种方法。
Hetzner Inference 是在 Hetzner 自己的基础设施上运行的 OpenAI 兼容 API。
您可以在实验仪表板中创建一个 API 令牌,将 OpenAI 客户端指向 Hetzner 的基本 URL,然后像大多数其他推理 API 一样使用它。
目前,唯一可用的型号是 Qwen/Qwen3.6-35B-A3B-FP8。
它是一个包含 350 亿个参数的专家混合模型,具有 30 亿个活动参数。
它接受文本和图像,具有 262K 上下文窗口,并使用 FP8 量化权重。
这是一个完全合理的实验模型。
它足够小,可以在没有荒谬的 GPU 集群的情况下提供服务,但仍然足够有用,可以使用实际工作负载测试 API。
如果您想在不编写任何代码的情况下尝试它,Hetzner 还发布了一个关于将 OpenCode 连接到 API 的简短教程。
由于该 API 与 OpenAI 兼容,因此集成几乎没有什么特别之处:
🔗 原始来源
如果你要核对细节,可以再看原文: Hacker News AI原文链接
AI热榜