AI热榜 赞助 与美光合作 AI推理时代已经到来。
想象一下，一个医疗保健系统可以实时分析数百万个数据点，以加速挽救生命的医学研究，或者一个智能助理可以立即解决数千个复杂的客户需求。
这些现实世界的突破依赖于先进的基础设施作为持续智能的引擎，为实时服务提供动力，同时也支持物联网和消费设备日益智能的边缘。
然而，在这种推理驱动的环境中，每一次延迟、瓶颈或浪费的电力都会直接影响人类成果和运营成本。
这种转变改变了基础设施必须提供的服务。
性能、延迟、内存带宽、存储吞吐量和网络无法在孤岛中进行优化。
推理工作负载是连续的、地理分布的，并且对响应时间高度敏感，要求系统从一开始就考虑到规模、弹性和效率。
“我们倾向于将人工智能视为单一工作负载，但事实并非如此。
它有数千个、数百万个、数十亿个不同的工作负载，”Tirias Research 创始人兼首席分析师 Jim McGregor 表示。
人工智能推理将优化问题从原始计算问题转变为协调基础设施（内存、存储和网络）。
对于企业领导者来说，优先事项很明确：人工智能基础设施决策必须平衡成本、灵活性和未来准备情况。
获胜者将是那些能够提高每瓦性能、减少环境足迹并在限制增长之前消除内存和存储瓶颈的组织。
人工智能推理需要新的架构方法 人工智能系统需要重新架构，因为将现代人工智能系统硬塞到遗留基础设施中限制了人工智能的变革潜力。
从加速科学发现到创建真正自主的数字代理，专用架构对于实现人工智能的真正价值至关重要。
传统企业 IT 一直能够依赖相对稳定的基础设施假设，但推理和代理 AI 提出了有关延迟、数据移动、可扩展性和利用率的新要求，使得架构选择变得更加重要。
“数据中心现在必须支持连续、分布式和日益实时的人工智能服务，其中没有一个是单一的工作负载，”麦格雷戈说。
“从系统层面来看，它们都需要不同的要求。
”
🔗 原始来源
如果你要核对细节，可以再看原文： MIT Tech Review原文链接