给消费级PC加上服务器显卡会发生什么？

Oscar Molnar用266美元把一块英伟达Tesla V100 SXM2服务器显卡塞进了消费级游戏PC，与原有的RTX 4080组成32GB显存的异构双卡系统，本地跑270亿参数LLM达到32 tokens/s。整套方案的成本不到一张新显卡的十分之一。

本方案中RTX 4080为已有硬件：Ada Lovelace架构，16GB GDDR6X，显存带宽约717GB/s。两块卡架构跨度七年，通过同一套英伟达驱动协同工作。

SXM2转PCIe：不只是物理转接

Tesla V100 SXM2版使用的是NVIDIA专有的SXM2接口，与PCIe在物理尺寸、引脚定义和信号协议上完全不同。SXM2本质上是一个高密度板对板连接器，通过NVLink和PCIe协议与服务器主板通信。转接卡的核心工作是把SXM2接口的PCIe通道信号重新路由到标准PCIe金手指上，同时为GPU提供独立的供电通路——SXM2模块的供电规格与PCIe插槽的75W供电完全不同，转接卡通常需要从电源的6-pin或8-pin接口取电。

这意味着转接卡不是简单的线缆对接。它需要处理高速差分信号的等长布线、阻抗匹配，以及供电回路的重新设计。66美元的转接卡在工程上是一块小型PCB，包含信号重定向电路和电源转换模块。选购时需要确认转接卡支持的GPU功耗等级——Tesla V100 SXM2的TDP约为300W，转接卡的供电回路必须能承载这个功率。

PWM风扇改装：从割草机到10%转速

Tesla V100 SXM2的原装散热系统是为数据中心设计的——服务器机架内的散热策略以可靠性为优先级，噪音从来不是约束条件。Molnar实测原装风扇满载噪音82dB，大致相当于近距离运行的割草机。

改装方案是将原装风扇的控制线重新接到主板的4-pin PWM接口上。这里涉及的工程细节：

原装风扇大概率使用PH2.0或类似的小型连接器，而主板PWM接口是标准的2.54mm 4-pin。两者接口物理尺寸不匹配，需要一根"2.54mm公头转PH2.0母头"跳线来完成物理适配。更关键的是电气兼容性：PWM风扇控制协议依赖4根线（12V供电、GND、Tach转速反馈、PWM控制信号），如果原装风扇的引脚定义与标准PWM协议不一致（比如电压等级不同或缺少Tach反馈），主板可能无法正确读取转速或控制调速。

改装后的效果值得注意：风扇只需10%转速即可在满载下保持GPU温度低于50°C。这说明原装散热器的散热鳍片面积和热管规格远超实际需求——服务器散热设计的冗余度极大，降速后仍能维持有效散热。

HBM2对LLM推理的实际价值

LLM推理是一个典型的内存带宽受限工作负载。推理过程中的瓶颈往往不在算力，而在于将模型权重从显存搬运到计算单元的速度。

Tesla V100的HBM2显存提供900GB/s带宽，RTX 4080的GDDR6X带宽约717GB/s。相比之下，最新的消费级显卡如RTX 5090的GDDR7带宽约为1.8TB/s。V100的算力（尤其是Tensor Core性能）确实远落后于现代架构，但对于推理场景，16GB HBM2 + 900GB/s的组合在跑27B级别模型时仍有实用价值——模型的KV Cache和权重需要约16-24GB显存，显存容量决定了能不能跑，带宽决定了跑多快。

Molnar的32 tokens/s推理速度，换算下来每token约31ms。对一个27B参数模型，这个延迟意味着系统有效利用的显存带宽在数百GB/s量级——考虑到并非所有权重都在单块卡上、存在跨卡通信开销，这个利用率是合理的。

异构双卡的显存协同机制

两块不同架构的GPU如何共享32GB显存来运行同一个模型，是这套方案中最有意思的工程问题。

NVIDIA的统一驱动理论上支持同一系统中多代架构GPU的共存，但实际限制在于：同一驱动版本必须同时覆盖两块卡的架构支持。Volta（V100）需要的最低驱动版本较老，而Ada（RTX 4080）需要较新版本。Molnar选择了一个恰好覆盖两者的旧版驱动——这个版本足够新以支持Ada架构，又足够旧以保留对Volta的完整支持。驱动版本选择的窗口可能很窄，这正是他选择NixOS的原因。

NixOS的声明式包管理系统允许精确锁定驱动版本和依赖关系，避免常规发行版在更新时意外升级驱动导致某块卡失兼容。对于需要长期维护特定驱动版本的异构GPU系统，NixOS的版本锁定能力是一个实际的工程优势。

在显存分配层面，跨架构GPU的显存统一通常依赖CUDA Unified Memory或类似机制——将两块卡的显存抽象为一个统一地址空间，由驱动负责页面迁移。跨GPU的显存访问会经过PCIe总线，延迟显著高于本地显存访问。模型的不同层可以分别驻留在两块卡上，推理时逐层迁移，但跨卡传输的带宽瓶颈决定了这种方案不适合对延迟敏感的场景。

270亿参数、32 tokens/s的性能基准

27B参数模型在32GB显存上的推理性能取决于量化精度。如果使用4-bit量化，27B模型的权重大约需要13-14GB，加上KV Cache和激活值，16GB单卡勉强能跑但余量极小。32GB双卡方案的优势在于留出了足够的显存余量，可以减少频繁的显存交换，或者使用更高精度的量化方案。

这套方案可以每秒处理约32个token的输出。作为参考，人类阅读速度约为每秒4-5个token，交互式聊天场景对延迟的要求通常在50-100 tokens/s以下即可接受。Molnar称这个速度比许多云端API更快，这在本地推理场景中是合理的——本地推理省去了网络往返延迟，在小批量交互场景下确实可能快于云端API。