今天到办公室，看到了上次国补加学补购买的苹果M4版mini。虽然到货掩码的时候开封见过真机，但放在办公桌上看，还是比想象中要大。
跟M1一体机一样，通过brew下载安装了katago，只是这次运行的权重是28B而非18B。结果很是失望，依然是OpenCL版本的katago运行benchmark可谓是龟速，初步结果看，远不如TensorRT下3050的表现。
这也难怪，这就像马拉车在不同赛道比试。只是意外的是，运行28B权重速度要如此落后于更轻量级的18B。而昨天看新闻，32G内存M4机器运行deepseek14B要大大快于32B，而katago对显存要求并不高。
虽是小众个例，但苹果芯片要有大的作为，路还很长，也很难。