katago在AutoDL几款GPU实例下benchmark测试

前几天误打误撞注册了AutoDL后果然有些停不下来,算上折扣,要比阿里云、腾讯云的gpu服务器更为合适,同时AutoDL是容器化实例,这样初始化在几秒内完成,而阿里云等初始化过程中的GPU驱动、框架搭建时间有些过于漫长了。如果把时间考虑在内,AutoDL性别比就更高了。

但AutoDL受实例限制,暂时无法编译TensorRT Backend版本,编译的是cuda11.2版本。在不同GPU实例下简单测试了一下katago的benchmark,权重为kata1-b40c256-s10359230464-d2525387336。

使用阿里云最低端的Tesla T4,4核cpu,15G内存服务器作为参考。

在使用sabaki对弈感觉速度尚可,但经过测试,NVIDIA RTX 3060 / 12GB的成绩与阿里云的Tesla T4比想象中要差不少。

作为TeslaT4的替代者,NVIDIA RTX A4000 / 16GB成绩相比TeslaT4略好一点,也符合AutoDL首页算力排名。AutoDL北京地区实例均使用RTX A4000。

NVIDIA RTX 3090 / 24GB成绩两倍于NVIDIA RTX A4000 / 16GB,同样符合算力排名。

最令人吃惊的是NVIDIA RTX 2080Ti / 11GB,成绩直逼阿里云TeslaV100 16G。katago测试过程中,

第一次测试居然认为成绩出现误差,提示“Optimal number of threads is fairly high, increasing the search limit and trying again.”自动重新测试了一遍。

不愧为显卡核弹。难怪黄厂长严令禁止数据商将游戏显卡用于数据服务器上。其价格居然还要低于NVIDIA RTX A4000 / 16GB,这也是性价比最高的GPU实例。

AutoDL注册链接

云端租犬舍新选择:AutoDL

前期给AI犬云端租犬舍,一直是在阿里云与腾讯云,费用尚能接受。腾讯云价格略占优势,阿里云技术更贴合需求。

昨天本来想占一下谷歌的便宜,但按照网上说明配置colab的时候,总是卡在最后调用阿里云对象存储OSS那一步,于是进入了QQ群本想了解一下,结果在群里看到有推介AutoDL AI算力个人云的,提到3090特价到1.26元/小时。

顺手就连接到AutoDL官网,注册绑定微信后,赠送了10元代金券。

既然有代金券,就试着选择了一款价格为1.37元的3060GPU的实例,一试就停不下来了。

与阿里云、腾讯云不同,AutoDL的实例不是云服务器,而是类似colab,基于jupyter的已经配置好的虚拟环境,但是可操作性更强。

默认连接环境是通过密码的ssh,选择密钥登录并上传后,第二次购买实例的时候,就可以直接使用设定好的密钥。如果想第一次直接使用,按照阿里云的配置方法,修改用户ssh设置,并重启ssh,同样可以实现。

AutoDL的cuda版本默认是11.2,由于系统环境不同,原先在阿里云编译的katago无法使用,需要重新编译。在3060下运行katago benchmark,得分略低于阿里云的Tesla T4。

今天早上又购买了一款打折价1.44元的2800Ti的实例,使用编译好的katago运行benchmark,第一次测试,系统居然认为数据存在误差,自动又跑了一遍,成绩甚至微微超过Tesla V100 16g显存的阿里云服务器。不愧为显卡核弹,难怪黄厂长严令禁止数据厂商使用游戏显卡用于服务器上。

AutoDL同时提供网盘,将编译好的katago程序、配置文件、权重保存在网盘中,购买实例的时候,会直接挂载网盘,基本实现了购买后直接使用功能。

相比云服务器,AutoDL无论是可供选择,还是价格都更有优势,算是AI犬的云端犬舍的新选择。

AutoDL注册链接

弄潮人前背后

前段时间司马南开撕联想,也懒得关注。
昨天在B站看到一篇视频,好家伙,那弹幕基本把屏幕都遮盖了。up主挖坟上挖北宋,下挖满清,如果金大侠还在世,估计为了先祖也要加入战团了,这性质可比涉嫌致敬大仲马严重多了。
也是因为这个视频,今天浏览网易新闻的时候,点击了几篇相关文章,有半数已经是404了。
原先说过,名人名角最不喜欢我们这样的老家伙,不花钱捧场也就罢了,知道的老底还多。
其实文章中很多例子,都不算是什么秘密,当年的正规刊物杂志上都登着的,比如杨元庆带着按照多少人工资计的款项,到香港做贸易险些被骗,柳在北京坐镇听汇报电话,心惊肉跳。
只不过时过境迁,当年的辉煌事迹到如今,成了所谓秘闻黑材料。
还是同意胡锡进的论点,不要深挖历史,清算旧账。毕竟时代大潮中,有几人能完全把握方向。乘风破浪摆英姿多是暴雨过后,风平浪静时。

见识勒索病毒

昨天一个朋友,大老远从市里来找我帮忙解决电脑问题,结果让他失望而归。
因为我要是有能力解决他这个问题,要么我就发了,要么我就进去了。
他机器中的是勒索病毒。
刚开始他告诉我机器症状的时候,我还没有意识到中的是这么厉害的病毒。只是看到文件出现了8位字符的扩展名,以为只是流氓软件,迫使用户使用他们指定软件打开文件而已。
这是继CIH、熊猫烧香后,亲身遇到的破坏性极强的病毒。
勒索病毒只是通过破坏文件头来感染word等有价值的文件,对TXT等文件直接忽视。好在感染之前系统会有提示,感染后的文件不再具有感染性。
防病毒,还是小心预防为妙。

Linux下Lizzie+katago简单配置

今天在围棋论坛看到有网友提问,如何在linux下配置lizzie与katago。回答了几次关于权限、路径设置之后,问题总不能解决,于是决定自己在安装了ubuntu20.04版本的940Mx笔记本上从头配置一下。

首先从github下载了最新版本的Lizzie.0.7.4.Mac-Linux和katago-v1.10.0-opencl-linux-x64,为了配置简单节省时间,将文件解压到同一个目录下。然后在目录下下载katago的权重文件,并更名为默认的default_model.bin.gz。

首先运行katago,如果新笔记本,会提示两个问题,一是驱动未安装,二是缺少libzip.so.5文件。驱动可以在linux附加驱动中安装最新驱动,并重新启动机器。缺少的文件可以从网上下载,也可以自行编译。将文件拷贝至/usr/lib目录下,katago就可以正常运行了。

确保katago运行后,就可以通过java -jar lizzie.jar运行lizzie,待lizzie熟悉的界面出现后,会提示找不到Leelazero引擎。现在估计没有几个人再去用leela了,进入菜单中的引擎设置,将原先的Leelazero引擎设置行修改为./katago gtp,按照程序要求重新运行后,katago引擎就开始正常工作了。

lizzie与katago运行正常,除了慢,还有笔记本的滚滚热风吹出,似乎又回到了katago苦战Leelazero,连爬七手逆转的时刻。

为了软件更换系统

这几天把PC机硬盘划出一块,把最常用的jupyter转到Win10系统下了。
我这些年来运行服务器系统,都是避开Windows系统的,倒不是网上高手们所说的装13,只是早期学习应用中有过比较,同样硬件配置,Linux下正常流畅运行的无论虚拟机,还是数据库,转到Windows系统下,简直是自虐。
不是有偏见,术业有专攻,同样非要在Linux系统下模拟Windows的桌面,照猫画虎,同样是自虐。
这次换系统的原因,是为了使用kite软件。这款jupyter的辅助软件,无论是代码提示,还是变量记忆,服务快捷周到,效率提升,对我这样的低手来说,简直有种飞起来的感觉。
上一次为了软件更新系统,还是PAL。

微软两子云泥之别

近期倒腾数据,使用Excel多了点,发现虽然版本命名规则混乱,也不知道升级了几代了,诸如字符集等老毛病一样没改,而新问题又不断出现。
index函数,这是我使用次数最多,最熟练的函数了,居然总提示我嵌套错误。害得我恨不得逐字符检查,最后才发现,原来Excel把自增长序号,也认为是函数了。
估计也就是凭借系统垄断,否则这烂软件公司早倒闭了。
而另一个用的多的vscode,现在连网页编辑都设为默认软件了。它可是怎么看都不像是微软家的产品,简便、开放,快平台,真心不收费。
真不知道微软高层还有内部部门,怎么看待这个另类的自家产品。

再遭流氓软件袭击

这几天被流氓软件烦透了。整天提醒别人装软件要小心,结果自己中招了。
因为新服务器安装完后,为了方便数据备份转移,需要用到U盘,结果没用多少次的台电优盘,插到电脑上总是提示找不到设备。
因为心疼再买U盘的钱,准备使用软件把U盘量产低格,但官网现在没有提供量产软件,脑子一时短路,选择下载了搜索引擎前列的软件。
软件还没有安装完,桌面上就出现了大量的快捷方式图标。
先后安装了腾讯、金山的清理软件。不知道是流氓软件水平高了,还是清理软件十年多没有技术升级提高,还是说同流合污,蛇鼠一窝,清理下来,连流氓软件都找不到。
而那一个个什么大师,某某精灵还在层出不穷的在系统右下角弹出。
不过流氓软件虽然流氓,也有自己的规矩,那就是虽然在系统安装软件列表中隐藏,逃避卸载,但安装文件夹中,还是有卸载的程序。估计这规矩也是怕真正监管部门动真格的。
于是直接打开C盘下的软件安装文件夹,看到哪个文件夹可疑,进去卸载掉,宁可错杀,也绝不放过。
今天算是清净了。

无能插件险些冤杀老机器

昨天的DIY新服务之所以拖延一日,主要是老“服务器”的原因。原本前天晚上是准备完成数据处理工作后,乘兴将装机完成的。

结果在工作中,jupyterlab运行异常卡顿,敲代码居然都一顿一顿的。使用计算机这么多年,我一向是不怕慢就怕卡,因为卡起来直接影响思路和心情,否则也不会也分不清睡前还是梦中想出来如何设计数据模型。

当年我面对杂七杂八的机器,五花八门的问题,一般一手掂着螺丝刀,一面心中念咒:不行就拆了你,大不了就报废下岗。念完咒,机器能好了一大半。

按理说面对下岗,老机器应该更卖力才对,看来这招只是对公家机器可行,对自家机器不管用。

昨天上午终于忙完,看着这宁死不屈的待下岗机器,不由心中有愧,脑子也清醒了。心想机器效率再差,也不至于如此之慢。

后来一分析,估计不是硬件、系统问题,应该是软件问题。于是卸载了jupyter的代码辅助插件lsp,果然,系统顿时恢复正常了。

网上曾有网友调侃,装上lsp后,两分钟后才出现代码提示。由此看,果然不虚。

本来想安装lsp来提高效率,没想到拖后腿不说,还差点冤杀了老机器。

“迷你服务器”完工

昨天购买的机器配件到货齐全,把准系统开包后,本想一鼓作气把机器组装起来,但因为有工作急着需要处理,装机工作只能推迟到今天。

下午回家,首先把CPU拆包检查。这可是本次装机的配件中最贵的,也是机器的核心,装机的主角。

CPU选择的是服务器志强的E3 1265LV3,跟我上一台机器用的E3 1230V3是同门兄弟,都是4核8线程,TDP只有45w,考虑到集成了核显,所以在服务器运行中功耗肯定还会降低不少。

拆开机箱,安装CPU,涂抹硅脂,扣上散热片及风扇。散件安装完毕,将从京东购买的内存跟SSD也安装上了。

毕竟也算是DIY老手了,不一会机器安装完毕,直接连接到客厅电视上开机。运行正常,但在安装系统中电视屏幕找不到信号。应该是电视机太老了,而且联想准系统只有dp接口,通过转换口连接HDMI,估计电视在分辨率转换中不能正常识别。

于是转移阵地到电脑桌上,这次正常安装完系统。安装过程中机器噪音很低,散热片只是温温而已。

安装后摆上书架,跟原先使用思科路由器机箱的服务器相比,高大上了许多,性能应该更不是一个档次了。

完美的一次DIY装机。