专栏:运维日常
运维日常更新也有好几篇了,也收录在这个专栏里面,质量良莠不齐,期待时长更新和修改。btw.运维也不是我的主业...
集群节点用户系统同步-NIS
资源目前课题组的服务器一共分两组:
node00-node05组成的Node算力序列,简称Node组; node组的算力为 12cpu*6 node=72CPU, 满负荷进程数144个(单节点提交<=24进程), 内存:128 GB/node * 6 node
Core01,Core01组成的Intel Core算力序列, 简称Core组。core组的算力为 24cpu*2core=48CPU, 满负荷96进程(单节点提交<=48进程), 内存:512 GB/Core *2 core两个组的算力差异不大,但是后者更适用于高并行的模拟任务,开销的内存较小;node更适合大批量的数据处理,如反演等数据产品的制备,需要大的内存开销。所以在使用上,我们决定按照任务类型将及其分配给不同的用户组。也就是两个不同的集群,共享一套磁盘存储。
目前,8台机器的操作系统已经全部更新,如下:
Hosts
系统
内存
子网ip
node00
Ubuntu 22.04.3 LTS
256 GB
192.168.1.100* ...
集群节点文件系统共享NFS设置
场景最近需要急速反演一套GMI Emissivity数据(chuanxi)。 最麻烦和耗时的工作来自于原始数据的下载:
GMI1B,GMI2A GROPF, 201811 ~ 202007 (800 GB)
H8 L2CLP (300 GB)
ERA5 Plevels+Surface (100 GB)
所以,服务器为了安全考虑没有联网,本地下载到一块陈年(2014年产)2TB硬盘上放弃了数据上传,太慢了,简单粗暴,直接插在机架上。
查看磁盘查看当前磁盘挂载情况,可以看出目前系统根目录是创建在/dev/sda盘上的
[hjh@node01] ~ $ df -hFilesystem Size Used Avail Use% Mounted on/dev/sda2 30G 7.2G 21G 26% / ## 根目录是创建在sda磁盘上的tmpfs 63G 84K 63G 1% /dev/shm/dev/sda3 74G 95 ...