hyper-v 横向扩展文件服务器集群SMB

以前部署集群需要的共享存储条件非常高,老一代用SCSI,还有昂贵的FC SAN,后来有了iSCSI用IP SAN的方式瞬间把共享存储的门栏降低了,实验环境甚至要求不高的生产环境很容易的部署iscsi存储。
Windows server操作系统很早就开始支持作为iscsi目标服务器。如果需要性能好一点选择不是太差的raid卡,多加几块硬盘,再加上万兆以太网卡,万兆交换机目前来说也不是很难实现。如果正好有万兆的带光纤口交换机,可以上以太网光纤网卡,甚至可以选择性能更好的IB光纤网卡(SMB直通),RDMA技术在两个或者多个计算机进行通讯的时候使用DMA, 从一个主机的内存直接访问另一个主机的内存。这些配件淘宝二手都比较便宜。
SMB3.0是SMB最新版本,提供了许多新功能,如:SMB透明故障转移,SMB多通道叠加,SMB直连(SMB Direct)等。SMB3.0能够在以太网上实现不错的文件访问速度,从而能匹敌DAS的性能。因而在Windows网络环境中,SMB可以作为替代iSCSI的另一个选择。
上面简单的介绍了几种共享存储的方式,相关知识点网络上都有,部署安装教程也很多。最近在研究hyper-v over SMB ,下面简单讲一下个人在部署当中碰到的问题。
我们知道hyper-v虚拟机可以存储在本地磁盘,但为了能够实现高可用性,需要把数据存储在共享存储上面,下图可以看出SAN和hyper-v over SMB之间的本质区别

双节点SMB故障转移集群共享需要部署Windows文件服务器角色,单节点只需设置共享文件夹即可,之前一直不明白这个文件服务器是如何使用的,上图windows file server node是2个Windows文件服务器节点,这2个Windows节点也要组成集群,可以和上面hyper-v server node在一个集群,也可以独立建一个集群,文件服务器角色本身也是需要接共享存储才能使用可以是DAS,FC SAN 。
这里可能有个疑问,既然是共享存储为什么不直接使用上图左边SAN这种方式,这里讲一下文件服务器角色的好处

Hyper-V over SMB是微软特有的存储解决方案有几个好处:

节约成本,重用旧有资产,使用便宜硬件。如果无需实现文件服务器的高可用性,那么任何一台连接的存储设备的PC都可以充当Hyper-V集群的共享存储的提供者,文件服务器的存储可以采用任何形式的存储模式(DAS、NAS和SAN,),因而甚至可以是PC中的本地磁盘。如果实现文件服务器的高可用性,文件服务器故障转移集群本身也需要共享存储,因而文件服务器集群要么采用SAN,要么采用共享SAS连接JBOD,FC SAN所需要交换机非常昂贵,或者你的SAN没有那么多的物理接口给多个hyper-v主机使用,那么SMB共享也不是不错的选择。推荐如下图所示通过共享SAS连接JBOD,JBOD比传统的RAID存储阵列便宜,它没有控制器,没有RAID的高可用性,但配合Windows Server存储空间特性,可以在文件服务器集群中实现高可用性和扩展性。

扩展性。文件服务器集群的节点可扩展。另外存储空间可扩展,如下图各个文件服务器节点可连接2个以上JBOD,配合存储空间特性实现大容量虚拟磁盘(存储空间特性需要微软验证的JBOD才支持,可以在此查阅通过验证的JBOD产品)。

兼容性。多一层文件服务器或文件服务器集群,上层应用只需访问文件服务器而无需知道底层存储的实现细节,因而可以兼容不同型号的产品。如下图两个JBOD可以来自不同厂家。

其他好处,Hyper-V和其他微软产品的完美配合以及微软的产品简单易用。


另外一个问题,在设置SMB共享文件夹的时候权限问题困扰了我好久,搜索了很多教程都没有重点提出这个问题,如果使用默认权限的话虚拟机是可以启动,但是无法做热迁移,就是把虚拟机从一个节点迁移到另外一个节点,会报错提示权限问题,无论是设置委派还是添加域管理员权限都不能实现迁移,最后添加了一个Everyone完全控制权限就成功了,但是这样肯定不符合安全设置,除非存储的网络是物理隔离的,但还是不建议这样操作,有时间再研究一下这个权限问题。

----------------更新------------------
在测试环境中创建双节点文件服务器角色运行成功,在我自己的生产环境中创建角色运行失败,一直没有找到原因,下面是错误日志(SMB是我的文件服务器角色名称,HYVM是群集名称)

在以下过程中,群集网络名称资源“SMB”无法在域“hx.x”中创建关联的计算机对象: Resource online。
相关错误代码文字为:

无法完成此功能。
请与域管理员合作以确保:

  • 群集标识“HYVM”具有创建计算机对象权限。默认情况下,所有计算机对象是在与群集标识“HYVM”相同的容器中创建的。
  • 尚未达到计算机对象配额。
  • 如果存在现有的计算机对象,请使用“Active Directory 用户和计算机”工具验证群集标识“HYVM$”是否具有该计算机对象的“完全控制”权限。

终于找到相关资料:https://docs.microsoft.com/zh-cn/previous-versions/windows/it-pro/windows-server-2012-r2-and-2012/dn466519(v=ws.11)

由于我在生产环境AD域当中创建了一个HY的组织单位OU,把所有集群主机、集群名称计算机对象都移动到了HY下面,导致创建SMB文件服务器角色的时候因为没有权限失败,默认加入到域的计算机对象是在Computers这个OU下面。创建文件服务器角色需要集群名称计算机对象HYVM有 “创建计算机对象” 的权限(HYVM所在的OU),下面是权限设置方法:

在AD用户和计算机里面打开高级功能

打开HY属性安全选项卡,选择高级

点击添加角色

在弹出的页面当中选择主体,对象类型勾选计算机,查询HYVM集群名称

勾选创建计算机对象

设置完权限之后再次创建文件服务器角色就成功运行了,在HY下面多了一个文件服务器角色名称的计算机。也可以把HYVM移回到Computer 创建完角色之后再移动到其他OU。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 175,490评论 5 419
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 74,060评论 2 335
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 124,407评论 0 291
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 47,741评论 0 248
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 56,543评论 3 329
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 43,040评论 1 246
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 34,107评论 3 358
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 32,646评论 0 229
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 36,694评论 1 271
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 32,398评论 2 279
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 33,987评论 1 288
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 30,097评论 3 285
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 35,298评论 3 282
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 27,278评论 0 14
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 28,413评论 1 232
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 38,397评论 2 309
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 38,099评论 2 314

推荐阅读更多精彩内容