vm-8

0.4 运维利器之行云管家文件上传实践指南

目录 文件传输的应用与实现 文件传输的应用 网盘(文件传输的中间介质) 团队网盘 主机网盘 文件传输为什么快? Linux(SSH文件传输) Windows(RDP文件传输) 批量文件上传(文件分发控制台) 批量文件下载(文件采集控制台) 文件传输的应用与实现 文件传输的应用 1、支持批量上传补丁或文件… 2、支持批量下载日志或文件… 3、支持上传或下载整个目录… 为什么要使用行云管家的文件传输而不选择传统的FTP呢? 日常运维工作中我们会遇到需同时向成百上千个服务器传输文件,譬如安装补丁、收集日志文件等场景中,受限于远程连接主机的方式限制,我们难于直接在客户端和主机之间建立一个文件传输通道,需要一个网盘作为中间介质来实现客户端和主机之间的文件传输。 在使用行云管家分发文件、文件(日志)收集时,无需安装任何服务端软件,即可获得比传统FTP传输方式快十倍并且不占用公网带宽。 本文使用的行云管家版本: V4.1(日期:2018-03-22) 网盘(文件传输的中间介质) 我们知道在行云管家中,网盘分为两种。团队网盘和主机网盘。 团队网盘 团队网盘是整个团队的公共存储空间,所有成员皆拥有读写权限,通常用于成员存放一些常用的文件。它无法与云主机进行文件传输,但可以将团队网盘的文件复制到主机网盘中,继而将文件传输至云主机; 1、点击菜单——》选择网盘资源 2、选择团队网盘——》上传、下载、管理等操作 主机网盘 受限于B/S架构,我们在会话中无法直接在远程桌面/SSH终端进行文件的上传和下载,为了实现这个需求,行云管家在我们导入主机时,自动为每台主机分配了一个主机网盘,该网盘将在远程连接主机过程中被挂载成主机的逻辑磁盘,方便我们用户传输文件。 1、点击菜单——》选择网盘资源 2、选择主机网盘——》选择待操作的主机 3、可根据需求选择相应的操作 文件传输为什么快? 在文件传输过程中,如果我们通过公网传输,很显然会受到公网带宽的限制,并且传输还会和业务系统争夺宝贵的公网带宽资源,严重影响应用质量。 针对这个现象,行云管家特别对于云主机提供了文件传输区域优化的特性: 将主机网盘部署在云主机同一个内网中,充分利用云厂商内网千兆带宽的优势。 用户只要使用“内网IP访问”( 了解如何启用内网访问)访问云主机,便能够获得1030Mbps峰值速率(即1.25MB3.75MB)的“极速文件传输”,无需占用用户云主机的公网带宽。 架构图示意图 在分配主机网盘时,为了保证主机网盘和云主机位于同一内网,行云管家将主机网盘部署在云厂商的对象存储资源中,这样就实现了云主机和主机网盘的内网互通。 但这种方案存在一个缺点:要求云厂商在云主机所在区域内部署有对象存储资源。 而目前云厂商开通的对象存储资源有限,因此如果云主机所在的区域不支持对象存储,将导致云主机无法获得文件传输区域优化的特性。 除以上区域云主机外,都不支持文件传输区域优化特性,文件将通过公网来传输。 Linux(SSH文件传输) 1、选择将要操作的主机——》连接 2、打开SSH会话后,在文件传输面板就可以直接查看到主机的文件目录(注意:SSH中显示的是云主机的文件系统,而不是主机网盘); 3、上传下载文件(通过文件传输面板的上传和下载按钮进行文件传输) 3.1、文件上传(上传目录、文件、主机网盘资源) 3.2、文件下载(下载目录、文件至本地、网盘资源) 3.3、文件操作(删除、移动、复制、重命名) 3.4、文件排序 3.5、文件操作记录 Windows(RDP文件传输) RDP文件传输 批量文件上传(文件分发控制台) 注意: 1、目录过大极易造成浏览器假死。 2、不支持上传根目录或空文件夹。 3、文件分发仅支持通过主机Agent来完成,因此需要确保目标主机已经安装了Agent并处于正常运行状态。 在现实场景中,经常需要将文件批量分发到多台主机中,如安装补丁包。在行云管家中,可以借助文件分发控制台来完成这一功能;目前支持“本地文件(上传文件、上传目录)”、“网盘文件”、“主机文件(某台主机上的文件)”三种文件上传途径; 1、点击菜单——》选择作业中心——》文件分发控制台 2、选择需分发的文件 3、填写目标主机文件分发的路径,所有的文件将会被传输到指定的路径,我们还可以设置目标主机存在重名文件和路径不存在时的处理策略; 主机选择完毕后,点击“立即分发”图标即开始将文件分发至所选主机; 4、文件分发完毕示意图 批量文件下载(文件采集控制台) 注意: ...

2018年3月27日 · 1 min · 行云管家
vm-8

0.3 运维利器之行云管家Agent、Proxy、内网访问助手实践指南

目录 前言 术语 行云管家内网访问助手、Proxy、Agent架构示意图 内网访问助手概述(公有云) 内网访问助手的应用 Proxy(“局域网”) Proxy的应用 Agent(“内网”工作) Agent的应用 单台主机安装行云管家Agent 批量主机安装行云管家Agent 卸载 卸载内网访问助手 卸载Proxy 卸载Agent 前言 术语 VPN:虚拟私人网络/虚拟专用网(英语:Virtual Private Network,缩写为VPN)是一种常用于连接中、大型企业或团体与团体间的私人网络的通讯方法。 VPC:私有网络(Virtual Private Cloud)私有网络是一块可让用户自定义的网络空间,我们可以在私有网络内部署云主机、负载均衡、数据库、Nosql快存储等云服务资源。可自由划分网段、制定路由策略。私有网络可以配置公网网关来访问Internet,同时也支持配置公网或专线接入搭建混合云,私有网络之间网络逻辑隔离。 行云管家内网访问助手、Proxy、Agent架构示意图 通过架构图我们可以清晰的看到,内网访问助手是在公有云的环境下使用,Proxy是应用在“局域网”的环境。Agent集合了监控数据采集汇报,自动化运维脚本执行、命令结果汇报、文件分发等功能。 那局域网主机在行云管家中是什么概念? 我们知道,行云管家是一个云计算管理平台,目前行云管家已经通过API的形式支持了业界主流的云厂商。但是,用户的主机资源并非只有公有云主机一类,OpenStack、VMware等私有云平台应用也非常广泛。另外传统的IDC托管服务器也并未完全消亡,甚至还有相当数量的小公有云厂商由于诸如API等问题无法进行支持。 基于以上行业现状,行云管家为用户提供了局域网主机的解决方案,把这类无法通过API导入的主机,均以局域网主机的形式通过接入行云管家进行管理。因此,行云管家中的局域网主机,并非我们传统意义上的“局域网络内的主机”,而是相对公有云API导入方式而言的另外一种主机导入方式。 本文使用的行云管家版本: V4.1(日期:2018-03-22) 内网访问助手概述(公有云) 内网访问助手是一种类VPN的解决方案,它能够使我们通过内网IP的形式访问云主机,避免将不必要的端口暴露到公网,从而起到安全运维的目的。需要特别说明的是,该特性并不适用于局域网主机,局域网主机默认便具备内网IP访问的特性。 同时,内网访问助手原生支持RDP/SSH/VNC协议,并通过协议精简能力,只需极小的带宽,便可获得流畅的操作体验。 根据行云管家提供的内网访问助手和架构来看,我们是不会损耗我们服务器上的公网带宽。 内网访问助手的应用 1、选择内网访问助手宿主机 在确认要使用内网IP访问后,请在该云主机所在区域(或私有网络)选择一台云主机作为宿主机来安装内网访问助手,无需逐台主机安装,宿主机的选择请遵循以下原则: a)宿主机必须已经纳入到行云管家中; b)宿主机能够和其它主机通过内网互通; c)宿主机无需具备公网IP,但必须要能够访问公网; d)宿主机需要将8326端口开放给内网其它主机; e)宿主机拥有大于100M的剩余空间,以及64M以上的可用内存; f)如果宿主机是Windows操作系统,请确保支持powershell 2.0及以上版本。 2、菜单——》网络——》选择需要安装 内网访问助手 的云账户 3、立即部署——》添加助手——》选择内网访问助手宿主机系统——》复制脚本内容(以Linux为例) 4、利用行云管家登录到我们的内网访问助手宿主机 5、执行脚本 6、内网助手安装成功 Proxy(“局域网”) 需要在行云管家中管理局域网主机,首先要建立一个局域网与行云管家之间的数据通讯链路。在行云管家中,我们通过在局域网中部署一个Proxy来实现这个连接,这个Proxy负责局域网主机和行云管家的通信代理。 Proxy的应用 1、如何选择Proxy宿主机 在安装Proxy之前,我们需要先选择Proxy宿主机,Proxy的宿主机选择需要遵循以下原则: a)宿主机和其它主机处于同一个局域网内,且能够和其它主机通过局域网互通; b)宿主机无需具备公网IP,但必须要能够访问公网; c)宿主机需要将8326端口开放给内网其它主机; d)宿主机拥有大于100M的剩余空间,以及64M以上的可用内存。 e)如果宿主机是Windows操作系统,请确保支持powershell 2.0及以上版本。 2、菜单——》网络 ...

2018年3月27日 · 1 min · 行云管家
vm-8

0.2 运维利器之行云管家磁盘快照原理应用及实践指南

目录 磁盘快照原理与应用 术语 什么是数据 快照的原理 基于文件系统的快照CoFW(Copy on First Write) 基于物理卷的快照RoFW(Redirect on First Write) COFW 与 ROFW 的对比 磁盘快照的作用 行云管家的数据备份 对云主机进行快照备份 手动触发快照备份 设置策略,自动触发快照备份 创建自定义镜像 如何恢复数据?时光机一键搞定! 参考 磁盘快照原理与应用 谈磁盘快照,我们接触较多的可能是瞬时备份的功能,但快照技术还在"实现快速恢复"和"应用测试"领域发挥着极大的作用。只要应用于在线系统,那么快照就成为一个不可或缺的功能。 谈到备份,我们都知道要备份的是数据。那什么是数据呢? 术语 I/O –Input/Output,即输入/输出,通常指数据在内部存储器和外部存储器或其他周边设备之间的输入和输出。 RPO–recovery point objectives恢复点目标,RPO是实时地复制您业务信息中的每一个数据恢复事务,短时间的RPO能够更少地丢失数据。 RTO——recovery time objectives恢复时间目标, RTO是您能够更加快速恢复数据存储和使得机器正常运行的时间。 DBA–数据库管理员(Database administrator) 什么是数据 信息的重要性,不言而喻,如果是失去了物质,仅仅是客观的消逝。但是如果失去了信息,那么一切都将消逝。所以我们需要想出一切办法来使这些信息得以保存。要把一种逻辑刺激保存下来,所需的只不过是一种描述信息的信息,这种信息就是数据。 数据包含了信息,读入数据,就产生可感知的具体信息。也就是读入一种信息,产生另一种信息。数据是可以保存在一种物质上的,这种物质信息对计算机的刺激就产生了具体信息,而这些信息继而再对人脑产生刺激,就产生人类可感知的信息,最终决定了人类的行为。也就是数据影响人类的行为。 纵观人类的发展,可以看出数据是整个人类发展的重要决定因素,数据信息的得以保存让我们犹如站在巨人的肩膀之上,继而创造更多有价值的信息。如果数据无法得以保存,被破坏,篡改,将会影响人类的发展。 数据如此重要,人们想尽一切方法来保护这些数据,将信息放在另外一种信息上,比如把数据放在磁盘上。数据放在磁盘上,需要有一定的组织,组织数据这个任务由文件系统来担当。 快照的原理 基于文件系统的快照CoFW(Copy on First Write) 文件系统的快照需要克服的难题? 必须快速(几秒甚至1秒完成)并且不暂停 IO(暂停 IO 会影响上层应用)。 解决方案: 文件系统(以ext2)为例,文件系统包括超级块,组描述符,块位图,inode位图,inode节点块,数据块,其中前五个数据项都是为了管理数据而产生的(既元数据),这里占用的数据量很小,实际的文件数据存储在数据块里。 在某一时刻,如果记录了文件系统的元数据,就有了当前文件系统的映射图,文件系统只根据映射图来对应物理卷上的实际数据,所以只要有了映射图,我们就可以按图索骥,找到并拥有实际的数据。 但是,如果我们只是把此刻的映射图复制出来,我们也只得到了一个图纸而已,因为实际数据在物理卷上,而不是在图纸上。所以我们必须保证物理卷上的数据不被 IO 写入,而同时又不能影响应用。要保证当前快照的完整性,之后对当前数据的IO需被定位到其它空闲的地方,并修改文件映射关系。 基于物理卷的快照RoFW(Redirect on First Write) 基于物理卷的快照相当于给物理卷增加一个“卷扇区映射管理系统”,我们知道卷扇区应当是由文件系统来组织管理的,但是为了减轻文件系统负担,我们将在底层卷这个层次实现快照,卷扇区都是LBA来编号的,实现快照的时候,程序首先保留一张初始的LBA表,每当有新的写入请求的时候,程序将这些请求的数据,写入另一个地方(一般是一个新的卷,专为快照保留),并做记录: 如A的10000号已写入了数据内容,并且做了快照,快照后对A的10000号的写请求会被定为到新卷B的100号,这时A卷中就会记录如下映射数据。 原始LBA: 卷A的10000号,映射到LBA:卷B的100号。 文件系统对感知不到这一重定向过程,FS在它的映射图中还是记录卷A的10000号LBA,而不是B的100号。 以上做快照的方式称为Redirect on First Write(RoFW),快照生成之后对卷A的每一次读写请求,都需要查询映射表,增加了处理时间,降低了一些性能。由于RoFW方式查表的时间开销太大,故产生了另外一种copy on First write的方式。其工作原理如下: ...

2018年3月27日 · 1 min · 行云管家
vm-8

0.1 运维利器之行云管家3分钟快速实现云主机运维审计实践指南

目录 前言 注册、创建团队 导入云主机 什么是云账户 各大厂商获取 Access_key 的方式 创建云账户 如何安装阿里云监控插件 FAQ:安装阿里云监控插件超时 运维审计 关键设备运维策略是什么? 创建策略 添加需应用本策略管理的主机 新增登录凭证 敏感指令的审计 参考 前言 上一篇文章我们一起使用了行云管家,快速的让我们局域网主机通过登录策略实现快捷登录并全程审计录像和高危指令的拦截审核、远程协作、文件上传下载等功能。 这篇文章将跟大家一起使用行云管家来对云主机进行管理。 行云管家目前支持阿里云、腾讯云、UCloud、百度云、亚马逊AWS中国、微软Azure中国、青云等七家厂商。而针对不同云厂商所能管理的云资源也有不同。 本文使用的行云管家版本: V4.1(日期:2018-03-22) 注册、创建团队 如已注册请跳过此步骤。 点击查看: 运维利器之 行云管家注册、创建团队 导入云主机 什么是云账户 行云管家能够将各大云计算厂商中的云资源接入进来统一管理,出于云厂商隔离和业务划分的考虑,在行云管家中,以云账户作为云主机、对象存储、CDN等云资源的容器及业务隔离单元。例如,用户张三在阿里云有一个账号,里面购买了云主机、CDN等产品,那么这个账号体现在行云管家中,就是一个云账户。张三可能在腾讯云中也购买了一些云产品,那么他也可以将腾讯云的账户也导入到行云管家中,这样张三便拥有了两个云账户,分别管理他在阿里云和腾讯云的云资源。 本文以导入云主机为例,来演示如何创建云账户。一个云账户包含有用户在云厂商的API凭证、云主机资源等信息。因此,在新增云账户时,您需要准备好云厂商的API凭证( 了解如何获取阿里云的Access Key 、 如何获取腾讯云API密钥)和确定需要导入到行云管家的主机; 各大厂商获取 Access_key 的方式 获取阿里云的Access Key 获取腾讯云API密钥 获取UCloudAPI密钥 获取百度云Access Key 获取亚马逊AWS访问密钥(Access Key) 获取微软Azure API访问凭证 获取青云API密钥 创建云账户 1、进入主机栏目 2、选择我们购买云主机的厂商(目前行云管家支持国内大型云厂商)如果找不到你的云厂商,我们可以通过类局域网的方式来导入到行云管家。点击这里即可查阅 0.0 运维利器之 行云管家3分钟快速实现局域网主机运维审计 3、复制 云厂商提供的Access Key,这里我是使用 Aliyun Access Key。 填入 Acess Key Id & Access Key Secret 并点击下一步 4、勾选要导入行云管家的云主机 ...

2018年3月27日 · 1 min · 行云管家
vm-8

0.0 运维利器之行云管家3分钟快速实现“局域网”主机运维审计实践指南

目录 前言 传统堡垒机与行云管家云堡垒机 局域网主机运维审计的实现 注册、创建团队 导入局域网主机 登录本地虚拟机 协同分享 审计录像 运维安全审计主要设置 新增登录凭证 新增关键设备运维策略 创建策略 添加需应用本策略管理的主机 微信绑定 敏感指令的审计 最后 公有云主机和局域网主机在功能上有哪些差异? 行云管家视频课程 前言 传统堡垒机与行云管家云堡垒机 相信从事运维领域并常出席运维技术分享活动的你,对行云管家并不会陌生。 行云管家主办与协办多场运维技术分享会。分享如何用好云计算,云计算资源管理,云计算日常运维等方面问题。 作为业界领先的云计算管理平台,行云管家如何为我们提供从选云上云, 到日常的运维审计与维护,提供妥当的一站式IT运维服务呢? 今天我们就来使用行云管家来快速实现局域网主机的运维审计功能。在这之前我们先了解一下传统堡垒机与云堡垒机的不同之处。 传统堡垒机多为软硬件结合且价格昂贵,其管控能力十分强大,是银行、国营大型企业IT运维团队的首要选项。 但传统堡垒机的缺点是,价格很高动辄数十上百万,而且部署起来困难,需要专业的团队统筹部署,维护成本高。同时对现有网络结构侵入大,软件和硬件升级都不方便,并不怎么适合中小型企业、一般创业企业。 过去买传统堡垒机,需要销售人员多次上门介绍产品。签订合约之后,需要运输、安装、调试、配置……整个流程一般长达数月。但在云上,只需简单三步就能搞定。 现在云堡垒机产品在功能上比较成熟,借助云计算平台,云堡垒机在资源的交互性、易用性、性价比、维护成本、产品自身安全性等方面又得到了进一步提升,尤其解决了以往的单点故障问题。行云管家是免安装、免维护、开箱即用的,支持Windows\Linux等云主机运维审计、指令检索等。 通过使用行云管家,我们能够快速的让不同厂商的公有云、私有云、混合云主机通过登录策略实现快捷登录、全程审计录像 高危指令的拦截审核、远程协作、文件上传下载等功能。 这篇文章将跟大家一起使用行云管家来对“局域网”主机进行管理。 本文使用的行云管家版本: V4.1(日期:2018-03-22) 局域网主机运维审计的实现 注册、创建团队 如已注册请跳过此步骤。 点击查看: 运维利器之 行云管家注册、创建团队 导入局域网主机 把本地的虚拟机加入到行云管家进行监控和安全管理。 如果想通过行云管家达到监控局域网主机(本地创建的虚拟机)只需选取一台能够访问公网的主机安装行云管家Proxy,即可将局域网内所有主机接入到行云管家,具体流程如下: 如何创建虚拟机,在此就不再详细阐述。大家如果在安装虚拟机有什么问题可以在文末留言。 虚拟机的推荐 Mac OSX 用户使用虚拟机推荐使用 Parallels Desktop App Windows 用户使用虚拟机推荐 VMware App 这里我是使用 Parallels Desktop 创建 2台 Linux-Centos6.x 虚拟机 和 1台 Windows8。 1. 设置局域网名称,点击下一步, 行云管家将生成一段“行云管家Proxy安装脚本” ...

2018年3月27日 · 2 min · 行云管家