浅谈分布式存储中HDFS与Ceph两者的区别以及优缺点

Posted Posted in Ceph, 云计算, 经验, 菜鸟

在前些年,我的工作经历主要都在Hadoop这个技术栈中,而最近有幸接触到了Ceph分布式储存系统。我认为这是一件很幸运的事,可以让我有机会去体验另一种大型的开源分布式存储解决方案,从而可以对比出HDFS与Ceph这两种几乎完全不同的存储系统有哪些优缺点、适合哪些工作环境。

对于分布式存储,尤其是开源的分布式存储,站在一个SRE运维的角度,我觉得主要为商业公司解决了如下几个问题:

1、可扩展性,满足伴随业务增长导致的更多海量数据存储需求;

2、高性价比,比商用存储更便宜,可以大幅降低成本;

3、稳定性,不轻易出错,方便操作,便于维护。 ….[阅读全文]

超详尽的Ceph分布式文件系统介绍及架构原理解说

Posted Posted in Ceph, 云计算, 笔记, 菜鸟

1. Ceph架构简介及使用场景介绍

1.1 Ceph简介

Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。

Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。
….[阅读全文]

经验分享:并发批量管理500+台以上服务器shell/bash脚本分享(expect版)

Posted Posted in Shell脚本, 批量部署, 经验, 自动化, 菜鸟, 运维

也许很多人认为shell不能并发任务,其实可通过其它一些方式来实现。下面的脚本是我批量快速管理500+服务器脚本,阅读该脚本前建议先看《自动执行远程主机命令expect脚本》、《自动远程拷贝expect脚本》和《getopt:命令行选项、参数处理》

用法:
Usage: ./multi_main.sh [-h|–help]
[-v|-V|–version]
[-l|–iplist … ]
[-c|–config … ]
[-t| ….[阅读全文]

如何在shell/bash脚本中使用trap命令捕获信号

Posted Posted in Shell脚本, 入门, 自动化, 菜鸟

信号是LinuX系统中的一种进程间通信机制,它给应用程序提供一种异步的软件中断,使应用程序有机会接受其他程序活终端发送的命令(即信号)。应用程序收到信号后,有三种处理方式:忽略默认,或捕捉。进程收到一个信号后,会检查对该信号的处理机制。如果是SIG_IGN,就忽略该信号;如果是SIG_DFT,则会采用系统默认的处理动作,通常是终止进程或忽略该信号;如果给该信号指定了一个处理函数(捕捉),则会中断当前进程正在执行的任务,转而去执行该信号的处理函数,返回后再继续执行被中断的任务。 ….[阅读全文]

入门:Shell/Bash中的字符串基本处理操作(提取/替换/匹配/掐头/去尾)

Posted Posted in Shell脚本, 入门, 自动化, 菜鸟

字符串操作(长度,读取,替换)

表达式
含义

${string:position}
在$string中, 从位置$position开始提取子串

${string:position:length}
在$string中, 从位置$position开始提取长度为$length的子串

${string#substring}
从变量$string的开头, 删除最短匹配$substring的子串

${string##substring}
从变量$string的开头, 删除最长匹配$substring的子串

${string% ….[阅读全文]

快速配置:nagios自动化安装与配置脚本

Posted Posted in Shell脚本, 入门, 监控, 自动化, 菜鸟, 运维

以下为nagios的安装与配置脚本,脚本中server:192.168.1.114、client:192.168.1.113,主要监控host-
alive、disk、cpu_procs、load、ssh、swap、users、zombie_procs等,请根据实际环境修改配置文件。
脚本中开源软件版本:
httpd-2.2.22.tar.gz
libiconv-1.13.1.tar.gz
php-5.3.10.tar.gz
nagios-3.3.1.tar.gz
nagios-plugins-1.4.15.tar.gz
nrpe-2.13.tar.gz
使用方法:
cd ….[阅读全文]

快速配置:适用于CentOS/RHEL 5-6的Linux初始化脚本

Posted Posted in Linux, Shell脚本, 入门, 系统, 自动化, 菜鸟

以下脚本用于linux系统的初始化脚本,可以在服务器系统安装完毕之后立即执行。脚本结合各位大牛一些参数,已经在CentOS 5下通过。
使用方法:将其复制,保存为一个shell文件,比如init.sh。将其上传到linux服务器上,执行sh init.sh。建议大家在系统安装后立即执行。
脚本代码:
#!/bin/bash
# Configure yum source 配置yum源
cd /tmp
wget -c http://yum.baseurl.org/download/3.4/yum-3.4.3.tar.gz
tar zxf yum-3.4.3.tar.gz
cd yu ….[阅读全文]

折腾nginx之详细配置笔记(开启ssl/nginx参数调优/开启http2/开启XSS保护)

Posted Posted in Web, 经验, 菜鸟, 运维

本文只是记录一些折腾 nginx 配置的收获。

先说下启用 HTTPS 吧。
其实迁移博客的时候,我就已经启用了 HTTPS,只是没强制跳转而已。这半年多来好像没遇到什么问题,所以应该可以放心用了。

要启用 HTTPS 自然需要一个证书。没什么需求的话,弄个免费的就行了。我阴差阳错地选择了 StartSSL。
网上有教程,我就不详述怎么申请了,基本流程如下:

  1. 生成一个加密的 key 文件:
    openssl genrsa -des3 -out example.com_secure.key 4096
    需要输入密码,自己记住。
  2. 生成 CSR 文件:
    op ....[阅读全文]