在CentOS中安装Awstats日志分析器 解析nginx日志并启用htpasswd认证访问

Posted Posted in Web, 监控, 笔记, 菜鸟, 运维

AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。

AWStats 是一个免费的强大而有个性的工具,带来先进的网络,流量,FTP或邮件服务器统计图. 本日志分析器作为CGI或从命令行在数个图形网页中显示你日志中包含的所有可能信息. 它利用一部分档案资料就能经常很快地处理大量日志档案, 它能分析日志文件来自从各大服务器工具 ,如 Apache日志档案 s (NCSA combined/XLF/ELF log format or common/CLF log format), WebStar, IIS (W3C的日志格式)及许多其他网站,Proxy(代理服务器)、Wap、流量服务器、邮件服务器和一些 FTP服务器 。

….[阅读全文]

经验分享:小米手机官网抢购系统架构的思路解析与开发经验

Posted Posted in Web, 经验, 菜鸟, 运维

2014年4月的“米粉节”对小米网来说意义非凡,是其彻底重构后迎来的一次全面压力测试,涉及网站前端、后台系统、仓储物流、售后等各环节。高并发的负载能力、稳定性、准确性等已不是问题,灵活性与可运营性成为关键。

引言

2014年4月9日凌晨,我和同事们对小米网的抢购系统做了最后的检查与演练。几个小时后,小米网今年开年来最重要的一次大型活动“米粉节”就要开始了。

这次米粉节活动,是小米电商的成人礼,是一次重要的考试。小米网从网站前端、后台系统、仓储物流、售后等各个环节,都将接受一次全面的压力测试。

10点整,一波流量高峰即将到来,几百万用户将准点挤入小米网的服务器。而首先迎接压力冲击的,就是挡在最前面的抢购系统。 ….[阅读全文]

经验技巧:系统管理员必备的16个经典iptables使用技巧

Posted Posted in Linux, 系统, 经验, 菜鸟

iptables 是一款控制系统进出流量的强大配置工具。

IPTABLES 是与最新的 3.5 版本 Linux 内核集成的 IP 信息包过滤系统。如果 Linux 系统连接到因特网或 LAN、服务器或连接 LAN 和因特网的代理服务器, 则该系统有利于在 Linux 系统上更好地控制 IP 信息包过滤和防火墙配置。

现代 Linux 内核带有一个叫 Netfilter 的数据包过滤框架。Netfilter 提供了允许、丢弃以及修改等操作来控制进出系统的流量数据包。基于 Netfilter 框架的用户层命令行工具 iptables 提供了强大的防火墙配置功能,允许你添加规则来构建防火墙策略。iptables 丰富复杂的功能以及其巴洛克式命令语法可能让人难以驾驭。我们就来探讨一下其中的一些功能,提供一些系统管理员解决某些问题需要的使用技巧。 ….[阅读全文]

使用nmcli/nmtui/ifcfg在RHEL8/CentOS8系统中配置静态IP地址 图文教程

Posted Posted in Linux, 入门, 系统, 菜鸟

在 Linux 服务器上工作时,在网卡/以太网卡上分配静态 IP 地址是每个 Linux 工程师的常见任务之一。如果一个人在 Linux 服务器上正确配置了静态地址,那么他/她就可以通过网络远程访问它。在本文中,我们将演示在 RHEL 8 服务器网卡上配置静态 IP 地址的不同方法。

以下是在网卡上配置静态IP的方法:

  1. nmcli(命令行工具)
  2. 网络脚本文件(ifcfg-*
  3. nmtui(基于文本的用户界面)

….[阅读全文]

在RHEL8/CentOS8上建立多节点ElasticStack(ELKStack)集群图文实战教程

Posted Posted in ELK, Linux, 系统, 经验, 菜鸟, 运维

Elastic stack 俗称 ELK stack,是一组包括 Elasticsearch、Logstash 和 Kibana 在内的开源产品。Elastic Stack 由 Elastic 公司开发和维护。使用 Elastic stack,可以将系统日志发送到 Logstash,它是一个数据收集引擎,接受来自可能任何来源的日志或数据,并对日志进行归一化,然后将日志转发到 Elasticsearch,用于分析、索引、搜索和存储,最后使用 Kibana 表示为可视化数据,使用 Kibana,我们还可以基于用户的查询创建交互式图表。

在本文中,我们将演示如何在 RHEL 8 / CentOS ….[阅读全文]

使用基于Docker镜像快速部署ceph分布式文件系统 图文实战教程(Luminous版本)

Posted Posted in Ceph, Docker, 云计算, 经验, 菜鸟

最近正在学习Kubernetes,其中会用到Ceph分布式文件存储系统,因此着手搭建测试了一把。为了简单方便,这里依然是基于Docker部署,极大地简化了部署配置的难度。

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

现在,Ceph已经被集成在主线 Linux 内核中,但只是被标识为实验性的。在这种状态下的文件系统对测试是有用的,但是对生产环境没有做好准备。但是考虑到Ceph 加入到 Linux 内核的行列,不久的将来,它应该就能用于解决海量存储的需要了。

一些开源的云计算项目已经开始支持Ceph,事实上Ceph是目前OpenStack生态系统中呼声最高的开源存储解决方案。这些项目都支持通过libvirt调用Ceph作为块设备进行读写访问。

….[阅读全文]

经验分享:Linux虚拟机 磁盘空间满/inode满/僵尸文件 问题分析与排查

Posted Posted in Linux, 系统, 经验, 菜鸟

inode 是 UNIX 操作系统中的一种数据结构,其本质是结构体,它包含了与文件系统中各个文件相关的一些重要信息。在 UNIX 中创建文件系统时,同时将会创建大量的 inode 。通常,文件系统磁盘空间中大约百分之一空间分配给了 inode 表。

inode 表包含一份清单,其中列出了对应文件系统的所有 inode 编号。当用户搜索或者访问一个文件时,UNIX 系统通过 inode 表查找正确的 inode 编号。在找到 inode 编号之后,相关的命令才可以访问该 inode ,并对其进行适当的更改。

….[阅读全文]

菜鸟入门:详解Linux的inode原理,以及软硬链接的作用

Posted Posted in Linux, 入门, 系统, 菜鸟

文件储存在硬盘上,硬盘的最小存储单位叫做”扇区”(Sector)。每个扇区储存512字节(相当于0.5KB)。

操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个”块”(block)。这种由多个扇区组成的”块”,是文件存取的最小单位。”块”的大小,最常见的是4KB,即连续八个 sector组成一个 block。

文件数据都储存在”块”中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为”索引节点”。

每一个文件都有对应的inode,里面包含了与该文件有关的一些信息。

….[阅读全文]

Docker中文文档(二十四):在微软Windows系统上安装Docker

Posted Posted in Docker, Windows, 云计算, 入门, 系统, 菜鸟

Docker 引擎使用的是Linux内核特性,所以我们需要在 Windows 上使用一个轻量级的虚拟机 (VM) 来运行 Docker。为了简化这个过程,我们设计了一个叫 Boot2Docker 的应用程序,你可以通过它来安装虚拟机和运行 Docker。

虽然你使用的是 Windows 的 Docker 客户端,但是 docker 引擎容器依然是运行在 Linux 宿主主机上。直到我们开发了 windows 版本的 Docker 引擎,你只需要在你的 Windows 主机上启动一个 Linux 容器。

….[阅读全文]

Docker中文文档(二十二):在OpenSUSE系统上安装Docker

Posted Posted in Docker, Linux, 云计算, 入门, 系统, 菜鸟

OpenSUSE 项目是由 Novell 发起的开源社区计划。 旨在推进 Linux 的广泛使用,提供了自由简单的方法来获得世界上最好用的 Linux 发行版之一:openSUSE。openSUSE 项目为 Linux开发者和爱好者提供了开始使用 Linux 所需要的一切。该项目由SUSE等公司赞助,2011年Attachmate集团收购了Novell,并把Novell和SUSE做为两个独立的子公司运营。openSUSE 操作系统和相关的开源程序会被SUSE Linux Enterprise(比如 SLES 和 SLED)使用。openSUSE对个人来说是完全免费的,包括使用和在线更新。

….[阅读全文]