刘文奇

架构所用技术汇总

4/10/2017 技术汇总

# 技术汇总

# 技术蓝图

上面技术蓝图讲解，主要分4大块。不知道这么说是否准确望请指正！

# 系统架构层面(应用运维、系统架构)

  • DNS
    • 内网，bind服务（可能做成存数据库类型的）
    • 外网，DNS健康检查等
  • CDN
    • Static 静态资源分发(JS、css、image等)
    • 视频点播，例如优酷视频、腾讯视频、爱奇艺等等
    • 视频直播，虎牙、斗鱼、电视直播等等
  • 负载均衡
    • 硬件 : F5
    • 软件 :
      • lvs
      • nginx
      • haproxy
    • 云厂商SLB（好多云厂商会直接提供负载均衡服务，不过是收费的。阿里云、AWS、腾讯云等等）

参考文档如下：

网站架构演变文档连接

#

# 负载均衡技术

lvs nginx haproxy 生产环境中如何抉择?

# DNS轮询

所谓　DNS轮询：是指的网站域名解析的IP使用多个服务器和IP 通过DNS轮询 访问每一台服务器，

不推荐这样直接访问核心服务器，可以在前端增加一层nginx负载代理使用,而且如果DNS解析上没有健康检查还是存在服务器单点故障问题。可以考虑加keeplived做健康检查

# nginx

为啥要把nginx单独列出来，就是因为它太牛逼了，太强了，你可以用它做太多事情了。

# nginx 类别

# tengine

阿里根据nginx官方包衍生产品，作为一个搞运维的人员，相信大家都不对阿里云都不陌生吧，阿里云做的两个字NB，这款产品给我的印象，最牛逼的是可以动态加载库，无需编译。当然本人确实没怎么研究。以后会加深研究，看看有什么能在现有的项目中用到把。

# openresty

不得不说的一个产品，春哥和他的团队写的。我虽然只是会用，但是我也感觉很自豪，MD中国人写的，给国人长脸呀，说多了。我对与这个产品的了解：nginx+lua 集成产品，最注重的就是性能、性能、性能....重要的是说三遍。下面是一些官方的介绍：

OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。

OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。

openresty 官网 (opens new window)

# nginx 官方原生

这个就不多介绍了 可以去官网看下nginx 官网 (opens new window)

# nginx 可以做的事

# nginx+lua做网站防火墙（WAF）

* 建议直接安装openresty里面集成了lua *
简单介绍下WAF：所谓的WAF，就是nginx做对外出口服务的时候，利用nginx的高性能，通过lua 脚本去过滤http请求头、uri、header、cookie、session等信息，对网站做一些基本的防御。
主要用于防扫描、SQL注入、XSS等

# Httpguard(网上写的开源产品，利用lua写的一套专注与防CC的产品)

简单介绍下：我自己用了好久，好坏参半把。当你的网站受到大量CC的时候，当你头疼不易，网站已被干成404的时候，请上它，瞬间能让你清爽到底。但是在正常的时候，容易误杀用户功能，它好多都是通过用户真实IP判断的。提醒一句慎用，当然如果你会lua语言就另当别论。

github地址 Httpguard_github (opens new window) ​ 哪位大神如果，请帮忙优化下。

# Vddos （闭源产品）

国外比较流行的一种，针对DDos和CC攻击防御的一款闭源软件，针对TCP/IP 三次握手做判断来防御。
不过使用它配合cloudflare(国外一款DNS和CDN厂家)使用，效果还不错。可以尝试下。

原理图 vddos 原理图 Vddos

参考文档

Vddos官网地址 VDDOS address (opens new window) 可能需要翻墙

Github address (opens new window)

Vddos介绍使用

介绍DDOS攻击原理网站： 连接地址 (opens new window)

# Code 层面优化

# php fastcgi 优化扩展

参考文档

php-fpm 参数配置

# php 7.0 优化

# JVM 优化

参考连接

IBM blog 出品 (opens new window) csdn jvm (opens new window)

# 数据库

# mysql

  • mysql主从复制

img ss

  • mysql+hearbeat+DRBD

img ss

  • mysql cluster集群

mysql官方出的一套针对与mysql集群软件，可以使用表自动分片，缺点不利于维护。

  • mysql优化相关

参考连接地址

# mongodb

+ mongo 副本集集群

img ss 

+ mongo sharding  分片集群

img ss

# 缓存

# memcached

img ss

文档如下：

memcached使用

MemCache 基础介绍与工作原理

# Redis

+ redis  sentinel
```
                   +-------------+
               | Sentinel 1  | <--- Client A
               | Redis 1 (M) |
               +-------------+
                       |
                       |
   +-------------+     |                     +------------+
   | Sentinel 2  |-----+-- / partition / ----| Sentinel 3 | <--- Client B
   | Redis 2 (S) |                           | Redis 3 (M)|
   +-------------+                           +------------+
```

Redis 哨兵架构文档

Redis 集群方案

Redis 基本操作

Redis 主从

缓存选型

# 队列

只说下比较常用的类型

  • redis: 可以作为简单队列处理。
  • rabbitmq 企业级队列，比较重
  • kafka： 多用与与日志相关

文档如下：

rabbitmq 基本概念

rabbitmq 集群部署

部署测试 redis 做消息队列

部署测试 kafka 做消息队列

kafka 集群部署

Zookeeper 集群部署

# 集中式日志中心解决方案

Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案

分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。

  • Logstash：负责日志的收集，处理和储存
  • Elasticsearch：负责日志检索和分析
  • Kibana：负责日志的可视化

参考文档：

概念及架构层面介绍

部署测试 redis 做消息队列

部署测试 kafka 做消息队列

kafka 集群部署

Zookeeper 集群部署

# 监控

  • zabbix

参考文档

zabbix+grafana 打造炫酷架空平台

  • nagois

    没怎么用过 主要是得自己写模板,计较麻烦.想我这种懒人不太适合

  • catti

  • open-falcon

    小米公司研发，思想借鉴zabbix。 前台使用 python开发，后端使用go语言开发，社区活跃度很高。

    官网地址 (opens new window)

    安装配置手册地址 (opens new window)

  • prometheus k8s配套设备，监控容器利器。时间序列监控。

上面开源监控系统一般都可以加上Grafana 图像话展示。UI很炫。

配个原理图

原理图

# 备份

# bacula

bacula 文档

# 文件存储备份

# mysql 数据库备份

  • Xtraback 简单介绍下：当数据库不断增大后，导致数据库文件越来越大，如果还是使用mysqldump 这个逻辑备份和恢复，期间等待的时间会非常长，会让人崩溃。。。。 因此会产生了物理机的备份软件，MySQL官网上有一款商业备份软件(花钱大家都懂得)、一款免费的开源的备份软件Xtraback，而Xtraback足够你使用了

参考文档

Xtraback原理文档

xtarback备份脚本分享 备份脚本

  • mysqldump

    没啥说的逻辑备份

# 系统

# Linux系统内核优化

参考文档 linux系统内核优化详解

# iptables使用介绍及日常用到shell信息

iptables 相关使用文档

# 存储(软件存储系统非硬件不是阵列)

# NFS 网络挂载存储

# NFS安装使用及相关文档信息

# 分布式存储

# glusterfs

简单介绍下：适用于大文件存储,C写的开源程序，支持mount直接挂载，无元数据

glusterfs文档介绍

# Hdoop(HDFS)

简单介绍下：适用于大文件存储，Apache公司的产品，Java程序编写，有远程数据。

# FastDFS(开源软件)：

简单介绍下：适用于小文件存储（网盘、短视频、images），对于高并发具有很好的支持。

# 虚拟化

# KVM

主要是基于 Linux内核做的虚拟化 把CPU、mem、disk 进行虚拟化使用

只是简单了解过，并未做过段研究、只用过单机虚拟化

简单介绍下单机使用

# Vmware 老牌虚拟化

这里先不说了 基本都会些，后续做补充

# Docker

这个就需要详细介绍下，最近非常火的 微服务虚拟化

  • 介绍下docker

    使用GO语言编写，推崇使用容器思想，详情可去如下地址了解：

    https://docker_practice.gitee.io/introduction/what.html

  • docker三剑客：compose、machine、docker swarm

    • docker-compose 负责实现对 Docker 容器集群的快速编排。从功能上看，跟 OpenStack 中的 Heat 十分类似。 相当于管理各种dockerfile 形成一个项目集群，对多个容器进行统一管理
    • marchine Docker Machine 是 Docker 官方编排（Orchestration）项目之一，负责在多种平台上快速安装 Docker 环境。
    • Swarm Swarm 是使用 SwarmKit 构建的 Docker 引擎内置（原生）的集群管理和编排工具 Docker 自家出的 推荐一个本 docker最佳实践 京东有卖

  • kubernetes

Kubernetes 是用于自动部署，扩展和管理容器化应用程序的开源系统

这么来形容kubernetes,docker的崛起，其实也也归功于他，前期的docker发展并没有用于生产环境，好多都是用测试环境。直到kubernetes出世，生产级别的容器编排系统，让docker可以真正的使用与生产环境。 推荐一本书： Kubernetes权威指南 京东有卖。

看完了不留言的都是耍流氓！

最后再扯个淡