系统的演进,组件的使用 二

系统的演进,组件的使用 二

  • 系统的演进,组件的使用
    • web服务器
      • 后端系统的基石
      • 建立在web服务器上的子系统
      • 使用web服务器框架的好处
    • 数据库
      • 常见的数据库类型
      • 数据库的核心知识
    • 缓存
      • 为什么需要缓存
      • 缓存的适用场景
    • 消息队列
      • 为什么需要消息队列
    • 现在的后端系统图

系统的演进,组件的使用

web服务器

想要让系统能够相互通信起来,首先我们需要搭建一个服务器

后端系统的基石

在Linux系统上,想要构建一个服务器,我们可以自己利用socket API和IO复用模型(select,poll,epoll)自己编写。不过,这有些问题,首先,自己编写的服务器不能保证没有bug,其次,服务器要满足高性能的要求不是件简单的事,不仅如此,在此基础上服务器还得满足易用性,高扩展性的要求。

博主曾经自己仿照java的netty框架自己编写了一个服务器,主要思路是利用主从reactor模型,主reactor接受连接请求,并将连接的IO文件放到从reactor上去监控,期间为了高性能做了很多优化,如构造线程池,内存池,利用epoll机制等等,在还未支持业务功能异步和流量监控的情况下,好不容易让程序跑起来。测试的时候发现建立了几十个连接之后就无法连接了,最后排查问题的时候发现是客户端断开连接的时候服务器忘记释放维护的连接了…修改之后才好不容易突破C10K…对于那些正在冲击C10M问题的高性能服务器框架,我深深地感受到了什么是差距…

总之,说这么多呢,主要是想说明,构建系统没有必要自己去编写服务器框架,用现成的就可以了,直接站在巨人的肩膀上,还能学习这些优秀框架的思想。

建立在web服务器上的子系统

C系比较热门的框架是Apache和nginx,Apache是利用传统的多进程模型,优势是稳定,之前企业里用的比较多,但现在相比nginx已经在走下坡路了。nginx是一个不断占领市场的高性能服务器框架,企业中用的越来越多,是学习的较好选择

java系的话已经有了spring这一保姆级的框架了,学这个就行了

使用web服务器框架的好处

一般,web服务器框架都会提供一个接口,在这个接口上我们能完成业务功能的编写,至于服务器的性能优化,在一般情况下不需要我们去考虑,只有在一些要求很高的高并发场景下,我们才需要在框架源码层级寻找解决方案,这大大简化了开发人员的任务,使他们的精力可以专注于业务功能的编写。

数据库

常见的数据库类型

数据库是除了web服务器之外另一个必不可少的组件了。
关系型数据库中,我们最常用的是MySQL和Oracle,MySQL由于开源的原因,更适合人们学习,市面上相关的资料很多。博主熟悉的也是MySQL

数据库的核心知识

数据库的作用主要是为了存储数据,在我看来,它主要关注的有3个问题
1.数据库中数据的物理存储方式,要如何存储才能在短时间内检索出我们所要的数据
2.数据库中如何各种情况下保证数据的一致性。
举几个例子
每个顾客都有他们的订单,订单的属性中有顾客的ID作为外键,我们修改相关数据库时必须要2个一起修改才能成功
数据库在修改数据时数据库突然挂了,这个时候应该如何处理才能保证数据是对的
数据库数据的备份和恢复等
3.数据库如何保证在高并发场景下读到的数据都是我们想要的数据

缓存

为什么需要缓存

由于数据库中的数据一般是存储在持久化介质磁盘之中,而这些介质有一个特点,那就是存储的数据非常多但是读取、写入的效率非常低
为了提高数据读取的效率,我们可以借鉴计算机体系结构中存储介质分级的思想。
因为内存读取效率比磁盘要高得多得多,所以我们可以利用内存来存放一部分磁盘中的数据从而提高数据的读取效率。
因为内存资源较为宝贵,我们一台机器可能不够,我们此时可以使用分布式缓存。分布式缓存主要使用一致性哈希算法,决定将数据分配到哪个机器中,之后读取数据同样根据一致性哈希算法从对应的机器中读取。

因为缓存只存在一部分数据,所以出现缓存未命中的情况是在所难免的,这个时候我们一般有两种策略。
第一种,我们不更新缓存,发现缓存未命中时,我们就更改访问目标,直接从数据库中读取数据
第二,我们让缓存自动更新,发现缓存未命中后,我们等待缓存向数据库访问数据,缓存得到数据之后将得到的数据替换,然后再向请求方返回该数据

第一种策略一般用于热点数据固定不变的情况
第二种策略用得比较多,在写入数据时,这种策略的缓存会有两种方式。1.写入后缓存将数据写入后才返回响应。2.写入数据后缓存立刻返回响应,之后再异步更新数据。但这样会有遗失数据的风险

缓存的适用场景

缓存一般适用于读多写少,且读取的数据符合二八定律的场景,如果数据的访问完全随机,缓存频频失效,那这样效率反而会降低。

消息队列

为什么需要消息队列

引入消息队列主要是以下三个原因

1.试想下面一个场景
双十一购物期间,在短时间内请求数会非常多,但是服务器在一个时刻能够服务的请求是有效的,那么无法服务的请求该怎么办呢?不管吗?这样显然不行。
这时一个比较好的解决办法就是将请求消息存放到消息队列中,服务器从消息队列中读取请求,这其实就相当于洪水到来时我们利用水坝去泄洪。
消息队列用来平缓流量

2.第二个场景
之前我们的电商系统生成一个订单之后,下游的很多系统(如支付系统,库存系统)收到这个订单之后都要开始工作,此时如果我们需要再增加一个下游系统的话,我们得给订单系统再增加一个接口,这实际上违背了依赖倒置原则(上层模块不应该依赖下层模块,两者都应该依赖抽象),如果我们在其中增加一个消息队列的话,每个订单都发到消息队列中,让下游系统去订阅消息队列,这样就实现了服务的解耦。实际上这种思想和设计模式中的观察者模式有点相似。
消息队列实现服务解耦

3.第三个场景
有时候,我们的业务处理流程是比较复杂的。
拿淘宝举例,淘宝下单的流程包括风控,锁存,生成订单,短信通知等多个步骤,但实际上我们只需要完成风控和锁存就可以返回响应了,将后续的流程丢入消息队列中,让服务器之后再去处理。这样就能增加服务的请求数了
消息队列实现异步

现在的后端系统图

请添加图片描述

现在用户发送请求时,会先将请求发送到消息队列,电商网站系统订阅消息队列中的消息,在有新消息到来时读取消息并做出响应,在系统内部可能也利用到了消息队列作服务解耦和异步的作用。在处理业务时,我们可能需要用到缓存中的数据,若缓存中存在我们需要的数据,这时我们可以直接读取缓存中的数据,若缓存中的数据不存在,则缓存向数据库发送请求,数据库返回数据之后更新缓存并响应系统层的请求。
业务过程中要写入数据时可以采用两种策略,第一是同步,数据库更新之后再返回,第二种是异步,直接返回稍后更新数据库。第二种策略效率更高但是有安全隐患。软件设计就是这样,没有银弹,按下了葫芦起了瓢。

热门文章

暂无图片
编程学习 ·

Java输出数组的内容

Java输出数组的内容_一万个小时-CSDN博客_java打印数组内容1. 输出内容最常见的方式// List<String>类型的列表List<String> list new ArrayList<String>();list.add("First");list.add("Second");list.add("Third");list.ad…
暂无图片
编程学习 ·

母螳螂的“魅惑之术”

在它们对大蝗虫发起进攻的时候&#xff0c;我认认真真地观察了一次&#xff0c;因为它们突然像触电一样浑身痉挛起来&#xff0c;警觉地面对限前这个大家伙&#xff0c;然后放下自己优雅的身段和祈祷的双手&#xff0c;摆出了一个可怕的姿势。我被眼前的一幕吓到了&#xff0c;…
暂无图片
编程学习 ·

疯狂填词 mad_libs 第9章9.9.2

#win7 python3.7.0 import os,reos.chdir(d:\documents\program_language) file1open(.\疯狂填词_d9z9d2_r.txt) file2open(.\疯狂填词_d9z9d2_w.txt,w) words[ADJECTIVE,NOUN,VERB,NOUN] str1file1.read()#方法1 for word in words :word_replaceinput(fEnter a {word} :)str1…
暂无图片
编程学习 ·

HBASE 高可用

为了保证HBASE是高可用的,所依赖的HDFS和zookeeper也要是高可用的. 通过参数hbase.rootdir指定了连接到Hadoop的地址,mycluster表示为Hadoop的集群. HBASE本身的高可用很简单,只要在一个健康的集群其他节点通过命令 hbase-daemon.sh start master启动一个Hmaster进程,这个Hmast…
暂无图片
编程学习 ·

js事件操作语法

一、事件的绑定语法 语法形式1 事件监听 标签对象.addEventListener(click,function(){}); 语法形式2 on语法绑定 标签对象.onclick function(){} on语法是通过 等于赋值绑定的事件处理函数 , 等于赋值本质上执行的是覆盖赋值,后赋值的数据会覆盖之前存储的数据,也就是on…
暂无图片
编程学习 ·

Photoshop插件--晕影动态--选区--脚本开发--PS插件

文章目录1.插件界面2.关键代码2.1 选区2.2 动态晕影3.作者寄语PS是一款栅格图像编辑软件&#xff0c;具有许多强大的功能&#xff0c;本文演示如何通过脚本实现晕影动态和选区相关功能&#xff0c;展示从互联网收集而来的一个小插件&#xff0c;供大家学习交流&#xff0c;请勿…
暂无图片
编程学习 ·

vs LNK1104 无法打开文件“xxx.obj”

写在前面&#xff1a; 向大家推荐两本新书&#xff0c;《深度学习计算机视觉实战》和《学习OpenCV4&#xff1a;基于Python的算法实战》。 《深度学习计算机视觉实战》讲了计算机视觉理论基础&#xff0c;讲了案例项目&#xff0c;讲了模型部署&#xff0c;这些项目学会之后可以…
暂无图片
编程学习 ·

工业元宇宙的定义与实施路线图

工业元宇宙的定义与实施路线图 李正海 1 工业元宇宙 给大家做一个关于工业元宇宙的定义。对于工业&#xff0c;从设计的角度来讲&#xff0c;现在的设计人员已经做到了普遍的三维设计&#xff0c;但是进入元宇宙时代&#xff0c;就不仅仅只是三维设计了&#xff0c;我们的目…
暂无图片
编程学习 ·

【leectode 2022.1.15】完成一半题目

有 N 位扣友参加了微软与力扣举办了「以扣会友」线下活动。主办方提供了 2*N 道题目&#xff0c;整型数组 questions 中每个数字对应了每道题目所涉及的知识点类型。 若每位扣友选择不同的一题&#xff0c;请返回被选的 N 道题目至少包含多少种知识点类型。 示例 1&#xff1a…
暂无图片
编程学习 ·

js 面试题总结

一、js原型与原型链 1. prototype 每个函数都有一个prototype属性&#xff0c;被称为显示原型 2._ _proto_ _ 每个实例对象都会有_ _proto_ _属性,其被称为隐式原型 每一个实例对象的隐式原型_ _proto_ _属性指向自身构造函数的显式原型prototype 3. constructor 每个prot…
暂无图片
编程学习 ·

java练习代码

打印自定义行数的空心菱形练习代码如下 import java.util.Scanner; public class daYinLengXing{public static void main(String[] args) {System.out.println("请输入行数");Scanner myScanner new Scanner(System.in);int g myScanner.nextInt();int num g%2;//…
暂无图片
编程学习 ·

RocketMQ-什么是死信队列?怎么解决

目录 什么是死信队列 死信队列的特征 死信消息的处理 什么是死信队列 当一条消息初次消费失败&#xff0c;消息队列会自动进行消费重试&#xff1b;达到最大重试次数后&#xff0c;若消费依然失败&#xff0c;则表明消费者在正常情况下无法正确地消费该消息&#xff0c;此时…
暂无图片
编程学习 ·

项目 cg day04

第4章 lua、Canal实现广告缓存 学习目标 Lua介绍 Lua语法 输出、变量定义、数据类型、流程控制(if..)、循环操作、函数、表(数组)、模块OpenResty介绍(理解配置) 封装了Nginx&#xff0c;并且提供了Lua扩展&#xff0c;大大提升了Nginx对并发处理的能&#xff0c;10K-1000K Lu…
暂无图片
编程学习 ·

输出三角形

#include <stdio.h> int main() { int i,j; for(i0;i<5;i) { for(j0;j<i;j) { printf("*"); } printf("\n"); } }
暂无图片
编程学习 ·

stm32的BOOTLOADER学习1

序言 最近计划学习stm32的BOOTLOADER学习,把学习过程记录下来 因为现在网上STM32C8T6还是比较贵的,根据我的需求flash空间小一些也可以,所以我决定使用stm32c6t6.这个芯片的空间是32kb的。 #熟悉芯片内部的空间地址 1、flash ROM&#xff1a; 大小32KB&#xff0c;范围&#xf…
暂无图片
编程学习 ·

通过awk和shell来限制IP多次访问之学不会你打死我

学不会你打死我 今天我们用shell脚本&#xff0c;awk工具来分析日志来判断是否存在扫描器来进行破解网站密码——限制访问次数过多的IP地址&#xff0c;通过Iptables来进行限制。代码在末尾 首先我们要先查看日志的格式&#xff0c;分析出我们需要筛选的内容&#xff0c;日志…
暂无图片
编程学习 ·

Python - 如何像程序员一样思考

在为计算机编写程序之前&#xff0c;您必须学会如何像程序员一样思考。学习像程序员一样思考对任何学生都很有价值。以下步骤可帮助任何人学习编码并了解计算机科学的价值——即使他们不打算成为计算机科学家。 顾名思义&#xff0c;Python经常被想要学习编程的人用作第一语言…
暂无图片
编程学习 ·

蓝桥杯python-数字三角形

问题描述 虽然我前后用了三种做法&#xff0c;但是我发现只有“优化思路_1”可以通过蓝桥杯官网中的测评&#xff0c;但是如果用c/c的话&#xff0c;每个都通得过&#xff0c;足以可见python的效率之低&#xff08;但耐不住人家好用啊&#xff08;哭笑&#xff09;&#xff09…