使用Docker容器部署SpringBoot项目

2018-12-26

Docker简介

Docker是基于Go语言实现的云开源项目,诞生于2013年初,最初发起者是dotClouw公司。Docker 自开源后受到广泛的关注和讨论,目前已有多个相关项目,逐断形成了围Docker的生态体系。dotCloud 公司后来也改名为Docker Ine。

Docker是一个开源的容器引擎,它有助于更快地交付应用。 Docker可将应用程序和基础设施层隔离,并且能将基础设施当作程序一样进行管理。使用 Docker可更快地打包、测试以及部署应用程序,并可以缩短从编写到部署运行代码的周期。

官网地址:(https://docs.docker.com/) 中文:(http://www.docker.org.cn/)

Docker架构

image

Docker daemon:运行在宿主机(DOCKER-HOST)的后台进程,可通过 Docker 客户端与之通信。

Images:一个只读的镜像模板,可以自己创建一个镜像也可以从网站上下载镜像供自己使用,镜像包含了一个RFS,一个镜像可以创建很多容器。

Container:由Docker Client通过镜像创建的实例,用户在容器中运行应用,一旦创建后就可以看做是一个简单的RFS,每个应用运行在隔离的容器中,享用独自的权限,用户,网络。确保安全与互相干扰 两者在创建后,都是一堆layer的统一视角,唯一的却别是镜像最上面那一层是只读的,不可以修改,但是容器最上面一层是rw的,提供给用户操作。

Repository:镜像仓库。

阅读全文...

Netlify-Hexo持续部署最佳实践

2018-12-21

Hexo被称为是最佳的静态博客程序之一,然而其繁琐的环境搭建、构建,发布过程,让很多人望之却步,转而使用了传统的WordPress等博客程序,抛开维护成本不说,本着折腾一切的心态,最终研究出了一套完善的自动部署方案。

Hexo特色

  • 超快速度: Node.js 所带来的超快生成速度,让上百个页面在几秒内瞬间完成渲染。
  • 支持 Markdown: Hexo 支持 GitHub Flavored Markdown 的所有功能,甚至可以整合 Octopress 的大多数插件。
  • 一键部署: 只需一条指令即可部署到 GitHub Pages, Heroku 或其他网站。
  • 丰富的插件: Hexo 拥有强大的插件系统,安装插件可以让 Hexo 支持 Jade, CoffeeScript。

目前市面上还存在很多类似的静态网站生成器,详情请查看:https://www.staticgen.com/

如何实现优雅发布

就目前而言,Hexo发布的方式有以下几种:

阅读全文...

Spring5响应式WEB编程-Webflux示例

2018-12-17

Spring WebFlux简介

Spring WebFlux是随Spring 5推出的响应式Web框架:

image

(左侧为基于spring-webmvc的技术栈,右侧为基于spring-webflux的技术栈)

服务端技术栈

  • Spring WebFlux是基于响应式流的,因此可以用来建立异步的、非阻塞的、事件驱动的服务。它采用Reactor作为首选的响应式流的实现库,不过也提供了对RxJava的支持;
  • 由于响应式编程的特性,Spring WebFlux和Reactor底层需要支持异步的运行环境,比如NettyUndertow;也可以运行在支持异步I/O的Servlet 3.1的容器之上,比如Tomcat(8.0.23及以上)和Jetty(9.0.4及以上);
  • 从图的纵向上看,spring-webflux上层支持两种开发模式:
    • 类似于Spring WebMVC的基于注解(@Controller@RequestMapping)的开发模式;
    • Java 8 lambda 风格的函数式开发模式;
  • 响应式的WebSocket服务端开发;

客户端技术栈

此外,Spring WebFlux也提供了一个响应式的Http客户端API WebClient。它可以用函数式的方式异步非阻塞地发起Http请求并处理响应。

WebClient可以看做是响应式的RestTemplate,相对于后者来说,他的特点是:

  • 是非阻塞的,可以基于少量的线程处理更高的并发;
  • 可以使用Java 8 lambda表达式;
  • 支持异步的同时也可以支持同步的使用方式;
  • 可以通过数据流的方式与服务端进行双向通信;
  • 响应式的WebSocket客户端API开发;

通过Spring Boot实战WebFlux

本文的例子很简单,先直接使用Spring Initializr构建一个简单的SpringBoot项目。

阅读全文...

适用于Ewei Open Api的Sign计算脚本

2018-12-06

为方便在Postman中测试易维开放平台中需要sign参数相关的接口,写了两个Pre-Request-Script脚本,用于在Postman中动态计算签名。

文档:http://api.ewei.com/index#/index/developer_read/join_guide

##

v1 版本相关API

// 前置处理器:计算请求签名(OpenV1)
var _app_secret = pm.environment.get("provider_app_secret");
var _time_open_v1 = (new Date()).valueOf();
var _request_method = request.method;
var _request_url_no_query_string = getRequestUrlWithNoQueryString();
var _request_body = pm.request.body.raw;

var _params = _request_method 
    + getStringWithPopParameters(_request_url_no_query_string) 
    + ("_app_secret=" + _app_secret)
    + ("_timestamp=" + _time_open_v1)
    + getQueryStringWithNoSplitter()
    + (_request_body ? ("requestBody=" + _request_body) : "");
console.log("_params = " + _params);

var _url_encoded_params = encodeURIComponent(_params);
console.log("_url_encoded_params = " + _url_encoded_params);

var _lower_url_encoded_params = _url_encoded_params.toLowerCase();
console.log("_lower_url_encoded_params = " + _url_encoded_params);

var _sign_open_v1 = CryptoJS.MD5(_lower_url_encoded_params).toString();
console.log("_sign_open_v1 = " + _sign_open_v1);

pm.environment.set("_time_open_v1", _time_open_v1);
pm.environment.set("_sign_open_v1", _sign_open_v1);

function getQueryStringWithNoSplitter() {
    var request_url = request.url;
    var query_string = request_url.substring(request_url.indexOf('?') + 1);
    var query_string_no_splitter = query_string.replace("&","");
    return getStringWithPopParameters(query_string_no_splitter);
}

function getRequestUrlWithNoQueryString() {
    var request_url = request.url;
    return request_url.substring(0, request_url.indexOf('?'));
}

function getStringWithPopParameters(str) {
    var variableArray = extractPmVariables(str);
    for (var i = 0; i < variableArray.length; i++) {
        var va = variableArray[i];
        if (va.variableValue) {
            str = str.replace(va.variableKey, va.variableValue);
        }
    }
    return str;
}

function extractPmVariables(requestUrl) {
    var variableArray = [];
    var variables = requestUrl.match(//g);
    if (variables) {
       for (var i = 0; i < variables.length; i++) {
            var variableKey = variables[i];
            var variableName = variableKey.replace(",","");
            var variableValue = pm.environment.get(variableName);
            variableArray.push({
                "variableKey": variableKey,
                "variableName": variableName,
                "variableValue": variableValue
            });
        } 
    }
    return variableArray;
}
阅读全文...

使用Mybatis Plus优雅实现多租户架构

2018-11-29

在进行多租户架构(Multi-tenancy)实现之前,先了解一下相关的定义吧:

什么是多租户

多租户技术或称多重租赁技术,简称SaaS,是一种软件架构技术,是实现如何在多用户环境下(此处的多用户一般是面向企业用户)共用相同的系统或程序组件,并且可确保各用户间数据的隔离性。

简单讲:在一台服务器上运行单个应用实例,它为多个租户(客户)提供服务。从定义中我们可以理解:多租户是一种架构,目的是为了让多用户环境下使用同一套程序,且保证用户间数据隔离。那么重点就很浅显易懂了,多租户的重点就是同一套程序下实现多用户数据的隔离。

数据隔离方案

多租户在数据存储上存在三种主要的方案,分别是:

独立数据库

即一个租户一个数据库,这种方案的用户数据隔离级别最高,安全性最好,但成本较高。

  • 优点:为不同的租户提供独立的数据库,有助于简化数据模型的扩展设计,满足不同租户的独特需求;如果出现故障,恢复数据比较简单。
  • 缺点:增多了数据库的安装数量,随之带来维护成本和购置成本的增加。

共享数据库,独立 Schema

多个或所有租户共享Database,但是每个租户一个Schema(也可叫做一个user)。底层库比如是:DB2、ORACLE等,一个数据库下可以有多个SCHEMA。

  • 优点:为安全性要求较高的租户提供了一定程度的逻辑数据隔离,并不是完全隔离;每个数据库可支持更多的租户数量。
  • 缺点:如果出现故障,数据恢复比较困难,因为恢复数据库将牵涉到其他租户的数据;

共享数据库,共享 Schema,共享数据表

即租户共享同一个Database、同一个Schema,但在表中增加TenantID多租户的数据字段。这是共享程度最高、隔离级别最低的模式。

简单来讲,即每插入一条数据时都需要有一个客户的标识。这样才能在同一张表中区分出不同客户的数据,这也是我们系统目前用到的(provider_id)

  • 优点:三种方案比较,第三种方案的维护和购置成本最低,允许每个数据库支持的租户数量最多。
  • 缺点:隔离级别最低,安全性最低,需要在设计开发时加大对安全的开发量; 数据备份和恢复最困难,需要逐表逐条备份和还原。
阅读全文...

解决Fastjson中ref重复引用问题

2018-11-23

解决FastJson中”$ref重复引用”的问题,先来看一个例子吧:

public static void main(String[] args) {
   UserGroup userGroup = new UserGroup().setName("UserGroup");

   User user = new User("User");
   for (int i = 0; i < 3; i++) {
       userGroup.addUser(user);
   }
   Console.log(JSON.toJSONString(userGroup));
}


@Data
@AllArgsConstructor
static class User {
   private String name;
}

@Data
@Accessors(chain = true)
static class UserGroup {
   private String name;
   private List<User> users = Lists.newArrayList();

   public UserGroup addUser(User user) {
       this.getUsers().add(user);
       return this;
   }
}

输出结果:

{"name":"UserGroup","users":[{"name":"User"},{"$ref":"$.users[0]"},{"$ref":"$.users[0]"}]}

上面的现象就是将user对象的引用重复使用造成了重复引用问题,Fastjson默认开启引用检测将相同的对象写成引用的形式:

{"$ref": "$"} // 引用根对象
{"$ref":"@"} // 引用自己
{"$ref":".."} // 引用父对象
{"$ref":"../.."} // 引用父对象的父对象
{"$ref":"$.members[0].reportTo"} // 基于路径的引用

目前来说,前端还没有一个很好的办法来解析这样的JSON格式。

除了上面的重复引用外, 还衍生出了另外一个概念:”循环引用”,下面来看下两者之间的区别吧:

  • 重复引用:指一个对象引用重复出现多次
  • 循环引用:对象A引用对象B,对象B引用对象A(这种情况一般是个雷区,轻易不要尝试的好,很容易引发StackOverflowError)

再来看一个循环引用的例子:

public static void main(String[] args) {
    Order order = new Order().setName("Order");
    Item item = new Item().setName("Item");

    item.setOrder(order);
    order.setItem(item);

    Console.log(JSON.toJSONString(order));
    Console.log("----------------------------");
    Console.log(JSON.toJSONString(item));
}

@Data
@Accessors(chain = true)
static class Order {
    private String name;
    private Item item;
}

@Data
@Accessors(chain = true)
static class Item {
    private String name;
    private Order order;
}
{"item":{"name":"Item","order":{"$ref":".."}},"name":"Order"}
----------------------------
{"name":"Item","order":{"item":{"$ref":".."},"name":"Order"}}

解决方案

  • 关闭FastJson引用检测机制(慎用,循环引用时可能导致StackOverflowError
JSON.toJSONString(obj, SerializerFeature.DisableCircularReferenceDetect)
  • 避免循环引用(某一方的引用字段不参与序列化:@JSONField(serialize=false)
  • 避免一个对象引用被重复使用多次(使用拷贝的对象副本来完成JSON数据填充)
public static void main(String[] args) {
    UserGroup userGroup = new UserGroup().setName("UserGroup");

    User user = new User("User");
    for (int i = 0; i < 3; i++) {
        User duplicateUser = new User();
        BeanUtil.copyProperties(user, duplicateUser);
        userGroup.addUser(duplicateUser);
    }
    Console.log(JSON.toJSONString(userGroup));
}
阅读全文...

Postman高级技巧-Pre-Request-Script Tests-Script

2018-11-13

身为一个接口自动化测试工具,具备在运行中的动态行为不足为奇,Postman集成了一个强大的,基于NodeJS的Script引擎,利用它可以为请求以及响应添加一些动态的行为:

1)在发送请求之前,编写Pre-Request-Script,为请求参数进行加密处理、参数化等。

2)接收到请求响应后,编写Tests-Script,制定响应断言、处理返回的数据等。

大致的流程如下图:

image

实战

现有两个接口,分别为获取Token和获取用户信息,获取Token接口参数需要计算Sign签名,该接口的返回值将成为获取用户信息接口的参数。

阅读全文...