MetrAutoAPI系统架构设计

公司正在进行数据战略转型，因此我们面临的数据需求越来越多，而我们拥有的指标数据越来越丰富。不过，仅仅拥有数据并不够，我们需要能够更加灵活高效的使用这些数据，以应对频繁多变的数据需求。传统的数据业务开发流程效率低下，无法及时响应变化的需求。因此，我们必须找到一种快速、灵活的解决方案，以满足我们快速变化的需求。,MetrAutoAPI（Metric Automate API即指标自动化API）将指标数据与应用层做分离，MetrAutoAPI仅负责管理和处理数据信息，对外提供了一个通用的API接口，所有的数据请求和响应都通过这个接口进行传输和处理。,MetrAutoAPI支持多个数据源集成，其API建模功能灵活可配置，可通过页面拖拽和配置生成SQL查询语句，帮助用户快速准确地获取所需数据。此外，规则引擎服务可以对查询结果进行灵活的运算，帮助用户实现自动化计算和分析，从而提高效率。,图片,物理查询层：通过统一查询引擎，实现对不同来源数据库的查询,语义模型层：负责指标元数据的管理，并对API-SQL模型进行管理。,统一服务层：提供指标维度的API构建功能，以及基于指标维度的数据查询和规则引擎配置服务。,统一接口层：提供一个对外的API接口，所有的数据请求和响应都通过这个接口进行传输和处理。,此方案对比传统开发模式:,图片,以下是MetrAutoAPI的一些使用场景的介绍：,图片,利用Zealot与MySqlStatementParser实现SQL建模功能,可以根据不同的查询条件和参数动态生成对应的SQL语句，从而避免手动拼接SQL语句带来的代码冗余和错误，可以很好地支持参数的绑定和传递，可以通过占位符或命名参数的方式传递参数，同时支持参数类型的自动转换,SQL建模过程如下：,自动生成API-SQL接口文档说明：,图片,Aviator是一个高性能、轻量级的java语言实现的表达式求值引擎，主要用于各种表达式的动态求值，使用规则引擎可以把复杂、重复的业务规则同各个业务系统分离开，以提高业务逻辑的复用能力和开发效率。,图片,规则表达式设置如下:,图片,初始化规则引擎：,规则引擎服务会解析并执行规则表达式。,提供标准化的接口和协议，使得调用端可以通过一致的方式来请求和响应多个不同的 API。这样做可以简化开发人员的工作，加快应用程序的开发速度，同时提高系统的可靠性和可维护性。,流程如下：,图片,接口性能差：接口性能差，分析日志发现从数据库中读取配置与规则引擎信息耗时较长，性能较差。,解决方案：使用redis作为缓存，存储模型元数据信息，统一API引擎在读取配置数据前先从redis中获取，如果获取不到再从业务库中读取，并将读取到的数据写入redis缓存，设置过期时间，定期清除redis缓存中过期的数据，避免占用过多的内存；通过以上优化，可以有效减少从数据库中读取配置数据的时间，提高接口性能。,使用缓存后，性能对比：,图片,上线成本高：测试环境建模并验证完成后，还需要在线上环境再次建模，不仅重复操作并且可能因为人为疏忽造成线上线下模型不一致，从而造成严重后果。,解决方案：使用信息复制可以简化测试环境到线上环境的配置过程，从而提高工作效率。具体实现步骤如下：,在测试环境中建模，并将模型元数据信息保存为一个JSON格式的数据，通过粘贴板复制功能，将JSON信息复制到线上环境，通过权限控制来进行安全控制（配置简单化），避免人为异常。,多API接口合并：由于调用方可能需要的指标过于繁琐，可能涉及多个指标API接口的调用，造成调用方调用次数过多，造成并发多，压力大，影响调用方的使用或者造成调用链过长,解决方案：采用接口聚合的方式来解决。接口聚合是将多个API接口的数据聚合到一个API接口中，使得调用方只需要调用一个API接口就能获取到需要的所有指标数据，避免了多次调用导致的并发过多和响应时间过长的问题。同时，也可以提高接口的可用性，避免接口出错或者异常导致调用失败。,ApiJson：http://apijson.cn/doc/zh/,Mybatis：ttps://github.com/mybatis/mybatis-dynamic-sql,Zealot：ps://gitee.com/chenjiayin1990/zealot,Aviator：https://www.yuque.com/boyan-avfmj/aviatorscript,,李贺晓