在 Amazon Redshift 中结合交易、流数据和第三方数据以服务金融行业 大数据博客
在Amazon Redshift上整合金融服务的交易性、串流和第三方数据
关键要点在金融服务中，客户正利用来自不同来源的数据，这些数据以不同的频率发生，包括实时数据、批量数据和归档数据。为应对不断增长的交易量、市场波动及监管要求，客户需要流式架构。以下是一些关键业务用例：
交易报告 在全球金融危机后，监管机构加强了对交易报告的要求，以保护消费者。风险管理 随着资本市场变得越来越复杂，金融机构需要更频繁地计算市场风险、流动性风险和其他风险。交易质量与优化 需要持续评估市场特性，以优化交易质量并满足监管需求。解决方案概述
本解决方案架构采用低代码/无代码方法，重点考虑以下原则：
易用性 实施和操作简便，具有直观的用户界面可扩展性 能够根据需求无缝调整容量原生集成 组件无需额外的连接器或软件即可集成成本效益 提供平衡的性价比低维护 需要较少的管理和操作开销以下图示展示了解决方案架构及其应用的指导原则。
部署解决方案
可以使用以下的AWS CloudFormation模板部署此解决方案。
该堆栈创建以下资源及必要权限以整合服务：
数据流 使用Amazon Kinesis Data Streams将数据从流式源发送至数据流并导入Redshift数据仓库。数据库集群 本解决方案使用Amazon Aurora MySQL兼容版 80版本集群作为OLTP数据存储。Redshift集群 此堆栈创建一个Amazon Redshift Serverless工作组及相关命名空间，并设置一个托管的Redshift集群。IAM角色 堆栈创建一个带有必要政策和信任关系的AWS身份与访问管理IAM角色。网络组件 包括VPC、子网、路由表及关联，用户可根据组织的要求自定义这些资源。数据摄取
为摄取数据，您可以使用Amazon Redshift Streaming Ingestion从Kinesis数据流加载流式数据。对于交易数据，您可以使用Redshift零ETL集成与Amazon Aurora MySQL进行集成。对第三方引用数据，您可以利用AWS Data Exchange数据共享。
这些能力使得建立可扩展的数据管道变得快速简便，因为您可以根据数据增长扩展Kinesis Data Streams分片、零ETL源和目标，以及Redshift计算。Redshift流式摄取和零ETL集成是可以通过简单SQL构建的低代码/无代码方案，避免投资复杂定制代码的时间和金钱。
为开发此方案的数据，我们与FactSet合作，利用其在AWS Data Exchange市场中多个可用数据集作为参考数据。
数据处理
数据在Amazon Redshift中采用提取、加载和转换ELT的方法处理。借助几乎无限的规模和工作负载隔离，ELT更适合云数据仓库解决方案。
您使用Redshift流式摄取实时摄取来自Kinesis数据流的流式报价买入/卖出，并使用PartiQL解析数据流输入。注意，流式材质化视图在自动刷新和使用的数据管理SQL命令方面与常规材质化视图有所不同。
利用零ETL Aurora集成，您可以从OLTP源摄取交易数据交易。您可以结合所有这些数据源的数据，使用视图，并利用存储过程实施商业转换规则，比如计算不同行业和交易所的加权平均值。
针对历史交易和报价的数据量庞大，通常查询不频繁。可使用Amazon Redshift Spectrum在不将数据加载到Amazon Redshift的情况下直接访问这些数据。
让我们回顾一些用于分析报价和交易的示例查询。样例查询中使用以下表格：
dthistquote 包含买入价、买入量、卖出价及其对应额的历史报价数据。dthisttrades 包含交易价格、交易量、行业和交易所详情的历史交易数据。factsetsectormap 行业与交易所之间的映射。查询示例：分析历史报价
您可以使用以下查询计算报价的加权平均差价：
sqlSELECT datedt date CASE WHEN exchangename LIKE Cboe THEN CBOE WHEN exchangename LIKE NYSE THEN NYSE WHEN exchangename LIKE New York Stock Exchange THEN NYSE WHEN exchangename LIKE Nasdaq THEN NASDAQ END AS parentexchangename sectorname SUM(spread weight)/SUM(weight) decimal(305) AS weightedaveragespreadFROM ( SELECT datedt exchangename factsetsectordesc sectorname ((bidprice bidvolume) (askprice askvolume)) AS weight ((askprice bidprice) / askprice) AS spread FROM dthistquotes a JOIN fdsadxfundamentalsdbrefv2factsetsectormap b ON (asectorcode = bfactsetsectorcode) WHERE askprice ltgt 0 AND bidprice ltgt 0 )GROUP BY 1 2 3
鲤鱼加速器官方查询示例：分析历史交易
以下查询可以用来查找按详细交易所、行业和主要交易所NYSE和Nasdaq计算的交易金额：
sqlSELECT CAST(datedt AS date) AS datedt CASE WHEN exchangename LIKE Cboe THEN CBOE WHEN exchangename LIKE NYSE THEN NYSE WHEN exchangename LIKE New York Stock Exchange THEN NYSE WHEN exchangename LIKE Nasdaq THEN NASDAQ END AS parentexchangename factsetsectordesc sectorname SUM((price volume) decimal(304)) totaltransactionamtFROM dthisttrades aJOIN fdsadxfundamentalsdbrefv2factsetsectormap bON (asectorcode = bfactsetsectorcode)GROUP BY 1 2 3
报告
您可以使用Amazon QuickSight和Amazon Managed Grafana进行BI和实时报告。这些服务能够通过不需要额外连接器或软件的原生集成与Amazon Redshift连接。
您可以直接在QuickSight中运行查询生成BI报告和仪表板。此外，QuickSight亦可在SPICE缓存中本地存储数据并自动刷新以保证低延迟。有关如何将QuickSight与Amazon Redshift集成的详细信息，请参考授权Amazon QuickSight访问Amazon Redshift集群。
您也可以使用Amazon Managed Grafana创建每隔几秒刷新一次的近实时交易仪表板。监控交易摄取延迟的实时仪表板采用Grafana构建，数据源来自Amazon Redshift的系统视图。有关如何将Amazon Redshift配置为Grafana数据源的详细信息，请参阅使用Amazon Redshift数据源。
与监管报告系统互动的用户包括分析师、风险管理人员、运营人员和其他支持业务与技术运营的角色。除了生成监管报告外，这些团队还需要了解报告系统的健康状况。
历史报价分析
在这一部分，我们探讨了通过Amazon QuickSight仪表板进行的历史报价分析示例。
按行业的加权平均差价以下图表显示了NASADQ和NYSE上所有个人交易的加权平均买卖差价的每日按行业聚合值。查询处理了1030亿的数据点，并在不到10秒内完成。
按交易所的加权平均差价以下图表显示了NASDAQ和NYSE所有个人交易的加权平均买卖差价的每日聚合结果。计算方法和查询性能指标与前一个图表类似。
历史交易分析
在这一部分，我们探讨了通过Amazon QuickSight仪表板进行的历史交易分析示例。
按行业的交易量以下图表显示了NASDAQ和NYSE上所有个人交易的按行业的每日聚合值。查询处理了36亿的交易数据，并在5秒内完成。
主要交易所的交易量以下图表显示了所有个人交易的按交易所组的每日聚合结果。查询性能指标与之前的图表类似。
实时仪表板
监控和可观察性是交易报告、风险管理及交易管理系统等关键业务应用程序的重要需求。除系统级别的指标外，实时监控关键绩效指标也至关重要，以便操作人员能够迅速响应潜在的商业影响事件。为此，我们在Grafana中构建了仪表板，用以监控来自Kinesis数据流和Aurora的报价及交易数据的延迟情况。
报价摄取延迟仪表板显示了每个报价记录从数据流摄取到在Amazon Redshift中可供查询所需的时间。
交易摄取延迟仪表板显示了Aurora中的交易在Amazon Redshift中可供查询所需的时间。
清理
请使用AWS CloudFormation删除您所部署的堆栈，以清理资源。有关详细说明，请参见在AWS CloudFormation控制台中删除堆栈。
结论
由于交易活动的增加、风险管理的复杂化和监管要求的提升，资本市场公司正逐步采用实时和近实时数据处理，即使是在日终和过夜处理为标准的中后端平台。在本文中，我们演示了如何利用Amazon Redshift的能力实现易用性、低维护和成本效益。我们还讨论了跨服务集成以摄取流式市场数据、处理来自OLTP数据库的更新，以及如何在提供数据分析和报告之前无需执行复杂昂贵的ETL或ELT处理下使用第三方引用数据。
如果您需要在实施此解决方案方面的指导，请与我们联系。有关更多信息，请参考使用Amazon Redshift流式摄取进行实时分析、使用Amazon Aurora零ETL集成进行近实时操作分析的入门指南以及作为生产者使用AWS Data Exchange数据共享。
关于作者
Satesh Sonti 是一位高级分析专家解决方案架构师，总部位于亚特兰大，专注于构建企业数据平台、数据仓库和分析解决方案，拥有逾18年的国际银行与保险客户数据资产构建和复杂数据平台程序领导经验。
Alket Memushaj 是AWS金融服务市场开发团队的首席架构师，负责资本市场的技术战略，与合作伙伴和客户协作在AWS云中部署跨交易生命周期的应用，包括市场连接、交易系统及前后交易分析和研究平台。
Ruben Falk 是一位资本市场专家，专注于AI和数据与分析。他与资本市场参与者协作现代数据架构和系统投资流程，曾在SampP全球市场情报担任投资管理解决方案全球负责人。
Jeff Wilson 是世界级市场推广专家，拥有15年分析平台的工作经验，目前专注于分享使用Amazon Redshift的好处，自2019年起任职于AWS，工作地点位于佛罗里达。
加载评论
