自2021年起,国家陆续出台《中华人民共和国数据安全法》《中华人民共和国个人隐私信息保护法》《“十四五”大数据产业高质量发展规划》《中央 国务院关于构建数据基础制度更好地发挥数据要素作用的意见》等一系列数据发展规划、指导意见和政策法规,提出将数据作为新型生产要素。从国家层面,数据已成为国家数字化、网络化、智能化的基础,数据基础制度建设事关国家发展和安全大局。从企业层面,数据慢慢的变成了现代企业中最重要的资源之一。各行各业的公司都在努力收集、保存、分析和利用数据来改进业务和效率,以及创造新的商业经济价值。随技术的发展和数据数量的一直增长,数据管理慢慢的变复杂,需要有一个全流程的数据管理体系来确保企业能够成功地利用数据这一资源。
天津滨海农商银行是一家具有广泛业务覆盖的综合性金融服务机构。随着金融科技的快速的提升和市场之间的竞争的日益激烈,本行深刻认识到数据作为核心资产的重要性,决定启动全流程数据管理项目,以提升数据质量、挖掘数据价值、增强市场竞争力。
目标:建立高效、准确、安全的数据管理体系,确保数据的完整性、一致性和时效性。创新数据应用场景,为业务决策提供精准的数据支持,推动业务创新和发展。提升数据治理水平,降低数据风险,满足监管要求。
策略:成立专门的数据治理组织,负责制定数据战略,数据治理、数据管理策略、标准和流程。引入先进的数据管理技术和工具,如大数据平台、人工智能、机器学习、图计算等。加强数据治理,建立数据质量评估体系和数据安全管理机制。推动数据文化建设,提升员工的数据意识和数据管理能力。
结合国家金融方面的指引及同业的经验,结合本行真实的情况制定本行数据战略及实施细则,来指导决策者在生产、使用和支撑系统之间建立体系化全景视图,统领、协调各个层面的数据治理和数据管理工作,提高数据管理规范性、准确性和时效性,确保本行内部各级数据使用者能获得及时、准确、标准、安全、合规的数据服务和支持,继而助力业务目标,使本行利用数据获得竞争优势的战略规划。具体数据战略五域规划见下图1。
组建由业务专家、技术专家和数据管理专家组成的数据标准制定小组,对现存业务数据来进行全面梳理和分析,制定统一的数据标准和规范。
建立数据治理平台,对数据进行全生命周期管理,包括数据采集、存储、处理、分析和应用。通过数据治理平台,实现数据质量监控、数据血缘追溯、数据版本管理等功能。
利用人工智能技术,对数据进行自动清洗和校验,提高数据质量和准确性。例如,采用机器学习算法对客户数据进行清洗和去重,识别异常数据并进行自动预警或修复。具体数据标准体系建设规划见下图2。
建立统一的数据采集平台,实现对内部业务系统、外部数据源和第三方数据的集中采集。采用分布式数据存储技术,如TDH、HyperBase、KunDB等,提高数据存储容量和处理效率。
利用加密加签技术,确保数据采集的真实性和可靠性。具体数据采集及存储平台建设规划见下图3。
建立大数据分析平台,采用分布式计算框架和机器学习算法,对海量数据进行快速处理和分析。通过数据分析,挖掘客户需求、风险特征和市场趋势,为业务决策提供精准的数据支持。
创新数据分析方法,如采用数据可视化技术,将复杂的数据以直观的图表形式展示给用户,提高数据的可读性和可理解性。例如,通过制作动态仪表盘,实时展示业务指标和风险状况,方便管理层进行决策。
精准营销:利用大数据分析客户的行为模式、偏好和需求,为客户量身定制个性化的金融产品和服务推荐。通过多渠道营销平台,精准触达目标客户,提高营销效果和客户转化率。例如,根据客户的消费习惯和风险偏好,为其推荐合适的信用卡产品或理财产品。
风险评估与预警:建立基于大数据和机器学习的风险评估模型,实时监测客户的信用风险、市场风险和操作风险。通过对海量数据的分析,提前发现潜在风险因素,并及时发出预警,为风险管理提供有力支持。例如,利用三方数据、征信数据和交易数据,对小微企业的信用风险进行评估,为贷款审批提供参考。
智能客服:运用人工智能和大数据分析,为客户提供智能识别、智能风险提醒、智能营销服务。根据客户的交互情况分析建立特征库,提高用户的黏性和归属感。例如,通过分析客户的问答情况,制定客户的关怀计划和流失预案。
反欺诈检测:利用大数据、人工智能和图计算技术,建立反欺诈检测系统,实时监测交易行为,识别异常交易和欺诈行为。通过对客户行为模式的分析,建立欺诈行为特征库,提高反欺诈的准确性和效率。例如,通过分析客户的交易时间、地点、金额等因素,识别潜在的欺诈交易,并及时采取措施进行防范。
客户体验优化:通过数据分析客户的反馈和投诉,了解客户的需求和痛点,优化产品和服务流程,提高客户满意度。例如,根据客户的反馈意见,对手机银行的界面设计和操作流程进行优化,提高用户体验。
建立数据质量监控体系:制定数据质量指标和监控规则,通过数据治理平台对数据进行实时监控。例如,设置客户信息完整性、交易数据准确性等指标,一旦发现数据质量问题,立即发出预警。
数据质量问题追溯与整改:当发现数据质量问题时,利用数据血缘追溯功能,快速定位问题源头。成立数据质量整改小组,制定整改方案,及时解决数据质量问题。例如,对于客户信息不完整的问题,通过与客户沟通、系统数据补录等方式进行整改。
数据质量考核与激励:建立数据质量考核机制,将数据质量指标纳入部门和员工的绩效考核体系。对数据质量表现优秀的部室和个人进行表彰和奖励,提高员工对数据质量的重视程度。例如,每季度对考核优秀部室或个人进行通报表彰,对考核较差部室或个人进行通报批评并扣减绩效分。
根据《个人信息保护法》《数据安全法》的要求再结合本行当前实际情况,建立完善的数据安全管理体系,采用机器学习、加密技术、访问控制、数据备份等措施,确保数据的安全性和保密性。本行已基于《JRT 0197-2020金融数据安全 数据安全分级指南》并结合金融业数据安全分类分级系统建设经验,采取“分段建设,逐步迭代”的方式完成了数据安全分类分级管理系统的建设工作。
第一阶段:完善数据治理架构,明确数据资产目录、元数据、分类分级、数据血缘、数据标准、数据质量、数据管理等数据治理工作贯穿全整改生命周期的方案。具体数据治理架构见下图4。
第二阶段:通过Kubernates+Docker +Redis+Mysql+ClickHouse等技术对第一阶段的数据资产目录进行系统化、智能化扫描,并结合《JRT 0197金融数据安全数据安全分级指南》《天津滨海农村商业银行股份有限公司数据安全管理办法》和Sequential模型、神经网络算法建设本行分类分级规则模型,对数据进行智能化安全分类及安全分级打标,快速识别出分类分级结果。在节省大量人工标注的同时,有效的保障数据安全和分类分级工作的时效性、准确性。并进一步根据监管要求,设立三权分立、二次授权等功能,在权限上对用户敏感操作进行了限制,避免因数据安全工作导致的数据泄露。具体数据安全分类分级架构如图5。
第三阶段:根据分类分级模型及报告推进业务资产和技术资产的安全性升级,根据重复核验对全行系统形成数据安全考核,完成全行监管合规建设。
管理流程数据应用与创新模块利用图计算和量化分析技术,结合本行内部信息、征信信息、申请信息等,建立信贷申请客户网络关联图谱及可视化查询分析;利用图挖掘技术建立信用卡申请团伙欺诈规则清单,通过图特征分析、关联分析、交叉验证等挖掘异常关系,识别业务真实性;利用Lightgbm等机器学习算法建立线上申请欺诈模型;利用实时指标计算、实时智能决策、高速分布式缓存等技术,实现对客户无感知的风险识别。
管理流程数据质量模块利用机器学习技术,对数据进行自动清洗和校验,提高数据质量和准确性。数据标准模块通过算法模型进行数据标准的自动识别和预警。数据安全模块采用机器学习模型,在训练时收集和分类相关字段的名称、注释、类型、具体样本值,对样本分词处理后,通过Sequential模型,集合名称、注释、类型、分词样本等重要属性堆叠多维度的卷积层来构建深度神经网络,最终训练出分类模型。
管理流程数据安全模块根据金融业标准定制了主干(trunk)初版数据分类分级模型,并按照初版模型建设自定义模型分支(branch),让本行可以通过本地业务场景和监管需求调整分支模型,系统再通过与主干模型的对比生成差异模型报告,对报告进行人工确认和调整后,系统会将人工核验后的自定义模型分支合并回主干模型,最终形成适配本行自身的新版本分类分级模型,形成循环迭代调优。
管理流程各模块通过对数据资产和任务的分类分级,对操作用户进行数据权限隔离,同时互不影响。实现一个模块系统可对多个业务线、多个部门的资产进行梳理。同时根据三权分立原则,设立了管理员、操作员、审计员三个主要角色。并且可对系统的敏感操作行为进行记录、定期审计。管理员可通过设置二次授权码、用户水印,对用户进行敏感操作限制、防止造成人为的数据泄露问题。
管理流程各模块系统提供 API 开放接口,可输出数据资产的分类分级结果、操作日志、分类分级模板、数据分级加工、数据可视化分析等内容,并经过加密算法(SM2、AES、RSA、SHA1、MD5)加签等安全配置后应用于 OA 审批、权限管控、风险监测等业务场景,实现全流程的数据安全管理落地,形成数据安全管理闭环。
2022年10月-2023年3月,完成我行从数据战略、数据架构、数据资产管理(大数据平台)、数据质量、数据标准、数据安全、数据存储及数据应用等全流程方案设计及评审。
2023年4月-2023年9月,完成数据战略制定及发布;完成数据质量、标准、资产管理(大数据平台)模块建设;完成数据安全技术方案选型,搭建数据安全模块-数据分类分级管理平台,统一管理全行的数据资产。
2023年10月-2024年3月,完成数据质量、标准、资产管理(大数据平台)、数据安全模块的应用实践,选择11个重要系统作为试点,完善数据质量及标准的管控规则,提高质量和标准核验的准确性。结合业务规则及行业标准,迭代优化本行数据安全分类分级规则模型,完成本行数据安全分类分级打标并生成安全分类分级报告。
2024年4月-2024年6月,完成全流程数据管理体系建设,从数据采集、数据传输、数据加工、数据存储、数据使用、数据销毁全生命周期做全面管理。完善API功能实现业务数据资产全面覆盖。
2024年6月-2024年12月,持续推进数据管理各模块建设及调优,实现全行全流程数据管理优化迭代。
平台通过应用安全管理(网络多重防火墙、权限控制、防DDos攻击)、通讯安全管理(证书验证、数据签名、水印)、用户安全管理(企业和个人的开发者用户信息管理和LDAP认证)等多维度保障系统的安全可控。
各基础设施模块具备与该系统重要性相适应的高可用性机制。支持负载均衡,能够与主流网络硬件负载均衡设备实现良好集成。
支持结构化数据库,半结构化数据库,国产数据库的适配;并且暂未支持的数据库类型,也可以通过 JSON 文件导入数据资产的方式进行适配。
数据驱动的业务应用和创新金融理财产品的推出,满足了客户个性化的需求,提高了客户满意度和忠诚度。
业务创新和发展为本行激活睡眠户1.2万户,睡眠户AUM比年初提升7亿多元。
建立了完善的数据治理体系,明确了数据管理职责和流程,提高了数据治理的效率和效果。
对EAST5.0、1104、审计报送、个人结算账户等19个报送应用的持续优化,合计解决对有关问题900多项,大幅度降低了数据风险,满足了监管合规要求。
数据质量的提升为业务决策提供了可靠的数据支持,提高了决策的准确性和科学性。
建立了完善的数据安全体系,明确了数据管理职责和流程,提高了数据安全的效率和效果。完成11个系统、1.3万张表、11.5万个字段的数据资产管理过程,确立数据的归属和责任,明确了业务部室的数据管理的职责和义务。对数据资产的管理和使用进行相对有效的监管和管理,从而更好地保障数据资产的安全。
通过多次数据治理、数据安全、数据标准、数据合规培训和宣传,提高了全体员工的数据意识和数据管理能力,形成了良好的数据文化氛围。数据文化的建设促进了数据管理工作的深入开展,为本行的数字化转型奠定了基础。
通过全流程数据管理实践,我行成功实现了数据的高效管理和价值挖掘,为业务创新和发展提供了有力支持。未来,本行将继续深化数据管理工作,不断探索新的数据管理技术和方法,加强数据安全与隐私保护,推动数据文化建设,为金融行业的数字化转型和高水平质量的发展做出更大贡献。同时,本行也将积极与别的金融机构和科技公司合作,一同推动金融数据管理的创新与发展。
更多金融科技案例和金融数据智能优秀解决方案,请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
现世报!杨舒平被美驱逐后:简历写满背叛,回国连遭187次拒绝
日本多地发生无差别杀人事件!一杀害女高中生的凶手曾扬言“谁都行,我想分尸”……
《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律
荣耀 GT Pro 手机参数曝光:骁龙 8 Eite 领先版,7200mAh 电池
Google Pixel 9a DXOMARK 影像测试结果出炉:总分143,位列排行榜第 33 名
OPPO Find X8 Ultra迎系统升级:ColorOS 15.0.1.402,你更新了吗