大数据分析金融企业面临的几大挑战

自20世纪以来，信息技术在金融行业的广泛应用，积累了庞大的数据和信息，金融机构中存储着数万种数据，这种情况迫使金融机构不得不考虑如何将这些数据转化为能够产生实际价值的内容，从而为企业尽可能多地创造利润。怎样实现快速高效地处理多源数据的海量数据？怎样处理因特网上产生的碎片数据，快速响应需求而引发的风险问题？怎样才能充分利用数据分析，挖掘出更大的经济效益？在进行大数据分析中，金融企业面临着几大挑战。

但是，这些数据并非为分析目的而专门制作，只是在商业活动中才产生，而且尽管数量巨大，却难以直接产生价值，因此需要借助大数据挖掘技术进行深度挖掘，使其成为有价值的信息。在数据收集能力逐渐增强的过程中，金融企业将形成一个连续的、动态变化的面板数据，不仅包括用户的交易数据，而且还包括其行为数据。对金融企业而言，简单地收集和汇总数据并不足以有效地利用这些数据，只有深入地挖掘它们，才能发现这些隐含的信息，从而为客户提供更优质的金融产品和服务。

因特网的发展导致大数据技术的诞生。世纪之交，世界范围内的网络内容大幅增长，每天的网络内容增长率超过百万。到2001年底，世界上已有50亿个网页，因特网用户检索有用信息变得越来越困难。拥有高科技搜索引擎的公司，如谷歌，开始建立搜索系统，其内容涵盖数十亿个网页，提高了人们对互联网内容的利用效率，大数据技术也由此诞生。页面内容中需要处理的数据中含有大量非结构化的内容，传统的检索方法不能实现检索。为了实现非结构化数据的检索，谷歌提出了一种基于“分布式”的存储和检索系统，其中包括分布式文件、分布式并行计算和分布式数据库系统，该系统实现了非结构化数据的检索。随着因特网产业的崛起，这种创新的海量数据处理技术应用于电子商务、定向广告、智能推荐、社交网络等领域，取得了巨大的商业成功。它激发了整个社会重新认识数据的巨大价值，金融、电信等拥有大量数据的行业也开始对此进行尝试，取得了初步成果。同时，该行业正在不断扩展谷歌提议的技术系统，以使其能够用于更多场景。2011年，麦肯锡、世界经济论坛和其他著名机构对这一数据驱动创新进行了总结研究，随后出现了大数据热。

尽管大数据已成为全社会关注的热点话题，但是至今“大数据”还没有一个公认的统一定义。作者认为，对大数据的认识，应把握“资源、技术、应用”三个层次。海量数据具有体积大、结构多样、时效长等特点；海量数据的处理需要采用新的计算架构和智能算法等新技术；海量数据的应用强调用新的思想辅助决策、发现新的知识，更强调线闭环中的业务流程优化。所以说，大数据不仅“大”，而且“新”，是新资源、新工具、新应用的综合体。

在现代金融机构中，数据资产成为其区别于传统金融机构的重要生产要素。对数据资产的管理、利用、挖掘，成为现代金融业加快创新、提升经营管理能力的首要任务。在图1中可以看到大数据挖掘分析决策的主要流程。金融行业中大量的数据内容需要经过“数据清理/整合->数据仓库->数据选择->数据挖掘->模式评估->知识”的反复循环才能达到预期的效果。

金融监管者对数据管理和监控的要求也在不断提高，金融监管者在多份指导文件中指出，“加快银行信息资源集中管理，实现全行数据视图共享，充分利用数据仓库和数据挖掘技术，实现资产负债管理、财务业绩管理、风险管理和客户关系管理等领域的应用，建立一个以主题、市场、决策为导向，符合内部管理和外部政策需求的银行信息系统”。大中银行应把数据治理作为重要的制度建设和基础工作，加强组织、制度和流程保障，有序推进，重点加强；统一数据标准，提高数据质量，深化数据应用，为金融业务发展提供有力支撑，有效提升银行管理水平。"十二五"末，大部分银行都开始着力解决数据质量差的问题，开始加强数据的管理与控制，提高数据的信息质量，运用数据挖掘和大数据技术对数据进行深度利用，精炼数据，以提高业务控制的有效性。

大数据技术的产生本身就有着强大的应用背景，而且从一开始就是面向应用的。数据采掘技术在决策支持领域具有广阔的市场前景，可以应用于企业管理层，是实现 CRM和 BI的重要技术手段之一。数据挖掘技术中的数据库营销(Database Marketing)、客户群划分(CustomerSegmentation& Classification)、背景分析(ProfileAnalysis)、市场分析行为(Cross-selling)，以及客户流失分析(ChurnAnalysis)、客户信用评分(Credit Scoring)和甄别(Fraud Detection)等应用手段都与商业化应用有关。当前，在许多商业领域(银行、保险、证券、超市、电信等)都取得了大数据技术的成功应用。由于它除了提供储蓄、投资和信用卡业务外，还承担着保险、股票、基金等重要业务的投资。因而，大数据和数据挖掘技术在金融业的应用主要有：1.数据分析和数据仓库的设计；2.特征数据变量的选择；关联属性相关数据的使用；3.分类、分类分析以确定目标客户和市场；4.数据可视化过程以及合并、聚类分析以鉴别洗钱等金融犯罪行为。

在金融业中应用大数据技术，既是技术发展的需要，也是金融业提高盈利能力的需要。面对“以客户为中心，以市场为导向”的激烈竞争时代，各大金融机构要准备好“二次转型”的改革进程，就必须懂得如何利用现代 MIS进行综合分析，挖掘客户的潜在价值，利用宝贵的信息改进服务手段，运用数据挖掘技术实现职能化的决策支持功能管理，才能增强核心竞争力，防范业务风险，提高业务数据的及时性和准确性。从古至今，金融行业都高度重视数据的重要性。伴随着移动互联网的发展，各种金融业务和服务多样化，金融市场规模全面扩大。参与研究的金融企业表示，对于大数据所带来的主要业务价值，大数据的价值在于它们能够基于商业分析做出更为智能的业务决策，使决策更理性、更有依据。依赖前瞻性决策，实现生产过程中的资源配置更加优化，能根据市场变化做出快速调整，提高用户体验和资金周转率，从而获得更高的利润。