今日推荐：《互联网金融的新常态》 作者：曹汉平。搜索书名开始观看吧～

-----精选段落-----

第3章大数据驱动互联网金融模式创新

随着云计算和云存储技术的发展，使得数据计算和存储性能得到成倍提升，为大数据的广泛应用提供了很好的条件与基础：一是大数据要求更大的、动态增长的数据存储能力和数据分析能力，采用了基于Hadoop

2）数据仓库

数据仓库（data warehouse）是管理数据的重要工具，最早诞生于1983年，是对海量数据面向不同主题集成与组织的核心基础架构，能从多个来源系统提取、转换和装载数据（extract transform load，ETL），为联机分析处理与数据挖掘奠定基础，并大大促进了商务智能（business intelligence，BI）的发展。随着大数据时代的发展，数据量越来越大，种类也越来越丰富，很多传统数据仓库都在尝试一些新的数据管理工具与管理手段，逐步引入了分布式的云计算与云存储架构（如前文曾经提到的Hadoop、Map-Reduce、Hive等），将产品扩展到PB级别并逐步构建基于大数据技术的数据模型，重点解决传统数据仓库面临的大量数据的存储、管理、并行处理以及低延迟等问题。可见，大数据与数据仓库并不矛盾，只要通过适当的数据治理机制与技术结合方式，传统的数据仓库也可开展基于大数据的联机分析和数据挖掘，可以说，大数据使数据仓库更具价值，尤其是在支持企业决策方面。

3）联机分析

联机分析（on-line analytical processing，OLAP）

联机分析中，“维”（dimension）是一个核心的概念，是人们观察事物、计算数据、考虑问题的特定角度，这些不同的分析角度就是“维”（如时间维、地理维等）。随着维度的增加，分析也就变得越复杂，因此联机分析还引进了数据立方体（data cube）的多维模型，立方体本身只有三维，但多维模型则不仅限于三维，可以组合更多的维度，包括钻取（包括向上钻取“drill-up”和向下钻取“drill-down”）、切片（slice）和切块（dice）以及旋转（pivot）等多个操作过程。多维的数据立方体建立后，用户就可以在前端的各个维度间自由切换，并从不同的角度与粒度对数据进行分析，随时获取有用的分析结果。另外，按照数据的不同存储格式，OLAP分析可分为关系OLAP（relational OLAP）、多维OLAP（multidimensional OLAP）和混合型OLAP（hybrid OLAP）三种类型。但在大数据分析应用中，通常的实现方式为将需要用到的数据存储为多维数组的形式，并形成数据立方体的多维结构。

4）数据挖掘

数据挖掘（data mining，DM）是大数据技术的核心，指从海量数据中找到有价值信息的关键过程，其主要目的是通过建立科学的算法与模型，从大数据的相关性中挖掘出特点，发现数据的历史规律并对未来进行预测性分析，将数据分析从“过去”延伸到“未来”。数据挖掘一般包括定义问题、数据收集、数据整理、数据分析、数据分析结果评估、分析决策等多个步骤并且需要多次的问题修改、模型调整、重新评估、检验等循环反复，相比传统的数据分析，数据挖掘是在没有明确假设的前提下去挖掘数据信息的规律，也就是去发现不能靠直觉发现的规律与趋势等。

在数据挖掘中，算法与建模至关重要，常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、机器化学习、语义引擎等。其中语义引擎是“大数据分析广泛应用于互联网数据挖掘的一种复杂数据类型挖掘，可从用户的搜索关键词、标签关键词或其他输入语义，分析、判断用户需求，从而实现更好的用户体验和广告匹配”。

另外，数据质量是数据挖掘成功的关键，也就是说原始数据的质量直接影响数据挖掘分析的结果，采用错误的原始数据，即使数据挖掘分析技术再高明，也只能是“垃圾进、垃圾出”，不可能得出正确的结论。因此，良好的数据质量是大数据分析应用的基础和前提。保证数据的质量，对提高数据挖掘分析结果的权威性及可靠性具有非常重大的意义。因此，各相关企业应该高度重视数据的标准与质量管理，并建立相应的数据治理委员会以及数据质量管理体系和方法。

5）可视化管理

俗话说，“一图胜千言”。

可视化管理的目的是把复杂的数据转换为直观的图像或图形（包括简单的点线图、折线图、直方图、饼图、网状图，以及较为复杂的仪表盘、积分板等），实现数据可视化

数据可视化是一个不断演进的过程，其成功与否取决于数据的完备性以及其内在的模式和关系，主要通过统计图形与主题图（包括思维导图、新闻的显示、数据的显示、连接的显示、网站的显示、文章与资源、工具与服务等主题）

当然，在大数据时代，我们在推进大数据由数据到价值的演变过程中，也面临着大的挑战。首先是要建立好的数据标准与好的数据治理模式。其次是要重点关注获取数据的合规性与使用数据的合法性。最后是要避免出现数据泄露与侵犯客户隐私等现象。另外，在个人数据隐私保护方面，欧盟执委会（European Commission）于2016年5月批准了更加严格的数据保护规则《一般数据保护条例》

3.大数据在重大领域的应用情况

目前，全球范围内已经有不少企业从大数据中获益，如美国塔吉特百货公司（Target）的“怀孕预测指数”

可以说，大数据应用已经逐渐从前期的概念炒作转向当前的实际应用，相关技术及商业模式也逐渐成熟，如今，我们几乎每天都能看到或体验到新的大数据应用，并从中获得真正实用的价值，大数据应用的市场规模及未来发展潜力均十分巨大。根据IDC（Internatinoal Data Company，国际数据公司）近期发布的报告，2015年全球大数据市场规模从2010年的32亿美元增长到170亿美元，CAGR（compound annual growth rate，复合年增长率）为40%；具体到我国而言，2015年大数据市场的规模也已超过115亿元，增速高达38%，相信随着国家政策

通过以上案例的分析不难看出，随着大数据的应用从最初的互联网企业逐步蔓延到越来越多的传统行业或传统领域后，大数据在各行各业中正扮演着越来越重要的角色，“大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响”。各行各业拥有丰富的“数据矿藏”，不仅存储处理了大量结构化的账务数据，而且随着渠道快速渗透到社交网络、移动终端等媒介，海量的非结构化数据也在等待被收集和分析。对于广大企业来说，大数据意味着巨大的应用价值与商机，“大数据产业正在成为新的经济增长点”并创造出更多的商业模式。当然，大数据应用是一个综合、渐进、复杂的系统演进过程，其内涵与外延将在不断的应用与发展过程中持续得到丰富，我们相信在不远的将来，随着数据质量的提升以及数据管理能力的加强并在有效解决数据应用中所涉及的客户隐私的基础上，大数据将得到更为广泛的应用并成为提升企业核心竞争力的核心手段。可以说，大数据正在成为“推动经济转型发展的新动力”。

3.1.2大数据金融

大家知道，金融是大数据的重要产生者，金融业不仅是信息科技密集型行业，也是典型的数据驱动型行业；不仅拥有丰富的数据，而且数据的维度与数据的质量均非常好。而在大数据时代的大背景下，数据更是金融的核心资产，因此我们有必要进一步开发与利用金融大数据的潜在业务价值，包括用数据预测解决问题、用数据做战略决策、用数据控制业务风险、用数据开展跨界创新等。相比传统金融，大数据不仅给互联网金融带来了金融服务与产品创新，还催生出新的业务营销、风险管控和经营管理模式，业界将这种大数据驱动互联网金融的创新模式或基于大数据应用的互联网金融服务称为“大数据金融”。

可见，大数据金融的核心理念是将数据作为金融的核心资产，使数据真正产生业务价值。其主要特征是通过数据资产的有效分析与运用，构建客户统一的360度视图、还原客户真实行为，评估客户信用、建立数字风控体系，使风险更加可控、产品更加个性、服务更加便捷、营销更加精准、投资组合更加智能、管理更加及时准确、成本更加低廉，金融服务更加泛在化、社会化、数据化与生态化。可见，大数据金融通过对大数据的分析与应用，进一步降低了信息的不对称性以及人为因素的依赖或干扰，风险预警能力更为精准，并使金融服务的对象与范围更加广泛，使金融服务机构从以往被动服务客户转向更加主动的服务方式（也有部分专家将这种新的运营服务模式形象地称为从“做商”向“行商”的转变），是金融服务机构践行互联网普惠金融服务的新起点。

目前，虽然大数据金融理念非常流行并且应用场景也比较丰富，其中比较典型的应用场景包括精准营销、风险管控、欺诈监测、决策支持等，例如富国银行、花旗银行、摩根大通银行等先后利用大数据技术开展相应的业务模式创新并在部分领域取得较好的应用成效。但是由于大数据应用涉及技术、数据、思维等多个因素（图3-3），从整体来看，目前我国传统金融服务机构在利用大数据方面虽然非常渴望也起步较早但仍处于探索实践阶段，对整体行业发展的影响还较小。根据美国波士顿咨询有限公司（the Boston Consulting Group，BCG）的一项调查分析结果显示，目前传统金融服务机构对内部可用数据的使用率也仅仅在34%左右，虽然这个调查数据不一定非常精确，但也从一个角度或从一个侧面说明，金融服务机构内部大数据的潜在价值尚未得到充分挖掘与利用，大数据对外合作以及将来大数据的应用广度与深度仍有巨大空间。

因此，大数据时代的互联网金融需要有效挖掘大数据在金融行业的潜力，尤其是推动大数据在互联网金融主要新兴业态的进一步有效应用。变化与机遇来了，我们应该如何把握？通过调研与访谈不难发现，目前金融服务机构的具体方式或方法大致包括三个方面的主要内容：一是需要重点分析大数据金融当前所面临的主要问题；二是需要做好大数据金融体系架构的顶层设计，并聚焦重点业务场景与领域，加强大数据驱动业务模式创新的广度与深度；三是强化数据治理，并培养一批专业的大数据分析人才。与此同时，随着大数据金融的快速发展，传统金融服务的主要业态可能会发生较大的变化，一些传统的金融业务不断被赋予新的内涵，这也给我们的金融监管机构提出了新的课题，也即同样需要采取大数据分析的技术重塑相关的监管或治理模式，从而提高金融监管的准确性与效率性等。

1.大数据金融需要重点分析的问题

综合分析来看，以下几个方面的问题是我们在开展大数据分析应用过程中需要重点关注的。与此同时，这些问题的有效分析与解决也将直接关系到大数据金融的未来发展前景。如果不能对这些问题予以充分的重视与分析，就有可能会在大数据金融的实施应用过程中偏离重点甚至迷失方向。

问题一：大数据应用的目标是什么？也即要以互联网金融行业的具体应用、具体问题及具体需求为导向逐步推动大数据的应用，不能把数据应用纯粹作为一项IT基础设施来建设也不能认为大数据应用可以解决业务发展与管理运营中的所有问题。

问题二：大数据应用需要收集哪些数据？从什么途径获得？如何确保获得这些数据的合法性与使用数据的合规性？大数据时代，数据的格式及来源非常丰富，包括格式化数据与非格式化数据，内部数据与外部数据等。内部数据如何建立统一的数据标准？外部数据（包括电商数据、社交数据、运营商数据、公安数据等）通过什么方式获得？如何提升外部数据的质量？内外部数据如何有效融合（数据标签等方式）？如何才能不侵害客户隐私？如何才能合规使用？等等

问题三：大数据应用需要哪些“硬支撑”与“软实力”？也即需要哪些技术基础设施支撑才能有效存储并使用这些海量大数据？如何才能从不断生成的数据中获取有价值的运营和管理信息，形成自己的一套较为全面的“大数据生态系统”？如何建立自己的大数据数学分析模式？需要什么样的专业队伍（包括数据分析师、业务建模专家等）才能将这些海量数据转变为真正的智慧？

问题四：互联网金融可以在哪些领域从大数据分析中获得支持？也即大数据金融的应用领域有哪些？客户行为分析、差异化的精准营销、产品与服务的因客定价，还是产品创新、流程优化以及对风险实时监测与预警等？

问题五：如何做好互联网金融的大数据应用顶层设计？也即需要构建怎样的大数据金融体系架构规划以及怎样的实施路径，才能在时效要求范围内对大数据进行系统的筛选、提炼、统计、分析、应用，才能科学、有效、并最大限度地利用好大数据这个金矿，并将其应用到运营及管理实际当中，从而实现大数据从数据到价值的演变。

简单归纳起来，就是要解决为什么（业务方向）、做什么（业务场景）以及怎么做（业务实现）的问题。其中，“为什么”，说明了业务导向，需要明确业务战略、优先级和业务挑战对大数据远景的影响，业务条线部门是大数据体系部署的责任人，其对商业价值或效益负责；“做什么”，要以最终价值为目标，主要体现在以互联网金融业务价值为基础的优先级模型，同时大数据体系建设的每个阶段都需要有巩固的业务支撑与效益分析，明确制定的战略和战术性的项目；“怎么做”，描述了可实施性，要站在长期的目标和项目部署上选择短期速赢项目，并用业务指标来衡量实施过程和项目成果。

2.大数据金融体系架构的总体设计构想

如果我们把大数据金融比作一座城市，大数据金融战略就好比城市的定位与发展目标，为了达成城市建设的目标，则需要在遵循一定原则的基础上规划设计城市的发展方向、规模和布局、计划建设项目等，保证城市协调合理的建设和发展；规划确定后，在具体建筑的设计和实施阶段，则必须符合城市的整体规划；大数据金融体系架构就好比城市规划，为了支撑战略的实施，需要设计相应的业务架构、信息架构、应用架构以及技术架构和它们的实施路线图。也就是说，大数据金融需要一个好的顶层设计与循序渐进的实施策略。

1）大数据金融体系架构的主要目标要求

大数据在互联网金融领域的应用有着广阔的空间，构建并实施大数据金融体系架构的主要目标要求就是通过广泛收集和分析内部线上线下的各类信息并融合社交及外部数据（大数据提供了更为强大的计算能力，可以支持更为多样的信息类别，以更快的速度完成处理，使得金融机构可以更好、更快、更全地整合各类信息，从而提升数据的价值），重点提升客户服务、风险管理以及运营管理三方面的能力（表3-2），对外有效了解现有客户行为模式与偏好，为其提供量身定制的产品与服务，并深入发掘新的潜在客户群；对内提升风险管理及运营管理的精细化水平，驱动流程优化、提高风险防范水平、促进产品创新等，为前、中、后台各类经营管理活动提供强有力的支撑；也即从海量的结构化及非结构化的数据中挖掘分析出有价值的规律与趋势，进而有效驱动互联网金融模式创新，推动战略及业务的转型，并使各项业务对市场机会或需求更加敏感与灵活。可见，大数据金融在未来具有非常广阔的价值空间。

举报/反馈