1.数据源和API

数据源是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。就像通过指定文件名称可以在文件系统中找到文件一样,通过提供正确的数据源名称,可以找到相应的数据库连接。

2.大数据基础设施

大数据技术的高速发展期开始于本世纪初,其前身是数据库技术。随着数据规模持续的高速增长,主流的技术覆盖范围从“数据”变成了“大数据”,其基础技术的演化大致有如下脉络:数据库技术->数据仓库->数据湖->湖仓一体。这些技术彼此之间并没有淘汰或取代的关系,他们各自有自己的定位和擅长的业务场景,共同构成了大数据时代的技术基础设施。

3.大数据分析

大数据分析是大数据产品中的最吸引人注意的产品了,通过大数据分析可以更快的挖掘出数据背后的价值。

大数据分析主要就是以大数据基础设施系统为基础,运用各种数据分析手段进行数据分析,以实现各种不同目的。细分领域主要有商业智能平台、可视化、数据分析师平台、增强分析、数据目录与发现、指标平台、流批一体、日志分析、查询引擎、搜索等细分领域。

4.大数据应用

大数据应用,是建立在大数据基础设施之上,综合运用大数据分析和人工智能工具,结合应用场景和垂直行业需求的应用实践。经过20多年的发展,大数据应用已经深入社会的各个领域,水平场景应用涉及的领域有:销售、客户体验/服务、企业市场营销、消费市场营销、人力资本、法律、合规、财务、自动化和机器人流程自动化RPA、安全、广告等,垂直行业应用涉及的领域有:互联网(电商、社交、生活服务等)、金融(借贷、投资、保险等)、电信、政府、卫生健康、工业、交通、教育、房地产、商务、生命科学、农业等。

大数据应用的真正落地,需要结合每个特定用户的特定需求,不是简单的产品堆砌,要做好与用户既有应用环境的结合,并建立新的业务流程。

5.大数据开源项目

大数据技术门槛和项目成本的快速下降,开源大数据项目功不可没。至今,这些开源项目也依然是引领大数据技术发展和创新的重要策源地。

延伸阅读

什么是大数据?

大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据技术涉及:数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。