扫盲系列(2):数据仓库之MPP架构&分布式架构

MPP架构常用于数据仓库、数据集市、大数据分析等场景，其分布式设计能有效应对数据规模和复杂度的增长，但也面临一些挑战。MPP架构的优点包括：1.高性能：MPP架构将数据分散到多个节点，每个节点拥有独立的处理能力，可同时处理多个任务，大幅提高数据处理性能。作业调度和数据平衡机制使计算任务得到充分利用，优...

同业率先完成传统封闭式架构(TD、Extradata)向开放分布式架构(Hadoop、MPPDB)转型,建成金融行业集群规模最大、技术生态最全、供给能力最强的大数据服务云体系,软硬件投入仅为原有产品投入的30%。全数据整合后容量超过9.3PB,为171个总行应用、22个业务部门和52家境内外分行及子公司提供了高效、便捷、丰富的高质量数据服...

AnalyticDB for PostgreSQL是一种专为大规模数据仓库设计的在线分析处理工具。它由阿里云基于开源的Greenplum数据库项目深度定制开发，专为解决PB级数据存储与处理难题而生。与标准的SQL 2003语法以及PostgreSQL和Oracle数据库生态系统高度兼容，AnalyticDB for PostgreSQL支持行存储和列存储，确保在不同数据结构下均...

数据库的未来发展趋势可以总结为以下四点：1.产品架构与技术创新：云原生 + 分布式 ( 弹性、高可用 )。架构上分布式共享 存储、存储计算分离，云原生架构 +Shared Nothing 分布式架构，满足弹性、 高可用、水平拓展的能力。2.数据挑战：多模，结构化与非结构化数据 ( 多源异构数据 )。结构化与非结构化 ...

6. 分布式文件存储 为了保证文件的可靠性和存取性能，数据通常以副本的方式存储在多个节点上的计算机网络。常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph等。7. 数据虚拟化 数据虚拟化是一种数据管理方法，它允许应用程序检索和操作数据，而不需要关心有关数据的技术细节，比如数据在源文件中是何种格式，...

GaussDB（DWS）基于Shared-nothing分布式架构，具备MPP大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。

Trino，原名PrestoSQL，是Facebook开源的一种基于内存的MPP架构的分布式SQL查询引擎，旨在解决Hive MapReduce模式的性能瓶颈和直接通过BI工具访问HDFS数据的问题。相较于PrestoDB，Trino因其更广泛的社区支持和易于开发优化，成为首选。Trino支持多数据源，包括20多种，如Elasticsearch、Hive、MongoDB等，且提供...

大数据技术是指从各种各样海量类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。大数据具备以下4个特点：一是数据量巨大。例如，人类生产的所有印刷材料的数据量仅为200...

大数据分析：是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性（Veracity）。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相...

Hadoop体系架构 (1)Hadoop最底层是一个HDFS(Hadoop Distributed File System,分布式文件系统),存储在HDFS中的文件先被分成块,然后再将这些块复制到多个主机中(DataNode,数据节点)。 (2)Hadoop的核心是MapReduce(映射和化简编程模型)引擎,Map意为将单个任务分解为多个,而Reduce则意为将分解后的多任务结果汇总,该引擎...