大田农业网

首页 > 正文

融合数据管理与分析平台,软硬结合推进“智能+”时代

www.pednoy.com2019-09-19

我想在三天前在云技术时代分享

在过去十年中,全球数据量激增;到2025年,每年将生成超过175个ZB数据,比2018年增加近三分之二。根据2019年6月发布的行业调查,全球CXO调查组织中73%的组织由Veeam组织,云数据管理备份公司承认他们无法满足用户不间断访问数据和服务的需求,这将使企业每年损失2000万美元。

如今,随着全球数据的爆发,单个企业或机构的数据规模已从GB级别提升到TB级别甚至PB级和EB级别。半结构化或非结构化数据(如文本数据,图像数据,语音数据和视频数据)占越来越多。移动电话,汽车,智能扬声器等各种传感器和其他数据源正变得越来越丰富。需要秒或毫秒响应的实时数据正在成为企业数据的重要管理对象。

在“互联网+”到“智能+”的过程中,如何将各种数据与实体经济相结合,通过数据分析分析实体经济,已成为企业数字化转型的重大挑战。中国信息通信研究院《数据资产管理实践白皮书(4.0版)》指出,当前企业数据资产对数据处理架构提出了新要求:将底层架构迁移到云平台和分布式系统;数据预处理从传统的ETL提取,清理和加载到数据仓库,随时从数据湖中提取原始数据。进行建模和分析。

从MPP大规模数据仓库到高性能计算,人工智能和机器学习建模,灵活的集成数据管理和分析平台正在成为“智能+”门票。这就是为什么英特尔自2013年以来一直在提出“以数据为中心”的战略,特别是英特尔至强可扩展平台的内置人工智能加速并针对工作负载进行了优化,从而提供了一个阴天和以数据为中心的时代。智能边缘之间无障碍性能切换的基础配备了第二代英特尔至强可扩展处理器,将性能的一致性,通用性和突破性提升到一个新的水平。

结构化数据处理是基础

对于实体经济而言,结构化数据仍然是基础。典型的结构化数据包括银行和电信交易数据,来自传统数据中心的交易数据,管理数据,财务数据,基本信息数据以及新兴的物联网数据和互联网数据。这些海量结构化数据承载着实体经济的关键信息,提高数据库的处理性能对于确保关键业务和挖掘数据价值起着至关重要的作用。

大量数据给数据处理带来了沉重的性能压力,对数据库技术的不断创新提出了新的要求。随着数字化转型的深入,金融,电信,能源,政府等行业的数据量呈现出快速增长的态势。从这些海量数据中挖掘数据值已成为数字化建设的重要方向。天津南大通用数据技术有限公司(以下简称:南大通用)是国内领先的数据库技术提供商。由Nanda General开发的GBase 8a MPP群集具有独特的扁平架构,高可用性和超大数据的动态扩展功能。 Management提供了经济高效的大规模分布式并行数据库管理解决方案。

对于结构化数据处理,GBase 8a MPP Cluster在性能方面优于传统数据库。它可以支持从TB到数十PB的数据集,并支持具有300多个用户的并发并发用户。最小IO等待时间仅为传统数据库。 10%的数据分析速度可以比普通数据库高10倍以上。 GBase 8a MPP Cluster可用于满足数据密集型行业(如金融,电信,能源,政府和物联网)中结构化数据处理的需求。它可以支持数据查询,数据统计,数据分析,数据挖掘和数据备份应用程序。它还可以用作数据仓库系统,BI系统和决策支持系统的承载数据库。

结合英特尔至强可扩展处理器,英特尔SSD D3-S4510系列,英特尔以太网适配器X710-DA2,它可以显着提高GBase 8a MPP集群的性能,完全满足数据密集型行业的大数据分析。需求帮助行业用户快速部署高性能GBase 8a MPP Cluster分布式分析数据库系统。例如,对于峰值需求,英特尔睿频加速技术允许处理器超出基本工作频率,加快处理器和图形性能,并轻松应对峰值负载。

人工智能和高性能计算是创新

随着大规模分布式并行数据仓库处理大量结构化数据,企业还需要在同一平台上处理各种非结构化数据,并应用人工智能和高性能数据分析为企业业务创新开辟新的空间。过去,公司使用不同的架构来处理高性能计算和人工智能计算,而今天的技术进步使公司能够统一和处理不同类型的数据和计算。

高性能计算集群是为人工智能(包括机器学习和深度学习)和高性能数据分析等领域的苛刻工作负载提供大规模计算资源的理想平台。这些工作负载都具有类似的需求,即与高效运算和高性能共享存储的强大计算核相关联的高性能网络架构。由于企业和学术机构必须支持不断增长且日益复杂的人工智能和数据分析工作负载,因此出现了使用高性能计算基础架构运行这些工作负载的需求。

将多种类型的工作负载聚合到单个群集基础架构中可能会在资源管理,网络使用和存储使用等方面带来多重挑战。从根本上说,这些挑战源于这样一个事实,即每种类型的工作负载的资源管理器都不是为了在开始时彼此互操作而设计的。但是,例如,在需要深入了解网络基础设施的计算机视觉等应用中,没有必要在一天中运行这些工作负载,这意味着专用基础设施通常处于闲置状态,并且可能使组织付出高昂代价。使用基于英特尔架构的通用服务器构建的共享群集比专用的专用硬件特定环境更有效。

越来越多的企业和组织开始在融合集群上运行仿真和建模,人工智能和数据分析工作负载。英特尔正在开发一种功能和解决方案架构,有助于简化工作流程,而不会中断生产应用程序和工作负载。第二代英特尔至强可扩展处理器旨在实现跨工作负载的更可靠的计算群集,包括:基于最近测试的高级高性能计算性能,与3年前的系统相比第二代英特尔至强与竞争对手相比,可扩展处理器平台在高性能CPU基准测试中的性能平均高达3.7倍,LINPACK CPU基准测试高达5.8性能改进的人工智能推理,测试显示采用英特尔深度学习加速的第二代英特尔至强可扩展处理器与竞争处理器相比,可以将图像分类推理性能提高多达25倍;腾讯数据中心级持久性内存可提升工作负载性能,利用这种创新的内存技术,您可以将更大量的数据移动到更接近处理器的位置,使组织能够快速,大规模地处理数据密集型高性能计算和人工智能工作量。

英特尔和软件生态系统成员的发展正在帮助越来越多的组织成功地将仿真和建模,人工智能和数据分析工作负载集成到一个成本更低,效率更高,更易于管理的单一基础架构中。实现智能智能,聊天机器人,增强诊断,药物开发,智能城市,自动驾驶等人工智能和高性能计算场景。例如,英特尔和谷歌已经建立了长期的联合研发合作,共同优化TensorFlow。

计算,内存,网络和存储性能增强的融合,加上软件生态系统优化,使英特尔至强可扩展处理器成为完全虚拟化软件定义数据中心的理想平台,无论是内部部署还是部署,都部署在公共云和数据中心可以根据工作负载需求动态配置资源。融合可以显着降低数据中心的资本支出,因为不需要构建和运行多个集群。采用集成Intel QAT和Intel PlatformTrust技术的英特尔密钥保护技术通过在空闲,正在使用和忙碌状态下提供有效的密钥和数据保护,从而增强了硬件级别的平台安全性。

随着越来越多的数据密集型工作负载流经企业数据中心,英特尔的全套硬件增强功能可为企业和云环境提供更好的数据和平台级保护,同时与软件合作伙伴合作数据管理和分析解决方案将实现集成数据软件和硬件的管理和分析,为企业带来可靠的“智能+”服务,推动“智能+”时代的全面到来。 (文/宁川)

收集报告投诉

在过去十年中,世界上的数据量急剧增加。到2025年,每年将生成超过175个ZB数据,比2018年增加近三分之二。这是2019年6月发布的行业调查结果。在由云数据管理备份供应商Veeam组织的全球CXO调查中73%的组织认识到他们无法满足用户对数据和服务的不间断访问。需求,这将导致该公司每年损失2000万美元。

如今,随着全球数据量的激增,单个企业或组织的数据规模已从之前的GB级别上升到TB级别甚至PB,EB级别,文本数据,图像数据,语音数据,视频数据等。结构化或非结构化数据变得越来越大,移动电话,汽车,智能扬声器和各种传感器等数据源变得越来越丰富,需要秒或毫秒响应的实时数据正成为重要的管理对象企业数据

在从“互联网+”向“智能+”转变的过程中,如何将各种类型的数据与实体经济相结合,并通过数据分析用于分析实体经济,已成为企业数字化转型的重大挑战。中国信息通信研究院《数据资产管理实践白皮书(4.0版)》指出,当前企业数据资产提出了数据处理架构的要求:底层架构迁移到云平台和分布式系统;从传统的ETL中提取,清理和加载数据预处理。转到数据仓库并切换到从数据湖中提取原始数据以进行建模分析。

从MPP大规模数据仓库到高性能计算,人工智能和机器学习建模,灵活的集成数据管理和分析平台正在成为“智能+”门票。这就是为什么英特尔自2013年以来一直在提出“以数据为中心”的战略,特别是英特尔至强可扩展平台的内置人工智能加速并针对工作负载进行了优化,从而提供了一个阴天和以数据为中心的时代。智能边缘之间无障碍性能切换的基础配备了第二代英特尔至强可扩展处理器,将性能的一致性,通用性和突破性提升到一个新的水平。

结构化数据处理是基础

对于实体经济而言,结构化数据仍然是基础。典型的结构化数据包括银行和电信交易数据,来自传统数据中心的交易数据,管理数据,财务数据,基本信息数据以及新兴的物联网数据和互联网数据。这些海量结构化数据承载着实体经济的关键信息,提高数据库的处理性能对于确保关键业务和挖掘数据价值起着至关重要的作用。

大量数据给数据处理带来了沉重的性能压力,对数据库技术的不断创新提出了新的要求。随着数字化转型的深入,金融,电信,能源,政府等行业的数据量呈现出快速增长的态势。从这些海量数据中挖掘数据值已成为数字化建设的重要方向。天津南大通用数据技术有限公司(以下简称:南大通用)是国内领先的数据库技术提供商。由Nanda General开发的GBase 8a MPP群集具有独特的扁平架构,高可用性和超大数据的动态扩展功能。 Management提供了经济高效的大规模分布式并行数据库管理解决方案。

对于结构化数据处理,GBase 8a MPP Cluster在性能方面优于传统数据库。它可以支持从TB到数十PB的数据集,并支持具有300多个用户的并发并发用户。最小IO等待时间仅为传统数据库。 10%的数据分析速度可以比普通数据库高10倍以上。 GBase 8a MPP Cluster可用于满足数据密集型行业(如金融,电信,能源,政府和物联网)中结构化数据处理的需求。它可以支持数据查询,数据统计,数据分析,数据挖掘和数据备份应用程序。它还可以用作数据仓库系统,BI系统和决策支持系统的承载数据库。

结合英特尔至强可扩展处理器,英特尔SSD D3-S4510系列,英特尔以太网适配器X710-DA2,它可以显着提高GBase 8a MPP集群的性能,完全满足数据密集型行业的大数据分析。需求帮助行业用户快速部署高性能GBase 8a MPP Cluster分布式分析数据库系统。例如,对于峰值需求,英特尔睿频加速技术允许处理器超出基本工作频率,加快处理器和图形性能,并轻松应对峰值负载。

人工智能和高性能计算是创新

随着大规模分布式并行数据仓库处理大量结构化数据,企业还需要在同一平台上处理各种非结构化数据,并应用人工智能和高性能数据分析为企业业务创新开辟新的空间。过去,公司使用不同的架构来处理高性能计算和人工智能计算,而今天的技术进步使公司能够统一和处理不同类型的数据和计算。

高性能计算集群是为人工智能(包括机器学习和深度学习)和高性能数据分析等领域的苛刻工作负载提供大规模计算资源的理想平台。这些工作负载都具有类似的需求,即与高效运算和高性能共享存储的强大计算核相关联的高性能网络架构。由于企业和学术机构必须支持不断增长且日益复杂的人工智能和数据分析工作负载,因此出现了使用高性能计算基础架构运行这些工作负载的需求。

要将多种类型的工作负载聚合到单个群集基础架构中,将在资源管理,网络使用和存储使用方面出现多个挑战。从根本上说,这些挑战源于这样一个事实,即每种工作负载的资源管理器都不是为了考虑彼此的互操作性而设计的。但是,例如,在计算机视觉和其他需要深入学习网络基础设施的应用领域,这些工作负载不需要整天运行,这意味着专用基础设施通常处于闲置状态,可能会给组织带来高成本。与高端专用硬件环境相比,基于英特尔架构的通用服务器的共享集群效率更高。

越来越多的企业和组织开始在融合集群上运行仿真和建模,人工智能和数据分析的工作量。英特尔正在开发功能和解决方案架构,以帮助简化工作流程,而不会干扰生产应用程序和工作负载。第二代Intel-to-Strong可扩展处理器旨在实现跨工作负载的更可靠的计算集群,包括高级高性能计算性能。在最近的测试中,与三年前的系统相比,基于第二代英特尔到强可扩展处理器的平台可用于对高性能计算CPU进行基准测试。与竞争处理器相比,LINPACK CPU基准测试的平均性能提高了3.7倍,性能提高了5.8倍;改进的人工智能推理,测试表明,与竞争对手的处理器相比,第二代英特尔到强大的可扩展处理器集成了英特尔深度学习加速功能,可以推动图像分类。理性表现可提高25倍;通过英特尔引以为傲的数据中心级持久内存,可以提高工作负载性能;利用这种创新的内存技术,可以将更大量的数据移近处理器,企业组织可以快速,大量地处理数据密集型高性能计算和人工智能工作负载。携带。

英特尔和软件生态系统成员的发展正在帮助越来越多的组织成功地将仿真和建模,人工智能和数据分析工作负载集成到一个成本更低,效率更高,更易于管理的单一基础架构中。实现智能智能,聊天机器人,增强诊断,药物开发,智能城市,自动驾驶等人工智能和高性能计算场景。例如,英特尔和谷歌已经建立了长期的联合研发合作,共同优化TensorFlow。

计算,内存,网络和存储性能增强的融合,加上软件生态系统优化,使英特尔至强可扩展处理器成为完全虚拟化软件定义数据中心的理想平台,无论是内部部署还是部署,都部署在公共云和数据中心可以根据工作负载需求动态配置资源。融合可以显着降低数据中心的资本支出,因为不需要构建和运行多个集群。采用集成Intel QAT和Intel PlatformTrust技术的英特尔密钥保护技术通过在空闲,正在使用和忙碌状态下提供有效的密钥和数据保护,从而增强了硬件级别的平台安全性。

随着越来越多的数据密集型工作负载流经企业数据中心,英特尔的全套硬件增强功能可为企业和云环境提供更好的数据和平台级保护,同时与软件合作伙伴合作数据管理和分析解决方案将实现集成数据软件和硬件的管理和分析,为企业带来可靠的“智能+”服务,推动“智能+”时代的全面到来。 (文/宁川)

http://wap.dihaowj.cn

热门浏览
热门排行榜
热门标签
日期归档