非结构化数据存储的六大挑战及解决方法

　　事业部、企业IT架构师团队、IBM中国系统中心等部门工作。获得IBM高级ct)，参与过国内多家电信企业、大型公共服务机构的IT系统架构设计项目。目前担任IBM中国科技事业部存储团队架构师。

　　[北京市疾控中心提示]您好！根据市卫健委通报的新冠疫情，经流行病学调查，您与感染者存在时空交集，有感染风险。请您及时向所在社区和单位报告....

　　我：“稍等我看一下……，当时没有去过您提到的几个地点，但是去过几个街区之外的xx吃饭，不过有可能开车经过了您提到的地方”

　　流调员：“好的，那您去所在社区居委会报备，说明情况，持24小时核酸并签署承诺书，然后可以解除弹窗。”

　　疫情期间当我们的身边发现确定诊出的病例，大家都希望看到这些人的行动轨迹，如果发生了时空关联，就会收到上面的

　　和电话。目前，疫情防控已经变成了我们生活的一部分。大家都希望能够通过精准科学的方式找到疫情防控和正常生活的平衡点，但又谈何容易。我们大家可以从数据流向推测和分析事件的成因。然而极致的“精准”，需要数据量足够多，包括手机位置信息，流调人员的排查信息，现场流调信息等等。同时，数据量暴涨也是需要面对的问题。其实，近年来各个行业的数据量都呈几何级增长。如今，随着传统业务转型，新时代业务

　　、大数据分析、人工智能等新一代应用的出现，非结构化数据并行文件存储给各行各业带来了诸多挑战。一家人工智能

　　的企业于2017年流片量产了中国首款边缘AI芯片，2019年量产了中国首款车规级AI芯片，凭借30亿美金估值成为全世界估值最高的AI芯片独角兽企业。然而，随企业逐渐从初创企业走向成熟，其在数据存储、管理和调度等方面遇到了一些难题。其中一个比较突出的问题是数据竖井。在发展初期，往往以项目方式组织资源和部署数据结构，很多项目各有数据集群，形成了一个个数据竖井，或说数据孤岛。对需要“小步快跑”的初创企业而言，这样的形式无可厚非，但随企业规模扩大，这些相互独立的数据竖井就会给数据管理带来比较大的挑战。

　　从更大的层面看，他们也面临跨多云数据调度的难题。对于AI企业而言，提高模型训练效率是至关重要的，但训练效率的提高不仅仅依赖于计算资源，也离不开数据的及时调度。由于

　　资源分布在多个公有云上和本地，当GPU资源一直在变化时，如何让数据也能快速地跟随变化随需调度，也成为企业在数据管理方面的一个核心需求。此外，随着数据规模的迅速增加，数据管理成本也与日俱增。之前是采用算存一体的方式，计算和存储在一个一体机上实现，随着数据规模增长，这种方案不仅会降低计算设备正常运行效率，而且成本也会高企不下，因此就需要性价比更高的数据存储方案来支持企业的长远发展。

　　在医疗行业，信息化起步较早，在长期的发展过程中，各业务系统都针对初始单个业务模块的需求陆续建设了很多“烟囱工程“。此外，医疗行业对数据合规要求有其特殊性，门诊

　　病历往往需要保留15年以上。数据量的增长使得存储成本难以控制，同时管理、扩展和维护数据在线访问的复杂性大幅度的提升。新一代工作负载，面临数据存储、数据集成、数据可访问性、应用程序数据集成等问题，没办法实现现代化应用程序；环境数据分散，存储在太多不同的地理位置，没有数据集成，没有通用的管理能力，数据孤岛使得数据查询和使用异常困难。这就需要一个企业级的、真正的全球共享数据湖基础架构，更快交付洞察，底层存储必须同时支持新时代的大数据和传统的应用，具备安全性、可靠性和高性能。数据管理之六大挑战

　　为了应对云计算、大数据分析、人工智能等新一代应用，我们的企业往往在非结构化数据存储中遇到诸多挑战：

　　挑战1：当前架构无法应对海量数据增长，无序扩展，存在严重的性能瓶颈。传统的SAN文件系统和

　　文件系统，受限于其单个控制器的性能和元数据的解决方法，没办法提供更高性能的IO访问，NAS文件系统扩展方式是按照SAN或者NAS的控制器扩展，控制器之间不能够实现并行IO操作，没办法避免单机头带来的性能瓶颈，并因为文件目录的名称改变而导致应用重新定义。挑战2：数据孤岛。企业超过50%的数据存放在离散的存储系统中，企业环境的数据分散，存储在太多不同的地理位置，数据孤岛使得数据查询和使用异常困难。数据量的增长使得存储成本难以控制，同时管理、扩展和维护数据在线访问的复杂性大大提高。

　　挑战3：缺乏企业级的统一数据管理平台。传统的SAN文件系统和NAS文件系统本身不具备

　　的、基于策略自动执行的生命周期管理，需要借助单独的软件或者硬件实现数据的分层和备份，导致数据管理困难。挑战4：无法为未来前沿技术提供有效存储支撑。如云计算的数据需求并行存储能够支持多云架构，统一资源管理，数据安全和高可用。人工智能需求海量数据集存储，大算力。大数据分析业务需求高效分析和高可用。

　　挑战5：新技术带来的潜在的基础架构“割裂”，没有全局的统一命名空间，难以实现数据共享和安全共享。

　　挑战6：无可靠的高可用、完整性。不能统一管理和部署，提升运维复杂度。不能支持存储异构，不同NAS机头无法统一存储空间。故障数据重构开销大，对性能影响较大。

　　发布了基于 Spectrum Scale 的ESS3500，它包括以下特点：1. 极致的性能和可扩展性：可以从小规模开始构建，然后逐步扩展性能和容量，无任何瓶颈，可提供极致的数据、元数据和闪存可扩展性。无瓶颈的架构提高了性能，以此来实现极大的吞吐量和低延迟访问。IBM ESS 3500在每个单一节点上提供1PBe，吞吐量高达91GB/秒。

　　4. 统一命名空间。实现全球协作：Spectrum Scale 通过主动文件管理分布式磁盘高速缓存技术，跨不同存储和位置随时随地访问数据，在数据中心或全世界内实现应用加速。

　　5. 数据完整性和安全性：认证、加密、安全和复制选项，用于满足业务和法规需求。

　　各行各业的数字化难题不断涌现，IBM伴随很多客户，一步步突破最新的AI和云计算的性能极限，成就了他们的创新和发展。疫情防控也一样，不仅需要技术的支撑，也需要各方的共同努力、每个人的积极配合，希望世界早日恢复生机蓬勃。

　　》文档可知，一张MaxCompute的外部表连接的是OSS上的一个文件夹（严格来说OSS没有“文件夹”这个概念，所有对象都是以Object来

　　属性信息，对于电子商务实现商品的对比与推荐及客户的真实需求预测等功能具备极其重大意义．现有

　　（SDS）市场未来五年复合增长率将达到28.8%。 传统IT架构渐成过去式

　　软件与服务器硬件，为企业和组织获取并利用包括文件、图像、视频、社会化媒体内容在内的

　　现在是该行业的主要威胁面，因为它高度分散并且以各种各样的形式出现，并且很难保护关键业务内容。”

　　，也加速推动着直播和短视频自媒体等行业向高清、便捷、高效全方位升级，以满足人类经验的需要。这在某种程度上预示着大规模的

　　（例如HTTP 请求的正文，或者程序发出的错误消息）。 以上只是其中两个示例，此外我们还收集许多其他类型的

　　。在本篇文章中，我们将重点介绍在 Pixie 中收集如 HTTP 请求/相应正文等大量

　　【重磅】首批 IBM watsonx 专有 “花岗岩”Granite 模型全球开始上市，化解企业采用生成式 AI 的“数据焦虑”

　　拆开才知道，安全带里还隐藏着爆炸装置，看看预紧式安全带的原理 #硬核拆解