我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:白小姐 > 分布式系统 >

智能系统与分布式边缘数据分析

归档日期:06-07       文本归类:分布式系统      文章编辑:爱尚语录

  作用于物理对象的智能系统,一般由感知、描述、监测、诊断、预测、决策、控制、执行等环节构成。在工业通信尚存在速率、带宽和成本限制的过去,实时系统往往简化为感知、控制和执行这三个环节,而将包括描述、监测、诊断、预测和决策的数据分析部分放到闭环之外单独进行。近些年来,数字化转型和智能制造在几乎所有的工业部门受到空前重视和推动,工业互联网、工业物联网IIoT部署日益普遍,低成本传感器的发展日新月异。这些使得数据源越来越多,有必要重新审视过去因为技术原因而不得不简化的环节,有必要从更广泛的关联和不同的视角发掘和利用数据的价值,于是数据分析(描述、监测、诊断、预测和决策)就提上了日程,数据分析的实践也从原来的狭义逐步扩展到广义。但就目前的发展状况而言,数据分析的应用基本上还处于开环阶段,发展到闭环也许还有待于技术的积累和需求的推进。

  数据分析的传统视角(见图1)主要是:描述(descriptive)即发生了什么;诊断(diagnostic),即为什么会发生;预测(predictive)即将会发生什么;规定/决策(prescriptive/decision)即采取什么行动。很显然,从创造的价值看,图1的四个阶段所创造的价值从左至右是递增的,描述最低,决策最高;从时间的消耗看,也是从左至右递增,决策需要耗费最多的时间;从实现的难度看也是如此,通过数据分析达到决策的目的是难度最高的。

  从系统的层面看,进行数据分析首先必须建立数据源(来自供应商、企业/工厂运营、客户和产品),数据经过边缘分析后通过联接性网络和数据模型进行数据存储(数据库、数据湖、历史数据),再经过必要的数据分析后,再送往高一层进行大数据分析、协同和整体综合(mash-up Apps)。这就是图2所示的以联接性为中心的数据分析运行架构。

  进行数据分析有以下几个重要的维度需要思考:(1)分析地点,即边缘(设备/资产所在地点)、预置(工厂数据中心/企业数据中心)和云端;(2)数据速率,受到决策时间要求和带宽约束,受到数据流和通信协议的限制,还要考虑实时数据如何结合历史数据;(3)数据类型,即结构化数据、半结构化数据、非结构化数据等;(4)分析模型,即统计模型、第一性原理模型、人工智能AI(包括机器学习和深度学习)模型等;(5)分析目的,即显示(可视化)、生产质量/管理的长期改善、直接反馈给控制系统、以及改善人员过程(如客户关系管理)等。表1给出了部分数据分析维度的说明。

  *所谓第一性原理是一种基本的不证自明的命题或假定,它无需也不可能从其它任何的命题或假定进行推导或推理取得。

  在企业或工厂中承担不同任务的角色,对边缘的理解也不尽相同。例如IT人员将云视为L5,将on-premise 视为IIoT赋能的下一代系统,边缘则为原材料及其供应。而OT人员将云视为L4,on-premise 视为L3(MOM/MES),边缘则为 L3以下,即L0、L1、L2。详见图3。

  由图4可知,在边缘分析和在云端进行大数据分析,数据的抽象和清洗(cleansing)变得更为重要。假如要在深边缘(如在电机控制器中)进行就地分析并直接反馈给控制系统改变对象的动态特性,显然系统应该具有快速存储大量实时数据的能力;而较长时间的决策应该放在更高的层次,如在MOM中或云端,此时要求速度不那么快,数据量要合并。简言之,长期反馈不应要求那么快速,或反馈的频度不要太高,但必要的反馈是必须进行的。

  2018年LNS联合MESA对欧美有关企业发出有关企业和工厂的数据分析现状的问卷调查。从350家企业反馈中发现,制造企业为改善业务过程和制造过程进行数据分析的前五个主要应用是:改善制造质量占46%;对生产进行更准确的预测占43%;制定卓越运营计划占39%;持续改善制造流程占36%;改善客户服务和支持占34%。其他一些应用比如:更好预测多个工厂的生产状况占27%;发现关键工厂性能参数占24%;连续改善资产设备性能占19%;多个工厂的报警管理占17%;直接在现场对产品进行软件升级占12%等。

  从以上数据可以发现,目前工业数据分析主要还是用于像能效、设备可靠性等比较没有风险、而且容易取得结果的场合。这些场合很多都是有人工干预的,如运维计划的改善等,其它则是直接影响设备、设计信息、产品流动或生产速度节拍等方面。对于制造或过程进行快速反馈的用例几乎没有,因为至今还存在将分析结果直接反馈给自动控制系统的强烈畏惧感。

  不论是在企业进行边缘分析还是在生产现场进行边缘分析,目前进行边缘分析的企业都还很少,一般只占7%或8%以下。可见进行边缘数据分析的发展空间还是很大的,尤其是如果采用新的数据分析方法能够实时为生产过程提供新的洞察力的话,数据分析将出现爆炸性增长。

  什么是分布式(数据)分析?在最基本的层面上,分布式分析将数据分析的工作量扩展到一个服务集群的许多个节点,而不是要求一个节点独自来处理和应对一个大的问题。在每一个参与处理的节点中运行同一个算法,处理数据的一个子集。在处理结束的时候,将数据各个子集集结在一起,或者把这些处理好的数据综合在一起,用以产生综合洞察力。

  分布式分析的方法归结为一个简单的理念:以更快的时间去洞察,去发现问题之所在。在要求从大量数据中快速地得到结果的时候,分布式分析具有明显的优越性。一方面用许多个节点去处理同样的问题,可以得到比在单一节点线性处理分析快得多的结果。另一方面,将一个复杂的数据分析问题分解为边缘分析、预置分析和云基分析三个层次,不但会快速地获得分析结果,更有利于综合来自广泛的数据源的信息,取得系统性、整体优化的决策效果。

  例如,为了改善病人的安全性和避免耗费昂贵的再次住院,医院可以运用分布式分析的方法,通过病人至关重要的迹象、指标和症兆来比较几千个具有相似和相近健康问题病人的记录,包括那些出院后不久又再次住院的病人的记录。如果在单一节点做分析,即使该节点的算力资源很强,因为结果返回很慢,无助于医务人员及时决定病人是否可以再次住院。通过把所有相关的数据处理工作量分散开来,可以足够快速地支持此类问题的解决,几分钟就可以判定让病人出院是否安全。同样,在工业数据分析中也可以找到许多类似的应用场景,诸如大型旋转装置的预测诊断等等。

  分布式分析以新的方法和途径服务于现有的客户,从而支持和帮助具有梦想的新一代企业。这些方法和途径包括通过改善自主和高度自动化的基础设施资源的管理达到资产优化,以高价值的产品和服务满足客户随时随地的高要求并保持与客户的紧密沟通,通过更快更好的以数据驱动的决策来改善操作和运行的灵活性和响应能力等。

  t在有低时延要求的IoT环境里,在应用的边缘进行关键的处理,如无人驾驶车辆的车联网;

  t工业4.0应用和设备(如工厂产线中的机械臂),当偏离正常运行状态时能够立即识别并加以补救;

  t医用植入体或药物剂量系统要求快速转向调节时,需要就地处理生理环境和设备的功能性数据;

  t时间为关键因素的公共安全应用,需要在突发事件发生时进行边缘分析,如快速识别正在跟踪的罪犯;

  t支持部署在农村或遥远地区的IoT应用和设备,那些地方连接性受限,但需要就地处理来提高有效性。

  分布式和边缘分析也可以起到过滤IoT数据流的作用。IoT中流动的数据量过大已经构成了对网络和处理能力的挑战,通常除了增加更多的设备没有其他的办法。而边缘分析在就地路由器、网关、服务器、交换器等设备中动态地执行,这样只需要将最相关的或最重要的数据传送到数据中心或云端进行更深入的分析。同时在许多情形下可以与其它的数据或企业的应用集成在一起来分析,或者将这些经过边缘分析处理的数据纳入机器学习模型中去。对这些能力的组织、编排和利用目前还刚刚开始,而且技术仍在不断涌现。像IBM、HPE、Cisco(与SAS一起)和华为这些玩家已经在市场上提出了解决方案,但在技术和集成策略成熟之前还有一段路要走。不过现在已经清楚,作为一种方法,它是有前途的,而且一直有投资在支持着。因此,我们认为,分布式数据分析是对数据高度依赖的那些领域的坚实基础,它一定会不断发展前进走入企业级应用,并且成为成功的IoT策略的一个关键元素。

  正如前述,分布式数据分析一个重要的趋向是将数据处理和计算扩展到接近数据源的地方,或者干脆就在数据源来完成。被IoT赋能的分布式分析将进一步在数据源头或接近数据源头的地方开展数据处理和计算,典型如智能通信设备,例如传感器、控制器和网关等。在许多情形中分布式分析的数据来自于与IoT连接、处于运行网络边缘的设备。这些边缘设备靠近或嵌入于大量机械和设备,诸如机器人、机动车辆和分布式微电网。分析可在分布式的边缘设备或在云的环境中进行,接着发送指令到边缘设备供执行。从运行操作的视角看,信息安全、私密性、与数据相关的成本和规程规定的约束等,都是经常会举出的让分析就地进行的理由。

  随着许多数据密集的计算工作负载被推向网络的边缘,实时远程管理和简化边缘计算基础架构成为关乎成败的关键。那些采用了自行管理边缘计算基础架构的公司,能够释放机器设备和流程中以前被搁置不用的数据,较快地识别造成生产低效的原因,比较不同制造条件对产品质量的影响,精确查明潜在的安全、生产或环境问题。远程管理可以使在现场的操作人员与不在现场的专家进行实时联系,快速解决发生的问题,甚至可以避免产生停机事件。这将有助于操作人员和IT人员专注他们各自的任务,使他们更好地发挥其专长。

  截至目前为止,进行数据分析的角色主要是企业、工厂的管理层和技术领导层,他们按照各自的分工和承担的责任进行不同目的的数据分析。就现状而言,大多数已经获得了一定效果的数据分析应用,都是属于结着硕果的大树下容易采摘的那些果子,那些长在高端的果子需要化更多的力气,用更好的工具和方法才可能到手。

  由于成本、复杂性、信息安全以及其它技术壁垒,大多数的数据分析还是遵照数据发至云端这一常规的模式,边缘分析还是很少的。可以预料的是,数据分析集成和分布式边缘分析一旦进入工业设置和部署,其带来的利益将是显著和深远的。

  当今工业互联网的部署已经成为制造业数字化转型的热点,广义上的工业互联网,即能够实现行业内甚至行业间的互通互联,还需要建立标准,还需要时日才能实现。不过哪怕是在企业内部建立和应用工业互联网也为数据分析提供了很大的发展空间,是一座值得发掘的金山。

  彭瑜:1960年毕业于清华大学动力系。上海工业自动化仪表研究院教授级高级工程师、PLC open中国组织名誉主席、中国智能制造综合标准化工作组专家、工信部智能制造标准化体系建设工作组专家、中国科技自动化联盟首席专家顾问。长期从事工业过程控制系统的研究开发工作。自1996年后,研究领域集中在PC控制、现场总线、工业以太网、MES,以及现场设备的无线通信;近些年主要研究智能制造相关的自动化技术。凭借在发展我国工程技术事业方面做出的特殊贡献,1993年起获国务院特殊津贴。

本文链接:http://frankstella.net/fenbushixitong/343.html