人工智能和机器学习

人工智能控制系统的演变

封面故事:人工智能(AI)可以证明是控制系统的下一次演变吗?请参阅三个AI控制器特性和三种应用。

由Kency Anderson,Winston Jenks和Prabu Parthasarathy 2月17日,2021年
图片礼貌:木头

学习目标

  • 基于AI的控制器的特征包括学习,延迟满足和非传统输入数据。
  • AI控制器需要其大脑培训。
  • AI控制器用例包括能量优化,质量控制和化学加工。

几十年来,控制系统一直在不断发展,人工智能(AI)技术正在帮助推进一些控制系统的下一代。

比例-积分-微分(PID)控制器可以解释为一层功能:比例项指向信号,积分项指向设定值,而微分项可以最小化超调。

虽然控制生态系统可能呈现相互关联技术的复杂网,但也可以通过将其视为家谱的不断发展的分支来简化它。每个控制系统技术提供其自身的特性,无法在现有技术中提供。例如,前馈通过预测控制器输出来改善PID控制,然后使用预测从噪声发生中分开干扰误差。模型预测控制(MPC)通过将来的控制动作结果的分层预测添加了进一步的能力,并控制多个相关输入和输出。控制策略的最新演变是通过AI技术来开发工业管制。该领域的最新进步之一是应用增强基于学习的控件,如图1所示。

图1:控制策略的最新演变是采用AI技术开发工业管制。在AI控制的最新进步之中是应用增强基于学习的控制。礼貌:木材,微软

图1:控制策略的最新演变是采用AI技术开发工业管制。在AI控制的最新进步之中是应用增强基于学习的控制。礼貌:木材,微软

基于AI的控制器的三种特征

基于AI的控制器(即,基于深度增强学习,或基于DRL的,控制器)提供独特和吸引人的特征,例如:

  1. 学习:基于DRL的控制器通过有条不紊地和不断练习来学习 - 我们所知道的机器教学。因此,这些控制器可以发现专家系统中不容易捕获的细微差别和例外,并且在使用固定增益控制器时可能难以控制。DRL发动机可以通过模拟器接触到各种过程状态。在现实世界中,许多这些国家永远不会遇到,因为AI发动机(大脑)可能会尝试操作植物太多或超越物理设施的操作限制。在这种情况下,这些游览(可能导致流程之旅)是大脑的经验,了解避免的行为。当这通常足够完成时,大脑会学会不做什么。此外,DRL引擎可以立即从许多模拟中学习。它可以从数百种仿真中学习而不是从一个植物喂养大脑数据,而是比正常实时所看到的速度快,而是提供有利于最佳学习的培训经验。
  2. 迟来的喜悦:基于DRL的控制器可以学习在短期内识别次优行为,这使得能够长期优化收益。根据Sigmund Freud,甚至亚里士多德回到300 b.C.中,人类知道这种行为是“延迟满足”。当AI行为时,它可以将过去棘手的本地最小值推向更优化的解决方案。
  3. 非传统输入数据:基于DRL的控制器管理摄入量,能够评估自动化系统不能的传感器信息。作为示例,基于AI的控制器可以考虑有关产品质量或设备状态的视觉信息。在控制行动时,它还考虑了分类机器警报和警告。基于AI的控制器甚至可以使用声音信号和振动传感器输入来确定如何进行过程决策,类似于声音人类运营商受到影响。处理视觉信息的能力,例如耀斑的大小,区分和揭示基于DRL的控制器的能力。

启用基于DRL的控制系统

将基于drl的控制交付到工艺设施涉及四个步骤:

  1. 准备大脑的伴侣仿真模型
  2. 大脑的设计和培训
  3. 对经过训练的大脑的评估
  4. 部署。

伴侣仿真模型

支持基于DRL的控制器需要模拟或“数字双胞胎”环境来练习和学习决策的情况。这种方法的优点是大脑可以学习被认为是“好的”以及系统的“坏”,以实现陈述的目标。鉴于真实环境有变量 - 远远超过通常代表的东西 - 在流程模拟模型和培训大脑在国家运行空间中所需的模拟量,减少了维持物理基本原则的秩序模型训练大脑的方法。这些型号提供了一种方法来开发复杂的过程模拟,并且在运行时更快,这两者都允许更有效的方式来发展大脑。基于标签的工艺模拟器是一种简单的设计,易用性和适应各种模拟需求的能力,适用于培训基于DRL的大脑所需的模拟模型的要求。

在这个现代的年龄,当灯光和开关面板被降级到分级地板的后角时,基于标签的模拟器在制作自动化工程师的工作较少繁琐的时变得更加重要。在进入该领域之前,使用模拟来测试工厂验收测试(FAT)的系统是流程仿真软件的“面包和黄油”,几十年来 - 在现代灵孔的出现之前,就像“数字双胞胎”。相同的模拟器可用于培训AI发动机以有效地控制工业过程。为实现这一目标,模拟器需要能够在多个CPU上以分布式方式运行,并且可能在“云”中。需要在并行执行中锻炼,培训或评估潜在的新AI算法需要多次模拟实例。一旦实现了这一点,已经使用基于标签的模拟器开发的操作员培训师系统可用于培训基于DRL的AI发动机。

大脑的设计和培训

在开发成功的基于drl的最优控制方案时,基于目标控制过程设计大脑是至关重要的。大脑不仅可以包含人工智能概念,还可以包含启发式、程序逻辑和众所周知的规则。当从主题专家(SME)那里适当地收集到信息时,使用该信息实现大脑的能力是项目成功的关键。

图2:基于Microsoft Bonsai的控制器的独特特征是学习的能力,最大限度地提高未来的奖励,并考虑更多信息,如图像和类别。礼貌:木材,微软

图2:基于Microsoft Bonsai的控制器的独特特征是学习的能力,最大限度地提高未来的奖励,并考虑更多信息,如图像和类别。礼貌:木材,微软

使用主题专业知识构建洞察力培训方案对于开发强大的基于AI的控制系统至关重要。在DRL引擎可以用模型培训之前,人类必须决定模型的内容将被暴露为大脑的过程状态。过程状态通常是可用于自动化系统的测量值的集合。水平,温度,设定值等是典型的例子。曝光太少的过程状态将不允许大脑从足够的数据中学习。通过太大的状态,内部封面的数量可以迅速增长。这可以防止大脑尽快学习,因为它的一部分浪费以丢弃难以弄清楚过程状态的部分不太重要。与从大脑流到过程的数据发生类似的情况。人类必须决定哪些行动允许大脑操纵,这决定了控制过程中最理想状态所需的努力。通常,关于在大脑可用的动作中包含该方法的决定更容易确定,因为只有这么多的控​​制阀或其他可用于控制过程的机制。

图3:Microsoft Bonsai软件的Wood VP链路可帮助用户使用基于标签的模拟器定义状态和操作空间。礼貌:木材,微软

图3:Microsoft Bonsai软件的Wood VP链路可帮助用户使用基于标签的模拟器定义状态和操作空间。礼貌:木材,微软

关于过程状态和动作空间大小的决定归沸到哪些状态和动作结构中的仿真标签应该包括在内。图3显示了基于标签的模拟器的示例,其中定义了状态和操作。从列表中选择标签并单击按钮可以将它们添加到大脑使用的状态或动作结构中。

定义状态和动作空间

Inkling是一种用于培训DRL代理商的语言,以表达紧凑,表现力和易于理解的语法中的培训范式。基于标签的模拟器可以被编程为自动生成定义大脑的状态和动作结构的Intling码(如图4所示)。

图4:Wood VP链接自动生成Microsoft Bonsai脑培训的Intling码。礼貌:木材,微软

图4:Wood VP链接自动生成Microsoft Bonsai脑培训的Intling码。礼貌:木材,微软

一旦定义了状态和动作结构,就需要向大脑定义训练的目标。训练大脑的典型要求是构念,例如:目标、惩罚、课程计划和情景。在这个例子中,用户需要创建大约40行代码,才能使用模拟来训练人工智能大脑。图5中的Inkling代码描述了新生的人工智能大脑的两件重要事情——做什么和如何做。特别地,本规范的目的是通过使用上游流量控制和下游阻断阀来控制储罐内的液位。“目标”陈述描述了大脑行动的预期结果,在这种情况下,实际水平应该接近设定值水平。

图5:这是创建人工智能(AI)大脑所需的用户创建的代码。礼貌:木材,微软

图5:这是创建人工智能(AI)大脑所需的用户创建的代码。礼貌:木材,微软

选择与目标相匹配的适当课程和场景是大脑设计师和SME之间适当合作的结果,而不是溢出水箱。“教训”和“情景”语句告诉大脑如何学习目标。在这种情况下,场景指导大脑以随机的,但有限制的水平和设置开始每个训练阶段。

创建代码以创建AI大脑

对大脑的有效培训需要探索一个非常大的国家空间。云技术允许模拟器容器化并在大规模并行环境中运行。然而,当希望成功的结果时,测试培训大脑的想法需要首先将模拟器贯穿模拟器,以“铁”出来的错误。一旦用户满足,模拟器可以容器化并在云中运行。典型的脑训练课程可以在300,000到1,000,000次训练迭代之间。图6显示了一个简单的坦克演示的大脑的训练进展。云资源可以设法培训需要在不到一小时内培训一半次迭代的模拟器。

图6:多木VP链路罐模型有助于微软盆景脑训练。礼貌:木材,微软

图6:多木VP链路罐模型有助于微软盆景脑训练。礼貌:木材,微软

图7显示了大脑训练的进度与迭代次数的函数关系。“目标满意度”参数是训练片断的移动平均值,导致目标被满足的总数。通常情况下,一个人需要达到100%的目标满意值,才能实现大脑对所有练习场景的有效控制。

评估训练的大脑

培训大脑后,需要测试以评估其可行性。在此阶段,大脑对模型进行判断以判断其行为。但是,这次方案应该在模拟中变化 - 在大脑上对大脑进行测试,在原始的测试期间可能没有遇到的情况。

图7:显示了作为迭代次数的函数的脑训练的进展。“目标满意度”参数是训练片断的移动平均值,导致目标被满足的总数。在大多数情况下,需要实现100%的目标满意度,以实现所有实践情景的大脑有效控制。礼貌:木材,微软

图7:显示了作为迭代次数的函数的脑训练的进展。“目标满意度”参数是训练片断的移动平均值,导致目标被满足的总数。在大多数情况下,需要实现100%的目标满意度,以实现所有实践情景的大脑有效控制。礼貌:木材,微软

例如,如果一个值是由三个阀门组合控制的,如果一个阀门现在不可用,会发生什么?如果其中一个瓣膜卡住或无法维修,大脑能做些合理的事情吗?这是为操作员训练器系统或控制系统测试开发的模拟器模型可以适应的地方。就像控制系统测试一样,AI控制器需要经过严格的正式测试程序。带有自动化测试计划的模拟器可以显著减少评估“训练有素的”大脑所需的努力。

部署大脑

一旦大脑通过了评估测试,就可以部署。虽然有许多部署方式,但使用用于测试控制系统的基于标签的模拟器的独特优势是它们可以用作中间件,以将大脑与控制系统集成。对于各种控制系统的大量可用驱动程序,集成到客户特定的网站比使用自定义解决方案更容易。此外,从软件维护透视图,始终欣赏最小化自定义部署的数量。

人工智能用例

基于DRL的大脑专为100多种用例而设计,并已部署跨越各种行业和垂直市场。

提出了几种用例和相应的唯一,挑战或应用,以说明基于DRL的大脑的力量。

图8:可以应用Microsoft Bonsai脑应用的问题类型包括动态,高度可变的系统;竞争优化目标或策略;和未知的起动或系统条件,其中包括所示。礼貌:木材,微软

图8:可以应用Microsoft Bonsai脑应用的问题类型包括动态,高度可变的系统;竞争优化目标或策略;和未知的起动或系统条件,其中包括所示。礼貌:木材,微软

建筑暖通空调能源优化

在确保CO的同时优化建筑物中的能源使用2低于法定限度的水平要求工程师建立制冷装置的设定值,使成本最小化,同时保持室内温度在狭窄的范围内。由于每天环境温度的变化,以及每天范围的季节性变化,增加了复杂性。基于drl的控制考虑实时天气数据(如环境温度和湿度),并使用机器学习结合过去性能和环境条件的关系模型,以提供更优化的解决方案。

对许多人类可能假设的违反思考,冷却塔和冷却器的AI推荐设定值增加,同时也增加了泵输送水的速度,以实现能量减少的整体目标,同时保持所需的温度。由于世界转向更可持续的解决方案,基于DRL的解决方案可以提供更优化的能源效率,以满足公司的可持续发展目标。

Microsoft Bonsai大脑的应用包括动态和高度可变的系统,竞争优化目标或策略以及未知的起动或系统条件等。图片礼貌:木头

Microsoft Bonsai大脑的应用包括动态和高度可变的系统,竞争优化目标或策略以及未知的起动或系统条件等。图片礼貌:木头

食品生产质量控制

最大限度地提高产品质量,最大限度地减少了许多制造商的共同目标。在这种情况下,需要在适当的条件下运行设备的专业知识。

基于AI的解决方案和集成的在线视频分析以及传统的过程输入,使得能够在尊重处理设备的限制的同时同时控制多个输出的大脑。结果是对过程偏差和较少的偏离产品产品的响应更快。

基于人工智能的控制系统的不同工业应用可能包括控制系统,模拟,以及虚拟和增强现实。图片礼貌:木头

基于人工智能的控制系统的不同工业应用可能包括控制系统,模拟,以及虚拟和增强现实。图片礼貌:木头

化学加工控制

聚合物生产需要紧密控制反应器上的设定值。参与聚合物生产中涉及的典型挑战包括瞬态控制,特别是在从一个等级的聚合物的变化过程中,当脱离规格生产的机会很高时。这里的挑战还可以最佳地控制并提供一致的结果。控制变量的数量很大,并且在控制过程中使用多次人类经验,因为这是一种学习的技能,结果的变化导致了涉及的操作员经验和主观性的可变性。部署培训的大脑,探讨了与瞬态操作相关的所有状态空间,并包含最有经验丰富,最佳性能的运营商的智慧允许对操作员提供更快,更一致的操作建议,并最大限度地降低规格产品的数量。

上面的用例显示了一些应用程序,但AI技术使用可以扩展到可以使用模拟建模的任何复杂问题。应用技术可以应用的问题类型如图8所示。一些其他行业问题落入所列出的类别:

  • 油气上游气举优化
  • 控制上游石油和天然气部门拓展设备中的间歇生产扰动
  • 炼油厂/化工植物性能优化和控制
  • 化学植物中的启动序列优化和控制启动序列
  • 离散制造业的物流和供应链优化
  • 警报合理化。
跟踪仪表板中的能量参数可以帮助可视化优化目标。图片礼貌:木头

跟踪仪表板中的能量参数可以帮助可视化优化目标。图片礼貌:木头

AI用于下一代高级控制

基于人工智能的机器学习控制系统有望成为先进控制的下一个发展方向,特别是对于具有大状态空间的复杂系统,部分考虑到可测量的状态和变量之间的非线性相关性。然而,实现这一承诺需要一些关键技术。

除了“数字双胞胎”的炒作之外,学习代理必须可以访问定向准确的模拟模型,以练习和部署学习代理以在工厂中做出决策的方法。用于高级过程控件的建筑物和AI学习代理的端到端进程是:培训模拟中的代理,教导代理跨多种优化目标和方案,评估代理,最后将代理部署在边缘上作为生产控制系统。

人工智能技术可以扩展到任何可以使用模拟建模的复杂问题,例如控制上游石油和天然气部门的倒车设备中的间歇生产扰动和炼油厂/化工厂性能优化和控制。图片礼貌:木头

人工智能技术可以扩展到任何可以使用模拟建模的复杂问题,例如控制上游石油和天然气部门的倒车设备中的间歇生产扰动和炼油厂/化工厂性能优化和控制。图片礼貌:木头

Kence安德森是主要的计划经理,自治系统,与微软温斯顿·詹克斯是应用智慧的技术总监, 和Prabu高博士应用情报部门的副总裁,系统集成商和CFE媒体和技术内容合作伙伴。由Mark T. Hoske,Content Manager编辑,控制工程CFE媒体和技术mhoske@cfemedia.com.

更多答案

关键词:人工智能,控制系统,VP链路,盆景,仿真,加固学习

考虑一下这一点

你会在为你的下一个控制系统提供它需要的工具来学习如何更好地服务于它的应用程序?


Kence Anderson, Winston jenkins和Prabu Parthasarathy
作者生物:Kency Anderson在微软创新了智能自治系统的设计,他为企业公司设计了100多个学习控制系统。Winston Jenks在过去的30年里致力于模拟器技术开发。来自康奈尔大学的化工工程师,JENKS负责木材的VP链路模拟器的产品开发,连接和集成,采用控制系统,外部建模软件,用户界面和高级控件。Prabu Parthasarathy在机械工程中完成了他的博士学位,并在18年前在木材的工程师开始,最终将他的角色扩展到运营和管理。Prabu在上游,中游,下游,制造和多个行业中全球提供数字解决方案的软件产品和服务投资组合。