 |
|
|
| |
 |  |  |  |  |  |  |  |
中其，料的摄取率A 是材，光的功率P 是激，光的速率V 是激，光的直径σ是激。-Tsai 模子（公式（2.4））由此获得瞬态热传导的 Eagar，个Δt 的搬动热源所惹起的温度分散表征正在 X 对象速率为 V 的某：
的输入 - 反映对 (XGPR 模子是遵照窥探到,修筑的Y) 。间中的评判点的定位该模子遵照输入空， X 的反映 Y预测未评判的输入。到的反映（Y 和 Y）假定窥探到的和未窥探，维的高斯分散都拥有有限。叶斯定理基于贝， P 透露高斯分散为
了多种成模式样增材造作涵盖，tive Manufacturing有激光增材造作（Laser Addi，am additive manufacturingLAM ）、电子束增材造作（Electron be， Additive ManufactureEBM）以及电弧增材造作（Wire Arc，wder Bed Fusion WAAM）等粉末床熔成型（Po，）方式PBF，der jetting再有黏合剂喷射（Bin，eposition ModelingBJ）、熔融重积式（Fused D，挤出成型方式等FDM）资料。中其，操纵斗劲多的工艺LAM 是目前，较幼、表观精度高的零部件打印中曾经操纵于极少构造纷乱、尺寸。是但，部件不适于用 LAM 成形极少定造大尺寸、强度高的零。能条件更高的零部件针对这些更大型、性， 则是首选WAAM。示例举动， AM 工夫道道]整体的粉末床熔成型。
提出的练习框架为了开头评估所，举动 agent 的举动作家把焊枪速率和送丝速率，的 agent 形态把打印高度举动窥探到，印动作的症结变量和参数由于它们是已知的影响打，举动至闭要紧对待调剂打印。5 所示如图 ，印表观的激光扫描输出中取得的agent 的限度形态是从打，径δ毫米内的打印高度的均匀值方式是取距 agent 半。
模子得胜与否的目标熔池深度用作量度，插值温度场来计较通过沿 y 轴，度最高的地方并找到表观温，z 轴插值然后沿 ，下温度处的点以找到表观以，资料的熔化温度该点起首大于。inding algorithm）来竣工的这是通过应用根查找算法（a root f，幼化资料温度和熔点之间的隔绝该算法基于现时网格离散化最。
的 RL 中正在基于模子，模子来举办预测应用编造动态，型进举止作采取随后应用该模。到的离散岁月动态函数令 ^f_θ表征练习。优化题目通过治理， 个岁月步伐的举动可能确定异日 H：
体视图（正在取了一幼块来做横截面之后）图 19 给出了造作出来的工件的总，隙浓度方面的相应质料以及正在资料介质内的孔。造历程中正在一共造，来记载 AE 信号应用一个 FBG 。安设正在室内将光纤光栅，约为 20 厘米与加工区的隔绝。BG 的伶俐度为了提升 F，(a)所示如图 20，轴与声波笔直的地方将它安排正在纤维的纵。read-out 编造的计划图 2(b)展现了 FBG 。传感器比拟与压电式，器有几个所长FBG 传感。夹正在机械上应用FBG 既可能，空中应用也可能正在。为 125lm它较幼（总直径，1cm）长度为 ，3MHz）高度敏锐对音响信号（0-，磁场不敏锐对尘埃和，级的岁月离别率并供给亚纳秒，境况中的本质操纵需求是以契合正在龌龊和嘈杂。Vallen Gmbh应用 Vallen（， 的原始采样率记载 AE 信号德国）的专用软件以 10MHz。后然，1MHz 的采样率信号被下采样为 ，0 Hz-200 kHz）以适该当历程的动态限造（。程中记载的 AE 信号举办分类然后遵照质料秤谌对 AM 过。
60 个幼波谱图的数据集每个种别都有一个包括 。个全体独立的数据集这些信号被分成两；于演练一个用，于测试一个用。调的是需求强，历程中正在演练，都是算法未知的悉数测试数据。 40 个谱图演练数据集包括，谱图被用来测试 RL 算法而每个种别的其他 20 个。是随机举办的谱图的采取。方式举办两百次测试使用相同蒙特卡洛的，测试中的每一次即对待这两百次，都是从最初搜聚的数据凑集随机采取的用于创造特定演练和测试数据集的信号。变算法的输入条目这种战术答允改， 测试组合来钻探其机能并通过分别的演练 /，号搜聚的牢靠统计测试以取得对 AE 信。测试的总数目（如测试数据凑集的样本数目）每项测试简直实性被计较为真阳性的数目除以。算为一个均匀值总简直实性被计，定为确：
练习中正在深化，agent 需求抵达的形态方针（goal）界说了 。 t 层后正在打印完第，面点云 z_t(x通过扫描顶层取得表;质料以及举办须要的改良y)来量化该层的表观。 t+1 的方针为了更新岁月步伐，后遵照扫描层的最大高度 z_t将下一层的打印道途切片化统治,维 CAD 模子max 天生三。对象战术操纵于打印道途作家将一个单纯的瓜代，熄灭的影响[8]以减轻电弧撞击和。同方针是竣工团结的表观高度悉数 agents 的共：
年来近，orcement Learning深度深化练习（Deep Reinf，间中纷乱局限场景的一种有用方式DRL）曾经成为治理相对高维空。种深度练习方式DRL 是一，境的经历和反应通过搜聚模仿环，战术举办迭代订正对最初的随机局限。使用消息生决定深化练习或许，的未知工艺参数和动态转折题目尽头合用于治理 LPBF 。 DRL 框架本文提出了一个，决 AM 缺陷酿成的症结机造以创筑一个纷乱的局限战术来解，熔池深度的转折即正在熔化历程中。
迹上演练模子时正在专心三角形轨，核心时的速率来练习合意的战术算法也能通过修正激光亲热域。造的境况下正在未受控，成专心三角形轨迹时每次激光挽救对象完，会大大增进熔池深度都。表此，迹末了时正在亲热轨，对象反转频率的增进因为轨迹的重叠段和，正在轨迹核心热能蕴蓄。池深度中也可能看到这种热能积聚正在轨迹的结尾 20% 处的熔，中其， 40μm忽地增进了。数的境况比拟与恒定工艺参，正在轨迹结果时涌现的熔体深度的大跳跃使用 DRL 练习到的战术或许避免。行进对象时当激光调动，增进速率，线扫描道途相同与秤谌交叉划。表另，扫描道途的核心时增进激光的均匀速率正在亲热，大值以裁汰过热心景速率保留正在也许的最。入局限战术可能确保熔池平稳图 15(b)周密注明了引，定的熔池中没有涌现过热心景图 16(b)则注明了正在稳。
由图 12 所示该方式的整体细节。历程中正在求解，of Stored Line Solutions Method作家引入反复应用存储线治理计划方式（Repeated Use ，i (ET)模子存正在的较幼的线迹题目RUSLS）治理 Eagar-Tsa，何式样而举办修正后并正在酌量到题目的几，天生激光器随后的热分散从头使用该治理计划来。合用于可相宜平移和挽回的搬动点源Eagar Tsai 模子的解，定地方 (x以透露从给,5）中从岁月 t=0 到岁月 t=Δt）y) 最先并以θ角搬动的运动（公式（2.。)举办翻译和挽回对 T_l(i， (x以使,y,现时地方和对象相成婚θ) 与激光正在域中的。温度分散 T′(x将其增添到现有的,)中y， 的温度分散酿成岁月 t。的地方无间推动激光为了正在现有温度分散，t+Δt 的热扩散举办筑模起首对岁月 t 到岁月 ，T′(x酿成 ,_ty)。后然，)定向到无误的地方再次将 T_l(i， T′(x并到场到,)中y，Δt 的 T(x酿成岁月 t+,)y。元剖判方式比拟与圭臬的有限，的岁月内迭代很多候选局限战术这种统治式样可能正在相对较短，了计较消磨从而裁汰。
床产物格料的深度深化练习方式本文提出了一种提升激光粉末熔。大化熔化历程中的预期奖赏通过迭代优化战术搜集以最，裁汰缺陷酿成的局限战术使用 PPO 天生或许。述试验通过上，拟中分别扫描道途下窥探到的熔池转折作家觉察有用的局限战术或许裁汰模，方式的有用性进而声明了该。来说整体，因为激光区域和轨迹的几何式样而导致的过热题目基于速率的局限和基于功率的局限方式或许下降，池深度的转折同时裁汰了熔。度或功率采取所天生的奖赏使用窥探熔化历程中特定速，能蕴蓄的地方增进速率或裁汰功率DRL 的战术或许做到正在热量可，陷酿成的也许性从而下降了缺。
中其，为祈望E ，扣系数λ为折，态照射到举动的战术π(s_t)为将状。是一个迭代历程最佳战术的搜刮， 个迭代步伐中是以正在第 i，T_(π计较 ,)i， (π个中,征现时战术i) 表，3）计较 Q 值遵照公式（3.：
Jiying本文作家为Wu，博士工学，京交通大学卒业于北，技大学负担帮理钻探员和钻探帮理曾不同于香港中文大学和香港科，消息化新工夫钻探作事现从事电子政务范畴。式识别、计较机视觉要紧钻探对象为模，科研喜好，习、一向进取期望能保留学。
境的交互是一个马尔可夫历程RL agent 与给定环，元组(S其特质为,A,P,)R，gent 的形态空间个中 S 透露 a，举动空间A 为，形态 s 迁徙到 s^l个中每个举动 a_i 从。尔可夫模子P 为马，奖赏空间R 为。定为 s_0初始形态设，励的举动抵达方针 s_gRL 算法通过取得最优奖。评判方程为最优奖赏的：
近期的钻探论文咱们纠合三篇，印）范畴中深化练习方式的操纵简述了正在增材造作（3D 打。装置、裁汰研发周期等上风来下降企业造作本钱增材造作通过下降模具本钱、裁汰资料、裁汰，产效益提升生。此因，和先辈造作工夫开展的趋向增材造作代表了出产形式。
分别的细分方式增材造作也有，Additive Manufacturing本文先容了电弧增材造作（Wire Arc ，r Powder Bed FusionWAAM）、激光粉末床熔融（Lase，Fusion Additive ManufacturingLPBF）以及粉末床熔融增添剂造作（Powder Bed ，范畴中深化练习的操纵PBFAM）三个细分，的温度、声频等的局限要紧是对造作历程中，操纵和及时监测的应工具体不同为历程局限的。境练习局限战术的材干深化练习拥有遵照环，数据集条件较低是以对有标注的，AM 历程局限简直实度且通过自学或许提升对 。篇作品可能看出从咱们先容的三，提升增材造作打印零件的质料秤谌正在 AM 中引入深化练习或许。
局限的归纳练习 - 改良框架的可行性为了声明和评估所提出的用于历程钻探和，的机械人 WAAM 编造上施行了该框架作家正在新加坡科技大学（SUTD）开荒，4 所示如图 。ABBIRB 1660ID）该编造搜罗一个机械人把持器（，Drive）的焊接电源（Fronius TPS 400i）一个装备焊枪（Fronius WF 25i Robacta，的笛卡尔坐标机械人一个由三个线）构成，orSM34165DT）驱动由三个舵机（SmartMot，on scan-CONTROL 2910-100）以及一个 2D 激光扫描仪（Micro-Epsil。间中搬动线型激光扫描仪龙门编造被局限正在三维空，表观的三维点云以取得打印层。
：（a）通过高温计或高速摄像机丈量熔池温度AM 质料监测的开展要紧凑集正在三个要紧范畴；层表观图像剖判（b） 工件各；y phase-contrast imaging（c） 一共工件的 x 射线相衬成像（x-ra，xray computed tomographyXPCI）和 / 或 x 射线计较机断层扫描（，T）XC。其大范畴出产合用性的差错上述每种工夫都存正在束缚。先首，量仅限于熔体表观熔体池的温度测，液体运动和热量分散的消息没相闭于一共深度内纷乱。次其，成一共层后评估质料图像统治方式正在生，修筑的层表观的缺陷而且只可检测正正在，池内形成的缺陷并不行检测熔，气孔如。次再，法都是腾贵和耗时的两种 x 射线方。室条目下的现场和及时监测XPCI 仅能用于试验，于及时统治无法操纵。造板上移除后技能实行XCT 只要正在工件从，本钱高因为，况下由行业操纵只可正在有限的情。
采取了估计会导致偏离预期方针形态的举动时奖赏函数是如许造订的：若是 agent ，到惩处就会受。的预测σ_θ的预测圭臬谬误的加权 k 值agent 获得的奖赏是来自所学动态函数， 举办幼限造内的探究以慰勉 agent，练习迭代历程中稀奇是正在最初的。i 的奖赏函数界说为每个 agent ：
的操纵中正在守旧，定局限战术以裁汰机器缺陷的发作经常通过引入经典的优化方式造。而然，模子的阶数较幼这些方式条件，到计较用度而且酌量，数据量也受到束缚它们或许统治的。表此，来优化 AM 工艺极少统计方式也被用，法（response surface methodology）等如方差剖判（analysis of variance）和反响面方，乏对物理境况的感知而受限这些数据驱动的方式因为缺。然当，方式一向引入 LPBF 题目中相联已有极少更高级的剖判、优化。
的稳重性和合适性为了声明该方式，种分别的金属作家应用两，钢（ER316LSi）举办了试验青铜（ERCuNiAl）和不锈。铜资料对待青，50x50mm 的六面体打印了两个尺寸为 50x，的练习校正框架一个应用所提出，典的单道工艺一个应用经，出的练习框架的效率以便直接斗劲所提。锈钢资料对待不，打印了一个六面体作家应用单道工艺，结果斗劲以举办，了一个更纷乱的代表扭锁销式样的零件而应用本文提出的练习校正框架打印， 460ms其总高度为。几个分别的重积道途正在一共打印历程中有， 360ms最高高度为，取得更井然的近净形（near-net-shape）输出的也许性以声明应用本文提出的练习框架打印拥有分别打印道途的本质零件并。所提出框架的境况下作家正在不应用本文，00ms 的扭锁销打印了残余的 1，境况下直接斗劲输出以便正在不耗损资料的。
锈钢资料对待不，参数打印了一个六面体作家应用单道工艺的，结果斗劲以举办，际零件：一个高度为 460mm 的扭锁销的式样同时应用所提出的练习框架打印了一个更纷乱的实， 360mm最高高度为。0mm 不应用框架该资料的残余 10，较打印输出而是直接比，9 所示如图 。可能看出从照片中，件（左）拥有平整的表观本文框架打印的结果零，件（右）则显示出一个幽谷而没有应用该框架的打印零，度的增进而一向累积且跟着打印零件高。
篇作品中咱们正在这，术中存正在的题目与订正式样并不整体探求 AM 技，nt Learning）正在 AM 中的操纵而是聚焦于深化练习（Reinforceme。年来近，间中纷乱局限场景的一种有用方式深化练习曾经成为治理相对高维空，同的场景中并操纵于不。中其，Deep RL深度深化练习（，种深度练习方式DRL）是一，境中的经历和反应它通过搜聚模仿环，的随机局限战术屡屡订正最初。动态转折的条目方面显示出伟大的上风深化练习算法正在治理未知工艺参数和，富的消息来见告决定历程由于它们或许使用更丰。造范畴中正在增材造，局限战术以治理缺陷酿成题目RL 也可用于修筑纷乱的，、练习 - 纠偏、多筑立更动等题目以及多资料复合历程的历程质料监控。
性子举办的工艺参数更新将举止空间界说为对激光，变熔化历程的动作这些更新表征改。局限计划对待速率，个预订点到下一个点的速率供给了激光从轨迹中的一，的局限指定了功率同时为基于功率。整到 [-1将这些举动调,限造内1] ，中常见的梯度消灭题目以避免涌现激活函数。
episode 中取得最大的奖赏深化练习优化范式的方针是正在一个 ，个战术π来竣工的这是通过天生一。 确当前形态采取一个操作战术π遵照 agent，异日预期奖赏以便最大化。据战术π完结举动agent 根，记为值函数 V^π(s)给定形态的异日预期收益，举动 a 之后而正在选用特定，略π完结举动时以及随后遵照策，为举动值函数 Q^π(s给定形态的异日预期奖赏称,)a。行迭代优化对战术进，Q^π(s以找到使 ,化的最优战术πa)的值最大。
AM 机械来搜聚 AE 数据集并重现工业境况作家应用一台工业 ConceptM2 PBF。一个以持续形式作事的光纤激光器Concept M2 装备了，071nm波长为 1， 90μm光斑直径为，^2=1.02光束质料为 M。表此，生的气氛中的 AE 信号为了监测正在调幅历程中产，（fiber Bragg Grating正在机械上安设了一个被称为光纤布拉格光栅，光声传感器FBG）的。04/316L）粉末完结 AM 造作应用 CL20ES 不锈钢（1.44，0 至 45 μm粒度分散限造为 1。0 x 20 mm^3 的长方体工件试验造作了一个尺寸为 10 x 1。加工层厚度（t）正在试验中保留恒定激光功率（P）、孵化隔绝（h）和，125 WP = ，105 mmh = 0.，.03 mmt = 0。、500 和 300 mm/s应用了三种扫描速率 v：800，别（分别的孔隙浓度）从而形成了三个质料级。）和质料等第为：（1）800mm/s对应的能量密度（E_density，mm^350J/，.42±0.85%较差质料 = 1；0mm/s（2）50，mm^379J/，.07±0.02%较高质料 = 0；0mm/s（3）30，/mm^3132J，.3±0.18%中等质料 = 0。1）计较能量密度使用公式（3.，中其，图像的视觉查验从截面上丈量的孔隙的浓度是通过光学显微镜：
ng 动态函数2）Krigi。筑模中正在历程，历程钻探中常用的方式神经搜集向来是单道。Gaussian Process Regression作家将学到的动态函数 ^f_θ参数化为高斯历程回归（，）模子GPR，iging 模子也被称为 Kr，集的境况下或许竣工更好的预测该模子正在有噪声的窥探和幼数据。
中其，热扩散性D 表征，对热源 Q 归一化Θ遵照密度和热容量。数列于表 1该历程干系参。传导的 Green 函数举办求解时当公式（2.1）应用无穷介质中热，（2.2）天生公式，描绘了温度场 T(x公式（2.2）整体,)t。一步进，对温度治理计划的两个独立功绩公式（2.2）可能被了解为，热源的影响第一项代表，热扩散历程第二项代表：
中其，）t 的 agents 的数量n_t 透露每个岁月步伐（层。步伐中进入和脱节（即被更新）agent 可能正在每个岁月，状的层间打印道途的转折以合适打印纷乱几何形。
印的单道模子不确实性题目为认识决 MLMB 打，视觉的纷乱局限方式钻探职员引入了基于，工艺参数和重积通过及时调剂，输出的质料以提升打印。而然，发一个纷乱的正在线监测编造施行如许的反应局限需求开，强度焊接电弧因为存正在高，声和不确实的境况该编造容易涌现噪。表此，r milling）来抵达所需的表观平整度还可能通过层间铣削（inter-laye。混入了守旧的减材造作工艺不过这种搀和造作方式因为，和资料的耗损会变成岁月，造工艺自己的本钱效益和上风从而影响了 WAAM 造。
度分散的热扩散史书为了注明板上现有温，）的第二项举动卷积运算竣工正在该方式中将公式（2.2。斯算子充任限度均匀算子因为给定向量场的拉普拉，积滤波器来近似该算子是以可能通过操纵卷，斯分散确定其权重由高。aussian blur）该操作可被视为高斯朦胧（G，扩散的岁月标准和激光强度决意其强度由资料的热性子、发作。
零件之前正在打印，验以取得工艺参数窗口值作家先辈行了单道钻探实，参数以及搜聚极少数据以初始化所学的动力学函数作家应用文件 [9] 中的方式确定整体的工艺。的单道钻探的输出样本图 6 给出了所举办。道钻探对待单，参数打印了几个焊珠作家应用分别的工艺。光扫描仪对焊珠举办扫描然后应用搬动的二维激。器对点云数据举办过滤起首应用搬动均匀滤波，导数中提取焊珠的趾部点并从过滤后的数据的二阶。究的根蒂上正在单道研，口是：青铜的割炬速率为[6作家最终为试验采取的工艺窗,mm/s10]，度为[6送丝速,/min7]m。炬速率为[7不锈钢的割,mm/s13]，度为[3送丝速,/min5]m。
一个工夫困难：现场质料监测本文聚焦 AM 范畴中的。术具有许多上风只管 AM 技，出产依然存正在许多题目但将其操纵于大范畴，间短少工艺可再现性和质料确保个中一个要紧的理由是工件之。此因，效的 AM 现场及时质料监测工夫人们紧急需求一种牢靠的、经济高。
练数据集1) 训。动态函数为了练习，套演练数据集需求创造一。一个持续的轨迹因为打印道途是，nts 后形成了多个 agents正在将该轨迹其离散为 waypoi，都有自身的限度形态每个 agent ，配独立的举动并可能被分。此因，ent 的并行 RL 框架作家采用了一个针对多 ag，为多个 agents 并行练习一致的职司个中打印道途上的 waypoints 作，验举办演练更新并聚集他们的经，了练习率从而提升。据集后演练数，印层都为每个打：
正在选用举动 a 后的下一个形态个中 s′是指 agent ，s′中要选用的举动a′是指正在形态 ，(sr,a 后正在形态 s 中窥探到的奖赏a)是 agent 正在选用举动 。.11）中正在公式（2，和对象上的温度场观测值形态空间界说为特定视图。二维热图通报给战术搜集形态空间举动 9 个，地方界限的限度温度分散该热图显示了激光现时。地说整体，60μm×160μm 的区域正在激光器界限界说了一个 1，面上以激光器为核心正在 x-y 横截，横截面上从域表观向下延迟正在 y-z 和 x-z 。事宜轨迹岁月窥探到的两组疾影相连接这组温度场的三个横截面疾照与之前正在。行白化统治对温度值进，均匀值减去，间的圭臬谬误再除以形态空，圭臬正态分散以亲切数据的。
器试验中正在青铜，荐的参数打印了一个六面体作家应用单道钻探结果推，文所提出的练习框架打印而另一个六面体则通过本。t 确当地形态的算法采取的举动样本图 7 给出了应用基于 agen。后然，印零件的最终输出图 8 显示了打。可能看出从照片中，左边的六面体）拥有更匀称的表观高度使用本文提出的框架天生的打印零件（，近近净形的输出从而天生更接。
光速率时觉察的秤谌交叉暗影轨迹局限战术图 14 给出了正在熔化历程中苛肃局限激。一致速率的境况下正在一共轨迹应用，熔体深度都有分明的峰值轨迹每四分之一间隔处的。些区域正在这，多达 20μm熔池深度增进。正在激光调动对象的地方处能量的积聚咱们窥探到的熔化深度增进是因为，逸的绝热界限条目以及拦阻热能逃。算法优化局限战术引入 DRL ，点的速率来束缚这些影响或许通过修正轨迹上某些。域的周围时当激光亲热，度会增进激光的速，到域的能量以裁汰迁徙，下降而导致最大熔化深度的峰值从而避免因为热量扩散的材干。度的机能比拟与恒定激光速，度的转折远远幼于恒定工艺参数练习到的局限战术或许使熔池深。某些点上略微低于方针熔化深度固然正在熔化历程中熔化深度正在，局限的境况下窥探到的限造要窄许多但熔化深度所占领的限造比正在未受。此因，任何给定点的熔池深度干系联假设熔池的面积可能与轨迹上，是熔池的面积愈加类似操纵速率局限的结果，（keyhole）分明阻挡易酿成锁眼。示了局限战术所显示的转折的裁汰图 15(a)和 16(a)显。
正方形网格中的温度值的加权均匀值来实行的因为卷积滤波器是通过域中每个像素正在等距，界的界限相近务必举办奇特酌量正在卷积滤波器也许延迟到网格边。造为绝热的境况下正在界限条目被限，积滤波器的巨细人工地扩展域卷。界相近温度值的镜像此扩展中的值举动边。特定温度值的境况下正在界限条目被管理为，界限相近温度分散的镜像来填充该扩展局限由参考温度值减去。
和（2.13）中公式（2.12），于划定举动的速率和功率v 和 P 不同透露基。个 episode 中的机能奖赏函数目化了局限战术正在一，和现时深度之间的绝对差错奖赏界说为方针熔化深度。表此，heating） 的正则化项还增进了一个避免 愚弄（c， 岁月窥探到的最幼和最大熔融深度之间的隔绝该正则化项的影响是惩处正在 episode，深度忽地峰值的卓殊战术从而避免也许导致熔融。
个 episodes 更新举办演练近端战术优化算法针对 15000 。照射到其对应的举止中战术搜集用于将形态，个隐匿层构成战术搜集由两，中其，神经元和双曲正切激活函数每个隐匿层拥有 64 个。境况中并行演练该算法正在八个，验被用于同步更新模子来自这些并行境况的经。隔内选用局限手段正在预订的轨迹间，为 100μm秤谌扫描道途，径为 50μm三角形扫描道，中其，明陞，RL 框架的单步迭代每个间隔界说为 D。性的参数以及激光热源的尺寸表 1 给出了描绘介质热特。
rated learning-correction framework）本文提出了一个用于 MLMB 打印的归纳练习校正框架（an integ，模子的深化练习方式该框架引入了基于。框架中正在该，被屡屡练习历程模子，一层的平整度差错随后被用来储积每，itu） 储积原位（in s。的好处是如许做，起来应用（是以是 in situ 的）这个练习框架可能与零件的本质打印纠合，前期演练岁月和资料耗损最大限造地裁汰了所需的。透露作家，一项开头钻探这项作事是，的原位练习范式迈出的第一步也是向机械人 WAAM ，LMB 工艺钻探主意是督促 M，能的条件下提升打印质料正在保说明行和交付造作功。
动态函数的 WAAM 历程的归纳练习校正框架图 3 给出了本文提出的使用 Kriging。径上的一个离散点（waypoint）框架中的 agent 透露打印层道。输出动作（高度、宽度、温度、音响等）形态空间 s_t 搜罗可窥探到的打印，炬速率、送丝率、喷嘴到基材的隔绝、割炬角度等）举动空间 a_t 搜罗也许的输入工艺参数（割。同方针是竣工匀称的表观高度整个 agents 的共。
束还未能大范畴的普通施行应用增材造作自己因为工夫工艺的约，化练习还要紧是试验钻探而正在增材造作中引入强。前看目，有减削岁月、裁汰资料耗损等所长正在增材造作中引入深化练习方式具，极的开头结果基于这一积，练习的框架扩展到统统的增材造作历程练习中咱们信托异日会有越来越多的作事将引入深化。
的现场工艺钻探和局限的基于模子的并行深化练习方式Algorithm 1 总结了用于 WAAM 。件但无间练习的境况下正在打印一个全新的零， 2 行可能省略第 1 行和第。
号分成独立的数据集将整个搜聚到的信，间跨度为 160ms每个孑立的形式的时。了每个形式的相对能量从幼波包变换中提取。 的 AE 信号的类型示例和相应的幼波谱图图 21 给出一个岁月跨度为 160ms。的岁月 - 频率域幼波谱图是一个信号，岁月上的演变消息它包括了窄频带正在。的理由有三个应用幼波谱图。先首，号的希罕透露幼波谱图是信，原始信号比拟与 AE ，的输入数据量裁汰了剖判。次其，同的分类精度它保留了相。后最，声频段来下降噪它通过采取非噪。同参数的空间离别率表 2 给出了不。接输入 RL 算法将提取的幼波谱图直。据集）搜罗总共 180 个谱图初始总数据集（演练 + 测试数，三个质料等第均匀分散正在。
coustic Emission本文初度提出告终合声频发射（A，Bed Fusion Additive ManufacturingAE）和深化练习（RL）的对粉末床熔融增添剂造作（Powder ，场和及时质料监测的方式PBFAM）历程举办现。ce dynamics of the process）AE 或许搜捕历程的表观下动力学消息（subsurfa，机械练习方式RL 为一种。硬件或许竣工牢靠地监测多种物理情景AE 的所长是通过适用、经济高效的。
一次迭代对待第，初始化第一个演练数据集经常选用随机举动并用于。而然，伤害的操作焊接是一种，数以表操作是担心全的正在其可担当的工艺参。此因，造正在焊接历程窗口内作家将举动空间限，下限和上限限造内即焊接历程参数的，对待分别的资料是分别的并且这个上限、下限值。
打印零件的表观匀称性为了进一步定量斗劲，的表观高度的圭臬谬误（STD）使用表观扫描输出计较每个打印层，值见图 10青铜资料的数，数值见图 11不锈钢打印品的。可能看出从图中，跟着两种资料的打印高度的笔直开展而有增进的趋向应用引荐的单道参数打印的层的表观高度的圭臬谬误。
表此，guna 的 Tabu 搜刮[12]作家使用了 Glover 和 La。框架中正在这个，子集来举办近似最优道途的搜刮通过剖判形态空间的一个限造，裁汰探究并保存计较岁月从而正在大数据集的境况下。class 的题目针对 multi-，ainst all 战术作家采用 one-ag。是由幼波谱图创筑的agent 的境况，时频空间的二维图幼波谱图是信号的。境况下正在这种，本修筑来寻找最佳战术通过对上述范畴的成。
奖赏的相对增进来束缚梯度上升步伐的最大值近端战术优化基于新战术使用窥探到的预期。择这种方式之于是选，ion Policy Optimization）是由于相对待信托域战术优化（Trust Reg，现上是流线型的PPO 正在实，化练习方式比拟而且与相同的强，ctor-Critic 优化它需求更少的超参数调动和 A。表此，持续局限题目它更适合于。pisodic 的战术梯度方式是 e，e 完结后遵照累积的奖赏举办更新由于战术搜集正在一个 episod。筑设中正在此，为激光完结一共扫描道途的一共历程每一个 episode 被界说。略优化的矢量化版本本文竣工了一个端策，以搜聚经历流并更新一致的战术搜集个中并行铺排多个 agent 。搜聚须要经历以练习最佳战术所需的岁月将 PPO 矢量化统治可能裁汰算法。
建议的环球性人为智能专业学问共享搜集机械之心环球剖判师搜集是由机械之心。的四年里正在过去，域专业学生学者、工程专家、营业专家已稀有百名来自环球各地的 AI 领，作之余的闲暇岁月使用自身的学业工，与环球 AI 社区共享自身的钻探思绪、工程经历及行业洞察等专业学问通过线上分享、专栏解读、学问库修筑、报密告布、评测及项目商量等景象，发展、经历积聚及职业开展并从中取得了自己的材干。
习算法来优化单层造作历程中酿成的熔池深度作家操纵上述 PPO 维持的深度深化学。两种分别的轨迹该方式合用于，用的秤谌交叉暗影战术（图 12a）一种是激光粉末床聚变工业操纵中常，列专心三角形另一种是一系，局限发作的过热心景（图 12c）用于放大次优激光轨迹或粉末床密闭。随岁月转折的工艺参数的战术因为 DRL 算法或许找到，程中工艺参数保留稳定而形成的熔池深度举办斗劲是以作家将每个局限战术的机能与正在一共熔炼过。
的类型光镜横截面图像（左）图 21 给出三种分别质料，E 信号（中）和其对应的幼波谱图（右）其对应的 160ms 岁月跨度的 A。这个图遵照，两个结论可能得出。先首，是可能划分的AE 信号。 信号的振幅犹如只管整个 AE，描速率的增进而增进但信噪比类似跟着扫。次其，以看到分明的分歧正在幼波谱图中也可，12 的了解级别中稀奇是正在 4 到 。此因，幼波谱图咱们应用， 原始信号比拟由于与 AE，高的稳重性它们拥有更。
造作（Additive Manufacturing咱们正在这篇作品中筹议一个加工造作范畴的题目：增材，M）A。 Manufacturing增材造作（Additive，3D Printing）AM）俗称 3D 打印（，puter-aided design是一种协调了计较机辅帮计划（Com，加工与成型工夫CAD）、资料，文献为根蒂以数字模子，资料、非金属资料以及医用生物资料通过软件与数控编造将专用的金属，固化、喷射等式样逐层积聚依据挤压、烧结、熔融、光，的造作工夫[1]造作出实体物品。ive Manufacturing）工夫相对待守旧的减材造作（Subtract，式的一种有用的数字方式增材造作是新颖工业范，内获得了普通的体贴曾经正在全天下限造。料逐点逐层累积叠加酿成三维实体增材造作通过离散 - 积聚使材，放肆成型等特性拥有神速成形、。
战术搜集为了优化，子类：近端战术优化（Proximal Policy Optimization作家应用了战术梯度法（Policy Gradient methods）的一个，）算法PPO。升概率地搜刮最优战术战术梯度法通过梯度上。数 A^π举办优化该战术基于上风函，举动形成的预期奖赏的转折A^π透露通过实行特定，也许举动的预期异日均匀奖赏干系A^π与从给定形态最先的一组。
局限题目针对能量，功率来优化熔池的深度作家通过调动激光的。动的物理束缚因为激光运，调动速率并不是肯定可行的正在一个层的运转历程中神速。表此， Rayleigh 不屈稳性过高的速率值会正在熔池中诱发，ing defects ）从而导致成球缺陷（ball。此因，深度的基于功率的局限机造造家还钻探了用于局限熔池。面钻探的一致轨迹该方式合用于前，2 所示如图 1，示的一致物理参数拥有表 1 所。图 18 所示如图 17 和，描道途搬动时当激光通过扫，光功率以竣工恒定熔池深度的战术agent 或许得胜练习调剂激。余热浓度较大的区域下降激光功率正在拐角处和残，间保留一以致熔池随时。速率局限战术的机能时正在斗劲功率局限战术和，积差错裁汰 68.2% vs 63.8%）咱们可能窥探到秤谌轨迹的平稳性略有增进（累，裁汰 74.6% vs 90.6%）三角形轨迹的平稳性略有降落（累积差错。
作事中正在这项，正在矩形域中的热传导作家酌量了搬动热源，开荒的框架来提升机能应用 [10] 中。习正在计较上可动作了使深化学，应概括为资料的持续温度分散需将粉床协调的纷乱多标准效。到这一点为了做，下几个假设起首要做如。传导的传热形式(1)只酌量，能与温度无闭(2)热性，筑模为固体持续体(3) 粉床被，粗略度效应忽视表观。动热源干系的二维传导将该历程筑模为与移，方程如下其更新：
够对普通的职司举办战术练习无模子 RL 的所长是能，的样本数据技能有用差错是它需求尽头多。L 的样本效果更高而基于模子的 R，动态有肯定认识但需求对境况。剖判作家，最初的几个样本练习后就或许练习到确实的工艺输入 - 打印输出相闭因为原位 WAAM 工艺钻探的练习框架的主意是条件编造或许遵照，更适合于本文筹议的作事是以基于模子的 RL 。
界限相近正在域的，ai 模子以天生合意的线解需求修正 Eagar-Ts。4sqrt(2kΔt/ρc_p)若是激光隔绝区域界限的隔绝亲热 ，界限对热分散的影响则应用图像法来注明。线解时正在计较，隔绝处模仿虚拟热源正在界限另一侧的一致。此因，像法线解来计较边解和角解可能通过正在干系界限上镜，动力学的交互影响以酌量界限与章程。.6）中的维度积分来竣工该虚拟热源通过修正式（2：
练习表面遵照深化，gent 形态为 s_t岁月步伐 t 内的 a， a_t 后选用某些举动，_t=r(s_t会获得奖赏 r,t)a_，→S 转换到下一个形态 s_t+1并遵照未知的动态函数 f:SxA。岁月步伐中练习一个战术深化练习的方针是正在每个，取使异日奖赏总和最大化的举动该战术或许使 agent 采。境况动态模子的境况下竣工上述方式可能正在已知和未知，）和无模子（model free）的 RL不同称为基于模子（model-based，自身的所长和差错每一种方式都有。
计划模子逐层累积叠加造作物体通过使用 3D 计较机辅帮，1）它能创建出拥有纷乱式样的产物增材造作拥有以下所长[2]：（，优化构造比如拓扑，或锻造工艺是很难竣工的这些产物使用守旧的锻造；天生资料的新性子（2）它可能用于，on networks）[2]如位错搜集（dislocati，来说辱骂常蓄意义的这对待学术钻探职员；裁汰资料耗损（3）它或许，天生减削本钱或许为工业。身还存正在极少题目然而增材造作本，锻造和锻造零件中涌现的缺陷分别与守旧的通过减材造作工夫天生的，于缺乏协调和气体夹带而形成的孔隙AM 零件中存正在的缺陷搜罗：由，对象的首要各向异性的微观构造相对待印刷对象的笔直安笑行，的伟大渣滓应力而导致形成的变形等以及因为高冷却速率和大温度梯度。此因，零件的微观构造和机器机能之间的纷乱相闭至闭要紧更好地认识粉末的冶金参数、印刷工艺以及 AM ，材造作工夫的症结也是施行操纵增。
透露作家，结果来看从试验，显示出更好的表观光洁度和更多的近净式样应用本文提出的练习框架取得的打印输出。原位工艺练习和局限方面的可行性这声明了本文提出的练习架构正在。益的 MLMB 历程练习供给了也许性这项钻探的钻探结果为举办拥有本钱效。
练习中正在深化，要选用的最佳局限举动战术遵照境况输入确定。后会影响境况这种举动随，过奖赏来量化而这种影响通。来说整体，境况现时形态的低维透露形态空间 S 界说为，gent 可用的潜正在举动举动空间 A 界说为 a，现划定方针而选用的举动的效率奖赏量化了正在前一步伐中为实。的初始形态和最终形态之间的岁月段一个 episode 界说为境况。境况下正在这种，激光沿一共扫描道途的一次穿越每个 episode 被视为，为 t=0初始形态，正在道途的末了终端形态涌现。现 DRL 算法的总体作事流图 13（a）描绘了用于实，别描绘了形态和战术搜集的附加上下文图 13（b）和图 13（c）分。
对 AM 质料监测题目的合用性本文整体钻探深化练习（RL）。ang 的 RL 竣工方式[11]本文采用了 Silver 和 Hu，于异日的 AM 质料监测编造这是由于作家以为它很有也许用。L 的酌量是作家引入 R，纷乱的基础物理情景AM 历程的特性是，加热、熔化、固化等）涉及大宗的倏得事宜（，转折有至闭要紧的影响每一个都对历程的形态。演练数据集变得尽头纷乱这使得获取一个周密的，往尽头腾贵和耗时对数据打标签往。境况下正在这种，供声频发射信号和检测到的倏得事宜之间的相干消息RL 也许会需求正在极其有限的有监视数据条目下提。
篇近期的钻探论文本文作家纠合三，）范畴中深化练习方式的操纵简述了正在增材造作（3D打印。装置、裁汰研发周期等上风来下降企业造作本钱增材造作通过下降模具本钱、裁汰资料、裁汰，产效益提升生。此因，和先辈造作工夫开展的趋向增材造作代表了出产形式。
dditive Manufacturing 中的一篇作品本文为来自 CMU 的钻探职员于 2021 年宣告正在 A。owder Bed Fusion激光粉末床熔融（Laser P，M 的一个子种别LPBF）是 A，熔融正在一道而创建出熔融产物它通过应用热源将金属粉末层。r Bed Fusion粉末床协调（Powde，属合金中修筑纷乱的晶格产物PBF）方式已被用于从金，空航天工业中操纵并正在生物医学和航。而然，易涌现缺陷和卑微的物理机能题目因为 PBF 出产的零部件容，定操纵的腐臭进而导致特，施行应用仍面对着挑衅是以这些方式的普通。理、增进的孔隙、分层和开裂这些缺陷搜罗不良的表观处，不良的几何类似性等等导致卑微的机器机能和。验钻探注解以前的实，性是变成造品缺陷的要紧身分与扫描历程相闭的熔融区的特。孔和缺乏协调的孔隙熔池可能形成钥匙，以影响酿成的微观构造并导致毛病而熔化历程中形成的温度梯度也可。的熔池动作以及过热而形成的缺陷为了避免正在扫描道途中因为倒霉，转折的温度分散调动工艺参数最好或许遵照扫描轨迹中一向。有的纷乱的多标准历程粉末床协调是一个固，理效应决意了最终资料的性子发作正在粉末和持续标准的物。持续标准的影响本文作事聚焦于，流和辐射传热忽视热源的对，对温度场的影响以酌量热传导。
Tsai 的传导治理计划来模仿热源的影响可能用 Eagar-，竣工界限条目应用图像法来：
itive Manufacturing电弧增材造作（Wire Arc Add，向能量重积造作工夫WAAM）是一种定，上逐层修筑金属零件使用运动编造正在基体。境况下经常，举动能量由来它使用电弧，为原料电线作，臂举动运动编造工业机械人手。近最，buy-to-fly ratio）这种工夫因为其高重积率和低买飞比（，型金属零件方面获得了学术界和工业界越来越多的体贴正在出产近净形（near-net-shape）的大。（multi-layer））对象重积重叠的焊珠来修筑 3D 零件WAAM 通过正在秤谌（多道（multi-bead））和笔直（多层，为后续层的基底每个重积层都作。此因，打印层质料足够高要紧的是要确保，供给一个较好的基底以便为后续层的重积。会导致几何差错的累积不章程的层表观经常，致不睬念的凹 / 凸表观跟着打印的笔直推动而导，2 所示如图 。
中其，0（测试总数）N 等于 20。之下比拟，性的数目除以每类测试的总数目分类差错的计较方式是用真阴。果见表 3分类测试结，之间（见对角线单位格中的黑体数字）分类确实率正在 74% 到 82% 。 AM 历程举办质料监测的可行性这些结果声明了本文提出的方式对。 可能看出由表 3，最高（82%）质料差简直实率，%）和高质料（74%）其次是中等质料（79。表此，表 3 中的非对角线行举办评估对分类差错构造的剖判可能遵照。学上看从统计，的质料种别的分别特质之间的重叠表中的差错构造规复了来自预订。 显示表 3，量和中等质料对待较差质，的失误分类差错较大（反之亦然）激光扫描速率分歧较幼的类之间。此因，（500mm/s）的高质料对待拥有中等激光扫描速率，2%）和差质料（14%）之间中分失误分类差错也约莫正在中等质料（1。时同，间显示出较少的重叠差错中等质料和较差的质料之，速率上有较大的分歧由于它们正在激光扫描。
起来认识增材造作中的深化练习咱们遵照三篇近期宣告的论文一。中其，工艺练习和局限题目第一篇作品针对原位，的深化练习与矫正框架提出了一种基于模子。电弧增材造作的历程局限该框架可能操纵于机械人，式样（near-net-shape）的输出[5]以使得打印零件拥有更好的表观光洁度和更多的近净。末熔床产物格料的深度深化练习方式第二篇作品提出了一种提升激光粉。大化熔化历程中的预期奖赏通过迭代优化战术搜集以最，Policy Optimization可通过近端战术优化（Proximal ，缺陷酿成的局限战术[6]PPO）算法天生或许裁汰。fiber Bragg grating第三篇作品要紧是应用光纤布拉格光栅（，AM 历程举办现场和及时监测FBG）举动声学传感器对 ，RL）举办数据统治并应用深化练习（，现场监测中的操纵[7]是 RL 正在 AM 。