神经网络自适应动态规划在污水处理过程控制中的应用 5页

第11期刘文波等．神经网络自适应动态规划在污水处理过程控制中的应用神经网络自适应动态规划在污水处理过程控制中的应用刘文波1王霞2李来鸿1薄迎春3(1．胜利油田电力管理总公司河口供电公司，山东东营257200；2．北京钢研新冶电气股份有限公司，北京100094；3．中国石油大学信息与控制工程学院，山东青岛266555)摘要针对污水处理过程的溶解氧及硝态氮浓度控制问题，提出一种基于神经网络的自适应动态规划(Neuralnetwork—basedadaptivedynamicalprogramming，NNADP)方法。该方法采用神经网络逼近当前策略的评价函数以及最优的控制策略。采用梯度下降算法对各神经网络权值进行在线训练。基于污水处理过程国际标准模型BSMl(BenchmarkSimulationModelno．1)对NNADP控制性能进行了测试，结果表明：与PID控制相比，NNADP具有较强的解耦能力，控制精度也有较大提高。关键词自适应动态规划污水处理回声状态网络解耦能力中圈分类号TH862+．6文献标识码A文章编号1000—3932(2012)1l一1437-05好氧区溶解氧浓度及厌氧区硝态氮浓度是活性污泥法污水处理过程的两个重要控制指标¨。1。好氧区溶解氧浓度过低，会抑制生物对有机物的降解，易产生污泥膨胀；而溶解氧浓度过高会加速消耗污水中的有机物，引起活性污泥的老化，从而降低活性污泥的絮凝性能和吸附能力，增加能耗口o。厌氧区硝态氮浓度过低，会影响反硝化过程的速度，而其浓度过高则会降低出水质量。污水处理过程具有较强的非线性，参数时变明显，生化反应过程伴有较大的不确定性，其机理模型难以建立。此外，溶解氧及硝态氮浓度之间存在较强的耦合，所以常规控制难以取得较好的控制效果⋯。近几年来，针对一类模型难以确定的被控过程，自适应动态规划(adaptivedynamicalprogram—ruing，ADP)方法逐渐引起重视H“。。ADP一般由评价和行动两个网络组成，其采用智能化的方法逐步逼近最优的控制策略：首先给定一个初始的控制策略，评价网络对该控制策略的作用结果进行评价；然后，控制网络根据评价结果对控制策略做出相应的调整，这个过程不断重复，直至寻找到最优的控制策略。为解决污水处理过程中溶解氧及硝态氮浓度控制问题，笔者提出了一种基于神经网络的自适应动态规划(Neuralnetwork—basedADP，NNADP)控制方法，并基于污水处理过程国际标准模型BSM1(BenchmarkSimulationModelno．1)"3对NNADP控制器的有效性进行了测试。1BSMl模型如图1所示，BSMl模型由5个反应池组成，单元1、2为厌氧反应区，单元3～5为好氧反应区。污水经过一系列前置处理措施进入生化反应区，经过一系列硝化一反硝化过程，最终处理后的污水排入受纳水体(河流及湖泊等)。在反应过程中，第5分区溶解氧溶度(S¨)及第2分区硝态氮浓度(S№：)对出水质量有重要影响，将这两个指标维持在合理的水平至关重要。s。．，主要受第5分区的曝气系统注入的曝气量(K。a，)控制，SNo,z受第5分区到第2分区的回流流量(Q。)控制，这使得30,5及SNo,2之间存在较强的耦合作用。2NNADP控制器设计污水处理模型可用一般的离散非线性系统模型描述，即：x(k+1)=F(髫(％)，u(％))(1)式中Ⅱ(玉)——控制量；石(k)——系统状态。ADP将上述非线性系统的控制问题转化为一个优化问题H’。根据Bellman优化原理，控制收穗日期：2012-09，12(修改稿)\n化工自动化及仪表第39卷等图1污水处理工艺流程策略调整的目标是最小化某一性能指标(或成本NNADP实质上是采用神经网络逼近的方式搜索函数)，即：式(2)的最优解。所以，NNADP控制器的设计过"(k+1)=argmin(1ly(茗(k))8)(2)其中y(茹(k))是与控制目标相关的成本函数。一般具有如下形式"1：y(x(^))-玉’，-tr(z(川(3)其中r(石(歹))为立即回报(Utility)，0<7≤1为回报因子。为了描述方便，令V(并(k))简记为V(k)，r(龙(尼))简记为r(后)，式(3)可写为：y(k)=r(☆)+yV(k+1)(4)2．1NNADP结构如图2所示，NNADP主要由3个神经网络组成：评价网络(critic)，其功能是对当前控制策略产生的控制结果进行评价，即逼近成本函数矿(k)；行动网络(actor)，其功能是根据当前评价结果y(矗)对控制量“(k)进行调整，从而使成本函数V(k)最终达到最小化；辨识网络(Identifica．tion)，由于在控制策略调整的过程中，需要知道系统在下一时刻的状态菇(k+1)，所以采用辨识网络预测系统状态戈(k+1)。图2中评价网络2与评价网络1具有相同的结构和参数，但评价网络1的输入、输出分别为W(k)和V(k)，而评价网络2的输入、输出分别为石(k+1)和y(k+1)。鸯r七十l价网络：图2NNADP结构程实质上是神经网络权值的在线学习过程。图2中虚线表示神经网络权值调整的路径。笔者的神经网络均采用回声状态网络(EchoStateNetwork，ESN)。ESN是一种典型的池计算神经网络¨1，其状态及输出可描述为：5(露)=灭w。。z(^)+wRs(七))(5)，，(^)=W7s(％)(6)式中s——ESN的内部状态；卜输出权值矩阵；形lN——ESN的输入；形。——池内的神经元权值矩阵；y——ESN的输出。在ESN中，职。和形。在网络生成时随机选择并在学习过程中保持不变，所以ESN只需训练输出权值矩阵肜。2．2评价网络的在线学习设阢为评价网络的权值，其权值调整的目标可定义为最小化：_，。(蠡)=÷E：(蠡)(7)E。(k)=y(％)一r(七)一yV(k+1)(8)显然，当E。(k)=0时，式(4)成立，此时的V(k)即当前控制策略下系统产生的成本值。根据梯度下降算法，评价网络的权值增量为：蛾㈤⋯小)(器)1⋯鼬剐E)(器)‘一以恻Eot)(器)1(9)式中田。(k)——评价网络的学习率。\n第11期刘文波等．神经网络自适应动态规划在污水处理过程控制中的应用因为y(露)是评价网络的输出。根据ESN的定义(式(6))，有：当噪：s㈧(10)IlZao(七)、⋯⋯、将式(10)代入式(9)可得权值形。的更新规则为：△Ⅳ。(^)=一田。(^)E。(k)s。(☆)(11)2．3行动网络的在线学习行动网络权值调整的目标是最小化成本函数y(||})，所以可定义行动网络的权值调整目标为：．，。(％)=y(％+1)(12)设形。为控制网络的权值，根据梯度下降算法，控制网络的权值增量为：△彤：c盎，=一田。c燕，(曼；篆芝i鲁)‘一小，主(等等耥)1’(13，式中D。——控制量的维数；∥——控制网络的第-『个输出5吮——第i个输出H‘对应的权值向量‘田。(矗卜控制网络的学习率。根据ESN的定义可知，ESN的多个输出之间是互相独立的，其所对应的权值向量的调整也是互不相关的∞]。根据式(6)，有：望盟：一‘)，if，一(14)a耽(^)10，else将式(14)代入式(13)可得：△矽：(七)=一锋。(后)帮s。(七)(15)应用链式偏导法则得：等岩=号黜1筹岩Ⅲ，au‘(蠡)a工(后+)du‘(后)如图2所示，石(是+1)和V(是+1)分别为评价网络2的输入和输出，u‘(尼)和菇(南+1)分别为辨识网络的输入和输出，所以OV(_j}+1)／Ox；(I|}+1)和缸(矗+1)／Oui(后)可以通过评价网络2和辨识网络以解析的方式得出。进而aV(五+1)／Ou‘(||})能够以解析的方式计算。3仿真实验出水质量达标是污水处理过程的首要要求，所以定义立即评价为：r(t)=÷矿(％)E(％)(17)这里E(k)=[E，(后)，E：(七)]，其中，E。(庇)=y，(忌)一R。(而)，E2(五)=)，：(席)一R2(而)。y。(露)、，，：(南)分别是Js。．，和sN0．：的测量值，足。(是)、尼(k)为相应的设定值。评价网络的输入为[y，(k)，)，：(J|})]1，输出为评价值V(矗)。辨识网络的输入为[K。8，(k)，Q。(1|})，y。(南)，y：(矗)]T，输出为[y。(蠡+1)，y：(．|}+1)]T，控制网络的输人为[K口，(后)，Q。(k)，y。(矗)，y：(J|})，Q。(k)]。，输出为[△邑口，(J})，△Q。(矗)]7，Q。(后)为入水流量。系统的采样周期T=1．25X10～h，折扣因子y=1。3．1解耦能力测试将入水流量固定在Q。=21．474km3／d。首先设置溶解氧浓度设定值R。=2mg／L，硝态氮浓度设定值R：=1mg／L。当系统运行时间大于0．5天时，将霆：改变为0．8mg／L，R。保持不变。当系统运行时间大于0．75天时，将R。改变为1．9mg／L，R，=0．8mg／L保持不变。图3显示了设定值按照上述规则变化情况下NNADP和PID控制器分别作用下的跟踪曲线。2．2萎jz．t揖警2．0粪§-．，1．8Oa．So5⋯一PID—NNADP．，．I．，、‘一R2=1mg／L’’R，：o．8⋯g／I．j?⋯图3溶解氧及硝态氮浓度跟踪曲线由图3可见，当S。o设定值改变时，So．，发生．2了轻微的波动，这说明s。。．：变化对So．5影响较小。在PID控制作用下，当S¨改变时，S,o．2发生了较大的波动，这说明So变化对有较大影响，二．sSNo．2者耦合作用明显。但是，在NNADP控制器作用下，当S”改变时，JsNo’：只出现了轻微的波动，这表明NNADP控制器具有较强的解耦能力。3．2控制器性能评估BSNl模型中入水流量变化如图4所示。实验中，溶解氧和硝态氮浓度的设定值为：R。(玉)=2mg／L，R：(k)=1mg／L，系统14天的运行曲线如图5、6所示。表1列出了控制器的部分性能指O9O8O7o袱c，|}6时hO4O35O5001l0O．．r1．∞暑、．口z的髓蛏藤精器\n化工自动化及仪表第39卷标”1，在NNADP作用下，s。的绝对积分误差较PID下降了73．2％；S。的最大偏差较PID下降了62．3％；S。，的均方误差较PID下降了一个数量级；所以s。．，的控制精度较PID有显著提高。在NNADP作用下is№：的绝对积分误差及最大偏差与PID相当，但是，s№：的均方误差较PID降低了约一个数量级，这说明两个控制器对．s№：的控制精度相当，但是在NNADP作用下，S№：的波动幅度较小，即系统运行更为平稳。综合来看，NNADP的控制性能优于常规PID控制器。I、～蚶帅02468101214nCrol／d图4入水流量变化趋势o●％E、．井魁矮球罄{l冬J●∞E、·j巩掣强拍筐图5S¨跟踪控制曲线图6S№：跟踪控制曲线表1控制器的部分性能指标比较4结束语NNADP根据外界反馈信息逐步调整控制策略，进而逼近最优的控制策略，属于一种智能化试探性的控制方法，所以NNADP在解决模型未知的非线性系统控制问题具有优势。污水处理的生化反应过程极为复杂，模型难以建立。对污水处理过程的多变量控制实验表明，NNADP具有较强的解耦能力，控制性能也有较大提升，所以对污水处理过程控制而言，NNADP是一种有效的控制方式。参考文献[I]HohndaB，DomokosE，RedeyA．DissolvedOxygenControloftheActivatedSludgeWastewaterTreatmentProcessUsingModelPredictiveControl[J]．ComputersandChemicalEngineering，2008，32(6)：1270—1278．[2]ShenWH，ChenXQ。PonsMN．ModelPredictiveControlforWastewaterTreatmentProcesswithFeed．forwardCompensation[J]．ChemicalEngineeringJournal，2009，155(1—2)：161～174[3]史雄伟，乔俊飞，苑明哲．基于改进粒子群优化算法的污水处理过程优化控制[J]．信息与控制，2011，40(5)：698—703．[4]WangFY，ZhangHG，LiuDR．AdaptiveDynamicProgramming：AnIntroduction[J]．IEEEComputation-alIntelligenceMagazine，2009，4(2)：39—47．[5]ProkhorovDV，WunschDC．AdaptiveCriticDesigns[J]．IEEETransactionsonNeuralNetworks，1997，8(5)：997～1007．[6]曹宁，张化光，罗艳红，等．一类非线性奇异摄动系65432●一fJ．，山，，o一×1II灌繁、，\n第11期刘文渡等．神经网络自适应动态规划在污永处理过程控制中的应用1441————————————————————————————————————————-二———————————————————————一一一统的近似最优控制[J]．控制理论与应用，2011，28[8](5)：688～692．[7]AlexJ，MagdebargV．BenchmarkSimulationModelno．1(BSMl)[S]．Germany，IWA：TaskgrouponBenchmarkingofControlStategiesforWWTPs。2008．JaegerH．TheEchoStateApproachtoAnalysingandTrainingRecurrentNeuralNetworks[R]．Germany：GMDReportGermanNationalResearchCenterforIn—formationTechnology，2001．ApplicationofNeuralNetwork—basedAdaptiveDynamicalProgramminginWastewaterTreatmentContolLIUWen—b01，WANGXia2，LILai—hon91。BOYing-chun3(1IHekouPowerSupplyCompanyofShengliOilField，Dongying257200，China：2．BeijingNewMetallurgyElectricCo．，Ltd．，Beiiing100094，Chin口；3．coliegeofInform口ticnandControlEngineering，ChinaUniversityofPetroleum，Qingdao266555，China)AbstractConsideringthecontrolofdissolvedoxygenandnitratenitrogenconcentrationinwastewatertreat．mentplant(WWTP)，aneuralnetwork-basedadaptivedynamicalprogramming(NNADP)schemewaspr0．posed，whichemploysneuralnetworktoapproximatetheexistingscheme’sevaluationfunctionandtheoDtimalcontrolpolicy，andmakesuseofgradientdescent—basedonlinealgorithmtotraintheweightsofneuralnet．works．TestingNNADP’8controlperformancewithBSMl(BenchmarkSimulationModelNo．1)indicatesthatNNADPhasstrongdecouplingabilityandhighercontrolprecisionincorn【parisonwithPID．Keywordsadaptivedynamicalprogramming(ADP)，wastewatertreatment，echostatenetwork，decouplingability(上接第1417页)[12]WangS，MohanRS，Shoham0，eta1．PerformanceIm．provementofGasLiquidCylindricalCycloneSepatatorsUsingIntergratedLiquidLevelandPressureControlSystem[DB／OL]．hup：／／tustp．org／publieations／pas—sive_controlJ8．pdf，2000-02-07／2012-0％27．[13]ArpandiIA，JoshiAR，ShohamO，eta1．HydrodynamicsofTwo··PhaseFlowinGas—LiquidCylindricalCycloneSeparators[J]．SPEJ，1996。12(1)：427～436．StabilityAnalysisofIncrementalPredictiveControlSchemeZHENGKai—hua，HEDe．feng，BAORong(CollegeofInformationEngineering，ZhejiangUniversityofTechnology，Hangzhou310023，Chind)AbstractConsideringtheconstrainedlinearsystemwithopen．100pstability，astabilityanalysismethodforincrementalpredictivecontrolschemewaspresented．ThroughusingofLipschitzconditionandweakcontrolla．bilityandstrongdualityofsteady·stateproblemassumptions，thequadraticperformanceindexescanbetrans．formedintonewperformanceindexesSOastoestablishLyapunovfunctionfortheclosed．100psystemandtohavetheclosed-loopstabilityoftheincrementalpredictivecontrolschemeconcluded．SimulationresuItproveseffectivenessofthismethod。Keywordsmodelpredictivecontrol，constrainedlinearsystems，Lipschitzcondition，stabilityanalysis．nu．mericalsimulation