近期,中國科學(xué)院廣州能源研究所黃玉萍副研究員團(tuán)隊(duì)在低碳電力系統(tǒng)的智能調(diào)度與決策領(lǐng)域取得了新進(jìn)展。
當(dāng)前,在配電網(wǎng)與微電網(wǎng)的運(yùn)行主體存在本質(zhì)差異的情況下,實(shí)現(xiàn)碳責(zé)任的公平分配仍然面臨巨大挑戰(zhàn)。此外,在去中心化的多主體配電網(wǎng)中,實(shí)現(xiàn)快速、高效且安全的低碳經(jīng)濟(jì)調(diào)度依然存在諸多障礙。
黃玉萍團(tuán)隊(duì)構(gòu)建了一個(gè)面向主動(dòng)配電網(wǎng)與多微電網(wǎng)的協(xié)同優(yōu)化框架(圖1),結(jié)合時(shí)空碳強(qiáng)度均衡方法(STCIEM)和非合作優(yōu)化策略,分析了多主體協(xié)同決策中的碳排放分配問題。
圖1 多主體異構(gòu)網(wǎng)絡(luò)協(xié)同運(yùn)行示意圖
圖2 在離線訓(xùn)練(a)和在線執(zhí)行(b)求解POMGs時(shí)的EAP-MATD3的架構(gòu)
該研究通過引入增強(qiáng)動(dòng)作投影多智能體雙延遲深度確定性策略梯度(EAP-MATD3)算法,成功解決了低碳優(yōu)化中的非凸性問題,優(yōu)化了決策性能。該算法通過優(yōu)化智能體目標(biāo),解決Actor-Critic失配問題,在生成符合物理系統(tǒng)約束的最優(yōu)決策方面,相比傳統(tǒng)的安全多智能體深度強(qiáng)化學(xué)習(xí)方法具有更優(yōu)表現(xiàn)。
圖3 EAP-MATD3在線執(zhí)行時(shí)ADN-MMG內(nèi)部市場(chǎng)交易-碳強(qiáng)度結(jié)果
圖4 EAP-MATD3在線執(zhí)行時(shí)多個(gè)微電網(wǎng)內(nèi)部電價(jià)-碳強(qiáng)度-能源運(yùn)行優(yōu)化結(jié)果
研究表明,去中心化低碳決策中的協(xié)同優(yōu)化策略在提升系統(tǒng)效率和降低碳排放方面發(fā)揮了關(guān)鍵作用。然而,過度依賴單一安全約束策略(如純獎(jiǎng)勵(lì)懲罰或簡單投影)可能導(dǎo)致 Actor-Critic 失配,降低學(xué)習(xí)效率并隱藏安全風(fēng)險(xiǎn)。EAP-MATD3算法能夠在復(fù)雜能源系統(tǒng)中有效平衡經(jīng)濟(jì)目標(biāo)與環(huán)境目標(biāo),展現(xiàn)出更好的優(yōu)化性能。
本研究重點(diǎn)關(guān)注主動(dòng)配電網(wǎng)與多微電網(wǎng)去中心化低碳運(yùn)行中的復(fù)雜多主體協(xié)同決策和碳排放分配機(jī)制,為低碳電力系統(tǒng)的決策提供了參考依據(jù)。建議在低碳決策過程中合理平衡各主體自主優(yōu)化與全局效益,避免單一策略帶來的效率或安全問題;同時(shí)通過 STCIEM 確保碳責(zé)任公平分配,并借助 EAP-MATD3 優(yōu)化決策,以提升整體效率和穩(wěn)定性,保障低碳目標(biāo)的實(shí)現(xiàn)。
研究得到了國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金、廣東省發(fā)改委能源局項(xiàng)目等資助。
相關(guān)研究成果以Safe multi-agent deep reinforcement learning for decentralized low-carbon operation in active distribution networks and multi-microgrids為題發(fā)表于Applied Energy期刊,碩士研究生葉桐為第一作者,黃玉萍副研究員為通訊作者。
原文鏈接:https://www.sciencedirect.com/science/article/abs/pii/S0306261925003393
附件下載: