近期，中國科學(xué)院廣州能源研究所黃玉萍副研究員團(tuán)隊(duì)在低碳電力系統(tǒng)的智能調(diào)度與決策領(lǐng)域取得了新進(jìn)展。

當(dāng)前，在配電網(wǎng)與微電網(wǎng)的運(yùn)行主體存在本質(zhì)差異的情況下，實(shí)現(xiàn)碳責(zé)任的公平分配仍然面臨巨大挑戰(zhàn)。此外，在去中心化的多主體配電網(wǎng)中，實(shí)現(xiàn)快速、高效且安全的低碳經(jīng)濟(jì)調(diào)度依然存在諸多障礙。

黃玉萍團(tuán)隊(duì)構(gòu)建了一個(gè)面向主動(dòng)配電網(wǎng)與多微電網(wǎng)的協(xié)同優(yōu)化框架（圖1），結(jié)合時(shí)空碳強(qiáng)度均衡方法（STCIEM）和非合作優(yōu)化策略，分析了多主體協(xié)同決策中的碳排放分配問題。

圖1 多主體異構(gòu)網(wǎng)絡(luò)協(xié)同運(yùn)行示意圖

圖2 在離線訓(xùn)練(a)和在線執(zhí)行(b)求解POMGs時(shí)的EAP-MATD3的架構(gòu)

該研究通過引入增強(qiáng)動(dòng)作投影多智能體雙延遲深度確定性策略梯度（EAP-MATD3）算法，成功解決了低碳優(yōu)化中的非凸性問題，優(yōu)化了決策性能。該算法通過優(yōu)化智能體目標(biāo)，解決Actor-Critic失配問題，在生成符合物理系統(tǒng)約束的最優(yōu)決策方面，相比傳統(tǒng)的安全多智能體深度強(qiáng)化學(xué)習(xí)方法具有更優(yōu)表現(xiàn)。

圖3 EAP-MATD3在線執(zhí)行時(shí)ADN-MMG內(nèi)部市場(chǎng)交易-碳強(qiáng)度結(jié)果

圖4 EAP-MATD3在線執(zhí)行時(shí)多個(gè)微電網(wǎng)內(nèi)部電價(jià)-碳強(qiáng)度-能源運(yùn)行優(yōu)化結(jié)果

研究表明，去中心化低碳決策中的協(xié)同優(yōu)化策略在提升系統(tǒng)效率和降低碳排放方面發(fā)揮了關(guān)鍵作用。然而，過度依賴單一安全約束策略（如純獎(jiǎng)勵(lì)懲罰或簡單投影）可能導(dǎo)致 Actor-Critic 失配，降低學(xué)習(xí)效率并隱藏安全風(fēng)險(xiǎn)。EAP-MATD3算法能夠在復(fù)雜能源系統(tǒng)中有效平衡經(jīng)濟(jì)目標(biāo)與環(huán)境目標(biāo)，展現(xiàn)出更好的優(yōu)化性能。

本研究重點(diǎn)關(guān)注主動(dòng)配電網(wǎng)與多微電網(wǎng)去中心化低碳運(yùn)行中的復(fù)雜多主體協(xié)同決策和碳排放分配機(jī)制，為低碳電力系統(tǒng)的決策提供了參考依據(jù)。建議在低碳決策過程中合理平衡各主體自主優(yōu)化與全局效益，避免單一策略帶來的效率或安全問題；同時(shí)通過 STCIEM 確保碳責(zé)任公平分配，并借助 EAP-MATD3 優(yōu)化決策，以提升整體效率和穩(wěn)定性，保障低碳目標(biāo)的實(shí)現(xiàn)。

研究得到了國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金、廣東省發(fā)改委能源局項(xiàng)目等資助。

相關(guān)研究成果以Safe multi-agent deep reinforcement learning for decentralized low-carbon operation in active distribution networks and multi-microgrids為題發(fā)表于Applied Energy期刊，碩士研究生葉桐為第一作者，黃玉萍副研究員為通訊作者。

原文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S0306261925003393