[논문 리뷰] 🤖🔌 강화학습을 사용한 열화 최소화 급속 충전 프로파일

🔗  MSCC-DRL: Multi-Stage constant current based on deep reinforcement learning for fast charging of lithium ion battery

• Journal of Energy Storage, 2024

 

전기차(EV) 시장의 급성장과 함께 극한 급속 충전(Extreme Fast Charging, XFC)에 대한 필요성이 점점 더 커지고 있습니다. 특히, 배터리를 10~15분 내에 80% SOC(State of Charge)까지 충전하는 것이 업계의 주요 목표로 설정되고 있습니다.

 

하지만 급속 충전을 진행할 경우, 배터리 내부 상태가 급격하게 변동하면서 배터리의 열화도 빠르게 진행될 수 있습니다. 따라서, 배터리의 열화를 최소화하면서도 빠르게 충전할 수 있는 충전 프로파일을 찾아내는 알고리즘의 개발이 중요한 과제로 떠오르고 있습니다.

 

✡️ Problem Statement

연구 배경

리튬 이온 배터리는 전기차(EV) 및 다양한 에너지 저장 시스템에서 중요한 역할을 합니다. 그러나 빠른 충전 과정에서 발생할 수 있는 배터리 열화 및 안전 문제는 여전히 해결해야 할 중요한 과제입니다. 본 연구는 강화 학습(Deep Reinforcement Learning, DRL) 기반의 다단계 정전류 충전(Multi-Stage Constant Current, MSCC) 최적화 기법을 제안하여, 충전 속도를 향상시키면서도 배터리의 안전성을 유지하는 방법을 연구합니다.

연구 목표

본 연구는 강화 학습을 활용하여 충전 시간을 단축하면서도 배터리의 열화 및 안전성을 유지할 수 있는 최적 충전 프로파일을 학습하는 방법을 제안합니다. 특히, 기존의 CC-CV 방식과 비교하여 다단계 정전류 충전(MSCC) 방식이 어떻게 강화 학습을 통해 최적화될 수 있는지 분석합니다.

기존 충전 방식

1. CC-CV (Constant Current-Constant Voltage) 방식

: CC-CV 방식은 초기 정전류(CC) 충전 후, 특정 전압에 도달하면 정전압(CV) 모드로 전환되는 전통적인 충전 방식입니다.

단점

• 충전 시간 증가: CV 단계에서 충전 전류가 감소하여 전체 충전 시간이 길어짐
• 배터리 열화 위험: 높은 충전율에서 리튬 도금(Lithium Plating)이 발생할 수 있음
• 온도 상승 문제: 높은 C-rate에서 과열 가능성 존재
• 충전 최적화 어려움: 배터리 상태에 따른 최적화된 충전 패턴을 적용하기 어려움

 

2. 다단계 정전류 충전(MSCC) 방식

: 다단계 정전류 충전은 여러 단계로 나누어 C-rate를 점진적으로 감소시키며 충전하는 방식입니다.

장점

• 충전 시간 단축: CV 단계 없이 충전이 가능
• 배터리 열화 감소: 초기 높은 C-rate에서 점진적으로 감소 → 발열 및 열화를 방지
• 강화 학습 적용 가능: 배터리 구조 특성에 맞는 최적 충전 프로파일을 학습할 수 있음

 

✡️  Methodology

강화 학습 기반 최적 충전 문제 정의

• 목표: 충전 속도를 최대화하면서 배터리의 안전성을 유지하는 최적 충전 전략 학습
• 제약 조건:
  • 전압 초과 금지: $V_{max} \leq 4.2V$
  • 온도 초과 금지: $T_{max} \leq 70^\circ C$
  • 목표 SOC 도달: $SOC_{target} = 80%$

🤖 강화 학습 요소 정의

State	SOC, 전압 $V$, 온도 $T$
Action	충전 전류 $C_r$ (C-rate, 1C-7C), 지속 시간 $\Delta t$ (1-5분)
Reward	충전 속도 증가 보상, 배터리 안전 유지 보상

 

 

✡️  Experiment & Analysis

🔋 실험 환경 및 배터리 모델

• 배터리 모델: PyBaMM의 SPMe(Single Particle Model with Electrolyte)
• 강화 학습 알고리즘: PPO (Proximal Policy Optimization)
• 총 훈련 시간: 336시간 (10,000 에피소드)

실험 결과 및 분석

• 충전 시간 단축 효과:
  • CC-CV 방식: 25분
  • DRL 기반 MSCC 방식: 14분 (두꺼운 전극), 6분 (얇은 전극)
• 배터리 안전성: 온도 및 전압 초과 없이 배터리 안전성 유지됨
• 학습 결과: 충전 시간이 안정적으로 수렴하며 학습이 성공적으로 완료됨

비교 실험

• 충전 시간: 기존 CC-CV 방식 대비 충전 시간이 최대 30% 단축됨
• 배터리 수명: 온도 상승이 낮아 배터리 수명이 연장될 가능성 있음
• 학습된 최적 충전 프로파일: 6C → 4C → 3C, 각 단계 5분 미만 유지

 

✡️ Conclusion

본 연구에서는 DRL을 이용한 다단계 정전류 충전 방식을 제안하였으며, 기존 방식 대비 충전 시간 단축과 배터리 안전성 유지에서 우수한 성능을 보였습니다.

향후 연구 방향

• 실제 배터리 환경에서의 실험 검증
• 배터리 열화 모델을 추가한 강화 학습 환경 구축
• 다양한 최적화 알고리즘과 비교 연구 진행
• 하드웨어 구현 및 실시간 학습 가능성 평가
• 다양한 배터리 모델 및 전극 구조에 대한 일반화 연구

 

 

---

 

OpenAI의 GYM 라이브러리를 사용하면 강화학습 환경을 간단하게 구현할 수 있습니다. 또한, 배터리 시뮬레이션 라이브러리인 PyBaMM의 문서도 잘 정리되어 있으니, 관심이 있는 분들은 이를 참고하여 구현해보는 것도 좋을 것입니다. (저 역시 GYM과 PyBaMM을 활용해 구현할 계획입니다.🙂👍) 

강화학습을 이용한 최적 배터리 고속충전 프로파일을 다룬 논문은 많이 있지만, 이 MSCC-DRL 논문은 실험 부분이 특히 상세하게 정의되어 있습니다. 그래서 저와 같이 '강화학습을 활용한 최적 충전 프로파일'을 구현하려는 분들에게 이 논문을 바탕으로 실험을 재현해보는 것을 강력히 추천합니다! 😃