AI와 자율 시스템의 미래

n 이 포스트에서는 자율 시스템과 AI의 미래에 대해 논의합니다.

자율주행 자동차의 경우를 생각해 보자. BARC( Berkeley Autonomous Race Car ), Amazon Deep Racer 등은 사람의 개입 없이 효과적으로 경주할 수 있는 자율 경주용 자동차의 예입니다.\

이러한 자동차의 제어 시스템은 AI와 신경망에 의해 향상됩니다.

가이딩 휠과 같은 자동화의 특정 부분은 MPC( 모델 예측 제어) 와 같은 기존 기술로 관리할 수 있습니다 .

그러나 이러한 전통적인 기술로는 인간 운전자처럼 운전하는 과정을 관리할 수 없습니다.

완전하고 효과적인 자율성을 달성하려면 AI 기술이 필요합니다.

자율 경주용 자동차의 이 ‘장난감 예’에서 확장하여 제어 시스템에 대해 동일한 상황을 더 광범위하게 고려할 수 있습니다.

제어 시스템은 복잡한 프로세스(예: 공급망 또는 제조)를 최적화하는 데 사용할 수 있습니다.

그러나 앞서 논의한 자율주행 자동차와 마찬가지로 이러한 상황은 MPC에만 의존할 수 없습니다.  

복잡한 산업 프로세스에서 자율적 동작을 달성하려면 MPC 기술과 DRL( Deep Reinforcement Learning) 을 결합해야 합니다 .  

제어 루프 시스템의 진화

이 시나리오를 이해하려면 제어 시스템의 진화를 고려해야 합니다.

자율적 행동을 제어 루프 문제로 생각할 수 있습니다.

가장 간단한 경우에는 피드백 메커니즘이 없는 개방 루프 시스템이 있습니다. 이 경우 모든 조건에서 정확하기 위해 프로세스의 기초가 되는 수학적 모델에만 의존합니다.

그러나 이 접근 방식은 시스템의 작동 조건이 변경될 수 있고 시스템이 그에 따라 진화해야 하기 때문에 한계가 있습니다.

따라서 피드백 제어 시스템이 있습니다.

피드백 제어 시스템은 동적 조건을 기반으로 다음과 같은 제어 조치를 제안합니다.

PID 컨트롤러 와 같은 피드백 제어 시스템 은 다음 동작을 동적으로 계산하는 동안 일정한 수학적 이득을 사용하여 목표를 향해 이동합니다. 이러한 제어 패러다임은 화학 공학과 같은 중공업 분야에서 이미 성숙했습니다.

PID 컨트롤러, 모델 예측 제어(Model Predictive Control ) 또는 MPC 제어 에서 확장 하면 예측 메커니즘을 기반으로 하는 특정 제약 조건에 따라 프로세스가 자율적으로 처리됩니다.

MPC는 Constraint Optimizer를 사용하여 사전에 행동을 예측하고 환경을 이해하기 위한 정확한 시스템 모델을 사용합니다. MPC 모델은 정확한 세계 모델이 존재하고 문제가 선형 방정식의 관점에서 구성될 수 있을 때 작동합니다. 그러나 복잡하고 혼란스러운 상황을 처리할 수 있는 비선형 MPC 시스템은 그리 일반적이지 않습니다. 또한 MPC는 매우 정확한 모델이 필요하며 이러한 모델을 구축하는 데 비용과 시간이 많이 소요될 수 있습니다.

DRL(Deep Reinforcement Learning) 은 신경망과 시행착오를 통한 학습을 ​​기반으로 합니다. DRL은 잠재적으로 학습, 전략, 고급 제어 및 자율성을 추가할 수 있습니다. DRL은 시행착오를 통해 학습합니다. 장점에도 불구하고 DRL에는 몇 가지 단점도 있습니다. DRL은 훈련하기 쉽지 않으며 상황을 가상으로 시뮬레이션할 수 있을 때 더 적은 비용으로 훈련할 수 있습니다. 즉, 물리적 세계에서 반복/시행 착오로 학습하는 것은 실현 가능하지 않습니다. 따라서 잠재적인 솔루션은 DRL로 MPC를 보완하는 것입니다.

MPC 및 DRL을 사용하여 제어 루프 시스템을 더욱 발전시키려면 머신 티칭 을 배포해야 합니다 . 프로젝트 분재 는 머신 티칭을 사용한 시스템의 예입니다. 머신 티칭은 피드백 루프에 인간(전문가)의 전문성을 도입합니다. 예를 들어 시멘트를 만드는 과정에서 MPC는 실시간으로 모든 결정을 내릴 수 없습니다. 따라서 인간 전문가는 DRL 모듈을 통해 피드백을 제공할 수 있으며, 그런 다음 정의된 매개변수 내에서 MPC가 안전하게 실행되도록 설정점이 됩니다.

결론

나는 순수한 딥 러닝/신경망의 한계라는 더 넓은 맥락에서 머신 티칭의 접근 방식을 봅니다. 복잡한 경우가 많고, 위험이 높거나, 상황을 쉽게 시뮬레이션할 수 없기 때문에 기존의 신경망 접근 방식이 작동하지 않는 경우가 많습니다. 앞으로 이러한 접근 방식을 더 많이 볼 수 있을 것으로 기대합니다.

Leave a Comment