UNIST, 양자컴퓨팅으로 학습 부담 최대 80% 줄인다

- 강인한 강화학습의 계산 병목을 양자 알고리즘으로 해결

- 로보틱스, 자율주행 등 활용 기대

연구진 사진. 좌측부터 윤성환 교수, 이현규 연구원. (자료제공: UNIST)

QRIM과 기존 방식의 학습 속도 비교. (자료제공: UNIST)

양자 컴퓨팅을 활용해 돌발 환경에서도 잘 작동하는 강인한 인공지능(AI)을 기존보다 훨씬 효율적으로 학습시키는 기법이 개발됐다. 양자의 강력한 연산 능력을 통해 계산 비용은 기존의 최대 5분의 1 수준으로 줄이는 데 성공하면서 환경 변화적응력이 뛰어난 ‘강인한 AI’ 상용화에 대한 기대감이 높아지고 있다.

UNIST는 인공지능대학원 윤성환 교수팀이 고려대학교 전기전자공학부 김중헌 교수팀과 양자 알고리즘을 이용한 ‘강인한 강화학습’의 계산 비용을 획기적으로 줄인 학습 기법인 ‘QRIM(Quantum Robust Inner Minimization)’을 개발했다고 7월 6일 밝혔다.

이번 연구는 세계 3대 인공지능 학회인 ‘국제머신러닝학회(International Conference on Machine Learning, ICML) 2026’에 채택됐다. 올해 ICML에 채택된 양자 인공지능 논문 중, 국내 연구기관이 주도한 논문은 이 연구가 유일하다.

강화학습은 AI가 시행착오를 거치며 스스로 행동 전략을 찾아간다는 점에서 인간에 가까운 학습 방식이지만, 실제 환경이 학습한 상황과 조금만 달라져도 성능이 급격히 떨어진다. 예를 들어 맑은 날의 도로만 학습한 자율주행차는 비나 눈이 내려 노면이 미끄러워지면 제대로 대응하지 못할 수 있다. 

이를 보완하기 위해 등장한 것이 ‘강인한 강화학습’이다. 학습 과정에서 발생할 수 있는 최악의 상황을 미리 찾아내고, 이에 대비하도록 AI를 훈련하는 것이다. 문제는 이 ‘최악의 상황’을 찾는 과정이 매우 비효율적이라는 점이다. 

가능한 모든 경우의 수를 하나씩 확인해야 해서, 환경 변화의 가능성이 많아질수록 계산 비용이 폭증한다. 이런 계산 부담은 강인한 강화학습을 실제 현장에 적용하는 데 큰 걸림돌로 지적돼 왔다.

연구팀은 이 문제를 양자 컴퓨팅의 ‘중첩(superposition)’ 원리로 풀어냈다. 양자 컴퓨팅 기술은 여러 경우의 수를 동시에 표현할 수 있는데, 연구팀이 개발한 QRIM은 이 특성을 활용해 최악의 시나리오를 빠르게 찾아낸다. 예를 들어 만 개의 시나리오를 검토할 때, 기존에는 만 번의 계산이 필요했지만 QRIM은 백 번의 확인만으로 같은 결과를 얻을 수 있다.

실제 실험에서 QRIM은 기존 방식 대비 약 20~30% 수준의 계산량만으로 더 강인한 성능을 보였다. 또 QRIM을 실제 IBM의 양자컴퓨터에서 돌려 검증하는 실험에서도 정상적으로 작동했으며, 양자 하드웨어 잡음(noise)이 있는 환경에서도 강인성을 유지하는 것으로 나타났다.

제1저자인 이현규 연구원은 “강인한 강화학습의 가장 큰 병목인 ‘최악의 상황 탐색’ 과정을 양자 알고리즘으로 가속할 수 있는 구조로 새롭게 설계한 기술”이라며 “기존 강화학습 알고리즘은 그대로 두고 이 탐색 부분만 양자 모듈로 교체할 수 있어, 다양한 강화학습 분야에 폭넓게 적용할 수 있다”고 설명했다.

윤성환 교수는 “이번 연구는 양자 컴퓨팅이 기존 인공지능의 한계를 어떻게 보완할 수 있는지를 구체적으로 보여준 사례”라며 “환경 변화에 대한 적응이 필수적인 로보틱스, 자율주행 등 분야에 활용될 수 있을 것”이라고 기대했다.

한편, ICML(International Conference on Machine Learning)은 ICLR, NeurIPS와 더불어 세계 3대 AI 학회로 꼽힌다. ICML 2026은 7월 6일부터 11일까지 서울 코엑스에서 개최되며, 전 세계에서 23,918편의 논문이 제출되어 6,352편이 채택됐다.

이번 연구는 과학기술정보통신부의 재원으로 한국연구재단(NRF)의 ‘중견연구사업’및 정보통신기획평가원(IITP)의 ‘인공지능대학원지원사업’, ‘AI 스타펠로우십사업’, ‘지역지능화혁신인재양성사업’, ‘SW Star Lab’ 사업의 지원을 받아 수행됐다.

[Ceramic Korea (세라믹뉴스)=이광호 ]