ERICA 전자공학부 서승현 교수 연구팀이 최근 미국 국립표준기술연구소(NIST)가 국제 표준으로 채택한 모듈형 격자 기반 양자내성암호(PQC)의 안전성을 분석하고, 이를 위협할 수 있는 새로운 공격 방법을 제시했다. 이번 성과는 암호공학 분야 세계 최고 권위 학회로 평가되는 'CHES 2025 (Conference on Cryptographic Hardware and Embedded Systems)'에서 발표됐다. 

기존의 공개키 암호(RSA, ECC 등)는 수학적으로 매우 어려운 문제에 기반한다. 그러나 고성능 양자컴퓨터가 개발되면 이런 암호들은 빠른 시간 내에 해독이 가능하다고 알려져 있다. 이 때문에 NIST는 2016년부터 양자컴퓨터에도 안전한 새로운 암호, 즉 양자내성암호(Post-Quantum Cryptography, PQC)를 국제 표준으로 정하기 위한 공모전을 진행해 왔다. 그 결과 2025년 3월까지 5종의 PQC 알고리즘(ML-KEM, ML-DSA, FN-DSA, SLH-DSA, HQC)이 공식 표준으로 지정됐다. 

하지만 “표준”으로 정해졌다고 해서 영원히 안전한 것은 아니다. 새로운 공격 방법이 제시될 경우 다시 보완하거나 대체해야 하기 때문에, 이들 암호가 실제로 양자컴퓨터 앞에서도 안전한지 꾸준히 점검하는 것이 매우 중요하다.

이에 서 교수 연구팀은 ‘양자-고전 하이브리드 시빙(SIEVE) 공격’이라는 새로운 분석 기법을 제안했다. 이는 공격 과정 전체를 복잡한 양자 연산으로 구현하는 대신, 가장 시간이 오래 걸리는 검색 단계만 양자컴퓨터로 처리하고 나머지는 일반 컴퓨터로 수행하는 현실적인 시나리오다. 연구팀은 이 방식을 적용했을 때, 모듈형 격자 기반 PQC인 ML-KEM과 ML-DSA를 공격하는 데 필요한 실제 양자 하드웨어 자원(연산 횟수, 양자 게이트 수, 양자 오류 정정 비용 등)을 계산했고, 그 결과 보안 강도가 기존 추정치보다 15~27비트가량 낮아질 수 있음을 확인했다. 쉽게 말해, 양자컴퓨터를 활용하면 지금까지 예상했던 것보다 더 적은 비용으로 공격할 수 있다는 의미다.

서 교수는 “양자 컴퓨팅 시대의 암호 안전성 평가는 단순히 수학적 난이도를 계산해 분석하는 것을 넘어, 실제 안전성 분석에 필요한 양자 하드웨어 자원과 양자 오류 보정 과정까지 고려해야 한다”며 이번 연구의 의의를 강조했다.

이번 성과는 한국연구재단이 지원하는 ‘국가연구망 암호통신 강화를 위한 양자컴퓨팅 활용 양자보안비도 분석’ 과제의 일환으로 수행됐다. 조성민(전자공학 박사과정) 씨가 제1저자로 참여했으며, 서 교수가 교신저자로 연구를 이끌었다. 현재 서 교수는 한양대 양자과학기술연구원(HY-IQQ) 부원장으로도 활동하며 국내 양자 기술 확산에 기여하고 있다. 한양대 양자과학기술연구원(HY-IQQ)은 양자 기술을 전략적으로 육성하기 위해 2025년 3월 설립된 전문 연구기관으로 양자 컴퓨팅, 양자 센싱 및 계측, 양자정보 및 양자물질, 양자 네트워크 및 보안, 양자 활성화 기술, 총 5개 센터로 구성되어 있으며, ERICA와 서울 캠퍼스 각 분야의 전문가들이 참여해 기초과학부터 실용 기술까지 폭넓은 연구를 수행하고 있다.