한양대학교 ERICA 전자공학부 서승현 교수 연구팀이 최근 미국 국립표준기술연구소(NIST)가 국제 표준으로 채택한 모듈형 격자 기반 토토사이트 블랙티비내성암호(PQC)의 안전성을 분석하고, 이를 위협할 수 있는 새로운 공격 방법을 제시했다. 이번 성과는 암호공학 분야 세계 최고 권위 학회로 평가되는 CHES 2025(Conference on Cryptographic Hardware and Embedded Systems)에서 발표됐다.

기존 공개키 암호(RSA, ECC 등)는 큰 수의 인수분해나 이산로그와 같이 수학적으로 어려운 문제에 기반하지만, 고성능 토토사이트 블랙티비컴퓨터가 개발되면 이런 암호들은 단시간 내 해독될 수 있다는 우려가 제기돼 왔다. 이에 NIST는 2016년부터 새로운 암호체계, 즉 토토사이트 블랙티비내성암호(Post-Quantum Cryptography, PQC)를 국제 표준으로 정하기 위한 공모전을 진행해 왔다. 그 결과 2025년 3월까지 총 5종(ML-KEM, ML-DSA, FN-DSA, SLH-DSA, HQC)의 PQC 알고리즘을 공식 표준으로 지정했다.

그러나 표준화가 곧 절대적 안전을 의미하는 것은 아니다. 새로운 공격 방법이 제시되면 보완하거나 대체해야 하므로, 실제 환경에서의 안전성 검증이 지속적으로 요구된다. 서 교수팀은 이러한 필요성 속에서 국제 표준으로 채택된 모듈형 격자 기반 PQC의 안전성을 다시 들여다보고, 이를 위협할 수 있는 현실적 토토사이트 블랙티비 공격 알고리즘을 제안했다.

그 결과 연구팀은 ‘양자-고전 하이브리드 시빙(SIEVE) 공격’이라는 새로운 분석 기법을 제시했다. 이는 공격 전 과정을 양자 연산으로 구현하는 대신, 가장 시간이 오래 걸리는 검색 단계만 양자컴퓨터로 처리하고 나머지는 일반 컴퓨터로 수행하는 방식이다. 연구팀은 이를 활용해 ML-KEM, ML-DSA 알고리즘에 대한 공격 자원(연산 횟수, 양자 게이트 수, 오류 정정 비용 등)을 계산했으며, 그 결과 보안 강도가 기존 추정보다 15~27비트 낮아질 수 있음을 확인했다. 이는 양자컴퓨터 활용 시 예상보다 적은 비용으로 공격이 가능함을 보여준다.

서승현 교수는 “양자 컴퓨팅 시대의 암호 안전성 평가는 단순히 수학적 난이도를 계산해 분석하는 것을 넘어, 실제 안전성 분석에 필요한 양자 하드웨어 자원과 양자 오류 보정 과정까지 고려해야 한다”며 이번 연구의 의의를 강조했다.

이번 연구는 한국연구재단이 지원하는 ‘국가연구망 암호통신 강화를 위한 양자컴퓨팅 활용 양자보안비도 분석’ 과제의 일환으로 수행됐다. 해당 논문 「Quantum security analysis of Module-LWE PQC based on practical cost estimates」에는 한양대 조성민 박사과정 연구원이 제1저자로, 서승현 교수가 교신저자로 참여했다.

한편, 서승현 교수는 한양대 양자과학기술연구원(HY-IQQ) 부원장으로 활동하며 국내 양자 기술 확산에 기여하고 있다. HY-IQQ는 2025년 3월 설립된 전문 연구기관으로, △양자 컴퓨팅 △양자 센싱·계측 △양자정보 및 양자물질 △양자 네트워크·보안 △양자 활성화 기술 등 5개 센터를 중심으로 ERICA와 서울캠퍼스 연구진이 참여해 기초과학부터 실용기술까지 폭넓은 연구를 수행 중이다.