최근, CVPR 2025 NTIRE Workshop이 주최한 AI 생성 비디오 품질 평가 챌린지 결과가 발표되었다. 중국전매대학교 정보통신공학대학 지능미디어컴퓨팅 연구실(CUC-IMC)이 이번 국제 대회에서 두각을 나타내며 준우승을 차지했다! 우리 대학 참가팀은 스핑 교수가 지도교수를 맡았으며, 치저루(팀장, 2023학번 석사과정), 왕슈치(2023학번 석사과정), 장차오양(2024학번 박사과정) 학생들로 구성되었다. 이번 챌린지는 전 세계 100여 개의 최고 대학, 연구기관 및 기업 팀들이 참가했으며, 우리 대학 참가팀은 베이징이공대학, 중국과학기술대학, 상하이교통대학 등 국내 최고 연구기관의 참가팀들과 경쟁하여 뛰어난 성과를 거두었다.
CVPR 2025 AI 생성 비디오 품질 평가 챌린지 순위표(상위 6위)
CVPR(Computer Vision And Pattern Recognition)은 전 세계 컴퓨터 비전 분야에서 규모가 가장 크고 영향력이 가장 광범위한 학술 회의이다. CVPR NTIRE(New Trends in Image Restoration and Enhancement) Workshop은 CVPR이 설립한 매우 영향력 있는 국제 학술 워크숍이다. 이번 CVPR NTIRE Workshop에서 개최된 XGC Quality Assessment 챌린지는 여러 하위 트랙을 설정했으며, 그 중 AI 생성 비디오 품질 평가 트랙은 AI 생성 비디오 품질의 다차원 평가에 초점을 맞추고 있으며, AI 생성 비디오의 콘텐츠 이해와 품질 모델링 방법 연구를 촉진하는 것을 목표로 한다.
CVPR NTIRE 2025 웹사이트 메인 페이지
우리 대학 팀은 AI 생성 비디오에서 흔히 발생하는 시공간 왜곡(예: 흐림, 프레임 건너뛰기, 동적 정도 부족, 콘텐츠 왜곡 등)에 대해 다중 분기 인코더 아키텍처를 제안하여 시각적 품질을 세 가지 상호 보완적 차원으로 분해하여 종합적으로 모델링했다. 동시에, 대형 언어 모델의 이해 및 추론 능력을 충분히 활용하기 위해 팀은 다중모달 프롬프트 엔지니어링 프레임워크를 설계하여 세 가지 시각적 특징을 언어 공간에 정렬시키고, 의미적 앵커를 도입하여 대형 언어 모델이 세 가지 특징 간의 연관된 추론을 확립하도록 지원했다. 팀은 LoRA 미세 조정 기술을 사용하여 대형 언어 모델을 작업 지향적으로 미세 조정하여 품질 예측 정확도를 크게 향상시켰다.
데이터셋에 포함된 AI 생성 비디오의 왜곡 유형 예시
방안 전체 아키텍처 다이어그램
이번 대회에서 학교 정보화처는 팀에 적시에 컴퓨팅 파워를 제공하여 모델 훈련에 강력한 지원을 제공했다. 앞으로 대학은 과학교육 융합을 지속적으로 심화하고, 대회를 통해 교육을 촉진하며, 경쟁을 통해 학습을 증진시켜 학생들의 혁신 능력을 지속적으로 향상시키고, 국가 전략 요구에 부응하는 더 많은 우수 인재를 양성할 것이다.
본 뉴스는 AI 대형 모델의 번역 지원을 받아 작성되었다.
편집: 닝르
