한국 수어 인식 기술 및 LLM 기반 한국어-한국수어 대화형 안내 서비스 구축

Abstract

본 연구는 청각장애인(농인)과 비장애인(청인)의 과학기술 접근성 격차 해소를 위한 배리어 프리(Barrier-Free) 과학기술 전시서비스 개발을 목표로 시작되었으며, 이를 위한 다양한 요소 기술을 연구하였다.

  • 과학관 전시 안내/해설 한국 수어 데이터베이스 구축
  • 딥러닝 기반 경량 수어 인식 기술 개발
  • 수어 인식을 통해 획득한 입력 문장에 적합한 답변을 생성하는 대규모 언어모델 (LLM) 기반 대화형 프레임워크 개발
  • 한국 수어 3D 캐릭터 영상 자동 생성 기술 개발
  • 모듈형 수어 인식 플랫폼 및 수어 안내/해설 서비스 키오스크 실증

이를 통해 실제 국립부산과학관 환경에서 실증 서비스를 운영하였으며, 실제 환경에 적용 가능한 대화형 수어 안내/해설 서비스를 개발하였다는데 큰 의미가 있다.