□ 인공지능(AI) 기술은 다양한 분야에서 혁신을 일으키고 있으며, 특히 생성형 AI 기술은 정보 생성과 데이터 분석 기능을 통해 정책연구에도 영향을 미치고 있음
○ 생성형 AI는 금융, 법률, 의료 등 다양한 분야에서 데이터를 분석하고, 패턴을 인식하며, 콘텐츠를 생성하고 복잡한 문제의 해결책을 제시하는 능력 보유
○ 대규모 언어 모델인 GPT(Generative Pre-trained Transformer)는 생성형 AI의 대표적인 예이며 이러한 언어 모델은 텍스트 데이터로부터 패턴과 구조를 학습하여 새로운 텍스트 생성에 매우 효율적임
○ 공공분야에서도 생성형 AI 솔루션 개발 및 특화 데이터 구축을 통해 정확하고 최적화된 답변을 생성하는 한편 행정문서 작성, 사업기획 보조, 업무가이드라인 검색 등 업무 효율을 높이고 있음
○ 생성형 AI를 정책연구에 활용할 경우 연구 효율이 향상될 수 있으며, 따라서 연구 관련 콘텐츠 생성 AI 서비스 개발이 필요하며 이를 위해 개념증명(PoC) 과정을 수행하는 것이 본 연구의 목적임

□ 연구 관련 콘텐츠 생성 AI 서비스의 개념증명을 위해 프로토타입(ChatGRI)을 개발하였으며 다음과 같은 기능을 제공함
○ ChatGRI 서비스는 생성형 AI를 기반으로 연구보고서, 연구계획서, 국문 및 영문 요약 그리고 보도자료 4가지 콘텐츠의 자동 생성 기능을 제공
○ 연구보고서와 연구계획서 작성 시 근거이론을 사용하여 목차 및 기초자료를 자동으로 생성하고, 섹션별로 관련 내용을 제공하며 기본적으로 추가 자료 없이 연구 주제만을 입력해도 필요한 내용 생성 가능
○ 연구보고서와 연구계획서 작성 시 해당 주제와 관련된 참고자료나 데이터를 생성형 AI에게 학습시키는 기능(검색증강생성, RAG)을 적용하여 생성된 콘텐츠의 정확도를 제고하였음
○ 연구보고서 작성 완료 후에는 요약 및 보도자료 작성이 필요하며, 이를 위해 국문･영문 요약, 유형별 보도자료 작성 기능을 제공함

□ 개념증명을 위한 프로토타입 평가 결과, 일관성과 사용성 측면에서는 성공 기준을 충족하였으나, 정확성과 생산성 측면에서는 추가적인 개선이 필요함
○ 프로토타입에 대한 검증과 평가를 위해 자발적으로 참여한 내부직원 및 외부전문가를 대상으로 평가위원회를 구성함
○ 평가는 평가위원이 프로토타입을 사용한 후에 설문을 작성하는 방식으로 진행되었으며 주요 내용은 일관성, 사용성, 정확성, 생산성 등으로 구성되어 있음
○ 일관성: 응답자의 94%가 보고서의 형식과 구조가 보통 이상으로 일관적이라고 평가하여 기준 90%를 충족함
○ 사용성: 응답자의 75%가 전반적인 만족도에서 보통 이상이라고 평가하여 기준 70%를 충족함
○ 정확성: 생성된 결과의 데이터 정확성에 대해서는 보통 이상이라고 평가한 비율이 69%로 기준 80%에 미달함
○ 생산성: 보고서 자동 생성 기능을 통해 생산성 향상을 기대할 수 있으며, 평균 시간 절약률이 약 10.2%로 기준 20%에 미치지 못함

□ 정책연구에 인공지능을 활용하는 실험은 개념증명 과정을 통해 긍정적인 결과를 확인하였으나 개선할 점도 도출됨
○ 일관성과 사용성 측면에서 긍정적인 평가를 받은 것은 ChatGRI가 사용자에게 보고서 작성의 틀과 구조를 제공하여 업무 효율성을 높이는 데 기여할 수 있음을 보여줌
○ 정확성에 대한 미흡한 평가는 데이터의 최신성 및 신뢰성에 대한 개선 필요성을 의미하며 시간 절약이 기대치에 미치지 못한 것은 시스템의 성능 최적화와 알고리즘 개선을 통한 처리 시간 단축이 필요함을 나타냄
○ 향후 사용자 인터페이스의 개선을 통해 편리성과 접근성을 높이고 연구자와 전문가의 피드백을 통해 사용성의 지속적 개선이 필요함