공개 사용자 테스트 경험기

네이버 부스트캠프에서 진행한 Plum 프로젝트는 제스처 기반 화상 강의 서비스입니다. 프로젝트를 진행하면서 내부 테스트나 로컬 환경에서의 테스트는 많이 해봤지만, 실제 사용자에게 서비스를 공개해 테스트를 진행해 본 경험은 처음이었습니다.

그래서 이번 오픈 테스트는 단순한 기능 확인을 넘어 “이 서비스가 실제로 동작하고, 효과적인가?”를 검증하는 자리이기도 했습니다.

공개 테스트를 위해 세웠던 가설과 목표

테스트는 약 50명의 사용자가 동시에 접속하는 상황을 가정하고 진행했습니다. 당시 설정했던 주요 목표는 다음과 같았습니다.

• 50명의 사용자 중 95% 이상이 5초 내 접속
• 발표자의 카메라 / 마이크 / 화면공유 스트림 정상 수신
• 10분 동안 평균 지연 500ms 이하
• 50명 동시 투표 시 1초 이내 결과 반영

이 목표들은 단순히 “서비스가 동작하는가?”를 확인하기 위한 것이 아니라, 실제 서비스로 사용되기 위해 필요한 최소한의 품질 기준을 가정한 것이었습니다. 다만 테스트를 진행하면서 느낀 점은, 이런 수치적인 목표만으로는 실제 사용자 경험을 완전히 설명하기 어렵다는 것이었습니다.

예를 들어 접속의 경우 모든 사용자가 정확히 같은 시간에 접속하지 않았기 때문에, 결과적으로는 가장 늦게 접속한 사용자까지 약 30초 내에 입장하는 결과를 확인할 수 있었습니다. 수치만 보면 크게 문제가 없는 것처럼 보였지만, 이 숫자가 실제 사용자 경험에서 어떤 의미를 가지는지는 조금 더 고민이 필요했습니다.

특히 어려웠던 부분은 지연이나 끊김 같은 체감 품질을 어떻게 판단할 것인가였습니다.

로그를 통해 지연 시간이나 이벤트는 확인할 수 있었지만, 실제로 사용자가 “끊긴다”고 느끼는 순간을 정확하게 파악하는 것은 쉽지 않았습니다. 같은 지연 수치라도 사용자 환경이나 네트워크 상황에 따라 체감이 달라질 수 있기 때문입니다.

그래서 이런 부분을 보완하기 위해 단순한 로그 분석뿐 아니라 구글 설문을 통한 사용자 피드백 수집도 함께 진행했습니다. 기술적인 지표와 실제 사용자 경험을 함께 확인해보기 위한 시도였습니다.

실제 사용자 피드백

사용자 테스트는 Zoom과 함께 저희 서비스를 병렬적으로 사용하면서 진행되었습니다. 테스트 참여자들은 Zoom 채팅과 구글 설문을 통해 다양한 의견을 남겨주었습니다.

대표적으로 다음과 같은 피드백이 있었습니다.

• 나가기 전에 한 번 더 확인해주면 좋겠다
• 다른 사용자 비디오가 일부 보이지 않는다
• 화면 공유가 끊긴다
• mac 환경에서 오디오가 들리지 않는다
• 누가 말하고 있는지 표시가 없다
• 채팅 기능이 있었으면 좋겠다

이 중 일부는 기술적인 문제였고, 일부는 사용성에 대한 의견이었습니다.

특히 인상 깊었던 점은 버그나 성능 문제뿐 아니라 UX에 대한 피드백이 생각보다 많이 나왔다는 것이었습니다. 개발을 할 때는 기능 구현과 안정성에 집중하게 되지만, 실제 사용자에게는 작은 인터페이스 요소도 큰 혼란으로 이어질 수 있다는 점을 다시 느낄 수 있었습니다.

예를 들어 “나가기 버튼이 신고하기 아이콘처럼 보여서 처음에 어떻게 나가는지 헷갈렸다”라는 피드백이 있었습니다. 기능적으로는 전혀 문제가 없는 부분이었지만, 실제 사용자 입장에서는 아이콘의 의미가 직관적이지 않았던 것입니다. 이런 부분은 내부 테스트만으로는 쉽게 발견하기 어려운 문제였습니다.

이 경험을 통해 서비스의 완성도는 단순히 기능 구현만으로 결정되는 것이 아니라는 점을 다시 한번 느끼게 되었습니다.

테스트가 끝난 뒤 로그에서 발견한 문제

테스트가 끝난 이후에는 서버 로그를 분석하며 실제 서비스 내부에서 어떤 일이 발생했는지를 살펴보았습니다. 그 과정에서 특정 Router에서 문제가 발생하고 있었다는 사실을 발견했습니다. 에러 로그를 확인해보니 대부분의 연결 실패가 Router #2에서 발생하고 있었습니다. 대표적으로 다음과 같은 오류들이 반복적으로 기록되어 있었습니다.

• On-Demand Pipe 실패
• Consume 실패
• Consumer resume 실패

로그를 기반으로 정리해보면 상황은 다음과 같았습니다.

즉, 사용자가 방에 입장하는 과정 자체는 정상적으로 이루어졌지만, 일부 사용자는 다른 사람의 영상 스트림을 구독하지 못하는 문제가 발생하고 있었던 것입니다. 사용자 입장에서는 “영상이 보이지 않는다”, “화면이 검게 나온다”와 같은 형태로 체감되었을 가능성이 높습니다.

이 문제는 내부 테스트에서는 전혀 발견되지 않았던 문제였습니다. 실제로 여러 사용자가 동시에 접속하고 다양한 스트림이 생성되는 상황에서만 나타난 현상이었기 때문입니다. 결과적으로 이번 테스트는 단순한 기능 검증을 넘어 실제 운영 환경에서 발생할 수 있는 인프라 문제와 Router 분배 로직 문제를 발견하는 계기가 되었습니다.

사용자 테스트가 아니었다면 몰랐을 것들

이번 경험을 통해 가장 크게 느낀 점은 부하 테스트만으로는 실제 서비스를 완전히 검증하기 어렵다는 것이었습니다.

특히 미디어 서비스의 경우에는 다음과 같은 변수들이 서비스 품질에 큰 영향을 미칩니다.

• 네트워크 환경
• 다양한 운영체제
• 브라우저 차이
• 실제 사용자 행동 패턴

개발 환경이나 시뮬레이션 환경에서는 이러한 변수를 완벽하게 재현하기 어렵습니다. 예를 들어 이번 테스트에서도 mac 환경에서만 발생한 오디오 문제, 특정 Router에서만 발생한 스트림 장애와 같은 문제들이 발견되었습니다.

이런 문제들은 코드만 봐서는 발견하기 어렵고, 실제 사용자 환경에서 서비스를 실행해보아야 드러나는 문제들이었습니다. 이 경험을 통해 “테스트 환경에서 잘 동작한다”는 것과 “실제 서비스에서 문제없이 동작한다”는 것은 완전히 다른 이야기라는 것을 체감할 수 있었습니다.

MVP를 실제 사용자에게 보여보니

이번 테스트는 기술적인 검증뿐 아니라 MVP를 실제 사용자에게 보여볼 수 있는 기회이기도 했습니다. 프로젝트를 진행하면서 기능을 하나씩 구현하고 내부 테스트를 반복하다 보면, 어느 순간 이 서비스가 실제로 가치가 있는지에 대한 질문을 잊게 되는 경우도 있습니다. 하지만 실제 사용자에게 서비스를 공개해보니, 다양한 의견과 아이디어가 자연스럽게 나오기 시작했습니다. 예를 들어 다음과 같은 기능 제안들이 있었습니다.

• 채팅 기능
• 발언자를 강조하는 UI
• Zoom과 같은 음소거 표시
• 다양한 리액션 기능
• 카메라 배경 설정
• 소회의실 기능
• 화이트보드 기능

이 피드백들은 단순한 기능 요청이라기보다는 사용자들이 이 서비스를 어떤 방식으로 사용하고 싶은지를 보여주는 힌트라고 생각했습니다. 아직은 MVP 단계의 서비스였지만, 실제 사용자에게 보여주고 피드백을 받아보면서 이 프로젝트가 발전할 수 있는 방향을 조금 더 구체적으로 상상해볼 수 있었습니다.

마치며

이번 공개 사용자 테스트는 단순히 기능이 동작하는지 확인하는 단계를 넘어, 서비스를 실제 사용자 환경에서 검증해볼 수 있었던 경험이었습니다.

내부 테스트나 로컬 환경에서는 모든 것이 정상적으로 동작하는 것처럼 보였지만, 실제 사용자들이 동시에 접속하고 다양한 환경에서 서비스를 사용하기 시작하자 예상하지 못했던 문제들이 드러났습니다.

또한 기술적인 문제뿐 아니라 사용자 경험 측면에서의 다양한 피드백을 받을 수 있었던 것도 의미 있는 경험이었습니다. 개발 과정에서는 기능 구현과 안정성에 집중하게 되지만, 실제 사용자에게는 작은 UI 요소 하나도 중요한 사용 경험이 될 수 있다는 점을 다시 한번 느끼게 되었습니다.

무엇보다 이번 경험을 통해 “서비스는 결국 실제 사용자 환경에서 검증되어야 한다”는 사실을 직접 체감할 수 있었습니다. 단순한 부하 테스트나 내부 검증만으로는 실제 서비스에서 발생할 수 있는 다양한 상황을 완전히 재현하기 어렵다는 점도 함께 느낄 수 있었습니다.

이러한 공개 사용자 테스트를 직접 기획하고 진행해볼 수 있었던 것은 네이버 부스트캠프라는 환경이 있었기 때문이라고 생각합니다. 단순히 기능을 구현하는 프로젝트를 넘어, 실제 사용자에게 서비스를 공개하고 피드백을 받아보는 경험까지 해볼 수 있었던 점이 개인적으로도 큰 배움이 되었습니다.

이번 경험을 통해 얻은 문제점과 피드백들을 바탕으로, 남은 2주동안 미디어 처리 파이프라인 설계를 탄탄히 하고, 인프라 안정성을 개선하고 사용자 경험을 더 다듬어보는 방향으로 프로젝트를 발전시키고자 합니다.