마지막으로 <적용 및 모니터링> 과정이 있는데요, 예측 모델을 서비스에 적용하기 위해서는 데이터 엔지니어가 참여한 가운데, 모델의 예측 결과 활용 방법과 재학습 방법을 전반적으로 고려해서 협의를 진행합니다. 예측 결과를 실시간으로 제공할지, 배치성으로 제공할지에 따라 다른 시스템과 연동 방법도 달라지고, AB 테스트까지도 고려해서 데이터 엔지니어와 관련 개발팀 연동 협의 작업도 진행합니다. 또한, 예측 성능이 떨어질 수도 있는지 확인하고 주기적으로 모델이 재학습이 필요한지 확인하고 재 학습하는 작업을 해야 합니다. 서비스의 품질을 수치적으로 확인할 수 있는 평가 척도를 마련하기도 하고, 저희가 작업한 모델이 실제로 개선 효과가 있는지 오프라인, 온라인 실험을 통해 평가합니다. 그리고 특정 요인이 서비스에 영향을 끼쳤는지 심층 분석하기도 합니다. 이런 과정에서 통계적 검정, 부트스트랩, 베이지안 추론, 인과 추론(causal inference) 같은 통계학적 지식이 필요하기도 합니다.

Q. 해당 업무가 IT분야에서 어떤 일을 추가로 진행해 나갈까요? 앞으로의 비전이나, 발전 방향을 간략히 말씀 주실 수 있을까요?

A. 앞으로 IT 서비스에 머신러닝 기술이 더 많이 추가되고, 개인화 기능도 더 발전할 것이라고 생각하고 있습니다. 그리고 마케팅, 광고 쪽에서는 마케터를 위한 자동화된 마케팅 시스템에 머신러닝 기능들이 더 긴밀하게 활용되며 고도화될 것 같습니다. 그래서 저희 팀도 응용 범위를 계속 넓히려고 관련 팀들과 같이 협의하고 고민하고 있습니다.

기술적으로는 사용자의 피드백을 머신 러닝 학습에 빠르게 반영하는 알고리즘들이 더 발전할 것 같습니다. 온라인 머신러닝, Multi Armed Bandit (MAB) 알고리즘 등이 해당되는데 저희팀도 관련해서 더 연구를 하려고 합니다. 딥러닝 기술 발전으로 인해 이미지, 텍스트 류의 데이터를 예측 모델에 추가로 활용하는 사례가 늘어나서 사내 관련 연구부서와 더 협력할 예정입니다.

예측 모델의 성능을 높이는 노력도 중요하지만 인과관계를 규명하는 일이 더 늘어날 것이라고 전망합니다. 예를 들어, 마케팅을 실시하고, ‘마케팅 덕분에 성과가 높았는지 실제 어느 정도 기여도가 있는지’ 등을 정량적으로 분석한다면 마케팅 관련 의사결정에 도움이 될 수 있습니다. 새로 적용한 서비스가 실제 서비스 활성화에 기여했는지도 측정할 필요가 있습니다. 그리고, 예측 모델이 얼마나 효과적인지 오프라인/온라인 실험으로 성과를 분석할 필요가 많은데요. 그러나 실험에는 비용이 들고 실험을 제대로 하지 못하고 사후에 분석해야 하는 경우도 있습니다. 이런 여러 가지 이유로 인과관계를 찾는 인과 추론 관련 업무가 계속 늘어날 것이라고 예상합니다.

Q. 팀장님이 업무를 해오시면서 가장 보람 있다고 생각했던 순간이 있을까요?

저희 팀의 업무는 IT 서비스의 사용자 반응을 바로 알 수 있어서 예측 모델을 적용한 결과를 바로 확인하기 쉽습니다. 저희가 작업한 모델로 인해 사용자들이 서비스를 더 잘 쓰게 될 때 보람을 느낍니다. 또한, 데이터사이언스 작업은 팀 단독으로 업무를 할 수 없고, 마케팅, 서비스 기획, 로그 데이터 개발 등 다양한 부서와 협업을 통해 진행되고, 서비스에 적용됩니다. 저희 팀 외에 다른 부서의 많은 사람들을 통해 도움을 받다 보니, 협업 과정과 저희 내부의 연구 과정 등이 하나씩 해결될 때마다 보람을 느낍니다.