모델린(Modelyn)은 프로덕션에서 머신러닝을 운영하는 팀을 위한 평가 인프라를 만듭니다. 대리 지표 대시보드 대신, 모델이 바뀔 때마다 자동 실행되는 버전 관리된 평가 스위트를 제공합니다 — 소프트웨어 엔지니어가 CI에 기대하는 규율을 모델에 적용한 셈입니다.
2021년부터 베를린에 자리 잡은 이 회사는 산업용 ML 팀 컨설팅에서 출발했고, 그 감각을 그대로 유지합니다. 평가는 벤치마크가 아니라 실제 실패 사례를 기준으로 작성합니다. 고객들이 모델린으로 확신을 갖고 답하려는 질문은 하나입니다 — 이번 변경으로 모델이 좋아졌는가, 아니면 그냥 달라졌는가.