제품을 만드는 모든 결정에는 두 종류의 에러가 있습니다. 놓치는 것과 헛챙기는 것. 어느 쪽이 더 비싼지는 맥락마다 다른데, 우리는 익숙한 한쪽 본능을 모든 맥락에 기계적으로 적용합니다. precision과 recall이라는 렌즈로, 지금 어느 게임을 하고 있는지 가리는 법에 대해.
제품을 만드는 모든 결정에는 두 종류의 에러가 있습니다. 놓치는 것과 헛챙기는 것. 어느 쪽이 더 비싼지는 맥락마다 다른데, 우리는 익숙한 한쪽 본능을 모든 맥락에 기계적으로 적용합니다. 제 결론은, 누가 옳은지 따지기 전에 지금이 precision의 게임인지 recall의 게임인지를 먼저 가려야 한다는 것입니다.
제품을 만들다 보면 풀리지 않는 긴장이 하나 있습니다. 속도냐 방향이냐, 빠르게 쳐낼 것인가 맞는 것을 할 것인가. 적게 만들되 타율을 높일 것인가, 넓게 커버하되 헛챙김을 감수할 것인가. 정보 검색의 언어를 빌리면 precision이냐 recall이냐의 문제입니다.
둘 다 중요하기 때문에 이 긴장은 영영 풀리지 않습니다. 방향만 따지다 아무것도 출시하지 못하는 팀도, 속도만 내다 아무도 안 쓰는 기능을 잔뜩 쌓는 팀도 똑같이 실패합니다. 그래서 흔한 조언은 "균형을 잡아라"입니다.
그런데 저는 이 조언이 별로 쓸모없다고 생각합니다. 진짜 함정은 균형을 안 잡는 게 아니라, 지금 어느 게임을 하고 있는지도 모른 채 익숙한 한쪽 본능을 기계적으로 적용하는 것이기 때문입니다. precision이 중요한 자리에서 욕심을 부리다 군더더기를 쌓거나, recall이 생명인 자리에서 깔끔함을 챙기다 정작 중요한 걸 놓칩니다. 균형의 문제가 아니라 맥락 인식의 문제입니다. 이 글은 그 인식을 또렷하게 만드는 방법에 대한 이야기입니다.
precision과 recall은 맞바꿈(trade-off) 관계입니다. 한쪽을 올리는 행동은 반드시 다른 쪽을 깎습니다. "기준을 조인다 / 깐깐하게 거른다 / 적게 내보낸다" — 이건 전부 precision을 사고 recall을 파는 같은 행동입니다. 그 거래가 이득인지 손해인지는 오직 어느 에러가 더 비싼 맥락이냐에 달려 있습니다. 그런데 행동 자체는 어느 맥락에서나 똑같이 생겼습니다. 그래서 헷갈립니다.
몇 가지 자리를 같은 렌즈로 보겠습니다.
| 자리 | 조이면 (precision↑) | 풀면 (recall↑) | 보통 더 비싼 에러 |
|---|---|---|---|
| 검색·추천 | 정확한 것만, 노이즈 적음 | 많이 건지되 잡음 섞임 | 맥락마다 다름 |
| 채용 스크리닝 | 헛면접을 줄임 | 좋은 후보를 안 놓침 | 보통 놓침 |
| 모니터링 알림 | 알림 피로를 줄임 | 진짜 장애를 안 놓침 | 보통 놓침 |
| 보안 차단 | 오탐으로 막는 일이 적음 | 위협을 안 놓침 | 보통 놓침 |
| 기능 노출 | 군더더기를 안 쌓음 | 필요한 걸 안 숨김 | 맥락마다 다름 |
표를 가로로 읽으면 같은 말이 반복됩니다 — 조이면 헛챙김이 줄고, 풀면 놓침이 줄어듭니다. 핵심은 맨 오른쪽 칸입니다. 채용에서 좋은 후보 하나를 놓치는 비용은 헛면접 한 번의 비용보다 대개 훨씬 큽니다. 모니터링에서 진짜 장애를 놓치는 비용은 알림 하나 더 울리는 비용과 비교가 안 됩니다. 이런 자리는 recall의 게임입니다. 여기서 "깐깐하게 조이자"는 precision 본능은 미덕이 아니라 사고입니다.
반대로 검증되지 않은 새 기능을 자꾸 더하는 것은 인지 부하와 유지 비용을 쌓습니다. 37signals의 Jason Fried가 "어떻게 거절하는가"에서 기능 요청에 기본값으로 "아니오"를 두라고 한 것, Joel Spolsky가 "기능이 적으면 단순하다"는 통념을 경계한 것 — 이건 precision의 게임에서 나온 지혜입니다. 여기서는 조이는 게 맞습니다.
문제는 이 두 게임이 똑같이 생겼다는 것입니다. 둘 다 "보여줄까, 말까"의 모습을 하고 있습니다. 그래서 한 게임에서 통한 본능을 다른 게임에 그대로 들고 갑니다. precision의 지혜를 recall의 자리에 적용하는 순간, 절제처럼 보이던 손이 실은 중요한 것을 베고 있습니다.
그렇다면 우리는 무작위로 헷갈리는 걸까요. 아닙니다. 체계적으로 한 방향으로 기웁니다. 그 방향을 알면 어디를 의심해야 할지가 분명해집니다.
원인은 두 에러의 비용이 보이는 방식이 다르다는 데 있습니다. 조여서 생긴 손해 — 놓친 후보, 못 띄운 알림, 숨긴 기능 — 는 조용하고, 미래에, 분산되어 터집니다. 누구의 책임으로도 잘 잡히지 않습니다. 반대로 풀어서 생긴 손해 — 헛면접, 알림 피로, 쌓인 군더더기 — 는 시끄럽고, 지금, 또렷하게 보입니다. 누군가의 결정 탓으로 곧장 연결됩니다.
인지심리학에는 이미 이름이 있습니다. **부작위 편향(omission bias)**입니다. Ritov와 Baron의 연구에 따르면, 사람은 같은 크기의 손해라도 *행동(action)*으로 생긴 것을 *부작위(omission)*로 생긴 것보다 더 나쁘게 느낍니다. 무언가를 해서 잘못되면 내 잘못 같고, 아무것도 안 해서 잘못되면 어쩔 수 없는 일처럼 느껴집니다.
제품 결정에 대입하면 정확히 맞아떨어집니다. "보여주기 / 더하기 / 풀기"는 행동으로 코딩되어 비용이 또렷이 청구되고, "안 보여주기 / 빼기 / 조이기"는 부작위로 코딩되어 비용이 청구되지 않습니다. 그래서 저울은 증거와 무관하게 늘 "조이자" 쪽으로 한 칸 기울어 있습니다. recall 쪽 비용이 장부에 아예 안 적히기 때문입니다.
여기에 함정이 하나 더 겹칩니다. recall의 게임에서는 "수요가 적다"는 신호 자체가 못 믿을 것일 때가 많습니다. 사람들은 가능한지도 모르는 것을 요청하지 않습니다. "원래 안 되는 거"라고 체념한 기능은 요청 목록에 오르지 않습니다. 그러니 우리가 세는 건 들어온 요청뿐이고, 체념해 사라진 수요는 0으로 잡힙니다. 안 그래도 0점인 부재의 비용 위에, 과소평가된 수요까지 얹힙니다.
진단이 끝났으니 처방은 간단합니다. 거창한 프레임워크가 아니라, 결정 앞에서 강제로 던지는 세 개의 질문입니다.
첫째, 지금 어느 에러가 더 비싼가? 놓침인가, 헛챙김인가. 이 질문에 답하기 전에는 "조이자 / 풀자"를 입에 올리지 않습니다. 같은 행동이라도 답이 "놓침이 더 비싸다"면 조이기는 자해이고, "헛챙김이 더 비싸다"면 조이기는 미덕입니다. 행동이 아니라 이 답이 옳고 그름을 정합니다.
둘째, 안 보이는 쪽 비용을 장부에 올렸는가? 부작위 편향은 한쪽 칸을 비워둡니다. 그러니 의식적으로 채워 넣어야 합니다. "풀어서 생기는 혼란"만 적지 말고 "조여서 놓치는 것"도 같은 표에 적습니다. 비대칭은 비용이 실제로 비대칭이어서가 아니라, 한 칸을 안 적어서 생기는 착시일 때가 많습니다.
셋째, 이게 노출 결정인가 범위 결정인가? 종종 "조이자"는 사실 "전부 끄자"가 아니라 "대상을 좁히자"여야 합니다. 채용이라면 모든 후보를 거르는 게 아니라 특정 직무만, 기능이라면 전체를 숨기는 게 아니라 권한 있는 사람에게만. 범위 질문의 답이 노출 질문의 답으로 흘러내리지 않게 막는 것만으로도 많은 과잉 조이기가 사라집니다.
이 세 질문은 결론을 대신 내려주지 않습니다. precision을 고를지 recall을 고를지는 여전히 사람의 판단입니다. 다만 그 판단이 기본값으로 한쪽에 기운 저울 위에서 내려지지 않게 막아줍니다. 그게 이 질문들이 하는 일의 전부이고, 그거면 충분합니다.
이 렌즈에도 약점이 있어 정직하게 적어둡니다.
어느 에러가 더 비싼지가 늘 또렷하진 않습니다. 검색·추천처럼 맥락에 따라 정말로 반반인 자리가 있습니다. 그럴 땐 이 렌즈가 답을 주는 게 아니라, "여기는 반반이니 데이터로 튜닝해야 한다"는 사실을 알려줄 뿐입니다. 그것도 쓸모지만 결론은 아닙니다.
부작위 편향은 이름을 안다고 사라지지 않습니다. 본능이기 때문입니다. "안 보이는 비용을 적어라"는 규칙은 쉽게 형해화됩니다 — 미래에 분산되어 터지는 비용은 표에 적을 때조차 과소평가되니까요. 자각은 교정의 시작이지 교정 그 자체가 아닙니다.
그리고 무엇보다, 때로는 정말로 조이는 게 답입니다. 이 글은 "항상 풀어라"가 아닙니다. 우리가 디폴트로 precision 쪽에 기운다는 건 recall의 게임에서 특히 조심하라는 뜻이지, precision의 게임을 부정하라는 뜻이 아닙니다. 검증 안 된 기능에 "아니오"를 두는 규율은 여전히 옳습니다 — 그게 precision의 게임인 한에서.
속도냐 방향이냐는 풀리지 않습니다. 풀려서도 안 됩니다. 그 긴장이 사라지는 순간 제품은 한쪽으로 무너지니까요. precision과 recall은 맞바꿈이고, 좋은 팀은 그 사이에서 매번 새로 균형을 잡습니다.
그러니 중요한 건 둘 중 하나를 영구히 고르는 게 아니라, 매 결정마다 지금 어느 게임을 하고 있는지 아는 것입니다. 같은 "조이자"가 한 자리에서는 군더더기를 쳐내는 절제이고, 다른 자리에서는 꼭 필요한 것을 베는 실수입니다. 두 자리는 똑같이 생겼고, 우리의 본능은 증거와 무관하게 한쪽으로 기울어 있습니다. 그 기울기를 알고 매번 의식적으로 되묻는 것 — 어쩌면 그게 속도와 방향 사이에서 일하는 사람이 가장 자주 써야 할 도구인지도 모르겠습니다.
누가 옳은지 따지기 전에, 지금이 어느 게임인지부터.