테일러가 없애려던 주먹구구를, AI가 되살리고 있다

테일러가 꼽은 세 번째 원인은 방법론이었다.

"비효율적인 주먹구구식 방법들이 여전히 거의 모든 업종에서 통용되고 있고, 그것을 따르느라 작업자들이 노력의 상당 부분을 낭비한다." — Taylor, 1911

그가 책에서 하려던 일도 거기 적혀 있다. 주먹구구를 과학으로 바꿨을 때 얻는 이익이 얼마나 큰지 보여주겠다는 것. 테일러주의는 이후 숙련 해체니 노동 통제니 하는 이유로 많은 비판을 받았고 그 비판은 대체로 정당하다. 다만 「재지 않고 하던 것을 재서 하자」는 한 조각은 지금도 살아 있다.

AI 도입 현장은 대개 주먹구구다

지금 조직들이 AI를 넣는 방식을 보면 이렇다.

프롬프트를 몇 번 고쳐 보고 「이게 더 나은 것 같다」로 고정한다. 유사도 임계값을 0.75로 둔다. 왜 0.75인지는 아무도 모른다. 모델을 상위 버전으로 바꾼다. 바꾸기 전후를 같은 기준으로 비교한 기록은 없다. 결과물이 그럴듯하면 통과시킨다.

전부 테일러가 말한 주먹구구다. 경험과 감으로 정하고, 정한 뒤에는 재지 않는다. 도구가 첨단이라고 방법이 과학적인 건 아니다.

여기엔 특유의 함정이 하나 더 있다. AI의 산출물은 틀렸을 때도 매끄럽다. 사람이 대충 만든 보고서는 대충 만든 티가 나지만, 모델이 잘못된 숫자를 넣은 문장은 맞는 문장과 똑같이 읽힌다. 겉모습으로 품질을 판단하던 습관이 여기서 깨진다.

측정하지 않으면 요약만 보고 쓰게 된다

실제로 겪은 일을 하나 적는다. 외부 자료를 모아 두는 데이터베이스를 몇 달째 돌리고 있었다. 수집기가 각 자료의 원문 페이지를 열어 제목과 링크와 세 줄짜리 요약을 저장한다. 글을 쓸 때 거기서 자료를 골라 쓴다.

최근에 열어 보니 원문 본문이 저장된 건이 한 건도 없었다. 수집기는 원문을 열긴 했는데 요약만 남기고 본문을 버리고 있었다. 더 나쁜 건 글 쓰는 쪽이었다. 작성 지시 어디에도 「링크를 다시 열어 확인하라」는 문장이 없었다. 그러니 세 줄 요약만 보고 글이 나갔다. 숫자도 거기서 가져왔다.

누가 게을러서 생긴 일이 아니다. 아무도 「원문을 열었는가」를 재지 않았을 뿐이다. 측정하지 않는 항목은 지켜지지 않는다.

고친 것, 그리고 아직 안 고친 것

수집기가 본문을 담도록 바꿨다. 그래서 지금은 재는 숫자가 생겼다 — 자료 5,648건 가운데 본문이 들어 있는 건 66건이고, 그 66건이 전부 바꾼 날 이후에 들어온 것이다. 같은 기간에 새로 들어온 292건으로 보면 약 23%다.

고친 쪽과 안 고친 쪽이 이 숫자 하나에 같이 들어 있다. 새로 들어오는 자료는 본문이 쌓이기 시작했지만 과거 5,582건은 여전히 요약뿐이고, 새로 들어오는 것조차 네 건 중 셋은 본문을 못 받고 있다. 글을 쓸 때 참고할 수 있는 자료가 늘어난 건 맞고, 「이제 해결했다」고 적으면 거짓이다. 중요한 건 그 비율을 이제 매달 들여다볼 수 있다는 것이다. 재기 전에는 23%인지 0%인지도 몰랐다.

노무 실무에서 이 함정이 가장 비싼 자리

급여와 근태다. 여기는 설정 하나가 전 직원에게 동시에 복제된다.

통상임금에 무엇을 넣을지, 연차를 회계연도 기준으로 볼지 입사일 기준으로 볼지, 포괄임금 약정이 실제 근로시간을 담고 있는지. 프로그램은 설정된 대로 계산해 줄 뿐 그 설정이 맞는지는 묻지 않는다. 그리고 틀린 설정으로 뽑은 급여대장도 맞는 것과 똑같이 생겼다.

설정이 틀렸을 때 드는 비용도 사람 쪽과 다르다. 사람이 한 건을 잘못 계산하면 한 건이 틀리지만, 기준을 한 칸 잘못 잡으면 그 달 전원이 같은 방향으로 틀린다. 그리고 다음 달에도 같은 설정으로 다시 계산된다. 기준을 바꿔도 이미 확정된 자료는 따라오지 않으니, 고친 시점 이후만 맞고 그 전은 그대로 남는 일도 생긴다.

계산해 주는 도구는 이미 많다. 비어 있는 건 계산 결과가 맞는지 보는 층이다. 월마감 때 「프로그램이 계산했으니 됐다」로 넘어가는 자리마다, 테일러가 말한 주먹구구가 그대로 있다.

과학적 관리를 AI에 옮기면

테일러가 한 일은 작업을 쪼개고 시간을 재고 기준을 세운 것이다. 그 방법을 사람에게 적용한 부분이 비판받았다면, 시스템에 적용하는 건 비판할 이유가 없다.

AI를 넣을 때 재야 할 것은 모델 성능이 아니라 이런 쪽이다. 네 줄로 적으면 이렇게 된다.

넷 다 한 자리 숫자로 떨어지고, 전부 도입 전후를 비교할 수 있는 형태다. 모델을 바꿨다면 바꾸기 전 값이 있어야 바꾼 효과를 말할 수 있다.

하나만 고르라면 마지막 것이다. 같은 입력을 넣었을 때 같은 결과가 나오는지를 기록해 두지 않으면, 무엇을 고쳐서 나아졌는지 영영 알 수 없다. 백 년 전에도 같은 말이었다.