[컬처 인사이트] 프롬프트 다음의 경쟁력, AI를 잘 쓰는 조직은 무엇이 다른가

개인의 AI 활용 넘어 함께 배우고 성장하는 조직

기업의 데이터와 프로세스가 AI와 연결되는지가 관건

생성형 AI가 확산하면서 ‘AI를 잘 쓰는 사람’의 생산성은 빠르게 높아지고 있다. 하지만 개인의 업무 속도가 빨라졌다고 조직의 경쟁력까지 높아지는 것은 아니다. 모두가 비슷한 AI를 사용하는 시대에는 기업만이 가진 데이터와 지식, 축적된 경험을 어떻게 AI와 연결하느냐가 더 큰 차이를 만든다.

글 | 김성준 국민대학교 경영대학원 겸임교수, 『AI 조직』 저자

조직은 이제 개인의 생산성을 넘어 회사의 경쟁력을 바꾸는 AI를 고민할 때다 © SHUTTERSTOCK

AI를 잘 쓰는 사람에서, AI를 잘 쓰는 조직으로

요즘 기업에서 AI를 꽤 잘 활용하는 사람을 어렵지 않게 만날 수 있다. 보고서 초안을 순식간에 만들고, 긴 문서를 요약하며, 엑셀 데이터를 빠르게 분석한다. 불과 몇 년 사이 AI를 잘 쓰는 사람과 그렇지 않은 사람 사이에 꽤 큰 생산성 차이가 생긴 것이다.

국내 대기업 한 고위 임원은 여기서 이상한 현상을 발견했다. “AI를 활용하면서 개인 생산성은 확실히 높아졌지만, 조직 생산성이 높아졌느냐고 하면 별로 달라지지 않았다” 라는 것이다. 한 사람이 열 시간 걸려 쓰던 보고서를 30분 만에 끝내더라도, 그 보고서가 여전히 여러 사람의 검토와 결재를 거치고 회의에서 결정되지 않은 채 머문다면 회사가 움직이는 속도는 크게 달라지지 않는다. 팀장들이 “보고서 작성은 빨라졌는데 내가 병목이다”라고 말하는 이유도 여기에 있다. AI가 개인을 빠르게 만드는 것과 회사를 빠르게 만드는 것은 다른 문제다. 그렇다면 조직은 이 현상을 어떻게 풀어야 할까?

첫 번째 전환은 개인 활용을 조직 학습으로 바꾸는 데서 시작한다. 몇몇 기업은 대규모 시스템 교체나 일률적인 교육부터 시작하기보다, 구성원이 자기 업무에서 작게 실험하고, 효과가 있었던 방법과 시행착오를 서로 공유하게 했다. 사내 슬랙 채널에 활용법이 쌓이고 좋은 사례는 타운 홀 미팅(Town hall Meeting)에서 다시 소개됐다. A가 시행착오 끝에 알아낸 방식을 B가 처음부터 활용하고, B가 개선한 방법을 C가 이어받을 때 개인 노하우가 조직 역량으로 바뀐다. 직원 한두 명에게 머물던 활용법이 반복해서 복제되고 개선되기 시작할 때 비로소 조직 차원의 학습이 생긴다.

하지만 이것만으로 오래 지속되는 차이를 만들기는 어렵다. 생성형 AI가 빠르게 보편화하면 결국 많은 기업이 비슷한 수준의 모델을 사용하게 된다. 경쟁사 직원도 같은 AI를 쓸 수 있고 우리 직원도 같은 AI를 쓸 수 있다. 좋은 AI를 쓰는 것 자체가 업계 기본값이 되면 중요한 것은 모델이 아니라 ‘AI가 어느 회사의 맥락을 얼마나 잘 이해하느냐’다.

여기서 기업만이 가진 데이터와 지식이 중요해진다. 국내한 스타트업은 고객을 행동 단계별로 세밀하게 나누고, 각 집단에 다른 메시지를 보내 반응을 관찰했다. ChatGPT는 고객 이탈을 줄이는 일반적인 방법을 설명할 수 있지만, 우리 고객이 어느 화면에서 멈췄고 어떤 메시지에 반응했으며 언제 떠났는지는 알지 못한다. 경쟁사가 같은 모델을 살 수는 있어도 우리 고객이 남긴 행동 기록까지 살 수는 없다. 범용 AI 성능이 비슷해질수록 기업이 오랫동안 쌓아 온 데이터와 맥락이 더 큰 차이를 만든다.

제조 현장도 마찬가지다. 한 국내 제조업체는 문제를 해결할 때마다 파워포인트 한 장으로 정리했고, 지난 20년 동안 20여만 장이 쌓였다. 과거에는 비슷한 문제가 생기면 경험 많은 직원이 예전 자료를 찾거나 직접 다뤄 본 사람에게 물었다. AI가 이 기록에서 과거 문제와 원인, 조치, 결과를 찾아 비교할 수 있다면 20여만 장은 단순한 문서 보관소가 아니라 회사가 20년 동안 쌓아 온 ‘문제 해결의 기억’이 된다. 새로운 이상이 생겼을 때 유사 사례를 찾고 여러 사건을 비교해 사람이 놓친 반복 패턴까지 발견할 수 있다. 기업의 경험이 AI를 통해 새로운 경쟁력으로 바뀌는 순간이다.

데이터를 모으는 회사에서, AI가 일하는 회사로

다만 데이터가 회사 안에 있다고 곧바로 경쟁력이 생기는 것은 아니다. 고객 상담 기록은 시스템에 있고, 품질 문제 해결 방법은 개인 폴더에 있으며, 핵심 판단 기준은 특정 관리자 머릿속에만 남아 있을 수 있다. 사람들끼리도 매번 ‘어느 자료가 최신인가’를 묻는 조직이라면 AI도 제대로 일하기 어렵다. 그래서 데이터의 양보다 무엇이 공식 정보인지, 어떤 데이터가 서로 연결되는지, AI가 어디까지 접근할 수 있는지를 정리하는 일이 더 중요하다.

그렇다고 모든 데이터를 한곳에 모으는 일부터 시작할 필요는 없다. 먼저 해결할 문제와 업무 흐름을 정하고, 그 일을 하려면 어떤 정보가 필요한지 거꾸로 따져 보는 편이 낫다. 고객 문의를 AI가 처리하게 하려면 상담 기록, FAQ, 제품 정보, 최신 정책이 연결되어야 한다. 데이터가 업무와 연결되면 AI는 대화창을 열어 쓰는 도구를 넘어 실제 일을 맡아 처리하는 수단으로 바뀐다.

국내 한 기업 창업자는 처음에는 경영지원 업무에서 사람이 하던 일을 가능한 범위에서 AI에게 맡기고, AI가 하기 어려운 부분을 사람이 담당하게 했다. 가능성이 확인되자 영업과 마케팅으로 넓혔다. 고객 문의가 들어오면 AI가 내용을 분석해 필요한 작업을 정하고 적합한 구성원에게 배정하도록 만들었다. 같은 AI를 쓰더라도 한 회사에서는 보고서 초안을 빨리 만드는 데 머무는 것에 비해 다른 회사에서는 고객 요청을 읽고 다음 행동까지 연결한다면, 효과는 크게 달라진다. 사람도 모든 단계에 직접 개입하기보다 목표와 원칙, 허용할 위험을 정하고 예외 상황에서 판단하는 역할을 더 많이 맡게 된다.

그다음 단계에서는 AI가 일한 결과를 다시 읽고 개선안을 제안할 수 있다. 필자가 운영 중인 AI 코칭 서비스에서도 사용자의 질문, AI의 답변, 만족도, 완료율, 피드백을 다시 AI가 분석하게 했다. 그러자 잘 작동한 부분과 부족한 부분을 찾아내고, 대화 규칙을 어떻게 고칠지 제안했으며 새로운 시스템 프롬프트 초안까지 만들었다. AI로 운영한 서비스를 다시 AI가 분석하고 다음 개선안을 만드는 일은 이미 가능하다.

이렇게 보면 기업 AI 경쟁력은 네 단계로 정리할 수 있다. ① 구성원이 AI를 자연스럽게 활용하고 ② 개인이 발견한 활용법과 시행착오를 조직이 함께 배우며 ③ 기업 데이터와 지식을 업무에 연결해 AI가 실제 운영에 참여하게 하고 ④ 운영 결과를 다시 데이터로 남겨 다음 개선에 활용하는 흐름이다. 모든 기업이 같은 순서를 밟을 필요는 없다. 다만 비슷한 AI를 쓰는 시대에는 경쟁사가 쉽게 복제할 수 없는 고객·제품 데이터, 오랫동안 쌓아 온 시행착오와 판단 기준, 이를 실제 업무와 연결한 프로세스가 차이를 만든다. 프롬프트는 사람을 빠르게 만들 수 있다. 그리고 여기에 데이터와 프로세스가 더해지면 회사를 다르게 만들 수 있다.

VOL.132(2026 9+10)