AI 시장, ‘모델 경쟁’에서 ‘운영경제성 경쟁’으로 이동

1. 개요

2026년 하반기 글로벌 AI 시장의 경쟁축이 빠르게 달라지고 있다. 지난 수년간 AI 산업의 관심이 더 큰 모델과 더 높은 성능, 이를 학습하기 위한 GPU 확보에 집중됐다면, 최근에는 AI를 실제 기업 업무에 적용하고 지속적으로 운영하는 과정에서 발생하는 비용과 경제성이 새로운 경쟁요소로 부상하고 있다.

최근 Gartner와 Forrester가 발표한 자료를 연결하면 이러한 변화는 크게 네 단계로 나타난다. AI 인프라 투자가 급증하고, AI 컴퓨팅의 중심이 학습(Training)에서 추론(Inference)으로 이동하며, Agentic AI 확산으로 추론비용 관리가 중요해지고, 궁극적으로 AI가 기존 SW와 IT서비스 시장의 경쟁구조까지 변화시키는 흐름이다. 이는 각각 독립된 현상이라기보다 AI가  개발 단계를 넘어 대규모 상용화 단계로 진입하면서 나타나는 연속적인 시장 변화로 볼 수 있다.

2. 주요 변화

• AI 인프라 투자 급증…AI 최적화 IaaS 422억7,600만 달러

첫 번째 변화는 AI 인프라 시장의 가파른 성장이다. Gartner는 2026년 8월 10일 전 세계 AI 최적화 IaaS(AI-optimized IaaS) 지출이 2025년 215억2,900만 달러에서 2026년 422억7,600만 달러로 96.4% 증가할 것으로 전망했다. 2027년에는 다시 56.5% 증가한 661억4,300만 달러에 이를 것으로 예상했다.

같은 기간 전체 IaaS 시장은 2025년 2,221억7,000만 달러에서 2026년 2,873억4,700만 달러로 29.3% 성장할 전망이다. AI 최적화 IaaS의 성장률이 전체 IaaS보다 세 배 이상 높다는 점에서 AI 워크로드가 클라우드 인프라 시장의 주요 성장동력으로 자리 잡고 있음을 보여준다.

Gartner는 이러한 성장이 대규모언어모델(LLM) 학습을 위한 인프라 수요와 함께 기업 애플리케이션과 업무 프로세스에서 AI 활용이 빠르게 현실화되고 있기 때문이라고 설명했다. 기업들이 모델 개발에서 대규모 운영 단계로 이동하면서 파인튜닝 모델과 도메인 특화 모델이 고객서비스와 실제 운영시스템에 통합되고 있으며, 이에 따라 주기적인 학습보다 지속적이고 실시간으로 실행되는 컴퓨팅 수요가 커지고 있다는 것이다.

이는 AI 인프라 시장의 성격도 바꾸고 있다. AI 인프라를 단순히 GPU를 구매하거나 임대하는 시장으로 보기 어려워지고 있다. AI가 실제 서비스에 적용되면 GPU·AI 가속기뿐 아니라 네트워크, 스토리지, 클라우드, 모델 운영, 자원 스케줄링과 비용관리까지 함께 필요해진다.

따라서 향후 AI 인프라 경쟁에서는 단순한 컴퓨팅 자원 확보뿐 아니라 확보한 자원을 얼마나 높은 가동률과 낮은 비용으로 운영할 수 있는지가 중요한 차별화 요소가 될 가능성이 높다.

• AI 시장의 중심, Training에서 Inference로 이동

두 번째 변화는 AI 컴퓨팅 수요의 중심이 학습에서 추론으로 이동하고 있다는 점이다. Gartner는 2026년 전 세계 AI 최적화 IaaS 가운데 추론용 지출이 233억 달러에 달해 학습용 지출 190억 달러를 처음으로 넘어설 것으로 전망했다. 추론은 2026년 전체 AI 최적화 IaaS 지출의 55%를 차지하고, 2027년에는 이 비중이 59%까지 높아질 것으로 예상했다. 이는 AI 산업이 모델을 만드는 단계에서 만들어진 모델을 대규모로 사용하는 단계로 이동하고 있다는 시장 신호로 해석할 수 있다.

학습은 대규모 컴퓨팅 자원이 필요하지만 모델 개발과 업데이트를 중심으로 발생한다. 반면 추론은 사용자가 AI 서비스를 사용할 때마다 발생한다. 생성형 AI가 고객상담, 소프트웨어 개발, 문서작성, 검색, 마케팅, 금융분석, ERP·CRM 등 다양한 기업 업무에 들어갈수록 추론 연산은 지속적으로 발생하게 된다. Gartner 역시 Agentic AI의 확산이 다단계 자율 실행을 통해 컴퓨팅 집약도를 높이고 있으며, 이 때문에 추론이 AI 인프라의 지배적인 소비 형태로 부상하고 있다고 분석했다.

이 같은 변화는 AI 인프라와 반도체 시장의 경쟁 기준에도 영향을 줄 수 있다. 대규모 모델 학습에서는 절대적인 연산성능이 매우 중요하지만, 반복적으로 발생하는 추론에서는 성능뿐 아니라 처리량, 응답속도, 전력효율과 업무당 비용이 중요한 경제성 지표가 된다. 따라서 모든 AI 업무를 최고 성능 GPU로 처리하기보다 업무 특성에 따라 GPU, NPU, CPU와 서로 다른 규모의 모델을 조합하는 방식이 경제적으로 중요해질 가능성이 있다.

국내 AI 반도체 기업에도 이러한 변화는 중요한 시장기회가 될 수 있다. 글로벌 GPU 기업과 대규모 학습시장에서 직접 경쟁하는 것뿐 아니라 기업용 추론 워크로드를 얼마나 낮은 비용과 전력으로 처리할 수 있는가가 시장 진입의 중요한 경쟁요소가 될 수 있기 때문이다.

• Agentic AI 확산…토큰 가격 하락에도 전체 추론비용은 증가

세 번째 변화는 Agentic AI 확산에 따른 AI 운영비용 문제다. Gartner는 2026년 8월 17일 AI 에이전트의 워크플로우당 추론비용이 2028년까지 5배 이상 증가할 것이라고 전망했다. 개별 모델의 가격과 토큰 경제성은 개선되고 있지만 AI 기능이 고도화될수록 더 많은 토큰과 복잡한 모델이 사용되면서 전체 AI 비용이 오히려 증가할 수 있다는 것이다. Gartner는 이러한 현상을 ‘Inference Paradox’라고 설명했다. 기존 챗봇과 Agentic AI의 차이가 중요한 이유도 여기에 있다. 단순 챗봇은 사용자의 질문을 읽고 답변을 생성하면 업무가 끝나는 경우가 많다. 그러나 AI Agent는 하나의 업무를 수행하면서 계속 추론하고, 판단하고, 자신의 결과를 검토하는 등의 복잡한 과정을 수행한다.

Gartner에 따르면 기본적인 챗봇과 비교해 업무를 Agentic reasoning 모델에 전달하면 공급자가 부담하는 추론비용은 최소 5배 증가하며, 업무 복잡성이 높아지면 그보다 훨씬 커질 수 있다.

또 하나 주목할 부분은 멀티모델 전략이다. Gartner는 모든 업무를 경제적으로 처리할 수 있는 하나의 범용 모델이 등장할 것으로 기대하기 어렵다고 평가하면서 경쟁력 있는 AI 제품을 만들기 위해서는 복잡한 멀티모델 생태계를 개발하고 유지할 필요가 있다고 분석했다. 이러한 변화는 특히 AI 기능을 빠르게 확대하고 있는 SaaS와 SW기업에 중요한 경영 과제가 될 가능성이 있다. 기존 SaaS에서는 고객의 사용량 증가가 공급자의 컴퓨팅 원가 증가와 반드시 비례하지 않았지만, 생성형 AI에서는 모델 호출과 추론이 증가하면 비용도 함께 발생한다. Agentic AI가 확산될수록 이러한 비용 부담이 커질 가능성이 있다. 이 부분은 Gartner가 SaaS 산업의 매출총이익률을 직접 전망한 것이 아니라, Gartner의 추론비용 전망을 SaaS 비즈니스 모델에 적용한 시장적 해석이다.

따라서 SaaS 기업은 기존 ARR, 사용자 수, 유료 좌석 수뿐 아니라 향후에는 사용자당 추론비용, AI 업무당 원가, 모델 호출량과 AI 기능별 수익성 등을 함께 관리할 필요성이 커질 수 있다. 결국 Agentic AI 시대에는 단순히 가장 좋은 모델을 사용하는 것보다 업무 난이도에 따라 적절한 모델을 배치하고 전체 워크플로우 비용을 최적화하는 능력이 중요한 경쟁요소로 부상할 가능성이 높다.

• AI, 독립시장을 넘어 기존 SW·IT서비스 시장으로 영향 확대

네 번째 변화는 AI의 영향이 AI 자체 시장을 넘어 기존 SW와 IT서비스 시장으로 확대되고 있다는 점이다. Forrester는 2026년 8월 12일 ‘The Forrester AI Disruption Model’과 관련 Category Analysis를 공개했다. Category Analysis는 AI가 미치는 영향을 17개 기술·서비스 카테고리와 Forrester가 추적하는 200개 이상의 시장을 대상으로 분석하고 있다.

Forrester는 AI가 기술·서비스 시장을 어떻게 교란(disrupt)하거나 가속(accelerate)하는지를 분석하기 위한 9개 요인의 프레임워크를 제시했다. 이는 AI를 별도의 하나의 성장시장으로만 보는 것이 아니라 기존 기술과 서비스 시장의 변화요인으로 분석하고 있다는 점에서 의미가 있다.

따라서 향후 ICT 시장에서는 “AI 시장이 얼마나 커지는가”와 함께 AI로 인해 기존 시장의 가치가 어디에서 줄어들고 어디에서 새롭게 증가하는가를 살펴볼 필요가 있다.

SaaS 시장이 대표적이다. 기존 기업용 SW에서는 사람이 애플리케이션 화면에 접속해 메뉴를 선택하고 데이터를 입력하면서 업무를 수행했다. Agentic AI가 확대되면 AI Agent가 API나 각종 도구를 통해 기업 애플리케이션과 데이터에 접근해 일부 업무를 대신 수행하는 방식이 확대될 수 있다.

이 경우 SaaS 기업의 경쟁력도 단순한 화면과 기능에서 데이터, API, 업무 프로세스, 시스템 연계 능력 등으로 확대될 가능성이 있다. 다만 이러한 변화가 기존 SaaS UI를 대체하거나 특정 사업모델을 반드시 쇠퇴시킨다고 Forrester가 직접 전망한 것은 아니므로, 이는 Forrester의 시장 재편 프레임을 바탕으로 한 전망으로 구분해 볼 필요가 있다.

IT서비스 시장 역시 비슷하다. AI 코딩과 Agentic AI가 개발·테스트·운영 업무의 생산성을 높일 경우 기존 인력 투입형 사업에는 변화 압력이 발생할 수 있다. 반면 데이터 현대화, AI 플랫폼 구축, AI 업무 프로세스 설계, AI 거버넌스와 AI 운영서비스 등에서는 새로운 수요가 만들어질 가능성이 있다.

따라서 AI가 IT서비스 시장을 일방적으로 축소한다고 단정하기보다는 기존 IT서비스 내부에서 가치가 발생하는 영역을 이동시키는 요인으로 보는 것이 보다 적절하다.

3. 향후 전망

2026년 하반기 AI 시장의 구조 변화는 비교적 선명하게 나타난다. AI 인프라 투자 확대 → 기업 AI 상용화 → Training에서 Inference로 중심 이동 → Agentic AI 확산 → 추론·운영비용 증가 → AI 비용 최적화 필요성 확대 → SW·IT서비스 시장 변화 라는 흐름으로 요약된다.

이에 따라 AI 시장의 경쟁기준도 점차 확대될 가능성이 있다. 모델 성능과 GPU 확보가 여전히 중요하지만 AI가 실제 기업 업무에 대규모로 적용되기 시작하면 추론비용, 컴퓨팅 자원 효율성, 업무당 AI 원가, 멀티모델 운영능력과 AI 투자 대비 효과도 중요한 경영지표가 될 수 있다.

특히 SaaS와 IT서비스 기업에는 AI를 제품에 추가하는 것 자체보다 AI 사용량이 증가해도 지속 가능한 수익구조를 유지할 수 있는가가 중요한 과제가 될 전망이다. 단순 업무에는 비용이 낮은 모델을 사용하고, 고난도 업무에만 고성능 모델을 배치하는 방식과 함께 모델 라우팅, 캐싱, 소형모델 활용 등 비용 최적화 기술의 중요성도 높아질 수 있다.

결국 2026년 하반기 AI 시장은 ‘누가 가장 뛰어난 모델을 만드는가’의 경쟁에서 ‘누가 AI를 실제 업무에 적용하면서 성능과 비용을 동시에 최적화할 수 있는가’의 경쟁으로 범위가 확대되고 있다.

이는 AI 시장이 기술개발 중심의 초기 단계를 지나 본격적인 산업화·상용화 단계로 이동하고 있다는 신호로 볼 수 있다. 앞으로 AI 산업의 경쟁력을 평가할 때도 모델 성능뿐 아니라 Inference Economics와 Operational Economics, 즉 AI를 실제로 사용하는 데 들어가는 비용과 이를 통해 창출하는 사업가치를 함께 보는 것이 더욱 중요해질 전망이다.