[안수빈의 시야] 2023 상반기 AI와 AI API 산업에 대하여
여러 SNS를 통해 공유했으나 아카이빙용으로도 정리합니다. 총 3개의 글이고 각각의 큰 주제는 다음과 같습니다.
- AI 산업의 버블과 그 중요성
- AI 서비스의 근간이 될 팀은?
- LLM 기반 API 산업에서 경쟁력을 갖출 수 있는 서비스
관련하여 의견이 있다면 LinkedIn을 통해 주시면 감사하겠습니다.🙏
1. AI 산업의 버블과 그 중요성
[1] 2023년은 AI에 있어 정말 큰 한해인 것은 확실하다. 자체 모델 없이 API를 사용한 AI기업들의 등장. 거기다 AI 도입을 위한 "자칭 GPT 전문가"들의 발표가 더 많다. 심지어 기존 AI 모델 개발하던 회사들도 API로 전환한 경우가 대다수다. 내용 업데이트를 보면 "GPT-4 무제한 사용" 이라니...안타까운 마음이 크다. 예전에는 자체 모델이라는 낭만이라도 있었는데.
[2] 불편한 것은 사실이다. 카페에서 들리는 내용은 참담한 수준도 많다. 예를 들면 파라미터가 XX보다 많은 YY모델이 나왔다..헉 성능 대박이겠다? 그런 말 하실거면 그럼 MLP만 계속 쌓으시라.
[3] 그래도 "버블은 기술 발전에 도움이 된다"를 믿기로 했다.
[4] 2018년, 내가 처음 AI를 접했을 때, 다수는 고전 ML과 통계도 모르면서 TensorFlow로 레이어만 쌓으면 되는 줄 아느냐는 의견이 종종 있었다. 이 의견은 Keras, PyTorch가 등장하며 더 많아졌다. 더 밑으로가면 "근본 없이 Python 부터 한다. 역시 근본은 C/C++ 또는 JAVA지"도 있다.
[5] 물론 2018~2022까지 열심히 AI를 공부하는 동안 AI에도 연금술 같은 경우도 많았다. Loss함수 다 사용해보고, 모듈 다 갈아끼워보고... 뭐 그런 과정에서 Bag of Tricks 논문들도 나왔고 발전을 이뤘다고 생각한다. 그리고 실제로 연금술도 화학에 매우 큰 도움이 되었다.
[6] 결론적으로 연구자/개발자는 수학적으로, 프로그래밍 언어적으로 다시 내려가 기반을 다지며 현재 산업에 적용하기 위해 연구 및 개발들을 하고 있더라. 그리고 결국 기술이 적용되기 까지는 장기 투자가 필요한데, 이런 버블이 있기에 투자가 들어오는 것은 좋다고 생각한다.
[7] 또한 AI 기술에 대한 인지도나 이해도가 점진적으로 높아지는 것은 매우 긍정적으로 생각한다. 결국 AI라는 기술이 대중화되기 위해서는 (1)UX측면에서 기술에 대한 "신뢰"나 (2)소비자 보호 차원에서의 "규제 방안" 등이 해결되야 하는데, 이런 논의를 통해서 점점 나아질 것이라 기대한다.
[8] 현재 생겨나는 대다수 A(P)I기업은 망할거라 생각하지만, 그래도 이번 AI Summer에 국내에서 글로벌 AI에서 주도권을 잡는 기업들이 생기길 바란다.
[9] (+추가) 버블이 씁쓸한 이유는 버블로 얻어지는 인센티브가 기반을 닦은 기존의 연구/개발자가 아닌 "Star Player"처럼 보이는 사람들에게 향하는 게 가장 큰 이유라고 생각. 생태계는 더 나은 incentive align을 위해 더욱 노력해야 한다.
2. AI 서비스의 근간이 될 서비스
AI명가 업스테이지의 글입니다. 언어 모델에 대한 전체 히스토리를 이해하기에 좋은 글이네요.
다만 마무리 부분은 저는 조금 애매한 느낌입니다. “모델 구독” 표현이 나이브하기도 하고, 양질 데이터는 지금뿐만이 아니라 20년 전에도 중요했기 때문에 큰 임팩트는 없네요.
저는 개발 및 서비스 측면에서 3가지 팀의 등장을 기대하고 있습니다. 물론 뛰어난 UX와 명확한 문제 설정이 가장 중요하다고 생각합니다.
1) 확장성 측면에서 가장 필요하고 성공할 것이라 예상하는 팀은 DevOps, 즉 전체적 파이프라인 구축이 모듈러하고 애자일하게 이뤄지는 팀이라고 생각합니다. 결국 모델은 정착하지 않고 업데이트가 꾸준히 이뤄지며 반복적인 배포가 이뤄질 것입니다. 이 과정에서 비용 효율성과 경쟁력 모든 것이 결정되지 않을까 생각이 듭니다.
2) 두번째는 데이터의 수집을 고도화할 수 있는 팀입니다. 실제 데이터 레이블링은 노동 집약적입니다. 물론 self-supervised learning 등의 발전으로 레이블링이 점점 쉬워지고 있지만 아직 여전히 다수 분야에는 데이터는 노동집약적인 수집이 이뤄지고 있습니다. 이 과정에서 툴의 UX나 인센티브 모델이 상당히 중요해질 것 같은데 아직 이 시장의 1등은 없어보이네요.
3) 결국은 인프라입니다. GPU/FPGA를 효율적으로 사용하게 해줄 수 있는 팀이 필요합니다. training도, inference도 말이죠. 이 레벨에서는 하드웨어/소프트웨어에서 최적화할 수 있는 방법이 다양합니다. 데이터 센터 구축, AI용 반도체부터 CUDA 최적화까지 여러모로 기대가 되네요. 근데 이런 작업은 다수의 전문가와 많은 비용이 필요한 문제라 기존 대기업이 잘할 가능성이 높은 편이라 생각합니다. 가끔 슈퍼 천재가 나타나 이런 문제를 개선하기도 하는데, 더 많이 등장하기를 기대합니다 🙂
저는 Public AI가 더욱 큰 시장에 나오기 위해서는 발생 가능한 Worst Case에 대한 규제와 인식이 중요하다고 생각합니다. 의료, 재무, 법률 등 고비용 문제는 “책임값”이 포함된다고 생각합니다. 모든 위험을 소비자에게 넘기는 것도 하나의 방법이겠지만 대다수 AI는 특정 주체에 의해 개발이 이뤄질 것이라면 책임 소제 등에 대한 규제 문제는 더욱 중요할 것입니다. 연장선 상에사 요새는 잘 안보이지만 XAI(Explainable AI, 설명가능한 AI) 팀들의 부활도 기대하고 있습니다.
3. LLM기반 API 산업에서 경쟁력을 갖출 수 있는 서비스
[1] 현재 AI 앱 큐레이션 사이트들을 살펴보며 느낀 건, ChatGPT 등 LLM기반 API를 통한 서비스의 부가가치의 대다수는 좋은 추상화 계층(abstraction level) 제공을 통해 발생한다.
[2] 간단하게 말해 내부 복잡한 업무를 간편하게 해주는 것을 의미한다. 예시로 지금 툴의 다수는 (1)보다 나은 프롬프트 작성해주기 (2)결과에 대한 쉬운 추출을 돕는 작업이다. 이제 Function Call도 제공해주니 연속적인 결과물에 대해서 정확도나 퀄리티 향상도 기대할 수 있다.
[3] 이런 추상화 계층은 많은 서비스의 본질이다. 결국 엔드유저의 노를 줄여주는 것은 서비스들은 시장 형성의 시작. 배달앱, 숙박앱 등의 정보 수집 및 필터링이 예시이다. 다음은 AI API 기반으로 성공할 몇 가지 방향성과 현존 기업에 대한 개인적인 의견이다. 교육, 엔터, 게임 등 기존의 컨텐츠가 있는 산업은 제외하였다.
[4] (Case 1️⃣) 다양한 타 서비스와의 결합을 통한 부가가치 창출 내부 정보를 사용하기 위해서는 비즈니스 사이드에서 이해 관계자를 최대한 많이 만드는 것이 중요하다. 이 과정에서 내부 데이터를 꾸준히 접근하여 대규모 기업 커뮤니티를 만들어 성장하는 기업이 생겨날 것이라 생각한다.
[5] 국내는 뤼튼이 이런 부분에서 스타트를 잘 끊었다고 생각한다. 더 잘되기 위해서는 LLM이 해결하지 못하는 추천시스템과 Bias에 대해 대처할 보다 많은 기능 향상이 있어야 할 것으로 예상한다. 기존 추천시스템의 강자가 BD 역량만 갖추고 있다면 크게 성장할 것이다.
[5-1] 번외로 AI 기업과 비즈니스 간의 네트워크에서 블록체인과의 결합도 재밌을 것 같다. 커뮤니티가 커지고 조밀해지면 Proof-of-Prompt 등을 통해 인센티브를 나눠가지는 구조도 재밌지 않을까? Chainlink 등을 차용해볼 수 있을 것 같다.
[6] (Case 2️⃣) 프롬프트를 통한 결과에 대한 성능이 유사해졌기에 UX에서 우위를 차지하는 기업도 기대해볼 수 있다. 서비스의 UX는 맥락적(contextuality)으로 다양한 요소에 영향을 받는다. 즉, 서비스를 언제, 누가, 어디서, 어떻게 사용하여 어떤 총체적 느낌을 받는지가 중요하다. 이런 접근 방향에서 제일 쉬운 것은 익숙한 환경에서 프롬프트 제공이 있다.
[7] 국내에는 업스테이지의 AskUp이 잘하고 있다. 카카오톡이라는 국내 유저에게 익숙한 앱과 모바일이라는 특성을 이용하여 100만명 이상의 사용자를 유치했다. 추가로 이미지 생성 모델과 업스테이지의 강력한 툴이었던 OCR을 제공하며 서비스의 퀄리티를 향상시켰다. 다만 이런 부분에 있어 브랜딩은 좋았으나 BM 측면에서는 의문이 있지만, 이런 LLM 기반 대규모 서비스 운영을 통한 lesson learn으로 또 재밌는 결과물이 나오지 않을까 기대한다.
[8] (Case 3️⃣) AI Bot Community. 다들 각자의 프롬프트를 공유하는 커뮤니티가 형성될 것이다. 이 시장의 성장의 핵심은 2가지라 생각한다. (1) 인센티브가 충분하거나 (2) 재밌거나. 1에 해당하는 스토어, 마켓, 토큰 인센티브 만으로는 생존하지 못한다. 스팀잇의 토큰 인센티브 모델 실패를 예시로 들 수 있을 것 같은데, 봇과 카피캣에 대해 해결하는 것은 쉽지 않은 문제. 결국 게이미피케이션(Gamification)이 뛰어난 팀이 성공할 것이라 예상한다. 그 과정에서 나무위키와 같은 밈스러운 오픈 커뮤니티의 성공을 기대중이다.
[9] 위 모든 서비스들의 중요 포인트는 브랜드 충성도를 높여야 한다. 지금의 기능은 단순하기도 하고 현재는 성능에 대해 충분히 만족하지 않기에 기능에 따라 소비자가 이동할 가능성이 높다. 기능은 점점 발전할 것이고, 어느 순간에는 서비스 이동에 대한 효용이 급감하는 시점이 온다. 마치 지금 갤럭시가 카메라 좋다고 해서 아이폰 유저가 떠나지 않는 것처럼.
[10] 결국 서비스의 본질은 사용자다. 사용자들이 신뢰하고 애정하는 AI 기업이 많이 나오길 기대한다.