카카오브레인 인퍼런스 플랫폼은 무엇일까?

딥러닝의 Task는 크게 트레이닝(training)과 인퍼런스(inference)로 나뉩니다. 입력된 데이터로 모델을 학습하는 것이 트레이닝이라면 트레이닝 된 모델로 실제 서비스를 수행하는 것은 인퍼런스입니다.

이번에 카카오브레인에서 ‘인퍼런스 플랫폼’이라는 서비스를 공개했는데요. 인퍼런스 플랫폼은 어떤 서비스일까요? 그 궁금증을 해소하기 위해 카카오브레인 인퍼런스 플랫폼을 구축하고 있는 팀 리더 ‘코비’를 만나 카카오브레인 인퍼런스 플랫폼에 대한 이야기를 나눠보았습니다.

편하게 쓸 수 있는 머신러닝 자판기

코비는 인퍼런스를 “머신러닝 모델 구축 후 진행하는 거의 모든 과정”이라 말합니다. 수많은 데이터를 분석해 데이터 사이의 패턴을 검출해 내는 것이 머신러닝 모델입니다. 인퍼런스는 그렇게 훈련된 머신러닝 모델에 데이터를 입력한 후 수학적으로 정의된 알고리즘에 따라 계산을 수행하고 예측 결과를 내는, 머신러닝 모델을 활용하는 모든 과정을 일컫습니다. 그렇다면 ‘인퍼런스 플랫폼’은 무엇일까요? 코비는 인퍼런스 플랫폼을 이렇게 비유했습니다.

인퍼런스 플랫폼은 말하자면, 일종의 원두커피 자판기예요

우리가 쉽게 마시는 원두커피는 많은 사람이 많은 수고를 한 후에야 우리 손에 들어옵니다. 커피나무에서 체리를 채취해 씻어 잘 말린 후 껍질을 벗겨 그린빈 상태로 만듭니다(말은 쉽지만 지역과 환경에 따라 다양한 공법이 존재합니다). 이렇게 1차 가공을 끝낸 그린빈을 알맞게 로스팅하고 적당히 갈아 드립 하거나 에스프레소 머신으로 추출해야만 비로소 원두커피 한 잔을 마실 수 있습니다. 커피를 아무나 내릴 수 있는 것도 아니에요. 숙련된 바리스타가 정성스레 내려야 적당한 향과 산미, 고소하거나 쌉싸래한 커피를 얻을 수 있죠. AI 머신러닝도 비슷합니다.

AI 머신러닝 모델 역시 그냥 하늘에서 뚝 떨어지는 게 아니에요. 시스템을 구축한 후 데이터를 입력하고 트레이닝 과정을 반복한 후에야 그 결과를 사용할 수 있습니다. 이 과정을 수행하기 위한 거대한 데이터셋과 그를 처리할 시스템 인프라도 마련해야 해요. AI 연구자들도 여러 명 투입되어야 하는 건 기본이죠. 인퍼런스 플랫폼은 자판기처럼 이 모든 것을 생략하고 편리하게 AI를 이용할 수 있도록 해줍니다.

인퍼런스 플랫폼의 가장 편리한 점은 다양한 머신러닝 모델을 간편하게 사용할 수 있다는 것입니다. 예컨대 자판기도 커피 자판기만 있는 건 아니예요. 디저트와 생필품, 심지어는 라면까지 파는 자판기도 있습니다. 인퍼런스 플랫폼도 마찬가지입니다.

인퍼런스 플랫폼은 다양한 머신러닝 모델을 담아낸 API를 포함합니다. 원하는 기능의 머신러닝 모델을 그때그때 구현하고 학습시킬 필요 없이, 사용자가 원할 때 필요한 기능 API를 인퍼런스 플랫폼에서 호출해 사용하면 되니 비용도 절감되고 엔지니어도 훨씬 편할 수밖에요.

#Comfort, Powerful, 성공적

코비는 카카오브레인의 인퍼런스 플랫폼을 활용했을 때 좋은 점을 두 가지 키워드로 정의했습니다. 첫 번째는 ‘Comfort’입니다. 카카오브레인이 보유하고 있는 다양한 머신러닝 모델을 API 형태로 간편하게 사용할 수 있거든요. 유지보수도 쉽고, 가격 경쟁력도 좋습니다. 머신러닝 모델은 그 능력이 강해지는 만큼 인퍼런스에 들어가는 인프라의 크기와 노력, 그 비용이 증가합니다. 하지만 인퍼런스 플랫폼을 사용하면 필요한 만큼만 사용하고 그 비용만 지불하면 되니 다른 골치 아픈 것들은 생각할 필요가 없어요.

두 번째, ’Powerful’입니다. 카카오브레인은 초거대 언어 모델 KoGPT와 텍스트-이미지 멀티모달 모델 Karlo를 위시한 다양한 머신러닝 모델을 보유하고 있습니다. 이 모든 것은 카카오브레인의 GPU 클라우드 오케스트레이션 기술을 바탕으로, 모델들이 인퍼런스에 최적화 되어 빠르게 인퍼런스 과정을 처리해 시간을 아껴줍니다. 또한 다양한 모델들의 성능을 개선하고 최적화시키며 새로운 머신러닝 모델 연구 개발을 계속하는 등, 카카오브레인의 연구자가 끊임없이 연구하면서 카카오브레인의 인퍼런스 플랫폼은 점점 강력하게 성장하고 있습니다.

인퍼런스 플랫폼은 카카오브레인의 이상을 세상과 함께 나누는 통로라 생각해요

코비는 인퍼런스 플랫폼을 “카카오브레인이 가진 이상을 세상과 함께 나누고 고민하는 통로”라 표현했습니다. 카카오브레인 크루들의 노력이 담긴 다양한 머신러닝 기술들은 더 많은 사람이 손쉽게 활용할 수 있을 때 가치가 더욱 빛나는 것이니까요.

현재 인퍼런스 플랫폼은 카카오 공동체를 비롯한 제한된 사용자들에게만 오픈되어 있어요. 하지만 곧 모든 사람들이 카카오브레인의 인퍼런스 플랫폼을 만나볼 수 있도록 열심히 준비 중이니 카카오브레인 머신러닝 모델에 관심 있는 분들은 조금만 기다려 주세요. 이제 곧 누구나 카카오브레인의 인퍼런스 서버를 사용할 수 있도록 오픈할 예정입니다.

인퍼런스 플랫폼은 AI 기술에 사람들이 좀 더 쉽게 다가갈 수 있는 통로 역할을 합니다. 앞으로 이러한 카카오브레인과 크루들의 노력을 통해 더욱 많은 사람이 세상을 향한 불가능한 질문을 던지고 이를 함께 해결하며 세상을 바꿔나가기를 희망합니다.