AI가 말로 안 하고 생각만 한다고? 혁신적인 하이브리드 추론 에이전트

3줄 요약
1. 인간의 언어가 아닌 내부 잠재 공간에서 먼저 생각하는 AI가 개발되었습니다.
2. 생각은 효율적으로 하고 행동은 텍스트로 하여 도구 활용 능력을 유지합니다.
3. 기존 AI 대비 성능은 높이고 비용과 속도는 획기적으로 개선했습니다.

말만 번지르르하던 AI, 이제는 '속으로' 깊이 생각한다

우리가 흔히 쓰는 생성형 AI나 에이전트는 지금까지 모든 사고 과정을 인간의 언어인 '텍스트'로 처리하고 대화했습니다. 하지만 텍스트 중심의 사고는 복잡한 문제를 풀 때 쓸데없는 토큰을 많이 소모하고 처리 속도가 느려지는 단점이 있었습니다. 반면 수학이나 코딩 같은 복잡한 연산은 눈에 보이지 않는 내부 공간, 즉 '잠재 공간(Latent space)'에서 처리하는 것이 훨씬 효율적입니다.

그동안 잠재 공간에서만 생각하는 방식은 효율적이지만 외부 프로그램이나 웹 검색 같은 도구를 자유롭게 쓰기 어렵다는 치명적인 한계가 있었습니다. 연구진은 이 두 가지 방식의 장점만 쏙 빼서 합친 새로운 구조의 AI를 선보였습니다. 바로 생각은 내부 잠재 공간에서 깊게 하고, 외부와 소통하거나 도구를 쓸 때는 텍스트를 사용하는 '하이브리드 추론 에이전트(HybridAgents)'입니다.

생각과 언어의 다리를 놓다: 하이브리드 링크와 연속 메모리

이 새로운 AI가 가능해진 비결은 '하이브리드 링크(HybridLink)'라는 가벼운 아키텍처 덕분입니다. 이 장치는 AI가 머릿속으로 깊이 생각하는 잠재 모드와 텍스트로 답변하거나 도구를 쓰는 모드 사이를 물 흐르듯 자연스럽게 오갈 수 있도록 도와줍니다. 마치 사람이 골똘히 머릿속으로 계산을 마친 뒤 입으로 명확하게 정답을 말하는 것과 같습니다.

여기에 '연속 작업 메모리(continuous working memory)' 기술이 더해져, 여러 번 대화가 오가는 동안에도 생각의 맥락이 하나도 손실되지 않고 유지됩니다. 덕분에 AI는 웹 브라우저나 계산기 같은 외부 도구를 완벽하게 활용하면서도, 복잡한 추론 과정은 눈 깜짝할 사이에 처리할 수 있게 되었습니다. 겉모습은 똑똑한 챗봇이지만 머릿속은 초고속 슈퍼컴퓨터가 돌아가는 셈입니다.

똑똑하게 훈련시키는 비법: 하이브리드 SFT와 RL

아무리 좋은 구조를 만들어도 AI가 이를 제대로 쓰려면 특별한 훈련이 필요합니다. 연구진은 이를 위해 두 단계의 맞춤형 훈련 알고리즘을 개발했습니다. 첫 번째는 '하이브리드 SFT'로, AI의 기본 뼈대가 하이브리드 링크와 조화를 이루며 안정적으로 도구를 쓸 수 있도록 기초 체력을 다지는 과정입니다.

두 번째는 '하이브리드 RL(강화학습)'입니다. 이 단계에서는 AI가 스스로 '지금은 머릿속으로 깊이 생각해야 할 때(잠재 공간)'인지, '이제 외부로 텍스트를 내뱉고 행동해야 할 때'인지를 판단하는 법을 학습합니다. 억지로 시키는 것이 아니라 문제를 풀면서 언제 생각하고 언제 말해야 가장 효율적인지 스스로 터득하게 만드는 것입니다.

그래서 무엇이 달라졌나? 압도적인 성능과 놀라운 비용 절감

수학, 과학, 의학, 웹 검색, 에이전트 추론 등 11가지 까다로운 벤치마크 테스트에서 이 하이브리드 에이전트는 기존 최첨단 LLM 에이전트들을 가볍게 따돌렸습니다. 성능 자체를 평균 10.4% 끌어올렸을 뿐만 아니라, 시스템 효율성 측면에서 엄청난 변화를 만들어냈습니다.

불필요한 텍스트 출력이 줄어들면서 토큰 사용량이 무려 35.5%에서 54.7%까지 뚝 떨어졌습니다. 이로 인해 답변 속도는 최대 2.6배 빨라졌고, 운영 비용은 최대 3.7배나 절감되었습니다. 성능은 더 좋아졌는데 속도는 빨라지고 돈은 적게 드는, AI 업계가 가장 원하던 이상적인 진화가 실제로 일어난 것입니다.