[논문] Welcome to the Era of Experience

0. Abstract

현재 전례 없는 수준의 능력을 가진 AI 시대로 가는 경계에 놓여있다. 에이전트의 새로운 시대는 Experience를 통해 학습해 인간을 넘어서는 능력을 가질것이다. 이 논문은 다가올 시대의 핵심 특징에 대해 알아본다.

1. The Era of Human Data

AI는 최근 몇 년간 많은 양의 인간이 생성한 데이터를 통해 학습하고 전문가의 fine-tuning으로 발전했다. 이러한 방식의 대표적인 예는 LLM이 있다. 이제 하나의 LLM이 시를 쓰고, 물리 문제를 풀고, 의료 진단을 하고, 법률 문서를 요약한다.

인간을 모방하는 것으로 인간 능력을 능숙한 수준까지 올릴 수 있지만 이 방식만으로는 여러 중요 task에서 인간을 넘어서는 성능을 달성할 수 없을 것이다. 특히 수학, 코딩, 과학과 같은 중요 도메인에서 인간 데이터로부터 추출할 수 있는 지식이 빠르게 한계에 다다르고 있다. 에이전트의 성능을 향상시킬 수 있는 고품질의 데이터는 대부분 소모됐거나 고갈될 것이다.

따라서 인간 데이터 기반의 지도 학습의 발전 속도는 느려지고 있고 새로운 방식의 필요성이 생겨나고 있다. 게다가 새로운 이론, 기술, 과학적 혁신같은 인사이트는 인간 이해의 범위를 넘어서는 영역에 있어 기존의 인간 데이터만으로는 알수가 없다.

Conclusion

The Era of Experience는 AI 진화 단계에서 중요한 전환점이다. 오늘날의 강력한 기반 위에 구축하면서 인간 생성 데이터의 한계를 넘어 에이전트는 점점 더 자신의 세계와의 상호작용을 통해 학습할 것이다. 에이전트는 많은 observation과 action을 통해 env와 자율적으로 상호작용을 하고 experience stream에서 적응할 것이다.

인간이 사용하는 사고방식에 국한되지 않는 강력한 reasoning 능력을 활용하고 자신의 action이 env에 미치는 결과로 planning을 할 것이다.

궁극적으로 experiential data는 인간 생성 데이터의 규모나 품질을 넘어설 것이다. 이러한 패러다임의 전환은 RL 알고리즘 발전과 같이 일어나고 여러 분야에서 인간이 가진 능력을 뛰어넘는 새로운 역량을 가질 것이다.

맨 위로 이동하기

Papers 카테고리 내 다른 글 보러가기