AI Agents
가장 보편적인 정의에 따르면, 에이전트는 환경을 지각하고(perception) 그 지각에 근거해 목표를 달성하기 위한 행동(action)을 선택해 환경에 영향을 미치는 자율적 소프트웨어 또는 물리적 주체다. 합리적 에이전트는 주어진 지각열(percept sequence)과 성과측도(performance measure)에 대해 기대 효용을 극대화하는 행동을 선택하는 존재로 정의된다. 이 틀은 AI 전체를 ‘합리적 에이전트 구축’이라는 설계문제로 바라보게 한다.
에이전트는 응용 분야에서 극단적으로 단순한 온도조절기부터 완전 자율주행차, 또는 멀티모달 컴퓨터 조작 비서까지 스펙트럼을 형성한다. 전통 AI 문헌은 에이전트를 단순 반사형, 모델기반 반사형, 목표기반, 효용기반으로 구분하면서 환경의 성질(관측가능성, 결정성, 연속성, 다중 에이전트성 등)을 함께 명세할 것을 권고한다. 이때 과업 환경을 체계적으로 정리하는 PEAS(Performance, Environment, Actuators, Sensors) 프레임이 실무 설계의 출발점이 된다.
형식화: MDP·POMDP·BDI
에이전트 설계는 보통 마르코프 의사결정과정(MDP)과 부분관측 MDP(POMDP)로 수학화한다. 상태 s, 행동 a, 보상 r, 전이확률 P, 할인율 γ로 구성되는 MDP에서 에이전트는 정책 π(a|s)를 통해 누적 보상의 기댓값을 최대화한다. 관측이 불완전한 경우 믿음상태(belief state)를 갱신하며 의사결정을 수행하는 POMDP가 채택된다.
한편, 실시간 목표추구와 의도 유지라는 설계철학에서 출발한 BDI(Belief–Desire–Intention) 아키텍처는 심리철학적 모델과 공학적 제약을 결합해 ‘무엇을 원하고(Desire) 지금 무엇을 하기로 했는가(Intention)’를 명시적으로 다루며, 소프트웨어 에이전트 이론의 기초를 제공했다.
현대적 전개: LLM 기반 에이전트
거대언어모델(LLM)을 의사결정·계획의 중심 루프로 통합하면서 에이전트 연구는 새로운 국면으로 진입했다. 대표적으로,
- ReAct는 자연어 추론과 환경행동을 교차 반복해 계획·실행·관찰 루프를 언어적으로 표면화한다.
- Toolformer는 LLM이 스스로 툴/API 호출 시점을 학습하도록 하여 도구 사용을 내재화한다.
- Reflexion은 실패 경험을 메타기억에 축적하고 자기피드백을 통해 반복 성능을 개선한다.
- AutoGen은 다중 에이전트 대화 프로그래밍으로 역할 분업과 상호 비판·검증을 구조화한다.
이들 접근은 LLM을 ‘정책/계획자’로 활용하면서, 함수·액션 호출(function/tool calling)과 구조화 출력(JSON Schema)을 통해 실제 업무 시스템과 안전하게 접속한다. 현재 업계 표준으로 자리잡은 함수 호출 방식은 JSON 스키마로 행동공간을 제한해 호환성과 안전성을 동시에 확보한다.
에이전트의 구성요소와 설계 포인트
아래 표는 업무용 AI 에이전트 설계를 시작할 때 반드시 고정밀로 정의해야 하는 요소와 실무 체크포인트를 집약한 것이다.
| 구성요소 | 구체적 설계 질문 | 실무 포인트 |
|---|---|---|
| 목표·보상 | 성과측도는 무엇이며 상충 목표는 어떻게 가중하는가 | AIMA의 PEAS로 합의부터 도출, 목표를 행동 가능 지표로 환원 |
| 상태 표현 | 관측 가능 정보와 잠재 상태를 어떻게 분리·추정하는가 | POMDP 시나리오를 가정하고 믿음상태/불확실성 추정 루틴 설계 |
| 계획·정책 | 탐색, 분해, 도구사용의 결합 전략은 무엇인가 | ReAct/Reflexion/Toolformer 혼합 루프를 태스크별로 프롬프트·정책에 매핑 |
| 행동 인터페이스 | 허용 액션의 스키마·권한 모델은 | 함수 호출+권한 최소화, 결과 검증자·시뮬레이터를 별도 모듈화 |
| 메모리 | 단기(context)·에피소드·시맨틱 메모리를 어떻게 구성하는가 | 요약·키워드·인용 로그로 3계층 메모리, 생성형 에이전트의 reflection 전략 참고 |
| 피드백·학습 | 실패/드리프트를 어떻게 식별·교정하는가 | 반복 루프에 자기비평·교정 프롬프트를 내장, 오프라인 재현 로그로 재학습 |
| 평가 | 태스크·환경별 성공척도는 | WebArena, OSWorld 등 실행기반 벤치마크를 참고해 end-to-end 지표 설정 |
| 안전·컴플라이언스 | 프롬프트 인젝션·과도한 권한·데이터 오남용 방지는 | OWASP LLM Top10과 NIST AI RMF·GenAI 프로파일을 기본 레퍼런스로 삼아 통제 설계 |
대표적 LLM 에이전트 기법 비교
| 기법 | 핵심 아이디어 | 전형적 사용처 | 한계/주의 |
|---|---|---|---|
| ReAct | 추론과 행동의 교차 루프 | 복잡 작업의 단계적 해결 | 루프 제어·할루시네이션 억제 장치 필요 |
| Toolformer | 도구 호출 시점의 자가학습 | 계산기, 검색, API 통합 | 자가생성 라벨의 품질·드리프트 관리 필요 |
| Reflexion | 자기피드백으로 반복 성능 개선 | 장기 미션, 검색·코딩 | 메모리 오염 방지, 실패 기준의 명시화 필요 |
| AutoGen(다중 에이전트) | 역할 분업·상호검증 대화 | 리서치, 코딩·리뷰, 운영 | 비용·지연 증가, 토폴로지 설계 복잡성 |
성능 현실점검: 실행기반 벤치마크의 메시지
실세계 유사 환경에서의 성능은 아직 겸손하다. WebArena에서 최고 성능 GPT-4 기반 에이전트의 작업 성공률은 14.41%로 보고되며, 인간은 78.24% 수준을 보인다. 이는 실제 웹 업무의 장기 의존·외부 도구 사용·오류 복구가 어려움을 시사한다.
운영체제 수준의 데스크톱 작업을 평가하는 OSWorld에서도 인간 72.36% 대비 최상위 모델 12.24%에 그쳤다. GUI 정합, 툴 체인, 운영 지식 부족이 병목으로 확인된다. 따라서 PoC 단계에서 성공지표를 과감히 단순화하고, 액션공간을 엄격히 제한하는 설계를 권장한다.
보안·거버넌스: ‘도구를 붙이는 순간’의 위험을 전제로
도구 사용이 곧 공격면 확대다. OWASP LLM Top 10은 프롬프트 인젝션(LLM01), 불안전 출력 처리(LLM02), 과도한 에이전시(LLM08) 등 LLM 특유의 위협을 분류·가이드한다. 여기에 NIST AI RMF 1.0과 GenAI 프로파일(NIST AI 600-1)을 결합하면 조직 차원의 통제·측정·대응 체계를 일관되게 설계할 수 있다. 구체적으로는 권한 최소화, 출처구분 태깅, 도구 호출 사전·사후 검증, 시뮬레이션 샌드박스, 감사가능 로그, 인간 승인 게이트(HITL) 등 기술·프로세스 통제를 함께 배치해야 한다.
마이크로소프트의 최신 권고는 간접 프롬프트 인젝션에 대해 데이터 출처 구분과 방화벽형 프롬프트 정책, 툴 출력 검증, 정적 허용목록 기반의 액션 게이팅을 결합한 ‘다층 방어’를 제안한다. 이는 함수 호출 스키마·권한 모델과 자연스럽게 결합된다.
설계 체크리스트(실무용)
- 과업 정의와 성공척도
PEAS 정의, 실패비용이 큰 액션의 가중 패널티, 롤백·재시도 설계 - 행동공간과 권한 모델
함수 호출 스키마로 액션을 구조화, 최소 권한·승인 게이트·시뮬레이터 제공 - 계획 루프
ReAct 기본, 실패 시 Reflexion 루프 진입, 외부 툴은 Toolformer식 정책으로 제한적 사용 - 메모리 계층
단기 컨텍스트, 에피소드 로그, 시맨틱 지식베이스 분리. 중요 이벤트에 가중치를 둔 요약·회상 전략 적용 - 실행기반 평가
샌드박스에서 WebArena·OSWorld 유사 과제를 구성해 end-to-end 정확도와 복구율, 안전 위반율을 함께 측정 - 보안·거버넌스
OWASP LLM Top 10 위협모델 적용, NIST AI RMF/GenAI 프로파일의 거버넌스·측정 요건을 CI/CD와 운영에 내재화
짧은 사례 스케치
고객지원 자동화형 에이전트의 루프
관찰: 티켓 내용·고객 프로필 로드 → 계획: 지식베이스 질의, 환불정책 판단 → 행동: CRM 조회 함수, 환불 견적 산출 함수 호출 → 검증: 정책 준수·한도 체크 → 보고: 요약·인용 포함 답변 생성 → 기록: 에피소드 로그와 근거 링크 저장. 이때 모든 외부 호출은 JSON 스키마와 권한 토큰으로 제한하고, 재무 영향 액션은 HITL 승인 게이트를 통과시킨다. 이러한 구조는 함수 호출·구조화 출력 권고와 정확히 합치한다.
연구·개발형 다중 에이전트
문헌 수집자, 요약·비판자, 실험 설계자, 재현성 검사자 4개 역할을 AutoGen 토폴로지로 연결해 상호 비평·증거요구·실행 스크립트 생성을 대화 패턴으로 강제한다. 이는 고품질 산출물과 근거 추적성 향상에 효과적이다
왜 지금 에이전트인가
LLM은 자연어를 매개로 한 계획·조정 능력, 함수 호출로 매개된 도구 사용, 자기반성 루프의 결합을 통해 범용 자동화의 문턱을 크게 낮췄다. 다만 실행기반 벤치마크가 보여주듯 현재 수준은 인간 대비 큰 격차가 존재하며, 안전·거버넌스 체계 없이는 조직 배치가 위험하다. 따라서 제한된 행동공간에서 시작해 점진적으로 권한을 확장하는 점진 도입 전략이 합리적이다.
참고문헌
- Kaelbling, L. P., Littman, M. L., & Cassandra, A. R. (1998). Planning and acting in partially observable stochastic domains. Artificial Intelligence, 101(1–2), 99–134. https://doi.org/10.1016/S0004-3702(98)00023-X
- National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). https://doi.org/10.6028/NIST.AI.100-1
- National Institute of Standards and Technology. (2024). AI RMF: Generative Artificial Intelligence Profile (NIST AI 600-1). https://doi.org/10.6028/NIST.AI.600-1
- Park, J. S., O’Brien, J., Cai, C. J., et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. Proceedings of the 36th ACM UIST, 1–22. https://doi.org/10.1145/3586183.3606763
- Russell, S. J., & Norvig, P. (2020). Artificial Intelligence: A Modern Approach (4th ed.). Pearson. https://aima.cs.berkeley.edu/
- Schick, T., Dwivedi-Yu, J., Raue, F., & Schütze, H. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv. https://doi.org/10.48550/arXiv.2302.04761
- Shinn, N., Cassano, F., Gopinath, A., et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv. https://doi.org/10.48550/arXiv.2303.11366
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press. https://incompleteideas.net/book/the-book-2nd.html
- Wooldridge, M., & Jennings, N. R. (1995). Intelligent agents: Theory and practice. The Knowledge Engineering Review, 10(2), 115–152. https://doi.org/10.1017/S0269888900008122
- Wu, Q., Bansal, G., Zhang, J., et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv. https://doi.org/10.48550/arXiv.2308.08155
- Yao, S., Zhao, J., Yu, D., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv. https://doi.org/10.48550/arXiv.2210.03629
- Zhou, S., Xu, F. F., Zhu, H., et al. (2024). WebArena: A Realistic Web Environment for Building Autonomous Agents. arXiv. https://doi.org/10.48550/arXiv.2307.13854
- Xie, T., Zhang, D., Chen, J., et al. (2024). OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. arXiv. https://doi.org/10.48550/arXiv.2404.07972
- OWASP. (2025). OWASP Top 10 for Large Language Model Applications. https://genai.owasp.org/llm-top-10/
- OpenAI. (2023–2025). Function calling and structured outputs. https://platform.openai.com/docs/guides/function-calling/