프롬프트 인젝션란?
Prompt Injection
A. 프롬프트 인젝션란
외부 데이터나 웹페이지에 숨긴 악의적 지시로 AI가 오작동하게 만드는 공격입니다. AI 에이전트 시대의 핵심 보안 우려 사항입니다.
프롬프트 인젝션은 AI가 읽는 데이터(웹페이지나 파일 등) 안에 AI를 향한 지시를 심어 두어, 원래의 지시를 덮어쓰거나 무시하게 만드는 공격입니다. 정보 유출이나 의도치 않은 동작으로 이어질 수 있습니다.
외부 도구와 데이터에 접근하는 AI 에이전트에서는 위험이 특히 높습니다. 입력 검증, 권한 최소화, 신뢰할 수 없는 데이터의 지시를 실행하지 않도록 설계하는 등의 대책이 중요합니다.