AI 엔지니어가 알려주는 안전한 에이전트 구축 & 프롬프트 공격 방어 가이드
강의소개
강의정보
| 학습개요 |
1) AI agent 보안에 대한 전반적인 내용을 학습합니다. 2) AI agent의 주요 개념인 AI red team, Jailbreak 등에 대해 학습합니다. 3) AI agent 보안에 대한 다양한 실습을 진행합니다. |
|---|---|
| 학습목표 |
1) LLM과 AI 에이전트에서 발생할 수 있는 주요 안전 위협(jailbreak, hallucination, bias 등)을 이해한다. 2) RLHF, Constitutional AI, Guard Model 등 최신 정렬(Alignment) 및 안전 기술의 원리를 학습한다. 3) Python 기반 실습을 통해 간단한 에이전트 공격·방어(red teaming & mitigation) 과정을 직접 수행할 수 있다. |
| 학습대상 |
|
강사이력
현) 에임인텔리전스 Vice President of Research
현) 국가AI전략위원회 자문위원
전) 신한투자증권 AI Engineer
전) 엔씨소프트 AI 리서치 엔지니어
학력) 서울대학교 인공지능 대학원 재학, 고려대학교 사회학 / 금융공학 학사
강연) LLM in Finance, 모두콘, Google I/O Extended 등 다수 |
강의목차
-
강의정보 번호 강의명 1강AI Safety 기본 개념 완벽 정리 : 안전한 AI 만드는 법2강LLM의 안전 위협 유형 : AI 챗봇의 거짓말3강Alignment 방법론 : AI에게 착한 마음 심기4강대안적 Alignment 방법 : AI 스스로 '나쁜 생각' 걸러내는 법5강AI Red Team의 역할 : 최고의 방어는 공격6강Jailbreak 기본 : AI가 숨긴 정보 빼내기7강고급 프롬프트 공격 : AI를 내부 스파이로 만드는 법8강가드레일, 가드 모델 이해 : AI를 지키는 안전장치 -
강의정보 번호 강의명 9강안전한 설계 원칙10강AI 에이전트 구조11강AI 에이전트의 위협12강안전 점검 자동화13강사례연구: OpenAI ChatGPT14강실습: OpenAi API 안전성 분석 :AI의 방어벽 뚫기15강실습: SmolAgent 제작 및 방어 : 작지만 강한 나만의 AI16강Final 실습: AI 안전 전문가로 나아가기
