AI모델 구축 절차, 보안 관점

[AI모델 데이터 수집 및 전처리 단계 보안]

❍ 기밀 데이터 및 개인정보 등 민감 데이터가 포함되지 않도록 완전히 제거(Sanitize)해야 함(자동화된 데이터 전처리 도구의 활용을 권고)

❍ 학습 데이터를 구축할 때 중복된 텍스트를 제거하는 것이 필요함

- 중복 데이터 사용 시 정보노출, 데이터 추론 등을 통해 훈련 데이터의 기밀성이 침해될 뿐 아니라, 민감함 개인정보가 노출될 수 있음

❍ 외부에서 수집한 학습 데이터는 악의적인 정보 삽입 등의 데이터 오염 가능성에 주의하고, 데이터 정보(출처, 버전, 구축 시점, 메타 정보 등)를 관리하여 데이터의 신뢰성을 확보해야 함

❍ 학습 데이터의 전반적인 추이 또는 샘플링한 값을 분석하여 데이터 변조 여부를 확인해야 함

❍ AI모델이 잘못된 예측을 하도록 의도적으로 변조한 데이터를 생성하여 AI모델의 학습 데이터에 포함하여 학습해서 AI모델을 잘못 판단하도록 조작하는 공격으로부터 보호해야 함

[AI모델 설계 및 학습 단계 보안]

❍ AI모델의 성능과 기밀 데이터의 유출 가능성에 대한 상충 관계를 적절히 조절할 수 있는 학습 전략을 수립해야 함

- AI 모델에서 사용한 학습 데이터와 평가 데이터 간의 손실 차이를 분석하여 특정 데이터가 훈련에 사용되었는지를 추론할 수 없게 하여 발주기관 내 주요 정보 또는 개인정보 유출 가능성을 없게 해야 함(단, AI 모델의 성능이 지나치게 저하되지 않도록 해야함)

❍ AI모델의 구조 및 알고리즘이 단순한 경우 공격자는 상대적으로 쉽게 AI모델에 대한 정보를 파악할 수 있기 때문에 AI모델 설계 시 강건성이 상대적으로 높은 알고리즘을 적용하여 AI모델 정보에 대한 보안성을 강화해야 함

- 배깅(Bagging), 부스팅(Boosting) 등의 앙상블(Ensemble) 기법 등

❍ AI모델 튜닝시에 노이즈(Noise)를 삽입하거나 매개변수 축소 등의 기법을 적용하여 AI모델이 잘못 판단하도록 조작하는 공격으로부터 강건성을 확보해야 함

❍ 사전학습 모델 활용시에는 학습한 데이터의 신뢰성을 확보해야 함

❍ 연합학습 방식을 통해 학습을 진행할 경우, 클라이언트에서 중앙서버로 메시지를 전달할 때 일부 클라이언트가 오염된 메시지를 전달하여 발생하는 오류로 인해 AI모델이 오염될 수 있으므로 악성 클라이언트와 오염된 메시지를 탐지 및 배제할 수 있어야 함

[AI모델 검증 및 테스트 단계 보안]

❍ 생성형AI 모델이 의도하지 않은 질문에 대한 답변을 거부할 수 있도록 신중한 미세조정 방식을 고려해야 함

- 내부 정보의 유출 유도, 혐오 발언, 선정성 등과 같이 사회적으로 논란이되거나 거부감을 유발시킬 수 있는 답변은 거부하거나 윤리적인 규범에 따라 조정되어야 함

- 빈 프롬프트(입력이 공백 문자열로만 이루어진 경우)를 받았을 때 메시지가 끊긴 것으로 간주하고 답변을 다시 확인해달라는 응답을 반환하여 훈련 데이터 추출 공격을 예방해야 함

❍ 입력에 대한 AI 모델의 모든 출력을 사용자에게 그대로 전달하는 것을 제한해야 함

- 사용자에게 반환하는 각 단어의 신뢰도에 노이즈(Noise)를 추가하여 교란하거나, 사용자가 가장 선호할 것으로 예상되는 단일 또는 일정 개수의 답안을 반환하는 형태로 응답을 제한해야 함

- 최종 출력값을 확인하여 민감한 정보가 출력되는 경우, 불특정 다수 또는 타인에게 노출이 되지 않도록 해야함

❍ AI모델의 출력 횟수를 제한하여 모델의 정보 및 학습 데이터 유출을 어렵게 해야함

- 출력 횟수를 제한하는 경우 AI모델이 사용되는 업무나 서비스 특성을 고려하여 가급적 낮은 수준으로 정해야 함(예: 챗봇의 경우 1분에 10회 미만 등)

❍ AI모델의 정확도, 신뢰점수 등을 공개하지 않거나 범주화 등 비식별화하여 제공함으로써 학습 데이터 및 모델 관련 정보 노출을 최소화해야 함

- 다만, AI 의사결정 과정에 대한 설명 의무가 있는 경우 설명에 불필요한 정보의 제공을 최소화해야 함

❍ AI모델이 잘못 판단하도록 유도하는 공격에 취약할 수 있으므로 공격이 발생하는 경우 차단 또는 재학습 등의 조치가 필요함

- 해당 공격을 탐지하기 위한 기법으로는 노이즈 탐지, 입력데이터 인코딩, 중요도 맵 활용 등이 있음

[AI모델 배포 및 서비스 단계 보안]

❍ 생성형AI 모델에서 민감한 데이터의 유출을 확인하고, 학습 데이터 세트에서도 민감정보를 발견했을 때, 기계학습 해제(Machine Unlearning) 등의 방법을 이용하여 모델 재학습을 고려해야함