설명 가능한 인공지능(Explainable AI)이란?

📌Explainable AI의 정의

어떤 알고리즘이 의사결정을 내리는 과정을 설명하기 위한 방법

📌Explainable AI의 필요성

좋은 성능이 어떠한 이유로 의사결정을 내리는지 알기 어렵다.

복잡한 모델일수록 설명하기 어렵지만 정확도가 올라가는 경향이 있다.

그렇기 때문에, 간단한 모델의 성능을 높이거나 복잡한 모델을 설명하는 방법이 필요하게 된다.

 

📌간단한 예시

Linear Regression, Decision tree 는 설명이 가능한 머신러닝 알고리즘 종류 중 하나

Linear Regression

• 집값 = 0.5*평수-0.3*역과의 거리
• 평수가 1증가하면 집값은 0.5증가한다.
• 역과의 거리가 1증가하면 집값은 0.3감소한다
• 50평이고 역과의 거리가 10인 집의 값은 7이다.

Decision tree

집이 30평 이상인지, 역과의 거리가 몇 이상인지 Yes/No로 값이 정해진다.

Boosting, Random Forest 는 설명이 어려운 머신러닝 알고리즘 종류 중 하나

 

Random Forest 

어떤 변수가 중요한지 알 수는 있지만 어떻게 의사결정을 내리는지 알 수 없다.

 

📌 해결책

- LIME(Local Interpretable Model-agnostic Explanations)

-모든 예측 모델에 대한 결과를 해석 가능하고 신뢰할 수 있는 방법으로 설명하는 새로운 기법을 제공하는 알고리즘으로, 설명하고 싶은 예측 값 근처에 대해서만 해석 가능한 모델을 학습시키는 방법

 

해당 내용 설명 논문 : http://sameersingh.org/files/papers/lime-kdd16.pdf

단점 :

아쉽게도 단일 Sample에 대한 예측만 가능하고 전체에 대한 모델의 설명은 어렵다.

글로벌 해석력(Global Interpretability)이 아닌 로컬 해석력(Local Interpretability)

장점:

모델에 의존적이지 않아 어떤 모델에도 적용가능하다

 

논문에서 설명된 사용방법

• 설명하려는 데이터 주변의 데이터를 추출
• 설명하려는 데이터와 추출된 데이터들 간의 거리를 계산
• 거리를 가중치로 이용해 Ridge regression을 학습

 

사용 예시 

 

 

📌 Shap(SHapley Additive exPlanations)과 차이점

LIME과의 큰 차이점은 회귀 모형의 인스턴스 가중치인데, LIME은 인스턴스가 원래 샘플과 얼마나 가까운지에 따라 가중치를 부여합니다. 즉, 연합 벡터에 0이 많을 수록 LIME의 가중치가 작아집니다. SHAP은 셔플리값 추정에서 얻을수있는 가중치에 따라 가중치를 측접합니다.

 

각각의 보완점으로 다른 논문이 제안되었는데 아직 해석을 다 못해서 추가적으로 업데이트 하도록하겠습니다.

 

참고자료 :

 

머신러닝 해석력 시리즈 4탄: 라임(LIME)으로 모델 해석력 개선하기! https://blogs.sas.com/content/saskorea/2018/12/10/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%ED%95%B4%EC%84%9D%EB%A0%A5-%EC%8B%9C%EB%A6%AC%EC%A6%88-4%ED%83%84-%EB%9D%BC%EC%9E%84lime%EC%9C%BC%EB%A1%9C-%EB%AA%A8%EB%8D%B8-%ED%95%B4%EC%84%9D%EB%A0%A5/

머신러닝 해석력 시리즈 4탄: 라임(LIME)으로 모델 해석력 개선하기!

Explainable AI and Text Data - LIME with Random Forest https://youtu.be/Ca23TZmW1hc

설명가능한 인공지능(Explainable AI; XAI) 연구 동향과 시사점 https://spri.kr/posts/view/23296?code=industry_trend