https://towardsdatascience.com/googles-new-explainable-ai-xai-service-83a7bc823773
AI has an explainability problem
Artificial intelligence is set to transform global productivity, working patterns, and lifestyles and create enormous wealth.
인공지능은 세계적인 생산성, 업무방식과 라이프스타일을 변화시키고 막대한 부를 만들어내고 있다.
Research firm Gartner expects the global AI economy to increase from about $1.2 trillion last year to about $3.9 Trillion by 2022, while McKinsey sees it delivering global economic activity of around $13 trillion by 2030.
연구기관에서는 세계적인 인공지능 경제가 작년 1.2 trillion 달라에서부터 2022년 3.9 trillion 달러까지 성장할 것으로 예측했으며 맥킨지에서는 2030년까지 13 trillion 달러 만큼의 세계적 경제활동을 일으킬 것으로 전망했다.
AI techniques, especially Deep Learning (DL) models are revolutionizing the business and technology world with jaw-dropping performances in one application area after another — image classification, object detection, object tracking, pose recognition, video analytics, synthetic picture generation — just to name a few.
인공지능 중에서도 딥 러닝 모델은 다양한 분야에서 놀라울만한 성과를 내면서 비즈니스와 기술을 크게 혁신시키고 있다. 몇가지만 이야기해보자면 이미지 분류, 물체 인식, 트래킹, 포즈 인식, 비디오 판독, 사진 합성 등이다.
They are being used in — healthcare, I.T. services, finance, manufacturing, autonomous driving, video game playing, scientific discovery, and even the criminal justice system.
이것들은 헬스케어, it, 금융, 제조업, 무인운전, 비디오게임, 과학, 범죄 수사에까지도 사용되고 있다.
However, they are like anything but classical Machine Learning (ML) algorithms/techniques. DL models use millions of parameters and create extremely complex and highly nonlinear internal representations of the images or datasets that are fed to them.
그렇지만, 결국 딥러닝도 머신러닝 알고리즘일 뿐이다(고전 기계 학습 알고리즘에 지나지 않는다). 딥러닝 모델들은 수천가지의 파라미터를 사용해서 공급된 이미지/데이터셋의 매우 복잡한 내부 표현을 생성한다.
They are, therefore, often called the perfect black-box ML techniques. We can get highly accurate predictions from them after we train them with large datasets, but we have little hope of understanding the internal features and representationsof the data that a model uses to classify a particular image into a category.
그러므로 따라서 그들은 종종 완벽한 블랙박스 머신러닝 기술로 불리기도 한다. 많은 데이터셋을 이용하면 정확한 예측값을 얻을 수 있지만, 그 모델이 특정 이미지를 해당 카테고리로 분류하는 데 사용한 데이터들의 내부 피쳐나 특징들을 거의 알아낼 수가 없기 때문이다.

Google has started a new service to tackle that
Without a doubt, Google (or its parent company Alphabet) has a big stake in the proper development of the enormous AI-enabled economy, as projected by business analysts and economists (see the previous section).
논란의 여지 없이, 구글은 비즈니스 분석하도록 경제학자들이 예상했듯이 인공지능이 가능한 경제의 적절한 발전에 큰 지분을 차지하고 있다.
Google, had famously set its official strategic policy to be “AI-first”, back in 2017.
구글은 이미 지난 2017년에 공식적으로 “인공지능 우선” 전략 정책을 수립했다.
Therefore, it is perhaps feeling the pressure to be the torchbearer in the industry for making AI less mysterious and more amenable to the general user base — by offering service in explainable AI.
따라서, 구글은 설명 가능한 인공지능의 형태로 서비스를 제공함으로써 일반 사용자들로 하여금 인공지능을 덜 미스터리하고 더 납득 가능하게 느껴지도록 만드는 데 앞장서야 한다는 데 압박을 느끼고 있을 지도 모른다.
What is explainable AI (or xAI)?
The notion is, as simple as the name suggests. You want your model to spit out, not only predictions but also some bit of explanation, on why the predictions turned out to be that way.
이름에서 이미 말해주는 것처럼, 개념 자체는 간단하다. 모델로 하여금 단순히 예측 결과만 보여줄 것이 아니라, 왜 그런 예측 결과가 나오겠지만 되었는지에 대한 이유도 함께 보여주길 원하는 것이다.

But why is it needed?
This article covers some essential points. Primary reasons for AI systems to offer explainability are —
- Improve human readability
- Determine the justifiability of the decision made by the machine
- To help in deciding accountability, liability leading to good policy-making
- Avoid discrimination
- Reduce societal bias
이 기사에서는 몇가지 본질적인 요소를 다룬다. 인공지능이 설명가능해야 하는 주요한 이유들로는 다음과 같다.
- 인간의 가독성을 개선하기 위해
- 기계로부터 만들어진 결정사항의 정당성을 판단하기 위해
- 올바른 정책 결정을 도울 수 있도록 법적 책임의 대상 판단에 도움을 얻기 위해
- 차별을 방지하기 위해
- 사회적 편견을 배제하기 위해
There is still much debate around it, but a consensus is emerging that post-prediction justification is not a correct approach. Explainability goals should be built into the AI model/system at the core design stage and should be an integral part of the system rather than an attachment.
여전히 이와 관련해서는 많은 공방이 이어지고 있지만, 예측 결과에 대한 사후의 정당성 판단은 올바른 접근이 아니라는 데에 공감대가 형성되고 있다. 설명가능한 인공지능 법칙은 핵심적인 디자인 단계에서부터 모델이나 시스템에 포함되어 있어야 하며, 단지 부연적인 기능이 아니라 전체 시스템의 일부로써 포함되어야 한다.
Some popular methods have been proposed.
- Understand the data better — intuitive visualization showing the discriminative features
- Understand the model better — visualizing the activation of neural net layers.
- Understand user psychology and behavior better — incorporating behavior models in the system alongside the statistical learning, and generate/ consolidate appropriate data/explanations along the way
몇가지 유명한 방법들이 제시되어 있다.
- 데이터를 더 잘 이해한다. – 차별적인 특징들을 보여주어 직관적으로 시각화한다
- 모델을 더 잘 이해한다. – 활성화된 신경망 레이어를 보여준다.
- 사용자 멘탈모델/행동을 더 잘 이해한다. – 행동모델과 통계적인 모델을 함께 학습 시켜서 적절한 설명이 함께 결과로 출력되도록 한다.
Even DARPA has started a whole program to build and design these XAI principles and algorithms for future AI/ML-driven defense systems.
darpa 에서조차 미래의 인공지능이 불러오는 시스템을 위해서 설명가능한 인공지능 원칙과 알고리즘을 개발하는 프로그램을 진행하고 있다.
Explainability goals should be built into the AI model/system at the core design stage
Read this article for a thorough discussion of the concept.Should AI explain itself? or should we design Explainable AI so that it doesn’t have toIn this article, I’ll go over:towardsdatascience.com
설명 가능한 인공지능에 대한 좀 더 자세한 개념을 확인해 보고 싶다면 이 아티클을 읽어 보세요!
Google Cloud hopes to lead in xAI
Google is a leader in attracting AI and ML talents and it is the undisputed giant in the current information-based economy of the world. However, its cloud services are a distant third in comparison to that from Amazon and Microsoft.
구글은 인공지능과 머신러닝 인재들을 주도적으로 유치하고 있고 현재 정보기반의 세계 경제에서 논쟁할 여지가 없이 거대 기업이다. 하지만 구글의 클라우드 서비스는 아마존과 마이크로소프트과 비교했을 때 3등이나 떨어져 있다.

However, as this article points out, although the traditional infrastructure-as-a-service wars have been largely decided, new technologies such as AI and ML have opened the field up to the players for novel themes, strategies, and approaches to try on.
하지만,
Building on those lines of thought, at an event in London this week, Google’s cloud computing division pitched a new facility that it hopes will give it the edge on Microsoft and Amazon.
The famous AI researcher Prof. Andrew Moore introduced and explained this service in London.
이런 측면에서 생각해 보았을 때, 이번주에 런던에서 있었던 이벤트에서 구글의 클라우드 컴퓨팅 부서에서는 마이크로소프트와 아마존보다 우위를 점할 수 있는 새로운 시설을 내놓았다.
저명한 인공지능 연구 교수 앤드류 모어는 런던에서 이 서비스에 대해 소개했다.

From their official blog,
“Explainable AI is a set of tools and frameworks to help you develop interpretable and inclusive machine learning models and deploy them with confidence. With it, you can understand feature attributions in AutoML Tables and AI Platform and visually investigate model behavior using the What-If Tool.”
공식 블로그에 따르면,
“설명 가능한 인공지능은 당신이 해석가능하며 수용 가능한 머신 러닝 모델을 개발하고 자신감 있게 그 결과를 선보일 수 있도록 돕는 도구이자 프레임워크의 체계와도 같습니다. 이것이 있다면 당신은 자동생성된 머신러닝 결과 표를 보고서 피쳐 분포들을 한눈에 파악할 수 있으며 모델의 특성을 시각적으로 해석해 볼수도 있습니다.”
Initially — modest goals
Initially, the goals and reach are rather modest. The service will provide information about the performance and potential shortcomings of the face- and object-detection models.
처음에는, 달성하고자 하는 목표와 도달 범위는 소소했다. 이 서비스에서는 물체, 얼굴 인식의 잠재적인 결점이나 수행 능력에 대한 정보를 제공해주는 역할만을 수행할 예정이었다.
However, with time, GCP hopes to offer a wider set of insights and visualizations to help make the inner workings of its AI systems less mysterious and more trustworthy to everybody.
하지만 시간이 지남에 따라, 구글 클라우드 플랫폼은 좀 더 넓은 인사이트를 제공할 수 있기를 바랐고 시각화를 통해 인공지능 시스템의 내부적인 작동 원리를 사람들이 신뢰할 수 있을 정도로 베일에 쌓인 부분을 없애길 원했다.
New technologies such as AI and ML have opened the field up to the Cloud service players for novel themes, strategies, and approaches to try on.
인공지능과 머신러닝과 같은 새로운 기술들은 클라우드 서비스 사용자에게 시도해볼만한 새로운 전략과 접근방식에 대한 새로운 장을 열어줬다.
Prof. Moore was candid in his acceptance that AI systems have given even the best minds at Google a hard time in the matter of explainability,
무어교수는 구글에서 가장 뛰어난 사람들에게조차 인공지능 시스템의 설명가능성에 대해서는 결코 쉬운 문제가 아니었다는 사실을 솔직히 받아들였다.
“One of the things which drives us crazy at Google is we often build really accurate machine learning models, but we have to understand why they’re doing what they’re doing. And in many of the large systems, we built for our smartphones or for our search-ranking systems, or question-answering systems, we’ve internally worked hard to understand what’s going on.”
“우리가 구글에서 정말 힘들었던 것 중 하나는, 우리가 정말 정확한 머신러닝 모델을 만들고 있음에도 불구하고 왜 그 모델이 그런 결과를 만들어 내는지 이해하지 못한다는 것입니다. 또한 우리가 만든 스마트폰, 검색엔진, 문의응답 체계와 같은 큰 규모의 시스템에서 우리는 그 시스템 내부적으로 어떤 일들이 일어나고 있는지 이해하는데 많은 시간을 투자하고 있습니다.”
One of the ways, Google hopes to give users a better explanation, is through the so-called model cards.
구글이 유저들에게 더 나은 설명을 제시하기를 바라는 방법 중 하나는 바로 모델 카드를 이용하는 것입니다.

Google used to offer a scenario analysis What-If tool. They are encouraging users to pair up new explainability tools with this scenario analysis framework.
구글에서는 what-if tool 이라는 시나리오 분석 툴을 제공하고 있습니다. 이 분석 프레임워크를 이용해서 유저들이 새로운 설명가능 도구를 결합하도록 장려하고 있다.
“You can pair AI Explanations with our What-If tool to get a complete picture of your model’s behavior,” said Tracy Frey, Director of Strategy at Google Cloud.
“우리가 제공하는 what-if 툴과 결합-이용해서 인공지능에 대한 설명을 발견할 수 있으며 당신이 사용한 모델의 행동 결과를 분석하는데 도움을 받을 수 있습니다.”

And, it’s a free add-on, for now. Explainable AI tools are provided at no extra charge to users of AutoML Tables or AI Platform.
심지어 현재 이 툴은 무료이다. 설명가능한 인공지능 도구는 autoML Tables 이나 구글 인공지능 플랫폼을 사용하는 유저들을 대상으로는 과금을 하고 있지 않다.
For more details and a historical perspective, please consider reading this wonderful whitepaper.
Overall, this sounds like a good start. Although, not everybody, even within Google, is enthusiastic about the whole idea of xAI.
전체적으로 좋은 시작점인 것 같다. 다만 구글 내부적으로도 모든 사람들이 설명가능한 인공지능에 대한 이 생각들에 긍정적인 것 같지는 않다.
Bias and audits?
Some say bias is a bigger issue
In the past, Peter Norvig, Google research director, had said about explainable AI,
“You can ask a human, but, you know, what cognitive psychologists have discovered is that when you ask a human you’re not really getting at the decision process. They make a decision first, and then you ask, and then they generate an explanation and that may not be the true explanation.”
과거 구글의 리서치 디렉터인 피터는 설명가능한 인공지능에 대해 이야기한 적이 있는데,
“그냥 사람에게 물어보면 되긴 하죠, 근데, 심리학자들이 발견한 사실은 사람에게 물어볼 때 궁극적으로 의사결정 과정에 참여하지는 못한다는 겁니다. 당신이 다른 사람에게 의견을 구할 때, 타인은 이미 판단을 완료한 상태에서 대답하기 때문에 당신과 함께 조율하는 것이 아닌 자신이 이미 내린 판단을 설명하는 것에 그치지 않습니다.”
So, essentially, our decision-making process is limited by psychology and it will be no different for a machine. Do we really need to alter these mechanics for machine intelligence and what if the answer and insights that come out, are not palatable to the users?
그렇기 때문에 궁극적으로는 우리의 의사결정 과정은 심리학적인 근거에 의해서 상당히 제한적이고 기계의 의사결정 과정도 이와 다를 게 없을 것이다. 그랬을 때 과연 우리는 이 매커니즘을 기계 지능에게 전이해야 할까? 하지만 만약 그 결과가 사용자에게 납득가능하지 않는다면 어떨 것인가?
Instead, he argued that tracking and identifying bias and fairness in the decision-making process of the machine should be given more thought and importance.
그 대신에, 기계의 의사결정 과정을 트래킹하고 내재된 편견들을 확인하는 것에 더 많은 생각과 중요성을 투자해야 한다고 피터는 주장한다.
For this to happen, the inner working of a model is not necessarily the best place to look at. One can look at the ensemble of output decisions made by the system over time and identify the specific pattern of hidden bias mechanisms.
이것을 하기 위해 모델의 내부 구조를 들여다 보는 것이 가장 좋은 방법이 아닐 수 있다. 일정 기간 동안 그 모델에서 도출된 예측값들을 비교분석하여 작동 매커니즘의 숨어있는 편견이나 패턴을 발견해 보는 것도 좋은 방식일 것이다.
Should bias and fairness be given more importance than a mere explanation for future AI systems?
미래의 인공지능 시스템을 위해 단순한 설명보다 편견과 공정성이 더 중요하게 여겨져야 할까?

If you apply for a loan and get rejected, an explainable AI service may spit out a statement like — “your loan application was rejected because of lack of sufficient income proof”. However, anybody who has built ML models, know that the process is not that one dimensional and the specific structure and weights of mathematical models that give rise to such a decision (often as an ensemble) depend on the collected dataset, which can be biased against certain section of people in the society where matter of income and economic mobility is concerned.
만약 당신이 대출을 시작했는데 거절당했다면, 설명가능한 인공지능 서비스에서는 이런 말을 할 것입니다. -“충분한 소득이 증명되지 않았기 때문에 당신의 대출 신청은 거절되었습니다.” 하지만 머신러닝 모델을 구축해본 사람이라면 누구나 그 결정이 일차원적이지 않음을 알고 있을 것이며, 또 그러한 결정에 도달하기까지 모델에서 사용한 수학적인 학습 모델이나 구조에는 경제적인 유동성이나 소득이 중요한 사회의 특정 계층의 사람들에게 편중되었을 수도 있는 데이터셋이 사용되었다.
So, the debate will rage on the relative importance of having merely a system showing rudimentary, watered-down explanation, and building a system with less bias and a much higher degree of fairness.
따라서, 간결한 시스템을 보여주고 공정성은 강화하고 편견은 줄인 시스템을 구축하는 것의 상대적 중요성을 강조하는 논의가 계속되고 있다.
External, automated audit?
To make AI-systems more explainable (or, at least, more accountable), some have proposed automated, scalable, external audit systems to be managing the decisions coming out of black-box AI platforms. Oren Etzioni of the Allen Institute for AI, proposes such an approach here.High-Stakes AI Decisions Need to Be Automatically AuditedToday’s AI systems make weighty decisions regarding loans, medical diagnoses, parole, and more. They’re also opaque…www.wired.com
인공지능 시스템을 더 설명 가능하게 만들기 위해서 (최소한 납득 가능할 정도로), 인공지능 플랫폼의 블랙박스 의사결정들을 관리할 수 있는 자동화되고 확장가능한 외부의 감시 체계가 제안되고 있다. 여기 링크로 들어가면 그러한 제안을 살펴볼 수 있다.





















































































