[대시보드 설계와 데이터 시각화] 3장 동료 강사들과 비교한 성과 평가

여러 지표를 한번에 비교해야 할 때

예 : 평가자 수 / 진행하는 강의 수에 따른 다른 강사와의 비교

방법 : 차트 내에 다양한 요소를 삽입한다.

중앙값 선

상위 사분위 표시

점의 크기로 응답자수 표시

점을 호버했을 때 추가정보 표시

장점 : 다른 사람과 어디서 연고나이 있는지 + 다른 사람의 평점은 어땠는지 끊어서 볼 수 있음

  • 주의사항
    • 차트 내의 요소를 온/오프 가능하게 한다. (기본값은 오프)
      • 너무 많은 요소는 산만하게 느낄 수 있다.
    • 지터플롯 처럼 x축의 기준이 없는 차트도 있다.
      • 점 좌표의 중첩을 피하기 위해 흩뿌려 놓는다.
https://www.dataplusscience.com/TableauJitter.html
  • 생각해볼 것들
    • 데이터 하나를 점 하나로 표시하는 건 너무 많지 않나? 알고 싶은 값 이외의 것은 전체 평균으로 합치면 안될까?
      • 나와 같은 점수가 얼마나 있는지, 전체적인 분포는 어떠한지 확인하고자 한다면 jitter plot 이 효과적이다.
    • 표시할 데이터의 수가 엄청 많을 경우에는 어떻게 하는가?
      • 주로 막대 그래프로 표현한다.
    • 점이 겹쳐있어도 괜찮을까?
      • 점 하나하나를 보는 것이 아니라 전체 데이터의 분포를 살피는 것이기 때문에 중요도를 고려한다면 괜찮다

[대시보드 설계와 데이터 시각화] 2장 강의 지표 대시보드 – 평점 / 피드백

  1. 목적에 따라 다양한 차트 제공하기 -> 한번에 한가지의 세부사항 전달
  • 연도 및 강의별 학생수
  • 연도별 학생 등록수 & 연도별 강의수
  • 연도 및 강의별 평점

2. 맥락 더하기

  • 내부 기준 지표 차트에 표시하기
  • 타 강의의 평점 / 대학 전체 평점을 같은 표에 표시하기

3. 기준점 설정

  • 기준축이 0이어야 하는 경우
    • 비교로써 데이터를 규약화 할 때
    • 길이/높이/영역
  • 기준 축이 0이 아니어도 괜찮을 때
    • 위치로 규약화 할 때
    • 점 도표/박스플롯/꺾은선 그래프
    • 데이터를 있는 그대로 비교할 수 있음

4. 차트 활용하기

  • 동일한 막대 그래프더라도 막대의 너비를 조절함으로써 롤리팝 스타일 차트로 보이기도 한다.

[번역]Make 2020 the year of Explainable AI

https://www.contactengine.com/insights/make-2020-the-year-of-explainable-ai/

It’s odd isn’t it, but some technologies present such a useful service that exactly how they work is irrelevant. A car, a train, a plane, even a phone – most people have no idea how they actually work but are very happy they do, and all is fine.

이상하지 않나요? 그런데 어떤 기술들은 어떻게 작동하는지는 궁금하지 않을 정도로 유용한 서비스를 제공합니다. 자동차, 기차, 비행기, 핸드폰처럼 사람들은 이 제품들을 잘 사용하면서도 그들이 어떻게 작동하는지에는 관심이 없고, 또 이대로도 별 문제가 없어요.

However, when technology starts to reach Turing Test magic (where a computer starts to appear human-like) people start to worry. Add to that unease Data Protection issues and AI really, really started to worry corporates when in 2018, GDPR (the European Union’s General Data Protection Regulation) came into force and people’s ‘social right to explanation’ kicked off.

하지만, 컴퓨터가 인간처럼 작동하기 시작한 turing test magic 지점에 어떠한 기술이 도달하게 되면, 사람들은 걱정하기 시작합니다. 게다가 불안한 데이터 보호 문제와 인공지능은 2018년 GDPR이 시행되고 사람들의 사회적으로 설명을 보장받을 권리가 중요시되면서 회사들에게 우려의 대상이 되었습니다.

That’s why I think 2020 is the year of Explainable AI (XAI).

이것이 바로 제가 2020년이 설명가능한 인공지능의 해라고 생각하는 이유입니다. 

XAI refers to methods and techniques in the application of Artificial Intelligence technology (AI) such that the results of the solution can be understood by human ‘experts’. It contrasts with the concept of the ‘black box’ in machine learning where even their designers cannot explain why the AI arrived at a specific decision (for a light-hearted read, try this blog on the challenges of explaining the unexplainable).

XAI는 인간 전문가에 의해 해결책이 납득될 수 있는 인공지능이 적용된 방법 또는 기술을 의미합니다. 이는 머신러닝의 블랙박스의 개념과 대조적인데, 블랙박스란 그 모델을 설계한 디자이너조차 어떻게 특정 결과가 도출되었는지 해석할 수 없는 상황입니다.

What is Explainable AI?

Now, the only problem with XAI is the problem of ‘experts’… It is not actually unreasonable that explainability should be via people who know lots of smart things – but actually, XAI could, as all my old school reports suggested, do better. And why not try and make it clear why a computer made the decision that it did?

그렇다면 XAI가 갖는 유일한 문제점은 단지 전문가의 몫이라고 할 수 있겠네요. XAI의 문제는 스마트 디바이스에 대한 지식을 갖고 있는 사람들의 몫이라고 하는 것도 틀린 말은 아닙니다. – 하지만 사실 XAI는 저의 옛 학교 리포트들만 봐도, 스스로 더 잘 할 수 있습니다. 그렇다면 컴퓨터가 어떠한 결정을 내리게 된 이유를 명확히 밝혀 보면 어떨까요?

Take some examples: we all understand why car insurance is more expensive for 18-year-olds, right? Especially if genes have a Y in them rather than a pair of X’s. Likewise, when you’re earning a smaller paycheck, you’re likely to have a lower credit limit on your credit cards than when you might be earning a wee bit more later. So far, so simple, so fair, but let’s unpick the algorithm that went all a bit sexist recently and gave women with excellent salaries who had joint bank accounts with their male partners, a lower credit score than their beloved. Funny? No. Not at all funny.

몇가지 예를 들어봅시다 : 우리는 18세의 자동차 보험이 더 비싼 이유를 모두 이해하고 있습니다. 특히나 여성보다 남성일 경우 더 그렇죠. 마찬가지로, 만약 당신의 수입이 적다면 상대적으로 더 많이 벌게될 이후 시점보다 신용카드에서 적은 신용 한도를 받게될 것입니다. 지금까지는 정말 간단하고 공평합니다. 그렇다면 이번에는 성차별적인 요소를 포함한 알고리즘을 풀어봅시다. 이 상황에서 여성은 충분한 수준의 급여를 받고 있음에도 불구하고 함께 동행한 그녀의 남자친구보다 더 낮은 신용 점수를 받았습니다. 장난인 것 같지만 전혀 그렇지 않습니다.

In this case, it’s likely that the data set used was biased in some way – either it was properly broken, or more likely, the algorithms actually reflected a societal problem which is that women (on average) earn less than men (on average). Please don’t shoot the messenger, The Guardian, explains why here

이 상황에서는 사용된 데이터가 어떤 측면으로 왜곡되었을 것입니다. 데이터 자체가 잘못되었을 수도 있고, 아니면 좀 더 높은 확률로 여성이 남성보다 평균적으로 적게 번다는 사회적인 문제를 반영하는 알고리즘이기 때문일수도 있습니다. 이 문제에 대한 더 자세한 설명을 보려면 이 기사를 보세요.

It is, however, my contention that XAI should not be an optional feature but should be built in from the ground up. 

적어도 제 생각에는 xai가 선택적인 피쳐로 삽입되는 것이 아니라 필수적인 요소로 모델 빌딩부터 포함되어 있어야 한다고 생각합니다.

Explainable AI in context

The explainability of a decision is a non-trivial task. Let’s take self-driving cars: the sheer complexity of autonomous vehicles means nano-second by nano-second the computer is processing millions of permutations. Its decisions are then damned hard to explain. But nevertheless, we must try. 

모델이 내린 결정의 설명가능성을 판단하는 것은 결코 가벼운 문제가 아닙니다. 자율 주행 자동차의 예를 들어볼까요: 자율주행차의 복잡성은 나노초 단위로 컴퓨터가 수백만개의 순열을 처리하고 있다는 것을 의미합니다. 이것이 내리는 결정들은 따라서 설명하기 어려울 수 밖에 없습니다. 하지만 그럼에도 불구하고 시도는 해 봐야 겠죠.

Here’s a really good example: A Native American, a Hispanic, and a Caucasian walk into a hospital (what a terrible joke this could become…) and they all have diabetes (really, absolutely no comedy potential here at all), but in a data purest sense, they should each be treated differently because depending on their ages and race (and probably gender as well, what with women often being a damn sight smarter than men – see extra X’s above) they will be readmitted to the hospital at very different rates (on average).

여기 정말 좋은 예시가 있습니다:  아메리칸 원주민, 히스패닉, 커카시안이 함께 병원으로 걸어가고 그들은 모두 당뇨를 앓고 있습니다. 하지만 순수하게 데이터만 놓고 봤을 때는 그들은 각각 다르게 처방받을 것입니다. 왜냐면 그들이 병원에 재방문할 비율이 평균적으로 모두 다르기 때문입니다.

So the doctor or nurse could choose to not explain why their advice is slightly different, or they could show them this rather lovely dashboard built by some smart people from the Digital Society School (from, well, the world…) and say – ‘look the data tells us this – it’s not biased, it’s truth’:

따라서 의사나 간호사들은 그들의 진단이 왜 조금씩 다른지 설명하지 않기로 선택할 수도 있고 소위 말하는 똑똑한 사람들에 의해 만들어진 대쉬보드를 그들에게 보여주며 이렇게 말할 수도 있습니다. ‘여기 데이터를 보세요. 편견이 아니라 정직하게 데이터가 말해주는 걸요’

When Explainable AI is not needed 

Now there are also lots of times when the decision that has been taken is so advantageous that no-one cares just how the magic occurred. Imagine you want a new TV – you just want to find the best price. How many clicks are needed? Well, not many – and through the search process, helpful AI is busy sifting through the world to get you the best deal. And if you’re canny enough you might even deliberately abandon your cart (online, not in the actual shop – that’s rude) knowing that a smart piece of AI might even offer you a wee bit more off later…

그동안 많은 시간 동안 결정된 사항이 너무 유용해서 아무도 그 결정 과정에 대해서 신경쓰지 않았습니다. 새로운 텔레비전을 사고 싶다고 생각해 보세요 – 당신은 최적의 가격만을 찾을 것입니다. 몇번의 클릭이 필요할까요? 그렇게 많지는 않을 거에요. 검색 프로세스를 통해서 인공지능은 당신에게 최적의 구매 옵션을 가져올 것입니다. 그리고 만약 당신이 조금 심술을 부린다면, 인공지능이 더 나은 딜을 가져오기를 기대하면서 고의적으로 카트를 삭제해버릴 수도 있습니다.

Happy with that? Of course, you are. Need to know how it was done? You don’t really care, do you? Now on the other hand when it’s costing, we get very cross. For example, someone crashes their car and their premium jumps – oh blood boils then, huh? It’s so unfair. Well no it isn’t – it’s actually the very embodiment of fair. That person costs more than they paid so their premium rises so that those of us who do not crash pay less – and in fact, their crash has probably just put up my ruddy premium by 0.00001c… so pack it in and drive more carefully.

이런 상황이 만족스럽나요? 물론 그럴것입니다. 어떻게 그것이 가능했는지 알 필요가 있나요? 사실 아무 상관이 없죠. 하지만 만약 이 과정이 유료라면, 우리는 격분할 것입니다. 예를 들어 어떤 사람들이 교통 사고를 당하고도 프리미엄 과금을 물게 되었다고 하자- 아주 피가 끓을 것이다. 너무 불공정하니까. 그 사람은 그가 지불한 것 보다 더 많이 내야하고 결과적으로 교통사고를 낸 적 없는 사람은 적게 냄으로써 전체적인 프리미엄 수준은 높아질 것입니다. 하지만 사실 그들이 낸 사고는 내 프리미엄 보험료에 매우 미미한 영향을 미칠 뿐이니 체념하고 안전 운전을 하도록 하자.

So when it’s for people, people don’t care, when it’s against them, they care. But there are also other times where there are more subtleties when people need to be protected – like with a driverless car, or when a person of colour is in a court that uses biased data to decide a verdict. Then people really need a) to care and b) for people to look out for them – that is why XAI is so important. 

결과적으로 사람들은 그들을 위한 것에는 신경쓰지 않고 그들에게 해가 되는 것에는 신경을 쓰게 됩니다. 하지만 보호가 필요한 상황 중에 좀 더 판단하기 모호한 경우도 물론 있습니다. 운전자가 없는 자동차라던가, 혹은 유색인종인 어떤 사람이 편향된 자료로 판결을 하는 법정의 심판을 받을 때가 그러하다. 그럴 때 사람들은 비로소 신경을 써야 하고 혹은 그들을 위해서 다른 사람들이 신경 써줘야 하다는 것을 알게 됩니다. – 이것이 왜 xai가 중요한 이유입니다.

How Explainable AI will change customer experiences and jobs

Apocalyptic predictions of the end of humanity aside, it seems clear that AI is an enhancing technology rather than a wholesale human replacement. People expect good customer service – and the immediacy of social media and the broad similarity of many services is making that more and more the case. The services of a bank, an insurer, broadband mongers, cell-phone purveyors, even somebody’s doctor are all pretty much the same irrespective of the provider. So, it is when stuff happens that customer service must be perfect – a delivery, a repair, an outage, a bill shock, an appointment, a renewal, a claim, etc. etc. etc. If those events are poor, people forget the good that happened and only recall the bad, and with the ease by which the fickle consumer can switch – the churn event is frictionless and, in many ways, entirely predictable.

인류 종말에 대한 예언을 제쳐두고, 인공지능은 인간 대체제가 아니라 진보된 기술이라는 점은 명확해 보인다. 사람들은 좋은 서비스를 기대하고 즉각적인 소셜 미디어 반응을 기대하며 서비스들간에 넓게 공유되는 유사성은 이러한 기대를 점점 강화시킨다. 은행, 보험 회계사, 통신원, 누군가의 의사 조차도 그들이 제공하는 서비스는 그 주체와는 큰 관련 없이 거의 똑같다. 따라서 언제 어떤 일이 발생하든 모든 서비스는 완벽해야 한다. 배달부터 수리, 청구서 관리 등. 만약 이러한 사건들이 제대로 처리되지 않으면 사람들은 좋았던 것은 잊어버리고 안좋은 서비스만을 기억하며 쉽게 태도를 바꿀 수 있다. – 이러한 변덕스러운 이벤트는 많은 경우 예측 가능하고 마찰도 발생하지 않는다.

Worse, the open availability of price comparison sites means the consumer benefits from cheaper prices – but on the other hand, customer service can often be compromised as profitability is reduced. Just recently in the UK, the water regulator imposed the toughest crackdown that water companies have ever seen by ordering a price reduction. If things are made cheaper and cheaper, service with real live humans simply becomes too expensive. 

더 심한 경우도 있다. 모두에게 공개되어 있는 가격비교 사이트에서는 소비자들이 더 싼 가격으로부터 이익을 얻는다. 하지만 다른 측면에서 봤을 때 수익성이 감소함에 따라 소비자 서비스는 손상된다는 것을 의미한다. 최근 영국의 수질 규제 당국은 가격을 낮춘 대신 물 회사들에 대한 규제를 이래가 없을 정도로 강화했다. 어떤 게 싸진 다는 것은 실생활의 서비스들이 정말 비싸질 수 있다는 것을 의미한다.

The solution is clearly automation. It’s already happened: quicker, smarter computers behaving in empathetic ways that learn the best time, best words, best tone of voice, best language, and best channel to engage with people can deliver perfection in customer service. Well, near perfection – and the times when they fail or when humans are best? Well, just let humans do what they do best and display all the millions of years of communication evolution that makes them the best – and better than the best computer will ever be. 

해결책은 분명히 자동화다. 이미 일어나고 있따 – 더 빠르고 똑똑한 컴퓨터들이 사람들과 함께 일하는 데 필요한 최적의 시간, 단어 선택, 어조, 표현을 학습하면서 공감할 수 있는 태도를 지니고 있다. 거의 완벽에 가까워지고 있는게 그러면 언제 그들이 실패하고 인간이 이기는 걸까? 그냥 인간들이 수천년동안의 의사소통의 역사를 계속해 나가면 된다. – 어떻게 되더라도 항상 최고의 컴퓨터 보다도 더 나을 것이다.

Celebrate the future, it’s already here.

[번역]Google’s new ‘Explainable AI” (xAI) service

https://towardsdatascience.com/googles-new-explainable-ai-xai-service-83a7bc823773

AI has an explainability problem

Artificial intelligence is set to transform global productivity, working patterns, and lifestyles and create enormous wealth.

인공지능은 세계적인 생산성, 업무방식과 라이프스타일을 변화시키고 막대한 부를 만들어내고 있다.

Research firm Gartner expects the global AI economy to increase from about $1.2 trillion last year to about $3.9 Trillion by 2022, while McKinsey sees it delivering global economic activity of around $13 trillion by 2030.

연구기관에서는 세계적인 인공지능 경제가 작년 1.2 trillion 달라에서부터 2022년 3.9 trillion 달러까지 성장할 것으로 예측했으며 맥킨지에서는 2030년까지 13 trillion 달러 만큼의 세계적 경제활동을 일으킬 것으로 전망했다.

AI techniques, especially Deep Learning (DL) models are revolutionizing the business and technology world with jaw-dropping performances in one application area after another — image classification, object detection, object tracking, pose recognition, video analytics, synthetic picture generation — just to name a few.

인공지능 중에서도 딥 러닝 모델은 다양한 분야에서 놀라울만한 성과를 내면서 비즈니스와 기술을 크게 혁신시키고 있다. 몇가지만 이야기해보자면 이미지 분류, 물체 인식, 트래킹, 포즈 인식, 비디오 판독, 사진 합성 등이다.

They are being used in — healthcare, I.T. services, finance, manufacturing, autonomous driving, video game playing, scientific discovery, and even the criminal justice system.

이것들은 헬스케어, it, 금융, 제조업, 무인운전, 비디오게임, 과학, 범죄 수사에까지도 사용되고 있다.

However, they are like anything but classical Machine Learning (ML) algorithms/techniques. DL models use millions of parameters and create extremely complex and highly nonlinear internal representations of the images or datasets that are fed to them.

그렇지만, 결국 딥러닝도 머신러닝 알고리즘일 뿐이다(고전 기계 학습 알고리즘에 지나지 않는다). 딥러닝 모델들은 수천가지의 파라미터를 사용해서 공급된 이미지/데이터셋의 매우 복잡한 내부 표현을 생성한다.

They are, therefore, often called the perfect black-box ML techniques. We can get highly accurate predictions from them after we train them with large datasets, but we have little hope of understanding the internal features and representationsof the data that a model uses to classify a particular image into a category.

그러므로 따라서 그들은 종종 완벽한 블랙박스 머신러닝 기술로 불리기도 한다. 많은 데이터셋을 이용하면 정확한 예측값을 얻을 수 있지만, 그 모델이 특정 이미지를 해당 카테고리로 분류하는 데 사용한 데이터들의 내부 피쳐나 특징들을 거의 알아낼 수가 없기 때문이다.

SourceCMU ML blog

Google has started a new service to tackle that

Without a doubt, Google (or its parent company Alphabet) has a big stake in the proper development of the enormous AI-enabled economy, as projected by business analysts and economists (see the previous section).

논란의 여지 없이, 구글은 비즈니스 분석하도록 경제학자들이 예상했듯이 인공지능이 가능한 경제의 적절한 발전에 큰 지분을 차지하고 있다.

Google, had famously set its official strategic policy to be “AI-first”, back in 2017.

구글은 이미 지난 2017년에 공식적으로 “인공지능 우선” 전략 정책을 수립했다.

Therefore, it is perhaps feeling the pressure to be the torchbearer in the industry for making AI less mysterious and more amenable to the general user base — by offering service in explainable AI.

따라서, 구글은 설명 가능한 인공지능의 형태로 서비스를 제공함으로써 일반 사용자들로 하여금 인공지능을 덜 미스터리하고 더 납득 가능하게 느껴지도록 만드는 데 앞장서야 한다는 데 압박을 느끼고 있을 지도 모른다.

What is explainable AI (or xAI)?

The notion is, as simple as the name suggests. You want your model to spit out, not only predictions but also some bit of explanation, on why the predictions turned out to be that way.

이름에서 이미 말해주는 것처럼, 개념 자체는 간단하다. 모델로 하여금 단순히 예측 결과만 보여줄 것이 아니라, 왜 그런 예측 결과가 나오겠지만 되었는지에 대한 이유도 함께 보여주길 원하는 것이다.

But why is it needed?

This article covers some essential points. Primary reasons for AI systems to offer explainability are —

  • Improve human readability
  • Determine the justifiability of the decision made by the machine
  • To help in deciding accountability, liability leading to good policy-making
  • Avoid discrimination
  • Reduce societal bias

이 기사에서는 몇가지 본질적인 요소를 다룬다. 인공지능이 설명가능해야 하는 주요한 이유들로는 다음과 같다.

  • 인간의 가독성을 개선하기 위해
  • 기계로부터 만들어진 결정사항의 정당성을 판단하기 위해
  • 올바른 정책 결정을 도울 수 있도록 법적 책임의 대상 판단에 도움을 얻기 위해
  • 차별을 방지하기 위해
  • 사회적 편견을 배제하기 위해

There is still much debate around it, but a consensus is emerging that post-prediction justification is not a correct approach. Explainability goals should be built into the AI model/system at the core design stage and should be an integral part of the system rather than an attachment.

여전히 이와 관련해서는 많은 공방이 이어지고 있지만, 예측 결과에 대한 사후의 정당성 판단은 올바른 접근이 아니라는 데에 공감대가 형성되고 있다. 설명가능한 인공지능 법칙은 핵심적인 디자인 단계에서부터 모델이나 시스템에 포함되어 있어야 하며, 단지 부연적인 기능이 아니라 전체 시스템의 일부로써 포함되어야 한다.

Some popular methods have been proposed.

  • Understand the data better — intuitive visualization showing the discriminative features
  • Understand the model better — visualizing the activation of neural net layers.
  • Understand user psychology and behavior better — incorporating behavior models in the system alongside the statistical learning, and generate/ consolidate appropriate data/explanations along the way

몇가지 유명한 방법들이 제시되어 있다.

  • 데이터를 더 잘 이해한다. – 차별적인 특징들을 보여주어 직관적으로 시각화한다
  • 모델을 더 잘 이해한다. – 활성화된 신경망 레이어를 보여준다.
  • 사용자 멘탈모델/행동을 더 잘 이해한다. – 행동모델과 통계적인 모델을 함께 학습 시켜서 적절한 설명이 함께 결과로 출력되도록 한다.

Even DARPA has started a whole program to build and design these XAI principles and algorithms for future AI/ML-driven defense systems.

darpa 에서조차 미래의 인공지능이 불러오는 시스템을 위해서 설명가능한 인공지능 원칙과 알고리즘을 개발하는 프로그램을 진행하고 있다.

Explainability goals should be built into the AI model/system at the core design stage

Read this article for a thorough discussion of the concept.Should AI explain itself? or should we design Explainable AI so that it doesn’t have toIn this article, I’ll go over:towardsdatascience.com

설명 가능한 인공지능에 대한 좀 더 자세한 개념을 확인해 보고 싶다면 이 아티클을 읽어 보세요!

Google Cloud hopes to lead in xAI

Google is a leader in attracting AI and ML talents and it is the undisputed giant in the current information-based economy of the world. However, its cloud services are a distant third in comparison to that from Amazon and Microsoft.

구글은 인공지능과 머신러닝 인재들을 주도적으로 유치하고 있고 현재 정보기반의 세계 경제에서 논쟁할 여지가 없이 거대 기업이다. 하지만 구글의 클라우드 서비스는 아마존과 마이크로소프트과 비교했을 때 3등이나 떨어져 있다.

Source: Top cloud providers 2019

However, as this article points out, although the traditional infrastructure-as-a-service wars have been largely decided, new technologies such as AI and ML have opened the field up to the players for novel themes, strategies, and approaches to try on.

하지만,

Building on those lines of thought, at an event in London this week, Google’s cloud computing division pitched a new facility that it hopes will give it the edge on Microsoft and Amazon.

The famous AI researcher Prof. Andrew Moore introduced and explained this service in London.

이런 측면에서 생각해 보았을 때, 이번주에 런던에서 있었던 이벤트에서 구글의 클라우드 컴퓨팅 부서에서는 마이크로소프트와 아마존보다 우위를 점할 수 있는 새로운 시설을 내놓았다.

저명한 인공지능 연구 교수 앤드류 모어는 런던에서 이 서비스에 대해 소개했다.

Prof. Andrew Moore in London for Google Cloud explainable AI service launch, source

From their official blog,

“Explainable AI is a set of tools and frameworks to help you develop interpretable and inclusive machine learning models and deploy them with confidence. With it, you can understand feature attributions in AutoML Tables and AI Platform and visually investigate model behavior using the What-If Tool.”

공식 블로그에 따르면,

“설명 가능한 인공지능은 당신이 해석가능하며 수용 가능한 머신 러닝 모델을 개발하고 자신감 있게 그 결과를 선보일 수 있도록 돕는 도구이자 프레임워크의 체계와도 같습니다. 이것이 있다면 당신은 자동생성된 머신러닝 결과 표를 보고서 피쳐 분포들을 한눈에 파악할 수 있으며 모델의 특성을 시각적으로 해석해 볼수도 있습니다.”

Initially — modest goals

Initially, the goals and reach are rather modest. The service will provide information about the performance and potential shortcomings of the face- and object-detection models.

처음에는, 달성하고자 하는 목표와 도달 범위는 소소했다. 이 서비스에서는 물체, 얼굴 인식의 잠재적인 결점이나 수행 능력에 대한 정보를 제공해주는 역할만을 수행할 예정이었다.

However, with time, GCP hopes to offer a wider set of insights and visualizations to help make the inner workings of its AI systems less mysterious and more trustworthy to everybody.

하지만 시간이 지남에 따라, 구글 클라우드 플랫폼은 좀 더 넓은 인사이트를 제공할 수 있기를 바랐고 시각화를 통해 인공지능 시스템의 내부적인 작동 원리를 사람들이 신뢰할 수 있을 정도로 베일에 쌓인 부분을 없애길 원했다.

New technologies such as AI and ML have opened the field up to the Cloud service players for novel themes, strategies, and approaches to try on.

인공지능과 머신러닝과 같은 새로운 기술들은 클라우드 서비스 사용자에게 시도해볼만한 새로운 전략과 접근방식에 대한 새로운 장을 열어줬다.

Prof. Moore was candid in his acceptance that AI systems have given even the best minds at Google a hard time in the matter of explainability,

무어교수는 구글에서 가장 뛰어난 사람들에게조차 인공지능 시스템의 설명가능성에 대해서는 결코 쉬운 문제가 아니었다는 사실을 솔직히 받아들였다.

One of the things which drives us crazy at Google is we often build really accurate machine learning models, but we have to understand why they’re doing what they’re doing. And in many of the large systems, we built for our smartphones or for our search-ranking systems, or question-answering systems, we’ve internally worked hard to understand what’s going on.

“우리가 구글에서 정말 힘들었던 것 중 하나는, 우리가 정말 정확한 머신러닝 모델을 만들고 있음에도 불구하고 왜 그 모델이 그런 결과를 만들어 내는지 이해하지 못한다는 것입니다. 또한 우리가 만든 스마트폰, 검색엔진, 문의응답 체계와 같은 큰 규모의 시스템에서 우리는 그 시스템 내부적으로 어떤 일들이 일어나고 있는지 이해하는데 많은 시간을 투자하고 있습니다.”

One of the ways, Google hopes to give users a better explanation, is through the so-called model cards.

구글이 유저들에게 더 나은 설명을 제시하기를 바라는 방법 중 하나는 바로 모델 카드를 이용하는 것입니다.

Google model card for face detection, Source: ZDNet article

Google used to offer a scenario analysis What-If tool. They are encouraging users to pair up new explainability tools with this scenario analysis framework.

구글에서는 what-if tool 이라는 시나리오 분석 툴을 제공하고 있습니다. 이 분석 프레임워크를 이용해서 유저들이 새로운 설명가능 도구를 결합하도록 장려하고 있다.

“You can pair AI Explanations with our What-If tool to get a complete picture of your model’s behavior,” said Tracy Frey, Director of Strategy at Google Cloud.

“우리가 제공하는 what-if 툴과 결합-이용해서 인공지능에 대한 설명을 발견할 수 있으며 당신이 사용한 모델의 행동 결과를 분석하는데 도움을 받을 수 있습니다.”

Google AI’s What-If tool

And, it’s a free add-on, for now. Explainable AI tools are provided at no extra charge to users of AutoML Tables or AI Platform.

심지어 현재 이 툴은 무료이다. 설명가능한 인공지능 도구는 autoML Tables 이나 구글 인공지능 플랫폼을 사용하는 유저들을 대상으로는 과금을 하고 있지 않다.

For more details and a historical perspective, please consider reading this wonderful whitepaper.

Overall, this sounds like a good start. Although, not everybody, even within Google, is enthusiastic about the whole idea of xAI.

전체적으로 좋은 시작점인 것 같다. 다만 구글 내부적으로도 모든 사람들이 설명가능한 인공지능에 대한 이 생각들에 긍정적인 것 같지는 않다.

Bias and audits?

Some say bias is a bigger issue

In the past, Peter Norvig, Google research director, had said about explainable AI,

“You can ask a human, but, you know, what cognitive psychologists have discovered is that when you ask a human you’re not really getting at the decision process. They make a decision first, and then you ask, and then they generate an explanation and that may not be the true explanation.”

과거 구글의 리서치 디렉터인 피터는 설명가능한 인공지능에 대해 이야기한 적이 있는데,

“그냥 사람에게 물어보면 되긴 하죠, 근데, 심리학자들이 발견한 사실은 사람에게 물어볼 때 궁극적으로 의사결정 과정에 참여하지는 못한다는 겁니다. 당신이 다른 사람에게 의견을 구할 때, 타인은 이미 판단을 완료한 상태에서 대답하기 때문에 당신과 함께 조율하는 것이 아닌 자신이 이미 내린 판단을 설명하는 것에 그치지 않습니다.”

So, essentially, our decision-making process is limited by psychology and it will be no different for a machine. Do we really need to alter these mechanics for machine intelligence and what if the answer and insights that come out, are not palatable to the users?

그렇기 때문에 궁극적으로는 우리의 의사결정 과정은 심리학적인 근거에 의해서 상당히 제한적이고 기계의 의사결정 과정도 이와 다를 게 없을 것이다. 그랬을 때 과연 우리는 이 매커니즘을 기계 지능에게 전이해야 할까? 하지만 만약 그 결과가 사용자에게 납득가능하지 않는다면 어떨 것인가?

Instead, he argued that tracking and identifying bias and fairness in the decision-making process of the machine should be given more thought and importance.

그 대신에, 기계의 의사결정 과정을 트래킹하고 내재된 편견들을 확인하는 것에 더 많은 생각과 중요성을 투자해야 한다고 피터는 주장한다.

For this to happen, the inner working of a model is not necessarily the best place to look at. One can look at the ensemble of output decisions made by the system over time and identify the specific pattern of hidden bias mechanisms.

이것을 하기 위해 모델의 내부 구조를 들여다 보는 것이 가장 좋은 방법이 아닐 수 있다. 일정 기간 동안 그 모델에서 도출된 예측값들을 비교분석하여 작동 매커니즘의 숨어있는 편견이나 패턴을 발견해 보는 것도 좋은 방식일 것이다.

Should bias and fairness be given more importance than a mere explanation for future AI systems?

미래의 인공지능 시스템을 위해 단순한 설명보다 편견과 공정성이 더 중요하게 여겨져야 할까?

If you apply for a loan and get rejected, an explainable AI service may spit out a statement like — “your loan application was rejected because of lack of sufficient income proof”. However, anybody who has built ML models, know that the process is not that one dimensional and the specific structure and weights of mathematical models that give rise to such a decision (often as an ensemble) depend on the collected dataset, which can be biased against certain section of people in the society where matter of income and economic mobility is concerned.

만약 당신이 대출을 시작했는데 거절당했다면, 설명가능한 인공지능 서비스에서는 이런 말을 할 것입니다. -“충분한 소득이 증명되지 않았기 때문에 당신의 대출 신청은 거절되었습니다.” 하지만 머신러닝 모델을 구축해본 사람이라면 누구나 그 결정이 일차원적이지 않음을 알고 있을 것이며, 또 그러한 결정에 도달하기까지 모델에서 사용한 수학적인 학습 모델이나 구조에는 경제적인 유동성이나 소득이 중요한 사회의 특정 계층의 사람들에게 편중되었을 수도 있는 데이터셋이 사용되었다.

So, the debate will rage on the relative importance of having merely a system showing rudimentary, watered-down explanation, and building a system with less bias and a much higher degree of fairness.

따라서, 간결한 시스템을 보여주고 공정성은 강화하고 편견은 줄인 시스템을 구축하는 것의 상대적 중요성을 강조하는 논의가 계속되고 있다.

External, automated audit?

To make AI-systems more explainable (or, at least, more accountable), some have proposed automated, scalable, external audit systems to be managing the decisions coming out of black-box AI platforms. Oren Etzioni of the Allen Institute for AI, proposes such an approach here.High-Stakes AI Decisions Need to Be Automatically AuditedToday’s AI systems make weighty decisions regarding loans, medical diagnoses, parole, and more. They’re also opaque…www.wired.com

인공지능 시스템을 더 설명 가능하게 만들기 위해서 (최소한 납득 가능할 정도로), 인공지능 플랫폼의 블랙박스 의사결정들을 관리할 수 있는 자동화되고 확장가능한 외부의 감시 체계가 제안되고 있다. 여기 링크로 들어가면 그러한 제안을 살펴볼 수 있다.

future of data science

data scientist demand

  1. people with a mix of skills(statistics, databases, data visualization, machine-learning, coding, data preparation skills)
  2. people with more specialized skill sets
  3. domain-specialists data scientists, data translators(link between data function and the business)

data science field

  • data mining, statistics
  • machine learning(python, java)
  • database(sql/hadoop)
  • linear algebra software engineering
  • data visualization
  • data engineering
  • data architecture

MY NEXT STEP

  • Find interesting field in data-science
  • Study domain knowledge

[번역] 어떤 산업이 가장 먼저 재개해야 할까? – 데이터 기반 접근법 Which Businesses Should Reopen First? A New MIT Study Has Answers.

The grand reopening of America’s businesses has begun. On Monday, New York Governor Andrew Cuomo presented a plan for the phased reopening of the state’s businesses, while California Governor Gavin Newsom also announced that some of the state’s businesses would begin to reopen on Friday. Meanwhile, some other states have already given their businesses the green light to reopen, starting with Georgia, which allowed all kinds of businesses, including gyms, bowling alleys, and tattoo parlors, to reopen their doors starting April 24.

미국 산업들이 다시 시작을 준비하고 있다. 월요일에 뉴욕 정부는 단계적인 재오픈 계획을 발표했고 캘리포니아 정부는 금요일부터 몇몇 비즈니스의 오픈을 시작한다고 발표했다. 그러는 한편 몇몇 다른 주들은 벌써 재오픈을 허가했는데, 대표적인 것이 바로 조지아다. 체육관, 볼링장, 타투 시설을 포함한 모든 종류의 비즈니스들에게 4월 24일부터 재오픈을 허가했다.

Governments and businesses that rely on in-person transactions are struggling with the question of how to weigh the health risks of reopening — or remaining open — against the economic and societal costs of staying closed for business owners, their employees, and communities they serve. But which types of businesses are most worth the risk?

면대면 서비스들 제공하는 정부와 비즈니스들은 재오픈으로 인한 안전 위협과, 비즈니스 중단으로 인한 경제/사회적 비용 사이에서 저울질을 하고 있다. 어떤 종류의 비즈니스가 과연 그러한 위험을 감수할만큼 부정효과보다 긍정적인 효용이 더 클까?

new study out of MIT aims to answer this question, ranking various types of businesses and public locations by weighing their danger quotient against their economic and social benefit. (Spoiler: It doesn’t look so great for hair salons and barbershops.) The study by Seth Benzell, Avinash Collis, and Christos Nicolaides at the Massachusetts Institute of Technology Initiative on the Digital Economy, used geolocation data from 47 million smartphone users to measure the danger posed by a type of location (including the number of visitors and hours spent in a crowded space). Meanwhile, they used consumer surveys and government statistics on payroll and employment to determine a location’s social and economic benefit.

MIT 에서 새롭게 시작한 연구는 이런 문제에 해답을 찾고 있다. 다양한 종류의 비즈니스들과 공공 장소의 위험성과 사회,경제적 이익의 크기를 매기면서 순위를 매기고 있다. 이 연구에서는 4700만 개의 스마트폰 유저들로부터 수집한 지리위치 정보를 사용해서 위치에 따른 위험 척도를 평가한다. (이는 붐비는 장소에서 방문객의 숫자와 머문 시간을 포함한다.) 또한, 그들은 소비자 설문조사와 급여 명쇄서와 고용 정보에 관련된 정부 통계를 이용해서 위치들의 사회, 경제적인 이익을 평가했다.

Marker spoke with Benzell, Collis, and Nicolaides about their study, what they discovered, and how policymakers and business owners should weigh the risks as local economies begin to reopen.

Marker는 연구진들을 대상으로 그들이 무엇을 발견했고 정책입안자들과 경영진들이 지역 경제의 재오픈을 논의할 때 어떻게 이런 위험들을 평가해야 할지를 인터뷰했다.

This interview has been edited for clarity.

이 인터뷰는 이해를 돕기 위해 한번 정리된 내용입니다.

Marker: Can you give us some background on the study? How did you approach ranking these types of businesses and public locations by economic benefit and risk?

마커 : 연구의 배경은 뭔가요? 어떻게 경제적인 이익과 위험으로 이런 비즈니스와 장소들의 순위를 매기기 시작했나요?

Seth Benzell: All of us here participate in the MIT Initiative on the Digital Economy [a team of researchers focused on business and digital transformation]. So when the Covid-19 crisis hit, there was a sense within our group that since human interaction seems to be a big part of the Covid story, and we’ve got a lot of tools for measuring human interactions, is there some way that we can bring our skills to bear on this problem?

연구진들 모두 이 기관 소속입니다. 그래서 코로나-19 사태가 터졌을 때, 우리 그룹 내에서 인간들끼리의 상호작용이 코로나 사태에 큰 영향을 끼쳤고 우리한테는 그런 상호작용들을 측정할 수 있는 다양한 수단이 있으므로, 우리의 이런 기술들을 이 문제에 이용할 수 있지 않을까 생각했습니다.

So we got together and started brainstorming. People interact with each other in a lot of different ways, in a lot of different contexts. If we assume that every possible interaction between a pair of people is dangerous, how can we make sure that for every interaction we’re having, we’re getting as much bang for the buck as possible? We began to measure how many interactions — and dangerous interactions — do we think are happening at the places where people meet, and how socially important each of those places is.

그래서 브래인스토밍을 시작했습니다. 사람들은 다양한 상황 속에서 다양한 방법으로 소통합니다. 만약 사람들 사이의 그 모든 가능한 상호작용들 모두 위험하다고 가정한다면, 어떻게 그 모든 상황에서 가능한한 많은 가치를 찾을 수 있도록 확신할 수 있을까요? 우리는 먼저 상호작용 개수가 얼마나 되는지를 파악했습니다. – 그리고 어떤 상황이 위험한지도요 – 사람들이 만나는 장소에서 우리가 생각하기에 얼마나 많은 상호작용이 발생하고, 각각의 장소가 얼마나 중요한지를 평가했습니다.

bang for the buck : 본전을 뽑을 수 있을 만한 가치

A chart from the study showing how various businesses rank according to risk and benefit (gold dots represent an importance that outweighs the risk, while blue dots are the opposite).

[Caption: A chart from the study showing how various businesses rank according to risk and benefit (gold dots represent an importance that outweighs the risk, while blue dots are the opposite).]

And what did you find, in a nutshell?

그리고 어떤 걸 발견했나요?

Seth Benzell: We created a ranking of locations that should be opened earlier in the process rather than later or face more rather than fewer restrictions, in a context where the government can’t just strictly enforce density restrictions everywhere.

정부가 모든 곳에서 밀도 제한을 엄격하게 강제할 수 없는 상황에서, 우리는 더 늦게보다 일찍 개방을 해야 하는 장소들이나, 더 적은게 아닌 더 많은 제약에 직면해야 하는 장소들의 순위들을 매겼다.

We found that the places with the worst trade-offs have indeed seen a larger reduction in visits than the places that we think are the best trade-offs. But there are some significant outliers. One example is liquor stores, which we think represents one of the worst trade-offs in terms of danger versus economic and social importance. But we found that the number of visits to those stores from February to March reduced by less than 10%.

우리는 가장 우선순위가 낮은 곳에서 가장 높은 곳 보다 훨씬 더 분명한 방문객의 감소가 있다는 사실을 확인했다. 하지만 몇몇 분영한 예외 상황도 있었다. 대표적인 예가 바로 술집이다. 우리 생각에는 위험대비 경제적 이익이나 사회적 중요성이 떨어질 것이라고 생각했지만, 지난 2월부터 3월까지의 방문객의 수는 10%보다 적은 수준으로 감소한 것을 확인할 수 있었다.

On the other hand, we look at some locations that seem to be outliers on the other side. The big one is colleges and universities. These are big spaces that are visited by a consistent group of people. Those people who visit the space tend to be younger people, which is also something that’s taken into account in our danger metrics. And we’ve seen a reduction in visits to colleges and universities of about 60%.

한편, 다른 차원에서의 예외 상황도 찾을 수 있었다. 대표적인 것이 대학들이다. 대학은 대규모의 사람들이 지속적으로 방문하는 큰 장소다. 이곳에 방문하는 사람들은 대부분 젊은 사람들로, 우리는 danger metrics를 정리할 때 이러한 요소 또한 고려했다. 결과적으로 대학가의 방문객 감소율은 60%에 달했다.

Now, we’re not saying that colleges and universities don’t encourage some sort of behaviors that we need to be especially skeptical of, such as big college parties or other possibly unhealthy aspects about dorm living. But the extent to which visits have reduced does seem out of order in comparison to other locations that we’ve locked down less that pose a greater danger.

우리가 말하고자 하는게 대학교 파티나 기숙사 생활처럼 요즘 시기에 특별히 조심해야 하는 행동들에 대해서 장려하지 못했다고 말하려는 것이 아니다. 하지만 대학교 방문객의 수가 줄어든 것은 더 큰 위험을 내포하고 있는 다른 장소들과 비교했을 때 순서가 맞지 않다는 것이다.

In the case of colleges and universities, for example, do you account for the fact that some institutions are more readily able to move their functions online versus others?

예를 들어 대학교 내의 기관들 중에서 다른 것들에 비해 상대적으로 온라인으로 그 기능을 옮겨가기가 수월한 것이 있다고 생각하시나요?

Avinash Collis: As these businesses or locations like colleges, shift online, we would ideally have to collect more data on how that impacts consumers’ valuation of these products. Let’s say if students get the same amount of value from online education as they did in person, and if shifting online doesn’t lead to job losses at universities or at these other locations, then these places get even better in our analysis because the danger metric would be drastically reduced while the importance metric might remain unchanged.

대학과 같은 산업이 온라인으로 옮겨감에 따라 이상적으로는 이러한 상황이 소비자들의 제품에 대한 평가에 어떠한 영향을 미칠지에 대한 더 많은 정보를 모아야 합니다. 만약 학생들이 대면강의를 할 때와 비슷한 수준의 가치와 효용을 온라인 수업으로 얻을 수 있거나, 온라인으로의 전환이 직업상실로 이어지지 않는다고 생각해보자면, 이런 장소들은 우리가 수행하는 분석에서 훨씬 좋은 점수를 받게 됩니다. 왜냐면 위험 척도는 크게 감소하고 중요성 척도는 일정하게 유지되기 때문이죠.

But while we haven’t done surveys asking how much students value online colleges, it seems from the other evidence out there that the online experience for students is inferior to the in-class experience.

하지만 학생들이 온라인 수업에서 어느정도의 효용을 얻는지에 대한 설문을 해본적이 없긴 해도, 다른 여러 증거들을 토대로 생각해봤을 때 교실 안의 수업과 비교한 온라인 수업은 그 질이 떨어지는 것으로 예상됩니다.

Are you speaking with any public health officials or advise any state or local governments about your findings?

당신이 발견한 것에 대해서 공공보건 관계자와 이야기 해 보거나 지방정부/주에게 조언을 해본적이 있나요?

Christos Nicolaides: We talked with McKinsey, the company advising Governor Cuomo [of New York]. We are also approaching other policymakers around the country as well.

뉴욕 정부를 컨설팅 해주는 맥킨지 회사와 이야기 했었습니다. 이 주변의 정책입헌자들과도 연락을 하고 있습니다.

California said it will start allowing businesses to reopen on Friday and Governor Cuomo just announced a reopening plan for New York. Meanwhile, Georgia has already reopened, including gyms and bowling alleys. What do you make of these plans?

캘리포니아주에서는 이번주 금요일부터 비즈니스들의 재가동을 허가했고, 뉴욕도 재가동 계획을 발표한지 얼마 안되었습니다. 조지아주는 이미 체육관을 포함한 대부분의 시설을 재오픈 했죠. 이 계획에 대해 어떻게 생각하시나요?

Seth Benzell: We haven’t gone state by state. There are some decisions being made that we don’t perfectly agree with. I understand that some states are talking about opening up locations like gyms. And according to our analysis, gyms have just one of the worst trade-offs and should be among the last to reopen as they don’t provide that much economic or social value while being highly trafficked and not very big. And there are other factors that count against them if you consider people sweating and not wearing masks.

우리는 여러 주들을 가보지는 못했습니다. 분명히 우리가 완벽히 동의할 수 없는 결정들이 있습니다. 몇몇 주에서 체육관과 같은 시설들을 오픈해야 한다는 이야기가 나오는 것에는 이해가 됩니다. 하지만 우리의 연구에 따르면 체육관은 그리 크지도 않고 사람들이 많이 몰리는 반면에 사회/경제적 효과 또한 충분하게 발생하지 않기 때문에 가장 나중에 재가동 되어야 하는 시설 중에 하나입니다. 그곳에서 사람들이 땀을 흘리고 마스크도 끼지 않는 다는 사실을 고려한다면 체육관이 위험한 또다른 중요한 이유를 확인할 수 있을 것입니다.

Avinash Collis: None of these states are being very transparent about how they are coming to their decisions. In our research, we provide a data-driven approach to think about this trade-off between danger and importance of locations. But we haven’t seen any quantitative analysis that is informing reopening plans of these states. So this is where we hope we can come and help policymakers.

모든 주에서 그들이 어떤 과정으로 결정을 내렸는지에 대해 투명하게 공개하고 있지 않습니다. 우리의 연구에서는 위험과 중요도의 균형을 분석한 데이터 기반 분석 결과를 제공합니다. 하지만 재오픈 계획을 발표하는 주에서는 어떠한 정량 분석 결과를 알려주고 있지 않습니다. 그래서 우리는 이 지점에서 우리가 그들을 도울 수 있다고 생각합니다.

You mentioned that you’d spoken to McKinsey. What do you make of New York’s four-phase plan for reopening that prioritizes various industries? Is that in line with the findings in your paper?

맥킨지와 이야기 해 보았다고 하셨는데, 다양한 산업군들에 우선순위를 매겨서 4단계로 재오픈 계획을 발표한 뉴욕주에 대해서 어떻게 생각하시나요? 당신이 연구한 결과와 일치하나요?

Avinash Collis: The framework of this plan seems pretty similar to how we were thinking in terms of classifying locations based on risk and importance. But it’s still not clear how they exactly came to these decisions. It’s not really transparent.

전체적인 틀은 상당히 유사합니다. 위험과 중요도의 측면으로 장소들을 분석했다는 측면에서는요. 하지만 여전히 그들의 결정 과정에는 명확하지 않은 부분이 많습니다.

Seth Benzell: Looking at it now, there’s a lot of heterogeneity within retail, to put all retail stores within Phase 2 of this reopening plan. We think that there are some stores like department stores that are pretty big spaces that people value a lot that should be maybe a little bit earlier. I don’t see personal services [such as barbers and hair salons] anywhere on this list, but those should tend to be towards the end. And then we think education [which is in the last phase of New York’s reopening plan], at least colleges and universities, should potentially be a little bit earlier in this process.

지금생각해 봤을 때는, 모든 소매점들을 2단계 재오픈 계획으로 밀어 넣기에는 너무 큰 이질감이 존재한다고 생각합니다. 백화점 처럼 큰 공간들은 사람들이 중요하게 생각하기 때문에 좀 더 일찍 개방할 필요가 있습니다. 또한 리스트에는 미용실과 같은 개인적인 서비스들은 안보이는데, 아마 맨 마지막 단계에 있을 것으로 예상이 되는데요, 교육도 마찬가지입니다. 교육도 아마 맨 마지막 단계에 있을 거에요. 하지만 최소한 대학들은 이 과정에서 조금은 더 일찍 개방되어야 한다고 생각해요.

Are there any governments outside of the U.S. that in your view are doing this right, or taking a data-driven approach to answering the question of reopening?

미국 이외의 다른 나라 중에 당신이 생각했을 때 잘하고 있거나, 이러한 재오픈 계획과 관련해서 데이터 기반 접근을 시도하는 나라가 있나요?

Avinash Collis: We looked at some European countries, including Germany, and what we found is that they were trying to put density controls in locations. Our research talks about whether you keep places closed or open them up. And some countries, like Germany, are trying to open places up, but with density controls. The challenge with that is it’s really hard to enforce them properly. For example, in Germany what we saw is that they were opening up smaller stores and keeping bigger stores closed. And the logic for that was it’s easier to count the number of people entering smaller stores and it’s easier to keep density controls. But that goes against common sense. So we have seen some density-based plans, which we’re not sure how well they would work in practice.

독일을 포함한 몇 유럽권 국가들을 살펴봤을 때 그들은 밀도 제한을 하고 있다는 걸 확인할 수 있었어요. 우리의 연구는 어떠한 장소를 열어야할지 오픈해야 할지에 대해 이야기 하고 있죠. 독일과 같은 일부 나라에서는 밀도 제한을 하면서 제한적으로 장소들을 개발하고 있습니다. 이 방법의 힘든점은 적절한 수준으로 통제하기 어렵다는 점이죠. 예를 들어 독일에서는 작은 상점들은 개방하고 큰 상점들은 문을 닫도록 하고 있습니다. 이러한 정책의 기본 원리는 바로 큰 장소보다 작은 장소에서 방문객들의 수를 세기가 쉽고 밀도 제한을 유지하기가 따라서 더 쉽다는 것입니다. 하지만 이는 상식을 벗어나요. (오히려 사람들 사이 거리가 가깝다는 점에서 위험한 측면도 있기 때문에) 이렇게 밀도를 기반으로한 계획들은 현실 세계에서 과연 잘 작동할지 확신할수가 없습니다.

Does your study account for the social distancing measures that are taken by some of these locations like offices and supermarkets?

여러분의 연구에서는 사회적 거리 측정 방법에 대한 내용도 다루고 있나요? 슈퍼마켓이나 사무실 같은 곳에서 말이죠.

Seth Benzell: Our measures are based on typical use before the Covid-19 crisis. We, of course, think that every location should be doing its utmost to use these social distancing best practices, like masks and screens as you described. The way I would think about using our tool to help policymakers and businesses implement those adjustments is places that look like bad trade-offs should be areas that we focus more intensely on making sure that they’re abiding by precautions, and taking these harm reduction measures. If the state only has so many resources or ability to check that people are abiding with density restrictions, they should focus enforcement on the places that we find to be bad trade-offs, places that are probably more vectors of what’s going on.

우리의 측정 방식은 코로나 사태가 발생하기 이전에 일반적인 사용을 기반으로 하고 있습니다. 우리도 물론 마스크 착용이나 스크린 설치 등 사회적 거리를 두기 위한 관행들을 위해 모든 장소에서 최선을 다해야 한다고 생각합니다. 정책입헌자나 산업들에서 우리가 만든 도구를 이용해 그런 적응을 시행시킬 수 있는 방법은 대비 효능이 낮은 장소들에서 예방수칙을 제대로 준수하는지 그리고 피해를 줄이기 위한 방법들을 잘 활용하고 있는지 확인하는데 더 집중하는 것이라고 생각합니다. 만약 지자체에서 사람들이 밀도 제한을 잘 지키고 있는지를 확인할 수 있는 방법과 자원이 충분하다면 우리가 찾은 나쁜 점수를 받은 곳들에 대한 확인을 강화해야 할 것입니다.

The last thought I want to share is that people should start thinking about their social interactions as suddenly being a lot more expensive. As the nation is making the decision about how to open up or close down, in either case, we’re not in normal times where just meeting up with someone is a happy, fun thing. Every time we interact with another human, we need to make sure we’re getting as much bang for the buck for every interaction as possible. So it’s strange and it’s disconcerting to think that we have to think of ourselves as rationing social contact, but that’s where we are.

마지막으로 하고 싶은 말은 사람들이 이제 사회적 상호작용이 어느새 훨씬 비싸졌다는 사실을 생각해야 한다는 점입니다. 국가에서 상점들의 오픈과 폐쇄를 결정하고 있는 상황에서 우리는 누군가와의 약속이 그저 재밌고 즐거운 일이기만 했던 평범한 때와는 거리가 멀어졌습니다. 또 다른 인간과의 상호작용에서, 기회가 있을 때, 우리는 최대한 얻어낼 수 있는 많은 효용을 얻어야 하는 시대가 왔습니다. 사회적 접촉 하나하나에도 그 효용을 측정하고 머리를 써가며 가치를 배분하는 것이 이상하고 당혹스럽기는 하지만, 그게 현실이 되었습니다.

[번역] 데이터 산업의 5가지 도전 과제와 해결법 5 Real-Time Challenges Faced by Data Science Industry and How to Combat It

원문 : https://towardsdatascience.com/5-real-time-challenges-faced-by-data-science-industry-and-how-to-combat-it-35b9027d4ce9

Are you thinking to pursue a career in the data industry?

데이터 산업에서 커리어를 쌓아나갈 계획이신가요?

Well, data is a lucrative field to pursue as they are plenty of demand for people with similar skills. In this business arena. data scientists are deemed to possess some superhuman powers as they wade across tones of data and come up with a solution for solving business problems.

데이터 산업은 비슷한 스킬을 가진 사람들을 많이 필요로 하기 때문에 전망이 좋은 분야입니다. 비즈니스 분야에서 데이터 사이언티스트들은 여러 종류의 데이터를 다룰 줄 알아야 하고 산업 문제를 해결해줄 솔루션을 내놓아야 하는 다재다능한 역할을 수행해야 합니다.

There exists no career without any challenges and how can data be an exception to this. In this article, we want to explore the real-time challenges of data science which are based on perspectives from those experts in the field.

도전 없이 커리어를 쌓을 수는 없고 데이터 분야 또한 예외가 아닙니다. 이번 기사에서는 데이터 사이언스 분야의 전문가들의 시각을 바탕으로한 현재 이 분야가 직면하고 있는 어려움에 대해 이야기해 보도록 하겠습니다.

Problem-Identification

>문제 정의

One of the major concern in analyzing a problem is to identify it accurately for designing a better solution and defining each aspect of it. We have seen data scientists to try mechanical approach by beginning their work on data and tools without getting a clear understanding of the business requirement from the client.

문제를 분석하기 위한 가장 집중해야 하는 것 중 하나는 바로 문제를 정확히 파악하는 것입니다. 그래야 더 나은 솔루션을 만들고 그것들의 여러 측면들을 확인할 수 있습니다. 그동안 클라이언트로 부터 산업의 니즈에 대한 분명한 이해 없이 바로 데이터와 툴에 접근해서 일을 시작하는 기계적인 접근방식을 사용하는 데이터 사이언티스트들을 봐왔습니다.

How to Resolve it?

There should be a well-defined workflow before starting off with the analysis of the data. Therefore, as a first step, you need to identify the problem very well to design a proper solution and build a checklist to tick off as you analyze the results.

데이터를 분석하기에 앞서 워크플로우 (프로세스 계획)를 잘 정리해 두어야 합니다. 따라서 첫번째 단계로는 문제를 정확하게 확인하는 것이 필요합니다. 이를 통해 적절한 솔루션을 탐색할 수도 있고 결과를 분석할 때 평가할 수 있는 체크리스트도 만들 수 있습니다.

Accessing the Right Data

It is vital to approach your hands on the right kind of data for the right analysis which can be a little time consuming as you need to access the data in the most proper format. There might be issues ranging from hidden data and insufficient data volume to less data variety. It is also a kind of challenge to gain permission for accessing the data from various business. You need to know how dangerous are fake chargers and its consequences.

올바른 종류의 데이터에 올바른 방식의 분석법을 사용하는 것이 굉장히 중요합니다. 이건 데이터에 접근할 때 가장 적합한 포맷을 취해야 하기 때문에 시간 소요가 필요한 부분입니다. 데이터가 숨겨져 있거나 불충분할 수도 있고, 데이터 종류가 너무 적을수도 있는 문제가 있습니다. 여러 산업군의 데이터를 활용하는 데 권한을 부여받아야 하는 어려움 또한 있습니다. 잘못된 데이터 그것들을 활용한 결과가 얼마나 무서운지 알아야 합니다.

How to Resolve it?

Data scientists are expected to manage the data management system and other information integration tools such as Stream analytics software which is used for data filtering and aggregation. The software allows to connect all the external data sources and sync them in the proper workflow.

데이터 사이언티스트들은 stream analytics software 같은 툴을 사용해서 데이터 관리 시스템 혹은 다른 데이터들을 관리하기를 요구받습니다. 그런 툴을 사용하면 데이터 필터 및 관리에 유용하며, 워크플로우 안으로 적절히 데이터들을 동기화 하는 데에 유용합니다.

Cleansing of the Data

[Image Source]

Big data is estimated to be a little expensive for generating more revenue because data cleansing is making troubles to operating expenses. It can be a nightmare for every data scientist to work with the databases which are full of inconsistencies and anomalies as unwanted data leads to unwanted results. Here, they work with tons of data and spend a huge amount of time in sanitizing the data before analyzing.

빅데이터는 많은 수익을 내기에 어려운 모델이라고 평가 받는데, 그 이유는 데이터를 청소하는 데 많은 운영비가 투입되기 때문입니다. 모든 데이터사이언티스트들에게 일관적이지 않고 비정상 데이터가 많은 데이터 베이스는 굉장히 힘든 작업일 것입니다. 원하지 않는 결과로 이끌기 때문이죠. 빅데이터 분야에서 데이터 사이언티스트들은 데이터를 분석하기 전에 데이터를 정재하고 정리하는 데에 많은 시간을 투입합니다.

How to Resolve it?

Data scientists make use of data governance tools for improving their overall accuracy and data formatting. Addition to this, maintaining a data quality should be everyone’s goals and businesses need to function across the enterprise benefit from good quality data. Bad data can result in a big enterprise issue.

데이터 사이언티스트들은 data governance 툴을 이용해서 전체적인 정확성과 데이터 형식을 통합하는 데 사용합니다. 뿐만 아니라 데이터 품질을 유지하는 것은 모든 사람들의 목표이며, 산업에서는 좋은 품질의 데이터로부터 경영 이익을 제공해야 합니다. 나쁜 데이터는 큰 문제를 일으킬 수 있습니다.

Lack of Professionals

It is one of the biggest misconceptions to expect that the data scientists are good at high-end tools and mechanism. But they too need to have possessed a piece of sound knowledge and gain subject depth. Data scientists are considered as bridging the gap between the IT department and top management as domain expertise is required for conveying the needs of the business to the IT department and vice Versa.

데이터 사이언시트들이 어려운 툴과 매커니즘을 잘 다룬다고 생각하는 것은 큰 오산입니다. 하지만 그들은 반드시 주제에 대한 깊이 있는 이해와 일정 수준 이상의 지식을 갖고 있어야 합니다. 데이터 사이언티스트들은 it 부서와 최고 경영진 사이를 잇는 징검다리 역할을 합니다.

How to Resolve it?

To resolve this, data scientists need to get more useful insights from businesses in order to understand the problem and work accordingly by modeling the solutions. They also need to focus on the requirement of the businesses by mastering statistical and technical tools.

이 문제를 해결하기 위해서, 데이터 사이언티스트들은 솔루션을 제시함으로써 산업의 문제와 업무 내용에 대해 잘 이해하기 위해 비즈니스로 부터 유용한 인사이트들 더 많이 찾아야 합니다. 통계와 기술적인 툴을 이용하여 비즈니스에서 요구하는 것들에 집중할 줄도 알아야 합니다.

The Road Ahead

In reality, being a data scientist requires the implementation of results by making use of refined data and practical applications. The data world is a difficult and fast challenge. However, a career in the data industry is not only based on experts but it is based on being an expert who understands how to fit the demands of industries. Keep Learning!

현실적으로 데이터 과학자가 되는 것은 정제된 데이터와 실용적인 프로그램으로부터 얻은 결과를 잘 적용할 줄 아는 것입니다. 데이터의 세계는 어렵고 빠릅니다. 그렇지만 데이터 산업에서의 커리어는 단순히 전문가가 되어야 하는 것이 아니라 산업의 요구를 맞춰줄 수 있는 전문가가 되어야 합니다. 계속해서 배우세요!

Author Bio

Stephanie Donahole is working as a Business Analyst at Tatvasoft Australia, a web development company in Australia. Her aim is to sharpen her analytical skills, deepening her data understanding and broaden her business knowledge in these years of her career. She loves to write about technology innovation and emergence, tips and tricks. Follow Her on Twitter.

2020년~ 2050년 직업 트렌드

원문 : https://toughnickel.com/finding-job/Best-Jobs-of-the-Future-2050

The job market is constantly changing and the changes are coming faster and faster. Today it is very different from your grandparents’ generation. The jobs your grandparents held might not be in demand now.

직업 시작은 계속 변화하고 그 속도도 빨라지고 있다. 오늘날은 이전 세대와는 완전히 다른 양상을 띤다. 이전 세대에 유망했던 직업들이라도 이제는 그렇지 않다.

What does this mean for 2020, or even 2050? We know the job market will change even faster as technology advances increases. Some jobs in high demand for future generations don’t even exist today. But we can predict which career paths will be in demand 20–50 years from now. Present-day labor statistics and industry trends help form these predictions.

2020년, 2050년에는 어떨까? 직업 시장은 더 빠르게 변화할 것이다. 미래에 유망한 직업군들은 지금 존재하지 않을 수 있겠지만 최소한 어떤 커리아가 앞으로 20, 50년 후에 중요해질지는 예측해볼 수 있다. 고용 통계와 산업 트렌드 자료를 통해 이런 예측을 해 볼수 있다.

Best Careers for the Future

What are the best careers for the future? The jobs predicted to have solid growth and good pay in the future are:

꾸준히 성장하고 높은 수준의 임금을 받을 것으로 예상되는 직업들:

  • Business Analyst
  • Software Developer
  • Marketing
  • Information Security
  • Physical Therapist
  • Sales

The future is uncertain but we can make solid predictions with today’s information. Some of the list came from sectors that are growing quickly today. Other jobs come from predictions based on upcoming technology.

미래는 불확실 하지만 오늘날의 정보를 바탕으로 예측해볼 수 있다. 오늘날 빠르게 성장하고 있는 산업이거나, 새롭게 개발되는 기술들과 관련된 직업들은 유망해질 가능성이 높다.

We can find the jobs that are growing today with help from the Bureau of Labor Statistics (BLS). They predict the number of new jobs created in a field over the next 10 years. These are great career paths for the future. Jobs in the health care field have huge growth predicted soon. This earned them a place on the Best Careers for the Future list.

첫번째로 오늘날 빠르게 성장하고 있는 산업을 알아보기 위해 BLS의 자료를 참고했다. 그들은 향후 10년 동안 새로 생길 직업의 개수를 예측했다. 헬스케어 분야의 직업들이 크게 성장할 것으로 예측되고 있다.

Further in the future, other jobs will be in demand as technology changes industries. These jobs aren’t necessarily getting a big boost yet, while the technology is still young, so they’re not remarkable in BLS’s growth statistics and more difficult to predict. But we can look at upcoming technologies to see what jobs will be important in 10-30 years.

두번째로, 새롭게 개발되는 기술이 생김에 따라서 직업들의 수요가 발생할 것이다. 이런 직업들은 아직 기술 개발 수준이 미약하기 때문에 BLS의 성장 규모에서는 주목할만한 정도가 아니고, 미래를 예측하기도 어려운 수준이다. 하지만 10~30년 이후 성장할 직업군에 대해서는 예측해 볼 수 있다.

Robotics and artificial intelligence (AI) are two technologies that are going to change industries. These will form the jobs in demand in the future.

로봇과 인공지능은 우리의 산업을 바꿀 두가지 기술이다. 이 기술들은 미래의 직업을 바꿀것이다.

Robotics taking a bigger role in industry will mean certain jobs going away. Manual and dangerous tasks will be replaced by robots. Manual laborers will become more skilled to stay valuable.

로봇공학의 성장은 어떤 직업들을 사라지게 할 수 있다. 수작업이 필요하거나 위험한 일들은 로봇에 의해 대체될 것이다. 노동자들은 좀 더 어려운 기술들을 체득해야 한다.

Artificial intelligence will remove the need for many repetitive tasks. Workers will have access to more tools and data than ever before. The career paths that thrive will be those that use data like analysts and developers.

인공지능은 반복적인 일들을 줄여줄 것이다. 노동자들은 더 많은 데이터와 도구를 다룰 줄 알아야 한다. 애널리스트와 개발자와 같이 데이터를 이용하는 직업군이 성장할 것이다.

Top Business Jobs in the Future

In the next 10–20 years businesses will have more access to data and automation. Parts of the jobs of people like accountants and admins will become obsolete. Workers using data to draw connections and improve processes will be in demand.

여러 직군들은 자동화와 데이터에 접근성이 훨씬 좋아질 것이다. 회계사나 관리자는 더이상 필요 없어질 것이다. 데이터를 이용해서 프로세스를 향상시키는 직업들은 수요가 많아질 것이다.

Business Analyst

Analyzing industry trends and watching the competition will be important. Business analysts will spend more time drawing conclusions and presenting them to management than making reports. Soft skills will be as important as ever to succeed.

산업 트렌드를 분석하고 경쟁 관계를 살피는 것은 중요해질것이다. 비즈니스 애널리스트는 보고서를 만드는 것 보다도 결론을 도출하는 과정, 그리고 경영팀에 이를 보고하는 과정에 시간을 많이 쏟게 될 것이다. 부드러운 기술들이 성공을 위해 그 어느때보다도 중요한 기술이 될 것이다.

Even without a background in analysis you can pivot into a business analyst career by taking a respected online course in business analytics.

분석에 대한 배경지식이 없더라도 관련 분야의 온라인 코스를 수강함으로써 충분히 커리어를 옮길 수도 있다.

Combine that specialization with your experience in an industry and you can work your way into more lucrative

수강내용을 당신의 현장경험과 결합해서 더 큰 수익을 창출해 보자.

Top Marketing and Sales Jobs in the Future

Technology will make producing products more cost-efficient than ever. To stand out, businesses will invest more in marketing and sales.

기술을 통해 제품 생산의 효율은 점점 커질 것이다. 이로써 산업에서는 마케팅과 세일즈에 더 많은 투자를 하게 될 것이다.

Here are a couple of marketing careers that will be at the top of the list in 20–50 years:

Marketing Analyst

Marketing Analysts will have more information available to them to make decisions. Now, analysts spend a lot of time gathering and processing data.

마케팅 애널리스트들은 결정을 내릴 때 더 많은 정보를 참고할 수 있게 될 것이다. 현재 그들은 데이터를 모으고 처리하는 데 많은 시간을 투자하고 있는 상황이다.

In the near future, a marketing analyst will be working software that does the processing for them. It finds patterns on its own. The important part of the analyst’s job will shift away from finding patterns to drawing meaningful conclusions from those patterns. This is a trend you’ll see in many of these roles.

가까운 미래에는 마케팅 애널리스트은 데이터 전처리를 직접 해주는 프로그램들을 사용하게 될 것이며, 패턴까지도 찾아줄 수 있다. 따라서 애널리스트가 맡게될 중요한 일은 프로그램이 발견한 패턴을 바탕으로 의미있는 결론을 도출해 내는 것이다.

Salesperson

Getting customers to buy your product will be more important than ever as technology progresses.

소비자가 당신의 제품을 사게 하는 것은 기술이 발전함에따라 점점 더 중요해질 것이다.

Workers in sales can expect to have smarter tools and more data on potential customers. But commission-based compensation isn’t going anywhere. In the future, sales will still be a high-pressure job that pays well when you bring in business.

판매원들은 잠재 고객들에 대한 더 많은 정보와 스마트한 도구를 갖게 될 것이다. 하지만 수수료에 의한 보상은 어디 가지 않을 것이다. 미래에도 판매직은 판매 실작에 따라 보상을 받는 부담이 큰 직업군일 것이다.

Cybersecurity is a growing field.
Cybersecurity is a growing field. | Source

Future Tech Careers

Tech has seen a huge surge in the last 20 years and it will continue to grow. But the in-demand sectors will be more refined.

기술은 지난 20년 동안 크게 발전했고 계속해서 커질 것이다. 하지만 수요가 발생하는 직군은 어느정도 정리가 되고 있다.

Soft skills and high-level thinking will be the gaps every business is trying to fill. See any of these you’re interested in? Learn how to prepare for a technical interview so you’re ready for your next position.

부드러운 기술들과 어려운 사고 과정은 여러 산업군에서 좁히고자 하는 격차일 것이다. 이 둘 중에 흥미가 가는 것이 있는가? 기술 인터뷰에 대비하는 방법을 알아보자.

Software Developer

You knew software engineers or developers would be on the list! But soon it won’t be enough to know how to code. Machine learning will replace the grunt work of entry-level programmers. Software engineers will need to add machine learning to their skill set to stay relevant.

소프트웨어 개발자가 리스트에 올라올 것이라고 이미 알고 있었을 것이다! 하지만 이 직군은 단지 코딩을 할 줄 안다고 충분하지 않다. 머신러닝이 입문 개발자를 대체할 것이다. 따라서 커리어를 유지하기 위해서는 머신러닝을 할 줄 알아야 한다.

A desirable software engineer will have high-level skills like data structures and an understanding of AI. Developers will spend more of their time integrating with other services and less of their time on specific code.

미래에 필요한 엔지니어는 인공지능에 대한 이해와 데이터구조 스킬을 갖춘 사람일 것이다. 개발자들은 코딩하는 시간은 줄이고 여러 서비스들을 통합하는 데에는 더 많은 시간을 투자하게 될 것이다.

Self-taught coders will become a bigger part of the workforce.

독학하는 개발자가 더 많아질 것이다.

Information Security

The future comes with more data and more ways to exploit it. Businesses will need employees to provide sophisticated protection.

미래에는 데이터가 더 많아질 것이고 활용할 방법도 더 많아질 것이다. 산업에서는 보안을 위해 더 많은 인력을 고용할 것이다.

Workers in the IT security field will be in high demand to provide this protection. The nature of the work isn’t likely to change much. But staying relevant in cybersecurity will be more and more difficult as new threats are developed.

IT 보안직에 있는 노동자들에 대한 수요가 많아질 것이다. 그들이 하는 일은 크게 바뀌지 않을 것이지만 새로운 기술이 생김에 따라서 보안 기술도 어려워 질 것이다.

Medical Careers for the Future

As humans live longer, the medical field will continue to boom. The aging baby boomer generation will need more care and medicine.

베이비 부머가 나이가 듦에 따라서 더 많은 의료 서비스가 필요해지고 있다.

Physical Therapists

It’s not just doctors and nurses with promising careers. Physical therapists were on the top of the list of jobs expected to outpace the market by 2050.

단순히 의사나 간호사만 커리어가 보장되는 것이 아니다. 육체 테라피스트는 2050년까지 크게 성장할 직업 중 하나이다.

Assistants and aides for therapists is also a promising market. Most assistant positions can be secured with a 4-year degree and training on the job.

테라피스트들을 돕는 사람들 또한 많은 수요가 발생할 것이다. 어시스턴트 자리는 4년 학위 과정을 수료하면 보장될 것이다.

Most of the work done by these positions will be similar to what is it today. Therapists and their assistants provide hands-on patient care that can’t be replaced by a machine.

대부분의 일들은 오늘날과 비슷하게 수행될 것이다. 로봇이 대체할 수 없는 인간의 케어가 필요하기 때문이다.

Healthcare Administrator

Hospitals, nursing homes, and clinics all need facility managers and administration. These workers will handle logistics, insurance and planning for a whole facility or just a department.

병원과 요양원 모두 시설 관리자와 행정직이 필요하다. 보험, 일정관리 등을 담당할 것이다.

Why would you want to be a healthcare administrator? This position pays very well for relatively little education (Bachelor’s). It can be a good avenue to help people even if you don’t like the idea of becoming a doctor or nurse. Another benefit is that these roles can be found anywhere in the country.

학사 학위에도 상대적으로 충분한 보수를 받을 수 있을 것이다. 의사나 간호사가 되지 않고서도 사람들을 도울 수 있다. 어느 곳에 가더라도 이 직업에 대한 수요가 있다는 사실도 장점 중 하나이다.

Highest Paying Jobs in Demand in the Future

What will be the highest paying jobs in the future? We can’t be sure

가장 돈을 많이 버는 직업은 무엇일까? 확신할 수는 없다.

But of the careers that are expected to grow in the future Sales Director and Software Developer will have the highest salaries.

하지만 미래에 성장할 것으로 기대되는 세일즈 디렉터와 소프트웨어 개발자가 가장 높은 급여를 받을 것으로 예상된다.