Data scientists to CEOs: You can’t handle the truth
Too many big data initiatives fail because companies, top to bottom, aren’t committed to the truth in analytics. Let me explain.
In January 2015, the Economist Intelligence Unit (EIU) and Teradata (full disclosure: also my employer) released the results of a major study aimed at identifying how businesses that are successful at being data-driven differ from those that are not.
データ科学者からCEOへ：あなたは真実に耐えきれない
数多のビッグデータを用いた取り組みは、会社のアナリティクスへの関心が足りず、失敗します。
Economist Intelligence Unit (EIU)とTeradata（私の雇用者）は2015年1月に、成功したデータ駆動型である会社とそうでない会社の違いに関する研究の結果を発表した。
Among its many findings, there were some particularly troubling, “code red” results that revealed CEOs seem to have a rosier view of a company’s analytics efforts than directors, managers, analysts, and data scientists. For example, EIU found that CEOs are more likely to think that employees extract relevant insights from the company’s data – 38 percent of them hold this belief, as compared to 24 percent of all respondents and only 19 percent of senior vice presidents, vice presidents, and directors. Similarly, 43 percent of CEOs think relevant data are captured and made available in real time, compared to 29 percent of all respondents.
多くの調査結果に共通するのは、そこにはかなり厄介な「非常事態」が存在するということである。つまり、取締役や部長、研究者やデータ解析者に比べ、当該ののCEO達は会社の分析的な取り組みを楽観視しているのである。CEOというものは、従業員は企業データから現実的な見識を得ると考えがちだということをEIUは発見した。実に彼らのうち38パーセントがこの信条を持っているのである。比較のために挙げると、この信条を持っていたのは、すべての回答者のうちの24パーセント、上級副社長、副社長、取締役のうちではたったの19パーセントであった。同様に、すべての回答者の29パーセントに比べ、43パーセントのCEOが実際のデータはすぐにでも補完する事ができると考えている。
So why is there such a disconnect? It turns out the answer is much more human than the size of a company’s data coffers, or the technology stockpiled to analyze it. Big data initiatives fall down at the feet of biases, bad assumptions, and the failure, or fear, of letting the data speak for itself. As insights make their way up the corporate ladder, from the data scientist to the CEO, the truth in analytics is lost along the way. And this leads to a cumulative effect of unintended consequences.
それではどうしてこうした断絶が起きるのか？その答えは企業のデータ量やそれを分析するのに蓄積されているテクノロジーの問題というよりはすぐれて人間的な要素が関係していることが分かっている。ビッグデータの取り組みは偏見、良くない仮定、エラーや恐れの支配を受けながらデータをして自ら語らせている。得られたインサイトはデータサイエンティストからCEOへと会社の階段を駆け上って行くがアナリティクスの中にある真実は失われていく。そしてこれが累積されて予期せぬ結果をもたらすのだ。
Communicate the Known-Unknowns to Your CEO
Take the idea of known risks, for example. In analytics, you always have to make some assumptions because the data hardly ever paints a complete picture. So, you have to identify and rank those risks to understand what might happen when assumptions go wrong. In some cases, the risks aren’t tied to big consequences. But, in other cases, it can be devastating.
既知と未知についてCEOと話し合うこと
既知の危険性についての概念を例に取ってみよう。解析論的に、データだけでは全体的な状況がつかみにくいため、常に、いくつかの想定をする必要があるであろう。故に、その想定が間違っでいた時に、何が起こりうるかを認識するため、これらの危険性を見極め、査定評価しなければならない。場合によっては、その危険性が大きな結果をもたらすことには関係ないことがあるが、壊滅的な結果を及ぼしうることもあるのだ。
Look at the stock market crash of 2008. A whole host of people made a simple and logical assumption that home prices would only go up. But most analysts didn’t experiment enough with what would happen if prices actually fell. Well, now we know what would happen. It was almost a global calamity. The people investing in the pre-housing crisis bubble were working on an assumption that was very flawed on many levels. And very few people considered, or realized, the risk until it was too late.
2008年に起きた株価暴落を確認してみよう。きわめて多くの人が住宅価格は上がるものだという単純かつロジカルな見方をしていた。しかしほとんどのアナリストはもし価格が下がったら何が起きるかの実験をしていなかったのだ。さて、実際に何が起きたかはご存知のとおり、世界的な大惨事に近い状況となった。住宅バブル崩壊前に投資をしていた人はそれぞれのレベルで深い傷を負った。取り返しのつかない事態となるまでにリスクのことを考え、これを肌で感じた人はほとんどいなかった。
The same thing happens, at generally smaller scales, in businesses. The CEO doesn’t have a clear view of risk. It is up to the data scientists, business analysts and their managers to make the CEO well aware of the risk in assumptions. The CEO needs to understand that there is a critical, level 1 risk in assumptions – in the housing example, if prices were to go down, this whole thing falls apart. Even if that risk is unlikely, at least it is on the table. Many people are uncomfortable discussing such negatives with senior executives and many senior executives don’t like to hear it. But to succeed, everyone must get past that hurdle.
ビジネスにおいては、同じようなことが、通常、より小さなスケールで起きる。CEOは、危険性についての、はっきりとしたビジョンに欠けている。CEOに、根拠のない考え方の危険性を十分に認識させることは、データ科学者やビジネスアナリスト、そして企業の管理職者の働きかけ次第なのである。CEOは、根拠のない考え方に、致命的な「レベル1」の危険性があることを理解する必要がある。家を例にとると、価格が下がり続ければ、全てが崩壊してしまうことになるというように。たとえ危険が及びそうでなくとも、少なくとも、危険になる状況は、目に見えているはずである。人々の多くは、このような暗い側面を役員たちと話し合うことに消極的で、多くの役員も聞きたがらない。しかし、成功するためには、皆が、このハードルを越えなければならない。
Get Past the Culture of Fear of the Truth
Then there is the fear of the truth, with a bit of cognitive bias thrown in. For example, it is very common that sales people, when asked for their forecast, even armed with data on historical performance and current pipeline, are generally not sure if they are going to hit their number. But, typically, they’ll tell the VP of sales they will hit their forecasts – unless, of course, a miss is very apparent. They share the information they’re expected to share, and withhold any acknowledgement that the numbers are malleable.
真実を恐れる文化を克服する
そして、認識バイアスが入り込んできて真実を恐れる事態が起きる。たとえばセールスパーソンが自身の売上見通しを聞かれた際には、たとえそれまでの実績や現状の見込みに関するデータで武装していたとしても目標を達成できるかどうか確信が持てないものだ。しかし、販売部門のVP（バイスプレジデント）には予想を達成できますと言ってしまいがちだ（当然ながら、ミスが大きくなければの話）。彼らは自分がシェアしたいと思っている情報をシェアして、数字には幅があるということを表に出さない。
The problem arises in the aggregate: The VP gets a rosy picture from five sales people on her team, even though they all have serious doubts, so she puts that assumption in and the data rolls up to the CEO, or CFO. In reality, the metric is underpinned by a huge amount of doubt. The truth is buried under the fear of losing one’s job and the cultural expectation that the goal will be met. Failure is not an option. However, while it is likely several of the sales people will manage to hit their number, the chance that they all will is small. This makes the VPs figures even more unrealistic than the initial estimates.
集計をすると問題が発生する。各メンバーは真剣に疑いの気持ちを持っているにもかかわらず、VPはチームの5人のメンバーからバラ色の見通しを受ける。そしてデータはVPにより取りまとめられてCEO、もしくはCFOに報告される。実際のところ、その数字はとてつもない疑いに裏付けられている。真実は仕事を失うかもしれないという恐怖、目標は達成されるという企業文化的な見方の下で打ち消される。失敗は選択肢にない。ただ、何人かのセールスパーソンは何とか目標を達成できるかもしれないが全員が達成する機会はそれほどない。これによりVPは当初の見通しと比べて非現実的な結果をつきつけられる。
So what happens? Everyone is shocked when the company misses its forecast. This is an example of where people sugarcoat a little at the low end, and the cumulative effect leads to the business incorrectly forecasting company-wide results.
それで何が起きるか？その会社は見通しを達成できず誰もが衝撃を受ける。このような事態は、フロントラインのスタッフが上辺を良く見せようとすると累積的な効果によって全社レベルで予測を見誤ってしまうという典型例だ。
