We’re sitting on a big data time bomb
$114 billion. That’s how much global organizations will spend on big data in 2018, an increase of more than 300 percent in just five years. But how much of that is money well spent?
Over the past 10 or so years, we’ve seen widespread adoption of new approaches for managing big data such as Mapreduce and the introduction of schema-less databases for massive-scale storage, as well as complementary technologies like Hadoop, Storm, and Spark for storage and processing. But making use of big data means more than deploying a particular platform or paradigm: At its best, it means a total redesign of how companies structure and organize data.
われわれはビッグデータの時限爆弾を抱えている。
1140億米ドル。これは、2018年の時点でグローバル組織がビッグデータにかけることになる費用である。わずか5年で3倍以上の増加だ。だが、このうちいくらが有効活用されているのだろうか。
過去10年そこそこの間に、Mapredeceや大規模ストレージのためのスキーマレス・データベースの導入といった、ビッグデータを扱うための新しい手法や、HadoopやStorm、Sparkなど、ストレージや処理のための補足的な技術が広く取り入れられきた。しかし、ビッグデータの活用は、単に特定のプラットフォームやパラダイムを活用すればいいというものではない。究極的には、企業がデータを構築し、オーガナイズする方法を、一から設計し直さなくてはならないのである。
Despite big data’s promising benefits, few organizations have begun the essential steps to prepare for the adoption of new capabilities and data platforms. An industry survey of global companies found that only 35 percent have “robust processes for data capture, curation, validation, and retention.” Equally troubling, 67 percent “do not have well-defined criteria in place to measure the success of their big data initiatives.” Instead, big data solutions are integrated reactively, department by department, or not at all.
ビッグデータには有望な利益が見込まれるにもかかわらず、いくつかの組織では新しい機能やデータプラットフォームの採用準備のための、重要な一歩を踏み出し始めている。グローバル企業を対象とした企業調査では、「データの収集や整理、検証、保管のための堅固なプロセスを持っている」と答えたのはわずか35バーセントであった。同じく厄介なとこに、67パーセントの企業は「ビッグデータ戦略の成功を測定するための十分に定義された基準がない」という。それどころか、ビッグデータ・ソリューションが受身的に、部署ごとに統合されていたり、あるいは全く統合されていなかったりしたのである。
The amount of available data in the world will have exploded to 44 zettabytes by 2020 — 10 times what it was in 2013, according to a 2014 IDC report. Companies that fail to prepare for this next generation of massive data volume and insights run the risk of incurring operational and technical debt. In an example of corporate natural selection at work, those that fall behind are doomed to wither away.
Here’s what they can expect as this big data time bomb goes off.
IDCの2014年の報告によれば、世界中で利用可能になるデータ量は、2020年には44ゼタバイトにまで激増する。これは2013年の10倍のデータ量である。この新世代の大規模データ量への備えや理解に失敗する企業は、操業上の負債や技術的な負債を被るリスクを犯すことになる。企業の自然選択が作用すれば、後れを取った企業は衰退する運命にある。
ビッグデータという時限爆弾は、このようにして爆発すると予測されているのである。
Catastrophic loss of transparency. Few IT professionals have experience managing big data platforms at scale — a situation that has created a massive skills shortage in the industry. By 2018, U.S. companies will be short 1.5 million managers able to make data-based decisions. A recent McKinsey Quarterly report estimates that, in order to close this gap, companies would need to spend 50 percent of their data and analytics budget on training frontline managers; it also notes that few companies realize this need.
透明性の破滅的損失。ビッグデータ・プラットフォームの操作を経験したことのあるIT専門家はわずかである。この状況は、産業界における大規模な人材不足を引き起こした。2018までに、米国企業では、データに基づいて決定できる経営者が150万人不足することになる。最近のMcKinsey Quarterlyレポートでは、このギャップを解消するためには、最前線の経営者のトレーニングに、データや分析のための予算の50パーセントを費やす必要があるだろうと見積もっている。さらに、こうした必要性を認識している企業がわずかであることにも言及がある。
As data needs broaden, managers without a firm understanding of information management and best-practices in data extensibility will encounter major challenges with managing data-driven systems. Through poor operational transparency, businesses will struggle to identify when data is inaccurate and meaningful and even whether key reports and metrics are running properly. Being able to grasp these intricacies and ask the right questions about data will become a mandatory skill. Anything less will mean a lack of visibility into how your business is run, inhibiting informed decision making and diminishing your company’s competitive edge.
データへのニーズが拡大するにつれ、情報マネジメントやデータ拡張性の効率的処理についての十分な理解のない経営者は、データを基盤とするシステムの管理において、大きな困難に直面することになるだろう。実施における透明性の低さから、どのデータが不正確でどれが有用なのか、さらにはキーレポートやメトリックスが正しく動作しているのかどうかを判断することにさえ、企業は苦闘することになるはずだ。こうした複雑な問題を把握することができ、データについて的確な質問ができることが、不可欠なスキルとなるだろう。何かが少しでも欠けていれば、事業の経営についての透明性を低下させることになり、情報に基づく意思決定を妨げ、企業の競争力を減少させることになる。
Skyrocketing personnel costs. In 2014, data scientists spent an estimated 50-80 percent of their working hours on cleaning and processing datasets. In the near-term, companies are often tempted to outsource the automation of data preparation tasks to off or nearshore data specialists. Demand for these services is already fueling an explosion of microwork platforms like CloudFactory, MobileWorks, and Samasource, which are expected to become a $5 billion industry by 2018.
ウナギのぼりの人員コスト。2014年には、データ・サイエンティストは、その労働時間のうちの推定50から80パーセントを、データセットのクリーニングと処理に費やしていた。短期的には、企業はデータの準備作業の自動化を、外部や近場のデータ・スペシャリストに外注したい衝動にたびたび駆られることだろう。こうしたサービスへの需要は、すでにCloudFactoryやMobileWorks、Samasourceのような分業システム・プラットフォームの爆発的増加につながっている。これらのプラットフォームは、2018年間でに50億米ドル規模の産業になると見込まれている。
However, the outsourcing approach doesn’t scale. Referring back to the predicted 44 zettabytes of data, this amount of rapid growth would require thousands of offshore and nearshore team resources with a long-term viable solution. Any sustainable solution will need to involve significant automation.
しかし、外注によるアプローチでは規模が足りない。予測される44ゼタバイトというデータ量からすると、こうした急成長には、長期的に成功の見込めるオフショアないしはニアショアのチーム資源が数千は必要となる。どのようなソリューションであっても、持続可能なものにするためはかなりのオートメーションが必要になるのである。
Communications blockage. Companies today interact with each other through curated data, but the effort to facilitate that process pales in comparison to what is coming within the next 20 years. A new standard of corporate data networking will emerge involving organizations of all sizes trading, publishing, and measuring curated datasets as well as the corresponding algorithms and metadata. A company that’s not able to participate in this global data marketplace will be unable to capitalize on the market intelligence on offer.
This evolution to commercial mass data-sharing is already underway in every sector of the global economy.
通信遮断。今日では、企業はキュレーション・データを通じて互いにやりとりしているが、そのプロセスを容易にするための努力は、今後20年以内にやってくるものと比べるて見劣りするものである。貿易や出版などあらゆる規模の組織や、キュレーション・データセットやそれに対応するアルゴリズムおよびメタデータを含む、新しい企業データネットワークの標準が現れるだろう。このグローバル・データ市場に参加できない企業は、提供されている市場情報から利益を得ることができなくなるのである。
この商業的な大規模データ・シェアリングの進化は、グローバル経済のあらゆる部門ですでに進行中である。
Under pressure to allow third-party verification of their research, pharmaceutical companies such as GlaxoSmithKline recently proposed plans to share clinical trial data more broadly. President Obama has called upon tech companies to share data about potential hacking threats. A recent Forrester report predicts that data services will become “a mainstream aspect of product offerings” in 2015, citing examples from John Deere’s FarmSight to LexisNexis’ analytics products. At this pace and by the next decade, effective use of big data won’t just be key to winning in the marketplace, it will be a prerequisite for participation .
第三者による研究検証への圧力を受けて、GlaxoSmithKlineなどの製薬会社は最近、臨床試験データをより広く共有するプランを提唱した。Obama大統領は、テクノロジー企業に対し、潜在的なハッキングの脅威に関するデータを共有するよう要請している。Forresterの最近のレポートでは、John DeereのFarmSightやLexisNexisの分析用プロダクトを引き合いに出しながら、2015年にはデータサービスが「製品提供の主流」になるだろうと予測している。このペースでいけば、あと10年以内には、ビッグデータの効果的な使用は市場で勝利を収めるための鍵であるというだけでなく、市場に参加するための必須条件となるだろう。
Despite these impending challenges, you can avoid the big data time bomb — if you take action now. Here are three steps that can defuse this oncoming explosion within your company.
こうした差し迫った問題があるものの、ビッグデータの時限爆弾を回避することは可能である。ただし、今すぐに行動を起こしさえすればだが。以下は、あなたの企業での将来的な爆発を防ぐための３つのステップである。
