找回密码
 立即注册

手机号码,快捷登录

大数据下一个十年将如何演进?

小盈| 2019-12-15 22:15 阅读 836 评论 0

作者丨Oleksii Kharkovyna

译者丨夏夜

当下我们生活在数据的时代里。机器学习和数据分析技术已经成为了我们当今生活密不可分的一部分。那接下来会怎样呢?

在这篇博客中,我不打算预测数据科学面对的未来是什么,不会去猜测它的未来是光明有前途,还是毫无希望。这里我只结合自己,还有我认识的一些人的经历,提供一些决定性因素帮忙做预测。

抛开这些,我先大致勾勒一下今后 10 年影响数据科学未来的关键因素。我希望它会在工作流程上带给你一些有价值的见解。不用多说,这只是我的个人预测。如果你感兴趣,请继续读下去!

1

数据科学的未来:我怎样看待?

1、更多的数据科学策略

数据科学就是通过定量的方式解决问题的一门学科。在过去,由于缺少数据或数据处理能力,我们只能依赖其它东西,比如“独裁者的突发奇想”、“专家的直觉”和“普遍的共识”等。今天,这些根本都不管用了,而且毫无疑问,10 年后它们的作用会更有限。数据科学家转而在搭建一些系统,这些系统可以输出语音、预测、给出期望并输出真正的结果。

数据科学技术的泡沫不会破裂,相反,数据驱动策略的引入将继续占据主流。更多的人会关注数据,从数据中获得真知灼见,所以数据科学团队成为任何成功组织机构,至少是大部分组织不可或缺的一部分,由此组织之间会竞争,渴望争得领域前沿的位置。

2、更多界定明确的角色

因此数据科学会更受欢迎,绝大多数顾客会更清楚数据科学家到底是做什么的。现在,数据科学家是一个宽泛的头衔。目前领域内的人使用相关名称和描述时有一些不严谨,所以外界对该领域中人的角色有很多困惑。

我们一般把数据科学领域的角色分成 4 类,它们角色职能不同但有重叠。

数据架构师开发数据架构,以有效地捕获、整合、组织、中心化和维护数据。

数据分析师处理和解释数据,为公司提供有执行意义的预测。

数据科学家一旦数据体量和产生速率达到一定水平,需要复杂技术时,他们会对数据进行分析。

数据工程师开发、测试和维护数据架构,保证随时使用和分析数据。

我认为随着时间推移,所有这些角色我们会更熟悉,我们也会更了解它们的不同点。因此,顾客会对什么可得什么不可得,有更切实际的期待,头脑中会有更清晰的工作流程,还有从中获得的收益。

3、更多的软技能需求

随着时间推移,我们会更清楚地看到,大量的数据科学家会熟练运用 Python 或 R 语言。但是,向管理层推销你的想法的能力,说服他们相信你的洞察和见解才值得追求的能力,这种能力会怎样?可视化描述可以承担一半工作,而另一半就是老旧的市场营销能力。结果,我们会看到市场更青睐那些知道如何围绕出售产品创造关键性对话的人。因此,那些能将硬软技能结合的人会永远吃香。

4、数据会更多,处理数据的人工智能也会更多

现在我们谈一些严肃的东西。每天我们产生的数据量多到难以想象,以我们现在的速度,每天产生数据量有 2.5 个 10 的 18 次方字节,而且这个速度只会加快。看一下 Raconteur 网站做出的每日关键数据信息图:

5 亿推特信息;

2940 亿电子邮件;

四千万亿字节的 Facebook 数据;

四万亿字节的单位车联网数据;

650 亿条 WhatsApp 信息;

50 亿条搜索信息;

到 2025 年,预计全球每天将产生 463 艾字节(463*10^18 字节)数据,相当于每天 212,765,957 张 DVD 的数据量!

实际上,仅靠数据科学家,无法管理和处理这么庞大的数据。届时,人工智能很可能成为协助数据科学家处理数据的有效工具。自动化数据分析工具和机器学习会“聪明”到取代数据科学家做例行工作,比如探索性数据分析、数据清理、统计建模和构建机器学习模型。

5、更少的代码,相当少的代码

据特斯拉 AI 总监 A. Karpathy 说,不久的将来,我们可以不用写代码了。我们只需要找到数据,并输入到机器学习系统即可。此种场景下,软件工程师的角色会成为“数据监管者”。未来大多数程序员都不再需要复杂的软件仓库,不用写复杂的程序。Karpathy 说,程序员会从事搜集、清理、操作、标记、分析数据以及对神经网络产生的数据进行可视化的工作。

机器学习正在引领一种新的计算范式,在该范式中训练机器才是关键技能。随着机器学习技术的普及,以及通过工具的抽象达到更高程度,我们会看到大部分编程工作会逐渐消失。最终,制造产品的大部分步骤将是屏幕上的拖拽、刷卡、指向和点击操作。从业者会从中解放出来,在解决问题时更有策略性和创造性。你在《星际迷航》中看到过有谁写计算机程序吗?没有。

诸如 R 语言、Python 和 Spark 这样的工具会变得无用武之地吗?大多数数据科学家不再需要通过写程序的方式做统计分析或训练机器学习模型了吗?没有这么简单。无论如何,把希望寄托于这些方面意义不大。你仍然需要理解和熟悉所有这些处理过程,机器学习只是辅助一些日常事务。

6、尽可能多地使用 API(应用程序接口)

大部分公司是先做好一件事情,攒到名气,然后以此起步,以开源 API 的形式贡献到社区。10 年后,大部分软件的制作方式会可见地接入到终端,最大程度地利用一切所需的服务生成解决方案。数据科学家能快速构建测试模型,一次建立和测试多种算法,最后和整个团队可视化验证结果。未来随着适时地引入深度的技术思考,科学家将不再白费力气做重复工作了。

7、自我学习

传统的学术环境将逐渐失去意义。信息经济需要能快速改变信息的途径。人们通过 3-4 年的学习毕业后,所学的技能已经过时。人们开始掌控自己的学习过程为自己赋能,未来得以生存的学院将是那些拥抱在线学习、快速更新课程授予方式的学院。未来的学习会基于你能构建什么而定义,而不是缺乏现实世界应用的基础原理。

Q1. 数据科学家是否会被自动化算法替代

根据广受欢迎的 CRISP-DM 数据分析项目的管理方法论,数据分析项目的实施分为 6 个阶段,每个阶段中,分析师或者数据科学家都是直接参与的:

业务理解

数据理解

数据准备

建模

评估

部署

步骤 3 和 4 包括大量的例行化工作。为了利用机器学习解决每个具体的实力,你必须不断地:

配置模型超参;

尝试新的算法;

向模型加入原始特征的不同表现形态(标准化、方差稳定性、单调变换、降维、分类变量编码、从已有特征中创建新特征等等)。

自动化的帮助下,分析师或数据科学家的例行操作,以及数据准备和清理中的部分操作可以被移除。但是,步骤 3 和 4 中的其他部分,以及 CRISP-DM 中的剩余步骤都会被保留,所以分析师的这种日常工作上的简化不会对他们的职业造成任何威胁。

机器学习仅仅是数据科学家使用的工具之一,此外还有可视化、数据调研、统计和计量经济学方法。即使在机器学习方法里,完全自动化也是不可能的。在解决新算法及其组合的开发和应用中存在的非标准化问题时,数据科学家的高级角色特性毫无疑问会继续保持。自动化算法能够梳理所有的标准组合,生成一个基础解决方案,专家们可以此为基础做进一步改进。但在很多情况下,自动化算法生成的结果已经足够好,不用改进即可直接使用。

很难想像,离开分析师的帮助,一种业务可以直接使用自动化机器学习方法生成的结果。任何情况下,上述方案的数据准备、对生成结果的解释以及其他阶段都是必需的。同时,现在许多公司的分析师,不断与数据打交道,拥有非常成熟的心态,在业务领域非常精通,但是掌握机器学习方法的水平还不够。

公司通常很难吸引到特别胜任的高薪机器学习专家,市场对他们的需求不断增长,而且超出供给很多倍。解决办法可能是为公司的分析师提供使用自动化机器学习工具的渠道,这需要自动化技术的普及。未来,许多公司不用组建高度专业化的团队,也不需要顾问企业的参与,就能享受到大数据带来的好处。

Q2. 数据工程师会比数据科学家更抢手吗?

我认为应该区分一下数据科学家和数据工程师了。

前者是接受过正规教育的应用数学家,他们研究数据科学,开发新算法,组建神经网络等等。

后者的兴趣关注点稍微不同,他们了解每种方法的理论和应用局限,能成功解决业务问题。

前者能做事情永远不缺,而后者的部分工作可以自动化完成,但无法完全自动化。新方法、新算法和新的解决途径总会出现。另外,对主题领域和数据本质的专业性理解,对顾客目标的理解,以及快速实现目标的能力,无法通过完全自动化的方法做到,所以这些能力仍然极其重要。

数据科学是切合实际的科学但是世界正朝着功能性的数据科学发展,从业人员可以自己做数据分析。相比于数据科学家,你需要更多的数据工程师来启动数据流程和整合的数据结构。

聪明的机构拥有聪明的人才,他们很懂自己的数据。数据科学家之所以存在的原因是大多数机构还不太懂数据。但他们以后会懂的。

如果一名数据科学家创造了一项突破性算法,但没有数据工程师将该算法落地到业务生产中,那算法会产生价值吗?

我重申一下我最喜欢的 Gartner 数据,只有 15% 的大数据项目最后投入了生产领域。虽然他们从没有深入探寻剩下的 85% 为什么没能投入生产领域,但是我提出一些未能成功落地的几个关键原因:

他们没有找到一个能值得落地的见解;

他们找到了合适的见解,也构建了模型,但没能创建可以在服务水平协议框架下多次使用的流水线;

他们不需要什么见解,因为他们需要的数据分析不用依赖复杂的模型。但仍然是没能可以在服务水平协议框架下多次使用的流水线。

这就是为什么每家数据科学公司都需要至少两名数据工程师的原因。

2

总结

数据科学家职业的未来前景如何,仍然很模糊,需要专业的判断。但是,每天都有新的代码库和工具出现,我们绝不是走在简化开发和创建业务模型这些基础设施的道路上。许多人都很自信地说不错,但还有不好的一面,我们创建的系统越复杂,系统就越随机,越基于概率。

目前人工智能阶段的主要问题是在预言结果的意义是缺乏直觉。我们只有定量的方法来解决某个特定的问题,基于此方法做出预测,但是预测的质量不高。目前为止,这个方法运行得很不错的,但未来不得而知。

让我们拭目以待吧。

https://towardsdatascience.com/how-data-science-will-evolve-over-the-next-decade-ab14fb9c9a75

评论 0
推荐资讯

裁员、亏损、倒闭,2019 的九大 AI 失败案例回顾

作者丨Srishti Deoras译者丨核子可乐、陈思策划 | Tina尽管 2019 年有不少令人振奋的创新成果全面亮相,但也有不少初创企业及项目未能达到用户与投资者的原有期望,本文对 2019 年的一些失败的 AI 案例进行了梳理,供读者参考。时至今日,大多数企业已经开始朝着数字化转型迈进,并将数据驱动与以人工智能为先的战略作为终极目标。尽管相关结果令人振奋,但分析以及 AI 实施之旅总是相当漫长。由此带来的直接影响
小盈
12-15
阅读825 评论0

欧盟律协会长谈人工智能工具司法应用:须尊重诉讼中程序保障

欧盟律师协会会长乔斯 德 弗雷塔斯 主办方 供图“世界律师大会”12月9日在广东广州召开。欧盟律师协会会长乔斯 德 弗雷塔斯在世界律师大会发言时谈及人工智能工具在司法和法律领域应用,他认为,人工智能工具必须设计上符合道德规范、尊重司法程序和诉讼程序中的程序保障等标准。乔斯 德 弗雷塔斯说,毫无疑问,律师行业将在律师事务所中使用越来越多的技术工具和应用程序,用于管理文件和内部流程、准备和支持法律服务、提供建议和撰写结论等。
小盈
12-14
阅读872 评论0

教育专家:尤其是小学生需要接受人工智能教育

如今,人工智能可以说是新一代技术的代表,而人工智能教育,无论是用AI来学习,还是学习AI,都将成为未来人才必备的生存本能。人工智能,从最初简单的概念提出到如今各个行业的展示应用,从学术科研界的关注上升到国家层面的强调;人工智能教育,从校外进入到校内K12的阶段,吸引着一层又一层的人围观与探讨。在12月4日首届MEET教育科技创新峰会上,各界专家就《人工智能与信息素养教育》展开圆桌讨论。首届MEET教育科技创新峰会分论坛圆
小盈
12-14
阅读609 评论0

体育旅游大数据实验室成立 聚焦体旅融合

“体育(奥运)旅游大数据实验室”在北京体育大学揭牌成立。供图中新网北京11月11日电(李赫)10日,“体育(奥运)旅游大数据实验室”在北京体育大学揭牌成立。该实验室将统筹国内外各类数据与研究资源,紧密围绕全民健身和健康中国建设等国家战略,开展体育旅游领域的市场细分、营销诊断、景区管理、舆情监测等相关大数据应用。该实验室由北京体育大学与联通大数据有限公司共同建立。实验室所依托的北京体育大学体育休闲与旅游学院成立于2012年
小盈
12-14
阅读603 评论0

2020年打算跳槽?大数据工程师入门年薪就达18万美元

在数据科学中,大数据工程师稳坐高薪第一把交椅。入门级大数据工程师平均薪资水平为$183,300,资深工程师平均最高年薪可达$313,020。硅谷Live /实地探访/热点探秘/ 深度探讨上一次吃年夜饭的场景好像还在昨天,转眼离下一场年夜饭就剩三个多月时间了。2020,就在我们眼前。在硅谷,似乎随便和一个人展开话题,最后都会发现对方不是科技工作者,就是在成为科技工作者的路上。科技工作者占据了湾区的半壁江山,他们在被日益稀疏
小盈
12-14
阅读609 评论0

“大数据杀熟”直接侵害消费者知情权,若想治理这几点缺一不可

大数据在社会经济生活中发挥着重要的作用,它既可以是基础性资源,也可以作为工具加以利用。在不知不觉中,它已经改变了我们的生活、工作以及思考方式。但技术是一把“双刃剑”,2018年我国社会生活类十大流行语之一“大数据杀熟”就是例证。所谓“大数据杀熟”,是指互联网商家利用大数据技术,对自身所拥有的用户数据信息深度分析,对分析出的客户消费习惯进行分类,进而对老用户进行有针对性的“价格歧视”。近日,文化和旅游部公布了《在线旅游经营
小盈
12-14
阅读527 评论0

快讯

  • 台州黄岩区人民法院:帮人炒“泰达币”合同

    11月20日消息,近日台州黄岩法院审结一起委托合同纠纷案件,黄甲经人介绍与张乙签订了
    2021-11-20
  • 美国一男子因比特币洗钱被判3年监禁

    11月20日消息,美国检察官办公室表示,一名南加州男子因经营一家未经许可的企业,交易
    2021-11-20
  • 成分股拜玛林制药(BMRN)收涨超10.3%领跑

    成分股拜玛林制药(BMRN)收涨超10.3%领跑,该公司用于改善5岁及以上年龄段软骨发育不
    2021-11-20
  • 曼城暂停与加密货币公司 "3Key "的合作

    金色财经报道,英格兰足球俱乐部曼城暂停与加密货币公司 "3Key "的合作。这是一家新成
    2021-11-20
  • Islander通过代币销售获得143万美元融资,

    11月19日消息,去中心化Learn-to-Earn平台Islander宣布通过代币销售获得超143万美元融
    2021-11-19
  • 证券日报:存在借“元宇宙”挖矿炒币的不法

    11月19日消息,据《证券日报》报道,在记者卧底的多个超1800名成员的所谓与元宇宙相关
    2021-11-19
  • 加密资产托管平台Fireblocks正以约80亿美元

    11月19日消息,据The Information援引知情人士消息,加密资产托管平台Fireblocks正以
    2021-11-19
  • 杭州市长:推动区块链等技术在亚残运会深度

    金色财经报道,11月18日下午,杭州亚残运会代表团团长大会开幕,杭州亚残组委副主席兼
    2021-11-19
  • 德国央行官员:中国数字货币发展处于领先地

    11月18日,德国联邦银行(德国央行)董事会成员巴尔茨18日在法兰克福表示,当前世界各
    2021-11-19
  • 瑞士加密交易所SIX Digital Exchange成功发

    11月19日消息,瑞士主要证券交易所运营商 SIX Group 旗下数字资产子公司 SIX Digital
    2021-11-19
浏览更多