我们对Facebook、Amazon、Airbnb、Pinterest和Netflix数据团队所做的事情感到惊讶。他们为软件和企业从数据中获取信息而制定了新标准。由于他们的产品用户量极大，所以这些团队必须不断地定义规模分析的方法。他们已经在数据架构中投入了数百万美元，并且在大多数公司中，数据团队的规模超过了整个工程部门的规模。
我们建立了Keen IO，是为了以让大多数软件工程团队无需从头架设所有内容，就可以利用最新的大型事件数据技术。但是，如果您对如何成为巨头公司感到好奇，那么请从最好的公司中收集一些架构。
Netflix
Netflix拥有9300万用户，没有交互缺陷。正如他们的工程团队在Netflix数据管道的演变中描述的那样，他们每天大约捕获5000亿个事件，每天大约有1.3 PB的数据传输。在高峰时段，他们每秒将记录800万次事件。他们雇用了100多个数据工程师或分析师。
以下是上述文章中数据架构的简化视图，其中显示：开源系统Apache Kafka，搜索服务器Elastic Search，亚马逊云存储服务AWS S3，进行大数据处理的Apache Spark，运行框架Apache Hadoop和大数据分析服务EMR作为主要组件。
拥有超过10亿的活跃用户，Facebook有世界上最大的数据仓库之一，存储超过300PB。该数据被用于广泛的应用：从传统的批处理到图形分析，机器学习和实时交互式分析。为了进行大规模的交互式查询，Facebook的工程师发明了Presto，一种针对点对点分析进行优化的定制分布式的SQL查询引擎。每天有1000多名Facebook员工使用Presto，通过Hive、HBase和Scribe的可插拔后端数据存储，每天执行查询次数超过30000次。
体系结构
后端数据存储
Airbnb
Airbnb支持超过1亿用户浏览200多万的房屋列表。他们智能地向这些用户提供新的旅行建议的能力，这对他们的成长有很大影响。Airbnb的数据科学经理Elena Grewal在去年的会议“建立一个世界级的分析团队”上提到，他们已经将Airbnb的数据团队扩展到拥有30多名工程师的规模。这是每人每年500万的投资。
AirbnbEng建筑师James Mayfield、Krishna Puttaswamy、Swaroop Jagadish和Kevin Longdescribe描述了构建数据结构的基本要素以及如何为关键任务数据提供更高的可靠性。他们严重依赖Hive和Apache Spark，并使用了Facebook的Presto。
AIRBNB的数据基础结构
Pinterest每月有超过1亿的用户浏览超过100亿的网页浏览量。截至2015年，他们将数据团队扩展到拥有250多名工程师的规模。他们的基础设施依赖于开源系统Apache Kafka，数据处理框架Storm，系统基础架构Hadoop，开源数据库HBase和GPU渲染器Redshift。
数据管道结构图
Pinterest团队不仅需要追踪大量客户相关的数据。像其他社交平台一样，他们还需要向广告商提供详细的分析。黄彤波在《Behind the Pins: Building Analytics at Pinterest》一文中写道：为了满足这一需求，他们改进了自己的分析堆栈。以下是Pinterest团队如何使用Apache Kafka，AWS S3和HBase的示意图：
Pinterest商业数据分析结构图
Twitter / Crashlytics
每天实时处理50亿次会议。Ed Solovey介绍了Crashlytics Answers团队构建的一些架构，用于处理数十亿的日常移动设备事件。
信息流接收
存储
批处理计算
加速计算
总览
正如我之前提到的，我们构建了Keen数据接口（API），以便任何开发人员都可以使用世界一流的数据架构，而无需拥有一个庞大的团队构建一大堆基础架构。成千上万的工程团队使用Keen的API来捕获、分析、流式传输和嵌入事件数据，包括实时和批处理应用程序。虽然使用Keen的开发人员在发送事件或运行查询时不需要知道幕后发生的情况，但下面是处理其请求的体系结构：
Keen IO 信息处理结构图
在输入方面，负载均衡器处理数十亿个传入的帖子请求。事件流来自于应用程序，网站，连接设备，服务器，计费系统等等。事件需要验证、排序和可选择地丰富额外的元数据，如IP-地理查询。这一切都发生在几秒钟内。一旦安全地存储在Apache Cassandra中，事件数据就可以通过REST API进行查询。我们的架构（通过Apache Storm，DynamoDB，Redis和AWS lambda等技术）支持从原始传入数据实时数据探索，到应用程序和面向客户报告的缓存查询的各种查询需求。Keen每天查询数万个事件属性，并为成千上万的客户构建报告，自动化和数据挖掘界面。
感谢！
感谢团结一致的数据工程界，不断发明新的数据技术、开源，并分享他们的知识。如果没有这么多工程队伍的基础工作，没有与我们天天一起合作的人，我们的团队也不可能有今天。欢迎各方的意见和反馈。
翻译来自：虫洞翻翻 译者ID：王炜
延伸阅读
Facebook的CIO都做些什么
Facebook内部高效工作指南
亚马逊式创新：云计算传奇
昨日热文
财务共享在大型企业的应用实践
数字化企业的交付基础设施
开放式分析时代即将到来，你准备好了吗
Tip:输入关键字数字化可以获得更多内容
CIO之家-CIO的知识库
微信号:imciow 网站: www.ciozj.com
CIO必备公众号 | CIO最有影响力公众号之一
2、本站永久网址：https://www.yuanmacun.com
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。
源码村资源网 » 亚马逊的网站建设技术(亚马逊的网页设计)
1 评论