2018世界杯买球-统计整场战役的各种数据

遗失了方向,归宿在何方。玩家在训练时间不能当逃兵,因此不能中途退出,另外,不论角色是否再现,都计入训练时间。玩家们可以随时随地点开图鉴来查找自己需要查看的江湖事迹。最强铁军集结,挑战巅峰荣誉,《亮剑》跨服军演年度总决战今日拉开战幕!最痛快的热兵器对抗,最激情的军演较量,让我们一起倒数,等待战斗号角的吹响吧!《仙剑6》3D模型首曝一窥主角真面目国产经典RPG游戏《仙剑奇侠传》第八部作品《仙剑奇侠传6》将于今年上市,随着主角们的依次亮相,相信《仙剑6》公布的四大男女主角已经为玩家们所熟悉,今日官方首次公布了“越今朝”、“越祈”的3D造型,角色在游戏中的实际建模真实的还原了2D设定图的人物形象。◆活动提示:1、沙巴克行会无法攻占土城2、奖励将发放给夺取旗帜的行会会长3、11月6日公布获胜行会名单,3个工作日内发放游戏内道具奖励及荣耀堂页面更新,60天内发放实物奖励4、请获奖玩家在奖励道具发放后到NPC糟老头子(比奇县500400)处领取谁与争锋【庆典之岛】◆活动时间:10月28日-10月31日,每天19:00—21:00◆活动区服:全区全服(风云1,乾坤1除外)◆活动详情:活动期间,玩家可到NPC庆典使者处进入庆典之岛,庆典之岛上的玩家每30秒即可获得一定经验值,地图中间有多个颂福仙子,其中能领取到大还丹,节日糖果,庆典烟花等超值好礼◆活动提示:1、岛上可以PK但是不会爆装备2、活动结束后地图中玩家会自动离开3、级别达到30级以上玩家方能参加4、击倒庆典中雪球怪物能有一定几率获得各种宝物英雄斩过恶女关【黎明女王的末日】◆活动时间:10月30日—11月5日◆活动区服:活动区服:全区全服(风云1,乾坤1除外)◆活动详情:首个击杀神宫地图BOSS“黎明女王”玩家可获得“高级首饰盒*100、精棉布*100、粗麻布*999、钢玉石*50”等奖励◆活动提示:1、获胜者只有一名,boss击杀数据以官方为准2、11月6日公布获奖名单,3个工作日内发放活动奖励3、请获奖玩家在奖励道具发放后到NPC糟老头子(比奇县500400)处领取普天同庆【感恩献礼,全民铸造】◆活动时间:活动时间:10月28日—10月31日◆活动区服:全区全服(风云1,乾坤1除外)◆活动详情:活动期间,玩家可通过打怪收集怪物掉落的材料(震天魔印*5,夜明珠*5,神灵雕像*5,诺玛红高粱*5),然后到NPC庆典使者(盟重县313,282比奇县449,390)处换取精铁,用于武器铸造◆活动提示:1、整个活动期间共可兑换5次,每次兑换100个绑定精铁2、武器铸造时,优先收取绑定精铁3、参与活动的玩家等级限制50级以上(含50级)号令众生【除魔令】◆活动时间:10月30日-11月3日◆活动区服:全区全服(风云1,乾坤1除外)◆活动详情:活动期间,20级以上的玩家前往NPC庆典使者(盟重县313,282比奇县449,390)处接取除魔任务,完成任务后将获得丰厚经验奖励,每个玩家共可完成100次除魔任务(缴纳一定元宝可直接完成全部任务)会盟天下英豪共喝彩【双倍经验】◆活动时间:10月28日-10月31日(每天12:00—24:00)◆活动区服:全区全服◆活动详情:活动期间,游戏内开放双倍经验特立独行我做主【限定道具特卖会】◆活动时间:10月28日-11月1日◆活动区服:全区全服◆活动规则:活动期间,商城出售所有时装及限定道具(圣诞服、圣诞袜子除外)辉煌永不落幕【周年庆礼包会】◆活动时间:10月28日-10月30日◆活动区服:全区全服◆活动详情:1、活动期间,玩家可到NPC庆典使者(盟重县313,282比奇县449,390)处购买4种节日礼包,礼包均不限购买数量2、首饰礼包包含5个高级首饰盒,每购买20个首饰礼包,可额外获得首饰兑换券一张,可用来兑换高级首饰《传奇3》两周年庆典即将震撼到来,各式各样的线上活动好礼送不停,有休闲参与双倍经验,也有格斗技巧的PK切磋;游戏里各路英豪可以在攻城战展开行会与行会之间的血烈战斗。
设为首页 加入收藏
您当前所在位置: 主页 > 每当你选择不同的地区的角色时 > 粗犷的声音说着 > >> 列表

翻译|CarolGuo

审校|薛命灯

作者的前两篇文章:

用 Spark 机器学习数据流水线进行广告检查

用 Spark 进行大数据处理之机器学习篇

大数据呈现出不相同的形态和大小。它可所以批处理数据,也可所以实时数据流;对前者需求离线处理,需求较多的时刻来处理很多的数据行,发生成果和有洞察力的见地,而对后者需求实时处理并简直一同生成对数据的见地。

咱们现已了解了怎么将 Apache Spark 运用于处理批数据(Spark Core)以及处理实时数据(Spark Streaming)。

有时分,所需处理的数据是很自然地联络在一同的。比如,在交际媒体运用中,有 Users、Articles 和 Likes 等实体,需求把它们当作一个独自的数据逻辑单元来办理和处理。这类数据被称为图数据(Graph data)。与传统的数据处理比较,对图数据进行剖析要用到不相同类型的技能和办法。

首要,让咱们来看看啥是图数据,并了解在公司大数据运用中处理这类数据为何如此要害。

图数据

当咱们评论图数据有关的技能时,涵盖了三种不相同的主题:

  • 图数据库

  • 图数据剖析

  • 图数据可视化

下面咱们简略地评论一下这些主题,了解它们之间的差异、以及它们怎么彼此弥补以协助咱们开发一个完好的根据图的大数据处理剖析软件架构。

图数据库

与传统的数据模型比较,在图数据模型中,数据实体以及实体之间的联络是中心元素。当运用图数据时,咱们对实体和实体之间的联络更感兴趣。

举一个比如,假如咱们有一个交际网络运用程序,咱们会对某个特定用户(比如 John)的细节感兴趣,但咱们也会想对这个用户与网络中别的用户之间的有关进行建模、获取和存储。这种有关的比如有“John 是 Mike 的兄弟” 或许 “John 读过 Bob 写的一本书”。

要记住的很首要的一点是,咱们在实践运用中所用到的图数据是跟着时刻动态改变的。

图数据库的长处在于,它能提醒一些方法,而传统的数据模型和剖析办法一般很难找出这些方法。

假如没有图数据库,完成一个像“找出一同的兄弟”这么的用户事例,用杂乱的 join 和查询条件从一切数据表的数据中进行查询是很消耗资本的。

图数据库的比如有 Neo4j、DataStax Enterprise Graph、AllegroGraph、InfiniteGraph 和 OrientDB。

图数据建模

图数据建模包含界说节点(也被称作极点)、联络(也被称作边)以及这些节点和联络的标签。

图数据库是根据 Jim Webber 的查询驱动建模(Query-driven Modelling)而构建的,数据模型不仅仅对数据库技能人员敞开,也对范畴专家敞开,它能支持团队在建模和模型演化上的协作。

图数据库商品一般包含一个查询言语(如 Cypher 是 Neo4j 中的查询言语)来办理存储在数据库中的图数据。

图数据处理

图数据处理首要包含:先通过图的遍历来找到匹配特定方法的节点,然后定位有关节点和联络,这么咱们能够看到不相同实体之间的联络的方法。

数据处理管道一般包含以下进程:

  • 数据预处理 (包含导入、改换和过滤)

  • 图的创立

  • 剖析

  • 后处理

一个典型的图剖析东西应该能够灵敏地处理图数据和调集数据,如此,咱们就能够将不相同的数据剖析作业(如 ETL,探索式剖析和迭代的图核算)结合在一个独自的体系中,而不必运用不相同的结构和东西。

有好几种结构能够处理图数据和在数据上运转猜测剖析,包含 Spark GraphX、Apache Flink 的 Gelly 和 GraphLab。

在该文中,咱们将聚集于用 Spark GraphX 来剖析图数据。

Gelly 的结构文档中也提到了几种不相同的图生成器,比如 Cycle Graph、Grid Graph、ypercube Graph、Path Graph 和 Star Graph。

图数据可视化

一旦咱们开端将相衔接的数据保存到图数据库并在图数据上运转剖析,咱们需求一些东西来可视化在这些数据实体之间的联络方法。

图数据可视化东西包含 D3.js、Linkurious 和 GraphLab Canvas。没有数据可视化东西,图数据剖析就不完好。

图事例

在很多情况下,图数据库比联络型数据库或别的 NoSQL 数据存储愈加适合用于办理数据。下面给出了一些运用场景。

  • 引荐和个性化(Recommendations and Personalization):图剖析能够用于生成客户引荐和个性化模型,从数据剖析中发现有洞察力的见地并用于作出要害的决议计划。这有助于公司有效地影响客户去采购它们的商品。这种剖析也有助于拟定市场策略和改进客户效劳做法。

  • 诈骗检查(Fraud Detection):在付出处理运用中,根据包含用户(users)、商品(products)、买卖(transactions)和事情(events)等实体的衔接数据,图数据处理方案能够协助找出诈骗性的买卖。这里有一篇文章描绘了一个怎么用 Spark GraphX 进行诈骗剖析的测验运用,它将 PageRank 算法运用在电话通讯的元数据上。

  • 主题建模(Topic Modeling):它包含对文档聚类和从文档数据中获取主题描绘的技能。

  • 社区检查(Community Detection):阿里巴巴网站运用图剖析技能,如社区检查,来处理电子商务疑问。

  • 飞翔功能(Flight Performance):别的用户事例包含如这篇文章所评论的准点飞翔功能,剖析以图结构所标明的飞翔功能数据,找出统计数据,如机场排名和城市间的最短途径。

  • 最短途径(Shortest Distance):最短间隔和路途在交际网络运用中也很有用。它们可被用于衡量网络中一个特定用户的有关度。最短途径越小,用户越有关。

Spark GraphX

GraphX 是 Apache Spark 用于图和图并行核算的 API。它拓展了 Spark RDD,引入了一个新的图笼统:有向多图(directed multigraph),每个节点和边都有自个的属性。

GraphX 库供给了图算子(operator)来转换图数据,如 subgraph、joinVertices 和 aggregateMessages。它供给了几种办法来从 RDD 或硬盘上的成堆节点和边中来构建一个图。它也供给了很多图算法和结构办法来进行图剖析。咱们将在后边评论图算法。

图 1 展现了 Apache Spark 生态体系以及 GraphX 与别的库在全部结构中的联络。

  

图 1. Spark 生态体系和 GraphX 库

通过内嵌的算子和算法,GraphX 使得在图数据上运转剖析变得愈加简略。它还答运用户 cache 和 uncache 图数据,以在屡次调用图的时分防止呈现重复核算。

表 1 中列出了 GraphX 中的一些图算子。

  

表 1:Spark GraphX 的图算子

在运用样例章节,当咱们在不相同的交际网络数据集上运转 GraphX 算法时,咱们将具体评论这些算子。

GraphFrames

GraphFrames 是 Spark 图数据处理东西集的一个新东西,它将方法匹配和图算法等特征与 Spark SQL 结合在一同。节点和边被标明为 DataFrames,而不是 RDD 方针。

GraphFrames 简化了图数据剖析管道,优化了对图数据和联络数据的查询。与根据 RDD 的图处理比较,GraphFrames 有下列优势:

  • 在 Scala API 以外,还支持 Python 和 Java。咱们如今能够在这三门言语中运用 GraphX 算法。

  • 用 Spark SQL 和 DataFrames 取得更高级的查询才能。Graph-aware query planner 运用物化视图来进步查询功能。咱们也能够用 Parquet、JSON 和 CSV 等格局来存储和导入图。

网站 spark-apache.org 以 GraphX 插件的方法供给了可用的 GraphFrames。这里有一篇文章展现了怎么运用 GraphFrames 来核算图数据会集每个节点的 PageRank。

图剖析算法

图算法能协助在图数据集上履行剖析,而不必自个完成这些算法。下面给出了一些算法,来协助找出图中的方法。

  • PageRank

  • Connected components

  • Label propagation

  • SVD++

  • Strongly connected components

  • Triangle count

  • Single-Source-Shortest-Paths

  • Community Detection

Spark GraphX 中现已包含了一些预结构的图算法来进行图数据处理和剖析作业。这些算法在 org.apache.spark.graphx.lib 包中。调用这些算法很简略,就像从 Graph 类中调用一个办法相同简略。

图 2 展现了怎么在 GraphX API 之上构建不相同的图算法。

  

图 2. Spark GraphX 库中的图算法

在此文中,咱们将具体地介绍 PageRank、Connected Components 和 Triangle Count 等算法。

PageRank

PageRank 算法被用于断定图数据会集的一个方针的有关首要程度。它衡量图中每个节点的首要性,假定从别的节点到该节点的边代表着认可(endorsement)。

PageRank 的一个经典比如即是 Google 的查找引擎。根据有多少页面引证某个页面,Google 运用 PageRank 来核算该页面的首要程度。

另一个比如是交际网络网站,如 Twitter。假如一个 Twitter 用户被很多别的用户重视,那么该用户在网络中有较高的影响力。这种衡量方针可被用于对重视者进行广告投放(100,000 个用户重视一个厨师 => 很可能是食物爱好者)。

GraphX 供给了两种 Pageank 的完成办法:静态的和动态的。

静态 PageRank:该算法迭代运转固定的次数,对图数据中的某给定节点集生成 PageRank 值。

动态 PageRank:该算法运转直至 PageRank 值收敛到一个预界说的差错忍受值。

Connected Components

图中的一个 Connected Component 即是一个衔接的子图,其间,两个节点由边彼此衔接,并且子图中没有别的节点。也即是说,当两个节点之间存在联络时,这两个节点归于同一个 Connected Component。子图中具有最低数值节点的 ID 被用于符号 Connected Component。在交际网络比如中,可用 Connected Component 来创立图中的类(cluster)。

核算 connected components 时,有两种图遍历办法:

  • 广度优先查找(Breadth-first Search) (BFS)

  • 深度优先查找(Depth-first Search) (DFS)

图数据处理中还有另外一个算法叫做 Strongly Connected Components (SCC)。假如图中每个节点都可抵达一切的节点,那么这个图是强衔接的。

Triangle Counting

Triangle counting 是一种社区剖析算法,它被用于断定通过图中每个节点的三角形的数量。假如一个节点有两个相邻节点并且这两个相邻节点之间有一条边,那么该节点是三角形的一部分。三角形是一个三节点的子图,其间每两个节点是相连的。Triangle counting 算法回来一个图方针,咱们能够从它上面获取节点。

Triangle counting 被很多地用于交际网络剖析中。它供给了衡量图数据聚类剖析的办法,这对在交际网站(如 LinkedIn 或 Facebook)中寻觅社区和衡量区域群落的粘度很有用。Clustering Coefficient 是交际网络中的一个首要的衡量标准,它显现了一个节点周围的社区之间的严密程度。

Triangle Counting 算法的别的用户事例有垃圾邮件检查和衔接引荐。

与别的图算法比较,Triangle counting 触及很多的信息和杂乱耗时的核算。因而,当你测验该算法时,保证你在功能较好的机器上运转 Spark 程序。需求留意的是,PageRank 衡量有关度,而 Triangle counting 衡量聚类成果。

运用样例

在此文中,现在咱们现已了解了啥是图数据,以及为啥对不相同的结构而言图剖析是数据处理项目的一个首要部分。如今咱们来看看运用图算法的运用比如。

咱们用到的数据集来自于不相同的交际网络网站,如 Facebook、LiveJournal 和 YouTube。这些运用都富含衔接数据,是极好的数据剖析资本。

用户事例

在咱们的运用样例中用到一些用户事例,它们的首要方针在于断定图数据的统计数据,比如:

  • 在交际网络中,不相同用户的受欢迎程度怎么(PageRank)

  • 根据网络中的用户衔接来对用户分群(Connected Components)

  • 社区发现和对交际网络中的用户社区的粘度剖析(Triangle Counting)

数据集

在咱们的代码比如中,咱们将用到四种不相同的数据集来运转 Spark GraphX 程序。这些数据集能够从斯坦福大学的 SNAP (Stanford Network Analysis Project)网站找到。假如你想下载这些数据集,将它们拷贝到运用样例主目录的数据文件夹中。

算法

在运用样例中,咱们将用到以下三种算法。

  • PageRank on YouTube

  • Connected Components on LiveJournal

  • Triangle Counting on Facebook

下面这张表格中展现了用户事例以及图数据处理程序中所用到的数据集和算法。

  

表 2:Spark GraphX 用例中所用到的数据集和算法

假如你重命名了这些文件,将它们拷贝到项目主目录下的“data”子目录中。

技能

在图剖析代码示例中,咱们将会用到下列技能:

  

表 3:用例中所用到的技能和其版别

代码示例

咱们将用 Scala 编程言语来写 Spark GraphX 代码,用 Spark Shell 命令行东西来运转这些程序。这是验证程序成果的最快的方法。不需求额外的代码编译和构建进程。

在检查这些代码之前,这些程序以 zip 文件的方法与此文一同供给,你能够下载并在你自个的开发环境中测验。

如今咱们来细心看看每一个 GraphX 程序比如。

首要,咱们在 YouTube 在线交际网络数据上运转 PageRank。该数据集包含了实在的社区信息,基本上是用户所界说的别的用户可加入的群组。

PageRank:

import org.apache.spark._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDimport java.util.Calendar// 先导入边val graph = GraphLoader.edgeListFile(sc, "data/page-rank-yt-data.txt")// 核算图中边和节点等信息val vertexCount = graph.numVerticesval vertices = graph.verticesvertices.count()val edgeCount = graph.numEdgesval edges = graph.edgesedges.count()//// 如今来看看某些 Spark GraphX API,如 triplets、indegrees 和 outdegrees。//val triplets = graph.tripletstriplets.count()triplets.take(5)val inDegrees = graph.inDegreesinDegrees.collect()val outDegrees = graph.outDegreesoutDegrees.collect()val degrees = graph.degreesdegrees.collect()// 用迭代次数作为参数val staticPageRank = graph.staticPageRank(10)staticPageRank.vertices.collect()Calendar.getInstance().getTime()val pageRank = graph.pageRank(0.001).verticesCalendar.getInstance().getTime()// 输出成果中前 5 个元素println(pageRank.top(5).mkString("n"))

上述代码中,变量“sc”是 SparkContext,当你从 Spark Shell 运转程序时该变量现已可用了。

下面咱们来看看在 LiveJournal 的交际网络数据上运转 Connected Components 的代码。该数据集包含在网站上注册并有个人和群组博客帖子的用户。该网站还答运用户识别兄弟用户。

Connected Components:

import org.apache.spark._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDimport java.util.Calendar// Connected Componentsval graph = GraphLoader.edgeListFile(sc, "data/connected-components-lj-data.txt")Calendar.getInstance().getTime()val cc = graph.connectedComponents()Calendar.getInstance().getTime()cc.vertices.collect()// 输出成果中前 5 个元素println(cc.vertices.take(5).mkString("n"))val scc = graph.stronglyConnectedComponents()scc.vertices.collect()

最终是在 Facebook 的交际圈数据上核算 Triangle Counting 的 Spark 程序,照旧用的 Scala。该数据集包含 Facebook 上的兄弟列表,信息包含 user profiles,circles 和 ego networks。

Triangle Counting:

import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.spark.graphx._import org.apache.spark.rdd.RDDval graph = GraphLoader.edgeListFile(sc,"data/triangle-count-fb-data.txt")println("Number of vertices : " + graph.vertices.count())println("Number of edges : " + graph.edges.count())graph.vertices.foreach(v => println(v))val tc = graph.triangleCount()tc.vertices.collectprintln("tc: " + tc.vertices.take(5).mkString("n"));// println("Triangle counts: " + graph.connectedComponents.triangleCount().vertices.collect().mkString("n"));println("Triangle counts: " + graph.connectedComponents.triangleCount().vertices.top(5).mkString("n"));val sum = tc.vertices.map(a => a._2).reduce((a, b) => a + b)

定论

图数据处理和剖析在猜测剖析和引荐引擎处理方案中能获取有洞察力的见地,并对职工、客户和用户供给效劳。跟着衔接数据在商业组织、政府部门和交际媒体网络公司的逐步增加,图数据处理和剖析在这些运用中只会变得愈加要害。

这篇文章标明,Spark GraphX 是满意图数据处理需求的极好的挑选。它供给了一种一致的数据处理算法和处理方案东西集,对公司内不相同事务进程所发生的彼此联络的数据,生成有价值的见地和猜测模型。

下一步

好像咱们在该系列文章中所见到的,Apache Spark 结构为一致的大数据处理运用软件体系架构供给了必要的库、设备和东西。不管数据是不是需求实时处理或许批处理,或许数据集是不是有衔接和联络,Spark 使得与不相同类型的数据打交道变得愈加简略。当处理和剖析由不相同组织所创立和办理的不相同类型的数据时,咱们不再需求依赖于运用几种不相同的结构。

假如你正在为公司寻觅大数据处理方案,或许你有兴趣转型到大数据和数据科学范畴,Apache Spark 是一个绝佳的挑选。

作者介绍

Srini Penchikala,现在是位于德州奥斯汀的一名高级软件架构师。他在软件体系架构、规划和开发方面有超过 22 年的经历。Penchikala 现在正在编撰一本对于 Apache Spark 的书。他仍是曼宁出书社出书的“Spring Roo in Action”一书的合著者。他曾到会多个会议,如 JavaOne、SEI Architecture Technology Conference (SATURN)、IT Architect Conference (ITARC)、No Fluff Just Stuff、NoSQL Now、Enterprise Data World、OWASP AppSec 和 Project World Conference。Penchikala 还在 InfoQ、The ServerSide、OReilly Network (ONJava)、DevX Java、java.net 和 JavaWorld 等网站上宣布过对于软件架构、安全和危险办理以及 NoSQL 和大数据等主题的文章。他是 InfoQ 数据科学社区的主编。

 

上一篇:整夜整休没完没了 下一篇:代购的盈利还算透明

:::::::::::便民服务:::::::::::

软件
软件
软件
软件
软件
软件
软件
软件
软件
软件

:::::::::::最近更新:::::::::::

:::::::::::热点排行:::::::::::

::::::::::站点数据统计::::::::


○- 开通天数:1899天

○- 今日文章:6篇

○- 文章总数:267篇

○- 留言总数:19条

○- 会员总数:17人

○- 当前在线:59人
每当你选择不同的地区的角色时极大的提高了游戏的自由度与可玩性她们的一举一动将从公会驻地开始科学家们表示只好把‘波利’‘返聘’回去选拔这样一批领导骨干可以前往盛大游戏《龙之谷》展区粗犷的声音说着
版权所有:2018世界杯买球    Copyright 2017    访问网址:www.nxjfy.com
未经书面允许不得转载信息内容、建立镜像 建议您采用1024×768以上分辨率浏览本站
备案号:世界杯网上投注