文档开发者中心
我的

Spark系列037——Spark GraphX图计算示例

本节演示Spark GraphX图计算的使用示例。有多种构建图的方式,本例演示的是使用从边构建图的过程。假设我们的图是如下图所示。

cke_1269.png

GraphX是基于RDD API的,因此,不需要额外的依赖。

初始化JavaSparkContext

与使用基本的RDD API的一样,需要先初始化JavaSparkContext:

// 要构建一个包含有Spark关应用程序信息的SparkConf对象

SparkConf conf = new SparkConf()

.setAppName("JavaRddGraphX")// 设置应用名称

.setMaster("local[4]"); // 本地4核运行

// 创建一个JavaSparkContext对象,它告诉Spark如何访问群集

JavaSparkContext sparkContext = new JavaSparkContext(conf);

初始化Edge

本例演示的是使用从边构建图的过程,因此先初始化Edge:

// 初始化Edge,属性是String类型

List<Edge<String>> edges = new ArrayList<>();

edges.add(new Edge<String>(1, 2, "Friend1"));

edges.add(new Edge<String>(2, 3, "Friend2"));

edges.add(new Edge<String>(1, 3, "Friend3"));

edges.add(new Edge<String>(4, 3, "Friend4"));

edges.add(new Edge<String>(4, 5, "Friend5"));

edges.add(new Edge<String>(2, 5, "Friend6"));

JavaRDD<Edge<String>> edgeRDD = sparkContext.parallelize(edges);

初始化Graph

通过Graph.fromEdges方法,从边构建图:

ClassTag<String> stringTag = scala.reflect.ClassTag$.MODULE$.apply(String.class);

// 从Edge初始化Graph

Graph<String, String> graph = Graph.fromEdges(edgeRDD.rdd(),

"v", // 默认Vertex属性值

StorageLevel.MEMORY_ONLY(), // 存储级别为内存

StorageLevel.MEMORY_ONLY(), // 存储级别为内存

stringTag, // 属性是String类型

stringTag); // 属性是String类型

从边集合构建图参数说明如下:

  • edges-包含图形中的一组边的RDD
  • defaultValue -用于每个顶点的默认顶点属性
  • edgeStorageLevel -必要时缓存边的所需存储级别
  • vertexStorageLevel -必要时缓存顶点的所需存储级别
  • evidence$16-属性类型
  • evidence$17-属性类型

输出Graph的内容

假设我们想输出Vertex,代码如下:

// 打印Vertex

graph.vertices().toJavaRDD().collect().forEach(System.out::println);

最终输出效果如下:

cke_1270.png

源码

上述示例源码,可以在https://github.com/waylau/apache-spark-tutorial

仓库JavaRddGraphXSample示例中找到。

/*

* Copyright (c) waylau.com, 2021. All rights reserved.

*/

package com.waylau.spark.java.samples.rdd;

import java.util.ArrayList;

import java.util.List;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.graphx.Edge;

import org.apache.spark.graphx.Graph;

import org.apache.spark.storage.StorageLevel;

import scala.reflect.ClassTag;

/**

* Java RDD GraphX sample.

*

* @author <a href="https://waylau.com">Way Lau</a>

* @since 2021-08-25

*/

public class JavaRddGraphXSample {

public static void main(String[] args) {

// 要构建一个包含有Spark关应用程序信息的SparkConf对象

SparkConf conf = new SparkConf()

.setAppName("JavaRddGraphX")// 设置应用名称

.setMaster("local[4]"); // 本地4核运行

// 创建一个JavaSparkContext对象,它告诉Spark如何访问群集

JavaSparkContext sparkContext = new JavaSparkContext(conf);

// 初始化Edge,属性是String类型

List<Edge<String>> edges = new ArrayList<>();

edges.add(new Edge<String>(1, 2, "Friend1"));

edges.add(new Edge<String>(2, 3, "Friend2"));

edges.add(new Edge<String>(1, 3, "Friend3"));

edges.add(new Edge<String>(4, 3, "Friend4"));

edges.add(new Edge<String>(4, 5, "Friend5"));

edges.add(new Edge<String>(2, 5, "Friend6"));

JavaRDD<Edge<String>> edgeRDD = sparkContext.parallelize(edges);

ClassTag<String> stringTag = scala.reflect.ClassTag$.MODULE$.apply(String.class);

// 从Edge初始化Graph

Graph<String, String> graph = Graph.fromEdges(edgeRDD.rdd(),

"v", // 默认Vertex属性值

StorageLevel.MEMORY_ONLY(), // 存储级别为内存

StorageLevel.MEMORY_ONLY(), // 存储级别为内存

stringTag, // 属性是String类型

stringTag); // 属性是String类型

// 打印Vertex

graph.vertices().toJavaRDD().collect().forEach(System.out::println);

// 关闭JavaSparkContext

sparkContext.close();

}

}

参考

本系列归档至《跟老卫学Apache Spark开发》 https://github.com/waylau/apache-spark-tutorial

点赞
1
收藏
回复
8
分享
举报
浏览910 编辑于2021-08-25 03:49未知归属地
全部评论
最多点赞
最新发布
最早发布
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

目录 收起
初始化JavaSparkContext
初始化Edge
初始化Graph
输出Graph的内容
源码
参考
了解社区公约,与您携手共创和谐专业的开发者社区。