将SparkSQL计算结果写入Mysql中

编写代码

  1. package com.itunic.sql
  4. import java.util.Properties
  6. import org.apache.spark.sql.{Row, SQLContext}
  7. import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
  8. import org.apache.spark.{SparkConf, SparkContext}
  10. /**
  11.   * Created by c on 2017/1/3.
  12.   *  Spark SQL
  13.   *  将数据写入到MySQL中
  14.   * by me:
  15.   * 我本沉默是关注互联网以及分享IT相关工作经验的博客，
  16.   * 主要涵盖了操作系统运维、计算机编程、项目开发以及系统架构等经验。
  17.   * 博客宗旨：把最实用的经验，分享给最需要的你，
  18.   * 希望每一位来访的朋友都能有所收获！
  19.   */
  20. object JdbcRDD {
  21.   def main(args: Array[String]) {
  22.     val conf = new SparkConf().setAppName("JdbcRDD").setMaster("local")
  23.     val sc = new SparkContext(conf)
  24.     val sqlContext = new SQLContext(sc)
  25.     //通过并行化创建RDD
  26.     val personRDD = sc.parallelize(Array("1 tom 5", "2 jerry 3", "3 kitty 6")).map(_.split(" "))
  27.     //通过StructType直接指定每个字段的schema
  28.     val schema = StructType(
  29.       List(
  30.         StructField("id", IntegerType, true),
  31.         StructField("name", StringType, true),
  32.         StructField("age", IntegerType, true)
  33.       )
  34.     )
  35.     //将RDD映射到rowRDD
  36.     val rowRDD = personRDD.map(p => Row(p(0).toInt, p(1).trim, p(2).toInt))
  37.     //将schema信息应用到rowRDD上
  38.     val personDataFrame = sqlContext.createDataFrame(rowRDD, schema)
  39.     //创建Properties存储数据库相关属性
  40.     val prop = new Properties()
  41.     prop.put("user", "root")
  42.     prop.put("password", "root")
  43.     //将数据追加到数据库
  44.     personDataFrame.write.mode("append").jdbc("jdbc:mysql://192.168.155.1:3306/test", "test.t_person", prop)
  45.     //停止SparkContext
  46.     sc.stop()
  47.   }
  48. }

打包并发布到spark集群

  1. $SPARK_HOME/bin/spark-submit \
  2. --class com.itunic.sql.JdbcRDD \
  3. --master spark://ResourceManagerServer1:7077 \
  4. --jars /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
  5. --driver-class-path /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
  6. /root/spark-mvn-1.0-SNAPSHOT.jar

 

  • 将SparkSQL计算结果写入Mysql中已关闭评论
  • 241 views
  • A+
所属分类：未分类
avatar