SPARK

spark random data 만들기

defnormalVectorRDD(sc: SparkContext, numRows: Long, numCols: Int, numPartitions: Int = 0, seed: Long = Utils.random.nextLong()): RDD[Vector] 여러 RDD를 만들기 위해 foreach 안에서 normalVectorRDD().map{ ... } 했는데, foreach 안에서 변수를 한 번 더 선언하지 않으면, TaskNotSerializable Exception이 날 수 도 있다.