공부가 본업.

spark 실행이 error로 멈추곤 하는데,시작하는 error를 잘 보면, OutOfMemoryError로 시작하거나, TimeoutException으로 시작했다. 처음에는 tuning을 해봤다.connection heartbeat, timeout 시간을 엄청 늘려주고, memory를 잘 맞춰서 늘려줬다. --conf "spark.yarn.maxAppAttempts=1" \ --conf "spark.memory.fraction=0.75" \ --conf "spark.rdd.compress=true" \ --conf "spark.yarn.executor.memoryOverhead=1024" \ --conf "spark.yarn.driver.memoryOv

을 참고하되, 최신 driver를 썼다. nvidia-370, cuda를 설치했을 때에는 nvidia graphic card로는 모니터에 신호가 없었고, 내장 GPU로는 black screen이었다. ubuntu 16.04LTS1 을 설치하고, nvidia driver부터 설치해 봤다.처음에는 내장 GPU에 모니터를 연결해서 bootingsudo add-apt-repository ppa:graphics-drivers/ppasudo apt-get updatesudo apt-get install nvidia-375sudo apt-get install mesa-common-devsudo apt-get install freeglut3-dev 설치 후, 부팅 시작하는 시점?까지 내장 GPU에서 화면이

aws security group에 inbound rules 등록해가면서 쓰는 게 귀찮다.vpn으로 연결할 수 있으면 좋겠는데, vpn client program으로 로그인해서 쓰는 게 http://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/vpn-connections.html 에서 software vpn 같은 건가 보네 를 설치해서 쓰면 EC2값만 내도 되겠다. home server로 쓸 만한 베어본도 찾아봤다.ホーム > パソコン > ベアボーン 성능 좋은 NUC가 나왔네. memory, ssd까지 사면 10만엔이 넘는다.

어떤 지표가 quality와 어떤 관계가 있는지 graph로 설명해 준다. graph그리는 R 명령을 배울 수 있다. library(GGally)theme_set(theme_minimal(20))set.seed(2183)ggpairs(wine[sample.int(nrow(wine),1000),]) red$quality <- as.integer(red$quality)par(mfrow = c(4,3))for (i in c(1:11)) { plot(red[, i], jitter(red[, "quality"]), xlab = names(red)[i], ylab = "quality", col = "firebrick", cex = 0.8, cex.lab = 1.3) a

#.o2z4bcj7i Inception-v3. This model was trained for several weeks on multiple GPUs on ImageNet. Transfer learning does not require GPUs to trainTraining across the full training set (40,000 images) took less than a minute on my Macbook Pro without GPU support. 1080 gpu 2개로 cifar10 학습 시간은 백만 steps에 20시간 정도 걸렸다.Image recognition 실행해보면, 1번 prediction에 2초쯤 걸리는 것 같다.