spark ALS memory 문제 해결 조사
By 공부가 본업. | 2016년 11월 8일 |
spark 실행이 error로 멈추곤 하는데,시작하는 error를 잘 보면, OutOfMemoryError로 시작하거나, TimeoutException으로 시작했다. 처음에는 tuning을 해봤다.connection heartbeat, timeout 시간을 엄청 늘려주고, memory를 잘 맞춰서 늘려줬다. --conf "spark.yarn.maxAppAttempts=1" \ --conf "spark.memory.fraction=0.75" \ --conf "spark.rdd.compress=true" \ --conf "spark.yarn.executor.memoryOverhead=1024" \ --conf "spark.yarn.driver.memoryOv
"스파키" 라는 애니메이션 입니다.
By 오늘 난 뭐했나...... | 2018년 3월 17일 |
솔직히 이 작품은 정말 땜빵용으로 찾은 케이스 입니다. 아무래도 이 작품에 관해서 제가 아는 것이 거의 없었던 상황이어서 말이죠. 그나마 이 작품이 넛잡을 만든 국내 회사에서 만든 작품이라는 것 정도는 알고 있는 상황입니다. 넛잡 상태가 좀 애매했기 때문에 이 영화 역시 그다지 기대가 많이 되는 상황이 아니기는 합니다. 다만 그래도 한 번 지켜보고 싶다는 생각이 들기도 해서 말이죠. 일단 한 번 지켜봐야 한달까요. 이미지는 멋지긴 하네요. 그럼 예고편 갑니다. 그런데 예고편은 좀 싸보이네요;;;
"Spark: A Space Tail" 이라는 작품입니다.
By 오늘 난 뭐했나...... | 2017년 5월 8일 |
이 영화는 솔직히 별반 기대가 되는 물건은 아닙니다. 다른 것보다도 넛 잡을 얼마 전에 봤는데, 그닥 좋다고 생각하지 않아서 말이죠. 이 영화에 관해서 아무래도 좀 걱정되는 면들이 있기도 하고 말입니다. 이 영화의 제작사가 넛 잡 제작사인 관계로 도저히 좋다고 말 할 수 없는 상황이기도 하고 말입니다. 이 영화가 그래서 걱정되는 면들도 좀 있기도 하고 말입니다. 아무튼간에, 영화 자체가 나쁘지 않다면야 이 말을 다 철회할 수는 있습니다. 그나저나, 익스플로러는 정말 이제는 더 이상 못 쓰겠네요. 그럼 예고편 갑니다. 예고편은 그냥 그렇네요.