SPARK
Posts
5 posts데이터사이언스란? 빅데이터분석과 차이부터 국내 취업 현실까지
데이터사이언스와 빅데이터분석, 뭐가 다른지 물어보면 명확하게 설명할 수 있는 사람이 생각보다 많지 않습니다. 그냥 비슷한 말 아닌가? 하시는 분들도 많은데요. 근데 막상 직무를 알아면 이게 꽤 다른 이야기라는 걸 알게 됩니다. 채용 공고에 쓰인 직함도 다르고, 요구하는 기술 스택도 다르고, 실무에서 하는 일도 달라요. 데이터사이언스를 배우고 싶은 분들 중에 실제로 자신이 원하는 게 데이터사이언스인지, 빅데이터분석인지, 아니면 데이터분석인지 구분을 못 하는 경우가 꽤 있습니다. 방향을 잘못 잡으면 6개월 공부하고 나서 엉뚱한 포지션에 지원하게 될수도 있어요. 이번 포스팅에서는 데이터사이언스와 빅데이터분석의 뜻과 차.......
"스파키" 라는 애니메이션 입니다.
솔직히 이 작품은 정말 땜빵용으로 찾은 케이스 입니다. 아무래도 이 작품에 관해서 제가 아는 것이 거의 없었던 상황이어서 말이죠. 그나마 이 작품이 넛잡을 만든 국내 회사에서 만든 작품이라는 것 정도는 알고 있는 상황입니다. 넛잡 상태가 좀 애매했기 때문에 이 영화 역시 그다지 기대가 많이 되는 상황이 아니기는 합니다. 다만 그래도 한 번 지켜보고 싶다는 생각이 들기도 해서 말이죠. 일단 한 번 지켜봐야 한달까요. 이미지는 멋지긴 하네요. 그럼 예고편 갑니다. 그런데 예고편은 좀 싸보이네요;;;
"Spark: A Space Tail" 이라는 작품입니다.
이 영화는 솔직히 별반 기대가 되는 물건은 아닙니다. 다른 것보다도 넛 잡을 얼마 전에 봤는데, 그닥 좋다고 생각하지 않아서 말이죠. 이 영화에 관해서 아무래도 좀 걱정되는 면들이 있기도 하고 말입니다. 이 영화의 제작사가 넛 잡 제작사인 관계로 도저히 좋다고 말 할 수 없는 상황이기도 하고 말입니다. 이 영화가 그래서 걱정되는 면들도 좀 있기도 하고 말입니다. 아무튼간에, 영화 자체가 나쁘지 않다면야 이 말을 다 철회할 수는 있습니다. 그나저나, 익스플로러는 정말 이제는 더 이상 못 쓰겠네요. 그럼 예고편 갑니다. 예고편은 그냥 그렇네요.
spark ALS memory 문제 해결 조사
spark 실행이 error로 멈추곤 하는데,시작하는 error를 잘 보면, OutOfMemoryError로 시작하거나, TimeoutException으로 시작했다. 처음에는 tuning을 해봤다.connection heartbeat, timeout 시간을 엄청 늘려주고, memory를 잘 맞춰서 늘려줬다. --conf "spark.yarn.maxAppAttempts=1" \ --conf "spark.memory.fraction=0.75" \ --conf "spark.rdd.compress=true" \ --conf "spark.yarn.executor.memoryOverhead=1024" \ --conf "spark.yarn.driver.memoryOv
