뒤돌아 보지 않는다, 후회하지 않는다, 길을 만든다.
Posts
120 postsHUE CSV file import
HUE를 쓰면서 가장 짜증났던 부분이 csv file를 테이블로 import 하는데 온갖 에러가 난다는 것이었다. 인터넷을 보면 그냥 가볍게 되던 것이 왜 이리 지랄 같은 것인지 모르겠다. 하여튼 반나절을 검색해서 찾은 것은 아래와 같다. 1. csv 파일을 업로드 한다. 2. 아래와 같은 코드를 써서 먼저 테이블을 생성하고, csv file을 로드하면 된다. drop table if eixsts direct.base_view; create table direct.base_view(key string, amount int, report_mth string) row format delimited fields terminated by ',' load data inpath 'hdf
Hive SQL - group by 1, 2, 3
Hive, Impala에서 group by/order by 를 많이 사용하는데, 숫자가 많아질 경우 이걸 일일이 쓰기가 어렵다. 특히나 case when 구문을 쓰게 될 경우 서브쿼리로 작성해야 하는 경우가 많아서 번거롭다. 이럴때 편리하게 사용할 수 있는 것이 바로 아래 기능이다. SET hive.groupby.orderby.position.alias=true; 이렇게 해놓으면 변수를 일일이 나열하지 않아도 편리하게 SQL을 짤 수 있다. 옆에 과장님을 보니 임팔라에서는 기본적으로 되어 있는 것 같은데 하이브는 아닌 것 같다. 속도를 위해서 최적화 되어 있는, Impala를 메인으로 쓰고 싶지만 date 포맷을 지원하지 않으므로 어쩔 수 없이 하이브를 쓰는데 속도 면에서 많이 느리다. 임팔라는 정말
검도 - 작은 깨닳음
나는 남들 말을 잘 듣고 옳다고 생각하면 따르는 편이다. 일단 남들이 내게 말해주는 거는 들어보고 고민하는 편이다. 어제는 검도 대회를 나가서 개인전을 뛰고 나서 무척 기분이 울적했다. 뭔가 죽어라고 덤벼드는데 제대로 맞는 거는 없고 갑갑하네 그런 편이었다. 중간에 단체전에 나갈 분들과 함께 담배를 피러 나갔다가 우연히 대장에게 조언을 들었다. 나는 공세가 없고 사전에 기세를 맞추고 하는게 아니라 바로 뛰어 들어가서 공간이 빈다는 생각을 한다고 하면서 조언을 해줬다. 상당히 고민하면서 주저하다가 겨우 말했는데 나는 바로 알았다고 하고 그 의미를 이해하려고 고민을 했다. 내게는 컴파일링처럼 머릿속에서 생각을 하면서 어떻게 대련을 할지 상상을 해봤다. 대장은 나보고 왜 멍때리냐며 물어봤다. 어찌 되었거나 고민
Impala to_timestamp('d/M/yyyy H:m:s')for Adobe post_t_time_info
I've invested a few day to solve the problem of Adobe Click Stream date format to unix time stamp.I want to use the date_time of Clickstreamd Data but it's not relevant to interval between 2 different pages. Unix date/time conversion of '1/6/2019 1:5:1' is required. In general, Unix time format is like 'YYYY-MM-DD HH:mm:ss' but Adobe data format is not. Thus I've tested multiple format and finall
Adobe t_time_info : Time Stamp
Impala에서 Adobe Click Stream Data를 보고 있다. Adobe에 있는 post_t_time_info는 JavaScript Raw Data를 가져오고 있다. 아래 있는 것은 t_time_info에 대한 설명이다. Local time for the visitor. Format is as follows: M/D/YYYY HH:MM:SS Month (0-11, 0=January) Timezone offset (in minutes) 보면 알겠찌만 데이터에 대한 포맷이 나와있다. 이것을 못찾아서 한참을 헤맸는데, 임팔라에서 이거를 데이트 포맷으로 변경이 가능한지는 좀 다른 일이기는 하다. 임팔라가 생각보다 다양한 기능이 있는데 반해서 이해 못할 것들도 많이 있어 보인다. 원래 계획
