안녕하세요^^ 대호쌤입니다.


2014년 4월 20일 정보처리기사/산업기사 실기를 준비하고 계시는 여러분~

현재 막바지로 마무리를 잘 하고 계시리라 믿습니다.^^

공지를 올리는 이유는 남은 몇일이 합격을 좌우하는 아주 중요한 기간이라는 것을 한번더

상기시켜 드리기 위함입니다.

시간이 부족한게 아니라 아직 이 만큼이나 남았다는 긍적적인 마음으로 끝까지 최선을 다하세요.

반드시 노력한 만큼의 댓가가 뒷 따를 것입니다.


아래 내용은 공부하시다가 심심할때 한번 읽어보세요.

저도 우연히 기사를 검색하다가 우리시험과 관련된 용어들이 상당히 많이 들어있는 기사가 있길래

퍼왔습니다.

이런기사와 관련된 문제가 출제될 가능성이 높기때문이니 머리식힐때 이와 같은 기사를

많이 접하시길 권해드립니다^^


그럼 오늘도 파이팅하시고 필승합격하세요^^


우리시험과 관련된 신문기사--------------------------------------------

빅데이터 요소 기술인 하둡(Hadoop) 플랫폼에서 속도와 효율성을 높이기 위한

샅바싸움이 뜨겁다.

빅데이터 핵심 인프라로 자리잡은 하둡의 한계를 뛰어넘는 것을 놓고 벌어지는 싸움이다.

최근 빅데이터 업계에선 하둡분산파일시스템(HDFS)에서 데이터를 컬럼 기반으로

저장해 속도를 더 높이려는 시도가 본격화됐다.

HDFS 자체가 컬럼 스토어를 구현하기 어렵고 속도에 한계가 있기 때문이다.

 
이를 위해 데이터 관리 플랫폼인 하이브에 저장되는 파일 포맷을 보다 고도화된

데이터 모델로 바꿔주는 ‘ORC파일(ORCfile)’과 ‘파케이(Parquet)’란 포맷이 개발됐다.

 
원래 하둡 파일은 텍스트 형태로 저장된다.

때문에 이를 조회, 분석하는 하이브에서는 컬럼스토어와 유사하게 구현하기 위한

RC파일(RCfile)이란 포맷이 적용됐다. 각 컬럼 묶음을 하나의 파일로 만드는 형식이다.

 
그러나 HBASE의 파일들은 각 데이터노드에 흩어져 저장되므로,

DB 테이블을 조회할 경우 각 노드에 분산된 파일을 모으는 작업을 거치게 된다.

이런 ‘조인’ 단계는 네트워크 비용을 증가시킬 뿐 아니라, 전체 성능을 느리게 하는 원인이 됐다.

이에 구글파일시스템(GFS) 구현 논문을 참고해 HDFS를 만들었던 ‘하둡의 아버지’

더그 커팅 클라우데라는 수석 아키텍트가 2011년말 트레비니(Trevini)란 포맷을 제안했다.

하지만 트레비니는 RC파일의 한계를 극복하기엔 단점이 많다는 지적을 받았다.

그러던 중 하이브의 주요 공헌자였던 오웬 오말리 현 호튼웍스 부사장이

ORC파일 포맷을 제안했다.

ORC는 하나의 파일에 컬럼을 JSON처럼 네스티드 구조로 집어넣을 수 있고, 리스트와 맵,

스트럭트 등을 컬럼값 대신 사용한다.

ORC파일은 높은 압축률과 데이터 모델의 우수성으로 오픈소스 진영에서 많은 관심을 받았다.

다만 ORC파일은 하이브에서만 사용가능하고, 자바만 지원해 다양한 플랫폼에

적용하기 힘들다는 한계가 있다.

이를 본 더그 커팅은 오웬 오말리에 접촉해 트레비니와 ORC파일의 공존을 모색했다.

하지만 오웬 오말리가 이끄는 호튼웍스와 더그 커팅의 클라우데라는 하둡과 빅데이터 시장에서

정면대결하는 경쟁 관계다.

이에 오말리가 더그 커팅의 제안을 거절하고 '각자도생'으로 결론났다.

이후 트레비니는 아브로(avro)란 프로젝트의 파일 포맷으로 발전했지만,

올해 들어 소스코드 개발에 기여하는, '커밋' 활동이 이뤄지지 않고 있다.

....중략.....

ORC파일과 파케이 모두 사실 관계형데이터베이스(RDB)와 데이터웨어하우스(DW)에선

당연시 되던 것을 위해 고안된 것이다.

평평한 구조인 NoSQL과 하둡이 점차 RDB와 DW 진영의 기술을 흡수하며 발전하고

있다는 점을 반영한다.

<이미지 : 하둡을 의미하는 노란코끼리>


모두들 시험날까지 파이팅~!