이 블로그 검색

2018년 3월 8일 목요일

이번에 docker라는 것을 처음 깔아보았다. 이제 길을 찾아볼까..




이런 것을 제공하지 않더라도, linux에서는 chroot로 비슷한 흉내는 낼 수 있었던 것 같은데,

2010년인가 cgroup이라는 기술(?현재 위키로 배우는 중)이 커널에 포함되고 
간편하게 자원을 분리할 수 있게 되었나보다. 


그러다 보니 어제 보던 Xdmx 관련한 문서를 또 보게 된다.
그 와 관계해서 xhost라는 툴을 열심히 삽질 했는데 관련한 부분이 또 나온다. 

docker는 그걸 간편하게 해주고, github과 같은 저장소로 특정 어플리케이션들을 안정적으로 구동할 수 있는 환경들을 모아 놓고, 사용하게 해주는 툴인듯 하다. 

그러고 나서는 docker에 올라간 프로세스는 xhost를 통해, 자원을 낭비하지 않고, 직접 local X . server display에 접근해서 gui 정보를 통신하는 듯 하다. 

먼가 굉장히 독특하다. 


내가 계속 삽질한 sun grid engine도 ubuntu에서 깨진 의존성(특정 라이브러리 하나가 어떻게 되서 실행이 불가능한 상황)도 쉽게 해결될 것 같다. 

하지만 내가 이것에 관해 수없이 구글링 했지만 docker나 비슷한 놈들을 추천해준 놈이 없는 걸 봐서, 기대는 어렵지만 그렇다면야 다른 배포판 redhat 계열등으로 테스트하면 되는 친구가 하나는 있을테니 내가 이쪽에 선두주자가 될 수도 있을 것이다. 

연구실에 남는 컴퓨터들이 정말 오래들 되었고, 하나하나씩 죽어간다. 수명이 10년이 넘은 친구도 있고,  gtx480달고 있던 컴퓨터도 파워가 죽을려고하고, 메인보드도 오늘내일 하고, gtx480은 탄내가 나는 상황이다 . 이놈은 상대적으로 젊은 놈인데도 이러는 것 보면,

연구실 컴퓨터들은 계속 죽어갈 텐데, 그래도 살아있는 동안에는 계산용으로 가치가 있다. 

많은 시간을 필요로 하는 작업들, 여러 ensemble data가 필요해서 반복적으로 돌리고 내가 까먹었을 때, 찾을 수 있는 data를 만들친구로 변환을 할 필요가 있다. 

결국은 sge를 깔아서 중앙에서 이들을 통제하는 환경을 만들 필요가 있다. 
분명히 소규모 환경에는 sge를 대체할 만한 방법이 많다. 

하지만 제대로 리소스 관리해주고 job queue를 만들어 미리 할 일을 넣어주고해서 최고의 효율을 계속 발휘해주기까지는 어렵기에 이 시스템을 구축하려고 여러번 시도했다. 

이번에는 성공하려나, 일단 이렇게 하기로 결심하고 나중에 블로그 글을보고 시도를 해야겠다. 


일단 docker를 통해 한글 2008체험판을 까는 것을 성공했다. 
이전에 깔고 실행할 때마다, 없다고 요동치는 라이브러리들을 직접 떠먹여가며 실행한 적이 있지만, 다시 시도했을 때는 그렇지 않았다. 

내가 시도를 하는 상황들이 다 다르기에 그럴 것이다. 다양한 상황에서 원하는 결과를 매번 같이 낼 수 있다는 것은 상당한 축복이다. 
이 것을 가지고 할 수 있는 일이 많을 것 같다. 

wine과 같은 툴도 playonlinux로 통제해서 실행하는 방법으로 수많은 윈도우 프로그램을 쉽게 실행시킨다. 그래도 부족한 부분이 있다. 이 부분은 docker나 cgroup기술을 사용하는 친구들을 어떻게 조합하면 누군가 한번만 성공해도 모두에게 동일한 방법을 제공할 수 있을 것 같으데, 상당히 흥미롭다. 

2018년 2월 23일 금요일

OpenMP 인텔 컴퓨터에 성능 최적화 할때, HT보다는 Real Core 수에 맞추도록 하라.




$ cat /proc/cpuinfo
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 94
model name      : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz
stepping        : 3
microcode       : 0xba
cpu MHz         : 3400.000
cache size      : 8192 KB
physical id     : 0
siblings        : 8
core id         : 0
cpu cores       : 4
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes

내가 사용하는 컴퓨터이다. 이놈을 가지고 일을 하는데, 코어 4개까지는 어떻게 속도가 급속도로 올라가는데, 그 이상에서는 오히려  속도가 감소하는 경향이 나타났다. 


인텔 하이퍼스레드 기술이 어떻게 이루어지는건지 모르겠지만, 실수계산이 매우 많은 순간에는 저 하이퍼스레딩 기술이 발목을 잡는 것 같다. 

amd의 불도저 cpu의 경우도 1모듈 2코어란 말을 썼으나 실상은 1실수 + 2 정수 연산이었는데 인텔도 내부구조는 어떨지 모르겠지만 추상적으로는 같은 방향인듯하다.  

관련해서 검색해보니... 수치해석을 할 때는 하이퍼 쓰레기가 되므로 아예 HT는 끄는 방향으로 가라고 권유를 해준다. 

오케이 땡큐.

2018년 1월 9일 화요일

참 말도안되는 소리를 많이 하는 기자들이 많구나... {{섹스로봇이 나오면 남성은 쓸모없어질지도 모른다}}




일단 허핑턴포스트 코리아니까... 한겨례가 메갈이나 일베 같은 말을 하고 싶을 때 대신 해준거라고 이해하고 시작하는게 좋겠다.



결국 외국 레디컬 페미니즘(=페미나치) 하는 사람 말을 적어놨는데...

성행위가 아닌 가사와 같은 내용들을 주구장창 넣어놨다...


아니 혼자사는 사람 입장에서 로봇이 가사를 해주는데 남자고 여자고 무슨
소용인건지... 혼자 사는데 어쩌구 분담이고 저쩌고 그러고 있네... 혼자사는데 그런게 어딨는건지...


그냥 전세계 메갈들이 남자가 여자를 죽인다고 소리치던거 계속하려고
섹스로봇을 끌고 와서 이야기를 하고 있네...


그리고 애초에 성행위 이외에 다른 목적이면 사람이 아니라 디지몬에 나오는 갸루몬 스타일의 강아지 로봇(필요에 의해 직립보행 임무도 수행가능한)이나 고양이 형태면 되는거지...


자기들이 얼마나 대단한 이야기를 하기 위해서인지 모르겠지만 아무논제나 끌고와서 저러고 노는건지...

수학자, 데이터과학자라면서 '박사'라고 붙여서 권위는 또 빌려쓰고 있다.

성대결을 위해서 이상한 논리와 잘못된 권위 정도야 '쓰면 어때!' 이건가...

Daum 카카오는 로그인 되어있을 때, 포탈 메인창에 언론사 블랙리스트 기능을 제공해야하는거 아닌가??? 허핑턴포스트나 클릭하게 만들고 뭐하는건지...

포탈메인을 프로그램이 아닌 사람이 관리를 하는건가???

메인창 조작논란이나 실시간 순위 조작 논란을 보면 사람이 관리를 하는 것 같기는 하다만...

담당 다음 카카오 직원에 기호에 의해서 포탈로 여론을 만지고 싶으면 점유율을 5% 밑으로 떨어뜨리고 하는게 어떨까???

2017년 12월 11일 월요일

마이폰 LG G4 누가 업데이트 완료!!! 비공개 숨은 기능을 확인하였습니다. WOW입니다.



G4의 누가 업데이트를 해줄지 말지 가지고 언론플레이 하는 소식까지 듣고

그쪽에 관심을 끊어서 최근에야 제 G4를 누가로 올렸습니다.



지난주 까지도 USB Ethernet 장치로 Ethernet을 rooting없이 써보려고 별짓을 다했는데, 보안이 너무 철저해서 제조사에서 제공하지 않는 기능은 사용이 불가능하더군요... 

adb부터 다 막혀있는데, 답답해서 죽는 줄 알았습니다.

그런데 겸사겸사 혹시나 하는 마음에 검색을 해봐도 누가로 올려도 된다는 공식적인 이야기도 없고 비공식적인 리뷰도 없고 후기도 없고 그러한 상황이지만, 데스크탑에서 쓰고 있는 쿠분투도 많은 헛짓거리를 해야하지만 최신 버전으로 올리는 사람이라 올리기로 결정했습니다.


그런데!! 윈도우나 맥이 없으면 업데이트가 불가능한 상황이라 VirtualBox를 사용해서 가상화를 하고 usb를 guest os로 forwarding 해서 시도하려고 했는데, MTP장치는 폰이 주도적으로 자기 정보를 조작하는 방식이다보니 가상화를 지원해주지 않아 전혀 잡히지가 않더군요. (잡혀도 벽돌이 되기 싫으면 절대로 따라하시면 ... )


결국은 집에 가서 거실컴을 가지고 올렸습니다. 역시 윈도우의 드라이버 삽질을 보면서 눈물좀 흘리고 결국은 성공을 했습니다.

와 이거 너무 좋은데 라는 생각을 하며, 설정부터 모든 기능을 뒤졌지만 Ethernet과 관련된 메뉴가 없어서 반포기 상대로 있었으나,

학교에 와서 핸드폰을 3usb+gigabit인 장치에 연결을 하니 좋은 징조가 보입니다. 그것은
저 위에 안테나 신호 막대옆에 있는 <--->표시 입니다.  처음에는 USB 장치를 연결해서 뜨나보다라고 생각을 했고, 혹시 숨은 기능이 생길까 하는 마음에 다시 설정을 뒤졌으나, 전혀 Ethernet 장치를 컨트롤하는 기능은 없었습니다만,

혹시나 하는 마음에 LTE네트워크와 WiFi네트워크를 끈 상태에서 크롬을 사용해보니 크롬이 아주 잘 사용 되는 군요. 

벤치비라는 어플로 속도측정을 했는데, ping은 대략 3ms로 아주 낮고, 속도는 반복해서 네트워크가 바뀐다면서 결과값을 안줘서 다른 방법을 사용했습니다. 

폰에 있는 SD카드로 파일 복사하는데 14MB/s - 22MB/s 정도의 속도가 나오는데,  쓰기속도의 문제인가 해서 내장메모리로 

복사를 해보니 20MB/s의 평균으로 일정하게 나옵니다. SD카드 쓰기속도는 매우 구리지만 캐싱을 하면서 받는걸로 생각하면 대략 다운로드 속도는 20MB/s정도 나오는군요, USB 2.0 대역폭(g4 스펙이 그래요) 480Mbit/s에서 오버헤드까지 처서 대략 한 40MB/s를 기대했는데, 일단 USB 대역폭에서 업로드 채널과 다운로드 채널을 동시에 잡아놓고, 하는건지 업로드 다운로드 모두 20MB/s정도로 만족을 해야할 것 같습니다. 


네 ip주소 잡는 기능이 없으므로 static ip로는 ethernet이 불가능 합니다. 하지만, 라우터가 ip를 부여하는 시스템에서는 안정적인 핑으로 160Mbits/s정도의 네트워크를 사용할 수 있게 되었습니다. 

핸드폰에 파일 넣고 빼는게 일인데, 내장메모리는 큰 파일을 받을 여력이 없는 것이 보통이지요, 그러면 결국은 외장메모리 micro sd카드에 집어넣게 되는데  ufs-1을 지원해주는 고속 메모리 카드들은 보통 두배에 가격이다보니 mtp로 연결하나 이렇게 사용하나 별 반차이가 없을 겁니다. 

여러 활용법을 말하고 싶은데, 충전포트를 겸하고 있는데다가 usb 3.0에 있는 수 많은 alt모드들 때문에 큰 변화는 겪기 어렵군요...

그냥 파일 복사할 때 편해진 것 말고는 없습니다. 근데 이 것만 해도 감사하네요... 


올해 3월에 LG 고객센터앱으로 다음 업데이트 때 해달라고 한 내용이 이루어진 것 같아서 기쁩니다. 물론 답은 매크로 답이였던가, 담당이 아니라는 말이었던 것 같아서 제 요청의 결과는 아니 겠지만, 어쨌든, 좋군요. 

사진

2017년 12월 6일 수요일

안희정이 움직인다. 방법은 그들과 비슷하다.

좌표 찍혔다. 저런 개소리에 따봉이 많은 것은 그렇다치자...

한 사람의 댓글 두개가 베스트 댓글이 된다고???? 이게 가능한가???


안희정이 욕먹는건 음모론 때문이 아니라 저번 대선에서부터 시작된 배신행위 때문일텐데... 자기 눈으로 보고 싫어 하는것을 젊은세대가 멍청해서 그렇다는 식으로 하는거보면... 극과 극의 논리는 통하는것 같기도 하다.


김관진이 자기를 참군인으로 작업하던 모습과 매우 흡사한데... ???
보수쪽에서 작업을 할까 진보쪽에서 작업을 할까??? 아니면 그냥 업체?


그리고 언론이 안희정을 옹호하는게... 이간질 한다고 표현하는건 보기가 참으로 어렵네...



http://v.media.daum.net/v/20171206101201079

2017년 11월 29일 수요일

조선일보 계열의 조선비즈가 하는 왜곡 보도. case.


유튜브 광고와 관련된 기사를 읽고 아래 연결 창을 보니 다음과 같이 떠있었다.



  자 격분한 외국인 교수가 왜 격분 했을까 궁금하지 않는가... 

외국인이 말하면 뭔가 객관적인냥 받아드리는 한국인들을 이용해서 왜곡보도를 하고 있다.

예전부터 느끼는 거지만... 조선일보는 아주 다양한 기사를 쓰고, 정보 제공의 측면에서는 정말 대단한 언론사이다. 지하철 매대에서 사서 2시간을 이동하며 읽을 거리가 있는 신문은 사실 조선일보 밖에 없다.


  이 많은 정보 속에 저런식의 작은 왜곡과 정치 사회 기사의 큰 왜곡 (의외로 정치 시즌이 아닐 때는 멀쩡한 기사도 나온다.) 을 통해 여론을 조작하는 행위를 해오고 있다.

조선일보가 최고의 언론사이다 보니, 나머지 모든 언론도 조선일보를 모델로 삼아 여론조작을 일삼고 있다. 이러한 케이스가 있을 때마다 소개하도록 하겠다.

큰 케이스들은 여러 사람이 관심을 가지니, 나는 작은 케이스의 왜곡들 위주로 소개하도록 하겠다.

그럼 안녕.

2017년 11월 15일 수요일

Blackmagic Design 컨버터 업데이트 와 미친듯....











6G SDI모델을 출시 했는데... hdmi sdi 컨버터 모델의 경우는 sdi to hdmi는 기존제품과 거의 같은 가격이고, hdmi2sdi모델은  기존 mini mornitor 제품들과 같은 145$ 밖에 안함...



mini mornitor 제품과 hdmi to sdi 6g 모델을 구매하면 ...

4K 출력을 저 멀리서 캡쳐할 수 있을 듯.... 일단 조그만 개인 스튜디오 꾸미시는 분들에게는 좋은 소식...





그리고 마이크로 컨버터 제품이... $49달러인가로 내렸는데...  이젠 그냥 강x전x 같은데서 수입하는

중국산 등  제품과 가격 경쟁이 되게 되었음...  그런데... blackmagic 제품에 대해서 youtube 보면...

호환이 안되는 경우가 있다고 나와 있는거 보면... 브랜드 약한 제품들이 여전히 좋으려나..

2017년 11월 1일 수요일

조선일보기사 리뷰 : 왜 영화 속 그들은 다 범죄자인가.



통계 사기를 치고 있는 기사라 단언한다.

첫줄부터 현재 국내 중국 동포 수(중국인이 아니라 중국동포라는 사실에 유념하자)는 100만명을 넘어섰다고 해놓고는

10만명당 국가별 범죄자수 순위를 가지고, 7위이기 때문에 중국인은 범죄를 많이 저지르지 않는 것처럼 묘사한다.

10만명당이란게 의미를 가지려면 외국인의 숫자가 충분히 필요하다. 분자에 해당하는 범죄수만큼이나 '분모'에 해당하는 인구수가 매우 중요하다. 통계라는건 사례가 적으면 그 통계를 그대로 따라간다고 주장하면 큰일 난다.

그러나 중국은 다르다 반절의 인구를 가지는 중국인은 100만명이기에 충분히 통계를 내도 무방하다. 100만명으로도 불가능하면 통계는 아예 하면 안된다. 100만 명이면 유럽에 왠만한 국가들보다 인구가 많은거기에 그냥 하면 된다고 하자. (뭐 중국동포랑 혼동이 되서 환산하니 대략 60만명가량이니 조금 오류가 있다... 근데 이거 우리 군인숫자다 -_- 한 나라의 외국인이 군인숫자만큼 있음...  )

절반의 인구가 61%의 범죄를 일으킨다고??? 거기다가 범죄를 저지르고 밀항이 가능한 바로 옆나라인데??? 실제로는 저기 안잡히는거 까지 하면 상당하다...

그리고 가장중요한건 중국인의 범죄를 잡으면 외국인 범죄수 자체가 눈에 띄게 줄어들 수 있는 건데... 여러가지 주장을 늘어 놓으면서 기사를 쓰는건 무슨 이유일까? 
이것도 저것도 아니면서 비난받지 않으려고 저런 기사를 썼을까...

경찰청 통계자료까지 기사에 쓴거보면 나름 공들인건데... 조금만 더 들였으면 좋을텐데..


linux terminal 창에서 날씨 정보를 그래픽으로 확인하기.


가입되어있는 유튜브 프로그램에서 배워왔다.



매우 간단하다.


curl  wttr.in  을 하면 바로 날씨정보가 떠오른다.

이렇게 하면 IP주소를 근거로 그 주소에 해당하는 날씨정보를 주지만...

whois에서 알려주는거랑 여기 등록되어있는 지역명이 같지 않기에

not found/Korea로 어딘지는 모르겠지만 한국의 날씨를 알려주는데...

현재 서울날씨가 13-14도 인것을 27~28도로 알려주는거 보면 마라도???인건지 모르겠다.


그러므로 당신은 다음처럼 날씨를 확인할 수 있다.

curl wttr.in/~Seoul   (서울의 날씨)
curl wttr.in/~Paju   파주의 날씨
curl wttr.in/~Paju+Beobwon  파주 법원리 주소를 검색해서 결과를 보여줌.


결과는 다음과 같다.
매우 아름답다. 훌륭한 웹페이지라고 할 수 있다.

2017년 10월 27일 금요일

ebay 해외배송을 통해 완성한 3달간의 여정... (pcie gigabit ethernet card 설치 삽질기 )





랩탑에 기가비트가 필요해 산 9달러짜리 3포트 USB허브 기능이 있는 기가비트 카드이다. 

또 아래에는 연구실 이더넷 허브가 fast ethernet까지만 지원을 해서 연구실 컴퓨터와 그냥 질격하려고 질렀다. 



그런데 다음과 같이 그래픽카드가 자그마치 세칸이나 차지한다. 아뿔사... 
사실 그래픽카드가 당장 필요한 것은 아니지만 왠지 모를 패배감에 다시 ebay에 추가로 구매하 물품이 있다. 
이 분류 물건들은 원래 목적이 요런데 쓰이도록 만들어야 하는데 그런건 아닌고 먼가 워크스테이션이나 특수 장비를  만들 때 사용하는 것 같다. 조금 길고 케이스 앞면에도 후면처럼 나사박는데가 있으면... 영상단자 같은 것들을 앞으로 뺄 수 있으니까... 그 외는 ... 마이닝 용인데 이 물품은 아래 그림처럼 긴쪽에 플라스틱이 막혀있어서 그래픽 카드는 못 꽂는다. 

지난 주 금요일이 되서야 받은 마지막 물건이다. 

아래와 같이 구성을 했다. 


그래픽카드를 때고 팬이 있던 두번째 자리에 끝단을 꽂고 메인보드가 없는데다가 이걸 연결을 하고 나사를 박아야하는데... 아래 꽂는부위에 높이가 메인보드 두께+ 기둥처럼 생긴 볼트보다도 높아서 저 상태로는 고정이 불가능 하다. 

여러가지 방법으로 해결할 수 있는데. 
1. 후면 브라켓을 분리하고 LP용으로 교체한다.  아래쪽에 빈공간이 생기고 낑기는 부위가 없어서 고정이 정상적이지는 않다. 
2. 후면 브라켓에 새 구멍을 낸다. 실톱 등이 필요하겠지만 훨씬 깔끔하기는 할 것이다. 

그런데 나는 다행히도 자리중 하나에 선정리 공간으로 쓸 뒷길이 있어서 뒷길 자리에다가. 좀 어거지로 밀어넣었더니 잘 고정이 되었다. 

그리고 다시 그래픽카드를 연결하는데... 그래픽카드 제조사 썩을 것들이 공간을 세칸 두칸씩 차지하게 만들면서 아래에 저런 식으로 연장하는 것 조차 못하도록 공간을 빡빡하게 만들어놨다. 

힘으로 밀어넣었다. 그런데 케이블 부분에 히트싱크가 닿았을 수도 있어서 미래에는 어떻게 될지 모르겠다. 탄내가 나면... 다시 분리를 하고 구성을 처음부터 다시 해봤야 겠다. 


제일 좋은 방법은 아크릴판사서 후면 브라켓을 만드는 방법일거라 생각이 드는데... 일단 그래픽카드 만드는 회사들이 쿨링팬 아래에 공간 좀 넉넉하게좀 해주면 좋겠데 아니면... 자체적으로 라이저 카드를 붙여서 팔던가.... 

아니 이미 여러칸을 차지할거면... 8핀이니 6핀이니 꽂지 말고 자기들이 차지한 칸에서 전력 끌어다 쓰면 얼마나 좋아... 결국은 다 파워에서 끌어다 쓰는거면서.... 


2017년 10월 10일 화요일

안철수한테 요즘 극중주의라는 말을 많이 쓴다. 그 이유는 뭘까???



극중주의가 좋은 뜻인지 나쁜 뜻인지는 중요하지 않다.


그 당이나  그 본인이나 어중간하다는 비판을 많이 받고, 안철수 본인은
간철수라는 아주 정치인으로서 나쁜 별명을 가지고 있다.


(원래 그런 인간들이지만)결국은 거대 여야 속에서 중간지대일 수 밖에 없는데
저 단어들을 그대로 두면 다음 정치시즌에는 어떻게 처리가 불가능하다.

그러니 간단하다. 비슷한 뜻인 다른 단어로 대치하는거다.

그 단어는 극중주의다.

2017년 9월 19일 화요일

클러스터나 슈퍼컴퓨터에서 계산한 파일을 가져오기와 관련한 데이터 압축이야기



나 같은 경우는 MD simuation을 하는데, 얻는 rawdata 중에는 입자의 d.o.f 만큼의 실수 정보와 자기 인덱스와 관련한 정보 등을 text형식인 것이 있다. 

이런 것들이 입자수를 곱하고, 여러 시간의 스냅샷을 포함하다 보면 이 데이터의 양은 참으로 클 수 밖에 없다. 

내 경우에는 이 데이터의 양이 한번 돌릴 때마다, 12GB나 되는 굉장한 양이 나온다.  그 중에 더미가 있어서 실제로는 8기가 가량 되는 것 같다. 

이 데이터를 그대로 네트웍으로 받는다면 기가비트 환경에서 1분정도, 
100메가비트 환경에서 10분정도를 최저로 잡고 소요되나, 같은 건물이 아닌 이상 저 속도가 나올리가 없다.  나 같은 경우는 대략 20메가비트 정도 나오면 잘되는 듯하는 상황이라, 이대로 받아버리면 안정적으로 계속 다운로드가 될 때, 50분이 걸린다.  1분이나 10분 정도는 충분히 잠시 일보고 오는 식으로 소비할 수 있는 시간이다.   그런데 50분이란 시간도 그럴까? 아닐 것이다. 

(문제는 내가 저 시간을 아껴서 제대로 사용하는 사람이고 싶은 사람이지 그런 사람이 아니라는거...)


그렇다면 방법은 압축을 해서 데이터량을 줄인 후, 방법을 사용해야 할 것이다. 그렇다면 어떤 압축툴을 사용해야 할까?  

  보통 보관용과 전송용으로 차이를 둘 수 있겠다. 압축이란건 투자한 시간만큼 공간을 줄일 수 있다. 보관용은 공간을 줄이는데 관심을 가진다. 적당히 시간을 더 투자하고 공간을 적정선까지 줄이는 것이 목표라면 bzip2으로 시작해서 좀 더 극단적인 부분까지 줄이는게 목표라면 xz(or lzma:7zip의 알고리즘 사용)를 사용하게 된다. 

  우리는 전송용이기 때문에 당연히 gzip을 사용하면 되겠다. 리눅스는 Archiving tool과 Compresion tool을 따로 두는식으로 문화가 형성되어 있어서 Archiving tool로는 tar를 사용하고, gzip을 사용하여 압축을 많이 한다. 이렇게 해도 보통 zip(pkzip)보다는 속도나 압축률면에서 우수하다고 한다. (근거달기는 귀찮다. )

대게 tar cvfz 압축파일이름.tar.gz 내역들 

으로 그냥 사용하지만 문제는 data가 워낙 많아서 시간이 많이 필요하다는 거다. 그런데 기본으로 linux 배포판에 있는 gzip은 병렬로 계산하지 않기 때문에 이것도 한 세월 걸린다는 단점이 있다.  (gzip bzip2 xz 모두 그러함)

하지만 이쪽 사람들은 필요하면 만드는 사람들이기에 찾으면 해당하는 툴이 있다.   나같은 경우는 pigz라는 툴을 사용한다. gzip의 이름을 섞어서 말장난 하는 식의 이름이지만 매우 훌륭하다. 압축알고리즘 자체가 병렬화 되는 것은 아니고, 압축을 할 때, 어차피 파일을 특정 사이즈 마다 쪼개서,  압축을 하니까? 쪼개진 부분을 여러 계산유닛들이 기존 알고리즘으로 압축을 하면 되는 방식이다. 

그렇기 때문에, pigz를 컴파일해서 설치하는데는 root 권한 따위는 필요하지 않고, 필요한 라이브러리는 왠만해서는 서버에 있다. 이 친구들이 쓰는 헤더파일이 없으면, 루트가 제공하는 툴말고는 아무것도 못쓸 정도로 환경이 척박하므로 그냥 기대를 말고, 기존 루틴대로 살면 되겠다. 

tar 명령어에 외부 압축프로그램 바로 지정하는 방식을 사용한다면, 
tar -I pigz   -cvf blah.tar.gz blah blah    압축하기 
tar -I pigz   -xvf blah blah blah     압축풀기
이런 식으로 사용하면 되고 귀찮고 하드공간이 넉넉하면 tar로 먼저 묶고 
pigz로 압축 pigz -d로 풀기를 하면 되겠다. 

압축하는 시간이 기존 싱글쓰레드로 8분가량 걸린다면 16노드인 서버에서는 30초 정도로 끝날테니  굉장히 시간을 절약할 수 있다. 

수치해석 rawdata 전용 압축 툴이나온다면 압축률을 더 높일 수 있을 것 같으나, 그런건 없는 것 같고, 대략 압축을 하면 압축률이 42%정도 나온다. 

파일이 작으면 이건 개 뻘짓이지만. 파일이 커서 굉장이 좋은 방법이 되었다. 
기존 방법으로는 통으로 50분이 걸리던지, 아니면 21+압축시간 걸리던 것이 21+압축시간/nodes  로 시간이 확 줄어드어 쓸만해 진다. 

음 대학교가 연구기관이라면 kist 같은 국가 연구기관들과 100Gb 네트웍으로 연결되고 내부망은 최소 기가비트 건물간은 10기가비트로 연결되어야 정상이 아닐까...?

건국대학교는 이과대학이 내부망이 아직 100메가비트이고, 연구기관들끼리 연결된것은 우회망이 없어서인지 이쪽 대역폭을 어떻게 나눠쓰는지 모르겠는데 너무 느리다. 빨리 좀... 어떻게 해주면 좋겠다. 

아 그리고 이런짓을 할 필요 없이, rsync 나 scp에 압축 옵션이 있다. 
그런데 scp는 이어받기 옵션이 없어서 배제 대상이 되고 rsync에 압축옵션을 넣어서 다운받으면 되겠다. 근데 이건 익숙하지가 않아서 전송용으로만 쓰고 있다. 

  그리고 데스크탑을 리눅스로 쓰는 나같은 리눅서는, 이쪽 철학을 지켜서 각 프로그램들의 기능을 최소화하고 서로 연결해서 사용하는 것이 심적으로 편하다. 그냥 이렇게 쓰도록 하자.  

가장 많이 본 글