연합뉴스 기자에게 오보관련해서 이메일을 보냈습니다. <내용은 복사해서 본문에 첨부했습니다.>

Hyeok KIM

---

오보가 있어서 연락드립니다.  1 개의 메일

---

김혁	2018년 9월 11일 오전 11:34
받는사람: jiks79@yna.co.kr
http://www.yonhapnews.co.kr/bulletin/2018/09/11/0200000000AKR20180911027000007.HTML?input=feed_daum "왜 페트병 치우지 않는가"…일본 언론, 한국청소년야구팀 비판 위 기사에 "하지만 일본에서는 낯선 장면이다. 2018년 러시아 월드컵에서 일본 팬들은 관중석을, 일본 선수들은 라커룸을 깨끗하게 청소해 박수받았다." 이 부분은 일본언론 인용이 아니라 본인이 쓰신 부분입니다. 하지만 아래 중앙일보 기사를 보면, 선수들이 라커룸을 청소한 것이 아니라  직원들이 청소를 했다고 일본선수가 해명을 했습니다.  https://news.joins.com/article/22780370 오보를 들고와서, 일본을 띄우고 자국을 낮잡아보는 기사를 쓰는 이유가  참으로 궁금합니다. 반드시 고치시길 바라겠습니다. 한국언론이 한국을 공격할 수 있고, 비판할 수 있습니다. 하지만 그 과정에서 오보를 가지고 활용을 한다면, 그건 악의적인 행동으로 보입니다.  특히 세금을 지원 받는 언론이 그러한 행동을 한다면 반민족 행위입니다.  -- Hyeok KIM ( Ph.D. Student ) Many-body physics Lab. Department of Physics, Konkuk University Seoul, 143-701, S. Korea

...호사카 유지 교수의 이야기 중에 놀란 점... 군내 위안소 관련...

역사적으로 군이 위안소를 군내부에 설치하고 운영한 나라는 나치독일과
일제뿐이다.

... ... ...


아이구.

SGE) Sun Grid Engine 사소한 Tip!! NFS server setting에 관하여...

자원이 모자란 연구실에서는 root도 node들 계산기로 집어넣어서

클러스터를 구성한다. 그러다보면 빨리 돌리고 싶어서, root node는

직접 disk에 접근하는 경우도 있다고 생각한다. 나같은 경우는

쉽게 docker image에 마운팅 시키려고, 다 똑같은 호스트 위치에 메인 디스크를 마운팅 시켜놓는다.

master node(root node)는 mount -o bind를 사용해서 했고, 나머지는 mount -t nfs를 사용해서 마운트를 했는데,


벌써 세번이나 master node에 계산이 들어간 부분만 transfer state에 빠져서 나오지 않는다.

나머지는 nfs-kernel-server가 (애초에 여러군데서 접근하도록 만들어짐) 관리해서 접근하고,  혼자 다른 방식이다 보니 발생한 결과로 보인다.

일단 master node도 nfs를 사용해서 접근하도록 교체하였다. 

... 아주 훌륭하다. 일단 아직까지는 문제가 없고, 100m 이더넷 스위칭허브에 연결된 원상스 뉴 계산용컴퓨터도 순서대로 하나씩 transfer state를 벗는 모습이 관찰되는 등 아주 잘 관리하고 있는듯 하다.


nfs랑 ... local disk 접근이랑 경쟁해서   local쪽이 죽어버리고 무한루프에 빠지는 거는... 좀 문제가 있는 것 아닌가??? nfs는 뭔가 프로토콜적으로 양보의 미덕을 발휘하기 때문으로 보이는데,


여기서 우리는 복잡한 교통일 수록 서로 양보할 수록 공리적으로 빨리진다는 사실을 알 수 있다. (????????? 이상한 결론이다. ))))))))))))



-0-----------------0--------------0---------------

일단 여러번 돌려보고 결과가 어떻게 되는지 살펴보자...


어차피 서로 충돌이라서 대기하고 있던 잡들이 작업들어갈 때는, 한번도 문제 생긴적은 없다. (어차피 동시에 안 끝나니까...)

아 초장에 잘 들어가야하는데, 왜 양보를 안해서 이상한데 걸리는건지...

뭐 이제 알았으니 잘 됐다.

Passmark 싱글 쓰레드 점수의 부질없음....

가장 빠른 친구를 1점으로 했고, LAMMPS 점수는 같은 프로세스의 LAMMPS 코드를 SGE로 돌리는데 걸리는 시간 분의 1로 점수로 생각한다.

일단 결과를 보면 Passmark점수와 실제 성능차이는 세대에 따라 확연히 차이가 난다.

근데 중요한건 nfs 서버가 6700 컴퓨터에 구축되어 있고, i7들은 기가비트 q8400은 100메가비트의 네트워크이다. 뭐 이쪽의 오버헤드가 굉장히 크기는 할텐데, 다른게 길어야 2일 걸리는 작업이 일주일 가까이 걸리는 이유가 될 것 같지는 않다. 일단 내 개인 소유의 기가비트 이더넷 카드를 연결해서 테스트 해보도록 하자.

대충 결론:
샌디브릿지로 오고 초기시대랑 후기 시대가 다르고, 그 이전 세대가 확연히 다르다. 

SGE) Sun Grid Engine 연구실 컴퓨터로 재구축..

보이는가 아래와 같이 영롱한 모습의 클러스터 컴퓨터가 완성되어 있는 것을..


일단 my.q라는 queue에 모든 컴퓨터를 박아 넣었고,
hostgroup으로 @fast 에는 내 데스크탑컴퓨터인 i7 6700 pc를  넣고,
잡이 비어 있을때는 가장 먼저 여기에 넣도록 설정했다.
  다음으로 @fastold에는  i7 970 pc와 i7 2600 pc를 집어넣었고,

위  세개의 컴퓨터들은 모두 iptime N6004 연구실 공유기에 직결되어 있다.
(... 허브를 사야하는데,... )

그리고 @old 에는 그냥 옛날 cpu가 들어가 있다.  q8200으로 예상한다.
이 친구는 공유기에 포트가 부족해서 100Mbps 스위칭 허브를 통해서 분배를 하도록 되어 있다. 

일단 master에 nfs-server를 구축을 해서 data를 쓰고 있어서,
빠른 친구들 간에들 그럭저럭 속도가 나오는 편이고,

느린친구들은 cpu를 쓰면서 기가비트 네트워크를 쓸 여력이 없을 것이라, 자위하며 그냥 쓰고 있다. 일단은 이번에 재료비를 다 쓴 상황이라... 내 돈을 쓰던가 해서 8포트 기가비트 허브로 연결을 목표로 하고 있다.

돈을 조금만 더주면 16포트 기가비트 허브 중고를 구할 수 있지만,
폐기처분 되는 권교수님 업체 클러스터에 있는거 들고와서 뜯어 보고 나서는 ... 중고를 쓰고 싶은 마음이 없다.

너무 열심히 사용된 나머지,

내부 방열판 고정핀들이 다 부서져 있는 상황인 것을 보았기에 아마 그런 마음이 드는 듯 하다.  아무래도 PC가 멀쩡할지는 모르겠지만, 제대로된 관리자가 없는 상황이다 보니, 아주 짧은 시간만 쓰고 409호에 처박혀 있었던 것으로 보인다.  409호는 오래된 이과대 친구들은 다 아는 먼지가 아주 많은 창고방이다.

저 위에 있는 @old라는 호스트 그룹에 속한 컴퓨터 친구들이 저 먼지 구덩이 속에서도 현역으로 잘 굴러가고 있었던 것으로 생각하면,  상용서버들이 저모양으로 있던건 아무래도... (오래전부터 꺼져있었다지...) 관리의 문제가 아닌가 싶다.

그냥 허브를 새로 사거나 업체를 불러서 진단을 받았으면 계속 쓸 수 있었을 텐데... (클러스터 두동이면... 가격이 못해도 수천만원 ㅎㄷㄷ )

연구실내에 직접 관리할 수 있는 인원이 없는 이상은 비싼 돈주고 구축해봐야 소용이 없다는 것을 배우는 것인지 뭐 잘 모르겠다.

2012년 T24 사건 까지도 벌레라는 단어를 그냥 평범하게 사용했는데, 신기하네...

일베충이란 단어가 나온 이후로, 한국에서는 개라는 단어의 자리를 충이란 던어가 차지해 버렸음....




T24 사건 추억이다.

원상이 워크스테이션 ryzen5 2600으로 변경.(pbzip2 test)

SMT(하이퍼쓰레드) 성능이 과장인가 쓸만한가 확인을 해봄.

pbzip2  bzip2

/tmp$ time tar -I pbzip2 -cvf a.tar.bz '(alpha=1,d='*  (alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat

real    0m17.179s
user    3m13.663s
sys     0m4.838s

/tmp$ time tar -I bzip2 -cvf a.tar.bz '(alpha=1,d='*      (alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat

real    2m16.867s
user    2m16.205s
sys     0m2.733s

일단 bzip2 pbzip2 테스트에서는 따로 프로세서 개수 같은 옵션을 주지 않아도 적당히 잘 최적화해서 돌아감.  

일단 대략 6C/12T에서 8배 정도의 성능 이득을 보고 있음.
(원상이 결과파일이 어떻게 생긴지 관심이 없지만 일단 bzip이나 gzip이나
둘다 465MB로 압축이 되므로 딱히 이거 쓸 이유는 없음)

pigz /gzip

/tmp$ time tar -I pigz -cvf a.tar.gz '(alpha=1,d='*  (alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat

real    0m5.315s
user    0m37.190s
sys     0m2.640s
/tmp$ time tar -I gzip -cvf a.tar.gz '(alpha=1,d='*      (alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat

real    0m20.482s
user    0m19.309s
sys     0m1.886s
/tmp$ time -p  tar -I 'pigz -p 10'  -cvf a.tar.gz '(alpha=1,d='*  (alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 3.90
user 32.34
sys 2.09

bzip2 계열과 다르게 여기는 알고리즘이 어떻게 되어 있는지 모르겠지만, 병렬효율이 지나치게 떨어짐. 6C12T로 4배정도의 성능 이득 밖에 없음.  근데 원래 빠른게 더 빨리 끝나는거라. 그리 나쁘지 않음. 
  그래도 코어수보다 성능이 떨어지길래 테스트 해본결과 processor 개수를 10개까지 늘리는 동안에는 조금이라도 빨라지기는 함.  이 테스트는 효율이 워낙 떨어지다보니 외국 포럼에서 해석하기로는 가상코어를 코어수로 인식하지 못하는게 아닌가 라는 추축이 있었서 진짜 그런가 확인해 본 것임.  불도저나 옛날 코어 시리지에 대한 글이긴 했지만... 나도 느리길래 한번 해본것 

일단 코어하나만 써도 pigz쓰면 15%정도의 오버헤드가 생기고, 효율이 극히 떨어지고 뭔가 성능변화도 연속성이 이상함. 아무래도 pigz 코드에 뭔가 이상한게 많이 있나봄. (뭐 한계속도인듯 나중에 다른해석도 있음)


일단 알 수 있는 것, 적당히 잘 짠 코드의 경우, 6C12T 라이젠의  경우  8배 정도의 성능이득이 있음. (그냥 압축파일 짜르는 사이즈 마다 나눠놓고 각자 쓰레드에 일 맡기는 거라 효율이 좋을 수 밖에... )

원상이 코드 기준으로 눈대중으로 q9550보다 대략 2~2.5배 정도 빠름. 
10년도 더 된 cpu랑 비교해서 미안하지만 원상이가 계산 느리다고 해서 산거니까... 충분히 이득...   
비교대상은 윈도우에서 visual c로 Realease한 거랑 gcc로 optimize option 안주고 한거를 비교한거라, -O3, -O2정도면 3배까지도 차이날 수 있음. 

걍 때려박는 성능차이가 2배정도 나고, 세대차이로 인한 명령어 차이가 또 한 1.5배 해서 차이가 나는 것으로 예상됨. 


음 pigz가 pbzip2의 비해 병렬 효율이 매우 떨어지는것 처럼 보여도, pigz를 쓰는게 건강상 좋음. ..(일단 결과가  2.5GB의 데이터이기 때문에 이미 디스크 한계속도의 도달한거라 저 오버헤드는  sata3로 연결된 SSD의 오버헤드일 가능성이 크긴함... 이라고 생각했으나 작업 장소가... /tmp라서... 그냥 구린건가... 
사이즈가 워낙 크니까 /tmp가 어떤식으로 구성이 되있는지를 모르니... 

그냥 빨리 끝나니까 프로세서수 생각하지말고 pigz로 압축하자... 대략 30기가에 1분이라고 생각하면 겁나 빠른거니까... 1분이 4분이 되고, 1시간이 4시간이 된다고 생각하면 이거 쓰게 되어 있음. 



---------------------------------------------------------------------------

wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 12'  -cvf a.tar.gz '(alpha=1,d='*
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 5.47
user 37.23
sys 2.74
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 1'  -cvf a.tar.gz '(alpha=1,d='*   
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 23.30
user 22.34
sys 1.75
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 4'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 6.55
user 24.53
sys 2.64
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 5'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 5.66
user 25.80
sys 2.25
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 8'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 4.29
user 29.35
sys 2.26
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 10'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 3.87
user 32.25
sys 2.16
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 12'  -cvf a.tar.gz '(alpha=1,d='*   
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 5.78
user 37.36
sys 2.68
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 10'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 3.89
user 32.44
sys 2.05
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 11'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 4.03
user 33.52
sys 2.38
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 9'  -cvf a.tar.gz '(alpha=1,d='*   
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 4.07
user 31.06
sys 2.14
wslee@wslee-MS-7A37:/tmp$ time -p  tar -I 'pigz -p 10'  -cvf a.tar.gz '(alpha=1,d='*  
(alpha=1,d=2)Hatree_theta_data.dat
(alpha=1,d=3)Hatree_theta_data.dat
(alpha=1,d=4)Hatree_theta_data.dat
real 3.90
user 32.34
sys 2.09