논문을 레프리하면서...

 

논문을 레프리하는 것은 쉬운 일이 아니다. 처음 레프리 요청을 받았을 때는 괜히 우쭐해지곤 했는데, 모든 일이 그러하듯,  레프리도 자주 하다 보면 좀 시들해지거나 귀찮아진다. 논문의 레프리를 선정할 때 그 분야의 전문가를 고르지만 아무래도 내가 직접 했던 일이 아니면 참고문헌도 뒤져보고 공부를 좀 해야 한다. 물론 이는 레프리 자신에게도 도움이 되고 레프리를 하면서 새로운 아이디어를 얻기도 한다. 과거에는 레프리가 제출된 논문을 가로채기도 했다는 전설도 있지만 요즘에는 논문을 무조건 arXiv.org에 먼저 올리기 때문에 originality를 훔치는 건 불가능하다. 참고 문헌을 뒤지는 또 다른 이유는 표절이다. 물론 표절된 논문을 참고문헌으로 적지는 않겠지만 참고문헌의 참고문헌을 찾으면 표절여부를 알 수 있다. 레프리하면서 또 점검하는 것은 저자(들)의 과거 논문이다. 이는 자기 표절을 찾기 위해서다. 그리고 논문의 질을 평가할 수도 있다. 예를 들어 새로운 방법으로 계산을 해서 논문을 쓰고 유사한 계산을 다른 대상에 적용하여 논문을 쓰는 경우 그 결과가 중요하다면 출판 가치가 있지만 그렇지 않으면 단지 논문 수를 늘리기 위한 일이 된다. 이 경우 저널의 급을 생각해 출판을 추천하기도하고 리젝트하기도 한다. 며칠 전 유럽의 한 저널에 투고된 논문을 레프리 하였다. 논문의 저자는 혼자였고 (이름을 A라 하겠다.) 논문의 주제는 일견 괜찮아 보였으나 어딘지 엉성하였다.  SLAC 데이터베이스를 뒤져보니 역시나 논문 편수가 2-3개 밖에 안 되는 초보였다. 논문을 자세히 읽어본 후 이런 문제점을 발견했다.

<논문심사를 잘하면 이런 상도 받는다고 합니다. 이미지출처 : physics.fau.edu>

 

(1) 서론이 너무 엉성했다. 서론에는 이 일이 갖는 중요성, 다른 사람이 했던 일, 앞으로 본문에서 다룰 내용의 간단한 소개 등이 들어가야 한다. 페이지 수에 제한을 받지 않는 정규 논문의 경우 서론은 가능하면 자세히 쓰는 것도 좋다.  이 분야에서 중요한 문제와 현재까지 어떤 방법으로 사람들이 이 문제를 접근했는가 그리고 가능하면 각 방법의 중요한 포인트와 결론을 소개하는 것이 필요하다.  물론 레터 형식의 논문은 이 내용을  줄이고 짧게 요약할 수 있으나 본질은 같다. 잘 쓰인 서론은 독자들에게 새로운 아이디어를 제공하기도 한다. 그리고 인용되기도 쉽다. 하지만 A의 논문은 서론이 아주 짧았지만 양보다도 질이 너무 부실했다. 예를 들어, 이전의 일을 설명하지 않고 단지 "이 문제는 많은 관심을 끌었다.[1-10]" 이런 식이었다. 물론 이는 개인의 성향일 수도 있지만 이런 식의 서론은 적절치 않다.

 

(2) 본문에서 필요 없는 수식을 나열하였고 수식을 대부분 이전에 자신이 출판한 논문에서 가지고 왔다. 예를 들면 a,b,c라는 변수의 값을 정하기 위해 식 20여개를 사용했다. (따라서 를 최소화하는 방법으로 변수를 결정한다.) 하지만 논문에는 30여개의 수식이 나열되었다. 이는 이전의 논문에서 가져온 것이다. (물론 각 식이 완전히 같지는 않고 조금씩 다르다.) 변수 결정에 쓰이지 않은 수식을 나열한 것은 저자가 자신의 논문에 주의를 충분히 기울이지 않았다는 뜻이다. 사족을 달면 연속되는 많은 수식을 본문에 쓰는 것은 논문의 논점을 흐리게 하기 쉽다. 차라리 그런 복잡한 수식은 본문의 토의에서 꼭 필요하지 않으면 논문 뒤의 아펜딕스로 옮기는 게 더 보기 좋다.

 

(3) 결론이 명확하지 않았다. 이 논문의 계산 결과를 표와 그림으로 주었으나 이 결과물들이 주는 결론이 무엇인지 명확하지 않다. A는 같은 계산을 다른 모형을 써서 계산하여 이전에 출판하였다. 지금의 논문 결과는 이전과 좀 다르다. 다른 모형을 썼으니 당연하다. 하지만, 어떤 무엇이 두 모형의 결과를 다르게 하는지 어느 결론이 더 신뢰가 있다고 생각하는지 등을 전혀 토의하지 않았다. 논문은 레포트가 아니다.

 

이런 문제점은 논문을 쓴 후 다른 경험이 많은 사람에게 리뷰를 부탁하면 쉽게 지적해 줄 수 있는 것들이다. 논문은 다른 사람에게 읽혀지는 게 목적이기 때문에 출판전에 가까운 사람에게 보이고 평가를 부탁하는 것은 좋은 일이다. A의 논문에서는 그 외에도 전문적으로 세세한 분야에서 오류가 보였다. 미안하지만 에디터에게 보내는 A의 논문에 대한 내 추천은 '리젝트'일 수밖에.

아인쉬타인의 논문을 리젝트한 사람

 

논문을 쓸때 보통 어느 저널에 보낼것인지를 대략은 생각하며 논문을 완성합니다. 논문을 저널에 보내게 되면 저널의 에디터, 즉 편집자는 그 논문이 자기 저널에 발표될 가치가 있는지를 따져 출판 여부를 결정합니다. 따라서 에디터는 그 분야의 전문가 중에서 널리 알려진 학자입니다.  보통의 경우 논문의 출판여부는 전적으로 에디터가 결정합니다. 하지만 에디터가 신이 아닌 이상 자기 전공의 모든 분야를 다 잘 알 수는 없습니다. 그래서 제출된 논문을 리뷰어 (또는 레프리)에게 리뷰를 의뢰합니다. 리뷰어는 통상 제출된 논문의 전공자, 즉 그 분야에서 나름대로 인정된 사람들중에서 선택하며 대개 1-2명이지만 3명 이상까지 선정하는 저널도 있습니다. 레프리는 보통 2-3주안에 심사 보고서를 제출하도록 권고받지만 그 기한을 지켜 제출하는 경우는 그리 많지 않습니다. (수고비나 심사료 같은 것은 물론 없습니다.) 에디터는 논문의 출판여부를 리뷰어의 권고에따라 결정합니다. 현 논문 그대로 출판, 어느정도 수정후 출판, 또는 퇴짜 등. 논문의 저자 또한 이에 해당하는 권리를 갖습니다. 논문을 수정해 다시 제출하거나 리뷰어를 바꾸어 달라고도 요구할 수 있습니다. 이를 받아들이거나 무시하는 것은 전적으로 에디터의 권한이지만요. 논문의 저자와 레프리의 의견이 충돌하면 몇 달을 두고 싸우기도 합니다. 이에 대한 판단은 에디터가 하지만 이견이 해소되지 않을 때 결국에는 명망있는 학자들로 구성된 편집위원회까지 올라가기도 합니다.  흔히 오해하는 것중의 하나가 어떤 논문이 유명 저널에 실렸으니 논문의 내용이 검증되었고 이를 인정해야한다는 생각입니다. 하지만 레프리가 할 수 있는 것은 논문의 내용을 검증하는 것이 아닙니다. 레프리가 보는 것은 주로 논문의 주장이 타당한지, 논리의 비약은 없는지, 입증된 기반에서 논증을 시작하는지, 기존의 입증된 사실과 어긋나지 않는지, 논문에 발표된 계산 혹은 실험이 타당하고 다른 학자에의해 검증이 될 수 있도록 내용이 충실한지, 그리고 참고문헌이 공정하고 바르게 되어있는지 등입니다. 기존의 이론/실험과 일치하지 않는다고 무조건 리젝트되지는 않습니다. 다만 그 근거를 더 자세히 기술해야하고 레프리를 설득할 수 있어야 합니다. 또한 레프리가 그 논문의 계산이나 실험을 재현해서 검증하기는 불가능합니다. 검증은 논문이 출판된 후 다른 연구에 의해 행해집니다. 자신이 심혈을 기울여 쓴 논문이 리젝트되면 그 기분은 어떨까요?

 

논문을 출판하기 위해 보통의 경우 대개 유럽 또는 미국의 저널을 고려합니다. 이 때 자기가 살고 있는 지역 또는 속해 있는 학교나 연구소가 있는 지역의 저널은 고려하는 경우가 많습니다. 즉 유럽의 학자들은 유럽의 저널을, 미국의 학자들은 미국에서 발행되는 저널을 주로 고려합니다. 물론 개인마다 다른 취향이 있어 특정 저널만을 고집하는 경우도 있지만 논문을 발표할때 자기 지역의 저널을 주로 이용하는게 보편적입니다. 따라서 유럽에 있을 때는 유럽의 저널에 미국에 있을 때는 미국의 저널에 주로 발표하게 됩니다. 아인쉬타인은 1933년 독일에서 미국으로 건너갑니다. 독일에 있을 때는 물론 독일의 저널에 주로 논문을 투고했습니다. 1905년 벌표된 상대성이론을 포함한 그의 유명한 논문 5편은 모두 아날렌 데어 피직 (Annalen der Physik)을 통해 세상에 나왔습니다. 미국으로 건너온 후에는 미국 물리학회의 공식 저널인 피지컬 리뷰(Physical Review)를 주로 이용했습니다. 1935년 EPR 논문이나 1936년 웜홀에 관한 논문들이 대표적입니다. 하지만 1936년의 논문이 아인쉬타인이 피지컬 리뷰에 발표한 마지막 논문이 되었습니다. (1952년의 reply 형식의 출판이 유일한 예외입니다.) 아인쉬타인이 피지컬리뷰를 떠난 이유는 1936년 로젠 (Rosen)과 함께 쓴 중력파에 대한 논문에 대한 피지컬리뷰의 레프리 리포트를 받은 후 부터라고 합니다. 한 마디로, 퇴짜를 받은 것입니다. 아인쉬타인은 로젠과 함께 '중력파는 존재하는가?'라는 제목의 논문을 1936년 6월 1일 피지컬리뷰에 보냈고 이에 대한 답장을 (7월 23일자) 10장에 걸친 리뷰와 함께 받았습니다. 그 결과 7월 27일 피지컬리뷰의 에디터는 분노에 찬 답장을 받습니다.

 

Dear Sir,

  We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you to show it to specialists before it is printed. I see no reason to address the -- in any case erraneous -- comments of your anonymous expert. On the basis of this incident I prefer to publish the paper elsewhere.

Respectfully,

P.S. Mr. Rosen, who has left for the Soviet Union, has authorized me to represent him in this matter.

 

<우리는 그 논문을 출판하기 위해 귀하께 보냈지만 그 눈문이 출판되기 전에 귀하의 전문가에게 보이는 건 허락하지 않았습니다. 귀하의 익명의 전문가의 코멘트에  - 어쨌던 틀린 코멘트지만 -  답 할 이유를 모르겠습니다. 따라서 이 논문을 다른 곳에 출판할 것입니다.>

 

논문을 피지컬리뷰에서 철회한 후 아인쉬타인은 그 논문을 필라델피아의 Journal of the Franklin Institute에 보내고 이 논문은 수정없이 승인이 되었고 곧 출판되었습니다. 하지만 논문에는 중대한 수정이 있었고 결론 또한 피지컬 리뷰에 제출했던 논문의 결론과 반대였습니다. 비록 피지컬 리뷰에 제출된 논문의 사본은 남아 있지 않지만 정황상 그리고 간접적인 문헌으로 첫 번째 논문에서 '중력파는 존재하는가?'라는 질문에 대한 답으로는 '아니오'였다고 알려져있습니다. 하지만 Journal of the Franklin Institute에 출판된 논문에서는 결론은 '예'로 바뀌었습니다. 분명히 레뷰어의 코멘트에 영향을 받았다는 것이죠. 그러면 아인쉬타인의 논문을 심사하고 리젝트한 사람은 누구일까? 원칙적으로 리뷰어의 신원은 밝히지 않지만 이 경우에는 논문과 심사에 관련된 학자들이 모두 사망한 경우라 미국물리학회에서 이를 공개했습니다. 피지컬 리뷰의 기록에 따르면 논문을 1936년 6월 1일 접수가 되었고 6월 6일 레프리에게 보내졌습니다. 레프리의 리뷰는 7월 17일자로 접수 되었고 7월 23일 아인쉬타인에게 통보되었습니다. 레프리는 프린스턴에서 연구하던 상대성이론 전문가인 하워드 펄시 로버트슨(H.P. Robertson)이었습니다. 그는 아인쉬타인의 동료로 같은 곳에서 연구를 하고 있었으나 그 당시에는 칼텍에서 안식년을 보내고 휴가차 아이다호주에 머무르고 있었습니다. 그는 그 논문의 내용에 대해 잘 알고 있었고 잘못된 부분을 알고 있었다고 합니다.

<아인쉬타인의 논문을 리젝트 했던 로버트슨, 이미지출처 : photos.aip.org>

 

리뷰어 제도가 먼저 정착이 된 것은 유럽보다 미국이 더 빨랐습니다. 그 당시 대부분의 유럽저널들의 논문 리젝트 비율을 5-10%를 넘지 않았다고 합니다. "논문이 없는 것보다는 틀린 논문이라도 싣자"라는게 그들의 생각이었고 플랑크는 이를 크게 비판한 적도 있었습니다. 그 당시 아인쉬타인의 논문은 레프리의 리뷰없이 곧장 출판승인되었기 때문에 레프리 리포트를 벋은것은 위의 경우가 차음이라고 합니다. 다른 사람의 논문을 레프리하는 것을 귀찮게 생각하는 사람도 많습니다. 하지만 레프리의 원래 목적이 논문의 오류를 바로 잡고 독자를 위해 더 읽기 좋은 방향으로 논문 수정을 유도하기 위해서라는 것을 생각하면 책임감이 더 무거워집니다. 아인쉬타인의 논문에 수정을 요구했던 로버트슨은 레프리의 역할을 훌륭하 수행한 좋은 레프리라 할 수 있겠죠.

<아인쉬타인의 70회 생일기념사진. 제일 왼쪽이 로버트슨, 이미지출처 : photos.aip.org>

 

(추가: 아무리 위대한 학자라도 모든 논문이 다 오류가 앖이 완벽하지는 않습니다. 아인쉬타인의 경우는 참고문헌에 놀라울 정도로 무신경이었다고 합니다. 1905년의 논문들은 현재의 기준으로 보면 참고 문헌의 문제로 최소 한 번은 수정을 요구 받을 거라고 말하는 사람도 많습니다. 나중에 인펠트 (Infeld)가 그와 함께 책을 쓰면서 '산생님의 이름으로 책이 나가기 때문에 혹여 틀린 곳이라도 있을까 아주 많이 신경을 쓴다'고 하니 아인쉬타인은 크게 웃으며 '그럴 필요 없다네. 내 이름으로 나간 논문중 틀린 논문들도 있으니까.'라고 대답했다고 합니다.)

 

 

 

과학을 하는 대학원생에게 하는 충고

대학원에 들어오는 이유는 물론 석,박사 학위를 따기 위한 것입니다. 학위를 따기 위해서는 논문을 써야합니다. 특히 이공계의 경우에는 SCI 급 저널에 논문을 실어야 하는데 우리나라의 경우 석사학위 논문 또는 그 후속 논문이 저널에 실리는 자기 커리어의 첫 번째 논문이 되는 경우가 대부분입니다. 여기 소개하고자 하는 글은 스위스 바젤 대학교의 쉬턴스 교수 (동물학)가 쓴 "대학원 학생들에게 보내는 충고"입니다. 대상은 대학원에 진학하려는 학생들입니다. 원본은 여기 에 있고 이 포스팅에서는 이 글을 간단히 소개합니다.

 

• 항상 최악에 대비하라.
  대학원 과정에서 부딪히는 큰 문제의 대부분은 조금만 더 선견지명이 있으면 피할 수 있다. 좀 더 시니컬해져라. 연구가 잘 안될 수도 있고 학위 심사위원들이 시큰둥할 수도 있다. 플랜 B를 생각하라.
  
• 아무도 너를 위해주지 않는다.
  너를 생각해주는 교수도 있고 그렇지 않은 교수도 있다. 너를 생각해주는 교수라도 항상 바쁘다. 따라서 그들이 실제로 너를 위해 쓸 시간이 없다. 너의 인생은 네것이다. 교수는 연구과제에 도움말을 주고 생활비를 대주지만 연구는 네가 하는 것이다. 도움이 필요하면 찾아가서 말하라. 그게 그들의 의무이고 월급 받는 이유다. 먼저 찾아가라. 그들은 절대로 먼저 와서 도와주지 않는다.
  
• 네가 하는 연구의 중요성을 숙지하라.
  첫1년간 많이 읽고 생각하라. 논문이나 책에 나오는 걸 확신을 갖기 전까지는 모두 다 거짓말이라고 생각하고 읽어라. 이해할 수 없는 부분이 있다고 좌절마라. 네 잘못이 아니고 설명을 바르게 못한 저자 책임이다. 연구를 하고 있지 않으면 여기 왜 있는지라는 생각이 들것이다. 참을성있게 기다려라. 이 단계는 새 아이디아의 흐름을 아는데 중요하다. 자기 분야의 중요한 문제가 무언지 알라. 이는 연구 프로젝트를 받을 때 네가 할 만한 가치가 있는 일인지 판단하는 데 중요하다. 박사학위는 추후 너의 미래를 결정할 수 있다. 네가 그 연구를 왜하고 있는지 모른다면 데이터 수집하는 등의 일이 무슨 의미가 있겠는가.
  
• 마음을 강하게 먹어라.
  대학원에서는 할 일이 많다. 수업도 들어야하고 학부생들을 가르치기도 해야하고 언어도 익혀야하고, 등등. 여기 몇 가지 주의할 점이 있다.
  
  a. 박사학위 논문이 중요하다는 이미 강조했다. 하지만 완벽한 학위 논문을 쓰는 것은 불가능하다. 모든 일이 그렇듯 학위 논문에도 오류가 있을 수 있다. 네가 할 수 있는 범위 내에서, 돈, 시간, 에너지, 아이디어 등등, 최선을 다해 학위 논문을 준비해라. 그러기 위해서는 코스 웤을 빨리 끝내라. 연구하면서 많이 배운다.
  
  b. 주눅들거나 위축되지 마라. 동료 학자로 대접받도록하고 그렇게 행동하라.
  
  c. 대학원은 네 인생을 설계하는 하나의 문일 뿐이다. 다 좋은 기회가 생기면 대학원을 떠날 준비도 해라. 세상에는 학위 말고도 중요하고 가치있는 일이 많다. 대학원을 유일한 옵션으로 가지고 있으면 나중에 일이 안 풀리면 비참함을 느낀다. 재능이 없다고 생각되면 자신을 비하하고 다른 사람의 기회를 빼았는 셈이된다. 과학자가 될 수 없다고 생각되면 과감히 다른 일을 시작해라. 물론 동료와 지도교수와 상의하고.
  

• 강의를 많이 듣지 마라.

  이미 충분히 기초가 되어 있다면 수강 과목을 줄이고 스스로 생각하는 법을 배우고 익혀라. 수동적으로 듣기 보다 능동적으로 사고하라. 시간을 충분히 갖고 다른 사람과 1 대 1 로 접촉하라. 읽고 토의하는게 더 빨리 배우는 방법이다. 동료와 세미나를 정기적으로 하고 교수를 초대해보라. 싫어하는 교수는 아마 없을 것이다. 물론 테크닉을 배우는 강좌는 수강해야한다.
  

• 연구 계획을 세우고 평가를 부탁하라.

  연구 계획을 새우는 것은 많은 장점이 있다. 먼저 읽고 생각한 것을 정리하고 거기서 무언가를 끄집어내게 한다. 그리고 보다 독립적이 된다. 말로 하면 너무 복잡하고 명확하지 않지만 글로 쓰면 생각이 정리된다. 그러면 다른 사람들이 생산적인 비평을 줄 수 있다. 작문 연습은 많이 하면 할수록 좋다. 계획서에는 간단히 연구 목표를 써라. 그리고 그 일이 과학적으로 중요한 이유를 써라. 그리고 연구 과제를 단계별로 작은 과제로 나누어라. 연구 도중 발생할 문제나 어려운 점을 생각한다. 그리고 실제 그런 일이 발생할때 할 수 있는 일들을 적는다. 2-3개 프로젝트를 동시에 하는 것도 나쁘지 않다. 잘못 잡은 연구 방향은 빨리 발견한는 게 좋다. 학위 논문 발표 날짜를 생각하고 거기에 맞추어 연구 계획을 짜라. 준비가 되면 2-3주에 걸쳐 계획서를 작성하고 리뷰를 부탁한다. 혹평을 기대하고 답변을 생각해보라.
  

• 지도 교수를 이용하라.

  지도 교수에게 네가 지금 하고 있는 일을 주지시켜라. 방해는 하지 말고. 최소한 1년에 1-2번 진행사항을 글로 써서 제출해라. 성격차이와 같은 개인적 문제는 피하라. 지도 교수와 잘 지낼 수 없다면 지도 교수를 빨리 바꿔라.
  

• 학위논문의 형태
  가장 기본에서 출발해 검증 되지 않았던 가정을 테스트하라. 또는 새로운 연구 동향의 기본 문제를 생각하라. 중요한 일은 아니지만 많은 데이터를 모으는 것도 괞찮은 일 중 하나다.
  
• 논문 쓰고 출판하기를 빨리 시작해라.
  논문 쓰지 않고는 이 바닥에서 살 수 없다. 아무리 좋은 연구도 출판되지 않으면 완성된 것이 아니다. 글을 깨끗이, 간결하고 잘 정돈되게 쓰도록 연습해라. 경험 많은 이와 함께 공동 논문을 쓰는 것도 도움이 된다. 첫번째 논문이 세상을 놀라게 할 논문이라고 기대하지 마라. 보통의 저널에서 출발해 최고의 저널에 논문을 출판하도록해라. 학위 논문을 위한 연구를 나누어 단계별로 논문으로 출판하라. 과학 논문 쓰는 방법에 대한 책을 3-4년간 일년에 한번쯤은 계속 읽어라. 논문을 완성하면 저널에 보내기 전에 다른 이에게 리뷰를 부탁해라.
  

• 꾸준히 논문을 써라. 하지만 너무 많지 않게.
  쉽게 잊혀지는 논문 수십개 보다 중요한 논문을 몇 편 쓰는 게 더 중요하고 도움이 된다. 대부분의 논문을 인용이 잘 되지 않는다. 약 10%의 논문이 90%의 인용을 차지한다. 양보다 질이 더 중요하다. 일년에 한 두 편의 좋은 논문을 유명 저널에 출판하면 잘 하고 있는 것이다.