💛 ＞ how-to-read-a-paper ― history · raw
author(s) title date link
S. Keshav How to Read a Paper February 17, 2016 svr-sk818-web.cl.cam.ac.uk

논문 읽는 방법

초록

연구자들은 연구 논문을 읽는 데 굉장히 많은 시간을 할애한다. 그러나 논문 읽기 능력을 가르치는 경우는 드물어서 많은 노력을 허비하게 만든다. 이 글은 연구 논문을 읽기 위한 실용적이고 효율적인 3단계 방법(three-pass method)을 개략적으로 소개한다. 또한 이 방법을 문헌 조사에 사용하는 방법에 대해서도 설명한다.

서론

연구자들은 여러 이유로 논문을 읽어야 한다. 학회나 수업에서 리뷰를 위해, 자신의 분야에서 최신 동향을 파악하기 위해, 아니면 새로운 분야의 문헌 조사를 위해 논문을 읽는다. 일반적인 연구자들은 논문을 읽는 데 수백 시간을 쏟을 것이다.

효율적으로 논문 읽는 방법을 배우는 것은 중요하지만, 거의 가르쳐지지 않는 능력이다. 따라서 대학원생들은 시행착오를 통해 스스로 배워야 한다. 학생들은 이 과정에 많은 노력을 허비하며, 종종 좌절에 빠지곤 한다.

지난 수년 간 ‘3단계’ 접근법을 사용하여 논문에 대한 전체적인 조감도를 얻기 전에 세부적인 내용에 빠져 허우적대는 것을 막을 수 있었다. 또한 여러 논문을 리뷰하는 데 얼마나 많은 시간이 필요한지 예측하는 것도 가능했다. 더 나아가, 필요에 따라 논문 평가에 대한 깊이와 시간을 직접 조절할 수도 있었다. 이 논문은 그 접근법과 이 접근법을 문헌 조사에 사용하는 방법에 대해 설명한다.

3단계 접근법

핵심 개념은 논문을 한번에 처음부터 끝까지 읽는 것이 아니라, 세 단계로 읽어야 한다는 것이다. 각 단계는 특정 목표를 가지며, 이전 단계를 기반으로 구축된다. 첫 번째 단계에서는 논문에 대한 일반적인 개념을 알게 된다. 두 번째 단계에서는 논문의 대략적인 내용을 파악하게 된다. 세 번째 단계에서는 논문을 깊이있게 이해하게 된다.

첫 번째 단계

첫 번째 단계는 논문을 빠르게 훑어본다. 여기서 다음 단계로 넘어갈지 결정할 수도 있다. 이 단계에서는 5분에서 10분 정도만을 할애해야 하며, 다음과 같은 단계를 따른다.

  1. 제목, 초록, 서론을 주의깊게 읽는다.
  2. 각 대문단과 소문단의 머릿말을 읽는다. 다른 내용은 무시한다.
  3. 수학적 내용이 있다면, 내용을 훑으며 이론적 기반을 살펴본다.
  4. 결론을 읽는다.
  5. 참고문헌을 훑어보고, 이미 읽은 문헌이 있는지 체크한다.

첫 번째 단계를 마쳤다면 아래 질문들(five Cs)에 대답할 수 있어야 한다.

  1. 종류(Category): 어떤 유형의 논문인가? 측정인가? 기존 체계에 대한 분석인가? 연구 프로토타입에 대한 설명인가?
  2. 맥락(Context): 관련된 다른 논문은 무엇인가? 문제를 분석하는 데 사용한 이론적 바탕은 무엇인가?
  3. 정확성(Correctness): 가설이 유효한가?
  4. 기여(Contributions): 논문이 주요하게 기여한 것은 무엇인가?
  5. 명료성(Clarity): 논문이 잘 쓰였는가?

이 정보를 이용하면 논문을 더 읽을지 말지 고를 수 있을 것이다. (출력하지 않음으로써 나무를 지킬 수 있다.) 논문이 흥미롭지 않거나, 논문을 이해하기에 그 영역에 대해 충분히 알지 못하거나, 아니면 저자가 유효하지 않은 가설을 세웠다면 논문을 그만 읽을 수도 있다. 첫 번째 단계는 연구 분야에 있지 않은 논문에는 적합하지만, 언젠가 관련성이 입증될 수도 있다.

추가로, 논문을 작성할 때 리뷰어(그리고 독자)가 첫 번째 단계만 마치고 논문을 더 읽지 않을 수 있다는 것을 예상할 수 있다. 일관된 대문단과 소문단 제목을 고르고, 간결하며 포괄적인 초록을 작성해야 한다. 만약 리뷰어가 첫 번째 단계에서 논문의 요지를 이해하지 못한다면 논문은 거절될 것이다. 만약 독자가 5분 안에 논문의 핵심을 이해하지 못한다면 논문을 절대 읽지 않을 것이다. 이러한 이유로 논문을 요약할 수 있는 하나의 도표를 ‘시각적 초록’(graphical abstract)로 선택하는 것은 훌륭한 발상이다.

두 번째 단계

두 번째 단계에서는 주의 깊게 논문을 읽는다. 단, 증명과 같은 상세한 내용은 무시한다. 논문을 읽으면서 키 포인트를 메모하거나, 여백에 코멘트를 적어두면 도움이 된다. 아우크스부르크 대학교의 도미닉 그루스먼(Dominik Grusemann)은 이해하지 못한 용어나 저자에게 물어보고 싶은 질문을 메모해둘 것을 제안한다. 만약 논문 심사 역할을 맡고 있다면, 리뷰를 작성할 때, 그리고 프로그램 위원회 회의를 하는 동안 리뷰를 뒷받침하는 데 도움이 될 것이다.

  1. 논문에 있는 도표나 다이어그램, 삽화를 유심히 본다. 특히 그래프는 자세히 확인한다. 축이 적절하게 설정되었는가? 결과가 오차 막대로 나와있어 결론이 통계적으로 유의한가? 이런 흔한 실수들은 정말 훌륭한 논문과 급하고 엉터리인 논문을 구분해줄 것이다.
  2. 나중에 읽기 위해 관련된 참고문헌 중 읽지 않은 것들을 표시해둔다. (논문의 배경에 대해 배울 수 있는 좋은 방법이다.)

두 번째 단계에서는 1시간 정도를 할애한다. 이 단계를 마치면 논문의 내용을 파악할 수 있어야 하며, 다른 사람에게 논문의 요지를 근거와 함께 요약해 설명할 수 있어야 한다. 이 정도 수준의 디테일은 관심있는 논문에는 적절하지만, 전문 연구 분야에 대해서는 그렇지 않다.

두 번째 단계를 마치고도 논문을 이해하지 못할 수 있다. 낮선 약어와 용어와 함께 논문 주제가 새롭게 느껴지기 때문이다. 저자가 사용한 증명이나 실험 방법을 이해하지 못해서 논문을 통째로 이해하지 못할 수도 있다. 또는 논문이 근거없는 주장과 수많은 선행 참조로 부실하게 작성되었을 수 있다. 아니면 그저 밤이 늦어 논문을 읽기엔 너무 피곤한 것일 수도 있다. 이제 몇 가지 선택지가 있다: (a) 논문을 한쪽으로 치워두고 커리어의 성공에 이 논문을 이해하는 것이 별 상관없길 바라거나, (b) 연구 배경에 대한 다른 자료를 읽은 뒤 나중에 이 논문을 다시 읽는다. © 아니면 인내심을 갖고 세 번째 단계로 넘어간다.

세 번째 단계

논문을 완전히 이해하려면, 특히 리뷰어라면 세 번째 단계가 필수적이다. 세 번째 단계의 핵심은 저자와 같은 가설을 세우고 같은 작업을 수행함으로써 논문을 재현해보는 것이다. 실제 논문과 재현을 비교하면 논문의 혁신 뿐만 아니라 숨겨진 실패와 가설도 쉽게 알아낼 수 있다.

이 단계에서는 상세한 내용에 굉장히 집중해야 한다. 모든 구문의 모든 가정을 식별하고, 확인해야 한다. 더 나아가, 특정 아이디어를 스스로 어떻게 제시할지 생각해야 한다. 실제와 재현을 비교하면서 논문에 담긴 증명과 기법에 대한 날카로운 통찰력을 얻을 수 있으며, 이를 자신의 도구로 만들 수도 있다. 그리고 이 과정에서는 향후 연구에 대한 아이디어도 적어둬야 한다.

세 번째 단계에서 초심자는 4시간이나 5시간 정도를 소요할 수 있다. 숙련된 독자라면 1시간 정도를 소요할 것이다. 이 단계를 마치면 논문의 전체 구조를 떠올리고 재구성할 수 있게 되며, 강점과 약점을 알 수 있게 될 것이다. 특히, 암시적인 가정과 관련 연구에 대한 누락된 인용, 실험이나 통계 기법의 잠재적인 문제를 발견할 수 있어야 할 것이다.

문헌 조사하기

논문을 읽는 능력은 문헌 조사를 통해 테스트할 수 있다. 이 과정에서 수십편의 논문을 읽어야 할 것이고, 익숙하지 않은 분야의 논문을 읽어야 할 수도 있다. 어떤 논문을 읽어야 하는가? 어떻게 3단계 접근법의 도움을 받을 수 있는지 알아보겠다.

먼저, Google Scholar 또는 CiteSeer와 같은 학술 검색 엔진에서 키워드를 잘 골라 연구 분야에서 최근 많이 인용된 논문 3~5개 정도를 찾는다. 각 논문에 대해 첫 번째 단계를 수행하며 연구에 대한 감을 잡고, 관련 연구 문단을 읽는다. 여기서 최신 연구에 대한 요약을 찾을 수 있을 것이며, 운이 좋다면 최근 연구에 대해 조사한 서베이 논문을 찾을 수 있을 것이다. 서베이 논문을 찾았다면 끝난 것이다. 서베이를 읽고 스스로의 행운을 자축하면 된다.

아니라면 다음으로 넘어가서, 여러 곳에서 공통적으로 인용되는 논문과 반복되는 저자명을 찾는다. 해당 분야의 핵심 논문이거나 연구자일 것이다. 핵심 논문을 다운로드해 따로 보관해두고, 핵심 연구원들의 웹사이트에 가서 최근 출간 목록을 확인한다. 최고의 연구자들은 보통 가장 저명한 학회에 논문을 제출하기 때문에 해당 분야의 가장 저명한 학회가 어디인지 알 수 있을 것이다.

마지막으로 가장 저명한 학회의 웹사이트에서 최근 프로시딩(proceedings)을 살펴본다. 빠르게 훑어보며 높은 품질의 관련 최근 연구를 찾을 수 있을 것이다. 이렇게 찾은 논문들과 앞서 보관해둔 논문들은 자신만의 문헌 조사를 구성하는 첫 버전이 된다. 각 논문들에 대해 두 번째 단계를 수행하면서 논문이 이전에 찾지 못했던 핵심 논문을 인용했다면 필요에 따라 반복해서 읽고, 또 읽으면 된다.

관련 연구

만약 리뷰를 하기 위해 논문을 읽고 있다면, 티모시 로스코(Timothy Roscoe)의 “Writing reviews for systems conferences”[3]를 읽을 필요가 있다. 테크니컬한 논문을 작성할 계획이라면 헤닝 슐츠린(Henning Schulzrinne)의 웹사이트[4]와 조지 화이트사이드(George Whiteside)의 논문 작성 과정에 대한 개요[5]를 참고하는 것이 좋다. 마지막으로, 사이먼 페이턴 존스(Simon Peyton Jones)의 웹사이트는 연구 실력의 전체적인 스펙트럼을 다루고 있다[2].

Psychology, Inc.의 이언 맥린(Iain H. McLean)은 실험 심리학 논문의 경우 3단계 접근법을 사용해 논문 리뷰를 단순화하는 다운로드 가능한 '리뷰 매트릭스’를 만들었다.[1] 이 접근 방식은 작은 수정만으로 다른 분야의 논문에도 적용할 수 있을 것이다.

감사의 글

이 문서의 첫 번째 버전은 학생들이 작성했습니다: 호세인 팔라키(Hossein Falaki), 얼 올리버(Earl Oliver), 수메어 우르 라만(Sumair Ur Rahman) 이들에게 감사합니다. 또한 크리스토프 디오트(Christophe Diot)의 통찰력있는 논평과 니콜 케샤브(Nicole Keshav)의 독수리 눈과 같은 편집의 도움을 받았습니다.

이 문서가 지속적으로 업데이트 되면 좋겠습니다. 개선을 위한 제안이나 의견이 있다면 잠시 시간을 내어 이메일을 보내주시길 부탁드립니다. 지난 몇 간 보내주신 격려의 피드백에 감사드립니다.

참고문헌