How to Read a Paper
by S. Keshav, David R. Cheriton School of Computer Science, University of Waterloo
http://ccr.sigcomm.org/online/files/p83-keshavA.pdf
초록
연구자는 논문을 읽는 데에 많은 시간을 들인다. 하지만, 논문을 읽는 기술에 대해 배울 기회가 없어 너무 많은 노력을 낭비하는 데에 이르게 된다. 필자는 이 글을 통해 논문을 읽기 위해 실용적이고 효율적인 세 가지 경로 접근법에 대한 개요를 다루고, 문헌조사(literature survey)를 할 때 이 방법을 어떻게 사용하면 될지에 대해 설명하고자 한다. (중략)
1. 서문
연구자는 컨퍼런스나 수업을 위한 논문 리뷰, 현재 연구동향 파악, 새로운 분야에 대한 문헌조사를 위해 논문을 읽어야만 한다. 전형적인 연구자는 논문을 읽는 데에만 매년 수백 시간을 사용할 것이다.
효율적으로 논문을 읽는 법에 대해 배우는 것은 매우 중요하나, 이는 거의 가르쳐지지 않는 기술이다. 그러므로, 대학원생 생활을 시작함에 따라 겪는 시행착오를 통해 자신만의 기술을 배워야만 한다. 학생은 이 과정에서 많은 노력을 낭비하고, 종종 좌절에 빠지게 된다.
필자는 수년간 논문을 효율적으로 읽기 위해 단순한 접근법을 사용해왔다. 이 논문은 세 가지 경로 접근법과 문헌조사 시의 쓰임새에 대해 다루고 있다.
2. 세 가지 경로 접근법
이 방식의 핵심은, 논문의 처음부터 끝까지 샅샅이 읽는 것을 대신해 최대 세 가지 경로를 사용해 논문을 읽어야 한다는 것이다. 각각의 경로는 특정 목표를 달성하며, 이전의 경로를 토대로 만들어진다. 첫 번째 경로는 논문에 관한 종합적 아이디어를 제공한다. 두 번째 경로는 논문의 내용을 이해할 수 있게끔 하나, 세부사항까지는 다루지 않는다. 세 번째 경로는 논문을 보다 깊이 있게 이해하는 데에 도움을 준다.
2.1. 첫 번째 경로
첫 번째 경로는 논문에 대한 조감도(bird's-eye-view)를 얻기 위해 빠르게 스캔하는 것을 말한다. 또한, 당신은 이를 통해 더 많은 경로를 사용할 필요가 있는지 결정할 수 있다. 첫 번째 경로는 약 5분에서 10분 정도의 시간을 필요로 하며, 다음과 같은 단계로 구성된다.
- 제목, 초록, 서문을 주의 깊게 읽기
- 각 섹션과 서브섹션(sub-section)의 제목만 읽기; 나머지는 모두 무시하기
- 결론 읽기
- 참고문헌(references)을 훑어보며 그 중 이미 읽은 것에 대해 마음속으로 체크 표시하기
첫 번째 경로가 끝나면, 다음의 다섯 가지 C에 대답할 수 있어야 한다.
- 영역(category): 어떤 유형의 논문인가? 측정 논문? 기존 시스템의 분석? 연구 프로토타입에 대한 설명?
- 맥락(context): 관련되어 있는 다른 논문에는 어떤 것이 있는가? 문제를 분석하기 위해 어떤 이론적 기반이 사용되었는가?
- 정확성(correctness): 가정(assumptions)이 유효해 보이는가?
- 기여(contributions): 논문의 주된 기여는 무엇인가?
- 명료성(clarity): 논문이 잘 쓰여졌는가?
당신은 위와 같은 정보를 활용해 더 읽지 않기로 결정할 수 있다. 이는 이 논문에 별 관심이 가지 않거나, 당신이 해당 분야에 대해 충분히 알지 못하거나, 논문의 저자가 잘못된 가정을 하고 있기 때문일 수 있다. 첫 번째 경로는 현재 연구영역 안에 있지는 않지만 언젠가 관련성이 입증될 수도 있는 논문을 다루기에 적절하다.
덧붙이면, 당신은 논문을 쓸 때 대부분의 리뷰어(와 독자)가 논문을 한 번만 읽을 것으로 예상할 수 있다. 그렇기에 일관성 있는 섹션과 서브섹션 제목을 선택하고, 간결하며 포괄적인 초록을 작성하는 데에 주의를 기울여야 한다. 리뷰어가 논문을 한 번 읽어본 후에도 그 요지를 이해하지 못할 경우, 논문은 거부(reject)될 가능성이 높다. 또한, 독자가 읽기 시작한 지 5분이 지나도록 논문의 핵심 메시지를 이해하지 못한다면, 논문은 절대로 읽히지 않을 것이다.
2.2. 두 번째 경로
두 번째 경로에서는, 논문을 좀 더 주의 깊게 읽되 증명(proofs)과 같은 세부사항은 무시한다. 읽는 도중 요점을 적거나 여백에 주석을 달아두는 것이 도움 된다.
- 논문 속 수치, 다이어그램, 다른 일러스트레이션을 주의 깊게 봐라. 특히 그래프에 각별한 주의를 기울여야 한다. 각각의 축은 적절하게 이름 지어졌는가? 결과가 오차 막대와 함께 제시되었으며, 결론이 통계적으로 유의한가? 이와 같은 흔한 실수는 서두르고 조잡한 작업을 진정으로 우수한 작업으로부터 분리시킨다.
- 후속 읽기(further reading)를 위해 관련 있지만 아직 읽지 못한 참고문헌에 표시해두는 것을 잊지 말아라. (이 논문의 근거에 대해 더 많이 배울 수 있는 좋은 방법이다)
두 번째 경로는 최대 1시간이 소요된다. 다 마치고 나면, 당신은 논문의 내용을 파악할 수 있어야 하며, 또한 다른 사람에게 논문의 주요 취지를 뒷받침하는 증거와 함께 요약할 수 있어야 한다. 이 정도의 구체성은 관심은 있지만 당신의 연구 전문성 범위 안에 속하지 않는 논문에 적절하다.
때때로 당신은 두 번째 경로의 끝에서도 논문을 이해하기 어려울 수 있다. 익숙지 않은 용어와 약어(acronyms)로 인해 주제가 생소하게 느껴지거나, 저자가 당신이 이해하지 못하는 증명이나 실험적 기법을 사용해 논문의 대부분을 이해하기 어려울 것이다. 혹은, 논문이 근거 없는 단언(assertions)과 수많은 선행 참조(forward references)로 점철되어 있을 수도 있다. 아니면, 지금이 너무 늦은 밤이라 그저 지친 탓일 수도 있다. 이때, 당신은 (a) 논문을 옆으로 치워두고, 당신의 커리어에서 성공하기 위해 이 자료를 이해할 필요가 없길 바라거나, (b) 배경 자료를 좀 더 읽은 후 다시 논문으로 돌아가거나, (c) 인내심을 갖고 세 번째 경로로 나아갈 수 있다.
2.3. 세 번째 경로
세 번째 경로는 논문을 완전히 이해하기 위해 (특히 당신이 리뷰어라면 더더욱) 필요하다. 세 번째 경로의 핵심은 논문을 가상적으로 다시 구현(virtually re-implement)하려 시도하는 것이다. 이는 저자와 동일한 가정을 가지고 문헌을 다시 만들어내는 것을 말한다. 이 재현과 실제 논문을 비교함으로써 논문의 혁신뿐만 아니라 숨겨진 실패와 가정을 쉽게 판별해낼 수 있다.
세 번째 경로는 세부사항에 대한 높은 주의를 요구한다. 당신은 모든 문장 속 모든 가정을 판별하고, 이에 대해 도전할 수 있어야 한다. 더 나아가, 당신이라면 특정 아이디어를 어떻게 제시할 것인지를 고려해야 한다. 실제와 가상 사이의 비교는 논문의 증명과 제시 기법에 대한 날카로운 통찰력을 제공하며, 당신은 이를 당신의 도구 레퍼토리에 추가하는 경지에 다다를 가능성이 매우 높다. 이 과정에서 후속 작업에 대한 아이디어 또한 빠르게 적어두어야 한다.
세 번째 경로는 초보자에게는 약 4-5시간, 숙련된 독자라면 약 1시간 정도가 소요될 수 있다. 이 과정이 끝나면, 당신은 강점과 약점을 판별할 수 있을 뿐 아니라 기억으로부터 논문의 전체 구조를 재구축할 수 있어야 한다. 특히, 암묵적인 가정, 관련 문헌에 대한 인용의 누락, 실험 또는 분석 기법이 가지는 잠재적 이슈를 정확히 짚어낼 수 있어야 한다.
3. 문헌조사
논문 읽기 기술은 문헌조사를 통해 검증될 수 있다. 문헌조사를 하기 위해서는 아마도 익숙하지 않은 분야의 논문 수십 편을 읽어야 할 것이다. 어떤 논문을 읽어야 할지 결정하기 위해, 다음과 같이 세 가지 경로 접근법을 적용해볼 수 있겠다.
먼저, 해당 영역에서 게재된 최근의 논문 3-5편 정도를 찾기 위해 구글 스콜라(Google Scholar)나 사이트시어(CiteSeer)와 같은 학술적 검색엔진과 잘 고른 키워드를 사용하라. 문헌에 대한 감을 얻기 위해 각각의 논문에 대해 첫 번째 경로를 적용한 후 관련 문헌 섹션을 읽어라. 당신은 최근 문헌에 대한 섬네일 요약(thumbnail sumary)을 발견할 수 있을 것이며, 운이 좋으면 최근의 개관논문(survey paper)에 대한 포인터를 발견할 수도 있다. 개관논문을 찾았다면 첫 단계가 끝난 것이다. 개관논문을 읽고, 당신의 행운에 대해 스스로 축하하라.
개관논문을 찾지 못했다면, 두 번째 경로에 돌입해 겹치는 인용을 찾고 참고문헌에서 반복적으로 등장하는 저자 이름을 찾는다. 이는 그 분야에서 핵심적인 논문과 연구자에 해당한다. 핵심 논문을 다운받아 한쪽에 따로 놓아두어라. 그 다음 핵심 저자의 웹사이트에 방문해 그가 최근에 논문을 발표한 곳이 어디인지 확인하라. 이는 보통 최고의 연구자가 탑 컨퍼런스에 발표하는 경향이 있다는 점으로 볼 때, 그 분야의 탑 컨퍼런스를 판별해내는 데에 도움이 된다.
세 번째 단계는 탑 컨퍼런스의 웹사이트에 방문해 최근의 프로시딩(proceedings)을 살펴보는 것이다. 빠르게 살펴보는 것만으로도 최근의 품질 높은 관련 문헌을 판별할 수 있다. 이 논문은 한쪽에 따로 놓아둔 논문과 나란히 놓임으로써 개관의 첫 번째 버전으로 구성된다. 개관의 첫 번째 버전에 대해 두 번째 경로까지 적용하라. 만약 이 논문이 당신이 이전에 찾지 못한 핵심 논문을 모두 인용하고 있다면, 그것을 구해 읽어라. 이 모든 과정을 필요에 따라 반복하라.
4. 필자의 경험
필자는 지난 15년 동안 세 가지 경로 접근법을 사용해 컨퍼런스 프로시딩을 읽고, 리뷰를 쓰고, 문헌조사를 실시하고, 논의하기 전 빠르게 논문을 검토해왔다. 구조화된 접근법은 조감도를 얻기 전에 세부사항 속으로 빠져드는 것을 막아주며, 일련의 논문을 검토하는 데에 필요한 시간을 추정할 수 있게 해준다. 또한, 필자의 필요와 시간을 얼마나 낼 수 있는지에 따라 논문 평가의 깊이를 조절할 수 있다. (중략)