論文の査読
 学術雑誌に掲載された複雑な科学論文を完全に読み解くのは至難の業だ。論文には、微妙なニュアンスが含まれており、そう単純なものではない。

 そこで学術論文を読む際、科学者が常に留意していることがある。それはその論文が「査読」されたものであるかだ。

 正確性、透明性、再現性を確保するために体系化され、一定のルールに従って行われるのが、第三者である専門機関や専門家による論文の「査読」である。

 論文は科学者だけのものではない。一般の人々も利用する。なので我々も、その論文が査読付かどうかをまず確認するべきだという。

 ここでは、ソーシャルメディアなどで乱立する、切り取られた論文に騙されないために、抑えるべき論文の見方について説明しよう

学術論文の信頼性を測る「査読」付きの論文

 新型コロナの世界的に流行により、そこかしこで素性の怪しい研究が発表されるようになり、科学的研究の正当性が問われている。

 はたしてそうした研究は本当に信頼できるものなのか? 検証(再現)可能な方法で行われているのか?

 それらを判断する際、科学者らは、まず真っ先に、その論文がそれぞれの科学分野の専門家や機関によって「査読」されているかどうかに目を向ける。

 査読付き学術論文とは、学術誌の編集者や専門家などによって審査された論文のことだ。その際、投稿された論文の正確さや、科学的に正しい方法で行われたかどうかが厳しくチェックされる。

 アメリカ国立医学図書館(NIH)は、査読についてこう説明する。
査読付き学術論文とは、その論文・研究の質や科学的な意義について、学術誌の編集者や専門分野の学者による批判的な評価プロセスを経た論文である。

これに合格した学術論文は、「査読付き文献」として掲載される
 研究には実験・調査・既存文献の分析など種類があるが、査読ではその質がチェックされ、これで問題なしとされなければ、学術的なデータベースを通じて公開されない。

 一般公開されている学術誌であっても、素人には複雑だ。だが、少なくとも査読されていれば、きちんとした研究であると信頼することはできる。

 もちろん査読付きだからといって、必ずしもその研究が有意義なものであるとも限らないのだが、少なくとも査読のないものよりはまともである、ということだ。

vedrana-filipovic-jxqTaXF5WmY-unsplash
Photo by Vedrana Filipović on Unsplash

健全な科学とは何か?

 「健全な科学(Sound Science)」とは、特定の仮説を検証するための体系的なデータ収集のことだ。

 これについてNIHは、「これまでに発見された事実を用いて、既存の文献には記されていない知識を得るための中立的・体系的・計画的・複数段階のプロセス」と説明する。

 「データの収集技法は観察的・実験的、因果関係については記述的・分析的、時間については将来的・回顧的・横断的なものに分類できる。」

 また健全な科学であるためには、倫理基準を守り、一定レベルの透明性がなくてはならない。さらにほとんどの場合、科学的手法に則って、検証可能な仮説に答えようとしている。

 いかなる場合であっても科学的な批判にオープンであり、他人が同じことを再現できるよう説明されている必要もある。
teachers-5499190_640
photo by Pixabay

学術論文の構成

 まともな研究であるかどうかは、その構成からもうかがい知ることができる。たとえば、それが査読付き論文であるなら、次のような要素がきちんと記載されているはずだ。

 一般的なルールとしては透明性が重要。研究はニュアンスと文脈ありきのものだ。研究論文を読むのは、ニュース記事の見出しから先を読むことに似ている。
要約:論文全体についての簡潔なまとめ

序論と背景:研究テーマの背景についての説明で、仮説に関連する先行研究などが紹介されている

資料と方法:その研究・分析・実験がどのように設計・実施されたのかについての説明

結果:研究で明らかになったこと

考察:関連分野における研究の意義や、今後の研究対象を示す

限界:研究結果を左右しそうな要因についての説明。今後の課題とすべき問題点や不足などであることが多い

資金:研究に関わった提携相手や組織など

利益相反:研究の実施や一般の認知を損なう恐れがある金銭的・個人的事柄についての説明
no title
Photo by Brian McGowan on Unsplash

査読前論文(プレプリント)とは?

 コロナ禍を見ればわかるように、ときに状況が切迫しており、速やかな情報提供が望ましいこともある。

 こうした場合、時間のかかる査読を飛ばして、参考として学術論文が公開されることがある。それが査読前論文だ。

 完成版ではなく、専門家による厳しいチェックも受けていない。したがってこれを読むときには、矛盾や限界、研究のミスといった点がきちんと検証されていないことを念頭におくべきだ。

 査読前論文は、ネットが使えれば誰でも公開できるという点でブログにも似ている。

とは言え全ての論文が公開されるわけではなく、一定の基準に満たないものは、レジェクトされる場合もある。

 一方、査読付き論文は入念にチェックされ、専門的な研究もなされている教科書のようなものだ。

 未査読前論文やデータを閲覧できるサイトとして有名なのは、『Zenodo』と『arXiv』などだ。

 どちらも査読を受けることなく、研究を直接提出することができる。

 

ケーススタディとは?

 ケーススタディは、ある特定の出来事を記したものだ。それとは別の出来事との因果関係や相関関係には触れないという点で、厳格に行われた科学的研究とは異なる。

 たとえば医学誌『BMJ Case Reports』には、そうしたケーススタディが掲載されている。査読前論文と同じく、今後の課題を知らせたいときや、警鐘を鳴らしたいときには有効な方法だ。
iStock-1178585051
photo by iStock

注意すべき研究論文

 一方で注意すべき研究論文もある。たとえば、公表前の審査プロセスで、誤字や文法ミスが見つかった場合、学術誌によっては規則違反とされることがある。

 だが欧米以外の出版社やウェブサイトでは必ずしもそうではない。デザインが拙かったり、透明性に欠ける、学術誌や組織の連絡先がないといったものにも注意が必要になる。

 また投稿者に手数料を要求しているようなケースも要注意だ。搾取的なウェブサイトでは、研究を提出するために料金を要求することもある。
1
photo by Pixabay

査読付きかどうか見分けるヒント

 ピッツバーグ大学図書館システムでは、違法な出版社や搾取的な出版社を見分けるガイドラインを定めている。それは次のようなものだ。

1. 学術誌データベースで論文が掲載された学術誌をチェック

 まずは、下記の「学術誌データベース」で、問題の論文が掲載された学術誌を検索してみよう。きちんとヒットするなら、安心していい。
学術誌データベース
Directory of Open Access Journals
Committee on Publication Ethics (COPE)
SHERPA/RoMEO
Open Access Scholarly Publishers Association
International Association of Scientific, Technical, and Medical Publishers (STM)
Journals Online through (INASP)
African Journals Online (AJOL)
BioMed Central
PubMed Central
Think, Check, Submit
科学や査読付き学術論文をテーマにしたサイト
EurekAlert
phys
ScienceDaily
ScienceDirect
2. データベースになかった場合の対処法

 もし学術誌データベースにヒットしないようなら、それらの論文に要注意信号がないかをチェックする。
・投稿から掲載までのスケジュールは?
査読は時間がかかるので、スケジュールが短すぎる場合は、搾取的な出版社である可能性がある。

・ウェブサイトをチェックする。
アーカイブや掲載論文の質はどうだろうか? 資料やフォーマットは標準化されているだろうか?

・利用料を確認する。
出版料は一般的だが提出料はそうではない。なお、正統派のサイトであっても、閲覧するために購読料を支払う必要があることはある。

・編集者をチェックする。
搾取的な出版社は、本人に許可なく研究者を編集者として紹介していることがある。サイトで紹介されている編集者は実在の人物だろうか?

実在の人物なら、本人のサイトでその出版社が紹介されているか確認する必要がある。
 確かにコロナ禍になってから、ネット上では様々な論文が出回っている。中には切り取られ、出典元すらわからないものもある。  ということで我々は、怪しい情報に惑わされないよう、まずは出典元を調べ、査読付きかどうかをチェックしよう。ないものよりは信頼性が上がるはずだ。

 ただし査読がついていても、必ずしも安心とも言い切れないのが論文の難しさなのだが、ないよりあるにこしたことはない。

 また、研究結果は新しい知見でどんどん変わっていくものだ。新たな研究で過去の研究結果が覆ることもある。その論文の掲載日時にも留意しよう。

References:Snopes Tips: Why Care if Research Is ‘Peer-Reviewed’? | Snopes.com / written by hiroching / edited by / parumo
あわせて読みたい
ニュースの数字に騙されないために。3つの統計原則を知りデータを見抜く方法

脳スキャンを使って認知や精神疾患を調べる研究は、被験者が少なすぎて信頼できる結果が得られていない

統計学者の4人に1人が、科学者が望む研究結果になるようにデータの操作、改ざんを求められたことがあると回答(アメリカ調査)

真偽検証が間違っていることも。フェイクニュースへの警告は真実を報じるニュースの信頼性を貶めている(米研究)

Advertisements

コメント

1

1. 匿名処理班

  • 2022年04月03日 20:08
  • ID:Sb4CYRFW0 #

「査読」が重要なことは理解できた

カラパイアもこれからは記事原文が「査読」されたものかどうかを記載してくれるだろう

2

2. 匿名処理班

  • 2022年04月03日 21:12
  • ID:j7wxV1tp0 #

>1
そうやって信頼性を人任せにすることが間違いの始まりなのでは…?カラパイアはもともと科学的な記事については引用元を載せてきたし…。「嘘は嘘であると見抜ける人でないと…」って有名な人が言っていたけど、その通りだとも思う。所詮ネット上の情報なんて話半分にして楽しむ、くらいが丁度いいと思う。

3

3. 匿名処理班

  • 2022年04月03日 21:22
  • ID:m1nyN.Vb0 #

陰謀論的な内容で騒ぐ相手にソースを尋ねると、決まって怪しげ個人サイトの出典不明な論文の切り抜き記事だったり「いかがでしたか?」みたいなまとめサイトだったり

4

4. 匿名処理班

  • 2022年04月03日 21:26
  • ID:m1qmQBvL0 #

リテラシーの授業助かる

5

5.

  • 2022年04月03日 22:02
  • ID:KFcoDu170 #
6

6.

  • 2022年04月03日 22:12
  • ID:2wf2kaLe0 #
7

7. 匿名処理班

  • 2022年04月03日 23:10
  • ID:9qvkRiGC0 #

医療分野の未査読前論文サイトだとmedRxivというのもあるな。

8

8. 匿名処理班

  • 2022年04月04日 01:12
  • ID:uA4psXQ40 #

学者が現在の論文事情についてまとめた書籍を読んだことあるけど、今は出版社が色々裾野を広げすぎたせいで、webマガジンの論文雑誌はトンデモ理論やガバガバ理論も平気で掲載したりするし、
そういう雑誌を狙って書き上げた論文の数で箔をつけたい学者がペラッペラの論文を送ったりしてるって説明されてたの思い出したわ。

9

9. 匿名処理班

  • 2022年04月04日 07:56
  • ID:NuuDbAS.0 #

査読論文ですら再現できないのがザラな業界に居るから、誰それが論文でこう主張してましたと言われただけでは、お前が言うならそうなんだろうよお前の中ではな、としか思えないんだよな

10

10. 匿名処理班

  • 2022年04月04日 10:19
  • ID:zyI6Ffl70 #

査読されているから安心ってわけでもないと思います。専門的な分野になりすぎたり、インパクトファクターのないジャーナルに投稿された論文だと査読されていても実験系がそもそも良くなかったり、ただ著者が言いたいことが羅列されているような論文もあります。
一般の人がそこまで見抜くのは難しいけれど、論文だから、査読されているからと言って全ての情報が正しいと思うのも間違いだと思います。
科学というものは間違ったことも、正しいこともたくさんの情報から成り立っています。
巨人の肩の上に立つ我々は、一般人でも研究者でもこれだけの情報があるネットにあるのですから、正しい情報の取り入れ方を知っていくのは重要ですね。

11

11. 匿名処理班

  • 2022年04月04日 12:27
  • ID:hnQ.HjxB0 #

査読済みの論文でも、上記で言われている通り、ハゲタカジャーナルなどに掲載されているものもある。自分も素人なんで論文の良し悪しは評価できないけど、とりあえず査読されているとしても、インパクトファクターの高い雑誌(NEJMとかランセットとか)にアクセプトされたものだけ、注目するようにしています。

12

12. 匿名処理班

  • 2022年04月04日 14:08
  • ID:Yk6JxxMK0 #

査読の有無よりも掲載雑誌のInpact Factorを気にした方が良い

13

13. 匿名処理班

  • 2022年04月04日 14:24
  • ID:8QJZLVrk0 #

この記事には全く同意出来ない。査読付きかどうかなど何一つ関係ない。こんな事を素人に吹聴する科学者こそが3流以下。
科学論文であっても「どういう調査方法で行ったか」など最低限を把握していない限り
我々は絶対に鵜呑みにしてはいけない。因みに学問的に本当に優れた論文はほんの一握りしかなく、一流雑誌に載ってるモノも殆どゴミと思っていい、そして実験データの真偽(捏造の有無)までを査読がチェックしてる訳でもない。実際に自分に適用する際には結局は自分自身で確かめながらやるしかない。逆に査読と無関係な論文でも「なるほど」と思える切り口を含んでいればその時点でその論文は我々に価値ある示唆を与えているので、やはりプロ・アマ関係なく自分で判断する作業も大事。
学問的に本当に優れた論文であるかどうかの唯一無二の判断方法は「良い雑誌に掲載載されたか否か」では一切なく「その学問分野に大きな新しい問題意識を与えたか否か」

14

14. 匿名処理班

  • 2022年04月04日 14:28
  • ID:sWW2Nmdt0 #

論文て査読があろうがなかろうが、批判的に読むのが正しいのであって、たまに健康食品とかで見かける「論文で発表されました」ってのは、だからどうしたっていう話なんよね。それが正しいかどうかは別問題。正しく間違ってることもある。
「それ本当なの?」というツッコミのために「こういう風にやりました」と書きましょうというルールがあるわけで。

15

15. 匿名処理班

  • 2022年04月04日 15:01
  • ID:s9iD6o9C0 #

ネットで無料で読めるとか1つの結果しか読まないとか楽して正しい情報得ようとするのがそもそもの間違いじゃないの

信頼性ある情報を得たいなら図書館に足を運んだり、いろんな情報読み比べたり、ちゃんとした学術サイトに登録して会員費払うとかちゃんとした公演聞きに行ったりするほうがいい

ここでもタダで読めるのに楽しむこと興味を示すことももなく、ただ間違え見つけては上げ足取ったり貶めるだけのコメントとかたまに見るけど傲慢なんじゃないかなって思う

16

16. 匿名処理班

  • 2022年04月04日 17:00
  • ID:8QJZLVrk0 #

※11
>インパクトファクターの高い雑誌(NEJMとかランセットとか)にアクセプトされたものだけ、注目するようにしています。

ttps://core.ac.uk/download/pdf/56654781.pdf
この「インパクトファクターの功罪」という記事によると
むしろインパクトファクターが高い雑誌ほど論文の捏造が多いそうです
根拠については我々の常識で吟味出来る範囲もありますので
盲目的に何かを絶対視するのは辞めて、権威に依らず反対意見・批判にも十分耳を傾け
討論によって「自ら能動的に」正しさを決める姿勢を持ち続けないといけません

17

17.

  • 2022年04月04日 18:47
  • ID:MEgMMRI20 #
18

18. 匿名処理班

  • 2022年04月04日 18:52
  • ID:WmEjBbYY0 #

一枚目の写真、非科学者の考える科学者の典型的イメージ!
ヽ( ゚Д゚)ノ

19

19. 匿名処理班

  • 2022年04月04日 22:20
  • ID:IkDY30ub0 #

有名な雑誌(論文誌)に掲載されている論文はその分野の専門家からの
指摘に何度も耐え抜いたものなので信頼性は高い。
勿論、間違いや某S細胞のように専門家が騙されて査読を突破される事もある。

あと、論文にも種類があって構成の順序が異なる場合もある。
例えば実験方法については別紙に全てまとめられている事もあるし、
重要な部分は本紙にあるけど、補足や詳細部分は別紙ということもある。
(いわゆるSupporting Information)

あと医学・生物関連だと再現性が難しい事を利用して捏造とかするという
話を聞いたことがある。

昔からカラパイアを見ているし、これからも頑張って欲しいと思っている。
もともと不思議な物が好きだったから理系の方に進んだので
カラパイアは今の自分がいる要因の一つだと思う。
けれども、昔は科学関連の翻訳ミスが少なかったし
コメントで指摘があれば訂正&訂正したことを追記していたけど、
ここ何年かぐらいからは指摘されても放置されたり、
サイレント修正したりしているので、そこは改善して欲しい。

20

20. 匿名処理班

  • 2022年04月05日 08:23
  • ID:tTqE0cpG0 #

学会なりのディレクションがなぁ・・・
熱流体系だと数字一点張りの効率UPで気が楽で良かったんだけど、その技能を生かして自然科学系に参加した際は酷かった
とある方向性なら何でもOK、お互いの妄想の褒め合いだったわ

21

21. 匿名処理班

  • 2022年04月05日 11:02
  • ID:qPUDyX8L0 #

情報の信頼性を判断する時に、自分の中では以下を多く満たしていればいるほど「信頼性あり」とするようにしてる。それでも見極めは難しいけど…。

1)執筆者の氏名とプロフィールが明記されていること
2)執筆者はその情報の専門家であること(専門家でない場合は専門家の監修を受けていること)
3)論文の引用がある場合は出典が明記されており、できれば査読後の論文であること
4)「絶対に有害です」といった断定・強調表現を用いていないこと
5)執筆者と異なる意見の持ち主に対して度を越した批判をしていないこと
6)情報の読み手にアクションを求めていないこと(拡散、アカウントフォロー、書籍・商品購入など)

22

22. 匿名処理班

  • 2022年04月05日 21:13
  • ID:Cmi9fKrO0 #

1番重要な点は、相関関係をイメージから因果関係に結びつけて決めつけ、社会、環境構造的な問題が有る本質を見失うような物事の理解の仕方が、
普段人間の社会適応やセンセンショナールなワイドショー等のメディア・ネットの言論によって普遍化しやすい事。

何処で査読されたか等に関わらずその論文の知名度を上げる事がメディアにより出来てしまう環境がテーマによりある事。

論文作成においてのバイアスをゼロにする事は科学的に困難な為、論文テーマにおける多方向からのレンズ(偏見)の存在を意識する態度が社会的悪影響を最小限にする為に必要

23

23. 匿名処理班

  • 2022年04月05日 23:14
  • ID:.F2PrEnJ0 #

論文なんて素人が読んで理解できるもんじゃない。
余計なアドバイスして読んで理解したつもりのやっかいな自称詳しい人を増やすだけだから辞めてくれ。
本当に興味と能力がある人はその道に進んでちゃんと読むから素人じゃないんだよ。

24

24. 匿名処理班

  • 2022年04月07日 15:33
  • ID:lPH84pyE0 #

「注意すべき研究論文」のところは誤訳が含まれています。以下に私訳を記しますのでご参考までに。

論文は出版されるまでに徹底的な編集作業と出版過程を経るため、誤字や英文法の間違いがときにその論文の怪しさの指標になりえます。しかしそれはどんな場合にでも当てはまるものではありません。欧米以外の出版社からのものでは特にそうでしょう(注: 誤字や文法エラーが残っていたとしても怪しいとは限らない、の意味)。であるが故に、様々な危険信号に注意を払うのが重要です。それは例えば、貧相なデザインのウェブサイトであるとか、投稿論文の査読責任者は誰かが不透明であるとか、その論文誌や(学会)組織に連絡がとれない、といった点が含まれます。

25

25. 匿名処理班

  • 2022年04月11日 16:58
  • ID:l.Z4Ho.g0 #

>>13
あなたが記事の文意を全く読めていないという事だけはよくわかった

お名前
Sponsored Links
記事検索
月別アーカイブ
Sponsored Links
Sponsored Links