
海外にはこんなジョークがあるという。そしてどうやら本当のことらしい。統計学者自身がそのことを認めているのだ。
『Annals of Internal Medicine』に掲載されたアメリカ国内の統計学者を対象にした調査レポートによると、研究者はよく統計学者に「不適切なお願い」をしているのだという。
「不適切」とは統計解析のうっかりミスのようなことではなく、研究が科学者が望む結果になるようなデータ操作や改ざんとすら言えるようなお願いのことだ。
広告
ほぼ4人に1人がデータ操作を依頼されたことがあると回答
レポートでは、生物統計のコンサルタント522名にアンケートの記入を依頼し、390名から回答を得たものを表にまとめている。「データ記録の削除または改ざん」依頼は驚愕の24パーセントの回答者があったと答えている。ほぼ4人に1人が、科学者が望む研究結果になるようにデータ操作を依頼されたということである。
やや重大度が低い違反と評価された「有意でないものはあまり触れない」は、55パーセントがそのような依頼を受けている。
image credit:American Council on Science and Health
上の表をみるとわかるが、弁解の余地もないひどい行為の依頼もある一方、重大性が低いものについては、依頼主に悪意があったというよりも、ただそれがいけないと知らなかっただけかもしれない。科学者だからといって必ずしも統計に精通しているわけではないからだ。
ただし、このレポートでは、それについて掘り下げていない。ゆえに少なくとも一部については邪な意図があった可能性を否定できないのも確かだ。

改ざんされていないデータであっても、どこを拾ってどういうグラフを作るかで、受け止め方が違ってくる。
2018年にノーベル生理学・医学賞を受賞した本庶佑京大名誉教授は、インタビューで「ネイチャーやサイエンスに出ているものの9割は嘘で、10年経ったら残って1割」と語り、「簡単に信じないこと」の重要性を強調したが、研究者じゃない我々にとっては、同じテーマの研究論文があればそれをすべて調べて、確認していく作業も必要なのかもしれない。
そして情報はアップデートされていくことも忘れてはならない。これまでの研究結果が、明日にはまったく違った結果となる場合だってあるのだ。
さらに我々の脳は記憶が改ざんされるようにできていたり、確証バイヤスが働いたりとか、もう何を信じていいのかわからなくなってきたぞ。
References:1 in 4 Statisticians Say They Were Asked to Commit Scientific Fraud | American Council on Science and Health/ written by hiroching / edited by parumo
あわせて読みたい





コメント
1. 匿名処理班
知ってたw
消しゴムと修正液とdeleteとbackspaceと上書き、insertのない世界でない限り統計には不正が起こる。何故なら人間がデータを入力しているから。なので統計はAIにやらせるべき…なのだが、そのAIを制御するの結局は人間なんだよな……
2.
3. 匿名処理班
ハッキリと改竄といわないまでも、
幾つかのサンプルをイレギュラー扱いにして
なんとなく目的の感じの傾向を出すってのは良くあると思ったり。
4. 匿名処理班
そしてこの統計自体も操作されているってオチかな?
5. 匿名処理班
日本の財務省も消費税を増税をすると景気が落ち込むというマクロ経済統計を握りつぶしているらしい。
6. 匿名処理班
マーフィーの法則だったかなんだかに、
「仮説と一致させるために排除したデータが全体の半分を超えなければ、その実験は成功である」
みたいなのがあったな。
7. 匿名処理班
データ改竄はありまぁす!
8. 匿名処理班
「ビッグデータ」って今もてはやされてるが
あれって端数切り落としまくりの結果だからな
その「切り落とし方」で「あれ?」と思うような
全体像になることがよくあるよ。
普通の積み上げ式の統計やっててもそう思う時がある。
9. 匿名処理班
まぁ、そうだろうねとしか…。
ああいうの恣意的に操作するのは簡単だしね。
10. 匿名処理班
統計なんていくらでも嘘を作れる
再現性と追試だけが唯一信用できるものだ
11. 匿名処理班
「改ざんしろ」とか露骨な命令多分少ないんだろうが、
「意地でも結果を出せ!!出せないと落とすからな!!」とか訳わからん事いって
脅してくる奴はいくらでも居るんだろうな。
12. 匿名処理班
※11
いるいる 自分は安泰のくせして、結果出すまで帰さないとか 今期間に合わないと首とか平気で言ってる
おねつちゃんって言ってるし
13. 匿名処理班
知ってた
絶対的な信用があるもののデータも実は・・・なんてことが現実に起きてるだけに笑えない話だが
14. 匿名処理班
そんなこと言ったら、記事のソースのデータ集計したやつだって怪しいもんだろ!
15. 匿名処理班
仕事終わりに出す日報でも30分以内の空き時間や
仕事交代でつぶれるものだと前もってないことに
したり、わざわざ妙な仕事を長くやったことにして
無理やりつぶすことをよくやってた
統計学者も同じ感じでやってるじゃないのかな
16. 匿名処理班
報道の自由も一緒
17. 匿名処理班
こんな科学じゃそのへんの占星術と同じレベルかそれ以下かもな
18. 匿名処理班
所謂バイアスな
数字だろうと取り方にバイアスあったら無意味
19. 匿名処理班
10サンプルあってたった1サンプルのほんの僅かな差で有意差が出ないってことが起こると本当にいじりたくなるんだよなぁ
しかしね、特に生き物を使った研究をしていると個があり千差万別であることが当たり前なはずなのに「ほぼ全ての個体に確実に起こりうると証明された事」しか論文のデータとして受け入れてもらえないのよ
そうなると結局ほんのわずかな例外を排除していくしかなく、故意悪意をもってデータをいじろうとする輩も居るわけで・・・
まあ1匹ないし1人だけの特例に多大な金銭と時間を費やすわけにはいかないんだけどさ
常にジレンマを抱えながら研究しているよ
20. 匿名処理班
統計は詐欺とたいしてかわらんものも多い
だから俺は、質問に答える形式のものは出題と回答が乗せられたものしか信じない
データをいじらなくても望んだ結果が出しやすいのが統計だから
ただ、俺は統計自体は好きだけどね
悪用するやつが悪いだけで
21. 匿名処理班
統計はそもそも「よくあてはまる」という程度でモデル化するので、いくらでも小細工ができてしまうからね。
22. 匿名処理班
※19
原子は例外的な動きをしないけど、生物は多様性があるのがまず前提だもんね。
物理の場合は外れ値が出ても多くの場合削除することに問題はないが、生物の場合、計測ミスなのかその個体が異常なのか、一定割合で変わった行動をするのが適応的なのか、
区別がつかないから安易に除くわけにもいかない。
かといって、それを判別できるほど個体数を増やすのもダメ。
3Rの原則に従って、最低限の実験を組むから研究者側のジレンマが増すばかり。
バリデーションなしで云々というのを違反にしてるけど、そもそもバリデーションできるだけの数の標本を集めること自体が禁止されてる。
いったいどうしろっていうんだ。
23. 匿名処理班
グラフで比較するとそれほど差はない
24. 匿名処理班
コギト・エルゴ・スム......
25. 匿名処理班
改ざんは致命的だけど、データの削除による、言わぬ嘘は仕方ないという感じに見えるね。
26. 匿名処理班
テスト環境によるばらつきとか計測不備とかあったりするから一概に嘘だ捏造だってわけでもないと思うのだけど
27. じょん・すみす
アノマリーは無視する、ですかね。
28. 匿名処理班
研究者でないのにわざわざ全部比較してどうするんだ
それ一本書ける仕事だぞ
29. 匿名処理班
結論ありきでやるからね。
それで間違ってましたってなると今まで労力が全部無駄になるから、なんとかかんとか自分の説が正しいようにゴリ押しするんだよ。
どこの世界でもそうだろ
30. 匿名処理班
>>ほぼ4人に1人が、科学者が望む研究結果になるようにデータ操作を依頼された
この表現も印象操作に近いものを感じる。
31. 匿名処理班
菱沼さんとミルピスみたく、条件を変えるかデータを変えるかって事っすね。
32. 匿名処理班
アメリカのカレッジで統計学の授業取った時、最初に習ったのは、世の中の統計のほとんどが、母体集団が適切じゃないってことだった。
あと、統計はもらった予算に左右されるということ。
予算がないと、高額な標本とか、バイト雇って集める標本とかが無理だから、予算内で統計出すしかないって言ってた。
33. 匿名処理班
※19
学位論文とか泣きそうになったもん。
プラス、マイナスのデータに嘘は言っていないけど、
表現型の弱いグループを入れると結果がぼやけてしまう。
どこで線引きをするのか。それが恣意的と言われてしまうと何も返せない。
本当かどうかといわれると統計の範囲としか言えない。
系統樹作ってた人とかも言ってた。
あくまでその方法で測定をした結果です、と言うしかないんですよね、と。
34. 匿名処理班
※33
会計監査なんかだと、むしろ標準偏差の大きいグループに不正取引が含まれてること多いから、例外的なものに注目する手順が決められてるんだけど、学術論文とかはまた違うんだろうね。
35. 匿名処理班
完璧な統計なんてある訳がない。
証拠だって都合がいいものしかあげないのだから。
36. 匿名処理班
企業の研究はえげつないとこあるよね
アメリカは製薬業界とかヤバイ
37. 匿名処理班
そりゃ施主には逆らえんでしょ。だからタバコは辞めない。
38. 匿名処理班
※7
ある大学教授が「統計というものを信じてはいけませんよ。自分が改ざんしたもの以外はね。」と言っていたのを思い出した。
39. 匿名処理班
データがあってようが間違ってような何が問題なんだ!
そんなに正しいデータを扱って欲しければまずお前が頭を下げろ!
とか打ち合わせで言われました(放射線関係のお仕事)
世の中そんなもん、金さえもらえればOK、まじめにやるだけ損
40. 匿名処理班
統計的に言えば、100人の犯罪者は
犯行直前に酸素を吸っていたので、酸素は犯罪となんらかのかかわりがあると思います
41. 匿名処理班
喫煙データで「害にならない」というデータは全削除した
42. 匿名処理班
統計結果が改ざんされていようがいまいが、
結局人は信じたい物しか信じないから大して影響はないかもしれない
43. 匿名処理班
第三者が検証してくれないんか
44. 匿名処理班
グラフや表の書き方でも見せ方次第で有利にもなるしね
45. 匿名処理班
狙った通りの成果が出せないと研究費が打ち切られる、研究環境を失う、となったらそりゃ必死だよね。どのみちどこかで線引きはしなきゃならないなら特に。
46. 匿名処理班
統計(ベイズ)とりましたよ、ええ
47. 匿名処理班
そしてメディアで使われるデータの10個に9個が、
局が望む結論になるようにデータの操作、改ざんをされていると思う
48. 匿名処理班
やっぱり産学連携は考えもの?
学者が企業側なんかとタフに議論や交渉できないとやばい?
両者ともマッドな場合が怖いんですが
49. 匿名処理班
100%正しい統計なんてありえないぞ
仮に全員に質問したとしても質問の仕方や場所などで影響されるんだから
本人は正しい統計をとったつもりでも、他人から見たら操作された統計になる
50. 匿名処理班
(真相深層)政府統計、信頼に揺らぎ GDPなど、日銀が精度に不信感 :日本経済新聞
ttps://www.nikkei.com/article/DGKKZO37675170S8A111C1EA1000/
51. 匿名処理班
統計どうこうじゃなくて実際にそういうやり方したせいで論文が示す現象が誤りだったってことを言いたいんだろ。実際大学では論文は参考にするにしても常に疑えっていう先生多い。
52. 匿名処理班
タバコなんか凄まじい改竄してあるだろうね
もはや、どれほどなのかという極限値を是非とも知りたいなー
あ、うん統計は規制した方が良いな