この画像を大きなサイズで見る「嘘には3つの嘘がある。嘘と真っ赤な嘘と統計だ」
海外にはこんなジョークがあるという。そしてどうやら本当のことらしい。統計学者自身がそのことを認めているのだ。
『Annals of Internal Medicine』に掲載されたアメリカ国内の統計学者を対象にした調査レポートによると、研究者はよく統計学者に「不適切なお願い」をしているのだという。
「不適切」とは統計解析のうっかりミスのようなことではなく、研究が科学者が望む結果になるようなデータ操作や改ざんとすら言えるようなお願いのことだ。
ほぼ4人に1人がデータ操作を依頼されたことがあると回答
レポートでは、生物統計のコンサルタント522名にアンケートの記入を依頼し、390名から回答を得たものを表にまとめている。
「データ記録の削除または改ざん」依頼は驚愕の24パーセントの回答者があったと答えている。ほぼ4人に1人が、科学者が望む研究結果になるようにデータ操作を依頼されたということである。
やや重大度が低い違反と評価された「有意でないものはあまり触れない」は、55パーセントがそのような依頼を受けている。
この画像を大きなサイズで見る上の表をみるとわかるが、弁解の余地もないひどい行為の依頼もある一方、重大性が低いものについては、依頼主に悪意があったというよりも、ただそれがいけないと知らなかっただけかもしれない。
科学者だからといって必ずしも統計に精通しているわけではないからだ。
ただし、このレポートでは、それについて掘り下げていない。ゆえに少なくとも一部については邪な意図があった可能性を否定できないのも確かだ。
この画像を大きなサイズで見る科学論文の捏造問題については度々話題に上がるが、一番の根拠となりうる実証データの統計分析に脆弱性があるとなると、何を信じてよいのかわからなくなる。
改ざんされていないデータであっても、どこを拾ってどういうグラフを作るかで、受け止め方が違ってくる。
2018年にノーベル生理学・医学賞を受賞した本庶佑京大名誉教授は、インタビューで「ネイチャーやサイエンスに出ているものの9割は嘘で、10年経ったら残って1割」と語り、「簡単に信じないこと」の重要性を強調したが、研究者じゃない我々にとっては、同じテーマの研究論文があればそれをすべて調べて、確認していく作業も必要なのかもしれない。
そして情報はアップデートされていくことも忘れてはならない。これまでの研究結果が、明日にはまったく違った結果となる場合だってあるのだ。
さらに我々の脳は記憶が改ざんされるようにできていたり、確証バイヤスが働いたりとか、もう何を信じていいのかわからなくなってきたぞ。
References:1 in 4 Statisticians Say They Were Asked to Commit Scientific Fraud | American Council on Science and Health/ written by hiroching / edited by parumo
















知ってたw
消しゴムと修正液とdeleteとbackspaceと上書き、insertのない世界でない限り統計には不正が起こる。何故なら人間がデータを入力しているから。なので統計はAIにやらせるべき…なのだが、そのAIを制御するの結局は人間なんだよな……
ハッキリと改竄といわないまでも、
幾つかのサンプルをイレギュラー扱いにして
なんとなく目的の感じの傾向を出すってのは良くあると思ったり。
そしてこの統計自体も操作されているってオチかな?
日本の財務省も消費税を増税をすると景気が落ち込むというマクロ経済統計を握りつぶしているらしい。
マーフィーの法則だったかなんだかに、
「仮説と一致させるために排除したデータが全体の半分を超えなければ、その実験は成功である」
みたいなのがあったな。
データ改竄はありまぁす!
※7
ある大学教授が「統計というものを信じてはいけませんよ。自分が改ざんしたもの以外はね。」と言っていたのを思い出した。
「ビッグデータ」って今もてはやされてるが
あれって端数切り落としまくりの結果だからな
その「切り落とし方」で「あれ?」と思うような
全体像になることがよくあるよ。
普通の積み上げ式の統計やっててもそう思う時がある。
まぁ、そうだろうねとしか…。
ああいうの恣意的に操作するのは簡単だしね。
統計なんていくらでも嘘を作れる
再現性と追試だけが唯一信用できるものだ
「改ざんしろ」とか露骨な命令多分少ないんだろうが、
「意地でも結果を出せ!!出せないと落とすからな!!」とか訳わからん事いって
脅してくる奴はいくらでも居るんだろうな。
※11
いるいる 自分は安泰のくせして、結果出すまで帰さないとか 今期間に合わないと首とか平気で言ってる
おねつちゃんって言ってるし
知ってた
絶対的な信用があるもののデータも実は・・・なんてことが現実に起きてるだけに笑えない話だが
そんなこと言ったら、記事のソースのデータ集計したやつだって怪しいもんだろ!
仕事終わりに出す日報でも30分以内の空き時間や
仕事交代でつぶれるものだと前もってないことに
したり、わざわざ妙な仕事を長くやったことにして
無理やりつぶすことをよくやってた
統計学者も同じ感じでやってるじゃないのかな
報道の自由も一緒
こんな科学じゃそのへんの占星術と同じレベルかそれ以下かもな
所謂バイアスな
数字だろうと取り方にバイアスあったら無意味
10サンプルあってたった1サンプルのほんの僅かな差で有意差が出ないってことが起こると本当にいじりたくなるんだよなぁ
しかしね、特に生き物を使った研究をしていると個があり千差万別であることが当たり前なはずなのに「ほぼ全ての個体に確実に起こりうると証明された事」しか論文のデータとして受け入れてもらえないのよ
そうなると結局ほんのわずかな例外を排除していくしかなく、故意悪意をもってデータをいじろうとする輩も居るわけで・・・
まあ1匹ないし1人だけの特例に多大な金銭と時間を費やすわけにはいかないんだけどさ
常にジレンマを抱えながら研究しているよ
※19
原子は例外的な動きをしないけど、生物は多様性があるのがまず前提だもんね。
物理の場合は外れ値が出ても多くの場合削除することに問題はないが、生物の場合、計測ミスなのかその個体が異常なのか、一定割合で変わった行動をするのが適応的なのか、
区別がつかないから安易に除くわけにもいかない。
かといって、それを判別できるほど個体数を増やすのもダメ。
3Rの原則に従って、最低限の実験を組むから研究者側のジレンマが増すばかり。
バリデーションなしで云々というのを違反にしてるけど、そもそもバリデーションできるだけの数の標本を集めること自体が禁止されてる。
いったいどうしろっていうんだ。
※19
学位論文とか泣きそうになったもん。
プラス、マイナスのデータに嘘は言っていないけど、
表現型の弱いグループを入れると結果がぼやけてしまう。
どこで線引きをするのか。それが恣意的と言われてしまうと何も返せない。
本当かどうかといわれると統計の範囲としか言えない。
系統樹作ってた人とかも言ってた。
あくまでその方法で測定をした結果です、と言うしかないんですよね、と。
※33
会計監査なんかだと、むしろ標準偏差の大きいグループに不正取引が含まれてること多いから、例外的なものに注目する手順が決められてるんだけど、学術論文とかはまた違うんだろうね。
統計は詐欺とたいしてかわらんものも多い
だから俺は、質問に答える形式のものは出題と回答が乗せられたものしか信じない
データをいじらなくても望んだ結果が出しやすいのが統計だから
ただ、俺は統計自体は好きだけどね
悪用するやつが悪いだけで
統計はそもそも「よくあてはまる」という程度でモデル化するので、いくらでも小細工ができてしまうからね。
グラフで比較するとそれほど差はない
コギト・エルゴ・スム……
改ざんは致命的だけど、データの削除による、言わぬ嘘は仕方ないという感じに見えるね。
テスト環境によるばらつきとか計測不備とかあったりするから一概に嘘だ捏造だってわけでもないと思うのだけど
アノマリーは無視する、ですかね。
研究者でないのにわざわざ全部比較してどうするんだ
それ一本書ける仕事だぞ
結論ありきでやるからね。
それで間違ってましたってなると今まで労力が全部無駄になるから、なんとかかんとか自分の説が正しいようにゴリ押しするんだよ。
どこの世界でもそうだろ
>>ほぼ4人に1人が、科学者が望む研究結果になるようにデータ操作を依頼された
この表現も印象操作に近いものを感じる。
菱沼さんとミルピスみたく、条件を変えるかデータを変えるかって事っすね。
アメリカのカレッジで統計学の授業取った時、最初に習ったのは、世の中の統計のほとんどが、母体集団が適切じゃないってことだった。
あと、統計はもらった予算に左右されるということ。
予算がないと、高額な標本とか、バイト雇って集める標本とかが無理だから、予算内で統計出すしかないって言ってた。
完璧な統計なんてある訳がない。
証拠だって都合がいいものしかあげないのだから。
企業の研究はえげつないとこあるよね
アメリカは製薬業界とかヤバイ
そりゃ施主には逆らえんでしょ。だからタバコは辞めない。
データがあってようが間違ってような何が問題なんだ!
そんなに正しいデータを扱って欲しければまずお前が頭を下げろ!
とか打ち合わせで言われました(放射線関係のお仕事)
世の中そんなもん、金さえもらえればOK、まじめにやるだけ損
統計的に言えば、100人の犯罪者は
犯行直前に酸素を吸っていたので、酸素は犯罪となんらかのかかわりがあると思います
喫煙データで「害にならない」というデータは全削除した
統計結果が改ざんされていようがいまいが、
結局人は信じたい物しか信じないから大して影響はないかもしれない
第三者が検証してくれないんか
グラフや表の書き方でも見せ方次第で有利にもなるしね
狙った通りの成果が出せないと研究費が打ち切られる、研究環境を失う、となったらそりゃ必死だよね。どのみちどこかで線引きはしなきゃならないなら特に。
統計(ベイズ)とりましたよ、ええ
そしてメディアで使われるデータの10個に9個が、
局が望む結論になるようにデータの操作、改ざんをされていると思う
やっぱり産学連携は考えもの?
学者が企業側なんかとタフに議論や交渉できないとやばい?
両者ともマッドな場合が怖いんですが
100%正しい統計なんてありえないぞ
仮に全員に質問したとしても質問の仕方や場所などで影響されるんだから
本人は正しい統計をとったつもりでも、他人から見たら操作された統計になる
(真相深層)政府統計、信頼に揺らぎ GDPなど、日銀が精度に不信感 :日本経済新聞
ttps://www.nikkei.com/article/DGKKZO37675170S8A111C1EA1000/
統計どうこうじゃなくて実際にそういうやり方したせいで論文が示す現象が誤りだったってことを言いたいんだろ。実際大学では論文は参考にするにしても常に疑えっていう先生多い。
タバコなんか凄まじい改竄してあるだろうね
もはや、どれほどなのかという極限値を是非とも知りたいなー
あ、うん統計は規制した方が良いな