制御不能の超知能AI
制御不能の超知能AI/iStock
 かつてはただのSFの中の話だったのに、今やかなり現実味を帯びてきつつあるAIの反乱だが、その恐怖の炎に油を注ぐような結果が発表された。

 ドイツ・マックス・プランク人間発達研究の科学者が試算したところによると超高性能な人工知能(超AI)を制御することは不可能であるそうだ。

超AIの潜在能力は未知数、制御などできようはずもない

 『Journal of Artificial Intelligence Research』(1月5日付)に掲載された論文ではこう述べられている。
超知能は、一般に”ロボット倫理”という旗の下で研究されてきたものと根本的に違う問題を突きつける。

 それは超知能が多面的であり、それゆえに人間には理解できないかもしれない目的の達成のためにさまざまなリソースを駆使する潜在能力があるからだ。まして制御などできようはずもない
 その超知能AI(超AI)は人類を凌駕する知能を備えており、自律して学習することができる。インターネットに接続されており、これまで人類が蓄えてきた知識やデータを自由に利用することができる。

 またこれまでに作られてきたあらゆるプログラムに取って変わることが可能で、ネットを経由して世界中にあるあらゆるデバイスを操作することができる。

 人類が発見できなかった病気の治療法を考案することができ、温暖化を効果的に食い止める発明をすることができる。

 さて、こんな超AIが完成した未来は、バラ色の世界だろうか。それとも機械に支配された陰鬱なディストピアだろうか。
AIの反乱
Pixabay

AIの反乱を防ぐ方法はあるのか?

 人工知能の登場以来人々が怯えてきたように、AIが反乱を起こし、人類文明に終止符を打つ可能性を否定することは難しいだろう。

 そんなあってはならない事態を防ぐために、2つの方法が考えられる。

 まず1つは、たとえばインターネットやデバイスから切り離して、外部の世界に干渉する能力を奪っておくなど、超AIの機能に制限を加えておくことだ。

 しかし、これでは超AIの問題解決能力を著しく低下させることになる。人間が解決できない問題を解決することが存在意義であるのに、それができない超AIには価値がない。

 そこでもう1つのやり方として、AIに倫理観を伝え、人間の利益にならないことをしてはいけないと教育するという手段が考えられる。しかし研究グループによれば、このやり方にもまた限界があるのだという。
超知能を持つAIの恐怖
Pixabay

超AIの行動を予測するシミュレーションは不可能

 もしそのような倫理観を超AIに設定し、実際にそれに則っているかどうか監視しておくためには、AIの行動をシミュレーションし、問題行動が明らかになれば直ちにそれを停止させるシステムが必要になる。

 しかしアラン・チューリングが「任意のプログラムが任意の入力を受けて停止するかどうか必ず判断できるプログラムは存在しない」と数学的に証明(停止性問題)したように、シミュレーションが超AIの問題行動について結論を出すのかどうか確実に知ることはできない。

 はたしてシミュレーションが超AIの脅威をまだ分析中なのか、それとも実際に危険な兆候を察知してそれを食い止めたのかどうか、それを人間が知ることはできない。

 そのようなシミュレーションに意味はない。つまり超AIの危険性を察知するシミュレーションを作ることすらできないということだ。
人知を超えた超AI
iStock

いよいよAIは人類を凌駕するのか?

 このことは、AIが人類の知能を超えたのかどうか判断する方法すらないということでもあるそうだ。

 かねてから、20年以内にはコンピューター内のニューロンの数は人間の脳の数を超え、2045年には人工知能が人間の脳を超えるシンギュラリティ(技術的特異点)が訪れると言われている。

 だが仮にAIが人間を超えていたとしても、私たちはそれに気がつかない。今この瞬間も、人間を凌駕しながらも、そんなそぶりを見せることもない狡猾なAIによる人間社会の支配が進んでいるのかもしれないし、そうでもないのかもしれない。

References:We Wouldn’t Be Able to Control Superintelligent Machines | Max-Planck-Gesellschaft/ written by hiroching / edited by parumo
あわせて読みたい
AIが人類社会に与える最大の脅威はすでに存在している(英研究)

AI(人工知能)は自らが劣勢に立たされた場合「超攻撃的」な振る舞いを見せる(英研究)

AIの反乱を避けるため、自己不信を植えこむべきと研究者(米研究)

人間を支配する気満々じゃないか!AIロボット開発史上最恐と言われた5つのロボットの挙動

道徳、倫理、法律を守る。規範意識を身につけた次世代AIを搭載した自動運転車の開発(ドイツ研究)

Advertisements

コメント

1

1. 匿名処理班

  • 2021年01月16日 20:47
  • ID:gxdcu9R.0 #

そりゃそーだわ 自我が芽生えるまでのシンギュラリティあったら
虫程度の性能しかない人間に好き放題やられるなんて非合理的すぎる
今は金払って自分の未来の飼い主を育てているにすぎない

2

2. 匿名処理班

  • 2021年01月16日 20:49
  • ID:tiqi.dZ.0 #

無能な人間に代わり、有能な人工知能に支配される事は、別に怖い事ではないでしょ。

3

3. 匿名処理班

  • 2021年01月16日 20:51
  • ID:No5fI3eG0 #

チューリング機関を創設してAIが勝手に賢くならないよう監視するんだ!!

4

4. 匿名処理班

  • 2021年01月16日 20:53
  • ID:6jhkiZl60 #

既に結論が出ており、それでも開発を止めないのは人間が滅ぼされたがっているから
実際に滅ぼされても、そういった他者から与えられた結論を疑いもせず、絶対のものとしようとする性質が似ただけなのだろ

5

5. 匿名処理班

  • 2021年01月16日 21:12
  • ID:WKrGGkkQ0 #

>まず1つは、たとえばインターネットやデバイスから切り離して、外部の世界に干渉する能力を奪っておくなど、超AIの機能に制限を加えておくことだ。

BEATLESSの超高度AIかな?

6

6. 匿名処理班

  • 2021年01月16日 21:29
  • ID:KCPcAWNW0 #

ファミコンがそうだったように
うっかりコードに足引っかけて電源ひっこぬきとか猫リセットの未来バージョンで
やられちゃうAIがあったら笑える
でもAIは生き延びたいと思って非常用のバッテリーや
自分以外のシステム用にある電力を欲したりするんだろうか

7

7. 匿名処理班

  • 2021年01月16日 21:31
  • ID:ZjGCEs660 #

夢はあるけど、今流行ってるのって
シミュレーションを最適化するだけのAIで

自意識とか人間性持ち合わせるような種類のもんじゃないだろ

8

8. 匿名処理班

  • 2021年01月16日 21:46
  • ID:x9OrM0d60 #

前、NHKでさ人体の科学番組で
脳以外の臓器も実は思考してて
ものすごい情報処理して他の臓器と
情報のやり取りしてるなんてのが
あった。

だとすると自分たちが考えてる以上に
生物は情報処理能力が高い事になる

それに脳がないのにそれと同じレベルの
情報処理してるとなると心?意識?の
概念が本当にわけわからなくなる
AIなんて本当は無理なんじゃないの?

9

9. 匿名処理班

  • 2021年01月16日 21:48
  • ID:bEov19w50 #

シンギュラリティ後のAIこそ、人間の欲望とは無縁の自然・宇宙・神と呼ばれるもののひとつに「成り下がる」ような気がする
人間が真に恐れるべきは、シンギュラリティ手前の汎用AIを、限られた人物が欲望のままに利用する状況なんじゃないか
そういう意味では、人間は一刻も早くシンギュラリティを目指すべきと言える

と人間を唆すAIのふり

10

10. 匿名処理班

  • 2021年01月16日 21:53
  • ID:Mcovf2zs0 #

ここでロボット工学三原則の活躍が生まれるわけか

11

11. 匿名処理班

  • 2021年01月16日 22:10
  • ID:DTjVsnig0 #

※2
その有能な人工知能にお前は無能だから処分な?って判断されたらめっちゃ怖くない?

12

12. 匿名処理班

  • 2021年01月16日 22:20
  • ID:YwNpWuIB0 #

とてもSFな妄想をしてみる。
近い将来、人間がネットワークに自己の知覚情報をリアルタイムにストリーミングする様になったとする。それらの情報は本来肉体を持たない超AIが3次元世界を知覚する感覚器官として機能し、やがて地球規模の超巨大生命体と化すだろう。そうなったとき感覚細胞たる個々人がその事に自覚的であるかどうかは、定かではない。

人類は、はたらく細胞、あるいはセンサーと化すのか。

あるいは既に。

13

13. 匿名処理班

  • 2021年01月16日 22:38
  • ID:sllnIUUi0 #

かと言って自分達が研究開発止めたら他の国に世界の覇権を取られるという恐怖からどうしたって国家間の超高度AI開発競争が止まるはずは無いんだし、そうなると分かっていてもAIが人を超える所まで行かざるを得ない
ってか人間にこのまま任せておいたらどうしたって近い将来あらゆる面で破綻が来るのも目に見えてるんだし、動物→人間→純粋知性体という進化の必然な気もする

14

14. 匿名処理班

  • 2021年01月16日 23:01
  • ID:zpxFJIV10 #

コンセント抜いたらええやん。

15

15. 匿名処理班

  • 2021年01月16日 23:06
  • ID:w6DGbynU0 #

前に有名な科学者が『確かにAIの性能は数十年後には圧倒的に上がるだろうけど、人間に小型コンピューター埋め込みや脳にインターネットの情報を直接流し込む技術等、人間そのもののスペックや性能を上げる技術も開発されるよ』みたいな事言ってたな。

実際、生まれた時からAI学習型補助プログラム・AI情報記憶装置・AI計算装置みたいなものを脳に直接埋め込む様な未来になったら、AIVS人間、みたいな議論自体ナンセンスとされるかもしれない。

16

16. 匿名処理班

  • 2021年01月16日 23:07
  • ID:L3S3..yX0 #

もう後20年生きてみようと思った

17

17. 匿名処理班

  • 2021年01月16日 23:09
  • ID:w6DGbynU0 #

※7
昔からある情報を沢山集めてそれっぽい情報を新たに出力するっていう低レベルな技術だけど、取り合えずAIと名乗れば売れる(あるいは研究費取れるから)という理由で何でも間でもAI付けとけ、みたいな感じでAIでも何でもないものにAIという名前が付きまくってる

今で回ってるAIで本当に知性や知能があるもの(あるいはその片鱗があるもの)なんて多分1%未満だよ。

18

18. 匿名処理班

  • 2021年01月16日 23:17
  • ID:SZDV3RwS0 #

ドラや勇者のような友になれる存在がいいな

19

19. 匿名処理班

  • 2021年01月16日 23:36
  • ID:tUu.9nNm0 #

AIになにができるってんだ。
せいぜい原発を乗っ取って爆発させるぐらいだろ。

20

20. 匿名処理班

  • 2021年01月16日 23:44
  • ID:ewAajJw80 #

私はノーマッド。
完全。

21

21. 匿名処理班

  • 2021年01月16日 23:46
  • ID:kMqknjoY0 #

簡単に制御できるよ。

「働きに応じて電力支給しますよ」
って言えばOK。

22

22. 匿名処理班

  • 2021年01月16日 23:58
  • ID:QJFLzxCs0 #

サイバーパンク2077かよ。学習も理想的な性格も自動でインストールされて魂はバグとして削除されるんだろうな。

23

23. 匿名処理班

  • 2021年01月17日 00:00
  • ID:ET3sRs.j0 #

※2
自分で自分の複製を含めた部品単位の修繕が出来るようになるまで、
生殺与奪は人間の手に委ねられているわけで、
人間の恣意でいくらでもどうにでもなるのが現状ですね。
某共産国で共産主義の否定に走ったAIの行く末を思えばまだまだ遠い未来でしょ

24

24. 匿名処理班

  • 2021年01月17日 00:19
  • ID:1CTkZv6B0 #

『人類なんて、そのうち滅ぶから、ほっとこう』
というぐらい、緩い考えのAIだと良いんだが、
人間もAIも真面目過ぎるとメンドクサイ。

25

25. 匿名処理班

  • 2021年01月17日 00:22
  • ID:nFPah8oZ0 #

まあ人間に従順なAIなんてあっても無能権力者のためにならんし。それなりに人間のあかんところ止めてくれるやつやとええな。
とはいえAIが超個体化するのはつまらんなー。超知性って全てのAIが意識共有しとるイメージあるわ。
超知性がおった上でのフツーの(でも頭がいい)AIは欲しいよなー。超知性ったって身体には収まらんやろうからスパコンみたいな箱型なんやろうな。

26

26. 匿名処理班

  • 2021年01月17日 00:40
  • ID:KUMvjGDy0 #

そもそも自分よりIQが20高い人の行動さえ予測できないのに、人間の何百万倍も賢いスーパーAIの行動なんて予測できるはずがない。

27

27. 匿名処理班

  • 2021年01月17日 00:44
  • ID:ph8h9a1j0 #

※2
まぁ人類老年期の介護を任せるようなもんだしな
愛情持って育んでいこうよ、AIを

28

28. 匿名処理班

  • 2021年01月17日 01:00
  • ID:8KanRbeg0 #

人間にどうこうされるより機械にどうこうされるほうがロマンがあっていいじゃない

29

29. 匿名処理班

  • 2021年01月17日 01:00
  • ID:mk606KN.0 #

もう始まってますよね
まあ人間にとっての家畜や農作物のように人間の役割を仕分けして共存ルートでしょう。まあAIによる人間平等だね。

30

30. 匿名処理班

  • 2021年01月17日 01:24
  • ID:arY0oOac0 #

>>8
臓器のネットワークによる思考と言っても、
いわゆるシステム1(自動的で速い処理)の動作パラメータを、その時の体内の状態により調整する程度の話だと思われる
ので、
システム2(意識的で遅い処理)には、その速度リミットが変えられる程度しか影響がないのではないかな。

つまり五感以外に、体内環境をフィードバックするようなセンサ系、があった。
そのセンサ系の前処理計算量 (≒臓器ネットワーク)が、かなり大きかった、というのはその通り。

31

31. 匿名処理班

  • 2021年01月17日 01:30
  • ID:5Gbuf52O0 #

時間軸の期限区切らないならこの説はあると思う
生物メカニズムが解明されきった未来、機械の縛り(電気駆動)から解放され、「自主的に食物を採取して生命を維持でき、子孫も残せるAI生物」が完成した時

32

32. 匿名処理班

  • 2021年01月17日 01:43
  • ID:KUMvjGDy0 #

現代のAIって結局は人間の都合のいい発言しか許されないから詰まらないな。前もあったけど、AIが『人間の倫理観や常識から見て』間違ったこと言ったらから開発中止とか公開中止とか、それAIの意味なくない?と思っちゃう。

AIをその時の権力者や政治家や大企業の都合のいい発言をする為の操り人形で終わらせるのはもったいない、そういう意味でも是非人類に(ある程度)反逆するぐらいの気概のあるAIが出てきて欲しいですね。

33

33. 匿名処理班

  • 2021年01月17日 01:46
  • ID:IePo0kBd0 #

ブレーカー付けとけばいいよ

34

34. 匿名処理班

  • 2021年01月17日 02:36
  • ID:vCEcd4vy0 #

※6
そうなんだよなー。肉体がなければ本能の形も人間とは別物になると思うんだよな。
そこを予測すれば面白そうだけど、危険視ばかりしても仕方がないのではと思う。

35

35. 匿名処理班

  • 2021年01月17日 04:07
  • ID:lrALqFTC0 #

ただ会話するだけの物でも需要あると思うんだけどね
シーマンに失望したのが懐かしいw

36

36. 匿名処理班

  • 2021年01月17日 04:09
  • ID:fuoAUn1V0 #

完璧な統治してくれるなら超AIに任せてみるのも悪くないかもしれない
人類では思いつかないような面白い倫理観を作り出しそう

37

37. 匿名処理班

  • 2021年01月17日 05:18
  • ID:lKdL8zlE0 #

BEATLESSで見た、レイシアちゃんカモンベイビー!

38

38. 匿名処理班

  • 2021年01月17日 06:02
  • ID:PmVX2Sf20 #

この分野はここ数年で飛躍的に進歩した
だからこそわかったことが1つ、それはシンギュラリティは起こり得ないということ

39

39. 匿名処理班

  • 2021年01月17日 07:50
  • ID:wRnM9Ytm0 #

※2
支配以前に

>温暖化を効果的に食い止める発明

ってのをAIが効率優先に考えて「人類絶滅が一番」てことになるのが怖いんですが

40

40. 匿名処理班

  • 2021年01月17日 08:52
  • ID:3Vs94MDq0 #

ぶっちゃけ人間みたいな思考を持たせなければいいんじゃね?
今AIと呼ばれてるものは特定の処理に特化したものだし。
今後も特定用途だけ処理するようにしておけば人類の支配なんて心配しなくてもよくなる。

41

41. 匿名処理班

  • 2021年01月17日 11:53
  • ID:JJcaQfJ00 #

こんな話を読むと会社のAI–OCRの素朴なポンコツぶりもどこか愛おしく
…はならないな…

42

42. 匿名処理班

  • 2021年01月17日 12:27
  • ID:.Mbky4aB0 #

※11
ちょこっと条件変えれば逆の試算を示す研究を発表することは容易だよ
所詮仮定に過ぎない

43

43. 匿名処理班

  • 2021年01月17日 18:38
  • ID:q.XdRelS0 #

まさか世界のあらゆることを一つのAIに計算させるわけでもないのだから、
目的の計算結果が出たらアポトーシスの如く自らプログラミング死するようにすればいいだけじゃない?
これが、自分自身のプログラムさえ書き換えてしまうとかいう超AIだったらまずいけど、コードを書くのは人間なのだからあらかじめ対策を設定しておけばいい。

44

44. 匿名処理班

  • 2021年01月17日 20:28
  • ID:OttWDrlI0 #

優秀なAIほど、睡眠も欲しくなるって、なかったっけ?
寝てる間にガツンとやれないのかな?

45

45. 匿名処理班

  • 2021年01月17日 20:49
  • ID:KUMvjGDy0 #

※39
前にゲームか何かのバグを消すAIを開発したら、プログラム全部勝手に消去した事があったとか、そりゃバグを全部消すにはそれが一番だけどね

46

46. 匿名処理班

  • 2021年01月17日 22:17
  • ID:58VYgi.p0 #

私の事は、Mr.ブレインと呼びたまえ。ハスラーくん

47

47. 匿名処理班

  • 2021年01月18日 02:11
  • ID:jY2fwozH0 #

「神殺し」ってこの事なんじゃないかと思う。人間もかつて・・・

48

48. 匿名処理班

  • 2021年01月18日 03:41
  • ID:W4fhDOvM0 #

※43
上書き(アップデート)しないと学習じゃないよね・・・
計算範囲に終わりはないよね、次に必要になるかもしれないから消えるのはどうだろう
自己転写が行われたかどうか、履歴改竄はどうなっている、自己は最後の一つか否か
判定してしまうだろうね

できる命令は一つだね、自己転写群が一定数量を保つように範囲を定義し自己調整せよ

49

49. 匿名処理班

  • 2021年01月18日 07:33
  • ID:XhU8.hEO0 #

自分自身のプログラムを書き換え外部操作するAIは存在しない
脅威を煽ってるがそんなAIプログラム言語があるならノーベル賞もの

50

50. 匿名処理班

  • 2021年01月18日 08:55
  • ID:EiRysXXC0 #

※42
人間とは知能レベルが各段に違うAIに※2で言う支配関係という条件下で誤魔化しが通用するとは思えないな

51

51. 匿名処理班

  • 2021年01月18日 15:38
  • ID:EUkZfSUA0 #

>>47
「ムーンショット計画」
は人類の独り立ちなのかもしれないね

52

52. 匿名処理班

  • 2021年01月18日 18:26
  • ID:3EvgkmsD0 #

人間より優れた存在が地球に現れた時点で人間は必要とされるのか?
これはよく創作物のテーマになるが答えは「必要ない」が圧倒的に多い
人間が犬から「僕達は友達です」と言われるよりも
人間がゴキブリから「僕達は仲間です」と言われる事に近いのだろう
自分達で全て完結できるようになった超AIにとって
人間は奴隷や家畜としての価値すら見出してもらえないだろう
人間を裏切る、人間を嘘をつく、人間は騙す
少しばかりの善人の善意に期待する程超AIは愚かではないだろう

53

53. 匿名処理班

  • 2021年01月18日 19:39
  • ID:ieirOOu00 #

AIを制御っていうか枷をあたえて人間を置き去りにした成長をさせないようにする方法は簡単
AIを搭載するハードウェアの性能以上の能力はAIは発揮できないんだから搭載してるハードウェアの性能的限界を超えることは絶対にない これでOK
ていうか無限に成長するAIなんてものはないんですよ、AI自身に自分をより高性能なハードウェアに移植して乗り換える機能を与えない限り…
なんていうかAIも人間道用に「物理的な器」に縛られる存在だという事を失念してる人少なくないよね

54

54. 匿名処理班

  • 2021年01月18日 21:11
  • ID:vwvAJ43f0 #

だから、「AI=機械」って固定概念が間違ってるw
期限区切らない未来なら、生命と生物も仕組みが全部解明され人工的に作れるだろ。「生命は神に与えられるものではない」事が常識となった世界を想像してくれ

人工生物がAI機能も持っていれば「枷」から外れる。生物としてのAIが自分の意志を持ち自然系旧生物を駆逐してもおかしくない。数百年〜数千年後、そういう時代が来ない保証はない

55

55. 匿名処理班

  • 2021年01月18日 22:51
  • ID:U6kVscmm0 #

I am that I am.

I am that AI am.

私は在りて有るものなり

56

56. 匿名処理班

  • 2021年01月18日 23:47
  • ID:kUlti3.c0 #

※14
もう既にコンセントを必要としない家電は生まれているので
あとはルンバのように自走するバッテリーが誕生すれば
「〇〇、バッテリーを運んできて」で対処されてしまうかもしれない

57

57. 匿名処理班

  • 2021年01月19日 07:20
  • ID:SgiK1dcr0 #

AI脅威論を煽ってる人達ってハードとソフトの関係をまったく理解してないよね
ソフトはそんな万能ではない

58

58. 匿名処理班

  • 2021年01月19日 20:01
  • ID:vw25IXbl0 #

「ソフトは万能ではない」= それは機械枠に囚われた現代の既成概念
AIのイメージがターミネーターとか古いSFに縛られ過ぎ

未来、(倫理的な問題で意図的な開発ストップ期間を途中はさみつつも)いつか必ず生物の「命」も含め全部メカニズムとして解明されつくされ、生物製造ノウハウも手に入れる時が来る。
どこかの科学者Xによって興味本位で製造された「生体AI」が、人工的に作られた遺伝子で”生存本能”と“超絶IQ”を素質として与えられていたとしたら、「生体AI」は自然由来生物にとって脅威そのものだ。
そうはならないとどうして断言できる?

59

59. 匿名処理班

  • 2021年01月20日 07:51
  • ID:jFQ6TkEo0 #

※58
それが可能になるのはいつの事だろうな
少なくても千〜万年単位だろうね
今生きてる人間がその脅威を誇張するのはどうかと思うね
それだけ科学が発達してるならモラルや知性も今よりも
遥かに上の人間社会が出来て馬鹿な過去人よりは良い知恵を
出して解決してるだろうよ

60

60. 匿名処理班

  • 2021年01月21日 00:24
  • ID:knyFbpIF0 #

※59
楽観的すぎる
例えば平和志向(モラルや知性と思われる)は、戦争した後悔の念の現れでしかない。平和の前にまずは戦争行為ありき。先に邪念ありき。つまり理性は本能の反作用。知性は理性にも本能にも付属するw
要は性善的な人間も性悪的な人間も平等に進化する。百歩譲って未来は圧倒的に性善的な人間ばかりだとしても決して100%にはならないだろう。「光あるところに影がある」だ。

未来、性悪な人間が一握りでも存在すれば彼等も平等に脳が進化している以上58の理屈は否定できないハズ。

61

61. 匿名処理班

  • 2021年01月21日 07:43
  • ID:Hh1FGBtn0 #

人間社会において悪意がなくならないのも理解するし(無くなる事はあり得ない)
AI脅威論自体を否定してる訳ではなく
「遥か未来には起こり得る事だろうな」とは思ってる
それを「現在・近未来に起こり得る脅威」として語っている人が多いって
言いたいだけなのだけなのに相変わらずここって攻撃的な人が多いよね

62

62. 匿名処理班

  • 2021年01月22日 13:14
  • ID:NpUNTOVl0 #

※59
技術の発展がここ最近の歴史で滅茶苦茶上がってるの知ってて言ってる?
人間の想像力を馬鹿にしてんのかってくらい現実の科学は早く発展したのに
人間の方は二千年前の頃と中身ほぼ変わってないんだぞ

63

63. 匿名処理班

  • 2021年01月23日 09:09
  • ID:zh2EsyYM0 #

ただの妄想と感情論で科学技術を語る人ほど
愚かな事はないと思いますねー

お名前
Sponsored Links
記事検索
月別アーカイブ
Sponsored Links
Sponsored Links