
天文学的苦痛のリスク、または苦痛リスクまたはsリスクとも呼ばれるリスクは、これまで地球上で起こったすべての苦痛よりもはるかに大きな苦痛を伴うリスクです。 [ 3 ] [ 4 ]
一部の学者によると、sリスクは極めて起こりそうもないものではなく、予期せぬシナリオから生じる可能性があるため、真剣に検討する必要がある。sリスクは憶測のように見えるかもしれないが、技術の進歩、権力構造、歴史的前例などの要因は、高度な技術が意図せずして大きな苦痛をもたらす可能性があることを示している。[ 5 ]
潜在的なsリスクの発生源としては、高度な人工知能[ 6 ] [ 7 ] 、宇宙植民地化[ 8 ] 、野生動物の苦しみが他の惑星に広がること[ 9 ]などが挙げられる。
Sリスクは、部族主義、サディズム、報復欲求などの要因によって引き起こされる意図的なものもあれば、例えば経済的インセンティブの副産物として生じる偶発的なものもある。[ 10 ]
人工知能は、最終的には強力な主体が巨大な技術システムを制御できるようになる可能性があるため、s-リスクの議論の中心となっています。最悪のシナリオでは、AIは、宇宙に拡大する全体主義体制のような、永続的な苦痛のシステムを作成するために使用される可能性があります。[ 11 ]さらに、意識のある存在が苦痛を経験するAI駆動のシミュレーションや、非人間またはデジタルな精神の幸福を無視する経済活動などを通じて、s-リスクが偶発的に発生する可能性があります。[ 4 ] AI倫理研究者のスティーブン・アンブレロは、生物学的コンピューティングによってシステム設計がs-リスクに陥りやすくなる可能性があると警告しています。 [ 6 ]
宇宙植民地化は、野生動物を新たな環境に持ち込むことで、苦しみを増大させる可能性がある。動物は飢餓、病気、捕食に直面して生き残るのに苦労する可能性があり、広範囲にわたる苦しみにつながる可能性がある。[ 12 ]フィル・トーレスは、宇宙植民地化は重大な「苦しみのリスク」をもたらすと主張しており、宇宙への拡大は、利害が対立する多様な文明やポストヒューマン種の創造につながる。これらの違いは、高度な兵器や文明間の広大な距離による通信の遅延と相まって、壊滅的で解決不可能な紛争につながる可能性がある。秩序を押し付けるための「宇宙のリヴァイアサン」のような戦略や抑止政策は、宇宙の物理法則と将来の技術の破壊力によって制約される。トーレスは、宇宙植民地化は延期するか、完全に回避すべきだと考えている。[ 13 ]
マグナス・ヴィンディングの「天文学的残虐行為問題」は、莫大な幸福が宇宙植民地化による極度の苦痛を正当化できるかどうかを問うものである。彼は、プラスの利益に対する収穫逓減、深刻な苦痛の計り知れない重み、そして悲惨を防ぐことの優先順位といった道徳的な懸念を強調している。彼は、植民地化が避けられないのであれば、害を最小限に抑えることに深くコミットした主体によって主導されるべきだと主張する。[ 14 ]

Sリスクシナリオは意図的に発生することもあります。戦争やテロなどの状況では、特に高度な技術が関わっている場合、このようなリスクは高まります。紛争は、サディズム、部族主義、報復主義などの破壊的な傾向を増幅させる可能性があるからです。戦争はしばしばこれらの力学を強め、破滅的な脅威が譲歩を強要するために利用される可能性があります。エージェントによるSリスクは、ナルシシズムやサイコパシーなどの権力者の悪意のある特性によってさらに悪化します。これは、20世紀に広範な苦痛をもたらしたヒトラーやスターリンのような全体主義的独裁者に典型的に見られます。 [ 10 ]
デイビッド・ピアースは、遺伝子工学は潜在的なsリスクであると主張している。ピアースは、快楽と苦痛の軸に対する技術的支配は苦痛の根絶につながる可能性がある一方で、人間の許容範囲を超えるレベルの苦痛を生み出すためにも使用される可能性があると主張している。[ 15 ]
sリスクを軽減するために、特に新興技術や社会構造において、sリスクを悪化させる要因の研究と理解に重点が置かれています。ターゲットを絞った戦略には、安全なAI設計の促進、AI開発者間の協力の確保、リスクを予測するための未来文明のモデリングなどが含まれます。広範な戦略としては、大規模な苦痛に対する道徳規範や安定した政治制度を提唱することが考えられます。[ 16 ]