Usenetニュースグループ

Usenetニュースグループは、インターネットを使用してさまざまな場所のユーザーから投稿されたメッセージを保存するための、通常はUsenetシステム内のリポジトリです。これらは、ディスカッション グループや会話だけでなく、記事を公開したり、Linux の作成などの開発タスクを開始したり、メーリング リストやファイルのアップロードを維持したりするためのリポジトリでもあります。^{[ 1 ] [ 2 ] [ 3 ]}これは、記事のサイズ制限がないプロトコルのおかげです。制限はプロバイダによって決定されます。1980 年代後半には、Usenet の記事はプロバイダによって 60,000 文字に制限されることがよくありましたが、時間が経つにつれて、Usenet グループは 2 つのタイプに分割されました。1 つは主にディスカッション、会話、記事用のテキストで、ほとんどのプロバイダによって約 32,000 文字に制限されています。もう 1 つはファイル転送用のバイナリで、プロバイダによって制限が 1 MB 未満から約 4 MB まで設定されています。ニュースグループは、技術的にはWorld Wide Webのディスカッション フォーラムとは異なりますが、機能的には似ています。ニュース リーダーソフトウェアは、ニュース グループのコンテンツを読み取るために使用されます。ワールドワイドウェブが普及する以前は、Usenetニュースグループが最も人気のあるインターネットサービスの1つだった。

通信は、Usenet サーバーへの接続とインターネット経由でのデータ転送を可能にするネットワークニュース転送プロトコル(NNTP) によって促進されます。電子メール メッセージに使用される別の初期の (しかし現在も使用されている) プロトコルSMTPと同様に、NNTP はサーバー間通信とクライアントサーバー間通信の両方を可能にします。これは、ニュース グループをサーバー間で複製できることを意味し、組み込みのデータ冗長性の結果として、Usenet ネットワークは堅牢なデータ永続性を維持することができます。ただし、ほとんどのユーザーは NNTP のクライアント サーバー コマンドのみを使用してアクセスし、ほとんどの場合、NNTP プロトコルで指定されているコマンドライン ベースのクライアント サーバー通信ではなく、GUI を使用してブラウジングします。^{[ 4 ]}

ニュースグループは通常、バイナリ形式とテキスト形式の2種類に分けられます。バイナリ形式では、個々のメッセージのサイズは数メガバイトに制限されます。テキスト形式では、テキストグループのサイズは数十キロバイトに制限されます。両者に技術的な違いはありませんが、名称の違いによって、設備が限られているユーザーやサーバーは、サイズの大きいバイナリグループを削除することで、ネットワーク帯域幅の使用量を最小限に抑えることができます。かつて、電話モデムの転送速度がキロバイト単位だった時代には、Usenetの慣習やルールは、ネットワークトラフィックとリソース使用量の全体量を最小限に抑えるために制定されましたが、今日では、プロバイダによって課せられた上記のメッセージサイズの上限のみが遵守されています。

ニュースグループは通常、特定の関心のあるトピックに焦点を当てています。ニュースグループに投稿するために送信されるメッセージは「投稿」と呼ばれます。一部のニュースグループでは、メンバーが話題として取り上げたいあらゆるテーマについて投稿を許可していますが、他のニュースグループでは特定のトピックに厳密に限定し、話題から外れた投稿を禁止しています。ニュース管理者（ニュースサーバーの管理者）は、投稿がサーバー上で期限切れ（削除）になるまでの期間を決定します。これを保持期間と呼びます。同じニュースグループでも、サーバーによって保持期間は異なります。1週間または2週間しか保持しないサーバーもあれば、何年も保持するサーバーもあります。

初期のコミュニティが先駆的なコンピュータ協会だった頃は、多くの投稿に共通していた習慣として、投稿者が投稿に個人的な利害関係（金銭的、政治的、その他）を持っているかどうか（あるいは持っていないかどうか）を明記する注意書きが最後に添えられていました。現在ではこうした注意書きは少なくなり、他のメディアと同様に、投稿はより懐疑的に読む必要があります。プライバシーやフィッシング詐欺の問題も重要性を増しています。

Usenetニュースグループの投稿者や運営者は、通常、プラットフォーム上での活動から収入を得ていない。

ニュースグループの数は、1983年の時点で100以上^{[ 5 ]}から11万以上に増加しましたが、そのうちアクティブなのは2万程度です^{[ 6 ]} 。ニュースグループの人気度は様々で、年間10数件の投稿しかないニュースグループもあれば、最も人気のあるニュースグループでは1時間以内に数千件の投稿があります。

バイナリ

ニュースグループは、画像、音声、動画などのファイルを配布する目的で作成されたものではありませんが、実際にはその目的に非常に効果的であることが証明されています。2022年現在、一部のニュースグループは、ファイルの共有やダウンロードにおいてBitTorrentの代替手段として依然として人気があります。^{[ 8 ]}

ニュースグループは広く分散しているため、一度アップロードされたファイルは他の多くのサーバーに拡散され、無制限の数のユーザーがダウンロードできるようになります。さらに便利なのは、ピアツーピア技術のように接続が制限されている可能性のある遠隔地のマシンからダウンロードするのではなく、ローカルのニュースサーバーからダウンロードできる点です。実際、ニュースグループのもう一つの利点は、ユーザーがファイルを共有することが通常期待されていないことです。すべてのユーザーがアップロードを行うとサーバーが過負荷状態になるため、ユーザーがファイルをダウンロードするだけで十分であり、多くの場合推奨されています。

Usenet を介したバイナリファイルの転送には、当初いくつかの障害がありました。Usenet はもともとテキストの送信を念頭に設計されていたため、投稿のエンコードによって、データがプロトコルの文字セットに含まれていない場合、バイナリデータが失われるという問題が発生しました。そのため、長い間、バイナリデータをそのまま送信することは不可能でした。この問題を回避するために、Uuencode、後にBase64、yEncなどのコーデックが開発され、送信するファイル (音声ファイルや動画ファイルなど) のバイナリデータを、Usenet を介して送信しても失われないテキスト文字にエンコードしました。受信側では、ユーザーのニュースクライアントでデータをデコードする必要がありました。

さらに、個々の投稿のサイズには制限があったため、大きなファイルを単一の投稿として送信することはできませんでした。この問題を解決するために、長いファイルを複数の投稿に分割できるニュースリーダーが開発されました。受信側のインテリジェントなニュースリーダーは、分割されたファイルを自動的に単一のファイルにグループ化し、ユーザーが簡単にファイルを取得できるようにしました。これらの進歩により、Usenetは1日に何テラバイトものファイルを送受信するために利用されるようになりました。

ニュースグループ経由で大容量ファイルを送信する際に問題となる主な課題は2つあります。1つ目は完了率、もう1つは保持率です。プレミアムニュースサーバーのビジネスは、主に優れた完了率と保持率、そしてユーザーへの非常に高速な接続を提供できる能力によって成り立っています。完了率は、ユーザーが分割された大容量ファイルをダウンロードしたい場合に重要になります。いずれかの部分が欠落していると、目的のファイルを正常にダウンロードして再構成することは不可能です。この問題を回避するために、Parchive（PAR）と呼ばれる冗長化方式が一般的に使用されています。

多くの主要なニュースサーバーは、7年以上の保持期間を持っています。^{[ 9 ]}バイナリニュースグループに投稿されたファイルのインデックスを保持するためのウェブサイトが多数存在します。

保存期間が長いことや、アップロードとダウンロードの速度が上がっていることもあって、Usenet は個人がバックアップデータを保存するのにも使われており、 Usenet バックアップ、または uBackupと呼ばれる手法が用いられています。 ^{[ 10 ]}商用プロバイダーは使いやすいオンライン バックアップ サービスを提供していますが、Usenet にデータを保存するのは無料です (Usenet 自体へのアクセスは無料ではない場合があります)。ユーザーは手動でデータを選択、準備、アップロードする必要があります。バックアップ ファイルは誰でもダウンロードできるため、データは通常暗号化されています。ファイルがアップロードされると、アップロード者はそれらを制御できなくなります。アップロード先のニュース グループを購読しているすべての Usenet プロバイダーに自動的に配布されるため、世界中にコピーが拡散されます。

ネットワーク内およびネットワーク境界での伝送には、ネットワークニュース転送プロトコル（NNTP）（インターネット標準RFC 3977（2006年）、RFC 977（1986年）を更新）が使用されます。

ニュースグループサーバーは、さまざまな組織や機関によって運営されています。ほとんどのインターネットサービスプロバイダは、自社のニュースサーバーを運営しているか、加入者向けにサーバーへのアクセスを貸し出しています。また、有料ニュースサーバーへのアクセスを販売する企業も多数存在します。

ニュースサーバーの各ホストは、近隣の他のニュースサーバーと定期的に同期するための協定を結んでいます。このようにして、ニュースサーバーは冗長なネットワークを形成します。ユーザーが1つのニュースサーバーに投稿すると、その投稿はローカルに保存されます。そのサーバーは、自身と接続しているニュースグループについて、投稿をサーバーと共有します。これらのサーバーも同様に、投稿をネットワーク全体に拡散します。広く配信されていないニュースグループの場合、配信を支援するために、クロスポストにキャリアグループが使用されることがあります。これは通常、削除されたグループまたは新しいalt.*グループにのみ有効です。Big 8およびalt.*階層以外の階層間でのクロスポストは、失敗しやすい傾向があります。

ニュースグループは階層構造になっていることが多く、理論的には関連するグループを見つけやすくなっています。トップレベル階層とは、最初のドットの前に付く接頭辞で定義される階層構造を指します。

最もよく知られている階層構造はUsenetの階層構造です。例えば、ニュースグループrec.arts.sf.starwars.gamesは、 rec.*という最上位のUsenet階層に属します。ここで、アスタリスク(*)はワイルドカード文字として定義されています。Usenetニュースグループには、元々「ビッグ7」と呼ばれる7つの主要な階層構造がありました。

• comp.* — コンピュータ関連の話題についての議論
• ニュース* — Usenet自体についての議論
• 科学* — 科学的な主題についての議論
• rec.* — レクリエーション活動（例：ゲームや趣味）についての議論
• soc.* — 社会的な交流や社会問題に関する議論。
• トーク* — 宗教や政治などの論争の的となる問題についての議論。
• misc.* — その他の議論—他の階層に当てはまらないものすべて。

これらはすべて1986年から1987年の大規模な名称変更で作成されたもので、それ以前はこれらのニュースグループはすべてnet.*階層に属していました。当時、どのニュースグループを許可すべきかについて大きな論争がありました。Usenetの陰謀団（当時ビッグ7を実質的に運営していた）が許可されなかったニュースグループの中には、レシピ、娯楽用ドラッグの使用、セックスに関するものがありました。

この状況により、 alt.* （「alternative」の略）Usenet階層が作成され、その下でこれらのグループが許可されることになった。時間が経つにつれ、Big 7と比較してalt.*のニュースグループ作成に関する規則が緩かったため、多くの新しいトピックが、時間をかければBig 7ニュースグループになるほどの人気を獲得できるようになった。その結果、alt.*は急速に成長し、その傾向は今日まで続いている。これらのグループが無政府主義的な性質で出現したことから、ALTは「A narchists , L unatics and T errorists」（バクロニム）の略だと冗談めかして言う人もいた。

1995年に人文科学（文学、哲学など）の議論のためにhumanities.*が創設され、ビッグ7はビッグ8になった。

alt .*階層にはあらゆる種類のトピックに関する議論があり、特定の地理的地域や英語以外の言語での議論のための階層も多数存在します。

Big 8 の新しいニュースグループを作成するには、まずニュースグループ news.announce.newgroups に RFD (Request For Discussion) を投稿する必要があります。投稿された RFDはnews.groups.proposalsで議論されます。提案が名前、説明、規約とともに正式に決定されたら、Big-8 管理委員会がグループを作成するかどうかを投票で決定します。Big -8 管理委員会が提案を承認すると、グループが作成されます。グループの削除も同様の手順で行われます。

alt.* 階層に新しいグループを作成する場合、同じルールは適用されません。誰でもニュースグループを作成したり削除したりできますが、ローカルユーザーがグループ名を指定して要求しない限り、ほとんどのニュース管理者はこれらの要求を無視します。

• ニュースグループ一覧
• Usenetニュースリーダー一覧
• 代替*階層
• ニュースクライアント
• NNTP
• ニュースアグリゲーター

• ビッグ8経営委員会
• ニュースグループ階層のマスターリスト（Usenet階層のアルファベット順リスト）— Wayback Machineにアーカイブ済み（2006年4月28日アーカイブ）