Amazon Mechanical Turk ( MTurk ) は、企業が遠隔地にいる「クラウドワーカー」を雇用して、コンピュータでは現在経済的に実行できない個別のオンデマンドタスクを実行できるクラウドソーシングWeb サイトです。Amazon Web Services で運営され、Amazon が所有しています。[ 1 ] 依頼者 と呼ばれる雇用主は、画像や動画内の特定のコンテンツの識別、製品説明の作成、アンケートへの回答など、ヒューマン インテリジェンス タスク(HIT ) と呼ばれるジョブを投稿します。Turkerまたはクラウドワーカー と呼ばれるワーカーは、既存のジョブを閲覧し、依頼者が設定した報酬と引き換えにジョブを完了します。ジョブを投稿するには、依頼者はオープンなアプリケーション プログラミング インターフェイス (API) またはより制限された MTurk Requester サイトを使用します。[ 2 ] 2019 年 4 月現在 申請者は承認された49か国から登録できる。[ 3 ] これはチェス マシンであるメカニカルターク にちなんで名付けられた。[ 4 ]
歴史 このサービスは、 2001年にベンキー・ハリナラヤン が米国特許開示で考案したものです。 [ 5 ] [ 6 ] [ 7 ] Amazonは、コンピュータプログラムの一部を人間にアウトソーシングするプロセス、つまりコンピュータよりも人間の方がはるかに速く実行できるタスクに対して、 「人工知能」 という用語を作り出しました。MTurkのプロダクトディレクターであるピーター・コーエンは、ジェフ・ベゾス が最初にこの概念を提案した人物であると特定しました。[ 8 ]
「メカニカル・ターク」 という名前は、 18世紀に作られた同名のチェス 自動人形(通称「 トルコ人 」)に由来しています。ハンガリーの作家兼エンジニア、ヴォルフガング・フォン・ケンペレン によって作られたこの機械は、ヨーロッパ各地を巡業し、ナポレオン・ボナパルト とベンジャミン・フランクリンの 両方を打ち負かすなど、国際的な注目を集めました。後に、この「機械」は自動人形ではなく、盤の下のキャビネットに隠れた人間のチェス名人 が操り人形の動きを操作していたことが明らかになりました。同様に、オンラインサービス「メカニカル・ターク」は、コンピューターインターフェースの背後に隠れた遠隔地の人間の労働力を利用して、真の機械では現在不可能な作業を雇用主が実行できるように支援しています。
MTurkは2005年に開始されました。[ 9 ] 2007年3月には、100か国以上で10万人以上のワーカーがいたと報告されています。[ 10 ] 2011年1月には、190か国以上から50万人以上の登録ワーカーに増加しました。 [ 11 ] 同年、Techlistは、世界中の5万人のMTurkワーカーの所在地を示すインタラクティブマップを公開しました。[ 12 ] 2018年までに、調査により、プラットフォーム上で常に10万人以上のワーカーが利用可能であったものの、実際に作業していたのは約2,000人だけであったことが明らかになりました。[ 13 ]
概要 Mechanical Turkのユーザーは、「ワーカー」(請負業者)または「リクエスター」(雇用主)のいずれかになります。ワーカーは、総収入、HITステータス、HIT合計の3つのセクションを表示するダッシュボードにアクセスできます。ワーカーは自分の勤務時間を自由に設定でき、特定のタスクを引き受ける義務はありません。
Amazonは、労働者を従業員ではなく請負業者として分類し、給与税を支払っていません。労働者を請負業者として分類することで、Amazonは 最低賃金 、残業代 、労災補償 などを回避できます。これは「ギグエコノミー」プラットフォームでよく見られる慣行です。MTurkの労働者の大多数が居住する米国では、労働者は収入を自営業 所得 として申告することが法律で義務付けられています。労働法がより厳格な国ではこの制度の法的側面が異なるため、このプログラムが実際に国際的に利用可能かどうかは不確実です。
2013年、割り当てられた複数のマイクロタスクを迅速に実行した場合の平均賃金は、1時間あたり約1ドルで、各タスクの平均は数セントでした。[ 14 ] しかし、マイクロタスクサイトでの人々の平均的な時給を計算することは非常に難しく、いくつかのデータソースは、かなりの数のワーカーの間で平均時給が1時間あたり5~9ドルの範囲であることを示しています[ 15 ] [ 16 ] [ 17 ] [ 18 ] が、最も経験豊富で活動的で熟練したワーカーは、1時間あたり20ドル以上を稼ぐ可能性があります。[ 19 ]
労働者は世界中のどこにでも郵便住所を持つことができます。作業完了に対する報酬は、Amazon.comのギフト券 (インドを除く海外の労働者が利用できる唯一の支払い方法)で受け取るか、労働者の米国の銀行口座に送金することができます。
依頼者は、作業員が作業を開始する前に資格要件を満たすよう要求することができ、資格を検証するためのテストを設定することもできます。また、依頼者は作業員から送られてきた結果を受け入れるか拒否するかを選択でき、これは作業員の評判に影響します。2019年4月現在 依頼者は、完了した仕事の価格に対して最低20%の手数料をAmazonに支払い、追加サービス の場合はその金額が増額されます。[ 10 ] 依頼者はAmazon Mechanical Turk APIを使用して、作業結果を自社のビジネスプロセスやシステムに直接プログラムで統合できます。雇用主が仕事を設定する際には、以下の項目を指定する必要があります。
HIT 1 件達成ごとにいくら支払われますか、 各HITに何人の作業員を配置したいか、 労働者が単一のタスクに取り組むことができる最大時間、 労働者が作業を完了するのにどれくらいの時間があるか、 また、依頼したい仕事の具体的な内容についても伝える。
トルコ人の所在地 プラットフォームの立ち上げ以来、労働者は主に米国に拠点を置いており[ 20 ]、 その人口統計は概ね米国のインターネット人口全体と類似している[ 21 ]。 米国内では、労働者は各州の米国人口に占める割合に比例して、各州にほぼ均等に分布している[ 22 ] 。 2019年現在 米国では毎月1万5千人から3万人が少なくとも1つのHITを完了しており、毎月約4,500人の新規ユーザーがMTurkに参加している。[ 23 ]
インド人労働者への現金支給は2010年に導入され、労働者の人口統計が更新されたが、労働者の大部分は依然として米国に留まっていた。[ 24 ] 2015年5月の労働者の人口統計を示すウェブサイトによると、労働者の80%が米国に、残りの20%が世界の他の地域におり、そのほとんどはインドにいた。[ 25 ] 2019年5月には、約60%が米国に、40%が他の地域(約30%がインド)にいた。[ 26 ] 2023年初頭には、労働者の約90%が米国出身で、残りの約半分がインド出身だった。[ 27 ]
用途
人間を対象とした研究 2010年以来 数多くの研究者が、社会科学実験の被験者募集にメカニカルタークが利用できるかどうかを調査してきた。研究者たちは概して、メカニカルタークを通じて得られた回答者のサンプルは、米国人口の関連する特性すべてに完全に一致するわけではないが、大きく代表性を欠くものでもないことを発見した。[ 28 ] [ 29 ] その結果、メカニカルタークの作業者から収集したデータに基づく論文が毎年何千本も発表されており、その中にはトップランクの学術誌に掲載された数百本も含まれている。
MTurk を人間を対象とした研究に使用する際の課題は、データ品質の維持です。2021 年に発表された研究では、研究者が使用する品質管理アプローチの種類 (ボット、VPN 使用者、または不正な回答を提出する意思のあるワーカーのチェックなど) が調査結果に大きな影響を与える可能性があることがわかりました。彼らは、3 つの一般的な行動/メンタルヘルスケアスクリーニングツールへの影響を通じてこれを実証しました。[ 30 ] データ品質の管理には研究者の作業が必要ですが、MTurk から高品質のデータを収集する方法を示す研究が多数あります。[ 31 ] [ 32 ] [ 33 ] MTurk の使用コストは、他の多くの調査方法よりもかなり低いため、多くの研究者が引き続き使用しています。
研究者の間では、このサービスは多様なサンプルを募集するのに最適であり、より厳密に定義された母集団を必要とする研究や、母集団全体を代表するサンプルを必要とする研究にはあまり適していないという共通認識がある。[ 34 ] MTurk の人口統計に関する論文が多数発表されている。[ 22 ] [ 35 ] [ 36 ] MTurk の労働者は、米国全体の人口と比較して、若く、教育水準が高く、リベラルで、やや裕福でない傾向がある。[ 37 ]
機械学習 教師あり機械学習 アルゴリズムは、正常にトレーニングするために大量の人間が注釈を付けたデータを必要とします。機械学習の研究者は、質問応答 データセットであるSQuADなどのデータセットを作成するために、Mechanical Turkを通じてワーカーを雇用してきました。[ 38 ]
行方不明者の捜索 2007年以来 このサービスは、行方不明の著名人の捜索にも利用されてきた。この利用法は、ジェームズ・キム の捜索中に初めて提案されたが、技術的な進歩が見られる前に彼の遺体が発見された。その年の夏、コンピュータ科学者のジム・グレイが ヨットで行方不明になり、個人的な友人であるアマゾンのヴェルナー・フォーゲルスは、Google マップと Google Earth に衛星データを提供している DigitalGlobe に、ファラロン諸島の最近の写真を Mechanical Turk に掲載するよう手配した 。Digg の トップページ の記事 に は12,000人の捜索者が集まり、同じデータを使って画像専門家と協力した。捜索は成功しなかった。[ 39 ]
2007 年 9 月、同様の手法が飛行士スティーブ・フォセットの捜索 でも繰り返された。衛星データは85 平方メートル (910 平方フィート ) の セクションに分割され、Mechanical Turk のユーザーに、墜落現場またはより詳しく調査すべきその他の証拠である可能性のある「異物」を含む画像にフラグを立てるよう依頼された。[ 40 ] この捜索も成功しなかった。衛星画像はほとんどが半径 50 マイル以内であったが、[ 41 ] 墜落現場は最終的に約 1 年後にハイカーによって 65 マイル離れた場所で発見された。[ 42 ]
芸術作品 MTurk は芸術創作のツールとしても使われてきました。Mechanical Turk を最初に使ったアーティストの一人は、xtine burrough で、The Mechanical Olympics (2008) [ 43 ] [ 44 ] Endless Om (2015) やMediations on Digital Labor (2015) [ 45 ] [ 46 ] などの作品があります。また、アーティストのAaron Koblin のTen Thousand Cents (2008) もその一つです。
サードパーティ製プログラミング プログラマーは、作業完了プロセスを簡素化するように設計されたブラウザ拡張機能やスクリプト を開発しました。Amazon は、プロセスを完全に自動化し、人間の要素を排除するスクリプトを承認しないと述べています。これは、タスク完了プロセス (たとえばアンケートへの回答) がランダムな回答で不正操作される可能性があり、結果として収集されたデータが無価値になる可能性があるという懸念があるためです。[ 47 ] いわゆる自動ボットを使用するアカウントは禁止されています。MTurkに機能を拡張するサービスもあります。
API Amazon はMTurk システム用のアプリケーション プログラミング インターフェイス (API)を提供しています。MTurk API を使用すると、プログラマーはジョブを送信したり、完了した作業を取得したり、その作業を承認または拒否したりできます。 [ 48 ] 2017 年に Amazon は AWS ソフトウェア開発キット (SDK) のサポートを開始し、MTurk ユーザーが利用できる新しい SDK が 9 つ追加されました。MTurk は、Python、JavaScript、Java、.NET、Go、Ruby、PHP、または C++ の言語から API を介してアクセスできます。[ 49 ] Web サイトや Web サービスは、API を使用して MTurk の作業を他の Web アプリケーションに統合し、Amazon がこれらの機能用に構築したインターフェイスの代替手段をユーザーに提供できます。
使用例
写真・動画の処理Amazon Mechanical Turkは、人間の知能に適したタスクである画像処理のためのプラットフォームを提供しています。依頼者は、画像内のオブジェクトにラベルを付けたり、画像グループの中から最も関連性の高い画像を選択したり、不適切なコンテンツを選別したり、衛星画像内のオブジェクトを分類したり、手書きで記入されたスキャンされたフォームなどの画像からテキストをデジタル化したりするタスクを作成しています。[ 50 ]
データクリーニング/検証大規模なオンラインカタログを持つ企業は、重複を特定し、アイテムエントリの詳細を確認するために Mechanical Turk を使用しています。たとえば、イエローページディレクトリのリストから重複を削除したり、レストランの詳細 (電話番号や営業時間など) を確認したり、Web ページから連絡先情報 (著者名やメールアドレスなど) を見つけたりします。[ 14 ] [ 50 ]
Mechanical Turkの多様な人材と規模により、クラウドプラットフォーム以外では困難な大規模な情報収集が可能になります。Mechanical Turkを利用することで、依頼者は基本的な人口統計から学術研究まで、さまざまな種類の調査に対する多数の回答を集めることができます。その他の用途としては、ウェブサイトへのコメント、説明、ブログ記事の執筆、大規模な政府文書や法律文書内のデータ要素や特定のフィールドの検索などがあります。[ 50 ]
データ処理 企業は、さまざまな種類のデータを理解し、それに対応するために、Mechanical Turk のクラウド労働力を使用しています。一般的な用途としては、ポッドキャストの編集と文字起こし、翻訳、検索エンジンの結果のマッチングなどがあります。[ 14 ] [ 50 ]
研究の妥当性 Mechanical Turkのワーカープールを使用して実施された研究の妥当性については、専門家の間で長らく議論されてきた。[ 51 ] これは主に、妥当性の問題[ 52 ] [ 53 ] が複雑であるためである。妥当性の問題には、研究方法が適切であったか、研究が適切に実施されたかという問題だけでなく、プロジェクトの目標、研究者がMTurkをどのように使用したか、誰がサンプリングされたか、どのような結論が導き出されたかという問題も含まれる。
ほとんどの専門家は、MTurk は研究の種類によって適した点が異なることに同意しています。MTurk は、2 つ以上の事柄が互いに関連しているかどうかを理解しようとする質問 (相関研究と呼ばれます。例: 幸せな人はより健康か?) や、ある事柄が別の事柄を引き起こすことを示そうとする質問 (実験研究。例: 幸せであることは人々をより健康にする) に適しているようです。幸いなことに、これらのカテゴリーは行動科学者によって行われる研究の大部分を網羅しており、全国的に代表性のあるサンプルで得られた相関研究および実験研究の結果のほとんどは MTurk 上で再現されます。[ 54 ]
MTurk に適さないタイプの研究は、しばしば「記述的研究」と呼ばれます。記述的研究は、人々がどのように考え、感じ、行動するかを記述しようとするもので、世論調査はその一例です。MTurk は一般人口の代表サンプルを選択しないため、このような研究には適していません。MTurk は、非確率的な便宜的サンプルです。記述的研究は、研究者が理解したい人口の確率に基づいた代表サンプルを使用して行うのが最適です。一般人口と比較すると、MTurk のユーザーは若く、教育水準が高く、リベラルで、宗教心が低い傾向があります。[ 55 ] [ 22 ] [ 36 ]
労働問題 Mechanical Turkは、労働者との関わり方や労働力の利用方法について、ジャーナリストや活動家から批判を受けてきた。コンピュータ科学者のジャロン・ラニアー は、Mechanical Turkの設計が 「人々をソフトウェアの構成要素として考えさせる」ことで、「まるでクラウドから信じられないほど低コストで結果を簡単に引き出せるかのような魔法のような感覚」を喚起すると指摘した。[ 56 ] メアリー・L・グレイとシッダールト・スリの著書『Ghostwork』でも同様の指摘がなされている。 [ 57 ]
MTurkの批判者たちは、労働者は不安定な経済状況によってこのサイトに追い込まれ、その後、紛争が発生した際に低賃金で権限のない依頼者によって搾取されると主張している。ジャーナリストのアラナ・セミュエルズがアトランティック誌 に寄稿した記事「インターネットは新たな低賃金地獄を可能にしている」は、MTurkに対するこうした批判の典型例である。[ 58 ]
いくつかの学術論文は、そのような一般的な批判を裏付ける、あるいはその根拠となる知見を得ているが、[ 59 ] [ 60 ] 他の論文はそれらに反論している。[ 61 ] [ 62 ] 最近の学術論評では、MTurk のようなサイトの研究参加者は、倫理上の問題として、後で支払いが拒否される可能性がある状況について明確に警告されるべきであると主張しているが、[ 63 ] そのような説明は不注意な回答率を低下させないかもしれない。[ 64 ]
CloudResearchのチームが発表した論文[ 18 ] によると、MTurkの利用者のうち、HITの完了をフルタイムの仕事のようなものだと考えている人は約7%に過ぎない。ほとんどの人は、MTurkは余暇時間にお金を稼ぐ方法、あるいは副業だと答えている。2019年には、平均的な利用者は週に5~8時間働き、時給は約7ドルだった。調査対象となった利用者は、依頼者による横行する 虐待を報告しておらず、MTurk以外の雇用主よりも依頼者を信頼していると答えている。同様の調査結果は、クラウドワーカーと労働組合の集まりであるFair Crowd Work組織によるMTurkのレビューでも発表されている[ 65 ] 。
金銭的補償 Amazonがタスクに対して許可する最低支払額は1セントです。タスクは通常単純で反復的なため、ほとんどのタスクは数セントしか支払われませんが、[ 66 ] [ 67 ] サイトには高収入のタスクもあります。
MTurkに対する多くの批判は、タスクの大部分が低賃金であることに起因しています。さらに、労働者は従業員ではなく独立請負業者とみなされています。独立請負業者は 、公正労働基準法 やその他の労働者の権利を保護する法律の対象外です。MTurkの労働者は、質の高いHIT案件を巡って他の労働者と競争しなければならないだけでなく、報酬のないタスク探しやその他の作業に時間を費やす必要もあります。
多くのタスクに対して提示された報酬が低いことから、Mechanical Turk は労働者を搾取し、完了したタスクの真の価値に見合った報酬を支払っていないとして批判されている。[ 68 ] 2,767 人の労働者によって完了された 380 万のタスクに関するある調査では、「労働者の時給の中央値は約 2 ドル」であり、労働者の 4% が時給 7.25 ドル以上を稼いでいることが示された。[ 69 ]
ピュー・リサーチ・センターと国際労働機関は、2015年に人々が時給約5.00ドルを稼いでいたことを示すデータを公表した。[ 16 ] [ 70 ] 米国の労働者に焦点を当てた調査では、平均賃金は少なくとも時給5.70ドルであることが示され、[ 71 ] CloudResearchの調査データでは、平均賃金は約時給6.61ドルであることが判明した。[ 18 ] 非常に活動的で経験豊富な人は、時給20ドル以上を稼ぐことができるという証拠もある。[ 72 ]
詐欺 2014年にNation 誌は、一部の依頼者が、作業者にタスクを実行させた後、支払いを避けるために提出物を拒否することで、作業者を悪用していたと報じた。 [ 73 ] 入手可能なデータによると、拒否はかなりまれである。作業者は、HITのごく一部、おそらく1%程度が拒否されたと報告している。 [ 18 ]
Facebook–Cambridge Analyticaのデータスキャンダル では、Mechanical Turkが大規模なデータベースのために個人情報を密かに収集する手段の一つとして使われていました。[ 74 ] このシステムは、 Facebook に接続されたアプリをインストールして個人的な質問に答えることで、1ドルか2ドルを支払っていました。このアンケート調査は、一見すると人口統計学的または心理学的研究プロジェクトに思えるかもしれませんが、請負作業として行われたもので、実際にはFacebookやMechanical Turkによって既に収集されていない、労働者の身元に関する個人情報を明らかにするよう労働者を誘い出すことが目的でした。
労使関係 マーケットプレイスでは労働者が雇用主と交渉できないという批判もある。支払いの回避や代表権の欠如に対する批判に応えて、あるグループが、労働者が雇用主についてフィードバックを提供できるTurkopticonというサードパーティのプラットフォームを開発した。これにより、労働者は悪質な仕事を避け、より良い雇用主を推薦することができる。[ 75 ] [ 76 ] Dynamoという別のプラットフォームでは、労働者が匿名で情報を収集し 、学術依頼者向けガイドラインやジェフ・ベゾス様キャンペーンなど、労働環境を改善するためのキャンペーンを組織することができる。[ 77 ] [ 78 ] [ 79 ] [ 80 ] Amazonは、Dynamoメンバーシップに必要なコードを提供するリクエストアカウントを閉鎖することで、労働者がDynamoに登録することをより困難にした。労働者は、より高額な報酬のタスクを識別するサードパーティのプラグインを作成したが、Amazonはこれらのプラグインが機能しないようにウェブサイトを更新した。[ 81 ] 労働者は、Amazonの支払いシステムが時々機能しなくなると不満を述べている。[ 81 ]
参考文献 ↑ 「Amazon Mechanical Turk、FAQページ」 。 2017年 4月14日 取得 。 ↑ 「概要 | リクエスター | Amazon Mechanical Turk」 。Requester.mturk.com 。 2011年11月28日 取得 。 ↑ 「Amazon Mechanical Turk 」 。www.mturk.com 。 ↑ Feurer, Rosemary (2024-09-18). "AmazonのMechanical Turk: 歴史的展望" . LAWCHA . 2025-11-30 に取得. ↑ 「ハイブリッド機械/人間コンピューティング配置」 。2001年。 2018年6月12日に オリジナル からアーカイブ済み 。 2016年 7月28日 に取得。 ↑ 「ハイブリッド機械/人間コンピューティング配置」 。2001年。 2018年6月12日に オリジナル からアーカイブ済み 。 2016年 7月28日 に取得。 ↑ 米国特許第7,197,459号 ↑ 「人工知能」 。 エコノミスト誌 。2006年6月10日。 ↑ 「クラウドソーシング時代の研究、事例研究」 ピュー・リサーチ・センター。 2025年 2月18日 取得 。 1 2 「Mturk の料金設定」 . AWS . Amazon. 2019 . 2019 年 4 月 16 日 に取得. ↑ 「AWS開発者フォーラム」 。 2012年 11月14日 取得 。 ↑ Tamir, Dahn. "50000人の世界的なメカニカルタークワーカー" . techlist . 2014年 9月17日 取得 . ↑ Djellel, Difallah; Filatova, Elena; Ipeirotis, Panos (2018). "Mechanical Turkワーカーの人口統計と動態". 第11回ACM国際Web検索・データマイニング会議議事録 (PDF) . pp. 135–143 . doi : 10.1145/3159652.3159661 . ISBN 978-1-4503-5581-0 . S2CID 22339115 . 1 2 3 「Amazon Mechanical Turk:デジタル版スウェットショップ」エレン・クッシング著 Utne Reader 2013年1月~2月号 ↑ Berg, Janine (2015–2016). 「オンデマンド経済における所得保障:クラウドワーカー調査からの知見と政策的教訓」 . 比較労働法・政策ジャーナル . 37 : 543. 1 2 Geiger, Abigail (2016-07-11). "クラウドソーシング時代の研究、ケーススタディ" . Pew Research Center: Internet, Science & Tech . 2023-01-09 に取得. ↑ 「Amazon Mechanical Turk - 公正なクラウドワーク」 。 2023年1月9日 取得 。 1 2 3 4 Moss, Aaron J; Rosenzweig, Cheskie; Robinson, Jonathan; Jaffe, Shalom Noach; Litman, Leib (2020-04-28)、「 行動研究にMechanical Turkを使用することは倫理的か?MTurk参加者と賃金に関する代表的な調査からの関連データ」 、 doi : 10.31234/osf.io/jbc9d 、 S2CID 236840556、2025-03-28 に 取得 ↑ 「MTurkはクラウドワーカーを募集する最も倫理的な方法です」 。 ブログ | TurkerView 。2019年11月18日。 2023年1月9日 閲覧 。 ↑ Panos Ipeirotis (2008年3月19日). 「Mechanical Turk: The Demographics」 . ニューヨーク大学. 2009年7月30日 取得 . ↑ Panos Ipeirotis (2009年3月16日) 「Turkerの人口統計とインターネットの人口統計」 ニューヨーク大学。 2009年7月 30日取得 。 1 2 3 Litman, Leib (2020). Amazon Mechanical Turk およびその先でのオンライン調査の実施 。Jonathan Robinson (第 1 版 )。ロサンゼルス。ISBN 978-1-5063-9111-3 OCLC 1180179545。 {{cite book}}: CS1メンテナンス: 場所の発行元が見つかりません (リンク)↑ Robinson, Jonathan; Rosenzweig, Cheskie; Moss, Aaron J.; Litman, Leib (2019-12-16). Sudzina, Frantisek (編). "Tapped out or barely tapped? Recommendations for how to harness the vast and mostly unused potential of the Mechanical Turk participants pool" . PLOS ONE . 14 (12) e0226394. Bibcode : 2019PLoSO..1426394R . doi : 10.1371/journal.pone.0226394 . ISSN 1932-6203 . PMC 6913990. PMID 31841534 . ↑ Panos Ipeirotis (2010年3月9日) 「Mechanical Turkの新しい人口統計」 ニューヨーク 大学。 2014年3月24日 取得 。 ↑ 「MTurk Tracker」 . demographics.mturk-tracker.com . 2015年 10月1日 取得 。 ↑ 「MTurk Tracker」 . demographics.mturk-tracker.com . 2019年 5月2日 取得 。 ↑ 「MTurk Tracker」 . demographics.mturk-tracker.com . 2023年 4月17日 取得 。 ↑ Casey, Logan; Chandler, Jesse; Levine, Adam; Proctor, Andrew; Sytolovich, Dara (2017). "MTurkワーカー間の時間的差異:時間ベースのサンプル変動とオンラインデータ収集への影響" . SAGE Open . 7 (2): 215824401771277. doi : 10.1177/2158244017712774 . ↑ Levay, Kevin; Freese, Jeremy; Druckman, James (2016). "Mechanical Turk サンプルの人口統計学的および政治的構成" . SAGE Open . 6 2158244016636433: 215824401663643. doi : 10.1177/2158244016636433 . ↑ Agley, Jon; Xiao, Yunyu; Nolan, Rachael; Golzarri-Arroyo, Lilian (2021). "AmazonのMechanical Turk (MTurk)における品質管理質問:USAUDIT、PHQ-9、GAD-7への影響に関するランダム化試験" . Behavior Research Methods . 54 (2): 885– 897. doi : 10.3758/s13428-021-01665-8 . ISSN 1554-3528 . PMC 8344397 . PMID 34357539 . ↑ Hauser, David; Paolacci, Gabriele; Chandler, Jesse J. (2018-09-01), Common Concerns with MTurk as a Participant Pool: Evidence and Solutions , doi : 10.31234/osf.io/uq45c , S2CID 240258666 ↑ Clifford, Scott; Jerit, Jennifer (2016). 「オンライン調査における政治知識に関する質問への不正行為:問題と解決策の評価」 . Public Opinion Quarterly . 80 (4): 858– 887. doi : 10.1093/poq/nfw030 . ISSN 0033-362X . ↑ Hauser, David J.; Moss, Aaron J.; Rosenzweig, Cheskie; Jaffe, Shalom N.; Robinson, Jonathan; Litman, Leib (2022-11-03). "Evaluating CloudResearch's Approved Group as a solution for problematic data quality on MTurk" . Behavior Research Methods . 55 (8): 3953– 3964. doi : 10.3758/s13428-022-01999-x . ISSN 1554-3528 . PMC 10700412. PMID 36326997 . ↑ Chandler, Jesse.; Shapiro, Danielle (2016). "クラウドソーシングによる便宜的サンプルを用いた臨床研究の実施" . Annual Review of Clinical Psychology . 12 : 53– 81. doi : 10.1146/annurev-clinpsy-021815-093623 . PMID 26772208 . ↑ ハフ、コナー; ティングリー、ダスティン (2015-07-01) 。 「これらの人々は誰なのか?MTurk調査回答者の人口統計学的特徴と政治的嗜好の評価」 . Research & Politics . 2 (3): 205316801560464. doi : 10.1177/2053168015604648 . ISSN 2053-1680 . S2CID 7749084 . 1 2 Clifford, Scott; Jewell, Ryan M; Waggoner, Philip D (2015-10-01). "Mechanical Turk から抽出したサンプルは政治イデオロギーの研究に有効か?" . Research & Politics . 2 (4): 205316801562207. doi : 10.1177/2053168015622072 . ISSN 2053-1680 . S2CID 146591698 . ↑ Chandler, Jesse; Rosenzweig, Cheskie; Moss, Aaron J.; Robinson, Jonathan; Litman, Leib (2019 年 10 月). "社会科学研究におけるオンラインパネル: Mechanical Turk を超えたサンプリング方法の拡張" . Behavior Research Methods . 51 (5): 2022– 2038. doi : 10.3758/s13428-019-01273-7 . ISSN 1554-3528 . PMC 6797699 . PMID 31512174 . ↑ Rajpurkar, Pranav; Zhang, Jian; Lopyrev, Konstantin; Liang, Percy (2016). "SQuAD: 100,000+ Questions for Machine Comprehension of Text". arXiv : 1606.05250 [ cs.CL ]. ↑ スティーブ・シルバーマン(2007年7月24日) 「シリコンバレーの伝説を探すハイテク業界の内幕」 Wired誌 。 2007年9月16日 閲覧 。 ↑ 「AVwebはスティーブ・フォセットの捜索への参加を呼びかけています」 。Avweb.com。2007年9月8日。 2012年8月26日の オリジナルからアーカイブ。 2011年11月28日 閲覧 。 ↑ 「公式メカニカルターク スティーブ・フォセット結果」 。2007年9月24日。 2012年8月14日 取得 。 ↑ ジム・クリスティ (2008 年 10 月 1 日) 「ハイカーがスティーブ・フォセットの身分証明書と所持品を発見」 ロイター 2008 年 12 月 20 日のオリジナルより アーカイブ 2008 年 11 月 27 日 閲覧 . ↑ 「Let's Get Physical」 。2008年8月5日。 ↑ 「メカニカルゲーム、Turkers向けオンラインスポーツビデオ | Neural」 。2010年10月29日。 ↑ 「サンタアナのグランドセントラルアートセンターにある刑務所のベンチとAmazon.com | OC Weekly」 。 2015年9月6日に オリジナルからアーカイブ済み 。 2019年4月16日 に取得。 ↑ プロジェクト: http://www.missconceptions.net/mediations/ ↑ 「Amazon Web Services Blog: Amazon Mechanical Turk のステータス更新」 . Aws.typepad.com. 2005-12-06 . 2011-11-28 に閲覧 。 ↑ 「ドキュメントアーカイブ: Amazon Web Services」 。Developer.amazonwebservices.com。 2009年4月10日に オリジナルからアーカイブされました 。 2011年11月28日 に取得。 ↑ 「Amazon Mechanical Turk API リファレンス」 。Developer.amazonwebservices.com。 1 2 3 4 「Amazonのクリックワーカー・プラットフォームの内幕:50万人がAIのトレーニングにわずかな報酬を受け取っている方法」 。TechRepublic 。 2016年12月16日。 ↑ Landers, RN; Behrend, TS (2015). 「研究調査にMechanical Turk (MTurk)を使用できますか?」 . Industrial and Organizational Psychology . 8 (2). ↑ 「 外的妥当性 - 研究結果の一般化」 .explorable.com . ↑ 「 社会調査方法 - 知識ベース - 外的妥当性」 。www.socialresearchmethods.net 。 ↑ Coppock, Alexander; Leeper, Thomas J.; Mullinix, Kevin J. (2018-12-04). "サンプル間で異質な治療効果推定値の一般化可能性" . Proceedings of the National Academy of Sciences . 115 (49): 12441– 12446. Bibcode : 2018PNAS..11512441C . doi : 10.1073/pnas.1808083115 . ISSN 0027-8424 . PMC 6298071 . PMID 30446611 . ↑ Chandler, Jesse; Rosenzweig, Cheskie; Moss, Aaron J.; Robinson, Jonathan; Litman, Leib (2019-10-01). "社会科学研究におけるオンラインパネル:Mechanical Turk を超えたサンプリング方法の拡張" . Behavior Research Methods . 51 (5): 2022– 2038. doi : 10.3758/s13428-019-01273-7 . ISSN 1554-3528 . PMC 6797699 . PMID 31512174 . ↑ ジャロン・ラニアー (2013). 未来は誰のものか? . サイモン&シュスター. ISBN 978-1-4516-5497-4 。↑ 「ゴーストワーク」 . ゴーストワーク. 2023年1月24日 取得 。 ↑ Semuels, Alana (2018-01-23). "インターネットは新たな種類の低賃金地獄を可能にしている" . The Atlantic . 2023-01-24 に閲覧。 ↑ Fort, K.; Adda, G.; Cohen, KB (2011). "Amazon Mechanical Turk: 金鉱か炭鉱か?" . Computational Linguistics . 37 (2): 413–420 . doi : 10.1162/COLI_a_00057 . S2CID 1051130 . ↑ウィリアムソン、ヴァネッサ(2016 年 1月)。 「クラウド ソーシング による 研究 の倫理について」 。PS :政治学と政治 。49 (1): 77–81。doi : 10.1017 / S104909651500116X。ISSN 1049-0965。S2CID 155196102 。 ↑ Horton, John J. (2011-04-01). "Turking クラスの状況: オンライン雇用主は公正かつ正直か? . Economics Letters . 111 (1): 10– 12. arXiv : 1001.1172 . doi : 10.1016/j.econlet.2010.12.007 . ISSN 0165-1765 . S2CID 37577313 . ↑ Moss, AJ; Rosenzweig, C.; Robinson, J.; Jaffe, S.; Litman, L. (2020). "行動研究にMechanical Turkを使用することは倫理的か?MTurk参加者と賃金に関する代表的な調査からの関連データ" . Behavior Research Methods . ↑ Agley, Jon; Mumaw, Casey (2024-05-29). "クラウドソーシングによる研究参加者に対し、不注意な参加による潜在的な結果について警告することは、データ品質への影響に関わらず、インフォームドコンセントに関連する。" . Health Behavior Research . 7 (2). doi : 10.4148/2572-1836.1236 . ISSN 2572-1836 . ↑ Brühlmann, Florian; Memeti, Zgjim; Aeschbach, Lena F.; Perrig, Sebastian AC; Opwis, Klaus (2024-01-18). "クラウドソーシングによるオンライン調査における不注意な回答を減らすための警告文の有効性" . Behavior Research Methods . 56 (6): 5862– 5875. doi : 10.3758/s13428-023-02321-z . ISSN 1554-3528 . PMC 11335820 . PMID 38238528 . ↑ 「Amazon Mechanical Turk - 公正なクラウドワーク」 。 2023年1月24日 取得 。 ↑ Ipeirotis, PG (2010). Amazon Mechanical Turk マーケットプレイスの分析。XRDS : Crossroads、The ACM magazine for students 、 17 (2)、16-21。 ↑ ガイガー、アビゲイル (2016-07-11). 「クラウドソーシング時代の研究、事例研究」 。 ピュー・リサーチ・センター:インターネット、科学、テクノロジー 。2023-01-24 に 取得 。 ↑ Schmidt, Florian Alexander (2013). "The Good, the Bad and the Ugly: Why Crowdsourcing Needs Ethics". 2013 International Conference on Cloud and Green Computing . pp. 531–535 . doi : 10.1109/CGC.2013.89 . ISBN 978-0-7695-5114-2 . S2CID 18798641 . ↑ 原耕太郎、アビゲイル・アダムス、クリスティ・ミランド、サイフ・サベージ、クリス・カリソン=バーチ、ジェフリー・P・ビガム (2018年4月21日) 「Amazon Mechanical Turkにおける労働者の収入に関するデータ駆動型分析」 2018年 CHI 会議(ヒューマンファクター・イン・コンピューティング・システムズ)議事録 。CHI '18。米国ニューヨーク州ニューヨーク:Association for Computing Machinery。pp. 1–14。doi : 10.1145 / 3173574.3174023。ISBN 978-1-4503-5620-6 . S2CID 5040507 . ↑ Berg, J. (2015). オンデマンド経済における所得保障:クラウドワーカーの調査結果と政策的教訓。比較労働法と政策ジャーナル、37、543 。 ↑ Litman, Leib; Robinson, Jonathan; Rosen, Zohn; Rosenzweig, Cheskie; Waxman, Joshua; Bates, Lisa M. (2020-02-21). "賃金格差の持続性: 匿名オンライン労働市場における男女間賃金格差" . PLOS ONE . 15 (2) e0229383. Bibcode : 2020PLoSO..1529383L . doi : 10.1371/journal.pone.0229383 . ISSN 1932-6203 . PMC 7034870 . PMID 32084233 . ↑ 「MTurkはクラウドワーカーを募集する最も倫理的な方法です」 。 ブログ | TurkerView 。2019年11月18日。 2023年1月24日 閲覧 。 ↑ Marvit, Moshe Z. (2014年2月5日). 「クラウドワーカーはいかにしてデジタルマシンの幽霊になったか」 . www.thenation.com . 2019年6月3日の オリジナルからアーカイブ済み。 2019年 6月3日 に取得 。 ↑ ニューヨーク・タイムズ(2018年4月10日)。 「ケンブリッジ・アナリティカと迫りくるデータ破綻」 。 ニューヨーク・タイムズ。 2018年 4月13日 取得 。 ↑ ハル・ホドソン(2013年2月7日) 「オンラインワーカーの団結によりクラウドソーシングが成長」 ニュー ・サイエンティスト。 2015年 5月21日 閲覧 。 ↑ "turkopticon" . turkopticon.ucsd.edu . ↑ マーク・ハリス(2014年12月3日) 。 「AmazonのMechanical Turkの労働者が抗議:『私は人間であって、アルゴリズムではない』」 。ガーディアン紙。 2015年 10月6日 取得 。↑ フィンガス、ジョン (2014 年 12 月 3 日)。 」 「アマゾンのメカニカルタークの労働者たちは、人間として扱われることを望んでいる」 . Engadget . 2015年 10月6日 取得 .↑ ジェームズ・ヴィンセント(2014年12月4日) 「アマゾンのメカニカルターカーは『本物の人間』として認められたいと考えている」 「 . The Verge . 2015年 10月6日 取得 。↑ Sarah Kessler (2015年2月19日) 「ギグエコノミーにおける労働組合とはどのようなものか?」 Fast Company 。 2015年 10月6日 取得 。 1 2 Semuels, Alana (2018年1月23日). 「インターネットは新たな種類の低賃金地獄を可能にしている」 . The Atlantic . 2019年 4月25日 取得 。 ↑ "Yandex.Toloka" .
さらに読む ロブ・ホフによるメカニカル・タークに関するビジネスウィーク誌の記事(2005年11月4日)。 Wired誌に掲載された「クラウドソーシング」に関する記事(2006年6月号)。 キャサリン・ミエシュコウスキーによるMechanical Turk に関する Salon.com の記事、2006 年 7 月 24 日。 ジェイソン・ポンティンによるメカニカル・タークに関するニューヨーク・タイムズの記事(2007年3月25日)。 テクノロジーレビュー誌に掲載された、メカニカルタークに関する記事「メカニカルタークの欠陥」、クリストファー・ミムズ著、2010年1月3日。 J・ネイサン・マティアス(2015年6月8日)「デジタル・コモンズの悲劇」、アトランティック誌 (労使関係について論じる)
外部リンク 公式サイト 依頼者向けベストプラクティスガイド(2015年2月更新) Matt Lease (編) 「Amazon Mechanical Turk」クラウドソーシングのニュース、イベント、リソース 。米国– テキサス大学オースティン校情報学部 経由。