1988年にフランス南部のペルピニャンで開催された国際記号学研究協会の大会において、ミシェル・コスタンティーニとヨーラン・ソネソンが意見交換を行ったことをきっかけに、国際視覚記号学協会(スペイン語ではAsociación Internacional de Semiótica Visual 、フランス語ではAssociation internationale de sémiotique visuelle 、この3つが協会の公用語)が設立され、1989年にフランスのブロワでフランス法に基づき協会として正式に設立されました。最初の国際大会は1990年にブロワで開催されました。
その会議には、世界中から100名を超える視覚記号学者が集まった。当時、この協会は国際画像記号学会(フランス語の頭文字をとってAISIM)と呼ばれており、1992年に名称が変更された。
その名称(視覚記号論)が示すように、IAVSの主な目的は、記号論の特定の解釈を優先したり、特定の記号論の伝統を特に支持したりすることなく、画像、より一般的には視覚的意味作用に関心を持つ世界中の記号学者を集めることです。
ブロワでの創設大会の後、IAVSの第2回大会は1992年にスペインのビルバオで開催され、第3回大会は1994年に米国カリフォルニア大学バークレー校で開催された国際記号学研究協会(AIS-IASS )の国際大会と統合されました。次の大会はブラジルのサンパウロ(1996年)、イタリアのシエナ(1998年)、カナダのケベックシティ(2001年)で開催されました。第7回大会は2003年にメキシコシティで開催され、国際記号学研究協会の第8回大会期間中の2004年のリヨンでのセッションへと続きました。第8回大会は2007年にイスタンブールで、第9回大会は2010年にベネチアで、第10回大会は2012年にブエノスアイレスで、そして第11回大会は2015年にリエージュで開催された。
IAVSは、主に1999年10月にドイツのドレスデンで開催されたIASS大会において、国際空間記号論協会と共同で会議やセッションを開催しました。その他の共同セッションは、ケベックシティで開催されたIAVS大会でも開催されました。IAVSはまた、2009年にア・コルーニャで開催されたIASS大会、および2011年にリスボン、 2014年にウルビーノで開催されたヨーロッパ地域会議において、視覚記号論に関するセッションを開催しました。
IAVSの初代会長は1989年にミシェル・コスタンティーニが務めた。選挙で選出された最初の会長は、ケベック大学モントリオール校のフェルナンド・サン=マルタンであった。2代目の会長は、 1994年にカリフォルニア州バークレーで開催された大会で選出されたリモージュ大学のジャック・フォンタニーユであった。サンパウロ・カトリック大学のアナ・クラウディア・デ・オリベイラは、1996年にサンパウロで開催された大会で会長に選出され、ボローニャ大学のパオロ・ファブリは、 1998年にシエナで開催された大会で会長に選出されました。リエージュ大学のジャン=マリー・クリンケンベルクは、グルーペμのメンバーとして、2001年にケベックシティで開催された大会で会長に選出され、2004年にリヨン、 2007年にイスタンブール、2010年にヴェネツィアで開催された総会で再選されました。ブエノスアイレス大学のホセ・ルイス・カイヴァーノは、2012年の会議で会長に選出されました。2015年の会議以降、現在の会長は、スウェーデンのルンド大学のヨーラン・ソネソンです。
IAVSは設立当初、ブロワ(トゥールのフランソワ・ラブレー大学)にある同名の研究グループが以前創刊した学術誌『 EIDOS, Bulletin international de sémiologie de l'image 』を研究機関として利用していました。しかし、1996年以降、IAVSはCRSHCとCÉLATの財政的・物流的支援を受け、ケベックシティのラヴァル大学文学部で公式学術誌『 VISIO, Revue internationale de sémiotique visuelle』の発行を開始しました。
VISIOは、1996年から2002年まで、招待編集者の指導の下、年間4つのテーマ別特集号を発行し、フランス語、英語、スペイン語の3つの公用語で書かれた記事を受け入れてきました。ケベック大学モントリオール校のフェルナンド・サン=マルタンが総編集長を、ラヴァル大学のマリー・カラニが編集長を務めました。名誉委員会は、ユベール・ダミッシュ、ウンベルト・エコ、ボリス・ウスペンスキーで構成されました。編集委員会には、ブエノスアイレス大学のホセ・ルイス・カイヴァーノ、パリ第8大学のミシェル・コスタンティーニ、リモージュ大学のジャック・フォンタニール、カリフォルニア大学ロサンゼルス校のドナルド・プレジオシ、スウェーデンのルンド大学のヨーラン・ソネソンが参加しました。編集委員会のメンバーは、世界中に分散している70名以上の一般記号論および視覚記号論の専門家で構成される国際科学委員会の支援を受けています。