Itou Kaiji est un clochard qui vole des emblèmes de voiture et crève des pneus, apparemment de manière régulière. Cette routine bascule un jour lorsqu’il reçoit la visite d’un homme vêtu d’un trench-coat. Au fil de leur conversation, il s’avère que le visiteur (qui se fait appeler Endou) est un agent de recouvrement. La raison de sa visite est un prêt impayé que Kaiji avait précédemment cosigné pour un collègue de travail (Furuhata Takeshi). Le prêt initial s’élevait à 300 000 yens et, après la disparition de Takeshi, la dette est retombée sur Kaiji. On propose alors à Kaiji un moyen de rembourser cette dette, dont les intérêts se sont accumulés (pour atteindre 3 850 000 yens) : il s’agit de monter à bord d’un bateau avec d’autres personnes dans la même situation que lui. Une fois à bord, les débiteurs devaient parier l’argent qui leur était prêté ; à l’issue de ces parties, quelques-uns gagnaient, tandis que d’autres s’endettaient davantage et devaient travailler pour rembourser leurs dettes. Après avoir subi certaines pressions, Kaiji accepte de monter à bord du bateau, dans le but de rembourser sa dette et de gagner un peu d’argent par la même occasion…