Lorsque Pierrot décide de créer une communauté d’"imbéciles" dans laquelle lui et ses semblables pourront vivre en paix, sans plus avoir à souffrir d’ostracisme, lorsqu’il fonde, loin de tout, ce "village des idiots", il ignore qu’ils seront si nombreux à le rejoindre. Bastien, le narrateur, fait partie des dizaines d’appelés que Pierrot va réunir, au terme d’un tour de France ébouriffant. Bastien a 22 ans.
Vingt-deux années durant lesquelles sa mère, irascible, violente, lui a quotidiennement martelé que sa valeur n’atteignait pas celle d’un homme ordinaire. Le village lui offre une chance d’avoir enfin une vraie famille, d’obtenir un passeport pour le bonheur. Mais ce bonheur fait des envieux et, bientôt, ce paradis terrestre miniature finit par attirer des hommes et des femmes qui n’ont rien à y faire.
Des malheureux, pour la plupart, qui tentent de s’y faire admettre en jouant les imbéciles. Face à cette menace, Pierrot impose désormais à chaque nouvel arrivant un examen très spécial, un test de QI inversé, diablement efficace, mais que Bastien trafiquera afin que puisse entrer au village et dans sa vie Elisa, une jeune femme dont il est tombé amoureux. Dans la chambre d’hôpital d’où il relate la grandeur et la décadence du village des idiots, Bastien reste obsédé par Elisa et, malgré un corps qui ne répond plus, malgré la douleur et la culpabilité qui le rongent, il fera tout pour la retrouver une ultime fois.
