Vous pouvez vivre sur un terrain de loisir comme vous l'entendez mais attention vous ne pouvez viabiliser la parcelle. En clair c'est vivre sans eau, sans électricité, sans WC normaux... du bonheur...
Plus sérieusement, si vous voulez vivre dans un chalet, il faut en soit en acheter un soit en construire sur un terrain avec un CU positif.
Un chalet ou peu importe le type de bati sur un terrain de loisir ne restera qu'un local vide sans confort et bien souvent très petit en surface vu la législation sur les construction en zone NC ou zone Verte.
La mairie peut tolèrer une occupation temporaire pour raisons extraordinaires mais cela reste très rare.