Fin du bail d'une maison en location

Bonjour,

nous étions locataires et venons d'acheter une maison.

Pour la maison que nous avions en location, notre bail se termine le 30 novembre et nous faisons l'état des lieux et le relevé des compteurs le 21 novembre.

Notre ancien propriétaire devant faire passer un expert pour un entretien du plomb je crois, comme nous ne pouvions être là le jour ou l'expert passait, nous avons prêté une clef au propriétaire.

Nous avons appris qu'il avait commencé à faire des travaux dans la maison (notamment tapisserie) et qu'il avait fait rentrer les futurs locataires.

Nous avons donc réclamé la clef que nous lui avions prêtée, mais il ne souhaite pas nous la rendre sous prétexte qu'il est dans ses droits, qu'il a signé un bail avec les futurs locataires et que du coup il a le droit de faire ce qu'il veut.

Nous avons donc "verrouillé" la porte pour ne plus qu'il y rentre.

J'aimerai savoir qui a tort et qui a raison dans cette histoire. A-t-il vraiment le droit de faire entrer les futurs locataires dans la maison alors que notre bail n'est pas terminé ?
Devons-nous "déverrouillé" la porte ?

Je vous remercie par avance de votre réponse.

Cordialement,

Blandine P.

Une petite précision s'impose !! : il a fait rentrer les futurs locataires pour leur montrer ce qu'il allait faire comme travaux à l'intérieur (pas pour que les futurs locataires s'installent déjà)