La tradition rapporte, qu’aux environs de l’an 1000, s'était fondé en cet endroit un monastère de religieuses bénédictines, vraissemblablement dirigées par les chanoines de St Astier.
En 1139, Geoffroy de Cauzé, évêque de Périgueux donne l'église d'Andrivaux aux "Frères de la milice du Temple". Ceci est attesté par Dom Estiennot (d'après Leydet, ce serait en 1173 ).
La commanderie templière, s'enrichit et s'accroît. Elle disposait d’un moulin, disparu aujourd’hui, alimenté par le ruisseau dit de Lapachat, aujourd'hui dénommé Got, et qui prend sa source dans les collines de Merlande. Les Templiers reçoivent le privilège de justice.
Si les moniales versaient aux chanoines de St Astier, annuellement, au jour de la fête du village, une rente composée de fromages de vache, de trois cent poires d'Angoisse et de deux tapis, les Templiers ne versaient rien ce qui irrita les chanoines qui n'eurent cesse de réclamer leur dû. Il fallut en appeler au commandeur d'Aquitaine qui, en 1264, fixa un accord amiable avec l'abbé de St Astier. Les Templiers n'eurent à verser seulement que les 2 tapis, "l'un servant à couvrir le siège de l'aile du cloître où se fait la lecture des Complies et l'autre à placer sous les pieds du prêtre qui célèbrerait la messe à l'autel de la Vierge le jour de la fête ; celui-ci recevait en outre un fromage."¹

D'autres communautés religieuses se trouvaient au voisinage d'Andrivaux.