Het Culemborgse weeshuis was in zijn opzet een katholiek bastion. Er was een convent van twaalf maagden aan de instelling verbonden, die zich bezighielden met de verzorging van de kinderen. Daarnaast waren er twee interne priesters, die het onderwijs aan de jongens voor hun rekening namen. In de beginjaren bestond het bestuur van het weeshuis uit het personeel ervan. Daarboven stonden de protectoren, een toezichthoudend college van de wereldlijke en geestelijke overheid. De graaf, de beide burgemeesters en de deken van de Barbarakerk hadden er zitting in.

Binnen een generatie na de stichting van het weeshuis ging het katholieke karakter van het weeshuis echter verloren. Met de Reformatie nam de instelling de protestantse religie aan. Voor de maagden en de priesters kwamen gesalarieerde leken in de plaats. Ook de protectoren verdwenen tijdelijk uit beeld. Het bestuur van het weeshuis ging over op gedelegeerden uit de magistraat (de stadsregering), die zich in de zeventiende eeuw opnieuw met de naam protectoren tooiden. Daarmee hadden de protectoren een gedaanteverwisseling ondergaan: van toezichthouders naar bestuurders. Eind zeventiende eeuw nam de bezetting van hun college vaste vorm aan, met de beide burgemeesters en de drost als leden.

Ook nadat ze het bestuur hadden overgenomen, bleven de protectoren bevoegd de rekening van het weeshuis te sluiten. Al besloot de graaf in 1630, om de controle op de instelling te verbeteren, dat dit voortaan diende te geschieden in het gezelschap van twee van zijn raadsheren. Zolang er een actieve graaf in het graafschap was, was van zelfstandigheid van het college geen sprake. Maar na de verkoop van het graafschap in 1720, toen de graaf uit het bestuurlijk hart was verdwenen, gingen de protectoren zich onafhankelijker opstellen.

In de negentiende en twintigste eeuw stond de mate van zelfstandigheid van het weeshuis herhaaldelijk ter discussie. Na de Bataafse revolutie van 1795, toen patriotten zich meester maakten van de Nederlandse Republiek en Culemborg werd ingelijfd, werd de bestuursstructuur van het graafschap ingrijpend gewijzigd. De grafelijke raadsheren verdwenen en het stadsbestuur ging op de schop. De functies van drost en burgemeester werden afgeschaft, wat automatisch inhield dat ook het weeshuisbestuur aan vernieuwing toe was. In eerste instantie namen drie afgevaardigden uit het stedelijk bestuur deze taak op zich. In 1800 werd voor een andere variant gekozen, met een college van vier protectoren: twee uit het stedelijk bestuur en twee uit de burgerij. Deze constructie was een kort leven beschoren; nadat in 1801 de functies van drost en burgemeester in ere waren hersteld, namen deze functionarissen hun plaats in het weeshuisbestuur weer in.

In 1818, toen Nederland inmiddels een koninkrijk was geworden onder koning Willem I, volgde een nieuwe bestuurswisseling. De katholieken, die tijdens de gereformeerde eeuwen in essentie buiten het beheer van het weeshuis waren gehouden, eisten hun deel op. Ze speelden de zaak hoog, en met succes: op last van de provinciegouverneur en onder bekrachtiging van de koning werd een compromis bereikt, dat voorzag in een weeshuisbestuur bestaande uit twee protestantse protectoren, van wie ten minste één hervormd moest zijn, en twee katholieke, van wie ten minste één rooms moest zijn. Alle protectoren dienden bij hun benoeming zitting te hebben in het stadsbestuur.

Op papier was de gelijkwaardigheid van de katholieken aan de protestanten hiermee een feit, maar de praktijk pakte anders uit. In Culemborg bestond een kleine oud-katholieke parochie, en de protestanten, die het bestuurlijk voor het zeggen hadden in de stad, zorgden er bij herhaling voor dat de tweede katholieke protector van oud-katholieken huize was. Dit leidde tot een eindeloze reeks conflicten die vaak tot in Den Haag werden uitgevochten.

In de eerste helft van de negentiende eeuw belandde zo goed als ieder geschil met betrekking tot het weeshuis bij de centrale overheid. Maar in 1854, met de invoering van de nieuwe Armenwet, kwam er abrupt een einde aan deze staatsbemoeienis. Het weeshuis werd geboekstaafd onder de bijzondere instellingen, wat de instelling een robuuste zelfstandigheid bezorgde. Reglementswijzigingen konden voortaan op eigen gezag worden doorgevoerd. In 1860 zagen de protestantse protectoren hun kans schoon om hun leidende positie in het weeshuis te versterken door het bestuur ervan met één lid uit te breiden. Voortaan zouden er twee protestantse protectoren zijn, twee rooms-katholieke (een knieval richting roomsen), en één van wie de godsdienst formeel niet was vastgelegd. Maar dat die protestants zou zijn, sprak binnen de Culemborgse context voor zich.

De nieuwe zelfstandigheid van het college leidde al snel tot praktijken die door sommigen als wantoestanden werden gezien. Zo kenden de protectoren in 1870 zichzelf een levenslang mandaat toe, een besluit dat twee jaar later onder zware druk van gemeentewege werd teruggedraaid. In de jaren tachtig van de negentiende eeuw viel het college aan onderling geruzie ten prooi. Dit alles leidde ertoe dat de protectoren in 1889 eigener beweging besloten controle van overheidswege te zoeken. Op voorstel van de protectoren veranderde het weeshuis voor de Armenwet van een bijzondere instelling in een deels gemeentelijke instelling. In de praktijk betekende dit dat de gemeenteraad voortaan reglementswijzigingen moest bekrachtigen en de rekening zou sluiten, terwijl het beheer over de bezittingen onder toezicht van de provincie kwam. Bij de reglementswijziging die hierdoor genoodzaakt was, werd bovendien besloten dat de protectoren niet langer zitting hoefden te hebben in de gemeenteraad. Ook werd vastgelegd dat de vijfde protector, van wie de religie eerder in het midden was gelaten, protestants moest zijn.

Aldus is het bestuur van het weeshuis tot de dag van vandaag geregeld. Weliswaar heeft het weeshuis in 1952 zijn deuren als zorginstelling gesloten, maar de Stichting Elisabeth Weeshuis is als liefdadigheidsinstelling blijven functioneren. Nog steeds zijn vijf protectoren verantwoordelijk voor het beheer van de nalatenschap van vrouwe Elisabeth. De relatie met de overheid is inmiddels ingrijpend gewijzigd. Bij de invoering van de Bijstandswet in 1965 dreigden instellingen met een deels gemeentelijk karakter hun vermogen te verliezen. Het weeshuis verzocht daarom in 1964 om als een bijzondere instelling te mogen worden geboekstaafd, en dat verzoek werd gehonoreerd. Begin jaren zeventig werden de banden tussen het weeshuisbestuur en het stedelijk bestuur verder doorgesneden, toen de gemeente afstand deed van het recht de protectoren te benoemen. Sindsdien worden de bestuursleden aangesteld door de verschillende Culemborgse kerken, na een voordracht door de protectoren.

Het bestuur van het weeshuis werd vanouds bijgestaan door een rentmeester, die de goederen beheerde en de administratie voerde. Sinds ongeveer 1650 was er bovendien een secretaris aan de instelling verbonden. Deze functionarissen werden in de zeventiende en achttiende eeuw aangesteld door de soeverein, later door de protectoren zelf. In 1891, nadat de protectoren zich onder toezicht van de overheid hadden gesteld, ging de benoeming van de rentmeester en de secretaris over op de gemeenteraad. Na de sluiting van het weeshuis werden de beide functies gecombineerd. Sinds de verzelfstandiging van het weeshuis in 1964 wordt de secretaris-rentmeester weer door de protectoren aangesteld.