C’est en 1636 que Jeanne Biscot, fille d’un drapier d’Arras, fonda avec trois auxiliaires un orphelinat destiné à venir en aide aux enfants abandonnés.

En 1645, s’ouvre la Maison Ste-Agnès, Place St Etienne à Arras qui va abriter la communauté religieuse du même nom.

L’orphelinat devient foyer départemental en 1925. Son extension en 1964 amène une restructuration et la création d’une annexe dans les locaux de Ste-Catherine jusque-là occupés par un préventorium.

La convention signée entre la Congrégation des Soeurs de Ste-Agnès et la DDASS en 1972, transforme "l'Institution Ste-Catherine" en "Maison d'Enfants à Caractère Social". L'établissement prendra dès lors le nom de Maison d'Enfants "La Charmille".

Le 16 avril de cette même année, les Soeurs de Ste-Agnès fusionnent avec la Congrégation des Servantes de Marie qui poursuit la même mission depuis le début du 19ème siècle auprès des enfants pauvres et des malades.

L'Association "Accueil et Relais" déclarée en 1994, poursuit depuis lors les missions des congrégations fondatrices en référence à la Charte des Valeurs qui fixe les repères sur lesquels se fondent les projets d'établissements.