Él aprendió de sus referentes: su padre, Cesare, con las matemáticas en la Universidad, y su madre, Angelina, con la química en un centro de secundaria de Brescia. Cuando su padre, Cesare Scariolo, falleció a causa de una leucemia en el año 98, Sergio quiso dedicar parte de su tiempo y legado en su memoria. En su recién estrenada biografía, Scariolo cuenta sus orígenes, proveniente de «una familia de profesores».