Auch innerhalb der SPD erlebte Gross einen Aufstieg. So war er von 1946 bis 1948 stellvertretender Bezirksvorsitzender in Ostwestfalen und seit 1954 Vorsitzender des Bezirks Ostwestfalen-Lippe. Seit 1946 war er auch Mitglied des SPD-Parteivorstandes. Des Weiteren war er Ratsmitglied der Stadt Bielefeld und Mitglied des westfälischen Provinzialrates. Gross gehörte zu den ersten Landtagsabgeordneten des Landes Nordrhein-Westfalen und nahm dementsprechend an der konstituierenden Sitzung des Landtags am 2. Oktober 1946 im Düsseldorfer Opernhaus teil. Direkt am darauffolgenden Tag plante er für den anstehenden Landtagswahlkampf und machte sich Gedanken darüber, wie man diesen in allen vier SPD-Bezirken koordinieren könne. Abgeordneter des nordrhein-westfälischen Landtags blieb Gross bis 1967. Im Plenum war die Zahl seiner Redebeiträge, trotz rhetorischer Begabung, überschaubar – er äußerte sich, seiner Expertise entsprechend, vor allem zu medienpolitischen Sachverhalten. Daneben war er im Laufe seiner Parlamentarierzeit in einer Vielzahl von Ausschüssen tätig, vor allem im Ältestenrat, im Ausschuss für Wiedergutmachung und im Hauptausschuss. In letzteren beiden übte er zeitweise die Funktion des Vorsitzenden aus. Von 1956 bis 1958 führte er sogar als Fraktionsvorsitzender die SPD-Fraktion. Davor und danach war er stellvertretender Vorsitzender der Fraktion.6