Johann Koplenig wurde am 15. Mai 1891 in Jadersdorf geboren. Nach Besuch der Volksschule erlernte er den Beruf eines Schuhmachers. Nach Abschluss seiner Lehrzeit (1909) ging er auf „Walz“ und ließ sich schließlich 1910 in Judenburg nieder.
Im Ersten Weltkrieg diente Koplenig an der Ostfront, wo er 1915 in russische Kriegsgefangenschaft geriet. In einem Kriegsgefangenenlager kam er in Kontakt mit den Bolschewiken, schloss sich der Bewegung an und wurde Leitungsmitglied der Organisation revolutionärer Kriegsgefangener. Nach Ausbruch des Zweiten Weltkriegs flüchtete Koplenig nach Moskau. Im April 1945 kehrte er nach Österreich zurück und war vom 27. April bis zum 20. Dezember 1945 als Staatssekretär Mitglied des Politischen Kabinettsrates in der Provisorischen Staatsregierung Renner. Als einer der drei Stellvertreter des Staatskanzlers war er maßgeblich am Entstehen der Zweiten Republik beteiligt.