Rébuffat est Marseillais. Tout jeune, il apprend à grimper en autodidacte dans les calanques. Il rencontre Lionel Terray à 19 ans (ils ont le même âge) durant les quelques mois passés à Jeunesse et Montagne. Avec Terray, il commencera la découverte de la haute montagne. Il travaille d'ailleurs un moment dans le ferme de Terray et finit par se faire accepter par la Compagnie des Guides de Chamonix, malgré que ce ne soit pas facile pour un non-Savoyard. Il commence à engranger les premières, dès 1943, accompagné souvent de son ami, l'ineffable violoncelliste-humoriste-alpiniste Maurice Baquet. C'est avec lui qu'il effectuera une première sur l'a pointe sud de l'aiguille du midi, par la voie encore appelée aujourd'hui « Voie Rebuffat-Baquet ». C'est lui aussi qu'on voit debout sur la toute petite tribune du Pic du Roc, sur une photo devenue célèbre, et qui fait partie des 156 photos décrivant l'humanité, placée dans les sondes Voyager 1 et 2. Le film Horizons Gagnés commence d'ailleurs par cette image. Lionel Terray, lui, rencontre dans la même période Louis Lachenal, et formera une cordée mythique avec lui, enchainant les premières ou les records de vitesse, dans les années 1945-1950. Terray grimpait en force, malgré disait-il, qu'il était trop lourd, avec une musculature noueuse, et des bras trop court. Tout au contraire, Gaston Rébuffat est grand, longiligne, léger, avec des jambes d'échassier, et des doigts ayant la force de tenailles. Il a le physique parfait pour la grimpe. Il grimpe d'ailleurs avec une grande élégance, qui semble même souvent nonchalante. Mais il est extrêmement technique et prend un minimum de risques.
Les trois grands guides de Chamonix, Terray, Rébuffat et Lachenal, seront choisis pour accompagner Maurice Herzog pour l'ascension de l'Annapurna, le premier 8000, en 1950. Mais ils devront signer un contrat leur interdisant tout écrit et toute conférence sur l'expédition. Expédition, qui malgré que Herzog et Lachenal atteigne le sommet, sans prévenir les autres, alors que la mousson commence, tourne au désastre à la descente. Ils seront sauvés par Terray et Rébuffat, qui arrivait au dernier camp, alors que les deux autres, sur ordre d'Herzog, l'avaient déjà quitté pour le sommet. Terray et Rébuffat les sauveront et leur permettront de redescendre jusque dans la vallée. Rébuffat ne supportait pas Herzog. Lachenal non plus, qui a du être amputé des orteils et pour qui la carrière de guide fut ainsi terminée, alors que justement, il considérait qu'Herzog prenait par simple gloire, des risques inconsidérés, alors que pour lui, son métier de guide passait avant la gloire de vaincre un sommet.
Cette rancoeur contre Herzog aura des conséquences sur les choix de Rébuffat. Alors que Terray multiplie les courses en très haute montagne, dans l'Himalaya et les Andes, comme l'ont fait d'autres grands comme Bonatti ou Desmaison, lui décide de rester dans le massif du Mont-Blanc et de contribuer aux améliorations des techniques d'escalade. C'est en grande partie à Gaston Rébuffat qu'on doit le développement de l'escalade artificielle. N'étant qu'un skieur modeste, il ne sera pas, comme la majorité des guides, moniteur de ski en hiver. Il en profitera plutôt pour écrire de nombreux livres sur la montagne, mais aussi sur sa Provence, donnera des conférences et préparera plusieurs films de montagne, tournés pour la plupart par le cinéaste de montagne, Georges Teirraz.
Contrairement à beaucoup d'autres de ses amis, Gaston Rébuffat ne connaitra par la mort d'une chute en montagne. Il est mort allongé, à l'hôpital de Bobigny, à 64 ans, d'une maladie très rare chez l'homme : un cancer du sein.