El carboni es coneix des de l'antiguitat. Els egipcis obtenien carbó de llenya de forma similar a l'actual. En els antics escrits hindús  i a l'Antic Testament es fa referència al diamant.

El terme Carboni prové del llatí carbo que significa carbó de llenya; grafit prové del grec graphein que significa escriure i diamant té la seva procedència de la paraula llatina adamas, el significat de la qual és invencible.

A. L. Lavoisier

Newton, el 1704, va intuir que el diamant podia ser combustible però no es va aconseguir cremar un diamant fins al 1772 quan Lavoisier va demostrar que en la reacció de combustió es produïa CO₂.

El 1797, Tennant va demostrar que el diamant era carboni pur. L'isòtop més comú del carboni és el ¹²C; el 1961 aquest isòtop es va escollir per reemplaçar l'isòtop oxigen-16 com a base dels pesos atòmics i se li va assignar un pes atòmic de 12.

Els primers compostos de carboni es van identificar en la matèria viva a principis del segle XIX i, per això, l'estudi dels compostos de carboni es va anomenar química orgànica.