Es existiert wenig historisches Material über die Geschichte der Farbstifte. Einige der ersten Erklärungen zu einem roten holzgefassten Stift erscheinen in einem Schreibgerätekatalog aus dem Jahr 1820, Farbstifte existierten aber bereits wesentlich länger.
So genannte "porte-crayons" - ein Holzschaft mit einem verstellbaren Ring, der die Mine im Holzschaft festhielt, wurde sowohl für Blei- als auch für Farbminen verwendet.