中國最早使用墨水是在商代晚期、西漢、東漢和南北朝時期。

最早的墨水不是用來寫字的，而是用來畫畫的。在五六千年前的史前社會遺址中，不僅出土了用紅、白、棕、黑顏料繪制的彩陶，還發現了許多天然礦物顏料遺跡。這些顏料呈塊狀、粉末狀和塊狀。畫的時候，磨成顏料漿更方便。除天然礦物顏料外，植物炭也可用作黑色墨水顏料。1982甘肅大地灣史前遺址發現的大屋地面畫，可能是用炭筆墨水作為顏料繪制的。

商周墨的實物至今未發現。但《禮記》等記載顯示，木匠已用墨汁矯正木材的平直度。另外，當時還有墨刑，就是用刀刺臉，然後用墨水塗。《左傳》也有記載:“鄭之美，白而黑，不知者以為神仙。”但這些都不是人造墨水，而是天然礦物原料。使用時要用磨石將墨水或顏料磨成粉末，與水混合，即《莊子》所說的“舔筆蘸墨”。從考古發現來看，用竹書或墨書來寫陶文、玉器和龜甲並不少見。還有很多帛畫、書法、漆畫、壁畫等。，也是用墨水或彩色墨水畫的。