古代的木魚又稱木魚鼓、魚鼓或魚版，其形狀、用法均與後世不同。

在《敕修百丈清規》卷八《法器章》木魚條中說：“齋粥二時長擊二通，普請僧衆長擊一通，普請行者二通。”由此可知，古代的木魚主要用來做為集合僧衆的訊号。

至于為何而做魚形，《釋氏要覽》中說：“今寺院木魚者，蓋古人不可以木樸擊之，故創魚像也。又必取張華相魚之名，或取鲸魚一擊蒲牢為之大鳴也。”

《敕修百丈清規》中說，作魚形是晝夜精進義：“相傳雲，魚晝夜常醒，刻木像形擊之，所以警昏惰也。”

關于木魚的起源，日本·成尋在《參天台五台山記》卷三《宋神宗熙甯五年八月八日》條中記載：

“實性院本名清泰寺，中有傅大士像供人禮拜燒香。院主長老謂諸寺打木魚鼓召集行者，乃源于傅大士。往昔，大士覓頭陀于嵩山時嘗打魚鼓，頭陀即應鼓聲而來。其後，天下大小寺院以木魚鼓集合大衆。”

也有認為木魚是隋代沙門志林所造，史料并無記載。此外《增修教苑清規》卷下《法器門》木魚條又有另一個傳說：

有一名僧人違犯其師教誨，毀壇戒法，不但堕入魚身受惡報，而且背上還長了一棵樹，風濤搖擺時，皮肉更加苦痛。

其師渡海時，大魚遂作巨風浪而說：“往昔你不教導我，以緻令我堕魚報，今欲報此怨。”

其師問他：“汝名什麼？”魚回答後，其師令忏悔，又為其設水陸追拔法會。

後于夜夢間，大魚自稱已脫魚身，可将其背上之樹木供養寺衆，以親近三寶。

其師後果然見至魚屍背之大樹，即刻成魚形，懸挂警衆。

關于木魚的由來，也有另一個傳說。玄奘大師的《指歸曲》中記載：

玄奘大師自天竺歸，途經蜀道時，巧遇一長者。此長者喪妻，有兒甫三歲，其後母惡之，趁長者出獵時，從樓上将孩兒擲入水中。長者哀其子故，為其設齋供僧。

此時适遇玄奘大師到來，長者歡喜迎請第一座，然而玄奘大師卻不食。并告訴長者：“我長途跋涉，非常疲勞，希望能得魚肉吃之。”

在場者聞言皆大驚。

長者欲出買魚，玄奘又囑咐他：“一定要大魚才好。”長者于是買回一條大魚，才割開魚腹，就見到自己的孩兒在魚腹中啼哭：所沒之兒啼在魚腹中，長者大欣歡。

玄奘大師說：“這是此兒夙世持不殺戒果教，所以現今雖被魚吞，卻得不死。”

長者問：“如何報魚恩？”

玄奘大師告曰：“以木雕成魚形，懸之于佛寺，于齋時擊之，可以報魚德。”即今之木魚是也。

至于現今誦經、禮佛時所使用，頭尾相接的團圓形木魚，可能是明代的産物。

明·王析《三才圖會》中說：“木魚，刻木為魚形，空其中，敲之有聲。今釋氏之贊、梵呗皆用之。”并繪圖說明。

《禅林象器箋·呗器門》也說：“按圖會木魚圖，魚頭尾自相接，其形團栾。今清國僧稱木魚者，作龍二首一身，鱗背兩口相接，銜一枚珠之形，亦空肚團栾。蓋與圖會木魚同，諷唱時專敲之以成節。”

其中所謂改魚身作龍頭，可能是取《群籍一覽》卷上所載《劉斧摭遺》所謂“魚可化龍，凡可入聖”之義。

一般，木魚都是橫穿腹部中央，作中空的團栾形，頭部、鱗甲、龍珠等多隈以黑漆，押上金箔，其它部分則塗以朱紅；安于小布團上，以包皮的木槌敲擊腹部中央。至于體積大小，普通是徑一尺乃至六尺，較小的則有三寸乃至五寸等。

木魚又稱魚鼓，在《雪峰存禅師錄》中有一首《詠魚鼓頌》，對木魚有生動的描述：

“我暫作魚鼓，懸頭為衆苦，師僧吃茶飯，拈槌打我肚。身雖披鱗甲，心中一物無，鸬鹚橫溪望，我誓不入湖。”

又說：

“可憐魚鼓子，天生從地養，粥飯不能飧，空肚作聲響。時時驚僧睡，懶者煩惱長，住持鬧喧喧，不如打遊漾。”

此中将木魚警策大衆的意味，以有趣的方式呈現出來。