尺八最初来源于唐代的中国。当时日本同中国建立了外交关系，并从中国接受了佛教、汉字以及几种不同的艺术形式。日本雅乐也在这个时代出现，其乐队编制包括尺八、琵琶和日本筝。但在十一世纪末，尺八被从雅乐团中去掉。据说，十世纪的时候，中国僧人受邀到日本向当地僧人传授尺八。他们发现，这件深奥的乐器可以帮助年轻僧人练习冥想所需要的呼吸技巧。在十三世纪的时候，僧人们以诵经替代了尺八。虽然尺八从雅乐团中消失，贵族和僧人们仍在演奏它，猿乐（能乐的前身）表演中也使用尺八。那时的尺八叫做一节切。雅乐团里使用的尺八为六孔，而一节切为五孔。
在江户时代（1603-1867），和平的社会环境使得日本发展出了包括茶道在内的多种艺术形式。从中国的三弦发展而来的三味线在歌舞伎、木偶戏、艺伎表演中使用，成了武士阶层和商人阶层最喜爱的乐器。到了十八世纪中叶，日本的音乐环境发生了很多变化。例如，原先以细竹茎制作的尺八开始以更粗重的竹子制作，并发展成了现在的形状。一种由三件乐器演奏的室内乐体裁“三曲”也开始出现，还有一种“地歌”风格，改编自三味线的曲目，开始由筝演奏，后来也被胡弓采用。
在江户时代，只有虚无僧演奏尺八。这些游方僧人属于日本禅宗的一派普化宗，他们在行乞时口吹尺八，头戴蔺笠，以象征弃绝物质和自我。这一派据说由德川幕府于十七世纪建立。那时，普化宗在全日本有大约三十座寺庙，每一座都有自己的尺八风格。十八世纪的时候，坐落在江户（即现在的东京）的普化宗头寺一月寺的僧人黒沢琴古将三十六首曲子编订为本曲，作为琴古流的基本曲目，并开始向普化宗之外的大众传授尺八。如今，这一流派被视为尺八的传统派。
江户时代的浪人，也就是没有师傅的武士，有时假扮成虚无僧并作为间谍为将军服务。他们损害了虚无僧的声誉。德川幕府1868年还政于天皇，几年之后的1871年，政府废除了普化宗，并且甚至考虑过禁止尺八，因为它已经成了间谍僧人的象征。有两位官员反对这种做法，因为他们认为尺八只是一件乐器而已，禁止它并无意义。于是尺八幸存了下来，僧人开始向大众传授尺八。据说今天还有一些僧人保持着虚无僧式的寺庙生活，只是已经不再行乞。
十九世纪时，荒木古童二世（1823-1908）创立了尺八的标准指法。到了十九世纪下半叶，尺八开始在“三曲”中取代胡弓。
十九世纪末，尺八的形制、演奏和文献有了新的发展，这促进了尺八的现代化并扩展了它的音量。在此之前，尺八的开管及声音都较为粗糙。现在尺八制作者们以灰泥和生漆使管内变得更加平直，这样它的声音也更加纯粹有力，从而可以与西方乐器相抗衡。川瀬顺辅一世（1870-1959）则创建了尺八的记谱法。为了使尺八更加现代化，僧人中尾都山（1876-1956）抛弃了传统的演奏方法并开创了自己的风格。他改良了尺八的形制并发展出了新的教学法，从而创建了都山流，这也是当今日本最流行的尺八流派。他还改良了川瀬顺辅一世创建的记谱法，使之更接近于西方记谱法。
从二十世纪六十年代开始，西方人开始对尺八产生了兴趣，并前往日本学习尺八的演奏和制作。相对于受西方影响较为明显并反对传统作品的都山流，西方人普遍偏爱更加传统的琴古流。现在取得“师范”（教授日本传统艺术的资格证）的人越来越多，因此在西方教授尺八的人也越来越多。由于它与佛教的关联以及其独特的声音，尺八无疑是在西方世界最为流行的日本乐器。
尺八的独特之处在于它的简单：一根竹子，一个斜开的歌口以及五个音孔。然而这表面的简单之后是其演奏的艰深。首先，由于歌口的倾斜，演奏者必须经过大量的练习才能够自如控制嘴唇以发出不同的声音：纯净的、风声的、粗砺的等等。而且，每支尺八的歌口不同，每一个工匠制成的歌口也不同。同时，虽然尺八可以演奏半音阶，但它只有五个音孔，演奏者有时必须遮住半个孔。由于每一支尺八的形状都不尽相同，因而人们常说演奏者必须去适应每一支尺八的个性。
尺八由新生的雄性真竹制成。尺八的管长及调性由竹子地下第四节到地上第三节之间的距离而决定。普通的尺八长一尺八寸，为D调。如果需要其他调的尺八，则需选取长度与调号相应的竹子（降E调的尺八长一尺七寸，降D调的尺八长一尺九寸，等等）。
竹子在冬季砍伐，以免受夏季的湿度和虫害影响。通过烤火去油之后，竹子要在露天的地方风干一个月，然后在室内再放上三到四年，免受日光以及温度、湿度变化的影响。然后从竹子内部将竹节打通。尺八有几种不同的形制。竹管可以敷以灰泥和生漆，也可不用。一支尺八可以是一管，也可以是两管联结而成。通管之后，在第三结处斜切歌口，并镶以犀牛角。然后打孔，孔的位置和距离因管长而不同。下一步是在内壁涂上灰泥和生漆，这也是最为精细的一个步骤。制作者然后调整音孔、竹管内壁来改善音准和音色。传统尺八的声音更加低沉，更有风声的感觉，也有着更多的泛音，因而适于演奏本曲。还有一种尺八低音区的泛音较少，但是音量更大，音色更明亮。这种尺八更接近于西方音阶，因此与西方乐器合作起来更加方便。
