米尔斯坦于1903年12月31日出生于乌克兰黑海边上的城市奥德萨，他是七个孩子中的老四。作为一个中产阶级犹太家庭，本身并没有音乐背景(不象海菲兹,其父是一名狂热的小提琴手)。海菲兹于11岁举办独奏音乐会，而当时(1912年)7岁的米尔斯坦刚刚开始练习小提琴——米尔斯坦不是一名儿童天才。

米尔斯坦的琴声十分独特，其贵族化的质感使听众充满敬畏，这种音质被描述如银铃一般，但由于50年代的录音技术所限，这种声音被表现得过于尖锐刺耳，对于听众来说太具穿透力。基于这个原因,听众对米尔斯坦的演奏颇有微词，并有些人排斥他，其对音准的表现技巧和准确性被称为海菲兹后第二人，之所以这样是因为他牺牲了一点点声音的表现来抒发其情感。他对于琴弓的驾驭也对此有帮助，被称为“弓之王子”也不足为奇。米尔斯坦对于揉弦表演不属于20世纪，只有上个世纪小提琴家约阿希姆那一代才有这种技法。通常米尔斯坦演奏时不使用过多的揉弦，他的方式是在高潮时用极高的频率扩展弦的震动，而平时的演奏则多使用滑奏。一般的小提琴手用琴来表现多愁善感，但米尔斯坦则用琴来显示崇高的思想，所以他也被称为“小提琴的贵族”。这种区别语言无法表达，只有听他的演奏才能感受到