1956年到1971年，卡拉扬在欧洲炙手可热。他先是出任了萨尔茨堡音乐节艺术指导，历时4年。在1957年，除了率领柏林爱乐乐团首次访问日本之外，他还接受聘任成为维也纳国家歌剧院艺术指导，以一改这座历史悠久的歌剧院颓落之势。在他身上的职称还有：1967年成为柏林爱乐乐团终身指挥，维也纳歌唱协会终身指导，米兰斯卡拉歌剧院首席指挥之一，1969到1971年继去世的查尔斯·孟许（Charles Munch）担任巴黎管弦乐团音乐顾问。
1959年，卡拉扬除了和维也纳爱乐在59年秋季巡回印度，菲律宾，香港和美国等地演出外，还再次为DG公司录音，和柏林爱乐乐团制作出自己第一张立体声唱片，理查德·施特劳斯的《英雄生涯》，这同时也标志着柏林爱乐，卡拉扬和德国唱片公司铁三角长时间的合作的开始。当时的卡拉扬虽然与EMI有录音合约在身，但是柏林爱乐却与德国唱片公司签下过合同。因此合约需要进行修改，使得这对组合能同时为两家品牌录音。在EMI旗下卡拉扬的录音活动后来一直持续到1984年，并录制了不少歌剧，另外还有一些不曾为DG录制过的作品，例如舒伯特的交响曲全集。
有了柏林爱乐和大唱片公司作后盾，卡拉扬就开始有计划大规模地录制古典音乐世界里的管弦乐作品。不过，1959到61这三年间，他只是很谨慎地录制了一些管弦乐炫技曲（Showpieces），例如布拉姆斯的《匈牙利舞曲》和安东尼·德沃夏克《斯拉夫舞曲》中的几首，还有德里布和肖邦的一些舞曲，不过这些录音一朝制成，即成经典。到了61年末，卡拉扬终于开始有大行动，为DG公司录制乐圣贝多芬的全套交响曲，并在62年完成，即俗称的“红卡”。时至今天，纵然市场上有着难以胜数的贝多芬交响曲全套，但是这套录音依然光彩夺目，饱受赞赏。其实，卡拉扬早在接手柏林爱乐乐团时，就已经开始准备这套录音制作。在第一次美国之行前夕，他就排演了《第五》。《第七号》他在55到59年上演过三次。到了开录前，除了《第二》和《第八》，他已将其他交响曲在音乐会上过了最少一遍。
以同样的精心准备，卡拉扬和乐团在63，64年还录制了勃拉姆斯的交响曲全集，巴赫的《勃兰登堡协奏曲》。而柏林爱乐乐团终于在1963年10月15日迎来了自己的家—柏林爱乐大厅。这座大厅是应卡拉扬的技术标准而建成的。一如瓦格纳为拜鲁伊特节庆剧院在开幕之际所做的一样，卡拉扬指挥乐团演奏了贝多芬的《第九交响曲》，以示喜庆。
卡拉扬力图将托斯卡尼尼的忠于原谱和富特文格勒的即兴发挥融为一体。他的指挥动作洒脱大方，时而充满激情，时而又细腻精致。在指挥台上他经常闭目深思，使得乐队各声部之间达到了演奏室内乐般的默契。在他的领导下，柏林爱乐乐团展现出了一种有如金属般的亮色，被誉为卡拉扬“音响”。
卡拉扬最擅长的是浪漫主义时期的德国、奥地利作曲家的作品，如：贝多芬、勃拉姆斯、门德尔松、舒曼、瓦格纳、布鲁克纳、马勒、理查·施特劳斯。另外，对于近现代作曲家，如：德彪西、拉威尔、西贝柳斯、尼尔森、肖斯塔科维奇，他都有着非常精彩的演绎。
虽然卡拉扬涉猎广泛，但不能否认，他指挥的作品以德奥作曲家的创作为主。他录制过四次贝多芬，勃拉姆斯的交响曲全集，舒伯特，门德尔松，舒曼，布鲁克纳的全套交响曲，莫扎特，海顿的部分交响曲，瓦格纳全套拜鲁伊特剧目，另外还有施特劳斯的圆舞曲，理查·施特劳斯的音诗和歌剧等等。另外现代派作曲家，如在汉斯·维尔纳·亨泽（Hans Werner Henze）之前卡拉扬也有过受到作曲家本人肯定的表现。卡拉扬华丽光滑的处理手法在这些德奥古典作品中得到很好的体现，弦乐绵密厚实，铜管靓丽粗壮。而他在《企鹅唱片评鉴》里面获得三星带花评价的作品，多为该体系的作品：理查·施特劳斯的《死与净化》，歌剧《阿里阿德涅在纳克索斯》，莫扎特的《女人皆如此》，布鲁克纳的《第八交响曲》，1987年维也纳新年音乐会等等。
“红卡”：卡拉扬60年代贝多芬交响曲全集封面。卡拉扬60年代的贝多芬交响曲全集可以说是一套非常有名的唱片。虽然并非人人都认为它，或者是其中的几部是该曲集的首选，但是它一直被给与很高的评价，例如网上书店Amazon将它评为“Amazon必备录音”，并说道：
“赫伯特·冯·卡拉扬为DG录制的第一套贝多芬交响曲全集（1963）是他本人四套里面之首，这已是共识。柏林爱乐处于最佳状态，他们在艺术上还未曾崇尚那种柔和光滑的处理手法，该手法可在指挥家后来的版本中听到。卡拉扬一尘不染，情感冷峻的贝多芬对听众逐渐发展的听觉鉴赏力总会有些影响，不过该全集是最有可能满足它们的。”--David Hurwitz
虽然卡拉扬对莫扎特，舒伯特交响曲的演绎并未获得听众的一致赞好[85]，不过他的布鲁克纳和理查·施特劳斯的录音却向来是有口皆碑的。例如在《美国录音指导》（American Record Guide）中评论员汤玛斯·古多尔写道：“卡拉扬（的理查·施特劳斯）呈现的则是强韧性和戏剧性，在《英雄的生涯》中则有着强列的性欲表现。……没有人能够像卡拉扬那样有力地把握住战斗一景中的恐怖气氛，另外他在作品结尾处所呈现的壮丽豪华也是无人能及的。”
而卡拉扬所录制的布鲁克纳交响曲也深得好评，例如《企鹅唱片评鉴》评价其为DG公司所制作的全集唱片中说道此版被“奉为圭臬[87]。”而其最后一版第八交响曲则得到了如下评价：“最令人难忘的一个版本，其音响之华美，肢体之丰富多彩令人赞叹，但决不会转移你的注意力：因为演出的美感与真实性是挽手同行的。……听这张唱片这是一种艺术的享受。”