外国银行的到来，使得不仅在华外国人的钱都被吸走了，而且就连中国人也开始将钱存入了外国银行。这就使得山西票号的业务越来越少。
以天津为例，当时天津对上海每年的棉纱款项汇兑1000万两白银，以往都是由山西票号汇兑，但外国银行进入天津后，立马抢去了500万两业务，新成立的国内银行又抢去了300万两业务，最终票号的业务只萎缩剩下200万两。
在外国银行的大举入侵下，以往由山西票号垄断的中国金融市场开始迅速分解，这就使得晋商继在茶叶市场失守后，最后一块残留的金融业务也节节败退，市场份额开始急剧缩小。
尽管拥有大清帝国的政治保护，但面对银行这个新生事物在中国的迅速崛起，晋商却由于自身的保守，以致多次失去了将票号转型成为银行的机会。
光绪三十年（1904年），大清帝国计划筹备成立中国历史上的第一家官办国家银行“户部银行”，户部银行，就是后来中国银行的前身。当时，清廷鉴于山西票号实力雄厚，以及1900年庚子事变时山西票号对慈禧和清廷的倾力支持，因此特别颁旨由山西票号来举办“户部银行”。
没想到当清廷时任户部尚书鹿仲霖奉旨邀请各家山西票号入股时，山西票号各家蜗居在山西祁县、太谷、平遥等大本营醉生梦死的财东们却死活都不同意，财东们的意见是，一旦跟清朝政府合作，他们担心资金会被清廷控制，自己无利可图。为此，当时清朝政府经过多番协商，甚至表示如果山西各家票号担心钱的问题，那就只出人不出钱也可以，只要用管理技术来入股就行，但山西票号的财东们死活就是不愿意。