人们自然而然会开始用多个GpU去解决问题。”

    “从单机多GpU到多机多GpU，这当中对GpU互连的带宽的需求也越来越多。采用Infiniband和100GbEthernet去通信，在单机内，特别是从单机单卡到达单机8卡以后，pcIe的带宽往往就成为了瓶颈。”

    “pcIe是单通道两对差分线，一对发送一对接收。英伟达完全可以考虑用8对或者更多差分线组成一根子链，一对子链中一根发送数据一根接收数据，组成一根链接。”

    “毕竟即便算力再强，由于显存的限制，我们仍旧需要使用多个GpU完成一个任务，这种情况下，数据传输互通的能力至关重要。”

    “你很确定规模庞大的模型会成为市场的主流吗？”

    孟繁岐说得这两点，黄仁勋基本都是认可的，一定程度上他也已经有了模糊的想法往这些方向发展。

    孟繁岐只是非常清晰地将内容表达了出来，让他如拨云见日，茅塞顿开。

    可对于模型的大小判断上，他有些不大确定。

    目前业界对规模特别庞大的模型，还是比较不看好的。

    一是因为孟繁岐当初的dreamNet，千层并没有比百层有更好的效果，模型大小增加了十倍，可在千分类上的性能却相差无几。这就显得大模型有些愚蠢。

    二是因为孟繁岐数次做出了骚操作，计算量动不动减少快十倍，参数量也是大大削减，结果对性能影响却很小。

    如此一来，在这种技术的环境和趋势下，的确很难有人会料到超大模型会有那么魔幻的性能突破。

    “只要这批显卡到了谷歌，明年此时，我一定能让大模型成为主流。”

    孟繁岐信心满满地说道。

    “你若是真的能做到，明年的新卡，我直接送伱一千张。”

    黄仁勋不是乱说，也不是不相信这件事。

    而是倘若孟繁岐把大模型做成了主流，那这方面显卡需求量，可以说十倍百倍不止了。

    和庞大的利润相比，送个一两千张，根本不叫事。

     >> --