单次..的费用从200万美元到1200万美元不等！大规模模型的..到底有多昂贵？ChatGP语言大模型风靡全球后，AI大模型开始成为“兵家必争之地”。2023年可以说是中国“百模大战”的一年，虽然百度、华为等科技巨头纷纷入场，但真正的商业应用仍然相当有限，其中一个原因可能是大模型..成本过高——据《Chatgpt 需要多少算力》估算，GPT-3的一次训练成本约为140万美元，一些更大的LLM模型甚至高达1200万美元！更为令人头痛的是，目前大多数大模型..都采用国外Meta公司开源的PyTorch和谷歌开源的TensorFlow。它们最大的问题是在设计时未考虑到大模型对数据集的极端要求。如果..大模型时出现各种问题，比如训练停滞不前、训练过程中断，..的成本可不是小数目，谁敢说重新来过呢？为了获得更多的算力，科技企业只能不断购买GPU，例如字节跳动去年为了加速大模型的发展向英伟达订购了价值70亿元的GPU，然而传统的GPU使用方式是“一人一卡”，实际利用率极低，很容易造成大量算力的浪费，但令人惊讶的是，就在同行深受困扰的时候，蚂蚁却为这个难题提供了解决方案。要知道，解决算力不足的问题无非是烧钱购买硬件或者通过技术手段解决，而有些开发者考虑使用分布式技术来解决。就是将一个GPU分割成几个，一起训练，并通过扩展库来保证分开的GPU的同步。而蚂蚁研发的正是分布式..扩展库ATorch。那么，这个ATorch究竟有何优势呢？很简单，那就是通过降低成本提高效率，例如最近ATorch帮助清华大学开源的GLM-65b大模型将原来28.8%的利用率提高到了62%，将Meta开发的LLama2-70b大模型的..算力利用率从42%提升到了60%。这样可以保证科技公司花费巨资购买的卡都能得到充分利用，堪称是“极致挤压算力”。虽然大模型..“烧钱”是事实，但蚂蚁推出的ATorch不仅通过提高分布式..的稳定性，让科技公司的每一分钱都花在刀刃上，而且向全社会开源，推动整个AI行业的进步，真是了不起！
本文到此讲解完毕了，希望对大家有帮助。
相关资讯
