GPT、大语言模型入门版：面向互联网从业人员的AI通识与个人思索

发布时间：2023-04-10 13:08:29 所属栏目：动态来源：

导读：现在，AI技术、GPT等大型应用正在加快对互联网行业的“入侵”，这也倒逼着相关的互联网从业人员开展内容学习。那么对于非技术人员来说，如果想拥抱AI时代，可以基于哪些内容进行搜索学习？本文作者便发表了

现在，AI技术、GPT等大型应用正在加快对互联网行业的“入侵”，这也倒逼着相关的互联网从业人员开展内容学习。那么对于非技术人员来说，如果想拥抱AI时代，可以基于哪些内容进行搜索学习？本文作者便发表了他作为非技术人员的思考和启发，一起来看一下吧。

从2023年农历春节开工到现在，身边每天都充斥着GPT、LLM领域大量的媒体分析、行研报告、产品demo、社群活动。热度要比过去元宇宙、区块链这些技术概念更加空前，可见他对底层技术的变革是如此的歇斯底里。

一、ChatGPT与GPT通识
ChatGPT是一个聊天应用。一个输入框，输入你想问他的任何问题，他会给你一个答案，并且这个答案看起来是经过思考、讲究语法并且正确的。他理解你的语言，并能用你的语言给你答案。

而这背后，就是GPT这个模型在发挥作用（Generative Pre-trained Transformer），翻译为“基于Transformer的生成式预训练模型”（引号里的中文值得逐字理解），通俗点讲，这个模型的目的就是理解你输入的文字，然后计算答案，然后用你能懂的语言进行呈现。

二、GPT大模型背后的关键技术点

如果你想要研究清楚GPT背后的技术以及发展脉络，可以先从以下几个概念入手。

1. Transformer

Encoder把输入文本编码成一系列向量，Decoder则将这些向量逐一解码成输出文本。在每一个Encoder和Decoder中，都有多个注意力层和前馈神经网络层组成。这些层通过不断传递信息和调整参数，最终将输入转化为一个意义准确的输出。

2. Masked Language Modeling）

MLM（掩码语言模型）是 GPT 预训练中的一个关键技术点，其目的是通过对输入序列中的部分单词进行遮盖，这使得模型能够根据下一个字进行预测,从而获得背景信息。简单但很巧妙。

在MLM中，模型会在输入的文本序列中随机选择一些单词，并将其替换为特殊的MASK标记。模型的任务是预测这些MASK标记所代表的单词是什么。因为模型只能观察到MASK标记周围的文本，因此它需要对上下文进行建模，以便正确地预测MASK标记所代表的单词。Transformer、MLM等等这些架构、算法和模型设计让GPT问世，而Prompt和Fine-tune可以让我们更好的使用他。

3. Prompt

特别是在AIGC领域，只要你能想到，他就可以给你反馈。如果把GPT看做一个知识的海洋、一个可以持续再生的金库，人类想要攫取，那Prompt会变得非常非常非常重要，它就是那个金钥匙。

4. Fine-tune

中文译义：微调。企业在应用AI能力时，GPT可以定义为一个理解自然语言的初始模型，为了更好地应用在业务场景中，可以在GPT的基础上进行微调，理解为一个有监督学习的过程，喂给他我们的业务数据或领域数据集，这样让他一眼就能轻易的读懂我们的业务过程中的数据并按需精准的输出。

三、大语言模型对软件产品的改变 1. 用户需求被直观暴露

目前的软件产品，用户的真实需求主要是通过在软件产品内的行为数据进行发现和理解，如监控用户反复查看某个商品、用户搜索了某个商品、用户将什么商品添加到了购物车，基于此进行分析、预测，根据用户行为反馈再进行调优。

这种简单粗暴的交互，会迭代目前“业务与行为数据采集、数据聚合与处理、用户画像建模、人/物标签计算、推荐算法、反馈调优”的整套数据工程。当前,自然语言所呈现的诉求将在数据中心中占据更大的比例。

2. 新的人机交互

ChatGPT、Midjourney+Discord、文心一言等现在都是通过聊天框模式提供服务。这确实也是人与机器通过自然语言沟通最理想的方式。但chat模式不是当前人机交互的终极形态。

想要让软件以及他的宿主——计算机，识别你的意图，开发者需要完全依赖于鼠标在计算机上的点击、拖拽、滚动等交互方式来设计软件反馈。而现在，有了一种新的范式，就是自然语言。基于LLM这样的大模型，机器已经或逐步可以足够理解人类的语言并做出正确的反映。如果再有鼠标的交互加持，使人类使用机器效率得到提高,这将是一个更大的进步。

3. 插件化一些软件，再淘汰一些软件

软件的工具如 word、PPT、EXCEL、印象笔记、Xmind、github正在“+AI”以降低使用成本了。你可以自研AI能力，也可以让自己被插件。当新的用户习惯被养成，那些不能AI化的软件会显得异常难用。

4. 想象力变得更为重要

过去做一张如下的图需要在设计软件上进行至少数小时的操作，初级选手光设计工具就得学习很久。如果这个需求是来自于客户，那这其中的沟通和理解成本会变为很大的设计成本。

四、值得思考的地方 1. 依然存在的学习成本

机器可以理解人类的语言，但并不代表可以精准理解人的意图。这之间的gap需要人去不断对机器调优，如模型迭代，同时也需要人去了解机器的语法，比如现在的Midjourney、playground，你的提问或prompt的使用也是有语法的，并配合图形界面上的一些控制功能。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!