NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割
在基础模型的新兴功能和开源/API 可用性的推动下，我们正在观察应用AI罕见的转向。
过去在 2013 年需要 5 年时间和一个研究团队才能完成的各种人工智能任务，现在只需要 API 文档和 2023 年一个空闲的下午即可完成。
“从数量上看，AI工程师的数量可能会比ML工程师/LLM工程师多得多。 一个人无需接受任何培训就可以非常成功地担任这一角色。” - Andrej Karpathy
然而，细节决定成败—成功评估、应用和产品化人工智能的挑战无穷无尽：
- 模型：从评估最大的 GPT-4 和 Claude 模型，到最小的开源 Huggingface、LLaMA 和其他模型
- 工具：从最流行的链、检索和矢量搜索工具（如 LangChain、LlamaIndex 和 Pinecone）到新兴的自主代理领域（如 Auto-GPT 和 BabyAGI）（必须阅读 Lilian Weng 的回顾）
- 新闻：除此之外，每天发表的论文、模型和技术的数量随着兴趣和资金的增加而呈指数级增长，以至于掌控这一切几乎是一项全职工作。
我认真地、字面地对待这一点。 我认为这是一份全职工作。 我认为软件工程将催生一个新的子学科，专门研究人工智能的应用并有效地运用新兴的技术栈，就像“站点可靠性工程师”、“开发运营工程师”、“数据工程师”和“分析工程师”的出现一样。
这个角色的新兴（也是最不令人畏惧的）版本似乎是：AI工程师。
我知道的每家初创公司都有某种 `#discuss-ai Slack` 频道。 这些渠道将从非正式团体转变为正式团队，就像 Amplitude、Replit 和 Notion 所做的那样。 成千上万的软件工程师致力于生产 AI API 和 OSS 模型，无论是在公司时间还是晚上和周末，在公司 Slacks 或独立 Discords 中，他们都将专业化并集中在一个头衔上：AI 工程师。 这可能是十年来需求最高的工程工作。
AI工程师随处可见，从微软和谷歌等最大的公司，到Figma（通过Diagram收购）、Vercel（例如Hassan El Mghari的病毒式RoomGPT）和Notion（例如Ivan Zhu和Simon Last与Notion AI）等领先的初创公司， 再到独立黑客，如 Simon Willison、Pieter Levels（来自 Photo/InteriorAI）和 Riley Goodside（现供职于 Scale AI）。 他们在 Anthropic 上的提示工程每年赚取 30 万美元，在 OpenAI 构建软件每年赚取 90 万美元。 他们利用周末空闲时间在 AGI House 思考想法，并在 /r/LocalLLaMA2 上分享技巧。 他们的共同点是，他们几乎在一夜之间就将AI的进步转化为数百万人使用的实际产品。
看不到一个博士学位。 在交付人工智能产品时，你需要的是工程师，而不是研究人员。
1、AI 与 ML 工程师的对决
我是在呼吁人们关注这一趋势，而不是开始它。 Indeed 上的机器学习工程师职位数量是人工智能工程师职位数量的 10 倍，但“人工智能”的更高增长率让我预测这个比例将在 5 年内出现逆转。
所有职位名称都有缺陷，但有些职位名称很有用。 我们对关于人工智能和机器学习之间的差异的无休止的语义争论感到警惕和厌倦，并且很清楚常规的“软件工程师”角色完全有能力构建人工智能软件。 然而，最近向 HN 提出的关于如何进入人工智能工程的问题说明了市场上仍然存在的基本观念：
大多数人仍然认为AI工程是机器学习或数据工程的一种形式，因此他们推荐相同的先决条件。 但我向你保证，我上面提到的高效AI工程师中没有一个做过与 Andrew Ng Coursera 课程相当的工作，他们也不了解 PyTorch，也不知道数据湖或数据仓库之间的区别。
在不久的将来，没有人会建议通过阅读“注意力就是你所需要的一切”来开始AI工程，就像你不会通过阅读福特 T 型车的原理图来开始驾驶一样。当然，了解基础知识和历史总是有帮助的，而且确实有帮助 你会发现尚未进入公众意识的想法和效率/能力提升。 但有时你可以只使用产品并通过经验了解它们的品质。
我不认为课程的这种“翻转”会在一夜之间发生。 想要塞满简历、填写市场地图、通过引用更有权威的更深层次主题来脱颖而出，这是人类的天性。 换句话说，在很长一段时间内，Prompt Engineering 和 AI Engineering 会比那些拥有良好数据科学/ML 背景的人感到自卑。 然而，我认为纯粹的供需经济学将会占上风。
2、为什么AI工程师现在兴起
- 基础模型是“少样本学习者”，表现出上下文学习甚至零样本迁移能力，其泛化能力超出了模型训练者的初衷。 换句话说，创建模型的人并不完全知道他们的能力。 非LLM研究人员只需花费更多时间在模型上，并将其应用到被研究低估的领域（例如 Jasper 的文案写作），就能够发现和利用能力。
- 微软、谷歌、Meta 和大型基金会模型实验室已经垄断了稀缺的研究人才，以提供“AI研究即服务”API。 你不能雇佣他们，但你可以租用他们——如果你的另一端有知道如何与他们合作的软件工程师。 全球大约有 5000 名LLM研究人员，但大约有 5000 万软件工程师。 供应限制决定了“中间”阶层的AI工程师将崛起以满足需求。
- GPU囤积。 当然，OpenAI/微软是第一，但 Stability AI 通过强调他们的 4,000 个 GPU 集群，拉开了初创公司 GPU 军备竞赛的序幕。
从那时起，Inflection（1.3b 美元）、Mistral（1.13 亿美元）、Reka（5800 万美元）、Poolside（2600 万美元）和 Contextual（2000 万美元）等新初创公司筹集巨额种子轮资金以拥有自己的硬件已变得司空见惯。 Dan Gross 和 Nat Friedman5 甚至宣布了 Andromeda，这是他们专门为他们投资的初创公司打造的 1 亿美元、10 exaflop GPU 集群。全球芯片短缺 6 反射性地造成了更多的短缺。 API 线另一端的人工智能工程师将有更多能力使用模型，而不是训练模型。
- 开火，准备，瞄准。 产品经理/软件工程师不需要数据科学家/机器学习工程师在训练单个领域特定模型然后投入生产之前进行繁琐的数据收集练习，而是可以在获得具体结果之前提示LLM，并构建/验证产品创意 数据进行微调。
假设后者比前者多 100-1000 倍，而提示的 LLM 原型的“开火、准备、瞄准”工作流程让你的移动速度比传统 ML 快 10-100 倍。 因此，AI工程师将能够以 1,000-10,000 倍的价格验证人工智能产品。 这是瀑布式和敏捷式的竞争。 AI是敏捷的。
- Python + JavaScript。 传统上，数据/人工智能极其以 Python 为中心，第一个人工智能工程工具（如 LangChain、LlamaIndex 和 Guardrails）就诞生于同一个社区。 然而，JavaScript 开发人员至少与 Python 开发人员一样多，因此现在的工具越来越多地迎合这一广泛扩大的受众，从 LangChain.js 和 Transformers.js 到 Vercel 的新 AI SDK。 TAM 的扩张和机遇至少大了 100%。
- 生成式 AI vs. 分类器 ML。 “生成式人工智能”作为一个术语已经失宠，让位于“推理引擎”等其他类比，但在简洁地阐明现有 MLOps 工具和 ML 从业者之间的区别以及新兴的、明显的机器学习工具之间的差异方面仍然有用。 最擅长运用LLM和文本到图像生成器的不同类型的角色。 目前的机器学习可能专注于欺诈风险、推荐系统、异常检测和特征存储，而人工智能工程师正在构建写作应用程序、个性化学习工具、自然语言电子表格和类似异星工厂的可视化编程语言。
每当出现一个具有完全不同的背景、讲不同的语言、生产完全不同的产品、使用完全不同的工具的小组时，他们最终会分裂成自己的小组。
3、代码在软件2.0到软件3.0演进中的作用
6 年前，Andrej Karpathy 写了一篇非常有影响力的文章，描述了软件 2.0——将精确建模逻辑的手工编码编程语言的“经典堆栈”与近似逻辑的新“机器学习”神经网络堆栈进行对比，使软件能够解决问题 比人类可以建模的问题多得多。 今年他接着指出，最热门的新编程语言是英语，最终填补了图表中原始文章中未标记的灰色区域。
去年，随着人们开始将 GPT-3 和稳定扩散投入使用，Prompt Engineering 是关于工作将如何变化的模因。 人们嘲笑AI初创公司是“OpenAI Wrappers”，并且因为 LLM 应用程序被证明容易受到提示注入和反向提示工程的影响而感到焦虑。 找不到护城河吗？
但 2023 年最大的主题之一很大程度上是关于重新确立人类编写的代码的作用，以协调和取代 LLM 的力量，从价值超过 2 亿美元的庞然大物 Langchain，到 Nvidia 支持的 Voyager，显示了代码生成和重用的重要性。我最近参加了 Harrison 举办的 Chains vs Agents 网络研讨会，在会上我扩展了 Code Core 与 LLM Core 应用程序的论文。
提示工程被过度炒作，并且将继续存在，但软件 1.0 范式在软件 3.0 应用程序中的重新出现既是一个充满机遇/混乱的领域，也为众多初创公司创造了空白：
当然，这不仅仅是人类编写的代码。 我最近与 smol-developer、范围更大的 gpt-engineer 以及其他代码生成代理（如 Codium AI、Codegen.ai 和 Morph/Rift）的合作将越来越多地成为 AI 工程师工具包的一部分。 随着人类工程师学会利用人工智能，人工智能也将越来越多地从事工程工作，直到遥远的未来，当我们有一天抬头看时，再也无法分辨出两者之间的区别。
原文链接：The Rise of the AI Engineer
BimAnt翻译整理，转载请标明出处
