Bedrock Guardrails构建致密的生成式AI应用
要道字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Amazon Bedrock Guardrails， Generative Ai Applications， Responsible Ai Policies， Content Filtering， Prompt Attack Detection， Denied Topic Detection， Personal Information Protection， Word Filtering， Contextual Grounding， Automated Reasoning Check]
导读
Amazon Bedrock Guardrails匡助客户在单一贬责决议中为其生成式AI应用构建和定制安全、阴私和真确性保障，岂论底层基础模子（FM）如何。参加本次会议，深入了解Guardrails如安在FM原生保护的基础上提供可确立的安全形式。探索KONE筹画如何部署Amazon Bedrock和Guardrails，为每天完成越过100，000次现场客户拜访的40，000名时期东说念主员提供安全准确的及时AI相沿。取得KONE对于选拔负使命AI原则的建议，以及如安在教训出产力的同期齐备价值托付。
演讲精华
以下是小编为您整理的本次演讲的精华。
在亚马逊云科技 re:Invent 2024的精彩会议中，深入探讨了人人电梯和自动扶梯行业引导者Kone公司的不凡故事。Kone公司政策团合资伴副总裁兼致密东说念主Taro Hutterin公布了该公司运营的惊东说念主数据。Kone的设立每天皆为惊东说念主的20亿东说念主提供服务，这充分评释了他们产物和服务的无处不在。此外，该公司在60个国度/地区关怀着170万至180万件设立，充分体现了其运营限制之大。
Taro强调了Kone到手的中枢——他们的维修时期东说念主员。这些时期东说念主员每天进行10万次维修，这一数字体现了公司对确保设立安全可靠的坚强快活。但是，维修量的重大限制也带来了要紧挑战，因为时期东说念主员频频会遭受来自各种制造商的设立，仅Kone维修基地就有至少1000种不同类型的电梯。
加重这一挑战的是，好多西方国度正在发生东说念主口结构漂泊，老龄化劳能源莫得得到年青一代的充分补充。这种东说念主口结构变化可能会导致教训丰富的现场服务工程师枯竭，进一步加重了关怀不同设立类型时的学问缺口。
意识到这些挑战，Kone与亚马逊云科技开启了变革之旅，控制生成式东说念主工智能的力量开导了Technician Assistant应用标准。这一改进贬责决议旨在弥补学问缺口，为时期东说念主员提供所需的信息和率领，以高效贬责维修问题，岂论设立类型或制造商如何。Kone与亚马逊云科技的归拢始于在亚马逊云科技生成式东说念主工智能改进中心的早期战役，他们进行了为期4周的见地考据，探索使用大型谈话模子(LLM)贬责现场运营挑战(尤其是设立关怀关联)的后劲。
这一初步战役的成果令东说念主饱读动，促使Kone与亚马逊云科技原型团队归拢进行动期5周的开导冲刺。在此时期，他们创建了Technician Assistant应用标准的第一个原型，并于本岁首在现场进行了考据。运转阶段触及约50名时期相沿东说念主员，他们不错比较该贬责决议贬责相同问题的才调。受到积极反馈的饱读动，Kone插足下一阶段，将该应用标准履行到现场服务工程师，现在有约250名时期东说念主员散布在4个国度/地区和4种谈话环境中积极使用该贬责决议。
Technician Assistant管说念是时期集成和数据控制的极品。它起首对时期东说念主员的输入进行预处理，这可能触及将各种谈话的查询翻译成模范体式。这一标准对于Kone的人人运营至关紧迫，确保了跨地区的无缝换取和伙同。
接下来，管说念从Kone重大的文档和历史案例库中检索关联数据。这些数据包括用户手册、现场服务陈诉、维修陈诉和物联网(IoT)数据，为应用标准提供了全面的学问库。Kone的数据库会被搜索与正在维修的特定设立关联的信息和事件，从而为时期东说念主员生成初步会诊陈诉。
但是，并非统统检索到的数据皆与刻下的维修问题同等关联。为了贬责这一问题，Kone实施了一个评估标准，以评估检索到的文档的高下文和关联性。率先，这是通过一种里面贬责决议齐备的，使用大型谈话模子(LLM)来判断文档的关联性，给出0(不关联)或1(关联)的二进制评分。尽管有用，但这种时期每次迭代梗概需要1.02秒，当与统统这个词管说念鸠合时，可能会带来额外大的使命。
意识到优化的后劲，Kone转向使用Amazon Bedrock Guardrails的关联性搜检功能。这种全程托管的贬责决议不仅更快、更经济，况兼提供了详备的评分范围，而不是二进制评估。在预出产测试中，关联性搜检功能将每次迭代所需时分从1.02秒申斥到0.48秒，速率教训了2倍。此外，与Kone里面贬责决议比拟，老本申斥了38%。
Taro Hutterin强调了高下文评估和保护在Technician Assistant管说念中的要道作用。Kone控制了多个Bedrock模子，每个模子皆针对管说念中的特定任务进行了优化。举例，Claude 3 Sonnet用于生成查询并将其与数据库进行匹配，以及生成后续问题。Claude 3 Haiku用于评估文档关联性，而最新的Claude 3.5 Sonnet v1模子则致密为时期东说念主员生成精准的指示。
Kone与亚马逊云科技的归拢使他们省略纯熟其生成式东说念主工智能之旅，从Bedrock预览时期出手，并跟着服务过火模子的发展而发展。这种归拢使Kone省略在性能和老本之间取得圆善均衡，确保Technician Assistant应用标准以最少的时期东说念主员输入提供高质料的反映。
在现场演示中，Taro展示了Technician Assistant应用标准的施交运行情况。该应用标准自动会诊设立问题，提供了正在维修的特定设立在往时12个月的维修记载选录。它还杰出深切了任何最近的故障，包括一个发生了14.14次的故障代码，标明这可能是问题的根源。该应用标准随后解释了故障代码过火可能的根柢原因，以及如何贬责问题的率领。
该应用标准还会向时期东说念主员建议预设问题，要是莫得关联的预设问题，也允许自界说输入。通过控制Kone的文档、图纸和图表，Technician Assistant提供了针对性的率领和信息，使时期东说念主员省略高效贬责维修挑战。
来自Kone时期东说念主员的定性反馈阐发了该应用标准的有用性。已零散百个问题使用该贬责决议得到贬责，250名时期东说念主员散布在4个国度/地区积极使用它，其影响是有形的。一位时期东说念主员致使示意追念在试点阶段后失去使用该器具的权限，这充分评释了它的价值以及与处事历程的无缝集成。反馈深切，该应用标准省略安闲不同教训水平的时期东说念主员的需求，为需要逐步率领的东说念主员提供率领，而有教训的时期东说念主员则不错把柄需要深入了解信息。
商量改日，Kone对Technician Assistant应用标准的筹画至极唯利是图。该公司旨在通过丰富数据源、控制第三方数据(在这种情况下，Bedrock Guardrails的保护形式变得至关紧迫)、齐备60个国度/地区和40，000名现场服务工程师的人人履行，以及整合多模态功能(如音频、图像和视频)来增强该贬责决议。
Taro Hutterin强调了与亚马逊云科技的团合资伴关联在Kone的生成式东说念主工智能之旅中的要道作用。这种归拢为他们提供了早期战役高性能基础模子、最新服务和实践以及径直取得寰宇一流人人的契机。这种协同效应使Kone省略专注于为其历程和客户提供价值，同期控制亚马逊云科技的顶端时期和专科学问。
Kone对改进的快活是坚强不移的，他们的产物组合中照旧有30多种不同的生成式东说念主工智能用例，从像Technician Assistant这么的产物到接近出产的原型，再到早期探索阶段。Taro示意，跟着他们络续激动可能性的领域，Kone里面的生成式东说念主工智能用例数目将“爆炸式增长”。
底下是一些演讲现场的精彩顿然：
演讲者通过筹商不雅众在re:Invent体验中使用电梯、自动扶梯和交通器具的关联问题来诱导不雅众。
演讲者综合了演讲的议程，包括Bedrock Guardrails综合、架构、产物演示、来自Kone的客户案例以及使用亚马逊云科技构建的Kone时期员助手应用标准的演示。
先容在Amazon Bedrock限度台中无缝创建提神栏的过程，允许自界说输入和输出过滤的音讯。
演示如何使用Amazon Bedrock提神栏创建内容过滤策略，以检测无益类别，如文本和图像中的仇恨内容、侮辱、性或暴力内容，并把柄业务需求自界说强度级别。
Amazon Bedrock Guardrails不错狂放快速地介入扎眼无益内容，具有可自界说的策略和及时的策略违纪反馈。
控制数字化贬责决议，如叙事式东说念主工智能和时期匡助台，高效地贬责现场时期东说念主员濒临的问题并加以贬责。
演讲者邀请不雅众参加自动推理和提神栏的会议和沟通会，要点先容最新改进和实践契机。
追念
在这个别有洞天的叙事中，咱们踏上了探索生成式东说念主工智能应用标准的复杂寰宇以及保护它们的至关紧迫性的旅程。这个故事通过电梯和自动扶梯的镜头伸开，将狂放迁移咱们的时期古迹与快速发展的东说念主工智能领域同日而言。
Amazon Bedrock Guardrails看成主角出现，这是一套苍劲的保护形式，旨在保护生成式东说念主工智能应用标准免受失当内容、阴私泄露、请示挫折和幻觉的影响。其各种化的政策，包括内容过滤器、被拒却的主题、词语过滤器和情境配景学问，使开导东说念主员省略把柄我方的特有用例和负使命的东说念主工智能政策定制保护形式。
跟着自动推理搜检的引入，这个叙事出现了一个令东说念主美妙的更始，这是一项打破性的功能，不错识别并改进反映中的事实述说，确保最猛进程的准确性和透明度。这项顶端时期有望绝对更正依赖于精征服息的行业，如法律、保障和东说念主力资源。
人人电梯和自动扶梯引导者通力公司成为焦点，展示了他们与亚马逊云科技在开导由生成式东说念主工智能驱动的时期助理方面的超越归拢。这种改进贬责决议使现场服务工程师省略快速会诊和贬责设立问题，控制Bedrock Guardrails的情境配景学问和关联性搜检来提供准确和关联的信息。
这个叙事以通力公司时期助理的令东说念主信服的演示达到激越，展示了Bedrock Guardrails保护形式与生成式东说念主工智能的力量在简化复杂操作方面的无缝集成。这个旅程以号召参与者探索无数挑升用于掌捏构建负使命的生成式东说念主工智能应用标准艺术的资源、沟通会和分组会议而告终。
亚马逊云科技（Amazon Web Services）是人人云野心的创举者和引颈者。提供200多类无为而深入的云服务，服务人人245个国度和地区的数百万客户。作念为人人生成式AI前行者，亚马逊云科技正在联袂无为的客户和团合资伴，缔造可见的贸易价值 – 收罗人人40余款大模子，亚马逊云科技为10万家人人企业提供AI及机器学习服务开云体育，防守3/4中国企业出海。
