websocket请求通过IteratorAggregate实现流式输出
最佳答案 问答题库768位专家为你答疑解惑
对接国内讯飞星火模型,官方文档接口采用的是websocket跟国外chatgpt有些差异。
虽然官网给出一个简单demo通过while(true),websocket的receive()可以实现逐条接受并输出给前端,但是通用和灵活度不高。不能兼容现有项目框架的流式输出。故模仿openai,采用IteratorAggregate接口实现迭代器可遍历获取响应结果。
IteratorAggregate只有一个需要实现的方法getIterator()实现起来简单方便,基本代码如下
<?php
declare(strict_types=1);namespace App\Extends;use WebSocket\Client;
use IteratorAggregate;
use Generator;class XingHuoClient
{protected $client;public function client(){$apikey = '';//自己填写真实内容$apiSecret = '';//自己填写真实内容$addr = '';//自己填写真实内容$authUrl = $this->assembleAuthUrl("GET",$addr,$apikey,$apiSecret);//创建ws连接对象$this->client = new Client($authUrl);return $this;}public function send($uid, array $message){if($this->client){$data = $this->getBody($uid, $message);$this->client->send($data);$response = new XingResponseIterator($this->client);return $response;}else{throw new \Exception('星火客户端异常');}}//构造参数体protected function getBody($uid, $message){//...省略内容return $json_string;}//鉴权方法public function assembleAuthUrl($method, $addr, $apiKey, $apiSecret) {//...省略内容return $authAddr;}
}class XingResponseIterator implements IteratorAggregate {protected $client;public function __construct($client) {$this->client = $client;}public function getIterator(): Generator {if($this->client){while(true){$response = $this->client->receive();$resp = json_decode($response,true);$code = $resp["header"]["code"];if(0 == $code){$status = $resp["header"]["status"];if($status != 2){yield $resp['payload'];}else{yield $resp['payload'];break;}}else{//TODO:记录错误日志或报警break;}}}else{return [];}}
}
前提引入composer require textalk/websocket包用于socket请求星火接口,大部分内容还是官网提供的demo,主要是增加了XingResponseIterator 。
$stream = xinghuo()->client()->send($uid, $messages);//xinghuo()是封装的XingHuoClient对象
foreach($stream as $response){//处理数据,格式化数据,统计,记录等操作,输出内容到响应流,此处不做细讲
}
输出形式可以分流式输出,以openai为例参考:
https://github.com/orhanerday/open-ai
https://packagist.org/packages/hhxsv5/php-sse
前端浏览器使用的是EventSource对象。
可以使用chunk形式,存在客户端不支持eventSource对象的情况可以选择使用,参考我的另一篇文章
https://blog.csdn.net/jinborui2/article/details/132325824
以及一些nginx配置和php配置也在这篇文章里有所讲解,保证服务端及时输出内容到客户端。
99%的人还看了
相似问题
- 【PyQt小知识 - 3】: QComboBox下拉框内容的设置和更新、默认值的设置、值和下标的获取
- VR全景打造亮眼吸睛创意内容:三维模型、实景建模
- 广州华锐互动VRAR | VR课件内容编辑器解决院校实践教学难题
- PyCharm:PyCharm新建.py文件时自动带出指定内容
- EI论文程序:Adaboost-BP神经网络的回归预测算法,可作为深度学习对比预测模型,丰富实验内容,自带数据集,直接运行!
- 信息中心网络提出的背景、研究现状及研究内容
- 【IDEA 使用easyAPI、easyYapi、Apifox helper等插件时,导出接口文档缺少代码字段注释的相关内容、校验规则的解决方法】
- 340条样本就能让GPT-4崩溃,输出有害内容高达95%?OpenAI的安全防护措施再次失效
- 控制您的音乐、视频等媒体内容
- el-table固定表头(设置height)出现内容过多时不能滚动问题
猜你感兴趣
版权申明
本文"websocket请求通过IteratorAggregate实现流式输出":http://eshow365.cn/6-9056-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!
- 上一篇: 人工智能训练师
- 下一篇: png转jpg格式图片怎么弄?这几种格式转换方法要知道