数据库内容多语言方案

场景:很多网站,app,等互联网应用,面向国际业务,需要支持多种语言。

方案一

调用第三方翻译API,如,百度翻译,谷歌翻译,有道翻译等等。在渲染页面或这响应接口之前调用api将内容翻译成目标语言,然后在展示。

缺点:依赖第三方服务,延迟高。

方案二

单表冗余字段设计,比如content字段,增加content_en content_fr …

适应于2个语种,字段少的情况。例如,只有content字段需要多语言,而且只有两种语种。

缺点:

  • 导致单表字段超出数据库设计规范,字段数会翻倍。
  • varchar和char类型 具有 65,535 字节的最大行大小限制,text字段也有容量限制
  • 缺少扩展性,维护的时候还需要增加表字段

方案三

单字段存储json,字段类型设为longText ;

场景:适合短文本少量语种,一旦超出文本限制,就不适用了,例如:长篇富文本多语言支持这类需求。

laravel ORM增加语言支持 扩展包 spatie/laravel-translatable 使用json方式存储

需要对多语言字段内容,增加唯一性验证时,使用 codezero-be/laravel-unique-translation

方案四

全表文本都需要翻译的情况,增加语言类型字段

languagenamecontent
zh-CN名称内容
ennamecontent

全表只有几个文本字段的情况,增加语言翻译扩展表

场景:扩展表设计适合,多语种,长文本存储

主表结构存储,不需要翻译文本的字段,附表结构参考上表格,增加关联id

laravel ORM增加语言支持 扩展包 Astrotomic/laravel-translatable 使用该方式实现 文档地址

参考

如何为 Eloquent 添加多语言支持

网址多语言设计

 MySQL TEXT 字段的限制

数据迁移使用规范

目的,为了使命名更具有语义化和可读性,方便维护

以laravel框架为例,按实际操作行为划分

  • 添加 删除 修改(主要参考迁移功能,提供的api方法) 对应名称create drop modify
  • 2种以上的操作行为,都算修改
  • 给单一操作增加后缀,字段 column,索引 index,视图view, 存储过程 ,函数
  • 命名重复情况增加版本号 v1.0.0 …

操作表

表字段,标注注释,表索引

创建表

create_xxxx_table.php

删除表

drop_xxxx_table.php

修改表

包含添加删除字段或索引或其他 ,2种以上行为

modify_xxxx_table.php

操作字段

字段名称,字段数据类型,字段注释

添加字段

create_xxxx_table_column.php

删除字段

drop_xxxx_table_column.php

修改字段

包含添加和删除和修改字段,2种以上行为

modify_xxxx_table_column.php

操作索引

操作普通索引,全文索引,空间索引等;

索引优化是业务开发中,修改频率很高的行为,所以需要单独列出来,有很多场景需要,单独的变更索引,而不修改字段

添加索引

create_xxxx_table_index.php

删除索引

drop_xxxx_table_index.php

修改索引

包含添加 删除 修改 和自定义 2种以上行为时

modify_xxxx_table_index.php

单一操作行为的规则,参考上文以此类推。

多次重复行为时增加语义化版本后缀

需要改进

比如第一次业务变更 增加了字段 create_users_table_column.php

第二次业务变更,又要对users表增加字段,则命名为 create_users_table_column_v1.0.0.php

laravel8.x以上 可以使用压缩迁移

// 转储当前数据库架构并删除所有现有迁移。。。
php artisan schema:dump --prune

Api设计指南

基本概念

应用程序编程接口

按层级划分

操作系统->编程语言->框架类库->Web API

编程语言对操作系统的API封装,框架类库对编程语言API的封装, Web API是对框架类库的封装

按通讯方式划分

RPCREST APIWebSocket API
消息格式二进制Thrift,Protobuf,GRPC文本XML,JSON,GraphQL 二级制,文本json
通讯协议TCPHTTP,HTTP/2HTTP,websocket
性能一般 一般
接口契约IDLThrift,Protobuf IDLSwaggerSwagger
客户端强类型客户端HTTP客户端websocket客户端
框架Dubbo,GPRC,Thriftweb框架websocket框架
开发者友好一般自动生成存根、客户端、使用友好,二进制消息阅读不友好json可读性高,通用性json可读性高,通用性
应用场景服务间通讯推荐PRC对外暴露接口推荐REST大文件类的流式数据,语言识别服务

既然有HTTP协议,为什么还要有RPC

按应用场景划分

业务应用

app,小程序,pc站,手机站 等客户端提供 api

开放平台(Open API)

PaaSSaaS Serverless 平台的服务API

API设计必须要具备的指标

规范和风格

restful api 风格,laravel框架自带

Restful Api 风格规范研究

github路由风格,https://api.github.com/

全部小写,多单词时用短划线分隔

http://xxxx/register-phone

不要用下划线,下划线的域名和路由在一些第三方开放平台无法通过验证,如qq互联申请时

鉴权

OAuth2

Laravel搭建OAuth2.0服务

LaravelSanctum 授权 SPA场景

防止重放攻击

请求限流

浅谈api限流

按时间限流,req/minute

随机拒绝,如秒杀场景

api(路由)版本管理

Laravel路由版本控制的实现。

Guzzle使用经验总结

中文文档 英文文档

调用接口

主要功能,很多sdk都是使用该类库开发

写爬虫抓取页面

Laravel 下使用 Guzzle 编写多线程爬虫实战

项目中应用案例

java的古籍PC网站,该项目无人维护,无法提供书籍数据的接口。分析页面结构和接口使用guzzle库爬取书籍数据,完成数据对接。

在所用请求中共享cookie功能 文档

//创建客户端
$this->client = new Client([
    'base_uri' => $this->config['base_uri'],
    'timeout'  => 20.0,
    'cookies' => true, //共享cookie会话
);
//登录
protected function login()
{
    $response = $this->client->request('POST', 'XXX', [
            'headers' => [
                'Accept' => 'application/json'
            ],
            'form_params' => [
                'loginName' => $this->config['login_name'],
                'loginPassword' => $this->config['login_password']
            ]
        ]);

        $json = json_decode($response->getBody(), true);

        if (isset($json['operateMsg']) && $json['operateMsg'] !== '登录成功!') {
            throw new GujiException('原古籍系统账号故障');
        }
}

//请求接口数据
protected function request(string $pathUrl, array $param)
{
        $this->login(); //首先登录获取Cookies
        $response = $this->client->request('POST', $pathUrl, [
            'headers' => [
                'Accept' => 'application/json'
            ],
            'form_params' => $param
        ]);

        $contents = $response->getBody()->getContents();
        $json = json_decode($contents, true);

        if (json_last_error() === JSON_ERROR_NONE) {
            return $json;
        } elseif (json_last_error() == 10) {
            //解决json_decode错误Single unpaired UTF-16 surrogate in unicode escape
            $contents = \preg_replace('/(?<!\\\)\\\u[a-f0-9]{4}/iu', '', $contents);
            $json = \json_decode($contents, true);

            if (json_last_error() !== JSON_ERROR_NONE) {
                $json = $this->customJsonDecode($contents);
            }

            return $json;
        }
        {
            throw new GujiException("请求古籍系统接口失败");
        }
}

//抓取页面数据
protected function capture(string $pathUrl, array $param = [])
{
        $this->login(); //首先登录获取Cookies
        $response = $this->client->request('GET', $pathUrl, $param);

        if ($response->getStatusCode() == 200) {
            //获取页面内容
            return $response->getBody()->getContents();
        } else {
            throw new GujiException("古籍系统故障");
        }
}

跟随重定向

https://docs.guzzlephp.org/en/stable/faq.html#how-can-i-track-redirected-requests

https://docs.guzzlephp.org/en/stable/request-options.html#allow-redirects

调用非知名第三方支付系统,前后端分离架构,前端重定向到接口,接口调用第三方支付接口,成功后跟随响应到成功页面

use Illuminate\Support\Facades\Http;
use Psr\Http\Message\UriInterface;
use Psr\Http\Message\RequestInterface;
use Psr\Http\Message\ResponseInterface;

//Http::withOptions laravel对guzzle的封装,详情看文档
$response = Http::withOptions([
            'allow_redirects' => [
                'max'             => 1,
                'on_redirect'     => function (
                    RequestInterface $request,
                    ResponseInterface $response,
                    UriInterface $uri
                ) use ($data) {

                    //自动跟随重定向响应
                    header('Location:' . $uri);
                },
            ]
        ])->asForm()->post($this->config['base_uri'] . '/multipay/h5.do', $data);

如何实现给每个注册用户生成固定独立的URL地址

使用二级域名作为独立url, nginx使用通配符配置域名绑定

这种方案浪费域名资源

官方文档 https://nginx.org/en/docs/http/server_names.html

本地测试

host文件增加三个配置

127.0.0.1 abc.pan-domain.stu
127.0.0.1 efg.pan-domain.stu
127.0.0.1 yangliuan.pan-domain.stu

nginx配置

server {
    listen 80;
    #通配符绑定
    server_name *.pan-domain.stu;
    root /home/yangliuan/Code/Study/PHP/pan-domain;
    index index.php;

    location ~ [^/]\.php(/|$) {
        fastcgi_pass unix:/dev/shm/php-cgi.sock;
        fastcgi_index index.php;
        include fastcgi.conf;
    }

    location ~ ^/(\.user.ini|\.ht|\.git|\.svn|\.project|LICENSE|README.md) {
        deny all;
    }
}

测试结果

对其中一个域名yangliuan.pan-domain.stu 进行优先级测试,增加单独的站点配置和绑定,

server {
    listen 80;
    server_name yangliuan.pan-domain.stu;
    root /home/yangliuan/Code/Study/PHP/test;
    index index.php;

    location ~ [^/]\.php(/|$) {
        #fastcgi_pass remote_php_ip:9000;
        fastcgi_pass unix:/dev/shm/php-cgi.sock;
        fastcgi_index index.php;
        include fastcgi.conf;
    }

    location ~ ^/(\.user.ini|\.ht|\.git|\.svn|\.project|LICENSE|README.md) {
        deny all;
    }
}

结果如下

说明 server_name指令中 指定名称的优先级大于通配符

yangliuan.pan-domain.stu 的优先级大于 *.pan-domain.stu

如果云平台可以调用平台的域名解析接口,添加子域名解析 或者使用*.xxxx.com 泛域名解析

最简单实用的方案,给每个用户生成一个固定的独立子路由

  1. 使用用户昵称 命名
  1. 用户唯一标识 命名

PHP处理富文本html标签的方法

使用XML 相关扩展操作

https://www.php.net/manual/zh/refs.xml.php

示例代码

以处理图片地址为例子

  $htmlContent = '<p>测试<img src='xxx.jpeg'></p>';
  $htmlDom = new DOMDocument();
  @$htmlDom->loadHTML($htmlContent);
  $images = $htmlDom->getElementsByTagName('img');
  
  //处理富文本中的图片
  foreach ($images as $key => $image)
  {  
      //获取img图片的src属性值
      $src = $image->getAttribute('src');
      //拼接成完整的url
      $image->setAttribute('src', 'http://xxxx.com'.$src);
  }
  
  //获取body标签的内容
  $body = $htmlDom->getElementsByTagName('body')->item(0);
  //转换成html字符串
  $content = $htmlDom->saveHTML($body);
  //替换掉body标签
  $content = str_replace(['<body>', '</body>'], '', $content);

数据库设计相关文章索引

电商商品模块,关于规格问题的研究

基础概念

商品规格 商品属性 SKU

没有规格

最简单的商品规格设计,就是没有规格直接展示SKU

只需要两张表 商品表 (products) 和 商品sku表(product_skus)

product_skus 包含 库存和价格

多规格

有赞的设计方式

实现逻辑

对规格值进行笛卡尔积计算,生成SKU

1.规格不变,规格值发生变化时

添加规格值,重新生成添加值对应的笛卡尔积,删除规格值,删除删除值对应的笛卡尔积

2.规格变动,重新生成笛卡尔积覆盖原有数据

阿里云OSS相关问题

STS授权配置

参考:

https://help.aliyun.com/document_detail/100624.html?spm=a2c4g.11186623.6.708.576e6cb8K5XZME

  1. 登陆案例云账号进入《控制台》之后,按照下图指示进行创建RAM用户
  1. 配置用户权限,看下图
  1. 创建AccessKey ID、AccessKey Secret (注意这一步弹框生成的文件一定要保存下来),默认进来之后会有一个AccessKey ID先删除再创建;具体看下图

4、新建自定义权限策略

{    
 "Version": "1",    
 "Statement": [     
   {           
     "Effect": "Allow",           
     "Action": [             
        "oss:*"           
     ],           
     "Resource": [             
       "acs:oss:*:*:Bucket名称",             
       "acs:oss:*:*:Bucket名称/*"           
     ]     
   }    
]}

4、创建RAM账号

5、bucket与RAM绑定

跨域设置,点击上图中的跨域设置进行下图的配置

OSS文件自动下载问题

参考

https://help.aliyun.com/knowledge_detail/39545.html?spm=a2c4g.11186623.2.19.58241a216Srrvd

文件被强制下载可能的原因以下所示:

  • 使用OSS提供的默认域名,且没有经过其他配置。需要绑定自定义域名
  • 对应资源的Content-Type设置错误。
  • 对应资源的Content-Disposition设置错误。
  • CDN缓存了错误的Content-Type或者Content-Disposition。
  • 浏览器不支持该格式资源的展示。

其它常见问题

https://help.aliyun.com/knowledge_detail/142685.html?spm=a2c4g.11186623.6.1859.5af0606caO1MHy