原创 MaxScale新功能实测:一份数据同时写入MongoDB和MySQL

11次阅读

作者介绍

贺春旸,dbaplus社群金牌专家,凡普金科和爱钱进DBA团队负责人,《MySQL管理之道:性能调优、高可用与监控》第一&二版、《MySQL运维进阶指南》作者,曾任职于中国移动飞信、安卓机锋网。五次荣获dbaplus年度MVP,致力于MariaDB、MongoDB等开源技术的研究,主要负责数据库性能调优、监控和架构设计。

一、介绍

MariaDB MaxScale的NoSQL协议模块是一个强大而独特的功能,它允许使用MongoDB协议与MariaDB数据库进行交互。

以下是该模块的主要特点:

1、协议转换

将MongoDB的查询语言和操作转换为SQL语句。使得应用程序可以使用MongoDB的驱动程序与MariaDB/MySQL通信。

2、无缝集成

允许现有的MongoDB应用程序直接连接到MariaDB/MySQL,无需修改应用程序代码。简化了从MongoDB向MariaDB/MySQL的迁移过程。

原创 MaxScale新功能实测:一份数据同时写入MongoDB和MySQL

MaxScale to MongoDB架构示意图

二、应用场景

需求:希望实现一份数据同时写入MongoDB和MySQL(用于运营分析),建立双写机制。以往在没有MariaDB MaxScale的情况下,这通常需要大量的代码重构。而如今,通过MariaDB MaxScale的NoSQL协议模块,能够实现将MongoDB中的数据无缝迁移至MySQL,无需修改任何现有代码。

原创 MaxScale新功能实测:一份数据同时写入MongoDB和MySQL

三、安装与部署

1、下载与安装MaxScale

shell> wget https://dlm.mariadb.com/3843223/MaxScale/24.02.2/yum/centos/7/x86_64/maxscale-24.02.2-1.rhel.7.x86_64.rpm

shell> yum install maxscale-24.02.2-1.rhel.7.x86_64.rpm -y

2、配置MaxScale支持MongoDB协议

环境:192.168.176.204 – MaxScale

192.168.198.239 – MariaDB

1)创建MaxScale配置文件

shell> vim /etc/maxscale.cnf

[maxscale]

threads=auto

admin_secure_gui=false

admin_host=0.0.0.0

[server1]

type=server

address=192.168.198.239

port=4309

#protocol=MySQLBackend

protocol=MariaDBBackend

[MariaDB-Monitor]

type=monitor

module=mariadbmon

servers=server1

user=admin

password=123456

monitor_interval=2s

[Read-Write-Service]

type=service

router=readwritesplit

servers=server1

user=admin

password=123456

enable_root_user=1

[Read-Write-Listener]

type=listener

service=Read-Write-Service

protocol=mariadbprotocol

port=4006

[MongoDB-Listener]

type=listener

service=Read-Write-Service

protocol=nosqlprotocol

nosqlprotocol.user=admin

nosqlprotocol.password=123456

#############################################

## 第一次要设置false,然后创建账号

## db.createUser({user:”admin”,pwd:”123456″,roles:[{role:”dbOwner”,db:”test”}]})

## 然后再修改为true,并重启maxscale

nosqlprotocol.authentication_required=false

nosqlprotocol.authorization_enabled=false

#############################################

port=17017

注:首次启动MaxScale服务时,需要将以下两个参数设置为false:

nosqlprotocol.authentication_required=false

nosqlprotocol.authorization_enabled=false

此操作的目的是先通过非认证模式登录17017端口,然后再创建应用所需的访问账号。请确保后端MariaDB/MySQL服务启动正常,且已存在admin账号,权限为ALL。

2)启动MaxScale

shell> systemctl start maxscale

shell> systemctl status maxscale

● maxscale.service – MariaDB MaxScale Database Proxy

Loaded: loaded (/usr/lib/systemd/system/maxscale.service; enabled; vendo

r preset: disabled) Active: active (running) since Fri 2024-09-06 14:51:06 CST; 8h ago

Process: 130360 ExecStart=/usr/bin/maxscale (code=exited, status=0/SUCCES

S) Main PID: 130361 (maxscale)

CGroup: /system.slice/maxscale.service

└─130361 /usr/bin/maxscale

3)创建Mongo连接账号,提供给应用程序访问使用

shell> mongosh –port 17017

在test数据库中创建账号admin,密码为123456,并赋予dbOwner权限:

use test

db.createUser({user:”admin”,pwd:”123456″,roles:[{role:”dbOwner”,db:”test”}]})

此命令将为test数据库创建一个具有dbOwner权限的管理员账号。

4)以认证模式登录17017端口

编译maxscale.cnf配置文件,将下面的参数值修改为true:

nosqlprotocol.authentication_required=true

nosqlprotocol.authorization_enabled=true

注:需重启MaxScale服务生效。

shell> systemctl restart maxscale

5)连接MongoDB协议17017端口

shell> mongosh mongodb://admin:[email protected]:17017/test –authenticationDatabase test

a. 插入数据

db.t2.insert(

{“age”: 45, “name”: “中年大叔”, “hobby”: [“美食”, “摩旅”, “游泳”, “电影”, “实现50岁退休”], “address”: “北京”}

此时,你回到后端MariaDB/MySQL数据库里,已经发现t2表已经创建,表结构如下:

mysql> show create table t2\G

*************************** 1. row ***************************

Table: t2

Create Table: CREATE TABLE `t2` (

`id` varchar(35) GENERATED ALWAYS AS (json_compact(json_extract(`doc`,$.

_id))) VIRTUAL, `doc` longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL CHE

CK (json_valid(`doc`)), UNIQUE KEY `id` (`id`),

CONSTRAINT `id_not_null` CHECK (`id` is not null)

) ENGINE=InnoDB DEFAULT CHARSET=latin1

b. 查询数据

mysql> select * from t2\G

*************************** 1. row ***************************

id: {“$oid”:”66dab9b9fc7f8c8fff4a7bcf”}

doc: { “_id” : { “$oid” : “66dab9b9fc7f8c8fff4a7bcf” }, “age” : 45.0, “name” : “中年大叔”, “hobby” : [ “美食”, “摩旅”, “游泳”, “电影”, “实现50岁退休” ]

, “address” : “北京” }

1 row in set (0.00 sec)

用MySQL的JSON函数查询数据:

mysql> SELECT

-> JSON_UNQUOTE(JSON_EXTRACT(doc, $.name)) AS name,

-> JSON_EXTRACT(doc, $.age) AS age,

-> JSON_EXTRACT(doc, $.hobby) AS hobby

-> FROM t2;

+————–+——+—————————————————————+

name | age | hobby |

+————–+——+—————————————————————+

中年大叔 | 45.0 | [“美食”, “摩旅”, “游泳”, “电影”, “实现50岁退休”] |

+————–+——+—————————————————————+

1 row in set (0.00 sec)

至此大功告成。

四、总结

MariaDB MaxScale NoSQL协议模块的核心优势在于其卓越的适应性和效率。它巧妙地架起了NoSQL和SQL世界之间的桥梁,使得组织能够在不改变现有MongoDB应用代码的情况下,实现向MySQL的无缝过渡和双写操作。这一创新极大地简化了数据库基础架构,显著降低了维护成本和复杂性。

更为重要的是,这个模块释放了开发团队的生产力。通过消除处理复杂数据层转换的需求,开发人员可以将更多精力集中在核心业务逻辑的开发上。这不仅加快了项目交付速度,还提高了代码质量和创新能力。返回搜狐,查看更多

责任编辑:

正文完
 0
网站地图