爷爷八十大寿，程序员为他写了一个书本朗读App-低调大师

爷爷八十大寿，程序员为他写了一个书本朗读App

2021-03-19 476

“强强，有没有看到爷爷的眼镜啊？”

众所周知，我厂程序员阿强，有个头发花白却对读书看报葆有热忱的爷爷。阿强说每次回家看到爷爷鼻梁上架着老花镜，背部战略性后仰，对着手里的报纸看得吃力又沉迷的样子，就觉得很有必要为老爷子提升下阅读体验。

读报耗费眼力，不妨解放眼睛的工作让耳朵为阅读出份力。于是乎，阿强决定开发一个书本朗读App，用这个App只需要拍摄纸张上的文字内容，就能转化成语音朗读出来，变“看“为”听“。让老爷子能一边悠闲的躺在摇椅上，一边“听书闻报“看天下。

Demo演示

解决思路：

1、拍摄书本，识别书本照片中的文字信息，并将其中的文本信息提取出来
2、语音合成技术在线将识别出的文本信息转化为语音输出

以上这两个步骤依次用到了华为机器学习服务的文本识别和语音合成能力，实现起来难度并不大。以下是具体开发步骤。

开发前准备：

1. 配置华为Maven仓地址并将agconnect-services.json文件放到app目录下：

buildscript {
    repositories {
        google()
        jcenter()
        maven { url "https://developer.huawei.com/repo/" }
    }
    dependencies {
        classpath "com.android.tools.build:gradle:4.1.1"
        classpath 'com.huawei.agconnect:agcp:1.4.2.300'
        // NOTE: Do not place your application dependencies here; they belong
        // in the individual module build.gradle files
    }
}

allprojects {
    repositories {
        google()
        jcenter()
        maven { url "https://developer.huawei.com/repo/" }
    }
}

2. 添加编译SDK依赖：

dependencies {
    // 引入文本识别基础SDK
    implementation 'com.huawei.hms:ml-computer-vision-ocr:2.0.5.300'
    // 引入拉丁语文字识别模型包
    implementation 'com.huawei.hms:ml-computer-vision-ocr-latin-model:2.0.5.300'
    // 引入中英文文字识别模型包
    implementation 'com.huawei.hms:ml-computer-vision-ocr-cn-model:2.0.5.300'

    // 引入TTS基础SDK
    implementation 'com.huawei.hms:ml-computer-voice-tts:2.2.0.300'
}

3. 在app的build中配置签名文件并将签名文件(xxx.jks)放入app目录下：

signingConfigs {
    release {
        storeFile file("xxx.jks")
        keyAlias xxx
        keyPassword xxxxxx
        storePassword xxxxxx
        v1SigningEnabled true
        v2SigningEnabled true
    }

}

buildTypes {
    release {
        minifyEnabled false
        proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'), 'proguard-rules.pro'
    }

    debug {
        signingConfig signingConfigs.release
        debuggable true
    }
}

4. 在Manifest.xml中添加权限：

<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />

开发步骤：

1. 进行权限动态申请并配置文本识别、TTS的解析器：

(1) 申请动态权限

private static final int REQUEST_EXTERNAL_STORAGE = 1;
private static final String[] PERMISSIONS_STORAGE = {
        Manifest.permission.READ_EXTERNAL_STORAGE,
        Manifest.permission.WRITE_EXTERNAL_STORAGE };
public static void verifyStoragePermissions(Activity activity) {
    // Check if we have write permission
    int permission = ActivityCompat.checkSelfPermission(activity,
            Manifest.permission.WRITE_EXTERNAL_STORAGE);
    if (permission != PackageManager.PERMISSION_GRANTED) {
        // We don't have permission so prompt the user
        ActivityCompat.requestPermissions(activity, PERMISSIONS_STORAGE,
                REQUEST_EXTERNAL_STORAGE);
    }
}

（2）配置解析器

private void initAnalyers() {
// apikey是一种访问华为服务的简单凭证，云测服务都需要设置，这里是动态获取agconnect-services.json文件中的apikey
    MLApplication.getInstance().setApiKey(AGConnectServicesConfig.fromContext(getApplicationContext()).getString("client/api_key"));

    List<String> languageList = new ArrayList();
    languageList.add("zh");
    languageList.add("en");
    MLRemoteTextSetting ocrSetting =
            new MLRemoteTextSetting.Factory()
                    // MLRemoteTextSetting.OCR_COMPACT_SCENE：文本密集场景的文本识别。
                    .setTextDensityScene(MLRemoteTextSetting.OCR_COMPACT_SCENE)
                    // 设置识别语言列表，使用ISO 639-1标准。
                    .setLanguageList(languageList)
                    // MLRemoteTextSetting.ARC：返回文本排列为弧形的多边形边界的顶点，最多可返回多达72个顶点的坐标。
                    .setBorderType(MLRemoteTextSetting.ARC)
                    .create();
    ocrAnalyzer = MLAnalyzerFactory.getInstance().getRemoteTextAnalyzer(ocrSetting);

    MLTtsConfig mlConfigs;
    mlConfigs = new MLTtsConfig()
            // 设置合成文本为中文。
            .setLanguage(MLTtsConstants.TTS_ZH_HANS)
            // 设置中文发音音色。
            .setPerson(MLTtsConstants.TTS_SPEAKER_FEMALE_ZH)
            // 设置发音速度。范围：(0,5.0]，1.0表示正常语速。
            .setSpeed(1.0f)
            // 设置音量。范围：(0,2)，1.0表示正常音量。
            .setVolume(1.0f)
            // set the synthesis mode.
            .setSynthesizeMode(MLTtsConstants.TTS_ONLINE_MODE);
    mlTtsEngine = new MLTtsEngine(mlConfigs);
    // 设置内置播放器音量，取值范围：[0,100] dB(分贝)
    mlTtsEngine.setPlayerVolume(20);
    // 设置回调
    mlTtsEngine.setTtsCallback(callback);
}

(3) 配置上面一步中mlTtsEngine需要的回调

//没有特殊需要的话，下面的代码加上就能用
MLTtsCallback callback = new MLTtsCallback() {
    @Override
    public void onError(String taskId, MLTtsError err) {
        // 语音合成失败处理。
    }
    @Override
    public void onWarn(String taskId, MLTtsWarn warn) {
        // 告警处理（不影响业务逻辑）。
    }
    @Override
    // 返回当前播放分片和文本对应关系。start表示音频分片在输入文本中的起始位置，end表示音频分片在输入文本中的结束位置（不包含）。
    public void onRangeStart(String taskId, int start, int end) {
        // 当前播放分片和文本对应关系处理。
    }
    @Override
    // taskId 该音频对应的语音合成任务Id。
    // audioFragment 音频数据。
    // offset 一个语音合成任务会对应一个音频合成数据队列，该字段表示本次传输的音频分片在该队列中的偏移量。
    // range 本次传输的音频分片所在的文本区域，range.first为起始位置(包含的)，range.second为结束位置（不包含的）。
    public void onAudioAvailable(String taskId, MLTtsAudioFragment audioFragment, int offset, Pair<Integer, Integer> range,
                                 Bundle bundle){
        // Tts合成音频流回调接口，通过此接口将音频合成数据返回给App。
    }
    @Override
    public void onEvent(String taskId, int eventId, Bundle bundle) {
        // 合成事件回调方法。eventId为事件名称。
        switch (eventId) {
            case MLTtsConstants.EVENT_PLAY_START:
                // 播放开始回调。
                break;
            case MLTtsConstants.EVENT_PLAY_STOP:
                // 播放停止回调。
                boolean isInterrupted = bundle.getBoolean(MLTtsConstants.EVENT_PLAY_STOP_INTERRUPTED);
                break;
            case MLTtsConstants.EVENT_PLAY_RESUME:
                // 播放恢复回调。
                break;
            case MLTtsConstants.EVENT_PLAY_PAUSE:
                // 播放暂停回调。
                break;
            //以下回调事件类型是在不使用内部播放器播放，只关注合成音频数据时，需要关注的回调接口。
            case MLTtsConstants.EVENT_SYNTHESIS_START:
                // 语音合成开始的回调。
                break;
            case MLTtsConstants.EVENT_SYNTHESIS_END:
                // 语音合成结束的回调。
                break;
            case MLTtsConstants.EVENT_SYNTHESIS_COMPLETE:
                // 语音合成完成，同时合成的语音流全部传给App了。
                break;
            default:
                break;
        }
    }
};

2. 为了更好地进行文本识别，需要获得相机拍摄的清晰图片：

//设置照片保存的地址
private void initPhotoPath() {
    StrictMode.VmPolicy.Builder builder = new StrictMode.VmPolicy.Builder();
    StrictMode.setVmPolicy(builder.build());
    mFilePath = Environment.getExternalStorageDirectory().getAbsolutePath() + "/systemCemer";
    File outFilePath = new File(mFilePath);
    if (!outFilePath.exists()) {
        outFilePath.mkdirs();
    }
    String fileName = new SimpleDateFormat("yyyyMMddHHmmss").format(new Date());
    mFilePath = mFilePath + "/" + fileName + ".jpg";
    File outFile = new File(mFilePath);
    uri = Uri.fromFile(outFile);
}

case R.id.bt_takePhoto:
    Intent intent = new Intent(MediaStore.ACTION_IMAGE_CAPTURE);
    //调用相机时传入地址
    intent.putExtra(MediaStore.EXTRA_OUTPUT, uri);
    startActivityForResult(intent, 2);
break;

//在onActivityResult中读取保存地址中的图片
public Bitmap loadingImageBitmap(String imagePath) {
    final int width = getWindowManager().getDefaultDisplay().getWidth();
    final int height = getWindowManager().getDefaultDisplay().getHeight();

    BitmapFactory.Options options = new BitmapFactory.Options();
    options.inJustDecodeBounds = true;
    Bitmap bitmap = null;
    try {
        bitmap = BitmapFactory.decodeFile(imagePath, options);

        int widthRaio = (int) Math.ceil(options.outWidth/(float)width);
        int heightRaio = (int) Math.ceil(options.outHeight/(float)height);
        if (widthRaio>1&&heightRaio>1){
            if (widthRaio>heightRaio){
                options.inSampleSize = widthRaio;
            }else {
                options.inSampleSize = heightRaio;
            }
        }
        options.inJustDecodeBounds = false;
        bitmap = BitmapFactory.decodeFile(imagePath, options);
    } catch (Exception e) {
        e.printStackTrace();
    }
    return bitmap;
}

3. 读取完图片后进行文本识别：

@Override
protected void onActivityResult(int requestCode, int resultCode, @Nullable Intent data) {
    super.onActivityResult(requestCode, resultCode, data);
    if (resultCode==RESULT_OK){
        if (requestCode == 2){
            Bitmap bitmap = loadingImageBitmap(mFilePath);
            ((ImageView)findViewById(R.id.im_photo)).setImageBitmap(bitmap);
            mlFrame = new MLFrame.Creator().setBitmap(bitmap).create();
            Task<MLText> task = ocrAnalyzer.asyncAnalyseFrame(mlFrame);
            task.addOnSuccessListener(new OnSuccessListener<MLText>() {
                @Override
                public void onSuccess(MLText text) {
                   //成功识别后，处理结果
                    List<MLText.Block> blocks = text.getBlocks();
                    for (MLText.Block block : blocks) {
                        List<MLText.TextLine> lines = block.getContents();
                        for (MLText.TextLine line : lines) {
                            List<MLText.Word> words = line.getContents();
                            for (MLText.Word word : words) {
                                result += word.getStringValue() + " ";
                            }
                        }
                    } 
                    findViewById(R.id.bt_read).setEnabled(true);
                }
            }).addOnFailureListener(new OnFailureListener() {
                @Override
                public void onFailure(Exception e) {
                }
            });
        }
    }
}

4. 开始朗读：

case R.id.bt_read:
    //TTS一次朗读的最大长度为500
    int maxLength = 500;
    if (result.length() > maxLength) {
        int flag = result.length() / 500;
        for (int i = 0; i <= flag; i++) {
            if (500 * (i + 1) > result.length()) {
                // MLTtsEngine.QUEUE_APPEND：排队模式
                // 如果当前正在播放，则将任务放在队列中顺序执行；如果当前处于播放暂停状态，则恢复播放
                // 再将任务放入队列中顺序执行；如果当前无播放任务，则立即执行。
                mlTtsEngine.speak(result.substring(maxLength * (i)), MLTtsEngine.QUEUE_APPEND);
            } else {
                mlTtsEngine.speak(result.substring(maxLength * (i), maxLength * (i + 1)), MLTtsEngine.QUEUE_APPEND);
            }
        }
    }
    break;

5. 界面销毁时，释放资源：

@Override
protected void onDestroy() {
    super.onDestroy();

    if (mlTtsEngine!= null) {
        mlTtsEngine.shutdown();
    }

    if (ocrAnalyzer != null) {
        try {
            ocrAnalyzer.stop();
        } catch (IOException e) {
            // 异常处理。
        }
    }
}

其他使用场景

除了朗读资料文献以外，语音合成功能还有丰富的应用场景，比如，在教育类应用中，为孩子读睡前故事；在导航应用中，合成特定的导航语音；在阅读类应用中，为用户自动读小说等等。

>>访问华为开发者联盟官网，了解更多相关内容
>>获取开发指导文档
>>华为移动服务开源仓库地址：GitHub、Gitee

点击右上角头像右方的关注，第一时间了解华为移动服务最新技术~

微信关注我们

原文链接：https://my.oschina.net/u/4956408/blog/4992718

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

React 性能优化完全指南，将自己这几年的心血总结成这篇！

作者: MoonBall 原文地址: https://juejin.cn/post/6935584878071119885 本文分为三部分，首先介绍 React 的工作流，让读者对 React 组件更新流程有宏观的认识。然后列出笔者总结的一系列优化技巧，并为稍复杂的优化技巧准备了 CodeSandbox 源码，以便读者实操体验。最后分享笔者使用 React Profiler 的一点心得，帮助读者更快定位性能瓶颈。 React 工作流 React 是声明式 UI 库，负责将 State 转换为页面结构（虚拟 DOM 结构）后，再转换成真实 DOM 结构，交给浏览器渲染。当 State 发生改变时，React 会先进行调和（Reconciliation）阶段，调和阶段结束后立刻进入提交（Commit）阶段，提交阶段结束后，新 State 对应的页面才被展示出来。 React 的调和阶段需要做两件事。1、计算出目标 State 对应的虚拟 DOM 结构。2、寻找「将虚拟 DOM 结构修改为目标虚拟 DOM 结构」的最优更新方案。 React 按照深度优先遍历虚拟 DOM 树的方式，在一个虚拟...

2021-03-19

1021

本文翻译自作者 Rebecca Whitworth 的文章 How to create trust in artificial intelligence using open source 打开 "黑匣子"有助于消除人工智能结果的不确定性，深入了解建模过程，识别偏差和错误。人工智能（AI）在我们日常生活中的应用越来越频繁，Siri 和 Alexa 等 AI 系统在许多家庭中也变得很普遍。除此之外，许多家用设备本身就很"聪明"，通过这些智能设备可以控制你的灯光、暖气和冷气，甚至播放音乐；而这些音乐播放器同样也由 AI 驱动，可以向你推荐歌曲和歌手。然而，这些系统通常被称为"黑匣子"系统，因为我们不知道数据是如何处理的——用户怎么知道模型为什么会做出这样的预测？深度神经网络的出现和广泛采用，虽然提供了令人印象深刻的结果，但使这一点也变得更加关键，因为人类无法从逻辑上解释信息是如何在数千个神经元内处理的。人工智能系统中对安全性要求更高的示例是，医生用它们来减少压力负荷。这些系统通过快速摄取数据来做到这一点，例如 AI 阅读和解析数千份医学期刊的速度可能比人类的速度快上数倍。然后这些数据...

2021-03-20

605

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。