Orillusion

    • 注册
    • 登录
    • 搜索
    • 版块
    • 最新
    • 标签

    webgpu测量tfjs模型推理时每层的执行时间 flops

    中文社区
    webgpu 每层执行时间
    1
    1
    8
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • D
      database 最后由 shuangliu 编辑

      我想通过获得模型推理时每层的执行时间和flops来形成一个条形图进行性能分析。
      我尝试使用

      for(var i=0; i<length; i++){
        if( i==0 ){
          const startTime = tf.util.now();
          testdata=model.layers[i].call(testdata);
          const endTime = tf.util.now();
          console.log(`Layer ${i} took ${(endTime - startTime)}ms`);
        }else{
          const startTime = tf.util.now();
          testdata=model.layers[i].apply(testdata);
          const endTime = tf.util.now();
          console.log(`Layer ${i} took ${(endTime - startTime)}ms`);
        }
      }
      

      来进行以层粒度进行推理,获取每层的执行时间,但发现时间加起来apply比model.perdict(data)时间少了很多。有其他最佳的方法获得每层的推理时间吗

      1 条回复 最后回复 回复 引用 0
      • First post
        Last post

      Recent Post

      • 目前可以预览demo了

        • 阅读更多
      • A

        这demo太卡了,我机器性能不算差,运行个demo cpu就将近100%

        • 阅读更多
      • A

        没有贴出app.vue的代码

        • 阅读更多
      • @aichangqing 可能是之前版本的cdn缓存没更新,可以清理本地缓存刷新再试一次

        • 阅读更多
      • 36e6af78-b023-4031-9b56-bd8713b44393-image.png

        已经是版本 113.0.5656.0(正式版本)canary (64 位)并且开启chrome://flags/#enable-unsafe-webgpu 为enable,为啥还不能预览demo

        • 阅读更多

      Copyright © 2022 Orillusion | Contact US