Hadoop DataNode启动之DiskChecker（二）

  在创建完本地文件系统（localFS）后，会进入数据目录的校验阶段，在这里checkDir是重头戏，下面会继续分析

public static DataNode makeInstance(String[] dataDirs,Configuration conf,       SecureResources resources) throws IOException {      //创建UGI信息      UserGroupInformation.setConfiguration(conf);      //创建本地文件系统      LocalFileSystem localFS = FileSystem.getLocal(conf);      //创建用于存放通过校验的数据目录      ArrayList<File> dirs = new ArrayList<File>();      //校验时所用到的权限，默认权限是755      FsPermission dataDirPermission =       new FsPermission(conf.get(DATA_DIR_PERMISSION_KEY,                                 DEFAULT_DATA_DIR_PERMISSION));     //数据目录可以配置多个，实际应用中如果有多个盘，那么会挂在不同的目录下，一起在hadoop中使用      for (String dir : dataDirs) {      try {        //开始校验        DiskChecker.checkDir(localFS, new Path(dir), dataDirPermission);        //成功的目录会被记录下来        dirs.add(new File(dir));      } catch(IOException e) {       //若有不成功的，则打印警告信息，当然还有全部失败的情况，看下面      LOG.warn("Invalid directory in " + DATA_DIR_KEY +  ": " +                  e.getMessage());      }     }    //如果有成功的目录，则直接创建DataNode    if (dirs.size() > 0)       returnnew DataNode(conf, dirs, resources);    //如果全部失败，则记录错误信息，并返回空    LOG.error("All directories in " + DATA_DIR_KEY + " are invalid.");    returnnull;  }

下面看checkDir做了什么，其实不看代码我们大概也能猜测出来，对目录的检测无非就是创建、删除、在内部创建文件、删除文件这些操作，当然这些操作都离不开权限信息

  public staticvoid checkDir(LocalFileSystem localFS, Path dir,                               FsPermissionexpected)   throws DiskErrorException, IOException {     //1、测试能否创建该目录，如果存在则检测权限信息    if (!mkdirsWithExistsAndPermissionCheck(localFS,dir, expected))      thrownew DiskErrorException("can not create directory: "                                   +dir.toString());     FileStatus stat =localFS.getFileStatus(dir);    FsPermission actual = stat.getPermission();    //2、判断是否为目录    if (!stat.isDir())      thrownew DiskErrorException("not a directory: "                                   +dir.toString());                //3、判断文件是否有读权限    FsAction user = actual.getUserAction();    if (!user.implies(FsAction.READ))      thrownew DiskErrorException("directory is not readable: "                                   +dir.toString());    //4、判断文件是否有写权限            if (!user.implies(FsAction.WRITE))      thrownew DiskErrorException("directory is not writable: "                                   +dir.toString());  }

1、  测试能否创建该目录，如果存在则检测权限信息

  public static boolean mkdirsWithExistsAndPermissionCheck(      LocalFileSystem localFS, Path dir,FsPermission expected)   throws IOException {    //将目录转化成文件    File directory = newFile(dir.makeQualified(localFS).toUri().getPath());    //如果目录不存在，则创建并授权    if (!directory.exists()) {      boolean created = mkdirsWithExistsCheck(directory);      if (created) {        localFS.setPermission(dir, expected);        returntrue;      } else {        returnfalse;      }    }    //如果存在，则只检测权限信息，通常我们都会提前创建好，这里的权限校验比较简单，就是比较后面两个参数是否一致    checkPermission(dir, expected,localFS.getFileStatus(dir).getPermission());    return true;  }