apache-hive / 3.1.1 / reference / Development_ContributorsMeetings_HiveContributorsMinutes110425.html

开发贡献者会议 Hive 贡献者分钟 110425

会议日期:2011 年 4 月 25 日

地点:Facebook Palo Alto

Attendees: http://www.meetup.com/Hive-Contributors-Group/events/17272914/

0.7 版本已经发布,Carl 提出了 0.7.1 版本,用于诸如 PostgreSQL metastore 升级脚本和 Maven 工件发布之类的项目。讨论了发布点的规则:没有 metastore 更改,也没有对 Thrift 和扩展接口等 API 进行更改。每个人都很好。卡尔将负责发布。

还讨论了 0.8 的计划;乐观的目标是从现在起两个月。

关于联接优化,存在一些面向用户的问题,这是一个非常混乱的领域。除了更好的文档外,重新开始用户聚会也很有用,并且在每个发行版中查看现有的配置参数默认值也很有用。

艾伦(Alan)更新了 HCatalog(以前叫 How 叫)的内容:

  • 孵化已获批准并且正在进行中(可以使用 svn,JIRA 和邮件列表;可以在发布网站上工作)

  • 对于 svn,通过外部引用(不是单独的副本)包含 Hive 代码

  • 目前仅适用于安全的 Hadoop

  • 0 .1 个分支将在几周后被削减

  • 0 .2 的目标是 6 月底,支持 Hadoop Streaming 以及某种形式的 Blob 支持

艾伦将致力于发布 HCatalogRoute 图。

作为在 Sunnyvale 举行的 Yahoo Hadoop 峰会的一部分,John 在 Hive 贡献者日(6 月 30 日上午 10 点至下午 6 点)进行了讨论。粗略的议程是(1)在上午的演讲,然后(2)在下午进行动手的 UDF 黑客攻击。我们将征求演示文稿的建议。对于下午,我们想开发一个“ Hive SDK”,它将使用户可以轻松地开发诸如 UDF 之类的扩展,而无需构建完整的 Hive 构建环境。 Facebook 数据科学已经在此领域构建了一些有用的功能,因此我们将在 GitHub 上进行开源。此外,他们还有一个私有 UDF 库,应该将其开源。因此,我们将尝试进行这种尝试,并将其用作想要开发自己的 UDF 的人的学习经验。

John 为 Harvey Mudd 诊所的学生提供了有关索引支持的最新状态;位图索引已提交,并且自动索引的使用非常接近,但是它仍将处于非常“仅限 maven”状态,因此仍需要进行大量后续工作。

Carl 提出了改善 Hive 测试套件可维护性的需求,John 提到了许多其他维护项目,例如 Checkstyle 实施和删除 Thrift 生成的代码。这些挑战在于,补丁往往非常大,并且在准备就绪时,需要无限地重新构建基础。提出的解决方案是(1)将受让人和提交者配对,并专门(2)通过开发邮件列表在“安静期”投票,以及(3)在该时期内进行工作。我们可以尝试一下,看看是否可以取得进展。

John 提到了 Facebook 正在考虑的一些夏季实习项目(列表将添加到 Wiki),并要求提供进一步的建议。

围绕使用某些 Yahoo QA 机器(或 OSUOSL 集群)进行自动补丁验证的讨论。卡尔获得了一些联系信息,并将进一步研究。

最后,我们对 HIVE-2038(元存储侦听器)进行了一些 Comment 和讨论。决定将在后续 JIRA 中处理通用事件。